#experiments

노트 7개

• A/B Testing A/B 테스트는 무작위 대조 실험(RCT)을 온라인에 적용한 것으로, 둘 이상의 변형(variant)을 사용자에게 무작위로 노출해 인과 효과를 추정하는 방법이다.
• Anytime-Valid Inference Overview Anytime-valid 추론은 고정 표본 가설검정의 "peeking" 문제를 푸는 game-theoretic statistics다. 식별-타당성 drift를 실시간으로 모니터링하는 안전 추론의 수학적 기초를 제공한다.
• Confidence Sequence 신뢰 수열(confidence sequence, CS) $(Ct){t\ge1}$은 time-uniform 커버리지(coverage)를 갖는 신뢰구간의 열이다. 즉 모든 시점에서 동시에 다음을 만족한다.
• CUPED CUPED (Controlled-experiment Using Pre-Experiment Data)는 사전 실험 데이터로 A/B 테스트 추정량의 분산(variance)을 줄여 검정 민감도를 높이는 분산 감소(variance reduction) 기법이다.
• Design Effect 설계 효과(Design Effect, DEFF)는 복잡한 표집 설계가 단순 무작위 표집에 비해 분산을 얼마나 키우는지를 나타내는 배율이다.
• e-process (e-value) e-value $E$는 귀무가설 $H0$가 참일 때 $EP[E]\le 1$ ($\forall P\in H0$)을 만족하는 비음 확률변수다. e-process $(Et)$는 임의의 정지시각 $\tau$에 대해 $E\tau$가 e-value가 되는 비음 과정($E[E\tau]\le1$)으로, 보통 귀무가설 아래에서…
• Statistical Power 통계적 검정력(statistical power)은 효과가 실제로 존재할 때 그것을 탐지할 확률이다.