#ab-testing

노트 4개

• A/B Testing A/B 테스트는 무작위 대조 실험(RCT)을 온라인에 적용한 것으로, 둘 이상의 변형(variant)을 사용자에게 무작위로 노출해 인과 효과를 추정하는 방법이다.
• CUPED CUPED (Controlled-experiment Using Pre-Experiment Data)는 사전 실험 데이터로 A/B 테스트 추정량의 분산(variance)을 줄여 검정 민감도를 높이는 분산 감소(variance reduction) 기법이다.
• Design Effect 설계 효과(Design Effect, DEFF)는 복잡한 표집 설계가 단순 무작위 표집에 비해 분산을 얼마나 키우는지를 나타내는 배율이다.
• Statistical Power 통계적 검정력(statistical power)은 효과가 실제로 존재할 때 그것을 탐지할 확률이다.