츔로그

분산분석 다중비교 multiple comparison • 분산 분석은 한 번에 여러 집단 비교 가능 • 독립표본 t-검정은 한 번에 두 집단만 비교 가능 • 집단이 여러 개 있을 경우 독립표본 t-검정은 집단 간의 모든 짝을 비교해야 함. - 집단이 k개일 경우 필요한 비교 횟수 = k(k-1) / 2 FWER Familywise Error Rate 다중 비교를 할 경우 적어도 한 번 1종 오류가 발생할 확률 • 세 집단이 모집단에서 평균이 모두 같은 경우 유의수준 5%인 비교를 3번해서, 3번 모두 1종 오류를 피할 확률(독립적이라고 가정할 경우): 95% × 95% × 95 % ≈ 86% • 바꿔 말하면 적어도 한 번 1종 오류가 발생할 확률(FWER)은 14% • 비교를 많이 할 수록 FWER은 증..

집단비교 A/B 테스트와 MVP를 만들어 실험을 했다. 그럼 통계적으로는 어떻게 분석해야 할까? Multi - Armed Bandit 솔루션 딜레마를 해결하기 위해 대규모 서비스 같은 경우에는 이 솔루션을 사와서 실험 추이를 보며 리소스 통제 계획을 정한다. 예) optimizely 집단 비교 통계 처리 순서도 '종속변수'의 예 - A와 B군중 어디가 매출이 더 잘 나오는가? > 매출은 연속된 값 > 연속형 - 가입을 하느냐, 탈퇴를 하느냐? > 가입 아니면 탈퇴 > 범주형 독립표본 t-검정 두 집단의 평균 차이 𝑋1: 대조군 평균 𝑋2: 실험군 평균 • 두 집단의 모집단이 모두 정규분포를 따르거나, 또는 각 집단의 크기가 충분히 큰 경우 (𝑛 > 30) t-분포를 이용해서(𝑋1 − 𝑋2)의 신뢰구간을 ..