집단비교 A/B 테스트와 MVP를 만들어 실험을 했다. 그럼 통계적으로는 어떻게 분석해야 할까? Multi - Armed Bandit 솔루션 딜레마를 해결하기 위해 대규모 서비스 같은 경우에는 이 솔루션을 사와서 실험 추이를 보며 리소스 통제 계획을 정한다. 예) optimizely 집단 비교 통계 처리 순서도 '종속변수'의 예 - A와 B군중 어디가 매출이 더 잘 나오는가? > 매출은 연속된 값 > 연속형 - 가입을 하느냐, 탈퇴를 하느냐? > 가입 아니면 탈퇴 > 범주형 독립표본 t-검정 두 집단의 평균 차이 𝑋1: 대조군 평균 𝑋2: 실험군 평균 • 두 집단의 모집단이 모두 정규분포를 따르거나, 또는 각 집단의 크기가 충분히 큰 경우 (𝑛 > 30) t-분포를 이용해서(𝑋1 − 𝑋2)의 신뢰구간을 ..