[기초통계] A/B 테스트

A/B 테스트

---

 

    A/B 테스팅    

과학 분야에서 무작위 대조군 실험

(Randomized Controlled Trials)

•  주로 웹 서비스 등의 분야에서 A/B 테스팅이라는 명칭을 사용
•  고객들에게 서로 다른 웹 페이지나 광고를 보여주고 목표 지표(예: 전환율)를 측정

•  https://goodui.org/leaks/

Leaks | GoodUI

 

예시: 중고거래  키워드  알림  등록  UI

출처 : 당근마켓

 

---

근거 기반 의학에서 근거의 수준

•  Level I : 무작위 대조군 실험에서 얻어진 근거

▲ 가장 강한 근거로 보는 것 (A/B testing)

 

• Level II-1 : 대조군 실험에서 얻어진 근거(무작위 할당이 아님)

•  Level II-2 : 동일 집단 연구 등

•  Level II-3 : 대조군이 없는 극적인 결과 등

•  Level III : 임상 경험에 근거한 전문가의 의견 등

 

 

정책에서 A/B 테스팅

•  2019년 노벨경제학상 수상자: 아브지히트 바네르지, 에스테르 뒤플로, 마이 클 크레이머
•  개발도상국에서 빈곤 해결을 위한 정책 개발에 무작위 대조군 실험을 사용
•  거대 담론이 아닌 작고, 실행가능하고, 정교한 문제들을 실험

 

플레이 펌프 이야기

 

펌프 + 놀이기구 = 애들이 놀면, 펌프로 인해 마을에 물이 발생

설치해보니 모순 발생 펌프라는 특성으로 애들이 돌리고 난 동력이 물 발생 에너지로 가버림.

결국에 아이들은 흥미를 잃고 어른들이 펌프를 돌리는데 힘들고 기계도 복잡해서 결국 쓸모가 없어짐.

 

 

---

A/B 테스팅에서  중요한  점

•  작은 실험을 자주, 많이 해야 한다
•  할 수 있다면 가능한 여러 가지 변수를 동시에 실험
•  실험을 많이 할 수 있는 기술적, 문화적 환경의 형성
•  당연하거나 터무니 없어보이는 아이디어도 실험할 필요

 

---

 

최소 생존가능한 제품 Minimum Viable Product

대부분의 스타트업들은 누구도 사용하지 않을 제품을 만들기 때문에 실패한다.

---

"이 아이디어는 확실해!"
"내 주변에서는 다 좋다고 하던대?"                          →  그러나 아무도 사지 않는다
"나오기만 하면 산다고 말했어!"

---

제품이 시장가치가 충분히 있는지 알기 위해 MVP를 만들어 테스트한다.

•  가치가 확인되면 고객을 확보하고, 자금을 마련하여 기능을 추가

•  핵심가치를 검증하기 위해 필요한 최소한의 버전
•  최대한 빨리 배우는 것을 목표로 함
•  제품/서비스의 가치가 초기 사용자를 참여시킬 수 있을 만큼 매력적인지 (desirable) 테스트가 가능해야 함.

 

---

MVP의 예

 

예1) 사람이 대신하기

•  제품이 해야할 일을 사람이 수동으로 처리

배달의 민족	토스	리멤버
앱에서 고객이 주문하면, 매장으로 대신 전화	앱에서 간편 송금을 하면, 일정 시간마다 사람이 손으로 처리	고객이 명함 사진을 찍으면, 사람이 명함 내용을 손으로 입력

• 복잡하고 어려운 제품 개발 과정을 생략하고 핵심 가치를 먼저 제안

 

 

예2) 소개만 만들기

•  제품을 만들기 전에 먼저 판매(예: 크라우드펀딩)
•  가짜 광고를 만들어, 핵심 가치에 고객이 반응하는지 확인
•  제품에 관심이 있는 사람들의 연락처를 받아 대기자 명단에 등록

예) Dropbox      제품의 기능을 설명하고 보여주는 영상 제작    기능 설명 영상이 입소문을 타면서 며칠만에 7만5천명의 구독자를 확보    구독자 중에 스티브 잡스가 있어서 2억 5천만달러를  투자 받음

 

예3) 기성품을 이용한 검증

•  기존의 제품을 이용해서 가설을 검증
•  제품의 내용이 동일할 경우 기존의 제품의 포장을 바꿈
   예: 가격을 싸게 만들 방법이 있을 경우, 일단 기존 제품을 사서 싸게 팔아본다

•  기존의 제품들을 조합하여 비슷한 기능을 제공
   예: 판매 사이트를 만드는 대신, 이메일을 받아 노션에 수동으로 매물 목록을 게재

 

 

예4) 커뮤니티 만들기

•  어떤 문제를 해결하고자 하는 사람들의 커뮤니티 만들기
예: 무신사(패션), 야놀자(여행) 등이 커뮤니티로 시작