A/B Test 관련 통계 살펴보기

기본 통계 리뷰와 실습

 A/B Test를 검증하기 위해 B-A를 계산하여 동일한지 아닌지 판단한다. 귀무가설 기반의 A/B 테스트 분석은 비교대상이 되는 데이터가 정규분포를 따름을 가정한다. CLT(중심극한정리)를 사용하여 데이터 분포를 정규분포로 변환이 가능하고 t-test를 사용하여 P-value 혹은 Z-score를 계산하여 판단한다.

 

 중심극한정리란 모집단의 분포와 상관없이 표본의 평균은 정규 분포를 따른다는 정리이다. 표본의 크기가 클수록 표본을 뽑는 수가 클수록 더 정규 분포에 가까워진다. 모집단에서 표본(n > 30)을 반복적으로 수집하고 각 표본의 평균을 계산한다. 표본평균의 평균이 모집단의 평균에 근사하고 표본 평균의 히스토그램이 정규분포를 따르게 되는 원리이다. 수집된 표본 평균들 간의 차이와 합도 정규분포를 따른다. 

 

A/B 테스트 트래픽 크기 비교

 트래픽 크기 비교 가설은 A와 B의 크기가 동일한지 이다. 이는 P(A) = P(B) 혹은 P(B) = 0.5를 귀무가설(H0)로 설정하고 proportion z-test(혹은 one-sample t-test)로 유의 수준(p-value)을 계산하여 검정할 수 있다. 예를 들어 P가 테스트 사용자의 비율이고 N이 테스트에 속한 전체 사용자의 수(A와 B 포함)라고 하고 z-score를 계산하여 95% 신뢰 수준으로 z-score가 1.96보다 크거나 -1.96보다 작으면 P는 0.5가 아니라고 할 수 있다. 이 경우 귀무가설(H0)을 Reject 한다고 말한다. 

 

 A/A Test를 통한 검증 방식은 기본적으로  A/B 테스트 분석과 동일하다. 차이점으로 A/A Test는 기존 서비스 방문 트래픽을 랜덤 하게 추출(보통 날짜 기간 기반)한다. 앞서 구현한 Bucketing 로직을 적용해서 트래픽을 A와 A`로 분리하고 기타 비교 지표들을 계산한 뒤 그 값들이 동일한지 검증한다.