애자일 A/B Test 소개

데이터 팀의 미션과 발전 단계

 데이터 조직의 미션은 신뢰할 수 있는 데이터를 바탕으로 한 부가 가치 생성이다. 데이터 조직은 고품질 데이터 기반으로 의사 결정권자에게 입력을 제공한다. 예를 들어 데이터 기반 지표 정의와 대시보드, 리포트 생성을 수행한다. 그리고 고품질 데이터를 기반으로 사용자 서비스 경험 개선 혹은 프로세스 최적화 일을 한다. 예를 들어 머신러닝과 같은 알고리즘을 통해 사용자의 서비스 경험을 개선한다.

 

A/B Test란 무엇인가?

 A/B Test는 객관적으로 새로운 기능이나 변경을 측정하고 비교하는 방식이다. 큰 위험 없이 새로운 기능을 테스트하고 빠르게 배울 수 있다. A/B Test는 기본적으로 가설을 실험하고 검증하는 것이다. 예를 들어 새로운 추천방식이 기존의 추천방식보다 매출을 증대시키는지, 상품 체크아웃 페이지의 스텝을 줄이면 결제 수가 더 올라가는지를 실험한다. 보통 프로덕션 환경에서 2개 혹은 그 이상의 버전을 비교한다. 서비스 내의 다른 영역을 테스트하는 A/B Test들은 독립적이라 생각하고 다수의 A/B Test를 동시에 실행하는 것이 일반적이다. A/B Test를 사용하면 안되는 경우는 다음과 같다.

• 데이터의 수가 부족한 경우
• 버그 수정을 임팩트로 측정하는 경우
• 아직 구체적이지 않은 아이디어 테스트
• 가설 없이 굉장히 랜덤한 아이디어 테스트
• 비교 대상 없이 새로운 기능 테스트

왜 A/B Test를 하고 왜 애자일 A/B Test가 필요한가?

 A/B Test를 하는 이유는 비즈니스 관련 지표가 개선되는지 객관적으로 측정하기 위함이다. 아무리 사용자 설문이 좋아도 실제 사용자들이 어떻게 반응할지는 알 수 없기 때문에 위험을 최소화하기 위해 처음에는 작은 퍼센트의 사용자에게만 새 기능을 노출시키고 문제가 없으면 퍼센트를 증가한다. 

 

 애자일 A/B Test는 A/B Test를 더 구성을 강화하고 분석을 잘할 수 있으며 성능을 지속적으로 보완해 나갈 수 있다. 애자일  A/B Test를 하면 제품 개선을 주기적으로 할 수 있고 애자일한 회사가 될 수 있다. 즉, 실험 시간을 감소하여 출시 시간을 더 빠르게 할 수 있다. 

 

전체적인 A/B Test 프로세스

• A/B Test Proposal & Approval
  • 한 페이지에 왜 A/B Test를 해야 하는지, 기대 효과는 무엇인지, 잠재적인 문제가 있는지 등을 적는다.
• Implementation and QA
  • 코딩없이 A/B 테스트를 진행가능하게 하는 것이 목표
  • 보통 테스트하는 기능을 백엔드단의 flag로 관리하는 것이 일반적
• Rollout (in the next deck)
  1. Smoke test (~few days)
     
     • 0-1% for test variant(s) to verify that nothing is broken
     • validate that test variant is setup correctly
  2.  Initial ramp (~1 week)
     
     • 5-10% for test variant(s)
     • sizing depends upon any revenue (or KPI) concerns 
  3. Intermediate ramp (~few weeks)
     
     • 25%-50%
  4.  Final ramp-up / launch
     
     • 100% and then full launch for winning test variant
• Iterations
• Periodic Review (Weekly Experiment Review meeting)

A/B Test 분석을 위해 필요한 데이터

 A/B Test 분석을 위해 필요한 정보는 사용자별 A/B 버킷 정보, 사용자별 행동 정보다. 두 정보를 조인하여 A와 B를 그룹핑한 통계 정보를 계산한다. 구체적으로 말하면 A는 Control 그룹이고 B는 Test 그룹이 된다. 고객마다 어느 그룹에 속했는지 Experiment ID, Variant ID, Timestamp, User ID 정보가 있어야 한다. 사용자별 행동 정보를 Funnel Data를 통해 알아낸다. Impression과 Click to Detail Page는 중요 지표는 아니지만 지표 해석이나 디버깅에 도움이 된다. 데이터 분석가는   Experiment Data와 Funnel Data를 조인하여 분석한다. 

 

A/B Test 관련 문제들

• 가설 없이 혹은 빈약한 가설로 A/B Test를 하는 경우
• 분석에 필요한 데이터 품질이 낮은 경우
• 결과를 선입견없이 객관적으로 분석하지 못하는 경우
• 여러 A/B Test간의 상호작용이 생기는 경우
• 데이터 인프라 비용이 많이 드는 경우
• 비교 대상이 하나가 아닌 경우