*이 글은 구글 옵티마이즈 종료 후, AB테스트 툴 대안으로 떠오른 VWO에 대한 활용법과 VWO<>믹스패널 연동으로 AB테스트 분석을 진행하는 방법에 대해 소개하는 글입니다.
이런 분들께 도움이 될 거에요
✅ 구글 옵티마이즈 종료 후 AB테스트 툴에 관해 고민하시던 PM/PO
✅ AB테스트 분석을 더 잘 하고 싶은 PM/PO
✅ AB테스트 툴, VWO에 관해 궁금하셨던 PM/PO
1. AB 테스트란?
AB 테스트는 웹/앱 방문자를 대조군(Control Group)과 실험군(Experiment Group)으로 나누어서 어느 쪽 집단이 더 높은 성과를 보이고 그것이 통계적으로 유의미한 영향을 미치는지 정량적으로 비교하는 방법론입니다. AB테스트라는 단어 그대로 A라는 집단과 B라는 집단을 나누어서 테스트를 해보는 것이죠.
너무 어렵게 느껴진다면 어렸을 적 배웠던 칭찬 양파 vs 비난 양파의 실험을 생각해 봅시다.
똑같은 양파이지만 “사랑해”, “고마워”와 같은 칭찬을 많이 듣는 양파와 “짜증 나”, “별로야”와 같은 부정적인 말을 듣는 양파 중에서 어떤 게 더 많이 자랄까? 라는 재밌는 실험이었죠? 물론 당연히 통계적으로 유의미한 실험은 아니지만 A,B 집단을 나누어서 실험을 한다라는 개념에서는 쉽게 와닿을 수 있을 것입니다.
AB 테스트는 데이터를 기반으로 실험 결과를 분석하기 때문에 프로덕트 기획자 혹은 디자이너의 감에 의존하여 제품이 개선하던 방식보다 더 근거 기반으로 의사결정을 내릴 수 있다는 장점이 있습니다. 다만, AB 테스트를 진행하는 방법과 목적이 명확하지 않으면 통계적 유의성이 달성되지 않았음에도 불구하고 단순히 A보다 B가 전환율이 높다는 이유로 B가 더 우세하다고 단정적으로 결론짓는 오해가 발생할 수 있습니다.
그렇기 때문에 다양한 각도에서 실험 내용을 뜯어보면서 외부 변수는 없었는지, 통계적으로 유의미한 결과를 내는지 등 분석이 필요합니다.
AB테스트 툴과 Product Analytics 툴(이하 PA툴)을 연동하여 실험 결과를 다각도에서 분석하려는 시도가 점점 많아지고 있습니다. AB테스트 툴 내에서 A그룹 vs B그룹의 전환율만 분석하는 것보다 PA툴로 해당 데이터를 가져오게 되면 사용자 여정User Journey, 리텐션Retention 등 더 다양한 시각에서 실험을 바라볼 수 있기 때문입니다. 오늘은 VWO*라는 대표적인 AB테스트 툴과 자유도가 높은 PA 툴인 Mixpanel을 연동하여 AB테스트 실험 결과를 분석해 보도록 하겠습니다.
*VWO란?
VWO는 웹, 앱, 서버사이드 테스트를 모두 지원하는 가장 대표적인 AB 테스트 Suite 툴로서, AB테스트 뿐만 아니라 CDP, 분석 기능을 모두 갖추고 있습니다. 구글 옵티마이즈가 종료되면서 구글이 공식적으로 발표한 AB 테스트 협력회사로 선정된 툴입니다.
2. AB 테스트 예시
예를 들어, 이커머스 비즈니스에서 VWO를 활용하여 AB테스트를 진행하고, 그 결과를 Mixpanel과 연동하여 분석한다고 가정해 보겠습니다.
이커머스에서 가장 중요한 것은 구매전환율 개선입니다. 이를 위해 아래와 같은 가설과 목표를 기반으로 AB테스트를 진행해 보겠습니다.
<AB 테스트 실험 요약>
- 가설: 제품 상세 페이지에서 구매 CTA 버튼을 위로 옮기고, 하이라이트를 하면 구매 전환율이 개선될 것이다
- 실험 목표
- Primary Metric (가장 중요한 지표): 구매전환율, 구매버튼클릭률
- Secondary Metric (서브 지표): 장바구니 전환율
- Guardrail Metric (하락하면 안 되는 지표): 구매 리텐션율
- 실험 설계 정보
- 실험 URL: 제품 상세 페이지
- 실험군
- Control Group(대조군): 변화 없음
- Variant Group(실험군): 구매 버튼 및 최종 가격 위치를 맨 위로 변경 + 구매 버튼 색상 강조
1) VWO에서 Mixpanel 연동하기
우선, 실험 정보를 잘 분석하기 위해 VWO에서 Mixpanel 연동을 먼저 진행하겠습니다. 우선 Integration 탭에 진입하여 Mixpanel을 검색합니다.
Mixpanel 탭에서 토글을 활성화하면 CONFIG에서 API Key가 생성되는데, 이를 복사합니다.
그 후 Mixpanel > Integrations 탭에서 VWO를 검색하여 희망하는 커넥터 이름을 작성한 후, 복사해 온 API Key를 입력하면 연동이 완성됩니다.
2) VWO에서 실험 정보 설정하기
그러면 위에서 논의했던 실험 설계 정보에 따라 VWO에서 실험을 설정해 보겠습니다.
- 실험 설계 정보
- 실험 URL: 제품 상세 페이지
- 실험군
- Control Group(대조군): 변화 없음
- Variant Group(실험군): 구매 버튼 및 최종 가격 위치를 맨 위로 변경 + 구매 버튼 색상 강조
우선 VWO에서 실험을 생성한 후 아래와 같이 실험 URL을 설정합니다.
(참고로 모든 제품 상세 페이지 대상으로 실험을 진행하고 싶다면 ‘*’ 라는 기호를 활용합니다)
그 다음 비주얼 에디터를 실행합니다. Variation 1 그룹에서 구매 버튼과 최종 가격 위치의 요소(Element)들을 Rearrange 기능(HTML 요소들을 다른 포지션으로 이동할 수 있는 기능)을 활용하여 제품명 아래로 이동합니다. 그 후, 구매하기 버튼의 배경색상을 빨강색으로 변경하여 색상을 강조하여 실험 셋팅을 마무리합니다.
이제 기존에 잡았던 실험 목표 지표에 따라 VWO Metrics에서 목푯값을 설정하도록 하겠습니다.
- 실험 목표
- Primary Metric (가장 중요한 지표): 구매전환율, 구매버튼클릭률
- Secondary Metric (서브 지표): 장바구니 전환율
- Guardrail Metric (하락하면 안 되는 지표): 구매 리텐션율
해당 실험의 목표 지표들은 Mixpanel 에서 확인하겠지만 VWO 안에서도 Metrics를 설정할 수 있으니 아래처럼 구매전환, 장바구니, 구매버튼클릭 이벤트를 추적하도록 설정해 주겠습니다.
그 후 Integrations에서 아까 활성화했던 Mixpanel을 클릭하여 Mixpanel로 VWO 이벤트가 보내지도록 설정합니다.
이렇게하면 Mixpanel에서도 아래처럼 실험 정보들이 넘어오게 됩니다.
Mixpanel과 VWO를 연동하면 좋은 사실은 VWO에서는 총 유저 수(Unique User) 기준으로만 분석할 수 있지만, Mixpanel은 총 이벤트 횟수(Total Events) 혹은 총 유저 수(Unique User)로 자유롭게 분석할 수 있고 다양한 리포트로 쪼개서 볼 수 있기 때문에 AB테스트 실험을 더 다각도로 분석할 수 있게 됩니다.
예를 들어, 대조군(Control Group)과 실험군(Variant Group) 간의 리텐션 차이, UX Flow 차이 등 VWO에서는 하기 어려운 심화 분석을 클릭 몇번만으로 쉽게 할 수 있습니다.
3) Mixpanel에서의 AB테스트 결과 해석
그럼 믹스패널에서 VWO로 진행한 AB테스트 결과를 해석해 보겠습니다.
- 실험 목표
- Primary Metric (가장 중요한 지표): 구매전환율, 구매버튼클릭률
- Secondary Metric (서브 지표): 장바구니 전환율
- Guardrail Metric (하락하면 안 되는 지표): 구매 리텐션율
우선 Primary Metric 지표를 먼저 살펴보도록 하겠습니다.
동일 기간에 구매전환 수는 Variant Group(실험군)이 Control Group(대조군) 대비 49.66%가 더 좋았습니다. 구체적으로는 Variant Group에서는 구매가 총 1,320건이 발생했는데 Control Group에서는 구매가 882건만 발생하였습니다. 또한 구매버튼 클릭 수도 Variant Group이 Control Group 대비 16.15% 개선이 되었습니다.
또한 제품 상세 페이지 뷰 대비 구매전환율도 Variant Group(실험군)이 Control Group(대조군)보다 높았는데 이는 Control Group 대비 무려 371.7%나 높은 수치였습니다. 또한 통계적 유의성(Stat-Sig) 지표도 99% 신뢰도를 가진 것으로 확인을 할 수 있습니다.
다만 하락하면 안 되는 Guardrail 지표로 구매 리텐션율을 잡아두었기 때문에 마지막으로 리텐션의 관점에서 해당 실험을 분석해 보겠습니다.
구매 리텐션의 관점에서 확인해 보았을 때는 Control Group이 Variant Group보다 높게 나온 것을 확인해 볼 수 있었습니다. 이를 숫자로 보면 10명~20명 정도의 규모라서 유의미한 수치는 아니지만, 공격적인 UI의 변화가 구매전환율을 개선했을지는 몰라도 장기적으로는 User Experience에 긍정적인 영향을 미치지 않을 수 있음을 시사한다고 볼 수 있습니다.
즉, 이러한 경우에는 리텐션 중간에 이탈한 고객들을 대상으로 인터뷰를 요청해 정성적인 정보들을 얻는 과정이 필수적이라고 볼 수 있습니다.
AB테스트는 데이터 기반으로 의사결정을 할 수 있도록 도울 수 있는 아주 강력한 검증방법검증 방법의 하나입니다.
하지만 그 결과를 해석함에 있어서 주관성이 개입할 여지가 많이 있기 때문에 사전에 실험 계획을 꼼꼼히 설정하고 주관적인 해석을 하지 않도록 다양한 시각에서 결과를 봐야 합니다.
예를 들어, 실험이 통계적 유의성이 확보되지 않았음에도 특정 Variant가 유리할 때 종료하고 그 결과를 배포하는 과정을 거친다면 AB테스트의 목적이 근거 기반으로 개선하고 성장하는 것이었음에도 불구하고 좋지 않은 결과로 이어질 수 있습니다.
그렇기 때문에 AB테스트를 진행하는 방법에 대해 잘 숙지하고, AB테스트를 정량적으로 다양하게 분석하고, 추가로 가능하다면 정성적인 데이터도 확보하여 실험 결과를 해석하는 것이 굉장히 중요하다고 볼 수 있습니다.
3. 끝마치며
AB 테스트를 편하게 진행하기 위한 툴을 추천받고 싶으시거나,
AB테스트 결과 해석에 도움을 줄 수 있는 프로덕트 분석 툴인 믹스패널 도입에 관심이 있으시다면 mixpanel@mfitlab.com으로 편히 문의 부탁드립니다.
.svg)
