*이 글은 믹스패널(Mixpanel) 및 제품 분석 도구(Product Data Analysis)에서 이벤트가 정확히 발생하는지 검증하는 절차를 설명합니다.
이런 분들께 도움이 될 거예요
✅ 프로덕트 데이터 분석 주요 개념이 생소한 PM/PO/마케터
✅ 프로덕트 분석 툴을 설치 했지만 정확성을 검증하고 싶은 PM/PO/마케터
안녕하세요. 프로덕트 데이터 분석 초보자 시리즈 다섯번째 글입니다. 앞서 프로덕트 데이터 분석에서 프로덕트 데이터 분석에 대한 기본 개념을 소개했습니다. 그리고 데이터 분석을 위한 사전작업으로 어떤 이벤트를 추적할지 계획하는 트래킹 플랜 작성 및 이벤트 심기(구현)를 다뤘습니다. 마지막으로 수집된 이벤트 데이터를 어떻게 분석할지 설명한 프로덕트 데이터 분석 개념과 사례 편이 있었습니다. 오늘은 데이터가 정확한지 검증하는 절차에 대해서 소개합니다.
1. "이벤트 데이터가 정확히 수집되었다"는 무엇을 의미할까?
우리 서비스에서 일어난 사용자 행동 횟수와 실제 수집된 이벤트의 횟수가 일치하는 것을 말합니다. 사용자가 장바구니 담기 버튼을 한번 눌렀는데 수집된 이벤트가 2번이라면 잘못된 거죠. 그리고 신발 상품 페이지를 방문했는데 모자 상품 페이지를 방문했다고 기록했다면 잘못된 것입니다. 그 외에 실제 행동이 일어난 시간과 순서와 일치하는지도 봐야 합니다.
2. 이벤트 데이터 정합성 검증법
방법은 생각보다 단순합니다. 실제로 이벤트를 일으키고 그것이 정확하게 수집되었는지 확인하면 됩니다. 믹스패널 프로젝트를 기준으로 자세히 설명드리겠습니다.
일단 테스트 환경을 설정해야 합니다.
- 외부 간섭이 없는 테스트용 믹스패널 프로젝트
- 믹스패널 이벤트 추적 코드가 심어진 개발 버전 클라이언트 서비스
테스트 환경이 준비되면 이제부터 검증을 시작합니다.
테스터는 앞서 작성한 트래킹플랜의 이벤트를 하나씩 일으킵니다. 해당 이벤트를 발생시키고 바로 믹스패널 테스트 프로젝트에서 해당 이벤트가 기록되었는지 확인합니다. 횟수가 맞는지 주요 속성값이 일치하는지 하나씩 확인합니다. 추적하는 이벤트가 많거나, 이벤트가 발생하는 조건이 까다로우면 검증작업이 오래 걸릴 수 있습니다. 앞선 초보자 시리즈에서 추천했듯이 초기에는 주요 이벤트 중심으로 적은 수의 이벤트를 수집하는 것을 추천드립니다. 실수 방지를 위해 검증 작업은 최소 2명 이상이 하는 것을 추천드립니다.
3. 사용자가 여러 환경에서 접속했을 때 같은 사용자인지 검증하기 (사용자 식별)
대부분의 서비스는 다양한 환경에서 접속이 가능합니다. 핸드폰 브라우저에 접속했다가 데스크탑 브라우저에서 접속할 수도 있고, 웹으로 접속했다가 앱으로 접속할 수도 있습니다. 또는 비 로그인 상태로 서비스에 접속하여 누구인지 모른 상태로 이벤트를 일으키다가 로그인할 때도 있습니다. 이렇게 다양한 조건에 일어난 이벤트들을 하나의 사용자로 매핑하는 작업이 필요합니다. 믹스패널에서는 이를 사용자 식별 Identify 라고 부릅니다. 이 작업은 믹스패널을 설치할 때 설정하게 됩니다. 이 부분도 의도대로 작동하는지 검증해야 하는데, 이 검증도 단순합니다. 테스트 환경에서 다음 3가지 상황을 검증하시면 됩니다.
- 비 로그인 상태에서 서비스를 사용하다가 로그인했을 때, 비 로그인 상태에서 이벤트 발생한 이벤트와 로그인 후 발생한 이벤트가 하나의 프로필에 합쳐졌는가
- 브라우저 A에서 로그인 후 브라우저 B에서 로그인했을 때 A에서 일으킨 이벤트와 B에서 일으킨 이벤트가 하나의 프로필에 합쳐졌는가
- (웹, 앱 둘 다 있는 경우) 웹 서비스에서 로그인 후 일으킨 이벤트와 앱에서 로그인 후 일으킨 이벤트가 하나의 프로필에 합쳐졌는가
*믹스패널 익명사용자 식별 메커니즘 가이드 문서 첨부
4. 데이터가 맞지 않을 때 대응법
아시는 바와 같이 믹스패널과 같은 PA 도구는 보내준 이벤트 데이터를 있는 그대로 표현하는 도구입니다. 이 말은 데이터가 잘못 표시되고 있다면 일단 잘못된 데이터를 보낸 것으로 봐야 합니다. 결국 데이터 불일치가 일어났을 때 개발팀에 문제 상황을 공유하고 추적 코드가 작동하는 조건을 디버깅해야 합니다. 예를 들어 제품 구매는 한번 일어났는데 구매 이벤트가 여러 번 찍힌다면, 구매 이벤트를 트리거하는 조건을 살펴봐야 합니다. 화면이 리프레시될 때마다 이벤트를 수집하게 코딩되어 있을 수 있는 거죠. 또는 디버깅 방법은 믹스패널 디버깅 가이드를 참조하세요.
5. 분석의도 검증하기
이벤트 데이터를 수집하는 목적은 기대하는 분석을 효과적으로 하기 위해서 입니다. 예를 들어 구매전환율은 커머스 서비스에서 중요한 분석 항목입니다. 그러므로 테스트 이벤트를 발생시키고 전환율 분석을 의도대로 할 수 있는지도 확인해 보셔야 합니다. 이는 데이터 검증과는 별개의 주제이지만 같이 하는 것을 추천합니다. 테스트 이벤트를 발생시키고 만들려고 했던 리포트를 작성하여 기대하는 분석이 가능한지 확인해야 합니다.
6. 끝마치며
데이터 검증작업은 지루하면서도 집중력이 요구되는 힘든일 입니다. 제대로 검증하지 못해서 데이터가 정확하지 않다면 이후 분석은 의미가 없습니다. 한 번에 모든 이벤트를 완벽히 검증하는 일은 매우 지난한 일이 될 수 있습니다. 여러 번 강조드린 것처럼 중요한 이벤트 중심으로 점차 많은 이벤트를 수집하는 방식으로 접근하시는 걸 추천드립니다. 그리고 데이터 검증은 한 번 하고 끝나는 것이 아니라 지속적으로 해야 합니다. 서비스는 계속 변화하기 때문에 주기적으로 검증해야 합니다. 이는 라이브 프로젝트 리뷰 글에서 다루도록 하겠습니다.
데이터가 불일치하는 다양한 상황이 있을 수 있습니다. 마켓핏랩 솔루션즈는 다양한 프로젝트 데이터를 검증한 경험이 있습니다. 궁금한 점은 mixpanel@mfitlab.com 언제든지 문의주세요!
.svg)
