1. PA툴은 만능이 아니다, 분석의 완성은 사용자로부터
PA툴을 처음 도입하고 나면 빠지기 쉬운 함정이 있는데, 데이터가 실험이나 정량 분석을 통해서만 나올 수 있다고 생각하게 되는 것이죠. Growth를 하려면 정량적인 데이터만이 중요한 것처럼 느껴지기도 합니다.
하지만 PA툴로 볼 수 있는 우리 고객의 모습은 절반에 불과합니다. 정량 데이터로는 가장 중요한 ‘왜’를 알기 어렵기 때문이죠. 예를 들어 특정 유입경로의 사용자들이 구매 전환율이 유독 낮다는 사실을 발견하였어도 이유가 무엇인지는 추측만 가능할 뿐 바로 알기 어렵습니다. 이럴 때 사용자 인터뷰나 사용자 테스트 등을 통한 정성 조사가 필요한 것이죠.
2. 잘 하는 테크 기업들은 정성 데이터에 진심이다
구글은 파이어베이스를 사용하는 고객을 인터뷰하기 위해 다섯 명의 인터뷰어를 보냈는데, 그중에는 파이어베이스의 창업자이자 CEO였던 제임스 탬플린(James Tamplin)도 있었습니다. 창업자를 직접 보낼 정도로 구글은 고객 인터뷰에 진심이었던 것이죠.
Microsoft의 경우에는 Windows 10의 초기 버전에서 사용자들로부터 Start 메뉴의 부재에 대한 불만을 받았습니다. Microsoft는 유저 테스트를 통해 다양한 스타트 메뉴 디자인을 제시하고 사용자들의 선호도를 조사한 뒤, 업데이트를 통해 새로운 스타트 메뉴를 도입하여 사용자 경험을 향상했습니다.
3. 그럼 실험은 언제하고 정성 조사는 언제 하는가
실험은 사용자들이 우리 제품에서 무엇을 하고 무엇을 하지 않는지를 이해하기 위해 진행합니다. 근데 실험의 결과가 예상과 다르거나, 유효한 결과를 얻지 못했다고 생각이 든다면 그때가 정성 조사를 시작해 보기에 좋은 타이밍입니다.
또한 실험만으로는 아직 사용자가 아닌 그룹이나 주요한 배움을 줄 수 있을지 모르는 비교적 작은 세그먼트의 사용자들을 놓치기 쉽습니다. 우리 제품에 대한 새로운 관점이 필요한 경우 이들을 대상으로 정성 조사를 진행하여 정량 데이터만으로는 알 수 없던 우리 제품의 맹점을 찾아낼 수 있습니다.
4. 정성 조사를 잘하려면
대표적인 정성 조사 방법론으로는 설문조사(survey), 1대1 심층 인터뷰(in-depth interview), 사용자 테스트(User testing) 등이 있습니다.
이 중에서 특히 설문조사는 가장 간편한 방법으로 느껴져 정성 조사를 떠올릴 때 제일 먼저 고려하시게 될 텐데요. 간편하고 비교적 대량의 정보를 한 번에 얻을 수 있으나 그 한계도 분명합니다. 응답자가 얼마나 솔직(혹은 정확)하게 대답하는지 알 수 없기 때문에 응답 왜곡이 있을 수 있고, 응답자의 개인적인 경험과 문맥을 알기 어려우며 질문의 설계에 따라 답변이 유도되기도 쉽습니다.
그래서 설문은 보완적인 방법으로 사용하고 1:1 인터뷰나 사용자 테스트를 진행하여 타겟 그룹에 대한 깊이 있는 이해를 도모하는 것이 좋습니다. 당연하게도 가능한 많은 인터뷰를 진행하는 것이 좋은데, 이때도 한 가지 특정 세그먼트에 집중해 인터뷰를 진행하고 그 안에서 반복되는 패턴을 찾다 보면 높은 확률로 주요한 인사이트를 뽑아낼 수 있습니다.
예를 들어 모 가전회사의 자사 몰에서 사용자들의 구매 전환율이 벤치마크 대비 매우 낮음을 발견했던 사례가 있습니다. 조금 더 데이터 분석을 해보았더니, 사이트 내 검색 기능 사용자의 구매 전환율이 그렇지 않은 사용자 대비 유의미하게 높았고, 검색되는 키워드들은 흥미롭게도 외우기 쉬운 제품명이 아닌 알파벳과 숫자로 구성된 모델명이 대부분이었습니다.
이 데이터 분석 결과를 가지고 왜 이런 사용자 행태가 나타났으며, 이를 다른 사용자들에게도 확대할 수 없을지 확인하기 위해 사용자 테스트와 인터뷰를 함께 진행했습니다. 이때, 특히 언제 검색 기능을 쓰게 되는지에 집중하여 테스트와 인터뷰를 진행했습니다.
그 결과 오픈마켓이 아닌 자사 몰에서 검색하는 경우는 이미 구매하고자 하는 제품의 후보군이 2~3개 내외로 정해진 상태이고, 메모장 등에 명확한 모델명을 기록한 뒤 추가 정보를 위해 해당 모델명으로 검색한다는 것을 알아냈습니다. 더불어 이미 최종 후보군을 정해둔, 구매 의향이 높은 상태이기 때문에 오히려 자사 몰에서 너무 자세하고 과도한 정보를 제공할 시 오히려 피로감을 높인다는 사실도 사용자 테스트에서 테스터들이 보인 이용 행태와 인터뷰를 통해 확인했습니다. 이를 통해 자사 몰 내 검색 사용자들에게는 2~3개의 후보군 비교에 보다 용이한 방향으로 UX 개선을, 그 외의 사용자들에겐 오픈마켓 대비 자사 몰에서 브라우징할 때의 메리트를 느끼게 할 수 있는 방향으로 개선이 필요하다는 인사이트를 얻게 되었습니다.
이처럼 정량 분석에서는 객관적인 현상을 분석하고 딥다이브 해 볼 만한 지점을 목표로 한 뒤, 정성 분석에서 타게팅한 지점에 대해 면밀하고 집중적으로 원인을 파악하면 보다 풍부하고 유의미한 인사이트를 끌어낼 수 있습니다.
5. 끝마치며
PA툴을 이용한 정량 분석과 인터뷰 등을 통한 정성 분석은 어느 한쪽만 있을 수 없는 상호보완적 관계입니다. 하지만 국내뿐만 아니라 국외에서도 정성 조사는 상대적으로 덜 중요하게 여겨지는데, 핀터레스트(Pinterest)에서 그로스를 담당했던 케이시 윈터스(Casey Winters)는 대부분의 팀이 정성 조사에 너무 적은 자원을 투자한다고 말합니다. (참고 자료 - Greylock, 2017.6.6)
정성 조사는 분명 리소스가 많이 드는 일이지만, PA툴을 활용한 정량 분석을 통해 더 효율적이고 효과적인 정성 조사를 설계하여 진행할 수 있습니다. 반대로 PA툴로는 알 수 없는 ‘WHY’에 대한 질문을 정성 조사를 통해 채워 넣고 이는 또 다음 실험의 단서가 되어줍니다.
여러분이 PA툴을 도입하시기로 하셨거나 이미 도입된 상태라면, 이를 통해 정량 분석과 정성 분석 양쪽 모두를 보다 효율적/효과적으로 설계하여 사용자에 대한 360도 이해를 할 기회로 삼으시길 바랍니다. 특히 정량 분석에 사용할 툴을 고민 중이시라면 PA툴을 쉽게 비교할 수 있는 글을 참고해 보시길 바라며, 믹스패널을 사용하실 경우 360도의 사용자 행동 분석을 PA전문가들이 믹스패널의 CSM으로서 컨설팅을 함께 제공해 드리오니 많은 관심 바랍니다.
.svg)
