서비스 개선, 고객 행동 속에 힌트가 있다:

UT(Usability Testing)

‍

요즘 넷플릭스에서 핫한 ‘흑백요리사’ 다들 보시나요?

흑백요리사 9화에서 정지선 셰프가 손님들이 남긴 잔반을 확인하고, 어떤 메뉴가 남았는지, 문제는 무엇인지, 손님이 불만족한 부분을 파악하여 메뉴를 개선하는 장면이 나옵니다. 심사위원인 백종원 셰프는 이를 보고 “이런 과정이 아주 중요하다. 재주문(리텐션)을 불러일으킨다”고 말하죠.

프로덕트 서비스에서도 이렇게 유저의 사용 모습을 관찰하고 불편한 점을 파악한 후 개선할 수 있는 방법이 있어요. 바로 UT(Usability Testing)입니다.

UT는 서비스가 실제 유저에게 어떻게 사용되는지를 관찰하고, 이를 통해 개선점을 찾는 과정이에요. 이를 통해 소비자의 만족도와 충성도를 높이며, 서비스의 리텐션을 극대화하는 데 중요한 역할을 해요.

이 글에서는 UT의 필요성과 방법, 기업(퍼블리)의 UT 활용 사례, 그리고 믹스패널 활용하여 UT 진행하는 법에 대해 자세히 알아볼게요

UT(Usability Testing)는 왜 필요한가요?

사용성 테스트 라고도 하는데요, 말 그대로 유저의 사용성을 확인하는 테스트에요. 주로 유저가 불편해하는 부분을 파악하기 위해 실시되며, 프로덕트 개선 후에는 서비스가 의도대로 사용되고 있는지를 확인하는 데 활용돼요.

유저를 직접 관찰함으로써 예상치 못한 문제점이나 유저 불편함을 조기에 발견하고 개선할 수 있도록 도와요. 이러한 과정은 전환율과 같은 핵심 성과 지표(KPI)를 개선하고, 고객 유지율(리텐션)을 극대화하여 비즈니스 목표 달성에 직접적인 영향을 미칩니다.

UT(Usability Testing) 어떻게 하나요?

‍

UT 프로세스

퍼소나 설계 & 목표 → 시나리오 & Task 설계 → 고객 리쿠르팅 → UT 진행

‍

1. 목표 설정 및 퍼소나 설계

UT 시작 전, 명확한 목표와 퍼소나 설계가 중요해요.

1. 명확한 목표

명확한 목표는 ‘UT가 필요한 지면 / 핵심 지표’는 정하고 진행이 필요해요.

"체크아웃 과정에서 발생하는 문제"를 개선하는 것이 목적이라면 우리의 목표 지면은 ‘체크아웃 지면’ 이 될 것이고 핵심 지표는 ‘결제하기 버튼 클릭’이 됩니다.

2. 퍼소나 설계

"체크아웃 과정에서 유저 어려움을 파악"하는 게 목적이라면 체크아웃 지면의 데이터를 바탕으로 퍼소나를 뾰족하게 만들 필요가 있어요.

1. 첫구매, 재구매자와 같은 사용 경험 수준을 고려
2. 모바일, 데스크탑과 같은 디바이스 사용 패턴을 기준으로
3. 간편결제 혹은 카드 결제와 같이 결제 방법 데이터를 기준으로

이렇게 해서 ‘최근 3개월 내에 모바일에서 간편결제로 제품을 구매한 사람’ 등으로 퍼소나를 뾰족하게 설계해 볼 수 있어요.

2. 과제(Task) 설계

UT에서 Task는 테스터에게 자연스러운 행동을 유도하 과제를 말해요.

예를 들어, "본인의 핸드폰을 사용하여 우리 브랜드에서 가장 최근에 주문했던 상품을 찾아 주문해보세요"와 같이, 실제 상황에 가까운 과제를 제공하여 유저의 실제 행동 패턴을 파악하는 것이 중요해요.

그리고 Task는 반드시 우리의 목표 지면과 지표를 기반으로 설계되어야 합니다.

3. 테스터 리크루팅

동일한 퍼소나를 가진 대상자를 설정하고, 리크루팅. 5명 정도가 적당해요. 5명의 테스터를 추천하는 이유는 Nielsen Norman Group에 따르면, 5명 정도의 테스터로 전체 사용성 문제의 약 85%를 발견할 수 있기 때문입니다.

‍

4. UT 진행

UT는 대면 인터뷰 혹은 Zoom, Lookback 같은 툴을 통한 비대면 인터뷰로 모두 진행 가능해요.

UT를 일관되게 운영하기 위해 템플릿을 활용해 보면 좋아요. 이를 통해 실험의 구조와 흐름을 정리할 수 있어요. 예를 들어, 템플릿에는 소개 및 인터뷰 안내, 기본적인 인적사항 질문, 과제 수행 및 녹화, 무드 그래프 그리기 등의 절차를 포함할 수 있어요.

‍

5. UT 결과 분석 및 활용

1. 결과분석

정량적 데이터(완료 시간, 오류)와 정성적 데이터(감정, 피드백)를 모두 종합하여 분석해야 해요. Task 완료 여부를 기준으로 성공/실패를 분석하고, 공통된 패턴이나 문제를 파악해 개선의 우선순위를 정합니다. 사용성 문제를 도출한 후, 실제 사용 중 느꼈던 불편함을 중심으로 어떤 문제가 반복되는지 파악하는 것이 중요해요.

2. 제품 개선

분석을 통해 도출된 인사이트를 기반으로 제품을 개선하고, 다시 UT를 진행해 수정 사항을 검증해요.

리멤버의 경우, UT를 통해 UI에서 특정 영역이 광고로 오해되어 클릭하지 않는 문제가 있던 것을 발견, 이를 콘텐츠 형태로 변경해 60% 이상의 클릭율 증가를 이끌어 냈습니다. 이러한 반복적인 테스트와 개선은 제품 완성도를 높이는 데 중요합니다.

‍

사례로 알아보는 UT(Usability Testing)로 인사이트 얻는 법

기존 사용성의 문제를 파악하기 위한 UT 외에도 개선사항에 대한 인사이트를 UT를 통해 얻는 사례도 있어요.

프로덕트 소셜 미디어 ‘퍼블리 뉴스’는 “카드 UI에서 코멘트 영역을 눈에 더 잘 들어오도록 강조하면, 코멘트 읽기 경험이 개선될 것이다”라는 가설을 설정하여 UT를 진행했어요.

실험 개요

• 대조군: 개선하기 전의 기존안
• A안: 기존안에서 프로필, 코멘트 글자 수 등을 변경한 카드 타입 레이아웃
• B안: 기존안에서 프로필, 코멘트 글자 수 등을 변경한 그리드 타입 레이아웃

‍

테스터들에게 이 세 가지 UI를 무작위로 보여준 후 5분 내외로 사용하게 했어요. 테스터의 행동, 표정, 언어적 표현 등을 관찰하고 후속 질문을 통해 심층적인 피드백을 받았어요.

실험 결과, 기존안이 더 좋다고 느낀 테스터는 5명 중 3명이었지만, 실험 안을 선택한 이유는 복합적이었어요. 더 많은 인사이트를 얻기 위해 요소별로 세분화하여 질문했더니, 5명의 사용자 중 4명이 직함의 명도가 높은 개선안을 선호했지만, 텍스트 가독성에서는 기존안이 더 편하다고 응답했어요. 이를 통해 사용자들이 가장 편리하게 사용할 수 있는 최종안을 완성했어요.

퍼블리의 사례처럼 UT를 통해 개선안에 대한 인터뷰를 진행 할 경우 정량적 결과와 정성적 결과를 동시에 얻을 수 있어요. 테스트 과정에서 소비자의 심리가 많이 반영되므로, 단순히 “기존안의 선호도가 높으니 기존안으로 가자”고 결정하기보다는, 요소별로 세분화하여 테스터에게 추가 질문을 통해 깊이 있는 인사이트를 얻는 것이 중요해요. 이렇게 하면 사용자의 선호와 불만족 요소를 더 명확하게 이해할 수 있습니다.

내용 출처: https://brunch.co.kr/@hijinnyjinny/18

믹스패널 활용하여 UT 진행하는 방법

믹스패널을 활용하여 UT의 목표지표를 수립하고, UT목적에 적합한 테스터를 리크루팅 할 수 있어요

믹스패널로 UT 목표지표 설정하기

아래 그래프는 리텐션 커브가 주로 보이는 세 가지 모양을 나타내는 사진입니다. 이 중 만약 리텐션 커브가 하락세를 보인다면(Declining 그래프와 유사), 유저들이 서비스의 핵심 가치를 제대로 경험하지 못했을 가능성이 높은거죠. 이런 경우 UT를 통해 우리의 의도와 맞지 않았던 부분이나 유저들이 핵심 가치를 느끼기 어려웠던 이유를 파악할 수 있어요.

믹스패널로 UT 테스터 발굴하기

1. 리텐션 설정하기

우리 서비스에 맞게 리텐션 설정을 완료하면, 왼쪽 시각화 섹션에서 리텐션 커브와 테이블 차트를 확인할 수 있어요.

그래프에 마우스를 올리면, 각각의 지점에서 지점별 리텐션 수치를 확인할 수 있답니다.

‍

2. 리텐션 유저 확인 및 UT 대상자 선별하기

위 그래프는 소셜 서비스 ‘포스트’ 에 관한 리텐션 그래프인데요, <1 Day 위에 커서를 올리면, 최초 포스팅 이후 24시간 이내에 다시 포스팅한 유저가 76%라는 것을 알 수 있어요. 반면 돌아오지 않은 유저가 약 24%임을 알 수 있어요.

커서를 올려뒀던 < 1 Day 지점을 클릭하면, “View retained users (리텐션 유저)”와 “View dropped off users(이탈 유저)” 유저 목록을 확인할 수 있습니다. 이 유저 목록을 CSV 형태로 내려받아 UT 제안을 할 수 있겠죠?

Breakdown을 활용하면, 특정 리텐션을 보인 유저들을 더 세밀하게 분석할 수 있어요.

Breakdown에서 Frequency Per User 옵션을 추가하면,‘Post’ 이벤트를 수행한 횟수로 유저 그룹을 나눌 수 있어 포스팅 횟수에 따른 리텐션 추이를 확인할 수 있습니다.

UT(사용성 테스트) 목적에 따라, 리텐션이 높은 유저 그룹이나 낮은 유저 그룹에게 각각 UT를 요청할 수 있어요. 만약, 서비스에 대한 이해도가 높은 테스터가 필요하다면, 리텐션이 높은 유저 그룹에게 UT를 제안할 수 있겠죠.

또 Breakdown을 통해 확인한 유저는 'Users' 탭을 통해 확인할 수 있어요.

1. 조건에 맞는 코호트: 먼저, 리포트에서 특정 조건(예: 특정 기간 동안 리텐션을 유지한 유저)을 충족하는 유저 그룹을 만들어야 해요. 이 그룹을 '코호트'라고 불러요
2. N번 수행한 유저만 걸러내기: 그 다음, 'Users' 탭으로 가서 1번에서 만든 코호트에 속하는 유저 중에서, 특정 이벤트(예: 포스팅)를 N번 수행한 유저를 찾아야 해요.

이렇게 선정된 유저에게는 팝업, 인앱 메시지, 이메일 등을 통해 UT를 제안할 수 있어요

‍

사용자를 관찰하고 서비스의 사용성을 평가하는 UT(Usability Testing)에 대해 알아보았어요. 오늘의 정보가 유용했길 바랍니다☘️

앞으로 마켓핏랩 솔루션즈는 IT 업계의 유용한 주제를 지속적으로 공유할 예정이에요. IT 관련 정보에 관심이 있거나 도움이 필요하신 분들은 언제든지 이메일을 남겨주시면, 더 흥미로운 이야기 들려드릴게요💛

‍