[코드스테이츠 PMB 15기] 국내외 서비스의 A/B 테스트 사례를 찾아보자

(W5D3)

 

 

 

 

 

오늘은 국내와 해외 서비스의 A/B 테스트 사례를 알아보려고 한다.

 

 

국내 서비스는 강남언니 프로덕트의 해외의 유저를 타깃으로 한 해외사업을 선정하였고,

해외 서비스는 넷플릭스를 선정하였다.

 

강남언니 프로덕트의 국내 버전 이야기는 많이 접했지만 국내 프로덕트의 해외 유저를 대상으로 한 서비스는 제대로 살펴본 적이 없어서 살펴보게 되었다.

넷플릭스는 A/B테스트를 자주, 또 효율적으로 활용하기 좋고 활용하는 프로덕트라는 생각에 보다 제대로 이해할 수 있을 것 같아서 선정하였다.

 

 

 

---

 

 

 

1. 먼저 강남언니의 해외 유저를 타깃으로 한 사업의 A/B 테스트 사례를 살펴보았다.

 

  1) 문제사항 정의
     마케팅을 통해서 유저를 많이 모집했지만, 회원가입 창에서의 이탈이 많아 회원가입으로 이어지지 않는다.

    회원가입을 완료하는 유저의 수는 로그인 화면을 보는 유저의 수의 59.9% 밖에 되지 않는다.

 

  2) 가설 설정

     일본 유저들이 액션을 취하기까지의 정보가 부족하다고 판단하였다.
    기존의 회원가입/로그인 화면에서 주는 정보의 양이 너무 적기 때문에 유저가 다운로드 한 어플이 무슨 어플인지 파악하기 어려워 전환이 되지 않을 것이라 가정하였다.

 

  3) 결론 도출

    일본 유저들에게 회원가입 단계에서 앱에 대한 정보를 제공해 전환율을 높여야한다는 결론을 도출하였다.

 

  4) 디자인 개선

    어플에 대한 정보를 다양하게 전달해주는 것에 집중하며 개선된 디자인 안을 3가지 마련하였다.

   어떤 정보를 통해 유저의 가입 전환율을 가장 높일 수 있을까?를 생각하며 이벤트 강조를 한 A안,

   어플 기능을 강조한 B안,

   어플 내용을 보여주는 C안을 만들었다. 
   추가로 한 가지를 더 개산하였다고 한다.
   시작하기 버튼이 너무 다양해서 무엇을 눌러야 할지 모르는 유저에게 하나의 방법을 강조해주어 고민할 시간을 줄여준다는 가설을 설정하여, 일본에서 가장 많이 사용하는 SNS 버튼만을 강조하고 나머지 버튼의 시각적 중요도를 낮춰주었다.

 

 

5) 실험

  실제 시험을 하였으나 모든 안이 기존 안 대비 하양 평준화되었다는 결과를 발견했다.

  

 6) 회고

   팀원들과 실험 결과에 대해서 회고를 해보았고 나온 이야기는 이런 것들이었다.

  변수가 너무 많았고, 적은 모수에 너무 많은 시안을 테스트 했다는 점과, 새로운 가설이 필요하다는 것이다.

 

 

  개인적으로는 강남언니라는 어플이 일본에서 해외 서비스로 제대로 자리를 잡으려면 일본의 문화와 트렌드에 대해서 제대로 파악을 해야 할 것 같다는 생각이 들었다.

 

그리고 강남언니라는 성형 어플이 주는 특성과
일본에선 성형이 어떤 인식으로 보여지는지,

SNS를 통한 가입이 유저들에게 사생활적으로 어느 정도의 공포과 걱정을 유발할지에 대해 심리적으로도 살펴봐야 할 것 같다는 생각이 들었다.

 

SNS를 통한 회원가입은 빠르고 간편하지만, 사생활 측면에서 안심해도 된다는 문구를 직관적으로 전달하는 UI를 만들면 어떨까 생각했다. 

 

 

 

 

 

 

 

2. 이번엔 넷플릭스의 A/B 테스트 사례를 살펴보았다.

 

넷플릭스 랜딩 페이지

1) 문제 정의
   넷플릭스는 입구를 단순하게 해야 한다는 것을 중요 과제로 선정하였다.

   랜딩 페이지를 개선하여 유저를 붙잡아 넷플릭스 내부로 끌고 들어와야 한다는 것에 초점을 두었다.

 

2) 가설 설정

   CTA(Click to Action) 버튼 카피 수정 테스트를 다양하게 뿌려서 각각의 성과를 살피며 어떤 카피가 가장 고객의 심리적 허들을 최소화할 수 있을지를 보고자 하였다.

 

3) 결론 도출, 실험 결과

  다양한 카피를 통해 CTA은 1개일 때 가장 큰 영향력을 발휘한다는 것을 발견하였고

  가입 버튼 아래 로그인 옵션이나, 더 알아보기에 해당하는 다른 버튼들을 추가하는 대안은 모두 취소하였다.
 

 

넷플릭스의 A/B테스트를 통해 사용자의 편의성을 중요시 하고 실용적인 기능을 추가하는 것도 중요하지만

가입률이라는 1순위 지표를 해칠만큼 중요한 것은 없다는 과감한 결정하는 것이

때로는 핵심 마케팅이 될 수 있다는 것을 알게 되었다.

 

 

 

 

---

 

 

 

 

두 사례들을 통해 각자 프로덕트가 가진 사업, 시장의 특성을 제대로 확인하고 객관적으로 적나라하게 알고 있어야 한다는 사실과 풀어놓고자 하는 공간(나라 등)에 대한 이해를 기반으로 해야 한다는 것을 다시 생각하게 되었다.

 

안전한 시도만이 아니라 도전적인 아이디어를 많이 꺼내놓고 시도해봐야 한다는 것을 상기하게 되었다.

 

많은 가설을 제시하고 안을 생각하고 꾸리고 실행하는 만큼 그것들을 제대로 놓치지 않도록 정리하고 결론을 파악하는데에 집착하는 것의 중요성을 다시 생각하게 되었다.