그로스 조직은 Activation, 그리고 Retention을 높이기 위해 퍼널을 분석하고 개선한다. 커머스 플랫폼을 떠올려보면 광고, 상품페이지, 회원가입, 장바구니, 결제까지의 6개 흐름이 기본적인 퍼널을 구성하고, 각 단계에서의 전환 과정이 얼마나 효과적으로 이루어지고 있는가를 분석하는 것이다.
만약 광고 클릭율은 높은데 상품페이지에서 대부분의 유저가 이탈한다면 타겟 세그먼트를 잘못 분류했거나 상품페이지의 흐름이 잘못 구성되었을 것이라 가정해볼 수 있다. 또는 가입 절차가 복잡할 수도 있다. 그리고 그 가정에 따라 기획안을 다시 살펴보고 타겟을 재정의하고, 광고 문구를 수정하거나 페이지를 재구성한다.
그러나 많은 경우 이러한 개선이 효과적이지 않다. 혹은 해당 퍼널 지표가 개선되었다 하더라도 최종 목표 지표인 Retention나 GMV(총 매출) 개선으로 이어지는 것은 또 다른 문제다.
따라서 특정 지표에 대한 실질적 개선 효용을 파악하기 위해서는 단기적 영향이 아닌 장기적 영향을 바라봐야 한다.
토스에서는 'AHA Moment'를 추출함으로써 이러한 영향관계를 판단한다. AHA Moment 추출 과정은 다음과 같다.
1. 가설 - AHA Moment
AHA Moment는 목표 지표(Feature)에 선행하며 'XX라는 행동을 YY라는 날짜 안에 ZZ번 한다'라는 문장으로 일반화할 수 있다. 따라서 AHA Moment를 추출하는 것은 XX, YY, ZZ라는 3가지 변수를 찾아내는 것과 같다.
2. XX 찾기 - SHAP Value 분석
SHAP은 Shapley Additive Explanations의 약자로 ML 모델의 변수 설명력(공헌도, feature importance)을 보여주기 위한 방법론이다. 즉 아래 이미지에서 xx1, xx2, ... , xx6까지 6개의 독립변수가 Feature Value(y)에 얼마나, 그리고 어떤 영향을 미치는가를 보여주고 있다.
xx1의 경우 SHAP Value가 음수일 때 Feature Value도 낮게(파란색) 나타나고, 양수일 때는 반대로(빨간색) 나타난다. 또한 SHAP Value가 음~양 전체에 걸쳐 Feature Value에 대해 전반적인 공헌을 하고 있으므로 가장 설명력이 높은, '양의 상관성'이 있는 변수라고 할 수 있겠다. 이렇게 AHA Moment 추출 과정의 첫번째, XX는 'xx1'이라는 것을 확인했다.
*참고로 파이썬에서 shap 라이브러리를 제공하고 있으며, ML 모델을 학습시킨 후 아래와 같이 코드를 작성하면 동일한 그래프를 확인할 수 있다.
import shap
expl = shap.Explainer(model)
shap_vals = expl(X)
shap.plots.beeswarm(shape_vals)
3. ZZ 찾기 - 최적해 도출
다음으로 우리는 어떤 액션을 해야 Target Action(여기서는 Ratention)이 유의하게 발생하는가를 확인해야 한다. 앞서 찾은 xx1이 가입 후 1주일 이내의 메시지 전송 수라고 가정해보자.(YY는 xx1 발견 과정에서 함께 추출될 수 있고 본 단계에서 YY를 찾을 수도 있다. 여기서는 이전 단계에서 yy=1w로 확인했음을 가정한다.) 개선하고자 하는 지표는 Retention이므로 '회원가입 이후 메시지를 N번 보낸 유저가 1주일 이내 다시 접속한다면 Retained 되는데(설명력이 있는데), 그렇다면 Retention을 극대화하는 최적의 N은 무엇인가?를 찾는 것이 목표다.
아래 이미지에서 좌측은 메시지를 1번 보낸 유저가 1주일 이내 다시 접속하는 경우의 볼륨(유저 수), 우측은 메시지를 8번 보낸 유저가 1주일 이내 다시 접속하는 볼륨이 되겠다.
좌측의 경우 재접속자의 다수를 설명해주고 있으나 Action(메시지 전송)을 한 사람들 중 일부만이 Retained 된 것이므로 Action이 너무 약한 것이다. 반면 우측의 경우 Action을 한 사람들 중 다수가 Retained 되었으나 해당 Retained 된 사람들이 해당 Action으로만 설명되지 않는 영역이 크다. 즉 Action이 너무 강한 것이다.
따라서 우리는 교집합 영역이 넓고, 대칭차집합(합집합-교집합)이 좁은 N(메시지 전송 수)을 찾아야 한다.
다만, 교집합 영역의 비율만 확인하는 경우 이를 인과성이 존재한다고 판단하기는 어렵다. 설명되지 않은 다른 변수로 인해 동시에 발생한, 즉 독립변수와 종속변수의 인과관계가 아닌 서로 다른 Y로서 동시에 영향을 받은 종속변수일 가능성도 존재하기 때문이다.(상관성은 있으나 인과성은 없는 경우) 따라서 토스에서는 인과성에 대한 해석력을 높이기 위해 교차 영역과 동시에 Retention 유저에 대한 Action(XX를 ZZ번 하는 것) 발생 확률을 함께 평가한다고 설명한다.
이렇게 최적의 ZZ(N)를 찾았다면 의도적으로 유저가 XX를 ZZ번 하는 Action을 할 수 있도록 유도하고, 그렇게 Action한 유저는 고래(헤비 유저)가 될 가능성이 높다.
이렇게 토스 PO SESSION에서 Retention을 높이기 위한 분석 방법론, 그 과정에서 Activation, 즉 AHA Mement를 정의하는 과정을 간단히 살펴보았다. 토스는 Activation을 The First Happy Experience라 정의할 만큼 유저의 사용 경험을 극대화하는 "주도적"인 장치로 인식하고 있다. Activation의 개선은 단순히 특정 퍼널 Conversion(ex. 회원가입 전환)을 높이는 것에 있는 것이 아니라 Target Action을 쉽게, 빠르게 경험하는 데에 있다. 이를 통해 장기적 목표 지표(여기서는 Retention)를 적극적으로 높여갈 수 있는 것이다.
참고) 토스 리더가 말하는 유저를 끌어당기는 서비스 개선 | PO SESSION