에이블리 데이터 분석가는 파편화된 데이터 속 가설을 세우고, 실험을 통해 검증하며 비즈니스 문제 해결에 몰입합니다. 비즈니스가 성장함에 따라 살펴야 하는 문제도 많아지고 있으며, 그 안에서 가장 중요한 문제가 무엇이고, 해결을 위해 무엇을 해야 할지 등도 데이터를 통해 가려내고 탐구하는데요. 현재 에이블리의 데이터 분석가가 전사 차원에서 고민하는 중요도 높은 문제와 그 문제의 해결 과정을 소개 드리고자 합니다!

1. 가드레일 문제

A/B 테스트를 할 때, 실험 결과에서 반드시 유지해야 하는 핵심 지표를 ‘가드레일 지표’라고 합니다. 하지만 실험을 진행하다 보면, ‘가드레일 지표는 떨어졌지만 통계적으로 유의미하지 않으니 이대로 실험군을 선정해도 될까?’라는 고민을 마주하게 됩니다. 그렇다면 이 상황은 정말 문제가 없다고 볼 수 있을까요? 그리고 그것을 판단할 수 있는 기준은 무엇일까요?

이에 대해 에이블리는 빠른 변화와 액션을 위해서 유의미하게 하락하지 않은 지표는 가드레일 통과라고 간주하는 ‘열등성 검정(Inferiority Testing)’으로 판단했습니다. 통계적 유의성을 만들 정도로 하락세가 크지 않았다는 판단과 함께, 현재 진행 중인 실험을 기반으로 다음 액션을 진행하는 것이 더욱 큰 비즈니스 임팩트를 만들 수 있단 생각이 기저에 있던 의사결정이었습니다.

그러나 에이블리 서비스가 가파르게 성장하고 있는 상황에서 열등성 검정(Inferiority Testing)은 지표의 작은 하락 가능성에도 기대 손실이 증가하는 문제가 발생했습니다. 따라서, 여러 스쿼드에서 커다란 손실의 가능성을 방지할 수 있는 가드레일 지표 설정의 필요성이 제기되었습니다.

그래서 에이블리는 정해진 마진 (NIM,Non-Inferiority Margin)까지 매출이나 구매 비율 등 지표의 하락 가능성이 없다면 가드레일을 통과한 것으로 판단하는 ‘비열등성 검정(Non-Inferiority Testing)’ 도입을 결정했습니다. 결정과 더불어, 한 피처에서 발생할 수 있는 손실 가능성의 기준이 될 NIM의 설정에 대해서도 고심하고 있는데요. 실험 기간, 분석 대상을 트리거링하는 조건, 기존 실험 중 가드레일 지표의 평균적인 상승률, 표준편차 등 다양한 요소를 고려해 설정하는 방법을 모색하고 있습니다.

단, 여기서 ‘손실이 우려되어 지표를 보수적으로 잡는 것’은 경계하고 있습니다. 이 경우, 가드레일 지표가 제 기능을 상실하고 ‘끌어올려야 하는 지표’로 그 의미가 변질되는 또 다른 골칫거리가 생기기 때문이죠.

2. 기여(Attribution) 문제

에이블리 유저가 아래의 과정을 거쳐 A 검정 코트를 구매했다고 가정해 보겠습니다.

그렇다면 이 구매는 어떤 지면의 기여 덕분에 이루어진 것일까요?

상품을 처음 발견한 검색 결과의 기여라고 보기에는 장바구니에 30일 정도 있었으니 검색 결과 지면의 기여는 이미 희석되었을 수도 있습니다. 그리고 장바구니 자체는 상품을 발견하게 해주는 화면이 아니므로 해당 구매에 기여했다고 보는 것은 무리가 있을 수 있습니다.

에이블리는 원래 (장바구니, 찜 등을 제외한) 가장 마지막으로 노출된 지면을 기준으로 기여를 할당하는 라스트 터치(Last-Touch Attribution) 방식을 사용했습니다. 하지만 서비스가 성장하고, 프로덕트의 복잡도가 증가하면서 라스트 터치 방식에 대해 아래와 같은 의문이 생겼습니다.

• 다양한 상품을 노출하는 페이지와 특정 상품만 노출하는 페이지 등 성격이 다른 페이지의 기여도를 동일하게 바라봐도 될까?
• 여러 번 노출된 상품의 기여를 단순하게 라스트 터치에 의한 기여로 간주하는 것이 과연 합리적일까?

이 문제를 해결하기 위해 현재는 특정 기간 동안 기여한 모든 지면을 기록하여 분석 목적에 맞게 다양한 기여 방식을 설정할 수 있도록 개선했습니다. 퍼스트 터치(First-Touch Attribution), 라스트 터치(Last-Touch Attribution), 멀티 터치(Multi-Touch Attribution) 등 다양한 기여 방식을 상황에 맞게 활용한 것인데요.

그러나 특정 기간을 얼마나 거슬러 올라가야 할지, 기여 방식이 화면이나 피처별로 다르게 적용될 필요는 없을지, 보편적인 기여 규칙 및 가이드 방법에 대한 논의가 지속적으로 이뤄지고 있습니다. 비용과 실용성을 고려하면서 효과적인 데이터 기반의 의사결정이 진행될 수 있도록 기여 모델을 지속적으로 다듬어 가고 있는 단계입니다.

에이블리의 데이터 분석가는 관성을 경계하며 끊임없는 챌린지를 통해 더 큰 임팩트를 만들어 가고 있습니다. 주어진 역할에 갇히지 않고 전사 비즈니스 방향에 대해 과감한 제안을 하거나 기술적 실험 방법론의 원칙을 정하는 등 다양한 역할에 도전해 볼 수 있는데요! 그리고 그 과정에서 도출된 결과가 빠르게 조직에 반영되어 변화의 순간을 지켜보는 짜릿함도 경험해 볼 수 있답니다.

데이터 기반의 의사결정을 신뢰하는 환경에서, 자유롭게 비즈니스의 성장을 주도하는 경험을 해보고 싶다면 언제든 에이블리의 문을 두드려 주세요!