쿠폰 효과 측정은 미발송 그룹과 비교해 증분 구매 1건당 쿠폰비를 범위로 구해야 합니다. 코호트로 비교 그룹을 떼어 두는 법, 행사 후 2주 후속 메시지와 구매율 비교, 쿠폰 금액별 비교까지 정리했어요.
월요일 회의에 행사 결과가 올라와요. 쿠폰 사용 건수는 많고 행사 매출도 전주보다 높습니다. 그런데 누군가 묻습니다. 쿠폰이 없었어도 샀을 고객은 몇 명이었나요?
쿠폰 효과 측정은 이 질문에 답하는 일입니다. 쿠폰을 쓴 사람 수가 아니라 쿠폰을 보내지 않았다면 사지 않았을 사람 수를 세야 하기 때문이에요. 이 글에서는 행사 기간의 증분을 구하는 법과 행사 후 2주의 구매율을 비교하는 법을 다룹니다. 행사 전에 비교 그룹을 떼어 두는 방법, 행사 후 2주 동안의 후속 메시지, 쿠폰 금액별 구매율 비교까지 이어서 정리합니다.
쿠폰을 받은 고객이 구매했다고 해서 쿠폰이 구매를 만든 것은 아닙니다. 어차피 살 고객에게 쿠폰이 붙으면 매출은 그대로이고 할인 비용만 늘어요. 이 차이를 보려면 쿠폰을 받지 않은 비교 그룹, 즉 미발송 그룹(홀드아웃)이 필요합니다. 쿠폰 덕에 늘어난 구매를 증분 구매라고 부릅니다.
계산은 단순합니다. 가상 예시로 쿠폰을 보낸 고객 18,000명의 구매 전환율이 6.0%, 쿠폰을 보내지 않은 고객 2,000명의 구매 전환율이 4.5%였다고 해 볼게요. 구매 1건은 고객 1명이 1번 산 것으로 단순화합니다.
쿠폰 사용 건수만 보면 성공한 행사입니다. 하지만 구매 1건을 더 만드는 데 2만 원이 든 셈이라, 이 숫자가 증분 구매 1건이 남기는 마진(이익)보다 작은지가 판단 기준이 돼요. 증분 계산식은 쿠폰 혜택 A/B 테스트 글에서도 다뤘으니 함께 보세요.
이 예시의 미발송 그룹은 2,000명이고 구매는 90건 안팎입니다. 이 정도 규모에서는 1.5%p 차이도 오차 범위가 커서, 95% 신뢰구간으로 보면 약 0.5~2.5%p입니다. 1.5%p를 0.5%p와 2.5%p로 바꿔 계산하면 증분 1건당 쿠폰비는 약 1.2만~6만 원 범위입니다. 그래서 2만 원 하나가 아니라 범위로 읽어야 해요. 미발송 그룹을 몇 명으로 할지는 행사 전에 정하세요. 기대 전환율(예: 4.5%), 보고 싶은 최소 차이(예: 1.5%p), 그룹 비율을 표본 크기 계산기에 넣으면 필요한 인원을 구할 수 있습니다.
이미 행사가 끝났는데 미발송 그룹을 만들지 못했다면, 이번 행사의 증분은 정확히 알 수 없습니다. 쿠폰을 쓰지 않은 구매자와 비교하는 방법도 있지만, 쿠폰이 필요 없던 고객과 필요했던 고객이 섞여 결과가 한쪽으로 기울어요. 이번 행사 보고서에는 이번 수치를 증분이 아니라 쿠폰 사용 건수로 적어 두고, 다음 행사부터 아래 순서로 비교 그룹을 만들어 두는 것이 현실적입니다.
행사 전에 쿠폰 대상 고객 일부를 무작위로 빼 두어야 해요. 비율에 정답은 없고, 쿠폰 대상 규모와 기대 전환율에 맞춰 필요한 인원부터 계산해서 정합니다.
광고성 메시지는 수신 동의·표기 의무가 있어요. 자세한 기준은 광고 문자 체크리스트에서 확인하세요.
Static 코호트는 만든 뒤 직접 수정할 수 없고, 파일을 다시 올려 목록 전체를 바꾸는 방식만 가능합니다. 행사 도중에 대상을 고치기보다 처음에 목록을 확정해 두는 편이 안전해요.
비교가 흐려지는 경로도 미리 막아야 합니다. 같은 쿠폰이 푸시·인앱·광고로 나가면 미발송 그룹도 쿠폰을 받습니다. 쇼핑몰 쿠폰이 전원 자동 발급이거나 행사 페이지에서 누구나 내려받는 방식이어도 마찬가지예요. 쿠폰 발급 대상을 회원 단위로 묶고 미발송 목록은 쿠폰 시스템에서도 제외되는지 행사 전에 확인하세요. 쿠폰 유효기간은 행사 종료일에 맞추세요. 행사 뒤에도 쿠폰을 쓸 수 있으면 행사 후 2주의 구매에 쿠폰 사용이 섞입니다.
행사가 끝나면 두 그룹의 구매자 수를 같은 기간으로 뽑습니다. 핵클에서는 데이터 분석의 사용자 그룹 필터에 코호트를 걸어 코호트 단위로 분석할 수 있어요. 구매자 수는 여러 날에 걸쳐 산 고객을 한 명으로 센 기간 전체 값이어야 하니, 일별 값을 더하지 말고 주문 데이터에서 그룹별로 기간 전체의 구매 회원 수를 세세요. 구매 전환율의 분모는 각 그룹으로 올린 인원 수입니다.
행사에서 구매한 고객 중에는 행사 날 한 번 사고 사라지는 고객이 많을 수 있어요. 우리 쇼핑몰이 그런지는 지난 행사 구매자의 이후 재구매 기록으로 확인해 보세요. 그런 경향이 보인다면 행사 후 2주는 재구매로 이어질지 볼 수 있는 구간이에요.
후속 메시지는 구매 여부와 상관없이, 앞에서 만든 쿠폰 대상 전체 코호트로 발송·미발송 그룹 모두에게 같은 날 같은 내용으로 보내세요. 쿠폰 때문에 푸시 수신 동의가 늘 수 있으니, 대상 목록은 행사 전 기준으로 푸시를 받을 수 있는 고객으로 정해 두세요. 구매한 사람에게만 보내면 구매율이 높은 발송 그룹이 후속 메시지를 더 많이 받아서, 구매율 차이에 쿠폰 효과와 후속 메시지 효과가 섞입니다.
후속 메시지는 푸시로 보내고, 핵클에서는 푸시 메시지 대상을 코호트로 정할 수 있어요. 인앱 메시지는 앱을 연 고객에게만 보여서 쿠폰을 받아 더 자주 방문한 발송 그룹이 더 많이 보게 되니, 비교용 후속 메시지로는 쓰지 마세요. 그다음 비교는 행사 종료 다음 날부터 14일 동안 각 그룹의 구매자 수를 배정 인원으로 나눠 봅니다. 쿠폰이 행사 뒤에 했을 구매를 행사 기간으로 앞당길 수 있으니, 행사 기간과 이 2주를 합친 구매율도 함께 비교하세요.
후속 메시지에는 쿠폰이나 할인을 넣지 않습니다. 넣으면 미발송 그룹도 쿠폰을 받아 비교가 흐려져요. 후속 메시지 자체의 효과가 궁금하다면 다음 행사에서 메시지를 받는 그룹과 받지 않는 그룹을 따로 나눠 같은 방식으로 비교해 보세요.
3,000원 쿠폰을 받은 고객과 5,000원 쿠폰을 받은 고객의 행사 후 구매율을 나란히 놓으면 바로 결론이 나올 것 같습니다. 그런데 먼저 금액이 어떻게 배정됐는지 봐야 해요. 구매 이력이 많은 고객에게 큰 금액을 줬다면 구매율 차이는 금액이 아니라 고객 차이일 수 있습니다.
무작위로 배정하려면 앞의 나누기 단계에서 쿠폰 대상 목록을 금액별로도 함께 나눕니다. 예를 들어 3,000원 목록, 5,000원 목록, 미발송 목록을 각각 코호트로 올리고, 전체 목록에는 모든 금액 그룹을 포함합니다. 목록을 나누고(그룹이 늘수록 그룹당 인원이 줄어드니 그룹마다 필요한 인원을 따로 계산하세요), 행사가 끝난 다음 날부터 14일 동안 각 목록의 구매자 수를 배정 인원으로 나누면 행사 후 2주 구매율을 금액별로 비교할 수 있어요. 큰 금액일수록 구매를 행사 기간으로 더 많이 앞당길 수 있으니, 행사 기간과 2주를 합친 구매율도 금액별로 함께 비교하세요.
행사 후 쿠폰 효과를 보는 기준은 네 가지입니다.
다음 행사 전에 할 일은 이렇습니다. 쿠폰 대상 고객 일부를 무작위로 떼어 쿠폰 미발송 그룹으로 만들고, 발송 그룹과 전체 목록까지 코호트로 올려 두세요. 쿠폰 유효기간을 행사 종료일에 맞추는 것도 잊지 마세요. 이 준비가 행사 기간과 행사 후 2주 비교의 기준이 됩니다.
우리 몰 쿠폰 효과를 미발송 그룹으로 어떻게 재 볼지 고민된다면, 핵클 팀과 함께 설계해 보세요.
