A/B 테스트 샘플 사이즈란?
샘플 사이즈는 A/B 테스트에서 신뢰할 수 있는 결론을 내리기 위해 각 variation에 필요한 최소 방문자 수입니다. 샘플이 부족하면 실제 개선 효과가 있어도 통계적으로 검출하지 못하고, 반대로 우연히 생긴 차이를 개선 효과로 오인할 위험이 커집니다.
무료 도구 · A/B 테스트
A/B 테스트 계산기
실험 전에는 필요한 방문자 수와 테스트 기간을, 실험 후에는 통계적 유의성과 샘플 비율 불일치(SRM)까지 무료로 확인해 보세요.
샘플 사이즈·기간·MDE·유의성 계산은 업계 표준인 신뢰수준 95%, 검정력 80%, 양측 z-검정(two-tailed)을 기준으로 하고, SRM 검사는 카이제곱 적합도 검정(유의수준 0.01)을 사용합니다.
샘플 사이즈 계산기
현재 전환율과 검출하고 싶은 기대 개선율을 입력하면 A/B 테스트에 필요한 variation당 방문자 수를 계산합니다.
variation당 필요 방문자 수
53,211
테스트 기간 계산기
일평균 방문자 수와 variation 수를 반영해 A/B 테스트를 며칠 동안 실행해야 하는지 계산합니다.
필요한 테스트 기간
107일
계산 결과가 더 짧더라도, 요일에 따른 방문자 행동 차이를 반영하려면 최소 14일(2주) 이상 실험을 실행하는 것을 권장합니다.
통계적 유의성 계산기
이미 진행한 A/B 테스트의 그룹별 방문자 수와 전환 수를 입력하면, 두 그룹의 전환율 차이가 통계적으로 유의한지 판정합니다.
통계적으로 유의한 차이입니다
- p-value
- 0.0175
- 대조군 전환율
- 3%
- 실험군 전환율
- 3.6%
- 상대 개선율
- +20%
샘플 비율 불일치(SRM) 검사기
그룹별 실제 노출된 샘플 수와 기대 비율을 입력하면, 트래픽이 의도한 비율대로 분배되었는지 카이제곱 적합도 검정으로 확인합니다. 요약 통계만 있어도 검사할 수 있습니다.
샘플 비율 불일치(SRM) 징후가 없습니다
관측된 그룹 크기와 기대 비율의 차이가 표본 변동으로 설명할 수 있는 수준입니다.
- p-value
- 0.1552
- 카이제곱 통계량
- 2.02
- 자유도
- 1
- 전체 샘플 수
- 19,800
| 그룹 | 관측 샘플 수 | 기대 샘플 수 | 관측 비율 / 기대 비율 |
|---|---|---|---|
| 1 | 10,000 | 9,900 | 50.51% / 50% |
| 2 | 9,800 | 9,900 | 49.49% / 50% |
p-value가 0.01보다 작으면 샘플 비율 불일치로 판정합니다. SRM 검사는 실험 결과를 판정하기 전에 데이터 품질을 확인하는 용도입니다.
최소 검출 가능 효과(MDE) 계산기
확보할 수 있는 variation당 방문자 수를 입력하면, 그 트래픽으로 통계적으로 검출할 수 있는 최소 개선율을 계산합니다.
검출 가능한 최소 개선율 (상대값)
10.32%
샘플 사이즈, 왜 미리 계산해야 하나요?
테스트 전에 샘플 사이즈를 계산해야 하는 이유
실험을 시작한 뒤 결과를 반복해서 확인하다가 유의해지는 순간 실험을 멈추는 행동(peeking)은 잘못된 판정을 크게 늘립니다. 실험 시작 전에 필요한 샘플 사이즈와 기간을 정해두고, 그 기준을 채운 뒤 결과를 판정해야 실험을 신뢰할 수 있습니다.
최소 검출 가능 효과(MDE) 이해하기
MDE(Minimum Detectable Effect)는 실험으로 검출하고자 하는 가장 작은 개선율입니다. MDE를 작게 잡을수록 필요한 샘플이 급격히 늘어납니다. 예를 들어 전환율 3%에서 상대 개선율 10%를 검출하려면 variation당 약 5만 3천 명이 필요하지만, 5%를 검출하려면 약 21만 명이 필요합니다. 확보 가능한 트래픽에 맞춰 현실적인 MDE를 설정하는 것이 실험 설계의 핵심입니다.
샘플 비율 불일치(SRM)란?
SRM(Sample Ratio Mismatch)은 각 그룹에 실제로 배정된 샘플 수가 의도한 비율과 크게 다른 현상입니다. 50:50으로 설계한 실험에서 한쪽이 뚜렷하게 적다면 랜덤 배정 오류, 이벤트 누락, 봇 트래픽, 특정 환경의 로딩 실패 같은 데이터 품질 문제가 있을 수 있습니다. 이때는 전환율 비교 자체가 왜곡되므로, 결과를 판정하기 전에 원인을 먼저 확인해야 합니다. SRM 검사기는 관측 샘플 수와 기대 비율만으로 카이제곱 적합도 검정을 수행하며, p-value가 0.01보다 작으면 불일치를 경고합니다.
계산에 사용하는 통계 기준
샘플 사이즈·기간·MDE·유의성 계산기는 두 비율 비교를 위한 양측 z-검정(two-proportion z-test)을 기준으로 하며, 신뢰수준 95%(α=0.05)와 검정력 80%(β=0.2)를 사용합니다. 대부분의 A/B 테스트 도구가 채택하는 업계 표준 설정입니다. SRM 검사기는 성격이 다른 검정이므로 카이제곱 적합도 검정과 유의수준 0.01을 사용합니다.
자주 묻는 질문
A/B 테스트 샘플 사이즈 계산기는 어떻게 사용하나요?
현재 전환율과 검출하고 싶은 기대 개선율(MDE)을 입력하면 variation당 필요한 방문자 수가 계산됩니다. 일평균 방문자 수까지 입력하면 필요한 테스트 기간도 확인할 수 있습니다.
신뢰수준 95%와 검정력 80%는 무엇을 의미하나요?
신뢰수준 95%는 실제로는 차이가 없는데 차이가 있다고 잘못 판단할 확률(1종 오류)을 5% 이하로 제한한다는 뜻입니다. 검정력 80%는 실제로 차이가 있을 때 이를 검출해 낼 확률이 80%라는 뜻입니다. 두 값 모두 A/B 테스트에서 가장 널리 쓰이는 업계 표준입니다.
A/B 테스트는 최소 며칠 동안 실행해야 하나요?
계산된 샘플 사이즈를 더 빨리 채우더라도 최소 14일(2주) 이상 실행하는 것을 권장합니다. 요일마다 방문자의 행동 패턴이 다르기 때문에, 2주 미만의 실험은 특정 요일 효과에 결과가 왜곡될 수 있습니다.
트래픽이 적으면 A/B 테스트를 할 수 없나요?
가능합니다. 다만 작은 개선율을 검출하려면 많은 샘플이 필요하므로, 트래픽이 적다면 MDE 계산기로 현실적으로 검출 가능한 개선율을 먼저 확인하세요. 작은 문구 수정보다 페이지 전면 개편처럼 큰 변화를 만드는 실험부터 시도하는 것이 효율적입니다.
통계적 유의성이란 무엇인가요?
두 그룹의 전환율 차이가 우연에 의한 것일 가능성이 충분히 낮다는 뜻입니다. 일반적으로 p-value가 0.05보다 작으면(신뢰수준 95% 기준) 통계적으로 유의하다고 판단합니다.
이 계산기의 결과는 핵클 대시보드의 실험 분석과 동일한가요?
이 계산기는 실험 설계 단계에서 사용하는 표준 공식(two-proportion z-test) 기반의 추정치입니다. 핵클 대시보드는 수집된 실험 데이터에 대해 빈도주의·베이지안 통계 분석을 제공하므로, 실제 실험 결과 판정은 대시보드의 분석 결과를 기준으로 하세요.
그룹별 샘플 수가 기대한 비율과 다르면 어떻게 해야 하나요?
먼저 SRM 검사기로 그 차이가 우연히 생길 수 있는 수준인지 확인하세요. p-value가 0.01보다 작으면 랜덤 배정이나 데이터 수집에 문제가 있을 가능성이 높습니다. 이 경우 실험 결과를 그대로 해석하지 말고 SDK 연동 위치, 특정 플랫폼·브라우저의 이벤트 누락, 봇 트래픽 필터링 여부를 점검한 뒤 실험을 다시 실행하는 것이 안전합니다.
