A/B 테스트 유의성 계산기
A/B 테스트 결과가 통계적으로 유의미한지 확인하세요.
—
사용 예시
새 버전을 전체 배포할지 결정하기
B 버전의 전환율이 더 높은 게 실제 개선인지 단순한 우연인지, 전체 배포 전에 확인하세요.
테스트를 일찍 끝내도 되는지 확인하기
현재 결과가 이미 통계적으로 유의미한지, 아니면 데이터를 더 모아야 하는지 확인하세요.
헤드라인이나 버튼 디자인 두 가지 비교하기
각 버전의 방문자 수와 전환 수를 입력해, 숫자가 커 보이는 쪽이 아니라 실제로 더 나은 쪽을 확인하세요.
가격 페이지 실험 평가하기
두 가지 가격 페이지 레이아웃의 방문자 수와 전환 수를 입력해, 어느 쪽을 유지할지 결정하기 전에 데이터가 어떻게 갈리는지 확인하세요.
결과 정리 전 지난 테스트 다시 검토하기
완료된 테스트의 최종 방문자 수와 전환 수를 다시 입력해, 결과를 문서화하기 전에 p-값과 신뢰수준을 한 번 더 확인하세요.
자주 묻는 질문
'통계적으로 유의미하다'는 게 정확히 무슨 뜻인가요?
선택한 신뢰수준 기준으로, 관찰된 차이가 단순한 우연일 가능성이 낮다는 뜻입니다. '95% 신뢰수준'의 가장 흔한 기준은 p-값 0.05 미만입니다. 이것이 차이가 크거나 중요하다거나, 앞으로도 영원히 유지된다는 뜻은 아닙니다 — 단지 현재 표본 크기에서 단순 노이즈일 가능성이 낮다는 뜻일 뿐입니다.
'유의미한' 결과도 틀릴 수 있나요?
네. 95% 신뢰수준에서도 정의상 약 20번 중 1번은 가짜 양성(false positive)일 수 있습니다. 또한 유의성은 여러 테스트를 동시에 돌리거나, 결과가 좋아 보이자마자 테스트를 멈추는 경우(피킹)를 고려하지 않는데, 이 둘 다 원래 p-값이 암시하는 것보다 실제 가짜 양성 확률을 더 높입니다.
표본 크기가 작은데 믿어도 되나요?
표본이 작으면 나중에 데이터가 더 쌓이면 사라지는 '유의미한' 결과가 더 쉽게 나타나고, 실제로 존재하지만 적당한 크기의 차이는 더 찾기 어려워집니다. 작은 표본의 결과는 신중하게 받아들이고, 테스트를 더 오래 진행하는 것을 고려하세요.
입력한 값이 서버로 전송되나요?
아니요. 모든 계산은 브라우저 안에서만 이루어지며 서버로 전송되지 않습니다.
절대 리프트와 상대 리프트는 어떻게 다른가요?
절대 리프트는 두 전환율의 단순한 차이입니다(예: 12%에서 10%를 빼면 2%p 절대 리프트). 상대 리프트는 같은 차이를 원래 비율 대비 백분율로 표현한 것입니다(10% 기준에서 2%p 차이는 20% 상대 리프트). 숫자가 더 커 보인다는 이유로 헤드라인에는 상대 리프트가 자주 인용되니, 결론을 내리기 전에 어느 쪽이 보고되고 있는지 확인하세요.
Z-점수는 실제로 무엇을 나타내나요?
Z-점수는 표본 크기를 고려했을 때, 대조군과 변형군 사이에 관찰된 차이가 0(차이 없음)에서 표준편차 몇 개만큼 떨어져 있는지를 나타냅니다. 테스트의 통계적 가정이 성립한다면, Z-점수(방향에 상관없이)가 클수록 보통 p-값이 더 작고 실제 차이가 있다는 증거가 더 강하다는 뜻입니다.
이 도구가 테스트를 얼마나 더 진행해야 하는지도 알려주나요?
아니요. 이 계산기는 지금까지 입력한 데이터만 평가할 뿐, 필요한 표본 크기나 최소 테스트 기간을 미리 계산해주지는 않습니다. 테스트를 계획하려면 기준 전환율, 최소 탐지 가능 효과, 원하는 검정력을 반영하는 별도의 표본 크기 계산기가 필요합니다.
입력한 데이터가 서버로 전송되나요?
아니요. 모든 계산은 브라우저 안에서만 이루어지며 서버로 전송되지 않습니다.