AB테스트 표본 수: 그룹당 전환 몇 건이면 결과를 믿을 수 있나

AB테스트 표본 수는 "며칠 돌렸는가"나 "얼마 썼는가"로 정해지지 않습니다. 기준 전환율과 확인하려는 차이의 크기로 정해지는 숫자입니다.

결론부터 말하면, 광고 AB테스트에서 20% 정도의 차이를 가려내려면 그룹당 전환이 대략 400건 필요합니다. 50% 이상 벌어지는 큰 차이라면 그룹당 60~70건으로도 판단할 수 있습니다. 대부분의 계정에서 "전환 20건씩 모였으니 결론 내자"는 판단이 틀리는 이유가 바로 여기에 있습니다.

아래에서 표본 수를 계산하는 공식, 계정 규모별로 현실적인 기준, 표본이 부족할 때 대처하는 방법을 순서대로 설명합니다.

1. AB테스트 표본 수가 부족하면 생기는 일

표본이 적으면 우연이 실력처럼 보입니다

소재 A와 B를 똑같은 소재로 만들어서 동시에 돌려도, 처음 며칠은 성과가 다르게 나옵니다. 한쪽 CPA가 1.5배 높게 찍히는 일도 드물지 않습니다.

광고 성과에는 원래 무작위 변동이 섞여 있기 때문입니다. 표본이 적으면 이 변동이 실제 차이보다 크고, 표본이 늘어날수록 변동은 줄고 실제 차이만 남습니다.

그래서 AB테스트 표본 수는 "이 차이가 우연이 아니라고 말할 수 있을 만큼 데이터가 모였는가"를 판단하는 기준입니다.

실무에서 자주 보는 장면

테스트 초반에 이런 숫자가 나오는 경우가 많습니다.

얼핏 보면 A가 확실히 이긴 것 같습니다. 하지만 전환 25건과 18건은 통계적으로 구분이 안 되는 숫자입니다. 이 정도 표본에서는 두 소재 성과가 똑같아도 이 정도 차이가 꽤 자주 나옵니다.

이 상태에서 B를 끄고 A에 예산을 몰면, 2~3주 뒤 A의 전환율이 2.0% 근처로 내려오는 경우가 흔합니다. 처음 A가 높았던 이유가 소재의 힘이 아니라 운이었기 때문입니다.

-> 표본이 부족한 상태에서 내린 결론은 "이긴 소재"를 고른 게 아니라 "운이 좋았던 소재"를 고른 것일 수 있습니다.

표본 수를 결정하는 세 가지 변수

AB테스트 표본 수는 아래 세 가지 변수로 정해집니다.

① 기준 전환율(또는 CTR): 지금 평소 수준이 몇 %인가
② 최소 검출 효과(MDE): 몇 % 이상의 차이만 "의미 있다"고 볼 것인가
③ 신뢰수준과 검정력: 보통 신뢰수준 95%, 검정력 80%를 씁니다

이 중 실무에서 가장 크게 움직이는 건 ②번입니다. 확인하려는 차이가 절반으로 줄면 필요한 표본은 4배로 늘어납니다. 표본 수는 차이의 제곱에 반비례하기 때문입니다.

2. AB테스트 표본 수 계산법: 공식과 기준표

실무용 근사 공식

신뢰수준 95%, 검정력 80% 기준으로 그룹당 필요한 표본 수는 아래 근사식으로 구할 수 있습니다. 통계학에서 널리 쓰이는 간이 공식(Lehr의 공식)입니다.

그룹당 표본 수 ≈ 16 × p × (1 − p) ÷ δ²

• p: 기준 전환율 (예: 2% → 0.02)

• δ: 확인하려는 절대 차이 (예: 2% → 2.4%라면 0.004)

예를 들어 전환율 2%인 랜딩에서 2.4%로 오르는지(상대 20% 개선) 확인하려면,

16 × 0.02 × 0.98 ÷ 0.004² ≈ 19,600 클릭(그룹당)

이 필요합니다. 두 그룹을 합치면 약 4만 클릭입니다.

핵심은 "그룹당 전환 수"로 바꿔 보는 것입니다

클릭 수로 보면 감이 잘 안 옵니다. 위 공식을 전환 수로 바꾸면 훨씬 단순해집니다.

그룹당 필요 전환 수 ≈ 16 ÷ (상대 개선율)²

전환율이 낮은 구간(1~5%)에서는 기준 전환율과 거의 상관없이 이 값이 비슷하게 나옵니다.

※ 기준 전환율 2%, 신뢰수준 95%, 검정력 80% 기준 근사값

이 표가 말해주는 건 분명합니다.

-> "전환 50건씩 모였으니 판단하자"는 기준은 두 그룹 차이가 50% 이상 벌어질 때만 성립합니다.
-> 10~20% 수준의 미세한 개선을 확인하려면, 대부분의 중소 계정에서는 현실적으로 불가능한 표본이 필요합니다.

CTR 테스트는 노출 기준으로 계산합니다

소재의 후킹만 비교하는 CTR 테스트라면 노출 수가 표본이 됩니다. CTR 1% 기준으로 계산하면 아래와 같습니다.

• CTR 1.0% → 1.2% (상대 20%) 확인: 그룹당 약 39,600 노출

• CTR 1.0% → 1.5% (상대 50%) 확인: 그룹당 약 6,300 노출

노출은 전환보다 훨씬 빨리 쌓이기 때문에, CTR 테스트는 소규모 계정에서도 며칠이면 표본을 채울 수 있습니다. 표본이 부족한 계정에서 CTR 같은 상위 지표 테스트가 유용한 이유입니다.

ROAS·객단가 테스트는 표본이 더 필요합니다

전환율은 "했다/안 했다" 두 값만 있는 지표지만, ROAS와 객단가는 주문마다 금액이 다릅니다. 한 건의 대량 주문이 전체 ROAS를 끌어올리기도 합니다.

그래서 같은 그룹당 전환 수라도 ROAS 비교는 전환율 비교보다 결과가 훨씬 불안정합니다. 실무에서는 ROAS 차이로 승자를 정하기 전에 전환율 차이가 먼저 유의한지 확인하고, 상위 1~2건의 고액 주문을 뺐을 때도 결론이 유지되는지 같이 봅니다.

메타 광고 성과 분석: 비교 구간·분해·표본 3가지 기준

3. 광고 계정에서 AB테스트 표본 수 확보하는 기준

1단계: 예산으로 역산하기

표본 수를 계산했으면 바로 예산으로 바꿔봐야 합니다. 테스트를 시작해도 되는지가 여기서 갈립니다.

필요 테스트 예산 ≈ 그룹당 필요 전환 수 × 그룹 수 × 현재 CPA

예를 들어 CPA가 2만 원인 계정에서 상대 30% 차이를 확인하려면,

175건 × 2그룹 × 20,000원 ≈ 700만 원

이 테스트에만 필요합니다. 월 광고비가 300만 원인 계정이라면 이 테스트는 시작 단계에서부터 결론이 나지 않도록 설계된 셈입니다.

이럴 때는 테스트를 포기할 게 아니라 질문을 바꿔야 합니다. 뒤에서 설명할 방법(상위 지표로 바꾸기, 차이를 크게 만들기)을 먼저 검토하는 편이 맞습니다.

2단계: 기간은 최소 7일, 요일 주기를 채우기

표본 수를 채웠더라도 기간이 너무 짧으면 결과가 왜곡됩니다. 광고 성과는 요일마다 다르게 움직이기 때문입니다.

• 주말에 전환율이 오르는 카테고리

• 월요일·화요일에 CPM이 오르는 업종

• 월급일 전후로 객단가가 바뀌는 상품

이런 패턴이 있는 상태에서 3일만 돌리면, 특정 요일 효과가 그대로 결과에 섞입니다. 그래서 표본 수와 별개로 최소 7일, 가능하면 14일 단위로 끊어서 판단합니다.

반대로 4주 이상 길게 끌면 시즌 변화, 소재 피로도, 경쟁 입찰 변화가 섞여 들어옵니다. 표본을 채우는 데 4주 이상 걸린다면 테스트 설계 자체를 다시 보는 게 좋습니다.

3단계: 중간에 들여다보고 끝내지 않기

AB테스트에서 가장 흔한 실수는 "매일 보다가 유의해 보이는 날 멈추는 것"입니다.

매일 결과를 확인하면서 신뢰도가 95%를 넘는 순간 테스트를 끝내면, 실제로는 차이가 없는데도 차이가 있다고 판단할 확률이 크게 올라갑니다. 데이터가 쌓이는 동안 신뢰도는 오르락내리락하는데, 그중 우연히 높게 찍힌 순간을 골라내는 셈이기 때문입니다.

실무 기준은 단순합니다.

① 테스트 시작 전에 필요한 표본 수와 종료일을 먼저 적어둡니다
② 그 전에는 "망가진 게 없는지"만 확인하고, 승패 판단은 하지 않습니다
③ 종료일에 한 번 판단합니다

-> 중간 확인은 세팅 오류 점검용이지, 결론을 내리는 용도가 아닙니다.

4단계: 그룹이 3개 이상이면 기준을 높이기

A/B/C/D 네 개 소재를 한 번에 비교하면, 하나쯤은 우연히 좋아 보일 확률이 높아집니다. 비교 횟수가 늘수록 "가짜 승자"가 나올 가능성도 같이 늘어납니다.

그래서 그룹이 3개 이상이면 아래 둘 중 하나를 택합니다.

• 그룹당 표본을 2그룹 테스트보다 더 넉넉히 확보한다

• 1차로 CTR 같은 상위 지표에서 후보를 2개로 줄이고, 2차로 전환 기준 A/B를 다시 돌린다

예산이 한정된 계정이라면 두 번째 방식이 훨씬 현실적입니다.

메타 A/B 테스트 설정: 결과를 믿을 수 있게 만드는 4단계 기준

4. 표본 수가 부족할 때: 실패 사례와 대처법

실패 사례: 전환 20건으로 랜딩을 바꾼 경우

한 브랜드에서 상세페이지 상단 구성을 바꾸는 테스트를 진행한 경우가 있습니다. 1주일 동안 기존안은 전환 22건, 새 안은 31건이 나왔고, 전환율로 보면 약 40% 개선이었습니다.

숫자만 보면 확실한 승리였기 때문에 새 안을 전면 적용했습니다. 그런데 이후 한 달 동안 전환율은 기존과 거의 같은 수준으로 돌아왔습니다.

위 기준표로 다시 보면 이유가 보입니다. 40% 차이를 확인하려면 그룹당 100건 안팎의 전환이 필요한데, 실제로는 그 4분의 1도 모이지 않은 상태에서 결론을 냈습니다. 결과적으로 "개선된 랜딩"이 아니라 "운이 좋았던 1주일"을 채택한 셈입니다.

이런 판단이 반복되면 더 큰 문제가 생깁니다. 효과 없는 변경이 계속 쌓이면서, 팀 안에서 "AB테스트는 해봐야 소용없다"는 인식이 생기기 쉽습니다.

대처 ①: 상위 지표로 질문을 바꾸기

구매 전환이 부족하면, 퍼널 위쪽에서 더 자주 일어나는 지표로 테스트합니다.

단, 상위 지표와 최종 구매가 같은 방향으로 움직인다는 보장은 없습니다. CTR은 높은데 구매로 이어지지 않는 자극적인 소재가 대표적인 예입니다. 그래서 상위 지표로 승자를 고른 뒤에는, 일정 기간 실제 구매 지표가 무너지지 않는지 함께 확인합니다.

대처 ②: 차이를 크게 만들기

표본 수는 확인하려는 차이의 제곱에 반비례합니다. 다르게 말하면, 비교하는 두 안의 차이를 크게 만들면 필요한 표본이 급격히 줄어듭니다.

• 버튼 색상, 문구 한 단어 수정 → 차이가 작아서 수천 건의 전환이 필요

• 소구 포인트 자체를 바꾼 소재(가격 소구 vs 효능 소구) → 차이가 커서 수십~수백 건으로 판단 가능

소규모 계정일수록 미세 조정 테스트보다 방향 자체가 다른 안을 비교하는 테스트가 효율적입니다. 미세 조정은 계정이 커지고 전환이 충분히 쌓인 뒤에 해도 늦지 않습니다.

대처 ③: 결론을 "보류"로 두기

표본이 기준에 못 미쳤는데 종료일이 됐다면, 결론은 "A 승리"나 "B 승리"가 아니라 "차이 없음, 또는 판단 불가"입니다.

이때 선택지는 세 가지입니다.

• 테스트를 1~2주 연장해 표본을 더 확보한다

• 운영상 편한 쪽(제작비가 낮은 쪽, 브랜드 톤에 맞는 쪽)을 고르고 넘어간다

• 질문을 바꿔 다음 테스트를 설계한다

중요한 건 판단 불가였던 테스트를 "A가 이겼다"로 기록하지 않는 것입니다. 잘못 기록된 결과는 다음 테스트의 가설까지 오염시킵니다.

메타 AB테스트 설계 기준: 변수 하나로 성과를 가르는 법

자주 묻는 질문

AB테스트 표본 수는 최소 몇 개가 필요한가요?
정해진 최소값은 없고, 기준 전환율과 확인하려는 차이에 따라 달라집니다. 신뢰수준 95%, 검정력 80% 기준으로 상대 20% 차이를 확인하려면 그룹당 전환 약 400건, 50% 차이라면 약 60~70건이 필요합니다. 클릭이나 노출 수보다 그룹당 전환 수로 보는 것이 판단하기 쉽습니다.

광고 소재 AB테스트는 며칠 동안 돌려야 하나요?
표본 수를 채우는 것과 별개로 최소 7일, 가능하면 14일 단위로 운영하는 것이 좋습니다. 요일별 성과 차이가 결과에 섞이는 것을 막기 위해서입니다. 4주 이상 걸린다면 시즌·피로도 영향이 커지므로 테스트 설계를 다시 보는 편이 낫습니다.

AB테스트 중간에 결과가 유의하게 나오면 바로 끝내도 되나요?
권하지 않습니다. 매일 확인하다가 유의한 순간에 멈추면, 실제로는 차이가 없는데도 차이가 있다고 판단할 확률이 크게 올라갑니다. 시작 전에 정한 표본 수와 종료일까지 기다린 뒤 한 번 판단하는 것이 원칙입니다.

전환 수가 적은 소규모 계정은 AB테스트를 어떻게 하나요?
구매 대신 CTR, 장바구니 진입처럼 더 자주 발생하는 상위 지표로 테스트하거나, 소구 포인트 자체가 다른 큰 변화를 비교하는 방식이 현실적입니다. 차이가 클수록 필요한 표본 수가 급격히 줄어들기 때문입니다.

ROAS로 AB테스트 승자를 정해도 되나요?
ROAS는 주문 금액 편차가 커서 같은 전환 수라도 결과가 불안정합니다. 전환율 차이가 먼저 유의한지 확인하고, 고액 주문 1~2건을 제외해도 결론이 유지되는지 함께 보는 것이 안전합니다.

마무리

AB테스트 표본 수는 테스트를 시작하기 전에 정해야 하는 숫자입니다.

기준 전환율을 확인하고, 몇 % 차이를 의미 있게 볼지 정하고, 그 차이를 확인하는 데 필요한 그룹당 전환 수와 예산을 미리 계산해 두는 것. 이 순서만 지켜도 "운이 좋았던 소재"를 승자로 착각하는 일은 크게 줄어듭니다.

정리하면 이렇습니다.

• 상대 20% 차이 → 그룹당 전환 약 400건

• 상대 50% 차이 → 그룹당 전환 약 60~70건

• 표본이 부족하면 상위 지표로 바꾸거나, 차이를 크게 만들거나, 결론을 보류할 것

테스트의 가치는 결과의 개수가 아니라 믿을 수 있는 결과의 개수에서 나옵니다. 계정 규모에 맞는 질문을 고르는 것부터가 좋은 AB테스트의 시작입니다.