랜딩페이지 AB테스트 방법: 트래픽 분기부터 판정까지 4단계 기준

랜딩페이지 AB테스트는 페이지 두 개를 띄워놓고 어느 쪽이 나은지 보는 비교가 아닙니다. 같은 조건의 방문자를 무작위로 나누고, 바꾼 요소 하나가 전환에 영향을 줬는지 확인하는 실험입니다.

랜딩페이지 AB테스트에서 결과를 가르는 것은 디자인 시안이 아닙니다. 트래픽을 어떻게 나누고, 몇 명이 들어와야 판정하는지를 테스트 시작 전에 먼저 정해야 합니다. 이 두 가지가 빠지면 B안이 이겼다는 결과가 나와도 다음 달에 그대로 재현되지 않는 경우가 대부분입니다.

아래에서 가설 설계, 트래픽 분기 방식, 표본·기간 계산, 결과 판정까지 4단계로 나누어 설명합니다.

1. 랜딩페이지 AB테스트 방법의 출발점: 가설과 변수 하나 정하기

1-1. "B안이 더 예쁘다"는 가설이 아닙니다

많은 테스트가 디자이너가 만든 시안 두 개를 그대로 비교하는 데서 시작합니다.

이렇게 하면 B안이 이겨도 왜 이겼는지 알 수 없습니다.

헤드라인, 이미지, 버튼 색, 섹션 순서가 한꺼번에 바뀌었기 때문입니다. 다음 테스트에 가져갈 수 있는 학습이 남지 않습니다.

실무에서 쓸 수 있는 가설은 아래 세 요소를 갖춥니다.

• 관찰: 데이터에서 본 문제 (예: 첫 화면 이후 스크롤 이탈이 크다)

• 변경: 바꿀 요소 하나 (예: 첫 화면 헤드라인을 기능 설명에서 고객 문제로 교체)

• 예상 결과: 어떤 지표가 어느 방향으로 움직일지 (예: 구매 버튼 클릭률 상승)

-> 핵심: 가설은 "무엇을 봤고, 무엇을 바꾸고, 무엇이 오를 것인가"가 한 문장으로 정리되어야 합니다.

1-2. 테스트 변수 우선순위: 영향 큰 순서대로

랜딩페이지에서 바꿀 수 있는 요소는 많지만, 전환에 미치는 영향은 고르지 않습니다. 일반적으로 아래 순서로 테스트하는 편이 효율적입니다.

버튼 색 테스트가 자주 언급되지만, 이런 변화는 효과 차이가 작아서 하루 방문자 수백 명 수준의 페이지에서는 몇 달을 돌려도 판정이 나지 않는 경우가 많습니다.

트래픽이 적을수록 차이가 크게 날 만한 요소부터 건드려야 합니다.

1-3. 광고 소재와의 연결을 먼저 확인하세요

랜딩페이지 테스트 전에 점검할 것이 하나 있습니다. 광고 소재가 약속한 메시지와 랜딩 첫 화면이 이어지는지입니다.

소재에서는 "3일 만에 달라지는 피부결"을 말하는데 랜딩 첫 화면이 브랜드 스토리로 시작하면, 어떤 AB테스트를 해도 이 불일치가 결과를 흐립니다.

이 부분은 광고 소재와 랜딩 메시지 일치: 이탈 막는 4가지 점검 기준에서 점검 항목을 따로 정리했습니다.

2. 랜딩페이지 AB테스트 트래픽 분기 방식 3가지

가설을 세웠다면 다음은 방문자를 어떻게 나눌지입니다. 이 선택에 따라 결과의 신뢰도가 크게 달라집니다.

2-1. 방식 ① 사이트 내 분기 (스크립트·서버 분기)

같은 URL로 들어온 방문자를 테스트 도구나 서버가 무작위로 A/B에 배정하는 방식입니다.

• 장점: 광고 매체·소재·타겟이 같은 상태에서 페이지만 다르기 때문에 가장 순수한 비교가 됩니다.

• 주의점: 클라이언트 스크립트 방식은 원래 페이지가 잠깐 보였다가 B안으로 바뀌는 깜빡임(flicker)이 생길 수 있습니다. 이 깜빡임 자체가 B안의 이탈을 늘려 결과를 왜곡합니다.

• 필수 확인: 한 번 B안에 배정된 사람이 재방문 때도 B안을 보는지(쿠키·사용자 고정) 확인해야 합니다.

2-2. 방식 ② 광고 매체에서 URL 분기

광고 세트나 광고를 둘로 나누고 각각 다른 랜딩 URL을 연결하는 방식입니다. 개발 리소스 없이 시작할 수 있어서 실무에서 가장 많이 씁니다.

다만 그냥 광고 두 개를 따로 켜는 것은 AB테스트가 아닙니다.

메타 같은 매체는 성과가 좋아 보이는 광고에 노출을 몰아주기 때문에, 두 URL에 들어오는 사람이 처음부터 다른 집단이 됩니다. 이 경우 페이지 차이가 아니라 노출된 오디언스 차이를 보게 됩니다.

URL 분기를 쓸 거라면 매체에서 제공하는 공식 A/B 테스트 기능으로 오디언스를 겹치지 않게 나눠야 합니다. 설정 방법은 메타 A/B 테스트 설정: 결과를 믿을 수 있게 만드는 4단계 기준을 참고하시면 됩니다.

2-3. 방식 ③ 기간 분할 (전후 비교)

1주차는 A안, 2주차는 B안을 띄우는 방식입니다.

가장 쉽지만 가장 믿기 어려운 방식입니다. 시즌, 요일 구성, 프로모션, 경쟁사 광고, 매체 학습 상태가 모두 바뀐 상태에서 비교하기 때문입니다.

예를 들어 2주차에 급여일이 끼어 있거나 경쟁사가 할인을 멈췄다면, 전환율 상승이 페이지 덕분인지 구분할 방법이 없습니다.

-> 핵심: 동시 분기(①, ②)가 불가능할 때만 쓰고, 이 경우 결과는 "검증"이 아니라 "참고" 수준으로 다뤄야 합니다.

3. 표본 수와 테스트 기간: 판정 기준을 시작 전에 고정하기

3-1. 필요한 방문자 수는 미리 계산합니다

랜딩페이지 AB테스트에서 가장 흔한 실패는 데이터가 조금 쌓이자마자 결과를 보는 것입니다.

초반 사흘 동안 B안이 30% 앞서다가, 2주 뒤에는 차이가 사라지는 경우가 아주 흔합니다. 표본이 작을 때는 우연한 편차가 크게 보이기 때문입니다.

그래서 시작 전에 필요한 표본 수를 계산해 둡니다. 유의수준 95%, 검정력 80% 기준으로 쓰는 근사식은 아래와 같습니다.

그룹당 필요 방문자 수 ≈ 16 × p × (1 − p) ÷ (기대 차이)²

• p: 현재 전환율

• 기대 차이: 감지하고 싶은 전환율의 절대 차이

계산 예시로 보면 감이 옵니다.

같은 전환율 2%라도 작은 개선을 잡으려면 큰 개선을 잡을 때보다 6배 이상 많은 트래픽이 필요합니다.

하루 랜딩 방문자가 1,000명인 페이지에서 전환율 2%를 2.4%로 올리는 차이를 검증하려면, A/B 합쳐 약 39,000명이 필요하니 40일 가까이 걸립니다. 이 계산을 미리 해보면 버튼 색 같은 작은 변화를 테스트할지, 헤드라인처럼 큰 변화를 테스트할지가 자연스럽게 정해집니다.

전환 건수 기준으로 판단하는 방법은 AB테스트 표본 수: 그룹당 전환 몇 건이면 결과를 믿을 수 있나에서 더 자세히 다뤘습니다.

3-2. 기간은 최소 1주 단위, 가능하면 2주

표본 수를 채웠더라도 요일 주기를 온전히 포함해야 합니다.

평일 점심과 주말 밤에 들어오는 방문자는 구매 의도가 다릅니다. 수요일에 시작해 다음 주 월요일에 끝내면 특정 요일이 두 번 들어가서 결과가 기울어집니다.

실무에서 쓰는 기간 기준은 아래와 같습니다.

• 최소: 7일 단위 (같은 요일에 시작하고 같은 요일에 종료)

• 권장: 14일 (요일 효과와 초기 신기 효과를 함께 걸러냄)

• 상한: 4~6주 (너무 길면 쿠키 삭제·기기 변경으로 같은 사람이 양쪽에 섞이고, 시즌 변수가 끼어듭니다)

3-3. 신기 효과(Novelty effect)를 조심하세요

B안이 처음 며칠 동안 높게 나오다가 점점 A안 수준으로 내려오는 경우가 있습니다.

재방문 고객이 "뭔가 바뀌었네" 하고 반응하는 일시적 효과입니다. 리타겟팅 비중이 높은 계정에서 특히 자주 보입니다.

이걸 거르려면 결과를 신규 방문자와 재방문자로 나눠 보거나, 일자별 추이를 함께 확인해야 합니다. 마지막 주에도 차이가 유지되는지가 판단 기준입니다.

4. 랜딩페이지 AB테스트 결과 판정과 실패 사례

4-1. 판정 전에 확인할 4가지 체크리스트

테스트 기간이 끝나면 바로 승자를 고르지 말고 아래 순서대로 확인합니다.

① 트래픽 비율이 설정대로 나뉘었는가 (SRM 점검)
50:50으로 설정했는데 실제 방문자가 52:48 이상으로 벌어졌다면 분기 과정에 문제가 있을 가능성이 큽니다. 리디렉션 중 이탈, 봇 트래픽, 특정 브라우저에서 스크립트가 실행되지 않는 문제 등이 원인입니다. 이 경우 결과를 그대로 쓰면 안 됩니다.

② 미리 정한 표본 수와 기간을 채웠는가
중간에 B안이 앞선다고 일찍 끝내면, 우연을 성과로 착각할 확률이 크게 올라갑니다.

③ 주요 지표와 보조 지표가 같은 방향인가
CTA 클릭률은 B안이 높은데 최종 구매율은 A안이 높다면, B안은 "누르게는 만들었지만 설득은 못 한" 페이지일 수 있습니다. 판정 기준은 시작 전에 정한 최종 전환 지표 하나로 고정합니다.

④ 세그먼트 간 결과가 뒤집히지 않는가
전체로는 B안이 이겼는데 모바일에서는 A안이 이겼다면, 모바일 비중이 높은 다음 달에는 결과가 반대로 나올 수 있습니다. 기기·신규/재방문·유입 매체 정도는 나눠서 확인합니다.

측정 쪽 문제는 GA4에서 단계별 이탈을 같이 보면 빨리 잡힙니다. GA4 퍼널 이탈 분석: 새는 단계 찾는 4가지 설정 기준

4-2. 자주 보이는 실패 사례 3가지

사례 ① 광고 두 개를 따로 켜고 AB테스트라고 판단한 경우
한 브랜드의 경우 광고 세트를 둘로 나누고 각각 다른 랜딩을 연결했는데, 매체가 한쪽 세트에 예산을 몰아주면서 B안 쪽에만 반응이 좋은 리타겟팅 오디언스가 많이 들어갔습니다. B안의 전환율이 2배 가까이 높게 나왔지만, A안으로 되돌려도 성과가 유지되면서 페이지 효과가 아니었다는 게 확인됐습니다.

사례 ② 결제 페이지 이벤트가 한쪽에서만 누락된 경우
B안을 새로 만들면서 전환 태그를 빠뜨려 B안의 구매가 일부만 잡혔습니다. 결과는 A안 압승이었지만 실제로는 측정 오류였습니다. 테스트 시작 첫날, 양쪽에서 테스트 구매를 한 번씩 해보고 이벤트가 같은 방식으로 잡히는지 확인하는 것만으로 막을 수 있는 실수입니다.

사례 ③ 프로모션 기간에 테스트를 돌린 경우
할인 기간에는 구매 의도가 높은 방문자가 몰리면서 어떤 페이지든 전환율이 오릅니다. 이 기간에 이긴 안이 평시에도 이긴다는 보장은 없습니다. 대형 프로모션 기간은 테스트에서 빼거나, 프로모션이 끝난 뒤 재검증하는 편이 안전합니다.

4-3. 결과가 "차이 없음"으로 나왔을 때

차이가 없다는 결과도 실패가 아닙니다. 그 요소는 전환을 가르는 변수가 아니다는 정보를 얻은 것입니다.

이때는 같은 요소의 다른 버전을 다시 테스트하기보다, 우선순위표에서 한 단계 위의 요소로 올라가는 편이 효율적입니다. 예를 들어 CTA 문구 테스트에서 차이가 없었다면, 다음은 오퍼 구성이나 섹션 순서를 건드리는 식입니다.

-> 핵심: 이긴 안은 적용하고, 진 안과 무승부는 "왜 그랬는지"를 기록해 다음 가설의 근거로 씁니다. 테스트 로그가 쌓일수록 다음 가설의 적중률이 올라갑니다.

자주 묻는 질문

Q. 랜딩페이지 AB테스트는 최소 며칠 돌려야 하나요?
최소 7일, 가능하면 14일을 권장합니다. 요일별로 방문자의 구매 의도가 다르기 때문에 같은 요일에 시작해 같은 요일에 끝내야 합니다. 다만 기간을 채워도 미리 계산한 표본 수에 못 미쳤다면 판정을 미뤄야 합니다.

Q. 트래픽이 적은 페이지도 AB테스트를 할 수 있나요?
가능하지만 테스트할 요소를 바꿔야 합니다. 버튼 색처럼 효과가 작은 요소는 판정까지 몇 달이 걸리므로, 헤드라인·오퍼처럼 큰 차이가 날 만한 요소를 골라야 합니다. 최종 구매 대신 장바구니 담기처럼 더 자주 발생하는 지표를 보조로 쓰는 방법도 있습니다.

Q. 광고 세트를 두 개 만들어서 랜딩 URL만 다르게 하면 AB테스트가 되나요?
그대로는 안 됩니다. 매체가 성과에 따라 노출을 다르게 배분하기 때문에 두 URL에 들어오는 사람이 처음부터 다른 집단이 됩니다. 매체의 공식 A/B 테스트 기능으로 오디언스를 겹치지 않게 나눠야 비교가 성립합니다.

Q. AB테스트 중간에 B안이 확실히 이기고 있으면 일찍 끝내도 되나요?
권장하지 않습니다. 초반에는 표본이 작아서 우연한 편차가 크게 보이고, 신기 효과로 B안이 일시적으로 높게 나오는 경우도 많습니다. 시작 전에 정한 표본 수와 기간을 채운 뒤 판정해야 결과가 재현됩니다.

Q. AB테스트와 다변량 테스트(MVT)는 무엇이 다른가요?
AB테스트는 요소 하나를 바꾼 두 버전을 비교하고, 다변량 테스트는 여러 요소의 조합을 동시에 비교합니다. 다변량 테스트는 조합 수만큼 트래픽이 나뉘어서 AB테스트보다 훨씬 많은 방문자가 필요합니다. 대부분의 광고 랜딩페이지는 AB테스트를 순서대로 반복하는 편이 현실적입니다.

마무리

랜딩페이지 AB테스트 방법을 정리하면 네 단계입니다.

① 관찰·변경·예상 결과를 담은 가설과 변수 하나를 정하고
② 동시 분기가 가능한 방식으로 트래픽을 나누고
③ 필요한 표본 수와 기간을 시작 전에 고정하고
④ 트래픽 비율·지표 방향·세그먼트를 확인한 뒤 판정합니다.

시안을 잘 만드는 것보다 실험 조건을 지키는 것이 결과를 좌우합니다.

조건이 지켜진 테스트는 이기든 지든 다음 테스트의 근거가 되고, 조건이 무너진 테스트는 이겨도 다시 재현되지 않습니다. 다음 테스트를 시작하기 전에 지금 돌리고 있는 테스트가 어떤 방식으로 트래픽을 나누고 있는지부터 확인해 보시길 권합니다.