이메일 제목 오픈율 테스트: 결과를 믿을 수 있게 설계하는 4가지 기준

Nov 03, 2026
이메일 제목 오픈율 테스트: 결과를 믿을 수 있게 설계하는 4가지 기준

이메일 제목은 오픈율이 높게 나오는 쪽이 이긴다는 생각은 절반만 맞습니다.
2026년 현재 오픈율 숫자에는 사람이 실제로 열지 않은 '자동 오픈'이 섞여 있어서, 숫자만 보고 승자를 고르면 틀린 제목이 이기는 경우가 생깁니다.

이메일 제목 오픈율 테스트에서 가장 중요한 건 '어떤 제목을 쓰느냐'보다 '오픈율을 어떻게 걸러서 읽느냐'입니다.
자동 오픈을 걸러낸 데이터, 변수 하나만 다른 제목, 차이를 판정할 수 있는 만큼의 표본. 이 세 가지가 갖춰지지 않으면 테스트를 몇 번 반복해도 쌓이는 게 없습니다.

아래에서 오픈율 데이터 정리 → 테스트 설계 → 변수 우선순위 → 결과 판정 순서로, 기준별로 설명합니다.

1. 이메일 제목 오픈율 테스트 전에 오픈율부터 걸러야 하는 이유

오픈율은 이미 '부풀려진 지표'입니다

이메일 오픈은 본문에 심어둔 아주 작은 투명 이미지(트래킹 픽셀)가 불러와질 때 집계됩니다.
문제는 사람이 메일을 열지 않아도 이 이미지가 불러와지는 경우가 있다는 점입니다.

대표적인 게 애플 메일의 개인정보 보호 기능(Mail Privacy Protection)입니다.
이 기능을 켠 사용자는 메일이 도착하는 순간 애플 서버가 이미지를 미리 받아두기 때문에, 실제로 열지 않았어도 '오픈'으로 잡힙니다.

보안 솔루션을 쓰는 기업 메일 계정도 비슷합니다.
메일 안의 링크와 이미지를 미리 검사하는 과정에서 오픈과 클릭이 자동으로 찍히기도 합니다.

-> 애플 메일 사용자와 기업 메일 비중이 높은 리스트일수록, 오픈율은 실제보다 높게 나옵니다.

부풀려진 오픈율이 테스트를 망치는 방식

전체 오픈율이 높게 나오는 것 자체는 큰 문제가 아닙니다.
문제는 자동 오픈은 제목과 무관하게 발생한다는 점입니다.

A 제목과 B 제목에 같은 비율로 자동 오픈이 섞이면, 실제 차이가 희석됩니다.
예를 들어 사람이 실제로 연 비율이 A 15%, B 20%라도 양쪽에 자동 오픈이 20%씩 더해지면 35% vs 40%가 됩니다.
차이의 '폭'은 그대로지만 상대 차이는 33%에서 14% 수준으로 줄어들고, 우연에 의한 흔들림과 구분하기가 더 어려워집니다.

더 나쁜 경우는 분할이 고르지 않을 때입니다.
리스트를 가입일 순서대로 앞뒤로 잘라 A·B에 나누면, 특정 시기에 아이폰 사용자가 몰려 가입한 구간이 한쪽 그룹에 쏠릴 수 있습니다.
이때 이기는 건 제목이 아니라 '애플 메일 사용자가 더 많은 그룹'입니다.

테스트 전에 해둘 데이터 정리 3가지

① 자동 오픈 표시 확인
대부분의 이메일 발송 툴은 애플 메일 프록시 오픈을 별도로 표시하거나 제외하는 옵션을 제공합니다.
이 옵션이 있다면 반드시 켜고, '사람 오픈' 기준으로 비교합니다.

② 분할은 무작위로
가입일, 이름순, 고객 ID 순서로 자르지 말고 툴의 무작위 분할 기능을 씁니다.
수동으로 나눠야 한다면 고객 ID 끝자리 홀짝처럼 가입 시기와 무관한 기준을 씁니다.

③ 보조 지표를 함께 본다
오픈율만으로 판정하지 않고, 클릭률(클릭 수 ÷ 발송 수)을 반드시 같이 기록합니다.
클릭은 자동 오픈보다 사람의 행동에 훨씬 가깝기 때문에, 오픈율이 흔들릴 때 판정을 잡아주는 기준이 됩니다.

발송 도메인 인증이 안 돼 있으면 한쪽 제목만 스팸함으로 빠지는 일도 생깁니다. 테스트 전에 발신 도메인 SPF DKIM 설정: 스팸함 피하는 4단계 기준부터 점검해두는 편이 안전합니다.

2. 이메일 제목 AB테스트 설계: 변수·표본·분할 기준

원칙: 제목에서 딱 하나만 바꾼다

제목 테스트에서 가장 흔한 실수는 A와 B를 '완전히 다른 제목'으로 만드는 것입니다.

  • A: (광고) 10월 마지막 주, 회원 전용 혜택 안내

  • B: (광고) 오늘 밤 12시 마감 🔥 최대 30% 할인

B가 이겼다면 이유가 마감 시점인지, 이모지인지, 할인율 숫자인지, 길이인지 알 수 없습니다.
이긴 제목은 한 번 쓰고 끝나고, 다음 발송에 가져갈 배움은 남지 않습니다.

그래서 아래처럼 변수 하나만 다르게 만듭니다.

  • A: (광고) 회원 전용 혜택, 이번 주 일요일까지

  • B: (광고) 회원 전용 최대 30% 혜택, 이번 주 일요일까지

-> 이 테스트의 결론은 "제목에 할인율 숫자를 넣으면 오픈이 오르는가"가 되고, 다음 발송부터 바로 재사용할 수 있습니다.

표본: 그룹당 몇 명에게 보내야 차이를 믿을 수 있나

제목 테스트가 의미 없게 끝나는 두 번째 이유는 표본 부족입니다.
리스트 2,000명을 1,000명씩 나눠 오픈율 21% vs 23%가 나왔다면, 이 2%p는 우연으로도 충분히 나올 수 있는 차이입니다.

아래 표는 일반적인 통계 기준(유의수준 95%, 검정력 80%)으로 계산한 그룹당 필요 발송 수입니다.
기준 오픈율을 20%로 놓았을 때, 얼마만큼의 차이를 잡아내고 싶은지에 따라 필요한 숫자가 크게 달라집니다.

기준 지표

잡아내고 싶은 차이

그룹당 필요 발송 수 (약)

오픈율 20%

20% → 25% (5%p)

약 1,100명

오픈율 20%

20% → 23% (3%p)

약 2,900명

오픈율 20%

20% → 22% (2%p)

약 6,500명

클릭률 2%

2.0% → 2.5% (0.5%p)

약 13,800명

이 표에서 읽어야 할 건 두 가지입니다.

첫째, 작은 차이를 잡으려면 표본이 기하급수적으로 늘어납니다.
차이를 5%p에서 2%p로 좁히면 필요한 인원은 약 6배가 됩니다.

둘째, 클릭률로 판정하려면 오픈율보다 훨씬 큰 리스트가 필요합니다.
클릭률은 기본값 자체가 낮아서, 같은 상대 차이를 확인하는 데도 표본이 크게 늘어납니다.

리스트가 작다면 방법은 하나입니다.
차이가 크게 날 만한 변수(혜택 숫자 유무, 질문형 vs 평서형처럼 성격이 확연히 다른 것)부터 테스트하고, 미세한 단어 차이는 리스트가 커진 뒤로 미룹니다.

표본 수 계산 원리와 판정 기준은 AB테스트 표본 수: 그룹당 전환 몇 건이면 결과를 믿을 수 있나에서 더 자세히 다뤘습니다.

분할 방식: 50/50과 10/10/80 중 무엇을 쓸까

이메일 발송 툴은 보통 두 가지 테스트 방식을 지원합니다.

① 50/50 전체 분할
리스트 전체를 반으로 나눠 A·B를 동시에 보냅니다.
표본이 최대로 확보되고, 결과가 '다음 발송을 위한 학습'으로 남습니다.
-> 리스트가 표 기준에 겨우 맞거나 부족할 때 적합

② 10/10/80 승자 발송
리스트의 일부(예: 10%씩)에 A·B를 먼저 보내고, 일정 시간 뒤 이긴 제목을 나머지 80%에 보냅니다.
이번 발송의 성과를 끌어올리는 데 유리합니다.
-> 테스트 그룹 각각이 표 기준을 넘길 만큼 리스트가 클 때만 적합

10/10/80 방식에는 함정이 하나 있습니다.
테스트 그룹 10%가 각각 수백 명에 불과하면, 툴이 '승자'라고 고른 제목이 실제로는 우연히 앞선 제목일 가능성이 높습니다.
리스트 5,000명에서 10%씩 떼면 그룹당 500명인데, 위 표 기준으로는 5%p 차이조차 판정하기 어렵습니다.

시간 조건: 같은 시각에, 충분히 기다린 뒤

A를 오전 9시, B를 오후 2시에 보내면 제목이 아니라 발송 시간을 테스트하는 셈입니다.
두 제목은 반드시 같은 시각에 발송합니다.

판정 시점도 중요합니다.
오픈은 발송 직후에 몰리지만, 출근 시간·점심시간·저녁 시간대에 한 번씩 더 올라오는 패턴이 흔합니다.
발송 1~2시간 만에 승자를 정하면 '빨리 열리는 제목'이 이길 뿐, '많이 열리는 제목'이 이기지 않을 수 있습니다.

일반적인 기준으로는 최소 24시간, 승자 자동 발송을 쓴다면 툴의 판정 대기 시간을 가능한 한 길게(최소 반나절 이상) 잡는 편이 안전합니다.

3. 이메일 제목 테스트 변수 우선순위: 무엇부터 바꿔볼까

변수를 하나씩만 바꿔야 한다면, 바꾸는 순서가 성과를 가릅니다.
영향이 큰 변수부터 확정하고, 미세한 변수는 뒤로 미루는 게 원칙입니다.

1순위: 앞부분에 무엇이 보이는가

국내에서 광고성 이메일은 정보통신망법에 따라 제목 맨 앞에 '(광고)'를 표기해야 합니다.
이 표기가 앞 글자를 차지하기 때문에, 모바일 메일 목록에서 실제로 보이는 제목 공간은 생각보다 짧습니다.

메일 앱과 기기마다 잘리는 위치가 다르므로, 실무에서는 자사 리스트 상위 메일 클라이언트 2~3곳으로 테스트 발송을 보내 직접 확인하는 방식을 씁니다.
확인해보면 공들여 쓴 혜택 문구가 '…'로 잘려 아예 안 보이는 경우가 의외로 많습니다.

그래서 첫 번째 테스트는 단어가 아니라 핵심 정보의 위치입니다.

  • A: (광고) 가을 신상품 입고 기념, 회원 전용 20% 쿠폰

  • B: (광고) 회원 전용 20% 쿠폰, 가을 신상품 입고 기념

같은 단어, 같은 길이지만 잘리는 지점 앞에 무엇이 오느냐에 따라 결과가 갈립니다.

광고성 메일 제목 표기와 수신 동의 문구 기준은 광고성 정보 수신 동의 문구: 필수 항목과 채널별 예시에 채널별로 정리해두었습니다.

2순위: 프리헤더(미리보기 문구)

프리헤더는 메일 목록에서 제목 바로 아래나 옆에 회색으로 보이는 한 줄입니다.
따로 지정하지 않으면 본문 첫 줄이 자동으로 표시되는데, 이게 "이메일이 제대로 보이지 않으면 여기를 클릭하세요" 같은 문구인 경우가 많습니다.

프리헤더는 사실상 제목의 두 번째 줄입니다.
제목에서 잘린 정보를 보완하거나, 제목이 던진 궁금증에 힌트를 주는 역할을 합니다.

  • 제목: (광고) 회원 전용 20% 쿠폰 도착

  • 프리헤더 A: (미지정 — 본문 첫 줄 자동 노출)

  • 프리헤더 B: 쿠폰은 일요일 자정에 자동 소멸됩니다

프리헤더는 제목을 건드리지 않고 테스트할 수 있어서, 이미 잘 나오는 제목을 유지하면서 추가 개선을 노릴 때 유용합니다.

3순위: 구체성(숫자·기한·대상)

추상적인 표현과 구체적인 표현의 차이는 체감이 큰 변수입니다.

  • "특별한 혜택" vs "20% 할인"

  • "곧 마감" vs "일요일 자정 마감"

  • "고객님께" vs "지난달 구매하신 분께"

다만 숫자가 항상 이기는 건 아닙니다.
할인율이 낮은 경우(예: 5%)에는 숫자를 드러내는 것이 오히려 기대를 깎아 오픈을 떨어뜨리기도 합니다.
그래서 구체성 테스트는 '숫자를 넣을지'가 아니라 '이 숫자가 열어볼 이유가 되는지'를 확인하는 테스트로 봐야 합니다.

4순위: 형식 요소(이모지·질문형·이름 개인화)

이모지, 질문형 어미, 수신자 이름 넣기 같은 요소는 테스트 결과가 브랜드와 리스트마다 크게 갈립니다.
그만큼 다른 회사 사례를 그대로 가져다 쓰기 어려운 변수입니다.

또 하나 주의할 점은 반복 효과입니다.
이름 개인화나 이모지는 처음 몇 번은 눈에 띄지만, 매번 쓰면 금방 익숙해져 효과가 떨어집니다.
한 번 이겼다고 고정하지 말고, 몇 차례 발송마다 다시 검증하는 것이 좋습니다.

4. 오픈율 테스트 결과 판정: 이긴 제목이 정말 이긴 걸까

승자 판정은 지표 3개로

오픈율만 보고 승자를 고르면, '열게는 하지만 실망시키는 제목'이 이기는 일이 생깁니다.
판정할 때는 아래 세 지표를 함께 봅니다.

지표

보는 이유

판정 방식

오픈율 (자동 오픈 제외)

제목의 1차 역할

표본 기준을 넘긴 차이만 인정

클릭률 (클릭 ÷ 발송)

제목이 만든 기대와 본문이 맞는지

오픈율 승자의 클릭률이 떨어지면 보류

수신거부율

제목이 신뢰를 깎았는지

평소 대비 눈에 띄게 오르면 탈락

오픈율이 이기고 클릭률도 같이 이겼다면 확실한 승자입니다.
오픈율은 이겼는데 클릭률이 졌다면, 제목이 본문과 다른 기대를 만들었을 가능성이 높습니다.

실패 사례: 오픈율은 올랐는데 매출이 떨어진 경우

실무에서 자주 보이는 패턴이 있습니다.

한 생활용품 브랜드가 정기 뉴스레터 제목을 "(광고) 10월 신상품 소식"에서 "(광고) 혹시 이거 놓치셨나요?"로 바꿔 테스트한 경우입니다.
질문형 제목은 궁금증을 자극해 오픈율이 눈에 띄게 올랐고, 이후 모든 발송에 질문형을 적용했습니다.

그런데 몇 주 뒤 확인해보니 이메일 경유 매출은 오히려 줄어 있었습니다.
궁금해서 연 사람들이 본문에서 '평범한 신상품 소식'을 보고 바로 닫았고, 같은 패턴이 반복되자 수신거부도 조금씩 늘었습니다.

이 사례에서 얻을 수 있는 기준은 분명합니다.

-> 제목은 본문이 지킬 수 있는 약속만 해야 합니다.
-> 오픈율 승자는 클릭률과 수신거부율로 한 번 더 검증한 뒤에 고정합니다.

결과가 애매할 때의 처리

표본 기준을 넘기지 못했거나, 차이가 1~2%p 안쪽으로 붙었다면 결론은 "차이 없음"입니다.
이걸 억지로 "B가 근소하게 이겼다"고 기록하면, 나중에 그 기록을 근거로 잘못된 방향을 이어가게 됩니다.

애매한 결과는 아래 셋 중 하나로 처리합니다.

① 같은 변수로 다음 발송에서 한 번 더 테스트해 표본을 합친다
② 차이가 더 크게 날 만한 변수로 바꿔 다시 테스트한다
③ 두 제목 다 '쓸 수 있는 제목'으로 기록하고 다른 변수로 넘어간다

테스트 기록표를 남겨야 하는 이유

제목 테스트의 진짜 가치는 한 번의 승리가 아니라, 우리 리스트가 어떤 제목에 반응하는지에 대한 누적 데이터입니다.
매 테스트마다 아래 항목을 한 줄로 남겨두면, 6개월쯤 뒤에는 다른 곳에서 찾을 수 없는 자사 기준이 생깁니다.

  • 발송일 / 리스트 세그먼트 / 그룹당 발송 수

  • 바꾼 변수 1개 / A 제목 / B 제목

  • 오픈율(자동 오픈 제외) / 클릭률 / 수신거부율

  • 판정(승자 / 차이 없음) / 다음 테스트 가설

이 기록이 쌓이면 "우리 고객은 할인율 숫자보다 마감 기한에 더 반응한다"처럼, 다음 제목을 쓸 때 바로 쓸 수 있는 문장이 나옵니다.

자주 묻는 질문

이메일 오픈율이 갑자기 높아졌는데 믿어도 되나요?

애플 메일 사용자나 보안 솔루션을 쓰는 기업 메일 비중이 늘었다면, 실제 오픈이 아니라 자동 오픈이 늘었을 가능성이 있습니다. 발송 툴에서 자동 오픈을 제외한 수치를 따로 확인하고, 클릭률도 같이 올랐는지 보면 실제 변화인지 구분할 수 있습니다.

이메일 제목 AB테스트는 리스트가 몇 명부터 가능한가요?

차이를 얼마나 작게 잡고 싶은지에 따라 다릅니다. 기준 오픈율 20%에서 5%p 차이를 확인하려면 그룹당 약 1,100명, 2%p 차이라면 그룹당 약 6,500명이 필요합니다. 리스트가 작다면 성격이 확연히 다른 제목부터 50/50으로 나눠 테스트하는 편이 현실적입니다.

이메일 제목에 (광고)를 꼭 넣어야 하나요?

국내에서 영리 목적의 광고성 정보를 이메일로 보낼 때는 정보통신망법에 따라 제목 맨 앞에 (광고) 표기가 필요합니다. 표기를 빼고 테스트하면 오픈율이 오를 수 있지만, 법 위반 소지가 있어 테스트 대상으로 삼으면 안 됩니다. 대신 (광고) 뒤에 오는 앞부분 문구를 최적화하는 데 집중하는 것이 맞습니다.

이메일 제목 테스트 결과는 언제 확인해야 하나요?

일반적으로 발송 후 최소 24시간은 지난 뒤에 판정하는 것이 안전합니다. 발송 직후 1~2시간 데이터로 판정하면 늦게 열리는 시간대의 반응이 빠져, 실제로는 진 제목이 승자로 뽑힐 수 있습니다.

마무리

이메일 제목 오픈율 테스트는 제목을 잘 쓰는 기술보다 결과를 제대로 읽는 구조가 먼저입니다.

  • 오픈율에서 자동 오픈을 걸러내고

  • 제목에서 변수를 딱 하나만 바꾸고

  • 차이를 판정할 수 있을 만큼 표본을 확보하고

  • 오픈율·클릭률·수신거부율 세 가지로 승자를 가리는 것

이 네 가지가 지켜지면, 테스트 한 번 한 번이 다음 발송의 기준으로 쌓입니다.
반대로 이 중 하나라도 빠지면, 숫자가 오르내릴 때마다 제목만 계속 바꾸는 반복에서 벗어나기 어렵습니다.

다음 발송 전에는 새 제목을 고민하기보다, 지난 발송의 오픈율이 몇 퍼센트까지 자동 오픈이었는지부터 확인해보는 것을 권합니다.

Share article