한때 A/B 테스트의 결과가 정답이라고 착각하던 때가 있었어요.💦 제대로 된 데이터 분석을 접한 뒤에야 잘못 생각하고 있었다는 사실을 깨달았죠. 이 캠페인을 잘 수행할 수 있는 매체, 이 메시지에 더 어울리는 표현…. A/B 테스트의 결과는 정답이라기보다 ‘지금 이 상황에 더 나은 선택지’를 가려낼 수 있는 하나의 인사이트에 불과하다는 사실을 간과하고 있었습니다. 이런 경험을 토대로 이번 아티클에서는 정석적인 마케팅 A/B 테스트 진행 방법을 소개합니다. 내가 진행하려는 A/B 테스트가 옳게 설계되었는지 점검해 보세요.
언제 A/B 테스트를 해야 할까요?
A/B 테스트는 아무 때나 하는 게 아닙니다. 조건이 맞지 않으면 오히려 시간만 낭비하게 돼요. 마케팅 분야에서 A/B 테스트를 고려하게 되는 상황은 보통 다음과 같습니다. A/B 테스트를 시작하기 전에는 트래픽이 충분한지, 측정할 KPI가 명확한지, 가설이 있는지 꼭 확인해야 하죠.
✅ 전환율이 정체되어 있을 때
✅ 광고 성과를 개선하고 싶을 때
✅ 랜딩 페이지 이탈률이 높을 때
✅ 가격이나 혜택 구조를 검증하고 싶을 때
✅ 신규 매체를 발굴하려고 할 때
테스트 전 가설부터 세워야 합니다.
실무에서 가장 흔하게 하는 실수가 하나 있습니다. “이거 한번 바꿔볼까요?”라는 접근입니다. 버튼 색을 바꾸거나 이미지를 바꾸는 시도 자체는 문제가 아니에요. 문제는 이유 없이 바꾸는 거죠. A/B 테스트를 잘 진행하려면 반드시 가설을 세우고 접근해야 합니다. 가설이 없으면 결과가 나와도 해석이 불가능하기 때문이죠. 잘 세운 가설을 기반으로 설계한 A/B 테스트는 왜 이런 결과가 나왔는지, 이다음에 무엇을 할지 정할 수 있어요.
가설을 잘 세우려면 문제 상황을 정확하게 인지하고 인과관계를 명확하게 정의해야 하며, 원하는 결과가 무엇인지 확실하게 정해야 합니다. 예를 들어, 운영 중인 광고 소재의 클릭률이 낮아서 개선해야 하는 상황이라고 가정해 보겠습니다.
문제상황 : 클릭률이 낮게 나온다.
❓ 인과관계
▪️ 소재의 가시성이 떨어져서 (눈에 띄지 않으니) 클릭률이 낮은 것이다.
▪️ (소재에는 문제가 없지만) 혜택이 매력적이지 않아서 클릭률이 낮은 것이다.
▪️ (소재나 혜택의 문제가 아니라) 매체의 주요 유저와 우리 브랜드의 타겟이 달라서 (관심이 없으니) 클릭률이 낮은 것이다.
❗ 원하는 결과 : 클릭률 개선
문제와 결과는 한 가지뿐이에요. 낮은 클릭률을 개선해야 합니다. 그러나 ‘왜 클릭률이 낮은가?’에 대한 원인은 뚜렷하게 확신하기 힘들죠. 이 중 무엇이 주요한 원인인지 판단하기 위해 A/B 테스트를 진행하는 것입니다. 가설 설립 단계에서 인과관계를 정의할 땐 실행이 가장 간단하고 쉬운 것부터 정의하는 게 좋습니다.
1️⃣ 소재의 가시성이 떨어져서 클릭률이 낮은 것이다.
✅ 가설 1. CTA 버튼을 빨간색으로 바꾸면 가시성이 개선되어 클릭률이 개선될 것이다.
➡️ 실행 난이도 하 : CTA 버튼의 색깔만 변경하면 됨
2️⃣ 혜택이 매력적이지 않아서 클릭률이 낮은 것이다.
✅ 가설 2. 할인율을 5%에서 10%로 올려서 혜택을 강화하면 클릭률이 개선될 것이다.
➡️ 실행 난이도 중 : 혜택을 강화할 수 있도록 추가 비용을 검토해야 함
3️⃣ 매체의 주요 유저와 우리 브랜드의 타겟이 달라서 클릭률이 낮은 것이다.
✅ 가설 3. 우리 브랜드의 타겟이 주로 이용하는 매체에 광고를 게재한다.
➡️ 실행 난이도 상 : 신규 매체를 발굴하여야 함
이렇게 설립한 가설을 토대로 A/B 테스트를 진행하게 됩니다. 가설 1번 실행 후 결과에 변화가 없다면, 해당 가설을 기각하고 다음 액션인 가설 2번을 실행해 보는 거죠. 이 과정의 반복을 통해 원하는 결과에 도달할 수 있게 됩니다.
한 번에 하나의 요소만 변경하세요.
A/B 테스트를 설계할 때 가장 중요한 원칙은 단 하나입니다. 변수는 한 번에 하나만 바꾼다. CTA 문구, 이미지 유형, 가격 구조, 세그먼트 등 테스트하고 싶은 요소를 명확하게 나누고 하나씩 검증해야 해요.
기본 세팅도 중요합니다. 트래픽(통계학에서는 표본으로 정의)은 50:50으로 나누고, 최소 1~2주 이상은 테스트를 유지하는 게 좋아요. 주말과 평일이 모두 포함되어야 하고 중간에 설정을 바꾸는 것도 피해야 합니다.
A/B 테스트의 정확성을 높이는 방법
테스트 기간이 너무 짧거나, 표본이 부족하거나, 중간에 설정을 바꾸거나, 외부 변수 영향을 고려하지 않으면 A/B 테스트의 정확성이 떨어집니다. 표본이 부족하면 오차율이 높아지고 중간에 설정을 바꾸면 새로운 변수가 끼어든 것이기 때문에 변수가 하나라고 보기 어려워요. 특히 외부 변수는 통제가 불가능하기 때문에 더욱 신중하게 고려하여 결과를 해석해야 합니다.
정확성을 떨어트리는 요인
✅ 너무 짧은 테스트 기간
✅ 너무 적은 예산이나 표본(수)
✅ 중간에 설정을 바꿔 새로운 변수를 발생시키는 경우
✅ 통제 불가능한 외부 변수의 간섭
신규 광고 매체 발굴을 위해 A 매체와 B 매체에 같은 기간 동안 동일한 소재로 광고를 각각 진행했다고 가정합시다. A 매체의 전환율이 3.2%, B 매체의 전환율이 3.8%이었다면 표면적으로는 B 매체가 더 효율적인 것으로 볼 수 있어요. 그러나 속단하기는 이릅니다. A 매체가 B 매체보다 DAU(일간 활성 이용자 수)가 높아서 노출 수가 2배 이상 많았을 수도 있고 두 매체의 과금 방식이 달라서 소진된 예산에 차이가 생겼거나, B 매체에서 자체 프로모션을 진행하면서 일시적으로 성과가 개선되었을 수도 있으니까요. 이런 경우 단순히 전환율을 비교하는 것으로는 효율을 확신하기 힘들어요.
이때 필요한 개념이 바로 통계적 유의성입니다. p-value가 0.05 이하인지, 신뢰구간이 겹치는지 등을 통해 ‘이 차이가 실제로 의미 있는 결과인가?’를 검증할 수 있어요. 통계적인 유의성을 토대로 판단하면 더 정확한 결과 해석이 가능합니다.
p-value는 보통 R이나 파이썬 프로그램을 사용하여 계산하는 게 정석적인 방법이지만, 통계학적 지식과 프로그램 사용이 가능해야 하므로 가장 간단한 방법을 소개합니다. 캠페인 성과를 토대로 단순하게 계산하려 한다면 ‘A/B 테스트 계산기‘를 활용해 보세요. (엑셀을 활용한다면 함수를 활용해 Z-검정(Z-test)을 진행하는 방식으로 계산할 수도 있지만 방식이 복잡해 추천하지 않습니다.)
A/B 테스트는 사후 검정이므로 Test evaluation을 체크하고 분석하고자 하는 A/B의 값을 각각 입력합니다. 세팅은 Hypothesis(가설 검정 방식) 항목을 Two-sided(양측 검정)로 두고, Confidence(신뢰도)는 평균치인 95%(조금 더 보수적으로 잡는다면 90%)로 설정하는 것을 추천해요. 계산을 마치면 정규분포 그래프와 함께 신뢰구간, P-value 값을 구체적으로 확인할 수 있습니다. 해당 결과를 토대로 A/B 테스트의 결과에 대해 가설을 기각할지 채택할지 판단하면 수학적으로 타당한 의사 결정을 내릴 수 있어요.
※ p-value란? 두 결과의 차이가 ‘우연히 발생했을 확률’을 의미합니다. 일반적으로 p-value가 0.05 이하이면 우연이 아니라 실제 차이일 가능성이 높다고 판단해요. 물론, p-value가 낮다고 해서 반드시 ‘효과가 크다’는 의미는 아니므로 실제 수치 차이도 함께 확인하는 것이 중요합니다.
세그먼트도 고려하세요.
결과의 전체적인 평균만 보고 효율을 판단하는 경우도 많을 겁니다. 하지만 실무에서 중요한 인사이트는 세부 그룹에서 나오는 경우가 더 많아요. A 소재와 B 소재 모두 비슷한 전환율을 보였더라도 신규 유저로 세그먼트를 좁혔을 때 B 소재의 효율이 더 좋을 때도 있어요. 이런 경우, 소재를 전체 유저에게 적용하기보다 신규 유저에게만 B안을 적용하는 전략이 더 효과적입니다. A/B 테스트 결과를 해석할 땐 보다 세부적인 요소를 함께 고려하여 인사이트를 도출하는 게 좋습니다.
A/B 테스트는 단순 비교가 아니라 검증 과정입니다. 결과가 의미 있게 다르다는 걸 확인하는 게 핵심이에요. 테스트를 반복하며 많은 인사이트를 도출해 낼수록 성과는 자연스럽게 누적됩니다. 체계적인 A/B 테스트 설계로 더 빠르게 원하는 결과에 도달할 수 있길 바랍니다.😊
*외부 필진이 기고한 아티클입니다.
