프로덕트 팀은 왜 A/B test를 사랑할까? 임상시험에서 온라인 실험까지, 인과추론으로 읽는 탄생 이유

한줄 요약: A/B test는 프로덕트 팀이 새로 만든 도구가 아닙니다. 임상시험에서 쓰던 무작위 대조 시험(RCT)을 온라인으로 옮겼습니다. 관찰한 데이터만으로는 원인과 결과를 가르지 못하게 만드는 교란 변수가 있고, 그것을 없애는 가장 단순한 방법이 랜덤 배정입니다. 임상에서는 사람을 모으는 데 몇 년이 걸리지만 온라인에서는 트래픽이 곧 표본이라 같은 실험을 빈번하게 반복할 수 있습니다. 그래서 사랑받습니다. 실험이 불가능한 상황에는 인과추론이 있습니다. 이 글은 2025년 데이터야놀자에서 발표한 내용을 슬라이드 순서대로 옮긴 것입니다.

목차

1. 발표를 하게 된 이유
2. 관찰 분석과 그 한계
3. 실험의 등장
4. 온라인으로 이식된 실험, A/B test
5. A/B test가 안 될 때, 인과추론
6. 결론, 무엇부터 할 것인가
7. 책 추천

이 글은 2025년 데이터야놀자에서 발표한 “프로덕트 팀은 왜 A/B test를 사랑할까?(feat 인과추론)“를 글로 옮긴 것입니다. 발표 영상은 유튜브에 공개되어 있습니다. 영상 자막을 본문으로 삼고, 슬라이드 33장의 순서를 글의 뼈대로 삼았습니다. 발표에 없던 사례나 수치는 넣지 않았습니다.

1. 발표를 하게 된 이유

저는 화학생명공학부를 나와 실험 위주로 연구를 했고, 의약화학 석사를 마친 뒤 헬스케어 데이터 분석 일을 3년 정도 했습니다. 지금은 데이터 교육을 합니다. 현업에서는 제약사의 마케팅 담당자와 의학 담당자, 병원의 연구자를 고객으로 의료 데이터를 분석했습니다. 학부 실험, 임상시험, 건강보험 데이터 분석까지 생명과 헬스케어라는 주제 안에서 여러 관점의 분석을 거친 셈입니다.

발표를 하게 된 이유는 세 가지였습니다.

1. 같은 데이터 분석인데 학부 실험, 임상시험, 건강보험 데이터 분석이 미묘하게 달랐고, 그 차이를 한 번 정리하고 싶었습니다.
2. 프로덕트 분석 채용 공고마다 A/B test가 중요하게 적혀 있는데, 왜 중요한지를 피상적으로는 알아도 근본적으로는 이해하지 못한다는 답답함이 있었습니다.
3. AI로 도구가 점점 발전할수록 추상화된 이론을 정리해 두는 것이 여러모로 도움이 되겠다고 생각했습니다.

발표의 목적은 하나였습니다. A/B test가 왜 태어났는지 이해하는 것. 이 글을 읽고 “집계와 시각화부터 시작해 보자”, “우리 제품에 도입해 볼까”, “인과추론을 공부해 볼까” 중 하나라도 떠오르면 목적은 달성입니다.

2. 관찰 분석과 그 한계

데이터 분석을 배우면 거의 다 기술 통계부터 시작합니다. 평균, 분산, 표준편차 같은 것을 이미 쌓여 있는 데이터로 계산합니다. 직관적이라 누구나 이해하고, 회사에서 의사결정을 할 때 덜 논쟁적입니다. “왜 평균을 냈나요”라는 질문은 받아도 “평균이 뭔가요”라는 질문은 받지 않습니다.

이 기술 통계는 연구 분야에서 관찰 연구(observational study)에 속합니다. 자연스럽게 발생하고 수집된 데이터를 분석합니다. “자연스럽게”라는 말에 백엔드 개발자가 “내가 수집한 건데 뭐가 자연스럽냐”고 뛰쳐나올 수 있지만, 연구 관점에서는 그렇습니다. 데이터를 만든 사람을 연구에서는 피험자나 연구 대상자라 부르고, 웹과 앱 서비스에서는 데이터 생성자라 부를 수 있습니다. 관찰 연구의 특징은 이 사람들에게 위해가 거의 없다는 점입니다. 쿠폰을 발행하고 구매율 변화를 본다고 해서 쿠폰을 받은 사람이 나쁜 영향을 받지는 않습니다.

이런 관찰 연구를 후향적 분석(retrospective analysis)이라고도 합니다. 데이터 수집은 2020년에 시작했고 분석은 2025년에 한다면, 뒤에서 거꾸로 돌아가 그 시기를 분석하는 것입니다.

종종 발생하는 실수

후향적 분석에서 가장 자주 일어나는 실수를 하나 가져왔습니다. Office 365에서 기술 통계를 냈더니 더 많은 에러를 마주한 유저가 더 적게 이탈한다는 결과가 나왔습니다. 이상하지 않습니까. 에러를 많이 보면 불만이 쌓여 떠나야 할 텐데 반대입니다. 여기서 멈추지 않고 “에러가 사람을 붙잡아 두는구나, 에러 메시지를 마음껏 보여 주자”로 가면 잘못된 의사결정이 됩니다.

이것이 상관 관계와 인과 관계를 구분한다는 말의 뜻입니다. 원인과 결과 양쪽에 영향을 주어 무엇이 원인이고 무엇이 결과인지 혼동하게 만드는 변수를 교란 변수(confounder)라고 합니다. 교란 변수가 있으면 인과 관계 해석이 틀어집니다.

그런데 책은 왜 해결책을 바로 안 알려줄까

교란 변수는 많은 책이 재미있게 다룹니다. 상어와 아이스크림의 상관관계 같은 예시가 대표적입니다. 그런데 교란 변수를 멋지게 설명해 놓고 해결 방법을 알려주지 않아서 답답할 때가 있습니다. 이유는 원인이 결과에 미치는 순수한 영향을 밝혀내기가 쉽지 않기 때문입니다. 결과 하나에는 수많은 원인이 얽혀 있습니다. 넛지를 준다고 사람이 바로 행동하는 것이 아니라 앱에 대한 애정, 참여도 같은 것이 합쳐져서 결과가 나옵니다. 생선에서 가시를 발라내듯 원인 하나만 발라내고 싶은데 그것이 어렵습니다. 이를 어려운 말로 내생성(endogeneity) 문제라고 합니다.

3. 실험의 등장

내생성 문제를 풀기 위해 실험이 등장합니다. 아래 도식 한 장을 이해하면 이 발표는 성공입니다.

실험의 요지는 개입이 있다는 것입니다. 원인으로 추정되는 것을 직접 넣어서 실제로 영향이 있는지 봅니다. 예상하는 원인만 다르게 설정하고 나머지 환경은 전부 같게 만드는 것이 핵심입니다. 백색소음이 학습 성취도에 영향을 준다는 가설을 세웠다면 백색소음만 켜고 끄고, 나머지는 다 고정합니다. 백색소음이 없는 쪽이 대조군(control group), 있는 쪽이 실험군(experiment group)입니다.

두 그룹을 균등하게

실험 연구의 핵심은 두 그룹을 개입 빼고 전부 균등하게 구성하는 것입니다. 남자 그룹에는 백색소음을 켜고 여자 그룹에는 끄면 동등한 비교가 아닙니다. 성별이 편향의 원인이 됩니다. 성별처럼 눈에 보이는 것 말고도 웹과 앱 서비스에는 결과에 영향을 주는 변수가 아주 많습니다. 그것을 하나하나 맞추기 어렵다는 것이 실험 연구의 어려움입니다.

랜덤화는 신이야

그래서 등장한 것이 랜덤화입니다. 간단하지만 강력합니다. 로널드 피셔(1890~1962)가 정립한 실험 계획법이 무작위 대조 시험, RCT입니다. 교란 변수를 제어하려고 그룹을 무작위로 배정합니다. 참가자가 오면 동전을 던지듯 실험군과 대조군에 나눠 넣습니다. 나이도 성별도 건강 상태도 묻지 않고 그냥 랜덤으로 배정하면, 사람이 충분히 많을 때 두 그룹의 특성이 저절로 비슷해집니다.

발표에서 농담을 하나 했습니다. 피셔의 친한 친구가 윌리엄 고셋이었는데, 고셋이 만든 분포를 A/B test에서도 씁니다. 좋은 친구를 사귀는 것이 커리어에 도움이 되는 건지, 대단한 사람이 되면 좋은 친구가 오는 건지는 여러분이 판단하시면 됩니다.

의학 분야는 여기서 더 까다롭습니다. 랜덤 배정에 더해 어떤 약이 진짜고 어떤 약이 가짜인지 연구자인 의사도 모르게 하고, 참가자도 모르게 합니다. 이중 블라인드입니다. 약의 순수한 효과만 재기 위해서입니다. 이것이 앞서 말한 후향적 분석과 짝을 이루는 전향적 분석(prospective analysis)입니다. 원래 있던 데이터를 분석하는 것이 아니라, 먼저 실험을 설계해 놓고 앞으로 데이터를 수집합니다.

임상시험에서 RCT의 단점

저는 실제로 이쪽에서 일해 봤기 때문에 문제도 압니다. 두 가지입니다.

문제	내용	결과
1. 표본 모집	성별, 나이, 건강 상태 같은 교란 변수를 무효화할 만큼 충분한 n명 모집	실험 기간 연장
2. 시스템과 규제	랜덤 배정을 위한 시스템, 프로세스, 규제 대응	인력 고용, 비용 상승

첫째, 사람에 따라 변수가 너무 많습니다. 암 치료제라면 여성은 호르몬의 영향, 노인은 혈행 문제가 있을 수 있어서 이를 무효화할 만큼 많은 사람을 모아야 합니다. 그런데 신약은 대개 국소적입니다. 폐암 3기에만 쓰는 약이라면 폐암 3기 환자를 모으는 데만 23년이 걸립니다. 슬라이드 왼쪽 아래 표를 보면 보통 말하는 임상 2상이 26년, 3상이 3~5년입니다. 1상은 건강한 사람에게 하는 안전성 시험이라 별개로 두더라도, 개발에 10년 가까이 걸립니다. 다 성공하는 것도 아닙니다.

둘째, 임상시험은 규제 산업이라 서드 파티가 많이 끼어 있습니다. 제약사가 그냥 임상시험을 하면 될 것 같지만 과정이 복잡해서 규제를 맞추기 위한 업체가 중간에 들어가고, 병원 사람들에게 실험 개념과 계획서를 설명해야 합니다. 기간이 늘고 비용이 올라갑니다.

’후향적’이라는 단어의 마법

현실에서 일할 때 겪은 일입니다. 건강보험 데이터를 분석하려면 사람들이 만든 데이터이기 때문에 임상시험 윤리위원회 승인을 받아야 합니다. 국가에도 있고 병원마다 있습니다. 계획서를 제출하면 심사위원이 “임상시험이 이렇게 간단할 리 없다, 피험자 동의서는 어디 있고 의약품 안전성 자료는 어디 있느냐”고 화를 냅니다. 그때 “이건 임상시험이 아니라 후향적 연구입니다”라고 하면 표정이 풀립니다. “아, 그러시군요. 그 정도로 갈음하겠습니다.” 통과입니다. 후향적 연구는 그만큼 프로세스가 간단하고, 반대로 RCT는 그만큼 프로세스가 무겁다는 것을 보여 주는 사례입니다.

4. 온라인으로 이식된 실험, A/B test

이 RCT 개념을 스마트폰과 앱, 웹이 등장하면서 온라인에 적용한 것이 온라인 대조 실험(Online Controlled Experiments, OCE)입니다. A/B test와 같은 말이라고 보면 됩니다. RCT의 두 문제가 온라인에서는 어떻게 되는지 보겠습니다.

RCT의 두 문제가 온라인에서 풀리는 방식

1. 문제 1. 표본 모집 트래픽이 곧 n 제품이 성숙해 사용자가 충분하면 n 확보, 반복 실험 가능
2. 문제 2. 랜덤 배정 시스템 SaaS 또는 자체 개발 동의서, 블라인드, 윤리위 불필요. 실험 도구 SaaS와 테크 블로그의 자체 구축 사례 다수

첫째, 임상에서는 사람을 모으는 것이 문제였는데 온라인에서는 쉽습니다. 제품이 충분히 성숙해서 사람이 많이 들어오면 충분한 n이 확보되고, 사람이 많으면 같은 실험을 계속 반복할 수 있습니다. 둘째, 랜덤 배정을 위한 시스템이 필요하다고 했는데, 연구자를 블라인드시키거나 피험자 동의서를 받는 절차가 온라인에는 없습니다. A/B test를 도와주는 SaaS가 많고, IT 기업 테크 블로그를 찾아보면 자체 구축한 글도 많습니다. 시스템이 그렇게 큰 장벽이 아닙니다.

그래서 A/B test는 서비스를 지속적으로 성장시키기 위한 필수 조건이 됩니다. 데이터를 모으는 단계가 아니라 이미 의사결정을 하고 있고 더 나아가려는 최적화 단계에서 잘 작동합니다. 버튼 위치를 바꾸고, 검색이나 광고 엔진을 바꾸고, 추천 시스템을 돌리고, UX 라이팅을 바꾸면서 더 나은 서비스로 가는 정량적 방법입니다.

장점은 두 가지입니다. 하나는 교란 변수를 제거해서 원인과 결과의 인과 관계를 파헤칠 수 있다는 것. 다른 하나는 소규모 그룹에만 실험하기 때문에 실패 리스크가 적다는 점입니다. 앱 전체 사용자에게 한 번에 테스트하면 사용성 품질이 떨어져 나쁜 영향이 갑니다. 추론 통계의 힘은 모집단 전체를 실험하지 않고 표본에만 적용한 뒤, 유의하고 비즈니스 임팩트가 있다고 판단되면 전체에 적용하고 아니면 폐기하는 데 있습니다.

단점은 없나요

저는 어떤 도구든 장점과 단점을 같이 보는 것을 좋아합니다. A/B test가 불가능한 상황도 있습니다.

사례	왜 안 되는가
수집형 RPG의 확률형 아이템	뽑기 한 번에 10만 원인데 사람마다 확률을 다르게 주면 큰 반발, 유저 간 정보 공유로 실험 간섭, 확률 공시 의무로 애초에 불가
은행의 최적 대출 이율	같은 정보를 가진 사람에게 다른 이율을 주면 금융 규제 위반

첫 번째는 게임입니다. 성능 좋은 새 캐릭터를 뽑을 확률이 0.03%이고 한 번 뽑는 데 10만 원이 든다면 100만 원, 1천만 원이 들 수 있습니다. 이 상태에서 사람마다 확률을 다르게 설정하면 사용자가 싫어합니다. 게다가 이런 게임은 유저끼리 정보가 잘 퍼져서 실험 간에 간섭이 생깁니다. 무엇보다 우리나라는 확률형 게임 아이템의 확률을 공시하게 되어 있어서 애초에 불가능합니다. 두 번째는 은행입니다. 같은 정보를 가진 사람들에게 대출 이율을 다르게 주면 금융감독원이 찾아옵니다. 규제 산업에서는 할 수 없습니다.

5. A/B test가 안 될 때, 인과추론

A/B test를 못 하면 손 놓고 있어야 할까요. 여기서 인과추론이 등장합니다. A/B test도 인과추론의 한 부분이지만, 여기서 말하는 인과추론은 정량적 개선을 위해 선형 모델 같은 모델을 쓰는 방법입니다. 랜덤화가 불가능한 관찰 분석에서 교란 변수를 어떻게 제어할 것인가. 인과추론이 풀어야 할 문제는 이것 하나로 명확합니다. 결국 교환 가능한 두 그룹, 실험군과 대조군을 거의 엇비슷하게 만드는 것이 핵심입니다.

방법은 아주 많습니다. 오늘 다 이야기하면 다들 도망갈 것 같아서 하나만 예로 듭니다. 매칭(matching)입니다. 이미 데이터가 있는 상태에서 실험군에 60대 남성 iOS 유저가 있으면 대조군에도 같은 사람을 배정해서, 마치 하나의 그룹인 것처럼 비교 가능하게 만듭니다. 연령과 성별 같은 인구통계 정보, 프리미엄 멤버십 구독 여부 같은 충성 고객 지표를 맞추면 비교적 비교 가능한 그룹이 됩니다.

인과추론의 단점

역시 단점이 나와야 합니다.

문제	내용
1. 통제할 교란 변수 데이터가 없음	회원 가입 때 성별과 나이를 선택 입력으로 두면 그 값이 없는 사람이 많고, 없으면 통제 자체가 불가
2. 매칭할 만큼 샘플이 없음	실험군 1에 대조군 4 같은 최적 비율이 있는데 데이터가 없으면 매칭 불가
3. 통제 방법의 가정이 복잡함	PSM, IPW, IV 같은 방법의 가정이 어렵고, 파고들면 결국 선형 회귀
현실적인 문제	러닝 커브 급상승

첫째, 통제할 교란 변수 자체가 없는 경우입니다. 서비스 회원 가입에서 성별과 나이를 선택 입력으로 두면 저처럼 안 넣는 사람이 많습니다. 이 데이터가 없으면 인과추론으로 통제할 것이 없습니다. 둘째, 매칭에는 실험군과 대조군의 최적 비율이 있습니다. 실험군이 1이면 대조군을 4배 모으라는 식인데, 데이터가 없으면 이것도 안 됩니다. 셋째, 매칭 같은 통제 방법의 가정이 복잡합니다. 파고들면 결국 선형 회귀가 나옵니다. 재미있는데 어렵습니다.

그래서 현실적인 문제는 러닝 커브가 급격히 올라간다는 것입니다. 인과추론 책 서두에 “당신이 통계학을 다 알고 선형대수를 알며 머신러닝을 알고 있다고 가정하고 푼다”고 적혀 있는데, 그 책이 이미 400쪽이 넘습니다. 너무 어려워서 그냥 A/B test를 하자고 의사결정하는 경우도 많이 봤습니다.

6. 결론, 무엇부터 할 것인가

여러 사람과 이야기해 보고, 경력 사원들과도 이야기해 본 끝에 내린 결론입니다.

지금 상황	다음 행동	발표에서 언급한 도구
데이터가 없다	데이터 파이프라인 구축	Google Sheets
빠른 의사결정, 논쟁 없는 정보가 필요하다	집계와 시각화	Google Sheets
실험 기반으로 서비스를 성장시키려 한다	A/B test 도입	Optimizely, Hackle, 자체 구축
A/B test가 불가능하고 후향적 분석이 필요하다	인과추론	가짜연구소

데이터가 없다면 파이프라인 구축이 필요한데, 구글 시트가 정말 괜찮은 프로덕트라는 것은 부정할 수 없습니다. 일종의 데이터베이스처럼 쓸 수 있고, 시각화도 되고, 데이터가 흐르는 문화의 개념 증명(POC)이 되는 제품입니다. 빠른 의사결정과 논쟁 없는 정보 역시 집계와 시각화이고, 여기서도 구글 시트만 한 것이 없습니다. 돌고 돌아 구글로 옵니다.

제품이 성숙해서 실험 기반으로 더 올라가려 한다면 A/B test를 도입하면 됩니다. 발표에서는 Optimizely와 Hackle을 언급했습니다. Hackle은 쿠팡에서 분사한 A/B test 플랫폼인데, 그곳에서 통계를 하시는 분과 이야기해 보니 잘 되어 있었습니다. 더 나아가면 자체 구축하는 팀도 있습니다. A/B test가 불가능하고 후향적 분석에 호기심이 있다면 인과추론으로 가면 됩니다. 내용이 어렵고 SaaS도 거의 없어서, 우리나라에서는 가짜연구소가 이쪽을 하고 있고 저도 그 유튜브를 많이 봤습니다.

7. 책 추천

발표에서 공부할 때 도움이 됐던 책 세 권을 소개했습니다.

주제	책	발표에서 한 말
통계, 머신러닝	데이터 과학을 위한 통계 2판 (Practical Statistics for Data Scientists, 한빛미디어)	기본기
A/B test	Trustworthy Online Controlled Experiments (Ron Kohavi, Diane Tang, Ya Xu, Cambridge University Press)	A/B test의 바이블. 앞 한두 단원만 읽어도 좋음
인과추론	실무로 통하는 인과추론 with 파이썬 (Causal Inference in Python, 한빛미디어)	어렵지만 재미있음. 저도 중간에 넘긴 대목이 있음

발표 자료 레퍼런스

• An overview of clinical research: the lay of the land, Grimes and Schulz, Lancet 2002 (3장 분류 도식)
• 고객 중심 프로덕트 개선에 ‘A/B 테스트’ 왜 필수일까?, 방태모, 요즘IT
• Simpson’s Paradox and Confounding, Choi bokyoung, Medium
• PS matching(Propensity Score matching, 성향 점수 매칭), 의학논문 치트키
• Causal analysis overview: Causal inference versus experimentation versus causal discovery, Ganga Meghanath, Medium
• Regression and Matching, Jiyong Park, Korea Summer Workshop on Causal Inference 2023 (매칭 강의 영상은 Week 3-4)
• Demystifying A/B Testing in Machine Learning, Dagang Wei, Medium
• 아이콘: flaticon

이 글은 2025년 데이터야놀자 발표 영상의 자막과 슬라이드 33장을 바탕으로 작성했습니다. 발표에 없는 사례와 수치는 넣지 않았습니다. 최종 확인일 2026년 9월 9일.