LLM으로 A/B 테스트를 대체할 수 있을까? 결론부터 말하면 조건부로만 가능합니다

왜 이 이야기가 중요한가

제품 팀이라면 누구나 한 번쯤 꿈꿔봤을 겁니다. "A/B 테스트를 유저한테 돌리지 말고 LLM한테 물어보면 몇 시간 만에 끝나는 거 아니야?" 트래픽 분배도 필요 없고, 2주짜리 실험을 하루 만에 돌릴 수 있다는 약속은 정말 솔깃하죠.

그런데 여기서 대부분의 제안이 건너뛰는 질문이 하나 있어요. "그 실험이 정말 우리가 알고 싶은 처치 효과(treatment effect)를 식별(identify)하는가?" 입니다. 무작위 대조 실험(RCT)이 골드 스탠다드인 이유는 '설계에 의해' 인과 효과를 식별하기 때문인데, 유저 응답을 LLM 예측으로 갈아끼우는 순간 그 보장은 사라집니다. 남는 건 '가정에 의한' 식별뿐이에요.

이 글은 생물통계학의 서로게이트 엔드포인트 이론(Surrogate Endpoint Theory) 을 디지털 A/B 테스트에 적용한 연구를 바탕으로, 그 가정이 정확히 무엇인지, 어떤 조건에서 깨지는지를 정리한 내용입니다. 근거자료는 Spotify Engineering 블로그 원문에서 확인하실 수 있어요.

핵심 한 줄 요약: LLM 기반 A/B 테스트는 '설계에 의한 식별'을 '가정에 의한 식별'로 바꾸는 트레이드오프입니다.

검증: Upworthy 데이터로 돌려보면 무슨 일이 벌어지나

연구진은 공개된 최대 규모 A/B 테스트 데이터셋인 Upworthy Research Archive(수천 개의 뉴스 헤드라인 클릭률 실험)를 사용했습니다. gpt-4o-mini에게 각 헤드라인의 CTR을 처치군/대조군별로 예측하게 한 뒤, 표준 실험 분석을 돌렸어요.

결과부터 말하면:

• 보정 없는 raw LLM 예측 → 실제 인간 처치 효과의 39%만 회복
• 즉, LLM 예측을 그대로 사람 데이터처럼 쓰면 "이 기능은 실제보다 절반도 안 되는 효과밖에 없다"고 결론 내리게 됩니다

이건 단순한 노이즈가 아니라 체계적이고 방향성 있는 편향입니다. LLM 결과는 처치 효과를 0 쪽으로 축소(attenuate) 시켜요. 여러 기능에 걸쳐 이 방식이 쓰이면 조직 전체가 자기 제품의 가치를 과소평가하고, 출시 결정을 잘못 내리게 됩니다.

가정 1: 서로게이트성 (Surrogacy)

LLM 출력이 인간 결과에 대한 처치 효과를 완전히 매개(fully mediate) 해야 합니다. LLM 예측과 처치와 무관한 베이스라인 공변량을 통제한 뒤에는, 사용자가 처치군인지 대조군인지가 인간 반응에 대해 추가 정보를 주지 않아야 해요. 쉽게 말해 "LLM이 처치의 중요한 모든 것을 담고 있다" 는 뜻입니다.

문제는 이 가정이 LLM 기반 A/B 테스트 제안에서 암묵적으로 가정되기만 하고 거의 명시되거나 검증되지 않는다는 점이에요.

가정 2: 비교가능성 (Comparability)

LLM 예측과 인간 결과 사이의 관계, 즉 보정 함수(calibration function) 가 새 실험에서도 과거 데이터로 추정했을 때와 동일해야 합니다. 처치가 바뀔 때 LLM 예측이 인간 행동으로 매핑되는 방식이 달라지면 보정이 깨져요.

두 가정이 모두 성립할 때만 LLM 출력을 보정해서 인간 처치 효과를 복원할 수 있습니다. 하나라도 깨지면 추정치는 편향됩니다. 그리고 이 편향은 데이터 부족 때문이 아니라, 절차가 다른 것을 식별하고 있기 때문이에요. LLM 예측을 무한히 생성해도 마찬가지입니다. 복원되는 건 'LLM에 대한 효과'일 뿐, '사용자에 대한 효과'가 아닙니다.

보정 방법도 아무거나 쓰면 안 됩니다

선형 OLS는 LLM 예측과 인간 행동 사이의 비선형 관계를 담아내기엔 너무 경직됐어요. 트리 기반 ML은 유연하게 학습해서 보정에 성공했습니다.

놓치기 쉬운 함정: 샘플링 온도 노이즈

LLM은 토큰 생성의 무작위성(샘플링 온도) 때문에 단일 예측이 노이즈합니다. 이걸 보정하지 않으면 효과 추정치가 0 쪽으로 편향되고 분산이 커져요. 해법은 측정 오차 이론에서 가져옵니다 — 실험 단위마다 여러 개의 출력을 뽑아 평균을 쓰는 것. 노이즈 성분이 평균으로 상쇄되면서 진짜 신호에 가까워집니다.

진짜 한계는 '미래의 개입'에 있습니다

여기가 이 글에서 가장 중요한 부분이에요. 서로게이트성과 비교가능성은 과거 데이터로는 부분적으로만 평가할 수 있고, 한 번도 테스트한 적 없는 처치에 대해서는 결코 증명할 수 없습니다.

이건 사소한 제약이 아닙니다. 새로운 처치가 과거에 테스트한 것에서 멀어질수록, LLM 출력을 인간 반응의 유효한 대리로 신뢰할 근거는 약해집니다. 완전히 새로운 UI 패러다임, 새 가격 모델, 한 번도 출시한 적 없는 기능 같은 진짜 새로운 개입에서는 가정 자체를 검증할 방법이 없어요.

역설: LLM이 A/B 테스트에서 가장 큰 이점을 주는 상황이, 바로 LLM이 가장 실패하기 쉬운 상황입니다.

그래서 진짜 제품 혁신에는 인간 실험이 여전히 필수불가결합니다.

Upworthy가 '거의 이상적인' 테스트 케이스인 이유

이 데이터셋이 LLM 서로게이트에 유리한 조건을 갖췄다는 점도 짚어야 합니다.

• 결과가 이진형(클릭/비클릭)
• 처치가 텍스트 기반이고 언어적으로 유사(헤드라인 변형)
• LLM이 "헤드라인이 왜 클릭을 유도하는가"에 대한 방대한 텍스트로 학습됨

레이아웃, 알고리즘, 가격을 바꾸는 처치에서는 이런 조건을 정당화하기 훨씬 어렵습니다. 회사 포트폴리오 전반에 걸쳐 이 가정이 성립한다는 실증적 증거는 없어요.

보정에는 '피하려던 그 데이터'가 필요합니다

이게 가장 아이러니한 지점입니다. LLM 기반 A/B 테스트는 이론적으로는 가능하지만,

1. 강한 가정이 성립해야 하고,
2. 방법을 맥락에 맞게 조심스럽게 적용해야 하며,
3. 철저한 검증이 필요합니다.

그리고 보정 함수를 학습하려면 실제 사용자 실험 데이터가 필요합니다. 프레임워크는 사용자 실험의 필요성을 없애는 게 아니라, 새 실험이 이미 돌린 실험과 유사할 때 외삽(extrapolation)으로 격차를 메워서 필요한 실험 수를 줄여주는 것뿐이에요.

LLM 업데이트라는 추가 변수

보정 함수는 특정 시점의 특정 모델에 피팅됩니다. 그런데 LLM 제공자는 모델을 계속 업데이트하고 교체하죠. 오늘 학습한 보정 함수가 6개월 뒤 같은 모델에서도 유효하지 않을 수 있습니다. 게다가 새 보정 함수는 새 사용자 실험으로 피팅해야 시간적 편향을 피할 수 있어요. LLM 예측이 좋아지는 건 인간 검증을 우회하는 길이 아닙니다.

실무 적용 가이드: 그럼 어떻게 써야 하나

결론은 '쓰지 마라'가 아니라 '용도를 구분하라'입니다.

✅ 안전한 사용처

• 실험 슬롯을 잡아먹기 전에 약한 아이디어를 필터링
• 분산 감소를 위한 공변량(covariate) 으로 활용
• 강한 과거 데이터가 있고 새 처치가 과거와 유사할 때 실험 선택/효율 개선

❌ 위험한 사용처

• LLM 예측을 인간 결과의 대체물로 쓰는 것
• 진짜 새로운 개입(신규 UI, 신규 가격)의 효과 추정

이건 '설계에 의한 식별'을 '가정에 의한 식별'로 바꾸는 거래입니다. 그 거래는 하지 마세요.

한국 개발 생태계에서의 적용 맥락

국내 환경에서는 특히 주의할 점이 있어요. 많은 팀이 트래픽 규모가 작아서 A/B 테스트 자체를 못 돌리는 경우가 많습니다. 그래서 "LLM으로 실험하자"는 유혹이 오히려 더 강하게 다가오죠. 하지만 트래픽이 적다는 건 보정 함수를 학습할 과거 데이터도 적다는 뜻입니다. Upworthy처럼 수천 개의 동질적 실험이 쌓인 곳이 아니라면, 서로게이트 접근의 전제 자체가 무너져요. 소규모 팀일수록 LLM은 '실험 대체'가 아니라 '실험 우선순위 필터' 로만 쓰는 게 현실적입니다.

이 기술의 한계와 주의사항

• 가정은 검증 가능하지만 증명 불가능: 과거 데이터로 반증은 가능하나, 새 처치에 대한 성립은 보장되지 않습니다
• 모델 버전 종속성: 보정 함수는 특정 모델·시점에 종속됩니다
• 데이터 편향: 보정에 쓰는 과거 실험 데이터 자체가 편향됐다면 결과도 편향됩니다
• 해석 주의: 'LLM에 대한 효과'와 '사용자에 대한 효과'를 혼동하지 마세요

다음 단계 학습 방향

1. 서로게이트 엔드포인트 이론 — 생물통계학의 Prentice criteria부터 시작해보세요
2. 측정 오차 모델 — 샘플링 노이즈 보정의 이론적 배경
3. 반증 가능성(falsification test) — 홀드아웃 데이터로 보정 추정치를 검증하는 절차
4. CUPED 등 분산 감소 기법 — LLM을 공변량으로 쓰는 안전한 경로

마무리

사용자 실험은 설계로 작동하고, LLM 기반 실험은 가정으로 작동합니다. 서로게이트 프레임워크는 그 가정을 명시적이고 반증 가능하게 만들어주지만, 가장 중요한 실험 — 뭔가 새로운 걸 테스트하는 그 실험 — 에 대해 관계가 성립함을 보장하지는 못합니다.

LLM은 인간 실험을 더 좋게 만들 수 있습니다. 약한 아이디어를 걸러내고, 분산을 줄여주니까요. 하지만 인간 결과를 대체하는 건 다른 문제예요. 그건 '설계에 의한 식별'을 포기하는 일입니다. 그건 포기하지 마세요.

실험 인프라와 스케줄링 효율화에 관심 있으시다면, GPU 클러스터 스케줄링을 예산제로 바꿀 때 벌어지는 일도 함께 보시면 리소스 배분 관점에서 연결되는 지점이 많아요. 그리고 실험 인프라의 물리적 토대인 네트워크 계층 이야기는 메타의 페타비트급 해저케이블 분석에서 확인하실 수 있습니다.

정리

• LLM으로 A/B 테스트를 대체하려면 서로게이트성과 비교가능성 두 가정이 필요합니다
• 보정 없이 쓰면 처치 효과가 39%로 축소되고, 방향성 있는 편향이 생깁니다
• 보정 방법은 트리 기반 ML이 선형 OLS보다 우수했습니다
• 샘플링 온도 노이즈는 다중 출력 평균으로 완화해야 합니다
• 가장 유용한 순간이 가장 위험한 순간입니다 — 진짜 새로운 개입에는 가정을 검증할 수 없어요
• 보정에는 결국 실제 사용자 데이터가 필요합니다 — 사용자 실험을 없애주는 게 아니라 줄여줄 뿐입니다

실무 적용 조언: LLM은 '실험 대체'가 아니라 '실험 전 필터 + 분산 감소 공변량' 으로 쓰세요. 출시 결정의 최종 근거는 여전히 인간 실험이어야 합니다.