모던 앱의 성공은 개인화(Personalization)에 달려 있습니다. 사용자 특성에 맞춘 추천은 더 나은 사용자 경험을 제공하죠. 한편, 이러한 개인화 시스템을 개선하고 평가하는 데는 실험(Experimentation)이 필수적입니다. 그런데 흥미롭게도 스포티파이를 비롯한 선도 기업들은 이 두 가지를 구현하는 기술 스택을 명확히 분리하고 있습니다. 왜 그럴까요? 단순한 통합 툴 하나로 해결할 수 없는 깊은 이유가 있습니다.
개인화 vs. 실험: 목적의 근본적 차이
- 개인화(Personalization)의 목표: 각 사용자에게 최적의 단일 경험을 제공하는 시스템을 구축하는 것. 정교한 ML 모델(신경망, LLM, 강화학습)을 통해 풍부한 피처를 처리하고, 상황에 맞는 맞춤형 추천을 실시간으로 생성합니다.
- 실험(Experimentation)의 목표: 여러 대안(예: 다른 버튼 디자인, 다른 추천 알고리즘) 중 어느 것이 더 나은지 비교 평가하는 것. A/B 테스트나 멀티암드 밴딧을 통해 데이터 기반 결정을 내립니다.
콘텍스츄얼 밴딧(Contextual Bandit)은 이 경계를 흐리게 합니다. 사용자 피처를 기반으로 다른 '팔(arm)'을 제공하는 이 알고리즘은 본질적으로 개인화 시스템입니다. 따라서 이 밴딧 자체도 하나의 '시스템'으로서, 다른 시스템(예: 기존 정적 버튼)과 비교하는 실험의 대상이 되어야 합니다. 이때 실험 플랫폼의 역할은 이 개인화 시스템의 가치를 평가하는 것이지, 시스템 자체를 구축하는 것이 아닙니다.
기술 스택을 분리해야 하는 결정적 이유
-
인프라 요구사항의 차이:
- ML 스택: 낮은 지연 시간의 실시간 피처 접근, 빠른 모델 추론, 다양한 모델 유형(부스팅, 랜덤포레스트, 신경망, LLM)의 학습 및 서빙 인프라가 필요합니다.
- 실험 스택: 정확한 무작위 배정, 지표 집계, 통계적 유의성 검정에 최적화되어 있습니다.
두 가지를 억지로 통합하면 ML 시스템의 숨은 기술 부채가 증가하거나(
Sculley et al., 2015), 개인화의 정교함이 제한될 수 있습니다.
-
멀티암드 밴딧의 실용적 한계:
- 단일 목표 최적화: 대부분의 밴딧은 하나의 지표(예: 단기 클릭률)만 최적화합니다. 실무에서는 장기 만족도, 발견도 등 여러 지표의 균형이 중요합니다.
- 의사결정 속도에 대한 오해: 중요한 비즈니스 지표(예: 2주 후 유지율)는 결과 관찰에 시간이 걸려 밴딧의 가중치를 빠르게 업데이트하기 어렵습니다. 스포티파이에서는 300개 이상의 팀이 수천 개의 실험을 동시에 실행할 수 있는 단순하고 신뢰할 수 있는 A/B 테스트가 복잡한 밴딧 이론보다 더 큰 비즈니스 가치를 창출했습니다.
-
규모의 효율성: 각 스택이 자신의 전문 분야에 집중할 때 스케일이 더 효율적입니다. ML 플랫폼은 대규모 개인화 시스템 구축을 표준화하고, 실험 플랫폼(Confidence)은 이러한 시스템을 다른 수천 개의 실험과 병렬로 평가하는 것을 가능하게 합니다. 이에 대한 더 자세한 논의는 근거자료에서 확인할 수 있습니다.
실무 적용을 위한 조언
- 시작부터 분리하라: 개인화를 시작할 때 모든 것을 해결해주는 통합 툴에 유혹받기 쉽습니다. 하지만 인프라 요구사항이 근본적으로 다르므로, 초기부터 적절한 ML 스택에 투자하는 것이 장기적으로 유리합니다.
- 각자의 일을 잘하게 하라: ML 스택은 추천을 제공(Serve) 하는 데, 실험 스택은 추천 시스템을 평가(Evaluate) 하는 데 집중해야 합니다.
- 원활한 통합을 설계하라: 스포티파이의 Confidence 플랫폼처럼, 외부 시스템(ML 플랫폼, 광고 시스템 등)과의 API 통합을 매끄럽게 만들어 팀이 추가 단계 없이 실험을 설정할 수 있게 해야 합니다.
결론적으로, 개인화와 실험은 상호 보완적이지만, 그 구현을 위한 기술적 접근법은 명확히 구분될 때 가장 강력한 시너지를 발휘합니다. 각 도메인의 고유한 요구사항을 존중하는 인프라 설계가 지속 가능한 혁신의 열쇠입니다.