데이터가 358개뿐인데 XGBoost부터 돌리시나요? 심플 모델이 이긴 이유

서론: 단순한 모델이 이겼다? 이유가 궁금하지 않나요?

같은 데이터, 같은 피처, 같은 태스크. 다섯 개의 분류 모델을 겨뤘는데 우승은 단 한 줄짜리 로지스틱 회귀가 차지했습니다. Kaggle 챔피언을 꺾은 XGBoost는 최하위. 게다가 로그 로스 기준으로는 무작위 추측(1.099)보다도 나빴습니다.

핵심 질문: 왜 단순한 모델이 더 복잡한 모델을 이겼을까? 그리고 이 결과에서 우리는 무엇을 배워야 할까?

이 질문에 답하기 위해 실제 실험을 재현해보고, 편향-분산 트레이드오프(Bias-Variance Tradeoff)라는 통계학의 핵심 개념으로 분석해보겠습니다. 이 내용은 근거자료에서 더 자세히 확인할 수 있습니다.

본론 1: 실험 설계와 결과 — 로그 로스가 말해주는 진실

실험 설정

• 데이터: 2010~2022년 월드컵 + 2020/2024 유로, 총 358경기
• 피처: 팀 간 전력 차이, 두 팀의 합산 전력, 토너먼트 플래그
• 타겟: 홈팀 승, 무승부, 원정팀 승 (3클래스 분류)
• 평가: 5-Fold Cross-Validation, 로그 로스(Log-Loss) 메인, 정확도는 보조

로그 로스가 중요한 이유

정확도는 맞춘 클래스만 봅니다. 로그 로스는 확률 벡터 전체의 품질을 평가하고, 확신에 찬 오답에 엄청난 패널티를 줍니다.

# 로그 로스 계산 예시 (scikit-learn)
from sklearn.model_selection import cross_val_predict
from sklearn.metrics import log_loss, accuracy_score

# proba: 교차 검증으로 얻은 예측 확률 (n_samples, n_classes)
proba = cross_val_predict(model, X, y, cv=5, method="predict_proba")
print(f"Log-Loss: {log_loss(y, proba):.3f}")
print(f"Accuracy: {accuracy_score(y, proba.argmax(1)):.2%}")

실험 결과

충격 포인트: XGBoost의 로그 로스(1.169)는 무작위 추측(1.099)보다 높습니다. 정확도 48%로 나름 괜찮아 보이지만, 확률 추정 품질은 완전 랜덤보다 나쁩니다.

왜 이런 일이 발생했을까?

편향-분산 분해(Bias-Variance Decomposition) 로 설명됩니다.

Error = Bias² + Variance + Irreducible Noise

• 편향(Bias): 모델이 너무 단순해서 실제 패턴을 못 잡아내는 오차
• 분산(Variance): 모델이 너무 유연해서 훈련 데이터의 노이즈까지 학습하는 오차
• 줄일 수 없는 오차(Irreducible Noise): 축구 경기의 본질적인 무작위성 (단 한 번의 굴절 슛이 승부를 결정)

XGBoost는 수천 개의 파라미터를 가진 고용량(High-Capacity) 모델입니다. 358개 샘플(클래스당 약 120개)로는 이 파라미터를 안정적으로 추정할 수 없습니다. 모델이 훈련 데이터의 우연한 패턴에 과적합(Overfitting)하여, 교차 검증에서 보지 못한 데이터에 대해 확신에 찬 잘못된 예측을 하게 됩니다.

로그 로스는 이 '확신에 찬 오답'에 가차 없습니다. 예를 들어, 실제 패배 경기를 90% 확률로 승리라고 예측했다면, 로그 로스 패널티는 -ln(0.1) = 2.30으로, 조심스럽게 50%로 예측했을 때(-ln(0.5)=0.69)의 3배 이상입니다. 이것이 XGBoost가 무작위 추측보다 나빠진 이유입니다.

로지스틱 회귀는 왜 잘했을까?

1. 데이터 생성 과정과의 일치: 축구 경기 결과는 전력 차이에 따라 로그 오즈(log-odds)에서 거의 선형적으로 증가합니다. 로지스틱 회귀는 이 구조를 가정(Inductive Bias)으로 가지고 있어, 적은 데이터로도 잘 추정합니다.
2. 낮은 차원: 피처가 3개뿐이고 상호작용이 약합니다. 트리 기반 모델의 강점(복잡한 상호작용 탐색)이 발휘될 기회가 없습니다.

통계학의 경험 법칙: 안정적인 추정을 위해 파라미터당 10~20개의 관측치가 필요합니다. 로지스틱 회귀는 소수 계수 vs 358경기로 여유롭지만, XGBoost는 수천 개의 파라미터로 이 예산을 훨씬 초과합니다.

본론 2: 결과를 냉정하게 읽는 법 + 모델 구제 가능성

결과 해석 시 주의할 점

1. CV 분산: 358경기, 5폴드면 각 폴드당 약 72경기입니다. 로지스틱 회귀(1.001), 랜덤 포레스트(1.011), KNN(1.013)의 차이는 오차 범위 내에서 사실상 동점입니다. 확실한 것은 단순 모델이 상위권, 복잡 모델이 하위권이라는 순서입니다.
2. 정확도는 과대평가하지 마세요: 무승부(역사적으로 약 27%)는 팀 전력만으로 예측이 거의 불가능합니다. 로지스틱 회귀의 54%는 이 피처 세트의 실질적 한계에 가깝습니다.

XGBoost를 구제할 수 있을까? — 규제(Regularization)의 힘

네, 가능합니다. 핵심은 분산을 줄이고 편향을 약간 늘리는 것입니다.

# 규제를 강화한 XGBoost 예시
import xgboost as xgb

model = xgb.XGBClassifier(
    max_depth=2,               # 트리 깊이 제한 (기본 6)
    min_child_weight=5,        # 자식 노드 최소 가중치 합 증가
    subsample=0.7,             # 데이터 샘플링 비율
    colsample_bytree=0.7,      # 피처 샘플링 비율
    reg_lambda=2.0,            # L2 규제 강화
    learning_rate=0.05,        # 학습률 낮춤
    n_estimators=200,          # 트리 개수 (조기 종료 사용)
    early_stopping_rounds=10,  # 검증 세트 기준 조기 종료
    eval_metric='mlogloss'
)

충분히 규제된 XGBoost는 로지스틱 회귀에 근접할 가능성이 높습니다. 하지만 이것이 오히려 교훈을 강화합니다: '세심한 튜닝 끝에 겨우 단순 모델을 따라잡았다' 는 사실 자체가, 데이터가 작을 때는 단순함이 정답임을 증명합니다.

학습 곡선(Learning Curve)으로 판단하세요

두 모델의 학습 곡선을 그려보면 결정적인 패턴이 보입니다.

• 고편향 모델(로지스틱 회귀): 데이터가 늘어나도 성능이 일찍 정체됩니다. 편향이 한계입니다.
• 고분산 모델(XGBoost): 초기에는 성능이 나쁘지만, 데이터가 늘어날수록 꾸준히 개선됩니다.

두 곡선이 교차하는 지점이 복잡한 모델이 이점을 보기 시작하는 데이터 규모입니다. 358경기에서는 그 지점의 훨씬 왼쪽에 있습니다. 수만 경기의 클럽 데이터와 xG, 휴식일, 라인업 같은 풍부한 피처가 있다면 XGBoost가 역전할 가능성이 높습니다.

# 학습 곡선 그리기 예시
from sklearn.model_selection import learning_curve
import matplotlib.pyplot as plt

train_sizes, train_scores, test_scores = learning_curve(
    model, X, y, cv=5, scoring='neg_log_loss',
    train_sizes=[0.2, 0.4, 0.6, 0.8, 1.0]
)
# ... 그래프 그리기 (생략)

결론: 모델 복잡도는 데이터에 맞춰야 합니다

이 실험이 주는 교훈은 명확합니다.

1. 무조건 복잡한 모델부터 시작하지 마세요. 데이터가 작고 깔끔하다면 로지스틱 회귀나 선형 모델이 정답일 확률이 높습니다.
2. 적절한 평가 지표를 사용하세요. 분류 문제에서 확률 추정이 중요하다면 로그 로스나 Brier Score 같은 Proper Scoring Rule을 사용하세요. 정확도는 보조 지표로만 활용하세요.
3. 규제는 강력한 도구입니다. 과적합이 의심된다면 모델의 복잡도를 줄이는 규제 기법을 먼저 적용하세요.
4. 학습 곡선을 그려보세요. 데이터 규모에 따른 모델 성능 변화를 시각화하면, 지금 당신의 데이터에 어떤 모델이 적합한지 명확히 알 수 있습니다.

국내 개발 생태계에서의 적용 맥락

한국 SI/스타트업 현장에서는 '일단 XGBoost/LightGBM 돌려보자'는 문화가 흔합니다. 하지만 이 실험은 데이터가 적은 초기 단계의 프로젝트에서는 단순한 베이스라인(로지스틱 회귀, 나이브 베이즈 등)을 먼저 구축하고, 그 성능을 뛰어넘을 때만 복잡한 모델을 도입하는 것이 효율적임을 보여줍니다. 특히 로그 로스나 calibration curve를 통해 모델이 '자신 있는 오답' 을 내고 있는지 확인하는 습관이 중요합니다.

이 기술의 한계 및 주의사항

• 이 결론은 데이터가 적고(수백 건) 피처가 적은(10개 미만) 상황에 국한됩니다. 빅데이터(수만~수십만 건)와 수백 개의 피처가 있는 환경에서는 트리/딥러닝 모델이 압도적으로 우세할 수 있습니다.
• 매우 큰 모델(파라미터가 데이터보다 많은)은 '이중 하강(Double Descent)' 현상으로 다시 성능이 좋아질 수 있습니다. 하지만 이는 이 실험의 범위를 벗어납니다.

다음 단계 학습 방향

1. 편향-분산 트레이드오프에 대한 이론적 이해를 깊이 하세요 (The Elements of Statistical Learning 추천).
2. Proper Scoring Rule (로그 로스, Brier Score, AUC)의 수학적 배경을 공부하세요.
3. 실제 프로젝트에서 학습 곡선(Learning Curve) 을 그리는 습관을 들이세요.
4. 모델 복잡도 선택에 대한 더 많은 사례를 보려면 DeepSeek V4, Vercel AI Gateway에 정식 등장 Pro vs Flash 완벽 비교 글도 참고해보세요.

핵심 메시지: 복잡함이 항상 더 나은 것은 아닙니다. 데이터의 크기와 구조에 맞는 모델을 선택하는 지혜가 진짜 실력입니다. 때로는 가장 단순한 직선이 결승선을 가장 먼저 통과합니다.

함께 보면 좋은 글

• NVIDIA NVbandwidth 완벽 가이드 GPU 메모리 대역폭, 이 도구 하나로 측정하고 최적화하자