Coloquei XGBoost Contra Regressão Logística em 358 Partidas — O Modelo Mais Simples Venceu. Veja Por Quê.

O Problema: Modelo Demais para Poucos Dados

Você já viu isso acontecer — ou talvez já tenha feito. Um dataset novo chega na sua mesa e seu primeiro instinto é pegar o XGBoost ou uma rede neural. É a aposta segura, a que agrada a todos. Mas e se esse instinto estiver exatamente errado?

Eu fiz um experimento controlado: cinco classificadores na mesma tarefa, prevendo o resultado (vitória do mandante, empate, vitória do visitante) de 358 partidas internacionais de futebol. Os modelos iam de uma regressão logística simples até random forest, KNN, uma rede neural pequena e XGBoost. Mesmas features, mesma validação cruzada, mesma métrica.

O modelo mais simples venceu. A regressão logística teve o melhor log-loss (1,001) e 54% de acurácia. O XGBoost ficou em último — com log-loss de 1,169, pior que chute aleatório (1,099). Um modelo com 48% de acurácia era, pela métrica que importa para probabilidades calibradas, literalmente menos útil que uma moeda.

Isso não é anomalia. É uma demonstração clássica do trade-off viés-variância — e uma das lições mais práticas de machine learning aplicado.

O Experimento: Setup, Código e Resultados

Todos os modelos viram as mesmas três features: diferença de força entre os times, força combinada e flag de jogo eliminatório. O alvo era o resultado triplo. A pontuação usou validação cruzada de 5 folds com log-loss como métrica principal.

from sklearn.model_selection import cross_val_predict
from sklearn.metrics import log_loss, accuracy_score

# Suponha que X, y são suas features e labels
proba = cross_val_predict(model, X, y, cv=5, method="predict_proba")
print("Log-loss:", log_loss(y, proba), "| Acurácia:", accuracy_score(y, proba.argmax(1)))

Tabela de Resultados

Duas coisas saltam aos olhos:

1. Regressão logística no topo.
2. XGBoost com pontuação acima de 1,099 — a baseline de chute uniforme. Foi pior que aleatório.

Ambos os fatos têm a mesma causa raiz: variância. Com apenas 358 exemplos divididos em três classes (~120 por classe), os milhares de parâmetros efetivos do XGBoost não tiveram dificuldade em memorizar ruído. Ele emitiu previsões excessivamente confiantes e erradas, e o log-loss puniu esses erros brutalmente. Para um mergulho mais profundo em arquiteturas multiagente que lidam com complexidade em escala, confira Desconstruindo a Complexidade: Uma Arquitetura Multi-Agente para Publicidade Inteligente.

Por Que o Modelo Simples Venceu — e Como Resgatar os Complexos

A Teoria: Decomposição Viés-Variância

O erro esperado fora da amostra de um modelo se divide em:

Erro = Viés² + Variância + Ruído Irredutível

• Viés: erro de suposições erradas (muito rígido)
• Variância: erro por sensibilidade à amostra de treino (muito flexível)
• Ruído irredutível: aleatoriedade genuína (ex.: um chute desviado no futebol)

A regressão logística tem viés alto mas variância baixa. Com 358 partidas e apenas alguns coeficientes, ela se mantém estável. O XGBoost tem viés baixo mas variância alta — e sem dados suficientes, a variância domina.

A Métrica de Pontuação Correta Importa

A acurácia esconde a má calibração. O log-loss pune erros confiantes exponencialmente:

• Prever probabilidade 0,5 para a classe verdadeira: penalidade = -ln(0,5) = 0,69
• Prever probabilidade 0,1 para a classe verdadeira (confiante e errado): penalidade = -ln(0,1) = 2,30 — mais de 3x maior

O XGBoost não só errou; errou com convicção. Por isso seu log-loss caiu abaixo do chute aleatório.

Como Resgatar as Árvores (Se Precisar)

A regularização é a alavanca. Para XGBoost:

• Árvores mais rasas (max_depth=2–3)
• min_child_weight, subsample, colsample_bytree mais altos
• Penalidade L2 (lambda)
• Taxa de aprendizado baixa + early stopping
• Menos rodadas de boosting

Para regressão logística, a penalidade L2 (C) já faz regularização silenciosa.

O Teste da Curva de Aprendizado

Plote o log-loss fora da amostra contra o tamanho do conjunto de treino. Um modelo de viés alto estabiliza cedo; um de variância alta começa pior mas melhora conforme os dados crescem. O ponto de cruzamento diz quando a complexidade vale a pena. Em 358 partidas, estamos claramente à esquerda desse cruzamento.

Limitações e Cuidados

• Os resultados são específicos para este dataset e conjunto de features. Em problemas grandes e ricos em features, gradient boosting e redes neurais geralmente dominam.
• Modelos superparametrizados muito grandes podem entrar em regime de "dupla descendência" — mas isso exige escalas de dados e parâmetros muito além de 358 partidas.
• As diferenças entre regressão logística, random forest e KNN (1,001 vs 1,011 vs 1,013) estão dentro do ruído — eles estão efetivamente empatados.

A Conclusão: Combine o Modelo com Seus Dados

Isso não é uma condenação do XGBoost. É um chamado à disciplina. Antes de pegar o maior modelo no seu próximo projeto, faça duas perguntas:

1. Quantos dados você realmente tem?
2. Como você vai saber se a complexidade ajudou?

Comece simples. Estabeleça uma baseline forte. Meça com uma métrica de pontuação adequada. Adicione complexidade apenas quando os dados fora da amostra disserem que ela merece seu lugar. Às vezes, a linha de melhor ajuste é também a linha de chegada.

Para mais sobre como agentes de IA modernos estão redefinindo interações em plataformas em escala, veja Além do Chatbot: Como o Agent Lee da Cloudflare Redefine a Interação em Plataformas.

Próximos Passos

• Leia mais: Os capítulos de modelagem de Soccer Analytics with Machine Learning (O'Reilly, 2026) cobrem regressão logística no Capítulo 5 e métodos baseados em árvores no Capítulo 6.
• Pratique: Reproduza este experimento com seus próprios dados. Plote curvas de aprendizado. Descubra onde está seu ponto de cruzamento.
• Lembre-se: A complexidade do modelo deve combinar com os dados, não com o hype.