O overfitting em modelos de IA é, provavelmente, o problema mais silencioso da inteligência artificial corporativa. Não há mensagem de erro. Não há alarme. O sistema falha em silêncio, com a mesma confiança com que acertava antes.
A apresentação tinha um slide que resumia tudo.
“Acurácia de 96,4% nos testes.” Abaixo, um gráfico com curvas que subiam e se estabilizavam num número que qualquer executivo acharia confortável. A equipe tinha trabalhado quatro meses naquele modelo. Testado. Ajustado. Refinado até que os resultados fossem irrefutáveis.
O comitê aprovou o modelo na reunião. Entrou em produção.
Três meses depois, as previsões estavam tão erradas que a equipe abriu uma investigação interna supondo que havia um bug no sistema.
Não havia bug. O modelo tinha aprendido o passado com precisão cirúrgica. Quando o presente apareceu, ele não soube o que fazer com ele.
O Que É Overfitting em Modelos de IA, de Verdade
Overfitting acontece quando um modelo aprende os dados de treinamento tão bem que perde a capacidade de generalizar para dados novos.
A palavra técnica esconde um problema simples: o modelo memorizou o passado em vez de entender os padrões que o gerou. É a diferença entre um aluno que entende álgebra e um que decorou as respostas da prova do ano anterior. O segundo vai bem na revisão. Na prova nova, falha.
Na prática, overfitting em modelos de IA se manifesta desta forma: o sistema tem desempenho excelente durante os testes, quando trabalha com dados que já conhece. Quando encontra dados novos, contudo, tudo aquilo que parecia ser aprendizado revela que era apenas memória.
A acurácia de 96,4% não era falsa. Era real para aquele conjunto de dados de treinamento. O problema, no entanto, é que os dados do mundo real não são o conjunto de treinamento.
O Paradoxo da Complexidade
Aqui está o que a maioria das pessoas de negócio não espera ouvir: o modelo mais complexo não é necessariamente o melhor.
Um modelo simples aprende padrões gerais. Um modelo complexo demais, por outro lado, aprende os padrões gerais e também os ruídos, as anomalias, os casos excepcionais que existem nos dados históricos mas não refletem como o mundo funciona de verdade. Além disso, ele aprende os próprios erros que existiam nos dados.
Na prática, o resultado é um modelo que se comporta maravilhosamente nos testes e mal na operação. Quanto mais você o “melhora” com base nos dados históricos, pior ele fica para o mundo real.
Portanto, essa é a ironia do overfitting: quanto mais você otimiza para o passado, menos útil você se torna para o futuro.
Os modelos com overfitting são como especialistas que sabem tudo sobre um contexto específico e ficam perdidos quando o contexto muda um milímetro. Funcionam perfeitamente no mundo para o qual foram treinados. São inúteis no mundo que encontram.
O Que Acontece Nos Dados de Treinamento Fica Nos Dados de Treinamento
Para entender o impacto prático, pense num modelo de previsão de demanda treinado com dados de 2019 a 2022.
Esses dados incluem a pandemia, o pico de e-commerce e os padrões de comportamento de consumidores que viviam em isolamento, compravam diferente, priorizavam diferente. O modelo aprendeu tudo aquilo com perfeição.
Em 2023, o comportamento mudou. As pessoas voltaram às lojas. O padrão de compra online caiu. E o modelo, que havia aprendido tão bem o que aconteceu entre 2019 e 2022, continuou prevendo como se o mundo ainda fosse aquele.
Não é falha de engenharia. É overfitting. Na verdade, o modelo conhecia muito bem um mundo que havia deixado de existir.
A Gartner estimou que mais de 85% dos projetos de IA falham em entregar o valor esperado em produção. O overfitting aparece consistentemente nas análises de causa-raiz. O modelo que funciona no laboratório e falha na vida real não é exceção. É o caso mais comum.
A Pergunta Que Os Dados de Treinamento Não Respondem
Existe uma pergunta que os times técnicos raramente fazem, mas que os líderes de negócio deveriam colocar na mesa em toda revisão de modelo.
Os dados com que esse modelo foi treinado ainda representam a realidade que ele vai encontrar?
Não é uma pergunta técnica. É estratégica. E ela muda completamente a conversa.
Treinamos o modelo com dados de clientes de dois anos atrás. O perfil dos nossos clientes mudou desde então? E os dados que alimentaram esse modelo vieram de uma campanha específica. Esse comportamento se repete em condições diferentes?
Portanto, o intervalo entre o momento em que os dados foram coletados e o momento em que o modelo opera é onde o overfitting se transforma em problema de negócio. Quanto maior esse intervalo, maior o risco.
Modelos não envelhecem tecnicamente. Eles envelhecem porque o mundo para o qual foram treinados deixou de existir.
O Overfitting Fora dos Modelos
Há uma dimensão desse conceito que vai além da IA e que nenhum fornecedor de tecnologia vai mencionar nos slides.
Organizações também fazem overfitting.
Uma empresa que otimizou seus processos para um cenário competitivo específico e não consegue se adaptar quando o cenário muda está em overfitting organizacional. O playbook funcionou tão bem num contexto que se tornou rígido demais para outro.
O varejista que construiu toda a operação em torno de um modelo de loja física e não soube responder ao digital. A operadora que treinou seus processos de atendimento para um perfil de cliente que outro perfil substituiu por completo. O banco que otimizou para um regime de taxa de juros e ficou exposto quando ele mudou.
Em todos esses casos, o sistema aprendeu um contexto específico tão bem que perdeu a capacidade de generalizar para o próximo.
De fato, a McKinsey documentou que menos de um terço das iniciativas de transformação digital produzem resultados sustentáveis em três anos. Uma das razões centrais é exatamente essa: organizações que constroem para o contexto atual sem desenvolver a capacidade de se adaptar quando o contexto muda.
O Que os Líderes Precisam Perguntar
Antes de colocar qualquer modelo em produção, e antes de renovar contratos com fornecedores que operam modelos em nome da empresa, quatro perguntas mudam o nível de risco.
Em primeiro lugar: com que frequência a equipe retreina o modelo? Um sistema que a equipe nunca atualiza acumula distância em relação ao mundo real a cada semana que passa. A resposta aceitável depende de quão rápido os dados mudam. “Nunca” não é aceitável em nenhum contexto.
Em seguida: qual é a diferença de desempenho entre os dados de teste e os dados de produção? Se o modelo tem 96% de acurácia nos testes e 70% na operação, esse gap é o overfitting se manifestando. A pergunta não é se o número de teste é bom. É se o número de produção é útil.
Além disso: os dados de treinamento ainda representam a realidade da operação? Dados mudam. Comportamentos mudam. Mercados mudam. Um modelo treinado em dados de dois anos atrás pode estar operando num mundo que não existe mais.
Por fim: quem monitora o desempenho do modelo depois que ele entra em produção? Se a resposta for ninguém, o overfitting vai aparecer e ninguém vai perceber até o impacto ser visível nos resultados de negócio.
Assim, o fio condutor não é técnico. Nunca foi. É sobre o que acontece quando líderes aprovam sistemas que não entendem completamente, sem as perguntas certas, sem os critérios de monitoramento adequados, sem a disciplina de verificar se o que o fornecedor entregou ainda funciona quando o mundo muda.
A IA não avisa quando começa a errar. Ela continua respondendo com a mesma confiança de quando acertava. Por isso, a responsabilidade de perceber a diferença é de quem decide.
O modelo que aprendeu demais para os seus dados aprendeu de menos para o mundo.
** Este texto não reflete, necessariamente, a opinião do Portal UAI.