No universo do aprendizado de máquina, a precisão e a capacidade de generalização de um modelo são cruciais para o sucesso em aplicações práticas. 

Dois dos desafios mais comuns que comprometem essas qualidades são o Overfitting e o underfitting. Entender e mitigar o Overfitting é essencial para desenvolver modelos que não apenas performam bem em dados de treinamento, mas também em novos dados.

Você sabe o que é Overfitting, como ele se diferencia do underfitting e como evitá-lo?

Índice de conteúdo

Falamos neste artigo!

O que é Overfitting?

O Overfitting ocorre quando um modelo de machine learning se ajusta tão bem aos dados de treinamento que começa a capturar o ruído e os detalhes irrelevantes específicos do conjunto de dados. 

Isso leva a um modelo que é altamente preciso no conjunto de treinamento, mas que se sai mal ao ser aplicado a novos dados, pois não consegue generalizar. 

Em essência, o modelo está “super ajustado” aos dados de treinamento, memorizando em vez de aprender padrões significativos — o que afeta diretamente o ML e o deep learning.

Diferença entre Overfitting e Underfitting

A principal diferença entre Overfitting e underfitting está na complexidade do modelo em relação aos dados que ele está tentando aprender:

• Overfitting: o modelo é excessivamente complexo, com muitos parâmetros em relação ao número de observações. Ele captura tanto os padrões verdadeiros quanto o ruído dos dados de treinamento, o que prejudica sua capacidade de generalização.
• Underfitting: o modelo é demasiadamente simples, com poucos parâmetros ou estrutura inadequada, e falha em capturar os padrões subjacentes dos dados. Como resultado, ele tem um desempenho ruim tanto nos dados de treinamento quanto nos de teste.

Impacto no aprendizado de máquina

O Overfitting resulta em alta precisão no conjunto de treinamento, mas baixa precisão em novos dados, comprometendo a capacidade do modelo de fazer previsões precisas em situações reais. Isso significa que o modelo não é útil para aplicações práticas onde novos dados são constantemente introduzidos.

Underfitting leva a baixa precisão tanto nos dados de treinamento quanto nos de teste, indicando que o modelo não aprendeu os padrões relevantes dos dados. Isso também o torna inútil para aplicações práticas, pois ele não consegue fornecer resultados confiáveis.

Ambos os problemas, Overfitting e Underfitting, prejudicam a eficácia dos modelos de machine learning e devem ser mitigados para garantir que os modelos possam generalizar bem e fornecer previsões precisas.

Causas do Overfitting

Há três principais causas do Overfitting: modelo complexo, falta de regularização e super ajuste aos dados de treinamento.

Modelo de machine learning complexo

Modelos com muitos parâmetros em comparação com o número de observações podem ajustar-se excessivamente aos dados de treinamento. Exemplos incluem redes neurais profundas com muitas camadas e árvores de decisão com grande profundidade. 

Esses modelos têm a capacidade de aprender muitos detalhes e nuances dos dados de treinamento, o que pode levar ao Overfitting se não forem devidamente regulados.

Falta de regularização

Regularização é uma técnica que adiciona uma penalidade para a complexidade do modelo. Sem regularização, modelos podem tornar-se complexos demais, levando ao Overfitting. Técnicas como L1 (Lasso) e L2 (Ridge) são usadas para adicionar essa penalidade, forçando o modelo a ser mais simples e, portanto, menos propenso a Overfitting.

Super ajuste aos dados de treinamento

Quando um modelo é treinado por muito tempo ou com dados que contêm muito ruído, ele pode aprender os detalhes específicos do conjunto de treinamento, que não são representativos dos dados reais. 

É bem comum quando não há um conjunto de validação para monitorar o desempenho do modelo durante o treinamento, permitindo identificar quando ele começa a overfitar.

Como evitar o Overfitting?

Evitar o Overfitting é essencial para garantir que um modelo de machine learning possa generalizar bem para novos dados e não apenas memorizar o conjunto de treinamento. 

Aqui estão várias estratégias detalhadas para prevenir o Overfitting:

1. Simplificar o modelo

Um modelo muito complexo com muitos parâmetros pode facilmente overfitar os dados de treinamento. É por isso que simplificar o modelo é uma das maneiras mais diretas de evitar o Overfitting.

Pode ser interessante escolher um modelo com menos parâmetros ou reduzir a complexidade do modelo atual pode ajudar. Por exemplo, usar uma regressão linear em vez de uma rede neural profunda.

Em modelos de árvore de decisão, técnicas de poda (pruning) podem ser aplicadas para remover ramos que fornecem pouca informação e que podem ter sido ajustados ao ruído dos dados de treinamento.

2. Regularização

Regularização é uma técnica que adiciona uma penalidade para a complexidade do modelo, ajudando a evitar que ele se ajuste excessivamente aos dados de treinamento.

Ela funciona mais ou menos assim:

• L1 Regularização (Lasso): adiciona uma penalidade proporcional à soma dos valores absolutos dos coeficientes, encorajando um modelo mais esparso, onde alguns coeficientes são zero.
• L2 Regularização (Ridge): adiciona uma penalidade proporcional à soma dos quadrados dos coeficientes, prevenindo que qualquer coeficiente se torne muito grande.
• Dropout: em redes neurais, dropout desativa aleatoriamente uma fração de neurônios durante cada iteração de treinamento, forçando a rede a ser mais robusta e menos dependente de neurônios específicos.

3. Aumento do conjunto de dados (Data Augmentation)

Ter mais dados de treinamento pode ajudar a reduzir o Overfitting, pois o modelo pode aprender padrões mais gerais. 

Em tarefas de visão computacional, técnicas como rotação, translação, deslocamento e adição de ruído às imagens podem criar mais exemplos de treinamento a partir de um conjunto de dados limitado.

Adquirir mais exemplos de dados do mundo real pode ser a solução mais direta, só que vale dizer que muitas vezes pode ser difícil e custoso também.

4. Validação cruzada (Cross-Validation)

Usar validação cruzada ajuda a garantir que o modelo se generalize bem para diferentes subconjuntos dos dados.

Dividir os dados em k subconjuntos (folds), treinar o modelo em k-1 folds e validar no fold restante, repetindo o processo k vezes, fornece uma avaliação mais robusta do desempenho do modelo.

Já uma forma extrema de validação cruzada onde cada instância de dados é usada uma vez como conjunto de validação, e o restante como conjunto de treinamento.

5. Early stopping

Early stopping, que pode ser traduzido para “parar cedo”, envolve monitorar o desempenho do modelo em um conjunto de validação e interromper o treinamento quando o desempenho já começa a piorar.

Durante o treinamento, é preciso monitorar métricas como precisão ou erro no conjunto de validação. Então, quando essas métricas param de melhorar, o treinamento é interrompido para evitar o ajuste excessivo aos dados de treinamento.

6. Ensemble learning

Técnicas de ensemble combinam os resultados de vários modelos para melhorar a robustez e reduzir o Overfitting.

Uma delas é o Bagging (Bootstrap Aggregating), ou seja, treinar múltiplos modelos independentes em diferentes subconjuntos dos dados de treinamento e combinar suas previsões (por exemplo, Random Forest).

Já o boosting envolve treinar modelos sequencialmente, onde cada modelo tenta corrigir os erros do anterior (por exemplo, Gradient Boosting, AdaBoost).

Implementar essas técnicas de maneira combinada pode fornecer uma abordagem robusta para evitar o Overfitting, garantindo que o modelo de machine learning possa generalizar bem para novos dados!