Você sabe o que é Underfitting?

Nos últimos anos, o machine learning tem se consolidado como uma das tecnologias mais inovadoras e transformadoras, impulsionando avanços significativos em diversas áreas, desde a medicina até a indústria de tecnologia da informação. 

No entanto, para alcançar modelos eficazes e precisos, é essencial entender e mitigar os problemas, como é o caso do Underfitting — e também do Overfitting. 

Esses dois fenômenos, embora opostos, podem comprometer seriamente a capacidade de um modelo de generalizar para novos dados. 

Índice de conteúdo

Vamos entender melhor!

Definição de Underfitting

Underfitting é um problema comum em machine learning e deep learning, que ocorre quando um modelo é demasiado simples para capturar a complexidade dos dados de treinamento. 

Isso significa que o modelo não consegue aprender adequadamente os padrões presentes nos dados, resultando em um desempenho ruim tanto no conjunto de treinamento quanto no conjunto de teste. 

Em outras palavras, um modelo underfitted falha em capturar as tendências subjacentes dos dados, levando a previsões imprecisas e ineficazes.

Como funciona o Underfitting?

O Underfitting acontece quando o modelo possui alta viés e baixa variância. A viés alta significa que o modelo faz suposições fortes sobre a natureza dos dados e, portanto, não consegue se ajustar bem aos dados. 

A variância baixa indica que o modelo é consistente em suas previsões, mas consistentemente errado. Este fenômeno geralmente ocorre em modelos que são muito simples para os dados em questão. 

Por exemplo, se você aplicar uma regressão linear simples a um problema complexo que requer um modelo mais sofisticado, o modelo não conseguirá capturar a verdadeira relação entre as variáveis de entrada e saída, resultando em erros elevados tanto no treinamento quanto na validação.

Diferenças principais entre Overfitting e Underfitting

Para entender melhor o Underfitting, é útil compará-lo com o seu oposto: o Overfitting. Os termos under e over são justamente por isso.

Mas podemos comparar também em relaçao a aspectos específicos, como:

1. Complexidade do modelo

O under acontece quando o modelo é demasiado simples para capturar os padrões nos dados. Modelos simples demais, como uma regressão linear aplicada a um problema complexo, são exemplos clássicos de Underfitting.

Já o over corre quando o modelo é demasiado complexo, captando não apenas os padrões dos dados, mas também o ruído. 

Isso acontece frequentemente com modelos de alta complexidade, como redes neurais profundas, que se ajustam excessivamente aos dados de treinamento.

2. Desempenho em conjuntos de dados

Underfitting resulta em um desempenho fraco tanto no conjunto de treinamento quanto no conjunto de testes. O motivo é simples: o modelo não consegue capturar os padrões subjacentes dos dados.

Overfitting, então, mostra um desempenho excelente no conjunto de treinamento, mas fraco no conjunto de testes. 

A razão disso é porque o modelo aprende os detalhes e o ruído do conjunto de treinamento, que não se generalizam bem para novos dados.

3. Viés e variância:

Aqui, ambos se caracterizam por alta viés e baixa variância. O modelo under é consistentemente incorreto porque é demasiado simples.

No entanto, o modelo over se ajusta excessivamente aos dados de treinamento, resultando em previsões inconsistentes em novos dados.

Causas do Underfitting durante o treinamento de um modelo

Existem várias razões pelas quais um modelo pode sofrer de Underfitting. Uma das causas mais comuns de Underfitting é a escolha de um modelo demasiado simples para os dados. 

Por exemplo, uma regressão linear pode ser inadequada para um problema que exige uma curva polinomial ou uma rede neural.

Em segundo lugar, se um modelo não incluir variáveis ou características suficientes, ele pode não ser capaz de capturar os padrões nos dados. A ausência de variáveis relevantes pode levar a um modelo que não representa bem a realidade.

A regularização é uma técnica utilizada para evitar o Overfitting, mas, curiosamente, aplicá-la de forma excessiva pode simplificar demais o modelo, levando ao Underfitting.

Por isso, técnicas como Lasso (L1) e Ridge (L2) podem ser a terceira razão para reduzir a complexidade do modelo, mas precisam ser ajustadas corretamente.

Em último lugar,dados mal preparados, insuficientes ou não representativos podem contribuir para o Underfitting. Se os dados de treinamento não contêm informações suficientes ou são muito ruidosos, o modelo não conseguirá aprender os padrões subjacentes.

Influência do conjunto de dados de treinamento no Underfitting

A qualidade e a quantidade dos dados de treinamento desempenham um papel crucial no desempenho do modelo.

Dados insuficientes ou não representativos podem levar a um modelo underfitted. Alguns fatores importantes incluem:

1. Quantidade: um conjunto de dados muito pequeno pode não fornecer informações suficientes para o modelo aprender os padrões. Em tais casos, o modelo pode falhar em capturar a variabilidade presente nos dados reais;
2. Qualidade: dados ruidosos ou mal preparados podem introduzir erros que o modelo não consegue manejar, levando ao Underfitting. A limpeza e a preparação adequada dos dados são essenciais para garantir que o modelo receba informações úteis.
3. Representatividade: se os dados de treinamento não são representativos do problema real, o modelo pode não generalizar bem. Isso pode acontecer se os dados de treinamento não cobrirem adequadamente todas as variáveis ou condições que o modelo encontrará em produção.

Impacto da complexidade do modelo no Underfitting

A complexidade do modelo está diretamente relacionada ao seu desempenho e à sua capacidade de capturar os padrões dos dados. 

Um modelo muito simples, como mencionado anteriormente, pode levar ao Underfitting porque não tem capacidade suficiente para capturar as nuances dos dados. Algumas considerações incluem:

1. Seleção do modelo: escolher um modelo com a complexidade apropriada é crucial. Para problemas simples, modelos lineares podem ser suficientes, mas para problemas mais complexos, pode ser necessário utilizar modelos não lineares, como árvores de decisão, redes neurais ou modelos ensemble.
2. Ajuste de hiperparâmetros: ajustar os hiperparâmetros do modelo, como a profundidade de uma árvore de decisão ou o número de neurônios em uma rede neural, pode ajudar a encontrar um equilíbrio entre viés e variância. Hiperparâmetros mal ajustados podem resultar em um modelo que é demasiado simples ou demasiado complexo.
3. Regularização: a regularização ajuda a evitar o Overfitting, mas deve ser utilizada com cautela. Regularizar demais um modelo pode reduzir sua capacidade de capturar padrões importantes, resultando em Underfitting.

Exemplos práticos de Underfitting e Overfitting

Para ilustrar as diferenças entre Underfitting e Overfitting, considere o problema de ajuste de uma curva. 

Imagine que temos um conjunto de dados que segue uma relação cúbica e tentamos ajustá-lo com uma regressão linear e com um polinômio de alto grau.

• Underfitting: usando uma regressão linear, a linha ajustada será incapaz de capturar a curvatura dos dados. O erro será grande tanto nos dados de treinamento quanto nos dados de teste, pois o modelo é demasiado simples;
• Overfitting: usando um polinômio de alto grau, a curva ajustada pode passar exatamente por todos os pontos de treinamento, capturando até mesmo o ruído. Isso resultará em um erro baixo nos dados de treinamento, mas um erro alto nos dados de teste, porque a curva não se generaliza bem.

Entender o que é Underfitting e, ainda, sua diferença para Overfitting é crucial para desenvolver modelos de machine learning eficazes. 

Enquanto o Underfitting é resultado de um modelo excessivamente simples, o Overfitting é causado por um modelo demasiado complexo. 

Equilibrar a complexidade do modelo e a qualidade dos dados de treinamento é fundamental para obter um modelo que generalize bem e faça previsões precisas!