Overfitting und Underfitting sind zwei häufige Probleme im Bereich des maschinellen Lernens und der künstlichen Intelligenz (KI). Sie treten auf, wenn ein Modell entweder zu stark oder zu schwach an die Trainingsdaten angepasst ist.
Overfitting
Overfitting tritt auf, wenn ein Modell die Trainingsdaten zu gut lernt, einschließlich des Rauschens (Zufälligkeiten) und der Ausreißer in den Daten. Das Modell wird dadurch sehr präzise auf die Trainingsdaten abgestimmt, verliert jedoch die Fähigkeit, gut auf neuen, unbekannten Daten zu generalisieren. Das Modell ist also „überangepasst“ und liefert auf neuen Daten schlechtere Ergebnisse.
- Beispiel: Ein Modell zur Unterscheidung von Hunden und Katzen lernt, nicht nur die Tiere, sondern auch irrelevante Details wie den Hintergrund der Trainingsbilder. Es erzielt 99 % Genauigkeit bei den Trainingsdaten, versagt aber bei neuen Bildern (z. B. mit anderem Hintergrund) mit nur 60 % Genauigkeit.
- Ursachen: Ein zu komplexes Modell (z. B. ein sehr tiefes neuronales Netzwerk) im Verhältnis zur Menge oder Qualität der Daten.
- Lösungen:
- Reduzierung der Modellkomplexität.
- Erhöhung der Datenmenge.
Underfitting
Underfitting tritt auf, wenn ein Modell nicht ausreichend komplex ist, um die zugrunde liegende Struktur der Daten zu erfassen. Das bedeutet, das Modell ist nicht in der Lage, selbst die Trainingsdaten gut zu lernen, wodurch es sowohl auf den Trainingsdaten als auch auf neuen Daten schlecht abschneidet.
- Beispiel: Ein lineares Modell zur Unterscheidung von Hunden und Katzen erkennt nur sehr einfache Muster. Es erreicht nur 50 % Genauigkeit, weil die Komplexität der Bilder die Fähigkeiten des Modells übersteigt.
- Ursachen: Ein zu einfaches Modell (z. B. eine lineare Regression für ein nicht-lineares Problem) oder unzureichende Trainingszeit.
- Lösungen:
- Erhöhung der Modellkomplexität.
- Bessere Features oder Feature-Engineering.
- Mehr Trainingszeit bzw. Hyperparameter-Tuning.
Zusammenfassung
Ein KI-Modell ist beim Overfitting so sehr auf die Trainingsdaten angepasst, dass es nicht auf andere Datenbeispiele übertragbar ist und somit eine Verallgemeinerung auf die Realität nicht möglich ist. Beim Underfitting ist das trainierte Modell ist zu generalisierend und weist deshalb eine große Fehlerrate bei Trainingsdaten und unbekannten Daten auf.
