Overfitting & Underfitting
Verschiebe den Regler für den Polynomgrad und sieh, wie sich Trainingsfehler und Testfehler unterschiedlich entwickeln – der Bias-Varianz-Tradeoff live.
Wahre Funktion: y = sin(2πx). 15 Trainingspunkte, 12 Testpunkte, Rauschen σ = 0.3.
Fehler vs. Modellkomplexität
Konzepte
Underfitting (Hoher Bias)
Ein zu einfaches Modell (z. B. Gerade durch eine Sinuskurve) kann die Struktur der Daten nicht erfassen. Sowohl Trainings- als auch Testfehler sind hoch – das Modell hat hohen Bias. Man sagt: es ist zu wenig flexibel.
Overfitting (Hohe Varianz)
Ein zu komplexes Modell 'memoriert' die Trainingsdaten inklusive ihres Rauschens. Der Trainingsfehler sinkt stark, der Testfehler steigt. Das Modell hat hohe Varianz – es generalisiert nicht auf neue Daten.
Bias-Varianz-Tradeoff
Der Fehler eines Modells setzt sich aus Bias² + Varianz + Rauschen zusammen. Mehr Modellkomplexität senkt den Bias, erhöht aber die Varianz. Das optimale Modell minimiert ihre Summe – genau der Knick im Testfehlerkurve.
Generalisierung
Das eigentliche Ziel des maschinellen Lernens ist nicht, die Trainingsdaten perfekt zu fitten, sondern auf ungesehenen Daten gut zu performen. Testfehler ist die ehrliche Messung. Techniken wie Regularisierung, Dropout und Cross-Validation helfen, den Sweet Spot zu finden.