Wie zuvor untersuchen wir eine Klassifikationsaufgabe mit Eingangssignalen bestehend aus zwei Zahlen und einer Klassifikation in drei Klassen (rot, grün, blau). Die Abbildung zeigt eine Möglichkeit, um das zuvor genannte Ziel zu erreichen:
Dargestellt ist ein künstliches neuronales Netz mit zwei Eingangsneuronen (x- und y-Koordinaten der Punkte). Es folgen vier Neuronen in der Mitte (als sogenannte verborgene Schicht) sowie drei Ausgangsneuronen für die jeweilige Klasse bzw. Farbe. Zusammenfassend beinhaltet das neuronale Netz 20 Gewichte und sieben Schwellwerte.
Damit das neuronale Netz zur Lösung der Klassifikationsaufgabe genutzt werden kann, werden Trainingsdaten benötigt. Dabei handelt es sich um eine (große) Menge an Eingangsdaten mit jeweils bekanntem Klassifikationsergebnis: In unserem Falle besteht die Trainingsmenge beispielsweise aus 2000 Punkte mit jeweils bekannter Farbe.
Das Ziel in der sogenannten Trainingsphase ist es, die Gewichte und die Schwellwerte des neuronalen Netzes derart zu bestimmen, sodass die Klassifikationsaufgabe (bezogen auf die Trainingsdaten) möglichst gut gelöst wird.
Die Trainingsphase lässt sich als mathematische Optimierungsaufgabe formulieren, welche mit Methoden der nichtlinearen Optimierung gelöst werden kann. Für interessierte Lernende mit weiterführenden Mathematikkenntnissen gehen wird darauf im nachfolgenden Kurs genauer ein.