Trotz der durchaus positiven Ergebnisse gilt es grundsätzlich achtsam mit neuronalen Netzen umzugehen. Daher möchten wir noch einige Risiken und Herausforderungen ansprechen.
Es ist wichtig, die Trainings- und Testphase mehrfach durchzuführen - jeweils mit einer unterschiedlichen und zufälligen Aufteilung des zugrundeliegenden Datensatzes in Trainings- und Testdaten.
Das neuronale Netz kann (wenn überhaupt) nur dann als sinnvoll erachtet werden, wenn die Ergebnisse der Testphase (z.B. die Konfusionsmatrizen) jeweils qualitativ ähnlich sind.
Hintergrund der Aussage zuvor ist es, dass sowohl die Aufteilung des Datensatzes als auch die Trainingsphase zufallsbehaftet ist. Ergeben sich bei unterschiedlichen Durchläufen qualitativ unterschiedliche Konfusionsmatrizen, so weiß man nicht, welchem Ergebnis zu trauen ist.
Selbst wenn ein neuronales Netz bezüglich einer Klassifikationsaufgabe sehr gute Ergebnisse liefert, gilt dies nur dann, wenn Eingangssignale ausgewertet werden, die auch zu den Trainingsdaten passen.
Beispielsweise macht es keinen Sinn, eine Strichzeichnung einer Blume an einem neuronalen Netze zur Klassifikation in Apfel, Schmetterling, Fisch und Sonne auszuwerten.
Das Risiko zuvor kann auch anders formuliert werden: Ein neuronales Netz liefert immer ein Ergebnis. Das Ergebnis hat aber (wenn überhaupt) nur dann eine Aussagekraft, wenn das Eingangssignal auch zu den Trainings- und Testdaten passt.