Konfusionsmatrix

Beim Testen eines neuronalen Netzes können neben der Information, wie viel Prozent der Testdaten korrekt klassifziert wurden, noch weitere Ergebnisse ermittelt werden.

Die Wahrheitsmatrix oder Konfusionsmatrix ist eine Tabelle, welche das Ergebnis der Testphase differenziert nach den zu klassifizierenden Objekten beschreibt.

Die Konfusionsmatrix zur Schwertlilien-Klassifikationsaufgabe kann beispielsweise folgendermaßen aussehen:

Gemäß der Anzahl der Klassen bzw. Objekte besitzt die Tabelle drei Spalten und drei Zeilen. Gezählt wird jeweils, wie viele Eingangssignale der Testdaten (mit bekannter Zugehörigkeit) als was (d.h. welche Art der Schwertlilie) klassifiziert wurden. Entsprechend können der Abbildung zahlreiche Informationen entnommen werden, zum Beispiel:

  • Es wurden 16 Pflanzen der Borsten-Schwertlilie auch tatsächlich als Borten-Schwertlilie erkannt.
  • Es wurden 3 Pflanzen der Virginischen Schwertlilie als Verschiedenfarbige Schwertlilie klassifiziert.
  • Insgesamt beinhalten die Testdaten 50 Pflanzen bzw. Objekte (Summe aller Einträge der Tabelle).
  • Es wurden 43 Eingangssignale korrekt klassifiziert (Summer der Einträge auf der Diagonalen von oben links nach unten rechts). Dies entspricht 86 Prozent.

Die Konfusionsmatrix ist damit sehr aussagekräftig und sollte in jeder Testphase bestimmt werden.

Anwendung
Der Datensatz zur Klassifikation von Schwertlilien (150 Blüten) wird zufällig aufgeteilt in Trainingsdaten (100 Blüten) und Testdaten (50 Blüten). Anschließend wird ein neuronales Netz trainiert und getestet. Ausgegeben wird die Konfusionsmatrix.
Aufgabe 1

Mache dich mit der Anwendung zuvor vertraut und diskutiere, ob die Ergebnisse auch mit denjenigen aus dem Abschnitt zuvor übereinstimmen.

Aufgabe 2

Stelle dir ein neuronales Netz vor, das Pilze anhand äußerer Erscheinungsmerkmale in essbar und giftig klassifiziert. In einer Testphase ergibt sich folgende Konfusionsmatrix:

Welche Informationen kannst du der Konfusionsmatrix entnehmen? Diskutiere, ob das neuronale Netz ausreichend zuverlässige Ergebnisse liefert.

Quiz
Strichzeichnungen