Bislang haben wir die einfachste Möglichkeit besprochen, wie die Erregungsübertragung innerhalb eines neuronalen Netzes mathematisch beschrieben werden kann. Nun nehmen wir eine Reihe von Erweiterungen bzw. Verallgemeinerungen vor.
Auch wenn es sich anhand des biologischen Vorbildes nur bedingt erklären lässt, spricht aus mathematischer Sicht einiges dafür, dass für die Gewichte statt ausschließlich 0 oder 1 sämtliche (reelle) Zahlen zugelassen werden. Dadurch lassen sich die Abhängigkeiten zwischen zwei Neuronen deutlich besser modellieren (positive sowie negative Abhängigkeiten). Gleiches gilt für die Schwellwerte: Auch hier werden grundsätzlich sämtliche (reelle) Zahlen zugelassen.
Und schließlich verallgemeinern wir die Neuronen dahin, dass diese statt ausschließlich 0 oder 1 auch jede (reelle) Zahl dazwischen einnehmen dürfen.
Was wir aufgrund der Verallgemeinerungen zuvor nochmals neu denken müssen, ist die Erregungsübertragung.
In den Beispielen der Abschnitte zuvor haben wir den Zustand nachfolgender Neuron anhand folgender Regel bestimmt (in leicht anderer Schreibweise): Neuron A ist genau dann aktiviert, wenn
gilt. Da wir neben den Eingangsneuronen auch für alle anderen Neuronen reelle Zahlen zwischen 0 und 1 zulassen wollen, berechnen wir die Zustände der Neuronen (bezogen auf das Beispiel zuvor) folgendermaßen. Wir definieren
als Summe der gewichteten Eingangsneuronen abzüglich des Schwellwerts. Der Wert von Neuron A ergibt sich nun in Abhängigkeit von , wobei das genaue Verhalten (d.h. der Wert von Neuron A in Abhängigkeit von ) durch eine sogenannte Aktivierungsfunktion beschrieben wird:
In sämtlichen Beispielen zuvor wurde eine Aktivierungsfunktion verwendet, die folgendermaßen definiert werden kann: Es gilt
für alle und für alle . Damit ist das Neuron A genau dann aktiviert, falls die Summe der gewichteten Eingangsneuronen größer oder gleich dem Schwellwert von Neuron A ist.
Neben dieser durchaus sehr einfachen Aktivierungsfunktion kommen häufig auch Funktionen zum Einsatz, die für neuronale Netze noch weitere Vorteile bieten:
Als zusätzlicher Hinweis und nur für den Fall, dass du dich mit der Exponentialfunktion auskennst: Eine gängige Aktivierungsfunktionen ist die folgende Sigmoid-Funktion:
Diese Funktion ist differenzierbar und die Ableitung lässt sich (numerisch) sehr einfach bestimmen. Und wie wir später sehen werden, ist genau das in der sogenannten Trainingsphase von großer Bedeutung.