Aufbau

Der Aufbau eines KNN-Neurons stellt eine stark vereinfachte Version des biologischen Gegenstücks dar. Betrachtet man verschiedene Modelle neuronaler Netze, so fallen drei Attribute eines Neurons auf, die fast immer vorhanden sind: Dendriten, die „die Eingabe des Netzes in die Zelle aufsummieren“, ein Zellkörper, der für die „Berechnung“ des Ausgangssignals zuständig ist und von einem Schwellenwert abhängt, sowie ein Axon, das „die Ausgabe einer Zelle nach außen weiterleitet, und mit den Dendriten nachfolgender Neuronen (…) in Kontakt tritt“ ([8], S. 71). Diese drei Komponenten werden mathematisch als Propagierungsfunktion net_i, Aktivierungsfunktion a_i und Ausgabefunktion o_i umgesetzt, wobei der tiefgestellte Index festlegt, auf welches Neuron sich die Funktion bezieht.

Abbildung 3: Schema eines künstlichen Neurons

Die Stärke einer Verbindung zwischen zwei Zellen i und j, d.h. die Stärke der Synapse, wird meist durch eine reelle Zahl w_ij dargestellt. Positive Gewichtungen verstärken die Eingabe auf eine Zelle, negative Gewichtungen schwächen sie ab. Null-Gewichtungen entsprechen einer nicht vorhandenen Verbindung (vgl. [5], S. 35).

Propagierungsfunktion

Die Propagierungsfunktion net_j legt fest, auf welche Weise aus den verschiedenen Eingaben, die das Neuron j von den mit ihm verbundenen Zellen erhält, ein einheitliches Eingangssignal berechnet wird. Häufig verwendet man als Propagierungsfunktion die gewichtete Summe aller Eingaben (vgl. [5], S. 15):

(2.1)

Hierbei stellen x₁ bis x_n die einzelnen Eingaben dar, die das Neuron j erhält und w₁ bis w_n die Gewichte der Verbindungen zu den Neuronen, von denen diese Eingaben stammen.

Aktivierungsfunktion

Der Aktivierungszustand gibt den Grad der Aktivierung einer Zelle an. Die Aktivierungsfunktion a_j berechnet aus net_j – bei manchen Netz-Modellen mit Einbeziehung der alten Aktivierung a_j(t) – den neuen Aktivierungszustand a_j(t+1) (vgl. [8], S. 71). Je nach Aktivierungsfunktion ist der Aktivierungszustand entweder eine diskrete Zahl oder eine reelle Zahl aus einem bestimmten Intervall, z.B. [0; 1] (vgl. [8], S. 75).

Stetigkeit und Differenzierbarkeit sind Voraussetzungen für Aktivierungsfunktionen, die in einem neuronalen Netz mit dem Lernverfahren Backpropagation verwendet werden sollen, weil hierzu eine an jeder Stelle definierte Ableitung notwendig ist (vgl. [8], S. 90). Da neuronale Netze meist zur Lösung nichtlinearer Probleme eingesetzt werden, empfiehlt es sich, eine nichtlineare Aktivierungsfunktion zu verwenden. Dazu kommt, dass ein neuronales Netz „sowohl auf Signale kleiner als auch sehr großer Amplitude reagieren muss, wobei es bei kleinen Amplituden wesentlich sensibler sein muss“ ([8], S. 90).

Eine Funktion, die diese Voraussetzungen erfüllt und eine der meistverwendeten Aktivierungsfunktionen darstellt, ist die logistische Funktion (vgl. [8], S. 91):

(2.2)

Ausgabefunktion

Die Ausgabefunktion o_j berechnet aus dem Ergebnis der Aktivierungsfunktion die Ausgabe einer Zelle, die an andere Zellen übertragen oder an die Umgebung als Ergebnis der Berechnung ausgegeben wird (vgl. [3], S. 20). Ist eine nichtlineare Funktion bereits Bestandteil der Aktivierungsfunktion, so wird für die Ausgabefunktion meist die Identitätsfunktion f(x) = x gewählt, d.h. auf eine spezielle Ausgabefunktion wird verzichtet (vgl. [8], S. 76).

Schwellenwert

Im biologischen Neuron wird immer dann eine Ausgabe erzeugt, wenn die kumulativen Eingaben eine bestimmte Reizschwelle übersteigen. Dieser Schwellenwert θ wird häufig durch ein so genanntes „on“- oder Bias-Neuron ersetzt: ein Neuron mit der festen Ausgabe „1“, das über Verbindungen mit der Gewichtung –θ mit jedem Neuron verbunden ist. Auf diese Weise „[enthält] die Netzeingabe bereits den Schwellenwertterm (…) und die Aktivierungsfunktion [kann] ohne Schwellenwert rechnen“ ([8], S. 82). Dadurch ist zwar die „Zahl der Gewichte [des Netzes] etwas höher“, doch die „einfachere mathematische Beschreibung und die einfachere Realisierung der Lernregeln, die nicht mehr den Sonderfall der Schwellenwerte berücksichtigen müssen“ sprechen für diese Implementierung ([8], S.82). Weiterlesen

< Nervenzellen | Inhaltsverzeichnis | Struktur neuronaler Netze >