Damit ein neuronales Netz eine Aufgabe anhand von Beispielen lernen kann, ist eine Lernregel nötig: „ein Algorithmus, gemäß dem das neuronale Netz lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe zu produzieren“ ([8], S. 73). Dabei unterscheidet man nach der Art der Anpassung, die dieser Algorithmus vornimmt und nach dem Grad an Selbständigkeit, mit dem der Lernprozess abläuft.

Theoretisch mögliche Lernmethoden

Ein neuronales Netz kann theoretisch auf unterschiedlichste Weise lernen: Neue Verbindungen zwischen Neuronen können entwickelt werden, Verbindungen können gelöscht werden, neue Zellen können dem Netz hinzugefügt werden, Zellen können gelöscht werden, Aktivierungs-, Propagierungs- oder Ausgabefunktion können verändert werden, Schwellenwerte können modifiziert werden, ebenso die Stärke der Verbindungen (vgl. [8], S. 84). Letzteres ist mit Abstand die am häufigsten realisierte Möglichkeit, da sie relativ einfach umzusetzen ist, biologisch sinnvoll ist und einige andere Möglichkeiten – wie z.B. das Löschen von Verbindungen – mit einschließt. Der Begriff „Lernfähigkeit“ bezieht sich meist auf „die Fähigkeit eines Lernalgorithmus, eine Menge von Gewichtungen zu finden, die die gewünschte Abbildung mit einer tolerierbaren Fehlerrate realisiert“ ([5], S. 40).

Ablauf des Lernvorgangs

Grundsätzlich lassen sich drei Methoden unterscheiden, nach denen neuronale Netze lernen: Überwacht, bestärkend und nicht-überwacht.

Bei überwachten Lernalgorithmen, zu denen auch Backpropagation zählt, wird dem neuronalen Netz während des Lernvorganges zu jedem Eingabemuster das korrekte bzw. beste Ausgabemuster präsentiert (vgl. [8], S. 93). So kann „ein Vergleich zwischen der vom Netzwerk berechneten und der korrekten Ausgabe angestellt werden, um den Fehler festzustellen“ ([5], S. 42). Mit Hilfe dieses Fehlers werden dann die Parameter des Netzes dahingehend angepasst, dass sich dessen Leistung verbessert (vgl. [5], S. 42). Diese Art des Lernens führt meist am schnellsten zum Erfolg, ist jedoch biologisch nicht plausibel (vgl. [8], S. 93) – in biologischen Neuronen sind die erwünschten Aktivierungswerte nicht bekannt.

Beim bestärkenden Lernen wird dem Netz dagegen nicht die korrekte Ausgabe vorgelegt, sondern nur ein Hinweis darauf, ob die berechnete Antwort richtig ist (vgl. [5], S. 42).

Beim nicht-überwachten Lernen werden dem Netz schließlich überhaupt keine Antworten mehr vorgegeben – Lernen geschieht durch Selbstorganisation, ähnliche Eingabemuster werden ähnlichen Kategorien zugeordnet (vgl. [8], S. 93).

Generalisierung

Eine der wichtigsten Eigenschaften eines neuronalen Netzes ist eine gute Generalisierung. Damit wird der Prozess bezeichnet, „eine Beschreibung des Ganzen aus einzelnen Teilen abzuleiten“ ([5], S. 38). Bei sämtlichen Lernvorgängen muss darauf geachtet werden, dass das Netz nicht die Trainingsmuster „auswendig“ lernt (und damit „übertrainiert“ wird), sondern das allgemeine Prinzip, das hinter den Mustern steckt, erlernt. Weiterlesen

< Struktur | Inhaltsverzeichnis | Backpropagation >