Lernrate

Um festzustellen, bei welchem Wert das Netz am schnellsten konvergiert, wurde das Netz bei verschiedenen Lernraten , konstantem Momentum (0,7) und konstanter Flatspot-Variable (0,1) mit derselben Aufgabenstellung getestet: Anhand von 10 Mustertexten pro Sprache soll das Netz lernen, 6 Sprachen zu unterscheiden. Liegt der durchschnittliche Fehler pro Muster und Ausgabeneuron unter 0,01, so ist das Training beendet.

Grundsätzlich ist festzustellen, dass eine höhere Lernrate einen kürzeren Lernvorgang zur Folge hat, da die Gewichte des Netzes in größeren Schritten angepasst werden. Die Entwicklung des Fehler ist aber weniger vorhersehbar: Anstatt konstant zu sinken, kann der Fehler im Verlauf des Lernprozesses sprungartig ansteigen. Bei Lernraten größer als 2 kommt es vor, dass das Netz nicht gegen 0 konvergiert. Eine Lernrate von 0,7 hat sich als sinnvoller Kompromiss zwischen Lerngeschwindigkeit und Verlässlichkeit des Lernvorgangs erwiesen.

Momentum

Bei der Bestimmung des Momentum-Terms bietet es sich an, auf gleiche Weise vorzugehen: Bei konstanter Lernrate (0,7) und Flatspot-Variable (0,1) wird die Dauer des Lernvorgangs in Abhängigkeit von verschiedenen Werten für das Momentum getestet. Es hat sich herausgestellt, dass ein Wert von 0,5 eine relativ kurze Trainingsdauer zur Folge hat. Größere Werte können diese oft noch weiter reduzieren, bringen aber auch mit sich, dass die Trainingsdauer stärker variiert.

Flat-Spot Elimination

Bei analoger Vorgehensweise ergibt sich für die Flatspot-Variable ein Optimum von 0,3, wenn als Lernrate 0,7 und als Momentum 0,5 verwendet werden.

Grundsätzlich ist bei der Bestimmung der Parameter davon auszugehen, dass die optimale Lernrate, Flatspot-Variable und das optimale Momentum nicht unabhängig voneinander und von den verwendeten Mustertexten bestimmt werden können. Die auf diese Weise ermittelten Werte sind für die Praxis durchaus geeignet, ließen sich aber vermutlich anhand von Untersuchungen bezüglich der Wechselwirkung dieser Variablen noch verbessern. Weiterlesen

< Wahl der Netz-Topologie | Inhaltsverzeichnis | Resultate >