Großen Einfluss auf Hawkins hatte der 1979 im Scientific American erschienene Artikel “Thinking About the Brain” von Francis Crick. Dieser weckte in Hawkins den Wunsch, als Wissenschaftler das menschliche Gehirn zu studieren. Während seiner Zeit bei Intel schlug er der Firma vor, eine Arbeitsgruppe für die Untersuchung des Gehirns einzusetzen — der Vorschlag wurde zu dieser Zeit als unrealistisch abgelehnt.

Auch seine Bewerbung beim MIT, das für sein fortschrittliches KI-Labor bekannt ist, wurde abgelehnt. Hawkins war den Professoren zu sehr an den neurobiologischen Grundlagen des Gehirns interessiert. So kam es, dass er sich im Selbststudium in Biologie ausbildete und schließlich als Student im Biophysik-Programm der UC Berkeley angenommen wurde.

“On Intelligence” enthält einen kurzen Abriss der Geschichte der (symbolischen) KI, der unter anderem folgende Punkte und Personen anspricht:

• Turing und die Turing-Maschine
• McCulloch/Pitts (Neuronen als boolesche Operatoren)
• Joseph Weizenbaums Eliza
• Der Schachcomputer Deep Blue
• Searles “Chinese Room”-Argument gegen KI
• … und entsprechende Antworten auf Searles Argument

Da größere Erfolge der symbolischen KI ausblieben, nahm ab Mitte der 1980er Jahre das Interesse an künstlichen neuronalen Netzen und einer “konnektionistischen” KI zu.

Obwohl dies grundsätzlich Hawkins Interessen entsprach, nennt er drei Gründe, warum diese Methode nicht zu “echter” Intelligenz führte:

• Die Zeit, d.h. der stetige Fluss an Informationen, wurde nicht berücksichtigt. Künstliche neuronale Netze waren durchweg statisch.
• Die Bedeutung von Rückkopplung (Feedback) wurde nicht erkannt oder zumindest unterschätzt.
• Die physische Struktur des Gehirns, d.h. insbesondere die Hierarchie der Großhirnrinde, wurde nicht beachtet.

Es blieb bei stark vereinfachten Modellen, da mit diesen bereits Ergebnisse zu erzielen waren. Ein generelles Verständnis von Intelligenz wurde nicht erreicht, meist nicht einmal angestrebt.

Als zentrales Problem sieht Hawkins die intuitive Annahme, dass Intelligenz sich allein in dem Verhalten liegt, das ein Programm bzw. neuronales Netz auf eine bestimmte Eingabe hin zeigt. Er ist der Meinung, dass Verhalten zwar eine mögliche Manifestation von Intelligenz ist, jedoch nicht die zentrale Eigenschaft. Denken ohne Handeln ist möglich.

Eine weitere Ursache für den Mangel an Fortschritt im Bereich der künstlichen Intelligenz könnte nach Hawkins darin liegen, dass sich die Hirnforschung in erster Linie damit befasste, wo bestimmte Vorgänge ablaufen, nicht in welcher zeitlichen Abfolge. Abbildugsverfahren wie MRI und PET ließen den Wissenschaftler damals kaum eine andere Möglichkeit.

Ein Bereich neuronaler Netze, der laut Hawkins sehr viel Potential hatte und hat, sind auto-assoziative Speicher. Gibt man bei diesen ein (gelerntes) Muster teilweise ein, so gibt das neuronale Netz das komplette Muster zurück. Auch Sequenzen, d.h. zeitliche Muster, können gelernt werden.

Ein Argument der Vertreter der symbolischen KI lautet, dass man nicht den ineffizienten, durch Evolution entstandenen Aufbau des Gehirns nachbilden müsse, sondern ein von Grund auf anderes System verwenden könne, so lange es ähnliches Verhalten hervorbringt. Hawkins sieht das nicht so. Er hält es für unabdingbar zu verstehen, was Intelligenz ist. Gleichheit des Verhaltens, wie sie auch in Searles Gedankenexperiment vorkommt, ist nicht genug.

Der nächste Teil der On-Intelligence-Reihe: Das menschliche Gehirn

[1] Jeff Hawkins, Sandra Blakeslee: On Intelligence (Times Books, 2004)
[2] Jeff Hawkins: On Intelligence (AI Playground)

Können wir intelligente Maschinen bauen?

Ja, sie werden sich aber in der näheren Zukunft auf spezifische Einsatzbereiche beschränken. Menschenähnliche Allzweck-Roboter sind unrealistisch, da Menschen nicht nur aus Großhirnrinde bestehen (Emotionen etc) und die Kosten und der Aufwand enorm wären.

Intelligente Maschinen können eine beliebige Auswahl von “Sinnesorganen” besitzen, mit denen Sie Muster in der Welt aufnehmen können. Diese werden mit einem hierarchischen System verbunden, das nach dem Prinzip der Großhirnrinde funktioniert. Durch Lernvorgänge wird das System ein Modell seiner Welt bilden, Analogien herstellen, Vorhersagen treffen und Lösungen für neue Probleme finden.

Die zwei größten technischen Herausforderungen beim Aufbau des Erinnerungsspeichers sind Kapazität und Konnektivität:

Wenn jede Synapse nur zwei Bit belegt, so benötigen wir bei 32 Billionen Synapsen etwa 7 Terabyte Speicherplatz, was etwa 80 heute handelsüblichen Festplatten entspricht. Mit zunehmender Speicherkapazität ist das durchaus im Bereich des möglichen, vor allem da nicht die gesamte Großhirnrinde simuliert werden muss.

Schwieriger ist das Problem der Konnektivität: Jede Zelle ist mit 5.000-10.000 anderen Zellen verbunden; dies lässt sich nur schwer in Silizium umsetzen.

Sollen wir intelligente Maschinen bauen?

Grundsätzlich kann fast jede neue Technologie für positive und negative Zwecke eingesetzt werden. Intelligente Maschinen werden sich aber nicht automatisch selbst vermehren und die Menschheit auslöschen: Zwischen Gehirn-ähnlichen Systemen und Selbst-Vervielfältigung besteht kein logischer Zusammenhang.

Intelligente Maschinen werden nicht mehr als extrem nützliche Werkzeuge darstellen; da sie nichts besitzen, was menschlichen Emotionen ähnelt, werden sie keine eigenen Ziele oder Ambitionen haben.

Wofür werden intelligente Maschinen eingesetzt werden?

Im Detail ist das heute nicht vorhersehbar; Hawkins trifft lediglich Prognosen über den Einsatz in naher Zukunft und über grundsätzliche Trends.

In naher Zukunft:

• Spracherkennung
• Analyse von Bildern und Videos
• intelligente Fahrzeuge

Aspekte, die auf lange Sicht von Bedeutung sein werden:

• Geschwindigkeit: Silizium-Hardware ist eine Million mal schneller als biologische; wofür Menschen Jahre brauchen, könnte in Minuten erledigt werden.
• Kapazität: Die Größe des Speichers eines intelligenten Systems muss nicht auf die Größe des menschlichen Gehirns beschränkt sein.
• Replizierbarkeit: Einmal trainiert kann eine intelligente Maschine millionenfach hergestellt werden.
• Sensoren: Intelligente Maschinen müssen sich nicht auf die dem Menschen zur Verfügung stehenden Sinnesorgane beschränken. Ein Sinnesorgan muss lediglich Daten liefern, in denen Muster erkennbar sind. Ob Sensoren für elektromagnetische Felder oder ein weltumspannendes Netz von Klimasensoren, alles ist möglich.

Hawkins glaubt, dass wir an einem Wendepunkt der KI angelangt sind und hält es für möglich, dass innerhalb von 10 Jahren intelligente Maschinen zu einem der wichtigsten Gebiete in Wissenschaft und Technik werden.

The Intels and Microsofts of a new industry built on hierarchical memories will be started sometime within the next ten years.

[1] Jeff Hawkins, Sandra Blakeslee: On Intelligence (Times Books, 2004)
[2] Jeff Hawkins: On Intelligence (AI Playground)

Um einen umfassenden Überblick zu schaffen, beschreibe und bewerte ich zuerst diejenigen Bücher, die ich selbst gelesen habe. Danach stelle ich kurz all die anderen Bücher vor, die aktuell erhältlich sind oder häufig zitiert werden, und fasse zusammen, was andere Rezensenten von ihnen halten. Beginnen will ich mit dem Werk, das mein persönliches erstes Buch zum Thema “Neuronale Netze” war:

Robert Callan: Neuronale Netze im Klartext.

Erschienen am 15. April 2003 im Verlag “Pearson Studium”. Laut Vorwort wurde das Buch “für Studenten im Grundstudium geschrieben, die einen Einsteigerkurs in das Thema der neuronalen Netze suchen”. Dabei wird versucht, “die Mathematik auf ein Minimum zu reduzieren”. Die ersten sechs Kapitel befassen sich mit den wichtigsten Modellen neuronaler Netze, die letzten zwei Kapitel bieten einen Überblick über einige aktuelle Bestrebungen, Verbindungen zwischen neuronalen Netzen und traditioneller KI herzustellen.

Für das Buch spricht, dass jedem Kapitel eine Liste der Lernziele vorangestellt ist und eine stichpunktartige Zusammenfassung sowie ein Verweis auf weiterführende Literatur am Ende des Kapitels folgen. Zu einem großen Teil besteht das Buch aus Beispielen, die die verschiedenen Konzepte veranschaulichen. Dazu tragen auch die zahlreichen Illustrationen bei. Übungen am Ende jedes Kapitels heben das Buch von ähnlichen Lektüren ab: Sie geben dem Leser die Möglichkeit herauszufinden, ob er das vorgestellte Modell verstanden hat und praktisch anwenden kann. Ein weiterer Pluspunkt: Der Anhang mit den wichtigsten Grundlagen der linearen Algebra.

Dennoch ist das Buch nicht uneingeschränkt zu empfehlen: Die biologischen Grundlagen neuronaler Netze werden überhaupt nicht behandelt, der Zusammenhang bzw. die Unterschiede zwischen Algorithmen und Biologie bleiben unklar. Allgemein werden die meisten Themen sehr knapp behandelt: Hintergrundwissen und ausführliche Beschreibungen der Theorie sucht man hier vergebens. Das zeigt sich auch in den mathematischen Herleitungen: Durch die Verkürzung werden diese nicht unbedingt einfacher zu verstehen und laden so zum Überspringen der Mathematik-Teile ein.

Dan W. Patterson: Künstliche neuronale Netze.
Das Lehrbuch.

Erschienen 1996 im Verlag “Prentice Hall”. Nach einer kurzen Einführung in neuronale Programmierung und biologische neuronale Konzepte werden zunächst die frühen Netzwerksysteme, z.B. das Perceptron, und deren Lernalgorithmen behandelt. Darauf folgt ein Teil über mehrschichtige Feedforward-Netzwerke (Stichwort: Backpropagation), dann ein Teil über Netzwerke mit Feedback-Verbindungen. Zum Ende hin werden erst andere wichtige Architekturen vorgestellt, dann selbstorganisierende Netze. Auch genetische Algorithmen werden kurz angeschnitten. Zur Zielgruppe dieses Buches zählen sowohl Einsteiger mit grundlegenden Mathematik-Kenntnissen als auch Leser mit umfassenderen Vorkenntnissen.

Das Buch enthält ein 50 Seiten umfassendes Kapitel über mathematische und statistische Konzepte, so dass der Leser für Vektor- und Matrizenalgebra oder Fuzzy-Logik kein gesondertes Nachschlagewerk bemühen muss. Patterson geht von einfacheren Netzwerkarchitekturen aus und erläutert darauf aufbauend dann die schwierigeren. Insgesamt ist das Buch mit 22 vorgestellten Netzwerkarchitekturen sehr ausführlich.

Zum Teil hat diese Ausführlichkeit zur Folge, dass der Leser mehr Informationen erhält als nötig: Zur Demonstration der Anwendungsmöglichkeiten neuronaler Netze ist es nicht unbedingt notwendig, die exakten Schaltpläne von Brennofen- oder Waschmachinen-Steuerungssystemen zu kennen. Von der Lesbarkeit und Verständlichkeit her kann das Buch zwar nicht ganz mit “Simulation neuronaler Netze” von Andreas Zell mithalten, ist aber dennoch zu empfehlen. Den biologischen Grundlagen wurden drei Seiten gewidmet — wer sich dafür besonders interessiert, dem sei das Buch von Zell empfohlen: Hier sind es ganze 32 Seiten.

Andreas Zell: Simulation neuronaler Netze.

Erschienen im September 1994 im Oldenbourg-Verlag, ursprünglich die Habilitationsschrift von Andreas Zell. Das 600 Seiten umfassende Buch gliedert sich in vier Teile: Einführung und neurobiologische Grundlagen, konnektionistische Modelle, Simulationstechnik neuronaler Netze und Anwendungen. Auch die Geschichte neuronaler Netze wird nicht ausgespart. Das Kapitel über konnektionistische Modelle enthält nicht nur die üblichen Beschreibungen der verschiedenen Modelle, sondern erläutert auch ausführlich die Möglichkeiten zur Optimierung — für die Praxis ist das insofern von Bedeutung, als z.B. Standard-Backpropagation heutzutage kaum mehr angewendet wird, sondern von deutlich effektiveren Modifikationen wie Quickprop, Rprop etc abgelöst wurde.

Mit über 140 Seiten wird die Simulationstechnik Neuronaler Netze sehr ausführlich behandelt, insbesondere dem Stuttgarter Neuronale Netze Simulator (SNNS) ist viel Platz gewidmet. Die Betrachtung verschiedener Hardware-Architekturen ist in kaum einem anderen Buch zu finden — leider sind viele der Informationen aus diesem Bereich aufgrund des Alters des Buches nicht mehr sehr aussagekräftig. Im letzten Teil des Buches geht der Autor noch kurz auf Fuzzy-Logik, Evolutionsalgorithmen und Robotik ein.

Insgesamt konnte ich diesem Buch am meisten abgewinnen: Aufgrund der Informationsfülle eignet es sich hervorragend als Nachschlagewerk, der Schreibstil ist angenehm zu lesen und — obwohl nicht an mathematischen Formeln gespart wird — durchgehend verständlich. Mathematische Vorkenntnisse sind, wie immer, Voraussetzung.

Hans-Jürgen Zimmermann: Neuro + Fuzzy. Technologien — Anwendungen.

Erschienen im Februar 1999 im Springer-Verlag. Dieses Werk kann im Grunde nicht direkt mit den drei anderen vorgestellten Büchern verglichen werden: Anstatt mit der Vorstellung neuronaler Netze hat der Herausgeber einen Text über die industriellen Einsatzgebiete von Fuzzy Technologien als Einführung gewählt.

Das Schlagwort “Fuzzy Logic” beschreibt dabei die Verallgemeinerung der klassischen Logik in Richtung des menschlichen Schließens. Danach werden kurz — und dementsprechend oberflächlich — die Grundlagen neuronaler Netze erörtert, bevor auf die verschiedensten Anwendungsmöglichkeiten der Kombination von neuronalen Netzen und Fuzzy-Logik eingegangen wird: Unter anderem sind das Automatisierungstechnik, industrielle Prozesse, Robotik, Chemie und Aktienmarktanalyse.

Da jedes Kapitel von einem oder mehreren Autoren geschrieben wurde variiert der Schreibstil stark. Weiterempfehlen würde ich dieses Buch dann, wenn der Einsatz von neuronalen Netzen und/oder Fuzzy-Logik in einem der besprochenen Gebieten geplant ist.

Weitere Bücher

Nun zu den Büchern, die ich selbst (noch) nicht gelesen habe:

Gerhard Rigoll: Neuronale Netze. Eine Einführung für Ingenieure, Informatiker und Naturwissenschaftler. Erschienen im Expert-Verlag, März 1999. Der Amazon-Kurzbeschreibung nach handelt das Buch die Grundlagen neuronaler Netze auf ähnliche Weise ab wie die meisten anderen Bücher auch, mit dem einzigen Unterschied, dass es aus ingenieurswissenschaftlicher Sicht geschrieben ist.
 
 
Raul Rojas: Theorie der neuronalen Netze. Erschienen im Springer-Verlag, 1993 (korrigierte Auflage: 1996). Mit Blick auf die biologischen Grundlagen werden verschiedene Ansätze neuronaler Netze erläutert und mit Beispielen, Illustrationen und Verweisen auf weiterführende Literatur abgerundet. Das Buch soll einen sehr guten Überblick über die verschiedenen theoretischen Modelle bieten ohne dabei an Tiefe zu verlieren. Eine Rezensent aus München lobt die verständliche Sprache und empfiehlt das Buch als “gute Einführung” und als Begleitlektüre zu Vorlesungen. Die Parallelen zur Biologie, so schreibt er, könnten ausführlicher sein.

Detlef P. Zaun: Künstliche neuronale Netze und Computerlinguistik. Wie schon dem Titel zu entnehmen ist geht es in diesem Werk vor allem um das Verhältnis von Computerlinguistik und neuronalen Netzen. Die Amazon-Kurzbeschreibung erwähnt als Besonderheit dieses Buches das Verfahren der “selektiven Propagierung” und die Behandlung des “NEURON-S Simulators”.
 
 
Adolf Grauel: Neuronale Netze. Grundlagen und mathematische Modellierung. Erschienen 1992. Ein Rezensent kritisiert die trockene Darstellung sowie die “unmotivierten mathematischen Eskapaden” — ob diese Kritik berechtigt ist, konnte ich jedoch nicht feststellen. Dass Mathematik einen großen Teil des Buches ausmacht ist angesichts des Titels kein Wunder.
 
 
Detlef Nauck u.a.: Neuronale Netze und Fuzzy-Systeme. Erschienen 1993 bei Vieweg. Hauptsächlich geht es hier um den Einsatz neuronaler Netze in anderen wissensbasierten Systemen. Die Kopplung mit Fuzzy-Systemen nimmt dabei den größten Teil des Buches ein. Rezensionen loben die Verständlichkeit des Buches angesichts des komplexen Themas — das Buch scheint einen Mittelweg zwischen theoretischen Grundlagen und praktischer Anwendung gefunden zu haben. Mathematische Kenntnisse sind Voraussetzung. Kritisiert wird unter anderem, dass Themen wie “Weight Decay” und adaptive Lernraten nicht behandelt werden.

Werner Kinnebrock: Neuronale Netze. Das Buch ist im Februar 2002 im Oldenbourg-Verlag erschienen, stellt Theorie und Anwendungen der wichtigsten Grundtypen neuronaler Netze vor und enthält zu jedem Typ ein entsprechendes Pascal-Programm. Das Buch wird als “eines der besten Einsteigerwerke” und “sehr praxisbezogen” beschrieben, auch wenn es an Illustrationen mangelt und der Pascal-Code “schlecht dokumentiert” sein soll.
 
Rüdiger Brause: Neuronale Netze. Erschienen im August 1999 im Teubner-Verlag. Die Amazon-Beschreibung spricht von einer Einführung in die Grundlagen der Neuroinformatik, die die wichtigsten neuronalen Modelle behandelt. Einer Rezension zufolge eher als Nachschlagwerk als zum kompletten Durcharbeiten geeignet.
 
 
 

Andreas Scherer: Neuronale Netze — Grundlagen und Anwendungen. Von der Vieweg Verlagsgesellschaft im Juni 2002 herausgegeben. Das Buch behandelt laut Umschlagtext die neuesten Ergebnisse aus dem Bereich der Lernverfahren sowie die methodischen Prinzipien bei der Erstellung von konnektionistischen Softwaresystem, inklusive Fallbeispiele.
 
 
 

Serge Zakharian u.a.: Neuronale Netze für Ingenieure Von der Vieweg Verlagsgesellschaft 1998 herausgegeben. Die Besonderheit dieses Buches ist, dass als Beschreibungssprache für die Modelle neuronaler Netze die Symbolik der Regelungstechnik gewählt wurde. Das Buch soll damit eine Vorstufe zur praktischen Anwendung Neuronaler Netze in der Regelungstechnik darstellen.
 
 
Heinrich Braun: Neuronale Netze Erschienen im August 2001 im Springer-Verlag. Ein Rezensent spricht von einem Buch “für Leute mit Vorwissen”. Verständlich, da es hauptsächlich um die Optimierung neuronaler Netze geht. Verschiedene, miteinander kombinierbare Bausteine werden dabei erörtert: “Neuronales Modell vs. Neuro-Fuzzy-Modell, Supervised Learning vs. Reinforcement Learning, Gradientenabstieg vs. Evolution, sequentiell vs. parallel”.
 

Patrick Hamilton: Künstliche neuronale Netze. Grundprinzipien, Hintergründe, Anwendungen. VDE-Verlag. Nicht der neueste Stand der Dinge: Das Buch erschien im Jahre 1993.

Jeanette Stanley, Evan Bak: Neuronale Netze. Computersimulation biologischer Intelligenz. Ebenfalls schon etwas älter: Erscheinungsdatum 1992. Eine Rezension spricht von “gravierenden Fehlern in Text, Formeln und Diagrammen”, eine andere wiederum lobt die leichte Verständlichkeit.

Soren Brunak, Benny Lautrup: Neuronale Netze, die nächste Computer-Revolution. Erscheinungsdatum: November 1996. Das Buch ist als leicht verständliche Einführung für Nicht-Informatiker gedacht. Der Grundtenor der Amazon-Rezensionen: Das Buch sei “gute Unterhaltung” und wecke Interesse, gehe aber nicht auf die zugrunde liegende Mathematik oder Details bestimmter Modelle ein. Vergleiche aus dem Alltag und interessante Geschichten sorgen dafür, dass der Leser mitreden kann, ein Verständnis der Hintergründe wird dagegen nicht angestrebt.

Heinrich Braun u.a.: Praktikum Neuronale Netze. Erschienen 1996 im Springer-Verlag. Neben dem klassischen Perzeptron werden Themen wie Backpropagation, Hopfield-Netze und Kohonens neuronale Karten vorgestellt. Dazu stellt das Buch Übungsaufgaben, die sich mit der beiliegenden Software durchführen lassen. Dass diese nicht mehr ganz taufrisch ist zeigen auch die Systemvoraussetzungen: “DOS-PC ab Windows 3.1 mindestens 386er Prozessor. 4MB Hauptspeicher, 2MB Arbeitsspeicher”.

Helge Ritter u.a.: Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke. Erscheinungsdatum: 1990. Ein Student schreibt sinngemäß: Sind mathematische Vorkenntnisse vorhanden, so dient das Buch als anschauliche Einführung in das Gebiet der selbstorganisierenden Netzwerke. Beispiele und konkrete Problemstellungen erklären einzelne Modelle, der Zusammenhang mit den biologischen Hintergründen wird durchgehend aufrechterhalten. Für die vertiefte Betrachtung der mathematischen Eigenschaften wurde ein eigener Teil des Buches reserviert.

Neben diesen Büchern sind mir noch folgende drei bekannt, nähere Informationen dazu konnte ich jedoch nicht finden:

Marco Seraphin: Neuronale Netze und Fuzzy-Logik.
Wolfgang Lindenmair u.a.: Neuronale Netze.
Klaus P. Kratzer: Neuronale Netze. Grundlagen und Anwendungen.

Wer des Englischen mächtig ist, sollte unbedingt einen Blick auf die englischsprachige Literatur zum Thema werfen. Die Auswahl ist noch deutlich größer: Amazon.com kennt etwa 1500 Bücher mit den Worten “neural networks” im Titel. Dazu kommt, dass einige neue Entwicklungen zum Teil in der deutschen Literatur noch gar nicht behandelt wurden.