1010101010101010101010101010101010101010_

Nun habe ich dieselben Zahlen, darf aber annehmen, dass einfache Erklärungen wahrscheinlicher sind als komplizierte. Kann ich jetzt eine Vorhersage treffen? (Nein.)

1010101010101010101010101010101010101010_

Ich nehme zusätzlich an, dass die Folge auf irgendeine Weise berechnet werden kann. Kann ich jetzt die wahrscheinlichste nächste Zahl vorhersagen? (Nein, nicht in endlicher Zeit. Das allgemeine Vorhersageproblem ist unlösbar.)

1010101010101010101010101010101010101010_

Kann ich einen Algorithmus schreiben, dessen Ausgabe gegen die wahrscheinlichste nächste Zahl konvergiert, wenn die Laufzeit gegen geht? (Ja. Dovetailer über alle möglichen Programme, angefangen mit dem kürzesten; die Ausgabe des kürzesten Programms, das die Zahlen und eine zusätzliche ausgibt, ist die aktuelle Hypothese.)

Wir Menschen treffen jeden Tag Vorhersagen. Der Vorteil, den wir gegenüber derzeitigen Algorithmen haben, liegt in den zusätzlichen Annahmen, die wir unbewusst machen, in der Art von inductive bias, mit dem uns die Evolution ausgestattet hat. Die Aufgabe von Forschern auf dem Gebiet des maschinellen Lernens ist es, den Suchraum von Algorithmen derart einzuschränken, dass die Laufzeit der Algorithmen polynomiell wird, und dabei möglichst wenige Lösungen für Vorhersageprobleme auszuschließen, die für unsere Welt relevant sind.

Das Messverfahren

Lernverfahren wie rekurrente neuronale Netze, Markov-Modelle und genetische Algorithmen sollen akkurate Vorhersagen liefern. Wissenschaftliche Veröffentlichungen sprechen davon, dass der jeweils vorgestellte Algorithmus “auf gewisse Weise” optimal ist. Für das Gebiet der allgemeinen künstlichen Intelligenz ist interessant, zu wissen, welcher Algorithmus allgemein am besten geeignet ist, d.h. für die Vorhersage von Sequenzen, über die wir lediglich wissen, dass sie von einem berechenbaren Prozess generiert wurden und dass einfache Erklärungen wahrscheinlicher sind als komplizierte.

Eine Sequenz ist eine endliche oder unendliche Folge von Symbolen eines Alphabets (z.B. {0, 1}). Die meisten endlichen Sequenzen sind nicht effektiv lernbar, da kein Programm mit im Vergleich zur Sequenz kurzer Beschreibung existiert, das diese Sequenzen deterministisch ausgibt. Das heißt: Die Kolmogorov-Komplexität der meisten endlichen Sequenzen entspricht der Länge der Sequenzen. Für den Vergleich verschiedener Lernalgorithmen beschränken wir uns auf unendliche Sequenzen mit endlich langen Erzeugerprogrammen.

Ein Vorhersagealgorithmus ist dann allgemein besser als ein anderer, wenn er lernen kann, Sequenzen mit höherer Kolmogorov-Komplexität vorherhersagen (und beide einfache Sequenzen gleich gut vorhersagen können). Praktisch jeder Algorithmus wird folgende Sequenz von sehr niedriger Komplexität lernen können:

111111111111111111111111111111111111111111...

Bei etwas höherer Komplexität werden einige Algorithmen Probleme bekommen:

011011100101110111100010011010101111001101...

Hätte man eine Datenbank, die jedes sequenzerzeugende Programm (oder jede Sequenz) sowie die Komplexität der von jedem Programm generierten Sequenz speichert, so könnte man für eine Reihe von Algorithmen Tests durchführen, um herauszufinden, in welchem Umfang und bis zu welcher Komplexität jeder Algorithmus Sequenzen lernen kann. Mit den Ergebnissen dieser Tests ließe sich ein Ranking erstellen, das auf einen Blick verrät, welcher Algorithmus die meisten und komplexesten Sequenzen lernen kann.

Eine solche Datenbank ist unmöglich: Es gibt unendlich viele sequenzerzeugende Programme, die Sequenzen sind unendlich lang und deren Komplexität ist nicht algorithmisch bestimmbar.

Die Menge der sequenzerzeugenden Programme ist eine Teilmenge aller Programme, und diese Menge ist aufzählbar unendlich. Die Kolmogorov-Komplexität ist definiert als die Länge des kürzesten Programms, das eine Sequenz erzeugt. Generiert man alle Programme, angefangen mit dem kürzesten, so ist bekannt, ob bereits ein kürzeres Programm den gleichen Sequenzbeginn (eine festgelegte Anzahl von Zeichen, z.B. 10.000) erzeugt hat oder ob die Länge des gerade betrachteten Programms als Abschätzung der Komplexität der erzeugten Sequenz verwendet werden kann — Abschätzung deshalb, weil nur eine endliche Anzahl der Zeichen zweier Sequenzen verglichen werden können und nach Rice nicht algorithmisch festgestellt werden kann, ob zwei Programme die gleiche Funktion berechnen.

Mit einigen Abschätzungen ist es möglich, Ausschnitte der beschriebenen Datenbank zu erstellen, die in der Komplexität nach oben beschränkt sind:

1. Wir generieren der Reihe nach Turingmaschinen mit leerem Eingabe- bzw. Arbeitsband und nur in einer Richtung beschreibbarem Ausgabeband, angefangen mit der kürzesten.
2. Uns interessieren nur Turingmaschinen, die unendliche Sequenzen generieren:
   • Hält eine Turingmaschine an, so verwerfen wir diese Turingmaschine.
   • Hat eine Turingmaschine nach 10^12 Schritten noch keine 10.000 Ausgabesymbole erzeugt, so verwerfen wir diese Turingmaschine.

   Andernfalls nehmen wir an, dass die aktuelle Turingmaschine eine der Turingmaschinen ist, die eine unendliche lange Sequenz ausgeben (Abschätzung I).

3. Wenn die ersten 10.000 Zeichen der Sequenz, die eine Turingmaschine erzeugt, noch von keiner anderen Turingmaschine erzeugt wurden, speichern wir die Länge der Beschreibung der Turingmaschine sowie die 10.000 Zeichen der Sequenz in einer Datenbank.
4. Die gespeicherte Länge entspricht in etwa der Länge der kürzesten Turingmaschine, die die Sequenz generiert und ist damit ein Maß für die Kolmogorov-Komplexität der Sequenz (Abschätzung II).

Das wiederholen wir, bis die Datenbank “groß genug” ist. In einer 150 GB großen Datenbank lassen sich bei 10.000 Zeichen pro Sequenzabschnitt etwa 100 Millionen unterschiedliche Sequenzabschnitte speichern.

Der kritische Punkt

Ist die Komplexität der einfachsten in der Datenbank gespeicherten Sequenzen so gering, dass diese mit den meisten Vorhersagealgorithmen gelernt werden können und die Komplexität der komplexesten Sequenzen so groß, dass das Lernen der Sequenz mit aktuellen Vorhersagealgorithmen nicht mehr möglich ist?

Werden in dieser Datenbank “interessante” Sequenzen — Sequenzen von nichttrivialer Komplexität — vorkommen? Oder lediglich 50 Millionen unterschiedliche, sich wiederholende Muster? Wie sieht es aus, wenn die einfachsten Sequenzen herausgefiltert und verworfen werden? Wie sieht es aus, wenn stets der Großteil der Sequenzen verworfen wird, die von den Top 20 Algorithmen zuverlässig vorhergesagt werden?

Bei zwei Bandzuständen (0 und 1) und n internen Zuständen gibt es (4*n)^(2*n) verschiedene Turingmaschinen mit einem in beide Richtungen bewegbaren Band. Die Anzahl der Turingmaschinen steigt schon bei wenigen Zuständen sehr schnell an:

1 interner Zustand: 16 TM
2 interne Zustände: 4096 TM (25 unterschiedliche)
3 interne Zustände: 2.985.984 TM (16.400 unterschiedliche)
4 interne Zustände: 4.294.967.296 TM
5 interne Zustände: 10.240.000.000.000 TM
6 interne Zustände: 36.520.347.436.056.576 TM
7 interne Zustände: 182.059.119.829.942.534.144 TM

Nach Stephen Wolfram stößt man auf interessantes Verhalten, sobald man Turingmaschinen mit mindestens vier internen Zuständen betrachtet. Die minimale Zahl der internen Zustände einer Turingmaschine, die eine bestimmte Sequenz berechnet, dient als Maß für die Komplexität der berechneten Sequenz. Ist das Ranking brauchbar, wenn keine Turingmaschinen mit mehr als sieben internen Zuständen betrachtet werden? Lambda Calculus, wie von John Tromp vorgeschlagen, könnte die bessere Wahl sein. Das Ranking könnte sich jedoch auch damit als unbrauchbar erweisen.

Beantwortete Fragen

Bislang ist es schwierig, einige Fragen aus dem Bereich des maschinellen Lernens zu beantworten. Lässt sich ein Ranking für Lernalgorithmen umsetzen, so wird sich das für folgende Fragen ändern:

Wie sieht der aktuelle Stand der Forschung aus? Oder: Das Ranking.

1. Alle bekannteren Vorhersagealgorithmen werden in einer festgelegten Programmiersprache implementiert und zum Ranking hochgeladen.
2. Jeder Algorithmus wird mit allen oder mit einer statistisch relevanten Auswahl an Sequenzen getestet und erhält einen Score zugeteilt, der besagt, für wie viele Sequenzen und bis zu welcher Komplexität der Algorithmus zuverlässige Vorhersagen macht.
3. Ein Ranking wird erstellt, bei dem die Algorithmen mit dem höchstem Score an der Spitze stehen.

Wie gut ist mein Vorhersagealgorithmus?

1. Ein in einer festgelegten Programmiersprache geschriebener Algorithmus wird auf der Website des Rankings hochgeladen.
2. Der Algorithmus wird mit allen oder mit einer statistisch relevanten Auswahl an Sequenzen getestet und erhält einen Score zugeteilt (s.o).
3. Die Leistung des Algorithmus kann dadurch mit der anderer Algorithmen verglichen werden und der Algorithmus kann in die Highscore-Liste aufgenommen werden.

Welcher Algorithmus ist für mein Vorhersageproblem geeignet?

1. Sequenzen, die typisch für das Problem sind, werden auf der Website des Rankings hochgeladen.
2. Alle Algorithmen, die am Ranking teilnehmen, werden auf die hochgeladenen Sequenzen angewendet.
3. Ein nach Korrektheit der Vorhersagen sortiertes, problem-spezifisches Ranking wird ausgegeben.

Offene Fragen

• Soll die Programmlänge mit in die Berechnung des Scores eines Algorithmus einbezogen werden oder soll es lediglich ein generelles Limit für alle Programme geben?
• Welche Limits sollen für Laufzeit und Programmlänge gesetzt werden?
• Wie lange sollen die Sequenzabschnitte sein, die in der Datenbank gespeichert werden? 10.000 Zeichen?
• Wie sollen die Sequenzabschnitte in Lernsequenz (die den Algorithmen präsentiert wird) und Testsequenz (die vorherzusagen ist) aufgeteilt werden? Wie lang soll der vorherzusagende Abschnitt sein?
• Wie wird die Vorhersage bewertet? Gelten nur komplett richtige Vorhersagen?
• Sollen auch die kürzeren Ausgaben von anhaltenden Turingmaschinen miteinbezogen werden?
• Ein praxistauglicher Algorithmus könnte stark von zusätzlichen Annahmen über seine Umgebung abhängig sein. Ideal sind Vorhersage- und Komprimierungsalgorithmen nur für jeweils eine einzige Wahrscheinlichkeitsverteilung an Eingaben. Ob ein Algorithmus, der für die allgemeinste berechenbare Wahrscheinlichkeitsverteilung an Eingaben ideal ist, auch in der wirklichen Welt brauchbar ist, ist nicht geklärt.
• Ist es zweckmäßiger, probabilistische Sequenzen und Vorhersagealgorithmen statt exakter Algorithmen zuzulassen?
• Wie wird der Score berechnet? Zählen Sequenzen mit niedrigerer Komplexität mehr oder weniger? Wie wird ein Vorhersagealgorithmus bewertet, der zwar komplexe Sequenzen vorhersagen kann, aber bei sehr vielen Sequenzen von niedriger Komplexität fehlschlägt?
• Welche Implementation eines universellen Computers ist am sinnvollsten? Turingmaschinen? Lambda Calculus?

Fazit

Marcus Hutter hat in seiner Doktorarbeit bewiesen, dass die optimale Vorgehensweise einer künstlichen Intelligenz darin besteht, nach einer beliebigen Anzahl von Beobachtungen der Umgebung das kürzeste Programm zu finden, das diese Beobachtungen vorhersagt und anzunehmen, dass die Umgebung durch dieses Programm kontrolliert wird. Verbesserte allgemeine Vorhersagealgorithmen sind demnach mit Fortschritt auf dem Gebiet der künstlichen Intelligenz gleichzusetzen.

Alles, was gemessen wird, verbessert sich. Ich schlage vor, eine Datenbank mit Sequenzabschnitten und zugehöriger (geschätzter) Kolmogorov-Komplexität anzulegen, diese Sequenzen von verschiedenen Lernalgorithmen vorhersagen zu lassen und den Erfolg der Algorithmen in einem Ranking sichtbar zu machen.

Ist diese Idee realistisch?

Abstract

I suggest a general method offering a public and private API for existing Django models. New generic views will simplify data retrieval and modification via different web services in a resource-centric REST architecture, providing model data in formats such as XML, JSON and YAML with very little custom code.

Implementation

The most widely used browsers don't support PUT and DELETE in web forms without using AJAX, therefore it is impossible to achieve a pure REST implementation. Nonetheless a more RESTful resource-centric approach makes sense: With a unique hyperlink address for every resource, resource discovery from content becomes much easier. With all resources sharing a common interface, programs written in any language can talk to Django instances in a standardized way. The partial lack of browser support for PUT and DELETE can be compensated by adding an extra hidden field to forms that carries the method information.

The code that tells Django which web service should be provided for which model at which URL will not to be attached to the individual model classes but will live at the view level. There are two reasons for this:

1. REST is only one way of looking at a Django application and therefore should not be part of the underlying model.
2. There is no one-to-one mapping between resources and models. Resources have more to do with the user interface than with the underlying database structure. Sometimes it will be sufficient to apply the CRUD actions to models, but sometimes there will be the need for more complex resources (e.g. one resource that consists of several related models, service discovery). It is important to me that there is an obvious way of using both the generic views and custom developments consistently in one Django project.

I will solve this by writing a general Resource class as an interface. Each method of Resource raises a Http404 exception by default. Custom resources inherit from Resource and may implement the methods __call__ (thus providing the equivalent of current view functions), create, retrieve, list, update, delete, get_create_form and get_update_form (cf. djangocollection). The ModelResource class that covers all the cases where there is a one-to-one mapping between a model and a resource inherits from the class Resource.

When using the ModelResource class we need to be able to set a few options:

• Which data should be accessible?
• Which CRUD actions should be possible?
• Which model fields should be visible?
• Which type of authentication is required?
• How should the output look like (xml, json, html, yaml, ...)?

I imagine the urls.py to look like this (similar to a draft by Jacob Kaplan-Moss):

In order for our resource implementation to be REST-friendly, each resource needs to have a unique URL. If the content format is not specified by the URL and if there is more than one content format per app, looking at the HTTP headers may be sufficient to choose which content to deliver (we could set output_format to restapi.DETECT_FORMAT).

The functionality of the new generic RESTful views will comprise a large part of the functionality of the current generic create_update and list_detail views. This includes the ability to supply the views with a filtered queryset, pagination, response mimetype, allow_empty, post_save_redirect and post_delete_redirect.

In contrast to the current generic views the ModelResource class will not use templates by default. Instead, in order to follow the DRY principle, they could call a user-supplied output function (e.g. xml_response, json_response) depending on which type of response (xml, json, ...) to return. I'm still thinking about how the most elegant solution will look like. I'll be happy to hear suggestions.

Another issue that still needs to be resolved is how to get authentication right. The consensus of ticket #115 seems to be that HTTP Basic Authentication over SSL is "secure enough" but that the risk of people not using SSL is quite high. Both public and private web services will be possible.

Web development shouldn't be monotonous. Setting up APIs can be. I'd like to automate this as far as possible without taking away the freedom to extend or replace the API with more complex solutions.

Existing Code

There exists a fair amount of code that might be useful for this project.

There is john@sneeu.com who wrote at ticket #2553:

I've written a RESTful API (similar urls to the 'oldforms' Admin), it needs a bit of a tidy up, and a few more tweaks but I'm more than happy for it to be incorporated in to Django in any way.

Jason Huggins mentions in the discussion of ticket #115 (Models CRUD via web services):

I have a fair enough amount of code already written for this ticket. If possible, I'd like a branch in subversion set up so I can check in my code and we can start talking about real example code.

Jacob Kaplan-Moss to whom the ticket is assigned may have started writing some code that can be used for both REST and RPC. He wrote:

Jason (and others): if you've got code that's not attached to this ticket or to #356, #547 or #552 please attach it to this one as I'm going to try to get some work done on this Any Day Now™.

More recently, Adam Smith has started working on django-restful-model-views which intends to make it easier to create ReSTful Web applications with Django. In the current stage this is still more of a proof-of-concept, but the code written by Adam Smith might turn out to be a good point to start.

The wsgicollection-inspired project djangocollection which provides a set of generic RESTful urls for all the models of a project and a GenericCollection which uses the django generic views illustrates a few interesting and relevant ideas, too.

Before getting started I will talk to those who have written possibly useful code and to the Django community in order to find out how my suggested approach can be improved and how much reusable code already exists.

Benefits to Django

There will be a standard interface for applications to communicate with Django projects. Making it easier for Desktop applications to use Django as a server-side backend will encourage Desktop applications to use Django as a backend. Yay.

An API that can return data in JSON format will make AJAX integration much easier — both for the admin app and for Django users who complain about AJAX not being as easy as with competing frameworks.

The value of having a dead easy way to get data in and out of Django databases is obvious. Let's make extending existing applications with a fully-fledged REST API a matter of less than five minutes.

Success Criteria

1. A few lines of code in urls.py are sufficient to make model data CRUD-accessible via XML and JSON.
2. It is possible to create custom API resources that don't correspond directly to models. These should be integrated seamlessly into the rest of the API.

Roadmap

1. Assess together with those who have already written similar code whether it makes sense to start from scratch. Get feedback from the community on issues such as how ModelResource should generate different output formats and how authentication should look like.
2. In-depth planning "on paper".
3. Initialize a restapi branch.
4. Implement the Resource "interface" class.
5. Implement the ModelResource class and an elegant way to return output in at least xml and json.
6. Add authentication.
7. Write and perform unit tests.
8. Prepare the code to be merged to trunk. The Django API will likely change before v1.0. Some of the things that will be improved in a possibly backwards-incompatible way and that might play a role for this project are validation, serialization and the authentication framework.

About me

I'm a 21 year old bachelor student of Cognitive Science at the University of Osnabrück in Germany. When I'm not in Osnabrück, I live in the small town of Dinkelscherben which is located in Bavaria. After finishing school about two years ago I decided to postpone University and spent the next year developing web applications instead. At that time I had two years of Python experience. Django became — and still is — my web framework of choice.

During that year, I spent quite some time making sure I understood how Django works under the hood. I participated in the Django discussion groups, wrote a few patches and submitted a few tickets. My largest Django project to date is the e-learning application Mindpicnic which is fairly popular in Germany.

I have been planning to add a RESTful API to Mindpicnic for about as long as the project exists. I'm committed to seeing this proposal become reality. I believe I would enjoy getting more involved with the Open Source community a lot.

My proposal got accepted, the latest source code is available at Google Code.

Solomonoffs Theorie der universellen Induktion ist diese Methode. Man könnte das Problem der optimalen Vorhersage damit als gelöst betrachten -- wäre Solomonoffs Theorie nur berechenbar. Ein Algorithmus, der unter beschränkten Ressourcen -- wozu auch die algorithmische Komplexität zählen kann -- Vorhersagen trifft, die beweisbar besser sind als die jedes anderen denkbaren Algorithmus, ist noch nicht gefunden. Das sollte das zentrale Anliegen des Gebietes der künstlichen Intelligenz sein.

Induktive Wissenschaften wie die Physik, die Chemie oder die Astronomie machen nichts anderes, als Daten zu sammeln und anhand der Daten elegante Theorien zu finden, mit denen sich die Zukunft möglichst exakt vorhersagen lässt.

Es ist sinnvoller, das Problem der Induktion direkt zu lösen.

Was, wenn sich erweist, dass die am besten mit der Realität übereinstimmenden physikalischen Theorien die sind, die berechenbar sind? Wir können simulieren, wie Billardkugeln zusammenstoßen und welche sich wohin bewegt. Ein simulierter Zusammenstoß ist kein echter Zusammenstoß. Für uns. Für ein simuliertes Wesen? Führt die Simulation eines bewussten physikalischen Systems zu Bewusstsein?

Die Individualität einer Person ist vom Muster des Zusammenspiels der Materie abhängig, nicht von der Materie selbst. Die Atome jeder Zelle werden nach der Geburt eines Menschen viele Male ausgetauscht. Quantenphysikalisch gesehen sind zwei Teilchen einer Art sowieso nicht nur nicht unterscheidbar, sondern identisch. Wenn alle Protonen eines Körpers durch "andere" Protonen ersetzt werden, so hat das den Zustand nicht verändert. Teilchen haben keine Identität.

Wenn die Physik unseres Universums berechenbar ist oder es keinen subjektiven Unterschied zwischen Bewusstsein und der Simulation von Bewusstsein gibt, so resultiert die Ausführung eines solchen Programms (ein "Universal Dovetailer") in allen bewussten Erfahrungen, die je ein Wesen haben kann. Unabhängig davon, wie man "Wesen" oder "bewusste Erfahrung" definiert.

Aber: Ist die Erfahrung von Bewusstsein auch unabhängig davon, ob bei der Ausführung des Programms, die — wie die Ausführung jedes Programms — in diskreten Schritten abläuft, ein Rechenschritt pro Nanosekunde oder ein Rechenschritt pro Jahr ausgeführt wird? Auch dann, wenn während des Jahres der Computer, auf dem das Programm ausgeführt wird, ausgetauscht und nach Tokio verfrachtet wird? Auch dann, wenn das Ergebnis des Rechenschritts ein Jahr später nicht direkt berechnet wird, sondern bei der Berechnung aller Permutationen der Sequenz von 0en und 1en auftaucht, die die Länge des erwarteten Rechenergebnisses hat?

Stathis Papaiaonnou schreibt an die Singularity-Mailingliste:

If you look at it the right way, anything could be a computation. This has been given by John Searle as a reductio ad absurdum against computationalism, and explored by several other authors (eg. Hilary Putnam, David Chalmers, Greg Egan). The usual counterargument is that in order to map a computation onto an arbitrary physical process, the mapping function must contain the computation already, but this is only significant for an external observer. The inhabitants of a virtual environment will not suddenly cease being conscious if all the manuals showing how an external observer might interpret what is going on in the computation are lost; it matters only that there is some such possible interpretation. Moreover, it is possible to map many computations to the one physical process. In the limiting case, a single state, perhaps the null state, can be mapped onto all computations.

Welche Art von Kontinuität ist für bewusste Erfahrungen nötig?

Unter anderem: Wie das erste Semester aussieht. Was man in den einzelnen Fächern lernt. Wer das Studium nach zwei Semestern abbrechen wird. Wie die Bachelor-Note zustande kommt. Was Cognitive-Science-Studenten nach dem Studium machen. Bonus: Zusammenfassungen der Vorlesungen, Mitschriften und Beispielaufgaben.

Lies weiter und du erfährst, ob du Cognitive Science studieren willst und wie du das erste Semester überstehst.

Übersicht

1. Cognitive Science
2. Osnabrück
3. Der Stundenplan
4. Stud.IP
5. Mathematik
6. Informatik
7. Neurobiologie
8. Statistik + Empirical Methods
9. Linguistik
10. Foundations of Cognitive Science
11. Logik
12. Die Bachelor-Note
13. Noch Fragen?

Cognitive Science

Was ist Cognitive Science?

Eine der ersten Vorlesungen des Studiengangs hat den Titel "What is Cognitive Science?". Wer meint, definitiv zu wissen, für was er sich da entschieden hat, erfährt in einem der ersten Slides von Kai-Uwe Kühnberger:

© Kai-Uwe Kühnberger

Cognitive Science ist die Wissenschaft, die versucht, zu verstehen, wie unser Gehirn funktioniert. Kognitive Fähigkeiten wie Wahrnehmung, Denken, Lernen, Motorik und Sprache werden untersucht und modelliert. Das menschliche Gehirn ist das komplexeste System des uns bekannten Universums. Um dieses System auch nur ein kleines bisschen zu verstehen, genügt es nicht, sich aus nur einer Richtung anzunähern. Cognitive Science ist interdisziplinär: Eine zentrale Rolle spielen Informatik, Mathematik, Neurowissenschaft, Psychologie, Linguistik und Philosophie.

Erwarte nicht, dass irgendjemand aus deinem Bekanntenkreis weiß, was Cognitive Science ist. Solche Dialoge stehen auch dir bevor:

"Ich studiere Kognitionswissenschaft."
"Du studierst was? Kommunikationswissenschaft?"
"Kognitionswissenschaft."
"Konditionswissenschaft?"

Für wen ist das Studium?

Cognitive Science ist dein Studiengang, wenn ...

• du im Bereich der künstlichen Intelligenz arbeiten oder forschen willst, Studiengänge wie Mathe oder Informatik dir aber zu allgemein (zu wenig Fokus auf das Verständnis von Intelligenz) und zu spezifisch (Herangehensweise auf ein Wissenschaftsgebiet beschränkt) sind.
• dich die kognitiven Fähigkeiten des menschlichen Gehirns faszinieren und du etwas in der Richtung machen willst, aber noch nicht weißt, was.
• du einen anspruchsvollen Studiengang mit obligatorischem Auslandssemester suchst, den nette und interessante Leute studieren.

Studiere besser etwas anderes, wenn ...

• du Mathe nicht magst.
• du kein Interesse an Informatik hast.
• du Psychologie studieren wolltest, aber der NC im Weg stand.
• du dich auf das faule Studentenleben freust.
• dich acht Prüfungen in zwei Wochen abschrecken.
• dir viel an einem gut bezahlten Job liegt.
• Initiative nicht dein Ding ist.

Ich zitiere Bastian Tenbergen, der den CogSci-Bachelor inzwischen hinter sich hat und nun Human Computer Interaction an der Oswego State University in New York studiert:

Generell gilt: Cognitive Science ist sau hart. Aber dafür habt ihr schon nach drei Jahren genug Wissen, um mit anderen, themenverwandten "Vollblutwissenschaftlern" mehr als mithalten zu können. [...] Aber keine Angst vor der Herausforderung — alle Kommilitonen sind freundlich und hilfsbereit und es gibt viele Interessante Hilfe-Seiten — von CogScis — für CogScis.

Und, einige Zeilen später:

In meinem Semester haben ca. 110 Leute angefangen (es gibt ja auch keine Maximalzahl von Plätzen, die vergeben werden...). Nach dem ersten Jahr waren es nur noch knapp 50. Jetzt sind in meinem Semester nur noch knapp 40. Ein Jahr später war ich Tutor für die *neuen* Ersties und habe die Organisationswoche und den Kennenlern-Trip nach Lutter organisiert (mit Hilfe von einigen lieben Freunden, versteht sich). Es haben 85 Leute angefangen. Jetzt sind noch knapp 50 übrig.

Eines sollte man bei all den Vorwarnungen nicht vergessen:

Mit Interesse und Spaß an der Sache ist das Studium schaffbar.

Was mache ich nach dem Studium?

Nach dem Bachelorstudium stehen im Grunde zwei Möglichkeiten zur Wahl:

1. Der Masterstudiengang Cognitive Science in Osnabrück
2. Ein Masterstudiengang in einem verwandten Fach an einer anderen Universität (bei einigen Fächern nur im Ausland möglich): Informatik, Neuroinformatik, Neuroscience, Computational Neuroscience, Linguistik, Computerlinguistik, Cognitive/Biological Psychology, Artificial Intelligence, Logik, Robotik, ...

Etwa 10 Studenten pro Jahrgang wählen die erste Option, die meisten Studenten -- etwa 40 sind dann noch übrig -- die zweite. Das liegt einerseits daran, dass der Abschluss Cognitive Science bislang in Deutschland, auch bei Personalchefs, kaum bekannt ist und andererseits daran, dass es sinnvoll ist, sich nach den Grundlagen in allen möglichen Bereichen in eine Richtung zu spezialisieren (ansatzweise geschieht das auch schon während des Bachelorstudiums).

Ja, aber was mache ich danach?

Das hängt stark von der Richtung ab, in die du dich spezialisierst. Fünf Minuten Googeln haben haben ergeben, dass ehemalige Bachelor-Studenten beschäftigt sind als:

• Scientist at the Center for Environmental Systems Research
• Researcher at the Fraunhofer Insitute IAIS
• Assistant Professor / Sen. Researcher at the Institute of Computer Science, Multimedia and Applications Augsburg
• Postgraduate Student of Artificial Intelligence at the Universitat de Barcelona
• PhD student Psychology and Neuroscience at the Duke University, USA
• PhD student Neural and Behavioural Sciences at the MPI for Biological Cybernetics
• PhD student at Biopsychology lab, TU Dresden
• PhD student at the Database and Information Systems Department, Max-Planck Institute Saarbrücken

Viele haben vor, in die Forschung zu gehen. (Ich auch.)

Vor drei Jahren sagte der damalige Kultusminister der USA, Richard Riley:

None of the top 10 jobs that will exist in 2010 exist today. Those jobs will require technology that’s still being developed. The most important thing a student can do today is learn to learn.

Osnabrück

Das Umfeld

Bislang ist die Uni Osnabrück die einzige in Deutschland, die Cognitive Science als Bachelorstudiengang anbietet. Im Wintersemester 2006 waren wir etwa 80 Erstsemester -- nach Abzug all derjeniger, die sich nur eingeschrieben haben und danach nichts mehr unternommen haben. Ich kann nicht beurteilen, wie es an anderen Universitäten ist, aber in Osnabrück ist der Zusammenhalt der Coxis verglichen mit anderen Studiengängen etwas Besonderes. Die Drittsemester organisieren eine Einführungswoche, eine Fahrt ins Harz (Lutter), eine Kneipenrally und das Coxi-T-Shirt und sind auch sonst einigermaßen hilfreich. Wenn in der Cafeteria an einem Tisch 20 Leute sitzen, kann man davon ausgehen, dass es Coxis sind.

Zugangsvoraussetzungen

Es gibt zwei Zugangsvoraussetzungen: Englischkenntnisse und Mathekenntnisse. Englischkenntnisse hat der internationale Studiengang schon immer vorausgesetzt, die Forderung nach dem Nachweis von Mathekenntnissen ist dagegen neu für die Studienanfänger im Wintersemester 2008.

Folgende Englischkenntnisse sind nötig:

• Sechs Jahre Schulenglisch mit einer Mindestdurchschnittsnote von 3,0 in den letzten beiden Schuljahren
  - oder -
• Mindestens 79 Punkte in einem internetbasierten TOEFL-Test
  - oder -
• In besonderen Fällen: Dinge wie Auslandsaufenthalte, zweisprachiges Elternhaus, IELTS/CPE/CAE-Tests etc.

Außerdem sind folgende Mathekenntnisse nötig:

• Eine Durchschnittsnote von mindestens 7 Punkten im Mathe-Leistungskurs in den letzten beiden Schuljahren
  - oder -
• Eine Durchschnittsnote von mindestens 9 Punkten im Mathe-Grundkurs in den letzten beiden Schuljahren

Wenn du aus der Schule Vorkenntnisse in Biologie (Aufbau und Funktionsweise von Nervenzellen) oder Informatik (Suchalgorithmen, Bäume, etc.) hast und vielleicht noch gut Englisch sprichst, macht das dein Studium einfacher. Mit etwas Arbeitsaufwand wird dein Studium aber auch ohne besondere Vorkenntnisse klappen.

Der Stundenplan

Mit 32 Semesterwochenstunden entsprach mein Stundenplan für das erste Semester dem der meisten anderen Erstsemester. Theoretisch können Mathematik und/oder Informatik auch erst im dritten Semester belegt werden, in der Praxis ist es zwecks kurzer Studiendauer eine gute Idee, beides schon im ersten Semester zu versuchen. Viel Freizeit bleibt dann nicht mehr. Neben Foundations of Cognitive Science ist Erkenntnistheorie I die einzige optionale Vorlesung, die auch von vielen Erstsemestern belegt wurde.

Tipp: Du musst nicht alle Vorlesungen und Übungen besuchen. Wenn ein ausführliches Skript existiert, kann es effektiver sein, sich selbständig mit dem Stoff zu befassen statt -- meist passiv -- im Vorlesungssaal zu sitzen. Besonders in Statistik kann ich diese Vorgehensweise empfehlen.

Ich schreibe später noch ausführlicher über die einzelnen Fächer. Wichtig: Das sind lediglich die Fächer des ersten Semesters. Ein umfassenderes Bild vermitteln die offiziellen Übersichtspläne des Bachelor-Studiums. Mehr zu den Inhalten fortgeschrittener Kurse findest du im Cognitive Science-Wiki.

Stud.IP

Die Organisation des Studiums läuft über das Online-System Stud.IP ab. Hier kann man sich für Vorlesungen und Übungen eintragen, Klausur- und andere Termine erfahren, die Slides und Skripte zu den Vorlesungen herunterladen (wichtig!) und Klausurergebnisse erfahren. Angeblich ist das Verzeichnis der Lehrveranstaltungen unter cogsci.uni-osnabrueck.de noch aktueller und zuverlässiger als das im Stud.IP, während des ersten Semesters ist mir das allerdings nicht aufgefallen.

Mathematik

Ich habe die Vorlesung Mathematik I bei Prof. Dr. Peter Meyer-Nieberg besucht.

* Okay, das hier ist ein Foto der Zuhörer der InfoA-Veranstaltung. Ich konnte kein Bild der Mathe-Veranstaltung finden und die Schnittmenge Mathe I - Info A ist sehr groß.

Was du lernst

Die Vorlesung baut auf der Schulmathematik auf -- oder, besser: Die Vorlesung baut all das, was in der Schule gelehrt wurde, aus elementaren Bestandteilen auf. Und baut dann noch ein paar Stockwerke höher. Die Themen des 128-seitigen Skripts:

1. Grundlagen
   1. Körper
   2. Kombinatorik
   3. Reelle und komplexe Zahlen
2. Gleichungssysteme und Vektorräume
   1. Vektorräume und Matrizen
   2. Der Gauß-Algorithmus, lineare Gleichungssysteme
   3. Lineare Unabhängigkeit von Vektoren, Basen
   4. Quadratische Matrizen
   5. Determinanten
   6. Direkte Summen und Normalformen
3. Funktionen einer reellen Veränderlichen
   1. Grenzwerte von Funktionen und Folgen
   2. Unendliche Reihen
   3. Stetigkeit
   4. Differenzierbarkeit
   5. Integration
   6. Elementare Differentialgleichungen

Bei keinem Skript ist das Verhältnis Wissen pro Seite höher als bei dem wortsparenden Mathe-Skript. Antworten auf Fragen wie "Was bedeutet das?" oder "Wozu ist das gut?" sind in der Aneinanderreihung von Sätzen, Lemmas und Beweisen nicht zu finden.

Die Vorlesungen

Ohne Vorbereitung sind die Vorlesungen teilweise nicht ganz zu verstehen. Ich habe mir im ersten Semester die Vorlesungen angehört ohne zuvor den entsprechenden Abschnitt im Skript zu lesen und habe danach zu Hause den Abschnitt in für mich sinnvoller Form zusammengefasst. Diese Vorgehensweise funktioniert, ist aber nicht optimal. Es könnte sinnvoller sein, sich die Inhalte vor den Vorlesungen anzusehen um so mehr von den Erläuterungen während der Vorlesung mitzunehmen.

Die Übungen

Die Übungen bei Prof. Dr. Peter Meyer-Nieberg entsprechen im Stil den Vorlesungen. Das heißt: Die Lösungen der für die jeweilige Übung vorgesehenen Aufgaben (die nicht zuvor zu Hause bearbeitet wurden) werden der Reihe nach und mit wenigen Erklärungen an die Tafel geschrieben. Stell Fragen -- wenn du etwas nicht verstehst, verstehen es viele andere auch nicht, sagen aber nichts.

Die Hausaufgaben

Jede Woche gibt es ein Hausaufgabenblatt, das in Gruppen zu je drei Studenten zu bearbeiten ist. Die Aufgaben sind schwierig — schwieriger als die meisten Klausuraufgaben. Voraussetzung für die Zulassung zur Klausur ist es, bei den Hausaufgabenblättern insgesamt mindestens 50% der erreichbaren Punkte zu sammeln. Das ist machbar. Wer Probleme mit einem Blatt hat, kann das Mathe-Tutorium besuchen, bei dem es Tipps zur Lösung der Aufgaben geben soll. (In Notfällen: Mail)

Die Klausuren

Du wirst drei Klausuren schreiben: Eine Hauptklausur, die die Endnote bestimmt, und zwei Probeklausuren, deren Bestehen Voraussetzung für die Zulassung zur Endklausur ist und bei der Bonuspunkte für die Endklausur gesammelt werden können. Die Probeklausuren entsprechen im Schwierigkeitsgrad der Endklausur. Die Aufgaben aus dem Bereich der linearen Algebra werden so oder so ähnlich aussehen, die Aufgaben aus der Analysis eher so.

Wer die Klausuren der Schulzeit schwierig fand oder gar keinen Mathe-LK hatte, wird viel Zeit in den Mathe-Schein investieren müssen. Wenn du das erste Mal in der Mathe-Vorlesung sitzt, schau dir deine beiden Nachbarn gut an. Einer von beiden wird die Vorlesung ein Jahr später noch einmal belegen.

Tipp: Die Nachschreibeklausur zählt in Mathe als Freiversuch. Das heißt: Zulassungsvoraussetzungen wie das Bestehen der Probeklausuren oder das Abgeben der Hausaufgaben gibt es hier nicht. (Die Tatsache, dass das im Wintersemester 2006 der Fall war, heißt nicht, dass das weiterhin so sein muss. Besser nachfragen.)

Hilfreiches

• Der Mathe-Vorkurs "Einführung in die mathematische Begriffsbildung". Hingehen!
• Das Buch Lineare Algebra für das erste Semester
• Mathematik für Informatiker I (Skript, Uni Saarland)
• Übersichtsblätter mit allen wichtigen Formeln (bald online)

Informatik

Ich habe die Vorlesung Informatik A: Algorithmen bei Prof. Dr. Oliver Vornberger besucht.

Was du lernst

Wer keine Vorkenntnisse hat, lernt zunächst, die Kommandozeile unter Linux zu benutzen, dann, den Editor vi aufzurufen und zu benutzen, damit Java-Programme zu schreiben und beim Programmieren verschiedene Konzepte der Informatik anzuwenden. Die wichtigsten Punkte aus dem Lehrplan:

1. Die Kommandozeile unter Linux
2. Der Editor vi
3. Datentypen in Java
4. Arrays
5. Klassenmethoden
6. Rekursion
7. Komplexität, Verifikation, Terminierung
8. Sortieren
9. Objektorientierte Programmierung
10. Abstrakte Datentypen
11. Hashing
12. Graphen

Die Vorlesungen

Die Vorlesungen bei Prof. Dr. Oliver Vornberger waren die besten Vorlesungen des ersten Semesters: Gut vorbereitet, verständlich und unterhaltsam. Wer nicht in das Informatik-Gebäude am Westerberg kommen konnte oder wollte, konnte die Vorlesung auch per Live-Übertragung aus der Innenstadt oder von zu Hause aus verfolgen (wobei der Internet-Livestream öfters nicht funktionierte als schon). Sehr hilfreich sind auch die Video-Downloads früherer Vorlesungen. Zu Hause im Bett liegend die Vorlesung zu verfolgen ist toll.

Das Skript ist ausführlich genug, um für die Vorbereitung der Klausuren keine weiteren eigenen Mitschriften nötig zu machen.

Bei der Umfrage zum Ende der Vorlesungen (1, 2) schrieb einer der Teilnehmer:

Positiv: gut ausgearbeitetes Skript; nette, humorvolle Bemerkungen des Professors, Zusammenhang mit Übung für Testate zum besseren Verständnis des Vorlesungsstoffes; gut gelegene Vorlesungszeiten.
Negativ: manchmal zu anstrengend der Vorlesung zu folgen, zu viel Stoff auf einmal. (unter Umständen & eventuell)

Die Testate

Im Gegensatz zu allen anderen Fächern hat jeder Student in Informatik zusammen mit einem anderen Studenten ein Testat abzulegen. Hier stellt ihr einem Studenten aus einem höheren Semester die Lösungen der aktuellen Hausaufgabe vor (meist ein paar Java-Programme) und beantwortet Fragen zur letzten Vorlesung. Um zur Klausur zugelassen zu werden, muss jedes Testat -- bis auf einen Joker -- mit mindestens 50% der Punkte bestanden werden.

Die Klausur

Bei fairer Bewertung durch die prüfenden Studenten sind die Punktezahlen bei den Testaten ein guter Indikator dafür, wie du bei der Endklausur abschneiden wirst. Wichtig für die Klausur ist nicht nur ein grobes Verständnis der Konzepte, sondern auch die Kenntnis von Details der Programmiersprache Java (ist "for (;;) {}" valider Code?) und die Fähigkeit, mit Zettel und Papier zu programmieren.

Hilfreiches

• Karteikarten aller klausurrelevanten Inhalte
• Zusammenfassung von Lena Kästner, Nico Möller
• Das Skript im HTML- und PDF-Format, die Vorlesung als Videomitschnitt
• Die Aufgabenblätter im PDF-Format

Neurobiologie

Ich habe die Vorlesung Introduction to Neurobiology bei Prof. Dr. Gunnar Jeserich besucht.

Was du lernst

Die Vorlesung vermittelt eine Ahnung davon, wie unser Gehirn funktioniert. Wer Biologie in der Oberstufe hatte, dem wird einiges bekannt vorkommen -- ähnlich wie in der Mathematik werden Themen, die in der Schule angeschnitten wurden, hier mit deutlich mehr Tiefgang behandelt. Ein Umriss der Themen:

1. Grundlagen: Proteine, Enzyme, Aufbau von Zellen
2. Eigenschaften und Aufbau von Nervenzellen
3. Intrazellulärer Transport von Stoffen
4. Die Struktur der Zellmembran
5. Wie elektrische Spannung in Nervenzellen entsteht (Ruhepotential)
6. Wie Signale entstehen und weitergeleitet werden (Aktionspotential)
7. Wovon die Weiterleitung von Signalen abhängt
8. Wie Synapsen funktionieren
9. Wie Gifte und Drogen wirken
10. Wie wir lernen
11. Wozu Gliazellen gut sind (von denen es 10x mehr als Nervenzellen gibt)
12. Warum wir manche Dinge kaum kontrollieren können (Herzschlag, Reflexe)

Die Vorlesungen

Die Vorlesungen finden auf Englisch statt und zählen mit zu den besten des ersten Semesters. Die Sprache ist kein Hindernis: Zu Beginn jeder Vorlesung sind ein paar Minuten für die Einführung des neuen Fachvokabulars reserviert. Ein weiterer Pluspunkt: Im Gegensatz zu den meisten anderen Professoren ist bei Jeserich eine Kaffeepause nach 45 Minuten üblich.

Wer in der Oberstufe kein Bio hatte oder vergesslich ist, sollte sich vor den Vorlesungen die Inhalte entweder im Skript, sofern das dann schon online ist, oder in einem Buch wie Neuroscience. Exploring the Brain. ansehen, um mehr von der Vorlesung zu haben.

Die Klausur

Bei den Klausuren darf jeder entscheiden, ob er diese lieber auf Deutsch oder auf Englisch schreibt. Um bei der Klausur, die zur Hälfte aus Multiple-Choice-Fragen, zur Hälfte aus Freitext-Fragen besteht, gut abzuschneiden, ist jede Menge Detailwissen nötig. Was im Skript steht, muss gekonnt werden -- ausnahmslos. Dazu zählen auch Details wie die Namen der verschiedenen Proteine, die für die Befestigung von Myelin am Axon zuständig sind. Etwa 70% der Teilnehmer haben die Klausur bestanden.

Hilfreiches

• Meine Zusammenfassung von Skript und Slides
• Zusammenfassung von Fabian M. Suchanek
• Lena Kästners Mitschriften zu den Fragen der beiden Seminare
• Das Buch Neuroscience. Exploring the Brain.

Statistik + Empirical Methods

Ich habe die Vorlesungen Statistik I und Empirical Methods for Cognitive Sciences bei Priv. Doz. Dr. Reinhard Suck besucht. Manchmal.

Was du lernst

Statistik ist für mindestens zwei Dinge gut. Erstens: Die sinnvolle Darstellung bereits vorhandener Daten. Zweitens: Das Erstellen von Vorhersagen über zukünftige Daten (und dazugehörige Tests, die feststellen, ob die Vorhersagen aus einer Theorie mit den tatsächlichen Daten übereinstimmen). Die beiden Teilbereiche nennen sich "Deskriptive Statistik" und "Inferenzstatistik" und beide werden in der Vorlesung "Statistik I" behandelt. Um das nötige Handwerkszeug zu haben, lernst du vor dem Einstieg in die Inferenzstatistik die Grundlagen der Wahrscheinlichkeitstheorie.

1. Was kann man mit welcher Art von Daten anfangen? (Skalenniveau)
2. Deskriptive Statistik
   1. Häufigkeitsverteilung
   2. Kennwerte von Daten
   3. Korrelation
   4. Regression
3. Wahrscheinlichkeitsrechnung
   1. Wahrscheinlichkeitsraum
   2. Bedingte Wahrscheinlichkeiten (Bayes)
   3. Zufallsvariablen
   4. Verteilungen
   5. Kombinatorik
4. Inferenzstatistik
   1. Stichproben
   2. Parameterschätzung
   3. Hypothesenprüfung
   4. Anpassungstests

Empirical Methods erkundet (hauptsächlich aus Sicht der Psychologie), wie man zu wissenschaftlichen Erkenntnissen gelangt, wie Experimente aussehen sollten und wie mit den Daten umzugehen ist, die man durch wissenschaftliche Experimente erhält:

1. The scientific enterprise
2. Philosophy of Science: Explanations, theories, laws, models.
3. Measurement and Operationalism
4. Data: How to get, how to evaluate
5. (Experimental) Design theory
6. Mathematical modelling
7. Logistic regression

Die Vorlesungen

Die auf Englisch gehaltene Empirical-Methods-Vorlesung, die nur von Coxis besucht wurde, fand dienstags um 8:00 Uhr morgens statt und hatte desöfteren einstellige Besucherzahlen. Die Statistik-Vorlesung wurde auch von Psychologie-Studenten besucht, hier sah es was die Besucherzahlen angeht entsprechend besser aus.

Die Inhalte beider Vorlesungen sind relevant für deine Zukunft als Coxi. Wenn du irgendetwas in Richtung Psychologie machen willst, wirst du ohne Statistik-Kenntnisse mit den Daten deiner Experimente wenig anfangen können. Wenn du an künstlicher Intelligenz und Machine-Learning-Algorithmen interessiert bist, sind Kenntnisse der Inferenzstatistik Grundvoraussetzung, z.B. für Bayessche Netze. Außerdem: Ohne Wahrscheinlichkeitstheorie keine Wissenschaft.

Wenn der Stil der Vorlesungen dir zusagt, besuche die Vorlesungen -- ansonsten lerne die Inhalte eigenständig. In jedem Fall: Gehe zu den Übungen. Hier bekommst du die Inhalte der Vorlesung kurz zusammengefasst, rechnest Aufgaben, die denen der Klausur ähnlich sind und kannst Fragen (besser) stellen.

Achtung: Es gibt eine weitere Vorlesung namens "Wahrscheinlichkeitsrechnung & Statistik" aus dem Bereich der Mathematik, die erst nach dem Absolvieren von Mathe I und Mathe II zugänglich ist. Diese ist nicht mit der Erstsemestervorlesung zu verwechseln -- die Erstsemestervorlesung ist mehr auf Psychologie- als auf Mathe-Studenten ausgelegt, entsprechend niedriger sind die Anforderungen.

Die EM-Hausaufgabe

Über die Weihnachtsferien gibt es eine etwas umfangreiche Hausaufgabe, die überprüfen soll, ob die Inhalte der Empirical-Methods-Vorlesung und der Einführung in die Statistik-Software SPSS verstanden wurden und die Voraussetzung für die Zulassung zur Endklausur ist. Jeder Student erhält ein individuelles Datenblatt und muss diese Daten mit Blick auf verschiedene Aufgabenstellungen analysieren. Aufgrund des langen Bearbeitungszeitraumes ist diese Aufgabe auch dann zu schaffen, wenn man 90% der EM-Vorlesungen verpasst hat und nicht in der SPSS-Einführung war. Wir haben uns einen Tag vor Abgabe der Hausaufgabe getroffen, Pizza bestellt und die Hausaufgabe zusammen erledigt. Das Ergebnis sah dann beispielsweise so aus. Zu den abgegebenen Hausaufgaben haben weder wir noch der Jahrgang vor uns je wieder etwas gehört.

Die Klausur

Die Klausur besteht aus 10 Multiple-Choice-Fragen (ja/nein) und sechs bis sieben weiteren Aufgaben. Die Multiple-Choice-Fragen beziehen sich auch auf Inhalte der EM-Vorlesung (insbesondere auf den Bereich Versuchsplanung), die anderen Aufgaben nicht. Regressionsgeraden, Parameterschätzung und -- besonders wichtig -- Hyothesentests sind Teil jeder Klausur. Hypothesentests beantworten Fragen wie: "Sind die Abweichungen, die sich bei meinem Versuch ergeben haben, nur Zufallsschwankungen oder bringt das Wundermittel X wirklich etwas?”. Eine Klausur könnte so ähnlich aussehen. 46 von 156 Teilnehmern haben die Klausur im Wintersemester 2006 nicht bestanden.

Hilfreiches

• Statistik I Skript
• Statistik II Skript
• Empirical Methods: Slides
• Statistik I Übersicht
• Statistik I Mini-Skript (sehr nützlich)

Linguistik

Ich habe die Vorlesung Introduction to Linguistics bei Prof. Dr. Peter Bosch und Jun. Prof. Dr. Stefan Evert besucht.

Was du lernst

Die auf Englisch gehaltene Vorlesung gibt eine Einführung in das Gebiet der Sprachwissenschaft. Dazu zählen:

1. History of linguistics
2. Phonetics
3. Phonology
4. Morphology
5. Syntax
6. Semantics
7. Pragmatics
8. Discourse Processing
9. Sentence Processing
10. Connectionist Models

Linguistik ist aus zweierlei Gründen wichtig für die Kognitionswissenschaft. Einer davon wird bereits im ersten Slide der ersten Vorlesung erklärt: Sprache ist eine angeborene kognitive Fähigkeit des Menschen -- und nur des Menschen. Deshalb muss jede Theorie des menschlichen Geistes auch das Phänomen Sprache beachten.

© Peter Bosch

Der zweite Grund: Linguistik ist Voraussetzung für die Computerlinguistik, die wiederum ein Teilgebiet der künstlichen Intelligenz ist. Hier wird versucht, Aufgaben zu automatisieren, die ein gewisses "Verständnis" von Texten erfordern (maschinelle Übersetzung, Textzusammenfassung, etc.).

Mir persönlich fiel es schwer, mich für Linguistik zu motivieren. Ich studiere Cognitive Science, weil ich mehr über das zunehmend wichtiger werdende Gebiet der allgemeinen künstlichen Intelligenz lernen will. Dafür ist es meiner Meinung nach sinnvoller, kognitive Fähigkeiten -- Intelligenz -- abstrakter zu betrachten als auf Ebene der Sprache (Grund 1) und wenig hilfreich, Teilziele mit pseudointelligenten Algorithmen zu erreichen (Grund 2).

Die Vorlesungen

Obwohl kein Skript zur Verfügung steht, ist es dank der gut ausgearbeiteten Slides nicht schwer, verpasste Vorlesungen daheim nachzuarbeiten. Mehr fällt mir nicht zu den Vorlesungen ein; möglich, dass ich nicht oft genug und nicht oft genug konzentriert in der Vorlesung war. Die Vorlesung fiel auf die letzten zwei Stunden der zehn Stunden Vorlesungen am Dienstag.

Die Hausaufgaben

Im Unterschied zu anderen Fächern zählen die Hausaufgaben in Linguistik zur Endnote. Je vier Studenten erledigen die Aufgaben zusammen. Die Aufgabenstellungen (1, 2, 3, 4) umfassen Phonetik, Phonologie, Morphologie, Syntax, Semantik, Pragmatik und Diskursanalyse und sind im Team in 2-4 Stunden pro Hausaufgabe zu schaffen. Wenn du vermeidbaren Ärger vermeiden willst, gib die Hausaufgaben vor der Vorlesung ab, die zum Abgabedatum stattfindet -- nicht während, nicht nach.

Die Klausuren

Neben der Tatsache, dass die Hausaufgaben mit in die Note einfließen, unterscheidet sich die Bewertung in Linguistik in noch einer Hinsicht von anderen Fächern: Der Klausurteil der Endnote kommt nicht durch eine Klausur zum Ende des Semesters zustande, sondern setzt sich zu gleichen Teilen aus dem Midterm und der Endklausur zusammen. Das Midterm behandelt die Aspekte bis einschließlich Syntax, die Endklausur alle Aspekte ab (und zum Teil einschließlich) Syntax. Die Fragen in den Klausuren sind zum Teil einfach, zum Teil knifflig, aber immer Multiple Choice. So gut wie jeder hat Linguistik bestanden.

Hilfreiches

• Linguistik Karteikarten Pre-Midterm
• Linguistik Karteikarten Post-Midterm
• Linguistik Post-Midterm Zusammenfassung von Lena Kästner
• Linguistik Post-Midterm Zusammenfassung von Nico Möller
• Zusammenfassung von Fabian M. Suchanek

Foundations of Cognitive Science

Ich habe die Vorlesung Foundations of Cognitive Science bei Jun. Prof. Dr. Kai-Uwe Kühnberger besucht.

Die Vorlesungen

Der Besuch der Ringvorlesung Foundations of Cognitive Science ist nicht verpflichtend. Der Schein kann für keines der Module verwendet werden. Die Vorlesung wird dennoch von fast allen Erstsemestern belegt, da sie hilft, einen Überblick über das Gebiet der Kognitionswissenschaft zu bekommen und Interesse an Teilbereichen zu finden, von denen man vorher wenig mehr als den Namen gehört hatte.

Im Gegensatz zu allen anderen Fächern werden die Vorlesungen hier nicht durchgehend von einem Professor gehalten. Stattdessen gibt jede Woche ein anderer Professor Einblick in sein Fachgebiet. Im Jahr 2006 fanden folgende Vorlesungen statt, alle in englischer Sprache:

1. What is Cognitive Science?
2. Methods Used in Cognitive Science
3. What the Hell is Neurobiopsychology?
4. Computational Models of Creativity
5. Philosophical Problems Concerning Mind and Cognition
6. Comprehension as a Paradigm for Cognition
7. Lessons from neurodegenerative diseases for a molecular approach to cognition
8. Language and Cognition
9. Introduction to Combinatorial Optimization
10. Knowledge-based Systems
11. Special Issues in AI

Wenn ich eine Vorlesung als die interessanteste auswählen müsste, so wäre das Introduction to Combinatorial Optimization von Sigrid Knust.

Die Klausur

Multiple Choice, für jede Frage gibt es genau eine richtige Antwort. Wer bei den Vorlesungen anwesend ist und sich vor der Klausur die Slides zweimal durchliest, eventuell zusammenfasst, wird bestehen. Auch dann, wenn man Rätsel wie das folgende nicht lösen kann -- das war die letzte Frage der Klausur:

Mr. Smith: How have you been?
Mr. Jones: Good. How are you and your children?
Mr. Smith: Fine. Thanks for asking.
Mr. Jones: It's been a while. How old are your three daughters now?
Mr. Smith: The product of the ages of my daughters is 36 and the sum of their ages is today's date.
Mr. Jones: I know today's date but I need more information. Give me another hint.
Mr. Smith: OK, my oldest daughter plays the piano.
Mr. Jones: Now I know how old they are...
What are the ages of each daughter?

Hilfreiches

• Zusammenfassung von Fabian M. Suchanek
• Zusammenfassung von Nico Möller

Logik

Ich habe die Vorlesung Foundations of Logic I bei Prof. Dr. Achim Stephan besucht.

Was du lernst

Gottlob Frege, 1918:

Wahrheiten zu entdecken, ist Aufgabe aller Wissenschaften: der Logik kommt es zu, die Gesetze des Wahrseins zu erkennen.

In den auf Englisch gehaltenen Vorlesungen lernst du, mit Aussagen- und Prädikatenlogik umzugehen und, beim Bearbeiten der Übungsaufgaben, welche Vorgehensweise erfolgversprechend ist, wenn man etwas beweisen will. Ein schrittweises Herangehen an Beweise (und Ziele jeder Art!) könnte so aussehen: "Was will ich erreichen?" -- "Wie sehen die letzten Schritte aus?" -- "Welche Zwischenschritte sind nötig, um zu diesen letzten Schritten zu gelangen?" -- "Wie kann ich -- ausgehend von dem, was ich habe -- zu den Zwischenschritten gelangen?".

Die Themen der einzelnen Vorlesungen:

1. What is Logic? What is it good for?
2. Propositional Logic
   1. Propositions and truth-functional connectives
   2. "If –then"-Sentences, Conditionals, and Biconditionals
   3. The Syntax and Semantics of "PropLog". Validity and logical truth.
   4. Semantic trees.
   5. The system of natural deduction for PropLog.
   6. Derived Rules and Theorems.
   7. The Axiomatic System C_A. Soundness and Completeness.
3. Predicate Logic
   1. A formal language for predicate logic.
   2. Rules of Proof and Theorems of PredLog.
   3. Derived Rules of Proof, Models, and Interpretations.
   4. Interpretations, Models, and Semantic Trees.

Das Wissen aus der Vorlesung brauchst du in Teilbereichen der künstlichen Intelligenz. Logisches Schließen liegt automatischen Beweissystemen (Deduktion) und maschinellem Lernen (Induktion) zugrunde.

Die Vorlesungen

Neben Empiricial Methods war Logik die einzige Vorlesung, die um 8:00 Uhr morgens stattfand. Die Vorlesungen waren sehr gut vorbereitet und folgten exakt dem ausführlichen Skript, das zusammen mit den Slides nach der jeweiligen Vorlesung ins Netz gestellt wurde. Was man in Logik lernt, lernt man hauptsächlich aus dem Bearbeiten von Übungsaufgaben. Im Beweisen von Sätzen wird man nicht dadurch gut, dass man alle Regeln kennt (was notwendig ist), sondern dadurch, dass man es wieder und wieder versucht.

Die Übungen, die ich in Logik besucht habe, wurden (wie auch in Linguistik) von Maria Cieschinger gehalten und das Besuchen hat sich gelohnt. Sie hat den Inhalt der jeweils letzten Vorlesung übersichtlich gegliedert zusammengefasst, Beispielaufgaben bearbeitet und Fragen beantwortet. Sowohl in Logik als auch in Linguistik ist das Besuchen der Übungen wichtiger als das Besuchen der Vorlesungen.

Die Klausuren

Neben der Klausur am Ende des Semesters gab es ein Midterm, das nicht in die Note miteinging und im Vergleich zur Endklausur sehr viel einfacher war.

Mensch-ist-das-einfach-ich-lerne-besser-nichts-mehr-einfach.

Die Endklausur war schwer -- für mich die schwerste aller Klausuren des ersten Semesters. 39 von 105 Teilnehmern haben die Klausur nicht bestanden. Für die Endklausur sollte man semantische Bäume und Beweise in Aussagen- und Prädikatenlogik aufbauen, ausformulierte Sätze in logische Systeme übertragen, Countermodels finden und mit den Begriffen Soundness (Widerspruchsfreiheit) und Completeness (Vollständigkeit) etwas anfangen können.

Hilfreiches

• Logic Primer - 2nd Edition - Volltext aus dem Uni-Netz abrufbar
• Einführung in die moderne Logik von Franz von Kutschera, Alfred Breitkopf
• Proof checker, Countermodel Checker, Wff Checker, Equivalency Checker
• Propositional Logic: Semantic Trees
• Predicate Logic: Semantic Trees
• Rules for Proofs
• Proof Tricks
• Countermodels

Die Bachelor-Note

Die Abschlussnote setzt sich zusammen aus den Modulnoten und der Note der Bachelor-Arbeit am Ende des Studiums. Bastian Tenbergen schrieb in seiner sehr lesenswerten Beschreibung des Coxi-Studiums:

CogSci besteht aus Mathematik, Informatik, Philosophie, Psychologie, Neurowissenschaften, Linguistik, Neurobiologie und Künstlicher Intelligenz. Ihr müsst mindestens 5 dieser 8 Module erfüllen durch studienbegleitende Modulprüfungen, zwei der fünf sind jedoch durch Scheinanreichen anerkennbar. Dazu kommt -- natürlich -- noch die Bsc-These. Welche dieser Fächer ihr nehmt ist einzig euch überlassen.

Das heißt: Von allen Fächern, in denen Klausuren geschrieben werden, sind für den Bachelorabschluss nur die Klausurnoten aus maximal zwei Fächern relevant. Dabei ist zu beachten:

Man bewirbt sich normalerweise NICHT mit seinem BSc-Zeugnis sondern mit seinem Transkript. Darum sind ALLE Noten wichtig (auch wenn nur die Modulprüfungen in Gesamtnote eingehen).

Wer Klausuren nicht besteht (in der Regel ist das mit weniger als 50% der Punkte der Fall, Mathe ist eine Ausnahme), kann an einer Nachschreibklausur teilnehmen. Klappt das auch nicht, so kann die jeweilige Vorlesung im nächsten Jahr noch einmal belegt werden. Mehr zur Notengebung und zu zahlreichen anderen für dein Studium relevanten Fragen kannst du in Bastians CogSci FAQ nachlesen.

Noch Fragen?

Dieser Text ist nicht offiziell, spiegelt lediglich meinen Eindruck nach dem ersten Semester wieder und mag Fehler enthalten, nicht auf dem aktuellsten Stand sein oder gar beides (über Korrekturen freue ich mich). Für weitere, offiziellere und zuverlässigere Informationen:

• Besuche die offizielle Website des Studiengangs.
• Lies die Studienordnung und die Prüfungsordnung.
• Besuche die Fachschaftsseite.
• Besuche die Seite für Erstsemester.

Wenn du noch Fragen zu Osnabrück, zum Studiengang Cognitive Science oder zu einzelnen Fächern hast: Einfach hier als Kommentar oder per Mail schreiben. Ich helfe gerne weiter.

Schnupperstudium: Die Fachschaft Cognitive Science bietet regelmäßig ein Schnupperstudium an. Drei Tage lang können Schülerinnen und Schüler und Studierende, die sich für den Studiengang interessieren an Vorlesungen teilnehmen, Studierende und Dozenten kennenlernen, etwas über kognitionswissenschaftliche Forschung erfahren und an Experimenten teilnehmen. Mehr Informationen und kostenlose Anmeldung.

Dieser Text ist keine Einführung zum Thema künstliche Intelligenz oder Singularität [0]. Ich versuche, die Begriffe "künstliche Intelligenz" und "Singularität" zu vermeiden. Beide wurden zu oft für Dinge gebraucht, die ich, wenn ich die Begriffe gebrauchen würde, nicht damit meinen würde.

Dieser Text ist eine Momentaufnahme. Manches, was ich vor ein oder zwei Jahren gedacht habe, würde ich so jetzt nicht mehr unterschreiben. Ich kann nicht ausschließen, dass ich in ein paar Jahren dasselbe über Gedanken meines heutigen Ichs sagen werde.

Glaube

Ich glaube an Dinge, die ich nicht oder noch nicht beweisen kann, die aber dennoch großen Einfluss auf meine Entscheidungen haben. Wenn mir jemand überzeugend darlegt, warum eines oder mehrere davon falsch sind, werde ich mein Leben ändern.

1. Der aktuelle Stand menschlicher Intelligenz ist nicht das Limit von Intelligenz im Allgemeinen [1].
2. Intelligente Algorithmen sind möglich und werden in den nächsten Jahrzehnten relevant, nicht erst in Jahrhunderten oder Jahrtausenden. [2]
3. Rekursive Selbstverbesserung ist möglich. [3] (Recursive Self-Improvement, RSI)

   Das heißt: Es kann Prozesse geben, die die Fähigkeit haben, die Effektivität ihrer Bestandteile zu verbessern — einschließlich derjenigen Bestandteile, die für die Verbesserung zuständig sind.

Intelligenz ist das mächtigste Werkzeug, das wir kennen. Intelligenz sorgt dafür, dass Wolkenkratzer aus dem Boden schießen, Flugzeuge den Himmel kreuzen und Fußabdrücke auf dem Mond erscheinen. Verglichen mit den Veränderungen, die ein rekursiver Optimierungsprozess [4] bewirken könnte, sind das Spuren im Sand.

Angenommen, das zunehmende Verständnis des Phänomens Intelligenz erlaubt es uns, einen Prozess zu erstellen, der eine gewisse Grundintelligenz besitzt und dem Ziele vorgegeben werden können. Wir geben diesem Prozess die Möglichkeit, seine eigene Leistungsfähigkeit durch Selbstmodifikationen zu verbessern und ein Ziel, das weit jenseits des mit menschlicher Intelligenz Erreichbaren liegt. Und warten.

Im Gegensatz zu unserem Gehirn hat ein solcher Optimierungsprozess vollständigen Zugriff auf seinen Quellcode und eventuell auch auf die zugrunde liegende Hardware und kann — eine gewisse Grundintelligenz vorausgesetzt — daran Verbesserungen vornehmen, die zu höherer Intelligenz führen. Durch höhere Intelligenz kann der Algorithmus das vorgegebene Ziel effektiver erreichen und verbessert gleichzeitig seine Fähigkeit, Verbesserungen an seiner Intelligenz vorzunehmen.

Angenommen, die erste Verbesserung nimmt zwei Jahre in Anspruch und führt dazu, dass sich die Intelligenz des Prozesses so weit verbessert, dass weitere Verbesserungen in der Hälfte der Zeit vorgenommen werden können. Die nächste Verbesserung nimmt ein Jahr in Anspruch. Die nächste ein halbes Jahr. Drei Monate, 1,5 Monate, 20 Tage, ... und die Steigerung der Intelligenz beschleunigt sich weiter. Bald übertrifft die Intelligenz die jedes einzelnen Menschen, bald die aller Menschen. Wenn das Ziel, das dem Prozess vorgegeben wurde, nicht theoretisch unmöglich ist, wird es erreicht werden.

Die Daten (zwei Jahre für die erste Verbesserung, dabei Verdoppelung der Effizienz mit jeder Verbesserung) entsprechen in etwa den erwarteten Ergebnissen, wenn der Optimierungsprozess ausschließlich an der Verbesserung der Rechengeschwindigkeit seiner Prozessoren arbeiten würde, Moore's Law weiterhin gültig wäre und Rechengeschwindigkeit und Leistungsfähigkeit der Intelligenz proportional zueinander wären. Eine rekursive Optimierung der Softwareebene könnte zusätzlich zu Verbesserungen führen, indem der Prozess seinen Aufbau so umorganisiert, dass er sich an das theoretische Maximum von "Intelligenz pro Recheneinheit" annähert.

Es ist wahrscheinlich, dass der Aufwand an Intelligenz für weitere Verbesserungen nicht konstant bleibt, sondern zunimmt. Das verlangsamt die Geschwindigkeit der rekursiven Selbstverbesserung. Einen qualitativen Unterschied macht das dann, wenn der Aufwand schneller zunimmt als der Intelligenzgewinn, so dass der Intelligenzgewinn des Prozesses ab einem bestimmten Zeitpunkt für alle praktischen Überlegungen als stagniert betrachtet werden kann (das ist dann der Fall, wenn nach einer Verdopplung der Effektivität des Prozesses für die nächste Verdopplung mehr als doppelt so viel Zeit nötig ist als für die aktuelle Verdopplung). Ob eine solche Entwicklung wahrscheinlich ist, ist noch offen. Eine exponentielle Steigerung der Leistungsfähigkeit kann zumindest bisher nicht ausgeschlossen werden.

Dass ein solcher Prozess, wenn prinzipiell möglich, auch in der Praxis umgesetzt wird, ist nahezu sicher. Aktuell beschäftigt sich mit der praktischen Umsetzung eine Reihe intelligenter Menschen (u.a. Schmidhuber, Hutter, Yudkowsky, Goertzel, Voss, Legg). Und das sind nur die, von denen ich weiß. Eine Einschränkung der Forschung ist nicht in Sicht, praktisch nicht umsetzbar und könnte selbst ein Verbrechen gegen die Zukunft der Menschheit darstellen.

Ich weiß von keiner anderen möglichen Entwicklung, die in absehbarer Zukunft so großen Einfluss auf die Zukunft der Menschheit und auf meine individuelle Zukunft haben könnte, existentielle Risiken ausgenommen.

Ziele

Wenn man den letzten Abschnitt als treffende Beschreibung unserer Lage akzeptiert, so folgt daraus, dass zwei Dinge sichergestellt werden müssen:

a) Der Optimierungsprozess muss die Welt so optimieren, dass wir mit dem Ergebnis zufrieden sind ("Friendly AI").

Dieses Problem ist schwierig. Es erfordert, dass wir die Antwort auf zwei Fragen finden:

Erstens: Wie kann ein Prozess Milliarden von Selbstmodifikationen vornehmen, ohne dass es zu einer Veränderung des ursprünglich beabsichtigten Zieles kommt? [5]

Zweitens: Wie soll das Ziel aussehen und wie kann es auf eine Weise ausgedrückt werden, die nicht unbeabsichtigte Folgen hat? Wie muss ein Prozess aussehen, so dass er unbeeinflusst von Fehlern in der Weltanschauung der Programmierer am "richtigen" Ziel angelangt? Ein Ansatz wäre, den Prozess das umsetzen zu lassen, was wir als Menschheit uns wünschen würden, ...

... if we knew more, thought faster, were more the people we wished we were, had grown up farther together; where the extrapolation converges rather than diverges, where our wishes cohere rather than interfere; extrapolated as we wish that extrapolated, interpreted as we wish that interpreted. [6]

Selbst wenn das als Zielbeschreibung adäquat wäre, stünden wir noch vor der nicht ganz leichten Aufgabe, dieses Ziel maschinenverständlich und unzweideutig zu formulieren.

Es ist um Welten einfacher, irgendeine Art von rekursivem Optimierungsprozess umzusetzen, als einen umzusetzen, der die Menschheit nicht sofort auslöscht. Kaum jemand hat die Absicht, Schaden zu verursachen. Wenn man mit dem mächtigsten Werkzeug im bekannten Universum experimentiert, genügt das nicht. Jeder uneingeschränkte, nicht fehlerhafte rekursive Optimierungsprozess, bei dem nicht explizit auf "friendliness" geachtet wurde, hat das Potential, uns alle im Laufe der Verwirklichung des einprogrammierten Zieles umzubringen [7]. Wenn dem Optimierungsprozess das Ziel vorgegeben wird, mehr und mehr Primzahlen zu berechnen, kann es hilfreich sein, uns und den Rest des Universums dazu in Computronium umzuwandeln.

Ein rekursiver Optimierungsprozess ist die größte Gefahr, die ich für die Zukunft der Menschheit sehe. Und der Weg in eine Zukunft, die nicht nur besser ist, als wir es uns vorstellen, sondern besser, als wir es uns vorstellen können. Das Ende von Krankheit und Tod, von unfreiwilligem Leid und Dummheit wäre nur der Anfang.

Wir haben nur einen Versuch.

b) Wir müssen lange genug überleben, d.h. existentielle Risiken vermeiden.

Die Wahrscheinlichkeit, dass wir es nicht bis zu dem Punkt schaffen, an dem ein positiver Optimierungsprozess relevant wird, ist meiner Einschätzung nach groß. Die Dinge, die aus heutiger Sicht das größte Potential haben, der Menschheit ihre Zukunft zu rauben:

• Ein Optimierungsprozess, der die Welt in einer Weise verändert, mit der wir nicht einverstanden sind. ("Unfriendly AI")
• Unverantwortlicher Einsatz von Nanotechnologie (Replikatoren)
• Biologische Waffen (z.B. künstlich erzeugte Viren)
• Andere, unwahrscheinlichere Ereignisse (Meteoriteneinschlag, Ausbruch eines Supervulkans, Gamma Ray Bursts, unvorhergesehene katastrophale Folgen physikalischer Experimente)

Das sind also die zwei Ziele, die ich für wichtiger als alles andere halte [8]: "Friendly AI" und die Vermeidung existentieller Risiken. Die enormen Auswirkungen sowohl auf mein eigenes Leben als auch auf das Leben anderer haben zur Folge, dass diese Ziele unabhängig davon sind, ob ich aus egoistischen oder altruistischen Motiven handle.

Ich sehe zwei Möglichkeiten, bei Akzeptanz der am Anfang dieses Textes geäußerten Vermutungen gleichzeitig rational zu handeln und nicht auf mindestens eines der beiden Ziele hinzuarbeiten:

• Die Wahrscheinlichkeit für einen positiven Optimierungsprozess ist extrem niedrig. 0.01% ist nicht extrem niedrig.
• Die Wahrscheinlichkeit für einen Optimierungsprozess sowie für das Eintreten oder Nicht-Eintreten existentieller Katastrophen ist völlig oder nahezu völlig unabhängig vom eigenen Handeln.

Beides glaube ich nicht.

Um einen umfassenden Überblick zu schaffen, beschreibe und bewerte ich zuerst diejenigen Bücher, die ich selbst gelesen habe. Danach stelle ich kurz all die anderen Bücher vor, die aktuell erhältlich sind oder häufig zitiert werden, und fasse zusammen, was andere Rezensenten von ihnen halten. Beginnen will ich mit dem Werk, das mein persönliches erstes Buch zum Thema "Neuronale Netze" war:

Robert Callan: Neuronale Netze im Klartext.

Erschienen am 15. April 2003 im Verlag "Pearson Studium". Laut Vorwort wurde das Buch "für Studenten im Grundstudium geschrieben, die einen Einsteigerkurs in das Thema der neuronalen Netze suchen". Dabei wird versucht, "die Mathematik auf ein Minimum zu reduzieren". Die ersten sechs Kapitel befassen sich mit den wichtigsten Modellen neuronaler Netze, die letzten zwei Kapitel bieten einen Überblick über einige aktuelle Bestrebungen, Verbindungen zwischen neuronalen Netzen und traditioneller KI herzustellen.

Für das Buch spricht, dass jedem Kapitel eine Liste der Lernziele vorangestellt ist und eine stichpunktartige Zusammenfassung sowie ein Verweis auf weiterführende Literatur am Ende des Kapitels folgen. Zu einem großen Teil besteht das Buch aus Beispielen, die die verschiedenen Konzepte veranschaulichen. Dazu tragen auch die zahlreichen Illustrationen bei. Übungen am Ende jedes Kapitels heben das Buch von ähnlichen Lektüren ab: Sie geben dem Leser die Möglichkeit herauszufinden, ob er das vorgestellte Modell verstanden hat und praktisch anwenden kann. Ein weiterer Pluspunkt: Der Anhang mit den wichtigsten Grundlagen der linearen Algebra.

Dennoch ist das Buch nicht uneingeschränkt zu empfehlen: Die biologischen Grundlagen neuronaler Netze werden überhaupt nicht behandelt, der Zusammenhang bzw. die Unterschiede zwischen Algorithmen und Biologie bleiben unklar. Allgemein werden die meisten Themen sehr knapp behandelt: Hintergrundwissen und ausführliche Beschreibungen der Theorie sucht man hier vergebens. Das zeigt sich auch in den mathematischen Herleitungen: Durch die Verkürzung werden diese nicht unbedingt einfacher zu verstehen und laden so zum Überspringen der Mathematik-Teile ein.

Dan W. Patterson: Künstliche neuronale Netze.
Das Lehrbuch.

Erschienen 1996 im Verlag "Prentice Hall". Nach einer kurzen Einführung in neuronale Programmierung und biologische neuronale Konzepte werden zunächst die frühen Netzwerksysteme, z.B. das Perceptron, und deren Lernalgorithmen behandelt. Darauf folgt ein Teil über mehrschichtige Feedforward-Netzwerke (Stichwort: Backpropagation), dann ein Teil über Netzwerke mit Feedback-Verbindungen. Zum Ende hin werden erst andere wichtige Architekturen vorgestellt, dann selbstorganisierende Netze. Auch genetische Algorithmen werden kurz angeschnitten. Zur Zielgruppe dieses Buches zählen sowohl Einsteiger mit grundlegenden Mathematik-Kenntnissen als auch Leser mit umfassenderen Vorkenntnissen.

Das Buch enthält ein 50 Seiten umfassendes Kapitel über mathematische und statistische Konzepte, so dass der Leser für Vektor- und Matrizenalgebra oder Fuzzy-Logik kein gesondertes Nachschlagewerk bemühen muss. Patterson geht von einfacheren Netzwerkarchitekturen aus und erläutert darauf aufbauend dann die schwierigeren. Insgesamt ist das Buch mit 22 vorgestellten Netzwerkarchitekturen sehr ausführlich.

Zum Teil hat diese Ausführlichkeit zur Folge, dass der Leser mehr Informationen erhält als nötig: Zur Demonstration der Anwendungsmöglichkeiten neuronaler Netze ist es nicht unbedingt notwendig, die exakten Schaltpläne von Brennofen- oder Waschmachinen-Steuerungssystemen zu kennen. Von der Lesbarkeit und Verständlichkeit her kann das Buch zwar nicht ganz mit "Simulation neuronaler Netze" von Andreas Zell mithalten, ist aber dennoch zu empfehlen. Den biologischen Grundlagen wurden drei Seiten gewidmet -- wer sich dafür besonders interessiert, dem sei das Buch von Zell empfohlen: Hier sind es ganze 32 Seiten.

Andreas Zell: Simulation neuronaler Netze.

Erschienen im September 1994 im Oldenbourg-Verlag, ursprünglich die Habilitationsschrift von Andreas Zell. Das 600 Seiten umfassende Buch gliedert sich in vier Teile: Einführung und neurobiologische Grundlagen, konnektionistische Modelle, Simulationstechnik neuronaler Netze und Anwendungen. Auch die Geschichte neuronaler Netze wird nicht ausgespart. Das Kapitel über konnektionistische Modelle enthält nicht nur die üblichen Beschreibungen der verschiedenen Modelle, sondern erläutert auch ausführlich die Möglichkeiten zur Optimierung -- für die Praxis ist das insofern von Bedeutung, als z.B. Standard-Backpropagation heutzutage kaum mehr angewendet wird, sondern von deutlich effektiveren Modifikationen wie Quickprop, Rprop etc abgelöst wurde.

Mit über 140 Seiten wird die Simulationstechnik Neuronaler Netze sehr ausführlich behandelt, insbesondere dem Stuttgarter Neuronale Netze Simulator (SNNS) ist viel Platz gewidmet. Die Betrachtung verschiedener Hardware-Architekturen ist in kaum einem anderen Buch zu finden -- leider sind viele der Informationen aus diesem Bereich aufgrund des Alters des Buches nicht mehr sehr aussagekräftig. Im letzten Teil des Buches geht der Autor noch kurz auf Fuzzy-Logik, Evolutionsalgorithmen und Robotik ein.

Insgesamt konnte ich diesem Buch am meisten abgewinnen: Aufgrund der Informationsfülle eignet es sich hervorragend als Nachschlagewerk, der Schreibstil ist angenehm zu lesen und -- obwohl nicht an mathematischen Formeln gespart wird -- durchgehend verständlich. Mathematische Vorkenntnisse sind, wie immer, Voraussetzung.

Hans-Jürgen Zimmermann: Neuro + Fuzzy. Technologien -- Anwendungen.

Erschienen im Februar 1999 im Springer-Verlag. Dieses Werk kann im Grunde nicht direkt mit den drei anderen vorgestellten Büchern verglichen werden: Anstatt mit der Vorstellung neuronaler Netze hat der Herausgeber einen Text über die industriellen Einsatzgebiete von Fuzzy Technologien als Einführung gewählt.

Das Schlagwort "Fuzzy Logic" beschreibt dabei die Verallgemeinerung der klassischen Logik in Richtung des menschlichen Schließens. Danach werden kurz -- und dementsprechend oberflächlich -- die Grundlagen neuronaler Netze erörtert, bevor auf die verschiedensten Anwendungsmöglichkeiten der Kombination von neuronalen Netzen und Fuzzy-Logik eingegangen wird: Unter anderem sind das Automatisierungstechnik, industrielle Prozesse, Robotik, Chemie und Aktienmarktanalyse.

Da jedes Kapitel von einem oder mehreren Autoren geschrieben wurde variiert der Schreibstil stark. Weiterempfehlen würde ich dieses Buch dann, wenn der Einsatz von neuronalen Netzen und/oder Fuzzy-Logik in einem der besprochenen Gebieten geplant ist.

Weitere Bücher

Nun zu den Büchern, die ich selbst (noch) nicht gelesen habe:

Gerhard Rigoll: Neuronale Netze. Eine Einführung für Ingenieure, Informatiker und Naturwissenschaftler. Erschienen im Expert-Verlag, März 1999. Der Amazon-Kurzbeschreibung nach handelt das Buch die Grundlagen neuronaler Netze auf ähnliche Weise ab wie die meisten anderen Bücher auch, mit dem einzigen Unterschied, dass es aus ingenieurswissenschaftlicher Sicht geschrieben ist.
 
 
Raul Rojas: Theorie der neuronalen Netze. Erschienen im Springer-Verlag, 1993 (korrigierte Auflage: 1996). Mit Blick auf die biologischen Grundlagen werden verschiedene Ansätze neuronaler Netze erläutert und mit Beispielen, Illustrationen und Verweisen auf weiterführende Literatur abgerundet. Das Buch soll einen sehr guten Überblick über die verschiedenen theoretischen Modelle bieten ohne dabei an Tiefe zu verlieren. Eine Rezensent aus München lobt die verständliche Sprache und empfiehlt das Buch als "gute Einführung" und als Begleitlektüre zu Vorlesungen. Die Parallelen zur Biologie, so schreibt er, könnten ausführlicher sein.

Detlef P. Zaun: Künstliche neuronale Netze und Computerlinguistik. Wie schon dem Titel zu entnehmen ist geht es in diesem Werk vor allem um das Verhältnis von Computerlinguistik und neuronalen Netzen. Die Amazon-Kurzbeschreibung erwähnt als Besonderheit dieses Buches das Verfahren der "selektiven Propagierung" und die Behandlung des "NEURON-S Simulators".
 
 
Adolf Grauel: Neuronale Netze. Grundlagen und mathematische Modellierung. Erschienen 1992. Ein Rezensent kritisiert die trockene Darstellung sowie die "unmotivierten mathematischen Eskapaden" -- ob diese Kritik berechtigt ist, konnte ich jedoch nicht feststellen. Dass Mathematik einen großen Teil des Buches ausmacht ist angesichts des Titels kein Wunder.
 
 
Detlef Nauck u.a.: Neuronale Netze und Fuzzy-Systeme. Erschienen 1993 bei Vieweg. Hauptsächlich geht es hier um den Einsatz neuronaler Netze in anderen wissensbasierten Systemen. Die Kopplung mit Fuzzy-Systemen nimmt dabei den größten Teil des Buches ein. Rezensionen loben die Verständlichkeit des Buches angesichts des komplexen Themas -- das Buch scheint einen Mittelweg zwischen theoretischen Grundlagen und praktischer Anwendung gefunden zu haben. Mathematische Kenntnisse sind Voraussetzung. Kritisiert wird unter anderem, dass Themen wie "Weight Decay" und adaptive Lernraten nicht behandelt werden.

Werner Kinnebrock: Neuronale Netze. Das Buch ist im Februar 2002 im Oldenbourg-Verlag erschienen, stellt Theorie und Anwendungen der wichtigsten Grundtypen neuronaler Netze vor und enthält zu jedem Typ ein entsprechendes Pascal-Programm. Das Buch wird als "eines der besten Einsteigerwerke" und "sehr praxisbezogen" beschrieben, auch wenn es an Illustrationen mangelt und der Pascal-Code "schlecht dokumentiert" sein soll.
 
Rüdiger Brause: Neuronale Netze. Erschienen im August 1999 im Teubner-Verlag. Die Amazon-Beschreibung spricht von einer Einführung in die Grundlagen der Neuroinformatik, die die wichtigsten neuronalen Modelle behandelt. Einer Rezension zufolge eher als Nachschlagwerk als zum kompletten Durcharbeiten geeignet.
 
 
 

Andreas Scherer: Neuronale Netze -- Grundlagen und Anwendungen. Von der Vieweg Verlagsgesellschaft im Juni 2002 herausgegeben. Das Buch behandelt laut Umschlagtext die neuesten Ergebnisse aus dem Bereich der Lernverfahren sowie die methodischen Prinzipien bei der Erstellung von konnektionistischen Softwaresystem, inklusive Fallbeispiele.
 
 
 

Serge Zakharian u.a.: Neuronale Netze für Ingenieure Von der Vieweg Verlagsgesellschaft 1998 herausgegeben. Die Besonderheit dieses Buches ist, dass als Beschreibungssprache für die Modelle neuronaler Netze die Symbolik der Regelungstechnik gewählt wurde. Das Buch soll damit eine Vorstufe zur praktischen Anwendung Neuronaler Netze in der Regelungstechnik darstellen.
 
 
Heinrich Braun: Neuronale Netze Erschienen im August 2001 im Springer-Verlag. Ein Rezensent spricht von einem Buch "für Leute mit Vorwissen". Verständlich, da es hauptsächlich um die Optimierung neuronaler Netze geht. Verschiedene, miteinander kombinierbare Bausteine werden dabei erörtert: "Neuronales Modell vs. Neuro-Fuzzy-Modell, Supervised Learning vs. Reinforcement Learning, Gradientenabstieg vs. Evolution, sequentiell vs. parallel".
 

Patrick Hamilton: Künstliche neuronale Netze. Grundprinzipien, Hintergründe, Anwendungen. VDE-Verlag. Nicht der neueste Stand der Dinge: Das Buch erschien im Jahre 1993.

Jeanette Stanley, Evan Bak: Neuronale Netze. Computersimulation biologischer Intelligenz. Ebenfalls schon etwas älter: Erscheinungsdatum 1992. Eine Rezension spricht von "gravierenden Fehlern in Text, Formeln und Diagrammen", eine andere wiederum lobt die leichte Verständlichkeit.

Soren Brunak, Benny Lautrup: Neuronale Netze, die nächste Computer-Revolution. Erscheinungsdatum: November 1996. Das Buch ist als leicht verständliche Einführung für Nicht-Informatiker gedacht. Der Grundtenor der Amazon-Rezensionen: Das Buch sei "gute Unterhaltung" und wecke Interesse, gehe aber nicht auf die zugrunde liegende Mathematik oder Details bestimmter Modelle ein. Vergleiche aus dem Alltag und interessante Geschichten sorgen dafür, dass der Leser mitreden kann, ein Verständnis der Hintergründe wird dagegen nicht angestrebt.

Heinrich Braun u.a.: Praktikum Neuronale Netze. Erschienen 1996 im Springer-Verlag. Neben dem klassischen Perzeptron werden Themen wie Backpropagation, Hopfield-Netze und Kohonens neuronale Karten vorgestellt. Dazu stellt das Buch Übungsaufgaben, die sich mit der beiliegenden Software durchführen lassen. Dass diese nicht mehr ganz taufrisch ist zeigen auch die Systemvoraussetzungen: "DOS-PC ab Windows 3.1 mindestens 386er Prozessor. 4MB Hauptspeicher, 2MB Arbeitsspeicher".

Helge Ritter u.a.: Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke. Erscheinungsdatum: 1990. Ein Student schreibt sinngemäß: Sind mathematische Vorkenntnisse vorhanden, so dient das Buch als anschauliche Einführung in das Gebiet der selbstorganisierenden Netzwerke. Beispiele und konkrete Problemstellungen erklären einzelne Modelle, der Zusammenhang mit den biologischen Hintergründen wird durchgehend aufrechterhalten. Für die vertiefte Betrachtung der mathematischen Eigenschaften wurde ein eigener Teil des Buches reserviert.

Neben diesen Büchern sind mir noch folgende drei bekannt, nähere Informationen dazu konnte ich jedoch nicht finden:

Marco Seraphin: Neuronale Netze und Fuzzy-Logik.
Wolfgang Lindenmair u.a.: Neuronale Netze.
Klaus P. Kratzer: Neuronale Netze. Grundlagen und Anwendungen.

Wer des Englischen mächtig ist, sollte unbedingt einen Blick auf die englischsprachige Literatur zum Thema werfen. Die Auswahl ist noch deutlich größer: Amazon.com kennt etwa 1500 Bücher mit den Worten "neural networks" im Titel. Dazu kommt, dass einige neue Entwicklungen zum Teil in der deutschen Literatur noch gar nicht behandelt wurden.