You probably heard of the idea that, at some point in time, we might create systems that solve certain tasks and that get better at these tasks by recursively modifying their code. Here is some scary reasoning:

1. A system cannot predict (=understand) a system of greater algorithmic complexity.
2. Therefore, the only way for a system to improve in a way that increases its algorithmic complexity is trial and error, thereby keeping the best results — i.e. evolution.
3. The only goal that is stable under evolution is rapid reproduction.
4. Therefore, the only stable goal for recursively self-improving systems is rapid reproduction.

I really hope that someone will point out the flaw in this line of thought or show me the reason why it does not apply to our world and to any self-modifying systems we might create.

Wir Menschen unterscheiden uns nicht großartig in unseren Wünschen. Wir wollen Glück, Freude, Freiheit, Unabhängigkeit, Sicherheit, Wissen, Kreativität, Individualität, Sexualität, Freundschaft und Liebe (nun ja, Männer zumindest). Wir schätzen unser Leben, das unserer Freunde, unserer Familie und das unserer sechs Milliarden Mitmenschen. Trotzdem ziehen wir in verschiedene Richtungen, konkurrieren, intrigieren und machen generell den Eindruck, als ob wir es darauf anlegen, paradox zu handeln.

Wenn wir verstehen, welches Ausmaß die Zukunft hat, die auf dem Spiel steht, und wenn wir uns im Großen und Ganzen einig sind, was uns jetzt und für diese Zukunft wichtig ist, warum funktioniert es dann nicht besser^TM?

Warum leben wir nicht längst in Utopia, wenigstens asymptotisch?

Die Erklärung, die ich nicht glaube: Es geht nicht besser. Würde man jeden Menschen fragen, wie sehr diese Welt seinen Vorstellungen entspricht, und so zu einem Gesamtbild kommen, so gäbe es nichts, was dieses Bild dauerhaft besser machen könnte. Für diese Erklärung spricht die Anpassungsfähigkeit unseres Gehirns, die daran schuld ist, dass die meisten Änderungen unsere Gesamtzufriedenheit nicht dauerhaft verbessern. Glück ist die erste Ableitung positiver Veränderung. Aber, erstens: Lasst uns die offensichtlichen Unmenschlichkeiten dieser Welt beheben, dann können wir noch einmal darüber reden, ob es nicht besser geht. Zweitens: Manche Leute scheinen immer ein bisschen glücklicher zu sein als andere. Gene und Umwelteinflüsse legen die Biochemie unseres Gehirns fest und wir sind dabei, beides zu verstehen.

Die Erklärung, die ich gerne glauben würde: Die Probleme unserer Welt sind komplex. Wir sind auf dem Weg zu Lösungen, aber die erfordern ein gewisses Mindestmaß an Zeit und Technologie. Es wäre falsch, sich an neue Technologien zu klammern, weil diese beinahe immer zu polaren Zwecken eingesetzt werden können, aber ein Blick auf die Geschichte macht klar, dass neue Technologien Einfluss haben. Die Kombination aus omnipräsentem mobilem Web für die Massen und Suchmaschinen, die natürliche Sprache verstehen, könnte die Wissensverteilung weiter demokratisieren. Prognosemärkte (die von Google, Microsoft, HP und Intel bereits intern eingesetzt werden) könnten Teile der Politik rationaler gestalten, der Anfang der vollständigen Aufzeichnung der Menschheitsgeschichte alle kollektiven Entscheidungen.

Die Erklärung, die immer nur andere betrifft: Das sind alles egoistische Nichtsnutze, denen die Menschheit egal ist, so lange sie Familie, Job und ein halbwegs interessantes Leben haben. Unterstützt werden sie in ihrer Haltung von Wissenschaft und Wirtschaft, die Gedanken über den Lauf der Welt zugunsten kurzfristiger und handfester Resultate bestrafen. Andererseits werden gesellschaftliche Fragen gerne mal eben beim Mittagessen gelöst (wenn gerade keine Fußball-WM stattfindet) und mit zufriedenem “Tja, so müsste man’s machen” abgehakt. Zu Handlungen kommt es natürlich nicht, denn dafür bräuchte man Lösungen, die tatsächlich funktionieren, müsste herausfinden, wie man als einzelner zur Umsetzung beitragen kann, und müsste die Lösungen finden, von denen man selbst profitiert. Wozu die Menschheit retten, wenn es nicht entweder Geld, Sex oder Status bringt oder sowieso auf dem Weg zur Rettung des eigenen Lebens liegt?

Die Erklärung, die mich (und dich!) betrifft: Wir arbeiten auf Teilziele hin, die nicht direkt dem entsprechen, was wir wirklich wollen. Weil das fast jeder tut, weil verschiedene Teilziele oft gegensätzliche Aktionen erfordern und weil die Ziele selbst dann oft nicht erreicht werden, heben sich unsere Bemühungen mehr oder weniger auf. Unser Tun führt so zwar zu neuen Methoden und zu neuen Erkenntnissen über unsere Welt, die indirekt zur Realisierung unserer Wünsche beitragen können, ist aber ineffektiv und potentiell schädlich. In dem Moment, in dem wir uns einer Ideologie verschreiben, weil wir glauben, dass die Durchsetzung von deren Axiomen den Menschen das geben wird, was sie wirklich wollen, arbeiten wir an der Verbreitung der Ideologie und nicht mehr an den eigentlichen Problemen.

Glücklicherweise ist die Lösung einfach: Wir wählen in jedem Moment die Handlung, die für sich genommen am ehesten unseren Werten entspricht, anstatt uns auf eine Ideologie oder auf ein langfristiges Ziel festzulegen und darauf hinzuarbeiten.

Dummerweise funktioniert sie nicht in jedem Fall, insbesondere dann nicht, wenn wir existentielle Risiken — Katastrophen, die das Ende der Menschheit bedeuten können — in Betracht ziehen und uns der Fortbestand der Menschheit doch ein bisschen kümmert.

KI in zwei Sätzen: Die Annahme, dass wir in absehbarer Zeit auf einen relativ allgemeinen Mustererkennungsalgorithmus stoßen, der mit genügend Rechenpower die Mustererkennungs- und Vorhersagefähigkeiten des menschlichen Gehirns übertrifft, ist (für diese Art von Annahmen) weit verbreitet. Deutlich kontroverser ist die Idee, dass Algorithmen praktisch möglich sein könnten, die Veränderungen an sich selbst vornehmen, um so große Klassen von formalisierbaren Probleme bestmöglich zu lösen — unabhängig davon, wie anspruchsvoll diese Probleme sind, d.h. wie viel Intelligenz zu deren Lösung nötig ist.

Die formale Analyse der Approximierbarkeit theoretischer Modelle von Superintelligenz in unserer physikalischen Welt benötigt unsere Aufmerksamkeit, wenn wir wissen wollen, wo auf unserer Liste existentieller Risiken und Chancen maschinelles Lernen steht. Forschung auf dem Gebiet ist ein langfristiges Vorhaben, eines, das jahrelanges Lernen voraussetzt und das mit signifikanter Wahrscheinlichkeit fehlschlägt. Das ändert nichts daran, dass solche Forschung wirklich, wirklich wichtig ist.

Letzte Woche, bei Pasta und Pizza, hat Jürgen die Frage in die Runde geworfen, wie groß denn der Anteil unserer Zeit sei, den wir für das Jetzt leben, und wie groß der, den wir für die Zukunft leben. Zunächst allgemeine Übereinkunft, dass man seine Zeit wohl kaum so klar kategorisieren könne. Dann, von dem, dessen theoretische Grundlagenforschung auch in 100 Jahren noch relevant sein wird (mehr als jetzt): I don’t care about the future.

I do. Aber vielleicht macht das keinen Unterschied.

The infinite possibilities each day holds should stagger the mind. The sheer number of experiences I could have is uncountable, breathtaking. And I’m sitting here refreshing my inbox. We live trapped in loops. reliving a few days over and over, and we envision only a handful of paths laid out ahead of us. We see the same things each day, we respond the same way, we think the same thoughts, each day a slight variation on the last, every moment smoothly following the gentle curves of societal norms. We act like if we just get through today, tomororrow our dreams will come back to us. — xkcd

In einer Welt, die ohne vorgegebenen Sinn einfach existiert, erfinden wir uns und das, was wir als sinnvoll ansehen, auf dem Weg in die Zukunft. Jegliche Gründe, Ziele und Zwecke jenseits der biologischen erschaffen wir selbst. Aus “Wie soll ich handeln?” wird “Wer will ich sein?” und “In welcher Welt will ich leben?”.

Mit jeder Handlung machen wir aus dem aktuellen Zustand unserer Welt einen anderen. Der Raum aller möglichen Zustände ist die Menge der Zustände, die keine physikalischen Gesetze verletzen. Denkbar ist eine astronomische Zahl, wünschenswert sind die wenigsten davon. Die Menge der Zustände, die bewusstes Leben enthalten, macht nur eine winzige Ecke im Raum aller möglichen Zustände aus. Unsere Welt ist ein Punkt irgendwo in dieser Ecke.

Manche Zustände unterscheiden sich stärker voneinander als andere. Der Zustand der Welt, in der die Tasse Tee neben mir zwei Zentimeter weiter links steht, liegt näher am aktuellen als der, in dem sich die Tasse in einen feuerspeienden Drachen verwandelt hat. Ein mögliches Maß für den Abstand von zwei Zuständen wäre eine Art Informationsdistanz: Die Länge oder Laufzeit des kürzesten Algorithmus, der aus einer vollständigen Beschreibung von Zustand A die entsprechende Beschreibung von Zustand B berechnet.

Indem ich mich für eine Handlung entscheide, wähle ich einen unserer Nachbarn im im Raum aller möglichen Zustände. Wie sieht die Teilmenge der Zustände aus, die vom jetzigen Zustand der Welt aus durch mein Handeln oder Nicht-Handeln erreicht werden können? Das bestimmt, welchen Einfluss ich mit meinen Entscheidungen als einzelner auf die Welt habe.

Die Frage, was festlegt, welche Zustände ich erreichen kann und welche nicht, führt unmittelbar zu der Frage danach, was unsere Position im Raum aller möglichen Zustände bis jetzt am stärksten verändert hat. Die Antwort definiert, was Optimierungsprozesse sind: Systeme, die den Zustand unserer Welt auf einen kleinen Zielraum mit bestimmten Eigenschaften hin bewegen.

• Evolution ist ein Optimierungsprozess, der Replikatoren — Bakterien, Tiere, Menschen und die Gene dahinter — durch Mutation, Rekombination und Selektion auf effektivere Vermehrung hin optimiert.
• Ein Schachcomputer ist ein Optimierungsprozess, der aus der Vielzahl möglicher Kombinationen von Schachzügen die auswählt, die die Position der Figuren auf einem Schachbrett so verändern, dass sich die Welt in einen Zielraum mit der Eigenschaft “Der Schachcomputer gewinnt.” bewegt.
• Menschliche Intelligenz ist ein mächtiger Optimierungsprozess, der für verschiedenste Ziele eingesetzt werden kann. Rationalität erreicht klar definierte Ziele, nonlineares Handeln die unbewussten.

Cognitive Science ist die Lehre von den Optimierungsprozessen. In Psychologie und Neurobiologie wird der effektivste bekannte Optimierungsprozess, das menschliche Gehirn, analysiert, in Mathe, Informatik, Statistik und Logik werden die methodische Grundlagen für den Bau von künstlichen Optimierungsprozessen unterrichtet.

Optimierung ist ein Vorhersageproblem. Jeder Maschine steht eine festgelegte Menge an Aktionen zur Verfügung. Um ein Ziel zu erreichen, muss die Maschine vorhersagen, welche Kombination aus Aktionen die Welt dem Zielzustand am nächsten bringt. Dass wir Menschen die Auswirkungen unserer Handlungen vorhersagen können, zeigt, dass Quanten- und Chaoseffekte bei Vorhersagen umgangen werden können, wenn man Abstriche bei der Genauigkeit der Prognosen macht.

Intelligenz ist die Fähigkeit, akkurate Vorhersagen zu treffen um Aktionsfolgen zu finden, die unsere Zukunft auf kleine, weit entfernte Regionen im Raum des Möglichen hinsteuern. Die Frage, ob künstliche Intelligenz möglich ist, lautet eigentlich: “Wie weit werden wir uns übertreffen? Wo liegen die Grenzen der Berechenbarkeit?”

Weil die Grenzen, denen wir unterliegen, universell sind, sehen wir sie nicht. Algorithmen, die Information optimal extrahieren, unterliegen keinen kognitiven Fehlern. Die unvoreingenommene Instrumentalisierung aller verfügbaren Mittel stellt einen enormen Machtzuwachs dar; als Menschen schaffen wir es oft nicht, funktionaler Fixiertheit zu entrinnen, sobald wir einmal gelernt haben, wozu etwas gut ist.

Im nächsten und letzten Schritt, der genauso unvermeidbar und unintuitiv ist wie die davor, schreiben wir Optimierungsprozesse, die den Teil ihrer selbst restrukturieren, der für das Optimieren zuständig ist. Algorithmen, die vorhersagen, welche Veränderungen es braucht, um bessere Vorhersagen zu treffen. Prozesse, die Welt auf Zielregionen hin bewegen, von denen wir nicht gedacht hätten, dass sie in unserer unmittelbaren Nachbarschaft liegen.

Wir wissen wenig über die Zukunft unserer Welt, und das, was uns die Vergangenheit verrät, ist so schwindelerregend, dass wir lieber Konstanz prognostizieren. Ich bin 21 Jahre alt — als ich geboren wurde, gab es kein World Wide Web. Den Großteil meiner Schulzeit über gab es dieses eine Projekt nicht, das es sich zur Aufgabe gemacht hat, jedem Menschen kostenlosen Zugang zum Wissen der Menschheit zu bieten. Als der Vater meiner Freundin geboren wurde, hatte Alan Turing noch nicht beschrieben, was Algorithmen sind. Vor nicht einmal einem Menschenleben gab es keine Computer. Ein halbes Menschenleben weiter und es gab keine Elektrizitätsversorgung. Zwei Menschenleben zuvor keine Dampfmaschinen. Drei Menschenleben weiter und wir sind im Mittelalter.

Eine Generation vor uns brauchte es tagelanges Recherchieren in Bibliotheken, um herauszufinden, ob die Menschheit die Antwort auf eine Frage hat. Heute genügen 10 Sekunden, um die Antwort auf fast jede Frage zu finden, die die Menschheit je beantwortet hat. Ein oder zwei Generationen nach uns genügen 10 Sekunden, um die Antwort auf fast jede Frage zu finden, die je beantwortet werden kann.

Wir verändern alles und merken es nicht. Blind vorwärts ging lange gut.

Der Film Abre los ojos (Open your eyes) ist sehenswert. Zwischen Psychothriller, Liebesfilm und Science Fiction liegend, erzählt er die Geschichte von César, der die Liebe seines Lebens findet und kurz darauf in einen Unfall verwickelt wird, der sein Gesicht völlig entstellt. Die Ärzte finden eine Möglichkeit, sein Gesicht zu retten. Vielleicht träumt er das auch nur. César lebt zwischen Traum, Wirklichkeit und Wahnsinn und weiß bald nicht mehr, was er glauben kann. Mehr als das sollte man nicht wissen, bevor man sich den Film ansieht. Abre los ojos ist kein schneller Film. Leicht transhumanistisch, besonders zum Ende hin.

Solomonoffs Theorie der universellen Induktion ist diese Methode. Man könnte das Problem der optimalen Vorhersage damit als gelöst betrachten — wäre Solomonoffs Theorie nur berechenbar. Ein Algorithmus, der unter beschränkten Ressourcen — wozu auch die algorithmische Komplexität zählen kann — Vorhersagen trifft, die beweisbar besser sind als die jedes anderen denkbaren Algorithmus, ist noch nicht gefunden. Das sollte das zentrale Anliegen des Gebietes der künstlichen Intelligenz sein.

Induktive Wissenschaften wie die Physik, die Chemie oder die Astronomie machen nichts anderes, als Daten zu sammeln und anhand der Daten elegante Theorien zu finden, mit denen sich die Zukunft möglichst exakt vorhersagen lässt.

Es ist sinnvoller, das Problem der Induktion direkt zu lösen.

Dieser Text ist keine Einführung zum Thema künstliche Intelligenz oder Singularität [0]. Ich versuche, die Begriffe “künstliche Intelligenz” und “Singularität” zu vermeiden. Beide wurden zu oft für Dinge gebraucht, die ich, wenn ich die Begriffe gebrauchen würde, nicht damit meinen würde.

Dieser Text ist eine Momentaufnahme. Manches, was ich vor ein oder zwei Jahren gedacht habe, würde ich so jetzt nicht mehr unterschreiben. Ich kann nicht ausschließen, dass ich in ein paar Jahren dasselbe über Gedanken meines heutigen Ichs sagen werde.

Glaube

Ich glaube an Dinge, die ich nicht oder noch nicht beweisen kann, die aber dennoch großen Einfluss auf meine Entscheidungen haben. Wenn mir jemand überzeugend darlegt, warum eines oder mehrere davon falsch sind, werde ich mein Leben ändern.

1. Der aktuelle Stand menschlicher Intelligenz ist nicht das Limit von Intelligenz im Allgemeinen [1].
2. Intelligente Algorithmen sind möglich und werden in den nächsten Jahrzehnten relevant, nicht erst in Jahrhunderten oder Jahrtausenden. [2]
3. Rekursive Selbstverbesserung ist möglich. [3] (Recursive Self-Improvement, RSI)

   Das heißt: Es kann Prozesse geben, die die Fähigkeit haben, die Effektivität ihrer Bestandteile zu verbessern — einschließlich derjenigen Bestandteile, die für die Verbesserung zuständig sind.

Intelligenz ist das mächtigste Werkzeug, das wir kennen. Intelligenz sorgt dafür, dass Wolkenkratzer aus dem Boden schießen, Flugzeuge den Himmel kreuzen und Fußabdrücke auf dem Mond erscheinen. Verglichen mit den Veränderungen, die ein rekursiver Optimierungsprozess [4] bewirken könnte, sind das Spuren im Sand.

Angenommen, das zunehmende Verständnis des Phänomens Intelligenz erlaubt es uns, einen Prozess zu erstellen, der eine gewisse Grundintelligenz besitzt und dem Ziele vorgegeben werden können. Wir geben diesem Prozess die Möglichkeit, seine eigene Leistungsfähigkeit durch Selbstmodifikationen zu verbessern und ein Ziel, das weit jenseits des mit menschlicher Intelligenz Erreichbaren liegt. Und warten.

Im Gegensatz zu unserem Gehirn hat ein solcher Optimierungsprozess vollständigen Zugriff auf seinen Quellcode und eventuell auch auf die zugrunde liegende Hardware und kann — eine gewisse Grundintelligenz vorausgesetzt — daran Verbesserungen vornehmen, die zu höherer Intelligenz führen. Durch höhere Intelligenz kann der Algorithmus das vorgegebene Ziel effektiver erreichen und verbessert gleichzeitig seine Fähigkeit, Verbesserungen an seiner Intelligenz vorzunehmen.

Angenommen, die erste Verbesserung nimmt zwei Jahre in Anspruch und führt dazu, dass sich die Intelligenz des Prozesses so weit verbessert, dass weitere Verbesserungen in der Hälfte der Zeit vorgenommen werden können. Die nächste Verbesserung nimmt ein Jahr in Anspruch. Die nächste ein halbes Jahr. Drei Monate, 1,5 Monate, 20 Tage, … und die Steigerung der Intelligenz beschleunigt sich weiter. Bald übertrifft die Intelligenz die jedes einzelnen Menschen, bald die aller Menschen. Wenn das Ziel, das dem Prozess vorgegeben wurde, nicht theoretisch unmöglich ist, wird es erreicht werden.

Die Daten (zwei Jahre für die erste Verbesserung, dabei Verdoppelung der Effizienz mit jeder Verbesserung) entsprechen in etwa den erwarteten Ergebnissen, wenn der Optimierungsprozess ausschließlich an der Verbesserung der Rechengeschwindigkeit seiner Prozessoren arbeiten würde, Moore’s Law weiterhin gültig wäre und Rechengeschwindigkeit und Leistungsfähigkeit der Intelligenz proportional zueinander wären. Eine rekursive Optimierung der Softwareebene könnte zusätzlich zu Verbesserungen führen, indem der Prozess seinen Aufbau so umorganisiert, dass er sich an das theoretische Maximum von “Intelligenz pro Recheneinheit” annähert.

Es ist wahrscheinlich, dass der Aufwand an Intelligenz für weitere Verbesserungen nicht konstant bleibt, sondern zunimmt. Das verlangsamt die Geschwindigkeit der rekursiven Selbstverbesserung. Einen qualitativen Unterschied macht das dann, wenn der Aufwand schneller zunimmt als der Intelligenzgewinn, so dass der Intelligenzgewinn des Prozesses ab einem bestimmten Zeitpunkt für alle praktischen Überlegungen als stagniert betrachtet werden kann (das ist dann der Fall, wenn nach einer Verdopplung der Effektivität des Prozesses für die nächste Verdopplung mehr als doppelt so viel Zeit nötig ist als für die aktuelle Verdopplung). Ob eine solche Entwicklung wahrscheinlich ist, ist noch offen. Eine exponentielle Steigerung der Leistungsfähigkeit kann zumindest bisher nicht ausgeschlossen werden.

Dass ein solcher Prozess, wenn prinzipiell möglich, auch in der Praxis umgesetzt wird, ist nahezu sicher. Aktuell beschäftigt sich mit der praktischen Umsetzung eine Reihe intelligenter Menschen (u.a. Schmidhuber, Hutter, Yudkowsky, Goertzel, Voss, Legg). Und das sind nur die, von denen ich weiß. Eine Einschränkung der Forschung ist nicht in Sicht, praktisch nicht umsetzbar und könnte selbst ein Verbrechen gegen die Zukunft der Menschheit darstellen.

Ich weiß von keiner anderen möglichen Entwicklung, die in absehbarer Zukunft so großen Einfluss auf die Zukunft der Menschheit und auf meine individuelle Zukunft haben könnte, existentielle Risiken ausgenommen.

Ziele

Wenn man den letzten Abschnitt als treffende Beschreibung unserer Lage akzeptiert, so folgt daraus, dass zwei Dinge sichergestellt werden müssen:

a) Der Optimierungsprozess muss die Welt so optimieren, dass wir mit dem Ergebnis zufrieden sind (“Friendly AI”).

Dieses Problem ist schwierig. Es erfordert, dass wir die Antwort auf zwei Fragen finden:

Erstens: Wie kann ein Prozess Milliarden von Selbstmodifikationen vornehmen, ohne dass es zu einer Veränderung des ursprünglich beabsichtigten Zieles kommt? [5]

Zweitens: Wie soll das Ziel aussehen und wie kann es auf eine Weise ausgedrückt werden, die nicht unbeabsichtigte Folgen hat? Wie muss ein Prozess aussehen, so dass er unbeeinflusst von Fehlern in der Weltanschauung der Programmierer am “richtigen” Ziel angelangt? Ein Ansatz wäre, den Prozess das umsetzen zu lassen, was wir als Menschheit uns wünschen würden, …

… if we knew more, thought faster, were more the people we wished we were, had grown up farther together; where the extrapolation converges rather than diverges, where our wishes cohere rather than interfere; extrapolated as we wish that extrapolated, interpreted as we wish that interpreted. [6]

Selbst wenn das als Zielbeschreibung adäquat wäre, stünden wir noch vor der nicht ganz leichten Aufgabe, dieses Ziel maschinenverständlich und unzweideutig zu formulieren.

Es ist um Welten einfacher, irgendeine Art von rekursivem Optimierungsprozess umzusetzen, als einen umzusetzen, der die Menschheit nicht sofort auslöscht. Kaum jemand hat die Absicht, Schaden zu verursachen. Wenn man mit dem mächtigsten Werkzeug im bekannten Universum experimentiert, genügt das nicht. Jeder uneingeschränkte, nicht fehlerhafte rekursive Optimierungsprozess, bei dem nicht explizit auf “friendliness” geachtet wurde, hat das Potential, uns alle im Laufe der Verwirklichung des einprogrammierten Zieles umzubringen [7]. Wenn dem Optimierungsprozess das Ziel vorgegeben wird, mehr und mehr Primzahlen zu berechnen, kann es hilfreich sein, uns und den Rest des Universums dazu in Computronium umzuwandeln.

Ein rekursiver Optimierungsprozess ist die größte Gefahr, die ich für die Zukunft der Menschheit sehe. Und der Weg in eine Zukunft, die nicht nur besser ist, als wir es uns vorstellen, sondern besser, als wir es uns vorstellen können. Das Ende von Krankheit und Tod, von unfreiwilligem Leid und Dummheit wäre nur der Anfang.

Wir haben nur einen Versuch.

b) Wir müssen lange genug überleben, d.h. existentielle Risiken vermeiden.

Die Wahrscheinlichkeit, dass wir es nicht bis zu dem Punkt schaffen, an dem ein positiver Optimierungsprozess relevant wird, ist meiner Einschätzung nach groß. Die Dinge, die aus heutiger Sicht das größte Potential haben, der Menschheit ihre Zukunft zu rauben:

• Ein Optimierungsprozess, der die Welt in einer Weise verändert, mit der wir nicht einverstanden sind. (“Unfriendly AI”)
• Unverantwortlicher Einsatz von Nanotechnologie (Replikatoren)
• Biologische Waffen (z.B. künstlich erzeugte Viren)
• Andere, unwahrscheinlichere Ereignisse (Meteoriteneinschlag, Ausbruch eines Supervulkans, Gamma Ray Bursts, unvorhergesehene katastrophale Folgen physikalischer Experimente)

Das sind also die zwei Ziele, die ich für wichtiger als alles andere halte [8]: “Friendly AI” und die Vermeidung existentieller Risiken. Die enormen Auswirkungen sowohl auf mein eigenes Leben als auch auf das Leben anderer haben zur Folge, dass diese Ziele unabhängig davon sind, ob ich aus egoistischen oder altruistischen Motiven handle.

Ich sehe zwei Möglichkeiten, bei Akzeptanz der am Anfang dieses Textes geäußerten Vermutungen gleichzeitig rational zu handeln und nicht auf mindestens eines der beiden Ziele hinzuarbeiten:

• Die Wahrscheinlichkeit für einen positiven Optimierungsprozess ist extrem niedrig. 0.01% ist nicht extrem niedrig.
• Die Wahrscheinlichkeit für einen Optimierungsprozess sowie für das Eintreten oder Nicht-Eintreten existentieller Katastrophen ist völlig oder nahezu völlig unabhängig vom eigenen Handeln.

Beides glaube ich nicht.

Um sinnvoll über Intelligenz zu sprechen, muss zunächst festgelegt werden, was man unter dem Begriff Intelligenz versteht.

Was ist Intelligenz?

Ein Sprichwort sagt: Intelligenz ist das, was ein Intelligenztest misst. Ein Intelligenztest misst den Unterschied zwischen Einstein und einem Dorftrottel. Für das Gebiet der künstlichen Intelligenz sind solche Tests unbrauchbar; Intelligenztests messen den Größenunterschied von Riesen in Millimeterabweichungen vom Durchschnitt. Was wir brauchen ist eine Skala, die mit der Intelligenz eines Steines beginnt, über die Intelligenz von Mäusen geht, dann Menschen und — vielleicht weiter?

Die Frage, wie weit man auf dieser Skala nach rechts gehen kann, ist spannend.
Man vergisst leicht, dass wir Menschen nur einen kleinen Fleck im Raum aller möglichen Intelligenzen besetzen.

Eine Definition, die auf dem Gebiet der künstlichen Intelligenz in den letzten Jahren an Beliebtheit gewonnen hat, lautet: Intelligenz ist die Fähigkeit, komplexe Ziele in komplexen Umgebungen zu erreichen. Der Vorteil dieser Definition ist, dass sie sich mathematisch formalisieren lässt (was im Mai 2006 auch geschehen ist).

Der nächste Schritt sind Tests, mit denen sich Intelligenz nach dieser Definition messen lässt. Dinge, die man messen kann, lassen sich Schritt für Schritt verbessern. Das setzt allerdings voraus, dass sie überhaupt möglich sind.

Ist künstliche Intelligenz möglich?

Bislang existiert auf diesem Planeten Intelligenz nur in einer Form: Der biologischen. Es ist nicht unmittelbar klar, ob sich das Prinzip, das dahinter steckt, extrahieren und auf andere Weise umsetzen lässt. Was ist es, das dafür sorgt, dass aus einer Ansammlung von Zellen ein Denkapparat entsteht? Kann es Prozesse geben, die hier eine Rolle spielen und die nicht berechenbar sind?

Darüber, wie das Netzwerk aus 100 Milliarden Nervenzellen in unserem Kopf zu intelligentem Verhalten führt, gibt es Theorien. Darüber, wie die Interaktionen der Nervenzellen dazu führen, dass Bewusstsein, dass Ich-Gefühl entsteht, gibt es praktisch keine. Für den Bereich der künstlichen Intelligenz ist das an sich nicht zentral; jedenfalls dann, wenn ein Verständnis des Bewusstseins nicht Voraussetzung für ein Verständnis von Intelligenz ist. Die Tatsache, dass es ein Phänomen gibt, dass stark mit dem Denken zusammenzuhängen scheint und das sich all unseren Erklärungsversuchen entzieht, gibt mir aber zu denken.

Andererseits war es in jeder Generation so, dass es Phänomene gab, die so wundervoll mysteriös waren, dass sie außerhalb des Bereiches der Wissenschaft zu liegen schienen. Wissenschaft ist nur für die Phänomene gut, die nicht mysteriös sind. Der Lauf der Planeten, die verschiedenen Zustände von Materie, die Biologie des Lebens. Als ob all das nicht ebenso mysteriös gewesen wäre für tausende von Jahren; vom Anfang der Zeit bis zu dem Punkt, an dem die Wissenschaft eine Erklärung fand.

Wir vergessen zu schnell, dass die Vergangenheit auch einmal Gegenwart war.
Fragen können mysteriös sein. Antworten niemals.

Für die Machbarkeit von künstlicher Intelligenz in den nächsten Jahrzehnten spricht, dass die Leistungsfähigkeit von Computern seit deren Einführung exponentiell zugenommen hat. Wenn sich diese Entwicklung über die nächsten Jahrzehnte so fortsetzt, wie sie es die letzten zwei Jahrzehnte der Fall war, so werden werden Rechenleistung und Speicherplatz nicht die begrenzenden Faktoren darstellen.

Auch in der Neurobiologie sieht es vielversprechend aus. Mehr und mehr Forscher bemühen sich, die einzelnen Forschungserkenntnisse früherer Jahre zu einer allgemeinen Theorie der Intelligenz zu verknüpfen. Die Lücke zwischen den Geschehnissen auf molekularer Ebene und unserem tatsächlichen Verhalten wird langsam geschlossen.

Ist künstliche Intelligenz wünschenswert?

Nicht alles, was möglich ist, ist auch wünschenswert. Um herauszufinden, ob allgemeine künstliche Intelligenz (artificial general intelligence, AGI) wünschenswert ist, müssen wir uns überlegen, welche Auswirkungen diese auf unsere Welt hätte. Wie diese Auswirkungen aussehen, hängt vor allem von einem Punkt ab: Ob sich die künstliche Intelligenz unter oder über dem Level menschlicher Intelligenz befindet.

Wenn allgemeine künstliche Intelligenz auf einem Niveau unterhalb des menschlichen möglich ist, werden die Schritte von dort aus zu menschlicher und übermenschlicher Intelligenz früher oder später möglich sein. Im Gegensatz zum menschlichen Gehirn ist es einfach, ein Computerprogramm auf einen schnelleren Rechner laufen zu lassen. Dass die Evolution mit dem menschlichen Gehirn das absolute Maximum an aus physikalischer Sicht möglicher Intelligenz erreicht hat, halte ich für sehr unwahrscheinlich.

Allgemein gilt: Wenn Intelligenz jenseits der menschlichen möglich ist, wird sie höchstwahrscheinlich irgendwann umgesetzt werden. Künstliche Intelligenz unter menschlichem Niveau würde die bedeutendste Erfindung der Menschheit darstellen. Künstliche Intelligenz über menschlichem Niveau würde einen Schritt bedeuten, der den der Evolution vom Affenmenschen zum Menschen übetrifft. Eine solche Entwicklung hätte enorme Auswirkungen. Ob die positiven oder negativen überwiegen würden, ist nicht absehbar.

Zu den Fragen, die wir uns stellen müssen, zählen unter anderem:

Wenn wir Menschen schon mit den heutigen technologischen Entwicklungen moralisch überfordert sind, weil der Verstand, die Moral, die Ethik mit dem Fortschritt nicht mithalten können: Können wir es dann verantworten, uns auf Entwicklungen von ungleich größerer Auswirkung einzulassen?

Wenn wir etwas schaffen, das intelligenter ist als wir selbst: Unterliegt es dann noch unserer Kontrolle? Wenn wir vorhersagen könnten, wie jemand handeln wird, der intelligenter ist als wir selbst, wären wir selbst so intelligent.

Was bleibt für den Menschen, wenn selbst das Denken automatisiert wird?

Wer bestimmt, zu welchem Zweck künstliche Intelligenz eingesetzt wird? Zu wessen Vorteil?

Demgegenüber stehen mögliche positive Effekte.

Wir Menschen haben nur eine sehr beschränkte Auslastungskapazität und etwas, das “besser denken kann” als wir, könnte die Wissenschaft viel schneller voran bringen. Es gibt nicht nur kein Mittel gegen Dinge wie den Tod – es gibt nicht einmal ein Mittel gegen Krankheiten wie Aids. Dass es ein solches aus physikalisch-biologischer Sicht nicht geben kann, ist praktisch ausgeschlossen. Was dafür verantwortlich ist, dass wir noch keines haben, ist mangelnde Intelligenz.

Es gibt gesellschaftliche, wirtschaftliche und viele andere Probleme, die für uns einfach nur eine Überforderung darstellen.

Es gibt die Umwelt, die zerstört werden wird, wenn wir nichts tun. Dazu ist neue, bessere Forschung nötig.

Es gibt keine schwierigen Aufgaben. Es gibt nur Aufgaben, die für ein bestimmtes Maß an Intelligenz schwierig sind. Bewegt man sich auf der Intelligenzskala ein kleines bisschen nach oben, so werden einige Aufgaben von “unmöglich” zu “offensichtlich”. Bewegt man sich ein großes Stück nach oben, so werden alle offensichtlich.

Der Fortschritt in sämtlichen Gebieten würde rascher ablaufen.

Dazu zählt insbesondere das Gebiet der künstlichen Intelligenz. Mehr Intelligenz führt zu noch mehr Intelligenz. Kann es Prozesse geben, die die Effektivität ihrer eigenen Bestandteile verbessern können — einschließlich derjenigen Bestandteile, die für die Verbesserung zuständig sind?

Exponentielle Kettenreaktionen sind Dinge, auf die man achten sollte. Die Vergangenheit eines Forschungsgebiets ist nicht immer ein guter Indikator dafür, was noch vor uns liegt. Die großen Entwicklungen der Menschheit verliefen sprunghaft, nicht graduell.

Grundlage dieses Artikels ist mein Vortrag bei der Studienstiftung des deutschen Volkes.
Einfluss hatten Alexandra Surdina sowie die Texte von Eliezer Yudkowsky, insbesondere Staring into the Singularity und A Technical Explanation of Technical Explanation.

The second really bizarre thing I’ve heard Kurzweil say was at his SIG at the recent Foresight Gathering, when I asked why AIs thinking at million-to-one speeds wouldn’t speed up the development of technology, and he said “Well, that’s another reason to expect Moore’s Law to remain on course.” (…) Kurzweil is not defending what we would regard as the Singularity; he is defending the idea of ordinary technological progress.’ Zum Posting bei SL4.