You probably heard of the idea that, at some point in time, we might create systems that solve certain tasks and that get better at these tasks by recursively modifying their code. Here is some scary reasoning:

1. A system cannot predict (=understand) a system of greater algorithmic complexity.
2. Therefore, the only way for a system to improve in a way that increases its algorithmic complexity is trial and error, thereby keeping the best results — i.e. evolution.
3. The only goal that is stable under evolution is rapid reproduction.
4. Therefore, the only stable goal for recursively self-improving systems is rapid reproduction.

I really hope that someone will point out the flaw in this line of thought or show me the reason why it does not apply to our world and to any self-modifying systems we might create.

Hier und jetzt ist der Anfang von allem, was nach uns kommt. Vielleicht werden Sonnensysteme und Galaxien einst unsere Heimat, vielleicht werden Milliarden Leben zu Trillionen, Quadrillionen oder zu einer ähnlich unvorstellbaren Zahl, so viel größer und bedeutender als alles, was jetzt ist, doch es geht nicht ohne uns. Unsere Generation hat sich Fragen und Entscheidungen zu stellen, für die es keine zweite Chance gibt. (Eine davon: Wie überleben wir die nächsten 30 Jahre, wenn fortgeschrittene Bio-, Nano- und Informationstechnologien Einzelpersonen und kleinen Gruppen enormen Einfluss geben?)

Wir Menschen unterscheiden uns nicht großartig in unseren Wünschen. Wir wollen Glück, Freude, Freiheit, Unabhängigkeit, Sicherheit, Wissen, Kreativität, Individualität, Sexualität, Freundschaft und Liebe (nun ja, Männer zumindest). Wir schätzen unser Leben, das unserer Freunde, unserer Familie und das unserer sechs Milliarden Mitmenschen. Trotzdem ziehen wir in verschiedene Richtungen, konkurrieren, intrigieren und machen generell den Eindruck, als ob wir es darauf anlegen, paradox zu handeln.

Wenn wir verstehen, welches Ausmaß die Zukunft hat, die auf dem Spiel steht, und wenn wir uns im Großen und Ganzen einig sind, was uns jetzt und für diese Zukunft wichtig ist, warum funktioniert es dann nicht besser^TM?

Warum leben wir nicht längst in Utopia, wenigstens asymptotisch?

Die Erklärung, die ich nicht glaube: Es geht nicht besser. Würde man jeden Menschen fragen, wie sehr diese Welt seinen Vorstellungen entspricht, und so zu einem Gesamtbild kommen, so gäbe es nichts, was dieses Bild dauerhaft besser machen könnte. Für diese Erklärung spricht die Anpassungsfähigkeit unseres Gehirns, die daran schuld ist, dass die meisten Änderungen unsere Gesamtzufriedenheit nicht dauerhaft verbessern. Glück ist die erste Ableitung positiver Veränderung. Aber, erstens: Lasst uns die offensichtlichen Unmenschlichkeiten dieser Welt beheben, dann können wir noch einmal darüber reden, ob es nicht besser geht. Zweitens: Manche Leute scheinen immer ein bisschen glücklicher zu sein als andere. Gene und Umwelteinflüsse legen die Biochemie unseres Gehirns fest und wir sind dabei, beides zu verstehen.

Die Erklärung, die ich gerne glauben würde: Die Probleme unserer Welt sind komplex. Wir sind auf dem Weg zu Lösungen, aber die erfordern ein gewisses Mindestmaß an Zeit und Technologie. Es wäre falsch, sich an neue Technologien zu klammern, weil diese beinahe immer zu polaren Zwecken eingesetzt werden können, aber ein Blick auf die Geschichte macht klar, dass neue Technologien Einfluss haben. Die Kombination aus omnipräsentem mobilem Web für die Massen und Suchmaschinen, die natürliche Sprache verstehen, könnte die Wissensverteilung weiter demokratisieren. Prognosemärkte (die von Google, Microsoft, HP und Intel bereits intern eingesetzt werden) könnten Teile der Politik rationaler gestalten, der Anfang der vollständigen Aufzeichnung der Menschheitsgeschichte alle kollektiven Entscheidungen.

Die Erklärung, die immer nur andere betrifft: Das sind alles egoistische Nichtsnutze, denen die Menschheit egal ist, so lange sie Familie, Job und ein halbwegs interessantes Leben haben. Unterstützt werden sie in ihrer Haltung von Wissenschaft und Wirtschaft, die Gedanken über den Lauf der Welt zugunsten kurzfristiger und handfester Resultate bestrafen. Andererseits werden gesellschaftliche Fragen gerne mal eben beim Mittagessen gelöst (wenn gerade keine Fußball-WM stattfindet) und mit zufriedenem “Tja, so müsste man’s machen” abgehakt. Zu Handlungen kommt es natürlich nicht, denn dafür bräuchte man Lösungen, die tatsächlich funktionieren, müsste herausfinden, wie man als einzelner zur Umsetzung beitragen kann, und müsste die Lösungen finden, von denen man selbst profitiert. Wozu die Menschheit retten, wenn es nicht entweder Geld, Sex oder Status bringt oder sowieso auf dem Weg zur Rettung des eigenen Lebens liegt?

Die Erklärung, die mich (und dich!) betrifft: Wir arbeiten auf Teilziele hin, die nicht direkt dem entsprechen, was wir wirklich wollen. Weil das fast jeder tut, weil verschiedene Teilziele oft gegensätzliche Aktionen erfordern und weil die Ziele selbst dann oft nicht erreicht werden, heben sich unsere Bemühungen mehr oder weniger auf. Unser Tun führt so zwar zu neuen Methoden und zu neuen Erkenntnissen über unsere Welt, die indirekt zur Realisierung unserer Wünsche beitragen können, ist aber ineffektiv und potentiell schädlich. In dem Moment, in dem wir uns einer Ideologie verschreiben, weil wir glauben, dass die Durchsetzung von deren Axiomen den Menschen das geben wird, was sie wirklich wollen, arbeiten wir an der Verbreitung der Ideologie und nicht mehr an den eigentlichen Problemen.

Glücklicherweise ist die Lösung einfach: Wir wählen in jedem Moment die Handlung, die für sich genommen am ehesten unseren Werten entspricht, anstatt uns auf eine Ideologie oder auf ein langfristiges Ziel festzulegen und darauf hinzuarbeiten.

Dummerweise funktioniert sie nicht in jedem Fall, insbesondere dann nicht, wenn wir existentielle Risiken — Katastrophen, die das Ende der Menschheit bedeuten können — in Betracht ziehen und uns der Fortbestand der Menschheit doch ein bisschen kümmert.

KI in zwei Sätzen: Die Annahme, dass wir in absehbarer Zeit auf einen relativ allgemeinen Mustererkennungsalgorithmus stoßen, der mit genügend Rechenpower die Mustererkennungs- und Vorhersagefähigkeiten des menschlichen Gehirns übertrifft, ist (für diese Art von Annahmen) weit verbreitet. Deutlich kontroverser ist die Idee, dass Algorithmen praktisch möglich sein könnten, die Veränderungen an sich selbst vornehmen, um so große Klassen von formalisierbaren Probleme bestmöglich zu lösen — unabhängig davon, wie anspruchsvoll diese Probleme sind, d.h. wie viel Intelligenz zu deren Lösung nötig ist.

Die formale Analyse der Approximierbarkeit theoretischer Modelle von Superintelligenz in unserer physikalischen Welt benötigt unsere Aufmerksamkeit, wenn wir wissen wollen, wo auf unserer Liste existentieller Risiken und Chancen maschinelles Lernen steht. Forschung auf dem Gebiet ist ein langfristiges Vorhaben, eines, das jahrelanges Lernen voraussetzt und das mit signifikanter Wahrscheinlichkeit fehlschlägt. Das ändert nichts daran, dass solche Forschung wirklich, wirklich wichtig ist.

Letzte Woche, bei Pasta und Pizza, hat Jürgen die Frage in die Runde geworfen, wie groß denn der Anteil unserer Zeit sei, den wir für das Jetzt leben, und wie groß der, den wir für die Zukunft leben. Zunächst allgemeine Übereinkunft, dass man seine Zeit wohl kaum so klar kategorisieren könne. Dann, von dem, dessen theoretische Grundlagenforschung auch in 100 Jahren noch relevant sein wird (mehr als jetzt): I don’t care about the future.

I do. Aber vielleicht macht das keinen Unterschied.

Ich bin Determinist und jede Sekunde entscheide ich mich zwischen unzähligen Handlungen. Mit der Einsicht, dass Lazy Reason nicht alltagstauglich ist, bleibt nur nicht fassbare Freiheit.

The infinite possibilities each day holds should stagger the mind. The sheer number of experiences I could have is uncountable, breathtaking. And I’m sitting here refreshing my inbox. We live trapped in loops. reliving a few days over and over, and we envision only a handful of paths laid out ahead of us. We see the same things each day, we respond the same way, we think the same thoughts, each day a slight variation on the last, every moment smoothly following the gentle curves of societal norms. We act like if we just get through today, tomororrow our dreams will come back to us. — xkcd

In einer Welt, die ohne vorgegebenen Sinn einfach existiert, erfinden wir uns und das, was wir als sinnvoll ansehen, auf dem Weg in die Zukunft. Jegliche Gründe, Ziele und Zwecke jenseits der biologischen erschaffen wir selbst. Aus “Wie soll ich handeln?” wird “Wer will ich sein?” und “In welcher Welt will ich leben?”.

Mit jeder Handlung machen wir aus dem aktuellen Zustand unserer Welt einen anderen. Der Raum aller möglichen Zustände ist die Menge der Zustände, die keine physikalischen Gesetze verletzen. Denkbar ist eine astronomische Zahl, wünschenswert sind die wenigsten davon. Die Menge der Zustände, die bewusstes Leben enthalten, macht nur eine winzige Ecke im Raum aller möglichen Zustände aus. Unsere Welt ist ein Punkt irgendwo in dieser Ecke.

Manche Zustände unterscheiden sich stärker voneinander als andere. Der Zustand der Welt, in der die Tasse Tee neben mir zwei Zentimeter weiter links steht, liegt näher am aktuellen als der, in dem sich die Tasse in einen feuerspeienden Drachen verwandelt hat. Ein mögliches Maß für den Abstand von zwei Zuständen wäre eine Art Informationsdistanz: Die Länge oder Laufzeit des kürzesten Algorithmus, der aus einer vollständigen Beschreibung von Zustand A die entsprechende Beschreibung von Zustand B berechnet.

Indem ich mich für eine Handlung entscheide, wähle ich einen unserer Nachbarn im im Raum aller möglichen Zustände. Wie sieht die Teilmenge der Zustände aus, die vom jetzigen Zustand der Welt aus durch mein Handeln oder Nicht-Handeln erreicht werden können? Das bestimmt, welchen Einfluss ich mit meinen Entscheidungen als einzelner auf die Welt habe.

Die Frage, was festlegt, welche Zustände ich erreichen kann und welche nicht, führt unmittelbar zu der Frage danach, was unsere Position im Raum aller möglichen Zustände bis jetzt am stärksten verändert hat. Die Antwort definiert, was Optimierungsprozesse sind: Systeme, die den Zustand unserer Welt auf einen kleinen Zielraum mit bestimmten Eigenschaften hin bewegen.

• Evolution ist ein Optimierungsprozess, der Replikatoren — Bakterien, Tiere, Menschen und die Gene dahinter — durch Mutation, Rekombination und Selektion auf effektivere Vermehrung hin optimiert.
• Ein Schachcomputer ist ein Optimierungsprozess, der aus der Vielzahl möglicher Kombinationen von Schachzügen die auswählt, die die Position der Figuren auf einem Schachbrett so verändern, dass sich die Welt in einen Zielraum mit der Eigenschaft “Der Schachcomputer gewinnt.” bewegt.
• Menschliche Intelligenz ist ein mächtiger Optimierungsprozess, der für verschiedenste Ziele eingesetzt werden kann. Rationalität erreicht klar definierte Ziele, nonlineares Handeln die unbewussten.

Cognitive Science ist die Lehre von den Optimierungsprozessen. In Psychologie und Neurobiologie wird der effektivste bekannte Optimierungsprozess, das menschliche Gehirn, analysiert, in Mathe, Informatik, Statistik und Logik werden die methodische Grundlagen für den Bau von künstlichen Optimierungsprozessen unterrichtet.

Optimierung ist ein Vorhersageproblem. Jeder Maschine steht eine festgelegte Menge an Aktionen zur Verfügung. Um ein Ziel zu erreichen, muss die Maschine vorhersagen, welche Kombination aus Aktionen die Welt dem Zielzustand am nächsten bringt. Dass wir Menschen die Auswirkungen unserer Handlungen vorhersagen können, zeigt, dass Quanten- und Chaoseffekte bei Vorhersagen umgangen werden können, wenn man Abstriche bei der Genauigkeit der Prognosen macht.

Intelligenz ist die Fähigkeit, akkurate Vorhersagen zu treffen um Aktionsfolgen zu finden, die unsere Zukunft auf kleine, weit entfernte Regionen im Raum des Möglichen hinsteuern. Die Frage, ob künstliche Intelligenz möglich ist, lautet eigentlich: “Wie weit werden wir uns übertreffen? Wo liegen die Grenzen der Berechenbarkeit?”

Weil die Grenzen, denen wir unterliegen, universell sind, sehen wir sie nicht. Algorithmen, die Information optimal extrahieren, unterliegen keinen kognitiven Fehlern. Die unvoreingenommene Instrumentalisierung aller verfügbaren Mittel stellt einen enormen Machtzuwachs dar; als Menschen schaffen wir es oft nicht, funktionaler Fixiertheit zu entrinnen, sobald wir einmal gelernt haben, wozu etwas gut ist.

Im nächsten und letzten Schritt, der genauso unvermeidbar und unintuitiv ist wie die davor, schreiben wir Optimierungsprozesse, die den Teil ihrer selbst restrukturieren, der für das Optimieren zuständig ist. Algorithmen, die vorhersagen, welche Veränderungen es braucht, um bessere Vorhersagen zu treffen. Prozesse, die Welt auf Zielregionen hin bewegen, von denen wir nicht gedacht hätten, dass sie in unserer unmittelbaren Nachbarschaft liegen.

Wir wissen wenig über unsere Welt, und das, was wir wissen, ist so seltsam, dass wir es meistens ignorieren. Es gibt keine objektive Zeit; für manche Beobachter geschieht A vor B, für andere B vor A. Wir können nicht feststellen, ob wir in einer Simulation leben. Wir wissen nicht, ob bewusste Beobachter sterben können, und welche Rolle sie in der Physik überhaupt spielen. Wir können nur raten, warum in diesem Universum außer uns niemand zu sehen ist.

Wir wissen wenig über die Zukunft unserer Welt, und das, was uns die Vergangenheit verrät, ist so schwindelerregend, dass wir lieber Konstanz prognostizieren. Ich bin 21 Jahre alt — als ich geboren wurde, gab es kein World Wide Web. Den Großteil meiner Schulzeit über gab es dieses eine Projekt nicht, das es sich zur Aufgabe gemacht hat, jedem Menschen kostenlosen Zugang zum Wissen der Menschheit zu bieten. Als der Vater meiner Freundin geboren wurde, hatte Alan Turing noch nicht beschrieben, was Algorithmen sind. Vor nicht einmal einem Menschenleben gab es keine Computer. Ein halbes Menschenleben weiter und es gab keine Elektrizitätsversorgung. Zwei Menschenleben zuvor keine Dampfmaschinen. Drei Menschenleben weiter und wir sind im Mittelalter.

Eine Generation vor uns brauchte es tagelanges Recherchieren in Bibliotheken, um herauszufinden, ob die Menschheit die Antwort auf eine Frage hat. Heute genügen 10 Sekunden, um die Antwort auf fast jede Frage zu finden, die die Menschheit je beantwortet hat. Ein oder zwei Generationen nach uns genügen 10 Sekunden, um die Antwort auf fast jede Frage zu finden, die je beantwortet werden kann.

Wir verändern alles und merken es nicht. Blind vorwärts ging lange gut.

Der Film Abre los ojos (Open your eyes) ist sehenswert. Zwischen Psychothriller, Liebesfilm und Science Fiction liegend, erzählt er die Geschichte von César, der die Liebe seines Lebens findet und kurz darauf in einen Unfall verwickelt wird, der sein Gesicht völlig entstellt. Die Ärzte finden eine Möglichkeit, sein Gesicht zu retten. Vielleicht träumt er das auch nur. César lebt zwischen Traum, Wirklichkeit und Wahnsinn und weiß bald nicht mehr, was er glauben kann. Mehr als das sollte man nicht wissen, bevor man sich den Film ansieht. Abre los ojos ist kein schneller Film. Leicht transhumanistisch, besonders zum Ende hin.

Wenn es allgemeine Methoden gibt, um ausgehend von vergangenen Ereignissen Vorhersagen zu treffen, und wenn man Vorhersagemethoden nach ihrem Erfolg bewerten kann, so gibt es eine Methode für Vorhersagen, die besser ist als jede andere. Das Ergebnis von Vorhersagen nach dieser Methode stimmt im Durchschnitt besser mit der Realität überein als das jeder anderen Methode — egal, ob Naturkatastrophen, Bevölkerungszahlen oder Aktienwerte vorhergesagt werden.

Solomonoffs Theorie der universellen Induktion ist diese Methode. Man könnte das Problem der optimalen Vorhersage damit als gelöst betrachten — wäre Solomonoffs Theorie nur berechenbar. Ein Algorithmus, der unter beschränkten Ressourcen — wozu auch die algorithmische Komplexität zählen kann — Vorhersagen trifft, die beweisbar besser sind als die jedes anderen denkbaren Algorithmus, ist noch nicht gefunden. Das sollte das zentrale Anliegen des Gebietes der künstlichen Intelligenz sein.

Induktive Wissenschaften wie die Physik, die Chemie oder die Astronomie machen nichts anderes, als Daten zu sammeln und anhand der Daten elegante Theorien zu finden, mit denen sich die Zukunft möglichst exakt vorhersagen lässt.

Es ist sinnvoller, das Problem der Induktion direkt zu lösen.

Angenommen, das zunehmende Verständnis des Phänomens Intelligenz erlaubt es uns, einen Prozess zu erstellen, der eine gewisse Grundintelligenz besitzt und dem Ziele vorgegeben werden können. Wir geben diesem Prozess die Möglichkeit, seine eigene Leistungsfähigkeit durch Selbstmodifikationen zu verbessern und ein Ziel, das weit jenseits des mit menschlicher Intelligenz Erreichbaren liegt. Und warten. Und dann? Weiterlesen »

Das Gebiet der künstlichen Intelligenz ist bislang nicht weit über Schachcomputer und Suchmaschinen hinausgekommen. Es gibt Anzeichen dafür, dass wir in diesem Jahrhundert die Schwelle an Verständnis und verfügbarer Technik überschreiten werden, die es uns ermöglicht, das Phänomen Intelligenz technologisch nachzubilden. Ist allgemeine künstliche Intelligenz möglich? Wenn ja, auch wünschenswert? Weiterlesen »

Ray Kurzweils Buch The Singularity Is Near ist inzwischen schon beinahe Mainstream. Als Begleitlektüre empfehle ich deshalb Eliezer Yudkowskys How Kurzweil lost the Singularity aus dem Juni 2002. Ein Ausschnitt? Gerne: ‘Over the course of my personal interaction with Kurzweil, I’ve seen him say two really bizarre things. One was during the recent chat with Vinge, when Kurzweil predicted superhuman AI intelligence in 2029, followed shortly thereafter by the statement that the Singularity “would not begin to tear the fabric of human understanding until 2040″. Weiterlesen »

“It seems quite natural that at every point we pay most attention to the parameters that are just about to peak, as they represent the hottest current trends. When we look back in the excitement of the moment, the whole history of the world looks like a preparation to the explosion of this particular parameter. And we completely forget that yesterday we were looking at something else with the same excitement …” — Alexander Chislenko