After reading Kuhn, visiting the ICP and talking to friends, one thing became clear to me: From an individual point of view, science is often slow, frustrating and not at all like childhood thoughts and popmedia depictions. This is a problem for two kinds of people: Those who started out as idealists but ended up cynical, seeing science as just a job, and those who are about to choose their path and who have second thoughts. I am in the latter camp and I feel like I have ample company. What’s one to do in this situation?

You know the situation. Someone is presenting his research, PowerPoint slides up, room slightly darkened, and what you understand best is what he communicates nonverbally: “I don’t care either. I know that the question my research answers is not the kind of question that keeps me from falling asleep at night, but hey, it’s not as if that’s what I’m living for.” — at the same time, he goes on talking about the effects of auditory priming on the calcium ion concentration in parvocellular neurons of the chimpanzee lateral geniculate nucleus. If you were thinking in words, your thoughts would be along these lines:

“I want to learn about the world, but this does not feel right. It’s not the fact that what’s presented is a minuscule piece of detail — I care about details. But the reason I care about details is because they are necessary to piece together the larger picture. I want to find answers to the big questions. To study, to travel, to get to know people and to exchange ideas sounds perfect, but then I see those who call themselves ’scientists’ and, most of the time, I don’t want to live their lives.”

“I don’t want to spend two years working on a project where the result is a 2% improvement of efficiency in some manufacturing procedure and a journal article. At the same time, I don’t want to deceive myself by pretending to tackle the big questions while all I’m engaged in is philosophical word games. I don’t want to solve puzzles for the sake of puzzle-solving. Enjoyment from puzzle-solving has never been my primary motivation for doing science. It may be part of my motivation, but a necessary condition for me to enjoy what I do is to feel that it is significant. I want to believe in choosing science, but reality always gets in the way.”

So, do you choose an academic career, hoping that things will be different for you, or that, by then, you have changed enough not to notice anymore?

“Academia” is a name for a set of standard solutions to standard problems. You don’t have to accept all of them, or any of them, to do science. It’s just the most convenient way. It appears to me that, if you don’t want to, you do not need to make any choices in life — there is always a most convenient way. Once you start out (and you did not have a say in that decision), there is a default answer to almost every question life poses, conditioned on how well you perform at certain tests and on what you state as your interests.

If ‘knowledge’ is high on your list of interests, here’s what to do: Finish high school, get a bachelor’s degree and don’t forget to take some jobs at your university (you want experience in teaching!), write your bachelor’s thesis about a topic that’s somewhat familiar to you (even if it’s not the thing you really want to do — after all, it’s only three months of your life) and get a bachelor’s degree. Next step, join a master’s program, internship included, during which you publish a few papers (research experience is crucial!). Your master’s thesis ends up using knowledge you already have from working on your bachelor’s thesis (because there is not enough time to start from scratch) and luckily you manage to suppress any thoughts about how your research is taking more and more directions that are not truly yours, for the sole reason that that’s what you’re an expert in. By the time you are working on your PhD thesis, you’re thinking that you are probably the only person that understands why one would spend years working on the problem you are trying to solve, and sometimes you are close to admitting that you do not understand it yourself, but rationalization goes a long way. By then, a significant portion of the possibility that once lay before you and that you didn’t appreciate at that time is already gone.

You can deviate from the most convenient way, of course, but only a small minority does. The sad thing about the whole situation is that there are people who want to do science but for whom the most convenient way is soul-crushing, while alternative choices are not an option (think money, acceptance, etc.). Therefore, they either don’t end up in science (despite their interest and motivation) or they do choose academia and suffer from the restrictions it imposes, fighting against the windmills of institutionalization that, like Dementors, suck out any sense of purpose until it’s just a job, fight over, next generation please.

(This is a gloomy way of seeing things, but to me it’s a real problem in search of a solution — not necessarily or primarily for personal reasons, but because, for some people, academia does not live up to its promise, the primacy of the pursuit of knowledge. I believe that it could and should, since they tend to be the kinds of people that would make good scientists.)

RepRap ist ein Do-It-Yourself 3D-Drucker, der unter anderem Teile für die Konstruktion von 3D-Druckern herstellen kann. So soll der Drucker Kopien seiner selbst herstellen, jede der Kopien wiederum Kopien und so soll es weitergehen. Der erste funktionierende derartige Drucker würde demnach den Beginn eines exponenziellen Vervielfältigungsprozesses darstellen.

Auf der Website des Projekts steht:

RepRap achieved self-replication at 14:00 hours UTC on 29 May 2008 at Bath University in the UK.

Das bedeutet: Der Drucker hat vor einer Woche das erste Mal aus Rohmaterialien alle Plastikteile hergestellt, die für den Bau eines solchen Druckers benötigt werden. Für die vollständige Replikation werden zusätzlich Platinen, Motoren, Temperatursensoren, Cat5-Kabel, ein Computer (der den Prozess steuert) und ein Mensch (der die Einzelteile zusammensetzt) benötigt. Das macht die Ankündigung weniger eindrucksvoll.

Allerdings ist es leicht, Projekte in der Anfangsphase als “wenig eindrucksvoll” abzutun und sich trotzdem nicht davon abhalten zu lassen, die tatsächlich folgende, beeindruckende Entwicklung später als “unvermeidbar” zu bezeichnen. Ich würde darauf wetten, dass die Entwicklung von sich selbst replizierenden Maschinen — Katastrophen und ähnlich disruptive Ereignisse bei Seite gelassen — unvermeidbar ist und beeindruckend sein wird. Ein Grund dagegen, alles auf RepRap-ähnliche Makroreplikatoren zu setzen, ist der, den Caledonian hier erklärt:

It’s fundamentally harder to make a large, self-replicating machine than a small one. Individual molecules have far fewer degrees of freedom than macroscale objects do – much greater precision is needed when crafting a gear, even a microscopic one, than a protein.

Selbstreplikation bringt Gefahren mit sich und ist auf Nanoebene möglicherweise nicht sinnvoll. Brauchen wir einen Preis für den ersten Selbstreplikator, der ohne menschliches Zutun und ohne ungewöhnliches Rohmaterial auskommt, oder ein Verbot desselben?

Irgendwo hier liegen die Grenzen des Mustererkennungsapparats in unserem Kopf. Das, was wir verstehen können, ist keine obere Schranke für die Komplexität unserer Welt. Aber ich wiederhole mich.

Wann wurdet ihr so gut darin, professionell und automatisch jeden Tag ein Stück vergangenes Leben zu produzieren? Kennt ihr euren Weg? Manchmal meine ich, meinen zu kennen, zumindest die Richtung. Dann höre ich Manuels Vortrag beim Poetry Slam, lese, was Aaron schreibt, und bin zurück beim Ausstrecken meiner Fühler und beim Vermeiden von Einschränkungen, auf dass mein zukünftiges Ich mir dankbar sei. Wirken Lebensläufe erst im Nachhinein so eindeutig — und so beliebig?

I just wrote my first letter in ten years and it felt strange. The blue liquid flowing out of my pen and onto the thin sheet of cellulose in front of me. The cell walls of a dead tree, now functioning as a kind of disposable monitor. The paper soaked with watery circles and lines, clearly one of the most wasteful ways to store one kilobyte of plain text. In a few minutes, on my way to the Christmas market, I will put this unlikely storage medium in a yellow box next to the sidewalk, knowing that tomorrow, someone will pick it up, drive it across Germany and bring it not to the addressee, but to yet another box where she will show up, sooner or later. This takes roughly 100.000 times as long as an e-mail.

E-mail is less awkward, but not by far. Part of me enjoys typing really fast, probably due to having seen too many hacker movies in my teenage years. The rest of me snickers at the idea of moving muscles and bones, pushing fingertips on black plastic, in order to transmit information from one system using electrical signals to another one. For each bit that makes its way from my head into my computer, I move a billion billion billion electrons when one would suffice.

Each intermediate step in the process of information transmission creates borders between us and makes our conversations less intimate. Bandwidth is growing, delays and barriers are going away (the final barrier being the conversion from semantics to syntax and back).

In 2007, writing a letter is like playing with mud and electricity because you are hungry and it can’t take that long until something akin to an apple tree evolves.
 
Like taking money out of your bank account and giving it away minutes later in exchange for the thing you really wanted even if you could have paid with your EC card, because you always did it this way.
 
Like taking pictures with your old analog camera and scanning them later on, because style is not defined in pixels per cm².
 
Like writing a letter, because the textual content was little more than an envelope, because what you actually said was “I care”, and because the most efficient way would have been the least effective.

What appears to be context may be information, what appears to be information may be context. The failure or refusal to accept the unspoken social contract that defines which is which is one of the main reasons why nerds are socially inept. Think small talk.

“Half of the meaningful things philosophy has said about artificial intelligence have already been said by Turing 50 years ago.” I do not remember who said this, and it is probably an overstatement, but it is not far from the truth. Even the AI textbook by Russell and Norvig claims that Turing’s paper Computing Machinery and Intelligence contains “virtually all objections [against the possibility of thinking machines] that have been raised in the half century since his paper appeared.”

Here are the slides for the presentation I held in Tuesday’s philosophy class, in the hope that they may be of some use, even if part of it is incomprehensible for anyone who did not read the paper or listen to the talk:

You probably heard of the idea that, at some point in time, we might create systems that solve certain tasks and that get better at these tasks by recursively modifying their code. Here is some scary reasoning:

1. A system cannot predict (=understand) a system of greater algorithmic complexity.
2. Therefore, the only way for a system to improve in a way that increases its algorithmic complexity is trial and error, thereby keeping the best results — i.e. evolution.
3. The only goal that is stable under evolution is rapid reproduction.
4. Therefore, the only stable goal for recursively self-improving systems is rapid reproduction.

I really hope that someone will point out the flaw in this line of thought or show me the reason why it does not apply to our world and to any self-modifying systems we might create.

Hier und jetzt ist der Anfang von allem, was nach uns kommt. Vielleicht werden Sonnensysteme und Galaxien einst unsere Heimat, vielleicht werden Milliarden Leben zu Trillionen, Quadrillionen oder zu einer ähnlich unvorstellbaren Zahl, so viel größer und bedeutender als alles, was jetzt ist, doch es geht nicht ohne uns. Unsere Generation hat sich Fragen und Entscheidungen zu stellen, für die es keine zweite Chance gibt. (Eine davon: Wie überleben wir die nächsten 30 Jahre, wenn fortgeschrittene Bio-, Nano- und Informationstechnologien Einzelpersonen und kleinen Gruppen enormen Einfluss geben?)

Wir Menschen unterscheiden uns nicht großartig in unseren Wünschen. Wir wollen Glück, Freude, Freiheit, Unabhängigkeit, Sicherheit, Wissen, Kreativität, Individualität, Sexualität, Freundschaft und Liebe (nun ja, Männer zumindest). Wir schätzen unser Leben, das unserer Freunde, unserer Familie und das unserer sechs Milliarden Mitmenschen. Trotzdem ziehen wir in verschiedene Richtungen, konkurrieren, intrigieren und machen generell den Eindruck, als ob wir es darauf anlegen, paradox zu handeln.

Wenn wir verstehen, welches Ausmaß die Zukunft hat, die auf dem Spiel steht, und wenn wir uns im Großen und Ganzen einig sind, was uns jetzt und für diese Zukunft wichtig ist, warum funktioniert es dann nicht besser^TM?

Warum leben wir nicht längst in Utopia, wenigstens asymptotisch?

Die Erklärung, die ich nicht glaube: Es geht nicht besser. Würde man jeden Menschen fragen, wie sehr diese Welt seinen Vorstellungen entspricht, und so zu einem Gesamtbild kommen, so gäbe es nichts, was dieses Bild dauerhaft besser machen könnte. Für diese Erklärung spricht die Anpassungsfähigkeit unseres Gehirns, die daran schuld ist, dass die meisten Änderungen unsere Gesamtzufriedenheit nicht dauerhaft verbessern. Glück ist die erste Ableitung positiver Veränderung. Aber, erstens: Lasst uns die offensichtlichen Unmenschlichkeiten dieser Welt beheben, dann können wir noch einmal darüber reden, ob es nicht besser geht. Zweitens: Manche Leute scheinen immer ein bisschen glücklicher zu sein als andere. Gene und Umwelteinflüsse legen die Biochemie unseres Gehirns fest und wir sind dabei, beides zu verstehen.

Die Erklärung, die ich gerne glauben würde: Die Probleme unserer Welt sind komplex. Wir sind auf dem Weg zu Lösungen, aber die erfordern ein gewisses Mindestmaß an Zeit und Technologie. Es wäre falsch, sich an neue Technologien zu klammern, weil diese beinahe immer zu polaren Zwecken eingesetzt werden können, aber ein Blick auf die Geschichte macht klar, dass neue Technologien Einfluss haben. Die Kombination aus omnipräsentem mobilem Web für die Massen und Suchmaschinen, die natürliche Sprache verstehen, könnte die Wissensverteilung weiter demokratisieren. Prognosemärkte (die von Google, Microsoft, HP und Intel bereits intern eingesetzt werden) könnten Teile der Politik rationaler gestalten, der Anfang der vollständigen Aufzeichnung der Menschheitsgeschichte alle kollektiven Entscheidungen.

Die Erklärung, die immer nur andere betrifft: Das sind alles egoistische Nichtsnutze, denen die Menschheit egal ist, so lange sie Familie, Job und ein halbwegs interessantes Leben haben. Unterstützt werden sie in ihrer Haltung von Wissenschaft und Wirtschaft, die Gedanken über den Lauf der Welt zugunsten kurzfristiger und handfester Resultate bestrafen. Andererseits werden gesellschaftliche Fragen gerne mal eben beim Mittagessen gelöst (wenn gerade keine Fußball-WM stattfindet) und mit zufriedenem “Tja, so müsste man’s machen” abgehakt. Zu Handlungen kommt es natürlich nicht, denn dafür bräuchte man Lösungen, die tatsächlich funktionieren, müsste herausfinden, wie man als einzelner zur Umsetzung beitragen kann, und müsste die Lösungen finden, von denen man selbst profitiert. Wozu die Menschheit retten, wenn es nicht entweder Geld, Sex oder Status bringt oder sowieso auf dem Weg zur Rettung des eigenen Lebens liegt?

Die Erklärung, die mich (und dich!) betrifft: Wir arbeiten auf Teilziele hin, die nicht direkt dem entsprechen, was wir wirklich wollen. Weil das fast jeder tut, weil verschiedene Teilziele oft gegensätzliche Aktionen erfordern und weil die Ziele selbst dann oft nicht erreicht werden, heben sich unsere Bemühungen mehr oder weniger auf. Unser Tun führt so zwar zu neuen Methoden und zu neuen Erkenntnissen über unsere Welt, die indirekt zur Realisierung unserer Wünsche beitragen können, ist aber ineffektiv und potentiell schädlich. In dem Moment, in dem wir uns einer Ideologie verschreiben, weil wir glauben, dass die Durchsetzung von deren Axiomen den Menschen das geben wird, was sie wirklich wollen, arbeiten wir an der Verbreitung der Ideologie und nicht mehr an den eigentlichen Problemen.

Glücklicherweise ist die Lösung einfach: Wir wählen in jedem Moment die Handlung, die für sich genommen am ehesten unseren Werten entspricht, anstatt uns auf eine Ideologie oder auf ein langfristiges Ziel festzulegen und darauf hinzuarbeiten.

Dummerweise funktioniert sie nicht in jedem Fall, insbesondere dann nicht, wenn wir existentielle Risiken — Katastrophen, die das Ende der Menschheit bedeuten können — in Betracht ziehen und uns der Fortbestand der Menschheit doch ein bisschen kümmert.

KI in zwei Sätzen: Die Annahme, dass wir in absehbarer Zeit auf einen relativ allgemeinen Mustererkennungsalgorithmus stoßen, der mit genügend Rechenpower die Mustererkennungs- und Vorhersagefähigkeiten des menschlichen Gehirns übertrifft, ist (für diese Art von Annahmen) weit verbreitet. Deutlich kontroverser ist die Idee, dass Algorithmen praktisch möglich sein könnten, die Veränderungen an sich selbst vornehmen, um so große Klassen von formalisierbaren Probleme bestmöglich zu lösen — unabhängig davon, wie anspruchsvoll diese Probleme sind, d.h. wie viel Intelligenz zu deren Lösung nötig ist.

Die formale Analyse der Approximierbarkeit theoretischer Modelle von Superintelligenz in unserer physikalischen Welt benötigt unsere Aufmerksamkeit, wenn wir wissen wollen, wo auf unserer Liste existentieller Risiken und Chancen maschinelles Lernen steht. Forschung auf dem Gebiet ist ein langfristiges Vorhaben, eines, das jahrelanges Lernen voraussetzt und das mit signifikanter Wahrscheinlichkeit fehlschlägt. Das ändert nichts daran, dass solche Forschung wirklich, wirklich wichtig ist.

Letzte Woche, bei Pasta und Pizza, hat Jürgen die Frage in die Runde geworfen, wie groß denn der Anteil unserer Zeit sei, den wir für das Jetzt leben, und wie groß der, den wir für die Zukunft leben. Zunächst allgemeine Übereinkunft, dass man seine Zeit wohl kaum so klar kategorisieren könne. Dann, von dem, dessen theoretische Grundlagenforschung auch in 100 Jahren noch relevant sein wird (mehr als jetzt): I don’t care about the future.

I do. Aber vielleicht macht das keinen Unterschied.

Of course, I have no idea what I am talking about. I am a first-year undergraduate, I have never been to any other conference, and when a fellow student from Germany asked me “What, then, are you doing here?”, I didn’t really mind. The AAAI conference is one of the most popular international AI conferences, certainly the most popular one in North America. This year it took place in Vancouver, Canada. What follows is a list of the tutorials, talks and technical sessions I attended, each with a one-line summary of what I learned.

Tutorials I attended

• General Game Playing is the task to write programs that learn to play arbitrary games solely by being given the rules of a game. Allow games with an infinite number of states and this is as close as you can get to working on AGI without being considered weird by the traditional AI community.
• Autonomous Bidding Agents: If you want people to bid their true values in an auction, use a sealed-bid second-price auction (similar to eBay’s system). The Trading Agent Competition is a useful testbed if you like game theory and view AI as a tool for automated trading and scheduling.
• Constraint-Based Local Search in Comet: If you want to solve constraint satisfaction problems (e.g. a Sudoku), don’t want to spend much time programming and like nice visualizations, use Comet.
• Practical Statisticial Relational AI: We may finally be able to unify logical inference, inductive logic programming, probabilistic inference, and statistical learning using Markov logic networks. Alchemy is supposed to fulfill Prolog’s promises (and it looks like it could).

Talks I heard

• Agents, Bodies, Constraints, Dynamics and Evolution: Robot soccer is a great challenge. We can’t completely avoid ethical choices (but please, don’t think ahead too far, let’s start with Asimov). Robot architectures need to provide an easy way to model constraints on the agent’s actions.
• Graph Identification and Alignment: Nice algorithms for entity resolution, link prediction, and collective classification exist that make it possible to extract useful information from noisy input data, e.g. social relations from a bunch of e-mails.
• AI in a Moore’s Law World: The Stories of Farecast and KnowItAll: The story of Farecast: You can make lots of money using data mining. The story of KnowItAll: It would be awesome if web search engines understood web pages and answered questions instead of just doing keyword searches, but we’re really not there yet and we need much more computing power for more sophisticated approaches.
• Representing and Reasoning about Preferences: You can force people to vote truthfully instead of opportunistically by making manipulation a NP-hard problem.
• Big “A”, Small “I”: Smart Ends from Simple Means: If you are designing a game, don’t compute things the player never gets to see, think about whether sophisticated planning really is better than just-the-next-step computation and remember that Matt Brown likes to do things in a very non-rocket-science kind of way.

Technical sessions

• Deriving a Large-Scale Taxonomy from Wikipedia: Wikipedia’s categories make for a useful network of concepts and, with a little effort, are just as good as the current largest taxonomies, WordNet and ResearchCyc.
• A New Algorithm for Generating Equilibria in Massive Zero-Sum Games: The range of skill in a game, i.e. how many different skill levels exist, is a reasonable measure of the complexity of a game. There is an iterative algorithm for computing approximate equilibrium strategies by fixing the opponent’s set of strategies but I don’t remember how it works.
• Reasoning Patterns of Agents: We can think of five basic reasoning patterns agents use in games — direct effect, influence for no reason, manipulation, signaling and revealing/denying — and these can be used to talk about actions in a more fine-grained way than just saying that an agent maximizes expected utility.
• On the prospects of building a Working Model of the Visual Cortex: More computing power is good and Jeff Hawkins approach may not be totally off, but we don’t want to mention his name.
• Modeling Crowd Behavior using Social Comparison Theory: People act similar to those who are like themselves but not too much like themselves. Simulate this and what you get is fairly convincing crowd behavior.
• Retaliate: Learning Winning Policies in First-Person Shooter Games: Really simple reinforcement learning produces good team strategies for Unreal Tournament’s domination mode.
• Analyzing Reading Behavior by Blog Mining: People who write comments on your blog tend to be regular readers. People who visit your blog are likely to visit similar blogs, too. If you don’t believe this, remember that we can still mention preferential attachment in our paper and thus have a few formulae that make the obvious much more convincing.

(Not quite) random remarks

• Man vs. Machine Poker Tournament: Poker players are lots of fun. This is the last year the human players won, but it is still not clear whether the bot that wins next year will be a boring equilibrium player or a learning bot that exploits its opponent’s weaknesses.
• The outside view of “traditional” AI research is right. I got the impression that most people are happy working on smallish problems. Let’s improve an existing optimization algorithm here and think about a new heuristic there, but don’t even mention general intelligence. That’s science fiction.
• And wrong. Whatever you do, be it natural language processing or robotics, the signs are there that quick hacks won’t get you anywhere near intelligent behavior, that the combination of faster hardware and new neuroscience provides an upper bound for the advent of silicon intelligence and that there are ethical and societal issues that need to be taken care of.
• Times change. On the way back from the conference, an uncle of mine who lives in Vancouver told me about his youth. Most of the time progress feels slow and boring. When you just return from a place where 200 people think about how to make the international network of computers reply to questions in an intelligent way and someone tells you about how he started out as a kind of millwright 50 years ago, that’s not the case.

Jupiter, Vesta, and the Milky Way (1, 2, 3)

Etwa 100 Milliarden Sonnen bilden unser Milchstraßensystem, eine der größeren Galaxien. In unserem Universum gibt es ungefähr 100 Milliarden Galaxien. Die Gesamtzahl der Sterne wird auf 10²¹ geschätzt. 1.000.000.000.000.000.000.000 Sonnen. Entweder wir sind die ersten oder nicht, das eine so bestechend wie das andere.