But what do you mean?
6 comments 
The problem with informal speculation is that it is easy to be unclear in your writing, and being unclear in your writing usually results from being unclear in your thinking.
Take, for example, my last post, where I was speculating about the properties of recursively improving systems. When I wrote that a system cannot predict a system of greater algorithmic complexity, I did not make clear whether I meant that not all systems of a certain greater complexity can be predicted (which is true) or that no system of a certain greater complexity can be predicted (which is false). For a system to improve recursively with respect to some goal in a way that increases its complexity, there is no need for it to be able to predict all systems of a certain greater complexity. Thus, the whole argument breaks down.
The problem with formal argumentation is that, even if you resort only to the most basic rules of logic, what you prove might not be what you intended to prove.
Take, for example, the paragraph above. The claim that some systems can learn to predict systems of higher algorithmic complexity can be proven formally. You define what you mean by “system”, “complexity” and “learn to predict” in mathematical terms, show an example of two systems, one with lower, one with higher algorithmic complexity, and how the former can learn to predict the latter. From now on, you are free to proclaim that there are simple systems that can learn to predict complex systems. Impressive!
Caveat: Do not mention that you were using the standard definition of “learning to predict” which says that a system learns to predict another system if, after a finite number of observations, the system knows all following outputs of the other system. And, please, stay quiet about the fact that the system that was predicted in your proof did not output anything but zeros after a finite time of complex behavior. Otherwise, people might think that what you have shown has little relation to what is usually meant when we talk about “learning to predict” behavior. And, more destroyingly, they would be right.
As soon as the context changes just a little, as soon your assumptions differ just a little, the value of a formal argument immediately becomes negative. Not only does such an argument say nothing about whether a conclusion is true or false, it will also let you sleep soundly, with the security that there is no need to further think about what you know — it is proven.
Informal arguments, on the other side, cannot provide security in the first place. The truth of informal arguments depends on what you mean by the words you use. Different people associate different meanings with different words, and what was once a discussion soon becomes a game for idle linguists — a fact that is painfully clear if you are doing philosophy. When rational people disagree, even after prolonged discussion, you can almost always trace it back to words being used in slightly different ways.
Your blurry, informal argument based on theorems used out of scope might well convince me. At that point, arguing has long stopped being our joint search for truth. Why bother?
Posts
The problem with formal argumentation is that, even if you resort only to the most basic rules of logic, what you prove might not be what you intended to prove.
Das Problem hast du in formeller Beweisführung nicht mehr und nicht weniger als in informeller Beweisführung. Im Raum steht die Frage nach der Bedeutsamkeit des Beweises selbst; ein Beweis dessen, dass eine Katze ohne Vorderpfoten nicht in der Lage ist, auf einen Baum zu klettern, ist nicht besonders sinnreich für Aussagen über das Wesen von Katzen, das Wesen von Bäumen und das Verhältnis beider Arten von Lebewesen zueiander.
Um eine Aussage zu treffen, die deiner etwas allgemeinen Aussage über “Systeme höherer Komplexität” aus dem obigen Text widerspricht, muss man diese nicht erst formal beweisen: Wenn jemand (der Ahnung davon hat) dir die Voraussetzungen des formalen Beweises nennt, den er für seine Argumentation vorbringen will, kann er den Beweis selbst an diesem Punkt vermutlich getrost weglassen.
Das Problem, das du ansprichst, entspringt vermutlich weniger Informalität von Beweisführung als der Verfälschung von Voraussetzungen durch mangelnde anfängliche Definition. Ungenauigkeit in Texten mag sich hier sogar als ein Vorteil erweisen, denn ansonsten müsste z.B. die Philosophie gänzlich auf einen Großteil ihrer Themen verzichten, da diese erst genaustens definiert werden müssten, was u.U. vielleicht gar nicht möglich ist, z.B. wenn es sich um Dinge handelt, die bislang überhaupt nicht existieren oder deren Existenz umstritten ist.
Bei informellen Argumentationen ist mir meist klar, worauf ich hinaus will, aber die Schritte dorthin sind es nicht. In dem Moment, in dem ich den Beweis formal aufschreibe, Begriffe bedeutungsmäßig klar abgrenze, verändert sich auch das, was ich beweise (abgesehen von Ausnahmefällen, in denen intuitive und syntaktisch implizierte Bedeutung genau übereinstimmen). Wie jeder anständige Blogger schreibe ich ausschließlich über persönliche Probleme, nie über universelle Wahrheiten ;).
Ich spreche zwei Probleme an: Bei informellen “Beweisen” das der schwammigen Argumentation, bei der von Anfang an nicht klar ist, was mit Worten gemeint ist, und, bei formellen Beweisen, das der zwar rigiden Argumentation aber späteren falschen Anwendung (egal ob durch den Beweisführenden oder, häufiger, durch andere). Ersteres entspringt der Informalität, letzteres der Verfälschung von Voraussetzungen.
Gleichzeitig besteht eine Aufgabe der Philosophie darin, herauszufinden, was wir mit Begriffen wie z.B. “Intention” oder “Bewusstsein” überhaupt meinen und diese so zu definieren, dass andere Wissenschaftszweige sinnvoll darüber reden können.
Would this help?
“The name “Lojban” is a combination of loj and ban, which are short forms of logji (logic) and bangu (language), respectively. Due to its name, Lojban is sometimes misunderstood to be within some exclusive domains such as formal logic or computer programming; however, it is perfectly usable for daily conversation. While it is meant to be capable of handling highly logical concepts, it is also highly flexible to an unparalleled degree. To whatever degree the speaker wishes, it can resemble its natural, programming, or other constructed counterparts, and it can be poetic, ambiguous, precise, or neutral.” (wikipedia on lojban)
I understand that using such a language as a tool for discussion might only, if at all, fight the symptoms and not the illness itself.
But then, I associate the ‘illness’ with HIV. Incurable. So what can we do but fight the symptoms?
Ist nicht die natürliche Sprache auch eine formale Sprache? Schließlich gibt es eine Grammatik der natürlichen Sprachen. Wo liegt also der Unterschied?
‘Kunstsprachen’, formale Sprachen müssen über natürliche Sprachen eingeführt werden. Wenn ich also z.B. das Zeichen => einführe, muss ich die Verwendung des Zeichens erklären. Ist mit ‘=>’ ein kausaler, ein notwendiger Schluss gemeint? Wie unterscheidet sich ‘A => B’ von P(A|B)?
Meiner Meinung nach bestimmt die Philosophie keine Definitionen, beinahe im Gegenteil. Definition heißt Festlegung, Formalisierung. Wenn man sich über Begriffe klar werden will geht man den umgekehrten Weg durch Auflösung, Relativierung, in Bezugsetzung.
Philosophen, insbesondere in Deutschland und Frankreich interessieren sich oft nicht für formale Argumente (analytische Philosophie) – ein großer Fehler. Andererseits begehen die Meister der formalen Argumente (Mathematiker) die größten Irrtümer wenn sie den Gültigkeitsbereich (Scope) ihrer Schlussfolgerung überschreiten. Gerade in der Künstlichen Intelligenz kann man das immer wieder beobachten.
Der größte Teil der analytischen Philosophie, ausgehend von Frege, Russell und Wittgenstein dreht sich um dieses Thema. Ich selbst beschäftige mich gerade mit der Grundlegung der Wahrscheinlichkeitsrechnung die parallel zur Grundlegung der Logik lief. So hat der Doktorvater von J. Schmidhuber, Hr. Prof. Wilfried Brauer sich intensiv mit G.Frege auseinandergesetzt. Frege war derjenige der die Aussagen- und Prädikatenlogik eingeführt hat und ist einer der wichtigsten und meist verkannten Gründer der modernen Mathematik.
Hi, this post appears to be a criticism of one of my papers, though you don’t mention me or the paper.
Let me respond to a few of your points:
“For a system to improve recursively with respect to some goal in a way that increases its complexity, there is no need for it to be able to predict all systems of a certain greater complexity. Thus, the whole argument breaks down.”
Sure, a system can improve by being able to predict more systems. However, the \dot{K} complexity of what it can predict is bounded by some constant. If the system’s changes to itself are provably able to increase its predictive power, the system cannot increase this bound. It’s stuck below it. Evolution is does not proceed by provably correct steps and thus does not have this constraint.
“Do not mention that you were using the standard definition of “learning to predict” which says that a system learns to predict another system if, after a finite number of observations, the system knows all following outputs of the other system.”
Huh? What do you mean “do not mention”. It’s plainly stated in the paper.
“And, please, stay quiet about the fact that the system that was predicted in your proof did not output anything but zeros after a finite time of complex behavior. Otherwise, people might think that what you have shown has little relation to what is usually meant when we talk about “learning to predict” behavior. And, more destroyingly, they would be right.”
The first example is plainly stated in the paper. READ THE PAPER. I have NOT hidden this. Futhermore, it does not apply to just 0 tail sequences. I also show that sequences with arbitrary high tail Kolmogorov complexity have the same thing, and note that it can be generalised to primitive recursive functions. Thus what you write above is simply not true.
If you don’t understand one of my papers, email me and I will explain it to you.
This post was not meant as a criticism of your paper, but of the sloppy reasoning I used here. As far as I intended to criticize other people at all, it would be those who used your paper to make broad claims that are not warranted by the actual results.
I certainly do not want to imply that you did not mention any of the things I pointed out as worth mentioning above. It was the fact that you did state your assumptions that made me notice how easy it is to take the ‘intuitive’ ideas behind the conclusions — and that those do not necessarily coincide with the meaning of the more formal statements.