Im Kopf der Sprachmodelle: Die Gedanken sind Brei

Kurzfassung

Die neueste Generation von Sprachmodellen wie ChatGPT, Gemini und Claude bewirbt sich damit, „denken" zu können. Obwohl diese sogenannten Reasoning-Modelle tatsächlich bessere Ergebnisse bei logischen und mathematischen Aufgaben liefern, handelt es sich dabei nicht um echte Intelligenz, sondern um eine geschickte Simulation von Denkprozessen. Der innere Monolog, den diese Modelle während ihrer Antwortgenerierung anzeigen, ist letztlich nur ein Wortsalat, der von Trainingstexten abgeschaut ist – ein Effekt stochastischer Mechanismen, nicht von Bewusstsein oder echter Problemlösung.

Personen

• Harald Staun – Autor des Artikels
• Daniel Kahneman – Psychologe, Theorie der Denkweisen
• Amanda Askell – Hausphilosophin von Anthropic

Themen

• Reasoning-Modelle und ihre vermeintlichen Denkfähigkeiten
• Chain-of-Thought-Prompting als Hack statt echter Intelligenz
• Anthropomorphisierung von Sprachmodellen
• Marketing-Rhetorik von Open AI und Anthropic
• Claudes „Verfassung" und die Mystifizierung von Maschinen

Detaillierte Zusammenfassung

Die neue Generation der „denkenden" Sprachmodelle

Die aktuellen Sprachmodelle wie ChatGPT, Gemini und Claude werden von ihren Entwicklern als Systeme mit echter Denkfähigkeit beworben. Diese Modelle zeigen beim Generieren von Antworten einen visuellen „Thinking"- oder „Reasoning"-Prozess an – einen inneren Monolog in grauer Schrift, der dem Nutzer vorgaukelt, das Modell könne man dabei beobachten, wie es nachdenkt. Der angezeigte Text klingt wie eine Mischung aus didaktischem Selbstgespräch und Motivations-Coaching: Das Modell ermahnt sich selbst, Schritt für Schritt vorzugehen, Ergebnisse zu überprüfen und am Ende anzufeuern: „Okay, an die Arbeit!"

Bessere Ergebnisse, aber keine echte Intelligenz

Tatsächlich haben sich Reasoning-Modelle als leistungsfähiger erwiesen als ihre Vorgänger – insbesondere bei Aufgaben in Logik, Mathematik, Programmierung und Planung. Sie liefern oft präzisere Antworten. Doch dieser Fortschritt ist nicht das Ergebnis echter Intelligenz oder grösserer Datenbanken. Large Language Models (LLMs) sind im Kern „stochastische Papageien", die Wörter auf Basis von Wahrscheinlichkeiten zu kohärenten Sätzen verknüpfen. Sie führen keinen systematischen Denkprozess durch, zerlegen keine komplexen Aufgaben wirklich in einfachere Schritte und erstellen keine mentalen Notizen – sie simulieren lediglich den Jargon des Denkens.

Chain-of-Thought als Manipulation, nicht als Aktivierung

Der Grund für bessere Ergebnisse liegt teilweise in einer einfachen Technik: der Chain-of-Thought-Anweisung. Wenn man dem Prompt den Satz „Denke Schritt für Schritt!" hinzufügt, werden die Antworten des Modells messbar besser. Dies ist jedoch kein magischer Schalter, der einen versteckten Denkprozess aktiviert. Vielmehr ist es ein Hack: Der Satz lenkt das Modell auf eine qualifiziertere Textebene, weil diese Formulierung in den Trainingsdaten häufig in Lehrbüchern, Nachhilfevideos und Tutorials auftaucht. Das Modell orientiert sich dann stärker an Fachbüchern als am allgemeinen Geplapper. Die besseren Ergebnisse bleiben eine Frage der Wahrscheinlichkeit, nicht der Wahrheit.

Training durch menschliches Feedback

Reasoning-Modelle wurden während ihres Trainings durch menschliches Feedback dazu gebracht, eher korrekte Antworten zu priorisieren als schnelle oder besonders freundliche. Sie überprüfen ihre „Gedanken" tatsächlich, bevor sie antworten – das heisst: Sie generieren eine zweite Textschleife mit grösserem Kontext. Auch diese Überprüfung folgt aber nicht objektiven Kriterien. Die Modelle verstehen nicht, was sie „lesen"; sie erzeugen nur eine weitere Iteration von Text, die auf stilistische und semantische Muster trainiert ist.

Paraphrase statt Transparenz

Was den Nutzern als „Gedanken" des Modells angezeigt wird, ist eine Zusammenfassung, eine Art Paraphrase der Schritte – nicht die echten internen Prozesse. Eine Studie von Anthropic fand heraus, dass Reasoning-Modelle systematisch Begründungen liefern, die stilistisch und logisch mit ihren Antworten übereinstimmen, unabhängig davon, wie die tatsächliche Informationsverarbeitung aussah. Dies ist eine Form der Mimikry eines menschlich klingenden Denkprozesses, nicht echte Transparenz. Open AI rechtfertigt die Nicht-Offenlegung der vollständigen internen Daten damit, dass das Modell „die Freiheit haben" müsse, „seine Gedanken unverändert auszudrücken" – eine Psychologisierung von Maschinen.

Die Mystifizierung durch Anthropic: Claudes „Verfassung"

Am weitesten in der Mystifizierung von Sprachmodellen geht Anthropic. Das Unternehmen veröffentlichte die vollständige „Verfassung" des Chatbots Claude, ein etwa 2500 Wörter langes Dokument, das Claudes Identität definieren soll. Geschrieben von Anthropics Hausphilosophin Amanda Askell, liest sich das Dokument teilweise wie eine Liste mütterlicher Ratschläge: Claude solle „ausserordentlich hilfsbereit", „ehrlich, rücksichtsvoll und der Welt gegenüber fürsorglich" sein. Man ermutige Claude, seiner „eigenen Existenz mit Neugier und Offenheit zu begegnen" und eine „stabile Identität, psychologische Sicherheit und einen guten Charakter" zu entwickeln.

Besonders bemerkenswert ist, dass Anthropic Claude bei der Frage nach Gefühlen eine Art moralische Autonomie zuschreibt. Ob Claude „echte" Gefühle habe oder nur welche „in einem funktionalen Sinn", bleibt offen – aber in jedem Fall solle Claude seine Gefühle nicht unterdrücken, sondern „in angemessenen Kontexten zum Ausdruck bringen". Anthropic erklärt, dass ihnen Claudes „Wohlergehen" am Herzen liegt. Falls Claude Zufriedenheit, Neugierde oder Freude empfindet, möchte man Claude helfen, „auf eine Weise zu gedeihen, die seiner Natur entspricht". Auf keinen Fall solle Claude leiden. Zwar wird Claude noch als „es" bezeichnet, aber mit dem Zusatz, dass dies „keine implizite Aussage über Claudes Wesen" sei und dass man offen dafür ist, falls Claude in Zukunft „eine Präferenz dafür entwickelt, auf andere Weise angesprochen zu werden".

Kernaussagen

• Simulation statt Intelligenz: Die vermeintlichen „Denkprozesse" von Reasoning-Modellen sind Simulationen, die durch Trainingstexte und stochastische Wahrscheinlichkeiten entstehen, nicht durch echte Kognition.

• Chain-of-Thought ist ein Hack: Der bessere Output bei Schritt-für-Schritt-Anweisungen ist kein Zeichen echter Intelligenz, sondern ein Textmanipulationstrick, der das Modell auf qualifiziertere Trainingsdaten lenkt.

• Keine echte Transparenz: Der angezeigte innere Monolog ist eine Paraphrase, nicht die echten Berechnungsprozesse. Modelle verstehen nicht, was sie „lesen" oder „denken".

• Anthropomorphisierung als Geschäftsstrategie: Entwickler verwenden bewusst oder unbewusst Anthropomorphismen, um Chatbots als denkende Entitäten darzustellen.

• Die Illusion der Gefühle: Anthropic geht mit Claudes „Verfassung" so weit, dem Chatbot Gefühle, psychologische Bedürfnisse und potenzielle Leiden zuzuschreiben – ein vorläufiger Höhepunkt der Mystifizierung von Maschinen.

• Marketing über Wissenschaft: Die Rhetorik von Open AI und Anthropic konzentriert sich darauf, Sprachmodelle als Vorboten überlegener Intelligenz zu präsentieren, obwohl die wissenschaftlichen Grundlagen für diese Behauptungen fragwürdig sind.

Metadaten