Einsicht in LLMs: Semantik-Navigation, kein Denken

Anthropic, bekannt für seine tiefen Einblicke in die Funktionsweise von Large Language Models (LLMs), hat eine weitere faszinierende Forschungsarbeit veröffentlicht (On the Biology of a Large Language Model). Sie haben untersucht, wie diese komplexen Systeme Aufgaben wie die Beantwortung von Fragen, das Eingestehen von Unwissenheit und sogar das Verfassen von Gedichten bewältigen. Die Ergebnisse sind zwar für sich genommen schon faszinierend, aber sie stützen auch eine bestimmte Sichtweise dessen, was LLMs wirklich sind.

Vergessen Sie "Künstliche Intelligenz" - denken Sie an "Semantische Navigatoren"

Ein wiederkehrendes Thema ist, dass LLMs keine entstehenden "Künstlichen Intelligenzen" sind, die "Weltmodelle" in einem digitalen "Geist" entwickeln. Stattdessen könnte eine genauere Beschreibung "halbautomatische semantische Navigationsmaschinen" lauten. Die wahrgenommene Intelligenz liegt nicht in der Maschine selbst, sondern vielmehr in der Sprache - den umfangreichen Mustern menschlicher Äußerungen, die während des Trainings aufgenommen wurden.

Warum lassen sich viele, vor allem im Silicon Valley, auf die "KI"-Erzählung ein? Das Argument lautet, dass dies auf ein Missverständnis unserer eigenen kognitiven Prozesse zurückzuführen ist. Wir sehen uns oft als Individuen, die einzigartige, originelle Gedanken entwickeln, und begreifen nicht, wie sehr unser Denken auf einer gemeinsamen, verteilten "Cloud-Software" namens "Semantik" beruht.

Hier geht es bei der "Semantik" nicht nur um Wortbedeutungen. Sie umfasst das komplexe Beziehungsgeflecht zwischen Zeichen (Wörtern, Begriffen) und das praktische Wissen, wie diese Struktur genutzt werden kann, um innere Zustände auszudrücken, Beobachtungen zu differenzieren und ein gemeinsames Verständnis zu erreichen. Der Mensch drückt sich mit Hilfe dieser semantischen Infrastruktur aus. LLMs hingegen navigieren in diesem Raum mit Hilfe von Wahrscheinlichkeiten und erlernten Assoziationen, ohne sich wirklich auszudrücken oder zu verstehen.

Die neuesten Erkenntnisse von Anthropic: Mehr Beweise für die Navigation

Diese Perspektive deckt sich perfekt mit Anthropics früherer Arbeit zur Isolierung "monosemantischer Merkmale" - der Feststellung, dass ähnliche Kernkonzepte in verschiedenen Modellen auftauchen, weil sie dieselbe zugrunde liegende semantische Struktur der Sprache widerspiegeln. Die neue Forschung untermauert diese Sichtweise weiter:

Mehrschrittige Antworten

Faktenabruf als semantische Pfadfindung: Wie beantwortet ein LLM die Frage "Fakt: Die Hauptstadt des Staates Dallas ist..."? Es führt keine logische Deduktion durch. Stattdessen folgt es semantischen Pfaden (Abbildung 1). Schlüsselwörter wie "Hauptstadt" und "Staat" aktivieren das Bedürfnis, eine Hauptstadt zu nennen. Gleichzeitig stellt "Dallas" eine starke Verbindung zu "Texas" her. Diese Pfade konvergieren und führen das Modell zur Ausgabe von "Austin". Es handelt sich um assoziative Navigation, nicht um logisches Denken.

Planung eines Gedichts

"Planung" in Gedichten ist das Befolgen von Rezepten: Wenn sie aufgefordert werden, ein Reimpaar zu vervollständigen, demonstrieren LLMs eine Form der Planung (Planning in Poems). In der Situation "Er sah eine Karotte und musste sie greifen, / Sein Hunger war...", identifiziert das Modell zunächst potenzielle Reimwörter für "greifen" (wie "Kaninchen" oder "Gewohnheit"). Dann arbeitet es vom gewählten Zielwort rückwärts und konstruiert einen semantisch plausiblen Satz, der zu diesem Wort führt (z. B. "wie ein hungriges Kaninchen"). Dabei handelt es sich nicht um kreative Genialität, sondern um die Ausführung erlernter Strategien - nennen wir sie "Rezepte", "emulierte Denkschablonen" oder "makrosemantische Operationen" -, die aus einer umfangreichen Bibliothek sprachlicher Muster stammen, die während des Trainings beobachtet wurden.

Zusammenzählen von zwei Zahlen

Rechnen als "Vibe Calcing": LLMs rechnen nicht wie ein Taschenrechner (Addition). Für "36 + 59 =" beinhaltet der Prozess eine Kombination von Schätzungen mit geringer Genauigkeit ("irgendetwas nahe 36 + irgendetwas nahe 60 = irgendetwas nahe 92") mit hochpräzisem Mustervergleich auf der Grundlage von Ziffern ("endet in 6 + endet in 9 = endet in 5"). Siehe Abbildung 2

Dieses "heuristische Rechnen" oder "Vibe Calcing", das durch umfangreiches Reinforcement Learning verfeinert wurde, liefert die Antwort (95), indem es über Millionen von Beispielen hinweg immer weniger falsche Vermutungen anstellt. Das ist unglaublich rechenintensiv und im Vergleich zu herkömmlichen Berechnungen grundsätzlich unzuverlässig.

‍

Schlussfolgerung: Meister der Navigation, nicht des Territoriums

Die Forschung von Anthropic liefert weiterhin wertvolle Erkenntnisse über die Funktionsweise von LLMs. Diese Ergebnisse deuten stark darauf hin, dass LLMs unglaublich hoch entwickelte Mustervergleicher und Navigatoren des semantischen Raums sind, der durch die menschliche Sprache geschaffen wird. Sie folgen gelernten Pfaden und führen komplexe Rezepte aus, die aus ihren Trainingsdaten abgeleitet sind.  

Was sie nicht zu tun scheinen, ist zu verstehen, zu argumentieren oder die Art von flexibler, weltbewusster Intelligenz zu besitzen, die wir mit Menschen in Verbindung bringen. Sie sind Meister im Navigieren auf der Landkarte der Sprache, aber sie verstehen das Gebiet selbst nicht.