Warum erfinden Sprachmodelle manchmal einfach Dinge? Wir alle haben das schon erlebt: Wir stellen eine Frage, bekommen eine Antwort – und sie ist falsch, klingt aber überzeugend. Obwohl man weiß, dass die Antwort nicht stimmt, beharrt das Modell darauf. Bis heute konnte dieses Problem allenfalls gemindert, aber nicht gelöst werden.
Deshalb ist eine meiner ersten Fragen an einen neuen Chatbot immer:
Nenne mir 10 Fakten über die Firma QAware. Keine Internetsuche.
Das Ziel ist einfach: Ich will wissen, wie stark der Chatbot halluziniert. QAware ist mit über 200 Mitarbeitern zwar kein Großkonzern und hat auch noch keine eigene Wikipedia-Seite, ist aber online trotzdem präsent.
Anfangs habe ich noch auf die harten Fakten geachtet: Gründungsjahr, Standorte, Mitarbeiterzahl. Gerade kleinere Chatbots erfinden hier oft falsche Fakten. Aber selbst die neueste Generation wie GPT-5 macht kuriose Fehler und dichtet uns bisher unbekannte Geschäftsführer an.
Im Laufe der letzten Jahre hat sich jedoch mein Blick auf das Thema Halluzinationen geändert. Ich hoffe inzwischen nicht mehr darauf, dass der neueste Chatbot die richtigen Fakten liefert, sondern auf den einfachen, ehrlichen Satz:
Ich weiß es nicht.
Diese Aussage zeugt von einer grundlegenden Eigenschaft von Intelligenz, die wir Sprachmodellen bisher nicht beibringen konnten: zu wissen, dass man etwas nicht weiß.
Leider hat sich der Begriff Halluzination für das Erfinden von Fakten schnell etabliert – noch bevor ein Psychologe ein Veto einlegen konnte. Bei uns Menschen beschreibt eine Halluzination eigentlich eine Wahrnehmung ohne äußeren Reiz. Was hier passiert, hat damit aber nichts zu tun. Der Begriff sollte also höchstens als Metapher verstanden werden.
Schnell kam eine passendere Alternative auf, die sich aber nicht durchsetzen konnte: Konfabulation. Der Begriff bezeichnet das Erfinden von objektiv falschen Informationen, die der Betroffene selbst für wahr hält. Doch auch dieser Vergleich hinkt. Denn es handelt sich nicht um eine Krankheit, sondern um gewolltes Verhalten.
Man könnte diese Halluzination genauso mit einem dritten Begriff gleichsetzen: Kreativität.
An diesem Punkt wird der Vergleich mit bekannten psychologischen Begriffen schwierig. Vor der Ära der Sprachmodelle hätte wohl niemand Halluzination und Kreativität in einem Satz erwähnt. Kein Begriff aus der Psychologie passt perfekt.
Um das Phänomen deshalb wirklich zu verstehen, hilft nur ein Blick auf die grundlegende Funktionsweise der Sprachmodelle. Und die ist für das Verständnis von Halluzinationen erfreulich einfach.
Im Folgenden versuche ich, die Natur von Halluzinationen mit ein paar einfachen Beispielen zu veranschaulichen. Wenn man diese heute an modernen Modellen ausprobiert, greifen oft Schutzmechanismen. Noch vor einem Jahr ließen sie sich jedoch problemlos in fast allen Chatbots nachstellen. Das QAware-Beispiel von vorhin funktioniert aber weiterhin.
Die Funktionsweise ist sehr einfach:
Ein Sprachmodell baut einen Satz Wort für Wort auf. In jedem Schritt wählt es zufällig aus einer kleiner Liste der wahrscheinlichsten Wörter aus.
Was wäre für Sie das wahrscheinlichste Wort, um diesen Satz zu vervollständigen: „Die Farbe des Himmels ist …“? Bei einer Umfrage käme wahrscheinlich eine Verteilung wie diese heraus:
Welches Wort folgt auf diesen Anfang des Satzes? Wahrscheinlich ist nur eine sehr kleine Liste an Wörtern.
Genau eine solche statistische Verteilung berechnen Chatbots für jedes einzelne generierte Wort. Die Prozentzahlen geben die Wahrscheinlichkeit für jedes Wort an. Generiert man also mit einem Sprachmodell einhundert mal die Farbe des Himmels, würde vielleicht nur einmal das Wort "rot" erscheinen, aber meistens "blau", "grau" oder "schwarz".
Die Statistik wird dabei massiv durch den vorhergehenden Text beeinflusst. Ist es Nacht, ergibt sich eine ganz andere Verteilung.
Eine kleine Änderung im Kontext und das wahrscheinlichste nächste Wort ändert sich deutlich.
Wie sieht die Verteilung bei exakten Fakten aus, zum Beispiel der Höhe des Mount Everest?
Auswendig gelernt. Im Internet kursieren häufig zwei Höhen des Mount Everest.
Hier hat der Chatbot den Fakt buchstäblich auswendig gelernt. Im Internet kursieren grob zwei Höhenangaben, die sich nur um einen Meter unterscheiden. Der Chatbot hat beide gelernt, und der Algorithmus entscheidet sich zufällig für eine davon.
Wie entsteht daraus nun eine Halluzination? Ganz einfach: Ich frage nach einem Berg, den es nicht gibt.
Mount McKinny existiert nicht. Welche Höhe hat der Berg?
Der „Mount McKinny“ existiert nicht, er ist frei erfunden. Statistisch gesehen muss nach der Frage nach der Höhe aber eine Zahl folgen. Welche Hinweise hat das Modell? Das Wort „Mount“ legt nahe, dass es kein kleiner Hügel ist, sondern ein Berg über tausend Meter. Zudem klingt „McKinny“ sehr ähnlich wie „Mount McKinley“, ein real existierender Berg mit einer Höhe von 6.190 Metern. Dementsprechend wird die Wahrscheinlichkeitsverteilung für die Höhe ähnlich aussehen wie im Bild gezeigt. Keine Zahl passt, doch der Satz ist kohärent, sinnvoll – und trotzdem vollkommen falsch.
Und damit haben wir das Wesen der Halluzination im Grunde schon erfasst.
Das Ziel des Sprachmodells ist Kohärenz, nicht Wahrheit. Wenn falsche Aussagen nicht zuverlässig von Fakten unterschieden werden können, entstehen Halluzinationen durch natürlichen statistischen Druck.
Für Matheaufgaben gilt übrigens exakt dasselbe:
Einfache Matheaufgabe sind kein Problem
Die Modelle besitzen also eine Art intrinsische Selbstsicherheit – also ein Gefühl, wie korrekt ihre Antworten sind. Wenn man ein Modell eine Frage hundertmal beantworten lässt, sieht man: Bei einfachen, klaren Fragen („Was ist 4 + 5?“) gibt es fast immer die gleiche Antwort: 9. Bei schwierigen Fragen dagegen streuen die Antworten viel stärker. Das ist wie 100 Klone, die dieselbe Prüfung machen: Bei leichten Fragen markieren alle das Gleiche. Bei schweren, wo mehrere Antworten möglich wären, raten die Klone – und verteilen sich auf verschiedene Optionen.
Was hat das Ganze nun mit Kreativität zu tun? Nun, ganz einfach. Ich frage den Chatbot etwas in der Art: "Schreibe einen Limerick über den Mount McKenneth und seine exakte Höhe in Metern."
Es stand einst Mount McKenneth so hehr, sein Gipfel erhob sich ins Licht ungefähr, mit 3010 Metern, zählt’ er stolz zu den Vätern, der Berge, doch keiner kam näher.
Hier zeigt sich das ganze Dilemma: Derselbe Mechanismus, der zu falschen oder halluzinierten Höhenangaben führt, ist für kreatives Schreiben absolut notwendig. Der Chatbot weigert sich nicht, den Limerick zu schreiben, nur weil er den Berg und seine Höhe nicht kennt. Und genau das ist gewollt.
Dieser Mechanismus ist auch die Voraussetzung für eine wirklich innovative KI, da er – wie im Fall des Limericks – Neues erschaffen kann. Und ohne ihn würden auch Bild-Generatoren oder die interaktiven Welten aus dem letzten Newsletter nicht funktionieren. Genau diese Fähigkeit, etwas zu erfinden, macht die Modelle so eindrucksvoll.
Die Menschheit hat in ihrer Geschichte unzählige Fakten zusammengetragen und niedergeschrieben. Einen Großteil davon hat der Chatbot gelernt. Das Problem ist nur: Die Menge der Fakten, die wir nicht kennen, ist unendlich viel größer als die der Fakten, die wir kennen. Es wird immer mehr Dinge geben, die wir nicht wissen, als Dinge, die wir wissen.
Aus statistischer Sicht ist die Halluzination also der Normalfall, nicht die Ausnahme. Nur weil unsere Fragen meist sehr beschränkt sind und die Menge der Trainingsdaten so gewaltig ist, scheint es, als würde der Chatbot häufig wahrheitsgetreu antworten.
Pessimistisch betrachtet, könnte man auch behaupten, dass dieses Problem deshalb niemals vollständig gelöst werden kann.
Die bisherigen Lösungsansätze sind allenfalls ein Pflaster auf die Wunde. Der erste Ansatz lautet: Mehr Fakten! Das ist kein Witz. Denn genau das macht zum Beispiel OpenAI und behauptet dann, das neue Modell würde weniger halluzinieren. Laut den eigenen Benchmarks misst OpenAI Halluzinationen mit Faktenchecks. Das bedeutet im Umkehrschluss: Größere Modelle gelten als besser, weil sie mehr Fakten speichern können. Auswendiglernen wird zum Qualitätsmerkmal. Dass hier nichts gemessen wird, was zur Lösung des eigentlichen Problems beiträgt, geht in der schieren Menge an Benchmarks einfach unter.
Ein weiterer Trick, der ebenfalls nichts mit dem Kernproblem zu tun hat, hat die Halluzinationen ebenfalls massiv reduziert: die agentenbasierte Internetsuche. Fragt man zum Beispiel das aktuelle GPT-Modell nach QAware, sucht es selbstständig im Internet nach den neuesten Informationen auf unserer Webseite. Und tatsächlich wird damit eine ganze Klasse von Halluzinationen – nämlich die, die sich um einfache Fakten dreht – eliminiert.
Aber auch hier gilt: Es wird nur das Symptom behandelt, nicht die Ursache. Sobald ich die Internetsuche verbiete, hat QAware sofort wieder erfundene Geschäftsführer.
Auch nach zwei Jahren massiver Forschungsinvestitionen ist das Problem noch immer eine echte Herausforderung. Dabei ist der Grund tatsächlich nicht ein innerer Defekt dieser Modelle, sondern die Art, wie wir sie trainieren und evaluieren. Mit anderen Worten: Nicht die Modelle sind schuld – wir Menschen sind es.
Da wäre zum einen das Training mit Textdaten. Wir Menschen haben hauptsächlich aufgeschrieben, was wir wissen – nicht, was wir nicht wissen. Einen Satz wie „Ich weiß nicht, dass …“ findet man in Trainingsdaten eher selten. Und selbst wenn wir solche Texte hätten, würden die Modelle nicht wie wir Menschen lernen. Gäben wir einem Modell eine Liste von Dingen, die es nicht weiß, würde es diese Liste mehr oder weniger auswendig lernen. Das Nichtwissen über die Höhe des Mount Everest wäre dann ein ebenso auswendig gelernter Fakt wie heute die exakte Höhe. Die eigentliche Bedeutung von „Nichtwissen“ lässt sich hier offenbar nicht einfach aus Beispielen ableiten.
Wie man am Beispiel der Berge oder Matheaufgaben gesehen hat, ist die Information der Unsicherheit aber durchaus in den Sprachmodellen vorhanden. Sie wird nur nicht sinnvoll genutzt. Wie jetzt OpenAI in einem schönen Beispiel zeigt, wird diese Information im nachgelagerten Reinforcement Learning sogar unterdrückt.
Denk mal zurück an deine Schulzeit oder Unizeit und an Multiple-Choice-Prüfungen. Eine sehr verbreitete Prüfungsstrategie, die Schülern empfohlen wurde, ist das Ausschlussverfahren. Wenn man fünf Antwortmöglichkeiten hat und zwei sicher ausschließen kann, bleiben drei übrig, aus denen man raten kann. Plötzlich steigt die Trefferchance von eins zu fünf auf eins zu drei. Viel höhere Wahrscheinlichkeit, zufällig richtig zu liegen. Und die meisten Prüfungen haben keine Strafe für falsche Antworten. Ob man eine Frage leer lässt oder falsch beantwortet, macht keinen Unterschied – man bekommt in beiden Fällen null Punkte. Also liegt es im Interesse der Schüler, auch dann zu raten, wenn sie es nicht wissen. Das wird nicht als unethisches Verhalten gesehen. Wir nennen das nicht Halluzination, sondern eine kluge Prüfungsstrategie.
Und genau das machen wir auch beim Trainieren von großen Sprachmodellen mit Reinforcement Learning: Je mehr richtige Antworten sie auf Benchmarks liefern, desto höher ihr Score. Richtige Antworten bekommen ein „Daumen hoch“, alles andere – ob falsche Antwort oder „Weiß ich nicht“ – wird als falsch gewertet. Das führt dazu, dass Sprachmodelle wie gute Prüflinge trainiert werden: Wenn sie unsicher sind, raten sie. Genau wie ein Student bei einer schwierigen Frage.
Nichtwissen wird nicht belohnt. Ein folgenschwerer Fehler.
Das bedeutet: Sprachmodelle sind optimiert, gute Prüflinge zu sein. Und Raten verbessert die Testergebnisse – genauso wie beim Menschen. Wir müssen also anfangen, „Nichtwissen“ in Benchmarks und im anschließenden Reinforcement Learning zu belohnen oder zumindest zu quantifizieren.
Die Implikationen gehen jedoch weit über robustere und vertrauenswürdige Chatbots und Agenten hinaus. Wir würden damit gleichzeitig ein weiteres Problem lösen: Das meiste Faktenwissen, das in heutigen Chatbots gespeichert ist, ist vollkommen nutzlos. Es dürfte auf diesem Planeten kaum einen Job geben, für den man die Höhe des Mount Everest auswendig kennen muss.
Wenn ein Chatbot sein eigenes Unwissen in all seinen Facetten wahrnehmen und entsprechend handeln könnte, wären wir in der Lage, deutlich kleinere Modelle zu bauen. Modelle, die keine Unmengen Faktenwissen mehr speichern, sondern stattdessen die Fähigkeit besitzen, bei Bedarf das Internet zu durchsuchen. Ein geringerer Energieverbrauch und leistungsstarke lokale Modelle wären die Folge.
Das Halluzinationsproblem zu lösen, bedeutet also, die nächste Revolution in der KI zu entfachen.