Halluzination

Eine Halluzination ist eine Antwort, die ein Sprachmodell erfindet und dabei genauso überzeugend formuliert wie eine richtige. Erfundene Paragraphen, nicht existierende Studien, plausible falsche Zahlen. Das ist kein Ausfall des Systems, sondern eine Eigenschaft davon.

Warum halluzinieren Sprachmodelle?

Ein Sprachmodell sagt vorher, welches Wort als nächstes am wahrscheinlichsten kommt. Es hat kein getrenntes Faktenlager, in dem es nachsehen könnte, und keinen Mechanismus, der zwischen „gelernt" und „gerade konstruiert" unterscheidet.

Deshalb ist eine erfundene Aktenzeichen-Nummer für das Modell dieselbe Art von Aufgabe wie eine richtige: Sie muss aussehen wie ein Aktenzeichen. Das erklärt, warum Halluzinationen sprachlich unauffällig sind: Gelernt ist die Form, nicht der Inhalt.

Zwei Umstände verschärfen das. Fragen zu Nischenthemen, bei denen im Training wenig belastbares Material lag. Und Fragen, die eine bestimmte Antwort erwarten, weil Modelle dazu neigen, der Erwartung zu folgen statt zu widersprechen.

Wie lässt sich das eingrenzen?

Ganz beseitigen lässt es sich nicht. Eingrenzen schon, und zwar an drei Stellen.

Quellen mitgeben: Wenn das Modell aus konkreten Dokumenten antwortet statt aus dem Gedächtnis, sinkt die Erfindungsrate deutlich. Das ist die Aufgabe von RAG. Wichtig ist, die Quelle in der Antwort auszuweisen, damit sie prüfbar bleibt.

Prüfbarkeit einbauen: Antworten, die ein Format haben, lassen sich maschinell nachrechnen. Eine genannte Rechnungsnummer kann gegen das System geprüft werden, ein zitierter Absatz gegen das Dokument. Was sich prüfen lässt, muss niemand glauben.

Zuständigkeit begrenzen: Ein System, das bei Unsicherheit abgibt, halluziniert weniger folgenreich. Das ist der Zweck von Human-in-the-Loop an den Stellen, an denen ein Fehler teuer wird.

Warum das Thema geschäftlich zählt

Halluzinationen sind der Hauptgrund, warum Prototypen im Demobetrieb überzeugen und im Alltag nicht. In der Vorführung stellt jemand Fragen, deren Antwort er kennt. Im Betrieb stellen Menschen Fragen, deren Antwort sie nicht kennen, und genau dann fällt eine erfundene Antwort niemandem auf.

Wer eine KI-Anwendung nach außen gibt, sollte deshalb vorher beantworten können, was passiert, wenn das System sich irrt: Wer merkt es, woran, und was kostet es. Diese Frage gehört in die KI-Governance und nicht in die Endabnahme.

Welche Fragen besonders anfällig sind

Vier Muster erzeugen überdurchschnittlich viele erfundene Antworten, und sie lassen sich in einem Test gezielt ansteuern.

Fragen nach Belegstellen: Aktenzeichen, Paragraphen, Studien, Seitenzahlen. Diese Angaben haben eine sehr regelmäßige Form, weshalb sie besonders leicht erfunden werden.

Fragen mit falscher Voraussetzung. Wer nach einer Funktion fragt, die es nicht gibt, bekommt häufig eine Beschreibung dieser Funktion statt eines Widerspruchs.

Fragen nach Zahlen und Terminen, die sich ändern: Preise, Fristen, Verfügbarkeiten. Was im Training stand, ist heute oft überholt, klingt aber unverändert bestimmt.

Und Fragen zu Randthemen, in denen im Training wenig belastbares Material lag.

Praktisch folgt daraus ein einfacher Test vor jeder Freigabe: Stellt dem System zwanzig Fragen aus diesen vier Mustern, davon einige mit absichtlich falscher Voraussetzung, und zählt, wie oft es widerspricht statt mitzugehen. Diese Zahl sagt mehr über die Betriebstauglichkeit als jede Vorführung mit gut gewählten Beispielen.