Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation, kurz RAG, verbindet ein Sprachmodell mit einer Suche in euren eigenen Dokumenten. Vor der Antwort werden passende Textstellen gesucht und dem Modell mitgegeben. Es antwortet also anhand dieser Treffer statt aus dem Gedächtnis seines Trainings.

Wie funktioniert RAG?

RAG läuft in zwei Phasen. Die erste passiert einmalig und im Hintergrund: Eure Dokumente werden in kleine Abschnitte zerlegt, jeder Abschnitt wird in ein Embedding umgerechnet, und diese Vektoren landen in einer Vektordatenbank.

Die zweite Phase passiert bei jeder Frage. Die Frage wird ebenfalls in ein Embedding umgerechnet, die Datenbank liefert die inhaltlich nächstliegenden Abschnitte, und diese Abschnitte gehen zusammen mit der Frage an das Modell. Der Auftrag lautet dann sinngemäß: Beantworte das anhand dieser Quellen.

Der Effekt ist doppelt. Das Modell kennt Inhalte, die es im Training nie gesehen hat, etwa euer Handbuch oder eure Preisliste. Und die Antwort lässt sich belegen, weil die verwendeten Abschnitte bekannt sind.

Warum ist RAG für Unternehmen relevant?

Die meisten nützlichen Antworten in einem Unternehmen stehen in Dokumenten, die kein öffentliches Modell kennt. Ohne Anbindung an diese Dokumente bleibt ein Sprachmodell ein allgemein gebildeter Gesprächspartner ohne Kenntnis eures Geschäfts.

RAG ist außerdem der Weg mit den geringsten Nebenwirkungen. Die Dokumente bleiben dort, wo sie sind. Wird ein Dokument geändert, ändert sich die Antwort beim nächsten Aufruf, ohne dass jemand ein Modell neu trainiert. Und weil die Quellen mitgeliefert werden, lässt sich eine Antwort nachvollziehen, was jede Halluzination leichter erkennbar macht.

RAG oder Fine-Tuning?

Die zwei Verfahren lösen verschiedene Probleme, werden aber oft gegeneinander gestellt.

RAG gibt dem Modell Wissen. Nimm es, wenn sich Inhalte ändern, wenn Quellen belegbar sein müssen oder wenn Zugriffsrechte gelten sollen.

Fine-Tuning gibt dem Modell Verhalten. Nimm es, wenn Format, Tonfall oder eine sehr spezielle Aufgabe konstant sitzen müssen.

Beides zusammen ist möglich und in der Praxis selten nötig. Ausführlicher steht das im Beitrag RAG oder Fine-Tuning.

Woran RAG in der Praxis scheitert

Fast immer an der Suche, nicht am Modell. Wenn die Abschnitte zu groß sind, geht die eigentliche Aussage im Rauschen unter. Wenn sie zu klein sind, fehlt der Zusammenhang. Tabellen und Formulare zerfallen beim Zerlegen gern in unbrauchbare Fragmente.

Der zweite häufige Fehler betrifft Rechte. Wenn die Suche alles findet, was im Ablagesystem liegt, beantwortet das System auch Fragen, die der fragende Mensch nicht stellen dürfte. Zugriffsrechte gehören in die Suche, nicht in den Prompt.

Der dritte betrifft veraltete Inhalte. Ein Bestand, in dem drei Fassungen derselben Preisliste liegen, produziert widersprüchliche Antworten, und das Modell hat keine Möglichkeit zu erkennen, welche gilt. Aufräumen im Bestand wirkt hier stärker als jede Änderung am Prompt.

Praktisch messbar wird das über die Suche allein, ohne Modell: Nimm dreißig echte Fragen, für die du die richtige Quelle kennst, und prüfe, wie oft der passende Abschnitt unter den Treffern landet. Wenn diese Zahl schlecht ist, wird auch die beste Antwortformulierung nicht helfen.