Embedding

Ein Embedding ist die Übersetzung eines Textes in eine lange Liste von Zahlen. Der Trick daran: Texte mit ähnlicher Bedeutung erhalten ähnliche Zahlenreihen. Damit lässt sich Bedeutung rechnen, und genau darauf baut jede semantische Suche auf.

Wie funktioniert ein Embedding?

Ein spezialisiertes Modell liest einen Text und gibt einen Vektor zurück, typischerweise einige hundert bis wenige tausend Zahlen. Dieser Vektor ist eine Position in einem Raum mit sehr vielen Dimensionen.

Entscheidend ist, wie diese Positionen verteilt sind. „Rechnung stornieren" und „Gutschrift ausstellen" landen dicht beieinander, obwohl sie kein Wort teilen. „Bank" im Sinne des Geldinstituts und „Bank" im Sinne der Sitzgelegenheit landen weit auseinander, obwohl das Wort dasselbe ist.

Die Ähnlichkeit zweier Texte ist dann eine Rechenoperation auf ihren Vektoren. Deshalb kann eine Vektordatenbank in Millionen Abschnitten die inhaltlich passenden finden, ohne ein einziges Stichwort zu vergleichen.

Warum sind Embeddings relevant?

Klassische Suche findet Wörter. Wer „Kündigungsfrist" tippt, findet Dokumente mit dem Wort „Kündigungsfrist" und verpasst das Dokument, das von „Beendigung des Vertragsverhältnisses" spricht. Genau diese Lücke schließt ein Embedding.

Für euch bedeutet das vor allem: Suche funktioniert auch dann, wenn Menschen die Fachbegriffe nicht kennen, die in euren Dokumenten stehen. Kundinnen und Kunden fragen in ihrer Sprache, das System findet trotzdem die richtige Stelle.

Embeddings sind außerdem die Grundlage von RAG und damit von fast jeder Anwendung, die ein Sprachmodell mit eigenen Inhalten verbindet. Auch Aufgaben wie Sortieren, Gruppieren oder Dublettenerkennung lassen sich damit lösen, ohne dass ein Sprachmodell überhaupt beteiligt ist.

Was bei Embeddings oft schiefgeht

Der häufigste Fehler ist das Mischen von Modellen. Vektoren aus zwei verschiedenen Embedding-Modellen sind nicht vergleichbar. Wer das Modell wechselt, muss den gesamten Bestand neu berechnen, sonst liefert die Suche stillschweigend Unsinn.

Der zweite Fehler betrifft die Zuschnittgröße. Ein Embedding beschreibt einen ganzen Abschnitt mit einem einzigen Vektor. Steckt in einem Abschnitt zu viel, verwischt die Bedeutung zu einem Durchschnitt, der zu keiner Frage mehr richtig passt.

Und drittens: Ein Embedding ist keine Verschlüsselung. Aus einem Vektor lässt sich der ursprüngliche Inhalt in Teilen rekonstruieren. Eine Vektordatenbank mit euren Dokumenten braucht denselben Schutz wie die Dokumente selbst.

Welches Modell passt

Drei Kriterien sind praktisch entscheidend, und keines davon ist die Position in einer Rangliste.

Sprache. Ein überwiegend auf Englisch trainiertes Modell erkennt deutsche Umschreibungen schlechter. Für deutschsprachige Dokumente gehört ein mehrsprachiges Modell in die Auswahl, und der Unterschied fällt bei Fachsprache stärker aus als bei Alltagstexten.

Fachlichkeit. Wenn euer Bestand aus Normen, Bauteilnummern oder juristischen Texten besteht, prüft die Auswahl an genau diesen Texten. Ein Modell, das Alltagssprache gut trennt, kann bei Artikelnummern versagen, weil sich diese kaum unterscheiden.

Betriebsort. Ein Embedding-Modell lässt sich in vielen Fällen selbst betreiben, auch ohne große Hardware. Das ist häufig der einfachste Weg, Dokumente aus einer externen Verarbeitung herauszuhalten, siehe On-Premise-KI.

Der Test dafür ist unaufwendig. Nimm dreißig echte Fragen, für die du die richtige Antwortstelle kennst, und prüfe, wie oft das Modell den passenden Abschnitt unter die ersten Treffer bringt. Diese Zahl entscheidet die Auswahl schneller als jeder Vergleich von Ranglisten.