Kontextfenster

Das Kontextfenster ist die Menge an Text, die ein Sprachmodell bei einer Anfrage gleichzeitig verarbeiten kann. Alles gehört hinein: die Anweisung, mitgegebene Dokumente, der Gesprächsverlauf und die Antwort selbst. Ist das Fenster voll, fällt der älteste Teil heraus.

Wie wird das Kontextfenster gemessen?

Gemessen wird in Token, nicht in Wörtern. Ein Token ist ein Textbaustein, oft eine Silbe oder ein kurzes Wort. Für deutsche Texte gilt als Faustregel: etwa ein Token pro drei Zeichen. Zusammengesetzte Wörter, wie es sie im Deutschen reichlich gibt, zerfallen dabei in mehrere Token, weshalb derselbe Inhalt auf Deutsch mehr Fenster braucht als auf Englisch.

Große Fenster sind heute die Regel. Das verschiebt die Grenze, hebt sie aber nicht auf, und es verschiebt sie zu einem Preis: Jedes Token im Fenster wird bei jeder Anfrage mitbezahlt und mitverarbeitet.

Warum ist das Kontextfenster relevant?

Es entscheidet, wie groß eine Aufgabe sein darf. Ein Vertrag mit vierzig Seiten passt in ein großes Fenster, zweihundert Verträge nicht. Genau an dieser Stelle wird RAG notwendig: Statt alles mitzugeben, wird gesucht und nur das Passende eingesetzt.

Es bestimmt außerdem die Kosten. Ein System, das bei jeder Anfrage eine lange Anweisung und den gesamten Gesprächsverlauf mitschickt, zahlt diesen Text tausendfach. Was stabil bleibt, gehört deshalb eher ins Fine-Tuning als in jeden einzelnen Aufruf.

Und es beeinflusst die Qualität. Modelle nutzen ein Fenster nicht gleichmäßig: Was am Anfang und am Ende steht, wirkt stärker als das, was in der Mitte steht. Ein voll gefülltes Fenster ist deshalb kein Vorteil, sondern häufig der Grund, warum eine Anweisung ignoriert wird.

Was in der Praxis daraus folgt

Drei Regeln haben sich bewährt.

Wenig hineingeben, dafür das Richtige. Eine gute Suche schlägt ein großes Fenster fast immer, weil sie das Verhältnis von Signal zu Rauschen verbessert statt nur die Menge zu erhöhen.

Wichtiges an den Rand. Anweisungen und die eigentliche Frage gehören nach vorn oder nach hinten, nicht zwischen zwanzig Seiten Anhang.

Gesprächsverläufe aktiv kürzen. In einem agentischen Workflow mit vielen Schritten wächst der Verlauf sonst unbemerkt, bis Kosten steigen und die ursprüngliche Anweisung aus dem Fenster fällt.

Ein Beispiel zum Mitrechnen

Angenommen, ein Assistent soll Serviceanfragen beantworten. Die Anweisung ist ausführlich und umfasst rund 1.500 Token. Aus dem Dokumentenbestand kommen fünf Abschnitte mit je etwa 400 Token, also 2.000. Die Anfrage selbst ist kurz, sagen wir 100 Token. Die Antwort umfasst 300.

Damit liegt ein einzelner Aufruf bei etwa 3.900 Token, und davon sind 3.500 Eingabe, die bei jedem Aufruf erneut anfällt. Die eigentliche Frage macht weniger als drei Prozent aus.

Daran wird zweierlei sichtbar. Erstens liegt der Hebel bei der Anweisung und den mitgegebenen Abschnitten, nicht bei der Antwortlänge. Wer von fünf auf drei Abschnitte reduziert und dabei die Trefferqualität hält, spart ein Fünftel der Kosten ohne Qualitätsverlust.

Zweitens ist ein Gespräch mit zehn Rückfragen nicht zehnmal so teuer, sondern mehr, weil jeder vorherige Austausch mitgeschickt wird. Genau hier lohnt es sich, den Verlauf zusammenzufassen statt ihn vollständig anzuhängen.