Agent Evaluation (Evals)

Agent Evaluation, meist zu Evals verkürzt, ist die Praxis, einen KI-Agenten an einem festen Satz von Testfällen zu messen, für die jeweils definiert ist, was ein richtiges Ergebnis wäre. Sie ersetzt „in der Demo sah es gut aus" durch eine Zahl, die sich über Versionen, über Modelle und über Wochen im Betrieb vergleichen lässt.

Warum ist das Testen eines Agenten anders als das Testen von Software?

Gewöhnliche Software wird mit einer Eingabe, einem erwarteten Ergebnis und einer Prüfung getestet. Ein Agent kann bei derselben Eingabe zweimal einen anderen Weg nehmen und anders formulieren. Der Test stellt deshalb eine andere Frage. Statt „ist das Ergebnis gleich X" fragt er „erfüllt das Ergebnis die Kriterien": richtige Kategorie, korrekte Summe, kein erfundenes Feld, Übergabe an einen Menschen dort, wo eine nötig war.

Weil ein einzelner Fall auch aus Glück bestehen kann, laufen Evals über viele Fälle und liefern eine Quote. Ein gutes Beispiel beweist nichts. Achtzig Fälle mit Abschlussquote, Übergabequote und einer Liste der Fehler sind ein Ergebnis, mit dem ihr arbeiten könnt.

Woraus besteht eine Eval-Suite?

Fälle. Echte Eingaben aus dem Vorgang, wo nötig anonymisiert, plus absichtlich unangenehme: fehlende Angaben, zwei Dokumente, die sich widersprechen, eine E-Mail, die dem Agenten eigene Anweisungen geben will (siehe Prompt Injection).

Erwartete Ergebnisse. Für deterministische Teile ein exakter Wert: Der CRM-Datensatz existiert, die Summe stimmt. Für Text eine Rubrik: vollständig, richtiger Ton, keine Aussage, die nicht in der Quelle steht.

Bewerter. Code, wo immer sich die Prüfung als Code schreiben lässt. Für Sprachqualität bewertet ein zweites Modell, und dieses Modell wird vorher an einer Stichprobe menschlicher Bewertungen kalibriert, bevor jemand seinen Zahlen vertraut.

Bericht. Pro Version des Agenten, pro Modell und pro Knoten, wenn der Agent als Agent-Graph gebaut ist. So lässt sich eine Verschlechterung verorten und nicht nur bemerken.

Warum ist das für eine Organisation mit Agenten relevant?

Evals zählen an drei Stellen.

Vor der Einführung. Das Go oder No-Go für ein KI-Pilotprojekt wird zu einer Zahl aus der Suite, gemessen an denselben Fällen, die im letzten Quartal ein Mensch bearbeitet hat, und nicht zu einem Eindruck aus einer Demo.

Bei Modellwechseln. Anbieter nehmen Modelle nach eigenem Zeitplan vom Markt und ersetzen sie. Mit einer Suite wisst ihr an einem Nachmittag, ob der Ersatz für euren Vorgang taugt. Ohne Suite sagen es euch eure Kunden über die folgenden Wochen.

Im Betrieb. Eine Stichprobe produktiver Fälle läuft jede Woche durch die Bewerter. Eine sinkende Quote ist das früheste Signal, dass sich vorgelagert etwas geändert hat: ein neues Dokumentlayout, ein umbenanntes Feld im CRM, ein Lieferant mit neuem Format.

Hier entsteht auch die Möglichkeit, Verantwortung zu übernehmen. Ein Agent, dessen Ergebnis gemessen wird, kann einen Verantwortlichen haben, weil die Zahl in einem Bericht steht und ein Wartungsvertrag sie benennen kann. Für einen Agenten, den niemand misst, kann niemand einstehen.

Beispiel: Evaluation eines Agenten für Angebotsvorbereitung

Der Agent liest eine eingehende Anfrage, schlägt Preise nach und entwirft ein Angebot. Die Suite enthält 120 historische Anfragen zusammen mit dem Angebot, das ein Mensch tatsächlich verschickt hat. Code-Bewerter prüfen, ob die Positionen übereinstimmen und die Summe innerhalb der Toleranz liegt. Ein Modell als Bewerter, kalibriert an 30 von Menschen bewerteten Beispielen, beurteilt Vollständigkeit und Ton.

Fünfzehn weitere Fälle sind gegnerisch. Eine Anfrage nach einem Produkt, das nicht in der Preisliste steht, muss in einer Übergabe enden und nicht in einer erfundenen Position. Eine Anfrage mit widersprüchlichen Mengen muss eine Rückfrage auslösen und keine Schätzung.

Der Bericht zeigt Abschlussquote, Übergabequote mit Gründen und Kosten pro Vorgang, je Version des Agenten. Erscheint ein neues Modell, läuft die Suite dagegen, bevor ein einziger Kunde das Ergebnis sieht.

Was Evals nicht sagen können

Evals decken die Fälle ab, an die ihr gedacht habt. Die Fälle, an die ihr nicht gedacht habt, kommen im Betrieb als Übergaben mit neuem Grund an, und jeder davon gehört in die Suite. Eine Suite, die drei Monate nicht gewachsen ist, hat aufgehört, von dem Vorgang zu lernen, den sie misst.

Evals ersetzen auch kein Human-in-the-Loop. Sie sagen, wie oft der Agent einen Menschen braucht. Sie heben den Bedarf nicht auf. Wie das in die weitere Ingenieursdisziplin passt, steht im Beitrag KI, die in der Produktion überlebt. Bei einem Managed Agent ist die Suite Teil der Lieferung und kein eigenes Projekt, siehe Agents.