KI-Pilotprojekt

Ein KI-Pilotprojekt prüft an einem echten, eng begrenzten Vorgang, ob eine KI-Anwendung im Alltag trägt. Es unterscheidet sich von einem Prototyp durch eine Bedingung: Ein Pilot läuft mit echten Daten und echten Nutzenden und endet mit einer Entscheidung über Ausbau oder Abbruch.

Wie schneidet man einen Piloten richtig zu?

Am Vorgang, nicht an der Abteilung. Nicht „KI im Kundenservice", sondern „eingehende Serviceanfragen den richtigen Kategorien zuordnen und mit der Kundenhistorie anreichern". Der Unterschied klingt klein und entscheidet über das Ergebnis, weil nur die zweite Formulierung messbar ist.

Vier Eigenschaften machen einen guten Kandidaten. Der Vorgang tritt häufig auf, sonst dauert die Messung zu lange. Er hat ein prüfbares Ergebnis. Der Schaden eines Einzelfehlers ist begrenzt. Und es gibt jemanden, der ihn heute erledigt und beurteilen kann, ob die Maschine es richtig macht.

Was einen schlechten Kandidaten ausmacht, ist ebenso klar: seltene Vorgänge, uneindeutige Erfolgsdefinition, hoher Schaden pro Fehler, und niemand mit Zeit für die Bewertung.

Was vor dem Start feststehen muss

Zwei Dinge, und beide werden regelmäßig übersprungen.

Die Erfolgsdefinition mit einer Zahl. Wie viele Fälle soll das System ohne Rückfrage richtig erledigen, und woran wird das gemessen. Ohne diese Zahl endet ein Pilot in einer Meinungsdiskussion.

Der Ausgangswert. Wie gut und wie schnell läuft der Vorgang heute. Wer ihn vorher nicht misst, kann hinterher keine Verbesserung belegen, und genau das ist die Grundlage für jede weitere Freigabe.

Dazu gehören die Randbedingungen: welche Daten das System sehen darf, wo ein Mensch entscheidet, und wie lange der Pilot läuft. Das sind dieselben Fragen, die die KI-Governance ohnehin stellt, hier auf einen konkreten Fall bezogen.

Warum Piloten scheitern

Die MIT-Studie „GenAI Divide" von 2025 kommt zu dem Ergebnis, dass rund 95 % der GenAI-Piloten keinen messbaren Ergebniseffekt zeigen. Die Gründe sind selten technischer Natur.

Am häufigsten fehlt die Anbindung. Ein System, das in einer Testumgebung arbeitet und im Alltag nicht an die echten Systeme kommt, ist nie ein Pilot gewesen, sondern eine Vorführung.

Der zweithäufigste Grund ist der Zuschnitt: zu breit gedacht, deshalb nirgends messbar. Und der dritte ist die fehlende Übergabe an Menschen, weshalb beim ersten Grenzfall der Vorgang liegen bleibt. Wie das vermieden wird, steht unter Human-in-the-Loop und im Beitrag KI, die in der Produktion überlebt.

Wie lange ein Pilot laufen sollte

Lang genug für eine belastbare Zahl, kurz genug für eine Entscheidung. In der Praxis sind das sechs bis zehn Wochen, und die Dauer richtet sich nach der Menge, nicht nach dem Kalender.

Brauchbar ist die Rechnung über die Fallzahl. Wenn ein Vorgang fünfzig Mal pro Woche auftritt, liegen nach vier Wochen zweihundert bewertete Fälle vor, und das trägt eine Entscheidung. Bei fünf Vorgängen pro Woche dauert dieselbe Aussage zehn Monate, was bedeutet: falscher Kandidat.

Zwei Fristen gehören von Anfang an festgelegt. Ein Zwischenstand nach etwa der Hälfte der Zeit, an dem nachgesteuert werden darf. Und ein Enddatum, an dem entschieden wird.

Das Enddatum ist der wichtigere Teil. Ein Pilot ohne Ende wird zum Dauerzustand, in dem ein System halb benutzt wird, niemand ihm traut und die Entscheidung nie fällt. Wer nach Ablauf keine Zahl vorlegen kann, hat damit ebenfalls ein Ergebnis: Der Vorgang war nicht messbar, und das ist eine Erkenntnis über den Zuschnitt.