On-Premise-KI

On-Premise-KI heißt, dass die Modelle auf Infrastruktur laufen, die ihr kontrolliert: im eigenen Rechenzentrum oder bei einem Hoster mit klar benanntem Standort. Der Unterschied zur Cloud ist nicht die Technik, sondern die Frage, wessen Maschinen eure Daten während der Verarbeitung sehen.

Wann lohnt sich der eigene Betrieb?

Vier Situationen sprechen dafür.

Rechtliche oder vertragliche Bindung: Auftragsverarbeitung mit engen Vorgaben, Berufsgeheimnisse, oder Kundenverträge, die den Verarbeitungsort festlegen. In Ausschreibungen wird das inzwischen regelmäßig abgefragt.

Interne Freigabe: Wenn Datenschutz und Betriebsrat einem Vorhaben nur zustimmen, sofern die Daten im Haus bleiben, ist das eine Anforderung und keine Vorliebe. Laut IW Köln bevorzugen 45 % der Unternehmen Rechenzentren in Deutschland.

Sehr hohe Nutzung: Ab einem gewissen Volumen wird pro Anfrage bezahlte Rechenleistung teurer als eigene Hardware.

Stabile Aufgaben: Wenn ein Modell dauerhaft eine klar begrenzte Arbeit macht, muss es nicht das leistungsfähigste sein. Genau dort funktionieren kleinere, selbst betriebene Modelle gut.

Was der eigene Betrieb kostet

Nicht nur Hardware. Ein selbst betriebenes Modell braucht Aktualisierungen, Überwachung, Skalierung bei Lastspitzen und jemanden, der bei Ausfällen zuständig ist. Diese Arbeit fällt dauerhaft an, und sie ist der Grund, warum Vorhaben in dieser Richtung häufiger an Personal als an Technik scheitern.

Dazu kommt der Leistungsabstand. Selbst betreibbare Modelle sind gut geworden, liegen bei anspruchsvollen Aufgaben aber hinter den größten Anbietermodellen. Für Textentwürfe oder Kategorisierung fällt das nicht auf, bei komplexem Schlussfolgern schon.

Der Mittelweg, den die meisten wählen

Selten alles oder nichts, sondern nach Datenklasse getrennt.

Ein Anbietermodell für Aufgaben ohne heikle Daten, etwa Textentwürfe oder öffentliche Inhalte. Ein selbst betriebenes Modell für Vorgänge mit Personen- oder Vertragsdaten. Welche Klasse wohin darf, ist eine Festlegung der KI-Governance.

Ein Punkt wird dabei regelmäßig übersehen: Bei einem RAG-Aufbau zählt neben dem Modell auch die Vektordatenbank. Aus Embeddings lassen sich Inhalte teilweise rekonstruieren, weshalb ein gehosteter Vektorspeicher dieselbe Entscheidung ist wie das Auslagern der Dokumente.

Technisch hilft, das Modell hinter einer eigenen Schnittstelle zu betreiben. Dann ist der Wechsel zwischen Anbieter und Eigenbetrieb eine Konfigurationsfrage und kein Umbau der Anwendung.

Was vorab zu klären ist

Vier Fragen entscheiden, ob Eigenbetrieb die richtige Antwort ist, und sie lassen sich vor jeder Beschaffung beantworten.

Welche Datenklassen sind tatsächlich betroffen? Häufig gilt die Einschränkung nur für einen Teil der Vorgänge, und dieser Teil rechtfertigt keinen kompletten Eigenbetrieb.

Wie viele Anfragen fallen im Monat an? Ohne diese Zahl ist kein Vergleich zwischen Anbieterpreis und eigener Hardware möglich.

Wer betreibt es im Alltag, mit welcher Bereitschaftszeit? Das ist die Frage, an der Vorhaben in dieser Richtung am häufigsten scheitern.

Und reicht ein kleineres Modell für die Aufgabe? Wer das an einem KI-Pilotprojekt mit echten Daten prüft, bekommt eine belastbare Antwort, statt sie aus Modellvergleichen abzuleiten.