Fine-Tuning

Beim Fine-Tuning wird ein bereits trainiertes Sprachmodell mit euren eigenen Beispielen weitertrainiert. Das Ziel ist nicht neues Wissen, sondern verlässliches Verhalten: eine Aufgabe in einem festen Format, in einem bestimmten Tonfall oder nach euren Konventionen gelöst.

Wie funktioniert Fine-Tuning?

Ihr liefert Beispielpaare aus Eingabe und gewünschter Ausgabe. Ein Trainingslauf passt die Gewichte des Modells so an, dass es diese Muster nachbildet. Heraus kommt eine eigene Variante des Modells, die ihr danach wie das Original ansprechen könnt.

Die Zahl der Beispiele ist kleiner als viele erwarten. Für eine klar umrissene Aufgabe reichen oft einige hundert gute Paare. Wichtiger als die Menge ist die Konsistenz: Widersprechen sich die Beispiele, lernt das Modell die Widersprüche mit.

Verbreitet sind heute sparsame Verfahren, bei denen nur ein kleiner Zusatz trainiert wird statt des ganzen Modells. Das ist günstiger, schneller und lässt sich wieder abschalten.

Wann lohnt sich Fine-Tuning?

Es lohnt sich, wenn ein Verhalten oft und gleich gebraucht wird. Ein Modell, das Serviceanfragen immer in dasselbe Ticketschema übersetzt, oder Produktbeschreibungen konsistent in eurer Sprache verfasst, wird durch Beispiele besser als durch immer längere Anweisungen.

Es lohnt sich auch, wenn ein sehr langer Prompt jedes Mal mitgeschickt wird. Was im Training steckt, muss nicht mehr im Kontextfenster transportiert werden. Das senkt Kosten und Antwortzeit.

Es lohnt sich nicht, wenn eigentlich Wissen fehlt. Fakten in ein Modell zu trainieren ist teuer, schlecht überprüfbar und veraltet mit dem nächsten Dokumentenstand. Dafür ist RAG der richtige Weg.

Was gegen Fine-Tuning spricht

Ein feinjustiertes Modell ist ein zusätzliches Bauteil mit eigenem Lebenszyklus. Es muss versioniert, geprüft und beim Wechsel auf ein neueres Basismodell wieder trainiert werden. Diese Arbeit fällt dauerhaft an.

Außerdem verschiebt Fine-Tuning die Fehler, statt sie zu beseitigen. Ein Modell, das gelernt hat, immer eine Antwort im richtigen Format zu liefern, liefert auch dann eine, wenn es die Sache nicht weiß. Eine Halluzination sieht nach dem Training ordentlicher aus als vorher, und ist damit schwerer zu erkennen.

Deshalb gilt die Reihenfolge: erst Prompt und Kontext ausschöpfen, dann RAG, und Fine-Tuning zuletzt. Ausführlicher steht das im Beitrag RAG oder Fine-Tuning.

Was ihr dafür braucht

Der Aufwand liegt fast vollständig in den Daten, nicht im Training selbst. Der Trainingslauf ist eine Frage von Stunden, die Vorbereitung eine von Wochen.

Gebraucht werden Beispielpaare aus echten Fällen, nicht aus erfundenen. Häufig liegen sie schon vor: bearbeitete Tickets, freigegebene Angebote, redigierte Texte. Der Wert dieser Sammlung liegt in der Sorgfalt, mit der sie durchgesehen wird.

Dazu gehört ein Testsatz, der nicht mittrainiert wird. Ohne zurückgehaltene Beispiele lässt sich nicht feststellen, ob das Modell gelernt hat oder nur die Trainingsdaten wiedergibt.

Und es braucht eine Entscheidung über Uneinheitlichkeit. Wenn drei Personen dieselbe Anfrage unterschiedlich beantwortet haben, muss vorher geklärt sein, welche Variante die richtige ist. Diese Klärung ist der eigentliche Nutzen der Vorbereitung, unabhängig davon, ob am Ende trainiert wird.

Praktisch heißt das: Wer die Beispiele nicht zusammenbekommt, sollte nicht trainieren. Ein Vorhaben, das an dieser Stelle stockt, hätte auch mit fertigem Modell keine prüfbare Erfolgsdefinition gehabt.