Fine-Tuning hat einen guten Klang: Man nimmt ein fertiges Modell und trainiert es auf die eigene Firma – das muss doch besser sein als das Modell von der Stange. In der Praxis ist Fine-Tuning aber das Werkzeug für ein ziemlich spezielles Problem, und dieses Problem haben die wenigsten Betriebe als Erstes. Wer eine KI will, die die eigenen Preise, Verträge und Abläufe kennt, braucht in fast allen Fällen zuerst etwas anderes: RAG. Der Unterschied zwischen den beiden entscheidet über Budget, Wartungsaufwand und darüber, ob Antworten überprüfbar sind.

RAG: das Wissen bleibt außerhalb des Modells

RAG – Retrieval-Augmented Generation – verändert das Modell überhaupt nicht. Bei jeder Frage durchsucht das System zuerst Ihre Wissensbasis, holt die relevanten Textstellen und gibt sie dem Modell mit der Anweisung mit, nur daraus zu antworten. Das Wissen liegt außerhalb des Modells, in Dokumenten, die Sie ohnehin pflegen.

Fine-Tuning: das Modell selbst wird verändert

Fine-Tuning verändert das Modell selbst: Anhand vieler Beispielpaare aus Eingabe und gewünschter Ausgabe werden die Gewichte des Modells nachjustiert. Das Modell lernt dabei vor allem, wie es antworten soll – Ton, Format, Fachvokabular, Entscheidungsmuster. Was es dabei erstaunlich schlecht lernt, ist neues Faktenwissen zuverlässig abzuspeichern und wiederzugeben.

Der häufigste Denkfehler: Fine-Tuning als Wissensspeicher

Die Idee liegt nahe: Wir trainieren das Modell auf unsere tausend Dokumente, dann weiß es alles. Drei Gründe, warum das schiefgeht. Erstens speichert ein feinjustiertes Modell Fakten nicht verlässlich ab – es kann nach dem Training eine Mischung aus Ihren Inhalten und seinem alten Wissen ausgeben, und man sieht der Antwort nicht an, welcher Anteil woher stammt. Zweitens gibt es keine Quellenangabe: Das Wissen ist in Gewichten verschmolzen, nicht in Dokumenten nachschlagbar. Drittens veraltet es sofort – ändert sich eine Preisliste, müssten Sie neu trainieren, während RAG einfach das neue Dokument indexiert.

Für Antworten, die stimmen müssen und belegbar sein sollen, ist RAG deshalb nicht die Sparvariante, sondern das fachlich richtige Werkzeug. Das sagen wir auch dann, wenn ein Kunde eigentlich mit dem Wunsch nach Training zu uns kommt.

Wofür Fine-Tuning tatsächlich gut ist

Es gibt Aufgaben, bei denen Fine-Tuning genau richtig ist – nämlich überall dort, wo es um Form und Verhalten geht statt um abrufbares Wissen.

Ton und Stil: Angebote oder Support-Antworten, die konsequent nach Ihrem Haus klingen sollen, mit Ihren Formulierungen und Ihrer Anrede
Strukturierte Ausgaben: Das Modell soll zuverlässig ein bestimmtes Format liefern, etwa Positionen aus Anfragen in Ihre Feldstruktur überführen
Klassifikation nach Ihren Regeln: Tickets, E-Mails oder Dokumente so einordnen, wie Ihr Team es seit Jahren tut – gelernt aus Ihren historischen Entscheidungen
Kleinere Modelle stark machen: Ein feinjustiertes kleines Modell kann bei einer eng umrissenen Aufgabe ein großes ersetzen und spart damit laufende Kosten, gerade beim Self-Hosting

Was Fine-Tuning voraussetzt

Fine-Tuning braucht Trainingsdaten in Form von Beispielpaaren, und zwar guten. Ein paar Dutzend reichen selten; je nach Aufgabe reden wir eher über Hunderte bis Tausende saubere Beispiele. Die gute Nachricht: Viele Betriebe besitzen sie längst – Jahre an geschriebenen Angeboten, gelösten Tickets, kategorisierten E-Mails. Die weniger gute: Diese Daten müssen bereinigt werden, denn das Modell lernt auch die schlechten Gewohnheiten mit, die in alten Antworten stecken.

Dazu kommt die Pflege. Ein feinjustiertes Modell ist ein Artefakt mit Versionsstand: Ändern sich Ihre Prozesse oder wechselt das Basismodell, steht eine neue Trainingsrunde an, samt Tests. Das ist kein Drama, aber ein wiederkehrender Posten, den man vorher kennen sollte.

In der Praxis: erst RAG, dann vielleicht Fine-Tuning

Die meisten Systeme, die wir bauen, starten mit RAG und einem guten Basismodell plus sorgfältigen Anweisungen. Damit ist das Wissensproblem gelöst, Antworten tragen Quellenangaben, und Aktualisierungen kosten nichts weiter als das Neuindexieren geänderter Dokumente. Diese Reihenfolge ist kein Sonderweg: Laut der Befragung von 600 IT-Entscheidern durch Menlo Ventures (2024) setzten 51 Prozent der produktiven KI-Anwendungen in Unternehmen auf RAG, aber nur 9 Prozent der Produktionsmodelle waren feinjustiert. Erst wenn sich im Betrieb zeigt, dass Ton oder Format trotz guter Anweisungen nicht sitzen, kommt Fine-Tuning als zweite Stufe dazu – auf einer Datenbasis, die bis dahin schon aufgeräumt ist.

Die Kombination ist übrigens kein Widerspruch, sondern der Normalfall bei anspruchsvollen Systemen: RAG liefert die Fakten mit Beleg, das Fine-Tuning sorgt dafür, dass die Antwort klingt wie von Ihnen geschrieben.

Die Kurzfassung für Ihre Entscheidung

Wenn Ihre Frage lautet „die KI soll unsere Inhalte kennen und belegbar daraus antworten", ist RAG die Antwort – schneller umgesetzt, günstiger im Betrieb, jederzeit aktuell. Wenn Ihre Frage lautet „die KI soll sich in einer eng definierten Aufgabe exakt so verhalten wie wir", und Sie haben Hunderte gute Beispiele dafür, dann ist Fine-Tuning sein Geld wert. Wer unsicher ist, fährt mit der Reihenfolge RAG zuerst fast immer richtig: Sie sehen nach wenigen Wochen echte Ergebnisse und entscheiden dann auf dieser Grundlage, ob Training überhaupt noch nötig ist.

	RAG	Fine-Tuning
Löst	Wissensproblem: belegbare Antworten aus Ihren Inhalten	Verhaltensproblem: Ton, Format, Klassifikation
Quellenangaben	Ja, pro Antwort	Nein
Bei Änderungen	Geändertes Dokument neu indexieren	Neue Trainingsrunde samt Tests
Datenbedarf	Ihre bestehenden Dokumente	Hunderte bis Tausende saubere Beispielpaare
Typische Rolle	Erste Stufe, fast immer	Zweite Stufe, bei Bedarf