RAG, Fine-Tuning oder einfach ein guter Prompt: was ein Mittelständler wirklich braucht

„Wir trainieren ein eigenes Modell für Sie“ ist der teuerste Satz, der in einem KI-Verkaufsgespräch fallen kann, und in den meisten Fällen löst er ein Problem, das ihr nicht habt.

Die drei Verfahren beheben drei verschiedene Mängel. Dieser Artikel sagt, welcher Mangel zu welchem Verfahren gehört, was jedes kostet und in welcher Reihenfolge man sie ausprobiert.

Die drei in je einem Satz

Prompting heißt, dem Modell in der Anfrage genau zu sagen, was es tun soll, in welchem Format und mit welchen Einschränkungen. Es ändert nichts am Modell und wirkt sofort.

RAG (Retrieval-Augmented Generation) heißt, vor der Antwort in euren eigenen Dokumenten zu suchen und die gefundenen Stellen mit in die Anfrage zu geben. Es ändert nichts am Modell und gibt ihm Wissen, das es nicht hatte.

Fine-Tuning heißt, die Gewichte des Modells mit euren Beispielen nachzujustieren. Es ändert das Modell und prägt Verhalten, Ton und Format.

Prompting sagt. RAG zeigt. Fine-Tuning prägt.

Wer Wissen mit Fine-Tuning einbringen will, benutzt das falsche Werkzeug, und das ist der häufigste Fehler in diesem Feld.

Welcher Mangel gehört zu welchem Verfahren

Der Mangel	Das Verfahren
„Es macht nicht, was wir wollen“	Prompt
„Es kennt unsere Produkte, Preise, Regeln nicht“	RAG
„Es weiß es, klingt aber falsch“	Fine-Tuning
„Es ist zu teuer pro Anfrage“	Fine-Tuning eines kleineren Modells
„Es erfindet Dinge“	RAG mit Quellenangabe, nicht Fine-Tuning

Die letzte Zeile ist die wichtigste. Fine-Tuning macht ein Modell nicht faktentreuer. Es macht es sicherer im Ton, in dem es Dinge behauptet, auch die falschen. Wer Halluzinationen mit Training bekämpfen will, verstärkt in der Regel das Problem, weil er das Modell überzeugter macht statt richtiger.

Gegen Erfindungen hilft, dass die Antwort auf einen Textbeleg zeigt, den man nachlesen kann. Das ist die Aufgabe von RAG.

Was jedes kostet

Prompting. Der Aufwand liegt bei Stunden bis wenigen Tagen. Laufende Kosten: keine über die normalen Modellkosten hinaus. Wer die Anfrage kürzt statt sie zu verlängern, spart sogar.

RAG. Umsetzung typischerweise im unteren Bereich der Spanne, die für einen produktiven Anwendungsfall im Mittelstand gilt: 20.000 bis 45.000 Euro, je nachdem, wie unordentlich die Dokumente sind. Und dort liegt auch der Aufwand: nicht in der Suche, sondern darin, dass eure Dokumente in vier Formaten, drei Ordnerstrukturen und zwei Wahrheitsständen vorliegen.

Fine-Tuning. Die Modellkosten für das Training selbst sind heute überraschend niedrig. Teuer ist, was davor liegt: Ihr braucht mehrere hundert bis mehrere tausend saubere Beispielpaare aus Eingabe und gewünschter Ausgabe. Die zu erzeugen ist Handarbeit von Fachleuten, und sie ist der eigentliche Preis.

Dazu kommt eine Position, die im Angebot nie steht.

Modelle werden nach zwölf bis achtzehn Monaten abgekündigt. Ein feinjustiertes Modell muss danach neu justiert werden.

Fine-Tuning ist deshalb keine einmalige Investition, sondern ein Abonnement auf Arbeit

Die Reihenfolge, die funktioniert

Erstens: den Prompt richtig machen. Das klingt nach Ausweichen und ist die Wahrheit. Ein präziser Prompt mit Rollenbeschreibung, Format, drei Beispielen und expliziten Verboten löst einen großen Teil dessen, wofür Training vorgeschlagen wird. Wer diesen Schritt überspringt, weiß nicht, welches Problem übrig bleibt.

Zweitens: RAG, wenn Wissen fehlt. Sobald die Antwort Fakten braucht, die nicht im Modell stehen: eure Preise, eure Prozesse, eure Verträge, ist RAG das Mittel, und es hat den Nebeneffekt, dass die Antwort auf eine Quelle zeigen kann. Für einen Wissensassistenten ist das keine Kür, sondern die Voraussetzung dafür, dass jemand ihm glaubt.

Drittens: Fine-Tuning, wenn Verhalten fehlt. Der legitime Fall: Das Modell weiß, was zu tun ist, trifft aber euren Ton nicht, hält das Format nicht ein oder braucht für eine enge, hochfrequente Aufgabe zu viele Token. Ein kleineres, feinjustiertes Modell kann dort ein großes ersetzen und die Kosten pro Anfrage um eine Größenordnung senken.

Diese Reihenfolge kostet in den ersten beiden Schritten fast nichts und beantwortet die Frage, ob der dritte überhaupt nötig ist. Übersprungen wird sie fast immer nur aus einem Grund: Der dritte Schritt lässt sich besser verkaufen.

Was RAG tatsächlich schwer macht

Weil RAG die häufigste richtige Antwort ist, lohnt der ehrliche Blick auf die Schwierigkeiten. Sie liegen nie beim Modell.

Die Dokumente widersprechen sich. Drei Preislisten, zwei davon veraltet, keine als veraltet markiert. Ein Suchsystem findet alle drei und antwortet mit einer davon. Ohne eine Entscheidung darüber, welches Dokument gilt, ist das System raten mit Fußnote.

Berechtigungen. Ein Assistent, der auf allen Dokumenten sucht, beantwortet Fragen mit Inhalten, die der Fragende nicht sehen dürfte. Das ist der häufigste Grund, warum ein funktionierender Wissensassistent nicht freigegeben wird, und er muss vor dem Bau geklärt sein, nicht danach.

Das Löschkonzept. Wenn ein Dokument gelöscht wird, muss es aus dem Suchindex verschwinden. Klingt selbstverständlich und ist in vielen Aufbauten nicht umgesetzt, mit der Folge, dass ein gelöschter Vertrag über die Suche weiterlebt. Bei personenbezogenen Daten ist das ein Löschanspruch, der ins Leere läuft.

Wann Fine-Tuning wirklich richtig ist

Damit es fair bleibt: Es gibt Fälle, in denen es die richtige Wahl ist.

Eine sehr enge Aufgabe mit sehr hohem Volumen, etwa das Klassifizieren von zehntausend E-Mails am Tag in acht Kategorien. Dort kann ein kleines feinjustiertes Modell ein großes ersetzen und die laufenden Kosten drastisch senken, bei besserer Genauigkeit als ein generischer Prompt.

Oder ein Ausgabeformat, das sich mit Anweisungen nicht zuverlässig erzwingen lässt, bei sehr strukturierten Ausgaben in Spezialformaten kommt das vor.

In beiden Fällen ist das gemeinsame Merkmal: eng, hochfrequent, stabil. Fehlt eines der drei, ist der Aufwand nicht zurückverdient, bevor das Modell abgelöst wird.

Häufig gestellte Fragen