Nutzen Sie Retrieval-Augmented Generation (RAG), wenn Ihr Modell private, aktuelle oder häufig wechselnde Dokumente benötigt. Nutzen Sie Fine-Tuning, wenn Sie einen konsistenten Ton, ein einheitliches Format oder bestimmtes Aufgabenverhalten brauchen und Prompt Engineering keine weiteren Fortschritte bringt. Die Methoden lösen unterschiedliche Probleme; Produktivsysteme kombinieren häufig RAG für externe Fakten mit Fine-Tuning für zuverlässiges Ausgabeverhalten.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Retrieval-Augmented Generation (RAG) stellt einem Modell zum Zeitpunkt der Anfrage externe Referenztexte bereit. Fine-Tuning aktualisiert dagegen die Gewichte eines Modells anhand eines gezielten Datensatzes, sodass sich sein erlerntes Verhalten ändert. In einem RAG-Ablauf holt ein Suchschritt relevante Passagen aus einem Index und ergänzt sie zur Nutzeranfrage. So kann das Modell seine Antwort auf aktuelle oder private Materialien stützen, statt sich allein auf die beim Vortraining erlernten Parameter zu verlassen. Eine vollständige Einführung in das Abrufverfahren finden Sie in unserem Leitfaden zu RAG.
Beim Fine-Tuning wird das Training eines Basismodells mit einem enger gefassten Datensatz fortgesetzt, sodass sich seine zugrunde liegenden Parameter verschieben. Teams nutzen häufig überwachtes Fine-Tuning (SFT), das mit Beispielprompts und den zugehörigen gewünschten Ausgaben trainiert, oder Präferenzmethoden wie DPO, die aus Vergleichen bevorzugter und weniger bevorzugter Antworten lernen. Dokumente in einem Prompt verändern den Eingabekontext für eine einzelne Anfrage; Fine-Tuning verändert dagegen das Verhalten des Modells bei künftigen Anfragen.
Von der Forschungsarbeit 2020 zu modernen RAG-Pipelines
Die ursprüngliche RAG-Architektur von 2020 trainierte einen neuronalen Retriever und einen Generator gemeinsam. Moderne RAG-Produktivsysteme indexieren dagegen typischerweise in Abschnitte zerlegte Dokumente und übergeben abgerufene Passagen in einem Prompt. Lewis et al. führten den Begriff in ihrer NeurIPS-Arbeit von 2020 (arXiv:2005.11401) ein. Sie verbanden vortrainiertes parametrisches Gedächtnis (einen BART-Sequence-to-Sequence-Generator) mit nichtparametrischem Gedächtnis (einem dichten Wikipedia-Vektorindex, der mit Dense Passage Retriever, kurz DPR, abgefragt wird).
Die Autoren entwickelten dieses hybride Design, weil rein parametrische Modelle Schwierigkeiten haben, Weltwissen präzise zu aktualisieren, die Herkunft verschleiern und halluzinieren. Um zu zeigen, dass ein Index Wissen ohne erneutes Training auffrischen kann, tauschten sie bei 82 Fragen zu Führungswechseln einen Wikipedia-Index vom Dezember 2016 gegen einen vom Dezember 2018 aus. Indizes mit passendem Jahr erreichten etwa 70% und 68% Genauigkeit, während nicht passende Indizes auf ungefähr 12% und 4% fielen. Das Ergebnis zeigt, dass die Aktualisierung eines Index Antworten aktualisiert; es bedeutet nicht, dass genau diese Werte auf jede Produktivumgebung übertragbar sind.
Heute trainieren Entwicklungsteams selten ein DPR-und-BART-Paar vollständig gemeinsam. Stattdessen folgen RAG-Pipelines im Produktivbetrieb, wie in AWS Prescriptive Guidance und Beiträgen von AWS Machine Learning beschrieben, meist drei Schritten:
- Einlesen und indexieren: Teilen Sie Quelldokumente in handhabbare Stücke, berechnen Sie Vektorrepräsentationen und speichern Sie die Vektoren zusammen mit Rohtext und Metadaten. Die sorgfältige Wahl der Grenzen ist wichtig, wie unsere Leitfäden zum Zerlegen von Dokumenten für RAG und zu Embeddings erläutern.
- Abrufen: Wandeln Sie die eingehende Nutzerfrage in eine Suchanfrage um, rufen Sie die Top-k-Passagen über semantische Ähnlichkeit, Schlüsselwortabgleich oder hybride Suche ab und ordnen Sie die Kandidaten optional neu.
- Anreichern und generieren: Fügen Sie die abgerufenen Passagen und die Nutzerfrage in einen Prompt ein, damit das Sprachmodell eine fundierte Antwort erzeugt.
Die technische Anleitung von AWS betont, dass die Qualität der Generierung von der Qualität des Abrufs abhängt: Ein RAG-System ist nur so gut wie sein Retriever.
Wann sollten Sie RAG statt Fine-Tuning einsetzen?
RAG ist meist der bessere erste Schritt, wenn eine Anwendung von privaten, aktuellen oder häufig aktualisierten Dokumenten abhängt, an die sich das Basismodell nicht zuverlässig erinnern kann. Produkt-Changelogs, interne Personalrichtlinien, Support-Tickets und technische Runbooks ändern sich ständig. Das Hinzufügen oder Ersetzen von Einträgen in einem Suchindex aktualisiert das verfügbare Wissen sofort; Fine-Tuning bringt Fakten dagegen langsam ein und kann das Modell kurz nach Trainingsende veralten lassen.
RAG unterstützt auch die Nachvollziehbarkeit der Herkunft, weil Entwickler und Endnutzer die genau für eine Antwort abgerufenen Passagen prüfen können. Laut der öffentlichen Anleitung von OpenAI zur Genauigkeit (geprüft am 18. November 2026) gibt RAG Modellen Zugang zu domänenspezifischem Kontext, und viele der größten Kundensysteme von OpenAI verlassen sich ausschließlich auf Prompt Engineering und RAG. Auch die Dokumentation zur Modelloptimierung von OpenAI hält Fine-Tuning für ungeeignet, um völlig neues Wissen hinzuzufügen, und empfiehlt stattdessen Retrieval. Zwar müssen Teams bei RAG weiterhin Abrufgenauigkeit und fundierte Antworten evaluieren, sie können aber aus vorhandenen Dateien eine erste funktionsfähige Version erstellen, ohne einen großen Trainingsdatensatz zusammenzustellen.
Wann ist Fine-Tuning der bessere nächste Schritt?
Fine-Tuning ist der richtige nächste Schritt, wenn ein Modell bereits die nötigen Fakten erhält, aber nach ausgeschöpftem Prompt Engineering einen geforderten Ton, ein Schema oder ein Verhaltensmuster nicht einhält. Wie die Anleitung von OpenAI ausführt (geprüft am 18. November 2026), adressiert Fine-Tuning Herausforderungen bei erlerntem Wissen und Konsistenz: Es kann bereits im Modell vorhandenes Wissen betonen, strukturierte Ausgabeformate durchsetzen, eine bestimmte Stimme übernehmen oder einem kleineren Modell eine eng umrissene Aufgabe zuverlässig beibringen. Teams nutzen Fine-Tuning auch, um Prompts zu verkürzen, indem sie lange Anweisungen und Few-Shot-Beispiele durch antrainiertes Verhalten ersetzen.
Starten Sie keinen Trainingslauf ohne repräsentative gelabelte Beispiele und einen zurückgehaltenen Evaluierungsdatensatz. Die Genauigkeitsdokumentation von OpenAI betont, dass die Qualität der Trainingsdaten wichtiger ist als ihre reine Menge. Sie nennt 50+ hochwertige Beispiele als üblichen Ausgangspunkt zum Testen und empfiehlt eine Erweiterung nur dann, wenn verbleibende Fehler auf Verhalten statt auf fehlenden Kontext zurückgehen. Betrachten Sie 50+ als anfänglichen Richtwert, nicht als Garantie.
RAG und Fine-Tuning lassen sich auch gut kombinieren. Zeigen Evaluierungen sowohl fehlenden Kontext als auch Abweichungen beim Format, können Teams ein Modell mit RAG-formatierten Trainingsbeispielen feinabstimmen. So lernt es, abgerufene Passagen zuverlässig zu lesen und zu zitieren, statt abgerufenen Kontext ohne Beispiele zu verarbeiten. Beachten Sie: Fine-Tuning als Technik wird bei Open-Weight-Modellen und mehreren Anbietern weiterhin eingesetzt, doch einzelne Anbieterangebote ändern sich. Stand 18. November 2026 erklärt OpenAI, dass seine Fine-Tuning-Plattform eingestellt wird und für neue Nutzer geschlossen ist. Berechtigte Bestandskunden können bis zum 6. Januar 2027 Trainingsläufe durchführen (sofern ein Basismodell nicht früher eingestellt wird); trainierte Modelle bleiben bis zur Einstellung des Basismodells für die Inferenz verfügbar.
Welche Rolle spielen Prompt Engineering und LoRA?
Prompt Engineering dient als schnellste Ausgangsbasis vor dem Aufbau eines Abrufindex oder einer Trainingspipeline. Low-Rank Adaptation (LoRA) macht Fine-Tuning leichter, indem kleine Adaptermatrizen statt aller Modellgewichte trainiert werden.
Prompt Engineering steht an erster Stelle
Prompt Engineering kombiniert klare Anweisungen, Ausgabevorgaben und Few-Shot-Beispiele innerhalb jeder Anfrage. Da weder Suchindex noch Trainingsschleife nötig sind, sollte jedes Team zunächst Prompt Engineering ausschöpfen, um eine Leistungsbasis festzulegen. Mit wachsenden Arbeitsabläufen zeigen sich Grenzen: Prompts sind durch das Kontextfenster begrenzt, lange Few-Shot-Anweisungen erhöhen Latenz und Token-Aufwand, und Prompting allein kann keinen privaten Korpus durchsuchen. Wenn fehlende Dokumente Fehler verursachen, ergänzen Sie Retrieval; stagniert die Ausgabekonsistenz, ziehen Sie Fine-Tuning in Betracht.
LoRA und parametereffizientes Fine-Tuning
Fine-Tuning erfordert weder die Aktualisierung jedes Parameters eines großen Modells noch die Bereitstellung eines völlig separaten Checkpoints in voller Größe für jeden Anwendungsfall. LoRA wurde von Hu et al. eingeführt (ICLR 2022; arXiv:2106.09685), friert die vortrainierten Modellgewichte ein und fügt kleine, trainierbare Matrizen mit niedrigrangiger Zerlegung in ausgewählte Schichten ein, etwa in die Attention-Gewichte eines Transformers. Da beim Training nur diese kompakten Adapter aktualisiert werden, passen Teams Modelle mit weit weniger trainierbaren Parametern an. Bei der Inferenz können LoRA-Adapter wieder mit den Basisgewichten zusammengeführt werden, ohne zusätzliche Latenz gegenüber dem ursprünglichen Modell, oder dynamisch je nach Aufgabe ausgetauscht werden.
Ein praktischer Entscheidungsrahmen für Teams
Die Wahl zwischen RAG und Fine-Tuning gelingt am besten als Folge technischer Prüfungen zu Datenaktualität, Verhaltensanforderungen, Evaluierungsbereitschaft und Betriebsaufwand. Gehen Sie diese sechs Fragen durch, bevor Sie Entwicklungszeit investieren:
- Ist das benötigte Wissen privat, neu oder häufigen Änderungen unterworfen? Beginnen Sie mit RAG, damit Sie Wissen durch Aktualisieren des Index erneuern können.
- Müssen Sie Ton, Schema oder Aufgabenkonsistenz anpassen? Beginnen Sie mit Prompt Engineering und erwägen Sie Fine-Tuning erst, wenn Prompts stagnieren.
- Haben Sie gelabelte Beispiele und eine Evaluierungsmöglichkeit? Fine-Tuning benötigt repräsentative Eingabe-Ausgabe-Paare und einen zurückgehaltenen Evaluierungsdatensatz vor Trainingsbeginn.
- Welcher Betriebszyklus passt zu Ihrem Team? RAG bringt Dokumenteneinlesung, Chunking, Berechtigungen und Abrufoptimierung mit sich; Fine-Tuning erfordert Datensatzpflege, Trainingsläufe und erneute Evaluierung bei jeder Aktualisierung des Basismodells.
- Beeinträchtigen lange Prompts die Effizienz bei einer stabilen Aufgabe? Fine-Tuning kann wiederholte Anweisungen in Modellgewichten verankern, um Prompts zu verkürzen oder ein kleineres Modell zu unterstützen.
- Treten beide Probleme in Evaluierungen auf? Kombinieren Sie Prompt Engineering, RAG für dynamische Fakten und Fine-Tuning mit RAG-artigen Beispielen für zuverlässiges Verhalten.
| Situation | Üblicher Ausgangspunkt | Warum |
|---|---|---|
| Private oder häufig aktualisierte Dokumente müssen die Antwort fundieren | RAG (nach einem Basisprompt) | Wissen liegt in einem Index, der ohne erneutes Training aktualisiert wird |
| Sie benötigen eine konsistente Stimme, Vorlage oder strukturierte Ausgabe | Prompt Engineering, dann Fine-Tuning bei stagnierenden Prompts | Das Ausgabeformat ist eine Verhaltensfrage, kein Defizit der Dokumentensuche |
| Sowohl wechselnde Fakten als auch ein strenger Hausstil | RAG plus Prompts, dann Fine-Tuning mit RAG-Beispielen erwägen | Retrieval liefert aktuelle Fakten, während Training das Format festigt |
| Sie haben weder Evaluierungsdatensatz noch gelabelte Ausgaben | Prompts und bei Bedarf RAG (mit Fine-Tuning warten) | Ohne Evaluierungen können Sie nicht prüfen, ob Training die Ergebnisse verbessert hat |
| Das Modell soll ein wechselndes Faktenblatt auswendig lernen | RAG oder ein spezielles Suchwerkzeug | Fine-Tuning aktualisiert langsam und läuft Gefahr, schnell zu veralten |
Was kann bei den einzelnen Ansätzen weiterhin schiefgehen?
Sowohl RAG als auch Fine-Tuning bringen unterschiedliche Fehlerarten mit sich. Keine der beiden Techniken beseitigt Halluzinationen oder macht Evaluierung und Zugriffskontrollen überflüssig.
Fehlerarten bei RAG
- Halluzinationen bleiben bestehen: Ein Modell kann abgerufene Passagen ignorieren, abgerufenen Kontext mit widersprüchlichem parametrischem Gedächtnis vermischen oder eine Antwort erfinden, wenn der Abruf nichts Relevantes liefert. Unser Leitfaden zu KI-Halluzinationsraten erklärt, warum Fundierung das Risiko erfundener Angaben senkt, aber nicht beseitigt.
- Fehlende Treffer und veraltete Indizes: RAG scheitert, wenn Indizes veraltete oder widersprüchliche Dateien enthalten, wenn Chunks wichtigen Kontext abschneiden oder zu viele nahezu doppelte Chunks den Prompt füllen. Die Fehlersuche bei RAG beginnt mit der Prüfung der abgerufenen Passagen.
- Indirekte Prompt Injection: Abgerufene Dokumente aus externen oder von Nutzern bearbeitbaren Quellen können versteckte Anweisungen enthalten, die die Modellausgabe kapern sollen. Trennen Sie vertrauenswürdige Systemprompts stets von abgerufenem Text, wie unsere Übersicht zu Prompt Injection erläutert.
- Zugriffslecks und zu große Kontexte: Jedes Dokument in einem gemeinsamen Index kann Nutzern angezeigt werden, die das System abfragen, sofern Berechtigungen die Abrufresultate nicht filtern. Zu viel abgerufener Text in einem Prompt kann außerdem dazu führen, dass Modelle Informationen in der Mitte aus dem Blick verlieren.
Fehlerarten beim Fine-Tuning
- Overfitting und Datensatzartefakte: Modelle, die mit engen oder nicht repräsentativen Beispielen trainiert werden, können sich Formatierungsbesonderheiten einprägen und bei variierenden realen Eingaben im Produktivbetrieb versagen.
- Veraltete Fakten und Governance-Lücken: Fine-Tuning hält Faktenwissen nicht von selbst aktuell, und das Trainieren von Gewichten ersetzt niemals Werkzeugberechtigungen, Eingabeschutzmaßnahmen oder Evaluierung nach dem Training.
FAQ
Können Sie RAG und Fine-Tuning im selben System kombinieren?
Ja, RAG und Fine-Tuning ergänzen sich und werden im Produktivbetrieb häufig kombiniert. RAG ruft bei einer Anfrage aktuelle oder private Fakten ab, während Fine-Tuning Ton, Ausgabeschema oder die Einhaltung von Anweisungen durchsetzt. Nehmen Sie beim Fine-Tuning eines RAG-Modells abgerufene Passagen in die Trainingsbeispiele auf, damit das Modell übt, Antworten im Kontext zu verankern.
Beseitigt RAG KI-Halluzinationen vollständig?
Nein, RAG senkt das Risiko erfundener Angaben durch relevante Quelltexte für das Modell, dennoch treten Halluzinationen auf. Modelle können abgerufene Chunks falsch lesen, abgerufene Fakten mit widersprüchlichem vortrainiertem Gedächtnis vermischen oder bei fehlenden Treffern raten. Teams benötigen sowohl Kennzahlen zu Abruf-Treffern als auch Evaluierungen der Fundierung, um unbelegte Behauptungen zu erkennen.
Wie viele Beispiele brauchen Sie vor dem Fine-Tuning eines Modells?
Keine einzelne Datensatzgröße garantiert Erfolg, denn Qualität und Repräsentativität der Beispiele für den Produktivbetrieb sind wichtiger als die reine Menge. Die Genauigkeitsanleitung von OpenAI (geprüft am 18. November 2026) nennt 50+ starke Beispiele zusammen mit einem zurückgehaltenen Evaluierungsdatensatz als praktischen Ausgangspunkt. Evaluieren Sie früh, prüfen Sie, ob Fehler auf das Verhalten zurückgehen, und erweitern Sie vorsichtig.
Ist LoRA besser als vollständiges Fine-Tuning?
LoRA ist eine parametereffiziente Fine-Tuning-Methode, die eine leichtere Alternative darstellt und nicht grundsätzlich besser als vollständiges Fine-Tuning ist. Durch Einfrieren vortrainierter Gewichte und Trainieren kompakter niedrigreihiger Matrizen verringert LoRA die Zahl trainierbarer Parameter und kann ohne zusätzliche Latenz in die Basisgewichte zurückgeführt werden. Vergleichen Sie beide Ansätze anhand Ihres Evaluierungsdatensatzes.
Wann reicht Prompt Engineering ohne RAG oder Fine-Tuning aus?
Prompt Engineering allein funktioniert, wenn das Basismodell die Fakten des Fachgebiets bereits kennt, Referenzmaterial problemlos in den Prompt passt und klare Anweisungen mit einigen Beispielen konsistente Ausgaben liefern. Ergänzen Sie RAG, wenn private oder wechselnde Dokumente fehlen, und Fine-Tuning erst, wenn Prompts bei Ton, Struktur oder Token-Effizienz stagnieren.
Quellen
- Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks” (arXiv:2005.11401)
- Meta AI: Retrieval-Augmented Generation blog post
- AWS Prescriptive Guidance: Understanding LLMs and RAG
- AWS Machine Learning Blog: From RAG to fabric: lessons learned from building real-world RAGs at GenAIIC (Part 1)
- Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models” (arXiv:2106.09685)
- OpenAI: Optimizing LLM Accuracy
- OpenAI: Model optimization
- OpenAI: Supervised fine-tuning



