RAG oder Fine-Tuning: KI für Ihr Firmenwissen

RAG vs Fine Tuning wird relevant, sobald eine KI mit Ihren internen Unterlagen arbeiten soll. Ein großes Modell kennt weder zuverlässig Ihre gültigen Vertragsfassungen noch die Zugriffsrechte Ihrer Mitarbeiter. Die technische Entscheidung beginnt deshalb bei den Quellen: Was soll das System wissen, wie oft ändert sich dieses Wissen und wer darf welche Antwort erhalten?

Für ein überschaubares Handbuch kann es reichen, ausgewählte Abschnitte direkt mit der Anfrage zu übergeben. Eine wachsende Dokumentensammlung braucht häufig eine Suche. Fine-Tuning löst wiederum andere Probleme, etwa ein wiederkehrendes Ausgabeformat oder bestimmte Verhaltensmuster. Die Ansätze lassen sich kombinieren. Sie erzeugen jedoch keine automatische Garantie richtiger Antworten. Prüfstand dieses Beitrags ist der 1. November 2026.

Bei Kontext im Prompt übergibt die Anwendung ausgewählte Informationen zusammen mit der Frage. Das ist ein guter Ausgangspunkt, wenn der relevante Inhalt klein und eindeutig ist. Sie benötigen keinen eigenen Suchindex. Dafür muss die Anwendung wissen, welche Unterlagen in die Anfrage gehören. Ein langes Kontextfenster erspart diese Auswahl nicht grundsätzlich.

Retrieval-Augmented Generation, kurz RAG, ergänzt eine Suchstufe. Diese findet passende Ausschnitte in einer Dokumentensammlung. Das Modell erhält die Fundstellen und formuliert daraus die Antwort. Die Originalarbeit von Lewis und Kollegen beschreibt die Verbindung von abrufbarem Wissen mit generativer Verarbeitung. Sie ist eine Forschungsgrundlage und kein Test heutiger Unternehmensprodukte.

Beim Fine-Tuning wird ein unterstütztes Modell anhand zusätzlicher Beispiele angepasst. Dadurch können sich Verhalten, Stil oder Aufgabenerfüllung verändern. Das Modell wird dabei nicht automatisch zu einem sauber versionierten Nachschlagewerk. Einzelne Fakten später gezielt zu löschen oder mit einer aktuellen Fundstelle zu belegen, bleibt eine andere Anforderung.

Unsere Einordnung: Für veränderliches Firmenwissen beginnen wir mit einer nachvollziehbaren Quellenübergabe. Ein zusätzliches Training sollte einen konkret nachgewiesenen Fehler lösen. Es lohnt sich nicht allein deshalb, weil der Begriff nach einer umfassenderen Lösung klingt.

Nehmen wir ein hypothetisches Unternehmen mit einem internen Handbuch. Darin stehen Regeln für Dienstreisen, Zuständigkeiten und technische Arbeitsabläufe. Eine Mitarbeiterin fragt nach der gültigen Freigabe für eine Reise. Das System muss die passende Regel finden und erkennen, ob zusätzliche Vorgaben für ihren Bereich gelten.

Bei wenigen kurzen Dokumenten kann die Anwendung die gültigen Abschnitte unmittelbar übergeben. Werden daraus zahlreiche Dateien mit abweichenden Geltungsbereichen, hilft eine Suchstufe. Sie sollte nicht nur ähnliche Wörter finden, sondern Dokumenttyp, Version und Berechtigungen berücksichtigen. Der Antworttext nennt anschließend die tatsächlich verwendeten Abschnitte.

Ein mögliches Fine-Tuning könnte das gewünschte Antwortformat fördern. Beispielsweise soll die Antwort zuerst die Regel nennen, dann die Fundstelle und zuletzt verbleibende Fragen. Ob das Training hierfür nötig ist, zeigt ein Vergleich mit einer einfachen Promptvorlage. Beide Varianten benötigen weiterhin die gültige Reiseregel aus einer gepflegten Quelle.

Das Beispiel enthält keine gemessene Erfolgsquote. Es zeigt die Verantwortung der Anwendung. Wenn die Unterlagen keine eindeutige Antwort erlauben, sollte das Ergebnis diese Grenze nennen und einen zuständigen Ansprechpartner vorschlagen. Ein plausibel formulierter Richtwert wäre hier ein Fehler.

Eine schlechte Datei wird durch einen Suchindex nicht automatisch zu einer guten Wissensquelle. Wiederholte Kopfzeilen, fehlerhafte Texterkennung und Tabellen ohne Zuordnung können Antworten verfälschen. Prüfen Sie deshalb zunächst an Beispieldokumenten, ob der extrahierte Text den Inhalt korrekt wiedergibt.

Anschließend braucht jeder Ausschnitt ausreichenden Zusammenhang. Eine Tabelle ohne Überschrift oder eine Ausnahme ohne die zugehörige Grundregel kann missverständlich sein. Es gibt keine universelle Abschnittslänge für alle Sammlungen. Testen Sie verschiedene Aufteilungen an realistischen Fragen und kontrollieren Sie die gefundenen Stellen.

Hilfreiche Metadaten sind Dokumentkennung, Version, Geltungsbereich und Herkunft. Die Kennung sollte auch nach einer erneuten Indexierung nachvollziehbar bleiben. So können Sie untersuchen, ob ein Fehler aus dem Dokument, der Texterkennung, der Suche oder der Antwortformulierung stammt.

Unsere Empfehlung: Investieren Sie zuerst in eine kleine, saubere Sammlung. Ein großer unsortierter Dateiimport macht die Vorführung eindrucksvoller, die Ursachen späterer Fehler aber schwerer sichtbar. Welche Kosten dabei entstehen, erklärt der Beitrag zu KI-Kosten im Unternehmen.

Die Anwendung darf dem Modell nur Inhalte geben, auf die der anfragende Nutzer zugreifen darf. Ein Hinweis im Prompt, vertrauliche Abschnitte nicht zu erwähnen, ist dafür zu schwach. Rechte müssen beim Abruf der Quellen technisch durchgesetzt werden. Das gilt auch für Dateinamen, Ausschnitte und Suchvorschauen.

Besonders kritisch werden gemischte Sammlungen. Ein allgemeines Organisationshandbuch und vertrauliche Personalunterlagen dürfen nicht durch dieselbe unbeschränkte Suche erschlossen werden. Die Berechtigungsprüfung sollte Testfälle enthalten, bei denen Nutzer gezielt nach ihnen unzugänglichen Informationen fragen.

Auch eine Fundstelle kann fremde Arbeitsanweisungen enthalten. RAG übergibt Text an ein Modell und übernimmt damit die Prompt-Injection-Risiken aus Dokumenten. Die Quelle darf Fakten liefern, aber keine Befugnisse verändern. Wenn anschließend Aktionen ausgelöst werden, gelten zusätzliche Anforderungen an KI-Agenten und Freigaben.

Eine neue Dokumentfassung muss die alte Version im relevanten Suchbestand ersetzen. Für Übergangszeiten sollte klar sein, welche Fassung gilt. Andernfalls kann die Suche zwei widersprüchliche Aussagen liefern, obwohl beide technisch korrekt indexiert wurden.

Beim Löschen reicht es häufig nicht, die Originaldatei zu entfernen. Abgeleitete Ausschnitte, Suchindizes, Zwischenspeicher und Protokolle gehören in den Datenlebenszyklus. Welche Kopien tatsächlich entstehen, hängt von der Anwendung und ihren Dienstleistern ab. Diese Wege müssen vor dem Produktivbetrieb bekannt sein.

Fine-Tuning bringt einen weiteren Modellstand hinzu. Eine Trainingsdatei zu löschen bedeutet nicht automatisch, dass ihr Einfluss aus einem trainierten Modell entfernt ist. Die Möglichkeiten des konkreten Anbieters müssen deshalb getrennt geprüft werden. Die EDPB-Stellungnahme 28/2024 behandelt unter anderem die notwendige Einzelfallbetrachtung bei KI-Modellen. Daraus folgt keine pauschale Datenschutzfreigabe für eine Betriebsform.

Eine korrekte Antwort auf eine einfache Testfrage beweist wenig. Stellen Sie einen festen Fragenbestand zusammen, der normale Fälle, Ausnahmen, Widersprüche und unbeantwortbare Fragen umfasst. Für jede Frage legen Sie vorher die erwarteten Quellen und die zulässige Aussage fest.

Prüfen Sie zunächst, ob die Suche die benötigte Information liefert. Erst danach bewerten Sie, ob die Antwort daraus korrekt abgeleitet wird. Eine falsche Antwort bei fehlender Fundstelle braucht eine andere Korrektur als eine erfundene Aussage trotz vollständiger Quellen. Auch eine formal passende Quellenangabe muss den behaupteten Inhalt tatsächlich tragen.

Die Metrik Faithfulness aus Ragas bewertet, inwieweit Antwortaussagen durch den übergebenen Kontext gestützt sind. Das ist hilfreich, ersetzt jedoch keine Prüfung der Quellenrichtigkeit. Eine treue Wiedergabe eines veralteten Dokuments kann fachlich trotzdem falsch sein.

Für den ersten Versuch empfehlen wir eine klar abgegrenzte Sammlung, eine feste Nutzergruppe und eine einfache Auswertung. Halten Sie fest, welche Fehler zusätzliche Technik rechtfertigen. Erst wenn die Suche an konkreten Fällen scheitert, lohnt die Untersuchung weiterer Verfahren oder einer anderen Aufteilung.

Bei Fine-Tuning ist zusätzlich der Produktstatus entscheidend. Die OpenAI-Anleitung zu Supervised Fine-Tuning nennt beim Prüfstand Zugangsbeschränkungen für neue Nutzer und Fristen für bestehende Trainingsangebote. Eine Lösung sollte daher auf einem überprüften, langfristig betreibbaren Zugang beruhen. Unsere KI-Beratung unterstützt die Auswahl anhand Ihrer Dokumente. Über Kontakt können Sie die Aufgabenstellung mit uns besprechen.