Wie funktioniert RAG (Retrieval-Augmented Generation)?
RAG gibt KI-Systemen Zugriff auf Ihre Unternehmensdokumente, ohne teures Modelltraining. So funktioniert die Technologie hinter sinnvollen KI-Chatbots.
Retrieval-Augmented Generation (RAGGlossarRAG ist eine Technik, bei der ein KI-Modell vor dem Antworten gezielt relevante Dokumente aus einer Wissensdatenbank abruft. So entstehen aktuelle, quellenbasierte Antworten statt ausgedachter Informationen.) ist eine KI-Technik, bei der ein Sprachmodell vor dem Antworten gezielt relevante Dokumente aus einer Wissensdatenbank abruft und als Kontext nutzt. So entstehen aktuelle, quellenbasierte Antworten statt Antworten aus veralteten Trainingsdaten.
Stellen Sie sich vor: Ein neuer Mitarbeiter fragt den internen KI-Assistenten nach den aktuellen Konditionen im Wartungsvertrag mit Ihrer wichtigsten Kundin. Die KI antwortet selbstbewusst, mit falschen Zahlen aus dem Vorjahr. Das Vertragsdokument liegt irgendwo im SharePoint, das Modell hat es nie gelesen.
Genau dieses Problem löst Retrieval-Augmented Generation, kurz RAG. Die Technik macht aus einem allwissenden, aber oft irrenden Sprachmodell einen verlässlichen Unternehmensassistenten. Laut Bitkom-Studie 2024 nutzen erst 2 % der deutschen Unternehmen generative KIGlossarGenerative KI bezeichnet KI-Systeme, die neue Inhalte erzeugen können — Texte, Bilder, Code oder Audiodaten. Im Gegensatz zu analytischer KI, die Muster erkennt, produziert generative KI eigenständig Ausgaben auf Basis gelernter Trainingsdaten. für ihr Wissensmanagement, obwohl 26 % der GenKI-Planer es als nächsten Schritt vorsehen (Bitkom, Oktober 2024, n=602).
Welches Problem RAG löst
Standard-Sprachmodelle wie GPT-4 kennen nur das, womit sie trainiert wurden. Dieses Training hat ein festes Enddatum. Was danach passiert, bleibt dem Modell verborgen: neue Preislisten, geänderte Verträge, aktuelle Produktdokumentationen.
Das führt zu vier konkreten Problemen im Unternehmenseinsatz:
- Knowledge Cutoff: Das Modell kennt Ihre aktuellen Daten nicht, egal wie gut es trainiert ist.
- Halluzinationen: Es erfindet Antworten mit falschen Fakten, klingt dabei aber überzeugend.
- Kontextgrenzen: Dokumente mit mehreren hundert Seiten passen nicht vollständig in einen einzigen Prompt.
- Knowledge Silos: Informationen auf SharePoint, in Datenbanken und in E-Mail-Anhängen bleiben für das Modell unauffindbar.
RAG löst alle vier Probleme, ohne dass Sie das Modell neu trainieren oder eigene KI-Infrastruktur aufbauen müssen.
Wie RAG funktioniert: Retrieve, Augment, Generate
Der Name beschreibt den Ablauf direkt. Bei jeder Anfrage laufen drei Schritte ab:
Schritt 1 (Retrieve): Bevor die KI antwortet, durchsucht das System Ihre Wissensdatenbank nach relevanten Textpassagen. Das geschieht über Embeddings: Texte werden in mathematische Vektoren umgewandelt, die semantische Ähnlichkeit messbar machen. Eine solche Suche versteht, was gemeint ist, nicht nur, welche Wörter vorkommen. Moderne Systeme kombinieren Vektorsuche mit klassischer Schlagwortsuche (Hybrid-Retrieval), um Treffergenauigkeit zu maximieren.
Schritt 2 (Augment): Die gefundenen Textpassagen werden als Kontext dem Prompt beigefügt, bevor das Modell antwortet. Das LLM bekommt die relevanten Seiten aus dem Handbuch auf den Tisch gelegt, bevor es die Frage beantwortet.
Schritt 3 (Generate): Das Modell generiert seine Antwort auf Basis der bereitgestellten Dokumente, nicht aus dem Training. Es kann Quellen zitieren: “Laut Wartungsvertrag vom 15.01.2026, Abschnitt 3.2…” Das macht Antworten nachprüfbar.
RAG-Einsatzszenarien für KMU
RAG ist keine Technologie nur für Großkonzerne. Die häufigsten Einsatzfälle in mittelständischen Unternehmen:
Interner Wissens-Chatbot: Mitarbeiter stellen Fragen zu Handbüchern, Verträgen oder HR-Richtlinien und bekommen sofort Antworten mit Quellenangabe, statt 20 Minuten im Intranet zu suchen.
Kundensupport-Assistent: Ein Chatbot mit Zugriff auf aktuelle AGBs und Produktspezifikationen beantwortet Anfragen präzise, ohne dass Support-Mitarbeiter jede Antwort manuell nachschlagen müssen.
Compliance-Auskunft: Mitarbeiter fragen nach DSGVO-Vorgaben oder internen Richtlinien und erhalten Antworten direkt aus den aktuellen, offiziellen Dokumenten.
Vertrags- und Angebotsanalyse: Vertriebsteams durchsuchen schnell große Mengen an Angeboten, Protokollen oder Rahmenverträgen nach relevanten Klauseln.
Ein Praxisbeispiel: Ein deutsches Telekommunikationsunternehmen implementierte einen RAG-Chatbot für die interne Dokumentensuche. Mitarbeiter an verschiedenen Standorten können Dokumente zusammenfassen, Informationen extrahieren und Inhalte vergleichen. Ein integriertes Berechtigungsmanagement schützt vertrauliche Inhalte. Ein ähnlicher Einsatz ist die Compliance-Auskunft: Ein Chatbot auf Basis aktueller Datenschutz- und Sicherheitsrichtlinien beantwortet Mitarbeiterfragen, ohne dass die Fachabteilung jede Anfrage einzeln bearbeiten muss.
RAG oder Fine-Tuning: Was ist der Unterschied?
Wer sich mit KI-Anpassung beschäftigt, begegnet beiden Begriffen. Die Faustregel:
| RAG | Fine-Tuning | |
|---|---|---|
| Wozu geeignet | Aktuelle Fakten, Unternehmensdaten | Tonalität, Sprachstil, Domänenformat |
| Kosten | Gering bis moderat | Hoch (Rechenleistung + Daten) |
| Aktualisierung | Sofort: Dokument hochladen, fertig | Neues Training erforderlich |
| Risiko | Qualität hängt vom Retrieval ab | Modell kann falsche Fakten “einbrennen” |
| Empfehlung KMU | Standardeinstieg | Nur für spezifische Stilanforderungen |
Für unternehmensspezifisches Wissen ist RAG fast immer die bessere Wahl. Fine-Tuning ist sinnvoll, wenn ein Modell dauerhaft in einem bestimmten Stil oder Fachvokabular antworten soll, nicht aber Fakten.
Microsoft-Umsetzung: Copilot Studio und Azure AI Search
Microsoft bietet zwei Einstiegspunkte, je nach technischen Ressourcen und Anforderungen.
No-Code-Einstieg: Copilot Studio
Microsoft Copilot StudioGlossarMicrosoft Copilot Studio ist eine Low-Code-Plattform, um eigene KI-Agenten zu bauen, zu testen und zu veröffentlichen. Ohne tiefe Programmierkenntnisse, aber mit vollem Zugriff auf das Microsoft-365-Ökosystem. erlaubt es, ohne eine einzige Codezeile einen RAG-gestützten Chatbot zu bauen. Unterstützte Wissensquellen:
- SharePoint-Dokumente und -Ordner (bis zu 25 URLs im Generative Mode)
- Hochgeladene Dateien: PDF, DOCX, PPTX bis 512 MB
- DataverseGlossarMicrosoft Dataverse ist eine sichere, cloudbasierte Datenbankplattform im Microsoft-Ökosystem, auf der Apps, Agenten und Workflows gemeinsam auf strukturierte Unternehmensdaten zugreifen können.-Datenbanken (unbegrenzt im Generative Mode)
- Enterprise-Konnektoren wie Salesforce oder ServiceNow
Hochgeladene Dokumente werden automatisch in Abschnitte aufgeteilt und vektorisiert. SharePoint-Berechtigungen werden dabei vererbt: Wer keinen Zugriff auf ein Dokument hat, bekommt die entsprechenden Antworten vom Chatbot nicht. Das ist wichtig für die DSGVO-konforme Konfiguration.
Code-First: Azure AI Search mit Agentic Retrieval
Für komplexere Anforderungen bietet Azure AI Search eine vollständige RAG-Infrastruktur. Seit Anfang 2026 unterstützt das System “Agentic Retrieval”: Komplexe Fragen werden in mehrere parallele Subqueries zerlegt, was die Antwortqualität bei mehrstufigen Abfragen erheblich verbessert. Die Architektur ist auf Antwortzeiten von 3 bis 5 Sekunden ausgelegt.
Welcher Weg passt zu Ihrer Situation? Für den KMU-Einstieg empfehlen wir Copilot Studio. Es lässt sich schnell einrichten, integriert sich direkt in Microsoft Teams und benötigt keine Entwicklungsressourcen. Azure AI Search ist der richtige Weg, wenn RAG in bestehende Softwaresysteme eingebettet oder mit individueller Geschäftslogik erweitert werden soll.
Den richtigen Pfad für Ihre Ausgangssituation erarbeiten wir im KI-Kompass, einer strukturierten Analyse in einem halben Tag.
Was RAG nicht leistet
RAG reduziert Halluzinationen erheblich, eliminiert sie aber nicht vollständig. Findet das Retrieval relevante Dokumente nicht, oder enthalten die Dokumente selbst Fehler, übernimmt das Modell diese Ungenauigkeiten. Die Qualität der Wissensdatenbank und die Qualität der Antworten hängen direkt zusammen.
Zugriffsrechte konfiguriert RAG nicht von allein. Wer sensible Daten schützen will, muss Berechtigungen explizit einrichten. Microsoft-Tools unterstützen das nativ, aber es braucht sorgfältige Einrichtung.
RAG löst das Problem fehlenden Wissens, nicht das Problem schlechter Dokumente. Wer unstrukturierte, veraltete oder widersprüchliche Unterlagen in die Wissensdatenbank lädt, bekommt entsprechend unzuverlässige Antworten.