RAG einfach erklärt: KI-Wissensdatenbank für KMU

Was RAG ist und woher der Begriff kommt

Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Ihre Preislisten, Arbeitsanweisungen und Wartungsverträge gehören nicht dazu. RAG schließt diese Lücke: Vor der Antwort sucht ein Suchschritt die passenden Abschnitte aus Ihren Dokumenten und legt sie dem Modell mit der Frage vor. Das Modell antwortet auf dieser Grundlage und kann die Fundstelle nennen. Die Datenschutzkonferenz (DSK) beschreibt den Idealfall so: Das Faktenwissen stammt vollständig aus den Referenzdokumenten, das Sprachmodell steuert nur die Sprache bei.

Der Begriff stammt aus einem Forschungsartikel von Patrick Lewis und Kollegen von Facebook AI Research, dem University College London und der New York University, erschienen 2020 im Tagungsband der Konferenz NeurIPS. Die Autoren verbanden ein Sprachmodell mit einem Suchindex über die Wikipedia, die sie in rund 21 Millionen Abschnitte zu je 100 Wörtern zerlegt hatten. Zwei Argumente daraus tragen bis heute: Antworten lassen sich auf Quellen zurückführen, und Wissen lässt sich aktualisieren, indem man den Index austauscht, statt das Modell neu zu trainieren. Anders als im Original, das Suche und Modell gemeinsam nachtrainierte, bleibt das Modell in RAG-Systemen, wie sie die DSK beschreibt, unverändert.

So funktioniert RAG Schritt für Schritt

Die DSK legt ihrer Orientierungshilfe ein System aus vier Bausteinen zugrunde: Embedding-Modell, Vektordatenbank, Suchkomponente (Retriever) und Sprachmodell. Der Ablauf in sechs Schritten:

• 1. Dokumente aufbereiten: Der Text wird aus PDF, Word, Wiki oder Ticketsystem herausgelöst. Kopf- und Fußzeilen und Seitenzahlen sollten laut DSK vorher entfernt werden. Gescannte Seiten brauchen zusätzlich eine Texterkennung (OCR).
• 2. In Abschnitte teilen: Die Dokumente werden in kürzere Abschnitte zerlegt, sogenannte Chunks. Starre Längen können Sinnzusammenhänge zerreißen; jeder Abschnitt sollte möglichst einen abgeschlossenen Gedanken enthalten. Größe und Überlappung der Abschnitte beeinflussen die Qualität.
• 3. Embeddings berechnen: Ein Embedding-Modell wandelt jeden Abschnitt in einen Zahlenvektor um, der seine Bedeutung annähernd abbildet. Ähnliche Texte liegen als Vektoren nah beieinander. Vektor und Text werden gemeinsam gespeichert. Für deutsche Dokumente rät die DSK zu einem Modell, das mit deutschen Texten trainiert wurde.
• 4. Nach Bedeutung suchen: Die Frage wird mit demselben Embedding-Modell in einen Vektor übersetzt. Die Datenbank liefert die Abschnitte, deren Vektoren den geringsten Abstand dazu haben.
• 5. Stichwortsuche ergänzen: Die Bedeutungssuche kann exakte Treffer übersehen, etwa Artikelnummern oder Fehlercodes. Deshalb kombiniert man sie mit einer Stichwortsuche wie BM25 (hybride Suche) und sortiert die Treffer per Reranking neu. In Tests von Anthropic sank so, zusammen mit vorangestelltem Kontext je Abschnitt, der Anteil verfehlter Fundstellen um 67 Prozent.
• 6. Mit Quelle antworten: Frage und gefundene Abschnitte gehen gemeinsam an das Sprachmodell, mit der Anweisung, nur daraus zu antworten und die Fundstelle zu nennen. Eine solche Systemanweisung nennt auch die DSK. Findet die Suche nichts Passendes, sagt der Assistent das, statt zu raten.

Wann RAG passt und wann nicht

Es gibt drei grundsätzliche Wege, einem Sprachmodell Ihr Wissen zugänglich zu machen. Sie unterscheiden sich vor allem darin, wie groß und wie veränderlich Ihr Dokumentbestand ist:

RAG und Fine-Tuning schließen sich nicht aus: Eine von der DSK zitierte Studie beobachtete, dass beide unabhängig voneinander die Ergebnisse verbessern können. Für einen Wissensassistenten im KMU ist RAG trotzdem der naheliegende Startpunkt, weil sich Dokumente ändern und Antworten belegbar sein sollen. Wer dagegen rechnen, Bestände abfragen oder Vorgänge auslösen will, braucht keinen Wissensassistenten, sondern feste Schnittstellen, wie sie KI-Agenten nutzen.

Berechtigungen: Wer darf welche Dokumente sehen?

Im Sprachmodell selbst lässt sich nicht steuern, wer welche Information sehen darf; darauf weist auch die DSK hin. Rechte müssen deshalb in der Suche greifen, bevor ein Abschnitt überhaupt beim Modell ankommt. Die OWASP-Liste der größten Risiken für Anwendungen mit Sprachmodellen (Ausgabe 2025) nennt unzureichende Zugriffskontrollen in Vektordatenbanken ausdrücklich als Ursache für unbefugten Zugriff auf sensible Inhalte.

• Rechte aus der Quelle übernehmen: Zu jedem Abschnitt wird gespeichert, aus welchem Dokument er stammt und wer dieses Dokument öffnen darf. Bei jeder Frage durchsucht das System nur Abschnitte, die die angemeldete Person auch im Original sehen dürfte.
• Technisch filtern: Qdrant trennt Daten in einer gemeinsamen Sammlung über ein Feld je Mandant oder Gruppe, nach dem jede Suche filtert. PostgreSQL bietet Row-Level Security, die pro Benutzer einschränkt, welche Zeilen eine Abfrage zurückgibt. Bei pgvector greifen Filter mit Näherungsindizes erst nach dem Indexdurchlauf; seit Version 0.8.0 können iterative Index-Scans fehlende Treffer ausgleichen.
• Getrennte Bestände, wo nötig: Für klar getrennte Zwecke, etwa Abteilungen mit eigenen Akten, nennt die DSK Mandantentrennung oder funktionale Trennung und ein Rechte- und Rollenkonzept.
• Vektoren wie Klartext schützen: Laut OWASP lassen sich aus Embeddings erhebliche Teile der Ausgangsinformationen zurückgewinnen. Die Vektordatenbank braucht denselben Schutz wie die Dokumente, dazu unveränderliche Protokolle der Suchzugriffe.

Datenschutz: Was die DSK-Orientierungshilfe zu RAG sagt

Im Oktober 2025 hat die DSK eine eigene Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode veröffentlicht (Version 1.0). Sie betrachtet Systeme mit Embeddings und Vektordatenbank und nimmt als Szenario an, dass das gesamte System beim Verantwortlichen im eigenen Haus läuft. Die Kernaussagen:

• Rechtsgrundlage: Schon die Verarbeitung personenbezogener Daten aus den Dokumenten durch das Embedding-Modell und ihre Speicherung in der Vektordatenbank brauchen eine Rechtsgrundlage.
• Richtigkeit: RAG kann Halluzinationen und unrichtige Ausgaben verringern, aber nicht ausschließen. Veraltete oder unvollständige Dokumente führen zu falschen Antworten; der Verantwortliche muss den Bestand regelmäßig prüfen. Eine zusätzliche Websuche erfüllt die Anforderungen an geprüfte Daten regelmäßig nicht.
• Datenminimierung und Löschung: Nicht benötigte personenbezogene Daten werden vor dem Einlesen entfernt oder anonymisiert. Einträge in der Vektordatenbank sind gezielt löschbar; übliche Löschroutinen nach Ablauf von Aufbewahrungsfristen greifen auch hier.
• Betroffenenrechte: Für Eingaben, Ausgaben, Dokumente und Vektordatenbank lassen sich Auskunft, Berichtigung und Löschung in der Regel umsetzen. Im Sprachmodell selbst ist das weitgehend ungelöst.
• Zweckbindung: Personenbezogene Daten aus Ihren Dokumenten können sich im Modell mit personenbezogenen Daten aus dessen Training verketten, ohne dass die Ausgabe das erkennen lässt. Gegenmaßnahmen gehören schon in die Konzeption.
• Das Modell bleibt, was es ist: Ein rechtswidrig trainiertes Modell wird durch RAG nicht rechtmäßig. Weil das Modell weniger Faktenwissen mitbringen muss, kommt aber eine größere Auswahl infrage, auch kleinere Modelle im eigenen Haus.

Laufen Sprachmodell oder Vektordatenbank bei einem Cloud-Anbieter, kommen Auftragsverarbeitung, Verarbeitungsort und gegebenenfalls Drittlandtransfer hinzu. Diese Punkte stehen ausführlich im Leitfaden ChatGPT und Co. DSGVO-konform nutzen, die Abwägung zwischen eigener Hardware und Cloud im Kostenvergleich lokale KI gegen Cloud-KI. Für einen Chat, mit dem Menschen direkt interagieren, gilt seit dem 2. August 2026 außerdem Art. 50 Abs. 1 EU AI Act: Sie müssen erfahren, dass sie mit einem KI-System sprechen, sofern das nicht offensichtlich ist. Die Pflicht trifft den Anbieter, und das kann schon ein Unternehmen mit eigenem Chatbot auf fremdem Modell sein. Mehr im Beitrag EU AI Act für KMU.

Typische Fehlerquellen und wie Sie sie abfangen

• Veraltete und doppelte Dokumente: Liegen drei Fassungen einer Preisliste im Ordner, kann das System nicht wissen, welche gilt. Abhilfe: nur freigegebene Ordner einlesen, Altstände archivieren und das Gültigkeitsdatum mitspeichern.
• Schlechte Scans und Layouts: Ohne Texterkennung bleibt ein gescanntes PDF für die Suche leer, mehrspaltige Seiten und Tabellen geraten durcheinander. Werkzeuge wie Docling erkennen Lesereihenfolge und Tabellenstruktur und bringen OCR für Scans mit. Stichproben bleiben trotzdem Pflicht.
• Abschnitte ohne Zusammenhang: „Die Frist beträgt drei Monate“ ist wertlos, wenn unklar bleibt, welcher Vertrag gemeint ist. Abschnitte sollten deshalb Dokumenttitel und Überschrift mitführen. In den Tests von Anthropic senkte vorangestellter Kontext je Abschnitt allein in der Bedeutungssuche die verfehlten Fundstellen um 35 Prozent.
• Falsche Fundstellen: Die Suche liefert einen ähnlich klingenden, aber unpassenden Abschnitt, etwa den Wartungsvertrag eines anderen Kunden. Hybride Suche, Filter auf Kunde oder Gültigkeit und eine sichtbare Quellenangabe machen das seltener und leichter erkennbar.
• Versteckte Anweisungen: OWASP beschreibt einen Lebenslauf mit weißer Schrift auf weißem Grund, die ein Bewerbungssystem anweist, den Kandidaten zu empfehlen. Dokumente aus unbekannten oder nicht vertrauenswürdigen Quellen gehören laut DSK ohnehin nicht in den Bestand.
• Halluzinationen trotz RAG: Das Modell kann Wissen aus seinem Training einmischen und bei Widersprüchen dem Gelernten folgen statt den Dokumenten. Die DSK nennt diese Kontexttreue ausdrücklich als offene Herausforderung.

Qualität messen: Testfragen statt Bauchgefühl

Ob ein Assistent taugt, zeigt sich nicht im ersten Demo-Gespräch, sondern an einem festen Satz Testfragen, der bei jeder Änderung erneut durchläuft. So gehen Sie vor:

• Echte Fragen sammeln: aus Postfach, Telefonnotizen und Team, jeweils mit erwarteter Antwort und Fundstelle. Dazu Fragen, deren Antwort nicht im Bestand steht; hier ist „Dazu finde ich nichts“ richtig.
• Suche und Antwort getrennt bewerten: Erst prüfen, ob die richtige Fundstelle unter den gelieferten Abschnitten ist, dann, ob sich die Antwort auf diese Abschnitte stützt. Das Open-Source-Werkzeug Ragas nennt diese Kennzahlen Context Recall und Faithfulness. Anthropic misst Suchfehler als Anteil der relevanten Abschnitte, die nicht unter den ersten 20 Treffern sind.
• Bei jeder Änderung wiederholen: Neue Dokumente, ein anderes Modell oder eine andere Abschnittsgröße verschieben Ergebnisse. Alle Testfragen laufen erneut, bevor die Änderung live geht.
• Im Betrieb nachsteuern: Bewertungen und unbeantwortete Fragen auswerten. Sie zeigen Lücken im Bestand oder in der Suche und ergänzen den Testsatz.

Bausteine und Hosting: Beispiele mit geprüften Lizenzen

Ein RAG-System lässt sich aus offenen Komponenten zusammensetzen. Die folgenden Beispiele sind keine vollständige Marktübersicht, sondern geprüfte Bausteine:

• Alles im eigenen Haus: Dokumente, Vektordatenbank, Embedding- und Sprachmodell laufen auf eigener Hardware. Genau dieses Szenario legt die DSK zugrunde. Was dafür nötig ist, steht auf der Seite zur lokalen KI.
• Modelle in der EU-Cloud: Der IONOS AI Model Hub rechnet laut IONOS nur in deutschen Rechenzentren, speichert Eingaben und Ausgaben nicht und bietet mehrere Embedding-Modelle; eine eingebaute Vektordatenbank gibt es dort seit dem 31. August 2026 nicht mehr. Mistral AI hostet Daten laut eigener Aussage standardmäßig in der EU und bietet ebenfalls Embedding-Modelle; je nach Funktion können Daten vorübergehend die EU verlassen.
• Gemischt: Dokumente und Vektordatenbank bleiben im Haus, nur Frage und gefundene Abschnitte gehen an ein Modell in der Cloud. Auch diese Abschnitte verlassen das Haus; Auftragsverarbeitung und Verarbeitungsort sind deshalb auch hier zu klären.

Der Weg zum eigenen Wissensassistenten

• 1. Ziel festlegen: interner Assistent oder Chat für Kunden, und welche Fragen er beantworten soll.
• 2. Bestand aufräumen: freigegebene Ordner bestimmen, Altstände aussortieren, Scans prüfen, Verantwortliche für Inhalte benennen.
• 3. Rechte, Datenschutz und Hosting klären: Berechtigungsmodell, Rechtsgrundlage, Löschkonzept, eigene Hardware, EU-Cloud oder Mischform.
• 4. Prototyp: ein Ausschnitt der Dokumente, echte Testfragen, Quellenangabe und Berechtigungen von Anfang an.
• 5. Pilot mit einer Gruppe: Kennzeichnung als KI, Übergabe an einen Menschen bei Unsicherheit, Auswertung der Rückmeldungen.
• 6. Betrieb: geänderte Dokumente automatisch nachladen, Testfragen regelmäßig laufen lassen, Bestand pflegen. Ein Assistent ist nur so gut wie seine Dokumente.

Wie ich einen solchen Assistenten aufbaue, von der Bestandsaufnahme über den Prototyp bis zum Betrieb, steht auf der Seite KI-Chatbot und Wissensassistent. Weitere Einsatzfelder zeigt der Beitrag zu den KI-Anwendungsfällen im KMU.