KI-Chatbot · RAG · Wissensdatenbank
Antworten aus Ihren Unterlagen,
mit Quelle und Grenzen.
Ein KI-Chatbot beantwortet Kundenfragen auf Ihrer Website oder durchsucht als interner Wissensassistent Handbücher, Verträge und Tickets. Er antwortet aus Ihren freigegebenen Dokumenten, zeigt die Fundstelle und übergibt an einen Menschen, wenn er unsicher ist.
Projekt besprechenKostenloses Erstgespräch · Direkt mit Daniel Gläser
- 01Frage stellen
- 02Suche + Antwort
- 03Quelle prüfen
- 04Antwort/Übergabe
Einsatzarten
Ein Chatbot für Kunden oder ein Assistent für Ihr Team
Die Technik ist ähnlich, die Anforderungen unterscheiden sich deutlich. Deshalb klären wir zuerst, wer fragt und welche Dokumente dafür freigegeben werden.
Website-Chat für Kundenanfragen
Beantwortet wiederkehrende Fragen von Interessenten und Kunden aus öffentlich freigegebenen Inhalten.
- Quellen: Website, Produktdaten, FAQ, Liefer- und Servicebedingungen.
- Typische Fragen: Leistungen, Lieferzeiten, Ablauf, Ansprechpartner, Öffnungszeiten.
- Klar als KI gekennzeichnet, mit sichtbarem Weg zu einem Menschen.
- Nimmt bei Bedarf eine Anfrage mit Gesprächsverlauf als Ticket oder E-Mail auf.
- Kein Zugriff auf interne Dokumente oder Kundendaten.
Interner Wissensassistent
Hilft Ihrem Team, Wissen aus gewachsenen Ablagen zu finden, statt Kollegen zu fragen oder Ordner zu durchsuchen.
- Quellen: Handbücher, Arbeitsanweisungen, Verträge, Tickets, Wiki, SharePoint oder Netzlaufwerk.
- Typische Fragen: Wie ist der Ablauf bei einer Reklamation? Welche Kündigungsfrist hat der Wartungsvertrag?
- Berechtigungen auf Dokumentebene: Jeder sieht nur, was er auch selbst öffnen darf.
- Erreichbar im Browser, in Microsoft Teams oder in Ihrer Fachanwendung.
- Antworten mit Link auf das Originaldokument.
So funktioniert es
RAG: erst suchen, dann antworten
Ein Sprachmodell weiß nichts über Ihr Unternehmen. Retrieval Augmented Generation, kurz RAG, löst das ohne eigenes Training: Ihre Dokumente werden in Abschnitte zerlegt und in einem Suchindex abgelegt, z. B. in PostgreSQL mit pgvector oder in Qdrant. Der Index speichert für jeden Abschnitt eine Art Bedeutungsabdruck und den Klartext.
Stellt jemand eine Frage, sucht das System zuerst die passenden Abschnitte. Dabei kombinieren wir die Suche nach Bedeutung mit der klassischen Stichwortsuche, damit auch Artikelnummern und Fachbegriffe sicher gefunden werden. Erst dann bekommt das Sprachmodell die Frage zusammen mit diesen Abschnitten und die Anweisung, nur daraus zu antworten und die Quelle zu nennen.
Findet die Suche nichts Passendes, sagt der Assistent das, statt zu raten. Ändert sich ein Dokument, wird nur der Index aktualisiert. Ein neues Training des Modells ist dafür nicht nötig, und Ihre Dokumente fließen nicht in das Modell selbst ein.
Kontrolle
Nachvollziehbar, berechtigt, gekennzeichnet
Quellenangaben
Jede Antwort verweist auf Dokument und Abschnitt, aus dem sie stammt. So lässt sich in Sekunden prüfen, ob die Antwort stimmt, und veraltete Unterlagen fallen schnell auf.
Berechtigungen auf Dokumentebene
Der Assistent übernimmt die Zugriffsrechte aus SharePoint, Netzlaufwerk oder Ihrer Fachanwendung. Bei jeder Frage werden nur Abschnitte durchsucht, die die angemeldete Person ohnehin öffnen darf. Gehaltslisten bleiben so bei denen, die sie sehen dürfen.
Übergabe an Menschen
Bei unsicheren Treffern, Beschwerden oder ausdrücklichem Wunsch übergibt der Chat an Ihr Team, mit dem bisherigen Gesprächsverlauf. Intern verweist der Assistent auf die zuständige Person, wenn eine Regel fehlt oder widersprüchlich ist.
Kennzeichnung als KI
Der Chat gibt sich im Fenster und in der ersten Nachricht als KI-Assistent zu erkennen. Der EU AI Act verlangt, dass Menschen informiert werden, wenn sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist. Ich setze die Kennzeichnung in jedem Fall um.
Ratgeber zum EU AI ActHosting & Pflege
Wo der Chatbot läuft und wie er gut bleibt
Hosting, Wissenspflege und Qualitätsmessung bestimmen, ob ein Chatbot nach drei Monaten noch genutzt wird. Ich betreue Software und Server selbst und plane beides deshalb von Anfang an mit.
Sprachmodell in der EU-Cloud
Aktuelle Modelle großer Anbieter lassen sich mit Verarbeitung in der EU nutzen, z. B. Azure OpenAI mit einer Bereitstellung in der EU-Datenzone oder die API von Mistral AI, die Daten standardmäßig in der EU hostet. Vorteil: hohe Antwortqualität ohne eigene Hardware. Auftragsverarbeitung, Speicherfristen und Unterauftragnehmer werden für den konkreten Einsatz geprüft.
Ratgeber: KI und DatenschutzSprachmodell auf eigener Hardware
Offene Modelle, z. B. aus den Familien Llama, Mistral oder Qwen, laufen mit Werkzeugen wie Ollama oder vLLM auf einem Server in Ihrem Haus. Dokumente und Fragen verlassen Ihr Netz nicht. Dafür brauchen Sie passende Hardware mit Grafikkarte und Wartung, und die Antwortqualität hängt von der Modellgröße ab.
Zur lokalen KIWissensbasis pflegen
Veraltete Preislisten oder doppelte Handbuchstände führen zu falschen Antworten. Wir legen fest, welche Ordner einfließen, wer Inhalte freigibt und wie oft neu eingelesen wird. Neue und geänderte Dokumente landen danach automatisch im Index.
Qualität mit Testfragen messen
Vor dem Start entsteht ein Satz echter Fragen mit erwarteter Antwort und Quelle. Jede Änderung an Dokumenten, Modell oder Einstellungen läuft gegen diese Fragen. Im Betrieb werten wir Bewertungen und unbeantwortete Fragen aus und schließen gezielt Lücken in der Wissensbasis.
Grenzen
Was ein Chatbot nicht kann
Sprachmodelle können plausibel klingende, aber falsche Antworten erzeugen. Man spricht von Halluzinationen. RAG, Quellenpflicht und die Anweisung, bei fehlenden Treffern nichts zu erfinden, senken dieses Risiko deutlich, schließen es aber nicht aus. Deshalb prüft bei folgenreichen Fragen ein Mensch die Quelle, und verbindliche Zusagen zu Preisen, Fristen oder Gewährleistung gibt der Chat nicht ab.
Ein Assistent ist nur so gut wie seine Dokumente. Widersprechen sich zwei Fassungen eines Handbuchs, kann er nicht wissen, welche gilt. Gescannte Unterlagen ohne Texterkennung, Tabellen mit verbundenen Zellen und Wissen, das nur in Köpfen steckt, brauchen Vorarbeit. Rechnen, Bestände abfragen oder Vorgänge auslösen gehört nicht in einen reinen Wissensassistenten, sondern in einen Agenten mit festgelegten Schnittstellen und Rechten.
Die Kosten hängen von Anzahl und Zustand der Dokumente, der Zahl der Quellsysteme, dem Berechtigungsmodell, der Wahl zwischen Cloud und eigener Hardware sowie vom Anfragevolumen ab. Hinzu kommen Pflege und regelmäßige Qualitätsprüfung.
Zusammenarbeit
Ein klarer Weg in den Alltag.
Fragen und Quellen sammeln
Wir sammeln echte Fragen aus Postfach, Telefon oder Team und legen fest, welche Dokumente und Systeme die Antworten liefern.
Prototyp mit Ihren Dokumenten
Ich baue einen Prototyp mit einem abgegrenzten Dokumentenbestand, Quellenangabe und Ihren Berechtigungen.
Testen und messen
Die Testfragen laufen gegen den Prototyp. Wir prüfen Treffer, Fehler und Übergaben und vereinbaren, ab welcher Qualität er eingeführt wird.
Einführen und pflegen
Einbindung in Website, Teams oder Fachanwendung, dann laufende Pflege der Wissensbasis und Auswertung der Rückmeldungen.
Vor dem Start
Gute Fragen. Klare Antworten.
Was kostet ein KI-Chatbot für Unternehmen?
Das hängt von Dokumentenmenge und Zustand, Anzahl der Quellsysteme, Berechtigungen, Hosting und Anfragevolumen ab. Ein Website-Chat mit wenigen öffentlichen Quellen ist deutlich kleiner als ein interner Assistent über SharePoint, Ticketsystem und Netzlaufwerk. Wir beginnen mit einem Prototyp, dessen Aufwand vorab vereinbart ist. Die laufenden Kosten für Modellnutzung oder Server rechne ich vorher mit Ihnen durch.
Erfindet der Chatbot Antworten?
Das Risiko lässt sich stark verringern, aber nicht vollständig ausschließen. Der Assistent antwortet nur aus gefundenen Abschnitten, nennt die Quelle und sagt, wenn er nichts findet. Testfragen vor dem Start und Stichproben im Betrieb zeigen, wie zuverlässig er bei Ihren Inhalten ist.
Wo werden unsere Daten verarbeitet?
Das entscheiden wir je nach Datenart. Für öffentliche Website-Inhalte genügt oft ein Modell mit Verarbeitung in der EU. Für interne oder vertrauliche Dokumente kann das Modell auf einem eigenen Server in Ihrem Haus laufen. Datenflüsse, Speicherfristen und Verträge werden für den konkreten Einsatz geprüft.
Muss ein Chatbot als KI gekennzeichnet werden?
Der EU AI Act verlangt, dass Menschen erfahren, wenn sie mit einem KI-System interagieren, sofern das nicht aus den Umständen offensichtlich ist. Ich kennzeichne Chats deshalb immer deutlich im Fenster und in der ersten Nachricht. Mehr zu den Pflichten steht im Ratgeber zum EU AI Act.
Welche Dokumente kann der Wissensassistent nutzen?
Übliche Formate wie PDF, Word, PowerPoint, Excel, HTML und Text sowie Inhalte aus SharePoint, Netzlaufwerk, Wiki oder Ticketsystem. Gescannte Dokumente brauchen vorher eine Texterkennung. Welche Quellen einfließen und wer sie freigibt, legen wir gemeinsam fest.
Wie aktuell sind die Antworten?
So aktuell wie der Index. Neue und geänderte Dokumente werden in einem festgelegten Rhythmus oder bei Änderung automatisch neu eingelesen. Gelöschte oder ersetzte Dokumente verschwinden dabei aus dem Index, damit der Assistent nicht aus alten Fassungen antwortet.