RAG: Wie lokale KI mit Ihren Dokumenten arbeitet.

Warum ein Sprachmodell interne Verträge nicht von selbst kennt

Ein Sprachmodell wurde auf öffentlich verfügbaren Texten trainiert. Ihre internen Verträge, Handbücher oder Protokolle gehören nicht dazu. Ohne Zugriff auf diese Dokumente kann es dazu nur raten — oder es sagt im besten Fall, dass es die Antwort nicht kennt.

Die fünf RAG-Schritte

1. Verbindung: freigegebene Quellen werden angebunden.
2. Aufbereitung: Dokumente werden extrahiert, ggf. per OCR erfasst und in Abschnitte zerlegt.
3. Index: Abschnitte werden durchsuchbar gespeichert, oft als Vektoren.
4. Berechtigungssuche: zu einer Frage werden nur Abschnitte gefunden, die der Nutzer sehen darf.
5. Quellenantwort: das Modell formuliert eine Antwort und verweist auf die Quellen.

Warum RAG kein klassisches Modelltraining ist

Beim Training werden die Gewichte des Modells verändert. Bei RAG bleibt das Modell unverändert; es erhält bei jeder Anfrage nur die passenden Textabschnitte als Kontext. Dokumente lassen sich deshalb aktualisieren oder entfernen, ohne das Modell neu zu trainieren.

Wie Berechtigungen übernommen werden müssen

Das Zielprinzip lautet: Ein Nutzer darf über die KI nicht mehr sehen als im Quellsystem. Dafür müssen Zugriffsrechte beim Indexieren mitgeführt und bei jeder Suche geprüft werden. Dieses Verhalten wird je Integration getestet.

Wie man Qualität misst

• Auffindbarkeit: Werden die richtigen Abschnitte gefunden?
• Quellenrichtigkeit: Stützen die Quellen die Antwort?
• No-answer: Sagt das System ehrlich, wenn es nichts findet?
• Dokumentfrische: Sind die Inhalte aktuell?
• Latenz: Wie schnell kommt die Antwort?

Grenzen und Risiken

• Halluzinationen werden reduziert, aber nicht ausgeschlossen.
• Schlecht gescannte PDFs liefern schlechte Ergebnisse.
• Veraltete Dokumente führen zu veralteten Antworten.
• Prompt Injection: Manipulierte Inhalte in Dokumenten können das Modell beeinflussen und müssen berücksichtigt werden.

Wann ein RAG-Pilot sinnvoll ist

Wenn es eine klar umrissene Dokumentensammlung gibt, Mitarbeitende regelmäßig darin suchen und die Berechtigungen sauber gepflegt sind. Mehr dazu: Unternehmenswissen mit lokaler KI · Pilot anfragen