RAG

Was RAG bedeutet

RAG steht für Retrieval Augmented Generation, also Abruf und Ergänzung vor der Textproduktion. Der Ablauf hat drei Schritte. Zuerst wird die Frage des Nutzers in eine Zahlenfolge umgerechnet, ein sogenanntes Embedding. Dann sucht das System in eigenen Quellen die Textstellen, die dieser Frage am nächsten liegen. Diese Stellen werden schließlich zusammen mit der Frage an das Sprachmodell gegeben, das daraus die Antwort formuliert.

Der entscheidende Punkt ist, dass das Modell nichts lernt. Es bekommt die relevanten Stellen für diesen einen Durchgang mitgeliefert, so wie ein Prüfer einem Kandidaten eine Textseite reicht, bevor er eine Frage stellt. Deshalb kann eine Angabe geändert werden, indem das Dokument geändert wird, und nicht durch ein neues Training.

Warum das für Betriebswissen besser passt

Ein Training verändert das Modell dauerhaft und ist bei jeder Korrektur erneut nötig. Es braucht viele Beispiele, verursacht Kosten und lässt sich schwer nachvollziehen. RAG trennt dagegen Wissen und Sprache: Das Wissen liegt in der Quelle, die Sprache kommt aus dem Modell. Für Preise, Prozesse, Richtlinien und Produktdaten ist das die passende Aufteilung, weil sich Angaben ändern und ihre Herkunft nachvollziehbar bleiben soll.

Ein zweiter Vorteil ist die Nachprüfbarkeit. Weil das System die verwendeten Stellen kennt, kann es sie mitliefern. Eine Antwort mit Quelle lässt sich kontrollieren, eine Antwort ohne Quelle nicht.

Wie eine Wissensbasis gepflegt wird

• Zerlegen: Lange Dokumente werden in Abschnitte geteilt, weil ein Abschnitt die Sucheinheit ist. Zu große Abschnitte verwässern die Suche, zu kleine verlieren den Zusammenhang.
• Anreichern: Überschriften, Produktgruppen und Gültigkeitsdaten gehören an den Abschnitt, sonst findet die Suche Text ohne Kontext.
• Aktualisieren: Veraltete Abschnitte müssen verschwinden. Eine Wissensbasis mit zwei Wahrheiten liefert beide und damit Widersprüche.
• Rechte beachten: Personalakten und vertrauliche Verträge gehören nicht in dieselbe Basis wie öffentliche Produktdaten.

Wo es scheitert

Die meisten Enttäuschungen entstehen nicht am Modell, sondern am Abruf. Enthält die Wissensbasis die passende Stelle nicht, kann die Antwort nur falsch sein. Wird zu viel abgerufen, verliert das Modell den Bezug und mischt. Und wird nach Wortgleichheit gesucht statt nach Bedeutung, findet das System die Stelle nicht, die dieselbe Sache anders formuliert. Ein Test mit echten Fragen aus dem Tagesgeschäft zeigt diese Schwächen schneller als jede technische Prüfung.

Häufige Fragen

• Brauche ich eine Vektordatenbank? Für kleine Bestände genügt eine Datei mit Einträgen. Ab einigen tausend Abschnitten wird eine passende Datenbank sinnvoll.
• Versteht RAG meine internen Fachbegriffe? Nur wenn sie in den Quellen stehen oder in der Suche berücksichtigt werden.
• Reicht RAG allein? Nein, es braucht eine gepflegte Quelle. Die Qualität der Antwort folgt der Qualität der Wissensbasis.