Ob eine RAG-Lösung taugt, lässt sich nicht am Eindruck ablesen, sondern nur messen. Dieser Beitrag beschreibt ein Prüfverfahren für Retrieval-Augmented-Generation-Systeme (RAG): Grundlage ist ein Evaluierungsdatensatz aus einem Dokument und einem abgestimmten Satz von Frage-Antwort-Paaren (QA-Paare). Daraus lassen sich Precision, Recall, Coverage und Halluzinationsrate reproduzierbar bestimmen, unabhängig vom Modellanbieter.
Ablauf im Überblick
1. Goldstandard-Fragenkatalog
Für jedes Dokument wird ein vollständiger, dokumentierter Satz an QA-Paaren entwickelt, der zur Validierung der Ergebnisse dient. Negative Sampling – das gezielte Einbringen von Fangfragen ohne Informationsgrundlage – ermöglicht die präzise Erfassung der Halluzinationsrate.
2. Segmentierung und Indexierung
Das Ausgangsdokument wird systematisch in semantisch sinnvolle Absätze zerlegt und als Embeddings im Vektorindex abgelegt. Dies entspricht exakt den Abläufen im operativen Betrieb.
3. Automatisiertes Testing
Das System beantwortet alle Recall-Fragen (abgedeckte Inhalte) und Fangfragen (Negativkontrolle).
- Recall: Anteil der tatsächlich gefundenen relevanten Antworten
- Precision: Anteil der korrekt belegten Antworten
- Hallucination Rate: Rate der unbelegten, halluzinierten Antworten
- Coverage: Vollständigkeit der erfassten Informationsbereiche
4. Automatisierter Abgleich und Scoring
Jede KI-Antwort wird maschinell mit dem Evaluierungsdatensatz abgeglichen:
- True Positives: Korrekt und belegt
- False Positives: Halluziniert, ohne belegbare Quelle
- False Negatives: Nicht beantwortet, trotz vorhandener Information
5. Audit Trail und Benchmarking
Ergebnisse werden revisionssicher dokumentiert (Audit Trail) und erlauben Benchmarking zwischen Systemen oder Systemständen – entscheidend für Compliance, interne Qualitätssicherung und externe Nachweispflichten.
Was das Verfahren liefert
- Eine gemessene Halluzinationsrate statt einer Vermutung, erhoben über Fangfragen ohne Informationsgrundlage
- Prüfung auf Basis eines Evaluierungsdatensatzes – industriebewährt, regulatorisch anschlussfähig und herstellerunabhängig
- Detaillierte Kennzahlen (Precision, Recall, Coverage, Hallucination Rate) für strategische Steuerung
- Auditierbare Ergebnisse – jeder Testlauf bleibt nachvollziehbar
- Transparenz für Entscheider, IT und Aufsichtsbehörden
- Objektive Grundlage für Systemauswahl, Optimierung und Compliance-Reports
Fazit
Ein solches Verfahren macht die Leistung einer RAG-Lösung belegbar statt behauptbar. Es liefert die Grundlage, um über Systemauswahl, Nachbesserung oder Abbruch zu entscheiden.
Eine solche Prüfung lässt sich als abgegrenztes Vorhaben mit festem Abnahmekriterium zuschneiden. Wie IDEAL-X das aufsetzt, steht auf der Seite zu den Proof-Sprints.