Überzeugend falsch: Warum Sprachmodelle halluzinieren — und was eine RAG-Wissensdatenbank dagegen leistet

Ein Sprachmodell, das eine Rückstellungsfrage beantwortet, klingt in der Regel ausgezeichnet: sauberer Normbezug, korrekte Terminologie, ein BFH-Aktenzeichen im richtigen Format. Das Problem ist nicht, dass solche Systeme Fehler machen — Fehler macht jedes Werkzeug. Das Problem ist, wie sie Fehler machen: flüssig, selbstsicher und in einer Form, die von einer richtigen Antwort äußerlich nicht zu unterscheiden ist. Für einen Berufsstand, dessen Arbeitsprodukt aus belegbaren Aussagen besteht, ist genau diese Fehlerform die gefährlichste.

Dieser Beitrag erklärt, was Halluzinationen sind und warum sie kein Kinderkrankheits-Phänomen sind, das die nächste Modellgeneration erledigt. Er erklärt, was sich hinter dem Kürzel RAG verbirgt und was eine angebundene Wissensdatenbank tatsächlich ändert. Und er geht auf den Punkt ein, der in der Diskussion meist zu kurz kommt: Eine Datenbank anzuschließen ist der leichte Teil. Ob das Ergebnis trägt, entscheidet sich am Workflow drumherum.

Was Halluzinationen sind — und warum sie sich nicht wegpatchen lassen

Als Halluzination bezeichnet man eine Ausgabe, die plausibel klingt, aber sachlich falsch oder frei erfunden ist: ein Urteil, das es nie gab, ein Paragraf mit erdachtem Inhalt, eine „herrschende Meinung”, die keine ist.

Um zu verstehen, warum das passiert, hilft ein Blick auf die Funktionsweise. Ein Sprachmodell ist kein Nachschlagewerk mit Abfragelogik, sondern ein Wahrscheinlichkeitsmodell über Sprache: Es setzt Texte so fort, wie plausible Texte seiner Trainingsdaten fortgesetzt wurden. Das erklärt die beeindruckende Sprachbeherrschung — und zugleich die Schwäche. Das Modell hat keinen eingebauten Unterschied zwischen „das habe ich belegt gesehen” und „das klingt so, wie einschlägige Texte klingen”. Wo Wissen fehlt, entsteht kein Fehlerhinweis, sondern die wahrscheinlichste Fortsetzung: eine Antwort, die genauso aussieht wie eine richtige.

Juristische Inhalte sind dafür der ungünstigste denkbare Anwendungsfall, aus drei Gründen:

• Die Form ist lernbar, der Inhalt nicht. Wie ein BFH-Aktenzeichen aufgebaut ist, wie man einen Absatz zitiert, wie ein Leitsatz klingt — das alles hat ein Modell tausendfach gesehen und reproduziert es fehlerfrei. Ob es das Urteil zu diesem Aktenzeichen gibt, steht auf einem anderen Blatt. Die perfekte Zitierform erzeugt Vertrauen, das der Inhalt nicht deckt.
• Plausibilität verdeckt den Fehler. Eine erfundene Fundstelle fällt einem Laien gar nicht und einem Profi nur beim Nachschlagen auf. Genau das Nachschlagen aber will man sich mit dem Werkzeug ja sparen.
• Recht ist Verteilungsrand. Sprachmodelle sind dort stark, wo die Trainingsdaten dicht sind. Spezialfragen des deutschen Bilanz- und Steuerrechts sind — gemessen am Gesamtbestand des Internets — ein Nischenthema. Dünne Datenlage heißt: mehr Lücken, die das Modell mit Plausiblem füllt.

Eine methodische Vorbemerkung, bevor Zahlen fallen: Dass ein Sprachmodell ohne Wissensanbindung überhaupt keine belegbare Aussage treffen kann, ist eine Eigenschaft der Funktionsweise und gilt allgemein. Wie oft das im Ergebnis zu falschen Aussagen führt, ist dagegen keine Konstante — die Quote hängt am Modell, am Rechtsgebiet, an der Fragestellung und daran, wie eine Untersuchung „Halluzination” überhaupt definiert und misst. Die folgenden Zahlen sind deshalb Belege dafür, dass das Problem real und groß ist, und keine Fehlerquote, die man auf ein bestimmtes Werkzeug oder auf deutsche Bilanzrechtsfragen übertragen könnte.

Dass das keine theoretische Sorge ist, ist inzwischen gut dokumentiert. Bekannt wurde 2023 der Fall Mata v. Avianca vor einem New Yorker Bundesgericht: Ein Schriftsatz stützte sich auf mehrere Entscheidungen, die ein Chatbot vollständig erfunden hatte — inklusive Aktenzeichen und Zitaten; die beteiligten Anwälte wurden sanktioniert. Vergleichbare Fälle sind seither aus mehreren Rechtsordnungen dokumentiert.

Systematischer hat es eine Stanford-Untersuchung aus dem Jahr 2024 vermessen (Dahl u. a., „Large Legal Fictions”): Bei eigens konstruierten Fragen zum US-amerikanischen Recht halluzinierten die damals untersuchten allgemeinen Sprachmodelle je nach Modell und Aufgabentyp in der Größenordnung von rund 58 bis 88 Prozent der Testfragen. Die Spanne ist breit, weil sie unterschiedliche Modelle und unterschiedlich schwere Aufgabentypen zusammenfasst — von einfachen Fragen zu bekannten Entscheidungen bis zu solchen, die auf nicht existierende Sachverhalte zielten. Die Modelle jener Generation sind heute überholt; die Mechanik, die die Fehler erzeugt, ist es nicht.

Zwei verbreitete Beruhigungen halten der Prüfung nicht stand. Die erste: „Das Modell warnt doch selbst, wenn es unsicher ist.” Tut es nicht zuverlässig — der selbstsichere Ton einer Antwort sagt über ihre Richtigkeit praktisch nichts aus. Die zweite: „Die nächste Modellgeneration löst das.” Neuere und größere Modelle halluzinieren messbar seltener, aber der Mechanismus bleibt derselbe. Und die verbleibenden Fehler werden nicht harmloser, sondern schwerer erkennbar, weil alles andere immer besser wird.

Das Redaktionsschluss-Problem

Zur Erfindungsneigung kommt ein zweites, oft übersehenes Problem: Ein Sprachmodell hat einen Wissensstand, keinen Rechtsstand. Sein „Wissen” ist der Zustand seiner Trainingsdaten zu einem Stichtag — und es vermischt beim Antworten munter die Zeitschichten, die es gesehen hat: alte und neue Gesetzesfassungen, aufgehobene Normen, überholte Rechtsprechung.

Für die Prüfungspraxis ist das gravierender als die erfundene Fundstelle, weil es subtiler ist. Eine Antwort auf Basis einer Vorfassung ist nicht erfunden — sie war einmal richtig. Wer etwa zur Nummerierung von Vorschriften recherchiert, die in den letzten Jahren umgegliedert wurden, oder zu Schwellenwerten, die turnusmäßig angepasst werden, bekommt vom ungestützten Modell mit einiger Wahrscheinlichkeit den Stand von vorgestern — vorgetragen im Ton von heute.

Was Retrieval-Augmented Generation ist

RAG steht für Retrieval-Augmented Generation, sinngemäß: Antworten mit vorgeschaltetem Nachschlagen. Die Idee ist einfach und lässt sich in drei Schritten beschreiben:

1. Retrieval: Zur gestellten Frage sucht das System zunächst passende Dokumente — nicht im Internet, sondern in einem definierten Bestand, etwa einer kuratierten Sammlung von Gesetzen, Rechtsprechung und Verwaltungsanweisungen. Diesen Bestand nennt man Korpus.
2. Augmentation: Die gefundenen Textstellen werden dem Sprachmodell zusammen mit der Frage übergeben — als Arbeitsgrundlage, auf die es seine Antwort stützen soll.
3. Generation: Das Modell formuliert die Antwort aus diesen Quellen — und kann sie belegen, weil die Fundstellen Teil seiner Arbeitsgrundlage waren.

Das Bild dazu kennt jeder Berufsträger: Man würde einem Berufsanfänger nicht glauben, der Fundstellen aus dem Gedächtnis zitiert. Man schickt ihn in die Bibliothek und lässt ihn mit der Quelle wiederkommen. RAG ist nichts anderes — die Trennung von Sprachvermögen und Wissensbestand. Das Modell liefert, was es wirklich kann: lesen, zusammenfassen, formulieren. Das Wissen kommt aus einem Bestand, der kontrolliert, geprüft und aktualisiert werden kann.

Drei Dinge ändern sich damit grundlegend:

• Prüfbarkeit. Eine Antwort mit Fundstelle lässt sich in Sekunden verifizieren oder verwerfen. Eine Antwort ohne Fundstelle lässt sich nur glauben — und Glauben ist im Prüfungswesen keine Kategorie.
• Aktualität. Ändert sich ein Gesetz, wird das Dokument im Korpus ausgetauscht. Das Modell muss dafür nicht neu trainiert werden; der Rechtsstand hängt am gepflegten Bestand, nicht am Trainings-Stichtag.
• Quellenkontrolle. Im Korpus liegt, was hineingelegt wurde — im besten Fall Primärquellen: Gesetzestexte, Entscheidungen, BMF-Schreiben. Nicht SEO-Texte, nicht Forenbeiträge, nicht die Zusammenfassung einer Zusammenfassung.

Warum die Datenbank allein nicht reicht

Wäre damit alles gelöst, endete der Beitrag hier. Tatsächlich hat dieselbe Stanford-Gruppe 2024 in einer Folgeuntersuchung kommerzielle juristische Recherchewerkzeuge geprüft, die bereits mit angebundenen Rechtsdatenbanken arbeiten — also RAG einsetzen (Magesh u. a., „Hallucination-Free?“). Das Ergebnis: deutlich besser als ungestützte Modelle, aber je nach Produkt immer noch Halluzinationen in größenordnungsmäßig 17 bis 33 Prozent der Antworten.

Auch diese Zahlen gelten für konkrete Produkte des US-Marktes, für US-amerikanische Rechtsfragen und für die von den Autoren gewählte Definition einer Halluzination (unter anderem einschließlich falsch begründeter Antworten, nicht nur erfundener Fundstellen); die Anbieter haben ihnen teilweise widersprochen. Übertragbar ist deshalb nicht die Prozentzahl, sondern der qualitative Befund: Eine angebundene Datenbank senkt die Fehlerquote deutlich, aber sie beseitigt das Problem nicht.

Die Lehre daraus ist nicht „RAG funktioniert nicht”. Die Lehre ist: RAG ist kein Schalter, sondern eine Architekturentscheidung — und zwischen einer angeschlossenen Datenbank und einem verlässlichen Arbeitsablauf liegt Ingenieursarbeit. Fünf Punkte entscheiden darüber, ob ein RAG-System hält, was das Kürzel verspricht.

Erstens: Die Suche muss Einschlägiges finden, nicht Ähnliches. Standard-RAG sucht semantisch — nach inhaltlicher Ähnlichkeit. Das ist stark bei offen formulierten Fragen („Wann ist eine Drohverlustrückstellung zu bilden?“) und erstaunlich schwach bei präzisen Verweisen: Wer nach § 252 HGB fragt, dem hilft ein „ähnlicher” Paragraf nicht — er braucht genau diesen, und bei einer Aufzählung mehrerer Normen jede einzelne. Gute Systeme behandeln ausdrücklich genannte Paragrafen und Aktenzeichen deshalb als das, was sie sind: exakte Nachschlage-Aufträge, nicht Suchanregungen. Findet die Suche die einschlägige Quelle nicht, passiert nämlich das Tückischste, was einem RAG-System passieren kann: Das Modell antwortet trotzdem — aus dem Gedächtnis, aber im Gewand der gestützten Antwort.

Zweitens: Lücken müssen sichtbar sein, nicht überspielt. Kein Korpus ist vollständig. Es gibt Lizenzgrenzen (kommerzielle Verlagsinhalte und Standards etwa lassen sich nicht frei einlagern), es gibt zeitliche Grenzen der digital verfügbaren Rechtsprechung, es gibt schlicht Fragen, zu denen die Primärquellen schweigen. Entscheidend ist, was das System dann tut. Das schlechte Verhalten: schweigend auf Trainingswissen umschalten und weiter zitieren. Das gute Verhalten: die Lücke benennen — kenntlich machen, welche Aussage auf einer Quelle im Bestand beruht und welche auf allgemeinem Modellwissen, und offenlegen, wenn ein gesuchtes Urteil im Bestand nicht vorhanden ist. Ein System, das seine eigenen Grenzen kennt und ausspricht, ist mehr wert als eines, das Vollständigkeit vortäuscht.

Drittens: Die Fundstelle muss den Beleg tragen, nicht schmücken. Auch mit RAG kann ein Modell eine Quelle zitieren, die es gar nicht erhalten hat — die Zitierform ist schließlich gelernt. Robuste Systeme prüfen deshalb auf der Antwortseite nach: Deckt sich jede zitierte Quelle mit dem, was tatsächlich aus dem Korpus abgerufen wurde? Und sie machen die Fundstelle anklickbar, sodass der Weg von der Behauptung zum Volltext ein einziger Schritt ist. Eine Quellenangabe, die man nicht öffnen kann, ist Dekoration.

Viertens: Aktualität ist ein Prozess, keine Produkteigenschaft. Der Vorteil „Korpus statt Trainings-Stichtag” trägt nur, wenn der Korpus tatsächlich nachgeführt wird — neue BMF-Schreiben, neue Entscheidungen, geänderte Gesetzesfassungen, automatisch und laufend. Ein Korpus mit Stand von vor zwei Jahren reproduziert genau das Redaktionsschluss-Problem, das er lösen sollte, nur eine Etage höher.

Fünftens: Der Prüfer bleibt der Prüfer. Auch die beste Retrieval-Architektur ändert nichts an § 43 WPO: Die Würdigung ist Sache des Berufsträgers, KI-Ausgaben sind Entwürfe. Was ein gutes RAG-System ändert, ist der Preis dieser Würdigung. Ohne Fundstelle heißt „prüfen”: selbst recherchieren, also die Arbeit doppelt machen. Mit Fundstelle heißt „prüfen”: die genannte Quelle öffnen und lesen. Das ist der eigentliche Gewinn — nicht, dass man der Maschine mehr glauben darf, sondern dass Misstrauen billig wird.

Andere Ansätze — und warum sie das Problem nicht lösen

Der Vollständigkeit halber: RAG ist nicht der einzige diskutierte Weg, aber für Rechtsfragen der überzeugendste.

Feintuning — das Nachtrainieren eines Modells auf Fachtexten — backt Wissen in die Modellgewichte ein. Damit erbt es beide Grundprobleme: Der Stand ist bei jeder Rechtsänderung veraltet, bis erneut trainiert wird, und belegen kann das Modell seine Aussagen weiterhin nicht, weil das Wissen unauflösbar im Modell verschmolzen ist statt als zitierfähiges Dokument vorzuliegen.

Einfach das größte Modell nehmen senkt die Fehlerquote, ändert aber den Mechanismus nicht — und ersetzt vor allem die Fundstelle nicht. Eine unbelegbare Antwort bleibt unbelegbar, auch wenn sie häufiger stimmt.

Freie Websuche gibt dem Modell zwar aktuelle Informationen, aber aus einem unkontrollierten Bestand: Anwalts-Marketing, veraltete Ratgeber, Foren — die Trefferliste einer Suchmaschine ist kein kuratierter Rechtsstand. Für die Arbeit mit Mandatsbezug kommt hinzu, dass Anfragen an externe Suchdienste ein eigenes Vertraulichkeitsthema aufmachen.

Woran Sie ein gut gebautes System erkennen

Aus dem Gesagten ergibt sich eine kurze Prüfliste — Fragen, die man einem Anbieter stellen sollte, bevor Fachantworten aus einem KI-Werkzeug in die eigene Arbeit einfließen:

• Woher stammen die Antworten — aus einem definierten Korpus mit benennbaren Quellen oder „aus dem Modell”?
• Welche Quellen liegen im Korpus, welche fehlen — und sagt das System es, wenn es zu einer Frage keine Quelle hat?
• Wird zwischen quellengestützten Aussagen und allgemeinem Modellwissen sichtbar unterschieden?
• Was passiert, wenn ich einen Paragrafen oder ein Aktenzeichen ausdrücklich nenne — wird exakt diese Quelle nachgeschlagen?
• Kann ich jede Fundstelle mit einem Klick im Volltext öffnen?
• Wie und wie oft wird der Korpus aktualisiert?
• Bleibt jede Ausgabe erkennbar ein Entwurf, über den ich entscheide?

Klare Antworten auf diese Fragen sind ein gutes Zeichen dafür, dass ein Werkzeug für die Prüfungspraxis konzipiert wurde — ein Nachweis der Ergebnisqualität sind sie nicht, den liefert erst die eigene Erprobung an Fragen, deren Antwort man kennt. Ausweichende Antworten sind dagegen schon für sich genommen ein Befund.

Fazit

Halluzinationen sind keine Panne, die eine Fehlerbehebung beseitigt, sondern — technisch vereinfacht gesagt — eine Folge der Funktionsweise generativer Modelle, mit der man konstruktiv umgehen muss. Eine RAG-Wissensdatenbank ist dafür das richtige Fundament: Sie trennt das Sprachvermögen des Modells vom Wissensbestand, macht Antworten prüfbar und den Rechtsstand pflegbar. Aber sie ist ein Fundament, kein Gebäude — ob am Ende Verlässlichkeit entsteht, entscheidet der Workflow: exaktes Nachschlagen genannter Quellen, benannte statt überspielter Lücken, klickbare Fundstellen, gepflegter Bestand und ein Prüfer, der das letzte Wort behält.

Die richtige Frage an ein KI-Werkzeug lautet deshalb nicht: „Kann es halluzinieren?” Bei jedem heute verfügbaren generativen System lautet die Antwort darauf nach dem Stand der Technik: ja, grundsätzlich schon — das ist der Punkt, an dem die Frage aufhört, nützlich zu sein. Die weiterführende Frage lautet: „Wie schnell würde ich es merken?” Bei einem gut gebauten System ist die Antwort: beim ersten Klick auf die Fundstelle.

Quellen

• Matthew Dahl, Varun Magesh, Mirac Suzgun, Daniel E. Ho, „Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models”, Journal of Legal Analysis 16 (2024), S. 64–93 — Untersuchung allgemeiner Sprachmodelle an US-amerikanischen Rechtsfragen. Preprint: arXiv:2401.01301.
• Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning, Daniel E. Ho, „Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools” (2024), Stanford RegLab / HAI — Untersuchung kommerzieller RAG-gestützter Rechercheprodukte des US-Marktes. Preprint: arXiv:2405.20362.
• Mata v. Avianca, Inc., No. 22-cv-1461 (S.D.N.Y. 2023) — Sanktionsbeschluss wegen erfundener Fundstellen in einem Schriftsatz.
• § 43 WPO — Eigenverantwortliche Berufsausübung. Abruf: 5. August 2026.
• Verordnung (EU) 2024/1689 (KI-VO) in der durch die Verordnung (EU) 2026/1744 geänderten Fassung. Abruf: 5. August 2026.

---

Dieser Beitrag gibt den Rechtsstand 5. August 2026 wieder und dient der allgemeinen Information. Er ersetzt keine Rechtsberatung im Einzelfall. Die genannten Prozentwerte beziehen sich auf die jeweils untersuchten Modelle beziehungsweise Produkte, auf US-amerikanische Rechtsfragen und auf die Messbedingungen der zitierten Untersuchungen.