RAG erklärt: Warum ein KI-Assistent erst suchen muss

Ein Servicetechniker steht vor einer P-200, die Steuerung meldet E-217. Er fragt den KI-Assistenten, was das bedeutet, und bekommt eine saubere Antwort: Überlastung des Motors, Stromaufnahme und Motorschutzschalter prüfen. Klingt fachlich, ist erfunden. Der Code meldet in Wahrheit, dass der Druck auf der Saugseite unter 0,3 bar gefallen ist, und die Ursache ist meist ein verstopfter Saugfilter. Der Techniker sucht jetzt am falschen Bauteil.

Dagegen hilft RAG, Retrieval-Augmented Generation. Dieser Beitrag ist der Auftakt einer Reihe: sechs Teile über RAG, danach fünf über das Model Context Protocol (MCP) und zum Schluss ein Selbsttest. Jeder Teil hat ein Labor, ein kurzes Quiz und ein Video. Als Beispiel dient durchgehend die Serviceabteilung eines Pumpenherstellers. Firma und Daten sind erfunden, die Fragen sind echt.

Warum du das brauchst

Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Dein Servicehandbuch, die Liste der Störcodes und die Gewährleistungsregeln gehören nicht dazu. Fragst du trotzdem danach, kann das Modell statt „weiß ich nicht“ eine Antwort formulieren, die plausibel klingt, und die Details erfinden. Das nennt man Halluzination. Im Unternehmen ist sie gefährlicher als eine fehlende Antwort, weil sie überzeugt. Ein falsches Anzugsmoment landet nicht im Chat, sondern an der Pumpe.

Der naheliegende Ausweg: alle Dokumente in den Prompt kopieren. Bei drei Seiten geht das. Bei dreitausend ist es zu teuer und zu langsam, und Modelle nutzen Informationen aus der Mitte eines langen Kontexts oft schlechter als solche am Anfang oder am Ende. RAG macht es anders. Zu jeder Frage wird zuerst nach den wenigen passenden Textstellen gesucht, und nur diese gehen mit der Frage an das Modell. Das Modell formuliert die Antwort und kann die Quelle dazu nennen. Den Begriff hat 2020 ein Forschungsteam um Patrick Lewis geprägt: Es kombinierte ein Sprachmodell mit einem Vektorindex über Wikipedia, um Antworten belegen und Wissen aktualisieren zu können.

Probier es aus. Das Labor stellt dieselbe Frage zweimal, einmal ohne und einmal mit RAG. Achte besonders auf die erste Frage zu den Lagerschrauben der P-200-E: Ohne Quelle nennt der Assistent 45 Nm, mit dem Handbuch im Prompt 32 Nm. Die Ausnahme steht nur im Handbuch.

Wie es funktioniert

RAG besteht aus zwei Abläufen, und es lohnt sich, sie auseinanderzuhalten.

Die Indexierung läuft einmal und danach bei jeder Änderung an den Dokumenten. Die Dokumente werden eingelesen, in Abschnitte zerlegt (Chunking), jeder Abschnitt wird in einen Vektor übersetzt (Embedding) und alles landet in einem durchsuchbaren Index.

Die Abfrage läuft bei jeder Frage. Die Suche (Retrieval) holt Kandidaten, ein Reranker sortiert sie neu, die besten gehen in den Prompt, und das Modell formuliert die Antwort (Generation).

Faustregel: Die Qualität eines RAG-Systems hängt stark an der Suche. Was nicht gefunden wird, kann das Modell nicht verwenden.

Klick im Labor durch alle acht Schritte. Du siehst bei jedem, was hineingeht und was herauskommt. Jeder dieser Schritte bekommt in der Reihe einen eigenen Beitrag, einige sogar ein eigenes Labor.

Worauf du achten solltest

• Quellenangabe verlangen. Die Systemanweisung sollte das Modell anweisen, nur anhand der Quellen zu antworten, die verwendete Quelle in eckigen Klammern zu nennen und zu sagen, wenn die Quellen nicht reichen. Nur dann kannst du eine Antwort nachprüfen.
• Nicht jede Frage ist eine RAG-Frage. RAG lohnt sich, wenn Wissen in vielen Texten steckt, sich ändert und belegt werden soll: Servicehandbücher, Störcode-Listen, Wissensdatenbanken. Passt alles Relevante auf ein paar Seiten, gib es direkt in den Prompt. Für strukturierte Daten wie Aufträge oder Bestände fragt der Assistent besser das System selbst ab, dazu mehr im MCP-Teil der Reihe.
• Die Suche ist der Engpass. Wenn eine Antwort falsch ist, schau zuerst, was im Prompt stand, bevor du am Modell zweifelst.

Fazit

RAG ersetzt kein Wissen im Modell, es bringt das richtige Wissen zur richtigen Zeit in den Prompt. Das Modell bleibt, was es ist: ein guter Formulierer. Die Arbeit steckt darin, die richtige Stelle zu finden. Der nächste Teil beginnt vorne in der Indexierung und fragt, wie du Dokumente so zerlegst, dass eine Regel und ihre Ausnahme zusammenbleiben: Chunking erklärt.

Quellen

• Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020), Ursprung des Begriffs RAG: Sprachmodell kombiniert mit einem Vektorindex als externem Wissensspeicher
• Liu et al.: Lost in the Middle: How Language Models Use Long Contexts (2023), Leistung sinkt oft, wenn relevante Information in der Mitte eines langen Kontexts steht
• Microsoft: Develop a RAG Solution on Azure, Chunking Phase (2026), Zu große Chunks und unpassende Informationen im Prompt verteuern die Anfrage und können zu ungenauen Antworten führen