Chunking erklärt: Wie du Dokumente für die KI-Suche zerlegst

Ein Servicetechniker fragt den Assistenten, mit welchem Drehmoment er die Lagerschrauben einer P-200-E anzieht. Der Assistent antwortet: 45 Nm. Das ist die Regel im Servicehandbuch, und sie ist für die Edelstahlvariante falsch. Zwei Sätze später steht dort die Ausnahme: 32 Nm, weil das Gewinde sonst ausreißt. Die Suche hatte nur den ersten Satz gefunden. Die Ausnahme lag in einem anderen Stück Text und kam nie beim Modell an.

Das ist der zweite Teil der Reihe über RAG. Es geht um das Chunking, also darum, wie Dokumente für die Suche zerlegt werden. Im ersten Teil ging es darum, warum ein Assistent überhaupt erst suchen muss.

Warum du das brauchst

Ein Servicehandbuch mit 40 Seiten passt weder sinnvoll in einen einzigen Suchvektor noch in den Prompt. Ein einziger Vektor für den ganzen Text bildet viele Themen auf einmal ab und ist oft zu unscharf für eine konkrete Frage. Dazu kommt die maximale Eingabelänge der Embedding-Modelle. Und das Modell soll nicht 40 Seiten lesen, um ein Drehmoment zu finden. Deshalb wird jedes Dokument in Chunks zerlegt, die einzeln indexiert und einzeln gefunden werden.

Das klingt nach Handwerk, hat aber großen Einfluss. Chunks bestimmen, was die Suche überhaupt zurückgeben kann. Schneidest du an der falschen Stelle, trennst du eine Regel von ihrer Ausnahme, und das Modell antwortet sicher, aber unvollständig. Dieser Fehler fällt im Test leicht durch, weil die Antwort fachlich klingt.

Wie es funktioniert

Ein gängiger Startwert sind rund 500 Tokens pro Chunk, Azure AI Search nennt 512 Tokens bei 25 Prozent Überlappung als Ausgangspunkt. Den besten Wert findest du nur durch Ausprobieren an deinen Dokumenten. Die einfachste Methode schneidet nach fester Länge. Damit ein Satz an der Grenze nicht seinen Zusammenhang verliert, überlappen benachbarte Chunks um ein Stück Text: Das Ende des einen Chunks ist der Anfang des nächsten.

Besser als stur nach Länge zu schneiden ist es, Strukturgrenzen zu nutzen: Überschriften, Absätze, Tabellenzeilen. Ein Abschnitt, der zusammengehört, bleibt dann auch zusammen. Und noch ein Trick, der helfen kann: Hänge die Überschrift des Abschnitts als Präfix an jeden Chunk. Ein Chunk aus der Mitte des Handbuchs weiß sonst nicht, dass er zum Lagerwechsel der P-200 gehört.

Im Labor siehst du einen Abschnitt aus dem Servicehandbuch mit 75 Wörtern. Die Regel „45 Nm“ steht früh, die Ausnahme „32 Nm“ für die Edelstahlvariante ein paar Sätze später. Mit den Standardwerten, 40 Wörter Größe und 5 Wörter Überlappung, entstehen zwei Chunks, und Regel und Ausnahme liegen im selben. Zieh dann die Größe auf 12 Wörter. Aus dem Text werden zehn Chunks, und die beiden Angaben landen in verschiedenen. Die Statuszeile zeigt dir das, die Wörter in der Überlappung sind gestrichelt unterstrichen.

Worauf du achten solltest

• An Struktur schneiden, nicht nur nach Länge. Überschriften, Absätze und Tabellenzeilen sind natürliche Grenzen. Eine Tabellenzeile mittendrin zu zerreißen, macht beide Hälften oft unbrauchbar.
• Überschrift als Präfix. Jeder Chunk sollte wissen, zu welchem Abschnitt und welchem Dokument er gehört.
• Überlappung maßvoll einsetzen. Azure AI Search nennt als Spanne 10 bis 25 Prozent der Chunk-Länge, im Labor sind es nur wenige Wörter, damit du sie siehst. Zu viel Überlappung bläht den Index auf und liefert fast doppelte Treffer.
• Größe ist ein Kompromiss. Große Chunks halten Zusammenhänge zusammen, werden aber unschärfer und füllen den Prompt. Kleine Chunks treffen genauer, reißen aber Regel und Ausnahme eher auseinander. Das Labor zeigt beide Seiten.
• Metadaten mitführen. Zu jedem Chunk gehören Dokument, Abschnitt, Baureihe und Gültigkeit. Damit kannst du später filtern und in der Antwort die Quelle nennen.
• Mit echten Fragen testen. Nimm Fragen, deren Antwort aus zwei Stellen eines Dokuments besteht, und prüfe, ob beide im Prompt landen. Wie du das messbar machst, kommt im letzten Teil des RAG-Blocks.

Fazit

Chunking entscheidet, welche Stücke die Suche finden kann. Wer Regel und Ausnahme trennt, bekommt Antworten, die richtig klingen und es nicht sind. Schneide an der Struktur des Dokuments, gib jedem Chunk seine Überschrift mit und prüfe mit Fragen, die zwei Stellen brauchen. Im nächsten Teil geht es darum, wie aus den Chunks Zahlen werden, mit denen eine Suche versteht, was gemeint ist: Embeddings erklärt.

Quellen

• Microsoft: Chunk documents (Azure AI Search) (2026), Startwerte 512 Tokens und 25 Prozent Überlappung, Überschrift als Zusatz für Chunks aus der Mitte eines Dokuments, Eingabelimit der Embedding-Modelle
• Microsoft: Develop a RAG Solution on Azure, Chunking Phase (2026), Chunking als Voraussetzung für RAG, Nachteile zu großer und zu kleiner Chunks, Layout-Analyse für Tabellen
• Liu et al.: Lost in the Middle: How Language Models Use Long Contexts (2023), Leistung sinkt oft, wenn relevante Information in der Mitte eines langen Kontexts steht