Reranking erklärt: Wie die besten Treffer in den Prompt kommen

Ein Servicetechniker tippt: „Techniker zum Kunden schicken“. Der Assistent findet zwei passende Artikel. Der erste beschreibt die Fernwartung: VPN-Zugang zur Steuerung, Freigabe durch den Betreiber. Der zweite beschreibt den Einsatz vor Ort: Die Disposition plant, beim Betreiber ist eine Sicherheitsunterweisung Pflicht. Gemeint war der zweite, aber der erste steht vorn, weil in ihm die Wörter „Techniker“ und „Kunden“ vorkommen.

Das ist der fünfte Teil der Reihe über RAG. Nach der Hybrid Search geht es um den Schritt, der aus einer ordentlichen Kandidatenliste eine gute Auswahl macht: Reranking.

Warum du das brauchst

Die erste Suche muss schnell sein, weil sie über den ganzen Index läuft. Deshalb ist sie grob: Frage und Chunk werden getrennt in Vektoren übersetzt, und verglichen wird nur das Ergebnis. Dabei gehen Feinheiten verloren, etwa ob ein Chunk die Frage wirklich beantwortet oder nur zum selben Thema passt. Oft steht die richtige Quelle zwar unter den Kandidaten, aber nicht ganz vorn.

Das ist wichtig, weil in den Prompt nur wenige Chunks passen. Ein Modell, das mit der VPN-Anleitung statt der Einsatzplanung gefüttert wird, antwortet fachlich sauber und an der Frage vorbei. Mit Reranking holst du die bessere Reihenfolge nach, bevor der Prompt gebaut wird.

Wie es funktioniert

Ein Reranker, technisch meist ein Cross-Encoder, bekommt Frage und Chunk gemeinsam und bewertet direkt, wie gut der Chunk die Frage beantwortet. Das ist in der Regel genauer als der Vergleich zweier getrennt berechneter Vektoren, aber für Millionen Chunks zu teuer. Deshalb arbeitet man in zwei Stufen:

1. Die schnelle Suche (Stichwort, Vektor oder beides) holt zum Beispiel die besten 50 Kandidaten.
2. Der Reranker bewertet jedes Paar aus Frage und Kandidat und sortiert neu.
3. Nur die besten gehen in den Prompt, die Azure-Dokumentation nennt als Beispiel fünf oder zehn.

Bekannte Reranker sind Cohere Rerank, BGE-Reranker und der Semantic Ranker in Azure AI Search.

Im Labor ist der Reranker simuliert: Für jede Frage steht ein fester Relevanzwert je Artikel fest, und der Schalter ordnet die besten fünf Kandidaten danach neu. Die Suche davor wird echt berechnet. Das Labor startet bei „Techniker zum Kunden schicken“ im Modus Hybrid ohne Reranking: D6 (Fernwartung) steht vorn, D7 (Einsatz vor Ort) auf Platz 2. Schalte „Reranking anwenden“ an. Die Zeilen gleiten an ihren neuen Platz, kleine Pfeile zeigen die Verschiebung, und D7 steht auf Platz 1. Achte auch auf den Prompt darunter, er verändert sich mit.

Probier danach „Dichtung GD-4711 nachbestellen“ und „E-217“. Dort ändert der Reranker an der obersten Platzierung nichts, und das ist richtig so: Er soll korrigieren, wo die erste Suche danebenlag, und nicht um jeden Preis etwas verschieben.

Ein Reranker kennt außerdem keinen Sonderfall deiner Firma. Er bewertet, wie gut ein Text zu einer Frage passt, nicht, ob er in deinem Haus gerade gültig ist. Gültigkeit und Berechtigung müssen vorher geklärt sein.

Worauf du achten solltest

• Der Reranker sortiert nur, was die Suche liefert. Was nicht unter den Kandidaten ist, holt er nicht zurück. Im Labor siehst du das: Er ordnet nur die besten fünf neu. Der Semantic Ranker in Azure AI Search bewertet ebenfalls nur die ersten 50 Ergebnisse der ersten Suche. Ein gutes Retrieval davor bleibt Pflicht.
• Top-k bewusst wählen. Zu wenige Chunks im Prompt, und Information fehlt. Zu viele, und es wird teurer, langsamer, und das Modell nutzt Informationen in der Mitte langer Kontexte schlechter. Den passenden Wert findest du mit Testfragen.
• Filter vor der Suche. Metadaten wie Baureihe, Gültigkeitsdatum und Sprache schränken die Kandidaten vorher ein. Berechtigungsfilter gehören genau hierher und nicht erst in den Prompt.
• Kosten und Wartezeit mitdenken. Der Reranker liest jedes Paar einzeln und kostet deshalb mehr als der reine Vektorvergleich. Er läuft nur auf den Kandidaten, nie auf dem ganzen Index.

Fazit

Retrieval holt viel und grob, Reranking wählt wenig und genau. Zusammen sorgen sie dafür, dass die richtige Quelle nicht nur im Kandidatenfeld liegt, sondern im Prompt ganz vorn. Damit ist die Technik der Reihe vollständig. Im nächsten Teil geht es um das, woran RAG-Projekte in der Praxis oft scheitern, und das hat wenig mit Technik zu tun: Woran RAG-Projekte scheitern.

Quellen

• Sentence Transformers: Cross-Encoders (Dokumentation) (Stand 2026), Cross-Encoder lesen beide Texte gemeinsam, sind genauer, skalieren aber schlecht, daher Retrieve and Re-Rank
• Microsoft: Develop a RAG Solution on Azure, Information-Retrieval Phase (2026), Reranking nach breiter Kandidatensuche, Kosten und Wartezeit, Abschneiden auf die besten Chunks
• Microsoft: Semantic ranking, Azure AI Search (2026), Semantic Ranker sortiert die ersten 50 Ergebnisse neu
• Cohere: Rerank (Dokumentation) (Stand 2026), Rerank sortiert Treffer einer bestehenden Suche nach Relevanz zur Frage, mehrsprachig
• BAAI: bge-reranker-v2-m3 (Modellkarte) (Stand 2026), BGE-Reranker nimmt Frage und Dokument gemeinsam und liefert direkt einen Relevanzwert
• Liu et al.: Lost in the Middle: How Language Models Use Long Contexts (2023), Leistung sinkt oft, wenn relevante Information in der Mitte eines langen Kontexts steht