RAG 重排序器是什麼?先找候選資料,再挑出真正相關內容

黏土書本候選卡片先被快速搜尋收集,再經由重排序器重新排列,相關度較高的文件排在前方,象徵 RAG 的 retrieve and rerank 兩階段流程

AI 知識庫明明找到了資料,回答卻引用到不太相關的段落?RAG(檢索增強生成)常見的改善方法,是在「先找資料」之後加上一層 Reranker(重排序器):先用快速搜尋找出一批候選,再讓模型逐筆比較問題與候選內容的關聯,最後把排序較前的資料交給大型語言模型回答。

先檢索,再重排:兩階段各做一件事

第一階段是檢索器(retriever),用關鍵字搜尋、向量搜尋或混合搜尋,從大量文件中快速撈出可能相關的候選段落。這一步重視速度和覆蓋率,但候選名單裡仍可能混有只沾到幾個字、沒有真正回答問題的內容。

第二階段才是 reranker。它接收使用者問題及候選文件,逐筆估計關聯程度並重新排序,再挑選前幾筆給 LLM。以常見的 Cross-Encoder 做法為例,模型會把問題和文件一起讀入後評分;這比一次算完大量文件的向量更細緻,但每一組配對都要計算,所以通常只用在第一階段找出的有限候選集合。Sentence Transformers 官方 retrieve-and-rerank 範例即說明了先以 bi-encoder 或詞彙檢索取回候選,再以 Cross-Encoder 重排的流程。

一疊候選文件卡先從搜尋入口取回,再依與問題的關聯度重新排列,呈現 RAG 重排序器的第二階段工作
原創概念插圖:快速檢索先收集候選段落,再由重排序器把較相關的內容排在前面。

向量搜尋分數和重排序分數不是同一回事

向量搜尋通常先把查詢和文件分別轉成向量,再比較向量距離;它適合快速縮小搜尋範圍。Cross-Encoder 則會同時看問題與每一段候選文字,因此可以更仔細判斷某段文字是否真的回答了這個問題。不同產品的 reranker 模型、分數定義與 API 欄位各有差異;分數用來排序或篩選時,應以該服務文件和自己的測試為準,不要把不同供應商的數字當成同一把尺。

例如,Cohere 官方說明將 Rerank 描述為依照查詢的語意相關性排序既有搜尋結果;Pinecone 官方文件則示範傳入 query、候選文件及 top_n,取得重排後的前幾筆。這些分數表示模型怎麼評估「相關程度」,不代表資料本身為真或答案已經查證。

一個可測試的 RAG 重排流程

  1. 先把文件整理好:切塊時保留標題、段落和來源等有助理解的脈絡;若段落本身缺關鍵上下文,重排序器也很難補回來。
  2. 用快速檢索取回候選:依資料庫和查詢類型選擇關鍵字、向量或混合搜尋,先設定一個可測試的候選數量。數量太少容易漏掉正解,太多則會增加後續評分時間。
  3. 把候選與問題送給 reranker:確認指定的是可排序的文字欄位,並留意長文件是否會截斷或被分段處理。
  4. 只保留經測試的前幾筆:top_n 不是愈小愈好;在自己的問題集上比較不同候選數量與保留筆數,再決定品質和延遲的平衡。
  5. 將來源交給 LLM 回答:保留文件 ID、連結或頁碼,讓答案能指出依據;即使排序較前,仍要驗證引用與原始內容一致。
重排序後挑出的幾張相關來源卡送進黏土 AI 助理前,旁邊保留原始文件卡供回查,象徵精選上下文仍需驗證來源
原創概念插圖:重排後只把較相關的候選來源送入大型語言模型,仍需回查原始文件。

它能改善排序,不能找回漏掉的資料

Reranker 只能重新排列已經取得的候選。如果第一階段完全沒有找出正確文件,第二階段無從把它排到前面。遇到這種情況,應先檢查文件是否進入索引、分塊是否合適、查詢是否缺少同義詞,或搜尋條件是否太窄。也可以先閱讀AI 嵌入向量、語意搜尋與混合搜尋的入門介紹,釐清候選是如何被取回的。

另一個限制是速度與成本:重排器需要對每筆候選做額外處理,候選數量、文字長度和模型選擇都可能影響延遲。Cohere 的文件也指出,查詢與每份文件的 token 會共同受到單筆上下文長度限制;實際 API 還可能依模型有不同的截斷、語言和輸入格式規則。遇到大量長文件時,可先適當切塊或調整候選數量,再測量實際效果。

如何知道加了 reranker 有沒有用?

準備一組真實問題,標註哪些來源段落相關,分別觀察檢索器原始結果和 reranker 排序後的前幾筆。除了確認有沒有把正確來源推上來,也要測試最終答案是否更有根據、是否減少不相關引用,以及增加了多少延遲和運算用量。請把繁體中文、英文、專有名詞、較長問題與多條件問題都放進測試集;單看幾個漂亮示範,無法代表上線表現。

簡單記法是:檢索器負責把可能相關的資料找進候選池,reranker 負責在池內重新排序,LLM 再根據挑出的來源組織答案。如果候選池和文件品質夠好,重排能讓送進模型的上下文更集中;若來源本身沒找對、內容過期或引用沒有核對,重排序器不會自動把答案變成正確事實。