AI 跑分能幫你縮小選擇，卻不能替你決定哪個模型最適合工作。同樣叫「評測分數」，有的衡量答對多少題，有的反映使用者偏好，還有的是由另一個 AI 擔任裁判。沒先弄清楚評分方式，就把排行榜第一當成最可靠的工具，可能選錯方向。
這篇不推薦某個當下冠軍，也不比較不同網站的數字高低，而是教你辨認 AI 排行榜到底在量什麼。挑選模型前，先問以下五個問題，比記住名次更有用。
第一問：AI 跑分測的是答對、受歡迎，還是符合評分規則？
Benchmark（基準測試）是用一套題目、操作方式與指標衡量表現。分數必須連同這套規則閱讀，不能只看結果。常見的 LLM 評測，可以先區分三種評分方式。
有標準答案或可執行測試的評分
例如選擇題是否答對、抽取欄位是否符合參考答案、程式能否通過指定測試。這些結果能回答具體問題，但不會自動涵蓋所有品質。程式通過一組測試，不代表沒有安全漏洞；某套考題答得好，也不代表能正確處理公司的特殊文件。
人類偏好：大家比較喜歡哪個回答
Arena 官方 FAQ說明，使用者可以比較兩個匿名模型的回答，投票後再看到模型名稱；公開排行榜採計匿名投票，並用 Bradley–Terry 方法估計相對表現。重點是：這類排行建立在人們的比較與判斷上，不是每一題都拿標準答案核對。
較受偏好的回答，可能更清楚、更完整，也可能只是語氣更討喜。偏好很有參考價值，但「大家比較喜歡」不等於「每個事實都已經查證」。如果你要用它處理政策、日期或專業內容，仍要另做內容核對。
AI 裁判：讓模型依規則評另一個模型
LLM-as-a-judge（以大型語言模型擔任評審）可以做兩兩比較、單篇評分，或對照參考答案。它能擴大評估規模，但裁判模型本身也有限制。
OpenAI 評估實務文件列出回答順序造成的偏誤，以及偏好較長回答的傾向，並建議使用清楚的評分規則，核對模型評審與人工標註是否一致。因此看到「AI 自動評分很高」，還要追問：誰是裁判？有沒有參考答案？判準是正確性、文筆，還是整體喜好？
第二問：總分把哪些能力混在一起？
一個總分可能彙整數學、程式、知識問答、長文件理解或其他任務。分項如何加權，會影響最後的名次。即使計算方式一致，平均表現領先，也不代表每一項能力都領先。
Stanford CRFM 的 HELM提供涵蓋多情境、多指標的評估框架，並分設文字能力、語音、視覺、指令遵循、安全及不同語言等評測。這提醒我們：模型能力不是一條從弱到強、所有任務都能共用的刻度。
如果你的任務是繁體中文客服，優先看相關語言、指令遵循與資訊正確性，而不是只挑程式榜冠軍。若你要抽取表單欄位，就要看缺漏、錯置與格式是否合格，而不只看回答是否自然。
實用讀法：先找與工作最接近的分項，再看總分。找不到對應分項，就把它當成待補測的能力，不要自行推論「其他項目高分，所以這項應該也行」。
第三問：比較條件真的相近嗎？
模型名稱相近，不代表測試的是相同版本；同一個模型，也可能在不同工具與設定下得到不同結果。看 LLM 評測時，至少確認以下條件是否有交代：
- 測試對象：完整模型版本、測試日期，以及是否為特定量化或部署版本。
- 輸入與工具：提示詞、提供的參考資料，以及能否搜尋、執行程式或使用其他工具。
- 生成與作答條件：推理設定、輸出限制，以及每題可以嘗試幾次。
- 取分方式：只看第一次回答，還是允許多次嘗試後取其中的成功結果。
允許更多工具或更多嘗試，不一定是不公平；它可能正是在測一個完整系統。但你要知道，自己需要的是「單次回覆能否直接使用」，還是「有時間與工具反覆處理後能否完成」。兩者不是同一件事。
比較時應記錄各模型實際支援的設定，不必硬套一組通用參數。若對 temperature 與 top-p 的作用不熟悉，可以延伸閱讀AI 溫度與抽樣設定說明。
第四問：名次差距，有多少不確定性？
第一名與第二名排列得很整齊，不代表差距一定明確。要一起看樣本量、題目來源、評分分布，以及是否提供誤差或信賴區間。當差距很小、樣本有限，又沒有交代不確定性時，應保留判斷。
LMSYS 在 2023 年的排行榜方法更新就介紹過用 Bradley–Terry 模型與 bootstrap 估計評分及信賴區間，並說明新模型因投票較少而可能有較寬的區間。這是理解「排行也需要不確定性資訊」的例子，不是要把某個歷史分數當成今天的能力結論。
也別把排行榜的 rating 當成百分比。依相對比較估計的評分，不是「這個模型有幾成機率答對你的問題」。不同網站若使用不同題目、裁判與尺度，數字也不能直接互相比大小。
最後要看受測範圍。投票很多，不代表使用者與題目就一定涵蓋台灣的專業術語、繁體中文公文或你的工作流程。樣本量與代表性，是兩個需要分開問的問題。
第五問：換成你的工作，還能完成任務嗎？
排行榜適合當初選工具的地圖，最後還是要回到真實用途。NIST AI 風險管理框架的 Measure 2.3指出，AI 系統表現應在接近部署情境的條件下衡量；Measure 2.1 也要求記錄測試集、指標與使用工具的細節。這是評估原則，不是對某個模型的品質認證。
除了內容正確性，也要分開記錄完成時間、資源費用、需要修改的程度與失敗情況。某個模型在公開榜上稍微領先，若在你的任務中常漏欄位、需要反覆重做，未必是較好的選擇。反過來，速度快也不能抵銷不可接受的錯誤。
一個可以照做的小型試用：先寫判準，再看回答
以下是測試設計示例，並非任何模型的實測結果。假設你想找 AI 處理活動資訊，可以選一批已獲授權、沒有敏感資料的文件，包含清楚完整的資料、缺少日期的資料，以及前後版本容易混淆的資料。
不要只問「哪個回答看起來比較好」，而是事先寫下可檢查的要求：
- 日期、地點與限制條件必須對得上原文。
- 原文沒有的欄位必須標明缺漏，不能自行補造。
- 新舊資料衝突時，應指出衝突，而不是默默挑一個。
- 輸出須符合你實際要使用的欄位與格式。
讓候選工具處理同一批文件，由人工對照原文評閱；若用 AI 協助評分，也要抽查它有沒有把流暢但錯誤的內容判成合格。把「事實正確」「格式合格」「好不好讀」分開記錄，避免好文筆掩蓋關鍵錯誤。
小型試用能幫你發現問題，卻不是模型整體能力的統計證明。若把同一批題目反覆用來調整提示詞，最好另外保留未參與調整的案例做驗收，並隨實際失敗情況補充測試。
常見問題
不同排行榜都是分數，可以直接比嗎？
不行。先確認題目、指標、評審、版本與評分尺度是否一致。同樣的數字可能代表完全不同的衡量方式，不能直接當成同一張成績單。
AI 裁判能完全取代人工評測嗎？
不能直接假定可以。它能協助擴大評估，但仍須用清楚規則與人工樣本核對，並針對專業內容、重要錯誤與有爭議的結果進一步覆核。
排行榜領先，就代表聊天產品也一定最好嗎？
不一定。產品還涉及檔案解析、檢索、工具、介面與權限；你實際用到的流程，未必等於榜上的測試配置。模型本身的用途與已知限制，可再參考AI 模型卡閱讀指南。
把 AI 跑分當線索，把驗收當決策依據
挑選模型時，先分清楚分數衡量的是什麼，再看分項、比較條件與不確定性，最後用自己的任務驗收。最值得保留的，不只是某次排行榜的截圖，而是你能說清楚：這個工具在哪些條件下完成了什麼、還有哪些錯誤，以及需要多少人工照看。