聊天紀錄放得愈長,為什麼語言模型可能更容易遇到 GPU 記憶體不足?除了模型權重,推論時還要暫存一份和已讀取 token 有關的中間資料,叫做KV Cache(Key-Value Cache,鍵值快取)。它讓模型不用每生成一個 token 都重算整段過去,但暫存空間也會隨著同時處理的對話和 token 數增加。 先分清楚:上下文視窗說的是模型一次能處理多少 token;KV Cache 則是推論期間為注意力計算保留的 K、V 張量。視窗代表可接受的上下文上限,不等於快取實際固定佔用的記憶體。 一、KV Cache 裝了什麼? Transformer 的注意力層會把 token 表示轉成 Query、Key、Value(Q、K、V)。在自回歸生成中,模型逐 token 回答;已處理 token 的 K、V 可被後續步驟重用。推論時,系統把新 token 的 K、V 加進快取,讓下一步能直接使用先前結果,而不必每次從頭重算過去 token 的 K、V。 Hugging Face Transformers 的快取說明指出,快取會按模型層保存已處理 token 的 key 與 value;在生成步驟中,新 K、V 會附加到過去的 K、V 上。這通常能節省重複計算,但「記住計算結果」也意味著要有記憶體放它們。 原創概念插圖:逐 token 生成時,模型把已處理 token 的注意力資料保存起來供後續步驟重用。 二、為何長上下文與多併發會讓快取變大? 直觀來說,KV Cache 的大小會受到批次/同時請求數、快取中的 token 數、模型層數、KV heads 數、每個 head 的維度,以及快取數值格式影響。若只看張量本體,可用這個粗略關係理解: 快取量 ≈ 同時序列數 × 層數 × KV heads × token 數 × head 維度 × 2(K 與 V)× 每個數值的位元組數 這是便於理解的估算,不等於任一框架的精確 VRAM 預算;模型架構、分組查詢注意力、量化、分塊配置和執行框架都會改變實際佔用。Hugging Face 文件列出的 cache 張量形狀包含 batch、heads、序列長度與 head dimension,且每層各自管理 K、V。於是,即使模型權重載得進顯示卡,長 prompt、長回答或同時服務更多對話時,KV Cache 仍可能成為顯存瓶頸。 另外,KV Cache 通常是推論時的中間狀態,不是訓練權重,也不是模型永久保存的個人記憶。不同服務可以選擇在請求結束後釋放、短暫保留或重用部分快取,實際生命週期取決於所用系統。 三、常見的快取管理方式與取捨 Dynamic Cache:隨生成逐步增加快取,較符合實際使用長度;長序列或大量併發仍會逐漸增加記憶體用量。Static Cache:預先配置一段固定容量,有利某些編譯與推論最佳化;若多數請求很短,預留的空間可能用不滿。Quantized Cache:用較低精度保存 KV 數值,目的是降低快取記憶體需求。Hugging Face 提醒,若上下文短、GPU 記憶體原本充裕,量化操作反而可能讓延遲變差;應在實際模型和提示上測試。Offloaded Cache:把部分快取移到 CPU 記憶體以釋放 GPU 空間,但資料在 CPU 與 GPU 間移動會增加成本,生成吞吐可能下降。Sliding Window:只有採用支援滑動視窗或分塊注意力的模型/層,才可在達到窗口後不再累積更早的快取;不是所有模型都能自行丟掉任意舊 token 而不影響行為。 Hugging Face 的 cache strategy 文件整理了動態、靜態、量化及卸載等策略,也說明各自的記憶體、編譯支援與速度取捨。名稱相似不代表每個模型、每個框架都支援同一套選項,設定前要看當前版本文件。 四、快取重用:相同開頭有機會少算一次 若多個請求以相同的系統提示或部分 prompt 開始,部分推論框架可以重用已計算的 KV 區塊,少做一些前處理計算。NVIDIA TensorRT-LLM 官方文件說明,KV cache pages 可在相同部分提示的請求間分享與重用,可能降低第一個輸出 token 出現前的等待;文件也提醒,請求何時完成、區塊大小、記憶體壓力和驅逐策略都會影響是否真的重用成功。 這不是把不同對話的快取任意混在一起,也不是讓任何新提示都能略過計算。若兩個請求的開頭不同,或所用系統未啟用/不支援重用,就不能預期享有相同效果。分塊快取改善分配與重用的方式,也不代表長序列本身所需保存的 K、V 張量憑空消失。 原創概念插圖:KV 快取可依工作負載採用分塊、壓縮、卸載或重用策略,各自有不同取捨。 五、部署前先檢查的 5 件事 算總量,不只看模型大小:把最大 prompt、預期回答長度、同時請求數和模型配置一併考量,並為其他執行緩衝預留空間。先確認真正瓶頸:區分是權重載入、KV Cache 成長,還是其他 GPU 記憶體需求;單看一次 OOM 訊息不宜直接推論。對照自己的長度分布:短請求與長對話比例不同,動態或靜態快取的空間效率也不同。測記憶體與速度兩者:比較高峰顯存、首 token 等待、生成速度與併發吞吐,不要只看省下多少記憶體。逐項測試取捨:量化、卸載、縮短上下文或啟用 prefix reuse 都可能影響性能;一次改一項、用同一組提示與負載比較,並保留回退設定。 常見問題 FAQ KV Cache 是模型的長期記憶嗎? 不是。它主要是模型推論期間重用注意力 K、V 的中間資料。資料是否在請求完成後清除或供其他相同開頭的請求暫時重用,取決於服務框架設定;不要把「KV Cache」直接等同於產品的個人記憶功能。 KV Cache 越大,答案一定越好嗎? 不是。快取保存的是計算中間狀態,目的是避免重算;容量增加本身不代表模型理解力或答案品質提升。它通常反映的是系統處理更長上下文或更多同時請求所需的額外資源。 把 KV Cache 放到 CPU,就能免費擴大上下文嗎? 不能這樣保證。卸載可降低 GPU 記憶體壓力,但需要搬移資料;實際能處理多少、延遲與吞吐表現,取決於硬體、連線、模型和框架。先在接近真實負載的環境測試。 結語:長上下文也有一份「運行中的記憶體帳單」 KV Cache 讓逐 token 生成不用反覆重算全部過去內容,但它會隨序列、層數與併發等條件佔用記憶體。先理解快取保存什麼,再根據工作負載選擇動態、量化、卸載或重用策略,並同時量測記憶體和速度,才能在上下文長度、回應延遲與 GPU 容量之間做出合適取捨。