想讓大型語言模型更符合公司用語、固定格式或特定任務,不一定得把整個模型重新訓練一遍。LoRA(Low-Rank Adaptation,低秩適配)會凍結原本的模型權重,只訓練一小組額外矩陣,做為可載入的任務適配器(adapter)。因此訓練與儲存的可訓練權重通常較少,但它仍然需要搭配原本的基礎模型,並不等於把大模型縮成一個小檔案就能單獨執行。
LoRA 的核心:保留基礎模型,只學一個小型更新
一般全參數微調會更新模型中大量甚至全部權重。LoRA 則保留預訓練權重 W 不動,為指定的模型層加入兩個較小矩陣,學習一個低秩更新 ΔW。可以把它想成在原有模型旁掛上一片可替換的小型「任務調整片」,而不是重做整台模型。
Hugging Face 的 PEFT LoRA 說明指出,LoRA 以兩個較小的更新矩陣表示權重改變,原始預訓練權重保持凍結。可訓練參數量會受到低秩維度 r、原權重矩陣形狀及指定套用的模組影響。通常 r 越小,更新矩陣越小,但最佳設定仍需依模型與任務實測。

LoRA 會讓微調變簡單,但不代表零成本
- 要更新的參數較少:訓練時主要更新 LoRA 矩陣,不需像全參數微調一樣更新整套基礎權重。
- 適配器通常較輕巧:可以為不同任務保存多個 adapter,再搭配同一個相容的基礎模型使用。
- 硬體仍要載入基礎模型:凍結權重不代表不占記憶體;模型權重、訓練時的啟用值、最佳化器與批次設定仍會影響資源需求。
- 結果仍受資料與設定左右:LoRA 不會自動補上可靠的新知識,也不能保證與全參數微調同等效果;需用保留的測試資料驗收。
LoRA 的原始研究將這種做法稱為凍結預訓練權重、在 Transformer 中加入可訓練的低秩矩陣;更多背景可閱讀 LoRA 原始論文。論文中的效益數字來自特定模型與實驗設定,不應直接當成每個模型都會有的固定節省比例。
QLoRA 又是什麼?
QLoRA 是「量化的基礎模型+LoRA 適配器」的微調方法。它將基礎模型以低位元格式載入並凍結,再把梯度傳回可訓練的 LoRA 適配器。原始 QLoRA 論文描述了 4-bit NormalFloat(NF4)、Double Quantization 與 paged optimizers 等節省記憶體的設計,詳見 QLoRA 論文。
簡單區分:量化主要改變權重的數值表示與儲存方式;LoRA 主要提供微調用的小型權重更新;QLoRA 則是在量化基礎模型上訓練 LoRA。這些方法可以一起出現,但各自解決的問題不同。若要延伸了解模型壓縮,也可參考站內的模型蒸餾與量化比較。

別把 adapter 當成獨立模型
LoRA 微調後常見的儲存檔案只包含適配器權重與設定,不會自動包含完整基礎模型。Hugging Face 的 PEFT checkpoint 格式文件說明,adapter checkpoint 通常比原始模型檔小,但載入時仍須有相容的基礎模型;設定檔也會記錄基礎模型路徑與套用模組等資訊。
部署前請確認 adapter 對應的基礎模型與版本、tokenizer、模型架構及設定。如果把 LoRA 權重合併回基礎模型,可以得到包含完整權重的模型檔;Hugging Face 文件指出,合併後檔案會大得多,而且不再保有切換或卸載 adapter 的部分彈性。是否合併要視部署方式與多任務需求決定。
什麼情況適合考慮 LoRA?
當你已有合適的基礎模型,希望讓它更貼近特定任務的格式、語氣或專業範例,而且想保留基礎模型、管理多個小型任務適配器時,LoRA 值得評估。若主要需求是提供經常更新的文件、產品資訊或政策,檢索式做法可能比反覆微調更容易維護;可先釐清要改的是模型行為,還是要讓模型讀取外部資料。
- 先確認權利與資料:查看基礎模型授權,確認訓練資料可合法使用,並移除不應進入模型的機密或個人資料。
- 準備代表性的例子:清理指令與答案格式,保留未參與訓練的驗證資料,避免只在訓練題目上看起來進步。
- 選擇套用位置與 rank:檢查模型支援的 target modules,從合理的低秩設定開始,依驗證結果調整,而非只追求較大的
r。 - 比較微調前後:用實際工作題檢查正確性、格式遵循、延遲與失敗案例,也要留意是否讓原有能力退步。
- 封存載入資訊:和 adapter 一起保存基礎模型名稱或版本、訓練設定、資料來源與評測結果;在目標部署環境重新確認可載入。
常見問題 FAQ
LoRA adapter 可以自己單獨當成模型使用嗎?
通常不行。adapter 保存的是相對於基礎模型的更新,推論時仍需要搭配相容的基礎模型;若將權重合併,則會重新得到較完整、較大的模型檔。
QLoRA 是不是把 LoRA 檔案壓成 4-bit?
不完全是。QLoRA 的典型作法是以低位元格式載入並凍結基礎模型,再訓練 LoRA 更新。它不是單純把已訓練好的 LoRA adapter 做 4-bit 壓縮。
LoRA 一定比全參數微調好嗎?
不一定。LoRA 往往能以較少可訓練參數完成適配,但任務、資料、模型和資源條件各異。應該用代表性驗證集比較輸出品質、成本與部署需求,而不是只看方法名稱。
結語:小的是更新,不是整個基礎模型
LoRA 的價值在於以較小的可訓練更新調整既有模型,並讓不同任務的 adapter 更容易保存與管理;QLoRA 再把量化基礎模型帶進微調流程。評估時別忘了基礎模型仍要載入、資料品質仍關鍵,而且 adapter 必須與相容模型一起使用。先用目標任務驗收,再決定 LoRA 是否適合你的訓練與部署方式。