讓 AI 助理面向使用者之前,開發者常會加上一道 Moderation(內容安全檢查):檢查使用者輸入或模型生成內容是否可能涉及暴力、仇恨、性內容、自我傷害等風險。不過,Moderation 給的是分類訊號,不是絕對判決。它可能誤擋正常內容,也可能漏掉危險內容;門檻該怎麼設,必須依產品用途和實際樣本驗證。
Moderation 在檢查什麼?
內容安全過濾通常會把文字或圖片送入分類器,再回傳類別標記、分數、嚴重度或是否觸發門檻。應用程式再依自己的政策決定:直接放行、提醒、限制部分功能、交由人工覆核,或阻擋內容。不同服務支援的內容類型、分類項目與回傳格式不完全相同,不能假設一套分數在所有平台都代表同一件事。
例如,OpenAI Moderation API 文件提供 flagged、分類標記和逐類別分數;文件說明類別分數代表模型對內容屬於某類的信心,且服務底層模型可能持續更新,依賴分數自訂政策時需要重新校準。分數高低不是內容的「法律嚴重度」,也不是跨平台通用的安全刻度。

先分清:輸入過濾、輸出過濾和提示注入防護
內容安全檢查可以放在兩個位置:模型回答之前檢查使用者輸入,或在把模型回答展示給使用者之前檢查輸出。有些 API 可回傳輸入和生成內容的檢查訊號;若檢查在生成後才完成,應用仍要在結果通過產品規則之前暫緩展示或執行後續動作。
這也和提示注入防護不同:Moderation 主要判斷內容是否可能違反產品設定的安全政策;提示注入防護則要處理外部文字是否試圖改變模型指令或誘導工具操作。若應用會替 AI 執行高權限工具,內容分類器不能取代權限檢查、參數驗證和人工核准。
門檻不是越嚴越安全
把所有分數高於一條線的內容一律封鎖,看似簡單,實際上可能誤傷教育、醫療、新聞、歷史或創作內容。反過來,門檻過寬也可能讓有害內容通過。比較好的做法,是先列出每種風險在產品裡會造成什麼後果,再決定不同類別的處理方式,而不是只設一個「安全/不安全」總開關。
Google Gemini API 安全設定文件提供按類別設定封鎖門檻的方式,並特別提醒:分類根據的是內容被判定為不安全的機率,不等於傷害本身的嚴重程度。Microsoft 的Azure AI Content Safety 說明也指出,分類可能出現誤報與漏報;「Safe」只表示分類器沒有在該類別標出較高嚴重度,不代表內容沒有其他風險、事實正確或符合你的產品規範。

實作時的五個步驟
- 寫清楚產品政策:說明哪些內容要阻擋、哪些可附警示、哪些應送人工覆核;把年齡、情境和受眾納入考量。
- 整理代表性測試集:加入應放行的正常內容和應處理的高風險內容,涵蓋不同語言、口語、引用、反諷與上下文,不要只測最明顯的關鍵詞。
- 逐類別調整門檻:比較各設定下的誤擋與漏網案例。不同類別的後果不同,門檻不一定相同。
- 設計多種處理結果:低風險可以放行;需要語境判斷的內容送覆核;明確違反政策的內容才阻擋。高影響決定不要只看一次模型分數。
- 上線後持續監測:統計人工覆核後的改判、被擋比例和漏報案例。服務模型、產品政策或使用者語言改變時,重新跑測試並調整設定。
台灣繁體中文也要用自己的樣本測試
安全分類器的語言支援和準確程度因服務、類別和語言而異。Microsoft 文件列出部分訓練及測試語言,並提醒其他語言表現可能不同;因此,不要只拿英文公開範例推定繁體中文社群也會得到相同結果。像是同音字、網路用語、反諷、引用新聞或醫療衛教,都可能改變判讀。用真實產品的代表性樣本評估誤報和漏報,比只看文件中的示範分數更可靠。
記住:內容安全訊號不等於事實查核
Moderation 通常回答的是「這段內容是否可能落在某些風險類別」,不是「內容是否為真」。一段錯誤健康建議可能不會因暴力或仇恨類別而被標記;相反地,一篇引用仇恨言論進行新聞報導的文章,也可能觸發分類器。需要正確性、專業資格或法律合規判斷時,應另外設計查核流程和必要的專業覆核。
比較穩健的安全設計,是把 Moderation 當成分層防護中的一個感測器:清楚說明政策、檢查輸入與輸出、讓高風險案例可升級覆核、保留申訴和修正空間,並持續用實際資料測量誤擋與漏網。它可以協助團隊更一致地處理內容,但不能代替產品責任或人工判斷。