AI Agent 導入
AI agent 可以不經人確認,直接寄信或修改資料嗎?
先看解答
技術上可以設定,但上線初期我建議先不要。在內部系統加備註、整理草稿這類做錯了改得回來的動作,可以讓 agent 自己做;而寄信給客戶、報價、退款這類送出去就收不回來,或等於對客戶做了承諾的動作,先保留人工確認,等它在真實案件裡跑穩了再慢慢放寬。
確認點要少而準
確認點設太多,審核的人會開始直接按同意,確認就只剩形式。比較好的做法是只在對外寄送、影響客戶或無法復原的動作設確認,並讓確認畫面一眼看出重點。
假設業務 agent 要寄一封報價信,確認畫面至少列出收件人是否和 CRM 聯絡人一致、信中單價與數量和報價單系統的數字並排,以及這封信對應哪一筆商機。審核的人看得出差異,確認才有意義。
OWASP 整理 AI 應用的資安風險時,把 agent 做了不該做的事稱為過度授權(Excessive Agency),並指出三個來源:給它的功能太多、開的權限太大,以及讓它自己決定的範圍太廣。確認點處理的是第三個來源,前兩個要靠權限設定先收緊。從唯讀到禁止的五個權限等級、操作紀錄欄位與緊急停用的準備,整理在 AI agent 的權限與人工確認怎麼設。