AI Agent 導入
AI agent 一個月的 token 費用怎麼控管?
先看解答
agent 和一般問答最大的差別,是一個任務會連續呼叫模型好幾輪,任務卡住時可能一直重試。費用可以從三個地方設限:程式裡限制每次任務最多跑幾步;在 API 平台設每月預算,OpenAI 可以替組織或專案設硬上限,用到上限之後請求會被擋下、回傳 429 錯誤,Anthropic 則可以在帳單頁自己設一個比帳戶等級上限更低的支出上限;最後讓簡單步驟用便宜的小模型,只有需要判斷的步驟用大模型。
三個地方各自擋什麼
| 設限的地方 | 做法 | 擋住的狀況 |
|---|---|---|
| 單次任務 | 限制最多幾輪,例如 OpenAI Agents SDK 的 max_turns,超過就丟出 MaxTurnsExceeded | 任務卡在迴圈裡一直重試 |
| 整個帳戶 | OpenAI 的組織或專案硬上限、Anthropic 自訂支出上限;另設提醒門檻 | 某個月用量暴增,月底才發現 |
| 模型分配 | 分類、摘要用小模型,需要判斷的步驟才用大模型;不急的批次工作改用 Batch API | 每一步都用最貴的模型 |
例如一個查訂單、擬回信的 agent,正常要 4 輪:讀信、查訂單、查出貨、擬稿。設定最多 8 輪,就算 ERP 一直逾時,這封信跑到第 8 輪就會停下來轉給人處理,費用不會一直往上加。不過每一輪都會把前面累積的內容再送一次,後面的輪次比較貴,所以 8 輪的費用通常會超過 4 輪的兩倍。
Batch API 是把一批不急的請求一次送出,等它在 24 小時內跑完再取結果,OpenAI 和 Anthropic 的批次價格都是一般呼叫的一半,適合每天晚上整理當天工單摘要這類工作。
提醒和硬上限要分開設。OpenAI 的提醒只會通知、流量照跑;硬上限一到,請求就會被擋下。正式上線的服務,我建議提醒設在預算的 50% 和 80%,硬上限設得比預算高一些,避免月底用量一碰到預算,客服就突然停擺。
費用每天會漲多少、什麼時候會碰到上限,最好在上線前就先算過一次;要不要自己維護這個 agent,可以一起放進 AI agent 自建或委外的評估。