AI Agent 導入

AI agent 一個月的 token 費用怎麼控管?

先看解答

agent 和一般問答最大的差別,是一個任務會連續呼叫模型好幾輪,任務卡住時可能一直重試。費用可以從三個地方設限:程式裡限制每次任務最多跑幾步;在 API 平台設每月預算,OpenAI 可以替組織或專案設硬上限,用到上限之後請求會被擋下、回傳 429 錯誤,Anthropic 則可以在帳單頁自己設一個比帳戶等級上限更低的支出上限;最後讓簡單步驟用便宜的小模型,只有需要判斷的步驟用大模型。

三個地方各自擋什麼

設限的地方做法擋住的狀況
單次任務限制最多幾輪,例如 OpenAI Agents SDK 的 max_turns,超過就丟出 MaxTurnsExceeded任務卡在迴圈裡一直重試
整個帳戶OpenAI 的組織或專案硬上限、Anthropic 自訂支出上限;另設提醒門檻某個月用量暴增,月底才發現
模型分配分類、摘要用小模型,需要判斷的步驟才用大模型;不急的批次工作改用 Batch API每一步都用最貴的模型

例如一個查訂單、擬回信的 agent,正常要 4 輪:讀信、查訂單、查出貨、擬稿。設定最多 8 輪,就算 ERP 一直逾時,這封信跑到第 8 輪就會停下來轉給人處理,費用不會一直往上加。不過每一輪都會把前面累積的內容再送一次,後面的輪次比較貴,所以 8 輪的費用通常會超過 4 輪的兩倍。

Batch API 是把一批不急的請求一次送出,等它在 24 小時內跑完再取結果,OpenAI 和 Anthropic 的批次價格都是一般呼叫的一半,適合每天晚上整理當天工單摘要這類工作。

提醒和硬上限要分開設。OpenAI 的提醒只會通知、流量照跑;硬上限一到,請求就會被擋下。正式上線的服務,我建議提醒設在預算的 50% 和 80%,硬上限設得比預算高一些,避免月底用量一碰到預算,客服就突然停擺。

費用每天會漲多少、什麼時候會碰到上限,最好在上線前就先算過一次;要不要自己維護這個 agent,可以一起放進 AI agent 自建或委外的評估。

參考來源

  1. OpenAI Agents SDK:Running agents(max_turns)(另開分頁)
  2. OpenAI:Spend limits(另開分頁)
  3. Anthropic:Rate limits(Spend limits)(另開分頁)
  4. OpenAI:API Pricing(另開分頁)
  5. OpenAI:Batch API(另開分頁)
  6. Anthropic:Batch processing(另開分頁)
回到AI Agent 導入