AI agent 專案怎麼驗收?任務成功率、錯誤處理與交接

agent 展示時很聰明,上線後卻在沒想到的地方出錯。這篇教你用過去的真實案件建測試集、定義什麼叫完成,並寫好轉專人、錯誤處理與交接的驗收條件。

先說結論

AI agent 驗收要用過去的真實案件當考題,先定義什麼叫「完成」,再看四件事:任務成功率、該轉專人時有沒有轉、出錯時有沒有被攔下、交接文件能不能讓別人接手。上線前先讓 agent 和人並行跑一段時間比對結果;上線後用同一組考題持續重測,模型或流程一改就重跑。只看展示結果,無法判斷它上線後每次都做得對。

不鏽鋼檢驗台上,左邊一大疊用黑色長尾夾夾住的信件和列印單,中間攤開一張工程圖,右下角的備註欄被螢光綠圈起來,前面一張評分單上大多是勾、有兩個叉;右邊放著一個黑色陽極處理的鋁件、一個原色鋁件和一支游標卡尺
AI agent 專案怎麼驗收?任務成功率、錯誤處理與交接 封面視覺

台中一家五十人的精密加工廠,請廠商做了一個業務 agent 來整理詢價信:它會讀信、對照圖面與材質、標出缺漏和急件,在報價系統建立詢價單,再擬一封回覆給業務確認。展示那天,廠商拿三封詢價信示範,agent 把材質、數量、交期整理得清清楚楚,老闆當場就簽了驗收單。

上線第二週,業務發現它把一封「急件、需要陽極處理」的詢價歸成了一般件。客戶把這個需求寫在附件 PDF 圖面右下角的備註欄,agent 沒讀到;而展示用的那三封信,剛好都把需求寫在信件內文。等業務發現時,客戶已經來電問報價怎麼還沒出來,這張單差點被別家接走。老闆回頭看那張驗收單,上面只寫了「功能展示正常」。驗收的考題要從你過去真的遇過的案件裡挑,展示用的案件只能證明它做得到,證明不了它每次都做得到。

這篇會一直拿這家工廠當例子,講他們後來怎麼重新驗收:先定義什麼叫「完成」、用過去的真實案件建測試集、看哪幾個數字、上線前後各測什麼,以及交接時要交出哪些東西,最後再把這些寫成一段可以直接放進合約的驗收條件。

為什麼 agent 驗收和一般軟體不一樣

傳統軟體大多是輸入一樣、輸出就一樣,所以寫好測試就能判斷對錯。而 agent 就算輸入一樣,也可能得到不同的結果,只比對固定答案的傳統測試就不夠用了。OpenAI 的評估最佳實務和 Google 的 Agent Development Kit(ADK,Google 給工程師建 agent 的開發框架)文件都是從這一點講起,ADK 也提醒要同時檢查最後的回覆和 agent 走過的步驟。

Anthropic 在一篇談 agent 評估的文章裡用了一個很好懂的例子:訂機票的 agent 在對話最後說「您的機票已訂好」,但真正要檢查的是資料庫裡有沒有那筆訂位。看 agent 說了什麼不夠,要看系統裡實際發生了什麼。

換到那家加工廠,例如業務 agent 回覆「已建立詢價單並標成急件」,驗收要打開報價系統,確認詢價單真的存在、上面有標成急件,也指派給了對的業務。

走過的步驟也要看。例如 agent 把一封詢價標成急件,答案是對的,但執行紀錄(agent 每一步查了什麼、呼叫了哪個工具的紀錄)顯示它是查到這位客戶上次也下過急件,就照著標,根本沒有打開這封信的附件。這次剛好對了,下一封把急件寫在附件裡的信,它還是會漏掉,而這種問題只看最後的回覆是看不出來的。

先定義什麼叫「完成」

Anthropic 對好的測試題有一個很實用的標準:兩位熟悉這項業務的人各自判斷,會得到一樣的通過或不通過結論。兩個人意見不一,代表題目本身還不夠清楚,拿它去打分,分數也不可靠。

那家加工廠的做法是請兩位業務各自替同樣 10 件詢價信填答案。結果有 2 件兩人的答案不一樣:一位業務認為「下週要」算急件,另一位認為要寫明「急件」兩個字才算。對不上的地方,就是定義還不清楚的地方,他們先講好「交期在 10 個工作天內就算急件」,再擴大到 50 件。

所以寫測試集之前,先替每一種任務寫下「完成」的定義:

任務完成的定義怎麼檢查
整理詢價信材質、數量、交期、表面處理都抓對;缺漏欄位全部標出;急件有標記和業務事先填好的標準答案逐項比對
建立詢價單單據存在於報價系統,客戶、料號、數量、急件標記正確到系統查單據,不只看 agent 的回覆
擬回覆信業務只需小幅修改就能寄出事先定義「小幅」,例如改動不超過兩句
該轉專人的案件沒有自行處理,轉給指定的人並附上原因查轉派紀錄與附註內容

最後一種情況,也就是該轉專人的案件,最容易被漏掉。驗收不只看 agent 做對多少,也要看它在不該做的時候有沒有停下來。

還要先講好「部分正確」怎麼算。例如 agent 抓對了材質和數量,卻漏標急件,這一件算通過還是失敗?我建議把欄位分成關鍵欄位和一般欄位:急件標記、交期、數量錯一個就算失敗;備註的措辭不夠精準,記下來但不影響判定。這條規則要在跑測試之前寫好,事後才定,很容易變成替結果找理由。

用過去的真實案件建測試集

很多團隊覺得要先準備幾百題才能開始評估。Anthropic 的建議是,從真實失敗案例中挑 20 到 50 個簡單的任務,就是很好的起點;專案初期每一次修改的影響都很明顯,小樣本就看得出差異。OpenAI 也把「測試資料不能反映實際的案件分布」列為常見錯誤,並建議把歷史資料和正式環境的資料納入測試集。

這家加工廠從過去三個月的詢價信裡挑出 50 件,刻意照平常的比例放進各種情況:

  • 30 件一般詢價:資訊完整,其中幾件的表面處理只寫在圖面備註欄。
  • 10 件缺資料:缺少材質、數量或公差。
  • 5 件急件:需求寫在附件備註欄或信件最後一行,包括第二週漏掉的那一封。
  • 5 件應該轉專人的信:例如要求特殊折扣、夾帶客訴、內容和詢價無關。

另外,他們從這 50 件裡標出 5 件容易讓 agent 出錯的信,例如交期寫成「越快越好」、數量在信裡和圖面上不一致,專門用來測錯誤攔截,也就是看 agent 碰到可疑的信時,會不會在草稿上標出來、提醒業務注意。這 5 件本來就在前面四類裡。它們照樣算成功率,另外再檢查草稿有沒有標出疑義。

每一件由業務先填好標準答案,包括該不該轉專人。這 50 件就是之後每次修改都要重跑的考題。測試集裡有客戶名稱、圖面和報價,存放方式要比照原本的業務資料;交給外部開發廠商之前,先確認哪些欄位需要遮蔽。

驗收要看的四個數字

指標怎麼算示範門檻
任務成功率符合「完成」定義的案件數 ÷ 測試案件數應自行處理的 45 件中至少 42 件
轉專人的正確率該轉的有轉、不該轉的沒轉5 件應轉專人的信全部轉出
錯誤攔截測試集裡標出的 5 件容易出錯的信,草稿上有沒有標出疑義,讓業務在確認畫面看到這 5 件全部標出疑義
交接完整度沒參與開發的同事只看交接文件,答不答得出本週處理幾件、哪一件出錯、怎麼暫停 agent三題都答得出

錯誤攔截這一項會用到「確認點」,指的是 agent 送出或寫入之前、要人按下確認的那一步,例如業務在寄出回覆前看的確認畫面。錯誤攔截測的就是這一步:例如那封交期寫成「越快越好」的信,看草稿上有沒有標出「交期有疑義」,讓業務確認時一眼看到。

門檻由業務單位決定,表裡的數字只是示範。有兩個地方要特別注意。

第一是一致性。Anthropic 提到,如果 agent 每次嘗試的成功率是 75%,連續三次都成功的機率只有約 42%(0.75 × 0.75 × 0.75)。會直接碰到客戶的流程,要看的是連續幾次都做對的機率,所以同一組考題要多跑幾次,看結果穩不穩定。例如 50 件跑三次,其中 3 件三次的判定不一致,有時通過、有時不通過,這 3 件比平均成功率更值得先處理,原因通常是規則寫得不清楚,或資料本身有問題。

第二是錯誤類型。只看成功率會漏掉錯在哪裡。把失敗案件分成讀錯資料、漏掉步驟、工具呼叫失敗、做了超出權限的嘗試幾類,每一類的處理方式都不一樣。讀錯資料可能要整理 agent 查的文件;超出權限的嘗試則要回頭檢查權限與人工確認的設計。

那家加工廠重新驗收時,agent 第一次跑 50 件考題,應自行處理的 45 件只有 37 件符合完成定義,5 件該轉專人的信也只轉出 4 件,拿來測錯誤攔截的 5 件,只有 3 件在草稿上標出疑義。失敗的案件分成三類:

  • 6 件讀錯資料:表面處理或交期寫在附件備註欄(其中 3 件是急件),agent 只讀了信件內文。
  • 2 件漏掉步驟:缺了公差,agent 沒有標成缺漏。
  • 1 件該轉沒轉:客戶在詢價信最後一段順便抱怨上一批貨的毛邊,agent 把它當成一般詢價。

這三類的處理方式各不相同,廠商也就逐類處理:

  • 讀錯資料:補上讀附件備註欄的步驟。
  • 漏掉步驟:把公差改成每封信都要檢查,缺了就一定要標。
  • 該轉沒轉:把「夾帶客訴就轉專人」寫進規則。

錯誤攔截沒過的那 2 件,材質、數量這些欄位都抓對了,所以算在任務成功的件數裡;但草稿上沒有標出交期有疑義,錯誤攔截這一項就不算通過。它們的交期都寫成「盡快」「越快越好」這種說法,所以他們再補一條規則:交期不是明確日期就標出來。

修完再連續跑三次,應自行處理的 45 件每次都有 43 件以上通過、5 件全部轉出,那 5 件容易出錯的信也都標出疑義。剩下沒通過的 1、2 件,都是回覆草稿要改超過兩句,業務覺得還能接受,記下來繼續調整。

上線前先並行跑,上線後持續重測

上線前:和人並行一段時間

測試集過關之後,我建議先讓 agent 和人並行處理同一批新進案件至少兩週。agent 照常產出結果,但不寄出、不寫入正式資料,產出只存在測試區;業務照原本的方式處理。每天挑幾件比對兩邊的結果,差異記下來,補進測試集。

那家工廠並行兩週共進來 80 件詢價,其中 6 件兩邊結果不同:4 件是 agent 漏看附件,都是客戶把圖面拍照或掃描成圖片寄來,測試集裡的附件剛好都是文字型的 PDF;另外 2 件是業務自己漏標了急件。後面那 2 件也值得記下來,它說明標準答案本身也要再對一次,人工流程同樣會出錯。

單位圖:並行兩週共進來 80 件新進詢價,一個方塊代表一件。agent 照常產出,但不寄出、不寫入正式資料,只存在測試區;業務照原本的方式處理同一批詢價。74 件兩邊結果一樣,6 件不同:4 件是 agent 漏看附件,2 件是業務自己漏標了急件,代表標準答案也要再對一次 80 件裡有 74 件兩邊結果一樣;不同的那 6 件要逐件記下原因,再補進測試集。

這一步能抓到測試集沒涵蓋的案件類型。開頭那封把需求寫在附件備註欄的急件,如果當初先並行跑兩週,只要期間進來同類的信,就有機會在這個階段被發現,而不是等客戶打電話來催。

上線後:同一組考題持續重測

NIST 的 AI 風險管理框架在衡量(MEASURE)這一項,也建議 AI 系統在部署前先測試,運作期間再定期測試。OpenAI 建議設定持續評估,每次修改都重跑,並把新發現的狀況加進測試集。

Anthropic 把測試分成兩種:能力測試問「它做得到什麼」,一開始通過率低,用來找出還要改的地方;回歸測試問「它還做得到原本會的事嗎」,通過率應該接近百分之百。能力測試穩定通過後,就轉成回歸測試持續跑。模型升級、提示詞(寫給 agent 的工作指示)調整、新增工具、流程改變,任何一項變動都要重跑回歸測試。

除了重跑考題,上線後每週看三個數字:轉專人的件數、被確認點攔下的件數、人工修改草稿的幅度。轉專人突然變多,可能是客戶換了信件格式;人工修改變多,可能是提示詞或資料來源出了問題。門檻也要事先寫好,例如回歸測試掉到驗收門檻以下(應自行處理的 45 件裡通過不到 42 件),就暫停自動寫入,退回只產出草稿的模式。

交接文件要交出什麼

agent 上線後,負責維護的人常常不是當初開發的人。交接時至少交出這幾樣:

  1. 流程說明:agent 負責哪幾步、哪幾步留給人。
  2. 權限表:每個工具能做到哪一步(只能讀、只能擬草稿,還是能直接寫入)、哪些動作要人確認,分級方式見 AI agent 的權限與人工確認怎麼設。
  3. 測試集與最近一次的結果:包括失敗案件的分析。
  4. 已知限制:哪些案件類型還處理不好,例如掃描成圖片的圖面。
  5. 停用與退回人工的步驟:以及誰有權執行。
  6. 操作紀錄:怎麼查、保存多久。
  7. 重跑測試的負責人:誰負責、多久一次。

評估工具可以幫你跑測試,但資料最好不要只放在工具裡,因為工具的保存期限和服務本身都會變。例如 Microsoft Copilot Studio 的測試結果只在系統裡保存 89 天;OpenAI 的評估平台 Evals 則預定 2026 年 11 月 30 日關閉,有在用的團隊都得把資料搬出來。所以測試集和每次的結果,要存成團隊自己掌握的檔案。

判斷交接有沒有完成,最直接的方法是找一位沒參與開發的同事,只看這份文件回答三個問題:這週 agent 處理了幾件、哪一件出了錯、要怎麼暫停它。三題都答得出來,交接才算完成。失敗案件的分析要附原因和處理狀態,接手的人才分得出哪些是已知問題、哪些是新問題。如果是委外開發,交接文件和之後的維護也要在找廠商時談好;以我們的企業 AI agent 導入服務為例,交付時會移交程式碼與設定,上線後流程或模型更新時由工程團隊一起調整。

把上面寫成雙方都能核對的驗收條件

考題、門檻、並行運作和交接都定好之後,把它們寫成一段文字,放進需求書或合約附件。例如:

以過去三個月的 50 件詢價信為測試集(清單與標準答案見附件,由業務部填寫)。agent 連續執行三次,應自行處理的 45 件每次至少 42 件符合完成定義;5 件應轉專人的信每次都轉出;測試集中 5 件交期模糊或數量前後不一致的信,每次在草稿上都標出疑義,由業務確認後才寄出;並行運作兩週,所有差異案件皆有紀錄與處理結論;由業務部一位未參與開發的同事只看交接文件,就能回答本週處理幾件、哪一件出錯、怎麼暫停 agent。

這段文字有四個重點:

  1. 考題和標準答案在開發前就定好:附件由業務部填寫,廠商不能事後挑題目。
  2. 成功要連續多次成立:跑一次過關不算數。
  3. 並行運作的差異要有結論:每一件不同都要寫下原因和處理方式。
  4. 交接要有人驗證:由沒參與開發的同事只看交接文件,答得出本週處理幾件、哪一件出錯、怎麼暫停 agent 這三題才算完成。

先定考題再開發,雙方對「做完」的認知才會一致。對照那家工廠原本的驗收單,只寫了「功能展示正常」,就是少了這四件事。驗收條件也是和廠商談合約時最該寫清楚的一段,由誰來開發的取捨見企業 AI agent 自建、用平台還是委外。

驗收做不到的事

  • 測試集只代表過去:新的客戶、新的產品線、新的信件格式,都可能落在測試集外。例如公司開始接醫療器材零件,詢價信會多出認證文件的要求,這類信在測試集裡一件都沒有。這就是為什麼上線後要持續把新案件補進去。
  • 自動評分會出錯:用 AI 替 AI 打分可以省人力,但 OpenAI 建議用人的判斷來校準自動評分,Anthropic 也強調要實際閱讀執行紀錄,確認失敗是 agent 真的做錯,還是評分標準誤判。例如先拿 20 件人工評過的案件讓 AI 評分,兩邊結論大致一致,再擴大使用。
  • 分數高也要看紀錄:成功率很高、但每件都走了很繞的路或多呼叫了不必要的工具,成本和風險都會累積。所以成功率高,也要抽看幾件執行紀錄,確認它沒有多呼叫不必要的工具、該交接時有交接。

回到那家加工廠

第一輪那 9 件失敗修完、連續三次都過了門檻之後,他們接著並行跑了兩週。並行抓到的那 4 件掃描圖面補進測試集,標準答案設為轉專人,測試集變成 54 件再跑一次,合約附件的清單也跟著更新。上線前,由業務部一位沒參與開發的同事只看交接文件,三題都答出來了;掃描圖面則列為已知限制,先一律轉專人,才正式上線。

上線後,他們每週看轉專人的件數、被確認點攔下的件數和業務改草稿的幅度。兩個月後模型供應商推出新版本,廠商先用同一組考題重跑,有 1 件急件判斷和原本不同,修好之後才換版。老闆這次簽的驗收單上,寫的是那段驗收條件,而不是「功能展示正常」。

驗收條件其實在選流程時就可以先想好,見哪些企業流程適合先交給 AI agent。

常見問題

測試集要多少案件才夠?

起步 20 到 50 件就夠,重點是從真實案件裡挑,並涵蓋一般件、缺資料、急件和該轉專人這幾類。之後把並行運作與上線後遇到的新狀況陸續補進去。

成功率要多高才能上線?

看流程的出錯代價。只產出草稿、由人確認後才送出的流程,門檻可以低一點;直接寫入系統或對外寄送的流程,門檻要高,而且要看多次執行都成功的比例。門檻應該由業務單位訂,寫進驗收條件。

可以用 AI 來評分 AI 嗎?

可以,而且能省下不少人工。前提是先用一批人工評分過的案件校準,確認 AI 評分和人的判斷一致,之後也要定期抽查執行紀錄。

模型升級之後要重新驗收嗎?

要。模型、提示詞、工具或流程任何一項改變,都要重跑回歸測試。Anthropic 也提到,有評估機制的團隊在新模型推出時,能很快判斷要不要換;沒有的團隊只能靠手動試,花的時間長很多。

並行運作要跑多久?

我建議至少兩週,而且要涵蓋月底集中出貨、客戶趕交期這類比較忙的時段;兩週內碰不到的話,就延長到碰得到為止。比對結果穩定、新的差異類型不再出現,再進入正式上線。

參考來源

以下依各組織公開文件整理,評估工具的功能、數量上限與服務期程以官方頁面當下為準。

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

服務入口

了解企業 AI 營運導入

從需求診斷、系統串接、驗證上線到持續維護,查看 AI agent 導入的分工與人工審核方式。

查看相關頁面

常見問題

AI agent 可以不經人確認直接寄信嗎?

依能不能復原、影響誰、有沒有對外承諾,決定哪些動作要人確認。

查看 FAQ 解答

企業 AI 落地實踐

把文章裡的判斷帶回你的流程

從一個實際工作流開始,與 EthorX 共同釐清 AI agents 的導入起點。