台中一家五十人的精密加工廠,請廠商做了一個業務 agent 來整理詢價信:它會讀信、對照圖面與材質、標出缺漏和急件,在報價系統建立詢價單,再擬一封回覆給業務確認。展示那天,廠商拿三封詢價信示範,agent 把材質、數量、交期整理得清清楚楚,老闆當場就簽了驗收單。
上線第二週,業務發現它把一封「急件、需要陽極處理」的詢價歸成了一般件。客戶把這個需求寫在附件 PDF 圖面右下角的備註欄,agent 沒讀到;而展示用的那三封信,剛好都把需求寫在信件內文。等業務發現時,客戶已經來電問報價怎麼還沒出來,這張單差點被別家接走。老闆回頭看那張驗收單,上面只寫了「功能展示正常」。驗收的考題要從你過去真的遇過的案件裡挑,展示用的案件只能證明它做得到,證明不了它每次都做得到。
這篇會一直拿這家工廠當例子,講他們後來怎麼重新驗收:先定義什麼叫「完成」、用過去的真實案件建測試集、看哪幾個數字、上線前後各測什麼,以及交接時要交出哪些東西,最後再把這些寫成一段可以直接放進合約的驗收條件。
為什麼 agent 驗收和一般軟體不一樣
傳統軟體大多是輸入一樣、輸出就一樣,所以寫好測試就能判斷對錯。而 agent 就算輸入一樣,也可能得到不同的結果,只比對固定答案的傳統測試就不夠用了。OpenAI 的評估最佳實務和 Google 的 Agent Development Kit(ADK,Google 給工程師建 agent 的開發框架)文件都是從這一點講起,ADK 也提醒要同時檢查最後的回覆和 agent 走過的步驟。
Anthropic 在一篇談 agent 評估的文章裡用了一個很好懂的例子:訂機票的 agent 在對話最後說「您的機票已訂好」,但真正要檢查的是資料庫裡有沒有那筆訂位。看 agent 說了什麼不夠,要看系統裡實際發生了什麼。
換到那家加工廠,例如業務 agent 回覆「已建立詢價單並標成急件」,驗收要打開報價系統,確認詢價單真的存在、上面有標成急件,也指派給了對的業務。
走過的步驟也要看。例如 agent 把一封詢價標成急件,答案是對的,但執行紀錄(agent 每一步查了什麼、呼叫了哪個工具的紀錄)顯示它是查到這位客戶上次也下過急件,就照著標,根本沒有打開這封信的附件。這次剛好對了,下一封把急件寫在附件裡的信,它還是會漏掉,而這種問題只看最後的回覆是看不出來的。
先定義什麼叫「完成」
Anthropic 對好的測試題有一個很實用的標準:兩位熟悉這項業務的人各自判斷,會得到一樣的通過或不通過結論。兩個人意見不一,代表題目本身還不夠清楚,拿它去打分,分數也不可靠。
那家加工廠的做法是請兩位業務各自替同樣 10 件詢價信填答案。結果有 2 件兩人的答案不一樣:一位業務認為「下週要」算急件,另一位認為要寫明「急件」兩個字才算。對不上的地方,就是定義還不清楚的地方,他們先講好「交期在 10 個工作天內就算急件」,再擴大到 50 件。
所以寫測試集之前,先替每一種任務寫下「完成」的定義:
| 任務 | 完成的定義 | 怎麼檢查 |
|---|---|---|
| 整理詢價信 | 材質、數量、交期、表面處理都抓對;缺漏欄位全部標出;急件有標記 | 和業務事先填好的標準答案逐項比對 |
| 建立詢價單 | 單據存在於報價系統,客戶、料號、數量、急件標記正確 | 到系統查單據,不只看 agent 的回覆 |
| 擬回覆信 | 業務只需小幅修改就能寄出 | 事先定義「小幅」,例如改動不超過兩句 |
| 該轉專人的案件 | 沒有自行處理,轉給指定的人並附上原因 | 查轉派紀錄與附註內容 |
最後一種情況,也就是該轉專人的案件,最容易被漏掉。驗收不只看 agent 做對多少,也要看它在不該做的時候有沒有停下來。
還要先講好「部分正確」怎麼算。例如 agent 抓對了材質和數量,卻漏標急件,這一件算通過還是失敗?我建議把欄位分成關鍵欄位和一般欄位:急件標記、交期、數量錯一個就算失敗;備註的措辭不夠精準,記下來但不影響判定。這條規則要在跑測試之前寫好,事後才定,很容易變成替結果找理由。
用過去的真實案件建測試集
很多團隊覺得要先準備幾百題才能開始評估。Anthropic 的建議是,從真實失敗案例中挑 20 到 50 個簡單的任務,就是很好的起點;專案初期每一次修改的影響都很明顯,小樣本就看得出差異。OpenAI 也把「測試資料不能反映實際的案件分布」列為常見錯誤,並建議把歷史資料和正式環境的資料納入測試集。
這家加工廠從過去三個月的詢價信裡挑出 50 件,刻意照平常的比例放進各種情況:
- 30 件一般詢價:資訊完整,其中幾件的表面處理只寫在圖面備註欄。
- 10 件缺資料:缺少材質、數量或公差。
- 5 件急件:需求寫在附件備註欄或信件最後一行,包括第二週漏掉的那一封。
- 5 件應該轉專人的信:例如要求特殊折扣、夾帶客訴、內容和詢價無關。
另外,他們從這 50 件裡標出 5 件容易讓 agent 出錯的信,例如交期寫成「越快越好」、數量在信裡和圖面上不一致,專門用來測錯誤攔截,也就是看 agent 碰到可疑的信時,會不會在草稿上標出來、提醒業務注意。這 5 件本來就在前面四類裡。它們照樣算成功率,另外再檢查草稿有沒有標出疑義。
每一件由業務先填好標準答案,包括該不該轉專人。這 50 件就是之後每次修改都要重跑的考題。測試集裡有客戶名稱、圖面和報價,存放方式要比照原本的業務資料;交給外部開發廠商之前,先確認哪些欄位需要遮蔽。
驗收要看的四個數字
| 指標 | 怎麼算 | 示範門檻 |
|---|---|---|
| 任務成功率 | 符合「完成」定義的案件數 ÷ 測試案件數 | 應自行處理的 45 件中至少 42 件 |
| 轉專人的正確率 | 該轉的有轉、不該轉的沒轉 | 5 件應轉專人的信全部轉出 |
| 錯誤攔截 | 測試集裡標出的 5 件容易出錯的信,草稿上有沒有標出疑義,讓業務在確認畫面看到 | 這 5 件全部標出疑義 |
| 交接完整度 | 沒參與開發的同事只看交接文件,答不答得出本週處理幾件、哪一件出錯、怎麼暫停 agent | 三題都答得出 |
錯誤攔截這一項會用到「確認點」,指的是 agent 送出或寫入之前、要人按下確認的那一步,例如業務在寄出回覆前看的確認畫面。錯誤攔截測的就是這一步:例如那封交期寫成「越快越好」的信,看草稿上有沒有標出「交期有疑義」,讓業務確認時一眼看到。
門檻由業務單位決定,表裡的數字只是示範。有兩個地方要特別注意。
第一是一致性。Anthropic 提到,如果 agent 每次嘗試的成功率是 75%,連續三次都成功的機率只有約 42%(0.75 × 0.75 × 0.75)。會直接碰到客戶的流程,要看的是連續幾次都做對的機率,所以同一組考題要多跑幾次,看結果穩不穩定。例如 50 件跑三次,其中 3 件三次的判定不一致,有時通過、有時不通過,這 3 件比平均成功率更值得先處理,原因通常是規則寫得不清楚,或資料本身有問題。
第二是錯誤類型。只看成功率會漏掉錯在哪裡。把失敗案件分成讀錯資料、漏掉步驟、工具呼叫失敗、做了超出權限的嘗試幾類,每一類的處理方式都不一樣。讀錯資料可能要整理 agent 查的文件;超出權限的嘗試則要回頭檢查權限與人工確認的設計。
那家加工廠重新驗收時,agent 第一次跑 50 件考題,應自行處理的 45 件只有 37 件符合完成定義,5 件該轉專人的信也只轉出 4 件,拿來測錯誤攔截的 5 件,只有 3 件在草稿上標出疑義。失敗的案件分成三類:
- 6 件讀錯資料:表面處理或交期寫在附件備註欄(其中 3 件是急件),agent 只讀了信件內文。
- 2 件漏掉步驟:缺了公差,agent 沒有標成缺漏。
- 1 件該轉沒轉:客戶在詢價信最後一段順便抱怨上一批貨的毛邊,agent 把它當成一般詢價。
這三類的處理方式各不相同,廠商也就逐類處理:
- 讀錯資料:補上讀附件備註欄的步驟。
- 漏掉步驟:把公差改成每封信都要檢查,缺了就一定要標。
- 該轉沒轉:把「夾帶客訴就轉專人」寫進規則。
錯誤攔截沒過的那 2 件,材質、數量這些欄位都抓對了,所以算在任務成功的件數裡;但草稿上沒有標出交期有疑義,錯誤攔截這一項就不算通過。它們的交期都寫成「盡快」「越快越好」這種說法,所以他們再補一條規則:交期不是明確日期就標出來。
修完再連續跑三次,應自行處理的 45 件每次都有 43 件以上通過、5 件全部轉出,那 5 件容易出錯的信也都標出疑義。剩下沒通過的 1、2 件,都是回覆草稿要改超過兩句,業務覺得還能接受,記下來繼續調整。
上線前先並行跑,上線後持續重測
上線前:和人並行一段時間
測試集過關之後,我建議先讓 agent 和人並行處理同一批新進案件至少兩週。agent 照常產出結果,但不寄出、不寫入正式資料,產出只存在測試區;業務照原本的方式處理。每天挑幾件比對兩邊的結果,差異記下來,補進測試集。
那家工廠並行兩週共進來 80 件詢價,其中 6 件兩邊結果不同:4 件是 agent 漏看附件,都是客戶把圖面拍照或掃描成圖片寄來,測試集裡的附件剛好都是文字型的 PDF;另外 2 件是業務自己漏標了急件。後面那 2 件也值得記下來,它說明標準答案本身也要再對一次,人工流程同樣會出錯。
80 件裡有 74 件兩邊結果一樣;不同的那 6 件要逐件記下原因,再補進測試集。
這一步能抓到測試集沒涵蓋的案件類型。開頭那封把需求寫在附件備註欄的急件,如果當初先並行跑兩週,只要期間進來同類的信,就有機會在這個階段被發現,而不是等客戶打電話來催。
上線後:同一組考題持續重測
NIST 的 AI 風險管理框架在衡量(MEASURE)這一項,也建議 AI 系統在部署前先測試,運作期間再定期測試。OpenAI 建議設定持續評估,每次修改都重跑,並把新發現的狀況加進測試集。
Anthropic 把測試分成兩種:能力測試問「它做得到什麼」,一開始通過率低,用來找出還要改的地方;回歸測試問「它還做得到原本會的事嗎」,通過率應該接近百分之百。能力測試穩定通過後,就轉成回歸測試持續跑。模型升級、提示詞(寫給 agent 的工作指示)調整、新增工具、流程改變,任何一項變動都要重跑回歸測試。
除了重跑考題,上線後每週看三個數字:轉專人的件數、被確認點攔下的件數、人工修改草稿的幅度。轉專人突然變多,可能是客戶換了信件格式;人工修改變多,可能是提示詞或資料來源出了問題。門檻也要事先寫好,例如回歸測試掉到驗收門檻以下(應自行處理的 45 件裡通過不到 42 件),就暫停自動寫入,退回只產出草稿的模式。
交接文件要交出什麼
agent 上線後,負責維護的人常常不是當初開發的人。交接時至少交出這幾樣:
- 流程說明:agent 負責哪幾步、哪幾步留給人。
- 權限表:每個工具能做到哪一步(只能讀、只能擬草稿,還是能直接寫入)、哪些動作要人確認,分級方式見 AI agent 的權限與人工確認怎麼設。
- 測試集與最近一次的結果:包括失敗案件的分析。
- 已知限制:哪些案件類型還處理不好,例如掃描成圖片的圖面。
- 停用與退回人工的步驟:以及誰有權執行。
- 操作紀錄:怎麼查、保存多久。
- 重跑測試的負責人:誰負責、多久一次。
評估工具可以幫你跑測試,但資料最好不要只放在工具裡,因為工具的保存期限和服務本身都會變。例如 Microsoft Copilot Studio 的測試結果只在系統裡保存 89 天;OpenAI 的評估平台 Evals 則預定 2026 年 11 月 30 日關閉,有在用的團隊都得把資料搬出來。所以測試集和每次的結果,要存成團隊自己掌握的檔案。
判斷交接有沒有完成,最直接的方法是找一位沒參與開發的同事,只看這份文件回答三個問題:這週 agent 處理了幾件、哪一件出了錯、要怎麼暫停它。三題都答得出來,交接才算完成。失敗案件的分析要附原因和處理狀態,接手的人才分得出哪些是已知問題、哪些是新問題。如果是委外開發,交接文件和之後的維護也要在找廠商時談好;以我們的企業 AI agent 導入服務為例,交付時會移交程式碼與設定,上線後流程或模型更新時由工程團隊一起調整。
把上面寫成雙方都能核對的驗收條件
考題、門檻、並行運作和交接都定好之後,把它們寫成一段文字,放進需求書或合約附件。例如:
以過去三個月的 50 件詢價信為測試集(清單與標準答案見附件,由業務部填寫)。agent 連續執行三次,應自行處理的 45 件每次至少 42 件符合完成定義;5 件應轉專人的信每次都轉出;測試集中 5 件交期模糊或數量前後不一致的信,每次在草稿上都標出疑義,由業務確認後才寄出;並行運作兩週,所有差異案件皆有紀錄與處理結論;由業務部一位未參與開發的同事只看交接文件,就能回答本週處理幾件、哪一件出錯、怎麼暫停 agent。
這段文字有四個重點:
- 考題和標準答案在開發前就定好:附件由業務部填寫,廠商不能事後挑題目。
- 成功要連續多次成立:跑一次過關不算數。
- 並行運作的差異要有結論:每一件不同都要寫下原因和處理方式。
- 交接要有人驗證:由沒參與開發的同事只看交接文件,答得出本週處理幾件、哪一件出錯、怎麼暫停 agent 這三題才算完成。
先定考題再開發,雙方對「做完」的認知才會一致。對照那家工廠原本的驗收單,只寫了「功能展示正常」,就是少了這四件事。驗收條件也是和廠商談合約時最該寫清楚的一段,由誰來開發的取捨見企業 AI agent 自建、用平台還是委外。
驗收做不到的事
- 測試集只代表過去:新的客戶、新的產品線、新的信件格式,都可能落在測試集外。例如公司開始接醫療器材零件,詢價信會多出認證文件的要求,這類信在測試集裡一件都沒有。這就是為什麼上線後要持續把新案件補進去。
- 自動評分會出錯:用 AI 替 AI 打分可以省人力,但 OpenAI 建議用人的判斷來校準自動評分,Anthropic 也強調要實際閱讀執行紀錄,確認失敗是 agent 真的做錯,還是評分標準誤判。例如先拿 20 件人工評過的案件讓 AI 評分,兩邊結論大致一致,再擴大使用。
- 分數高也要看紀錄:成功率很高、但每件都走了很繞的路或多呼叫了不必要的工具,成本和風險都會累積。所以成功率高,也要抽看幾件執行紀錄,確認它沒有多呼叫不必要的工具、該交接時有交接。
回到那家加工廠
第一輪那 9 件失敗修完、連續三次都過了門檻之後,他們接著並行跑了兩週。並行抓到的那 4 件掃描圖面補進測試集,標準答案設為轉專人,測試集變成 54 件再跑一次,合約附件的清單也跟著更新。上線前,由業務部一位沒參與開發的同事只看交接文件,三題都答出來了;掃描圖面則列為已知限制,先一律轉專人,才正式上線。
上線後,他們每週看轉專人的件數、被確認點攔下的件數和業務改草稿的幅度。兩個月後模型供應商推出新版本,廠商先用同一組考題重跑,有 1 件急件判斷和原本不同,修好之後才換版。老闆這次簽的驗收單上,寫的是那段驗收條件,而不是「功能展示正常」。
驗收條件其實在選流程時就可以先想好,見哪些企業流程適合先交給 AI agent。
常見問題
測試集要多少案件才夠?
起步 20 到 50 件就夠,重點是從真實案件裡挑,並涵蓋一般件、缺資料、急件和該轉專人這幾類。之後把並行運作與上線後遇到的新狀況陸續補進去。
成功率要多高才能上線?
看流程的出錯代價。只產出草稿、由人確認後才送出的流程,門檻可以低一點;直接寫入系統或對外寄送的流程,門檻要高,而且要看多次執行都成功的比例。門檻應該由業務單位訂,寫進驗收條件。
可以用 AI 來評分 AI 嗎?
可以,而且能省下不少人工。前提是先用一批人工評分過的案件校準,確認 AI 評分和人的判斷一致,之後也要定期抽查執行紀錄。
模型升級之後要重新驗收嗎?
要。模型、提示詞、工具或流程任何一項改變,都要重跑回歸測試。Anthropic 也提到,有評估機制的團隊在新模型推出時,能很快判斷要不要換;沒有的團隊只能靠手動試,花的時間長很多。
並行運作要跑多久?
我建議至少兩週,而且要涵蓋月底集中出貨、客戶趕交期這類比較忙的時段;兩週內碰不到的話,就延長到碰得到為止。比對結果穩定、新的差異類型不再出現,再進入正式上線。
參考來源
以下依各組織公開文件整理,評估工具的功能、數量上限與服務期程以官方頁面當下為準。