企業 AI 知識庫要整理到什麼程度,agent 才用得上?

很多公司以為導入 AI agent 前,要先把全公司資料整理完。這篇拿一家 CNC 加工廠的客服 agent 當例子,說明 agent 怎麼讀文件、最常答錯的五種資料問題,以及只替第一個流程準備資料的清單。

先說結論

企業 AI 知識庫不必等全公司資料整理完。我建議只整理第一個流程會用到的那批資料,確認五件事:只留現行版本、每份文件有負責人、權限和原本的存取規則一致、檔案讀得出文字而不是只有圖片、文件被系統切成小段後每一段單獨看也看得懂。做到這五項就能開始試行,其他資料等下一個流程需要時再整理。

不鏽鋼工作台上,左邊立著四本顏色不同的資料夾,中間攤開一疊影印的表格,每一頁頂端都有一條螢光綠表頭,右邊是一塊鑽了孔的鋁塊和一支游標卡尺;背景是塞滿紙箱和資料夾的檔案架與 CNC 機台
企業 AI 知識庫要整理到什麼程度,agent 才用得上? 封面視覺

台中一家 CNC 加工廠的老闆,決定用公司本來就有的 Microsoft 365 做一個客服 agent,也就是會自己查文件、起草回信的 AI 助理,讓它回答客戶的規格問題,例如「6061 鋁件可以做到多少公差」,順便查訂單系統回答「這張單出貨了沒」。IT 主管的第一個反應是:「公司 SharePoint 的共用資料夾裡有十二年的檔案,先整理完再說。」結果半年過去,檔案整理了三成,agent 還沒開始做,客服每天還是要花兩三個小時翻規格表回信。

後來他們換了一個問法:客服最常被問的是哪些問題?整理下來,大概只會用到四份文件:現行的材質規格表、公差標準、交期說明和退貨政策,再加上原本就有的訂單系統。這四份文件照著一張清單,兩週就整理過一遍,agent 下個月就開始試行。要整理哪些文件,由第一個要交給 agent 的工作決定。

這篇會一直拿這個客服 agent 當例子,講 agent 實際上怎麼讀你的文件、哪些資料問題最常讓它答錯,以及只替第一個流程準備資料時要檢查的五件事,最後再看它試行的結果。第一個流程怎麼挑,可以先看哪些企業流程適合先交給 AI agent。

agent 怎麼讀你的文件

這裡說的知識庫,指的是 agent 回答問題時可以去查的那批文件和資料。agent 平台處理這批文件的方式大致有兩種:一種是把你上傳的文件切成小段,轉成可以比對意思的格式另外存一份,存這些小段的地方通常是向量資料庫,一種能依「意思相近」來搜尋的資料庫。

另一種是不另存,使用者提問時直接去原本的位置搜尋,例如用 Microsoft 的 Copilot Studio(微軟用來建 agent 的工具)接公司的 SharePoint(Microsoft 365 裡共用文件的地方)時,agent 就是用 Microsoft 365 本身的搜尋去找。兩種做法最後做的事都差不多:找出最相關的幾段,拿來回答。這種「先查資料、再回答」的做法叫做 RAG(檢索增強生成)。

可以把 agent 想成一位只拿得到影印頁的新助理。

你把整櫃文件交給他,他不會從頭讀完。每次客戶一問,他就去櫃子裡找出看起來最像答案的幾頁,影印下來,只看這幾頁就回答。agent 答得對不對,取決於它影印到的那幾頁上寫了什麼。

這個比喻對得上後面會講的幾個問題:

  1. 影印頁看不到封面:規格表的材質只寫在每一節的第一頁,他影印到中間某一頁時,不知道這些數字是哪個材質。
  2. 櫃子裡有三個版本:他分不出哪一份是現行版,影印到哪份就用哪份。
  3. 掃描的頁面讀不出字:影印到一張只有圖片的掃描檔,他可能什麼都讀不到。
  4. 他用提問的人的鑰匙開抽屜:提問的人沒有那個抽屜的鑰匙,他就打不開,而且不會告訴你抽屜鎖著,只會說找不到。

比喻不成立的地方是,真的助理看不懂時會回頭問你,agent 通常不會,它會直接用手上那幾頁回答。

牛皮紙上的橡皮章插畫,分成三段:① 整櫃文件,一座四層檔案櫃,打開的抽屜裡並排三份幾乎一樣的文件,最下層抽屜掛著螢光綠的鎖,標著「三個版本分不出哪份是現行版;鎖住的抽屜只會說找不到」;② 只影印幾頁,紙袋造型的小信差站在影印機旁,影印機射出螢光綠光束,標著「每次被問,只拿最像答案的幾頁來回答」;③ 看影印頁回答,放大的兩頁影印本,左邊那頁沒有表頭、上面有個問號,右邊那頁頂端有螢光綠表頭,標著「沒有表頭的那頁,看不出是哪個材質」 agent 每次只拿到幾段,就像助理只看影印下來的幾頁:哪一頁被影印到、那一頁上有沒有寫清楚,決定了它答得對不對。

找段落時主要靠意思的比對,所以就算客戶的用詞和文件不同,例如問「孔可以多準」,也能找到寫著「公差」的段落。不過料號、訂單編號這類字串本身沒有「意思」,用意思比對容易找錯,要靠字面一模一樣的關鍵字比對。所以不少平台會兩種一起用,例如 OpenAI 給工程師串接用的檢索功能,就能同時用兩種比對、再調整兩者的比重。加工廠客服常被問「SO-0831 這張單出貨了沒」,所以他們讓 agent 直接查訂單系統,不從文件裡找。

用一個問題走一遍

客戶來信問:「6061 鋁件、孔徑 10 mm,你們的公差可以做到多少?」客服 agent 大致會這樣處理:

  1. 改寫問題:把它改寫成幾個比較好搜尋的查詢,例如「6061 公差」「孔徑 10 mm 公差標準」。
  2. 找段落:從資料來源(你在 agent 設定裡指定它可以查的文件位置)找出最相關的幾段,可能是公差標準的某一頁、規格表裡的某幾筆數字。
  3. 整理回答:讀這幾段,整理成回答,附上出處。

每一步都可能被資料本身拖累。公差標準如果有兩個版本,第二步可能拿到舊的那份;退貨政策如果只是掃描圖,第二步可能找不到;表頭只在第一頁,第三步拿到的那幾個數字就看不出是哪個材質。所以 agent 答錯時,先看它附上的出處,確認它拿到了哪幾段,也就是那位助理影印了哪幾頁。很多時候,問題出在資料,不在 agent。

每一段被單獨找出來時,也要看得懂

切段有一個容易被忽略的後果,就是比喻裡的第一點:文件被切成小段之後,每一段都要自己看得懂。Anthropic 在說明檢索改進方法時舉過一個例子:某一段寫著「公司營收比上一季成長 3%」,但這段本身沒說是哪家公司、哪一季。放回整份文件裡人看得懂,單獨被找出來時就失去了前後文。

回到那家加工廠:規格表分成 6061 和 7075 兩節,每一節只在開頭寫一次「本表適用於 6061 鋁合金」「本表適用於 7075 鋁合金」,後面幾十筆都是尺寸與公差的數字。被切出來的某一段只剩幾筆數字,agent 拿到它時不一定知道是哪個材質,7075 的數字就可能被當成 6061 的拿去回答。

Anthropic 的做法是在每一段前面補上說明前後文的文字。在他們自己的測試裡,補上說明之後,找不回正確段落的情況少了約三分之一(從 5.7% 降到 3.7%),再加上關鍵字比對和重新排序(找出一批段落後,再用另一個模型依相關程度重排一次),最後降到 1.9%。Google 的 Agent Search 也有類似的設定,可以把文件標題和各層小標題附在每一段上,避免從文件中間切出來的段落失去前後文。

一般公司不一定要自己做這種技術調整,從文件本身下手也有用:表格每一頁都有表頭、每個段落開頭交代它在講什麼,被切出來的段落就看得出是哪個材質、哪份文件。加工廠那四份文件加起來只有二、三十頁,但 Copilot Studio 接 SharePoint 時每次也只用搜尋拿回幾段,不會整份讀,所以這件事對他們一樣重要。

對照圖:同一份 6061 鋁合金規格表被切成小段。左邊是改前,表頭「本表適用於 6061 鋁合金」只在第一頁,後面幾頁沒有表頭,切出來的孔徑 10 mm 那一段只剩一行數字,看不出是哪個材質;右邊是改後,每一頁都有表頭,切出來的段落帶著「6061 鋁合金」,這一段自己就看得懂 切段之後,每一段都會被單獨找出來;表頭只寫在第一頁時,後面的段落就少了「這是哪個材質」這件事。

最常讓 agent 答錯的五種資料問題

下面五種問題裡,版本和負責人是文件管理本身的問題;掃描檔、權限和加密則和平台怎麼讀檔有關,各家官方文件都寫了限制。權限和加密這兩種,拿前面提過的 Copilot Studio 接 SharePoint 當例子。

1. 同一份文件有好幾個版本

「規格表_v3」「規格表_v3_final」「規格表_最新」同時放在資料夾裡,agent 可能找到任何一個。它沒辦法從檔名判斷哪個是現行版,所以很可能答出舊規格。

2. 掃描檔與圖片裡的文字

以 Google Cloud 給企業建搜尋和 agent 用的 Agent Search 為例,平台預設只讀檔案裡原本就是文字的內容;掃描的 PDF、文字在圖片裡的文件,要改用 OCR(把圖片裡的字轉成文字)的讀取方式才讀得到。加工廠的退貨政策是老闆簽名後掃描成 PDF 的,人眼看得很清楚,對只讀文字的系統來說,可能只是一張沒有字的圖。OCR 讀得多準、翻拍或蓋章時會錯在哪,我們拿三張單據實測過,寫在 OCR 辨識是什麼。

3. 使用者沒有權限看那份文件

Copilot Studio 從 SharePoint 讀文件時,用的是提問的人自己的身分,只會找出這個人有權限看的內容。而這個人缺少權限時,系統不會顯示錯誤,看起來就像 agent 找不到那份文件,所以測試時要用實際使用者的帳號來測。加工廠的公差標準原本放在品保部門的資料夾,客服人員沒有權限,agent 用客服的身分去找就會落空。

4. 加密或設了密碼的檔案

Copilot Studio 從 SharePoint 讀文件時,也讀不到加密檔案的內容。在 Microsoft 365 裡標成機密並加密的檔案,或設了開啟密碼的檔案,可能在資料來源清單裡顯示為「就緒」(Ready,代表已經可以使用),問到時卻沒有回應。例如加工廠的交期說明 PDF 如果設了開啟密碼,就算放進資料來源,agent 也讀不到。

5. 沒有人負責更新

如果交期說明從「三週」改成「四週」,網站和業務都知道,放在 agent 資料來源裡的那份卻還是舊的,agent 就會照舊回覆客戶三週。客戶照這個時間排了產線,要等交貨晚了一週才會發現。文件沒有負責人,就沒有人會記得去更新它。

資料問題agent 會怎樣改法
多個版本並存可能引用舊版內容只留現行版,舊版移到另一個 agent 讀不到的資料夾
掃描檔、圖片讀不到或讀錯文字轉成文字檔,或確認平台有 OCR
使用者沒有權限看起來像「找不到資料」用實際使用者帳號測試
加密或密碼保護顯示就緒卻沒有回應另存一份不加密的版本,放在使用者有權限讀的資料夾
沒有負責人答出過期資訊每份文件指定負責人與確認日期

只替第一個流程準備:五項清單

挑好第一個流程之後,先列出這個流程會用到的文件與系統。以客服規格問答為例,就是那四份文件,加上訂單系統;清單以外的資料,這次先不動。接著每份文件檢查下面五件事,那家加工廠就是照這張清單,花兩週把四份文件逐一檢查過一遍。清單和前面的五種資料問題不是一對一:掃描和加密合成一項「讀得出文字」,另外多了切段那一節講的「每一段自己看得懂」。

  1. 只留現行版本:每份文件只保留一個版本在 agent 讀得到的位置,舊版移到另一個 agent 讀不到的資料夾。
  2. 寫上負責人與最後確認日期:建議每份文件至少記四件事:負責人、最後確認日期、適用範圍(例如哪些材質、哪條產品線)、哪些人可以讀。這些可以寫在文件開頭,也可以填在平台給每個檔案的標籤裡。例如 OpenAI 的向量資料庫允許每個檔案帶最多 16 個自訂標籤,找段落時可以依標籤篩選,例如只找某個日期之後確認過的文件。
  3. 權限照原本的規則走:原本只有品保能看的內部檢驗報告,agent 也不該讓客服讀到;客服要用的公差標準,就要放在客服有權限的位置。之後如果要讓 agent 讀客戶的往來紀錄,還要回頭確認個資的用途:個人資料保護法第 20 條規定,公司利用個資原則上要在當初蒐集的特定目的必要範圍內,拿來當 agent 的資料來源之前,先確認符合這個目的。
  4. 檔案讀得出文字:掃描檔和圖片要轉成文字檔,或確認平台有開 OCR,轉完核對一次數字和表格;加密或設了密碼的檔案,另存一份不加密的版本。
  5. 每一段自己看得懂:表格每頁都有表頭,段落開頭交代主題。讓人容易查的文件,通常 agent 也容易用。

整理完之後,準備一組固定的測試問題,例如客服最常被問的 20 題,每題寫下正確答案與出處。試行時用這組問題測,才知道 agent 答對多少、錯在哪裡。驗收方式可以看 AI agent 專案怎麼驗收。

試行第一週:20 題有 5 題答錯

客服 agent 試行的第一週,加工廠用那 20 題測了一輪:14 題直接答對,1 題照設定轉給客服,5 題答錯。五項清單都排進了進度,但回頭看答錯那 5 題附的出處,才發現有兩項還沒做完:

  • 3 題是權限:清單第三項要把品保資料夾裡的公差標準開給客服讀,IT 主管排在最後,還沒做完;他用自己的帳號測,品保資料夾本來就看得到,所以沒發現。改用客服人員的帳號一問,agent 找不到公差標準,只好用規格表裡不完整的數字回答。
  • 2 題是表頭:規格表是從舊的報價系統匯出的 PDF,要補表頭得回頭改原始的 Excel、再重新匯出。他們先改了 6061 那一節,7075 那一節排到下一週,結果後面幾頁還是沒有表頭,agent 就把 7075 的公差當成 6061 的。

他們把公差標準的讀取權限開給客服、規格表其餘幾頁也補上表頭,第二輪 20 題都沒有出錯:19 題直接答對,另外 1 題是客戶問的特殊材質,文件裡本來就沒有;他們事先把 agent 設定成文件裡找不到答案就轉給客服,所以這題兩輪都轉給了客服,這正是他們要的做法。20 題裡有 4 題是問訂單出貨了沒,agent 直接查訂單系統,兩輪都答對;掃描的退貨政策則在整理時就轉成文字、核對過一次,問到退貨的題目也沒有出錯。

回頭看,權限和表頭這兩項都在清單上,只是沒做完,而且用 IT 主管的帳號測不出來。這也是為什麼清單做完還要用實際使用者的帳號測一輪:清單只告訴你要做哪幾件事,有沒有做完要靠測試題才看得出來。

上線後怎麼維護

資料上線後還要有人持續維護,我建議把下面三件事排進例行流程:

  • 文件改版時,同步更新 agent 的資料來源:在原本的改版流程裡多加一步。例如加工廠下次把交期說明從三週改成四週,負責人改完網站上的版本,也要確認 agent 讀的那份換了。
  • 搬移或改名前先確認連結:以 Copilot Studio 為例,把 SharePoint 網站或資料夾改名,可能讓 agent 原本的資料來源連結失效,agent 就讀不到了。
  • 每月用固定測試題抽查一次:答案和上個月不同時,先查是文件改了、權限變了,還是連結斷了。

這三件事最好指定一位負責這批資料的人,通常是這個流程的主管或資深同事。如果某個月抽查時,20 題裡有 2 題答案和上個月不同,這位負責人要能在一天內查出是哪份文件改版、有沒有同步到 agent,這套維護才算真的在運作。如果這批資料是和外部團隊一起整理的,以我們的企業 AI agent 導入服務為例,需求診斷時會先釐清資料現況、只整理第一個流程會用到的部分,上線後再由工程團隊和這位負責人一起維護。

資料整理解決不了的事

資料整理得再好,agent 還是可能答錯。以 Copilot Studio 為例,就算關閉「允許不依據資料來源回答」(Allow ungrounded responses)的設定,回答時仍可能混入模型本身原本知道、但不在你們文件裡的內容。所以會對客戶承諾的內容,例如交期、價格、品質判定,仍要保留人工確認:加工廠的客服 agent 先起草回信,由客服人員看過再寄出。

我建議一開始就要求 agent 回答時附上出處,指出答案來自哪份文件的哪一段。而且關掉這個設定後,Copilot Studio 只有在回答附上出處時,才會把根據資料來源寫出的回答顯示出來。所以要求附出處,也讓客服人員確認時一眼就能回到原文核對。

另外,各平台支援的檔案格式不同。例如 OpenAI 檔案檢索的支援清單裡沒有 Excel,Google 的 Agent Search 則支援 XLSX;單檔大小也各有上限。選平台前,先對照官方文件當下的清單。

回到那家加工廠

試行一個月後,那家加工廠的客服每天翻規格表回信的時間,從兩三個小時降到不到一小時,多出來的時間拿去處理 agent 轉過來的特殊案件。IT 主管當初想先整理的十二年檔案,到現在大部分都還沒動;下一個流程要把品保的檢驗報告放進來時,他們才會照同一張清單整理那一批。

資料準備好之後,下一步通常是決定 agent 能做到哪裡,例如找到答案之後是直接回覆客戶,還是先給客服人員確認,可以接著看 AI agent 的權限與人工確認怎麼設;要不要自己做,則可以看企業 AI agent 自建、用平台還是委外。

常見問題

一定要先建一套「企業知識庫系統」嗎?

不一定。第一個流程只用到幾份文件時,把它們整理好、放在 agent 讀得到的位置就能開始。等流程變多、文件變多,再考慮統一的知識庫系統,那時你也會更清楚需要什麼功能。如果需求只是讓同事查規格、問政策,不需要去其他系統查資料或建單,Microsoft 的 agent 導入指南認為,一個能查文件回答的問答工具就夠了,不需要做成 agent,兩者的差別見 AI agent 和聊天機器人、RPA 的差別。想先用最低成本試試問答的效果,可以把幾份整理好的現行文件放進 Google 的 NotebookLM(現在叫 Gemini Notebook),做法在 NotebookLM 教學。

每一段會切多大?

各家平台的預設不同。OpenAI 的檔案檢索工具預設每段約 800 個 token(token 是模型計算文字量的單位,中文一個字可能算一個或多個 token,依模型而定),相鄰兩段有 400 個 token 的內容重複,避免一句話剛好被切斷;Google Cloud 的 Agent Search 預設每段最多 500 個 token。一般公司用預設值就可以開始,比起調整段落大小,讓每一段自己看得懂更有用。

文件很少的話,也需要切段嗎?

不一定。Anthropic 的建議是,知識庫小於 20 萬個 token(他們用英文資料估算大約 500 頁,中文文件的頁數會不一樣)時,可以直接把整份內容連同問題一起交給模型,不需要找段落這一步。不過像 Copilot Studio 接 SharePoint 這類做法,平台每次都是用搜尋拿回幾段,不會整份讀;文件之後也會越來越多。所以表頭、段落開頭這些讓每一段自己看得懂的整理,還是值得先做。

掃描的 PDF 可以直接給 agent 用嗎?

要先確認平台能不能讀出裡面的文字。以 Google 的 Agent Search 為例,掃描檔要改用 OCR 的讀取方式才能抽出文字。最穩的做法是把常用的掃描文件轉成文字檔,再核對一次數字與表格有沒有轉錯。

agent 會讓員工看到原本沒有權限看的文件嗎?

要看 agent 用誰的身分讀資料。Copilot Studio 從 SharePoint 讀文件時,用的是使用者本人的身分,只會找出這位使用者本來就能看的內容。但直接上傳到 agent 裡的檔案,官方文件標示的驗證方式是「無」,也就是任何能用這個 agent 的人都可能問到內容。如果 agent 用一個權限很大的共用帳號讀資料,也會有同樣的問題,所以敏感文件不要直接上傳,設計時要先確認這一點。

資料多久要更新一次?

跟著文件本身的改版走,而不是固定週期。規格表改版、政策調整時,負責人同步更新 agent 的資料來源;另外每月用固定測試題抽查一次,找出漏掉的更新。

Excel 表格適合當 agent 的資料嗎?

看平台與用途。OpenAI 檔案檢索的支援清單沒有 Excel,Google 的 Agent Search 支援 XLSX。如果要查的是數字,例如某張訂單的數量或某個料號的庫存,讓 agent 直接查訂單或庫存系統,通常比把表格切段檢索更準確。

參考來源

以下依各家官方文件整理,支援格式、切段預設與檔案上限以官方頁面當下為準。

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

服務入口

了解企業 AI 營運導入

從需求診斷、系統串接、驗證上線到持續維護,查看 AI agent 導入的分工與人工審核方式。

查看相關頁面

常見問題

AI agent 可以不經人確認直接寄信嗎?

依能不能復原、影響誰、有沒有對外承諾,決定哪些動作要人確認。

查看 FAQ 解答

企業 AI 落地實踐

把文章裡的判斷帶回你的流程

從一個實際工作流開始,與 EthorX 共同釐清 AI agents 的導入起點。