你在一家精密零件廠管報價和規格文件。下午三點,業務在 LINE 上傳訊息問你:「A 客戶上次那張報價單,用的是哪一版材料規格?」客戶還在電話另一頭等他確認,他想在掛電話前就回答。你們的報價單有幾百張、每個月還在增加,所以遇到這種問題,你得去共用硬碟翻十幾個資料夾;直接問 ChatGPT 也沒有用,因為它沒看過你們的報價單,只能說不知道或亂猜。報價單的備註只寫「材料與公差依現行規格表」,沒有寫版號,所以你還得對照報價日期,看當時有效的是哪一版。更麻煩的是,共用硬碟裡第 2 版和現行的第 3 版規格表都還在。上個月新來的業務助理就翻到第 2 版,照著回了客戶;第 2 版的孔徑公差和第 3 版不一樣,要不是你剛好看到那封信,工廠就會做出客戶不收的零件。
RAG 要做的,是讓 AI 在回答之前先去翻公司的文件。以這個問題來說,它會先找到那張報價單和對應的規格表,把相關段落和問題一起交給模型,請模型只根據這幾段回答,並標出答案出自哪一份文件。
OpenAI 在說明怎麼提高模型準確度時,拿考試打過一個比方:微調(拿資料再訓練一次模型,讓它記住)像是上了好幾個月的課,把東西記在腦子裡;RAG 則像開書考,可以把課本帶進考場,遇到題目再翻。OpenAI:提升 LLM 準確度 這個比方可以再往下推一點:
RAG 就像一場開書考。
考生可以帶課本進考場,但每一個環節都會影響分數:
- 課本:就是你放進去的公司文件。課本裡沒寫的事,考生翻得再快也答不出來。
- 翻到對的那一頁:就是檢索。翻錯頁,答案就會跟著錯。為了翻得快,課本要先分好章節、做好索引卡。分章節就是切段;做索引卡就是建立索引;翻書時從目錄挑出幾十頁,是檢索;再從中挑出最相關的幾頁,是重排。
- 只照課本寫:這場考試另外規定,答案只能照課本寫、不能憑印象補,也就是要求模型只依找到的段落作答。
- 寫上頁碼:這也是額外的規定,就是附出處,改考卷的人才能翻回去核對。
- 帶錯版本的課本:如果書包裡同時有舊版和新版,考生翻到哪一版就照哪一版寫。所以接了 RAG 之後,答錯版本的事還是可能發生,就跟開頭那位業務助理翻到第 2 版一樣。
- 有些章節只有特定考生能翻:例如底價那一章只給業務主管看,這就是權限。
比喻不成立的地方是,真正的考生多少讀過整本書,而 RAG 的模型對你公司的文件,只看得到這次翻到的那幾頁;沒翻到的部分,它只能靠自己原本的記憶去補。直接問 ChatGPT 會亂猜,就是這個原因,所以才要規定它只照段落寫。公司內部的規格、價格和流程會一直改,所以這類知識適合讓模型在回答時去查;要是讓模型背下來,每改一次就得重新教一次。
開書考的三個環節:翻到對的那一頁、只照課本寫並寫上頁碼,還有別帶錯版本的課本。
RAG 是什麼:讓 AI 先查資料,再回答
RAG 是 Retrieval-Augmented Generation 的縮寫,中文常翻成「檢索增強生成」。這個詞來自 Patrick Lewis 等人在 2020 年發表的論文。他們把模型能用的知識分成兩種:一種是模型在訓練時學到、存在模型裡面的知識,另一種是放在模型外面、整理成可以搜尋的文件庫;而 RAG 就是讓模型在寫答案時,也能去查後面這一種。論文當時就點出,RAG 能幫模型交代答案出處,也讓知識更容易更新。Lewis et al.(2020)
AWS 的定義講得很直白:讓大型語言模型在產生回答之前,先去查訓練資料以外、可靠的資料來源。AWS:什麼是 RAG 放到企業裡來看,我覺得最實際的好處有三個:
- 不用重新訓練模型,就能用上公司的資料。例如價格表改了,你只要更新文件、重新整理一次索引就好;舊的那一份記得記下停用日期或移出,不然還是會被查到。
- 答案可以附上出處。使用者可以點回原文核對,這點對客服和業務特別重要,因為他們回給客戶的內容是要負責的。
- 資料來源由你控制。哪些文件能被查、誰可以查,都由你決定,不必等模型廠商重新訓練。
回到開頭的例子。模型本身不知道 A 客戶用的是哪一版規格,因為這件事只存在你們的報價單和規格表裡;而 RAG 補上的,就是「先去查」這一段。
從提問到答案,RAG 走過哪幾步
各家平台的細節不同,但流程大致相同。我用「A 客戶上次的報價單用哪一版材料規格」這個問題,把六個步驟走一次:
| 步驟 | 在做什麼 | 在報價單例子裡 |
|---|---|---|
| 1. 切段(chunking) | 把文件切成一小段一小段,讓每一段都可以單獨被找到 | 報價單切成表頭、品項、備註;規格表按章節切 |
| 2. 建立索引 | 把每一段轉成一串代表意思的數字(向量),方便用意思比對;同時保留關鍵字索引,用原字比對 | 「材料規格」「AL6061-T6」這類字串都查得到 |
| 3. 檢索 | 系統拿問題去索引裡找,先撈出可能相關的幾十段;也可以加上條件,排除不符合條件的文件 | 先找到 A 客戶最近一張報價單(2026-08),再用「2026-08 當時有效」當條件找規格表;因為索引裡記了每一版的生效和停用日期,第 2 版就被排除 |
| 4. 重排(rerank) | 把找回來的段落再評一次分,只留下最相關的幾段 | 把撈回來的段落依和問題的相關度重新排序,留下報價單的備註欄和第 3 版規格表的版本紀錄 |
| 5. 組成提示 | 把問題、段落和作答規則組成提示(交給模型的那一整段指令和資料),一起交給模型 | 規則是「只依這些段落回答,找不到就說找不到」 |
| 6. 生成並附出處 | 模型依段落寫答案,並標出每一句來自哪份文件 | 「第 3 版,出處:2026-08 報價單備註(依現行規格表)、規格表第 3 版的版本紀錄(2026-06 起生效)」 |
第二步的「用意思比對」,是 RAG 最常被拿出來介紹的部分。例如問題寫的是「交期」,文件寫的是「出貨日」,兩個詞意思相近,系統一樣找得到。不過料號、訂單編號、錯誤代碼這類字串,用意思比對反而容易找到長得像、但其實不是的那一筆。Anthropic 在說明怎麼改善檢索時就舉過例子:使用者查「Error code TS-999」這種精確的代碼時,照原字比對的關鍵字搜尋,會比用意思比對更容易找到正確的文件。Anthropic:Contextual Retrieval
所以 Google Cloud 介紹 RAG 時提到,進階的搜尋服務會把語意搜尋(也就是前面說的用意思比對)和關鍵字搜尋一起用,再用重排把最相關的結果排到前面。Google Cloud:什麼是 RAG Microsoft 的文件也直接建議用這種混合檢索(hybrid search),讓兩種比對方式各找一輪再合併,盡量少漏掉相關的段落,接著再重新評分,把最相關的段落排到前面。Microsoft Learn:RAG 與 Azure AI Search
問題比較複雜時,有些平台會先讓模型把一個問題拆成幾個小問題,再分頭去查。例如 Microsoft 的 Azure AI Search 遇到「A 客戶上次的報價單用哪一版規格、交期多久」這種問題,可以拆成規格、交期兩個查詢同時去找,再把結果合起來;這項功能目前還在預覽階段,也就是還沒正式推出、之後可能調整。Microsoft Learn:RAG 與 Azure AI Search
最後一步的出處,就是開書考寫上的頁碼,決定了答案能不能被核對。例如 OpenAI 的檔案搜尋工具,會在回答裡標出引用了哪一個檔案。OpenAI:File search 要求答案附出處,是之後能驗收的前提,因為沒有出處,你就沒辦法確認答案是不是真的從文件裡來的。
切段和建立索引在文件放進來時就先做好;每次有人提問,系統先找出幾十段,重排後只留最相關的幾段,模型再依這幾段回答並附上出處。
RAG、長上下文、微調和 agent 怎麼選
RAG 只是其中一種做法,而最常見的卡關,是分不清楚自己的問題該用哪一種。
長上下文:文件少,就整份放進去
長上下文的意思,是模型一次可以讀進很長的內容。所以文件量不大的時候,你可以直接把整份文件放進提示裡,連檢索都不用建。Anthropic 的建議是,知識庫小於 20 萬個 token(大約 500 頁)時可以這樣做;token 是模型計算文字長度的單位。Anthropic:Contextual RetrievalGoogle 的 Gemini 文件也提到,長上下文讓你可以一開始就把相關資料全部交給模型;但如果同一次要找好幾個分散的資訊,準確度會下降。Gemini API:Long context 另外,因為每次提問都要付整份文件的輸入費用,常用的內容可以搭配快取(把同一份內容先存起來重複使用)來降低成本。
微調:處理的是模型的行為
微調是拿你準備的範例再訓練模型一次,讓它的回答方式跟著改變。OpenAI 把提升準確度的方法分成兩個方向:如果模型缺的是它沒學過的知識,就用 RAG 這類補資料的方法;如果問題是格式不穩、語氣不對、推理方式不一致,才用微調。這兩種方法也可以疊在一起用。所以拿微調去教模型每個月都在改的價格表,我會認為方向錯了,因為價格一改,你就得再訓練一次。
agent:查完資料,還要進系統做事
agent 指的是會自己決定下一步、呼叫系統工具去完成任務的 AI。如果需求不只是查答案,還要進系統做事,例如建立報價單草稿、改訂單狀態,這時才需要 agent。在這種情況下,RAG 通常是 agent 手上的一個工具,負責查資料;其他步驟則由 agent 決定怎麼做。兩者的差別,可以看 AI agent 和聊天機器人、RPA、自動化流程差在哪。
幾種做法放在一起看
| 你的需求 | 先試 | 理由 |
|---|---|---|
| 同事查規格、問政策,文件幾百頁以內 | 長上下文 | 不用建索引,整理好文件直接放進提示 |
| 文件上百份、會持續更新,要附出處 | RAG | 只拿相關段落;文件改了,重建索引就能用上新內容 |
| 答案內容都對,但格式、語氣每次不一樣 | 先改提示,不夠再微調 | 問題出在模型的回答方式,補資料幫不上忙 |
| 查完資料還要去系統建單、改狀態 | agent,RAG 當其中一個工具 | 需要多步驟操作與人工確認 |
| 要查的是數量、金額、庫存 | 直接查資料庫或表格 | 數字被切成段落後,容易和別的品項湊在一起,直接查系統比較穩 |
用報價單的例子來說:如果要查的只有一份規格表,直接整份放進提示就好;報價單有幾百張、每個月還在增加,就用 RAG;業務希望 AI 直接開好報價單草稿,才需要 agent。
多數企業的第一個知識庫問答,用 RAG 或長上下文就能開始,不用一開始就做成 agent。至於第一個流程要怎麼挑,可以看哪些企業流程適合先交給 AI agent。
每一步最常出錯的地方
決定用 RAG 之後,接著要知道它會在哪裡出錯。很多人遇到答錯,第一個反應是換更強的模型,不過錯誤常常在模型拿到資料之前就發生了。下面五種錯誤裡,前四種出在資料和檢索,只有最後一種出在寫答案。
找錯段落
如果問題和文件的用詞不同、問題問得太模糊,或者文件裡有很多相似的段落,檢索就可能抓錯。例如業務問的是 A 客戶的報價單,系統卻抓到 B 客戶一張料號很像的報價單。要確認的話,先別急著看最後的答案,直接看這一題檢索回來的前幾段是什麼。
找到舊版
例如規格表第 2 版和第 3 版都放在資料夾裡,業務問「6061 鋁材最小孔徑是多少」時,檢索找到哪一版,模型就會照哪一版回答。這是資料端的問題:段落裡就算有版號,也不能指望模型自己判斷哪一份才是現行版本。比較可靠的做法,是在建立索引時替每一版記下生效和停用日期,檢索時就只找提問當下(或報價當時)有效的那一版。
權限沒跟著設
財務的報價底價,應該只給財務和業務主管看。但如果索引裡沒有記下每份文件的權限,任何人一問,都可能把它找出來。Microsoft 的做法,是在檢索的時候依照提問者的身分,過濾掉他沒有權限看的文件。Microsoft Learn:RAG 與 Azure AI Search權限要在系統找資料的時候就擋掉,因為只在提示詞裡叫模型「不要說出來」,模型還是看得到那段內容,換個問法就可能被問出來。
表格和掃描檔
表格被切段之後,某一段可能只剩下一行數字。例如某一段只剩「0.8|1.0|1.2」,被單獨找出來時,你看不出是哪種材質、哪個尺寸的孔徑。而掃描檔如果沒有經過文字辨識(OCR),裡面的字可能根本沒有進到索引。
答案沒附出處,或出處對不上
模型有時會在段落之外,自己補上一般常識;也可能答案寫第 3 版,附的出處卻是第 2 版的規格表。沒有附出處的答案,你沒辦法核對;而出處對不上的答案更麻煩,因為讀的人看到有附出處,很容易就不再點回去確認。
| 症狀 | 通常出在哪一步 | 先查什麼 |
|---|---|---|
| 答非所問 | 檢索、重排 | 這一題找回來的前五段是什麼 |
| 答出舊規格 | 資料、索引 | 資料夾裡是否同時放了新舊版本 |
| 有人看到不該看的內容 | 索引、檢索 | 索引裡有沒有記下每份文件誰能看,找資料時有沒有依身分過濾 |
| 明明有文件卻答「找不到」 | 切段、索引 | 檔案是不是掃描檔、系統有沒有讀出裡面的字 |
| 答案看起來對,但出處對不上 | 生成 | 提示有沒有要求只依段落回答、逐句附出處 |
資料端要整理到什麼程度,可以看企業知識庫要整理到什麼程度,AI agent 才用得上的準備清單。
就我看到的情況,做 RAG 專案最花時間的通常是把散在各處的資料接起來,並讓權限跟著公司原本的規則走,例如規格書在共用硬碟、報價在 ERP(管進銷存和財務的系統)、客服紀錄在信箱,各有各的權限;接這些系統的標準做法可以看 MCP 是什麼。我們的企業 AI 營運方案在需求診斷時,會先把這幾個來源和各自的權限規則列出來,再一個一個串接,並用上面那張症狀表,拿公司裡真的被問過的問題驗過才上線。
答案怎麼驗收:找對段落和答對問題分開記
OpenAI 在前面提到的那份準確度指南裡,把 RAG 的失敗分成兩類:一類是檢索給錯了資料,或是給了太多無關的資料,把重點淹沒了;另一類是資料給對了,模型卻用錯了。因為這兩類的修法不一樣,所以驗收時要分開記。
我建議這樣做:
- 從真實紀錄裡挑 20 到 30 題。題目要來自客服信、業務的 LINE 對話和內部表單裡實際被問過的問題,不要自己想。
- 每一題寫下標準答案,以及應該被找到的文件段落。例如「A 客戶報價單用哪一版規格」的標準答案是「第 3 版」,應該找到的段落是 2026 年 8 月那張報價單的備註欄,以及第 3 版規格表的版本紀錄。
- 放幾題文件裡沒有答案的問題。正確的反應是回答「找不到」,硬湊出一個答案就算錯。
- 每一題記下三件事:
- 段落有沒有找到:正確的段落有沒有出現在檢索結果的前五名。
- 答案對不對:和標準答案比對。
- 出處對不對得上:點回出處時,原文是不是真的寫著這件事。
記錄起來大概會像這樣:
| 題目 | 應該找到的段落 | 檢索有沒有找到 | 答案對不對 | 出處對不對得上 | 問題在哪 |
|---|---|---|---|---|---|
| A 客戶報價單用哪版規格 | 2026-08 報價單備註、第 3 版版本紀錄 | 有 | 對 | 對得上 | 沒有問題 |
| 6061 鋁材最小孔徑 | 規格表第 3 版 4.2 節 | 沒有,找到第 2 版 | 錯 | 指向第 2 版 | 舊版規格還留在資料夾裡 |
| B 客戶付款條件 | 合約附件二 | 有 | 錯,模型自己補上業界常見的「月結 60 天」 | 附件二沒寫 60 天 | 提示沒有要求只依段落回答 |
| 明年度調價幅度 | 文件裡沒有 | 沒有可找的段落 | 應該回答「找不到」 | 不該附出處 | 測試它會不會硬湊答案 |
這張表能告訴你該修哪一段:第二題要整理資料,第三題要改提示。如果只看答對幾題,你會把兩種問題混在一起修。另外,文件改版之後用同一組題目再跑一次,才看得出有沒有退步。更完整的驗收設計,可以看 AI agent 專案怎麼驗收。
回到下午三點那則訊息。你們的報價單有幾百張,所以用的是 RAG;你在建索引時替第 2 版記上「2026 年 6 月停用」,這一題也放進上面的驗收題目裡跑過。接上之後,業務在 LINE 上問同一題,系統會回「第 3 版」,並附上 2026 年 8 月報價單的備註欄和第 3 版規格表的版本紀錄當出處,他點開出處確認一次,就能在客戶掛電話前回覆,你也不用再去翻共用硬碟。
常見問題
公司網站被 AI 搜尋引用,也是 RAG 嗎?
概念上是同一套流程。Google 說明 AI 摘要(AI Overviews)和 AI 模式這些功能,會先從搜尋索引裡找出相關網頁,再依這些網頁寫回答。Google Search Central:生成式 AI 功能最佳化 所以你的網頁要先被 Google 收錄,才有機會成為回答裡的來源連結。兩種搜尋的差別,可以看 AI 搜尋和傳統搜尋差在哪裡。
有了 RAG,AI 就不會答錯了嗎?
會少一些,但仍可能答錯。Google Cloud 的說法是 RAG 有助於減少生成式 AI 的幻覺,也就是模型一本正經地編出不存在的內容;不過前提是檢索有找對段落,模型也照著段落回答。所以會對客戶承諾的內容,例如交期、價格、品質判定,我會建議保留人工確認,並要求答案附上出處,方便核對。
RAG 和微調可以一起用嗎?
可以,RAG 補知識、微調穩定格式與行為。不過多數企業的第一個專案先把 RAG 做好就夠了,等答案都對了、只剩格式不穩時,再評估微調。
一定要自己架向量資料庫嗎?
不一定。向量資料庫是專門存放、比對那串向量的資料庫,而現在幾家雲端平台都有代管的做法,也就是由平台替你架好、維護。OpenAI 的向量儲存(vector store)在檔案放進去時,會自動切段、轉成向量並建立索引;Azure AI Search 也有自動切段和向量化的流程;Google Cloud 的 Agent Search(原本叫 Vertex AI Search)則要在建立資料儲存庫(存放這批文件的空間)時就開啟切段功能,建好之後就不能再切換。會選擇自己架的公司,通常是因為資料不能離開公司環境,或者需要更細的檢索調整。代管還是自己架怎麼選,可以看向量資料庫是什麼。只是想先試試「放進文件、提問、看引用」的效果,NotebookLM 這類工具不用自己架任何東西。
文件改版之後,RAG 要重新訓練嗎?
不用,要更新的是索引。你把新版文件放進去、舊版移出來,等索引同步完成,下一次提問就會查到新的內容。我會建議在文件改版的流程裡多加一步「確認索引已經更新」,再用固定的測試題抽查。
料號、訂單編號這種字串,RAG 找得到嗎?
要看檢索方式。如果只用意思比對,精確的字串比較容易抓偏;而混合檢索會同時用原字比對,所以找料號和編號通常會可靠許多。如果要查的是某張訂單的數量或狀態,讓系統直接查資料庫,通常會比從文件段落裡找更準。
參考來源
以下依各家官方文件整理,產品名稱與功能以各家官方頁面當下為準。
- AWS:What is RAG (Retrieval-Augmented Generation)?
- Google Cloud:What is Retrieval-Augmented Generation (RAG)?
- Microsoft Learn:RAG and generative AI(Azure AI Search)
- OpenAI:Optimizing LLM accuracy
- OpenAI:File search
- OpenAI:Retrieval
- Anthropic:Introducing Contextual Retrieval
- Google Cloud:Parse and chunk documents(Agent Search)
- Google AI for Developers:Long context
- Google Search Central:Optimizing for generative AI features on Google Search
- Google Search Central:AI features and your website
- Lewis et al.(2020):Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks