向量資料庫是什麼?Embedding 怎麼運作,企業做 RAG 要不要另外買一套

客服搜「冷氣一直滴水」,找不到標題是「室內機排水異常」的那篇文件。這篇用這個例子說明 embedding 和向量搜尋在做什麼,再比較平台內建、現有資料庫加向量功能、專門向量資料庫三種做法。

先說結論

向量資料庫是能儲存 embedding、並依「意思相近」找資料的資料庫。embedding 會把一段文字轉成一串數字,意思越接近的文字,數字也越接近,所以用詞不同也找得到。企業做 RAG 不一定要另外買一套:文件少可以先用平台內建的檔案檢索,已經有 PostgreSQL 這類資料庫可以直接加向量功能,資料量很大或檢索要求很高時,才需要專門的向量資料庫。

木桌上一台小冷氣機正滴水到玻璃杯裡,前方一疊便條紙用螢光綠細繩連到右邊分成藍、米、灰三區的卡片盒,繩子的另一端夾在藍色那區一張稍微突出的卡片上
向量資料庫是什麼?Embedding 怎麼運作,企業做 RAG 要不要另外買一套 封面視覺

你是一家冷氣品牌的客服組長,那天線上忙不過來,你自己接了一通電話。客人說:「我家冷氣一直滴水,滴到地板都濕了。」你在內部知識庫打「冷氣 滴水」,搜出來的是一篇講滴水保固範圍的說明,客人在線上等了兩分鐘,你只好說稍後回電。掛掉之後,資深同事告訴你,處理步驟其實寫在一篇叫「室內機排水異常處理方式」的文件裡,只是那篇文件裡一個「滴水」都沒有。

這個知識庫有三百多篇文件。你把這件事報上去,主管決定導入 AI 客服助理,用 RAG 的方式回答,也就是先從公司文件裡找出相關段落,再交給 AI 寫成回答;廠商的提案裡寫著「需建置向量資料庫」。主管要你一起審這份提案,所以你想知道向量資料庫是什麼、它為什麼找得到那篇文件,還有是不是一定要另外買一套。這篇就拿這個知識庫從頭走一次,而我的結論是:要不要另外買,主要看你的資料量和手上已經有哪些系統。

向量資料庫是什麼:依「意思」找資料的資料庫

向量資料庫是一種可以儲存、建立索引並查詢向量嵌入(vector embedding,以下用 embedding)的資料庫。embedding 是把一段文字、一張圖片或一段錄音轉成一長串數字的結果,它怎麼來我在下一節會說明(Google Cloud:什麼是向量資料庫)。

一般資料庫和關鍵字搜尋擅長的是「完全符合」:訂單編號等於多少、日期落在哪個區間、標題包含哪幾個字。你搜「冷氣 滴水」,它就去找有這幾個字的文件,所以「室內機排水異常」那篇很可能找不到。而向量資料庫擅長的是「意思相近」:就算問題和文件用了不同的字,只要講的是同一件事,它也有機會把那篇文件找出來。

可以把向量資料庫想成一間按「用途」擺貨的大賣場。

你要找烏醋,就算不知道它放在哪一排,只要記得它是調味料,走到醬油和白醋那一區,通常就找得到,因為用途相近的東西會被擺在一起。

  • embedding 是每段文字的貨架位置:模型替每段文字算出一個位置,意思相近的放得很近,「冷氣一直滴水」和「室內機排水異常」會落在同一區。
  • 查詢就是走到同一區去找:客人的問題也算出一個位置,系統拿附近的幾段文字回來,用詞不同也找得到。
  • 索引就是天花板上的分區看板:不用每一排貨架都走過一遍,先看看板走到大概的區域,就能很快找到最接近的幾樣東西。代價是偶爾會錯過被擺到別區的那一瓶。

比喻對不上的地方是:賣場的位置用前後左右兩個數字就能標出來,embedding 的位置卻要用上千個數字來標;而且位置是模型算出來的,不是店員排的,所以偶爾會把不相干的東西擺得很近。

牛皮紙橡皮章插畫三段:① 用途相近放一起,貨架上醬油和醋類的瓶子擺在同一區,面紙放在另一區;② 看分區看板,紙袋造型的小信差拿著便條抬頭看螢光綠的箭頭看板;③ 拿到最接近的那瓶,小信差從同一區抽出一瓶外框發著螢光綠的瓶子 賣場把用途相近的東西擺在一起,向量資料庫把意思相近的文字放在一起;分區看板讓你不用走遍每一排。

OpenAI 的說明文件裡有一個例子,很適合拿來看兩種找法的差別。問題是「我們什麼時候登上月球?」,三段候選文字的比對結果如下(OpenAI:Retrieval):

候選文字關鍵字相似度語意相似度
人類第一次登陸月球是在 1969 年 7 月。0%65%
第一位登上月球的人是阿姆斯壯。27%43%
我吃了月餅,很好吃。40%28%

(原文是英文,分數也是用英文原文算的,這裡把句子翻成中文;關鍵字相似度是用字詞重疊來算,語意相似度則是用 embedding 來算。)

只看字詞重疊,最相關的反而是月餅那一句;改用 embedding 來比,真正回答問題的第一句就排到了最前面,雖然它和問題連一個共同的字都沒有。這跟你搜「冷氣 滴水」卻跑出保固說明是同一個問題,所以向量搜尋補上的,就是「用詞不同、意思相同」的那一塊。

長條圖:問題是「我們什麼時候登上月球?」,三句候選文字各有兩條長條。「人類第一次登陸月球是在 1969 年 7 月。」關鍵字相似度 0%、語意相似度 65%,標示為語意比對的第一名;「第一位登上月球的人是阿姆斯壯。」關鍵字 27%、語意 43%;「我吃了月餅,很好吃。」關鍵字 40%、語意 28%,標示為字詞比對的第一名。資料來自 OpenAI 檢索說明文件的範例,原文是英文 黑色長條是比字詞重疊的分數,綠色長條是比 embedding 的分數;兩種比法挑出的第一名,剛好是不同的兩句。

換成你的知識庫來看。我拿一支只比對字詞的程式(我們網站平常用來檢查文章標題重疊的那支),算了客人幾種說法和兩篇文件標題的相似分數,它的做法是看兩句話共用了多少相同的字:

客人說的文件標題分數(越接近 1 越像)
冷氣一直滴水怎麼辦冷氣滴水的保固範圍說明約 0.23
冷氣一直滴水怎麼辦室內機排水異常處理方式0
冷氣漏水怎麼處理室內機排水異常處理方式約 0.09
冷氣冒水室內機排水異常處理方式0

分數最高的是保固說明,因為它和問題共用了「冷氣」「滴水」;真正有處理步驟的那篇,三種說法都只拿到 0 或接近 0。這跟開場你遇到的情況一模一樣,也就是說,只比對字詞的搜尋,認得兩句話有沒有用到相同的字,卻認不出意思一樣、用字不同的句子。

Embedding 是什麼:把一段文字變成一串數字

embedding 是由一個專門的模型,把一段文字轉成一長串小數。以 OpenAI 的模型為例,text-embedding-3-small 預設會輸出 1,536 個數字,text-embedding-3-large 則是 3,072 個(OpenAI:Vector embeddings)。每一個數字單獨看都沒有意義,要整串放在一起,才代表這段文字落在比喻裡的哪個貨架位置;意思越接近的兩段文字,這串數字也越接近。

客服知識庫導入之後,流程是這樣:三百多篇文件先切成幾千段,每段都轉成一串數字存進資料庫;客人說「冷氣一直滴水」時,系統把這句話也用同一個模型轉成一串數字,再找出和它距離最近的幾段。「排水異常」「排水管阻塞」「冷凝水」這些段落,會因為意思接近而被一起找回來。距離有好幾種算法,OpenAI 的說明文件寫到選哪一種通常影響不大,交給工程師決定就好。

把文字轉成 embedding 的費用通常不高。OpenAI 的說明頁以每頁約 800 個 token(模型計算文字量的單位)來估算,text-embedding-3-small 每 1 美元大約可以處理 62,500 頁文字。三百多篇客服文件轉一次的費用,很少會是決策重點;真正要算的是後面的儲存、維運,以及換模型時的重算。

比起只比對字詞,用 embedding 比較容易找到換句話說的段落,但也會多出幾件事要處理:

  • 每次查詢都要呼叫 embedding 模型。費用很低,但流程裡多了一個依賴外部服務的步驟,除非把模型架在公司內部,否則網路斷了就查不了。
  • 相似度門檻要重新試。相似度要多少分才把那段交給 AI,要拿已知相同和已知不同的問題試一輪才知道。
  • 會多出新的誤判。「冷氣不冷」和「冷氣太冷」的位置可能很近,處理方式卻完全不同。
  • 換模型就要全部重算。不同模型產出的數字長度和排列方式都不一樣,舊資料不能直接沿用。

所以向量搜尋解決的是「換句話說」的問題,這個問題夠困擾你,才值得付後面的維運成本。客服每天被「滴水」「漏水」「冒水」各種說法考倒,就是夠困擾的情況。

向量資料庫比一般資料庫多做了什麼

把文字轉成數字只是第一步。每次有人提問,系統都要從幾千段文字裡很快找出最接近的幾段,還要排除不該拿給這位客服看的內容,這才是向量資料庫主要在處理的事。它通常比一般資料庫多做了三件事:

功能在做什麼在客服知識庫裡
近似搜尋不和每一段逐一比對,只找出「大概最接近」的幾段,用一點準確度換取速度從幾千段文件裡,很快挑出和「一直滴水」最接近的十段
向量索引事先把相近的資料分成幾群,查詢時只看其中一小部分,就像比喻裡的分區看板排水、冷房、噪音相關的段落各自成群,問滴水時只在排水那群裡找;文件改版後要跟著更新
條件篩選比對意思的同時,再加上型號、日期、權限這類一般條件只找 RX 系列、現行版本、客服人員能看的文件

第一項有一個取捨你要先知道。PostgreSQL(很多公司拿來存訂單、會員資料的開源資料庫)有一個向量擴充套件叫 pgvector,它預設用的是精確搜尋,會把每一段都比過一次,所以一定會回傳真正距離最近的段落。加上近似索引之後,速度會變快,但可能漏掉一些距離很近的段落,同一個問題查出來的結果也可能和加索引前不一樣(pgvector)。所以文件量還不大的時候,精確搜尋就夠快了,不用急著建近似索引。

第三項在企業裡最常被低估。只比對意思的話,系統會把舊型號的排水說明、已經作廢的維修流程、只給工程師看的內部規格一起找回來。權限為什麼要在檢索這一步處理,我在 RAG 是什麼寫過,這裡只提醒一件事:選向量資料庫時,先確認它能不能在同一次查詢裡,同時比對意思和篩選條件。

向量搜尋找不到的東西

向量搜尋擅長找意思相近的段落,但有幾類問題交給它,反而容易出錯,選做法之前要先想清楚:

  • 精確的型號、序號:語意比對容易把相近的型號當成同一個,例如把 RX-36 和 RX-38 的排水管規格搞混,所以型號這類查詢,要靠關鍵字比對來找。
  • 數量、日期、保固狀態:像「這台冷氣還在保固內嗎?」,答案在保固系統的欄位裡,直接查系統會比從文件段落裡找更準確。
  • 最新版本:新舊兩版維修流程的向量幾乎一樣,檢索很難分出哪一版才是現行的,這要靠文件整理和版本欄位來處理,可以看企業知識庫要整理到什麼程度,AI agent 才用得上。
  • 不該看的內容:向量本身不帶權限,所以權限要在檢索時用條件篩選。

這四類問題的答案取決於「精確的值」,跟意思像不像沒有關係。所以遇到這類需求,我會先把資料放在能精確查詢的地方,再讓 AI 去查它。至於模型拿到查回來的內容之後怎麼處理,可以看 LLM 是什麼。

一定要另外買一套嗎:三種做法

回到廠商提案裡那一行。Microsoft 在 Azure Cosmos DB 的說明裡,把向量資料庫分成兩種:一種是獨立的「純向量資料庫」,另一種是在原有的資料庫裡加上向量功能,讓向量和原始資料存在一起(Microsoft Learn:整合向量資料庫)。再加上雲端平台把整套檢索包好的做法,企業大致上有三條路:

做法例子適合的情況要注意的地方
平台內建的檔案檢索OpenAI 的檔案搜尋功能、各家 AI 平台的知識庫功能文件量不大,想先把第一個流程做起來切段與檢索方式能調整的空間有限;檔案要放到平台上
現有資料庫加向量功能PostgreSQL 加 pgvector(AWS RDS 等雲端資料庫服務都支援)、Azure Cosmos DB公司已經在用這些資料庫,向量要和訂單、客戶資料一起查每串數字的長度(維度)和索引都有上限;資料量很大時要調整效能
專門的向量資料庫Milvus、Weaviate、Pinecone 等文件量非常大、查詢量很高,或要做細部的檢索調整多一套系統要同步資料、管理權限、付費與維運

第一條路最省事。OpenAI 的檔案搜尋功能會同時用語意和關鍵字去找,你把檔案放進去時,系統會自動切段、轉成向量並建好索引;每個檔案也能加上型號、版本這類屬性,查詢時拿來篩選(OpenAI:Retrieval)。存放檔案的空間在 1 GB 以內免費,超過的部分按容量逐日計費(OpenAI:API Pricing)。它本身就是一個向量儲存的服務,只是平台替你管好了,所以三百多篇客服文件走這條路,效果不一定比較差,只是能調整的空間比較小。

第二條路很常被忽略。pgvector 主打的就是把向量和其他資料存在一起,所以你同時保有 PostgreSQL 原本的好處,例如一筆資料寫入時要嘛全部成功、要嘛全部不算,資料可以還原到某個時間點,也能把訂單、客戶、保固這幾份資料連起來查。如果客人的購買型號本來就存在 PostgreSQL 裡,在原本的資料旁邊多存一份向量,就能在同一次查詢裡比對意思、篩選型號,不必把資料複製到另一套系統。

第三條路適合規模真的很大的時候。網路上有不少文章在比較這類產品,那些比較對工程師挑產品有幫助;但對多數中小企業的第一個知識庫問答來說,通常還用不到這一步。

我的建議順序是:先用平台內建的檢索把流程做起來,已經有 PostgreSQL 這類資料庫就直接加向量功能,真的遇到規模或效能瓶頸,再評估專門的向量資料庫。文件量更少的時候,連檢索都可以先不建,直接把整份文件連同問題一起交給 AI 就好,這部分在 RAG 是什麼有說明。我們的企業 AI 營運方案在需求診斷時,也是先看你有幾份文件、存在哪套系統,再決定走哪一條路,並把文件更新後誰負責重新轉向量、多久同步一次寫進交付文件。

選之前先問的五個問題

不管走哪一條路,在估價或挑選產品之前,我會先問這五個問題:

  1. 資料有多少、多久更新一次?幾十份文件和幾萬份文件是完全不同的規模。客服文件常常改版,就要確認新增、修改或刪除之後,索引多久會跟上。
  2. 向量要不要和既有資料一起查?如果要依型號、日期、權限篩選,就優先考慮能和原始資料放在一起的做法,或先確認向量資料庫支援這類條件篩選。
  3. 會不會查型號、編號這類精確的字串?客人報出 RX-36 時,就要用同時跑關鍵字和向量查詢的「混合搜尋」,免得找回 RX-38 的說明。Microsoft 的 Azure AI Search 說明寫到,產品編號、專業術語、日期和人名這類查詢,關鍵字搜尋因為能精確比對,表現會比較好;混合搜尋會兩邊同時查,再把結果合併成一份排序(Microsoft Learn:Hybrid search overview)。pgvector 也建議搭配 PostgreSQL 內建的全文檢索(關鍵字搜尋功能)來做混合搜尋。
  4. 用哪個 embedding 模型、要幾個維度?維度就是「那一串數字有多長」,而資料庫對長度通常有上限。例如 pgvector 的近似索引,在一般設定下最多只能處理 2,000 個數字長的向量,但 text-embedding-3-large 預設是 3,072 個。OpenAI 允許你在產生 embedding 時把長度縮短,說明文件就舉了「資料庫只支援 1,024 維,就指定成 1,024」的例子,代價是準確度會降一點。
  5. 換模型時誰負責重算?模型升級或換供應商時,整個知識庫的向量都要重算一次,索引也要重建。這件事要寫進維護範圍,不然等到第一次換模型時,才會發現沒有人負責。

回到那份提案。你拿這五個問題回頭問廠商,答案是:文件三百多篇、每週改幾篇,改完重新上傳,平台會自動重建索引;要依型號篩選,也會查型號;公司的客服系統是外購的,沒有自己的 PostgreSQL;用 OpenAI 的模型,換模型時由廠商重算。這樣的規模,平台內建的檔案搜尋就夠用,型號查詢交給關鍵字比對。導入之後,客人再說「冷氣一直滴水」,助理會先把「室內機排水異常處理方式」那篇找出來,再問一句客人的型號,用型號篩掉不適用的步驟。你不用再讓客人等兩分鐘,也不用另外買一套專門的向量資料庫。

常見問題

向量資料庫和 RAG 是同一件事嗎?

兩者是整體和元件的關係。RAG 是一整套做法:先找資料,再把資料交給模型回答。而向量資料庫是其中「找資料」那一步常用的元件。RAG 也可以只用關鍵字搜尋,或在文件很少時把整份文件直接交給模型;反過來,向量資料庫也會用在推薦商品、找相似圖片這類和 AI 問答無關的地方。

換了 embedding 模型,已經存好的向量還能用嗎?

要全部重新處理。不同模型產出的向量長度和排列方式都不同,例如 OpenAI 的兩個模型預設就分別是 1,536 和 3,072 個數字。換模型時,要用新模型把全部文件重新轉一次、重建索引,查詢端也要改用同一個模型。我會建議先用一組固定的測試題比較新舊模型找出來的結果,再決定要不要換;測試題怎麼設計,可以參考 AI agent 專案怎麼驗收。

文件轉成向量之後,就等於匿名化了嗎?

向量還是可能被還原成原文。2023 年一篇發表在自然語言處理研討會 EMNLP 的研究(Morris 等人),用程式從 embedding 反推原文,在每段 32 個 token 的測試文字裡,有 92% 被一字不差地還原,也從臨床紀錄的向量裡還原出病患的全名。所以存向量的資料庫,要用和原始文件同一個等級的權限與加密來保護。

向量資料庫大概要花多少錢?

要分三塊來算:

  • 轉向量的費用:把文件轉成 embedding,通常很低。
  • 儲存與查詢:平台內建的檢索多半按容量或用量計費,自己架設的則要算主機與維運人力。
  • 重算與維護:換模型、文件改版之後的重算,這是最常被漏掉的一塊。

估價時請廠商把這三塊分開列,你會比較容易看出兩家的差異在哪裡。

參考來源

以下依官方文件整理,embedding 模型的維度、儲存計費方式與各資料庫支援的版本以各官方頁面當下為準。

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

服務入口

了解企業 AI 營運導入

名詞弄清楚之後,看 AI agent 怎麼接進既有系統,以及哪些動作要人工確認。

查看相關頁面

常見問題

AI 的 token 是什麼?

用量和費用怎麼算,先看一題直接回答。

查看 FAQ 解答

企業 AI 落地實踐

把文章裡的判斷帶回你的流程

從一個實際工作流開始,與 EthorX 共同釐清 AI agents 的導入起點。