你是一家冷氣品牌的客服組長,那天線上忙不過來,你自己接了一通電話。客人說:「我家冷氣一直滴水,滴到地板都濕了。」你在內部知識庫打「冷氣 滴水」,搜出來的是一篇講滴水保固範圍的說明,客人在線上等了兩分鐘,你只好說稍後回電。掛掉之後,資深同事告訴你,處理步驟其實寫在一篇叫「室內機排水異常處理方式」的文件裡,只是那篇文件裡一個「滴水」都沒有。
這個知識庫有三百多篇文件。你把這件事報上去,主管決定導入 AI 客服助理,用 RAG 的方式回答,也就是先從公司文件裡找出相關段落,再交給 AI 寫成回答;廠商的提案裡寫著「需建置向量資料庫」。主管要你一起審這份提案,所以你想知道向量資料庫是什麼、它為什麼找得到那篇文件,還有是不是一定要另外買一套。這篇就拿這個知識庫從頭走一次,而我的結論是:要不要另外買,主要看你的資料量和手上已經有哪些系統。
向量資料庫是什麼:依「意思」找資料的資料庫
向量資料庫是一種可以儲存、建立索引並查詢向量嵌入(vector embedding,以下用 embedding)的資料庫。embedding 是把一段文字、一張圖片或一段錄音轉成一長串數字的結果,它怎麼來我在下一節會說明(Google Cloud:什麼是向量資料庫)。
一般資料庫和關鍵字搜尋擅長的是「完全符合」:訂單編號等於多少、日期落在哪個區間、標題包含哪幾個字。你搜「冷氣 滴水」,它就去找有這幾個字的文件,所以「室內機排水異常」那篇很可能找不到。而向量資料庫擅長的是「意思相近」:就算問題和文件用了不同的字,只要講的是同一件事,它也有機會把那篇文件找出來。
可以把向量資料庫想成一間按「用途」擺貨的大賣場。
你要找烏醋,就算不知道它放在哪一排,只要記得它是調味料,走到醬油和白醋那一區,通常就找得到,因為用途相近的東西會被擺在一起。
- embedding 是每段文字的貨架位置:模型替每段文字算出一個位置,意思相近的放得很近,「冷氣一直滴水」和「室內機排水異常」會落在同一區。
- 查詢就是走到同一區去找:客人的問題也算出一個位置,系統拿附近的幾段文字回來,用詞不同也找得到。
- 索引就是天花板上的分區看板:不用每一排貨架都走過一遍,先看看板走到大概的區域,就能很快找到最接近的幾樣東西。代價是偶爾會錯過被擺到別區的那一瓶。
比喻對不上的地方是:賣場的位置用前後左右兩個數字就能標出來,embedding 的位置卻要用上千個數字來標;而且位置是模型算出來的,不是店員排的,所以偶爾會把不相干的東西擺得很近。
賣場把用途相近的東西擺在一起,向量資料庫把意思相近的文字放在一起;分區看板讓你不用走遍每一排。
OpenAI 的說明文件裡有一個例子,很適合拿來看兩種找法的差別。問題是「我們什麼時候登上月球?」,三段候選文字的比對結果如下(OpenAI:Retrieval):
| 候選文字 | 關鍵字相似度 | 語意相似度 |
|---|---|---|
| 人類第一次登陸月球是在 1969 年 7 月。 | 0% | 65% |
| 第一位登上月球的人是阿姆斯壯。 | 27% | 43% |
| 我吃了月餅,很好吃。 | 40% | 28% |
(原文是英文,分數也是用英文原文算的,這裡把句子翻成中文;關鍵字相似度是用字詞重疊來算,語意相似度則是用 embedding 來算。)
只看字詞重疊,最相關的反而是月餅那一句;改用 embedding 來比,真正回答問題的第一句就排到了最前面,雖然它和問題連一個共同的字都沒有。這跟你搜「冷氣 滴水」卻跑出保固說明是同一個問題,所以向量搜尋補上的,就是「用詞不同、意思相同」的那一塊。
黑色長條是比字詞重疊的分數,綠色長條是比 embedding 的分數;兩種比法挑出的第一名,剛好是不同的兩句。
換成你的知識庫來看。我拿一支只比對字詞的程式(我們網站平常用來檢查文章標題重疊的那支),算了客人幾種說法和兩篇文件標題的相似分數,它的做法是看兩句話共用了多少相同的字:
| 客人說的 | 文件標題 | 分數(越接近 1 越像) |
|---|---|---|
| 冷氣一直滴水怎麼辦 | 冷氣滴水的保固範圍說明 | 約 0.23 |
| 冷氣一直滴水怎麼辦 | 室內機排水異常處理方式 | 0 |
| 冷氣漏水怎麼處理 | 室內機排水異常處理方式 | 約 0.09 |
| 冷氣冒水 | 室內機排水異常處理方式 | 0 |
分數最高的是保固說明,因為它和問題共用了「冷氣」「滴水」;真正有處理步驟的那篇,三種說法都只拿到 0 或接近 0。這跟開場你遇到的情況一模一樣,也就是說,只比對字詞的搜尋,認得兩句話有沒有用到相同的字,卻認不出意思一樣、用字不同的句子。
Embedding 是什麼:把一段文字變成一串數字
embedding 是由一個專門的模型,把一段文字轉成一長串小數。以 OpenAI 的模型為例,text-embedding-3-small 預設會輸出 1,536 個數字,text-embedding-3-large 則是 3,072 個(OpenAI:Vector embeddings)。每一個數字單獨看都沒有意義,要整串放在一起,才代表這段文字落在比喻裡的哪個貨架位置;意思越接近的兩段文字,這串數字也越接近。
客服知識庫導入之後,流程是這樣:三百多篇文件先切成幾千段,每段都轉成一串數字存進資料庫;客人說「冷氣一直滴水」時,系統把這句話也用同一個模型轉成一串數字,再找出和它距離最近的幾段。「排水異常」「排水管阻塞」「冷凝水」這些段落,會因為意思接近而被一起找回來。距離有好幾種算法,OpenAI 的說明文件寫到選哪一種通常影響不大,交給工程師決定就好。
把文字轉成 embedding 的費用通常不高。OpenAI 的說明頁以每頁約 800 個 token(模型計算文字量的單位)來估算,text-embedding-3-small 每 1 美元大約可以處理 62,500 頁文字。三百多篇客服文件轉一次的費用,很少會是決策重點;真正要算的是後面的儲存、維運,以及換模型時的重算。
比起只比對字詞,用 embedding 比較容易找到換句話說的段落,但也會多出幾件事要處理:
- 每次查詢都要呼叫 embedding 模型。費用很低,但流程裡多了一個依賴外部服務的步驟,除非把模型架在公司內部,否則網路斷了就查不了。
- 相似度門檻要重新試。相似度要多少分才把那段交給 AI,要拿已知相同和已知不同的問題試一輪才知道。
- 會多出新的誤判。「冷氣不冷」和「冷氣太冷」的位置可能很近,處理方式卻完全不同。
- 換模型就要全部重算。不同模型產出的數字長度和排列方式都不一樣,舊資料不能直接沿用。
所以向量搜尋解決的是「換句話說」的問題,這個問題夠困擾你,才值得付後面的維運成本。客服每天被「滴水」「漏水」「冒水」各種說法考倒,就是夠困擾的情況。
向量資料庫比一般資料庫多做了什麼
把文字轉成數字只是第一步。每次有人提問,系統都要從幾千段文字裡很快找出最接近的幾段,還要排除不該拿給這位客服看的內容,這才是向量資料庫主要在處理的事。它通常比一般資料庫多做了三件事:
| 功能 | 在做什麼 | 在客服知識庫裡 |
|---|---|---|
| 近似搜尋 | 不和每一段逐一比對,只找出「大概最接近」的幾段,用一點準確度換取速度 | 從幾千段文件裡,很快挑出和「一直滴水」最接近的十段 |
| 向量索引 | 事先把相近的資料分成幾群,查詢時只看其中一小部分,就像比喻裡的分區看板 | 排水、冷房、噪音相關的段落各自成群,問滴水時只在排水那群裡找;文件改版後要跟著更新 |
| 條件篩選 | 比對意思的同時,再加上型號、日期、權限這類一般條件 | 只找 RX 系列、現行版本、客服人員能看的文件 |
第一項有一個取捨你要先知道。PostgreSQL(很多公司拿來存訂單、會員資料的開源資料庫)有一個向量擴充套件叫 pgvector,它預設用的是精確搜尋,會把每一段都比過一次,所以一定會回傳真正距離最近的段落。加上近似索引之後,速度會變快,但可能漏掉一些距離很近的段落,同一個問題查出來的結果也可能和加索引前不一樣(pgvector)。所以文件量還不大的時候,精確搜尋就夠快了,不用急著建近似索引。
第三項在企業裡最常被低估。只比對意思的話,系統會把舊型號的排水說明、已經作廢的維修流程、只給工程師看的內部規格一起找回來。權限為什麼要在檢索這一步處理,我在 RAG 是什麼寫過,這裡只提醒一件事:選向量資料庫時,先確認它能不能在同一次查詢裡,同時比對意思和篩選條件。
向量搜尋找不到的東西
向量搜尋擅長找意思相近的段落,但有幾類問題交給它,反而容易出錯,選做法之前要先想清楚:
- 精確的型號、序號:語意比對容易把相近的型號當成同一個,例如把 RX-36 和 RX-38 的排水管規格搞混,所以型號這類查詢,要靠關鍵字比對來找。
- 數量、日期、保固狀態:像「這台冷氣還在保固內嗎?」,答案在保固系統的欄位裡,直接查系統會比從文件段落裡找更準確。
- 最新版本:新舊兩版維修流程的向量幾乎一樣,檢索很難分出哪一版才是現行的,這要靠文件整理和版本欄位來處理,可以看企業知識庫要整理到什麼程度,AI agent 才用得上。
- 不該看的內容:向量本身不帶權限,所以權限要在檢索時用條件篩選。
這四類問題的答案取決於「精確的值」,跟意思像不像沒有關係。所以遇到這類需求,我會先把資料放在能精確查詢的地方,再讓 AI 去查它。至於模型拿到查回來的內容之後怎麼處理,可以看 LLM 是什麼。
一定要另外買一套嗎:三種做法
回到廠商提案裡那一行。Microsoft 在 Azure Cosmos DB 的說明裡,把向量資料庫分成兩種:一種是獨立的「純向量資料庫」,另一種是在原有的資料庫裡加上向量功能,讓向量和原始資料存在一起(Microsoft Learn:整合向量資料庫)。再加上雲端平台把整套檢索包好的做法,企業大致上有三條路:
| 做法 | 例子 | 適合的情況 | 要注意的地方 |
|---|---|---|---|
| 平台內建的檔案檢索 | OpenAI 的檔案搜尋功能、各家 AI 平台的知識庫功能 | 文件量不大,想先把第一個流程做起來 | 切段與檢索方式能調整的空間有限;檔案要放到平台上 |
| 現有資料庫加向量功能 | PostgreSQL 加 pgvector(AWS RDS 等雲端資料庫服務都支援)、Azure Cosmos DB | 公司已經在用這些資料庫,向量要和訂單、客戶資料一起查 | 每串數字的長度(維度)和索引都有上限;資料量很大時要調整效能 |
| 專門的向量資料庫 | Milvus、Weaviate、Pinecone 等 | 文件量非常大、查詢量很高,或要做細部的檢索調整 | 多一套系統要同步資料、管理權限、付費與維運 |
第一條路最省事。OpenAI 的檔案搜尋功能會同時用語意和關鍵字去找,你把檔案放進去時,系統會自動切段、轉成向量並建好索引;每個檔案也能加上型號、版本這類屬性,查詢時拿來篩選(OpenAI:Retrieval)。存放檔案的空間在 1 GB 以內免費,超過的部分按容量逐日計費(OpenAI:API Pricing)。它本身就是一個向量儲存的服務,只是平台替你管好了,所以三百多篇客服文件走這條路,效果不一定比較差,只是能調整的空間比較小。
第二條路很常被忽略。pgvector 主打的就是把向量和其他資料存在一起,所以你同時保有 PostgreSQL 原本的好處,例如一筆資料寫入時要嘛全部成功、要嘛全部不算,資料可以還原到某個時間點,也能把訂單、客戶、保固這幾份資料連起來查。如果客人的購買型號本來就存在 PostgreSQL 裡,在原本的資料旁邊多存一份向量,就能在同一次查詢裡比對意思、篩選型號,不必把資料複製到另一套系統。
第三條路適合規模真的很大的時候。網路上有不少文章在比較這類產品,那些比較對工程師挑產品有幫助;但對多數中小企業的第一個知識庫問答來說,通常還用不到這一步。
我的建議順序是:先用平台內建的檢索把流程做起來,已經有 PostgreSQL 這類資料庫就直接加向量功能,真的遇到規模或效能瓶頸,再評估專門的向量資料庫。文件量更少的時候,連檢索都可以先不建,直接把整份文件連同問題一起交給 AI 就好,這部分在 RAG 是什麼有說明。我們的企業 AI 營運方案在需求診斷時,也是先看你有幾份文件、存在哪套系統,再決定走哪一條路,並把文件更新後誰負責重新轉向量、多久同步一次寫進交付文件。
選之前先問的五個問題
不管走哪一條路,在估價或挑選產品之前,我會先問這五個問題:
- 資料有多少、多久更新一次?幾十份文件和幾萬份文件是完全不同的規模。客服文件常常改版,就要確認新增、修改或刪除之後,索引多久會跟上。
- 向量要不要和既有資料一起查?如果要依型號、日期、權限篩選,就優先考慮能和原始資料放在一起的做法,或先確認向量資料庫支援這類條件篩選。
- 會不會查型號、編號這類精確的字串?客人報出 RX-36 時,就要用同時跑關鍵字和向量查詢的「混合搜尋」,免得找回 RX-38 的說明。Microsoft 的 Azure AI Search 說明寫到,產品編號、專業術語、日期和人名這類查詢,關鍵字搜尋因為能精確比對,表現會比較好;混合搜尋會兩邊同時查,再把結果合併成一份排序(Microsoft Learn:Hybrid search overview)。pgvector 也建議搭配 PostgreSQL 內建的全文檢索(關鍵字搜尋功能)來做混合搜尋。
- 用哪個 embedding 模型、要幾個維度?維度就是「那一串數字有多長」,而資料庫對長度通常有上限。例如 pgvector 的近似索引,在一般設定下最多只能處理 2,000 個數字長的向量,但
text-embedding-3-large預設是 3,072 個。OpenAI 允許你在產生 embedding 時把長度縮短,說明文件就舉了「資料庫只支援 1,024 維,就指定成 1,024」的例子,代價是準確度會降一點。 - 換模型時誰負責重算?模型升級或換供應商時,整個知識庫的向量都要重算一次,索引也要重建。這件事要寫進維護範圍,不然等到第一次換模型時,才會發現沒有人負責。
回到那份提案。你拿這五個問題回頭問廠商,答案是:文件三百多篇、每週改幾篇,改完重新上傳,平台會自動重建索引;要依型號篩選,也會查型號;公司的客服系統是外購的,沒有自己的 PostgreSQL;用 OpenAI 的模型,換模型時由廠商重算。這樣的規模,平台內建的檔案搜尋就夠用,型號查詢交給關鍵字比對。導入之後,客人再說「冷氣一直滴水」,助理會先把「室內機排水異常處理方式」那篇找出來,再問一句客人的型號,用型號篩掉不適用的步驟。你不用再讓客人等兩分鐘,也不用另外買一套專門的向量資料庫。
常見問題
向量資料庫和 RAG 是同一件事嗎?
兩者是整體和元件的關係。RAG 是一整套做法:先找資料,再把資料交給模型回答。而向量資料庫是其中「找資料」那一步常用的元件。RAG 也可以只用關鍵字搜尋,或在文件很少時把整份文件直接交給模型;反過來,向量資料庫也會用在推薦商品、找相似圖片這類和 AI 問答無關的地方。
換了 embedding 模型,已經存好的向量還能用嗎?
要全部重新處理。不同模型產出的向量長度和排列方式都不同,例如 OpenAI 的兩個模型預設就分別是 1,536 和 3,072 個數字。換模型時,要用新模型把全部文件重新轉一次、重建索引,查詢端也要改用同一個模型。我會建議先用一組固定的測試題比較新舊模型找出來的結果,再決定要不要換;測試題怎麼設計,可以參考 AI agent 專案怎麼驗收。
文件轉成向量之後,就等於匿名化了嗎?
向量還是可能被還原成原文。2023 年一篇發表在自然語言處理研討會 EMNLP 的研究(Morris 等人),用程式從 embedding 反推原文,在每段 32 個 token 的測試文字裡,有 92% 被一字不差地還原,也從臨床紀錄的向量裡還原出病患的全名。所以存向量的資料庫,要用和原始文件同一個等級的權限與加密來保護。
向量資料庫大概要花多少錢?
要分三塊來算:
- 轉向量的費用:把文件轉成 embedding,通常很低。
- 儲存與查詢:平台內建的檢索多半按容量或用量計費,自己架設的則要算主機與維運人力。
- 重算與維護:換模型、文件改版之後的重算,這是最常被漏掉的一塊。
估價時請廠商把這三塊分開列,你會比較容易看出兩家的差異在哪裡。
參考來源
以下依官方文件整理,embedding 模型的維度、儲存計費方式與各資料庫支援的版本以各官方頁面當下為準。
- Google Cloud:什麼是向量資料庫?運作方式為何?
- OpenAI:Vector embeddings
- OpenAI:Retrieval(語意搜尋範例、檔案屬性篩選)
- OpenAI:File search
- OpenAI:API Pricing
- pgvector(GitHub)
- Amazon RDS for PostgreSQL:支援的擴充套件版本
- Microsoft Learn:整合向量資料庫(Azure Cosmos DB)
- Microsoft Learn:Hybrid search overview(Azure AI Search)
- Morris et al.:Text Embeddings Reveal (Almost) As Much As Text(arXiv)