你在一家做不鏽鋼法蘭的工廠當業務經理,客戶都叫你王經理,每天要回幾十封詢價信。週會上老闆說:「隔壁那家說他們訓練了自己的 AI 在回信,我們是不是也該訓練一個自己的 LLM?」大家散會後各自去搜尋,結果看到 GPT、Gemini、生成式 AI、RAG、agent 一整串名詞,越看越不確定這題該從哪裡回答。
要回答老闆,得先知道 LLM 到底是什麼、它怎麼產生答案,以及會在哪裡出錯。弄懂這幾件事之後,要不要讓它先查公司的文件(這叫 RAG),要不要讓它直接操作公司的系統(這叫 agent),公司資料能不能交給它處理,你才判斷得下去。下面這封信,是你信箱裡很常見的那種,這篇就拿它從頭走一次:
王經理您好,上次那批 SUS304 法蘭 500 件品質很穩定。這次想改成 800 件,交期能不能在 11 月 20 日前?單價可以再談嗎?報價請註明是否含稅與運費。謝謝。
LLM 是什麼:讀過大量文字、學會接下一個字的模型
LLM 是 Large Language Model 的縮寫,中文叫「大型語言模型」。白話地說,它是用大量文字訓練出來、能讀懂和寫出文字的模型,所以能回答問題、翻譯、摘要和改寫(AWS、Google Cloud)。你每天打開的 ChatGPT、Claude、Gemini,都是建在 LLM 上面的產品。
「大型」指的是兩件事。第一是訓練資料多,例如 AWS 提到的 Common Crawl 網頁資料集,收錄的網頁就超過 500 億頁;第二是模型本身的參數多,像 GPT-3 就有 1,750 億個參數。參數是模型內部可以調整的數值,而訓練的過程,就是把這上千億個數值一點一點調整,直到模型的預測變準為止。
可以把 LLM 想成一個讀過大量文字的手機輸入法。
你在手機上打「上次那」,輸入法會跳出「批」「次」「個」讓你選,因為它看過很多人這樣打字。LLM 做的是同一件事,只是規模大很多:
- 看前文猜下一個字:它看著目前為止的整段文字,猜接下來最可能是哪一個字。
- 讀得越多,猜得越像樣:訓練時讀過的文字量大到難以想像,所以它接出來的句子通順、口氣也對。
- 只管順,不管對:輸入法不會查證你打的字是不是事實,LLM 也一樣,它產生的是「最可能接下去的文字」,事實正確與否要另外把關。
比喻對不上的地方有三處:輸入法只猜一兩個字、等你選,LLM 會自己一路接上幾百個字;LLM 另外被訓練過怎麼「聽指令」;而且它讀過的書並沒有存起來可以翻查。輸入法會學你的打字習慣,LLM 卻不會在你貼信的當下就學走內容。你的對話會不會被拿去訓練下一代模型,看的是服務條款和設定,後面會講。
輸入法看過很多人怎麼打字,LLM 看過大量文字;兩者都是看前文猜下一個字,差在 LLM 會自己一路接下去。
LLM、生成式 AI、ChatGPT 和 AI agent 的關係
這幾個名詞常被混在一起講,但它們指的是不同層次的東西:
| 名詞 | 是什麼 | 在詢價信這件事上 |
|---|---|---|
| 生成式 AI | 能產生新內容的 AI 總稱,包含文字、圖片、聲音 | 寫回信、生成產品圖都算 |
| LLM | 生成式 AI 裡以文字為主的模型(新一代多半也能讀圖),例如 GPT、Claude、Gemini,以及 Google 的開放模型 Gemma | 讀懂詢價信、寫出回信草稿的那個模型 |
| 聊天產品 | 把 LLM 包成介面給人直接用,例如 ChatGPT、Claude、Gemini App | 你把信貼進 ChatGPT 請它擬回信 |
| RAG | 回答前先查你的文件,讓 LLM 依資料作答 | 擬回信前先查公司的價目表和出貨紀錄 |
| AI agent | 由 LLM 判斷下一步,自己去用查詢、寫入這類系統功能,把好幾個步驟做完 | 讀信、查庫存、擬報價,再交給你確認後寄出 |
用一句話記:ChatGPT 是產品,LLM 是它背後的模型;RAG 和 agent 則是在 LLM 外面加上查資料或操作系統的能力。要讓 AI 連上 ERP(進銷存與生產管理系統)、CRM(客戶管理系統)去查訂單和客戶資料,常見的共通規格是 MCP;agent 和聊天機器人、RPA 的差別,可以看 AI agent 和聊天機器人、RPA、自動化流程差在哪。最近常聽到的 Agentic AI,指的是這類能自己規劃、動手的 AI 系統,和 AI agent 的分別寫在 Agentic AI 是什麼。
LLM 怎麼運作:把文字切成 token,一次預測一個
先把文字切成 token
模型讀的不是「字」,而是 token,也就是模型處理文字時用的單位。一個 token 可能是一個中文字、兩個字組成的詞、一個英文單字、半個單字或一個標點。英文大約 4 個字元是一個 token(OpenAI),中文的比例則要看模型怎麼切,因為每一代模型切字的規則都不一樣。
我拿開頭那封詢價信,用 OpenAI 公開的切字工具 tiktoken 算了一次。這封信不算空白是 76 個字元:
- GPT-4o 之後、包括 GPT-5 系列用的切法(o200k_base):68 個 token。「您好」「品質」「不能」「可以」「是否」各被切成一個 token,「SUS」「304」「500」也各算一個。
- GPT-4 的切法(cl100k_base):101 個 token。很多中文字被拆成兩三段,同一封信多了將近五成。
更多中文文件的對照放在 AI 的 token 是什麼。token 和兩件事直接相關:
- 費用:API(讓公司自己的系統直接呼叫模型的連接方式)通常按輸入與輸出的 token 數計價,而輸出比輸入貴,常見是好幾倍。
- 上限:每個模型一次能處理的 token 數有上限,稱為上下文長度(context window)。
所以要估成本,我建議拿真正會送進去的東西,例如一封詢價信加上報價單,用官方的 token 計算工具算一次,會比套公式可靠。
一次預測一個 token
訓練的時候,模型會反覆調整參數,直到它能根據前面的 token,正確預測出下一個 token(AWS)。回信時也是一樣:它看著詢價信和「請幫我擬一封回信」這句話,先猜回信開頭最可能的 token,例如「您好」,接上去之後再猜下一個,一路接到回信結束。
讓它能看懂一長段文字的,是 2017 年 Google 研究團隊在論文〈Attention Is All You Need〉提出的 Transformer 架構。它讓模型在處理每個字時,會回頭去看前面所有字跟它的關係。所以模型讀到「單價可以再談嗎」時,會把它和前面的「800 件」連起來,知道客戶是想用數量換價格。但「上次那批」到底是哪一批,它只看得到這封信,並不知道;要回答這個,得去查出貨紀錄,這就是 RAG 要做的事。
美國國家標準暨技術研究院(NIST)也點出這套做法的另一面:模型是照著訓練資料裡的文字規律,挑機率高的說法接下去,所以同一套機制可以生出正確的句子,也可以生出流暢但錯誤的句子(NIST AI 600-1)。這就是比喻裡「只管順,不管對」的那一點。
預訓練之後,還要教它聽指令
如果模型只會預測下一個 token,你把詢價信貼給它、請它「幫我擬一封回信」,它可能會接著寫出另一封詢價信,因為網路上的文字常常是這樣接下去的。所以要讓它變成能對話、能照指示做事的助手,還要再訓練幾輪。OpenAI 在 2022 年發表的 InstructGPT 論文,是這一步的代表做法:
| 階段 | 在做什麼 | 效果 |
|---|---|---|
| 預訓練 | 用大量文字學會預測下一個 token | 學會語言、常識和大量知識 |
| 指令微調 | 用人寫的「指令+理想回答」範例再訓練 | 學會照指令回答 |
| 人類回饋強化學習(RLHF) | 請人替多個回答排序,讓模型往較好的方向調整 | 回答更有幫助,較少捏造與有害內容 |
論文裡有個結果很有意思:經過這兩步調整、只有 13 億參數的模型,評分的人反而比較喜歡它的回答,勝過 1,750 億參數、沒有調整過的 GPT-3(Ouyang et al.(2022))。所以模型好不好用,除了參數多寡,訓練後怎麼調整也有很大的影響。
第一段讓模型學會語言,後兩段才教它聽懂指令、回答得有幫助。
LLM 擅長什麼,會在哪裡出錯
LLM 最擅長的是「文字進、文字出」的工作。以那封詢價信來說,它可以在幾秒內抓出品名(SUS304 法蘭)、數量(800 件)、要求的交期(11 月 20 日前)和三個要回答的問題,再擬一封語氣得體的回信。但如果你只把信貼給它、沒給任何公司資料,它很可能擬出這樣的草稿:
您好,感謝您再次詢價。800 件的單價可調整為每件 NT$185,交期可配合於 11 月 20 日前出貨,報價含稅、不含運費。上次那批的品質我們也會維持同樣的標準。
這封草稿讀起來很順,問題卻藏在三個地方:NT$185 的單價、「上次那批」的品質、11 月 20 日的交期。這三處剛好對應 LLM 最常見的限制,而「補資料進去就好」也有它的限制:
知識停在訓練資料的截止日
NT$185 這個數字從哪裡來?模型只知道訓練資料裡有的東西,你們十月才調過的 SUS304 單價,它不會知道,只能照它讀過的行情去猜。Anthropic 的模型總覽會同時列兩個日期:「可靠知識截止」是模型知道得最完整可靠的時間點,「訓練資料截止」則是訓練資料涵蓋的範圍;越接近截止日的事,模型知道得越零碎(Anthropic:Models overview)。
上下文有上限,塞越多不一定越好
那把價目表補進去就好了嗎?上下文長度是模型一次能讀進去的文字量,你貼的信、附上的文件、先前的對話和模型的回答,全都算在這個額度裡,而這個額度和模型訓練時讀過多少資料是兩回事。Anthropic 也提醒,一次放進去的內容越多,模型越容易漏看或記錯其中的細節(Anthropic:Context windows)。所以如果你把整本產品型錄都貼進去,模型反而可能漏看客戶問的那個規格。與其放得越多越好,不如挑對要放進去的內容;agent 每一步該放哪些資料,可以看 Context Engineering 是什麼。
會流暢地講錯
「上次那批的品質我們也會維持」這句,模型根本不知道上次那批是什麼,卻寫得像真的一樣。這就是一般說的「AI 幻覺」,NIST 的描述是模型會自信地產出錯誤或虛構的內容。如果客戶接著追問「能不能耐 400 度」,型錄裡沒寫,模型也可能流暢地回答「可以」。它為什麼會這樣、企業可以怎麼降低,我另外寫在 AI 幻覺是什麼。
精確數字和即時資料要交給系統
「11 月 20 日前出貨」是一個承諾,但模型沒看過產線排程。800 件的單價、倉庫還剩幾件現貨、交期排不排得進,這類答案應該由 ERP 或報價系統算出來;LLM 負責讀懂客戶要問什麼、交給系統去查,再把查到的結果寫成人看得懂的回信。所以要精確的部分交給系統,要理解和表達的部分交給 LLM,分工清楚就能少掉很多麻煩。
企業用 LLM 的四種方式
同樣是讓 LLM 幫忙回詢價信,使用的方式不同,信件內容會送到哪裡、成本和維運負擔就會差很多。
| 方式 | 這封詢價信會去哪 | 適合 | 要注意 |
|---|---|---|---|
| 商用版聊天產品(ChatGPT Business/Enterprise 等) | 你貼進公司帳號的 ChatGPT;OpenAI 寫明這類方案的資料預設不用於訓練 | 員工日常寫作、摘要、查找 | 個人免費版預設可能用於改善模型,公司資料別放個人帳號 |
| API(讓公司系統直接呼叫模型) | 報價系統自動把信送給模型;OpenAI 寫明 API 資料預設不用於訓練,為了檢查違規使用會保留紀錄最多 30 天 | 把 LLM 接進自己的系統或流程 | 要有人寫程式、保管 API 金鑰(系統登入模型用的密碼)、盯用量 |
| 雲端平台(Amazon Bedrock、Google Cloud、Microsoft 的 AI 平台 Foundry) | 公司雲端帳號裡、你選定地區的機房,依雲端合約處理 | 已經在用某家雲端,想統一帳務與權限 | 各平台提供的模型版本與停用時程不同,以平台公告為準 |
| 自架開放模型(如 Gemma) | 留在公司自己的伺服器 | 資料不能離開公司環境、用量大且穩定 | 硬體、更新、效能調校都要自己來 |
幾個補充:
- 員工已經在用免費版,是最常見的風險。個人帳號要到設定裡的「資料控制」關掉「為所有人改善模型」,新的對話才不會被拿去訓練。與其禁止業務把詢價信貼進個人帳號,我會建議直接提供商用版帳號,並講清楚哪些資料不能貼。商用版怎麼選,可以看企業版 AI 助理怎麼選;員工私下用 AI 的風險與規範,可以看 Shadow AI 是什麼。
- 同一家的模型,通常有好幾個入口。例如 Anthropic 的 Claude,除了自家的 API,也能透過 Amazon Bedrock、Google Cloud、Microsoft Foundry 使用,所以選哪個入口,常常取決於公司已經在用哪一家雲端。
- 開放模型可以放在自己的機器上跑。開放模型是廠商公開模型檔案、讓你下載到自己電腦或伺服器上執行的模型。Google 的 Gemma 是用和 Gemini 相同的研究與技術做出來的輕量開放模型,可以在自己的硬體上執行,也能用自己的資料再訓練一輪(Gemma)。代價是輕量模型的能力,我會預期比不上同期最大的商用模型,而維運也要自己扛。
我的建議順序是,先用商用版聊天產品或 API 把一個流程跑順,確定值得做,再決定要不要換成雲端平台或自架。因為一開始就自架的話,很容易花了好幾個月在架環境,卻還沒碰到真正的業務問題。
要不要訓練自己的 LLM
回到老闆的問題。從零開始訓練一個 LLM,需要大量的資料、運算資源和專業團隊,對中小企業來說幾乎不划算。而老闆說「用我們的資料訓練一個回詢價信的 AI」時,想要的通常是下面其中一件事:
| 你真正想要的 | 做法 | 需要重新訓練模型嗎 |
|---|---|---|
| 回信時用上公司的價目表、出貨紀錄、交期規則 | RAG 或把文件直接放進上下文 | 不用 |
| 回信的格式、語氣固定 | 先改給 AI 的指令(提示詞),不夠再用公司範例把模型再訓練一輪(微調) | 微調才需要,而且是在既有模型上調整 |
| AI 能查庫存、建立報價單 | agent+系統串接(如 MCP) | 不用 |
| 詢價信完全不能出公司 | 自架開放模型,再搭 RAG | 通常不用,直接用現成的開放模型 |
OpenAI 在談提高準確度的指南裡,也把「模型缺知識」和「模型行為不對」分開處理:缺知識的時候用 RAG 補上相關資料,行為不穩定的時候才用微調(OpenAI:Optimizing LLM accuracy)。前面那封草稿的三個問題,沒有一個是重新訓練模型能解決的:單價和上次那批要查資料,交期要查系統。而且單價、規格和交期規則會一直變,所以用查資料的方式接進來,會比訓練進模型好維護。資料要整理到什麼程度才接得上,可以看企業知識庫要整理到什麼程度,AI agent 才用得上。
所以下一次週會,你可以這樣回老闆:不用訓練自己的模型,先用商用版帳號試 30 封真實的詢價信,讓 AI 擬草稿、你改完再寄。兩週試下來,如果你改得最多的是單價和交期,下一步就是讓它先查價目表和出貨紀錄,也就是 RAG;交期則等它能查產線排程,再考慮做成 agent。
導入前先確認的五件事
不管用哪一種方式,在第一個專案開始之前,我都會先把這五件事寫下來:
- 挑一個流程,寫出現在花多少時間。例如「業務回覆詢價信,每封平均 15 分鐘」。流程怎麼挑,可以看哪些企業流程適合先交給 AI agent。
- 列出會碰到的資料和它們的權限。報價底價、客戶個資、還沒公開的產品計畫,各自能不能交給哪一種使用方式。
- 準備 20 到 30 封真實的詢價信當測試題,其中要包括幾封問到資料裡沒有答案的,看模型會不會老實說不知道。交給模型的指令本身也要寫清楚、測過,做法在提示詞怎麼寫;驗收要怎麼設計,可以看 AI agent 專案怎麼驗收。
- 決定哪裡要人確認。對外寄出的信、會改到資料的動作,先設成草稿、等人放行,細節在 AI agent 的權限與人工確認怎麼設。
- 用真實文件估一次 token 用量,例如一封詢價信加上要附的價目表,乘上每天的封數,算出一個月的費用區間。
這五件事寫得出來,你要找平台、找供應商或自己做都會比較好談;自建、買平台或委外要怎麼選,可以看企業 AI agent 自建、平台或委外。我們的企業 AI 營運方案在需求診斷時,也是先和你把這五件事寫出來,再依每個步驟的難度在 OpenAI、Claude、Gemini 之間選模型,例如從詢價信抓出品名、數量、交期這類資料,用便宜快速的模型,擬回信則用能力較強的模型。
LLM 組答案的方式,也會影響你的品牌在 AI 回答裡怎麼被介紹,可以看 AI 怎麼決定推薦哪個品牌。
常見問題
常見的 LLM 有哪些?
模型越大,答案就越準嗎?
不一定。InstructGPT 的研究裡,13 億參數、經過指令微調與人類回饋訓練的模型,回答比 1,750 億參數的原始 GPT-3 更受評分的人喜歡。大模型通常在複雜推理上比較強,但也比較慢、比較貴,所以簡單的分類、摘要工作,用小模型常常就夠了。
LLM 會記得我上次跟它說過的話嗎?
模型本身不會。每次回答時,它只看得到這次送進上下文裡的內容,包括這段對話先前的訊息。有些聊天產品另外做了記憶功能,會把你的偏好存下來、下次自動放進上下文,但那是產品另外加的功能,可以在設定裡查看或關閉。
自架開放模型,資料就一定安全嗎?
資料不會送到外部供應商,這點確實比較單純。但安全還包括誰能存取這台機器、模型的輸出有沒有留紀錄,以及看不到某份資料的員工,透過模型是不是一樣看不到。所以自架省掉的是資料外流到供應商的顧慮,權限和稽核的工作還是一樣要做。實際在公司電腦上跑模型、要先關掉哪些設定,可以看 Ollama 教學。
公司可以只選一家模型嗎?
可以,而且第一個專案我會建議先專心用一家。等流程穩定之後再依任務分配,例如擬回信用能力強的模型、抓詢價信裡的品名和數量用便宜快速的模型。呼叫模型的程式集中在同一個地方,之後要換或混用都比較容易。
參考來源
以下依官方文件與原始論文整理,資料政策、模型名稱與平台支援範圍以各家官方頁面當下為準。
- AWS:What is LLM (Large Language Model)?
- Google Cloud:Large language models(LLMs)
- OpenAI Help Center:What are tokens and how to count them?
- OpenAI:tiktoken
- Anthropic:Context windows
- Anthropic:Models overview
- Vaswani et al.(2017):Attention Is All You Need
- Ouyang et al.(2022):Training language models to follow instructions with human feedback
- NIST:AI 600-1 Generative Artificial Intelligence Profile
- OpenAI:Data controls in the OpenAI platform
- OpenAI:Enterprise privacy
- OpenAI Help Center:Data Controls FAQ
- OpenAI:Optimizing LLM accuracy
- Google AI for Developers:Gemma models overview