週四下午,你負責的客服 agent(會自己呼叫工具做事的 AI)收到一筆退貨申請:一家合作多年的五金行,要退 10 天前收到的一批螺絲,這已經是他們今年第三次退貨。agent 不到十秒就回覆:「依退貨政策,收貨後 14 天內可申請,本次符合資格,已為您建立退貨單。」倉庫隔天就派車去載貨,財務也開始準備退款。
問題是,公司去年已經把退貨期限改成 7 天。追查下來,提示詞本身寫得沒有問題,錯在 agent 那一步看到的東西:系統把整本產品手冊都塞了進去,裡面同時有新舊兩版退貨政策;三年來和這位客戶的 40 段對話全部附上;25 個工具的說明也一個不漏。結果模型在這堆資料裡抓到了舊版那一段,還順手呼叫了建立退貨單的工具,最後業務只好打電話跟客戶道歉,說明這筆退貨其實不符合規定。
這類問題,業界這一兩年開始用 context engineering 來稱呼。怎麼寫一段清楚的指令,我在提示詞怎麼寫整理過了;而這篇要談的是指令寫好之後的下一步:agent 執行任務時,每一步放進模型的資料要怎麼挑。
Context Engineering 是什麼:決定每一步讓模型看到什麼
Anthropic 在 2025 年 9 月的工程文章裡,把 context engineering 定義為:在模型產生回答的當下,挑選並維持一組最合適資訊的一整套做法;「維持」的意思是任務進行中,這組資訊要一直跟著調整,該加的加、該拿掉的拿掉。Anthropic:Effective context engineering for AI agents
這組資訊除了提示詞,還包括系統指令、工具、透過 MCP(讓 AI 接上外部系統的標準做法)接進來的服務、外部資料和對話紀錄。它的長短用 token 計算,token 是模型計算文字長度的單位,放得越多,用掉的 token 就越多。
中文常譯為「上下文工程」「情境工程」或「脈絡工程」。
可以把上下文想成出差時的那一只行李箱。
每一步交給模型的資料,就像你打包進行李箱的東西,幾個特點都對得上:
- 箱子有容量上限:模型一次能讀的 token 有上限,放不下就得取捨。
- 塞得越滿越難找:東西一多,要用的那一件反而翻不到,模型也會在一大堆資料裡漏看關鍵的那段。
- 新舊兩份行程表一起帶,就可能照著舊的走:對應到開頭新舊兩版退貨政策同時在箱子裡,模型就照了舊的那一版。
- 不是每樣東西都要先帶著:到了當地買得到的,就記下店在哪裡,需要時再去拿;agent 也可以只帶查詢方式,要用時再查。
- 行李越重運費越貴:放進去的 token 越多,每一步的費用就越高。
比喻不成立的地方是,行李只要出門前打包一次,而 agent 每走一步,上下文都可能要重新整理一次。所以 context engineering 要決定的,是每一步該帶哪幾樣、哪些留下查詢方式就好。
圖裡畫的是比喻中最常碰到的三點:塞太滿會找不到要用的那一份、新舊兩份只帶現行的,能查得到的就只記下查詢方式。
把開頭的退貨任務拆開來看,agent 每一步收到的上下文,大概會有這幾類:
| 上下文的組成 | 在退貨任務裡是什麼 | 誰決定放不放 |
|---|---|---|
| 系統指令 | 「你是客服助理,依公司政策處理退換貨」,加上語氣與流程規則;它是提示詞裡固定不變的那一段 | 寫提示詞的人,通常固定 |
| 工具說明 | 查訂單、查出貨、建立退貨單、寄信等工具的名稱與用法 | 系統設計時決定開放哪些 |
| 檢索到的文件 | 退貨政策、產品保固條款 | 檢索系統(依問題去文件庫找相關段落的程式)自動找出來 |
| 對話紀錄 | 這次對話的前幾句,以及和這位客戶的歷史往來 | 系統設計時決定保留多少 |
| 記憶 | 「這位客戶偏好電話聯繫」「上次退貨原因是規格不符」 | 系統或 agent 自己記下的筆記 |
| 工具回傳的結果 | 查訂單工具回傳的收貨日期、品項、數量 | 每一步執行後產生,會越積越多 |
最後一項「工具回傳的結果」最容易被忽略。一般聊天只有一問一答,但 agent 會連續呼叫好幾個工具,而每一次的回傳結果都會留在上下文裡。常用的 AI 開發工具 LangChain 在整理文章裡提到,長任務加上不斷累積的工具回傳,常常會讓 agent 用掉大量 token,結果超過上限,或者讓成本和回應時間一起變高。LangChain:Context Engineering
所以 context engineering 要回答的問題很具體:這一步,模型需要看到什麼,才做得出對的判斷。
和提示詞差在哪:一個寫一次,一個每一步都在變
我的理解是,提示詞是 context engineering 的一部分:
| 比較項目 | 提示詞 | Context engineering |
|---|---|---|
| 管的範圍 | 一段指令怎麼寫 | 每一步送進模型的全部資料 |
| 什麼時候決定 | 寫好之後大多固定 | agent 每走一步都要重新組 |
| 常見的問題 | 指令模糊、格式沒講清楚 | 資料太多、太舊、互相矛盾,或是該有的沒放 |
| 誰在處理 | 業務單位也能寫、能改 | 通常要和系統設計一起做 |
Anthropic 把 context engineering 形容成提示工程(研究提示詞怎麼寫的做法)自然的延伸:agent 要跑好幾輪、呼叫好幾個工具,要管的就從「那段話怎麼寫」擴大到「整個上下文怎麼組」。
回到退貨的例子。提示詞寫的是「依公司政策處理,超過退貨期限就轉專人」,這句話完全正確;但政策文件同時放了新舊兩版,模型就得自己猜哪一版才算數。這時候只改提示詞不夠,要先改的是放進去的文件。
不過提示詞也不能省:指令寫不清楚的話,資料挑得再好,模型也不知道要拿它做什麼。
為什麼不能全部塞進去:上下文越長,模型越容易漏
現在的模型能讀進幾十萬個 token,所以很多人的直覺是全部放進去,讓模型自己找。
這個做法有兩個代價。
第一個是準確度,也就是行李箱塞得越滿、越難翻到要用的那一件。Anthropic 在文章裡引用了 Chroma(做向量資料庫,也就是讓 AI 依意思搜尋資料的資料庫)在 2025 年發表的研究,這個現象叫做 context rot(上下文腐化):Chroma 測了 18 個模型,輸入越長,模型準確找回其中資訊的表現大致就越差。Chroma:Context Rot Anthropic 的解釋是,內容越多,模型越難把注意力放在關鍵的那一段上。
更早的研究也看到類似的現象。史丹佛等單位在 2023 年發表的論文〈Lost in the Middle〉發現,關鍵資訊放在上下文的開頭或結尾時,模型的表現通常最好;而放在中間時,表現會明顯下降,就連專門為長上下文設計的模型也一樣。Liu et al.:Lost in the Middle 開頭那次,整本手冊加上 40 段對話和 25 個工具說明疊在一起,現行的 7 天政策只是中間的一小段,我覺得很難保證模型不會漏看。
第二個是成本。多數模型服務的 API(讓程式直接呼叫模型的介面)是依 token 計費,輸入和輸出都算,而 agent 又會一步接一步地呼叫模型,每一步都要把上下文重新送一次。重複的內容可以用快取(把同一段內容先存起來重複使用)降低費用,但送進去的內容越多,費用還是越高。Anthropic 在說明自家的多 agent 研究系統時提到,依它們的資料,agent 用掉的 token 大約是一般聊天的 4 倍,多 agent 系統更達到約 15 倍。Anthropic:How we built our multi-agent research system
把這兩個代價放在一起看,Anthropic 給的原則是:找出能讓模型做出正確結果的最小一組關鍵資訊。模型本身的上下文限制,我在 LLM 是什麼有另外說明;這裡要記住的是,上下文放得越多,對 agent 的幫助不一定越大,很多時候反而是負擔。
改前改後:同一個退貨任務,上下文怎麼裁
回到開頭的退貨任務。下面是同一個 agent 的對照,角色和流程指令都不變,只改放進去的資料,外加一句寫明判斷依據:
| 項目 | 改前 | 改後 | 理由 |
|---|---|---|---|
| 退貨政策 | 整本產品手冊,新舊兩版政策都在 | 只放現行退貨政策那一段,附上版本日期 | 舊版留在裡面,模型就有機會引用錯的那一版 |
| 產品資料 | 全部產品的規格與保固 | 只放這張訂單上兩個品項的保固條款 | 其他產品和這次判斷無關,只會分散注意力 |
| 歷史對話 | 三年來 40 段對話全文 | 一段 150 字的摘要:往來年資、前兩次退貨的日期與原因、偏好的聯繫方式 | 要判斷的是「這位客戶的退貨狀況」,逐字紀錄大多用不到 |
| 工具 | 25 個工具的說明全部附上 | 這一步只開放查訂單、查出貨、建立退貨草稿 3 個 | 寄信、退款這類動作,留到人工確認後的下一步;建的是草稿,專人確認後才成立 |
| 訂單資料 | 客戶所有訂單的完整明細 | 只查這張訂單,回傳收貨日期、品項、數量 | 需要其他訂單時,agent 可以再查 |
| 判斷依據 | 沒有特別交代 | 明寫「以收貨日期和現行政策的天數比對,超過期限就轉專人」 | 把要比對的兩項資料(收貨日期和政策天數)講清楚,模型比較不會自己推論 |

改過之後,模型看到的資料少了一大半,但判斷需要的東西都還在:現行政策寫 7 天,訂單顯示 10 天前收貨,所以結果是轉給專人處理,agent 也不會自己把退貨單送出去。
這張表裡的每一項調整,都在回答同一個問題:這份資料不放,模型會不會少了判斷依據?會,就放進去;不會,就只告訴 agent 去哪裡查,需要時再讓它自己查。
歷史對話那一項值得多說一句,因為摘要要保留什麼,本身就是一個判斷。Anthropic 談到把內容整理成摘要時建議,一開始先盡量多保留,確認重要的東西沒有被丟掉,再一步一步精簡。以退貨的例子來說,前兩次退貨的原因和日期一定要留下來,因為第三次退貨可能就是同一個問題還沒解決。
五個常用做法
Anthropic 的工程文章和 LangChain 的整理,用詞雖然不同,但做法高度重疊。我把它們整理成企業導入時最常用的五個:
| 做法 | 解決什麼 | 企業流程裡的例子 | 要付出的代價 |
|---|---|---|---|
| 需要時再載入 | 資料太多放不下 | 上下文只放訂單編號,agent 需要時再用工具查明細 | agent 要多呼叫幾次工具,速度會慢一些 |
| 精簡工具 | 工具太多、功能重疊,選錯工具 | 每個流程步驟只開放需要的工具 | 流程設計要先拆得夠細 |
| 壓縮與摘要 | 長任務超過上限 | 對話快滿時,把前面的內容整理成摘要,再接著繼續 | 摘要可能漏掉後來才發現重要的細節 |
| 筆記式記憶 | 任務跨好幾輪、好幾天 | agent 把進度與待辦寫在固定的筆記檔,下一輪先讀筆記 | 筆記寫錯會一直被沿用 |
| 子 agent 分工 | 單一 agent 要處理的資料太雜 | 一個子 agent 專門查庫存,只把結論回報給主 agent | token 用量明顯增加 |
需要時再載入:先放查詢方式,要用時再讀進來
以退貨任務來說,上下文一開始只放訂單編號,等 agent 判斷要處理退貨,才去查這張訂單的收貨日期和品項。Anthropic 把這種做法叫做 just-in-time(即時載入)。上下文裡只放輕量的線索,例如檔案路徑、查詢條件或網址,等 agent 判斷需要時,才用工具把資料讀進來。
企業流程裡最常見的版本就是 RAG,也就是問題進來時先檢索相關段落,再把段落放進上下文。檢索要怎麼設計、每一步會在哪裡出錯,我在 RAG 是什麼有完整的整理。
精簡工具:連工程師都分不清該用哪個工具,agent 也會選錯
退貨那一步只需要查訂單、查出貨、建立退貨草稿三個工具。如果 25 個全部附上,模型在該轉專人的時候,手上也有建立正式退貨單、寄信這些工具可以用。開頭那筆退貨,就是這樣直接建了單。Anthropic 的建議是維持一組最小、夠用的工具,避免功能重疊。它也給了一個很好用的判斷方法:如果工程師看著工具清單,都說不出這個情況該用哪一個,agent 也不會知道。
例如你同時開放「查詢訂單」和「查詢訂單狀態」兩個工具,名稱和說明又很接近,agent 就可能在兩者之間亂選。這時候把它們合併成一個,或者把說明寫到不會混淆,錯誤就會少很多。透過 MCP 接工具時,工具說明也會進到上下文裡,裝了十幾個 MCP 服務,光是說明就可能占掉一大塊。接服務之前該檢查哪些事,我在 MCP 是什麼裡有整理。
壓縮與摘要:對話快滿時整理一次
把三年來 40 段歷史對話整理成 150 字的摘要,就是一種壓縮。長任務跑到一半、上下文快滿時,也可以把目前為止的內容整理成摘要,再用摘要接著做。Anthropic 提到,最安全、最輕量的壓縮方式之一,是清掉舊的工具回傳結果:agent 已經用過那筆資料、也做完判斷了,原始的回傳內容就可以拿掉。Claude 的開發平台也把這件事做成了功能(目前還是測試版),可以設定在上下文超過一定長度時,自動清除較舊的工具結果。Claude Developer Platform:Context editing
要注意的是摘要本身的品質。以開頭退貨的例子來說,如果摘要只寫「老客戶,曾退貨兩次」,漏掉了兩次的原因,agent 就少了判斷第三次退貨的關鍵依據。
筆記式記憶:讓 agent 自己記下進度
這個做法是讓 agent 把重要的事寫在上下文之外的地方,例如一個固定的筆記檔,等下一輪或下一次任務開始時先讀它。以退貨任務來說,轉給專人之後,agent 可以在筆記裡記下「等倉庫確認品項、客戶偏好電話聯繫」,隔天接手的人或 agent 一讀就知道進度。
子 agent 分工:各自處理,只回報結論
子 agent 分工是把一個大任務拆給幾個子 agent,每個子 agent 在自己的上下文裡深入處理一塊,最後只把精簡的結論交回主 agent。退貨案其實用不到這個做法,因為要查的只有一張訂單和一段政策。Anthropic 的說法是,子 agent 可能用掉幾萬個 token 去探索,但回報的摘要通常只有 1,000 到 2,000 個 token,所以主 agent 的上下文可以保持乾淨。
代價是總用量(前面提過約是一般聊天的 15 倍),所以我會把子 agent 留給真正需要同時查很多資料的任務,例如同時比對十家供應商的規格與交期;一般的客服或資料整理,用一個 agent,資料等需要時再查進來,通常就夠了。
上下文也會出錯:四種常見狀況
上面五個做法是事先預防;上線之後 agent 還是答錯時,可以用下面四種狀況對照,先判斷是哪一種出錯,再回頭調整對應的做法。LangChain 的文章引用了另一位作者 Drew Breunig 的整理,把上下文出錯分成這四種,我用同一個退貨情境逐一對照:
| 狀況 | 意思 | 客服情境裡的樣子 | 對應做法 |
|---|---|---|---|
| 上下文中毒 | 錯誤的內容進了上下文,之後一直被沿用 | agent 上次在筆記裡寫錯「已同意這位客戶延長退貨期為 30 天」,之後每次都照這條處理 | 記憶與筆記要能查、能改;關鍵欄位從系統查,不從前一步的推論來 |
| 上下文分心 | 歷史紀錄太長,模型照著過去的做法走,不重新判斷 | 40 段對話裡,兩年前曾破例替這位客戶延長退貨期,模型照那次的做法處理 | 歷史紀錄改成摘要 |
| 上下文混淆 | 放了這一步用不到的東西,模型拿來亂用 | 25 個工具都開著,模型在該轉專人時直接建了正式退貨單 | 每一步只開放需要的工具 |
| 上下文衝突 | 上下文裡的資訊互相矛盾 | 新舊兩版退貨政策同時存在 | 只放現行版本,文件標明版本日期 |
第一種要特別小心。錯的內容可能來自模型自己編出來的推論,也可能來自有人刻意藏進去的指令。前者的成因和處理方式,我寫在 AI 幻覺是什麼;後者屬於 prompt injection,要從權限和系統設計去防。寫進記憶或筆記的東西,影響會延續到之後的每一步,所以什麼可以寫、誰能改,要在設計時就先想好。
導入 agent 時,先檢查這五件事
上線前先確認下面五件事,就可以先避開不少上下文造成的錯誤:
-
每一步的上下文都留紀錄。答錯的時候,你要能回頭看到那一步模型實際收到了什麼:放了哪幾段文件、哪些工具、多少歷史對話。如果沒有這份紀錄,你就只能猜問題是出在提示詞還是資料;有的話,開頭那天就看得到模型引用的是手冊裡 14 天那一段。
-
替 agent 讀得到的每份文件寫清楚三件事:什麼情況下才讀、讀它是為了什麼、和其他文件衝突時以誰為準。上下文裡同時存在新舊兩套規則,本身就是一種錯誤來源,所以 14 天的舊版要移到封存區。放到退貨 agent 上,大概會是這樣:
- 退貨政策:客戶提出退貨時才讀;以標註日期最新的一版為準。
- 產品保固條款:只讀這張訂單上的品項。
- 客戶摘要:每次處理這位客戶時讀;和訂單系統衝突時,以訂單系統為準。
-
測一個「很長」的案例。在測試集(上線前拿來試跑的一組真實案例)裡放一位往來紀錄很多、訂單也很多的客戶,確認上下文變長之後,答案仍然正確,成本也還在預期內。
-
估算每一步的 token 用量。記錄一次完整任務用了多少 token,再乘上每天的量,看看成本是否合理;而用量明顯偏高的步驟,通常就是上下文放太多的地方。
-
會改資料的工具只開草稿權限。建單、退款、寄信這類動作,agent 只能先做出草稿,等專人確認後才真的執行;開頭那天如果這樣設,倉庫就不會隔天派車。
這五件事做完,同一筆退貨申請再進來時,agent 拿到的是 7 天的現行政策和 10 天前的收貨日期,比對之後轉給專人。倉庫不必白跑,財務不用先準備退款,負責退貨的專人收到的是一張等他確認的草稿,業務也不必打電話道歉;就算之後又答錯,你也能從那一步的紀錄看出模型讀了哪一段。測試集要怎麼建、成功率要到多少才上線,可以看 AI agent 專案怎麼驗收。
以退貨流程為例,我們的企業 AI 營運方案在需求診斷時,會先和負責退貨的同事列出判斷要看的欄位和現行政策,再決定 agent 每一步要拿到哪些資料,並把建單、退款這類動作設成先暫停,交給專人確認後再執行。
常見問題
模型能讀的上下文越來越長,還需要 context engineering 嗎?
需要。上下文上限變大,代表放得下,但模型不一定每一段都讀得準。上下文越長,找回關鍵資訊的準確度通常會下降,每一步的費用也會跟著增加;所以上限變大之後,還是要挑。
Context engineering 一定要工程師才能做嗎?
系統怎麼組上下文,通常要由工程師實作;但決定要放什麼,最需要的是熟悉流程的人。哪份文件是現行版本、判斷退貨要看哪幾個欄位、哪些歷史紀錄有用,這些由業務單位先列出來,工程師再照著設計,效果會比工程師自己猜好很多。
開了記憶功能,錯的東西會不會一直被記著?
會。記憶和筆記裡的內容會被之後的每一步沿用,所以寫錯了,後面的步驟就可能一直沿用。設計時要讓記憶可以查看和修改,關鍵資料(例如客戶等級、合約條件)每次都從系統查,不從記憶讀;也要定期檢查記憶裡有沒有過期或來路不明的內容。
對話太長時,直接開一個新對話可以嗎?
可以,帶著摘要開新對話,就是最簡單的壓縮。重點是開新對話之前,要把需要延續的東西帶過去:目前的進度、已經確認的事實,以及還沒解決的問題。如果直接開新對話、什麼都不帶,agent 就得從頭再查一次。
參考來源
以下依各家官方文件與論文整理,Claude 開發平台的功能以官方頁面當下為準。