Context Engineering 是什麼?AI agent 每一步該看到哪些資料

提示詞寫好了,agent 還是答錯,問題常出在每一步塞給模型的資料。這篇說明 context engineering 在管什麼、為什麼上下文越長越容易漏,以及企業導入 agent 時怎麼取捨。

先說結論

Context engineering(上下文工程)是決定 AI agent 每一步能看到哪些資料:系統指令、工具說明、檢索到的文件、對話紀錄、記憶,以及工具回傳的結果,而提示詞只是其中一塊。因為上下文有長度上限,塞得越多,模型越容易漏看重點,成本也越高,所以要挑。實務上先只放這一步需要的內容,其他的留下查詢方式,要用時再取;長任務用摘要和筆記接續,複雜任務再拆給子 agent。

木桌上一只打開的小登機箱,裡面只整齊放了一張夾著螢光綠迴紋針的文件、一張小卡、一盒螺絲和三張灰色小卡;左邊是沒放進去的一大疊東西:一本厚手冊、一疊高高的列印紙,最上面一張泛黃的舊文件,前面散著一疊小卡
Context Engineering 是什麼?AI agent 每一步該看到哪些資料 封面視覺

週四下午,你負責的客服 agent(會自己呼叫工具做事的 AI)收到一筆退貨申請:一家合作多年的五金行,要退 10 天前收到的一批螺絲,這已經是他們今年第三次退貨。agent 不到十秒就回覆:「依退貨政策,收貨後 14 天內可申請,本次符合資格,已為您建立退貨單。」倉庫隔天就派車去載貨,財務也開始準備退款。

問題是,公司去年已經把退貨期限改成 7 天。追查下來,提示詞本身寫得沒有問題,錯在 agent 那一步看到的東西:系統把整本產品手冊都塞了進去,裡面同時有新舊兩版退貨政策;三年來和這位客戶的 40 段對話全部附上;25 個工具的說明也一個不漏。結果模型在這堆資料裡抓到了舊版那一段,還順手呼叫了建立退貨單的工具,最後業務只好打電話跟客戶道歉,說明這筆退貨其實不符合規定。

這類問題,業界這一兩年開始用 context engineering 來稱呼。怎麼寫一段清楚的指令,我在提示詞怎麼寫整理過了;而這篇要談的是指令寫好之後的下一步:agent 執行任務時,每一步放進模型的資料要怎麼挑。

Context Engineering 是什麼:決定每一步讓模型看到什麼

Anthropic 在 2025 年 9 月的工程文章裡,把 context engineering 定義為:在模型產生回答的當下,挑選並維持一組最合適資訊的一整套做法;「維持」的意思是任務進行中,這組資訊要一直跟著調整,該加的加、該拿掉的拿掉。Anthropic:Effective context engineering for AI agents

這組資訊除了提示詞,還包括系統指令、工具、透過 MCP(讓 AI 接上外部系統的標準做法)接進來的服務、外部資料和對話紀錄。它的長短用 token 計算,token 是模型計算文字長度的單位,放得越多,用掉的 token 就越多。

中文常譯為「上下文工程」「情境工程」或「脈絡工程」。

可以把上下文想成出差時的那一只行李箱。

每一步交給模型的資料,就像你打包進行李箱的東西,幾個特點都對得上:

  1. 箱子有容量上限:模型一次能讀的 token 有上限,放不下就得取捨。
  2. 塞得越滿越難找:東西一多,要用的那一件反而翻不到,模型也會在一大堆資料裡漏看關鍵的那段。
  3. 新舊兩份行程表一起帶,就可能照著舊的走:對應到開頭新舊兩版退貨政策同時在箱子裡,模型就照了舊的那一版。
  4. 不是每樣東西都要先帶著:到了當地買得到的,就記下店在哪裡,需要時再去拿;agent 也可以只帶查詢方式,要用時再查。
  5. 行李越重運費越貴:放進去的 token 越多,每一步的費用就越高。

比喻不成立的地方是,行李只要出門前打包一次,而 agent 每走一步,上下文都可能要重新整理一次。所以 context engineering 要決定的,是每一步該帶哪幾樣、哪些留下查詢方式就好。

牛皮紙橡皮章插畫,三個紙袋信差:① 硬壓一只塞爆的行李箱,代表塞太滿反而找不到;② 舉著打叉的舊行程表和打勾的新行程表,代表只放現行政策;③ 提著小行李箱、拿著標了定位點的卡片,代表只帶查詢方式 圖裡畫的是比喻中最常碰到的三點:塞太滿會找不到要用的那一份、新舊兩份只帶現行的,能查得到的就只記下查詢方式。

把開頭的退貨任務拆開來看,agent 每一步收到的上下文,大概會有這幾類:

上下文的組成在退貨任務裡是什麼誰決定放不放
系統指令「你是客服助理,依公司政策處理退換貨」,加上語氣與流程規則;它是提示詞裡固定不變的那一段寫提示詞的人,通常固定
工具說明查訂單、查出貨、建立退貨單、寄信等工具的名稱與用法系統設計時決定開放哪些
檢索到的文件退貨政策、產品保固條款檢索系統(依問題去文件庫找相關段落的程式)自動找出來
對話紀錄這次對話的前幾句,以及和這位客戶的歷史往來系統設計時決定保留多少
記憶「這位客戶偏好電話聯繫」「上次退貨原因是規格不符」系統或 agent 自己記下的筆記
工具回傳的結果查訂單工具回傳的收貨日期、品項、數量每一步執行後產生,會越積越多

最後一項「工具回傳的結果」最容易被忽略。一般聊天只有一問一答,但 agent 會連續呼叫好幾個工具,而每一次的回傳結果都會留在上下文裡。常用的 AI 開發工具 LangChain 在整理文章裡提到,長任務加上不斷累積的工具回傳,常常會讓 agent 用掉大量 token,結果超過上限,或者讓成本和回應時間一起變高。LangChain:Context Engineering

所以 context engineering 要回答的問題很具體:這一步,模型需要看到什麼,才做得出對的判斷。

和提示詞差在哪:一個寫一次,一個每一步都在變

我的理解是,提示詞是 context engineering 的一部分:

比較項目提示詞Context engineering
管的範圍一段指令怎麼寫每一步送進模型的全部資料
什麼時候決定寫好之後大多固定agent 每走一步都要重新組
常見的問題指令模糊、格式沒講清楚資料太多、太舊、互相矛盾,或是該有的沒放
誰在處理業務單位也能寫、能改通常要和系統設計一起做

Anthropic 把 context engineering 形容成提示工程(研究提示詞怎麼寫的做法)自然的延伸:agent 要跑好幾輪、呼叫好幾個工具,要管的就從「那段話怎麼寫」擴大到「整個上下文怎麼組」。

回到退貨的例子。提示詞寫的是「依公司政策處理,超過退貨期限就轉專人」,這句話完全正確;但政策文件同時放了新舊兩版,模型就得自己猜哪一版才算數。這時候只改提示詞不夠,要先改的是放進去的文件。

不過提示詞也不能省:指令寫不清楚的話,資料挑得再好,模型也不知道要拿它做什麼。

為什麼不能全部塞進去:上下文越長,模型越容易漏

現在的模型能讀進幾十萬個 token,所以很多人的直覺是全部放進去,讓模型自己找。

這個做法有兩個代價。

第一個是準確度,也就是行李箱塞得越滿、越難翻到要用的那一件。Anthropic 在文章裡引用了 Chroma(做向量資料庫,也就是讓 AI 依意思搜尋資料的資料庫)在 2025 年發表的研究,這個現象叫做 context rot(上下文腐化):Chroma 測了 18 個模型,輸入越長,模型準確找回其中資訊的表現大致就越差。Chroma:Context Rot Anthropic 的解釋是,內容越多,模型越難把注意力放在關鍵的那一段上。

更早的研究也看到類似的現象。史丹佛等單位在 2023 年發表的論文〈Lost in the Middle〉發現,關鍵資訊放在上下文的開頭或結尾時,模型的表現通常最好;而放在中間時,表現會明顯下降,就連專門為長上下文設計的模型也一樣。Liu et al.:Lost in the Middle 開頭那次,整本手冊加上 40 段對話和 25 個工具說明疊在一起,現行的 7 天政策只是中間的一小段,我覺得很難保證模型不會漏看。

第二個是成本。多數模型服務的 API(讓程式直接呼叫模型的介面)是依 token 計費,輸入和輸出都算,而 agent 又會一步接一步地呼叫模型,每一步都要把上下文重新送一次。重複的內容可以用快取(把同一段內容先存起來重複使用)降低費用,但送進去的內容越多,費用還是越高。Anthropic 在說明自家的多 agent 研究系統時提到,依它們的資料,agent 用掉的 token 大約是一般聊天的 4 倍,多 agent 系統更達到約 15 倍。Anthropic:How we built our multi-agent research system

把這兩個代價放在一起看,Anthropic 給的原則是:找出能讓模型做出正確結果的最小一組關鍵資訊。模型本身的上下文限制,我在 LLM 是什麼有另外說明;這裡要記住的是,上下文放得越多,對 agent 的幫助不一定越大,很多時候反而是負擔。

改前改後:同一個退貨任務,上下文怎麼裁

回到開頭的退貨任務。下面是同一個 agent 的對照,角色和流程指令都不變,只改放進去的資料,外加一句寫明判斷依據:

項目改前改後理由
退貨政策整本產品手冊,新舊兩版政策都在只放現行退貨政策那一段,附上版本日期舊版留在裡面,模型就有機會引用錯的那一版
產品資料全部產品的規格與保固只放這張訂單上兩個品項的保固條款其他產品和這次判斷無關,只會分散注意力
歷史對話三年來 40 段對話全文一段 150 字的摘要:往來年資、前兩次退貨的日期與原因、偏好的聯繫方式要判斷的是「這位客戶的退貨狀況」,逐字紀錄大多用不到
工具25 個工具的說明全部附上這一步只開放查訂單、查出貨、建立退貨草稿 3 個寄信、退款這類動作,留到人工確認後的下一步;建的是草稿,專人確認後才成立
訂單資料客戶所有訂單的完整明細只查這張訂單,回傳收貨日期、品項、數量需要其他訂單時,agent 可以再查
判斷依據沒有特別交代明寫「以收貨日期和現行政策的天數比對,超過期限就轉專人」把要比對的兩項資料(收貨日期和政策天數)講清楚,模型比較不會自己推論

對照圖:同一個退貨任務放進模型的資料,方塊高低為示意。改前把整本產品手冊(新舊兩版政策)、40 段對話全文、25 個工具說明、全部產品保固和客戶所有訂單都塞進去,模型引用舊版的 14 天,自己建了退貨單。改後只放現行 7 天政策、150 字客戶摘要、3 個工具、兩個品項的保固、這張訂單和判斷依據,結果是 10 天超過 7 天,轉給專人

改過之後,模型看到的資料少了一大半,但判斷需要的東西都還在:現行政策寫 7 天,訂單顯示 10 天前收貨,所以結果是轉給專人處理,agent 也不會自己把退貨單送出去。

這張表裡的每一項調整,都在回答同一個問題:這份資料不放,模型會不會少了判斷依據?會,就放進去;不會,就只告訴 agent 去哪裡查,需要時再讓它自己查。

歷史對話那一項值得多說一句,因為摘要要保留什麼,本身就是一個判斷。Anthropic 談到把內容整理成摘要時建議,一開始先盡量多保留,確認重要的東西沒有被丟掉,再一步一步精簡。以退貨的例子來說,前兩次退貨的原因和日期一定要留下來,因為第三次退貨可能就是同一個問題還沒解決。

五個常用做法

Anthropic 的工程文章和 LangChain 的整理,用詞雖然不同,但做法高度重疊。我把它們整理成企業導入時最常用的五個:

做法解決什麼企業流程裡的例子要付出的代價
需要時再載入資料太多放不下上下文只放訂單編號,agent 需要時再用工具查明細agent 要多呼叫幾次工具,速度會慢一些
精簡工具工具太多、功能重疊,選錯工具每個流程步驟只開放需要的工具流程設計要先拆得夠細
壓縮與摘要長任務超過上限對話快滿時,把前面的內容整理成摘要,再接著繼續摘要可能漏掉後來才發現重要的細節
筆記式記憶任務跨好幾輪、好幾天agent 把進度與待辦寫在固定的筆記檔,下一輪先讀筆記筆記寫錯會一直被沿用
子 agent 分工單一 agent 要處理的資料太雜一個子 agent 專門查庫存,只把結論回報給主 agenttoken 用量明顯增加

需要時再載入:先放查詢方式,要用時再讀進來

以退貨任務來說,上下文一開始只放訂單編號,等 agent 判斷要處理退貨,才去查這張訂單的收貨日期和品項。Anthropic 把這種做法叫做 just-in-time(即時載入)。上下文裡只放輕量的線索,例如檔案路徑、查詢條件或網址,等 agent 判斷需要時,才用工具把資料讀進來。

企業流程裡最常見的版本就是 RAG,也就是問題進來時先檢索相關段落,再把段落放進上下文。檢索要怎麼設計、每一步會在哪裡出錯,我在 RAG 是什麼有完整的整理。

精簡工具:連工程師都分不清該用哪個工具,agent 也會選錯

退貨那一步只需要查訂單、查出貨、建立退貨草稿三個工具。如果 25 個全部附上,模型在該轉專人的時候,手上也有建立正式退貨單、寄信這些工具可以用。開頭那筆退貨,就是這樣直接建了單。Anthropic 的建議是維持一組最小、夠用的工具,避免功能重疊。它也給了一個很好用的判斷方法:如果工程師看著工具清單,都說不出這個情況該用哪一個,agent 也不會知道。

例如你同時開放「查詢訂單」和「查詢訂單狀態」兩個工具,名稱和說明又很接近,agent 就可能在兩者之間亂選。這時候把它們合併成一個,或者把說明寫到不會混淆,錯誤就會少很多。透過 MCP 接工具時,工具說明也會進到上下文裡,裝了十幾個 MCP 服務,光是說明就可能占掉一大塊。接服務之前該檢查哪些事,我在 MCP 是什麼裡有整理。

壓縮與摘要:對話快滿時整理一次

把三年來 40 段歷史對話整理成 150 字的摘要,就是一種壓縮。長任務跑到一半、上下文快滿時,也可以把目前為止的內容整理成摘要,再用摘要接著做。Anthropic 提到,最安全、最輕量的壓縮方式之一,是清掉舊的工具回傳結果:agent 已經用過那筆資料、也做完判斷了,原始的回傳內容就可以拿掉。Claude 的開發平台也把這件事做成了功能(目前還是測試版),可以設定在上下文超過一定長度時,自動清除較舊的工具結果。Claude Developer Platform:Context editing

要注意的是摘要本身的品質。以開頭退貨的例子來說,如果摘要只寫「老客戶,曾退貨兩次」,漏掉了兩次的原因,agent 就少了判斷第三次退貨的關鍵依據。

筆記式記憶:讓 agent 自己記下進度

這個做法是讓 agent 把重要的事寫在上下文之外的地方,例如一個固定的筆記檔,等下一輪或下一次任務開始時先讀它。以退貨任務來說,轉給專人之後,agent 可以在筆記裡記下「等倉庫確認品項、客戶偏好電話聯繫」,隔天接手的人或 agent 一讀就知道進度。

子 agent 分工:各自處理,只回報結論

子 agent 分工是把一個大任務拆給幾個子 agent,每個子 agent 在自己的上下文裡深入處理一塊,最後只把精簡的結論交回主 agent。退貨案其實用不到這個做法,因為要查的只有一張訂單和一段政策。Anthropic 的說法是,子 agent 可能用掉幾萬個 token 去探索,但回報的摘要通常只有 1,000 到 2,000 個 token,所以主 agent 的上下文可以保持乾淨。

代價是總用量(前面提過約是一般聊天的 15 倍),所以我會把子 agent 留給真正需要同時查很多資料的任務,例如同時比對十家供應商的規格與交期;一般的客服或資料整理,用一個 agent,資料等需要時再查進來,通常就夠了。

上下文也會出錯:四種常見狀況

上面五個做法是事先預防;上線之後 agent 還是答錯時,可以用下面四種狀況對照,先判斷是哪一種出錯,再回頭調整對應的做法。LangChain 的文章引用了另一位作者 Drew Breunig 的整理,把上下文出錯分成這四種,我用同一個退貨情境逐一對照:

狀況意思客服情境裡的樣子對應做法
上下文中毒錯誤的內容進了上下文,之後一直被沿用agent 上次在筆記裡寫錯「已同意這位客戶延長退貨期為 30 天」,之後每次都照這條處理記憶與筆記要能查、能改;關鍵欄位從系統查,不從前一步的推論來
上下文分心歷史紀錄太長,模型照著過去的做法走,不重新判斷40 段對話裡,兩年前曾破例替這位客戶延長退貨期,模型照那次的做法處理歷史紀錄改成摘要
上下文混淆放了這一步用不到的東西,模型拿來亂用25 個工具都開著,模型在該轉專人時直接建了正式退貨單每一步只開放需要的工具
上下文衝突上下文裡的資訊互相矛盾新舊兩版退貨政策同時存在只放現行版本,文件標明版本日期

第一種要特別小心。錯的內容可能來自模型自己編出來的推論,也可能來自有人刻意藏進去的指令。前者的成因和處理方式,我寫在 AI 幻覺是什麼;後者屬於 prompt injection,要從權限和系統設計去防。寫進記憶或筆記的東西,影響會延續到之後的每一步,所以什麼可以寫、誰能改,要在設計時就先想好。

導入 agent 時,先檢查這五件事

上線前先確認下面五件事,就可以先避開不少上下文造成的錯誤:

  1. 每一步的上下文都留紀錄。答錯的時候,你要能回頭看到那一步模型實際收到了什麼:放了哪幾段文件、哪些工具、多少歷史對話。如果沒有這份紀錄,你就只能猜問題是出在提示詞還是資料;有的話,開頭那天就看得到模型引用的是手冊裡 14 天那一段。

  2. 替 agent 讀得到的每份文件寫清楚三件事:什麼情況下才讀、讀它是為了什麼、和其他文件衝突時以誰為準。上下文裡同時存在新舊兩套規則,本身就是一種錯誤來源,所以 14 天的舊版要移到封存區。放到退貨 agent 上,大概會是這樣:

    • 退貨政策:客戶提出退貨時才讀;以標註日期最新的一版為準。
    • 產品保固條款:只讀這張訂單上的品項。
    • 客戶摘要:每次處理這位客戶時讀;和訂單系統衝突時,以訂單系統為準。
  3. 測一個「很長」的案例。在測試集(上線前拿來試跑的一組真實案例)裡放一位往來紀錄很多、訂單也很多的客戶,確認上下文變長之後,答案仍然正確,成本也還在預期內。

  4. 估算每一步的 token 用量。記錄一次完整任務用了多少 token,再乘上每天的量,看看成本是否合理;而用量明顯偏高的步驟,通常就是上下文放太多的地方。

  5. 會改資料的工具只開草稿權限。建單、退款、寄信這類動作,agent 只能先做出草稿,等專人確認後才真的執行;開頭那天如果這樣設,倉庫就不會隔天派車。

這五件事做完,同一筆退貨申請再進來時,agent 拿到的是 7 天的現行政策和 10 天前的收貨日期,比對之後轉給專人。倉庫不必白跑,財務不用先準備退款,負責退貨的專人收到的是一張等他確認的草稿,業務也不必打電話道歉;就算之後又答錯,你也能從那一步的紀錄看出模型讀了哪一段。測試集要怎麼建、成功率要到多少才上線,可以看 AI agent 專案怎麼驗收。

以退貨流程為例,我們的企業 AI 營運方案在需求診斷時,會先和負責退貨的同事列出判斷要看的欄位和現行政策,再決定 agent 每一步要拿到哪些資料,並把建單、退款這類動作設成先暫停,交給專人確認後再執行。

常見問題

模型能讀的上下文越來越長,還需要 context engineering 嗎?

需要。上下文上限變大,代表放得下,但模型不一定每一段都讀得準。上下文越長,找回關鍵資訊的準確度通常會下降,每一步的費用也會跟著增加;所以上限變大之後,還是要挑。

Context engineering 一定要工程師才能做嗎?

系統怎麼組上下文,通常要由工程師實作;但決定要放什麼,最需要的是熟悉流程的人。哪份文件是現行版本、判斷退貨要看哪幾個欄位、哪些歷史紀錄有用,這些由業務單位先列出來,工程師再照著設計,效果會比工程師自己猜好很多。

開了記憶功能,錯的東西會不會一直被記著?

會。記憶和筆記裡的內容會被之後的每一步沿用,所以寫錯了,後面的步驟就可能一直沿用。設計時要讓記憶可以查看和修改,關鍵資料(例如客戶等級、合約條件)每次都從系統查,不從記憶讀;也要定期檢查記憶裡有沒有過期或來路不明的內容。

對話太長時,直接開一個新對話可以嗎?

可以,帶著摘要開新對話,就是最簡單的壓縮。重點是開新對話之前,要把需要延續的東西帶過去:目前的進度、已經確認的事實,以及還沒解決的問題。如果直接開新對話、什麼都不帶,agent 就得從頭再查一次。

參考來源

以下依各家官方文件與論文整理,Claude 開發平台的功能以官方頁面當下為準。

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

服務入口

了解企業 AI 營運導入

名詞弄清楚之後,看 AI agent 怎麼接進既有系統,以及哪些動作要人工確認。

查看相關頁面

常見問題

AI 的 token 是什麼?

用量和費用怎麼算,先看一題直接回答。

查看 FAQ 解答

企業 AI 落地實踐

把文章裡的判斷帶回你的流程

從一個實際工作流開始,與 EthorX 共同釐清 AI agents 的導入起點。