你負責台中一家鋁件加工廠的官網。上個月有位老客戶的採購在電話裡順口提到,他現在找打樣廠,都是先對 ChatGPT 說:「幫我找三家台中能做鋁件小量打樣的廠商,比較交期,再把我們的需求填進他們的詢價表。」接著 ChatGPT 就會開一個瀏覽器,依序打開這三家的官網,而你們就是其中一家。他後來把 ChatGPT 給他的比較結果拿給你看,問你們家是怎麼回事。
那一次的結果是這樣的。A 家把交期寫在服務頁上,詢價表的欄位也很清楚,所以 agent 填完之後先停下來,請採購確認內容再送出。B 家的規格只放在一份掃描的 PDF 型錄裡,agent 讀不出交期,只好在比較表上寫「未提供」。而你們家,也就是 C 家,詢價表的「材質」欄是自己刻的下拉選單,agent 看得到畫面上有一個選單,卻找不到可以選的選項,最後回報這一家無法完成;而你們的交期也跟 B 家一樣只寫在型錄裡,比較表上同樣是「未提供」。
採購交辦的是同一個任務,三家官網卻各卡在不同的地方:A 家走得完,B 家的交期讀不到,C 家的表單填不完。
所以採購最後只收到 A 家一張成功送出的詢價單。B 家和你們在比報價之前就被刷掉了,原因都出在網站上:一家的交期 agent 讀不到,一家的表單 agent 填不完。
這篇講的就是 agent 在網站上「辦事」的這一段:它怎麼看網頁、最常卡在哪裡、哪些步驟該交回給人,以及怎麼辨識它。我會一直拿這三家當例子,最後回到你們家,看那張詢價表要改哪幾個地方。至於要不要讓搜尋爬蟲來抓、robots.txt 怎麼寫,可以看 robots.txt 管理 AI 爬蟲。
AI agent 和搜尋爬蟲差在哪
同樣是「AI 來你的網站」,背後其實是三種不同的訪客:
- 搜尋爬蟲:平台自動排程來抓頁面、建立索引,例如 Googlebot、OAI-SearchBot。
- 使用者觸發的抓取:有人在對話裡貼了網址,請 AI 去讀那一頁,例如 ChatGPT-User。
- 替使用者操作的 agent:它會替使用者點按鈕、填欄位、換頁,例如 ChatGPT 的雲端瀏覽器、Google-Agent、Edge 的 Copilot。
拿你們的官網來說,同一天裡可能 Googlebot 來抓服務頁,有人在 ChatGPT 貼了你們的網址問交期,另一位採購則請 agent 直接幫他填詢價表。這三次來訪,網站要處理的事情完全不一樣:
| 訪客 | 誰啟動 | 做什麼 | robots.txt | 網站要關心的事 |
|---|---|---|---|---|
| 搜尋爬蟲 | 平台自動排程 | 抓取頁面、建立索引 | 通常會遵守 | 能不能被找到 |
| 使用者觸發的抓取 | 使用者在對話中要求 | 讀取指定頁面 | 可能不適用 | 單頁內容讀不讀得到 |
| 替使用者操作的 agent | 使用者交辦任務 | 瀏覽、點擊、填表、預約 | 一般會略過 | 流程能不能走完、哪裡要停 |
這代表 robots.txt 主要只管得到第一種訪客。後兩種是使用者自己要求的,各家的說法也一致:OpenAI 說使用者觸發的 ChatGPT-User 請求,robots.txt 的規則可能不適用(OpenAI 爬蟲說明)。
Google 則把替使用者瀏覽網頁、執行動作的 Google-Agent,列在使用者觸發的抓取工具裡,並說這類工具一般會略過 robots.txt(Google 使用者觸發的抓取工具)。擋爬蟲的設定,不一定管得到替使用者辦事的 agent,所以如果你想限制 agent,要在別的地方處理,後面會講。
agent 怎麼「看」你的網站
agent 讀網站的方式大致有三種:看畫面截圖、讀原始 HTML,以及讀無障礙樹(accessibility tree)。無障礙樹是瀏覽器替螢幕閱讀器整理出來的一份結構,它會把頁面上能互動的元素,整理成「這是什麼、叫什麼名字、現在是什麼狀態」。網頁工程師在元素上加的 ARIA 屬性(一組說明元素用途的標記),補的就是這一層。現在的 agent 多半會把這三種資料交叉比對,所以三邊給的訊號最好一致(web.dev:Build agent-friendly websites)。
各家 agent 開瀏覽器的地方也不太一樣。ChatGPT 的雲端瀏覽器,是在雲端的另一台電腦上開一個瀏覽器,替使用者讀網頁、點按鈕、填表單(OpenAI 說明);Edge 的 Copilot 是直接在使用者自己的瀏覽器裡操作(Microsoft 說明);Chrome 的 Gemini 自動瀏覽目前只在電腦版提供,用的是使用者自己的 Chrome(Chrome 說明)。當 agent 在使用者自己的瀏覽器裡操作時,你的伺服器看到的就是一般瀏覽器的請求,沒有任何特別的標記。
所以你的頁面要讓截圖、HTML 和無障礙標記讀到同一份資訊。B 家的交期只在掃描型錄裡,截圖上也許看得到幾個模糊的字,HTML 和無障礙樹裡卻沒有交期的文字,agent 就沒辦法把交期寫進比較表。圖片裡的文字、只能用滑鼠拖曳的元件、沒有名字的按鈕,螢幕閱讀器讀不好,agent 也一樣讀不好。這些都是無障礙設計本來就要求的項目,做好了,對看不到螢幕的使用者也有幫助。
它會在哪裡停下來
各家都設了停下來交給使用者的點,只是位置不太一樣:
- ChatGPT 的雲端瀏覽器:在確認訂位、付款這類難以撤回、或會產生金錢與法律承諾的動作之前,先在對話裡請使用者確認;碰到需要登入的網站,會暫停,請使用者在安全的登入表單裡自己輸入帳密。
- Chrome 的 Gemini 自動瀏覽:送出網頁表單、寄送訊息之前,會先請使用者檢查確認;最後的付款步驟可能交給使用者自己完成。
- Edge 的 Copilot:在購買、訂位、寄信這類動作之前會先停下來,請使用者注意;在銀行、電子郵件這類風險較高的網站,也會請使用者在旁邊看著或直接接手。
A 家的 agent 會在送出前停下來請採購確認,就是這個機制,而且這個確認是在 ChatGPT 的對話裡進行的,網站不需要另外做一頁。換成網站的角度來看,登入和付款要由本人接手,送出後的確認頁則是採購回頭核對的地方,所以這些頁面要讓人一眼就看懂,網站收到了什麼。
最常卡住的五個地方
B 家和你們家卡住的地方,只是最常見的其中兩種。下面這五個地方,你都可以在自己的網站上檢查,不需要任何 agent 帳號。
1. 關鍵資訊只在圖片或 PDF 裡
B 家把交期、材質和最小訂購量都寫在掃描版的型錄裡,人看得懂,agent 從截圖也許勉強能辨識幾個字,可是 HTML 和無障礙樹裡什麼都沒有,結果 agent 只能寫「未提供」。改法是把會影響選擇的規格寫成頁面上的文字,例如「6061 鋁、打樣 5 件起、交期 7 個工作天」,型錄留著當下載附件就好。
2. 表單欄位沒有標籤,或用自製元件
你們家的材質選單是用 <div> 拼出來的,也沒有對應的標籤,所以 agent 雖然看得到畫面上的選單,卻讀不出它是哪一個欄位、有哪些選項。改法要交給做網站的工程師,但你可以先知道要求什麼:每個欄位都要有看得見、程式也讀得出來的名稱,按鈕和連結用瀏覽器內建的元件,而不是改造過的區塊。寫給工程師看,就是欄位名稱用 <label> 接到輸入框上,按鈕和連結用 <button>、<a>(web.dev 的建議)。材質這種固定選項,我會建議直接用瀏覽器原生的下拉選單 <select>。表單用標準元件、欄位有標籤,是讓 agent 填得完的最低門檻。
3. 驗證碼與機器人防護擋掉整段流程
每個網站都可以自己決定要不要讓 ChatGPT 雲端瀏覽器這類自動化的流量進來(OpenAI 說明),所以驗證碼或太嚴的防火牆規則,會讓 agent 在第一頁就停住。付款頁本來就該擋;可是如果連「查規格」的頁面都擋掉,採購的 agent 就只能在比較表上把你寫成「無法存取」,下場跟 B 家的「未提供」一樣。
4. 價格、規格要登入才看得到
agent 碰到登入就會停下來,請使用者接手。如果採購只是想先比三家打樣的價格區間,A 家公開寫著、你們卻要先註冊會員,他很可能直接跳過你們,改看下一家。會員限定的內容可以保留,但公開的資訊就不要鎖在登入後面。
5. 送出之後沒有明確結果
表單送出後,頁面沒有任何變化,也沒有確認頁或確認信,agent 就沒辦法判斷到底成功了沒有,只能回報「狀態不明」。比較好的做法,是送出後顯示一頁摘要,寫清楚收到了什麼、案件編號和多久會回覆,再寄一封確認信給填寫人,這樣採購和 agent 都看得懂。
| 卡關的地方 | agent 遇到的情況 | 改法 | 怎麼檢查 |
|---|---|---|---|
| 資訊在圖片或 PDF | 讀不到規格,比較表寫「未提供」 | 關鍵規格寫成頁面文字 | 用「檢視原始碼」搜尋規格字串 |
| 欄位沒標籤 | 不知道欄位用途,填錯或跳過 | <label for>、標準表單元件 | 用螢幕閱讀器把表單逐欄讀一次 |
| 驗證碼全站擋 | 第一頁就停住 | 只在送出、付款等高風險步驟驗證 | 逐頁列出哪一步有驗證 |
| 資訊鎖在登入後 | 暫停請使用者登入 | 公開資訊不需登入 | 用無痕視窗走一遍 |
| 送出後沒有結果 | 回報狀態不明 | 確認頁摘要加確認信 | 送一次測試單,確認頁與信件內容 |
哪些步驟讓 agent 做完,哪些交回人
回到開頭那位採購的詢價任務,它可以拆成五步來看:
| 步驟 | 建議 | 理由 |
|---|---|---|
| 查規格、交期、價格區間 | 讓 agent 自己完成 | 公開資訊,讀不到就被排除 |
| 下載型錄、比較方案 | 讓 agent 完成,並提供 HTML 版 | 附件讀不到時還有頁面可讀 |
| 填寫詢價或預約表 | agent 可以填,送出前由使用者確認 | 各家 agent 本身也會在送出前詢問 |
| 付款、簽約 | 交回使用者 | 有金錢與法律後果 |
| 修改帳號、密碼、收件資料 | 交回使用者 | 身分與安全相關 |
送出後的確認頁要寫給人看。把網站收到的內容列成摘要,例如「材質:6061 鋁、數量:5 件、希望交期:11 月 20 日前」,再附上案件編號,採購從 agent 的回報點進來,一看就知道有沒有填錯;而這一頁做得好,對自己上網填表的客戶也一樣有用。
怎麼辨識 agent 流量
表單和交還給人的步驟處理好之後,還有一件事要決定:網站要不要分辨哪些請求是 agent,好讓它讀得到公開資訊,又擋得住大量重複送出的詢價單。每個請求都會報上一個身分字串(User-Agent),可是 Google 也提醒這個字串可以偽造(Google 說明);在使用者自己瀏覽器裡操作的 agent,送出的請求更是跟一般訪客一樣。
能確認身分的是簽章。Web Bot Auth 是一種讓機器人在每個請求上附加數位簽章的做法,網站拿對方公布的驗證金鑰去比對,就能確認請求真的來自那家公司。ChatGPT 的雲端瀏覽器已經用這個方式簽署對外的請求,請求裡會註明簽章來自 chatgpt.com;如果你們的網站有用 Cloudflare 這類防火牆服務,它也把這類流量標成 chatgpt-agent,可以直接拿來設放行規則(OpenAI 放行說明)。
Google 則正在試用 Web Bot Auth 替 Google-Agent 標示身分。Web Bot Auth 本身還是網路標準組織 IETF 的草案,不過它用的簽章格式 HTTP Message Signatures(RFC 9421)已經是正式標準(IETF 草案)。
拿你們家的網站來說,我會依流程的風險分級處理:
- 服務頁、規格頁、價格區間:放行,讓 agent 讀得到。
- 詢價表送出:允許填寫,但限制同一來源短時間內的送出次數,並檢查重複單,確認信寄給填寫人。
- 客戶專區、帳號設定:維持人工驗證,這些本來就該由本人完成。
- 存取紀錄:網站主機或防火牆的紀錄裡,保留簽章驗證的結果,之後調整規則才有依據。
搜尋和訓練用的爬蟲則還是由 robots.txt 管,要怎麼設定可以看 OAI-SearchBot 與 GPTBot 設定。
新標準還在早期,先把表單和頁面文字做好
講到這裡,你可能也聽過幾個專門給 agent 用的新東西。它們目前的狀態大致如下:
- WebMCP:Chrome 提出的網頁標準提案,讓網站把表單和功能宣告成 agent 可以直接呼叫的工具,其中一種做法,就是在既有的 HTML 表單上加註記。Chrome 從 149 版開始用 origin trial 開放測試,也就是網站要先申請,才能在正式版 Chrome 上試用這個還沒定案的功能;規格本身也還在討論、隨時可能改(Chrome 說明)。
- agent 代為結帳:Google 用 UCP(Universal Commerce Protocol,通用商務協定)讓 agent 代為結帳,目前只開放美國、加拿大、澳洲的部分商家(Merchant Center 說明)。
- AI Mode 代訂餐廳:Google 已經陸續開到英國、加拿大等市場,做法是先幫使用者找出有空位的餐廳,再連到訂位平台完成最後一步(Google 加拿大公告)。
開放範圍也還很窄。ChatGPT 的雲端瀏覽器只開放給付費方案(不含 Free 和 Go);Chrome 的自動瀏覽目前只在美國、逐步開放給 Google AI Pro 和 Ultra 的訂戶,Edge 的 Copilot 瀏覽也正逐步開放給美國的 Microsoft 365 Premium 訂戶。所以對台灣的網站來說,現在最值得做的是標題、按鈕都用正確的 HTML 元素,表單欄位都有名稱,關鍵資訊寫成頁面文字,因為這些對人、對搜尋、對 agent 都有用;至於 WebMCP 這類新標準,等規格穩定、主要瀏覽器都支援之後再來評估就好。
回到你們家的詢價表
卡住 agent 的是材質選單,交期讀不到則是你們和 B 家共同的問題;照前面五個卡關點把自己的網站走一遍,你還會發現送出後頁面沒有任何反應。所以你們家要改的是三件事:
- 材質欄改成原生的
<select>,每個欄位都用<label for>接上名稱。 - 把交期和打樣起訂量寫進服務頁的文字,不要只放在型錄裡。
- 送出後加一頁確認摘要,列出材質、數量和希望交期,並寄一封確認信。
改完之後,請那位採購再交辦一次同樣的任務,看 agent 回給他的比較結果:這次你們家應該會跟 A 家一樣,交期有寫出來,詢價表也填完、在對話裡等採購確認送出。如果還是停在某一步,回頭對照那五個卡關點就知道要查哪裡。
如果你們的官網本來就要改版,詢價動線和表單欄位,就是我們的 AI 網站開發在規劃時會一起確認的項目。
這些改動都建立在頁面讀得到的前提上。初始 HTML 裡有沒有正文,可以看 JavaScript SEO:渲染會不會影響 AI 搜尋;從 robots.txt 到防火牆的整套檢查,則在 AI 爬蟲檢查表。爬蟲讀得到頁面內容就夠了,agent 還要能把表單從頭填到送出,所以你的檢查清單要再多加表單、確認頁和身分驗證這幾項。
常見問題
robots.txt 能擋住 AI agent 嗎?
不一定。OpenAI 說 ChatGPT-User 這類由使用者觸發的請求,robots.txt 規則可能不適用;Google 也把 Google-Agent 歸在使用者觸發的抓取工具裡,這類工具一般會略過 robots.txt。所以要限制 agent,得在網站主機或防火牆這一層用簽章和規則處理,並依流程的風險分級。
AI agent 會自己幫客戶按下送出或付款嗎?
購買、訂位、送出表單這類有後果的動作,多數 agent 會先停下來請使用者確認,只是每家停下來的位置不太一樣。網站這一端能做的,是讓送出後的確認頁清楚列出收到的內容,付款和帳號變更則維持本人驗證。
現在要不要導入 WebMCP?
大多數網站還不用。WebMCP 目前還在 Chrome 的 origin trial 階段,規格也還在討論。你可以先把表單標籤、按鈕元件和確認流程做好,因為 WebMCP 的宣告式做法本來就建立在既有的 HTML 表單上,這些工作之後也用得到。
驗證碼會把 agent 擋在外面,要不要拿掉?
不用全拿掉。查規格、看價格區間的頁面就不要擋;詢價表送出改用頻率限制和重複單檢查,付款、帳號設定再由本人通過驗證。這樣 agent 讀得到資訊、填得完詢價表,關鍵動作也還是由本人完成。
台灣的使用者現在用得到這些 agent 嗎?
ChatGPT 的雲端瀏覽器開放給付費方案;Chrome 的自動瀏覽、Edge 的 Copilot 瀏覽目前都只在美國開放,Google AI Mode 代訂餐廳也還在陸續擴大市場。開放範圍變得很快,而網站這一端的準備工作,並不需要等它們開到台灣才做。
參考來源
- OpenAI:Using cloud browser in ChatGPT
- OpenAI:ChatGPT Work’s Cloud browser allowlisting
- OpenAI Developers:Overview of OpenAI Crawlers
- Google:List of Google user-triggered fetchers
- web.dev:Build agent-friendly websites
- Google Chrome 說明:Gemini in Chrome auto browse
- Microsoft:Browse with Copilot
- Chrome for Developers:WebMCP
- IETF:Web Bot Auth HTTP Message Signatures 草案
- Cloudflare Docs:Web Bot Auth
- Google Merchant Center 說明:Universal Commerce Protocol
- Google:AI Mode 代訂餐廳在英國開放
- Google:AI Mode 代訂餐廳在加拿大開放