AI agent 來網站辦事會卡在哪?詢價、預約與表單準備清單
AI agent 開始替使用者查規格、填詢價表、訂位。這篇用三家加工廠的官網當例子,整理 agent 怎麼看網頁、最常卡住的五個地方、怎麼辨識 agent 流量,以及哪些步驟該交回人確認。
robots.txt、AI 爬蟲、JavaScript 渲染、sitemap、canonical、schema 與 llms.txt 怎麼設定,以及怎麼確認有沒有做對。
11 篇文章
AI agent 開始替使用者查規格、填詢價表、訂位。這篇用三家加工廠的官網當例子,整理 agent 怎麼看網頁、最常卡住的五個地方、怎麼辨識 agent 流量,以及哪些步驟該交回人確認。
瀏覽器打開是 200,AI 爬蟲卻可能拿到 403 或一頁「載入中」。這篇用一個方案比較頁當例子,帶你從 robots.txt、HTTP、防火牆一路查到 HTML 和索引。
Article schema 替文章補上標題、圖片、日期和作者這幾個機器讀得懂的線索。這篇用一篇改版後 schema 沒跟著改的補助教學當例子,整理 Google 的要求、每個欄位怎麼填、JSON-LD 範例與部署前後的檢查。
canonical 是告訴搜尋引擎哪個網址為準的提示,管不到 AI 引用哪個網址。這篇教你把網站宣告的、Google 選的、AI 實際引用的三個網址分開記下來,並核對四種設定。
Google 的 FAQ 複合式搜尋結果已在 2026 年 5 月停止顯示。這篇用一頁會計師事務所服務頁的 FAQ 當例子,講頁面上的 FAQ 和 FAQ schema 現在各還有什麼用、schema 要不要留。
瀏覽器看得到的內容,爬蟲不一定拿得到。這篇用一個 React 產品頁當例子,教你用檢視原始碼、curl 和 Search Console 網址檢查,分開確認初始 HTML、渲染後內容和 AI 回答。
llms.txt 是給語言模型的內容導覽牌,管不了門禁。這篇講它跟 robots.txt、sitemap 的分工、什麼情況值得維護,以及 Google 目前怎麼看它。
想讓頁面留在 Google 搜尋,但內文不被截成摘要或拿去產生 AI 回答,就用 nosnippet。這篇用一頁保險費率說明,分清它和 noindex、robots.txt 各管什麼。
OAI-SearchBot 管 ChatGPT 搜尋,GPTBot 管模型訓練,ChatGPT-User 是使用者要求才來讀。這篇用一家事務所的官網,示範 robots.txt 怎麼分開設定。
想擋 AI 拿內容去訓練,卻順手關掉了 AI 搜尋?這篇把六家的 AI 爬蟲照用途整理成對照表,附一份 robots.txt 範例和改完後的檢查順序。
sitemap 能讓搜尋引擎知道網站有哪些網址,但抓不抓、收不收錄、AI 引不引用要另外查。這篇用 ethorx.com 自己的 sitemap 和兩頁一直沒被抓的頁面當例子,講 lastmod 怎麼填和六個檢查點。