AI 搜尋與爬蟲
robots.txt 可以控制 AI 搜尋爬蟲嗎?
先看解答
可以控制一部分,但要分平台看。OpenAI 把搜尋用的 OAI-SearchBot 和訓練用的 GPTBot 分開,可以在 robots.txt 各自設定;Google 的 AI 摘要和 AI 模式則跟一般搜尋一樣,看的是 Googlebot 的設定。而使用者在 ChatGPT 裡要它打開某個網址時,讀頁面的是 ChatGPT-User,OpenAI 的說明寫到這種情況 robots.txt 不一定適用。
不要只看一條 Disallow
檢查時要先確認你在意的是哪一個產品,以及它用哪一個爬蟲。以 OpenAI 為例,ChatGPT 搜尋用的是 OAI-SearchBot,模型訓練用的是 GPTBot,兩者在 robots.txt 裡要分開設定。所以如果你在 robots.txt 只擋了 GPTBot,影響的是訓練,ChatGPT 搜尋還是讀得到你的頁面。Google 這邊則是 AI 摘要跟一般搜尋一樣看 Googlebot 的設定;另一個 Google-Extended 管的是 Gemini 應用程式等產品能不能拿你的內容去訓練或當回答依據,Google 寫明它不影響網站在 Google 搜尋的收錄和排名。
另外,網站也可能在 robots.txt 之前就把爬蟲擋掉,例如 CDN、網站防火牆,或 Cloudflare 的 Bot Fight Mode(Cloudflare 的免費機器人防護功能,會自動攔下它判斷為機器人的流量)。所以 robots.txt 允許之後,還是要實際確認爬蟲拿得到頁面。
這也是 要讓 AI 搜尋讀到網頁,最基本要檢查什麼? 會把 robots.txt 和實際的伺服器回應分開檢查的原因。