AI 搜尋與爬蟲
noindex 可以阻止頁面出現在 AI 搜尋引用裡嗎?
先看解答
要看是哪一家 AI。Google 的 AI 摘要和 AI 模式只會引用已收錄、能顯示摘要的頁面,所以頁面加了 noindex、從 Google 搜尋拿掉之後,也就不會被這兩個功能當成引用連結。ChatGPT 搜尋則看 OpenAI 的 OAI-SearchBot:要讓頁面不出現在 ChatGPT 的搜尋回答裡,要在 robots.txt 擋掉它,OpenAI 的爬蟲說明並沒有提到 noindex。
Google 和 ChatGPT 各看什麼設定
你的網站上還留著一頁舊的價目表,上面的價格早就不適用了,你不希望客戶在 AI 回答裡看到它被引用。
在 Google 這邊,AI 摘要和 AI 模式引用的網頁,必須先被 Google 收錄,而且能在搜尋結果顯示摘要。所以你在這一頁加上 noindex,等 Google 重新抓取、把它從搜尋結果拿掉之後,它就不會再出現在 AI 摘要的引用連結裡。要注意的是,robots.txt 不能同時擋住這一頁,因為 Google 要抓得到頁面,才看得到 noindex。
如果你想讓頁面留在搜尋結果裡,只是不讓 AI 摘要拿去用,可以改用 nosnippet。Google 的規格寫明,加了 nosnippet 的內容,不會被 AI 摘要和 AI 模式直接拿來產生回答;代價是一般搜尋結果也不會顯示這一頁的文字摘要,所以只適合你不在乎搜尋結果摘要的頁面。
在 ChatGPT 這邊,OpenAI 的做法是看 robots.txt 有沒有擋掉 OAI-SearchBot。擋掉之後,這個網站不會出現在 ChatGPT 的搜尋回答裡,不過還是可能以單純連結的形式出現,而且設定大約要 24 小時才會生效。另外,使用者在 ChatGPT 裡貼上網址、要它直接去讀的時候,讀頁面的是 ChatGPT-User,OpenAI 寫明這種情況 robots.txt 不一定適用。
還有一種情況是別的網站轉貼了你的舊價目表,AI 引用的會是那個網站,這種情況 noindex 和 robots.txt 都管不到。
設定完要實際確認
先決定你要擋的是哪一家,再照那一家的說明去設定。設定完之後,我會用同樣的問題實際問一次 Google 和 ChatGPT,看那一頁還會不會被引用;Google 這邊也可以用 Search Console 的網址檢查,確認 Google 讀到的是 noindex。頁面在什麼條件下抓得到、抓不到,可以對照 AI 爬蟲檢查表一項一項看。