網站實作

要讓 AI 搜尋讀到網頁,最基本要檢查什麼?

先看解答

先確認目標爬蟲真的抓得到頁面。基本要檢查六件事:頁面回 200、沒有誤設 noindex、robots.txt 沒擋掉要的爬蟲、canonical 指向正確的版本、主要正文直接寫在 HTML 裡,以及頁面能從站內連結找到。CDN 或網站防火牆回的 403、429 也要另外檢查,因為它們會在 robots.txt 之外把爬蟲擋掉。

robots.txt 允許了,為什麼還是抓不到

robots.txt 只是告訴爬蟲可以來,而爬蟲真正連到你的網站時,中間還會經過其他關卡。最常碰到的是 CDN 和網站防火牆:CDN 是替網站在各地快取頁面的服務(例如 Cloudflare),防火牆則會擋掉它判斷為可疑的流量。它們如果把 AI 爬蟲當成惡意機器人,就會回 403(拒絕存取);同一段時間內請求太多,也可能回 429(請求太頻繁)。結果就是 robots.txt 明明寫了 Allow,爬蟲還是拿不到正文。

如果想知道 robots.txt 本身能管到哪裡,可以看 robots.txt 可以控制 AI 搜尋爬蟲嗎?。

所以檢查時,我會直接打開目標網址,看它回的狀態碼,以及 HTML 裡有沒有正文,因為光讀設定檔看不出這些問題。核心內容如果要點按、捲動或登入後才會載入,爬蟲讀到的通常也會比人看到的少。

參考來源

  1. Google Search Central:AI features and your website(另開分頁)
  2. OpenAI Developers:Overview of OpenAI Crawlers(另開分頁)
回到網站實作