AI 搜尋與爬蟲

只靠 JavaScript 載入的內容,AI 搜尋讀得到嗎?

先看解答

要看是哪一家。Google 會先抓取網頁,再把它處理得了的 JavaScript 渲染出來用於索引;而 OpenAI、Anthropic、Perplexity 這些 AI 爬蟲會不會執行 JavaScript,各家的爬蟲說明都沒有寫,所以在你自己測過之前,先當作它們讀不到比較保險。因此重要的內容,要在伺服器回傳的初始 HTML 裡就已經有文字,不要等程式跑完才出現。

瀏覽器看得到,爬蟲不一定看得到

你負責一家補習班的官網,課程價格表是用 JavaScript 從後台資料庫載入的。你用瀏覽器打開,表格完整地出現在畫面上,因為瀏覽器會把程式跑完;但如果某個 AI 爬蟲只下載伺服器回傳的那份 HTML、不執行 JavaScript,它看到的就只是一個空的表格框,裡面沒有任何價格。

Google 的 JavaScript SEO 文件說明,Googlebot 會先抓取網頁,再把它處理得了的 JavaScript 執行完、畫出完整的頁面,最後用渲染後的內容建立索引;而文件也提醒,不是所有爬蟲都能執行 JavaScript,所以伺服器端渲染或預先渲染仍然有幫助。OpenAI 的爬蟲說明則是把每個爬蟲的用途分開寫,並沒有說明它們會不會執行 JavaScript,所以 Google 的做法不能直接套到其他平台上。

怎麼自己檢查

先用 curl 或瀏覽器的「檢視原始碼」看伺服器回傳的初始 HTML,確認課程名稱、價格這些答案需要的文字已經在裡面。接著再看渲染後的畫面有沒有一樣的內容、內部連結和圖片有沒有正常載入,以及頁面有沒有被 robots.txt、noindex 或錯誤的狀態碼擋住。

主要資訊要登入、點按鈕,或要等程式跑完才看得到的話,就把它列成要改的地方:改成伺服器先把文字輸出在 HTML 裡,或至少提供一份不靠 JavaScript 也讀得到的版本。完整的檢查步驟在 JavaScript SEO 怎麼檢查;robots.txt、狀態碼和 HTML 要一起查的話,可以照 AI 爬蟲檢查表一層一層確認。

參考來源

  1. Google Search Central:JavaScript SEO 基本概念(另開分頁)
  2. OpenAI Developers:Overview of OpenAI Crawlers(另開分頁)
回到AI 搜尋與爬蟲