AI 搜尋與爬蟲
OAI-SearchBot 和 GPTBot 有什麼不同?
先看解答
兩者用途不同。OAI-SearchBot 是 ChatGPT 搜尋功能用的爬蟲,決定你的網站能不能出現在 ChatGPT 的搜尋回答裡;GPTBot 則是抓取可能拿去訓練 OpenAI 生成式 AI 基礎模型的內容。所以你可以在 robots.txt 分別允許或拒絕這兩個 user-agent,例如允許 OAI-SearchBot、拒絕 GPTBot。
為什麼要分開看
如果你的目標是讓網站有機會出現在 ChatGPT 的搜尋回答裡,要看的是 OAI-SearchBot;而如果你不希望內容被拿去訓練基礎模型,要調整的是 GPTBot。
這兩個設定彼此獨立。你封鎖 GPTBot,只是表示內容不要拿去訓練模型,只要 OAI-SearchBot 還是允許的,ChatGPT 搜尋照樣可以抓你的網站。
反過來,如果你封鎖 OAI-SearchBot,網站就不會出現在 ChatGPT 的搜尋回答裡,頂多以單純的網址連結出現。而 robots.txt 改完之後,OpenAI 的爬蟲說明寫的是 ChatGPT 搜尋大約要 24 小時才會跟著調整。
如果要從網站端開始檢查,可接著看 AI 搜尋頁面怎麼算可抓取?。