改了內容,AI 回答有沒有變?內容改版前後比較怎麼做

改了一段內容,兩週後 AI 回答出現你的網址,這能算改稿的功勞嗎?這篇用一篇 SEO 工具比較文當例子,從固定題目、對照題、分母到怎麼下結論,一步步整理改版前後比較的做法。

先說結論

內容改版前後比較,是用同一組問題、同一套執行條件和判斷標準,在改版前後各問一次 AI,再比較回答。它適合一次只改一個範圍的修改;同一週還改了首頁或 FAQ 的話,差異就分不出是誰造成的。前後有差異可以照實記錄,但要說「改稿讓引用增加」,還需要對照題、事先寫好的分母,以及在固定條件下重測。

淺灰色桌上排著三樣東西:左邊是一份印出來的文章,其中一段被鉛筆塗掉;中間是改寫後的同一份文章,那一段換成一張小表格並用螢光綠框起來;右邊是兩張用長尾夾夾住的回答紙,下面一張畫著三個點的時間軸小卡
改了內容,AI 回答有沒有變?內容改版前後比較怎麼做 封面視覺

你的網站上有一篇「SEO 工具比較」,裡面有一段寫著「傳統 SEO 工具都看不到 AI 回答」。後來你發現 Ahrefs 有 Brand Radar、Semrush 也有 AI Visibility Toolkit,兩家都已經能追蹤品牌在 AI 回答裡被提到的情況,所以你把那一段改成按工具逐一比較。兩週後,你在 ChatGPT 問「我想知道自己的品牌有沒有出現在 ChatGPT 的回答裡,現有的 SEO 工具做得到嗎?」,結果回答的來源裡,第一次出現了你這篇文章的網址。你習慣在改版前一天先存一次回答,這次也把這一題和另外兩題工具比較題存了下來,所以手上有東西可以比。

這是改稿的功勞嗎?內容改完、回答也變了,兩件事之間卻不一定有關係。因為同一週你們還調整了網站導覽和內部連結,題庫(固定追蹤的那一組問題)也剛好新增了一題,而 ChatGPT 這段時間有沒有換了搜尋來源,你從外面也看不到。這些變動只要有一個發生,回答就可能跟著改變,所以這次的變化值得記下來,但功勞還不能直接算到那一段改寫頭上。

Otlex 示範帳戶的回答時間線截圖,依日期排列同一題的 AI 回答 Otlex 示範帳戶的回答時間線:同一題在不同日期的回答排在一起,前後比較才有東西可對。

內容改版前後比較怎麼做:先寫測試問題

測試前要先有一個明確的問題。比較這兩種寫法:

  • 「改完內容後 AI 有沒有變好」:沒有說改了哪裡,也沒有說要看哪些題目、哪個結果,所以測完你也不知道該看什麼結果。
  • 「比較文的 AI 工具段落改寫後,在固定的工具比較題裡,回答有沒有提到我們、有沒有引用這篇的網址?」:改了哪裡、看哪些題目、看什麼結果,都寫在這句話裡了。

第二種寫法還有一個好處,就是它沒有先假設結果會變好。題目一開始就假定了方向,之後每一個判斷都會不自覺往那邊靠。

測試問題可以拆成四件事:

要寫的事要寫清楚什麼比較文的例子
改了什麼哪一頁、哪一段、什麼版本SEO 工具比較文的 AI 工具段落
看哪些題目哪些問題可能受這次修改影響固定的三題工具比較題(題目寫法見下面那張表)
比較什麼回答裡要看的項目品牌提及、有沒有引用這篇、工具功能有沒有說錯
什麼時候測改版前、改版後各在什麼時候測改版前一天存一次,改版後第 7 天、第 14 天各存一次

如果你不確定哪些問題會受影響,可以先照內容主題和讀者想完成的事列出一組問題,再把跟這次修改直接有關的題目標成主要觀察題。而題目不要寫成搜尋關鍵字,要寫成讀者實際會怎麼問 AI,因為讀者問 AI 時通常會把自己的處境一起講出來,回答引用的來源也會跟著不同。比較文的三題工具比較題,可以這樣寫:

關鍵字寫法讀者實際會問 AI 的方式
SEO 工具 AI 回答我想知道自己的品牌有沒有出現在 ChatGPT 的回答裡,現有的 SEO 工具做得到嗎?
Ahrefs Semrush 比較我們是三個人的行銷團隊,預算只夠買一套 SEO 工具,Ahrefs 和 Semrush 哪個比較適合追 AI 搜尋?
AI 能見度 工具有沒有工具可以每天幫我看 AI 怎麼介紹我們公司,還能看到它引用了哪些網頁?

題目要怎麼挑、怎麼分題型,可以看 AI 搜尋題庫設計。

開跑前先決定:怎麼比、怎麼算、什麼時候停

很多團隊先改、先測,看到結果之後才決定要拿哪一天、哪幾題來比;但這樣做的問題是,看到有利的差異之後才決定「資料夠了」,最後比出來的只是你挑的那個時間點。所以下面三件事,都要在改版前就寫好。

有沒有對照組,能回答的問題不一樣

對照組是指同一段時間裡「沒有改的頁面或題目」。有沒有它,決定了你最後能說到哪裡:

比較方式可以回答還不能說
有改的頁面+沒改的對照題同一段時間裡,兩組的結果有沒有往不同方向走外部變因都已經排除
同一題的改版前後比較改版前後出現了哪些差異差異一定是內容造成的
只有改版後的紀錄新版本在指定條件下的狀態改版帶來了提升
改版前沒有留紀錄現在記了哪些資料、缺了哪些改版前是零

大部分內容團隊做得到的,是第二種再加上幾題對照題。以比較文來說,你可以把「GEO 和傳統 SEO 的差別是什麼?」這種跟這次改寫無關、但同樣會被 AI 回答的題目放進來當對照題(下面記成 P-05)。如果對照題的回答也在同一段時間一起變了,那多半是平台或來源在變,就不太能算是你那一段內容的功勞。

對照題也有它的限制。它的題目意圖、會被引用的頁面,本來就和改動的題目不一樣,所以它只能告訴你同一段時間裡 AI 回答有沒有大範圍在變,沒辦法替你排除所有外部因素。另外,題目要在測試前就分好組;看完結果才挑一組當對照,等於自己選了一個對自己有利的基準。

分母要先寫,而且按結果拆開

提及率、引用率這類數字,分子和分母都要先定義好。這裡的「有效回答」,是指那次真的有拿到完整的回答,不包含執行錯誤、空白回答或被截斷的情況。

要看的結果分子分母
品牌提及有提到品牌的有效回答數同一組題目、同一個引擎的有效回答數
引用這篇來源裡出現這篇網址、而且打得開的有效回答數同上
工具功能說對依事先定好的規則判斷為正確的有效回答數同上

有兩個地方要特別注意。第一,回答裡出現網址,和那個網址真的支持回答裡的說法,是兩件事;如果你只要網址出現就算,那個數字就叫「網址出現率」,不要叫它引用率。第二,執行錯誤或沒拿到回答的那幾次,要另外列出來並從分母拿掉,不能把它們算成「沒提到」,不然一個技術故障就會被算成一次行銷失敗。

分母小的時候,數字也要看得保守一點。例如只有 20 次有效回答時,多一次提及就是 5 個百分點,那可能只是某天回答剛好不同。

觀察期間和什麼時候收工

內容改完之後拿到的第一個回答,不能代表長期的結果。所以你可以依內容更新的速度、平台拿不拿得到回答,以及你願意花的成本,先決定觀察期間,例如改版當天存一次、第 7 天和第 14 天各存一次。期間拉得越長,同時發生的其他變化也會越多,這是一個取捨,在報告裡寫清楚就好。

時間軸圖:SEO 工具比較文的改版前後觀測。橫軸依序是改版前一天(存基準)、改版日、第 7 天(重測)、第 14 天(重測)。第一列是這次的主要修改,改版日改寫 AI 工具段落;第二列是同期其他變動,同一週導覽與內部連結調整、題庫新增一題;第三列工具比較題和第四列對照題 P-05,都在改版前一天、第 7 天、第 14 天各存一次。下方註明:回答在改版後出現了比較文的網址,可以記成觀測,但導覽在同一週也改了,要說是改稿的功勞,還要看對照題同期有沒有一起變 把主要修改、同期其他變動和兩組題目的觀測排在同一條時間軸上,就看得出改版後的差異可能來自哪幾件事。

收工條件也要一起寫好:

  • 收滿事先定好的有效回答數,而且每一筆都查得回原始回答、來源網址和版本。比較文這一輪定的是三題乘上第 7、14 天兩輪,共 6 次。
  • 題目、引擎、語言或修改範圍改變了,就停下目前這一輪,另外開新的版本。
  • 執行錯誤或空白回答多到超過事先定的比例,先處理資料問題。
  • 發現同期有大改版,資料照樣保留,但先不做因果判斷。

最後還有一條最容易被忽略:沒有看到差異的時候,停下來的是「下結論」,而不是把結果寫成內容無效。沒有差異和「改壞了」是兩個結論,需要的證據量也不一樣。

改版前:先存一份基準紀錄

保存改版前的回答,而不是只抄摘要

修改前要保存題目文字、題庫版本、引擎或模式、語言、地區、裝置、執行時間、回答原文、回答附的來源,以及你的判斷結果。摘要可以放在報表裡,但原文才是後續核對差異的依據。等到改版後發現「回答變了」的時候,你要比對的是回答裡的句子,而不是自己三週前寫的一行結論。

基準紀錄也要記頁面狀態

除了 AI 的回答,也要保存修改前頁面的網址、HTTP 狀態、title、主標題、相關段落的原文、canonical(告訴搜尋引擎哪個網址才是正式版本的標記)和內容版本。如果這一頁同時還有其他變更,例如內部連結、圖片、結構化資料或轉址,也都記在同一份修改範圍裡。

因為只寫「文章已更新」的話,兩個月後就沒有人知道當初到底改了什麼,那一輪的資料也就沒辦法再拿來比較了。

基準紀錄的品質分開標記

基準紀錄可以分成三種狀態:

狀態條件怎麼用
完整回答、來源、題目和頁面版本都齊可以拿來做前後比較
部分只有部分回答或來源讀得到只能當背景,並註明缺了什麼
無效題目或執行條件缺失先補資料,再決定要不要重跑

「無效」的意思是這一筆不適合拿來當比較基準,跟「內容表現是零」沒有關係。如果基準只有一張截圖,看不到完整的題目或來源,就標成「部分」,也不要在報告裡把沒記到的資料補成看起來很完整的樣子。改版前的基準要怎麼一次建好,可以再看 GEO 基準紀錄。

修改:怎麼記錄內容改動

一筆修改紀錄要寫什麼

回到那篇比較文。這次的修改記下來,大概會長這樣:

要記的事要記什麼比較文的填法
修改編號這次改動的編號比較文-2026-10-01
頁面與段落改了哪一頁、哪一段SEO 工具比較文,比較 AI 回答那一節
改前改之前的原文或版本「傳統 SEO 工具都看不到 AI 回答」
改後改之後的原文或版本逐一比較 Brand Radar、AI Visibility Toolkit 等工具能看到的題目、回答和引用網址
修改原因為什麼改;還沒證實的就寫成假設原本的說法和產品現況不符
要觀察的題目哪幾題可能受影響工具比較題:回答是否還說傳統 SEO 工具沒有 AI 模組、來源有沒有指到這篇
修改時間什麼時候發布發布的日期與時間
同期其他變動同一段時間裡其他頁面或設定的改動同一週調整了導覽和內部連結

修改原因如果是看到 AI 回答漏掉或說錯某件事之後的推測,就直接寫成「假設」。在這裡寫成已經證明的原因,之後整份報告都會沿著它偏掉。

而改前改後的文字對照,只能證明說法改了。AI 有沒有採用新的說法、有沒有引用這篇,要靠前後保存的回答與來源來判斷;至於搜尋點擊和詢價,又是另外兩份資料。

想直接開始的話,可以下載這兩份檔案:五題繁中題組和空白觀測紀錄,都是 CSV 格式。題組裡有工具比較題、品牌描述題,還有一題 GEO 基礎對照題,剛好可以對應這篇的例子;拿到之後先換成你自己的問題,再把版本固定下來。

把主要修改和同期其他變動分開

如果你改了比較文,同一週又改了首頁、FAQ、canonical 或網站的語言版本,改版後的差異就會同時受到好幾個頁面的影響。這時候把最主要的那一項列成主要修改,其餘的列成同期其他變動。常見的同期變動和處理方式如下:

同期變動事前怎麼處理解讀時怎麼寫
其他頁面也在同一段時間更新記進同期其他變動,必要時另開一輪結果不只歸給比較文那一段
題目或題庫改了開新的題庫版本,新舊分開放新舊題目的結果不合併
引擎、模式或語言地區換了分開比較,或重新開始一段觀察期間條件不同造成的差異,不當成內容效果
頁面或來源打不開標成無效或待確認不寫成負面結果
平台的回答格式改了保存原始回答和日期結論只寫那段期間
搜尋平台的規則變動記下變動日期當背景檔案或標記的變更,不直接當成搜尋結果的改變

搜尋平台的規則變動,今年就有兩個例子。Google 的 FAQ 複合式搜尋結果從 2026 年 5 月 7 日起不再顯示;到了 6 月 15 日,Google 又另外說明它的搜尋不會使用 llms.txt,有沒有這個檔案都不會影響曝光或排名。(Google Search 文件更新紀錄)所以如果你這段時間剛好加了 FAQ 標記或 llms.txt,它們都應該記成同期的其他變動,而不能當成這次改版的成果。

同期有變動時報告照樣可以寫,只是解讀要保守。如果每一輪都記了一長串同期其他變動,通常代表測試範圍該再縮小。

內容修改不一定會進到回答裡

Google 在 AI 功能的說明裡寫到,頁面要先被收進索引、而且符合在搜尋結果顯示摘要的條件,才有機會成為 AI 摘要或 AI 模式裡的來源連結;就算這些條件都符合了,Google 也不保證一定會抓取、建立索引或顯示。(Google:AI 功能與你的網站)所以內容改動要記成一個「待觀察的變因」。一開始就寫成「這次會帶來引用」,測試就變成在驗證已經下好的結論。

改版後:怎麼重測

固定可比較的條件

改版後重測時,要沿用同一個題目版本、題庫版本、引擎或模式、語言、地區、裝置、判斷標準和來源保存方式。OpenAI 的說明中心也提醒,ChatGPT 搜尋的結果和引用可能不完整、過時或錯誤,所以前後兩次都要把來源打開核對,而不是只看品牌有沒有出現(OpenAI:Searching the web with ChatGPT)。

題目或引擎換了,前後數字就不能接成一條線

如果改版後你順手把題目改寫得更清楚,或把 ChatGPT 換成另一個引擎,新資料還是有用,只是要另外開一組。因為直接接在舊資料後面畫成一條趨勢線的話,前半段和後半段量的根本是不同的東西,那條線上升或下降,都說不清楚是內容的關係,還是題目換了的關係。題庫改版時要怎麼標記哪些數字還能比,可以看題庫版本管理。

記清楚頁面走到了哪一步

比較文在你電腦上改好、部署上線、公開可讀、被搜尋引擎重新抓取、出現在 AI 回答裡,這是五個不同的時間點。重測紀錄裡寫你實際確認得到的那一個就好,不要從部署時間直接推論搜尋引擎已經讀到新內容。

改版前後比較表

題目編號題型改版前回答改版後回答來源變化完整度變化判斷
P-01工具比較保存回答編號保存回答編號待核對
P-02工具比較保存回答編號保存回答編號待核對
P-05對照保存回答編號保存回答編號背景

正式資料要把回答編號連到回答原文、來源網址、觀測時間和內容版本。還沒比對來源和回答內容的題目,意思是「還沒比對完、還不知道」,而不是「沒有變化」。

解讀:哪些差異可以寫,哪些只能列為假設

先分清楚三種說法

結果出來的時候,可以把要寫進報告的句子分成三種:

說法以比較文為例手上要有什麼才能這樣寫
觀測「改版後兩週,三題工具比較題在 ChatGPT 共有 6 次有效回答,其中 2 次引用了比較文;改版前一天存的 3 次是 0/3」(6 次是三題乘上兩輪重測)題目、引擎、日期、分母和原始回答
關聯「引用出現的時間和比較文改版接近,對照題同期沒有變化」再加上同期其他變動的清單和對照題
因果「改寫那一段讓比較文被引用」再加上更嚴格的設計、穩定的資料,並排除其他原因

一般的日常監測,通常只能寫到第一種說法;資料比較完整、對照題同期沒有其他變動時,可以寫到第二種,並把它當成下一輪要驗證的方向。至於第三種,光靠一張前後截圖根本證明不了。

可以描述看到的差異

同一題、同一條件下,改版前的回答沒有自家來源,改版後出現了比較文的網址,那就可以寫:「改版後,比較文的網址出現在回答的來源裡,網址為 X,還要打開核對它有沒有支持那句話。」品牌提及出現時,也寫明是出現在哪一句和回答的時間。這些描述講的都是發生了什麼,每一句都回得到原始資料。

推論要寫成推論

「內容改寫讓引用增加」是因果推論,需要更多控制和觀測才說得出口。因為就算這次只改了一頁,平台的模型、來源、索引狀態或其他頁面,都可能在同一時間變動。

比較穩妥的寫法是:「比較文改版後的觀察期間,出現了 X 差異;內容改動是可能原因之一,還要在固定條件下重測。」這樣寫,之後接著做的人就知道還要測什麼。

差異要分項看

把回答拆成品牌提及、來源網址、推薦條件和重點有沒有答到,分開來看。例如回答已經改口說 Semrush 有 AI 模組,但來源還是別人的文章,這代表回答的內容變了,來源卻還沒換成你。只算一個總分,就看不出這種差別。提及與引用怎麼定義,可以看 AI 能見度量測方法;回答重點有沒有答到,可以用 AI 回答完整度的表來記狀態與分母。

寫出分母和失敗數

前後兩輪的有效回答數不一樣時,先比較兩輪都有效的題目,再呈現整體比例。執行錯誤、空白回答、被截斷或來源打不開的資料,則另外列出來;讓它們默默混進「沒提到」,是這類測試很常見的失真來源。

Search Console 的數字要分開放

Search Console 也有兩個地方可以看 Google AI 功能的狀況:AI 功能帶來的流量會算在成效報表的「網頁」搜尋類型裡(Google:AI 功能與你的網站),Google 另外也提供生成式 AI 成效報表,可以看內容在 Google 搜尋與探索的生成式 AI 功能裡表現如何(Google 生成式 AI 搜尋指南)。不過這些都是 Google 自家產品的資料,和你逐題保存的跨引擎比較表是兩份不同的資料,可以並列呈現,但不要相加,因為兩邊的計算單位和分母都不一樣。

用同一組題目定期去問各家 AI、把每次的回答和來源保存下來,讓改版前後可以逐題對照,就是我們的 Otlex 在做的事;開場那張回答時間線截圖,就是同一題在不同日期的回答排在一起的樣子。自己做的話,同一題為什麼要分次觀測,可以看為什麼 AI 搜尋成效不能只測一次;改完大概要等多久,看做 GEO 多久會看到變化;要把執行和來源保存做成固定程序,看 ChatGPT 品牌監測;結果要交給內容團隊時,可以照 GEO 報告交接的格式整理。

回到那篇比較文。照這篇的做法走完兩週,你手上會有改版前一天、第 7 天和第 14 天的原始回答,以及對照題同期的紀錄,對照題 P-05 這三次的回答都沒有明顯變化,所以月報上可以寫的是:「改版後兩週,三題工具比較題有 2 次引用了比較文,改版前是 0 次;引用出現的時間和改版接近,對照題同期沒有變化。不過同一週導覽也改了,有效回答也只有 6 次,下一輪只改一個範圍再測一次。」至於同一週新增的那一題,因為改版前沒有它的紀錄,就另外開一組,從這一輪開始累積。

常見問題

修改完內容後馬上重問,就能判斷有沒有效嗎?

馬上重問得到的差異,可以記成一筆紀錄,但離「有效」還很遠。先保存改版前的回答、修改範圍、改版後的回答和條件,再按照事先決定的期間重測。「事先決定」這四個字很重要,因為事後才挑時間點來看,挑到的通常是好看的那一天。

改版前後的題目可以稍微改寫嗎?

如果目標是比較內容版本,題目就要維持相同。題目非改不可時,就開新的題目版本,把兩組結果分開放。把新題目的回答當成舊題目的改版後結果,等於同時換了兩個變因。

可以只比較品牌提及,不看來源網址嗎?

提及可以當成一個獨立的指標,只是它代表不了引用或回答完整度。如果你改內容的目標是讓自家頁面被拿來當來源,就要另外保存來源網址、轉址、canonical,以及那個來源有沒有支持回答裡的說法。

對照題沒有變化,是否就能證明改頁面造成結果?

對照題提供的是同一段時間的背景,它沒辦法當成完整的對照組,因為引擎、索引、來源或其他頁面還是可能變動。所以你可以把它當成輔助證據,但因果推論的限制照樣要保留。

引擎或模式在觀察期間更新了怎麼辦?

先把變動日期和你看得出來的差異記下來,這段期間先不下結論。如果變動大到會改變問題本身,就開新版本或分開報告。不同模式的回答直接合併成一個內容效果的話,那個效果是算出來的,而不是觀測到的。

Search Console 的數字可以和 AI 回答的提及率加在一起嗎?

不建議相加。Search Console 是 Google 自家產品的資料,提及率則是你自己在各個引擎逐題保存的結果,兩邊的來源、計算單位和分母都不同,加起來的數字就沒有分母可以解釋。比較好的做法是並列呈現,再把各自的定義寫清楚。

參考來源

以下依官方文件整理,搜尋功能的顯示規則與報表項目以各平台頁面當下為準。

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

產品入口

查看 Otlex 觀測平台

了解品牌提及、引用來源與內容缺口如何被記錄與比較。

查看相關頁面

常見問題

為什麼 AI 搜尋成效不能只測一次?

單次回答會隨時間、模型與檢索情境變動,先看固定題目重複觀測的理由。

查看 FAQ 解答

GEO 與 AI 搜尋

從你的網站,找出下一步該改什麼

一起釐清 AI 搜尋中的品牌描述、內容缺口與網站結構,再決定觀測和改善的範圍。