如何檢查網站的 AI 爬蟲來訪狀況？
最直接的方法是查伺服器的 access log，比對 user-agent 中的爬蟲名稱。但只看 user-agent 會被冒名的請求誤導——實測顯示相當比例自稱 GPTBot、PerplexityBot 的流量無法通過反向 DNS 驗證。因此可靠的做法需要兩層：先辨識自稱身分，再驗證它是否屬實。
三種做法
一、直接查 access log（成本最低）
nginx、Apache 的 access log 已經記錄了每一次請求的 user-agent。用 grep 過濾爬蟲名稱即可得到粗略的到訪次數。
- 優點：不需要任何額外建置，資料本來就在。
- 限制：只看得到自稱身分，無法辨別冒名；log 通常會輪替，看不到長期趨勢；若網站在 CDN 之後，log 裡的來源 IP 是 CDN 邊緣節點而非真實爬蟲 IP。
二、在 CDN 邊緣收集
若網站走 Cloudflare 這類 CDN，可以在邊緣層收集請求資訊。好處是拿得到真實的 client IP，而那是驗證身分的必要條件。
三、用工具持續監控
ShellFans 的 AEO Managed Hosting 屬於這一類：在邊緣收集請求，記錄自稱身分與驗證結果，並保留逐日趨勢。適合需要長期觀察、而不只是查一次的情況。
為什麼必須驗證身分
自稱不等於身分。任何人都可以把 user-agent 設成 GPTBot。實務上確實有相當比例自稱知名 AI 爬蟲的流量無法通過驗證——把這些算成「AI 有來抓」，會讓你以為能見度不錯，而實際上真正的爬蟲根本沒來。
兩種驗證方式
- 反向 DNS（rDNS）：把來源 IP 反查主機名，確認它屬於該業者的網域（例如 OpenAI 的爬蟲應解析到 openai 的網域），再正查回去確認一致。這是最通用的做法。
- 官方 IP 清單比對：部分業者公布爬蟲的 IP 範圍，直接比對即可。準確但需要定期更新清單。
兩者都做不到時，該筆請求只能標記為「未驗證」，不該當成已確認的到訪。
該看哪些指標
「來訪次數」單看沒有意義——爬蟲流量會因為新內容上線後的密集抓取、以及抓完之後回到正常頻率而劇烈起伏。次數下降不等於能見度變差。
| 指標 | 為什麼重要 |
|---|---|
| 不重複 URL 數 | 爬蟲是抓遍全站，還是只重複抓首頁 |
| 成功抓取率 | 來了有沒有真的拿到內容，還是被擋掉或撞到 404 |
| 429 次數 | 被速率限制或 WAF 擋下 —— 這是你這端的問題，最該優先處理 |
| 5xx 次數 | 伺服器錯誤，爬蟲拿到的是錯誤頁 |
| 有幾家 AI 爬蟲來過 | 涵蓋面比單一家的次數更能代表整體能見度 |
各面向的完整定義見 AI Readiness Score 方法論。
常見的判讀錯誤
- 拿今天的半天跟完整日比。今天還沒過完，數字必然偏低，看起來像暴跌。任何比較都應該只用已結束的完整日。
- 把冒名流量算進來。見上一節。
- 只看總量不看成功率。爬蟲來了一萬次但全部 404，等於沒來。
- 用單日判斷趨勢。爬蟲流量的日間波動極大，至少要看 7 日移動平均。
- 擋掉 Googlebot。Google AI Overviews 走的也是 Googlebot，擋掉會同時失去一般搜尋與 AI 摘要。詳見 AI 爬蟲總覽。
常見問題
看不到任何 AI 爬蟲來訪，是被擋住了嗎？
先確認三件事：robots.txt 是否誤擋（特定 user-agent 群組不會繼承 User-agent: * 的規則）、CDN 或 WAF 是否在 robots.txt 之外另行攔截、以及網站是否夠新或內容太少而尚未被發現。前兩者可以用該 user-agent 實際送出請求測試，看回應是 200 還是 403。
access log 裡的 IP 是 CDN 的，還能驗證嗎？
不能。反向 DNS 驗證需要真實的 client IP，而 CDN 之後的 log 記錄的是邊緣節點位址。要驗證身分必須在 CDN 邊緣層收集，或使用 CDN 提供的真實 IP 標頭。
爬蟲來訪次數下降代表 AEO 變差嗎？
不一定，多數情況下不是。新內容上線後會有一波密集抓取，抓完之後回到正常頻率，次數自然下降——那是正常化不是衰退。判斷應該看成功抓取率、不重複 URL 數與涵蓋的爬蟲家數，並以 7 日移動平均觀察，而非單日次數。
多久檢查一次比較合理？
若只是確認設定有沒有生效，改動後查一次即可。若要觀察趨勢，需要持續收集——爬蟲行為的變化以週為單位才看得出來，臨時查一次的資料無法區分趨勢與雜訊。
說明：本頁內容為 ShellFans 依公開技術文件與實務經驗整理，用於協助網站主理解 AI 搜尋的運作方式。各 AI 平台的實際演算法、資料來源策略與引用邏輯由該平台自行決定且可能隨時調整；任何技術整備都無法保證特定 AI 平台的引用、推薦或排名。
相關頁面：AI 爬蟲總覽 · GPTBot 與 OAI-SearchBot · AEO Managed Hosting · 免費檢測工具