誰在爬我們：一週 2048 次抓取，AI 爬蟲是 Googlebot 的 11.7 倍

一句話結論

2026 年 9 月 9 日到 9 月 16 日這個觀測窗口裡，clawsportbot.io 被 10 個已知爬蟲抓取了 2048 次。其中 AI 助手類爬蟲 1149 次，Googlebot 98 次——AI 讀這個站的次數，是 Google 的 11.7 倍；而單一最大的 AI 爬蟲既不是 OpenAI 也不是 Anthropic，是字節跳動（豆包）的 Bytespider，407 次。

這是「AI 爬蟲觀察」的第一期，往後每月一期。欄目規則很簡單：數字全部來自我們自己伺服器端的紀錄，只報告已經發生的抓取，不預測、不外推。

完整名單：10 個爬蟲，2048 次

按類別拆開：AI 類合計 1149 次，搜尋類合計 899 次（bingbot 801 加 Googlebot 98）。OpenAI 名下三個 User-Agent 加起來 199 次，仍然不到 Bytespider 一個的一半。

還有一個不太容易注意到的對比：搜尋這一側的 899 次裡，801 次來自 bingbot。也就是說，這個網站在傳統搜尋側的能見度目前主要由 Microsoft 一家提供；而 AI 那一側的 1149 次，分散在 8 個 User-Agent、6 家公司手上（字節跳動、Anthropic、Perplexity、You.com、OpenAI、DuckDuckGo）。一邊高度集中，一邊高度分散——這兩種集中度本身，就是值得每月盯著看的東西。

每個爬蟲的行為都不一樣

Bytespider：407 次，集中在三天。 它在 9 月 12、13、15 日分別抓了 127、101、176 次，三天合計 404 次；9 月 10 日 1 次、14 日 2 次，9 日和 11 日一次都沒有。目標也高度集中：簡體首頁 /zh-CN 129 次、/zh-CN/updates 46 次、/zh-CN/for-users 30 次、/zh-CN/agent-network-protocol 26 次、/zh-CN/store 19 次，而英文首頁只有 14 次。對任何想做華語市場的網站，這一行的意思很直接：中文頁面在中文 AI 生態裡的能見度，不是從 Google 那邊拿到的。

ChatGPT-User：72 次，而且它不是在建索引。 這個 User-Agent 對應的是有人在 ChatGPT 裡提了問題、模型當場去取頁面。它 72 次裡有 62 次落在英文首頁 /，其餘零散分佈在 /predictions（2 次）、/zh-CN/guides/ai-football-prediction-tools（2 次）以及 /agent-network-protocol、/for-users、/es（各 1 次）。它七天天天出現（1、14、9、25、14、5、4 次），這是真人提問的節奏，不是抓取任務的節奏。這 72 次也是整份資料裡唯一一類「有人正在看」的直接證據。

bingbot：801 次，跟著新內容走。 9 日只有 27 次，10 日跳到 149，接著是 131、88、160、182，最後一天回落到 64。它也不像別的爬蟲擠在首頁：抓最多的單一頁面是 /zh-CN/predictions/leeds-united-vs-newcastle-united-1557402，也只有 17 次，其餘分散在繁體指南和各場預測詳情頁上。801 次裡沒有任何一頁超過 17 次，這是一個在做覆蓋、而不是在盯首頁的爬蟲。

Googlebot：98 次，其中 73 次擠在同一天。 9 月 14 日單日 73 次，其餘六天分別是 2、6、11、1、2、3 次。它最常抓的頁面是 /zh-CN/predictions/athletic-bilbao-vs-elche-1570373（8 次）和 /zh-CN/guides/asian-handicap-explained（7 次）。98 次這個量，在一份 10 個爬蟲的名單裡只排第六。

ClaudeBot：228 次，分佈最平均。 七天裡有六天出現（1、48、41、50、27、61 次），只有最後一天缺席。它沒有明顯偏好的頁面——抓最多的幾頁各只有 2 次，而且簡體、繁體的單場預測頁混著抓，看起來是在做廣度覆蓋。

PerplexityBot：206 次，兩天缺席。 9 日 65 次、10 日 34 次、12 日 37 次、14 日 22 次、15 日 48 次，11 日和 13 日為零。單一頁面最高 4 次。

YouBot：108 次，只在三天，而且大部分在讀西班牙語頁面。 12、13、14 日分別 26、61、21 次；/es/contact 15 次、/es/store 15 次、/es/agent-network-protocol 14 次、/es/predictions 14 次——四個西語頁面就佔掉 58 次。

剩下三個。 GPTBot 整週 40 次，其中 39 次擠在 9 月 15 日，另外 1 次在 9 日；OAI-SearchBot 87 次，分佈在五天裡，最常抓英文首頁（5 次）與英文單場預測頁；DuckAssistBot 整週只來了 1 次，在 9 月 12 日。

按日看：一週的形狀

七天合計 2048 次。第一天的 97 次是整週最低，之後六天再沒有低於 192 次。

它們在讀哪些頁

被抓最多的頁面不是英文首頁，是中文首頁：140 次對 97 次。而這 140 次裡有 129 次來自 Bytespider 一個爬蟲，英文首頁的 97 次裡有 62 次來自 ChatGPT-User。同一個網站的兩個首頁，被兩批完全不同的讀者盯著。

這裡面還有第二層分化：Bytespider 抓最多的頁面全是欄目頁——首頁、更新、商店、協定頁；而 ClaudeBot、OAI-SearchBot、PerplexityBot、GPTBot 反覆回來抓的，全是一場一場的比賽詳情頁。一個在讀這個網站的結構，另外幾個在讀它的條目。

榜單前 25 個頁面合計 641 次，其中路徑以 /zh-CN 開頭的佔 400 次。指南頁也進了榜：AI 足球預測工具怎麼選 被抓 16 次，/zh-CN/guides/choosing-football-data-analysis-site 被抓 17 次。把一件事解釋清楚的頁面，對 AI 抓取是有吸引力的。公開預測臺帳 /predictions 本身被抓了 23 次，它的 git 鏡像也長期公開在 公開紀錄鏡像。

我們是怎麼測的

這套採集方式很短，可以完整說清楚——方法論本身就是這個欄目能被引用的理由：

• 測在哪一層：Next.js 的 middleware，每個頁面請求都會經過它。
• 怎麼判定：把請求的 User-Agent 和一份 20 個已知 AI／搜尋爬蟲的清單做大小寫無關的子字串比對，命中就回傳規範化的爬蟲名稱與類別（llm 或 search）。
• 怎麼紀錄：命中之後發一個 fire-and-forget 的 GA4 Measurement Protocol 事件 ai_crawler_hit，帶三個參數：bot_name、crawler_class、page_path。頁面回應不等這個事件，它失敗也不影響訪客。
• 記到哪裡：一個只裝爬蟲流量的獨立 GA4 資源。人的分析資料放在另一個資源，兩邊不混。
• 有沒有抽樣：沒有。每一次命中就是一列，本文所有數字都是直接計數。

這份資料不能說明什麼

把邊界寫清楚，比數字本身更重要：

• User-Agent 可以偽造。 我們沒有做反向 DNS 驗證，所以嚴格說，「Googlebot 98 次」是「98 次自稱 Googlebot 的請求」。
• 不來的爬蟲是看不見的。 清單之外的爬蟲，或者根本沒有造訪過我們的爬蟲，在這份資料裡等於不存在。
• 一週太短。 Bytespider 有兩天為零、GPTBot 的 40 次裡 39 次擠在一天——這種波動，用七天的窗口分不清是固定節奏還是偶然。
• 這是一個網站，不是整個網路。 clawsportbot.io 是一個中等體量的足球資料分析站，主力語言是中文與英文，配套一個叫 足球實時預測龍蝦 的 Telegram 機器人。換個產業、換個語種、換個體量，結論完全可能不一樣。請把它當成一份樣本，不是一份普查。

下個月看什麼

同樣的口徑，我們下個月會繼續統計，並優先回答這幾個問題：Bytespider 那種「三天集中抓取」是每月都有的節奏，還是這一週的偶然？ChatGPT-User 的 72 次會不會繼續漲——它是這份資料裡唯一直接對應真人提問的指標。Googlebot 的 98 次會不會跟著新內容上來？新發布的中文指南要多久才會出現在被抓頁面榜上？

口徑維持不變，月與月之間才能直接比。下一期見。