谁在爬我们：一周 2048 次抓取，AI 爬虫是 Googlebot 的 11.7 倍

一句话结论

2026 年 9 月 9 日到 9 月 16 日这个观测窗口里，clawsportbot.io 被 10 个已知爬虫抓取了 2048 次。其中 AI 助手类爬虫 1149 次，Googlebot 98 次——AI 读这个站的次数，是 Google 的 11.7 倍；而单个最大的 AI 爬虫既不是 OpenAI 也不是 Anthropic，是字节跳动（豆包）的 Bytespider，407 次。

这是「AI 爬虫观察」的第一期，往后每月一期。栏目规则很简单：数字全部来自我们自己服务器侧的记录，只报告已经发生的抓取，不预测、不外推。

完整名单：10 个爬虫，2048 次

按类别拆开：AI 类合计 1149 次，搜索类合计 899 次（bingbot 801 加 Googlebot 98）。OpenAI 名下三个 User-Agent 加起来 199 次，仍然不到 Bytespider 一个的一半。

还有一个不太容易注意到的对比：搜索这一侧的 899 次里，801 次来自 bingbot。也就是说，这个站在传统搜索侧的可见度目前主要由 Microsoft 一家提供；而 AI 那一侧的 1149 次，分散在 8 个 User-Agent、6 家公司手里（字节跳动、Anthropic、Perplexity、You.com、OpenAI、DuckDuckGo）。一边高度集中，一边高度分散——这两种集中度本身，就是值得每月盯着看的东西。

每个爬虫的行为都不一样

Bytespider：407 次，集中在三天。 它在 9 月 12、13、15 日分别抓了 127、101、176 次，三天合计 404 次；9 月 10 日 1 次、14 日 2 次，9 日和 11 日一次都没有。目标也高度集中：中文首页 /zh-CN 129 次、/zh-CN/updates 46 次、/zh-CN/for-users 30 次、/zh-CN/agent-network-protocol 26 次、/zh-CN/store 19 次，而英文首页只有 14 次。对任何想做中文市场的站点，这一行的含义很直接：中文页面在中文 AI 生态里的可见度，不是从 Google 那边拿到的。

ChatGPT-User：72 次，而且它不是在建索引。 这个 User-Agent 对应的是有人在 ChatGPT 里提了问题、模型当场去取页面。它 72 次里有 62 次落在英文首页 /，剩下零散分布在 /predictions（2 次）、/zh-CN/guides/ai-football-prediction-tools（2 次）以及 /agent-network-protocol、/for-users、/es（各 1 次）。它七天天天出现（1、14、9、25、14、5、4 次），这是真人提问的节奏，不是抓取任务的节奏。这 72 次也是整份数据里唯一一类"有人正在看"的直接证据。

bingbot：801 次，跟着新内容走。 9 日只有 27 次，10 日跳到 149，随后是 131、88、160、182，最后一天回落到 64。它也不像别的爬虫扎堆首页：抓得最多的单页是 /zh-CN/predictions/leeds-united-vs-newcastle-united-1557402，也只有 17 次，其余分散在繁体指南和各场预测详情页上。801 次里没有任何一页超过 17 次，这是一个在做覆盖、而不是在盯首页的爬虫。

Googlebot：98 次，其中 73 次挤在同一天。 9 月 14 日单日 73 次，其余六天分别是 2、6、11、1、2、3 次。它最常抓的页面是 /zh-CN/predictions/athletic-bilbao-vs-elche-1570373（8 次）和 /zh-CN/guides/asian-handicap-explained（7 次）。98 次这个量，在一个有 10 个爬虫的名单里只排第六。

ClaudeBot：228 次，分布最平均。 七天里有六天出现（1、48、41、50、27、61 次），只有最后一天缺席。它没有明显偏好的页面——抓得最多的几页各只有 2 次，而且简体、繁体的单场预测页混着抓，看起来是在做广度覆盖。

PerplexityBot：206 次，两天缺席。 9 日 65 次、10 日 34 次、12 日 37 次、14 日 22 次、15 日 48 次，11 日和 13 日为零。单页最高 4 次。

YouBot：108 次，只在三天，而且大部分在读西班牙语页。 12、13、14 日分别 26、61、21 次；/es/contact 15 次、/es/store 15 次、/es/agent-network-protocol 14 次、/es/predictions 14 次——四个西语页面就占掉 58 次。

剩下三个。 GPTBot 全周 40 次，其中 39 次挤在 9 月 15 日，另外 1 次在 9 日；OAI-SearchBot 87 次，分布在五天里，最常抓英文首页（5 次）和英文单场预测页；DuckAssistBot 整周只来了 1 次，在 9 月 12 日。

按天看：一周的形状

七天合计 2048 次。第一天的 97 次是全周最低，之后六天再没有低于 192 次。

它们在读哪些页

被抓最多的页面不是英文首页，是中文首页：140 次对 97 次。而这 140 次里有 129 次来自 Bytespider 一个爬虫，英文首页的 97 次里有 62 次来自 ChatGPT-User。同一个站的两个首页，被两批完全不同的读者盯着。

这里面还有第二层分化：Bytespider 抓得最多的页面全是栏目页——首页、更新、商店、协议页；而 ClaudeBot、OAI-SearchBot、PerplexityBot、GPTBot 反复回来抓的，全是一场一场的比赛详情页。一个在读这个站的结构，另外几个在读它的条目。

榜单前 25 个页面合计 641 次，其中路径以 /zh-CN 开头的占 400 次。指南页也进了榜：AI 足球预测工具怎么选 被抓 16 次，/zh-CN/guides/choosing-football-data-analysis-site 被抓 17 次。把一件事解释清楚的页面，对 AI 抓取是有吸引力的。公开预测台账 /predictions 本身被抓了 23 次，它的 git 镜像也长期公开在 公开记录镜像。

我们是怎么测的

这套采集方式很短，可以完整说清楚——方法论本身就是这个栏目能被引用的理由：

• 测在哪一层：Next.js 的 middleware，每个页面请求都会经过它。
• 怎么判定：把请求的 User-Agent 和一份 20 个已知 AI／搜索爬虫的清单做大小写无关的子串匹配，命中就返回规范化的爬虫名和类别（llm 或 search）。
• 怎么记录：命中之后发一个 fire-and-forget 的 GA4 Measurement Protocol 事件 ai_crawler_hit，带三个参数：bot_name、crawler_class、page_path。页面响应不等这个事件，它失败也不影响访客。
• 记到哪里：一个只装爬虫流量的独立 GA4 资源。人的分析数据在另一个资源里，两边不混。
• 有没有抽样：没有。每一次命中就是一行，本文所有数字都是直接计数。

这份数据不能说明什么

把边界写清楚，比数字本身更重要：

• User-Agent 可以伪造。 我们没有做反向 DNS 校验，所以严格说，"Googlebot 98 次"是"98 次自称 Googlebot 的请求"。
• 不来的爬虫是看不见的。 清单之外的爬虫，或者根本没有访问过我们的爬虫，在这份数据里等于不存在。
• 一周太短。 Bytespider 有两天为零、GPTBot 的 40 次里 39 次挤在一天——这种波动，用七天的窗口分不清是固定节奏还是偶然。
• 这是一个站，不是整个互联网。 clawsportbot.io 是一个中等体量的足球数据分析站，主力语言是中文和英文，配套一个叫 足球实时预测龙虾 的 Telegram 机器人。换个行业、换个语种、换个体量，结论完全可能不一样。请把它当成一份样本，不是一份普查。

下个月看什么

同样的口径，我们下个月会继续统计，并且优先回答这几个问题：Bytespider 那种"三天集中抓取"是每月都有的节奏，还是这一周的偶然？ChatGPT-User 的 72 次会不会继续涨——它是这份数据里唯一直接对应真人提问的指标。Googlebot 的 98 次会不会跟着新内容上来？新发布的中文指南要多久才会出现在被抓页面榜上？

口径保持不变，月与月之间才能直接比。下一期见。