机器人流量首次超过人类：这对写博客的人意味着什么

2026 年 6 月初，Cloudflare CEO Matthew Prince 在 X 上发了一条消息：互联网历史上，机器人产生的网页请求流量，第一次超过了人类。

Semrush 据此写了一篇短评：Bot traffic now exceeds traffic from human users。文章不长，但戳中了一个正在发生的结构变化——你的读者名单里，已经多了一类从未付过订阅费、也不会留言的「访客」：AI Agent。

下面是我读完原文后，按自己的逻辑重排的解读，不是翻译稿。

发生了什么

几个容易误读的点，原文说得很清楚：

1. 57% 不是「全世界一半上网都是机器人」，而是 Cloudflare 能看见的那片流量里，网页请求的次数占比。
2. 交叉点比预期早，说明不是线性渐变，而是 Agent 类爬虫在 2025–2026 出现陡增。
3. Semrush 站在营销工具视角写这篇，但数据本身对任何有网站的人都相关——包括个人博客。

为什么值得认真看

受众变了：多了一类「代理读者」

过去我们默认：打开页面的是人。 人会扫标题、会跳段、会点外链、会在评论区吵架。

现在多了一种路径：人发指令 → Agent 去网上找资料 → Agent 读你的页面 → 人只看摘要或 AI 回答里的引用。

你的内容可能被「读过」很多次，但 Google Analytics 里一个真人都没有——因为真正消费信息的是机器，人只在最后一跳出现。

旧指标在失灵

Semrush 原文点名的传统指标：

• 页面浏览量（Pageviews）
• 跳出率（Bounce Rate）
• 会话时长

对 Agent 访问来说，这些要么不存在，要么含义完全不同。Agent 不「逛」你的网站，它抓取、解析、引用、丢弃。

更值得盯的新方向（原文列举）：

对个人博客而言，这翻译成人话就是：别只盯着 UV 涨跌，还要问「AI 有没有把我写进答案里」。

对内说服的「里程碑」

原文还有一个很实用的角度：这个数字适合拿去争取预算或精力——无论是公司营销团队，还是你个人决定「要不要把博客做成 AI 可读」。

「Bot 已经比人多了」比「我觉得该做 GEO」更有画面感。

对个人博客 / 技术站的具体影响

我自己的站是 MDX 静态博客，这类站点反而有一些独特杠杆。

1. 别 accidentally 挡住 AI 爬虫

Semrush 强调：在别的优化之前，先确认没有误封 AI Crawler。

常见坑：

• robots.txt 一刀切 Disallow: /
• WAF / 防火墙把未知 Bot 当攻击
• 需要登录才能看正文（Agent 进不来）
• 正文全靠客户端 JS 渲染、HTML 里几乎没有可抓取文本

静态生成 + 服务端直出 HTML 的 Next.js 博客，在「可抓取性」上通常比纯 SPA 友好——但 robots、meta、结构化数据仍要自查。

2. 写给 Agent 读，不等于写给人类难看

Agent 友好和人类可读不矛盾。实践上往往是：

• 清晰的标题层级（h2 / h3 有语义）
• 前 100 字说清结论（摘要友好）
• 表格、列表表达结构化事实
• 专有名词首次出现给全称（如 GEO、AIO）
• 外链用描述性锚文本，别全是「点击这里」

Agent 更像「极度没耐心的研究员」：它不会欣赏你的文风，但会奖励信息密度和边界清晰。

3. 流量数字的心理建设

以后看到 Analytics：一半以上请求可能根本不是人。

这不一定是坏事——被 Agent 读过，可能在某个用户的对话里变成引用；也可能是训练数据管道、预抓取、监控 Bot。

关键是 分开看：

人类流量   →  评论、订阅、品牌、社群
Agent 流量  →  可见性、被引用、被纳入答案

两类都要优化，但优化手段不同。

我同意的 / 我补充的

可以立刻做的三件事

① 检查 robots.txt

确认没有误伤常见 AI 爬虫（按你意愿选择开放或限制，但要有意识而非默认全封）。

② 抽一篇代表作，用 AI 问一遍

用你博客里写过的话题，在 ChatGPT / Perplexity 里提问，看回答是否引用你的 URL——这是零工具的「citation rate 抽检」。

③ 新文章继续强化「机器可读结构」

结论前置、表格归纳、章节标题稳定——这篇就在实践这件事。

畅想：AI 会「杀死」互联网吗？

读完这篇报道，我脑子里绕不开一个更大的问题：未来 AI 会不会从根本上改变我们「上网」的方式——大家不再一个个点开网页，而是各自守着一套 AI 定制的信息推送？

如果真走到那一步，互联网还是互联网吗？还是只剩下一层人类看不见的管道？

我担心的画面

想象一种日常：

早晨醒来，不问「今天网上有什么」，而是打开 AI，它已经根据你的职业、情绪、昨晚读过的文档，生成 今日简报。新闻、论文、朋友动态、购物推荐——全部揉进一段对话或一页卡片里。你满意地点头，关掉 App。

你一整天没有打开任何一个独立网站。

网页还在那里。服务器还在跑。Cloudflare 上的 Bot 流量甚至比人更多——Agent 互相抓取、汇总、重排，人类只是偶尔点开 AI 给的链接做「事实核查」，然后迅速回到对话界面。

在这种图景里，「互联网」没有消失，但 「逛网页」这个习惯 可能会萎缩，像当年报纸缩成手机推送一样。区别是：这一次策展人不是编辑，而是 每个人的私人模型。

为什么会往这个方向滑

几条推力叠在一起，并不意外：

Semrush 那 57% 像是一个早期信号：Web 正在变成 Agent 的粮仓，而不是人类的广场。

但「杀死」也许不是灭绝，是变形

我倾向于认为：互联网不会被杀死，会被折叠进底层。

历史上类似的事发生过。你不会直接去水电站找电，但电无处不在；你不会翻 TCP/IP 文档上网，但协议栈仍在运转。网页可能逐渐变成：

对人类  →  偶尔跳转的「出处链接」、信任锚点、长文深读
对 AI   →  结构化知识库、可引用的 primary source

大家不是彻底不要网页，而是 默认入口不再是浏览器地址栏，而是 AI 的对话窗。

网页从「目的地」退成「证据库」。这对我这种写博客的人，既是失落，也是定位：博客未必是流量终点，但可以是 AI 答案背后的可信脚注。

定制推送的暗面

如果每个人都活在 AI 定制的信息茧房里，我会更担心这些：

1. 公共议程消失 — 没有共同看到的「头条」，社会共识更难形成
2. 出处模糊 — 用户只记得 AI 说了什么，不记得谁写的、是否被断章取义
3. 品味让位于效率 — 文风、版式、作者人格被磨平成同一种摘要腔
4. 网页沦为 SEO / GEO 战场 — 人不爱逛，但机器疯狂抓；站点的价值变成「被选中引用」，而非「被完整阅读」

所以问题也许不是「AI 杀不杀死互联网」，而是：我们还想不想保留一个「人亲自去现场」的公共空间？

我仍选择相信会留下的东西

即便推送再贴心，仍有几类需求 AI 难以完全替代：

• 我想知道这个人怎么想，而不是「关于这个人的摘要」
• 我想意外撞见，而不是永远被偏好喂养
• 我要可分享、可辩论的固定链接，而不是每次问 AI 得到不同措辞
• 我不完全信任单一中介，想自己看原文

博客、个人站、小而美的独立页面——恰恰长在这些缝隙里。它们可能永远不会再拥有 2010 年代那种「人人逛首页」的流量，但可能成为 反推送的锚：当你想说「我是这样看的，原文在这里」，你仍然需要一个 URL。

对我自己的意味

如果畅想成真，我写博客的理由要改写成：

不只是等人点开，而是 提前把结构化、可引用、带观点的原文摆到 Agent 读得到的地方；同时保留足够的人类温度，让偶尔亲自到来的读者觉得值得。

AI 或许会让人少逛网页，但 未必能消灭人想「到场」的冲动——只是这场到场，会越来越像走进图书馆查一本具体的书，而不是在广场上闲逛。

我还在这个过渡期。你呢？

小结

互联网曾经争的是「人的注意力」。下一程，还要争 Agent 的注意力——它们不点赞，但可能决定你的文章会不会出现在别人的 AI 答案里。

再往后，也许还要问一句：当每个人都活在定制推送里，你还愿不愿意为某一个具体的网页，多停留五分钟？ 我的答案是愿意——所以我还留着这个博客。

原文：Bot traffic now exceeds traffic from human users（Semrush，2026-06-13）。Matthew Prince 的 X 帖文 是这条新闻的原始出处之一，值得对照数据口径阅读。