Anthropic 每送你 1 个读者，要先爬走 38000 页

Google 每给你的网站送回 1 个访客，会先爬走大约 5 页。OpenAI 是 1000 多页。Anthropic，38000 页。

这组数字来自 Cloudflare 的公开统计，图表横轴用了对数刻度，因为不用对数刻度，这几根柱子塞不进同一张图。

过去快三十年，开放 web 有一笔默认的交易。你把内容敞开让机器人读，搜索引擎给你送读者，广告费跟着读者来，你再拿广告费养内容。博客、论坛、Wiki、数据站，整个内容生态都搭在这笔交易上面。现在回头看那组数字，交易的一方还在按老合同办事，另一方已经把合同拿去喂了模型。

我知道这话听着像暴论。所以今天想聊一个具体的网站，它用 28 年的家底，给这个暴论做了一次全尺寸实验。

今年 3 月 5 日凌晨，The Numbers 的服务器崩了。

不泡电影行业的朋友可能没听过这个站，简单交代一下背景。它是全球电影票房数据的权威站点，追踪着 78,396 部电影、236,176 名从业者的票房、预算和流媒体数据，一年 800 多万访客。记者引用它，学者引用它，Polymarket 的票房预测盘拿它当最终结算依据，连吉尼斯世界纪录都认它。1997 年 10 月，前 IBM 工程师 Bruce Nash 在 Access 数据库里按了个按钮，把一堆 HTML 页面传到 Geocities，从追踪 300 部电影起步，一路做成行业事实标准。

然后在一个周四的凌晨，整个站没了。宕机超过一周，没有任何解释。再上线时只剩一个骨架，历史图表没了，单部电影的页面没了，最受欢迎的报表工具也没了，页面上孤零零挂着一句，我们在重建，请耐心等待。

Reddit 的反应你可以想象，困惑，愤怒，阴谋论齐飞，还有人言之凿凿，说这是故意自废免费站，好把用户赶去买付费产品。Bruce 收到的邮件大多在质问，你们原来那个页面呢？

三个月后，做电影数据研究的 Stephen Follows 找 Bruce 长聊了一次，把整件事写了出来。我看完的感受，怎么说呢，这不是一个网站的事故报告，这是发给所有内容站主的天气预报。

先说压垮它的第一股力量，爬虫。

Bruce 的原话很有画面感。AI 之前，我们的流量是真人，是大体守规矩的搜索引擎爬虫，偶尔有人为了个人项目爬爬站，谁太贪心，我们看得见，也封得掉。

变化分两波。2024 年前后是第一波，AI 训练爬虫加入战场，比搜索引擎的爬虫野蛮得多，光是维持网站平稳运行的工作量就直线上升。2025 年 12 月的第二波更猛，agentic AI 来了，一部分是用户随口一句 prompt，就有 agent 替他去抓网站，另一部分是普通人现在也能自己写 agent 了，门槛低到一份 AI 订阅就够。

到今年年初，The Numbers 的流量里，真人只占 10%。

写到这我得自首一下。我的日常工作就是给模型搭脚手架，让 agent 真正能跑起来干活的那层工程，工具调用、抓网页、失败重试、超时看门狗，都是我天天写的东西。也就是说，Bruce 日志里那 90% 的某几行，搞不好就是我这种人放出去的进程。这篇文章某种程度上，是坐在肇事车里写的。

团队不是没挣扎。最聪明的一招有点子牛逼，他们在站上专门写了一些给 LLM 看的内容，告诉模型，这里是数据授权的正确姿势，别爬了，让你的用户来谈授权。效果出乎意料，数据授权的咨询量涨了 10 倍。

记住这个细节，后面还会回来。

但缓解不等于逃脱。从 12 月到 3 月，团队九成的时间花在维持老站活着上，剩下的零碎时间才轮得到开发新系统。这个站 28 年攒下了 160,000 个源文件，服务着 200 万个页面，每一行老代码都是历史，也都是伤口。

3 月 5 日凌晨，大厦塌了。万青唱过，如此生活三十年，直到大厦崩塌。差两年，还真就快三十年。

团队一开始以为，就是被 AI 流量压死的。结果翻日志翻出了更扎心的东西。海量 agent 流量的掩护下面，有一批访问不太一样，有的走正常 URL，有的在系统性地找后门。目的大概率不是搞破坏，而是想在数据公开发布之前先拿到，或者干脆篡改页面上展示给用户的数据。

一个电影票房站，谁闲得黑它？？？

顺着钱找就通了。Polymarket 每周开电影首周末票房的预测盘，规则里白纸黑字写着，以 The Numbers 页面上的数据作为最终结算依据。单个盘几万到几十万美元，所有票房盘加起来，随时有几百万美元在场上。如果你能每周比所有人早一步看到结算数据，你就不是在预测，你是在抄答案。

到底是谁干的，最后用什么打垮的，至今是悬案。但这件事的结构已经足够清楚了。预测市场把几乎一切数据变成了钱，数据源就跟着变成了金库。一个手工整理电影票房的小公司，一夜之间获得了跟交易所同级别的攻击面，防御预算却还是小公司的预算。

而攻击方的成本，正在光速下降。Anthropic 去年 11 月发过一份报告，记录了首例主要由 AI 执行的网络间谍行动，一个有组织的攻击团伙用编码 agent 打了大约 30 家机构，AI 干了八九成的活，人类每次行动只在四到六个节点上拍板。他们自己的结论是，复杂网络攻击的门槛已经大幅下降，而且还会继续降。另一边，自动渗透测试 agent XBOW 已经爬到了 HackerOne 美国排行榜第一，一路提交了上千个真实漏洞，那个榜单以前全是人类白帽子。

一个 30 年历史、16 万个遗留文件的老站，在这样的环境里重新上线等于什么？Bruce 的安全顾问朋友给的建议非常干脆，老服务器，永久下线。攻击者已经摸了它几个月，就算从备份恢复上线，可能几分钟内就会再次被打下来。

旧服务器再没开过机。

3 月 13 日，团队在全新的基础设施上抢出来一个骨架版网站，先保住每天的最新票房数据。其余的一切，从零重写。

说起来 The Numbers 还算幸运的，这话听着荒诞，但确实。它这几年不重度依赖广告，真正赚钱的是卖批量数据的 OpusData、给片方和投资人做的分析报告，这些业务全程没受影响。网站塌了，公司没塌，因为网站早就不是公司的全部。

对照组是德国一家叫 ZEGO 的纺织公司，37 年历史，3 月被一次网络攻击打到停产六周，上周申请了破产。没有第二条腿，摔倒就是终局。

聊到这，可以回到开头那笔交易了。

老 web 的商业模式建立在几个假设上。访客大多是真人。流量约等于读者。服务网站的成本，跟你从内容里获得的价值成正比。这三个假设，现在一个都不成立了。全网 bot 请求量去年就过了半数，维基媒体的统计更细，bot 占它页面浏览量的 35%，却占最贵流量的 65%，因为爬虫专啃真人从来不看的冷门长尾页。同一时间，维基百科的真人访问量在下降，因为大家直接看 AI 摘要了，没人再点进原站。

机器把内容拿走了，又把读者截走了。两头一起收。

这就是内容站的死亡螺旋。你的内容越好，被爬得越狠，带宽账单越高。你上反爬，误伤真用户，流量继续跌。流量跌了广告收入跌，你更没钱扩容和防御。而 AI 拿你的数据回答了用户的问题，用户就更没有理由点进来。转一圈下来，28 年攒下的数据资产，在资产负债表上悄悄挪到了另一边，变成一笔按流量计费的负债。

受害者名单我可以一直报下去。Read the Docs，开源文档托管的非营利组织，好家伙，一个爬虫一个月薅走 73TB 压缩 HTML，多付 5000 多美元带宽费。iFixit，单日被 Anthropic 的爬虫打了 100 万次。7 个人的 3D 素材小站 Triplegangers，工作时间被 OpenAI 的 bot 直接打到下线，CEO 说这跟 DDoS 没区别。SourceHut 的创始人，每周花两成到全部的时间在跟爬虫搏斗。GNOME 一测自己的流量，97% 是 bot。

真的就是一声叹息。这些站没有一个做错了什么，它们只是按 1997 年的规则，活到了 2026 年。

那还能怎么办？说实话我也没有完整答案，但从 Bruce 的自救里，能看出几条路的轮廓。

还记得前面让你记住的那个细节吗。写给 LLM 看的授权说明，咨询量涨了 10 倍。这可能是整个故事里最亮的一盏灯。它说明机器流量不是纯粹的灾难，它是还没付钱的需求。爬你 38000 页，恰恰说明你的数据有 38000 页的价值，问题只在于，收费通道压根不存在。Bruce 现在的思路是把网站当成六类访客的服务台，真人、搜索引擎、训练爬虫、prompt 流量、agent、数据客户，各给各的接口，各走各的价。以前做网站考虑三件事，内容、广告、SEO，现在每个设计决策要过八到十个因素。

基础设施这层也在动。Cloudflare 去年推了按爬取次数收费的 pay-per-crawl，今年 7 月又进了一步，内容真的出现在 AI 的回答里，出版方才分钱，并且宣布 9 月 15 日起，客户站点默认屏蔽不付钱的爬虫。能不能成，取决于 AI 公司是配合还是绕路。Bruce 的评价我很喜欢，总得有人试。

如果你手上也有个内容站，或者正琢磨做一个当 side project，我有几点不成熟的观察。流量加广告这条路，默认它已经关了，不是衰退，是关了。数据和页面要分开经营，页面会被爬垮，但结构化的数据、API、授权，是可以标价的东西。以及最重要的一条，跟 Bruce 学，别把网站当成全部家当，他能笑着复盘这场灾难，只因为塌掉的是门面，不是金库。

写完这篇，我想起手里还有几个会抓网页的 agent 没加速率限制，今晚就去补上。倒不是我这点流量能压垮谁，只是知道了每条数据背后是谁在熬夜之后，让机器人爬慢一点，算是这个时代里写机器人的人，最起码的礼貌。

The Numbers 在重建，Bruce 说会建得比以前更好。如果你也曾在哪个深夜查过一部电影的票房，八成就用过他家的数据，有空可以去看看这个站。当初写邮件骂过他的人，现在知道原因了，也许可以补一封友善点的。