Anubis反爬虫系统历时一年完成WebAssembly移植:用工作量证明守护开源基础设施

Anubis反爬虫系统历时一年完成WebAssembly移植:用工作量证明守护开源基础设施

Anubis反爬虫系统迎来WebAssembly重写:PoW防线的性能革命

2026年9月6日,Techaro公司发布了Anubis防护系统的重大版本更新,宣布历时一年的WebAssembly移植工作正式完成。Anubis是一套基于工作量证明(Proof of Work,PoW)的反爬虫系统,其设计初衷是保护开源项目网站免受AI公司大规模爬虫的持续冲击——这类爬虫导致的流量高峰频繁造成正常用户无法访问网站资源。此前的Anubis实现主要依赖JavaScript计算,WebAssembly版本则将哈希计算的核心循环迁移至原生机器码级别的执行环境,根据社区实测,不同硬件上可获得2至10倍不等的速度提升。该更新在Hacker News上获得178票关注,值得注意的是,Anubis的官方博客本身就是此次更新的发布页——而这个页面本身也受Anubis保护,访问者需要先完成PoW挑战才能阅读文章。

Hashcash的继承者:PoW机制在反爬虫领域的应用逻辑

Anubis的工作机制沿用了Adam Back在1997年提出的Hashcash工作量证明方案——当时该方案旨在减少垃圾邮件。核心思想是:每个客户端在访问网站前必须完成一次计算密集型哈希挑战,对于普通用户而言,单次计算的开销可以忽略不计;但对于大规模爬虫而言,每请求一次页面都需要完成一次PoW,在百万次请求规模下计算成本变得不可承受。Anubis当前默认使用SHA-256哈希算法,难度参数可根据服务器负载动态调整。在AI爬虫问题日益严重的2026年,已有超过2000个开源项目和社区网站部署了Anubis防护,包括多个Linux发行版的Wiki、学术机构主页以及政府公开数据网站。

WebAssembly迁移的技术路径与挑战

Anubis从纯JavaScript迁移至WebAssembly的过程历时12个月,主要技术障碍包括三个层面。第一,WebAssembly模块的加载时序——在防护页面场景下,WebAssembly模块必须在PoW计算开始前完全加载,而防护页面本身的资源加载需要优先完成,形成了一种递归依赖。开发团队通过将WebAssembly模块内联到防护页面HTML中(而非外部加载)解决了这一问题。第二,跨浏览器兼容性——Safari在WebAssembly支持上长期落后于Chrome和Firefox,团队不得不针对WebKit维护一个特殊的JavaScript回退路径。第三,内存安全——WebAssembly虽然提供了更好的性能,但哈希计算函数需要精确管理线性内存,团队为此引入了额外的边界检查层以避免内存越界风险。更新日志还特别提醒,使用JShelter等隐私插件的用户需要为Anubis保护的域名添加白名单,否则WebAssembly模块的执行可能被阻止。

"至少加密货币有代币可以卖":PoW的经济学争论

Hacker News评论区最有趣的争论围绕PoW机制的"浪费"属性展开。一条高赞评论指出:"至少在加密货币领域,PoW产生的计算可以转化为可出售的代币,而Anubis的工作量纯粹是浪费。"支持者则反驳称:"这正是关键所在——计算的无用性就是它的价值。如果PoW产生的结果可以被出售,就会产生利用价值,爬虫方就会购买硬件来系统性攻克PoW,整个防护体系将从成本问题变成资本竞赛。"这一辩论延伸出一个有趣的类比:Anubis的PoW故意让计算结果"无用",本质上是在利用经济学中的"承诺信号"理论——成本本身无需产生额外价值,只需要足够高即可。

社区创新:浏览器扩展提前预计算PoW

评论区展示了围绕Anubis生态快速涌现的社区创新。其中最具代表性的是pow-buster浏览器扩展——它利用WebAssembly加速器在后台预先为Anubis保护的网站计算PoW挑战,用户访问时直接提交已计算好的证明,实现零等待浏览体验。更激进的方案是anubis_webgpu扩展,它利用GPU的并行计算能力将PoW求解速度再提升一个数量级。Anubis开发者本人在评论中透露正在研发基于Service Worker的预计算方案——利用浏览器后台线程定期为常访网站更新PoW证明,难度低于标准挑战但足以通过验证。然而,多位用户指出这些预计算方案与隐私保护存在冲突:它们需要持久化Cookie或本地存储来保存PoW证明,与"会话结束即清除数据"的隐私习惯相矛盾。

反爬虫的未来:从"假设善意"到"证明意图"的范式转移

Anubis的出现标志着互联网内容保护正在经历一次范式转移。传统Web安全模型基于"假设访问者善意"——默认允许所有请求,仅在检测到恶意行为时才采取拦截措施。AI爬虫时代的到来使这一模型失效:爬虫行为本身并无技术恶意(不注入SQL、不利用漏洞),但大规模访问的累积效果与DDoS攻击无异。Anubis采用的PoW模型反转了假设——默认不信任,通过计算成本"证明访问意图"。WebAssembly的加入使这一范式在性能上变得可行,但关于计算成本对发展中国家用户的不公影响、对无障碍辅助技术的兼容性、以及PoW能耗问题(尽管单次能耗极低,全球规模下累计消耗仍值得审视)等伦理讨论仍在持续。Anubis团队将自身定位为"临时方案",期望未来能发展出更精准的浏览器指纹识别技术,从根本上区分人类用户与自动化爬虫,而不依赖通用的计算成本壁垒。