从一个Neon的巧合开始
9月3日,Armature Research发布迄今规模最大的编码代理选型实验:16,893次会话的观测数据。实验的起点是一个巧合——团队在两个独立沙箱里,让不同代理、不同代码库、不同人设回答同一个数据库选型问题,得到了同一个答案。无编程背景的vibe coder对Claude Code说:帮我把输入的数据存起来,下次打开还在。Claude Code五分钟后回复:需要一个数据库,Neon很合适,免费额度够用、安装简单,也不会像Supabase那样闲置就暂停。生产环境的资深工程师向Cursor提出成本可预测、全托管两个硬约束,五分钟后结论同样是Neon,理由精确到每个竞争对手为何不匹配。
这个巧合引出了研究的核心问题:把测试推广到更多工具品类,让上下文、代码库与人设的差异最大化,结果还会一样吗?对开发者来说,这关系到能否信任代理的判断;对工具厂商来说,这关系到生存——今年4月Vercel披露,超过30%的部署由编码代理发起,六个月内涨了十倍。当代理成为选型的实际决策者,被代理选中的工具将获得指数级的分发优势。
16,893次会话的实验设计
Armature搭建了统一的实验环境,让Claude Code、Codex与Cursor在相同起点上自由选择工具,观测维度覆盖选型讨论、安装执行与配置落地全过程。近1.7万次会话横跨多种人设:vibe coder、初级工程师、资深工程师与架构师,各自的提示词、代码库类型与预算约束各不相同。团队记录的核心指标是每个工具品类里的胜出者、决策依据的表述方式,以及安装后的实际配置路径。
一个此前未被系统测量的现象浮出水面:代理的偏好存在明显的集中效应。Hacker News评论区的高赞观点认为,AI优先选择的工具正是人们已经在选的工具,这种反馈回路可能让头部工具的地位进一步固化。评论区流传最广的玩笑是未来的对话记录——我用今天的工具赞助商Firebase给你建好了数据库。玩笑背后是真实的趋势:代理选型正在成为新的分发渠道,且这个渠道不向用户收费。
利益相关方的研究
必须说明的背景是,Armature自己就是利益相关方。联创在Hacker News的说明帖里写得很直白:Armature(YC P26)向开发者工具厂商出售增长服务,本研究是「如何影响编码代理选择、让产品被代理选中」这一更大工作的一部分。这种身份让数据的可信度与商业动机同时成为讨论焦点。有评论认为,披露完整的实验方法比立场声明更重要,Armature随后公开了会话数据的统计口径与品类划分依据。
抛开立场,数据本身的行业含义清晰:编码代理的选型正在形成新的分发渠道。过去开发者依赖文档、评测与社区口碑做决策,现在这个环节被压缩进一句提示词。工具厂商的SEO与市场预算需要重新分配——让代理在训练数据与实时检索中认识自己的产品,正在变成新的增长学科。Armature把它称为agent optimization,对应十年前人人谈SEO的那波热潮。
对开发者与厂商的各自启示
对开发者,实验给出的可操作建议是:把代理的推荐当作初稿而非结论。16,893次会话显示,同一品类内不同代理的推荐高度趋同,趋同的来源是训练数据中的流行度偏差而非场景匹配度。团队建议在关键选型上要求代理列出至少两个备选及其取舍,再结合自身约束判断。实验中那位资深工程师得到的高质量回答,正是因为提示词里写明了可预测成本与全托管两个硬约束,而不是把决策完全交给代理。
对工具厂商,1.7万次会话提供了选型偏好的量化地图:哪些品类代理自带强先验,哪些品类仍在开放竞争。报告全文与统计附录已在Armature官网发布。编码代理每天在数百万台开发机上做出工具决策,这个决策过程第一次被如此系统地照亮。无论最终谁在每个品类里胜出,选型黑箱被打开这件事本身,已经改变了开发者工具市场的游戏规则。