Fireworks发布Ember-1:基于Kimi K3砍掉40%推理token,质量持平

Fireworks发布Ember-1:基于Kimi K3砍掉40%推理token,质量持平

9月23日,AI推理平台Fireworks AI的研究团队发布专门化模型Ember-1,主打“同样的答案,更少的token”。该模型基于月之暗面的Kimi K3构建,通过训练学会砍掉不必要的推理过程,官方称在保持回答质量的前提下平均减少约40%的token消耗。模型当日即上线Fireworks平台,也是其“专门化模型系列”的首款产品,瞄准的是被长推理账单困扰的自动化编码与代理场景。

九成token耗在思考,多轮代理成本二次膨胀

问题的根源在于推理模型的输出结构。Fireworks团队指出,Kimi K3生成的token中超过90%花在内部推理而非最终答案上;单次请求尚可承受,进入多轮代理工作流后,每一轮都要把此前的推理历史重新读入、重新计费,上下文随轮数近似二次增长。单纯调低推理强度并不能解决问题,低强度设置会明显损失质量,真正的解法是让模型学会更高效地推理,这必须通过训练完成。

训练过程的投入不小。团队在Fireworks无服务器训练平台上跑了超过50次训练实验和200多次评估,并为此开发了新的训练算法,用于缩短推理链而不损失准确率。训练数据覆盖数学、编码、指令遵循、对话、搜索、工具调用与软件工程,团队特别说明全部使用自有数据、未使用任何客户数据。在七项基准与两家客户的生产流量上,K3的推理可以缩短35%到50%,准确率不受影响。

临床基准刷新帕累托前沿,编码成本大幅下探

在Doximity推出的Bedside Bench上,Ember-1面对500个临床案例、横跨10个专科类别,在单任务成本维度为所有开放与闭源模型设定了新的帕累托前沿,对标对象包括GPT-5.6 Sol、GPT-6 Astra与Claude Opus 5。编码基准的对比更直观:Terminal Bench 2.1上Ember-1得分82.0%,高于K3满推理档的80.9%,单任务成本却低51.9%、省23.1美元;SWE-bench Verified上92.2%对93.2%,成本降低15.5%。

DeepSWE 1.1上甚至出现了质量反超:Ember-1拿到75.2%,K3满推理档为66.4%,成本还低23.7%、省126.9美元。官方给出的K3公开定价是未缓存输入每百万token 3美元、缓存输入0.3美元、输出15美元,Ember-1在样本量超过50的基准上均处于或接近帕累托前沿,并严格优于低推理档K3。团队据此宣称,运行K3最省钱的方式不再是“让它少想”,而是换成Ember-1。

生产环境的验证同样关键。两家客户在真实编码流量上做了A/B测试,每个任务平均节省约35%的token,任务完成率、成功率与失败率等下游指标持平甚至改善,其中一家已将Ember-1投入生产,并计划最终用它完全替换基础模型。Fireworks内部开发者的使用则提供了另一种信号:日常编码照常进行,没有人察觉到模型已经更换,“没有新闻”就是团队最满意的结果。

这种“专门化蒸馏”路线会否成为行业常态,还需观察。讨论中有开发者指出,Kimi K3是2.8万亿参数的超大模型,瘦身空间未必适用于小模型;也有人质疑其权重许可并不真正开放。Fireworks已表示后续模型将由开发者需求驱动,随着更多推理厂商用训练而非降档来压缩成本,推理价格的下探曲线可能还远未见底。