Kev决策模型开源:Qwen3.5基底0.8B到9B,可在32GB Mac上本地跑

Kev决策模型开源:Qwen3.5基底0.8B到9B,可在32GB Mac上本地跑

9月17日创建、9月21日更新的GitHub仓库jaredpalmer/kev发布了一套可自训自部署的轻量决策模型,截至发稿已获1998颗星、102个fork。作者Jared Palmer把它定义为「Tiny Jev-like family of decision models built on top of Qwen3.5」——即对标TypeSafe旗下闭源产品Jev的开源替代品,架构参考了公开的《Jev's Architecture Unmasked》分析文章。与动辄千亿参数的通用大模型不同,Kev只做一件事:给输入文本,返回分类、判断或评分,把「智能if语句」这件事做得更便宜、更快、可本地化。

三档尺寸与Qwen3.5基底

Kev提供Kev-0.8B、Kev-4B、Kev-9B三档,分别基于Qwen3.5-0.8B-Base、Qwen3.5-4B-Base与Qwen3.5-9B-Base,训练数据集为自建的decision-v7:来自十个公开数据集的10000条样本、896条生成的策略示例,以及从60种生成规则结构中得到的1680条样本。训练采用LoRA rank 16、交叉熵损失、两轮epoch,0.8B版本学习率1e-4,4B与9B为5e-5。README明确说明,适配器还覆盖Qwen3.5基底的DeltaNet投影,训练脚本会按模型配置自动选定目标层。

部署侧对硬件相当友好:三档模型都支持CUDA与Apple Silicon,4B与9B可以在32GB Mac上以bf16跑起来,0.8B适合追求最小体积的场景。启动方式是uv sync安装依赖,再用uv run启动kev.serve模块并指定jaredpalmer/kev-4b与8009端口,随后用一条curl向systemone端点发送JSON。仓库还提供网页Playground,可直接在浏览器里试Kev-4B与Kev-0.8B,无需安装。

接口与能力

API设计上有两个细节值得注意。第一,问题共享同一段输入文本但彼此隔离,不能互相读取答案——这是为了防止问卷内部的提示泄漏。第二,单次请求可同时携带三种问题类型:noul(是/否)、choice(多选)与score(评分),返回值带置信度、概率分布与校准信息,例如返回示例中department选项给出returns 0.47、shipping 0.28的概率分布。

评估体系是这套项目最扎实的部分。benchmarks报告准确率、Brier分数、校准误差、在5%错误预算下可自动化的决策占比、选项顺序变动率与问题隔离度。跨分布测试集transfer-v9还加入10路MMLU-Pro、把证据埋在无关文本中的「buried states」测试,以及移除关键证据后的「unknowable」条目——后者报告模型在证据缺失时仍以0.9以上信心作答的比例:Kev-9B为5%,Jev为9%,Kev-8B为26%。

开源对标闭源:准确率差3.5分

官方表格把Kev与TypeSafe Jev做了对照。在新数据源开发集上,Kev-9B准确率0.822,Jev为0.857,相差3.5分;在Jev尚未跑过的测试集上Kev-9B拿到0.852,Brier分数0.237。Kev-4B新源准确率0.797/0.837,0.8B为0.652/0.684。README主动声明这并非受控实验——没人知道Jev用哪些数据集训练过。

对于想用决策模型又不想被API账单锁定的团队,Kev给出的路径是完整的:训练代码、评估数据清单(版本与校验和都记录在manifest里)、以及把训练文件从Hugging Face镜像拉取后做哈希校验的流程。三档权重在9月21日刚做过第二轮短训练,项目以Apache-2.0协议开源。社区讨论里有人用它做2D类Roguelike游戏的低延迟AI,也有人指出它更适合「需要一点智能、但成本敏感」的判断环节,而非需要深度推理的编码任务。

关于可复现性,Kev把训练数据集的版本与校验和都记录在各manifest里,大文件从Hugging Face镜像拉取后做哈希校验,避免训练数据在训练过程中被悄悄替换。评估代码同样公开:可以按in-distribution的decision-v7跑,也可以按跨分布的transfer-v4与transfer-v9跑,后者额外加入10路MMLU-Pro、把证据埋在无关文本中的测试,以及移除关键证据后的「unknowable」条目。这套设计对想自建决策层的团队是完整闭环:数据可审计、训练可复现、评估可对照。