9月25日，Convai Innovations、Mapika、Moritz Laurer 等独立团队联合推出的开源决策模型运行时 Ollaya 在 Hacker News 亮相，定位为 Ollama 在结构化决策任务上的对应物：让 LLM 在毫秒级时间内给出可校准的选项型答案。用户通过 HTTP 协议接入，可在桌面、命令行或 Docker 镜像中运行，所有模型权重均来自作者原始的 Hugging Face 仓库，按 commit pin 死并校验 sha256，运行时本身采用 Apache-2.0 许可证，不重新托管权重，也不按 token 计费。
Ollaya 默认开放的六个模型覆盖了不同精度与速度档位。最快的 laya 仅 322M 到 421M 参数，单次前向传播约 8 毫秒，可以一次回答 choice、score、yes/no 三种结构化问题，支持英文及一百多种语言；Mapika 基于 Qwen3.5 的 decider 系列把答案从选项字母的 logits 直接读出，decider:2b 在结构化决策评测中拿到 0.591 分；Moritz Laurer 的 nli 零样本分类器把每个选项构造为蕴含假设打分，是当前评测里最准的 encoder 模型；Knowledgator 的 gliclass 一次对所有选项打分，成本几乎不随选项数增长；Qwen 团队的 qwen3guard 在 119 种语言里完成内置的安全分类；vLLM Semantic Router 的 decision 模型用全微调 Qwen3.5 加端点头，每行支持 16k token。
兼容 TypeSafe Jev：让本地决策服务与云端接口互换
Ollaya 最具实操价值的设计是协议层完全对齐 TypeSafe Jev。服务暴露 /v1/systemone 与 /v1/models 两个端点，请求体和响应体均沿用 TypeSafe 的 schema，官方 TypeSafe Python SDK 0.7.1 不用改任何代码就能指向本地实例。用户只要在环境变量里把 TYPESAFE_BASE_URL 改成 http://localhost:11435，把 TYPESAFE_API_KEY 设为任意字符串，把 TYPESAFE_DEFAULT_MODEL 设为 laya，原本调用云端 Jev 的客户端就直接落到本地。在 RTX 4090 上对一个五选项请求走完 HTTP 端到端，Ollaya 公开的延迟数据是 8 到 10 毫秒，而 TypeSafe 官方托管的 Jev 接口在第三方基准 AbdelStark/jev-benchmarks 与 nibzard/decision-model-benchmark 中的中位数是 236 到 276 毫秒，差距在一个数量级以上。
平台覆盖方面，Ollaya 同时给出 macOS、Linux、Windows 桌面端、命令行和 Docker 镜像。Mac 上 laya 与 nli 走 Apple GPU 的 MLX 路径，其它模型、AMD、Intel GPU 以及 Windows、Linux 桌面端默认走 CPU。NVIDIA GPU 需要 R580 或更新的驱动，安装脚本只在检测到 GPU 时才下载 CUDA 库；WSL 2 与 Docker 内同样适用。服务默认监听 127.0.0.1，敏感数据全程留在用户机器里，这与项目强调的“Your data stays yours”一致。
开源生态的下一格：模型分层与可校准输出
在 Hacker News 的讨论里，开发者普遍把 Ollaya 看作决策模型本地化趋势的延续。Perplexity CTO Denis Yarats 此前用 3000 美元训练的最强开源 Jev 类模型出现在 rgbrgb 推荐的 Hugging Face 空间 multimodalart/jev-decision-ind 上，被多次引用为质量参照线；多位评论者指出，对固定任务而言，训练一个轻量分类器往往比调用通用 LLM 更划算。Ollaya 的开源 Apache-2.0 运行时与每个模型自带的校准文件 Modelfile，让用户可以在自有标注数据上重新拟合阈值，进一步降低对云端推理的依赖。
下一步，Ollaya 团队计划扩展更多 base 模型接入，并把 Modelfile 的重新校准流程做成单独的可视化工具。可以预见，随着 Qwen3.5、ModernBERT 这类小型底座继续走强，本地决策推理将不再依赖任何一家厂商的 API，而 TypeSafe Jev 协议很可能成为这一类结构化推理的事实标准。