Needle2: 仅14MB端侧智能大模型问世
适合手机可穿戴智能家居物联网设备
Cactus Compute公司近日发布Needle2大模型，整个模型文件大小仅仅14MB，却能运行agentic智能任务，可以在手机可穿戴设备智能家居机器人等资源受限设备运行，不需要云端推理，所有计算都在设备本地完成，隐私保护更好延迟更低。相比传统端侧AI模型能力更强，可以完成更加复杂的智能交互任务。
随着大模型参数越来越大，很多大模型参数超过几十亿上百亿，只能在云端服务器运行，端侧设备无法运行。而Needle2打破这种传统思路，通过模型压缩和蒸馏技术，把模型参数压缩到仅仅14MB，参数只有两千六百万参数，却能保持基本智能任务能力，可以完成简单对话，智能回答，简单规划任务。参数虽然小，但是智能程度超出同规模传统模型很多。
Needle2适合物联网智能家居设备很多物联网设备计算资源有限，内存存储有限，不能运行大模型，现在Needle2可以在这些设备运行本地大模型，不需要连接云端，离线也能使用，隐私保护更好，不需要把用户数据发送到云端，不会泄露隐私。同时延迟更低，响应速度更快，用户体验更好，用户语音指令可以得到即时响应，不需要等待云端返回结果。
开发者表示，现在很多物联网智能家居设备语音助手都需要云端处理语音识别和自然语言理解，网络不好的时候无法使用，而且延迟高，用户体验不好。如果本地运行大模型，即使没有网络也能正常使用，延迟可以达到毫秒级响应，体验提升很大。对于用户来说，即使网络断了，智能家居仍然可以正常使用，不会影响日常使用。
模型大小14MB意味着即使最便宜物联网芯片都能存储运行，不需要额外内存和存储，成本增加很少，很多低端设备都能集成智能大模型能力，提升产品竞争力。未来更多智能家居产品可以内置大模型智能，不需要依赖云端服务，产品功能更强大，用户体验更好。对于芯片厂商来说，这意味着可以在低成本芯片上集成AI能力，不需要增加硬件成本。
目前模型支持多种任务，包括语音控制，问答，简单日程规划，智能家居控制，天气查询，简单聊天，基本能满足智能家居日常需求。虽然参数很小，但是通过知识蒸馏从大模型学习知识，性能比同参数传统模型提升明显，能够满足端侧日常应用需求，用户交互流畅度明显提升。开发者还开放模型API方便其他厂商集成到自己产品。
未来端侧大模型发展方向就是轻量化小型化，适合各种物联网设备，随着模型压缩技术进步，越来越多小参数高性能模型会出现，推动AI普及物联网每个设备，让每个设备都具备智能能力，不需要依赖云端，真正万物互联智能时代。端侧AI还能保护用户隐私，数据不需要离开设备，符合全球越来越严格数据隐私保护法规要求。
开发者也开源模型权重，其他开发者可以免费使用修改，适合各种端侧应用开发，未来会更多端侧应用基于这个模型开发，推动端侧AI发展，让更多设备都能用上本地大模型智能，加速物联网智能普及，让智能家居真正变得更加智能贴心。