腾讯开源 Hy4 预览版:7700 亿参数 MoE 模型具备递归自我改进能力

腾讯开源 Hy4 预览版:7700 亿参数 MoE 模型具备递归自我改进能力

腾讯 Hy4 预览版:开源大模型的又一次重磅升级

腾讯近日正式发布了 Hy4 预览版,这是其 Hunyuan 系列大语言模型的最新迭代。Hy4 采用混合专家架构,总参数达到 7700 亿,激活参数为 490 亿,上下文窗口超过 100 万 token。该模型已在 Hugging Face 上开源,并通过腾讯云 TokenHub、OpenRouter 以及 WorkBuddy、CodeBuddy 等产品对外提供服务。发布之初,WorkBuddy 和 CodeBuddy 平台将为用户提供两周免费使用期。

模型规模与性能的全面跃升

相比前代 Hy3,Hy4 在模型规模、上下文长度和训练数据量上均有显著扩展。预训练和后训练技术的双重进步带来了整体智能水平的飞跃,使该模型跻身顶级开源模型行列。在腾讯内部组织的盲测评估中,涉及 163 名专家和 203 项工程任务,Hy4 预览版以 2.99/4.00 的综合评分略微领先于 GLM-5.3 的 2.92 和 Kimi K3 的 2.94。这些评估涵盖了从代码生成、办公自动化到科学研究等多个领域的真实任务场景。

面向生产力的深度优化

Hy4 的设计理念围绕"真实生产力"展开。腾讯利用内部专家资源,在软件工程、游戏开发、金融、安全等多个领域构建了高质量的训练数据,并与 WorkBuddy 等产品进行了深度协同设计。在软件工程方面,Hy4 对长上下文开发任务的理解、规划、调试和验证能力有了显著增强,同时提升了前端开发的视觉质量和交互体验。在办公和数据分析场景中,模型对复杂工作环境的理解更加深入,金融分析能力得到强化,支持从信息处理到文档、表格、演示文稿制作的完整工作流。

游戏开发与科研应用

在游戏开发领域,Hy4 展示了一项令人印象深刻的能力——仅通过一句自然语言需求就能生成可玩的游戏原型,并能与游戏引擎协同工作。开发者可以通过多轮对话持续完善复杂的游戏项目。在科学研究方面,模型在理解、推理和解决复杂研究问题方面表现出更强的能力,涵盖 AI 研发、分子动力学模拟、凝聚态物理和基础数学等多个领域。这种跨领域的通用能力使得 Hy4 不仅是一个对话助手,更是一个真正的生产力工具。

递归自我改进:模型参与自身优化

Hy4 最引人注目的创新之一是它首次参与了自身开发过程的优化。模型在训练方法优化、数据策略设计、评估框架搭建和底层算子优化等方面提出了方案、运行了实验,并根据结果进行了迭代。由此产生的代码、日志和反馈被纳入后续的探索循环中,建立了一个早期阶段的递归自我改进机制。此外,Hy4 还自主分析了推理系统的性能瓶颈,在算子融合和通信优化方面进行了多轮优化,最终将端到端吞吐量提升了 31.8%。这一成果标志着大模型开始展现出"自我进化"的初步能力,对于 AI 研究的未来发展方向具有深远意义。

定价策略与开源承诺

在 API 定价方面,Hy4 延续了腾讯一贯的性价比策略。输入 token 定价为每百万 0.834 美元,输出 token 为每百万 2.501 美元,缓存命中则仅为每百万 0.042 美元。这一价格水平在同类模型中具有很强的竞争力。腾讯表示,Hy4 系列后续模型将陆续推出,通过预览版加正式发布的迭代模式,持续将真实世界反馈融入研发流程,实现模型能力的持续进化。