腾讯开源Hy4预览版:770B参数大模型亮相

腾讯开源Hy4预览版:770B参数大模型亮相

腾讯Hy4预览版:开源大模型的又一里程碑

腾讯近日正式发布并开源了Hy4预览版(Hy4 preview),这是一款面向实际生产力任务的大语言模型。Hy4拥有770B总参数和49B激活参数,采用MoE(混合专家)架构设计,上下文窗口突破100万tokens,在多项基准测试中展现出与一线闭源模型竞争的实力。

模型架构与性能表现

Hy4预览版延续了腾讯Hy系列的MoE架构路线,但相比前代Hy3在模型规模和效率上都有了质的飞跃。770B总参数中仅有49B在推理时被激活,这一设计大幅降低了推理成本,使得模型在保持高性能的同时具备更好的经济性。在OpenRouter平台上线后,Hy4在短短数天内就处理了数万亿tokens,热度甚至超过了同期发布的GLM等竞品。

在编程任务上,Hy4展现出了接近DeepSeek等顶级编码模型的能力。办公场景下的文档处理、数据分析等任务也表现出色。科研领域,模型在论文摘要生成、文献综述等任务上的输出质量令人印象深刻。

开源策略与生态影响

腾讯此次选择开源Hy4预览版,延续了其在大模型领域积极的开放策略。与许多仅开放权重的厂商不同,腾讯同时发布了模型权重、推理代码和技术报告,为开发者提供了完整的部署方案。这一做法在Hacker News上引发了广泛讨论,有评论指出开源权重与真正的开源仍有差距,但Hy4的开放程度已显著高于行业平均水平。

对于中国AI大模型生态而言,Hy4的发布标志着腾讯在AI领域的战略投入进一步加码。与阿里巴巴的通义千问系列、百度的文心系列相比,Hy4在MoE架构和长上下文方面形成了差异化优势。业界普遍认为,Hy4的推出将加速大模型在生产力场景中的落地应用。

在技术架构层面,Hy4的MoE设计具有显著优势。传统的密集模型(Dense Model)在推理时需要激活全部参数,而MoE模型通过路由机制只激活与当前任务相关的专家子网络,从而在保持模型容量的同时大幅降低计算开销。Hy4的49B激活参数意味着它的推理成本与一个50B级别的密集模型相当,但实际表现却接近700B级别的模型,这种效率优势对于生产环境部署至关重要。腾讯在OpenRouter上提供的API服务也获得了积极反馈,尽管初期遇到了一些限流和超时问题,但整体推理速度和输出质量已获得社区认可。

Hy4的发布也标志着中国大模型生态的进一步成熟。从早期的追随者到如今在某些领域能够与全球顶尖模型正面竞争,中国AI厂商的进步速度令人瞩目。腾讯作为Hy4的开发者,选择将其开源既是对自身技术实力的自信展示,也是参与全球AI生态建设的重要举措。随着更多中国大模型走向开源,全球AI社区的协作模式正在发生深刻变化——不再只是西方主导的格局,而是多元化的协同创新。