字节跳动正式开源新一代大规模多模态模型ByteMV 70B，参数规模达到700亿，支持图文混合输入输出，在多个国际多模态基准测试上性能接近GPT-4V水平，并且允许完全免费商业使用，引发开源社区广泛关注。
ByteMV 70B采用了创新的交叉注意力架构，将高分辨率图像编码器与大语言模型深度融合，能够理解复杂图文混合内容，支持文档理解、视觉推理、图表分析、科学图表解读等多种应用场景。模型权重和推理代码都已经上传到Hugging Face和GitHub，开发者可以自由下载使用。字节还提供了Docker镜像方便部署，降低了使用门槛。
字节跳动表示，开源ByteMV是为了推动多模态AI技术普及，降低中小公司开发多模态应用门槛，未来会持续更新模型版本，提供更多功能优化。公司还推出了配套的微调工具链，帮助开发者针对具体场景定制模型，降低了微调的技术门槛，使更多开发者能够快速上手使用。
开源社区反响热烈，上线不到二十四小时，GitHub上获得超过六千Star，不少开发者已经开始基于该模型开发多模态应用。AI创业公司表示，之前GPT-4V的API调用成本很高，现在开源模型可以本地部署，成本降低九成以上，能够开发更多创新应用，特别适合创业阶段的资源有限团队。
国内多模态AI领域竞争日益激烈，百度、阿里、腾讯都已经推出了自己的多模态大模型，部分已经开源。专家认为，开源多模态模型的普及将极大推动AI应用创新，未来会涌现出更多基于多模态技术的新产品新服务，改变人们使用AI的方式。多模态AI正在成为下一代AI应用的核心技术方向。
不过技术专家也提醒，开源模型虽然性能强大，但在推理精度上相比GPT-4V仍有大约5%左右差距，在一些对精度要求很高的场景，仍需要进一步微调优化才能达到生产要求，用户应根据具体需求选择合适的模型。随着社区持续优化，模型性能有望继续提升，缩小与顶级闭源模型的差距。
多模态开源生态的繁荣正在加速整个AI行业的发展，从文本到图像的理解能力是AI迈向通用智能的关键一步，ByteMV 70B的开源让更多开发者能够参与到多模态技术创新中来，共同推动技术进步。
字节跳动旗下多款热门应用，包括抖音、头条等，都已经将多模态大模型能力深度融入产品体验，开源模型的推出有望进一步加速这些功能在更多场景中的落地，让更多用户受益于多模态AI技术带来的便利，推动产品体验全面升级。