Meta 超级智能实验室推出首款媒体生成模型 Muse Image,已上线 Meta AI 等产品,主打智能体式工具调用与自我修正;Muse Video 同步预览,支持原生音频。
Meta 超级智能实验室(MSL)正式发布 Muse Image,并首次预览 Muse Video。这是该实验室推出的首批媒体生成模型。
Muse Image 是 Meta 目前最先进的图像生成模型:指令遵循忠实、编辑精准,还能从多张参考图中合成画面。它具备智能体式的工具调用能力,并与 Muse Spark 打通。Muse Video 基于同一预训练底座,视觉保真度出色,并原生支持音频。
Muse Image 即日起在 Meta AI 应用和 meta.ai 上线,同时登陆美国区 Instagram Stories 和部分国家的 WhatsApp,Facebook 版本即将推出。Muse Video 将先向创作者开放,随后进入 Meta AI。
Muse Image 不走「提示词直接映射到图像」的老路,而是像智能体一样工作:调用搜索和编程工具提升准确度,对生成结果自我修正,并通过扩展测试时计算持续改进。它与 Muse Spark 集成后,两个模型可共享工具、联合规划,实现更强的智能体式媒体生成。
编程。 在强化学习过程中,Muse Image 学会了编写并执行代码,从而画出准确的图表和二维码,也能根据渲染出的图形来约束生成结果,提升图像准确度。Muse Spark 与 Muse Image 结合后,还能用「代码+媒体生成」做出动态 GIF、内嵌图片的网页和交互式视觉小游戏。
搜索。 Muse Image 能上网搜索,让生成图像扎根于事实、实时信息和视觉参考。开启搜索后,涉及时事和现实事实的知识密集型提示词,准确率明显提升。
Muse Image 会在思维链中反思并改进自己的作品:小细节不对就局部编辑,大结构出错就重新生成,必要时换用工具调用等策略提升事实准确性。这一行为并非人为设计,而是在强化学习训练中自然涌现的——因为自我修正能产出更好的图像,从而拿到更高奖励。
和大语言模型一样,Muse Image 在推理阶段「想得越多」,效果越好。测试时计算增加,模型推理更多、调用工具更多、自我修正步骤更多。推理强度(以及随之增加的测试时计算)提升,人类偏好 Elo 分数随之提高,呈现近似对数线性的扩展关系。值得注意的是,这些计算横跨两类截然不同的工作——用于推理的文本 token 和用于生成的视觉 token——但质量取决于二者的总和。
研究还发现,合理分配 token 预算同样关键。Best-of-N(生成多张图取最优)在早期能提升质量,但很快饱和;把同样的计算花在有意识的推理上,扩展性要好得多。推理与工具调用结合时还会相互增强:工具让模型突破已有知识的边界,无论是搜索缺失的参考,还是写代码把细节做准,都能补上单靠推理填不了的坑。
Muse Image 的编辑很精准,用户要求改什么就改什么,能遵循多种指令。它在多轮编辑中保持一致性,支持迭代细调和开放式头脑风暴,逐步逼近目标结果。
Muse Image 可以从提示词中的多张参考图里合成元素,包括人物、物体、服装、风格和环境,并支持文本与图片在提示词中交错排列,完成复杂的图像合成。
截至本文撰写时,按人类偏好 Elo 排名,Muse Image 在 Arena 的文生图、单图编辑和多图编辑三个榜单上均位列第二。
与 Muse Image 一同发布的还有 Muse Video 的早期预览。它在提示词遵循、视觉保真度和时间一致性上表现有竞争力。Meta 表示正投入资源补足当前短板,比如音视频同步和物理准确的快速运动。Muse Video 将先面向创作者开放,随后进入 Meta AI。截至本文撰写时,Muse Video 在 Arena 文生视频的人类偏好 Elo 排名中位列第三。
为帮助人们辨别图像是否为 AI 生成,Muse Image 内置了隐形水印系统 Content Seal。在 Meta AI 应用和 meta.ai 上生成的图像都带有隐藏的来源信号,即使经过裁剪、压缩、缩放或截图也依然有效。Meta 计划很快将该能力扩展到视频,并预览了一款检测工具,用户可查询图像是否带有 Content Seal 水印。
Muse Image 与 Meta 生态深度连接。Meta 称,对图像和视频生成的持续投入,将进一步帮助创作者和企业在 Meta 各产品中生成动态内容,例如为小企业制作营销素材,以及在 Instagram 内直接使用个性化预设。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断