本文作者：李丹
来源：硬 AI
OpenAI 的 Sora 迎来劲敌，Meta 推出号称最先进的媒体基础模型 Movie Gen。
Meta 称，Movie Gen 是公司 “针对媒体的突破性生成式 AI 研究”，它囊括了图像、视频和音频等模态，用户只需输入文本，就可以制作自定义的视频和声音、编辑现有视频，以及将个人图像转换为独特的视频。Movie Gen 执行这些任务的表现在人类评估中优于业内类似模型。
Meta 介绍，Movie Gen 是 “最先进、沉浸式效果最佳的故事讲述模型套件”，综合了公司第一波生成式 AI 媒体研究的 Make-A-Scene 系列模型，即可创建图像、音频、视频和 3D 动画的模型，以及随着扩散模型出现而针对 Llama Image 基础模型进行的第二波研究模型，即可实现更高质量图像和视频生成以及图像编辑的模型。
<h2>文生视频最长 16 秒 130 亿参数音频生成模型 人工评测视频生成对 Sora 净胜率 8.2</h2>
Meta 概括，Movie Gen 具有四种功能：视频生成、个性化视频生成、精确视频编辑、音频生成。
对于视频生成，Meta 介绍，用户只要提供一个文本的提示词，Movie Gen 就可以利用针对文本转图像和文本转视频进行了优化的联合模型，创建高清的高质量图像和视频。Movie Gen 的视频模型有 300 亿参数，这个转换模型能以每秒 16 帧的速度生成最长 16 秒的视频。
Meta 称，发现这些模型可以推理物体的运动、拍摄主体与物体之间的相互作用，以及相机的运动，并且可以学习各种概念了解有哪些合理的运动，因此，它们成为同类中最先进的模型。在介绍该功能时，Meta 展示了多个 10 秒长度的视频短片，包括一只像萌翻网络的弹跳猪 “Moo Deng” 那样的小河马游来游去。
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/9c764d6c-3683-40c5-b9b6-42203220914c.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="900" height="507" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/9c764d6c-3683-40c5-b9b6-42203220914c.jpeg"/>
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/86f5a0bc-75c0-4a8c-8b16-1bee59fef97e.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1089" height="587" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/86f5a0bc-75c0-4a8c-8b16-1bee59fef97e.jpeg"/>
华尔街见闻注意到，单从生成视频的最大长度看，Movie Gen 还不敌今年 2 月 OpenAI 发布的 Sora。Sora 令业界震撼的一点是，可以创建长达 60 秒的文生视频。不过，相比 Meta 去年 11 月官宣的视频模型 Emu Video，Movie Gen 确实进步不小。Emu Video 只能以每秒 16 帧的速度生成最长 4 秒的视频。
除了直接文生视频，Movie Gen 还有出色的个性化视频制作能力。Meta 介绍，其扩展了前述基础模型，支持生成个性化视频。用户可以提供某个人的图像，配合文本的提示词，让 Move Gen 生成的视频包含参考图像中的人物，以及符合文本提示的视觉细节。Meta 称，在创建保留人类身份和动作的个性化视频方面，其模型取得了最先进的成果。
Meta 展示的一个视频显示，用户可以提供一个女孩的照片，输入文字 “一名身穿粉色马甲的女 DJ 播放唱片，她身旁有一只猎豹”，然后就生成了以照片中女孩为形象的 DJ 打碟，以及一只猎豹陪伴。
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1d869c19-8981-4e68-ab47-f051be0e72f6.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="591" height="304" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/1d869c19-8981-4e68-ab47-f051be0e72f6.jpeg"/>
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/fe8fa0d1-ac35-4ea5-9048-bfd13d00b89f.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="564" height="335" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/fe8fa0d1-ac35-4ea5-9048-bfd13d00b89f.jpeg"/>
在精确视频编辑方面，Meta 称，Movie Gen 采用了同一基础模型的编辑变体模型，在用户输入视频和文本提示词后，精确执行任务，生成所需的输出。它将视频生成与高级图像编辑相结合，执行局部编辑，例如添加、删除或替换元素，以及诸如背景或样式修改的全局更改。与需要专业技能或缺乏生成精确度的传统工具不同，Movie Gen 保留了原始内容，仅针对相关像素编辑。
Meta 提供的示例之一是，用户输入，让企鹅穿上有英国女王维多利亚在位时期服饰风格的服装，Movie Gen 生成的企鹅穿上了带蕾丝的红色女裙。
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/afbf4f12-26cd-4d94-903d-bbe6a70b109f.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="580" height="291" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/afbf4f12-26cd-4d94-903d-bbe6a70b109f.jpeg"/>
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a17ededd-22a5-40e9-a2a0-874bcb2188f4.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="530" height="278" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/a17ededd-22a5-40e9-a2a0-874bcb2188f4.jpeg"/>
对于音频生成，Meta 称，训练了一个 130 亿参数的音频生成模型，该模型可以接受视频和可选的文本提示词，生成长达 45 秒的高质量高保真音频，包括环境音、拟声音效（Foley）和乐器背景音乐，所有这些都与视频内容同步。此外，Meta 引入了一种音频扩展技术，可以为任意长度的视频生成连贯的音频，在音频质量、视频到音频对齐和文本到音频对齐方面总体上实现了最先进的性能。
Meta 提供的一个例子是，生成在吉他音乐的伴奏下，全地形车（ATV）引擎轰鸣加速的声音，还有一个例子是，管弦乐声中有树叶沙沙作响和树枝折断的声音。
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e596b23a-a94b-4831-8baf-47916c8e4e91.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="559" height="323" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e596b23a-a94b-4831-8baf-47916c8e4e91.jpeg"/>
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e7945921-f829-444b-bf24-2c71d6a7a677.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="546" height="313" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/e7945921-f829-444b-bf24-2c71d6a7a677.jpeg"/>
Meta 还展示了针对以上四种能力进行的 A/B 对比测试人工评估结果，下图显示的净正值胜率代表，相比 Sora 等竞品模型，人类评估者更青睐 Movie Gen 模型生成的结果。在直接生成视频这个功能方面，Movie Gen 相比 Sora 的净胜率达到 8.2。
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/de0b2017-e7fa-43e3-b97d-cdbb29a0a606.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1129" height="183" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/de0b2017-e7fa-43e3-b97d-cdbb29a0a606.jpeg"/>
<h2>基于授权和公开可用数据训练 未明确何时发布 扎克伯格称明年上线 Instagram</h2>
Movie Gen 是基于哪些信息进行训练的？Meta 的声明没有说明具体细节，只是说：“我们基于授权和公开可用的数据集对这些模型进行了训练。”
有评论指出，对生成式 AI 工具而言，训练数据的来源以及从网上抓取哪些数据合理仍然是有争议的问题，而且公众很少知道使用哪些文本、视频或音频片段创建了任何大模型。
还有评论称，Meta 说训练用的数据集是 “专有/商业敏感” 的，未提供细节，那么只能猜测，数据包括很多 Instagram 和 Facebook 平台的视频，加上一些 Meta 合作伙伴的内容，以及其他很多未得到充分保护的内容、也就是所谓的 “公开可用” 内容。
对于发布时间，Meta 本周五并未明确 Movie Gen 何时面向大众推出，只是含糊地说 “可能未来发布”。今年 2 月 OpenAI 官宣 Sora 后迄今还未真正向公众开放使用，也并未透露任何计划将要发布的日期。
不过，Meta CEO 扎克伯格称，Movie Gen 明年会上线 Meta 旗下的社交媒体 Instagram。他在个人 Instagram 账号发布了一段 Movie Gen 生成的视频，显示他在用腿部推举机，随着他开始锻炼，背景发生了变化。先是显示，他在一家霓虹灯照耀的未来风格健身房锻炼，然后变为，他穿着角斗士盔甲锻炼，接着变为他推动一台燃烧的纯金机器，最后变为，他用腿部推举一盒鸡块，周围是一片薯条。
扎克伯格配上文字称，Meta 新的 MovieGen AI 模型可以制作和编辑视频，每天都是炼腿的日子。该模型将于明年登陆 Instagram。
<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/6e903088-9989-4cf4-aff1-097a4ec116ff.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="885" height="731" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/6e903088-9989-4cf4-aff1-097a4ec116ff.jpeg"/>
在社交媒体 X，Meta 官宣并演示 Movie Gen 的帖子下面，一些点赞高的评论显示，网友已经在催促 Meta 正式发布该模型，有网友问，不知道大家有没有机会来试试它。<img class="wscnph" src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d2a261d4-1a19-4687-a2c0-521a3d3bb5e0.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="709" height="245" original-src="https://imageproxy.pbkrs.com/https://wpimg-wscn.awtmt.com/d2a261d4-1a19-4687-a2c0-521a3d3bb5e0.jpeg"/>

Sora 劲敌！Meta 最强沉浸式 AI 媒体模型来了，300 亿参数模型支持 Movie Gen 视频