在语音方面，Meta 又达到了另一个 LLaMA 级的里程碑。
今天，Meta 推出了一个名为 MMS 的大规模多语言语音项目，它将彻底改变语音技术。
MMS 支持 1000 多种语言，用圣经训练，错误率仅为 Whisper 数据集的一半。
只凭一个模型，Meta 就建起了一座巴别塔。
并且，Meta 选择将所有模型和代码开源，希望为保护世界语种的多样性做出贡献。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjicOdR3bN8stZoaicYVPk4QZgfDgBTVJMcJbK6MN5ibW1NpcsXqfzpAPIQ/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1079" height="424" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjicOdR3bN8stZoaicYVPk4QZgfDgBTVJMcJbK6MN5ibW1NpcsXqfzpAPIQ/640/query-d3hfZm10PXBuZw"/>
在此之前的模型可以覆盖大约 100 种语言，而这次，MMS 直接把这个数字增加了 10-40 倍！
具体来说，Meta 开放了 1100 多种语言的多语种语音识别/合成模型，以及 4000 多种语言的语音识别模型。
与 OpenAI Whisper 相比，多语言 ASR 模型支持 11 倍以上的语言，但在 54 种语言上的平均错误率还不到 FLEURS 的一半。
而且，将 ASR 扩展到如此多语言之后，只造成了非常小的性能下降。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZja1oLbyccSAAhAUcEL5Sfw8ZCic1cPjNlOepc86ym3CVd51P48CZNG8w/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="592" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZja1oLbyccSAAhAUcEL5Sfw8ZCic1cPjNlOepc86ym3CVd51P48CZNG8w/640/query-d3hfZm10PXBuZw"/>论文地址：https://research.facebook.com/publications/scaling-speech-technology-to-1000-languages/
<section>
<section>
<h2>保护消失语种，MMS 把语音识别增加 40 倍</h2>
</section>
</section>
<section>让机器具备识别和产生语音的能力，可以让更多人获得信息。</section>
然而，为这些任务生成高质量的机器学习模型，就需要大量的标记数据，比如数千小时的音频以及转录——对于大多数语言来说，这种数据根本就不存在。
现有的语音识别模型，只涵盖了大约 100 种语言，在地球上的 7000 多种已知语言中，这只占很小一部分。令人担忧的是，在我们有生之年，这些语言中有一半都面临着消失的危险。

在 Massively Multilingual Speech（MMS）项目中，研究者通过结合 wav2vec 2.0（Meta 在自监督学习方面的开创性工作）和一个新的数据集来克服了一些挑战。
这个数据集提供了超过 1100 种语言的标记数据，和近 4000 种语言的未标记数据。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjGpr8a97ZmNsjZ7jyVtDbib66wCvubPXJYyDraSVng5Q349agQHh6eFA/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="534" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjGpr8a97ZmNsjZ7jyVtDbib66wCvubPXJYyDraSVng5Q349agQHh6eFA/640/query-d3hfZm10PXBuZw"/>通过跨语言训练，wav2vec 2.0 学习了多种语言中使用的语音单元
其中一些语言，如 Tatuyo 语，只有几百个使用者，而数据集中的大多数语言，以前根本就不存在语音技术。
而结果显示，MMS 模型的性能优于现有的模型，覆盖语言的数量是现有模型的 10 倍。
Meta 一向专注于多语言工作：在文本上，Meta 的 NLLB 项目将多语言翻译扩展到了 200 种语言，而 MMS 项目，则将语音技术扩展到更多语言。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjQvECrcFNYfg0pibgTmSpURLZeRU86TEEzuT6lH24ibLt4oicF5kHtuEgw/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="658" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjQvECrcFNYfg0pibgTmSpURLZeRU86TEEzuT6lH24ibLt4oicF5kHtuEgw/640/query-d3hfZm10PXBuZw"/>MMS 支持 1,107 种语言的语音转文本和文本转语音，支持 4,000 多种语言的识别
<section>
<h2>圣经解决语音数据集难题</h2>
</section>
<section>收集数千种语言的音频数据并不是一件简单的事情，这也是 Meta 的研究人员面临的第一个挑战。</section>
要知道，现有的最大语音数据集最多也只涵盖了 100 种语言。为了克服这个问题，研究人员转向了宗教文本，如《圣经》。
这类文本已经被翻译成许多不同的语言，被用于广泛的研究，还有各种公开的录音。
为此，Meta 的研究者专门创建了一个超过 1100 种语言的《新约》阅读数据集，平均每种语言提供 32 小时的数据。
再加上其他各种宗教读物的无标签录音，研究者将可用的语言数量增加到了 4000 多种。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZj1QRU5vOsIibVsyJnAYBSstOS5TBDYmoSwsIa5TiatL08xHB2LaYRUL6g/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="570" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZj1QRU5vOsIibVsyJnAYBSstOS5TBDYmoSwsIa5TiatL08xHB2LaYRUL6g/640/query-d3hfZm10PXBuZw"/>在 MMS 数据上训练的自动语音识别模型，在 FLEURS 基准测试中，对男性和女性说话者具有相似的错误率
这些数据通常是由男性朗读的，但模型对男性和女性的声音表现得同样好。
并且，虽然录音的内容是宗教性的，但这并没有使模型过度偏向于产生更多的宗教语言。
研究人员分析认为，这是因为他们使用了连接主义时间分类方法，与用于语音识别的大语言模型或序列对序列模型相比，它的约束性要大得多。
<section>
<section>
<h2>模型越大，越能打？</h2>
</section>
</section>
<section>研究人员首先对数据进行了预处理，以提高数据的质量，并使其能被机器学习算法所利用。</section>
为此，研究人员在 100 多种语言的现有数据上训练了一个对齐模型，并将这个模型与一个高效的强制对齐算法一起使用，而该算法可以处理大约 20 分钟或更长时间的录音。
研究人员多次重复了这个过程，并根据模型的准确性进行了最后的交叉验证过滤步骤，为的是去除潜在的错误对齐数据。
为了使其他研究人员能够创建新的语音数据集，研究人员将对齐算法添加到了 PyTorch 中并发布了对齐模型。
目前，每种语言都有 32 小时的数据，但这并不足以训练传统的监督式语音识别模型。
这也就是为什么研究人员在 wav2vec 2.0 上训练模型，这样可以大大减少训练一个模型所需的标注数据量。
具体来说，研究人员在超过 1400 种语言的约 50 万小时的语音数据上训练了自监督模型——这个量比过去多了近 5 倍。
然后针对特定的语音任务，如多语言语音识别或语言识别，研究人员再对模型进行微调即可。
为了更好地了解在大规模多语言语音数据上训练的模型的表现，研究人员在现有的基准数据集上对它们进行了评估。
研究人员使用一个 1B 参数的 wav2vec 2.0 模型对超过 1100 种语言进行多语言语音识别模型的训练。
随着语言数量的增加，性能确实有所下降，但这种下降比较轻微——从 61 种语言到 1107 种语言，字符错误率只增加了约 0.4%，但语言覆盖率却增加了 18 倍以上。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjO0kZGDPGftm9nibk9AtrXttwW2sEJ7Bibq8LlKYiaV9wGSSJhDChtRia6A/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="523" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjO0kZGDPGftm9nibk9AtrXttwW2sEJ7Bibq8LlKYiaV9wGSSJhDChtRia6A/640/query-d3hfZm10PXBuZw"/>将每个系统支持的语言数量从 61 增加到 1,107 时，使用 MMS 数据训练的多语言识别系统的 61 种 FLEURS 语言的错误率。错误率越高表示性能越低
在与 OpenAI 的 Whisper 进行同类比较时，研究人员发现，在 Massively Multilingual Speech 数据上训练的模型有将近一半的单词错误率，但 Massively Multilingual Speech 涵盖的语言是 Whisper 的 11 倍。
从数据中我们可以看出，与目前最好的语音模型相比，Meta 的模型表现的真的非常不错。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjHPBRbiaqZajzsOlk2Mev57MviclynXvvBaSMHicOtC5DWCEJ9BSxiaNIuw/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="612" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjHPBRbiaqZajzsOlk2Mev57MviclynXvvBaSMHicOtC5DWCEJ9BSxiaNIuw/640/query-d3hfZm10PXBuZw"/>OpenAI Whisper 与 Massively Multilingual Speech 在 54 种 FLEURS 语言上的单词错误率对比
接下来，研究人员使用自己的以及现有的数据集，如 FLEURS 和 CommonVoice，为超过 4000 种语言训练了一个语言识别（LID）模型，并在 FLEURS LID 任务上对其进行了评估。
事实证明，哪怕支持了将近 40 倍的语言数量，性能依然很能打。
<img src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjEaMndFSoqiaRI51I3u8EtTI0yhRjulsLxWgicee95UdUhMh9XvgNctkQ/640/query-d3hfZm10PXBuZw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="590" original-src="https://imageproxy.pbkrs.com/https://mmbiz-qpic.wallstcn.com/mmbiz_png/UicQ7HgWiaUb19kNPqmxm9OfvusZenHMZjEaMndFSoqiaRI51I3u8EtTI0yhRjulsLxWgicee95UdUhMh9XvgNctkQ/640/query-d3hfZm10PXBuZw"/>在现有工作的 VoxLingua-107 基准上的语言识别准确性，支持的语言刚刚超过 100 种，而 MMS 则支持超过 4000 种语言
研究人员还为超过 1100 种语言建立了文本转语音的系统。
大规模多语种语音数据有一个局限性，那就是对于许多语言来说，它包含的不同说话者数量相对较少，通常只有一个说话者。
然而，这个特点对于建立文本到语音系统来说是一个优势，因此研究人员为超过 1100 种语言训练了类似系统。
结果表明，这些系统产生的语音质量还算不错。

<section>
<section>
<h2>未来属于单一模型</h2>
</section>
</section>
<section>Meta 的研究人员对这个结果感到很满意，但与所有新兴的 AI 技术一样，Meta 目前的模型并不算完美。</section>
比方说，语音到文本模型可能会误写选定的单词或短语，可能会导致冒犯性的或者不准确的输出结果。
同时，Meta 认为，AI 巨头的合作对于负责任的 AI 技术的发展至关重要。
世界上的许多语言都有消失的危险，而目前语音识别和语音生成技术的局限性只会加速这一趋势。
研究人员设想一个技术产生相反效果的世界，鼓励人们保持其语言的活力，因为他们可以通过说自己喜欢的语言来获取信息和使用技术。
大规模多语言语音项目是朝着这个方向迈出的重要一步。
在未来，研究人员希望进一步增加语言的覆盖面，支持更多的语言，甚至还会想办法搞定方言。要知道，方言对现有的语音技术来说可不简单。
Meta 的最终目标是让人们能更容易地用自己喜欢的语言获取信息、使用设备。
最后，Meta 的研究人员还设想了这样一个未来场景——靠一个单一的模型就可以解决所有语言的几个语音任务。
目前虽然 Meta 为语音识别、语音合成和语言识别训练了单独的模型，但研究人员相信，在未来，只需一个模型就能完成所有这些任务，甚至不止。
本文来源：新智元，原文标题：《规模性能双杀 OpenAI，Meta 语音达 LLaMA 级里程碑！开源 MMS 模型可识别 1100+ 语言》<div>风险提示及免责条款</div>
 <div>
 市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
 </div>

OpenAI

Meta 的大规模多语言语音（MMS）项目将彻底改变语音技术，使用 wav2vec 2.0 的自监督学习，MMS 将语音技术扩展到 1100 到 4000 种语言。