您现在的位置:主页 > 深圳薄膜开关厂 >
栏目导航
热门新闻

Meta 发布支持 128 种语言的新语音模型:指向元宇宙跨语种交流可

发布日期:2021-11-24 00:43   来源:未知   阅读:

  相互交谈是人们互动的一种自然方式,随着语音技术的发展,未来的虚拟世界可以使用我们技术进行互动,虚拟体验将与物理世界融为一体。

  说人话,就是让母语不同的人在元宇宙里社交:一位说着英语,一位说着汉语,两人可以靠 XLS-R 在元宇宙中无障碍对话。

  MetaAI 在 HuggingFace 上发布了试用版语音直译模型,支持从 22 种语言转换到 16 种语言,我们先来试试它的英译中效果。

  我们知道,世界上的语言有上千种,要用 AI 实现这些语言的互通并非易事。

  一般语料库的丰富程度决定了语言翻译模型的质量,语音翻译一般集中于几个资源多大语种之间。但是由于小语种往往语料匮乏,使用这类母语的人往往很难获得较高的 AI 翻译质量。

  XLS-R 通过自监督技术对 10 倍的语音数据进行训练,大大改善了以前的多语言模型,尤其是小语种的处理。

  wav2vec 2.0 与 BERT 类似,是通过预测音频 mask 部分的语音单元来训练的。它们的区别是,语音音频是一种连续的信号,不能轻易清晰地分割成单词或其他单位。

  wav2vec 2.0 通过学习 25 毫秒长的基本单元来解决这个问题,以便能够学习高级上下文表示。

  之后,Facebook 又推出了完全无监督的高性能语音识别模型wav2vec-U,它纯粹从录制的语音音频和未配对的文本中学习。

  为了 wav2vec-U 让学习识别音频录音中的单词,Facebook 训练了一个 GAN。生成器根据嵌入在自监督表示中的每个音频段,预测与语言中的声音对应的音素。

  而鉴别器负责评估预测的音素序列是否真实。最初,转录非常糟糕,但随着时间的推移,随着鉴别器的反馈,转录变得准确。博览共享宣布死亡公司已经注销领航人陈某已

  而最新发布的 XLS-R 有 128 种语言之多,语种数量是 XLSR 的两倍多,数据量更是后者 10 倍——共计长达43.6 万小时的语音。

  CoVoST-2 语音翻译基准测试中,XLS-R 在 21 个英语翻译方向上比之前技术平均提高了 7.4 BLEU。

  XLS-R 只是一个预训练模型,为了能更好的服务于具体任务,还需要对模型进行微调。手机最快报码开奖现场