元宇宙

头条-文字可生成音乐!Meta发布的AI工具AudioCraft有何不同之处?

作者:CETCIT小编

2023-08-03 09:19:02

财联社8月3日讯(编辑 牛占林)美东时间周三,Meta发布了一款开源人工智能(AI)工具AudioCraft(直译为音频技艺),该工具可以帮助用户根据文本提示创作音乐和音频。


(来源:Meta官网)

Meta表示,这款人工智能工具将AudioGen、EnCodec和MusicGen三种模型或技术融为一炉,可用文本内容生成高质量、逼真的音频和音乐。

Meta在官网介绍称,MusicGen接受过Meta拥有的和特别授权的音乐训练,可以从文本提示生成音乐,而AudioGen接受过公共音效训练,可从文本提示生成音频,比如模拟狗叫或脚步声;再加上EnCodec编解码器的改进版本,用户可以更高效率地生成更高质量的音乐。

在6月初,Meta推出了名为MusicGen的开源人工智能模型,这是一种深度学习语言模型,可以根据文本提示生成音乐。

Meta的EnCodec是一个基于深度学习的音频编解码器,由人工智能驱动,可以在音频质量没有损失的前提下,将音频压缩到比MP3格式还要小10倍的程度。

AudioGen则是一个来自Meta和耶路撒冷希伯来大学的研究团队的人工智能模型,可以通过输入文本来生成音频,亦可以扩展现有音频。AudioGen可以区分不同的声音对象,并在声学上将它们分开。

Meta还演示了MusicGen和AudioGen工作的流程图,并表示将让这些模型开源,让研究人员和从业人员可以用自己的数据集训练适合自己的模型,并帮助推进人工智能生成音频和音乐领域的发展。


与其他音乐模型相比,AudioCraft系列模型能够生成长期一致的高质量音乐和音频,还简化了音频生成模型的整体设计,使得该工具简单易用。

Meta相信它的模型可以引领新一波歌曲潮流,就像合成器改变音乐一样。“我们认为MusicGen可以变成一种新型的乐器,就像最初出现的合成器一样。”

当然,Meta也承认创作复杂而又优秀的音乐还是比较困难的,因此它选择将AudioCraft开源,以使用于训练它的数据多样化。

今年早些时候,谷歌也发布了名为MusicLM的音乐生成模型,并于5月向上月向所有用户开放。除此之外,目前较为常见的音乐模型还有Riffusion、Mousai和Noise2Music等。

web3.0教程