riffusion

riffusion官网,ai生成频谱图并制作音乐

一个名为Riffusion的新人工智能项目可以生成光谱图，根据定制的音乐风格来产生声音。去年，AI人工智能的崛起是惊人的：我们看到了Pilot Plugins具有未来风格的人工智能头像，它可以帮助你生成新的MIDI和音频文件，人工智能翻唱多莉·帕顿（Dolly Parton）的《乔琳娜》（Jolene），等等。今年早些时候发布的一首人工智能演唱曲目，甚至获得了超过了1亿次播放。

riffusion官网: https://www.riffusion.com/

除了人工智能，更多的虚拟和增强现实技术也已经进入了音乐行业。现在，在AI绘画高峰之后，Riffusion已经利用相同的技术，开发了制作音乐的新方法。

它的工作原理是建立一个有索引的频谱图集合，每一个都标有关键词，代表频谱图中捕捉到的音乐风格。一旦对这个集合进行训练，Riffusion就会使用与图像生成的人工智能Stable Diffusion相同的技术来制作歌曲。

该项目将生成一个与用户需求相匹配的频谱图。频谱会具有类似的特征。例如，如果你要求提供 “流行钢琴”，它将创建一个与关键词相匹配的频谱图，并将其转换为以流行钢琴为主导的曲目。

这个会创作音乐的Stable Diffusion名叫Riffusion（riff+Diffusion），输入提示词，即可获得一段对应的音乐。比如，输入“民谣，女声引入，过渡到青少年流行歌星”。

Riffusion的工作方式是首先构建一个索引的频谱图集合，每个频谱图都标有代表频谱图中捕获的音乐风格的关键字。

一旦在此频谱图主体上进行训练，该模型就可以使用与 Stable Diffusion 相同的方法，干预噪声以获得与文本提示匹配的声波图具有相似质量的声波图像。