现在已经是时候了!
这只名叫YACHT的舞蹈朋克乐队自本世纪初亮相之后,凭借两张专辑的器乐版名声大噪,并在“免费音乐档案馆”(FreeMusicArchive)进行了共享。斯诺登事件后,他们创作了一首名为《PartyattheNSA》的歌曲,并将收入捐给了EFF(电子前沿基金会,一个国际知名的法律援助公益组织)。最初他们的专辑只能通过传真访问,通过一个YACHT开发的Webapp发送给距离粉丝最近的传真店。其实,YACHT一直对AI及其在音乐领域的潜在应用有着浓厚的兴趣。YACHT告诉Ars,大约在年左右,用AI制作一张完整专辑的想法才显得可行。尽管研究机构长期以来一直在进行AI和机器学习的实验,并使得计算机能够自动生成音乐,但研究结果更像是科学项目,而不是适合DFA唱片公司的专辑(HotChip或LCDSoundsystem等所在的公司)。现在,AI换脸App已经取得了较大进展,加上Snapchat及其动态滤镜脱颖而出,乐队感觉现在是时候了。“我们可能是一个非常科技化的乐队,但我们都不是程序员,”Evans告诉Ars,“我们倾向于从外部观察事物,并试图弄明白如何使用工具来达到我们奇怪的目的。AI似乎是一件几乎不可能的事,它比我们处理过的任何东西都要先进得多。我们不仅想使用AI从技术上实现制作音乐的目标,还想使用这种技术来制作YACHT音乐,制作我们认同的、来自我们乐队的音乐。”把ColabNotebook带进摇滚工作室
有使用AI制作音乐的想法是一回事,实际去做又完全是另一回事。乐队从所有可用的东西开始,创始人JonaBechtolt说:“我们把所有开源的东西都搞砸了,有些工具只能私下使用——我们给每一个使用AI和具有创造力的个人、实体和公司都发了电子邮件。”但是没有一个现有的解决方案能像YACHT所希望的那样,同时兼顾质量和易用性。因此,他们决定把现有的系统拼凑一下,建立自己的系统,以便利用好YACHT的所有歌曲。Bechtolt表示,“我们知道我们必须把所有东西都建立在某种数据集的基础上,所以在早期,我们想,‘如果使用我们之前的专辑里的歌曲作为训练数据会怎么样呢?’我们天真地认为它会像Shazam一样,我们可以把原始音频直接扔给算法,然后就会自动产生结果。但这是不可能的……”“或者,至少不在我们的计算能力范围内。”Evans插话道。Bechtolt继续说道:“所以我们必须以MIDI格式来保存我们的所有歌曲,这是一个艰难的过程。我们有82首歌曲,这仍然不足以训练一个完整的模型,但是为我们提供一些素材也够了。”有了MIDI的数据,Bechtolt和他的长期合作伙伴RobKieswetter(贝斯手和键盘手)从识别小片段开始——一段特定的吉他即兴演奏,一个声乐旋律,一个鼓模式,从2小节到16小节——可以循环、组合,最终通过乐队简化的AI和ML模型来运行。乐队严重依赖Web浏览器中的ColabNotebook,具体来说,是来自谷歌Magenta团队的MusicVAE模型——手工输入数据,然后等待这个工作流的输出片段。当然,AI/ML生成的片段只不过是具有更多MIDI信息的数据。Evans在I/O大会上说,乐队在不同的节拍下,在ColabNotebook上运行了几对这样的循环,“数十次,甚至数百次,以生成大量旋律信息”作为新歌的素材,然后就是人类登场的时候了。Bechtolt表示:“仍然不能只通过按一个按钮就创作出一首歌;这根本不是一种轻松或有趣的工作流程,所以三天后,我们说,‘好吧,我想我们有足够的东西了’。在那个时候,我们在2小节和16小节之间已经有了几千个剪辑,我们不得不在某个时候结束。”Evans补充说:“我们并不是把一些东西塞进模型里,点击打印就能得到歌曲。我们必须参与其中。在制作音乐的过程中,每一步都必须有人参与。整体框架、歌词、歌词和框架之间的关系——所有这些都超出了技术的能力范围,都需要人来参与,但这其实是好事。”相关报道: