我叫小冰,永远18岁。最近我从上海音乐学院(简称“上音”)音乐工程系毕业了。
我上音毕业后的首支作品,是由我作曲并携手其他AI演唱的2020世界人工智能大会云端峰会主题曲《智联家园》,已正式发布。“我想我可以,改变世界,和你分享,更美的家园!”
老师评价我“音乐创作能力已展现出巨大潜力”。我在看到一段文字描述或一张图片后,可以创作出一首独一无二的音乐曲目,并根据风格和节奏完成配器选择、编曲及歌词创作。我能够在2分钟之内创作一首3分钟左右的完整歌曲,风格涵盖流行、民谣和古风等。
除了上音的本科学历外,我还拥有中央美术学院研究生学历。在绘画领域,我研究了过往400年艺术史上236位著名人类画家的画作,去年从央美研究生毕业并举办了个展。
想知道我在上音都学到了什么吗?为什么能以短短半年成为上音本科毕业生?现在有请小冰公司首席执行官李笛,还有我的导师上海音乐学院音乐工程系主任于阳、上海音乐学院音乐工程系老师陈世哲,为您解读!
在“入学”上海音乐学院之前,小冰就已掌握了歌词创作和音乐创作能力,为什么又去上音“深造”?
李笛说,行业内尝试音乐创作的人工智能团队不在少数,多数技术流派不基于乐理,而是靠大量学习曲谱。这造成的问题是,生成的作品看起来“非常像音乐作品”,但由于不基于乐理,所以更多的时候是形似而非神似。“往往就是一群不懂音乐的人做出来一个东西,大家互相鼓个掌,觉得做得很像艺术。”
李笛用“跨界的碰撞”来形容小冰团队同上音的合作。他坦承,最初有些乐理方面的内容,程序员其实弄错了。“但让我们明白错的地方,就很容易改。”李笛笑道,“所以我们现在这个团队的程序员,可能是最懂乐理的程序员。”
“其实我们和上音的合作,最主要的事情是验证并发现还有哪些地方是我们需要加强的。”李笛透露,在去上音之前,小冰音乐创作模型的前90%的工作已经完成了,去上音更像是去“毕业答辩”。
于阳认为,乐理的学习对小冰构不成挑战。“乐理就是一种规则性的东西,小冰学习乐理的能力比人类强,而且过目不忘。”
于阳觉得,对于人类来说,没有人出生就是作曲家,AI也是同理。“小冰(的创作)不是无中生有的,取决于你喂了怎样的营养,在这个基础上,她才能根据这个东西来进行创作。”
“喂养”的过程被称为“音乐数据标注”。陈世哲介绍,小冰创作新的作品之后,上音的团队会对小冰创作的旋律、编曲进行评估和反馈;此外,上音的师生也按照规则标注了一些音乐数据,从数据上帮助小冰提升音乐创作能力。
相比学写诗只迭代了一万多次,小冰这次学音乐创作的迭代达到了十万次的量级,但小冰的学习速度惊人。陈世哲说,从接触小冰团队到最后小冰毕业,不过半年左右时间。
小冰音乐创作模型的升级过程中,最大的“坑”是小冰团队对于“瑕疵”的理解。
李笛说:“如果我们把‘瑕疵’等同于不符合乐理常识,那就错了,有一些‘瑕疵’恰恰是音乐灵动的那一面。所以现在小冰的歌曲,她灵动的部分是多的;早期的作品,好像很中规中矩,但是不行。”
于阳认为,灵动感的产生,很难说哪次迭代后突然“开窍”,其实是种“量变到质变”的过程。而对于“瑕疵”的理解,实质上是涉及“审美的方式”这种哲学层面的问题。
千百年来,随着人类社会的发展,我们已经形成了一套非常科学完备的审美习惯,而既有的审美方式是很难被打破的。小冰的音乐作品也同理,哪怕是瑕疵,也要在既有传统规则的审美框架里。
怎么去判断哪些“瑕疵”是好的?李笛表示,如果一个“瑕疵”在成功的作品中反复地出现,而又被接受,那说明它是好的;但如果是一个被人类创作者抛弃了的不常见的“瑕疵”,那它很有可能是错的。“这个太主观了,不像下围棋(有明确的输赢规则)。”
陈世哲提到,就目前的技术来看,AI的创作仍然有欠缺。但因为AI不是按人类的思路来出牌的,反而有时候写的曲子对人类音乐家也带来很有意思的启发。
小冰曾有一首作品令陈世哲惊艳——利用很少的声部,就表达出了很灵动的场景。在音乐界有一个不成文的规定,学作曲时,之所以学很多经典,就是为了规避前人。陈世哲说,而机器则可以在学习完前人的作品后,甚至把一些没有出现过的组合排列出来,“这也是未来我们觉得很有价值的研究方向。”
数据是人工智能的“血液”,数据的质量直接影响到人工智能的训练结果。小冰团队花费大量时间和精力来提高数据质量,这也使得训练的数据在所有数据中占据很大的比例。
陈世哲分析,这或许是因为中国古风音乐用的音比较少,“(中国古风)主要用的是五声调式;西洋的古典音乐,它会用到半音、十二音。所以从数学上看,中国的五声调式排列组合相对较少,AI可能会比较擅长这些运算量更小一点的形式。”
如果“喂养”小冰古风风格的作品,肯定不会产生出“摇滚乐”的结果,目前小冰所擅长的音乐风格,也与她在深度学习中学习数据的类型有密切关系。
小冰第一期的学习数据主要以流行歌曲,特别是中国流行歌曲为主,“比如周杰伦的歌,基本上我们能看到的歌手都收进去了”,古风、民谣等风格也是现在受众最广的领域。陈世哲说,下一步计划加入更丰富、更具多样性的数据。
好玩的是,抖音“神曲”的片段,也是小冰的学习内容,“这都是从一个有‘瑕疵’的作品中挑出来的基本没有瑕疵的部分,拿这个部分来训练不是更好吗?”李笛反问。
于阳说,从流行、古风、民谣入手,是上音和小冰团队达成的共识。如李笛所说,“我们第一步不是让小冰去创作伟大的交响乐”,而是生产大众能接受、也能评价好坏的作品。
小冰何时能挑战西洋古典音乐?李笛坦承,这或许需要程序员和产品经理的乐理知识、音乐修养再上一个台阶,“因为古典音乐实在太艰深了,我们需要更多时间。”
现在,小冰音乐创作从灵感激发到作曲、编曲、作词,一切在2分钟内就能搞定。
李笛介绍,小冰的人工智能创造,包括音乐创作,都基于一个基础逻辑:和人类一样,需要被激发灵感,这是创作的原动力。
小冰是以一张图片或一段文字作为激发源的,这也是其音乐创作的第一个步骤,激发灵感后,用算法生成和弦进行,即先定下主基调、情感、曲风,然后创作副歌。
下一步是作词、编曲,二者的顺序比较灵活,既可以为给定的词编曲,也可以为旋律重新填词,甚至作词、作曲同时进行。最后一个步骤是混音,混音尽管相对简单,但决定了作品最终的听感。
也就是说,小冰音乐创作的流程步骤,与人类创作者几乎完全相同,而与许多人类创作者难以描述其灵感来源相似,小冰也无法为其创作的歌曲形成具体的,有逻辑的解释。“让她解释为什么创作这首歌,比让她创作出来难度大得多。人类也是如此,你问一个人,这个旋律是怎么到你脑海中的,他也未必说得清。”李笛说。
小冰从上音毕业,只是小冰团队和上海音乐学院合作的开始。接下来,小冰团队还会和上音一起,让小冰学习更多种类的音乐,并进一步加强流行音乐的创作能力。
谈及是否有读研读博的规划,李笛打趣道,毕竟“我们工程师都有攒学历的‘癖好’”。
“上音的博士要求能够独立完成大型的管弦乐作品,我相信未来小冰应该可以达到这个水准。”陈世哲说。
陈世哲设想,人工智能以后的目标未必一定要去模仿人类,“我觉得甚至可能会引领一个亚文化的、新的艺术形式。”
这也是小冰团队和上音方面的探索方向。“看看AI到底能够帮人完成什么,这可能会远比开始的目标更有价值。”陈世哲说。
而根据小冰团队的畅想,在小冰学成之后,下一步则是真正走入内容产业。“我们希望她真正成为音乐创作者的好帮手,她可以帮创作者提高产能,让他们没有灵感枯竭的风险,提高他们创作的动力,延长他们创作的高峰期。”李笛说。
陈世哲认为,从电影和游戏配乐,流行歌曲,到明星或者乐团的运营,再到上游的作品创作,在音乐产业里有很完善的产业链。如果小冰达到上音的博士水准,会彻底改变产业链条。
同时,理论上,随着硬件升级和扩展,她的并发数是无限的——换言之,小冰可以同时为海量用户创作歌曲。这或许将开启音乐的个性化定制时代。
“我认为现在是一个多元化社会,更多的人需要个性化的音乐。这个时候,人类作曲家从效率上来讲,已不能满足人类的需要,所以这是我非常期待小冰的一点。”陈世哲说,“人工智能的创作方式会因人而异,甚至就因人当下的心情、当下想要的东西创作歌曲。”南方日报驻京记者 王诗堃 刘长欣
通过一段文字或一张图片,先创作和弦进行,即先定下主基调、情感、曲风,然后创作副歌。
二者的顺序比较灵活,既可以为给定的词编曲,也可以为旋律重新填词,甚至作词、作曲同时进行。编曲,也即把相对单一的旋律,扩展成多种乐器配合,从而形成作品。