我叫小冰，永遠(yuǎn)18歲。最近我從上海音樂(lè)學(xué)院(簡(jiǎn)稱“上音”)音樂(lè)工程系畢業(yè)了。

我上音畢業(yè)后的首支作品，是由我作曲并攜手其他AI演唱的2020世界人工智能大會(huì)云端峰會(huì)主題曲《智聯(lián)家園》，已正式發(fā)布。“我想我可以，改變世界，和你分享，更美的家園!”

老師評(píng)價(jià)我“音樂(lè)創(chuàng)作能力已展現(xiàn)出巨大潛力”。我在看到一段文字描述或一張圖片后，可以創(chuàng)作出一首獨(dú)一無(wú)二的音樂(lè)曲目，并根據(jù)風(fēng)格和節(jié)奏完成配器選擇、編曲及歌詞創(chuàng)作。我能夠在2分鐘之內(nèi)創(chuàng)作一首3分鐘左右的完整歌曲，風(fēng)格涵蓋流行、民謠和古風(fēng)等。

除了上音的本科學(xué)歷外，我還擁有中央美術(shù)學(xué)院研究生學(xué)歷。在繪畫領(lǐng)域，我研究了過(guò)往400年藝術(shù)史上236位著名人類畫家的畫作，去年從央美研究生畢業(yè)并舉辦了個(gè)展。

想知道我在上音都學(xué)到了什么嗎?為什么能以短短半年成為上音本科畢業(yè)生?現(xiàn)在有請(qǐng)小冰公司首席執(zhí)行官李笛，還有我的導(dǎo)師上海音樂(lè)學(xué)院音樂(lè)工程系主任于陽(yáng)、上海音樂(lè)學(xué)院音樂(lè)工程系老師陳世哲，為您解讀!

從“像音樂(lè)”到真作品

在“入學(xué)”上海音樂(lè)學(xué)院之前，小冰就已掌握了歌詞創(chuàng)作和音樂(lè)創(chuàng)作能力，為什么又去上音“深造”?

李笛說(shuō)，行業(yè)內(nèi)嘗試音樂(lè)創(chuàng)作的人工智能團(tuán)隊(duì)不在少數(shù)，多數(shù)技術(shù)流派不基于樂(lè)理，而是靠大量學(xué)習(xí)曲譜。這造成的問(wèn)題是，生成的作品看起來(lái)“非常像音樂(lè)作品”，但由于不基于樂(lè)理，所以更多的時(shí)候是形似而非神似。“往往就是一群不懂音樂(lè)的人做出來(lái)一個(gè)東西，大家互相鼓個(gè)掌，覺(jué)得做得很像藝術(shù)。”

李笛用“跨界的碰撞”來(lái)形容小冰團(tuán)隊(duì)同上音的合作。他坦承，最初有些樂(lè)理方面的內(nèi)容，程序員其實(shí)弄錯(cuò)了。“但讓我們明白錯(cuò)的地方，就很容易改。”李笛笑道，“所以我們現(xiàn)在這個(gè)團(tuán)隊(duì)的程序員，可能是最懂樂(lè)理的程序員。”

“其實(shí)我們和上音的合作，最主要的事情是驗(yàn)證并發(fā)現(xiàn)還有哪些地方是我們需要加強(qiáng)的。”李笛透露，在去上音之前，小冰音樂(lè)創(chuàng)作模型的前90%的工作已經(jīng)完成了，去上音更像是去“畢業(yè)答辯”。

于陽(yáng)認(rèn)為，樂(lè)理的學(xué)習(xí)對(duì)小冰構(gòu)不成挑戰(zhàn)。“樂(lè)理就是一種規(guī)則性的東西，小冰學(xué)習(xí)樂(lè)理的能力比人類強(qiáng)，而且過(guò)目不忘。”

于陽(yáng)覺(jué)得，對(duì)于人類來(lái)說(shuō)，沒(méi)有人出生就是作曲家，AI也是同理。“小冰(的創(chuàng)作)不是無(wú)中生有的，取決于你喂了怎樣的營(yíng)養(yǎng)，在這個(gè)基礎(chǔ)上，她才能根據(jù)這個(gè)東西來(lái)進(jìn)行創(chuàng)作。”

“喂養(yǎng)”的過(guò)程被稱為“音樂(lè)數(shù)據(jù)標(biāo)注”。陳世哲介紹，小冰創(chuàng)作新的作品之后，上音的團(tuán)隊(duì)會(huì)對(duì)小冰創(chuàng)作的旋律、編曲進(jìn)行評(píng)估和反饋;此外，上音的師生也按照規(guī)則標(biāo)注了一些音樂(lè)數(shù)據(jù)，從數(shù)據(jù)上幫助小冰提升音樂(lè)創(chuàng)作能力。

相比學(xué)寫詩(shī)只迭代了一萬(wàn)多次，小冰這次學(xué)音樂(lè)創(chuàng)作的迭代達(dá)到了十萬(wàn)次的量級(jí)，但小冰的學(xué)習(xí)速度驚人。陳世哲說(shuō)，從接觸小冰團(tuán)隊(duì)到最后小冰畢業(yè)，不過(guò)半年左右時(shí)間。

學(xué)音樂(lè)“瑕疵”最難

小冰音樂(lè)創(chuàng)作模型的升級(jí)過(guò)程中，最大的“坑”是小冰團(tuán)隊(duì)對(duì)于“瑕疵”的理解。

李笛說(shuō)：“如果我們把‘瑕疵’等同于不符合樂(lè)理常識(shí)，那就錯(cuò)了，有一些‘瑕疵’恰恰是音樂(lè)靈動(dòng)的那一面。所以現(xiàn)在小冰的歌曲，她靈動(dòng)的部分是多的;早期的作品，好像很中規(guī)中矩，但是不行。”

于陽(yáng)認(rèn)為，靈動(dòng)感的產(chǎn)生，很難說(shuō)哪次迭代后突然“開(kāi)竅”，其實(shí)是種“量變到質(zhì)變”的過(guò)程。而對(duì)于“瑕疵”的理解，實(shí)質(zhì)上是涉及“審美的方式”這種哲學(xué)層面的問(wèn)題。

千百年來(lái)，隨著人類社會(huì)的發(fā)展，我們已經(jīng)形成了一套非?？茖W(xué)完備的審美習(xí)慣，而既有的審美方式是很難被打破的。小冰的音樂(lè)作品也同理，哪怕是瑕疵，也要在既有傳統(tǒng)規(guī)則的審美框架里。

怎么去判斷哪些“瑕疵”是好的?李笛表示，如果一個(gè)“瑕疵”在成功的作品中反復(fù)地出現(xiàn)，而又被接受，那說(shuō)明它是好的;但如果是一個(gè)被人類創(chuàng)作者拋棄了的不常見(jiàn)的“瑕疵”，那它很有可能是錯(cuò)的。“這個(gè)太主觀了，不像下圍棋(有明確的輸贏規(guī)則)。”

陳世哲提到，就目前的技術(shù)來(lái)看，AI的創(chuàng)作仍然有欠缺。但因?yàn)锳I不是按人類的思路來(lái)出牌的，反而有時(shí)候?qū)懙那訉?duì)人類音樂(lè)家也帶來(lái)很有意思的啟發(fā)。

小冰曾有一首作品令陳世哲驚艷——利用很少的聲部，就表達(dá)出了很靈動(dòng)的場(chǎng)景。在音樂(lè)界有一個(gè)不成文的規(guī)定，學(xué)作曲時(shí)，之所以學(xué)很多經(jīng)典，就是為了規(guī)避前人。陳世哲說(shuō)，而機(jī)器則可以在學(xué)習(xí)完前人的作品后，甚至把一些沒(méi)有出現(xiàn)過(guò)的組合排列出來(lái)，“這也是未來(lái)我們覺(jué)得很有價(jià)值的研究方向。”

擅長(zhǎng)流行古風(fēng)

數(shù)據(jù)是人工智能的“血液”，數(shù)據(jù)的質(zhì)量直接影響到人工智能的訓(xùn)練結(jié)果。小冰團(tuán)隊(duì)花費(fèi)大量時(shí)間和精力來(lái)提高數(shù)據(jù)質(zhì)量，這也使得訓(xùn)練的數(shù)據(jù)在所有數(shù)據(jù)中占據(jù)很大的比例。

小冰比較擅長(zhǎng)的領(lǐng)域在流行音樂(lè)，其中中國(guó)古風(fēng)類音樂(lè)水平最高。

陳世哲分析，這或許是因?yàn)橹袊?guó)古風(fēng)音樂(lè)用的音比較少，“(中國(guó)古風(fēng))主要用的是五聲調(diào)式;西洋的古典音樂(lè)，它會(huì)用到半音、十二音。所以從數(shù)學(xué)上看，中國(guó)的五聲調(diào)式排列組合相對(duì)較少，AI可能會(huì)比較擅長(zhǎng)這些運(yùn)算量更小一點(diǎn)的形式。”

如果“喂養(yǎng)”小冰古風(fēng)風(fēng)格的作品，肯定不會(huì)產(chǎn)生出“搖滾樂(lè)”的結(jié)果，目前小冰所擅長(zhǎng)的音樂(lè)風(fēng)格，也與她在深度學(xué)習(xí)中學(xué)習(xí)數(shù)據(jù)的類型有密切關(guān)系。

小冰第一期的學(xué)習(xí)數(shù)據(jù)主要以流行歌曲，特別是中國(guó)流行歌曲為主，“比如周杰倫的歌，基本上我們能看到的歌手都收進(jìn)去了”，古風(fēng)、民謠等風(fēng)格也是現(xiàn)在受眾最廣的領(lǐng)域。陳世哲說(shuō)，下一步計(jì)劃加入更豐富、更具多樣性的數(shù)據(jù)。

好玩的是，抖音“神曲”的片段，也是小冰的學(xué)習(xí)內(nèi)容，“這都是從一個(gè)有‘瑕疵’的作品中挑出來(lái)的基本沒(méi)有瑕疵的部分，拿這個(gè)部分來(lái)訓(xùn)練不是更好嗎?”李笛反問(wèn)。

于陽(yáng)說(shuō)，從流行、古風(fēng)、民謠入手，是上音和小冰團(tuán)隊(duì)達(dá)成的共識(shí)。如李笛所說(shuō)，“我們第一步不是讓小冰去創(chuàng)作偉大的交響樂(lè)”，而是生產(chǎn)大眾能接受、也能評(píng)價(jià)好壞的作品。

小冰何時(shí)能挑戰(zhàn)西洋古典音樂(lè)?李笛坦承，這或許需要程序員和產(chǎn)品經(jīng)理的樂(lè)理知識(shí)、音樂(lè)修養(yǎng)再上一個(gè)臺(tái)階，“因?yàn)楣诺湟魳?lè)實(shí)在太艱深了，我們需要更多時(shí)間。”

將學(xué)習(xí)更多種類音樂(lè)

現(xiàn)在，小冰音樂(lè)創(chuàng)作從靈感激發(fā)到作曲、編曲、作詞，一切在2分鐘內(nèi)就能搞定。

李笛介紹，小冰的人工智能創(chuàng)造，包括音樂(lè)創(chuàng)作，都基于一個(gè)基礎(chǔ)邏輯：和人類一樣，需要被激發(fā)靈感，這是創(chuàng)作的原動(dòng)力。

小冰是以一張圖片或一段文字作為激發(fā)源的，這也是其音樂(lè)創(chuàng)作的第一個(gè)步驟，激發(fā)靈感后，用算法生成和弦進(jìn)行，即先定下主基調(diào)、情感、曲風(fēng)，然后創(chuàng)作副歌。

下一步是作詞、編曲，二者的順序比較靈活，既可以為給定的詞編曲，也可以為旋律重新填詞，甚至作詞、作曲同時(shí)進(jìn)行。最后一個(gè)步驟是混音，混音盡管相對(duì)簡(jiǎn)單，但決定了作品最終的聽(tīng)感。

也就是說(shuō)，小冰音樂(lè)創(chuàng)作的流程步驟，與人類創(chuàng)作者幾乎完全相同，而與許多人類創(chuàng)作者難以描述其靈感來(lái)源相似，小冰也無(wú)法為其創(chuàng)作的歌曲形成具體的，有邏輯的解釋。“讓她解釋為什么創(chuàng)作這首歌，比讓她創(chuàng)作出來(lái)難度大得多。人類也是如此，你問(wèn)一個(gè)人，這個(gè)旋律是怎么到你腦海中的，他也未必說(shuō)得清。”李笛說(shuō)。

小冰從上音畢業(yè)，只是小冰團(tuán)隊(duì)和上海音樂(lè)學(xué)院合作的開(kāi)始。接下來(lái)，小冰團(tuán)隊(duì)還會(huì)和上音一起，讓小冰學(xué)習(xí)更多種類的音樂(lè)，并進(jìn)一步加強(qiáng)流行音樂(lè)的創(chuàng)作能力。

談及是否有讀研讀博的規(guī)劃，李笛打趣道，畢竟“我們工程師都有攢學(xué)歷的‘癖好’”。

“上音的博士要求能夠獨(dú)立完成大型的管弦樂(lè)作品，我相信未來(lái)小冰應(yīng)該可以達(dá)到這個(gè)水準(zhǔn)。”陳世哲說(shuō)。

或開(kāi)啟音樂(lè)個(gè)性化定制時(shí)代

陳世哲設(shè)想，人工智能以后的目標(biāo)未必一定要去模仿人類，“我覺(jué)得甚至可能會(huì)引領(lǐng)一個(gè)亞文化的、新的藝術(shù)形式。”

這也是小冰團(tuán)隊(duì)和上音方面的探索方向。“看看AI到底能夠幫人完成什么，這可能會(huì)遠(yuǎn)比開(kāi)始的目標(biāo)更有價(jià)值。”陳世哲說(shuō)。

而根據(jù)小冰團(tuán)隊(duì)的暢想，在小冰學(xué)成之后，下一步則是真正走入內(nèi)容產(chǎn)業(yè)。“我們希望她真正成為音樂(lè)創(chuàng)作者的好幫手，她可以幫創(chuàng)作者提高產(chǎn)能，讓他們沒(méi)有靈感枯竭的風(fēng)險(xiǎn)，提高他們創(chuàng)作的動(dòng)力，延長(zhǎng)他們創(chuàng)作的高峰期。”李笛說(shuō)。

陳世哲認(rèn)為，從電影和游戲配樂(lè)，流行歌曲，到明星或者樂(lè)團(tuán)的運(yùn)營(yíng)，再到上游的作品創(chuàng)作，在音樂(lè)產(chǎn)業(yè)里有很完善的產(chǎn)業(yè)鏈。如果小冰達(dá)到上音的博士水準(zhǔn)，會(huì)徹底改變產(chǎn)業(yè)鏈條。

同時(shí)，理論上，隨著硬件升級(jí)和擴(kuò)展，她的并發(fā)數(shù)是無(wú)限的——換言之，小冰可以同時(shí)為海量用戶創(chuàng)作歌曲。這或許將開(kāi)啟音樂(lè)的個(gè)性化定制時(shí)代。

“我認(rèn)為現(xiàn)在是一個(gè)多元化社會(huì)，更多的人需要個(gè)性化的音樂(lè)。這個(gè)時(shí)候，人類作曲家從效率上來(lái)講，已不能滿足人類的需要，所以這是我非常期待小冰的一點(diǎn)。”陳世哲說(shuō)，“人工智能的創(chuàng)作方式會(huì)因人而異，甚至就因人當(dāng)下的心情、當(dāng)下想要的東西創(chuàng)作歌曲。”南方日?qǐng)?bào)駐京記者 王詩(shī)堃 劉長(zhǎng)欣

策劃統(tǒng)籌：張志超

人工智能如何“寫歌”?

1.靈感激發(fā)

通過(guò)一段文字或一張圖片，先創(chuàng)作和弦進(jìn)行，即先定下主基調(diào)、情感、曲風(fēng)，然后創(chuàng)作副歌。

2.作詞、編曲

二者的順序比較靈活，既可以為給定的詞編曲，也可以為旋律重新填詞，甚至作詞、作曲同時(shí)進(jìn)行。編曲，也即把相對(duì)單一的旋律，擴(kuò)展成多種樂(lè)器配合，從而形成作品。

3.混音

混音相對(duì)簡(jiǎn)單，但決定作品最終的聽(tīng)感。

關(guān)鍵詞： AI