計算機(jī)自動作曲綜述：一種通用框架

井音吉，李圣辰

(北京郵電大學(xué) 電子工程學(xué)院，北京 100876)

當(dāng)下人工智能技術(shù)飛速發(fā)展，在很多領(lǐng)域都已經(jīng)取得了超越人類的成績，人們進(jìn)而思考計算機(jī)是否可以像人類一樣進(jìn)行如美術(shù)創(chuàng)作、音樂創(chuàng)作等藝術(shù)創(chuàng)作.計算機(jī)自動作曲其實(shí)是算法作曲的狹義概念，從廣義上來說，算法作曲是指在創(chuàng)作音樂時，利用算法思維對音樂要素進(jìn)行合理地組織，從兩兩音符的音程關(guān)系到音樂的音樂結(jié)構(gòu)都符合音樂的邏輯.計算機(jī)應(yīng)用普及后，人們將算法的思想寫為計算機(jī)語言，利用計算機(jī)來實(shí)現(xiàn)算法的功能，目前的算法作曲系統(tǒng)也都是利用計算機(jī)進(jìn)行生成音樂，所以目前自動作曲可以認(rèn)為就是算法作曲.計算機(jī)自動作曲的歷史可以追溯到1959年，Hiller等[1]利用計算機(jī)自動地作曲，隨后Xenakis[2]創(chuàng)作了使用隨機(jī)模型來學(xué)習(xí)音樂特征順序進(jìn)而生成音樂的系統(tǒng).1981年，作曲家Cope[3]開始了音樂智能實(shí)驗(yàn)(Experiments in Musical Intelligence，EMI)，他利用計算機(jī)來學(xué)習(xí)自己創(chuàng)作的樂曲，試圖為自己創(chuàng)作音樂提供靈感，隨后Cope發(fā)現(xiàn)該系統(tǒng)同樣可以學(xué)習(xí)生成不同風(fēng)格的音樂.自Cope的EMI系統(tǒng)得到關(guān)注后，對計算機(jī)自動作曲的研究有了顯著的增長，大量的方法被用到音樂的生成系統(tǒng)中，如隨機(jī)過程、啟發(fā)式算法以及人工神經(jīng)網(wǎng)絡(luò)等.時至今日，谷歌的Magenta項(xiàng)目利用深度學(xué)習(xí)的方法來生成音樂.目前有大量的文章提出了各種各樣的算法與系統(tǒng)來實(shí)現(xiàn)自動作曲，同時也有多篇綜述文章對自動作曲技術(shù)進(jìn)行回顧，2000年，Diaz-Jerez[4]將自動作曲方法從數(shù)學(xué)的角度進(jìn)行劃分，將2000年前的自動作曲方法分為隨機(jī)過程算法(其中主要利用了馬爾科夫鏈)、混沌理論、利用噪聲的方法、數(shù)論、細(xì)胞自動機(jī)以及進(jìn)化算法幾類.Nierhaus[5]在2009年對自動作曲做了詳盡的綜述，該綜述先對算法的歷史做了回顧，從算法的產(chǎn)生講到計算機(jī)實(shí)現(xiàn)算法的發(fā)展，最后再到計算機(jī)作曲系統(tǒng)的產(chǎn)生，作者從哲學(xué)以及自然科學(xué)的角度進(jìn)行了闡述，接著作者以不同算法為分類方式將自動作曲算法分為了馬爾科夫模型、生成語法模型、轉(zhuǎn)移網(wǎng)絡(luò)、混沌理論、進(jìn)化算法、細(xì)胞自動機(jī)、人工神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等類型，針對每一種分類作者給出了算法的簡單介紹并列舉了一些典型的系統(tǒng).Fernndez[6]于2013年引入了人工智能(Artificial Intelligence，AI)的概念對自動作曲進(jìn)行綜述，說明人工智能的概念已經(jīng)在作曲中形成，該綜述依然是利用不同的算法進(jìn)行分類.Lopez-Rincon[7]在對AI生成音樂的綜述中介紹了用深度學(xué)習(xí)、生成對抗網(wǎng)絡(luò)這些最新的人工智能方法生成音樂的方式.Briot[8]更是直接對利用深度學(xué)習(xí)生成音樂的方法進(jìn)行了回顧，總結(jié)了現(xiàn)有的典型的深度學(xué)習(xí)系統(tǒng)及其在音樂自動生成上的應(yīng)用.針對自動作曲的綜述不止有從算法上進(jìn)行分類的，Herremans[9]在算法分類基礎(chǔ)上更細(xì)化地從生成的音樂特征角度，將自動作曲分成了生成旋律、和聲、節(jié)奏的系統(tǒng)；作者還從系統(tǒng)是否有與人的交互、是否表達(dá)了情感以及生成的樂曲是否可以用器樂演奏對自動作曲系統(tǒng)進(jìn)行了分類.Liu等[10]的綜述將作曲分成3個組成部分，分別是旋律、伴奏以及曲式，并且分別從這3個角度對計算機(jī)自動作曲進(jìn)行了回顧.

通過對以上自動作曲文獻(xiàn)綜述的回顧，可以發(fā)現(xiàn)自動作曲伴隨著各種算法的發(fā)展而發(fā)展，尤其是近年來深度學(xué)習(xí)算法的成功應(yīng)用，利用深度學(xué)習(xí)生成音樂的結(jié)構(gòu)也層出不窮，而以往的綜述文章往往只針對系統(tǒng)來對計算機(jī)自動作曲進(jìn)行回顧，并沒有完全對計算機(jī)實(shí)現(xiàn)音樂生成的系統(tǒng)進(jìn)行介紹，使得人們無法全面地理解計算機(jī)自動作曲系統(tǒng)的工作流程，因此本文在Kirke提出的“針對音樂表現(xiàn)力的計算機(jī)系統(tǒng)”模型基礎(chǔ)上，總結(jié)得到了“計算機(jī)自動作曲系統(tǒng)”模型，利用該模型，人們可以了解到計算機(jī)如何實(shí)現(xiàn)自動作曲，以及實(shí)現(xiàn)自動作曲需要的技術(shù).但本文并沒有詳細(xì)介紹每個系統(tǒng)的工作原理，這是本文的局限性.

1 “計算機(jī)自動作曲系統(tǒng)”模型

在對生成具有表現(xiàn)力的音樂的計算機(jī)系統(tǒng)進(jìn)行回顧時，Kirke[11]提出了一個可以涵蓋絕大多數(shù)系統(tǒng)的模型，該模型包含了“樂曲樣本”、“樂理分析”、“音樂背景”、“模式識別”、“音樂理論”、“樂器模型”和“聲音合成”7個部分，如圖1(a)所示.在此模型的基礎(chǔ)上，本文提出了“計算機(jī)自動作曲系統(tǒng)”模型，如圖1(b)所示.“音樂樣本”指的是現(xiàn)有的音樂數(shù)據(jù)，這些音樂可以是音頻格式的或者是符號格式的.將音樂樣本輸入到“音樂分析”模塊中，音樂分析有兩個功能：首先是對音樂樣本進(jìn)行處理，給計算機(jī)提供可以進(jìn)行分析的數(shù)據(jù)；其次，該模塊還從樂理的層面對樣本進(jìn)行分析，分析音樂的結(jié)構(gòu)，比如韻律的結(jié)構(gòu)、旋律的結(jié)構(gòu)與和聲的結(jié)構(gòu).“音樂背景”模塊在計算機(jī)自動作曲系統(tǒng)中指的是一首樂曲所包含的情緒或者是風(fēng)格，情緒可以是歡快的，也可以是悲傷的；風(fēng)格可以指某一特定風(fēng)格的樂曲比如爵士樂、古典樂和搖滾樂，也可以是指中國音樂、西方音樂.“作曲系統(tǒng)”和“作曲理論”是密不可分的，可以進(jìn)行學(xué)習(xí)的系統(tǒng)接受“音樂背景”、“作曲理論”的信息進(jìn)行學(xué)習(xí)用來改進(jìn)作曲理論，“作曲理論”是整個模型的核心，它包含了一系列的規(guī)則來控制樂曲的表現(xiàn)力，這些規(guī)則可以由“作曲系統(tǒng)”學(xué)習(xí)得到也可以直接由樂理知識得到，進(jìn)而指導(dǎo)計算機(jī)生成音樂.“承載媒體”指的是計算機(jī)系統(tǒng)得到的音樂的承載格式，多數(shù)系統(tǒng)是生成符號形式的音樂，也有系統(tǒng)直接生成音頻形式的音樂.然后“音樂評價”模塊對生成的音樂進(jìn)行評價并反饋給作曲系統(tǒng)，從而提升系統(tǒng)的性能.

2 音樂樣本

無論是人類還是計算機(jī)都需要根據(jù)已有的音樂進(jìn)行學(xué)習(xí)，進(jìn)而創(chuàng)作音樂，這些被學(xué)習(xí)的音樂就叫做音樂樣本.音樂的記載形式有很多種，從早期的樂譜到之后的模擬音頻存儲，如黑膠唱片、磁帶，再到現(xiàn)代廣為使用的數(shù)字音頻文件如MP3、WAV格式的音樂，以及為了解決電聲樂器之間通信而提出的樂曲數(shù)字接口(Musical Instrument Digital Interface,MIDI).針對計算機(jī)自動作曲，音樂大致可以分為兩種格式：一種是音頻波形格式；另一種是符號格式.

2.1 音頻信號

音頻信號是音樂最直接的表示方式，其可以是原始音頻信號(波形)，也可以是通過傅里葉變換處理的音頻頻譜.音頻信號的生成一直是一個極具挑戰(zhàn)的任務(wù)，原始音頻信號的維數(shù)往往與有效語義級信號的維數(shù)相差很大.一般地，原始音頻信號的高維性首先通過將其壓縮成譜特征或手工設(shè)計的特征來處理，并在這些特征上定義生成模型.然而，當(dāng)產(chǎn)生的信號最終被轉(zhuǎn)成音頻波形時，樣本質(zhì)量往往會下降，需要大量且專業(yè)的校正工作.目前利用音頻波形信號作為樣本輸入生成音樂的研究有文獻(xiàn)[12-16].Amiot等[17]利用了離散傅里葉變換在頻譜上改變音樂的節(jié)奏.因?yàn)橐魳沸枰嗫紤]的是音樂要素之間的排列關(guān)系，而這些音樂要素可以用符號進(jìn)行描述，并且人類也是基于符號化的音樂要素進(jìn)行作曲的，所以目前自動作曲多是考慮符號化的音樂樣本.

2.2 符號

目前大多數(shù)生成音樂的系統(tǒng)和實(shí)驗(yàn)都側(cè)重于符號表示，音樂樣本有很多符號化存儲格式，每個系統(tǒng)使用的符號表示也不盡相同，下面我們總結(jié)最常見的幾種符號表示形式.

2.2.1 MIDI

她仰頭靜靜看著我，臉色蒼白而憔悴，唇邊仍滲出血跡，手帕觸碰到嘴角，她身體發(fā)出輕微顫抖。她一定需要溫?zé)岬囊后w安定悲傷的中樞神經(jīng)，我起身走到桌邊，在玻璃杯里放了兩朵胎菊，以沸水沖之，邊墊上茶托移到她面前邊說：“小心燙。”

MIDI，即樂器數(shù)字接口，是20世紀(jì)80年代初為解決電子樂器之間的通信問題而提出的.MIDI是編曲界最廣泛的音樂標(biāo)準(zhǔn)格式，可稱為“計算機(jī)能理解的樂譜”.MIDI中存儲的是控制音符參數(shù)的指令，比如控制音符起始、音高、音量大小等.這些指令以十六進(jìn)制存儲，圖2展示了一個音符在MIDI中的形式.MIDI是符號化音樂樣本中最流行的格式，存在著大量的資源，目前大多數(shù)自動作曲系統(tǒng)都使用MIDI音樂作為音樂樣本[18-21].

2.2.2 文本

音樂可以用文本表示，并作為文本處理，如MusicXML和ABC記譜法.和MIDI不同，文本格式的音樂方便易讀，并且可以很清楚地表明音樂的要素，如小節(jié)的表示.Sturm等[22]就在凱爾特人音樂生成系統(tǒng)中采用了ABC記譜法，并且對ABC記譜法做了一些改動，使之可以表達(dá)更為豐富的音樂信息.

2.2.3 功能譜(Lead sheet)

功能譜是流行音樂(爵士、流行等)一種重要的表示格式.一個功能譜的一頁或幾頁就能表達(dá)出一段完整的音樂，并且可以表示指定相應(yīng)和弦標(biāo)簽(和聲)的注釋，也可以添加歌詞、作曲家名字、風(fēng)格和節(jié)奏等信息.Eck等[23]的藍(lán)調(diào)生成系統(tǒng)就利用了功能譜格式的音樂樣本作為輸入樣本，Liu等[24]則直接生成了功能譜格式的音樂.

2.2.4 數(shù)據(jù)集

用于自動作曲研究的常用數(shù)據(jù)集見表1.

表1 自動作曲常用數(shù)據(jù)集Tab.1 Common datasets for automated composition

1) 獨(dú)熱編碼(One-hot encoding)：要將音樂信息交給計算機(jī)來處理，首先需要將音樂信息數(shù)字化.為了解決此問題，我們可以利用獨(dú)熱編碼.獨(dú)熱編碼的思想是定義一串二進(jìn)制數(shù)，該二進(jìn)制數(shù)長度等于待賦值對象的類別數(shù)，二進(jìn)制數(shù)中只有一位是“1”，其余均是“0”.對于用“piano roll”表示的音樂，其本身自然以one-hot的方式展現(xiàn)；對于用“類MIDI形式”表示的音樂，可以對每一個音符事件進(jìn)行one-hot編碼.

處理MIDI格式的音樂需要一些特殊的工具來提高效率.下面介紹一些常用的處理MIDI格式音樂的第三方程序包(即在計算機(jī)程序語言如python中，利用該程序包可以很方便地處理MIDI格式的音樂)：Mido是較為基礎(chǔ)的處理包；pretty-midi是Raffel等[31]在mido基礎(chǔ)上進(jìn)一步簡化了操作方式，按軌來處理信息，處理方式更加直觀，目前谷歌Magenta項(xiàng)目就是基于pretty-midi處理MIDI信息的，python-midi對MIDI的操作很全面，但是操作方式不是很直觀；music21是一個較為完善的處理包，不僅可以進(jìn)行MIDI生成，也可以顯示樂譜等.以上程序包都是基于python程序語言的，每種程序包各有優(yōu)勢，研究者可以選擇合適的程序包使用.

3 音樂樣本

音樂分析模塊接受音樂樣本，會對音樂樣本進(jìn)行預(yù)處理并分析其音樂結(jié)構(gòu).預(yù)處理將格式各異的音樂樣本處理為計算機(jī)易處理的數(shù)據(jù)形式，分析音樂的結(jié)構(gòu)信息如節(jié)拍、小節(jié)以及樂句，并將這些結(jié)構(gòu)信息作用于作曲系統(tǒng)上，使生成的音樂具有更好的質(zhì)量.

3.1 音樂表示

1) 鋼琴卷簾窗(Piano roll)：將音樂信息轉(zhuǎn)換為piano roll是最常見的方式之一，鋼琴卷簾窗如圖3(a) 所示，橫坐標(biāo)代表音符持續(xù)時間，縱坐標(biāo)代表音高值(音高值與鋼琴鍵音高相對應(yīng))，目前常見的做法是取十六分音符作為最小的時長單位，將音樂劃分成piano roll，但這種方法無法區(qū)分同一音高下，該音符是一個長音符還是多個短音符相連.因此，還需添加一個維度的信息表示該音符是否與先前的音符相連.使用piano roll表示的優(yōu)點(diǎn)在于：表示后的音樂既可以看成是由音符組成的1-D序列信息，也可以將一段音樂的piano roll看成一個整體，作為類似圖像的2-D信息，這樣就可以適應(yīng)不同算法的輸入要求.

2) 類MIDI形式的表示：該方法利用類似MIDI中音符事件“始”或“終”的形式，將音樂表示為一連串的音符事件信息，該形式?jīng)]有piano roll直觀，但是可以表示出更豐富的音樂信息，比如可以添加音樂力度和音符時移，進(jìn)而添加音樂表現(xiàn)力信息.圖3(b)所示為文獻(xiàn)[32]中采用的類MIDI表示方法.

藥敏結(jié)果采用WHONET5.6進(jìn)行數(shù)據(jù)分析；采用SPSS19.0進(jìn)行統(tǒng)計分析，計數(shù)資料采用例和構(gòu)成比（%）描述，組間比較采用 χ2檢驗(yàn)，P＜0.05 為差異具有統(tǒng)計學(xué)意義。

3.2 算法輸入

2.2.5 符號音樂處理工具

2) 詞嵌入(Word embedding)：使用one-hot編碼得到的數(shù)據(jù)簡單明了，但當(dāng)數(shù)據(jù)類別分布不均勻時，會使得one-hot編碼后的數(shù)據(jù)過于稀疏，并且當(dāng)數(shù)據(jù)類別較多時，會使輸入數(shù)據(jù)的維度過大，這兩點(diǎn)都會對算法的性能造成影響；此外，one-hot編碼不能很好地描述不同類別輸入數(shù)據(jù)之間的關(guān)系.為了解決以上問題，人們引入了詞嵌入技術(shù).詞嵌入技術(shù)將一個高維向量空間嵌入到一個維數(shù)低得多的連續(xù)向量空間，這樣不僅會有效地解決輸入數(shù)據(jù)維度的問題，還可以通過訓(xùn)練，使得相關(guān)的詞語的詞向量之間建立關(guān)聯(lián).

3.3 音樂結(jié)構(gòu)

音樂分析的另一個作用是分析音樂數(shù)據(jù)中的音樂結(jié)構(gòu)，將結(jié)構(gòu)信息送入系統(tǒng)使得系統(tǒng)更好地生成音樂.人們根據(jù)樂理知識定義如小節(jié)或者樂句等結(jié)構(gòu)，并選用特定的符號標(biāo)注在音樂數(shù)據(jù)中.Makris等[33]提出的系統(tǒng)可用來生成節(jié)奏序列，并且在生成的過程中添加低音線和節(jié)拍作為條件信息來表示是否開始了新的小節(jié)，實(shí)驗(yàn)表明系統(tǒng)在添加了這種條件后提高了生成的音樂的質(zhì)量.Lattner等[34]根據(jù)拍號來定義在重拍的時候需要有音符開始，如四四拍的音樂，在生成音樂時，就需要在第1拍和第3拍有新的音出現(xiàn)，該系統(tǒng)同樣為音樂的整體結(jié)構(gòu)提供了限制信息，比如AABA的結(jié)構(gòu).Deepbach系統(tǒng)[35]用到了延音記號，可以幫助生成更連續(xù)的樂句.

4 音樂背景

基于規(guī)則的自動作曲系統(tǒng)能讓人們根據(jù)音樂理論知識定義一系列規(guī)則，并用此規(guī)則指導(dǎo)音樂要素的排列與組合，這些規(guī)則可以限定音高的范圍，節(jié)奏的排列以及和弦的進(jìn)行.Steedman[39]設(shè)計了一種生成爵士風(fēng)格和弦序列的語法，利用該語法可以將最初的樂句重寫成新的音樂樂句.鄧陽等[85]將伊·斯波索賓的和聲理論體系與動態(tài)規(guī)劃相結(jié)合，基于和弦進(jìn)行的邏輯優(yōu)化目標(biāo)函數(shù)，根據(jù)旋律生成和弦.Quick等[86]提出了針對和聲與韻律結(jié)構(gòu)的生成語法，該語法利用樂句的時間來參數(shù)化規(guī)則，利用共享節(jié)點(diǎn)的圖結(jié)構(gòu)生成重復(fù)的樂句.Herremans等[83]結(jié)合了巴洛克時期奧地利作曲家Johann Fux的理論來生成旋律，他們在目標(biāo)函數(shù)中利用了這些規(guī)則，并且使用了變鄰域搜索算法來加強(qiáng)規(guī)則之間的緊密性，隨后Herremans等[87]又添加了新的規(guī)則并擴(kuò)展了系統(tǒng).

1) 由人將某一風(fēng)格的固定規(guī)則、情緒涉及到的音樂心理學(xué)知識應(yīng)用到作曲系統(tǒng)中.Zhu等[36]利用一種交互式的遺傳算法來生成具有特定情緒的音樂，他們采用了演奏家演奏樂譜時的規(guī)則[37]系統(tǒng)作為評價規(guī)則，該系統(tǒng)模擬了音樂家使用的演奏原則.Onisaw等[38]使用了一種交互進(jìn)化算法生成快樂或悲傷的旋律來反映用戶的感受，他們得到的結(jié)論是歡快的旋律比悲傷的旋律更難評估，因?yàn)榍罢咝枰紤]更多的因素.同樣可以根據(jù)某種音樂風(fēng)格的特定性，定義相應(yīng)的規(guī)則加入作曲系統(tǒng)中來生成具有某一特定風(fēng)格的音樂.Steedman[39]設(shè)計了一種生成爵士風(fēng)格和弦序列的語法，利用該語法可以將最初的樂句重寫成新的樂句.Jaques等[40]在循環(huán)神經(jīng)網(wǎng)絡(luò)自動作曲系統(tǒng)后添加了強(qiáng)化學(xué)習(xí)部分，在強(qiáng)化學(xué)習(xí)中加入音樂理論來指導(dǎo)生成特定風(fēng)格的音樂.

2) 要想利用規(guī)則指導(dǎo)系統(tǒng)，系統(tǒng)設(shè)計者需要對情緒與音樂的關(guān)系以及音樂風(fēng)格特點(diǎn)有著很好的理解，需要專業(yè)的音樂理論基礎(chǔ)，實(shí)現(xiàn)難度較大.另一種獲得某種特定風(fēng)格音樂的方式是直接從音樂樣本中學(xué)習(xí)音樂的風(fēng)格與情緒信息，讓系統(tǒng)在某一特定風(fēng)格的音樂數(shù)據(jù)中進(jìn)行學(xué)習(xí)，進(jìn)而生成對應(yīng)風(fēng)格的音樂.目前很多研究選用巴赫風(fēng)格的鋼琴曲作為音樂樣本，Liang[30]的BachBot系統(tǒng)與Hadjeres等[35]的DeepBach系統(tǒng)都是直接用巴赫鋼琴曲訓(xùn)練系統(tǒng)來生成巴赫風(fēng)格的音樂.

第四，要注意雞群非特異性的抗病力提高。在疾病發(fā)生的過程中，除了外界的環(huán)境和病原因素外，雞群自身的抗病水平也是一個重要的因素。這就要求我們養(yǎng)殖場要加強(qiáng)雞群的保健工作，保健的目的就是要通過使用適當(dāng)?shù)氖侄握{(diào)節(jié)雞群的免疫系統(tǒng)，增強(qiáng)免疫系統(tǒng)的機(jī)能，完善機(jī)體非特異性免疫屏障。當(dāng)前行之有效的方案是使用促進(jìn)免疫力，扶正驅(qū)邪的中藥同時輔以生物制劑的使用，提高機(jī)體的免疫力和抗病力，以達(dá)到減少發(fā)病的目的。

該模塊還為另一項(xiàng)音樂生成的任務(wù)提供了信息，即音樂風(fēng)格轉(zhuǎn)換.將已有的音樂轉(zhuǎn)換為另一種風(fēng)格并不直接生成音樂元素，而是通過改變原音樂中的音樂元素來改變風(fēng)格.Dai等[41]對音樂風(fēng)格轉(zhuǎn)換進(jìn)行了綜述，給出了音樂風(fēng)格轉(zhuǎn)換的定義、重點(diǎn)問題和難點(diǎn)問題.Nakamura等[42]利用機(jī)器翻譯的思想，在音樂語言模型基礎(chǔ)上提出了風(fēng)格統(tǒng)計公式來進(jìn)行風(fēng)格轉(zhuǎn)換，并且修改模型來表示原有音樂與轉(zhuǎn)移風(fēng)格后音樂的相似性.

與其說這些公關(guān)危機(jī)是D&G所謂的因?yàn)椴涣私庵袊a(chǎn)生的誤會，不如說暴露了其深入其骨髓的以自我為中心和對中國的刻板成見。誠如網(wǎng)友所言，他們口口聲聲說“愛中國”，不過是愛中國的錢罷了。

5 作曲系統(tǒng)

5.1 混沌理論

從數(shù)學(xué)和物理學(xué)角度來看，難以預(yù)測的系統(tǒng)特定狀態(tài)稱為“混沌”.狹義的混沌理論也稱為非線性動力學(xué)理論，建立混沌模型的數(shù)學(xué)系統(tǒng)可以是用非線性差分方程表示的迭代系統(tǒng)，也可以是連續(xù)流，用非線性微分方程表示，其中軌道是連續(xù)的、不間斷的曲線.利用混沌系統(tǒng)來生成音樂的原理就是建立混沌理論與音樂之間的映射關(guān)系，這涉及到了數(shù)論、分形學(xué)、邏輯方程等一系列數(shù)學(xué)知識，近年來已經(jīng)鮮有文章對此進(jìn)行研究，已有利用混沌理論進(jìn)行自動作曲的研究見文獻(xiàn)[43-48].

5.2 細(xì)胞自動機(jī)

Von Neumann等[49]提出了細(xì)胞自動機(jī)的概念，該模型以生物的自我繁殖機(jī)制為基礎(chǔ).細(xì)胞自動機(jī)中一切都是離散的，也就是說系統(tǒng)中空間、時間和屬性只能是有限狀態(tài)的.細(xì)胞自動機(jī)有兩個最基本的性質(zhì)：

1) 一個規(guī)則的n維晶格，晶格中的每個細(xì)胞在給定的時間都有一個離散的狀態(tài);

2) 由一組規(guī)則控制的動態(tài)行為.這些規(guī)則根據(jù)相鄰單元格的狀態(tài)決定后續(xù)時間步驟的單元格狀態(tài).

圖3為冷氣循環(huán)流程。冷氣循環(huán)流程是指當(dāng)通過壓縮機(jī)的操作點(diǎn)達(dá)到S2時，為防止壓縮機(jī)操作點(diǎn)接近或達(dá)到S1，從壓縮機(jī)出口冷卻器或分離罐的下游將壓縮機(jī)出口氣體通過喘振控制調(diào)節(jié)閥循環(huán)到壓縮機(jī)入口，增大壓縮機(jī)流量以避免喘振工況的發(fā)生。相對于熱氣循環(huán)系統(tǒng)，冷氣循環(huán)系統(tǒng)流程使壓縮機(jī)出口管道系統(tǒng)有較大的容積，由于較大的管路系統(tǒng)體積，系統(tǒng)各參數(shù)的變化相對較慢（主要為壓力、溫度參數(shù)），喘振系統(tǒng)獲得變化的工藝信號的時間相對較長，在一定程度上降低了壓縮機(jī)喘振系統(tǒng)的反應(yīng)速度，不利于在壓縮機(jī)緊急停車時喘振的控制。但在壓縮機(jī)啟動過程中，在一定程度上延長了啟動時的循環(huán)時間，降低了對壓縮機(jī)啟動時間的限制要求。

細(xì)胞自動機(jī)中的細(xì)胞就像存儲設(shè)備，存儲自動機(jī)的狀態(tài).最簡單的情況是每個細(xì)胞只有兩種可能的狀態(tài)，通常是0(“死”)或1(“活”)；在更復(fù)雜的細(xì)胞自動機(jī)中，細(xì)胞可以有更多的狀態(tài).控制細(xì)胞自動機(jī)動態(tài)行為的規(guī)則作用于晶格中的每個細(xì)胞，并考慮到每個細(xì)胞相鄰細(xì)胞的狀態(tài).圖4(a)解釋了細(xì)胞自動機(jī)的工作原理，圖中的最小方塊結(jié)構(gòu)代表一個細(xì)胞，其中：黑色方塊代表“1”，白色方塊代表“0”，最上面有8個大的矩形，每個矩形中有4個細(xì)胞，上面3個細(xì)胞代表當(dāng)前時刻的細(xì)胞以及該細(xì)胞左右兩邊的細(xì)胞的狀態(tài)，即是“黑色”還是“白色”的方塊，下面的一個方塊則是該細(xì)胞在此規(guī)則下下一個狀態(tài)的輸出，如第1個矩形代表著當(dāng)前時刻細(xì)胞的狀態(tài)為黑色，左邊細(xì)胞的狀態(tài)為黑色，右邊細(xì)胞的狀態(tài)為黑色，輸出為黑色.我們稱該圖展示的細(xì)胞自動機(jī)的規(guī)則為150規(guī)則，因?yàn)橄旅嬉涣休敵龅?與1組合對應(yīng)的十進(jìn)制數(shù)為150，圖中呈三角形結(jié)構(gòu)的則是在150規(guī)則下細(xì)胞自動機(jī)進(jìn)化時的每一行的輸出.

利用細(xì)胞自動機(jī)進(jìn)行自動作曲可以將細(xì)胞與音高建立映射，進(jìn)化的每一行表示一個節(jié)拍，這樣細(xì)胞自動機(jī)每次輸出的結(jié)果就代表著一個節(jié)拍的音高.Beyls[50]最先將細(xì)胞自動機(jī)應(yīng)用在自動作曲，他為定義相鄰的細(xì)胞建立了其他方法.此外，在計算下一個狀態(tài)時，他考慮了單元格以前的更多狀態(tài)，將人們選擇的音高分配給細(xì)胞從而建立音高與細(xì)胞的映射關(guān)系.如果進(jìn)化的下一步音高值不變則該進(jìn)化的時間為該音符的時值.隨后Beyls[51-52]引入了2維細(xì)胞自動機(jī)，能夠?qū)崟r更改不同的參數(shù)來生成音樂，并將細(xì)胞自動機(jī)與遺傳算法結(jié)合起來.Millen[53-54]用1維到3維細(xì)胞自動機(jī)自動生成音樂，其中MIDI中音高值和持續(xù)時間值被映射到了細(xì)胞上.Orton等[55]在細(xì)胞自動機(jī)上用了交互式的方式生成音樂.利用細(xì)胞自動機(jī)自動作曲的弊端在于無法生成特定風(fēng)格的音樂，因?yàn)楹茈y利用細(xì)胞自動機(jī)去分析語料庫中的信息.

5.3 馬爾科夫模型

隨機(jī)過程用來描述一系列依賴于時間隨機(jī)事件的關(guān)系，這組事件稱為“狀態(tài)空間”，而這組參數(shù)稱為“參數(shù)空間”.如果一個隨機(jī)過程的狀態(tài)是有限的，那么這個隨機(jī)過程被稱作隨機(jī)鏈，在隨機(jī)鏈中每個離散時間t都有一個隨機(jī)變量x.馬爾科夫鏈就是一種特殊的隨機(jī)鏈，馬爾科夫鏈中的下一個時刻狀態(tài)Xt+1與且僅與當(dāng)前狀態(tài)Xt有關(guān)，從tm時刻的狀態(tài)Xtm=i到tm+1時刻的狀態(tài)Xtm+1=j的概率為

P(Xtm+1=j|Xtm=i)=pij(tm,tm+1).

(1)

馬爾科夫鏈還可以用狀態(tài)轉(zhuǎn)移圖(圖4(b))，或者轉(zhuǎn)移概率矩陣(圖4(c))來表示.在自動作曲中，轉(zhuǎn)移概率矩陣表示了音樂要素(如音長、音高)之間的關(guān)系，進(jìn)而可以利用這種關(guān)系生成樂曲，使用的概率矩陣可以通過統(tǒng)計已有音樂數(shù)據(jù)庫得到.Pinkerton等[56]最先使用馬爾科夫模型進(jìn)行音樂創(chuàng)作，他們根據(jù)39首簡單的童謠的語料庫建立了一個1階馬爾科夫模型“Banal Tune-Maker”，該模型可以生成類似于該童謠風(fēng)格的音樂.近期Ackereman等[57]創(chuàng)造了ALYSIA系統(tǒng)來幫助人們生成旋律和歌詞，ALYSIA系統(tǒng)使用隨機(jī)森林的方式來訓(xùn)練馬爾科夫模型.馬爾科夫模型是自動作曲中很常用的方式，利用馬爾科夫模型來生成旋律的研究可見文獻(xiàn)[56,58-66]，利用馬爾科夫模型生成和聲的研究可見文獻(xiàn)[2,28,67-74]，利用馬爾科夫模型進(jìn)行音樂節(jié)奏生成的研究可見文獻(xiàn)[75-76].

但是馬爾科夫模型也有一些缺點(diǎn)，如輸出音樂的風(fēng)格和質(zhì)量在很大程度上取決于語料庫的性質(zhì)，在構(gòu)建較長的序列上效果并不是很好，并且如果使用高階馬爾可夫模型，那么一個經(jīng)常被忽視的缺陷是高階馬爾可夫模型不能準(zhǔn)確地描述低階模型中提供的信息，盡管如此，馬爾可夫模型還是很適合某些音樂任務(wù).

5.4 遺傳算法

遺傳算法作為一類特殊的進(jìn)化算法，是一種基于自然界系統(tǒng)建模的隨機(jī)搜索的策略.算法基本模型的靈感來自達(dá)爾文的進(jìn)化論，解決問題的策略源于類似生物進(jìn)化中的染色體交叉、變異等過程.遺傳算法的術(shù)語包括“選擇”、“突變”、“適者生存”等，這些術(shù)語體現(xiàn)了算法的原理以及它們與生物選擇過程的密切關(guān)系.遺傳算法在計算機(jī)中模擬進(jìn)化過程，可以用來解決那些難以進(jìn)行數(shù)學(xué)建模的任務(wù)或沒有明確的優(yōu)越規(guī)則系統(tǒng)的問題.下面先介紹一些遺傳算法中的基本概念，通常把亟待解決的問題以數(shù)學(xué)方式建模為數(shù)學(xué)問題，那么這個問題的一個可行解被稱為一條“染色體”；一個可行解中的元素或者變量被稱為該染色體上的“基因”；用“適應(yīng)度函數(shù)”來評價染色體的優(yōu)劣；“交叉”是指兩條染色體上的基因進(jìn)行互換；“變異”是指隨機(jī)修改染色體上的基因；“復(fù)制”是指將適應(yīng)度最高的幾條染色體直接原封不動地復(fù)制給下一代.整個遺傳算法的實(shí)現(xiàn)過程如圖5所示，算法的過程描述如下：

2018年年初，16歲華裔天才少女朱易奪得全美花滑錦標(biāo)賽新人組女單冠軍，超出第2名高達(dá)35分，成為令西方矚目的新星。然而，她卻毅然放棄在美國的發(fā)展機(jī)會，9月底加入中國國家隊，成為偶像——“冰上蝴蝶”陳露的弟子，力爭沖刺2022年北京冬奧會，為祖國奪金。而在這背后，是“科學(xué)大神”父親的夢想，一直在激勵著她！

1) 隨機(jī)產(chǎn)生n條染色體的起始種群；

序列到序列模型(Sequence to Sequence,Seq2Seq)在機(jī)器翻譯任務(wù)中被提出，解決了源語言語句與目標(biāo)語言語句長度不同的問題[101].Seq2Seq包含了一個編碼器(encoder)和一個解碼器(decoder)，編碼器對源序列進(jìn)行編碼得到一個維度相對低一些的中間向量，解碼器根據(jù)該中間向量得到對應(yīng)的目標(biāo)序列，這種翻譯模型要求數(shù)據(jù)是成對的，并且成對的數(shù)據(jù)間需要存在聯(lián)系，對于音樂來說，和弦進(jìn)行與旋律、節(jié)奏型與音高線，或者復(fù)調(diào)音樂中的不同聲部都是互相關(guān)聯(lián)的序列信息，并且這些序列并不一定都是等長的，所以利用Seq2Seq可以有效地構(gòu)建這種關(guān)系.微軟[102]利用Seq2Seq生成流行音樂，根據(jù)流行音樂和弦進(jìn)行影響旋律、節(jié)奏型影響旋律的特點(diǎn)提出了基于和弦的節(jié)奏和旋律交叉生成(Chordbased Rhythm and Melody Cross-Generation,CRMCG)模型，該模型包括音高編碼器、節(jié)奏編碼器、和弦編碼器3個編碼器，還包括音高解碼器和節(jié)奏解碼器2個解碼器，生成節(jié)奏時將上一時刻的節(jié)奏與音高送到對應(yīng)的編碼器中進(jìn)行編碼，再將編碼后的輸出送入節(jié)奏解碼器中得到當(dāng)前時刻的節(jié)奏輸出，生成音高時同理，區(qū)別在于生成音高時解碼器會接受和弦編碼器的信息.在這樣生成旋律的基礎(chǔ)上，文獻(xiàn)[102]還提出了基于多任務(wù)學(xué)習(xí)的多樂器聯(lián)合編曲(Multi-Instrument Co-Arrangement generation,MICA)模型，并且取得了很好的效果，生成的音樂通過了圖靈測試.

3) 選擇操作舍棄適應(yīng)度低的染色體，保留適應(yīng)度高的染色體，并決定哪些染色體進(jìn)行“復(fù)制”操作，哪些進(jìn)行“交叉”操作，哪些進(jìn)行“變異”操作；

第二天，越秀在書桌上發(fā)現(xiàn)一大堆碎紙，這紙都是秀容月明用來練字的，跟往常不同，秀容月明都把紙撕了。越秀拼湊了幾張，也沒瞧出他寫的是什么字。

4) 經(jīng)過“復(fù)制”、“交叉”和“變異”操作后得到下一個種群；

5) 重新計算適應(yīng)度，并進(jìn)行迭代，直至得到輸出結(jié)果.

利用神經(jīng)網(wǎng)絡(luò)自動作曲的原理是將數(shù)據(jù)輸入給神經(jīng)網(wǎng)絡(luò)，定義神經(jīng)網(wǎng)絡(luò)輸出與音樂要素的映射關(guān)系，定義預(yù)期輸出結(jié)果，訓(xùn)練神經(jīng)網(wǎng)絡(luò)使得神經(jīng)網(wǎng)絡(luò)輸出逐步接近預(yù)期值，訓(xùn)練完成后，將神經(jīng)網(wǎng)絡(luò)的輸出映射為音樂要素，進(jìn)而得到音樂.目前有很多研究利用了不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進(jìn)行自動作曲，這些結(jié)構(gòu)又大致可以分為兩種：一種是選取不同類型的神經(jīng)網(wǎng)絡(luò)，針對不同類型神經(jīng)網(wǎng)絡(luò)的特點(diǎn)對音樂數(shù)據(jù)進(jìn)行分析建模，如使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)以及使用了Self-Attention機(jī)制的神經(jīng)網(wǎng)絡(luò)，這里不同類型的神經(jīng)網(wǎng)絡(luò)是作為一種特征提取器，目的是從大量的音樂信息中提取到重要的信息；另一種是選取不同的深度學(xué)習(xí)模型來對音樂建模，如采用機(jī)器翻譯模型中的“序列到序列(Seq2Seq)模型”，或者是深度生成模型，如限制性玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)、變分自編碼器(Variational Autoencoder,VAE)以及生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN).這些深度學(xué)習(xí)模型中的神經(jīng)網(wǎng)絡(luò)層又可以選取RNN或CNN等不同類型的神經(jīng)網(wǎng)絡(luò)，所以神經(jīng)網(wǎng)絡(luò)類型的選擇與深度學(xué)習(xí)模型的選擇對自動作曲算法都至關(guān)重要.

5.6.5 RBM

2) 隨機(jī)交換元素的順序得到Bb,F,Ab,Gb；

面對長形式圖書閱讀過程中的問題，圖書出版業(yè)結(jié)合互聯(lián)網(wǎng)時代閱讀的大環(huán)境，開始從供給側(cè)的角度做相應(yīng)的對接。

學(xué)生乙：沿高把三角形剪成兩個小等腰三角形，拼成一個邊長為8÷2=4的正方形，如圖3，原三角形面積等于正方形面積，列式為(8÷2)×(8÷2)=16（平方厘米）。

3) 根據(jù)參考模式刪除了Gb，得到Bb,F,Ab；

4) 隨機(jī)修改首個元素得到Eb,F,Ab；

5) 將每一輪得到的結(jié)果拼接輸出可得到(Gb,Bb,F,Ab)i=1(Bb,F,Ab,Gb)i=2(Bb,F,Ab)i=3(Eb,F,Ab)i=4.

Horner等的系統(tǒng)雖然很簡單，但是得到的音樂結(jié)果很好地證明了利用遺傳算法進(jìn)行自動作曲的可行性，到目前為止已經(jīng)有了大量的研究利用遺傳算法進(jìn)行自動作曲.Eigenfeldt[78]提出了一種基于遺傳算法的重組組合體，利用混合方法解決適應(yīng)度的問題，他提出使用神經(jīng)網(wǎng)絡(luò)分類器或者從被分析的語料庫中提取規(guī)則，從而從語料庫本身派生出適應(yīng)度規(guī)則.有些系統(tǒng)的方法是建立在某一特定領(lǐng)域或子領(lǐng)域已建立的規(guī)則的基礎(chǔ)上的.Kunimatsu等[79]提出了一種基于遺傳規(guī)劃的音樂作曲模型.在這項(xiàng)研究中，他們考慮了和弦發(fā)展中布魯斯風(fēng)格的抑揚(yáng)頓挫的特點(diǎn).他們的系統(tǒng)將遺傳算法中的樹結(jié)構(gòu)中的節(jié)點(diǎn)用音符表示，階度用時長表示.適應(yīng)度函數(shù)主要考慮兩種比較：一種是和弦和旋律中的高音的比較；另一種是尋找部分和弦級數(shù)的熵函數(shù)的相似性.文獻(xiàn)[80-81]利用人對生成音樂的評價作為適應(yīng)度函數(shù)，而文獻(xiàn)[82-84]則利用遺傳算法進(jìn)行自動作曲.

遺傳算法最大的問題在于適應(yīng)度函數(shù)的選取，適應(yīng)度評價直接影響到生成音樂的質(zhì)量，所以如何選取適應(yīng)度函數(shù)，以及適應(yīng)度函數(shù)選取是否合理是影響遺傳算法在自動作曲領(lǐng)域能否有好的發(fā)展的重要因素.

5.5 基于規(guī)則的自動作曲系統(tǒng)

在計算機(jī)自動作曲系統(tǒng)中，音樂背景指的是一首樂曲所包含的情緒或者是風(fēng)格.該“音樂背景”模塊可以由兩種方式生成音樂的背景信息.

如果利用既定的規(guī)則，那么生成的音樂始終會在一個范圍內(nèi)，生成的音樂會略顯單調(diào)，并且多個規(guī)則之間很有可能會相互沖突，導(dǎo)致算法無法進(jìn)行下去.所以基于規(guī)則的系統(tǒng)往往與其他作曲算法相結(jié)合，可以利用樂理規(guī)則作為遺傳算法的適應(yīng)度函數(shù)，根據(jù)樂理規(guī)則指導(dǎo)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行學(xué)習(xí).這樣在盡量符合樂理規(guī)則的情況下，通過其他算法引入隨機(jī)性，會大大提高生成音樂的多樣性.

5.6 神經(jīng)網(wǎng)絡(luò)

當(dāng)下人工神經(jīng)網(wǎng)絡(luò)中的深度學(xué)習(xí)技術(shù)在圖像識別、語音理解、機(jī)器翻譯、文本生成等諸多領(lǐng)域取得了令人矚目的成就，深度學(xué)習(xí)已經(jīng)成了人工智能領(lǐng)域中炙手可熱的技術(shù).伴隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，利用深度學(xué)習(xí)技術(shù)來自動生成音樂也是當(dāng)下最熱門的研究方向之一.神經(jīng)網(wǎng)絡(luò)屬于機(jī)器學(xué)習(xí)的一種，其是由神經(jīng)元組成的廣泛并且互連的網(wǎng)絡(luò)[88].神經(jīng)元采用的是McCulloch提出的“M-P神經(jīng)元模型”[89]，在該模型中，輸入通過帶有權(quán)重的連接傳遞給神經(jīng)元，神經(jīng)元將輸入與自身的“閾值”比較，再通過“激活函數(shù)”得到輸出，將這些神經(jīng)元按一定的層次結(jié)構(gòu)相連便構(gòu)成了神經(jīng)網(wǎng)絡(luò).圖6(a)～(c)依次展示了神經(jīng)元、激活函數(shù)和神經(jīng)網(wǎng)絡(luò).將神經(jīng)網(wǎng)絡(luò)輸出和預(yù)期輸出的比較結(jié)果反饋給神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)改變連接權(quán)重使得輸出不斷接近預(yù)期輸出，這種方式稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，連接權(quán)重的參數(shù)存儲著學(xué)到的知識.深度學(xué)習(xí)增加了神經(jīng)網(wǎng)絡(luò)隱藏層的數(shù)量，閾值與連接權(quán)重等參數(shù)也隨之增加，增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力.

在自動作曲中利用遺傳算法則需要考慮遺傳算法過程中每個步驟對應(yīng)的音樂意義，Horner等[77]首次利用遺傳算法進(jìn)行自動作曲，其系統(tǒng)選擇了6種參考模式并使用“輸出的音高與參考模式音高的一致性”以及“輸出長度與預(yù)期長度的關(guān)系”作為適應(yīng)度函數(shù)，如開始輸入的音高序列為Gb,Bb,F,Ab,Db，參考模式為F,Ab,Eb，則：

5.6.1 RNN

RNN是用來處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[90]，神經(jīng)網(wǎng)絡(luò)的隱藏層會受之前時刻隱藏層狀態(tài)的影響.音樂信息正是隨時間進(jìn)行的序列數(shù)據(jù)，因此RNN很適合用來處理音樂信息.1994年，Mozer[91]的CONCERT系統(tǒng)是第一個利用RNN進(jìn)行作曲的系統(tǒng)，但RNN只能記憶短時間的信息，因此生成的音樂質(zhì)量一般.之后Hochereiter等于2002年在RNN結(jié)構(gòu)中加入了“長短時記憶單元(Long Short-Term Memory,LSTM)[92]”(LSTM在神經(jīng)元中加入了“門”來控制“記憶”和“遺忘”信息，因此可以記憶更長時間的信息)來生成藍(lán)調(diào)音樂的旋律與伴奏，在生成旋律與伴奏時，先隨機(jī)選擇一個和弦作為輸入，由系統(tǒng)生成下一個和弦，再將生成的和弦作為輸入繼續(xù)送到網(wǎng)絡(luò)中，如此依次生成和弦序列.LSTM已經(jīng)成為應(yīng)用RNN進(jìn)行作曲的系統(tǒng)中最常用的方法.Makris等[33]將LSTM與普通的神經(jīng)網(wǎng)絡(luò)結(jié)合生成節(jié)奏，RNN負(fù)責(zé)學(xué)習(xí)鼓的部分，普通神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)學(xué)習(xí)低音線以及節(jié)拍的結(jié)構(gòu).Sun等[93]為神經(jīng)網(wǎng)絡(luò)添加了樂理限制使得生成的音樂更加合理.近年來利用RNN生成音樂依然是熱門的研究方向，相關(guān)研究見文獻(xiàn)[35，94，96-97].

5.6.2 CNN

CNN是用來處理類似“網(wǎng)格結(jié)構(gòu)”的數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[90]，該網(wǎng)絡(luò)至少需要在網(wǎng)絡(luò)結(jié)構(gòu)中的一層使用卷積運(yùn)算.CNN首先在計算機(jī)視覺領(lǐng)域取得了極大的成功，在計算機(jī)視覺領(lǐng)域圖像被看作2維的像素網(wǎng)格，隨后CNN也被用在對序列數(shù)據(jù)進(jìn)行建模，這時序列信息被看作在時間維度上的1維網(wǎng)格.Lecun在論文中首先使用了“卷積”一詞來描述其網(wǎng)絡(luò)結(jié)構(gòu).利用CNN進(jìn)行自動作曲大多是將多聲部的樂譜轉(zhuǎn)換為鋼琴卷簾窗的表示，再將一個小節(jié)或多個小節(jié)的鋼琴卷簾窗看作一個2維的圖像，進(jìn)而利用CNN在該表示下對音樂信息進(jìn)行處理.Yang等[20]與Dong等[21]利用生成對抗的思想進(jìn)行自動作曲，其生成器和判別器均使用了CNN.Huang等[98]發(fā)現(xiàn)人類在創(chuàng)作音樂的時候往往會把動機(jī)隨意地寫在各處作為草稿，而且有時會重新回到草稿上，對動機(jī)進(jìn)行修改并且對動機(jī)之間進(jìn)行連接.為了模仿人類作曲家作曲的特點(diǎn)，本文使用了卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)音樂的填補(bǔ)工作，用吉布斯采樣的方法來重寫樂譜.CNN因?yàn)椴恍枰獫M足RNN在時間上的串行運(yùn)算關(guān)系(即上一時刻的狀態(tài)會參與到當(dāng)前時刻的運(yùn)算)，所以CNN可以并行計算，其運(yùn)算速率比RNN的較快.

5.6.3 Self-Attention

在場地方面，社工組織開展服務(wù)需要一定的場地支持。在廣州市政府頒布的《實(shí)施辦法》也明確提出“在場地設(shè)備保障方面，各街道要整合現(xiàn)有的街鎮(zhèn)文化站、工療站、黨員活動中心、社區(qū)星光老年之家等社區(qū)服務(wù)場地資源。通過整合、新建、置換、租賃等方式，根據(jù)實(shí)際需要，多渠道解決服務(wù)中心場地，盤活國有產(chǎn)權(quán)閑置場地，通過‘租金’或象征性租金的方式用于街道家庭綜合服務(wù)中心建設(shè)⑤?！边@一政策文件在一定程度上解決了社工組織開展服務(wù)所需的場地支持。

自注意力(Self-Attention)機(jī)制是從機(jī)器翻譯中Attention機(jī)制演化而來的，Attention機(jī)制通過加權(quán)求和的方式解決了翻譯問題中源語言語句與目標(biāo)語言語句中單詞對齊的問題[99]，Self-Attention通過加權(quán)求和的思想計算一句話中每個單詞與其他單詞之間的聯(lián)系，以此來替代RNN抽取序列信息的特征.Google[100]提出了Transformer結(jié)構(gòu)，該結(jié)構(gòu)完全摒棄了RNN結(jié)構(gòu)，只使用了Self-Attention機(jī)制，該網(wǎng)絡(luò)結(jié)構(gòu)可以更容易學(xué)習(xí)到每個句子中單詞的長距離依賴關(guān)系，在機(jī)器翻譯任務(wù)的表現(xiàn)超過了以往各種形式的RNN與CNN，并且與RNN相比，Transformer結(jié)構(gòu)可以高效地并行計算.Transformer結(jié)構(gòu)在自然語言處理問題上的優(yōu)異表現(xiàn)使得研究者自然而然地將其用在自動作曲上，其中Huang等[32]提出的算法可以減少對計算機(jī)內(nèi)存的使用，使Transformer可以生成距離更長的序列.本文用改進(jìn)后的Transformer來生成復(fù)調(diào)音樂，取得了很好的效果，可以從生成的音樂中明顯發(fā)現(xiàn)音樂結(jié)構(gòu)的相似性，說明網(wǎng)絡(luò)學(xué)到了音樂中更長距離的依賴關(guān)系.

5.6.4 Seq2Seq

2) 計算每條染色體的適應(yīng)度，決定是否結(jié)束算法；

1) 根據(jù)參考模式刪除了Db，得到Gb,Bb,F,Ab；

RBM是一種隨機(jī)人工神經(jīng)網(wǎng)絡(luò)，由可見層和多個隱藏層組成，它可以學(xué)習(xí)輸入集上的概率分布從而實(shí)現(xiàn)生成功能.限制性是相對原有的玻爾茲曼機(jī)來說的，限制性體現(xiàn)在模型必須為二分圖，即可見層之間沒有連接，隱藏層之間沒有連接，連接只存在于可見層與隱藏層之間.RBM與自編碼器結(jié)構(gòu)的區(qū)別在于：1) RBM沒有輸出層，輸入層即為輸出層；2) RBM是隨機(jī)的；3)RBM中的數(shù)值計算是布爾型的(即非0即1的操作).Boulanger-Lewandowski等[29]利用了RBM生成復(fù)調(diào)音樂，并利用數(shù)據(jù)對RBM進(jìn)行訓(xùn)練，訓(xùn)練完成后可以通過塊吉布斯采樣對RBM進(jìn)行采樣進(jìn)而得到音樂.Lattner等[34]提出的系統(tǒng)使用RBM來學(xué)習(xí)樂曲語料庫的局部音樂結(jié)構(gòu)，比如織體這種特性，再通過約束條件學(xué)習(xí)一些更全局的結(jié)構(gòu)，例如AABA樂曲結(jié)構(gòu).

5.6.6 VAE

自編碼器(Autoencoder)是一種要求輸出層和輸入層神經(jīng)元數(shù)量相等的網(wǎng)絡(luò)結(jié)構(gòu).自編碼器由編碼器和解碼器組成，編碼器將輸入壓縮為低維的隱藏向量，解碼器將該低維度的向量解碼為與原輸入同維度的輸出，利用這種編解碼關(guān)系，解碼器可以實(shí)現(xiàn)生成的功能.Bretan等[103]利用有多個隱藏層的“堆疊自編碼”自動生成旋律.VAE在自編碼器的基礎(chǔ)上增加了限制條件，使得隱藏層輸出的隱藏向量強(qiáng)制服從高斯分布，之后解碼器學(xué)習(xí)隱藏向量中高斯分布與真實(shí)樣本之間的關(guān)系.于是，在生成音樂的過程中，我們只需要給解碼器輸入一個服從高斯分布的向量，解碼器就可以生成我們需要的樣本.利用VAE的結(jié)構(gòu)，我們很容易進(jìn)行一些生成工作，目前也有很多研究利用VAE進(jìn)行音樂的生成.現(xiàn)有的VAE模型很難對序列的長距離依賴關(guān)系進(jìn)行建模.為了解決這個問題，Roberts等[27]提出使用分層解碼器，首先將輸入轉(zhuǎn)換為子序列的向量，然后利用這些向量獨(dú)立地生成每一個子序列.Brunner等[104]提出了基于VAE的自動作曲模型MIDI-VAE，該模型能夠處理具有多個樂器音軌的復(fù)調(diào)音樂，并結(jié)合音符的持續(xù)時間和速度對音樂進(jìn)行建模.MIDI-VAE可以自動地將一首樂曲的音高、力度和樂器由古典風(fēng)格轉(zhuǎn)變?yōu)榫羰匡L(fēng)格，從而實(shí)現(xiàn)對音樂風(fēng)格的轉(zhuǎn)換.Wang等[105]提出了VAE的一種新變體，即用模塊化的方式設(shè)計模型結(jié)構(gòu)來生成音樂.

堅持黨的領(lǐng)導(dǎo)，是國有企業(yè)的獨(dú)特優(yōu)勢，是國有企業(yè)必須堅持的一項(xiàng)重大政治原則。黨的重心在基層，活力在基層。面對新時期黨組織的重大任務(wù)與責(zé)任，以抓重點(diǎn)、多舉措、重實(shí)效的工作思路，探索將“活力黨建”落細(xì)于企業(yè)管理，傳遞活力、動力、能力，逐步形成體系、形成文化，讓黨建成為生產(chǎn)經(jīng)營的源泉和永動機(jī)，從而實(shí)現(xiàn)以黨建活力提升率先發(fā)展活力，凝聚科學(xué)發(fā)展合力，激發(fā)創(chuàng)新發(fā)展動力[1]。

區(qū)塊鏈或許有可能顛覆現(xiàn)有平臺，具有成為運(yùn)行新模式基礎(chǔ)的可能性。通過從現(xiàn)有流程中減少中間環(huán)節(jié)，減輕保存紀(jì)錄和管理交易對賬等的行政工作，就能有效降低成本。這樣，企業(yè)從降低成本中獲利，又為提供區(qū)塊鏈服務(wù)的參與者創(chuàng)造了新的收入，這個模式就可以運(yùn)行起來了。

5.6.7 GAN

GAN[106]是近來深度學(xué)習(xí)技術(shù)中最熱門的研究方向之一，GAN最初用在圖像生成上，網(wǎng)絡(luò)由“生成器”和“判別器”兩個神經(jīng)網(wǎng)絡(luò)組成，生成器輸入隨機(jī)噪聲得到輸出，再將“生成器的輸出”與“現(xiàn)實(shí)中的真實(shí)圖像”送入判別器中進(jìn)行真假判斷，判斷的結(jié)果反饋給生成器和判別器，進(jìn)而生成器會學(xué)習(xí)到如何生成更加真實(shí)的圖像，判別器也被逐漸訓(xùn)練，可以更好地分辨圖像來自生成器還是來自真實(shí)的圖片庫中.生成器和判別器在這種對抗的訓(xùn)練中達(dá)到平衡，即判別器無法判斷出圖像的來源，此時生成器可以輸出相當(dāng)真實(shí)的圖像.為了解決GAN為生成序列數(shù)據(jù)時梯度無法從判別器傳遞到生成器的問題，研究者提出了很多方案，如SeqGAN[107]、ReGAN[108]、MailGAN[109]等.也有很多利用GAN的思想生成音樂的工作，如Olof Mogren[19]利用生成對抗的思想，結(jié)合RNN對時序信息處理的特性，提出了連續(xù)循環(huán)生成對抗網(wǎng)絡(luò)(Continuous-RNN-GAN)來生成古典復(fù)調(diào)音樂.Brunner等[110]利用GAN實(shí)現(xiàn)了音樂風(fēng)格的轉(zhuǎn)換.CNN利用卷積的操作多用在圖像領(lǐng)域，但是仍然有很多研究結(jié)合CNN與GAN來生成音樂，如Liu等[24]利用循環(huán)卷積的GAN學(xué)習(xí)從功能譜和MIDI中提出的3個音樂特征，該模型可以生成8小節(jié)長的功能譜.Dong等[21]的MuseGAN使用了CNN和GAN的結(jié)構(gòu)來生成音樂.為了對音樂由低緯度到高緯度的不同特征進(jìn)行建模，MuseGAN把音樂分為樂段、樂句、小節(jié)、節(jié)拍和像素這5個由高至低的層級，在生成的時候逐層進(jìn)行生成，每條音軌之間相對獨(dú)立的同時又需要相互配合，這樣MuseGAN的輸入為兩個噪聲向量：一個輸入給所有音軌；一個輸入給單獨(dú)的音軌.在小節(jié)的處理上采用同樣的方法，最后將所有音軌的輸出合并在一起送到判別器中訓(xùn)練.同樣使用了CNN與GAN的結(jié)構(gòu)還有MidiNet[20]，其使用了兩種方法來保證生成音樂具有創(chuàng)造性：1) 生成器中控制因素——和聲只加在生成器中間一層卷積層中，從而降低和聲走向?qū)π傻目刂疲?) 降低特征匹配正則化中的兩種控制參數(shù)，使得生成的旋律與數(shù)據(jù)庫中原有的旋律保持不同.

通過以上對神經(jīng)網(wǎng)絡(luò)自動作曲系統(tǒng)的回顧，可以發(fā)現(xiàn)目前利用神經(jīng)網(wǎng)絡(luò)進(jìn)行自動作曲的系統(tǒng)往往融合了很多種結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，利用不同結(jié)構(gòu)的特性來提高生成音樂的質(zhì)量，這也是自動作曲技術(shù)未來發(fā)展的趨勢所在.

6 作曲理論

自動作曲中的“作曲理論”是與人類“作曲理論”相對應(yīng)的概念，但二者并不是同一概念.作曲系統(tǒng)是根據(jù)人們對音樂的理解定義的算法，這些算法的輸出具有音樂美感，是一種“自上而下”的方法，“基于規(guī)則的自動作曲系統(tǒng)”可以認(rèn)為是這種方法.而“作曲理論”是從作曲系統(tǒng)中學(xué)習(xí)得到的，可以是基于馬爾科夫模型中的概率轉(zhuǎn)移矩陣或者是遺傳算法中經(jīng)過一輪輪迭代后的染色體，也可以是人工神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)，是“自下而上”的方法.在這些算法中，作曲理論更像是一個“黑盒模型”，即人們并不能理解作曲系統(tǒng)中參數(shù)的音樂意義，但這些參數(shù)確實(shí)存儲著生成音樂的信息.這種“黑盒模型”的優(yōu)勢是不需要掌握過多專業(yè)的樂理知識，門檻較低，而且可以利用模型從數(shù)據(jù)中學(xué)到作曲理論，在當(dāng)下互聯(lián)網(wǎng)大數(shù)據(jù)時代凸顯了其優(yōu)勢.但是正是因?yàn)椤昂诤小眴栴}，人們無法建立模型參數(shù)與音樂要素之間的聯(lián)系，導(dǎo)致生成音樂的可控性降低，因此，此類“黑盒模型”作曲系統(tǒng)與作曲理論之間的關(guān)系亦是自動作曲技術(shù)未來研究的方向之一.

7 承載媒體

生成音樂的承載媒體有兩種格式，分別是符號與原始音頻波形.一般來說，輸出音樂的格式與輸入音樂的格式相對應(yīng).符號格式的音樂在生成后，需要利用特定的合成或者播放軟件來轉(zhuǎn)換為人耳可聽見的音樂并播放，然后人們對生成音樂進(jìn)行評價，若直接生成音頻格式的音樂則不需要轉(zhuǎn)換.但是若要利用計算機(jī)對生成的音樂進(jìn)行客觀地統(tǒng)計，那么音頻格式的音樂只能采用音樂信息檢索技術(shù)(Music Information Retrieval,MIR)再對音頻進(jìn)行分析，而符號格式的音樂則可以很容易地被轉(zhuǎn)換為計算機(jī)可以處理的數(shù)據(jù).

由于音樂具有高度結(jié)構(gòu)化、復(fù)雜且連續(xù)的特點(diǎn)，到目前為止，計算機(jī)生成音樂的研究主要集中在生成符號化音樂上.但只生成符號化的音樂，如果從演奏音樂的角度來看便顯得不夠豐富，因?yàn)槊總€音符的力度、時長在由不同的演奏家演奏音樂時都會有不同，這些細(xì)微的差別正是音頻文件的音樂和樂譜等符號化音樂的區(qū)別.Kalchbrenner等[12]使用單層的循環(huán)神經(jīng)網(wǎng)絡(luò)依次預(yù)測波形的下一個樣本點(diǎn)來生成音頻，Chung等[13]將潛在隨機(jī)變量加入一個循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層，提升了網(wǎng)絡(luò)對結(jié)構(gòu)化序列信息建模的能力.Van Den Oord等[14]提出了一種根據(jù)之前所有的音頻樣本來預(yù)測當(dāng)前的音頻樣本，直接生成原始音頻波形的深度卷積神經(jīng)網(wǎng)絡(luò)WaveNet.WaveNet的核心部分是因果卷積，因?yàn)橐蚬裕W(wǎng)絡(luò)可以保證生成的每一個音頻樣本都只取決于之前的樣本.WaveNet可以用在文本轉(zhuǎn)語音(Text to Speech，TTS)系統(tǒng)，也可用于直接生成音樂.在生成語音信號上，WaveNet取得了很好的效果，但是在生成音樂上，由于WaveNet直接生成的是波形，所以生成的聲音有很多非樂音，并且在音符之間的銜接上仍十分不自然.與WaveNet沒有考慮音樂構(gòu)成的元素不同，Mehri等[15]提出了一個端到端的生成音頻波形的模型SampleRNN.原始音頻信號的建模極具挑戰(zhàn)性，因?yàn)橐纛l波形信號包含了很多不同尺度的結(jié)構(gòu)，相鄰樣本之間以及相隔數(shù)千個樣本之間存在相關(guān)性，為了解決這個問題，SampleRNN模型提出了多層模型，每一層處理一個時間維度上的數(shù)據(jù)，最底層處理音頻樣本級別的信息，每高一層要處理的信息在時間范圍上越來越長，在時間分辨率上越來越低.由WaveNet和SampleRNN生成的音樂并沒有在以秒為單位的數(shù)量級上展現(xiàn)出音樂結(jié)構(gòu)，而這些時間尺度上的結(jié)構(gòu)正是音樂的本質(zhì)之一.目前基于自回歸方法生成音頻文件的音樂性最強(qiáng)的系統(tǒng)是Dieleman等[16]提出的自回歸離散自編碼器(Autoregressive Discrete Autoencoders，ADAs).在典型的確定性自編碼器中，學(xué)習(xí)到的表示信息內(nèi)容僅受編碼器和解碼器容量的限制，因?yàn)樵摫硎臼菍?shí)值的(如果是非線性的，甚至可以將大量信息壓縮成單個標(biāo)量值).當(dāng)音樂以音頻信號的形式呈現(xiàn)時，這種結(jié)構(gòu)在不同的時間尺度上表現(xiàn)出來，從毫秒級波形的周期性到一段跨度為幾分鐘的音樂的形式.為這個結(jié)構(gòu)化序列中的所有時間相關(guān)性建模是極具挑戰(zhàn)的任務(wù).

8 音樂評價

音樂評價對于自動作曲非常重要，驗(yàn)證生成的音樂有更高的質(zhì)量是對系統(tǒng)性能更出色的證明.但是音樂評價卻是自動作曲中最困難的部分，因?yàn)橐魳繁旧砭秃茈y評價，音樂評價可以分為“客觀評價”和“主觀評價”，目前來說并沒有公認(rèn)的客觀評價體系，而人主觀的聽力測試也與被試者的年齡、性別、性格以及受音樂教育程度等諸多因素有很大的關(guān)系，所以如何評價作曲系統(tǒng)創(chuàng)作的音樂也一直是研究者想要解決的問題.下面通過對文獻(xiàn)的回顧，總結(jié)目前較為常用的評價方式.合理的客觀評價方式也是未來自動作曲研究的一個重要方向.

8.1 客觀評價

Sun等[93]提出了3個客觀評價指標(biāo)來衡量生成的音樂質(zhì)量，這3個指標(biāo)分別是：1) 全音階的音符占總音符的比率；2) 一個八度間的音程百分比；3) 一個八度間的三和弦百分比.

Jaques[111]根據(jù)Gauldin[112]提出的作曲理論規(guī)則制定了幾個客觀評價指標(biāo)：如分?jǐn)?shù)越接近于0越好的指標(biāo)——重復(fù)的音符占比與不在調(diào)性內(nèi)的音符占比；分?jǐn)?shù)越接近于100越好的指標(biāo)——從根音開始的音符占比、不和諧跳音的解決程度、動機(jī)內(nèi)的音符占比以及重復(fù)動機(jī)內(nèi)的音符占比.

大數(shù)據(jù)處理已被廣泛應(yīng)用于各個領(lǐng)域，人們已為此開發(fā)多個框架來加速不同類型的數(shù)據(jù)處理應(yīng)用。由于一個大數(shù)據(jù)處理集群往往運(yùn)行多個不同類型數(shù)據(jù)處理任務(wù)，公平資源共享是大部分平臺所采用的資源配置策略[1]。然而，不同類型任務(wù)對服務(wù)質(zhì)量的需求是不同的，絕對公平并不總是終端用戶和服務(wù)提供商的最佳選擇。例如，實(shí)時數(shù)據(jù)流分析，需要快速完成任務(wù)；而綜合決策系統(tǒng)，則主要關(guān)注系統(tǒng)吞吐量。

Dong等[21]在MuseGAN系統(tǒng)中提出了5點(diǎn)客觀指標(biāo)，并且被很多文獻(xiàn)[24,113]使用，這5點(diǎn)指標(biāo)為：1) Empty Bars(EB)，即空的小節(jié)數(shù)；2) Used Pitch Classes(UPC)，即每個小節(jié)的音高種類、數(shù)量；3) Qualified Note(QN)，代表著高質(zhì)量音符與總體音符數(shù)的比率(音符時長要長于等于十六分音符，音符時值過短表示音樂過于碎片化)；4) Tonal Distance(TD)，表示兩個音軌之間的和諧程度，和諧程度用Harte等[114]提出的比較兩個音軌的色度特征之間的距離來表示；5) Drum Pattern(DP)，即八分音符和十六分音符的占比，因?yàn)檫@兩種音符時值是搖滾樂中常用的鼓的音符時長.

微軟小冰團(tuán)隊[102]也提出了幾點(diǎn)客觀指標(biāo)：1) 音符準(zhǔn)確率，即在同一時刻，生成音符和數(shù)據(jù)庫中音符相同的數(shù)量與總音符數(shù)量的比值；2) Levenshtein相似度，即Levenshtein距離[115]，是通過計算將一個序列更改為另一個序列所需的單字符編輯(插入、刪除或替換)的最小數(shù)量來度量的，它通常用來測量兩個序列之間的差別；3) 音符的均方誤差分布，用來衡量音樂中的音符分布情況.

8.2 主觀評價

主觀評價是指選擇人類聽眾對生成的音樂進(jìn)行聽力測試，并用李克特量表[21，26-27]對音樂進(jìn)行打分，然后對得到的分?jǐn)?shù)進(jìn)行檢驗(yàn)，然后進(jìn)一步地分析分?jǐn)?shù)與音樂質(zhì)量之間的聯(lián)系.如可以利用克魯斯卡爾-沃利斯檢驗(yàn)(Kruskal-Wallis Test，亦稱“K-W檢驗(yàn)”、“H檢驗(yàn)”等)，該檢驗(yàn)可以判斷兩個以上的樣本是否來自同一個概率分布，還可以利用威爾科克森符號秩檢驗(yàn)來檢測成對數(shù)據(jù)是否有顯著差異.目前有一些平臺可以對計算機(jī)生成的音樂進(jìn)行主觀評價，如CrowAI平臺(https：∥www.crowdai.org)，該平臺是生成音樂挑戰(zhàn)的一部分.該挑戰(zhàn)旨在對不同算法生成的MIDI文件進(jìn)行評級，該平臺讓評估者給2個30s的音樂片段打分，而該30s的片段可能是從自動作曲系統(tǒng)生成的1h音樂中隨機(jī)選擇出來的，也可能是從John Sankey，Chorales和Nottingham等數(shù)據(jù)庫中挑選的.

9 結(jié) 語

本文根據(jù)“針對音樂表現(xiàn)力的計算機(jī)系統(tǒng)”模型提出了“計算機(jī)自動作曲系統(tǒng)”模型，該模型包括了“音樂樣本”、“音樂分析”、“音樂背景”、“作曲系統(tǒng)”、“作曲理論”、“承載媒體”和“音樂評價”7個部分.本文利用此模型的層次對計算機(jī)自動作曲的文獻(xiàn)進(jìn)行了回顧，可以發(fā)現(xiàn)該模型很好地描述了計算機(jī)自動作曲系統(tǒng)的架構(gòu).與此同時，本文給出了模型中的每個模塊的簡略介紹、所使用的重點(diǎn)技術(shù)、面臨的難點(diǎn)問題以及未來發(fā)展的研究熱點(diǎn).對“音樂樣本”模塊，本文總結(jié)了符號格式音樂的常用數(shù)據(jù)庫；對“音樂分析”模塊，本文給出了幾種常用的MIDI處理程序擴(kuò)展包；對“評價方式”模塊，本文總結(jié)了常用的客觀及主觀評價方法.本文并沒有給出系統(tǒng)用到的每一種音樂表示方式以及系統(tǒng)的詳細(xì)說明，但研究者依然可以根據(jù)本文的模型迅速地理清自動作曲中涉及到的問題、技術(shù)以及發(fā)展方向，這對初探自動作曲領(lǐng)域的研究者有著很好的幫助.

致謝：本文是2019年度上海市音樂聲學(xué)藝術(shù)重點(diǎn)實(shí)驗(yàn)室委托科研項(xiàng)目(SKLMA-2019-02)研究成果，同時也是北京市中聞律師事務(wù)所周唯團(tuán)隊與北京郵電大學(xué)嵌入式人工智能實(shí)驗(yàn)室關(guān)于“計算機(jī)輔助作曲技術(shù)應(yīng)用及其法律風(fēng)險”研究項(xiàng)目的成果.感謝以上單位對本文的支持！