基于類腦脈沖神經(jīng)網(wǎng)絡的音樂記憶與激活模型

　　解鎖更多智能之美“音樂是思維著的聲音。”

　　——雨果音樂貫穿了人類文明的歷史，與每一種文化息息相關，遍布世界每一個角落。人類如此為音樂著迷，那么人類的大腦是如何感受與存儲音樂的？計算機如何能像人類大腦一樣感知與記憶音樂呢？中國科學院自動化研究所類腦智能研究中心曾毅團隊充分借鑒了人類大腦在音樂信息處理方面的神經(jīng)機制，構建了一個多尺度的多腦區(qū)協(xié)同的脈沖神經(jīng)網(wǎng)絡SNN(Spiking Neural Network)模型，用于音樂感知與記憶。模型可以通過一首曲名從而回憶起整首樂曲，也可以只通過一個片段，回憶起整首曲目，甚至可以回憶樂曲的節(jié)奏與速度。相關工作發(fā)表在Frontiers in Computational Neuroscience上。

　　據(jù)課題組長曾毅研究員介紹，當一首樂曲響起時，大腦的聽覺系統(tǒng)中對音高敏感的神經(jīng)元率先產生神經(jīng)活動并對音高進行編碼，大腦皮層-基底節(jié)-小腦-丘腦神經(jīng)環(huán)路處理音樂節(jié)奏與速度，同時，記憶系統(tǒng)對旋律進行有效存儲。依據(jù)以上神經(jīng)科學的研究成果，團隊模擬了包括聽覺皮層，海馬區(qū)，紋狀體等腦區(qū)在音樂處理方面的相關功能，自底向上地建立了一個多尺度的神經(jīng)網(wǎng)絡模型（神經(jīng)元->功能微柱->腦區(qū)），如下圖所示，該模型包含了四個子網(wǎng)，每個子網(wǎng)實現(xiàn)不同腦區(qū)的功能，同時，每個子網(wǎng)由若干具有選擇性的功能微柱（Minicolumn）構成，每個功能微柱又由若干神經(jīng)元（Neuron）組成。

　　文章的第一作者，博士生梁倩介紹：我們設計的類腦脈沖神經(jīng)網(wǎng)絡具備更深刻的生物合理性，采用了同層抑制性連接，鄰層和跨層興奮性連接，利用STDP（Spike-Timing-Dependent Plasticity）學習規(guī)則有效完成了時間順序以及上下文信息的傳輸與存儲。此外，受神經(jīng)科學啟發(fā)，網(wǎng)絡中的每條鏈接引入了傳輸時延屬性，這使得突觸后神經(jīng)元在接受突觸前神經(jīng)元的脈沖刺激時，更注重脈沖信號攜帶的時間信息。

　　由于Spatial Subnetwork與Temporal Subnetwork的功能微柱分別對音符的音高與時長具有選擇性，那么隨著音符的不斷輸入，這些功能微柱中的神經(jīng)元受到音高及音符時長的刺激，對這些刺激敏感的神經(jīng)元將在不同的時間段發(fā)放脈沖，因此，神經(jīng)元信息以及脈沖活動共同完成了對音高及時長的編碼。此外，Goal cluster主要對樂曲名進行編碼與存儲。值得一提的是，網(wǎng)絡中神經(jīng)元的規(guī)模并不是預先固定的，而是隨著樂曲的不斷輸入動態(tài)變化的。根據(jù)STDP的學習規(guī)則并結合傳輸時延的影響，這些神經(jīng)元的放電活動將引起神經(jīng)元之間鏈接的權重改變，因此最終音符間的順序信息存儲于突觸鏈接中。在記憶過程中，Goal cluster中與當前樂曲有關的神經(jīng)元一直處于活動狀態(tài)，因此Goal cluster與spatial subnetwork和Temporal subnetwork之間的鏈接權重也隨之改變，從而建立起曲名與音符之間的關系。

　　所有樂曲記憶完成后（即網(wǎng)絡訓練完成后），當我們刺激Goal cluster中代表某個樂曲曲名的神經(jīng)元，它的放電活動會刺激spatial subnetwork與temporal subnetwork相應的神經(jīng)元放電，從而可以回憶起整首樂曲。同樣的，如果給網(wǎng)絡輸入一首樂曲的片段，即幾個音符，那么這個片段將會刺激網(wǎng)絡尋找記憶該片段樂曲的神經(jīng)微環(huán)路，并能夠通過反饋鏈接刺激goal cluster，從而回憶起該片段的樂曲名。

　　現(xiàn)實當中，當我們彈奏樂器或演唱一首歌曲時，我們可以控制自己彈奏或演唱的速度，模型通過模擬基底節(jié)紋狀體核團的功能，也實現(xiàn)了記憶提取時的速度問題，當我們調整pacemaker cluster神經(jīng)元的放電頻率時，回憶樂曲的速度將發(fā)生相應的變化。

　　梁倩說，我們通過331首古典鋼琴曲對模型進行實驗測試，每首樂曲為MIDI格式，模型對每首樂曲進行編碼與記憶，如下圖所示，每首樂曲包含多個聲部（音軌），每個音軌擁有不同數(shù)量的音符。

　　實驗表明，網(wǎng)絡不僅能夠只通過樂曲名就可回憶出整首樂曲，還能僅通過一個小片段，精確地回憶起相應的樂曲。

　　曾毅研究員介紹：“興趣很重要，類腦脈沖神經(jīng)網(wǎng)絡和音樂的結合3年前我們開始動手做的時候正是出于我的博士生梁倩和我個人對音樂的喜好。音樂記憶是通過類腦神經(jīng)網(wǎng)絡實現(xiàn)音樂學習甚至是創(chuàng)作的基礎，音樂學習的腦機制還有很多尚不清晰，據(jù)其啟發(fā)的類腦脈沖神經(jīng)網(wǎng)絡模型也就還有大量有趣的、值得研究的問題等待挖掘，例如從記憶到理解。我們目前正在進行的研究是基于類腦機制的音樂創(chuàng)作，這是更大的挑戰(zhàn)，但也是更激動人心的探索。此外，這個網(wǎng)絡并不僅僅可以用于音樂的學習與記憶，還可以拓展到機器人序列學習等領域的應用，實際上這個模型最初版本的應用我的博士生梁倩就是在機器人動作序列學習上展開的，想到應用于音樂的學習與創(chuàng)作，我們都非常興奮并會一直做下去。希望這樣的努力使我們離實現(xiàn)真正“結構機制類腦，認知行為類人”的類腦智能可以又邁進一步”。

中音在線：在線音樂學習門戶

• 音樂考級、音樂教程、音樂高考名師課堂在線學習

• 音樂考級類網(wǎng)絡課程

• 音樂教程名師視頻課堂

• 音樂高考和考研類視頻網(wǎng)絡課程