基于神經(jīng)網(wǎng)絡(luò)算法的大數(shù)據(jù)分析方法研究

周林騰

（山東科技大學(xué)山東青島266590）

大數(shù)據(jù)蘊含著龐大的社會經(jīng)濟(jì)和科學(xué)價值，且隨著近年來基于大數(shù)據(jù)的新應(yīng)用、新行業(yè)不斷興起，已在全世界掀起一股大數(shù)據(jù)研究的熱潮。2015年，國務(wù)院發(fā)布發(fā)展綱要，將大數(shù)據(jù)納入其中。大數(shù)據(jù)價值的體現(xiàn)在其中蘊藏的大量信息，要真正發(fā)掘出數(shù)據(jù)的信息價值，需要克服“4 V特性”（價值稀疏、多源異構(gòu)、數(shù)據(jù)海量、指數(shù)生長）帶來的挑戰(zhàn)[1-2]。而人腦作為天然的數(shù)據(jù)處理引擎，具備超乎想象的數(shù)據(jù)分析處理能力?？梢酝浇馕鰣D像、氣溫、觸感、聲音多種形式數(shù)據(jù)，每秒的信息傳遞量可達(dá)1 000億次。

深度神經(jīng)網(wǎng)絡(luò)算法仿生人腦數(shù)據(jù)處理模式，是目前最為高效的大數(shù)據(jù)分析算法之一[3-4]。本文將基于大數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)的核心技術(shù)，梳理了神經(jīng)網(wǎng)絡(luò)大數(shù)據(jù)分析的基本框架，并對以數(shù)據(jù)驅(qū)動的自動化特征提取模式為核心的深度學(xué)習(xí)方法做深入研究。同時，對其在圖像理解中的應(yīng)用進(jìn)行實例分析。

1 大數(shù)據(jù)與深度神經(jīng)網(wǎng)絡(luò)

1.1 大數(shù)據(jù)關(guān)鍵技術(shù)

1.1.1 大數(shù)據(jù)概念

大數(shù)據(jù)一詞誕生于1997年，通常指信息龐大復(fù)雜的數(shù)據(jù)集合。大數(shù)據(jù)具備4個突出特征：

1）數(shù)據(jù)海量

大數(shù)據(jù)包含的是全樣本數(shù)據(jù)和超高維的復(fù)雜數(shù)據(jù)，而非少量的抽樣數(shù)據(jù)。

2）價值稀疏

單條數(shù)據(jù)蘊含的價值極低且數(shù)據(jù)間相關(guān)性差。

3）多源異構(gòu)

數(shù)據(jù)來源復(fù)雜、渠道廣泛，且大多是非結(jié)構(gòu)化的數(shù)據(jù)混雜結(jié)構(gòu)化數(shù)據(jù)，難以分類整理。

4）指數(shù)生長

大數(shù)據(jù)包含的數(shù)據(jù)量會隨著產(chǎn)出指數(shù)變化，流量可達(dá)到TB級[5-9]。

1.1.2 大數(shù)據(jù)核心技術(shù)

要跨過大數(shù)據(jù)的特征門檻，發(fā)掘出大數(shù)據(jù)的信息價值，其關(guān)鍵技術(shù)分為3個部分層[10-11]：

1）數(shù)據(jù)平臺

數(shù)據(jù)平臺負(fù)責(zé)大數(shù)據(jù)的采集和分類存儲管理。對收集到的數(shù)據(jù)需要進(jìn)行清理、再標(biāo)記。標(biāo)記數(shù)據(jù)時刻清理更新，蘊含著海量數(shù)據(jù)的大部分研究價值。

2）分析平臺

分析平臺負(fù)責(zé)大數(shù)據(jù)計算、分析，是價值具象化的重要途徑。轉(zhuǎn)化過程需要強大的計算平臺支撐，現(xiàn)常用的分布式大數(shù)據(jù)計算框架有：MapReduce、Parameter Server等，分析方法常用人工建?；蛏窠?jīng)網(wǎng)絡(luò)分析。

3）展示平臺

展示平臺通常以流量渠道進(jìn)行大數(shù)據(jù)產(chǎn)品的推廣，包括大數(shù)據(jù)研究規(guī)律或價值研究模型等。大數(shù)據(jù)完整的分析、標(biāo)記、提取流程如圖1所示。

圖1 三層架構(gòu)下元數(shù)據(jù)管理

1.2 神經(jīng)網(wǎng)絡(luò)算法

1.2.1 算法模型

神經(jīng)網(wǎng)絡(luò)算法是一種模擬大腦分析機制的仿生計算方法，研究內(nèi)容涵蓋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模擬、網(wǎng)絡(luò)通信模型、記憶模型及學(xué)習(xí)算法等[12]。

目前，研究實現(xiàn)的神經(jīng)網(wǎng)絡(luò)算法模型主要有：前饋神經(jīng)網(wǎng)絡(luò)、回復(fù)式神經(jīng)網(wǎng)絡(luò)、時序記憶神經(jīng)網(wǎng)絡(luò)。本文主要研究基于前饋神經(jīng)網(wǎng)絡(luò)，這也是最為高效的一種網(wǎng)絡(luò)模型。其突出的特征學(xué)習(xí)能力，可廣泛運用于語音、圖像識別中。前饋神經(jīng)網(wǎng)絡(luò)分為多層結(jié)構(gòu)，每層由多組神經(jīng)元構(gòu)成，信息沿著前饋層輸入，單向流動傳輸[13]?；诖颂匦?，前饋神經(jīng)網(wǎng)絡(luò)可有效提取數(shù)據(jù)空間結(jié)構(gòu)特征，最為著名的實現(xiàn)方法如感知機、深度自動編碼機等，均已在計算機視覺與人工智能開發(fā)領(lǐng)域作出卓著貢獻(xiàn)。

1.2.2 無限深度神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)，通常指具有一定層級深度的前饋式神經(jīng)網(wǎng)絡(luò)，且無“時間參數(shù)”限制，適合處理靜態(tài)數(shù)據(jù)，拓?fù)淙鐖D2所示。而無限深度神經(jīng)網(wǎng)絡(luò)則在反饋結(jié)構(gòu)上建立回復(fù)式互聯(lián)，在時間維度上展開，隨著不斷分支，網(wǎng)絡(luò)可以“無限深”，使其具備可處理動態(tài)數(shù)據(jù)的能力。其拓?fù)涫疽馊鐖D3所示。

圖2 前饋式深度神經(jīng)網(wǎng)絡(luò)拓?fù)?/p>

圖3 無限深度神經(jīng)網(wǎng)絡(luò)拓?fù)?/p>

2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

深度神經(jīng)網(wǎng)絡(luò)任務(wù)的核心在于對數(shù)據(jù)變化趨勢的預(yù)測，即時序特征。時序是一個時間相關(guān)的動態(tài)函數(shù)，常以“Bus Driver”來驗證算法的動態(tài)提取能力。

“Bus Driver”問題要求在動態(tài)干擾中識別順序發(fā)生的兩個事件。如圖4所示，對于a，b，c，d 4個事件，只有在a后出現(xiàn)了事件b才會輸出1，否則為0。

圖4 Bus Driver問題

在深度神經(jīng)網(wǎng)絡(luò)算法模型中，以一個神經(jīng)元作為觸發(fā)器，另一個為輸出。劃定4端口輸入，1值在端口隨機轉(zhuǎn)換，其余默認(rèn)為0，便可實現(xiàn)“Bus Driver”目標(biāo)輸出規(guī)則：在a后出現(xiàn)第一個b輸出1。拓?fù)淙鐖D5所示。

2.1 性能函數(shù)分析

以上算例凸顯出了記憶、學(xué)習(xí)能力與時間判斷相結(jié)合的時序深度分析能力。而神經(jīng)網(wǎng)絡(luò)的計算分析能力，是建立在模擬神經(jīng)元連接權(quán)值上的。因此，學(xué)習(xí)算法的效率核心就在于網(wǎng)絡(luò)節(jié)點權(quán)值的調(diào)節(jié)上。

圖5 解決Bus Driver問題的無限深度神經(jīng)網(wǎng)絡(luò)拓?fù)?/p>

權(quán)值調(diào)節(jié)的最終目標(biāo)是從數(shù)據(jù)中抽取有效知識，達(dá)成計算任務(wù)。常用性能函數(shù)J（w）來進(jìn)行權(quán)值優(yōu)化。α為學(xué)習(xí)效率，?wJ為參數(shù)梯度

以一個監(jiān)督有序?qū)W習(xí)序列作為輸入，在任意t時刻性能函數(shù)：

若劃定起止時間t0和t1，性能函數(shù)轉(zhuǎn)變?yōu)椋?/p>

以上兩種方式分別稱為階段訓(xùn)練和連續(xù)訓(xùn)練，其特點如表1所示。

表1 連續(xù)訓(xùn)練與階段訓(xùn)練特性對比

2.2 深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

作為最經(jīng)典的前饋網(wǎng)絡(luò)算法，BPTT算法按照無限深度神經(jīng)網(wǎng)絡(luò)展開為回復(fù)式網(wǎng)絡(luò)，每層有其相對應(yīng)的權(quán)值。根據(jù)2.1所示的兩種訓(xùn)練學(xué)習(xí)方式，可實現(xiàn)兩種經(jīng)典算法：Epoch-BPTT、Real-BPTT[14-16]。同時，為了解決無限深度神經(jīng)網(wǎng)絡(luò)普遍存在的“梯度爆炸、消失”問題，本文研究采用“長短時記憶”的改進(jìn)LSTM學(xué)習(xí)算法。

其具體解決原理在于將非線性的激活函數(shù)變?yōu)榫€性函數(shù)，拓?fù)浣Y(jié)構(gòu)如圖6所示（稱為CEC神經(jīng)元）。但線性結(jié)構(gòu)也限制了其學(xué)習(xí)能力，且存在特殊情況下的輸入輸出沖突。因此，將CEC結(jié)構(gòu)進(jìn)一步發(fā)展為LSTM memory cell。即一個block中可包含多個 memory cell，由 Gate、Output、Forget三塊區(qū)域采用全連接方式控制，如圖7所示。

圖6 A CEC of LSTM

圖7 LSTM memory block

3 算法分析實例

無限深度學(xué)習(xí)適用于海量數(shù)據(jù)的特征提取，獲取到有用知識。以LSTM模型為例，其在視頻識別中可對人肢體行為進(jìn)行分析，并排列出動態(tài)時序信息，從而處理復(fù)雜的視頻序列。而在圖像處理領(lǐng)域，也無須建立任何語法結(jié)構(gòu)和語言庫，可將圖像甚至視頻映射為一個自然語句。

測試圖像、視頻庫中存有8 w+訓(xùn)練圖像。本文從測試圖庫隨機抽取一張圖像或視頻的一幀為目標(biāo)，輸入到卷積網(wǎng)絡(luò)中，得到一個固定長度的特征向量。然后，將特征序列輸入到LSTM學(xué)習(xí)模型得到時序特征，預(yù)測出時序上的單詞空間分布概率。進(jìn)而標(biāo)記提取出正確行為信息，按時序級聯(lián)表達(dá)，轉(zhuǎn)化為自然語句輸出。

整體網(wǎng)絡(luò)架構(gòu)分為：1個卷積神經(jīng)網(wǎng)絡(luò)，4個長短時記憶網(wǎng)絡(luò)連接分類器。通過分析結(jié)果可知，LSTM相比其他語義理解算法能夠取得更高的精準(zhǔn)度，其優(yōu)勢尤其體現(xiàn)在短句的理解與翻譯中。

4 結(jié)束語

文中主要研究“大數(shù)據(jù)+神經(jīng)網(wǎng)絡(luò)”模式下，深度學(xué)習(xí)在非結(jié)構(gòu)化數(shù)據(jù)中動態(tài)時序分析方法。介紹了大數(shù)據(jù)特性、大數(shù)據(jù)關(guān)鍵技術(shù)及深度神經(jīng)網(wǎng)絡(luò)在時間維度展開的回復(fù)式互聯(lián)結(jié)構(gòu)。并就其性能函數(shù)優(yōu)化問題，提出采用改進(jìn)LSTM學(xué)習(xí)算法，良好平衡“學(xué)習(xí)能力”與“輸入輸出沖突”的矛盾問題?？偠灾瑹o限深度神經(jīng)網(wǎng)絡(luò)方法在圖像、語音、視頻的實例處理中表現(xiàn)出極高的精準(zhǔn)度和學(xué)習(xí)能力，可高效實現(xiàn)大數(shù)據(jù)價值轉(zhuǎn)化。

參考文獻(xiàn)：

[1]張蕾，章毅.大數(shù)據(jù)分析的無限深度神經(jīng)網(wǎng)絡(luò)方法[J].計算機研究與發(fā)展，2016，53（1）:68-79.

[2]工業(yè)和信息化部電信研究院.大數(shù)據(jù)白皮書[M].北京:工業(yè)和信息化部電信研究院，2014.

[3]Silver D，Huang A，Maddison C J，et al.Mastering the game of go with deep neural networks and tree search[J].Nature，2016，529（7587）:484-489.

[4]Intel IT Center.大數(shù)據(jù)101:非結(jié)構(gòu)化數(shù)據(jù)分析[EB/OL].（2015-07-01）[2017-11-05]www.intel.com.

[5]Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural Computation，1997，9（8）:1735.

[6]Gers F A，Schmidhuber J，Recurrent nets that time and count[C].Piscataway，NJ:IEEE，2000.

[7]Donahue J，Hendricks L A，Guadarrama S，et al，Long-term recurrent convolutional networks for vi?sual recongnition and description[J].ArXiv Pre?print，2014，14（11）:4389-4395.

[8]Gravers A.Generating sequences with recurrent neural networks[J].ArXiv Preprint，2013，13（11）:850-859.

[9]Fu X L，Cai L H，Liu Y，et al． A computational cognition model of perception，memory，and judg?ment[J].Science China Information Sciences，2014，57（3）:1-15.

[11]繆林松.基于代價敏感神經(jīng)網(wǎng)絡(luò)算法的軟件缺陷預(yù)測[J].電子科技，2012，25（6）:75-78.

[12]常政威，謝曉娜，桑楠，等.MPSoC軟硬件劃分的自動波競爭神經(jīng)網(wǎng)絡(luò)算法[J].電子科技大學(xué)學(xué)報，2010，39（5）:752-756.

[10]劉玉儒，張振華，劉陵順，等.一種基于BP神經(jīng)網(wǎng)絡(luò)算法PID控制器的研究與仿真[J].電子設(shè)計工程，2012，20（12）:140-142.

[13]梁玉強，陳勁杰，葉其含.基于AdaBoost和BP網(wǎng)絡(luò)的機器人動作理解[J].電子科技，2017，30（8）:63-66.

[14]劉天舒.BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)研究及應(yīng)用[D].哈爾濱:東北農(nóng)業(yè)大學(xué)，2011.

[15]劉蕊蕊，于合謠，冀鵬飛.基于遺傳算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法[J].德州學(xué)院學(xué)報，2017，33（4）:38-41.

[16]張裊娜，劉美艷.一種基于RTRL的神經(jīng)網(wǎng)絡(luò)駕駛員巡航模型[J].電子科技，2016，29（6）:5-7.