CNN算法改進(jìn)及在輿情分析中的應(yīng)用

左芳玲 郭迎筱

摘 ?要：作為深度學(xué)習(xí)圖像識別的開創(chuàng)性復(fù)雜算法，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像處理中有著其他機(jī)器學(xué)習(xí)算法所不具備的高精度的優(yōu)點，同時小波神經(jīng)網(wǎng)絡(luò)（WNN）在訓(xùn)練中有著跳出局部極小值的特點，因此可達(dá)到的最小誤差精度是大部分網(wǎng)絡(luò)難以達(dá)到的。結(jié)合CNN與WNN各自的優(yōu)點，本文提出了CNN與WNN相結(jié)合的兩種網(wǎng)絡(luò)：小波卷積小波神經(jīng)網(wǎng)絡(luò)（wCwNN）和小波卷積神經(jīng)網(wǎng)絡(luò)（wCNN）?；趙CwNN網(wǎng)絡(luò)以及wCNN網(wǎng)絡(luò)對文本分析問題進(jìn)行探索，嘗試用兩種網(wǎng)絡(luò)處理經(jīng)由詞向量模型（word2vec）處理后的文本信息，發(fā)現(xiàn)相比于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，針對經(jīng)word2vec處理后的文本，改進(jìn)后的網(wǎng)絡(luò)仍然具有一定的優(yōu)勢。本文最后針對經(jīng)典的神經(jīng)網(wǎng)絡(luò)對處理文本類數(shù)據(jù)問題提出研究方向，并對神經(jīng)網(wǎng)絡(luò)未來發(fā)展提出想法。

關(guān)鍵詞：wCwNN;WNN;CNN;word2vec;文本分析

中圖分類號：TP391.3 ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2019）13-0023-02

Improvement of CNN Algorithm and Its Application in Public Opinion Analysis

ZUO Fangling，GUO Yingxiao

（School of Information，Capital University of Economics and Business，Beijing ?100070，China）

Abstract：As deep learning seminal complex algorithm of image recognition，convolution neural network （CNN） with other machine learning algorithms in image processing does not have the advantages of high precision，at the same time，the wavelet neural network （WNN） in training has the characteristics of the local minimum value，therefore can achieve the minimum error of accuracy is hard to achieve most of the network. Combining the advantages of CNN and WNN，this paper proposes two kinds of networks：wavelet convolution wavelet neural network （wCwNN） and wavelet convolution neural network （wCNN）. Based on wCwNN network and wCNN network，this paper explores the problem of text analysis. Two kinds of networks are used to process text information processed by word vector model （word2vec）. It is found that compared with traditional convolutional neural network，the improved network still has certain advantages for text processed by word2vec. In the end，this paper puts forward the research direction of classical neural network in dealing with text data，and puts forward some ideas for the future development of neural network.

Keywords：wCwNN;WNN;CNN;word2vec;text analysis

0 ?引 ?言

隨著互聯(lián)網(wǎng)的發(fā)展，解讀社交網(wǎng)絡(luò)信息成為了輿情處理的重要方向，但是面對各種復(fù)雜的數(shù)據(jù)形式，傳統(tǒng)的數(shù)據(jù)分析算法已經(jīng)無法從數(shù)據(jù)中提煉較為準(zhǔn)確的信息。

我國對輿情監(jiān)控較為重視，但是定量分析還未成熟。因此，本文希望更好地對網(wǎng)絡(luò)輿情進(jìn)行即時處理、即時反饋，利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)獨特的特征提取優(yōu)勢，再加以改進(jìn)，進(jìn)一步提升輿情處理的即時性。

1 ?研究主要內(nèi)容

本文針對現(xiàn)階段的微博情感分析，更改CNN結(jié)構(gòu)：模仿CNN的結(jié)構(gòu)分析WNN，利用BP反向傳播的基本機(jī)制推導(dǎo)WNN公式，利用WNN替換CNN的全連接層與卷積池化層，改進(jìn)CNN極易陷入局部最優(yōu)的特性。提出小波卷積小波神經(jīng)網(wǎng)絡(luò)（下文簡稱wCwNN）和小波卷積神經(jīng)網(wǎng)絡(luò)（下文簡稱wCNN）。

2 ?研究方法實踐

2.1 ?各神經(jīng)網(wǎng)絡(luò)算法對比分析

2.1.1 ?卷積神經(jīng)網(wǎng)絡(luò)

標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程由前饋計算（Forward-Feedback）和反向傳播（Back-Propagation）組成，調(diào)整參數(shù)則采用了經(jīng)典的梯度下降法（Gradient Descent）進(jìn)行計算。以LeNet-5為模板，標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)有以下幾個部分：輸入層（Input layer）、卷積層（Convolution layer）、池化層（Pooling layer）、全連接層（Fully-connected layer），輸出層（Output layer）。

2.1.2 ?小波卷積神經(jīng)網(wǎng)絡(luò)

小波神經(jīng)網(wǎng)絡(luò)（WNN）是由多組小波變換充當(dāng)隱含層神經(jīng)元并與傳統(tǒng)的輸入層神經(jīng)元與輸出層神經(jīng)元所構(gòu)成，通過遺傳算法確定隱含層的神經(jīng)元個數(shù)。

2.1.3 ?小波卷積小波神經(jīng)網(wǎng)絡(luò)

小波卷積小波神經(jīng)網(wǎng)絡(luò)（wCwNN網(wǎng)絡(luò)）分為前段網(wǎng)絡(luò)和后段網(wǎng)絡(luò)，前段網(wǎng)絡(luò)為卷積池化網(wǎng)絡(luò)，其中卷積層的激活函數(shù)為小波尺度變換函數(shù)，后段網(wǎng)絡(luò)為小波神經(jīng)網(wǎng)絡(luò)。

2.1.4 ?實驗設(shè)計

實驗對象為CNN、wCwNN、wCNN，實驗分為兩部分：一部分為對于每一種網(wǎng)絡(luò)，不設(shè)置訓(xùn)練次數(shù)上限，不設(shè)置訓(xùn)練誤差下限，觀察每一種網(wǎng)絡(luò)能達(dá)到的最小誤差;另一部分為對于每一種網(wǎng)絡(luò)，不設(shè)置訓(xùn)練次數(shù)上限，設(shè)置所有網(wǎng)絡(luò)都能達(dá)到的訓(xùn)練誤差下限，觀察各網(wǎng)絡(luò)能達(dá)到誤差下限時所用的時間。用同一組數(shù)據(jù)作為輸入計算各神經(jīng)網(wǎng)絡(luò)的運行時間的平均值、最小值和最大值，最小均方誤差的平均值、最小值和最大值。可得如下結(jié)論：

（1）改進(jìn)后的wCwNN與wCNN網(wǎng)絡(luò)較原始CNN網(wǎng)絡(luò)性能有所提高。

（2）wCwNN網(wǎng)絡(luò)具有較快的收斂速度與達(dá)到極小誤差精度的能力。

（3）wCNN網(wǎng)絡(luò)具有極快的收斂速度與達(dá)到較小誤差精度的能力。

（4）相比于wCNN網(wǎng)絡(luò)，wCwNN網(wǎng)絡(luò)訓(xùn)練過程中誤差波動較大，也就是說該網(wǎng)絡(luò)具備跳出局部極小值的能力，因此在一定實驗次數(shù)下，wCwNN網(wǎng)絡(luò)能達(dá)到的最小誤差比wCNN網(wǎng)絡(luò)要小。該種類型的網(wǎng)絡(luò)適用于對最小精度有要求的實際場景中。

（5）相比于wCwNN網(wǎng)絡(luò)，wCNN網(wǎng)絡(luò)在每一次仿真中都保持較為穩(wěn)定的誤差下降過程，因此15次仿真的最小誤差值與最大誤差值相差不大（實驗一可達(dá)性實驗）。同時，當(dāng)控制各網(wǎng)絡(luò)目標(biāo)誤差相等時（實驗二訓(xùn)練時間對比實驗），wCNN網(wǎng)絡(luò)具備誤差快速收斂的能力。該種類型的網(wǎng)絡(luò)適用于對訓(xùn)練時間有要求的實際場景中。

2.2 ?基于wCwNN與wCNN的文本分析

2.2.1 ?數(shù)據(jù)獲取

將數(shù)據(jù)源分為兩類：一類為公開數(shù)據(jù)集中現(xiàn)有的微博評論數(shù)據(jù)，作為訓(xùn)練和驗證數(shù)據(jù);一類是從網(wǎng)頁版微博中實時爬取的微博數(shù)據(jù)，作為測試數(shù)據(jù)。其中現(xiàn)有的微博評論數(shù)據(jù)量為120000，實時爬取的微博數(shù)據(jù)量為124，兩份數(shù)據(jù)均以CSV格式存放在Excel表中。

2.2.2 ?數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理階段分為數(shù)據(jù)清洗與文本詞向量化：數(shù)據(jù)清洗指對原始數(shù)據(jù)進(jìn)行基本的處理以滿足數(shù)據(jù)分析的要求，本例中的數(shù)據(jù)清洗包括刪除重復(fù)數(shù)據(jù)、去除評論信息為空的數(shù)據(jù)、去除爬蟲留下的html代碼、去除評論信息中出現(xiàn)的表情符號和顏文字等等，對評論信息進(jìn)行分詞和去停用詞處理;文本詞向量化是指把每一個樣本的文本評論數(shù)據(jù)都轉(zhuǎn)換成指定維數(shù)的向量，即一個向量就是一個樣本的文本評論信息。

2.2.3 ?文本數(shù)據(jù)分類

使用wCwNN網(wǎng)絡(luò)、wCNN網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)對爬取的數(shù)據(jù)進(jìn)行分類，對wCwNN與wCNN網(wǎng)絡(luò)在文本分析領(lǐng)域做實證研究。主要有以下幾個方面：

（1）使用三種網(wǎng)絡(luò)對訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)。經(jīng)實驗，采用64維詞向量模型訓(xùn)練數(shù)據(jù)輸入各神經(jīng)網(wǎng)絡(luò)時，各網(wǎng)絡(luò)的準(zhǔn)確率較高。

（2）三種網(wǎng)絡(luò)對測試集進(jìn)行測試，計算相應(yīng)準(zhǔn)確率。切換不同種類的網(wǎng)絡(luò)計算各網(wǎng)絡(luò)的分類結(jié)果：wCwNN網(wǎng)絡(luò)準(zhǔn)確率為64%，wCNN網(wǎng)絡(luò)準(zhǔn)確率為60%，CNN網(wǎng)絡(luò)的準(zhǔn)確率為56%。

3 ?結(jié) ?論

本文通過對CNN網(wǎng)絡(luò)與WNN網(wǎng)絡(luò)的研究，創(chuàng)新了兩種新型的網(wǎng)絡(luò)：小波卷積小波神經(jīng)網(wǎng)絡(luò)（wCwNN）與小波卷積神經(jīng)網(wǎng)絡(luò)（wCNN）。輸入相同的仿真數(shù)據(jù)，分析對比了wCwNN、wCNN、CNN三種網(wǎng)絡(luò)能達(dá)到的最小誤差精度以及各自的訓(xùn)練時間。分析發(fā)現(xiàn)wCwNN網(wǎng)絡(luò)能達(dá)到最小誤差精度，wCNN網(wǎng)絡(luò)收斂較快，相對于傳統(tǒng)CNN網(wǎng)絡(luò)來說，兩種網(wǎng)絡(luò)都有了較大幅度的提升。

在文本分類中，相較于其他的機(jī)器學(xué)習(xí)算法，三種網(wǎng)絡(luò)的表現(xiàn)欠佳，經(jīng)過后期查詢各種資料與文獻(xiàn)，發(fā)現(xiàn)可能是詞向量化后的數(shù)據(jù)與現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)不匹配。相較于其他算法，CNN的卷積過程實際是對圖像各部分的特征提取過程，但相同的特征提取方法在word2vec模型上可能不能有效地提取特征，有學(xué)者指出把卷積核大小設(shè)置成為詞向量維度大小，并證明該種改進(jìn)有效地提升了算法的效率。因此在后期的研究中，可以考慮繼續(xù)研究word2vec模型與神經(jīng)網(wǎng)絡(luò)模型的適配性，可參考LSTM網(wǎng)絡(luò)進(jìn)行進(jìn)一步的研究。

神經(jīng)網(wǎng)絡(luò)以能擬合任意對應(yīng)關(guān)系而聞名，雖然目前各種網(wǎng)絡(luò)還不成熟，但是對網(wǎng)絡(luò)結(jié)構(gòu)、性能的研究仍在不斷進(jìn)行中，相信在未來深度學(xué)習(xí)的發(fā)展能為社會解決更多復(fù)雜的問題。

參考文獻(xiàn)：

[1] 高雪鵬，叢爽.BP網(wǎng)絡(luò)改進(jìn)算法的性能對比研究 [J].控制與決策，2001（2）：167-171.

[2] 郭媛媛.地方政府網(wǎng)絡(luò)輿情危機(jī)研究國外文獻(xiàn)綜述 [J].統(tǒng)計與管理，2017（2）：176-177.

[3] 胡悅，王亞民.基于模糊神經(jīng)網(wǎng)絡(luò)的微博輿情趨勢預(yù)測方法 [J].情報科學(xué)，2017，35（12）：28-33.

作者簡介：左芳玲（1997-），女，漢族，江西吉安人，本科在讀，研究方向：大數(shù)據(jù)應(yīng)用與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。