一種改進卷積神經(jīng)網(wǎng)絡的語義情感識別應用研究

王穎

摘? 要： 隨著人工智能研究領域的迅速發(fā)展，各種人工智能相關的行業(yè)也以大爆炸的趨勢迅猛興起，隨著人工智能行業(yè)的迅猛興起，也導致越來越多的行業(yè)都希望能夠以人工智能來取代人工工作。本文提出一種改進卷積神經(jīng)網(wǎng)絡模型，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型中增加一層循環(huán)隱含層，并應用在語義情感識別領域，經(jīng)驗證，在識別準確度方面取得較好的成績。

關鍵詞： 語義;情感識別;卷積神經(jīng)網(wǎng)絡;人工智能

【Abstract】： With rapid development of research field of artificial intelligence， various industries related to artificial intelligence have been booming with big bang trend. With rapid rise of the artificial intelligence industry， more industries try to replace artificial work with artificial intelligence. The article proposes an improved convolutional neural network model， which adds a circular hidden layer to traditional convolutional neural network model， and is applied in semantic emotion recognition field. Practice has proved that it has achieved good results in recognition accuracy.

【Key words】： Semantics; Emotion recognition; Convolutional neural network; Artificial intelligence

0? 引言

目前，最大化匹配方法常常被用在語義識別中[1]。鑒于漢語的復雜性和表達語義的能力遠高于其他語言，不同語用和語境中同一個次的含義可表達出完全不同的含義[2]。導致使用最大化匹配法實現(xiàn)語義識別效果并不理想[3]。

隨著人工智能技術的飛速發(fā)展，近年也有學者將卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡及誤差反向傳播神經(jīng)網(wǎng)絡模型用于語義識別技術，這些專家和學者在應用神經(jīng)網(wǎng)絡實現(xiàn)語義情感識別的領域取得了不錯的成績，但鑒于漢語表達情感的復雜程度導致在識別速度和準確度方面也存在不盡如人意的方面?；谝陨媳尘埃疚奶岢鲆环N改進的卷積神經(jīng)網(wǎng)絡模型用以語義識別，該模型在傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型中增加一層循環(huán)隱含層，該循環(huán)隱含層實現(xiàn)在同等數(shù)量的訓練樣本集前提下實現(xiàn)對網(wǎng)絡模型的過渡訓練的功能，大大提高網(wǎng)絡模型的識別準確度[4]。

1? 語義識別

1.1? 語義的表示

自然語言可通過分布語義，框架語義，模型論語義等三種主要途徑進行表示[5]。隨著人工智能技術發(fā)展衍生出的智能語音表示途徑為自然語言的一種衍生表示形式。使用領域（domain）、意圖（intent）、詞槽（slot）等三種形式來表示語義[6]。

領域（domain）：通常按語言數(shù)據(jù)來源來劃分領域，統(tǒng)一行業(yè)背景或專業(yè)范圍內(nèi)的語言數(shù)據(jù)劃分為統(tǒng)一領域，如醫(yī)療、交通等。領域在語法中可看作句子的主語。

意圖（intent）：意圖類似語法中的謂語，是指對語義領域內(nèi)的數(shù)據(jù)進行的動作或操作，比如查找交通等。

詞槽（slot）：指語義領域的屬性，可看作語法中的賓語，如交通類型。

1.2? 語義識別的三個層次

（1）應用層：應用層是指語義的使用層面，如行業(yè)應用等。

（2）NLP技術層：是指對自然語言經(jīng)過技術手段進行加工、處理轉化成機器語言或將機器語言合成自然語言。

（3）底層數(shù)據(jù)層：底層數(shù)據(jù)層是指語義的領域來源。

2? 卷積神經(jīng)網(wǎng)絡模型

2.1? 卷積神經(jīng)網(wǎng)絡介紹

卷積神經(jīng)網(wǎng)絡模型包含輸入層、隱含層及輸出層。其中輸入層輸入的為原始數(shù)據(jù)，模型將輸入層輸入的原始數(shù)據(jù)通過隱含層的卷積操作將原始數(shù)據(jù)逐層提取出目標函數(shù)[7]。其中逐層抽取的過程被稱之為前向反饋操作[8]。

當?shù)玫侥繕撕瘮?shù)后，網(wǎng)絡模型通過計算預測值和目標值之間的誤差，通過反向傳播算法逐層從最后一層向前反饋誤差[9]。次過程被稱之為后向反饋操作。

卷積神經(jīng)網(wǎng)絡基本模型如圖1所示。

2.2? 改進卷積神經(jīng)網(wǎng)絡模型研究

2.3? 網(wǎng)絡模型訓練

2.3.1? 卷積神經(jīng)網(wǎng)絡訓練

卷積神經(jīng)網(wǎng)絡通過前向傳播和反向傳播兩個階段完成。其中前向傳播是數(shù)據(jù)從低層網(wǎng)絡層向高層網(wǎng)絡層的傳播，反向傳播是誤差從高層網(wǎng)絡層向低層網(wǎng)絡層的傳播。

具體訓練過程為：① 網(wǎng)絡進行權值的初始化;② 輸入層輸入原始數(shù)據(jù);③ 隱含層進行卷積運算、采樣、全連接層向高層網(wǎng)絡層前向傳播;④ 循環(huán)隱含層通過循環(huán)計算網(wǎng)絡的輸出值與目標值之間的誤差;⑤ 如果計算出誤差大于目標期望值時，將誤差反向傳播回網(wǎng)絡模型，并且順序獲得全連接層和采樣層及卷積層的誤差。如果最終得出的誤差小于或等于期望值誤差值，結束訓練;⑥ 根據(jù)三次循環(huán)求得誤差平均值進行權值更新。

2.3.2? 卷積層的前向傳播過程

網(wǎng)絡模型的卷積層的卷積操作被稱作卷積層的前向傳播過程。卷積層采用特定步長的卷積運算方式，先獲取初始運算函數(shù)，并與該出事運算函數(shù)進行卷積運算（針對語義情感識別即權值矩陣與文字情感的特征值進行加權和再加上一個偏置量），然后通過激活函數(shù)得到該層的輸出[10]。

2.3.3? 采樣層的前向傳播過程

從卷積層獲取的特征數(shù)據(jù)作為輸入傳輸?shù)讲蓸訉?，并通過下采樣層的池化操作來對輸入數(shù)據(jù)進行降維操作，以此來避免過擬合情況。最大化池方法是拾取語義情感峰值的過程。均值池化方法是拾取語義情感均值的過程。隨機池化方法是拾取所有情感特征在所有特征中出現(xiàn)的概率，然后從所有特征中隨機選取一種作為該語義情感特征值，其中概率越大的特征最終被選取得概率也越大。

2.3.4? 全連接層的前向傳播過程

從卷積層和采樣層獲取到情感特征后，將提取出來的情感特征輸入到模型中的全連接層。并對所提取的情感特征進行分類，從而獲得分類模型，并得到輸出矩陣。然后經(jīng)過激勵函數(shù)f（y）的激活，傳入下一層[11]。

3? 實驗結果及分析

3.1? 數(shù)據(jù)

3.3? 分析

從實驗結果可以看出，在傳統(tǒng)卷積神經(jīng)網(wǎng)絡模型中增加一層循環(huán)隱含層在識別的準確度卻有較大的提高。因模型針對特定的流程進行優(yōu)化，所以針對識別準確度的效果提高較明顯。

4? 結論

本文在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡模型中增加一層循環(huán)隱含層，提出一種改進卷積神經(jīng)網(wǎng)絡模型，并將其應用在語義情感識別領域，經(jīng)驗證，取得了較高的識別率。與傳統(tǒng)的方法相比，CNN無監(jiān)督式提取特征應用于不同的數(shù)據(jù)均取得了較好的準確率，但在網(wǎng)絡復雜度上還需繼續(xù)改進。

參考文獻

T. Berners-Lee， J. Hendler， and O. Lassila， “The Semantic Web， ” Scientific American， May 2001， pp. 34-43.

P. Patel-Schneider， P. Hayes and I. Horrocks， “OWL web ontology language AbstractSyntax and Semantics”， W 3C Rec om mendation， http：//www.w3.org/TR/owl-semantics/2004.

P. Mika， “Flink： Semantic Web Technology for the Extraction and Analysis of Social Networks， ” Journal of Web Semantics， vol. 3， no. 2， 2005， pp. 211-223

H. Stuckenschmidt and M. Klein， “Structure-based partitioning of large class hierarchies”， In Proceedings of Third International Semantic Web Conference （ISWC 2004）， volume 3298 of Lecture Notes in Computer Science， pages 289-303， Springer， 2004.

W. Hu， Y. Zhao and Y. Qu， “Partition Based Block Matching of Large Class Hierarchies”， In Proceedings of the 1st Annual Asian Semantic Web Conference. （ASWC2006）， Springer-Verlag Berlin Heidelberg. LNCS 4185， pp： 72-83.

X. Zhang， G. Cheng and Y. Qu， “Ontology Summarization Based on RDF Sentence Graph”， In Proceedings of the 16th International World Wide Web Conference （WWW2007）， ACM Press， pp： 707-715， 2006.

韓英杰. 基于綜合調(diào)度關鍵路徑的多核任務調(diào)度研究[D]. 哈爾濱理工大學. 2014.

蘇賽軍. 網(wǎng)絡化多智能體系統(tǒng)的協(xié)調(diào)控制及一致性問題研究[D]. 中南大學， 2011.

郭文忠， 陳國龍， 陳慶良， 等. 基于粒子群優(yōu)化算法和相關性分析的特征子集選擇[J]. 計算機科學， 2008（2）： 144-146.

劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

吳亞熙， 岑峰. 基于卷積神經(jīng)網(wǎng)絡的多層級目標檢測方法[J]. 軟件， 2018， 39（4）： 164-169.