基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)輿情分析

蓋赟 宿培成

摘? 要：在網(wǎng)絡(luò)數(shù)據(jù)爆炸式增長(zhǎng)的今天，使用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)處理是當(dāng)前研究和應(yīng)用的重點(diǎn)關(guān)注領(lǐng)域。文章針對(duì)網(wǎng)絡(luò)輿情分析問題，介紹使用機(jī)器學(xué)習(xí)分析網(wǎng)絡(luò)輿情的方法和改進(jìn)方式。通過計(jì)算文本中情感詞的情感權(quán)重，提高機(jī)器學(xué)習(xí)模型的分析效率和分析準(zhǔn)度。通過對(duì)酒店評(píng)論數(shù)據(jù)的驗(yàn)證，證明了文章提出的改進(jìn)方法的有效性，進(jìn)一步分析了機(jī)器學(xué)習(xí)方法的改進(jìn)方向。

關(guān)鍵詞：大數(shù)據(jù);機(jī)器學(xué)習(xí);深度學(xué)習(xí);網(wǎng)絡(luò)輿情;情感分析

中圖分類號(hào)：GB251? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.19881/j.cnki.1006-3676.2020.09.12

Abstract：With the explosive growth of network data，the use of machine learning technology for data analysis and data processing is the focus of current research and application. Aiming at the problem of network public opinion analysis，this paper introduces the method of using machine learning method to analyze network public opinion and the improvement method. It improves the analysis efficiency and accuracy of machine learning model by calculating the emotional weight of sentiment words in text. Through the verification of hotel review data，it proves the effectiveness of the improved method proposed in this paper，and further analyzes the improvement direction of machine learning method.

Key words：Big Data;Machine Learning;Deep Learning;Network Public Opinion;Sentiment Analysis

一、引言

情感分析是輿情分析的重要研究領(lǐng)域之一，該研究是指使用計(jì)算機(jī)技術(shù)分析人們對(duì)主題、對(duì)象、產(chǎn)品、服務(wù)和事件的意見、態(tài)度、情緒。近年來(lái)，用于消費(fèi)評(píng)論的情感分析研究得到了學(xué)者的廣泛關(guān)注和深入研究，涉及的研究領(lǐng)域有數(shù)據(jù)挖掘、自然語(yǔ)言處理等。人們希望通過對(duì)該問題的研究能夠發(fā)現(xiàn)潛在的消費(fèi)者和商業(yè)模式。消費(fèi)者在購(gòu)買某一產(chǎn)品前，希望知道其他消費(fèi)者對(duì)該產(chǎn)品的意見，并以此為基礎(chǔ)做出是否購(gòu)買的決定;而商家希望根據(jù)消費(fèi)者的評(píng)價(jià)發(fā)現(xiàn)問題、找出解決方案，并對(duì)自身的產(chǎn)品或服務(wù)做出相應(yīng)的調(diào)整。隨著參與在線評(píng)論的消費(fèi)者人數(shù)增加，想通過人工的方式全面掌握每個(gè)消費(fèi)者對(duì)不同商品的態(tài)度和意見，已經(jīng)成為一件不可能的事情。對(duì)現(xiàn)有商品評(píng)論進(jìn)行有效的分析和總結(jié)，能夠幫助商家盡早地發(fā)現(xiàn)潛在用戶。不僅如此，通過計(jì)算評(píng)論中包含情感的正負(fù)極性，商家還可以獲知用戶對(duì)產(chǎn)品的使用感受。隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，人們?cè)诰W(wǎng)絡(luò)平臺(tái)發(fā)表的評(píng)論數(shù)量快速增長(zhǎng)，建立一個(gè)可以自動(dòng)分析用戶情感狀態(tài)和產(chǎn)品觀點(diǎn)的方法是十分必要的。

目前文本情感分析方法主要有兩類：基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法[1]?；谇楦性~典的方法是首先構(gòu)建一個(gè)包含情感詞的情感詞典，然后以這個(gè)詞典為基礎(chǔ)對(duì)評(píng)論文本進(jìn)行情感分類[2]。部分學(xué)者認(rèn)為，提高情感分類的準(zhǔn)確性需要讓情感詞典包含盡可能多的情感詞，并投入到情感詞典分析法的改進(jìn)工作當(dāng)中[3-5]。近年來(lái)，Wu等[6]提出了基于數(shù)據(jù)驅(qū)動(dòng)的情感詞典構(gòu)建方法，該方法使用改進(jìn)的互信息統(tǒng)計(jì)信息來(lái)檢測(cè)信息中的詞，從而使得情感詞典質(zhì)量得到大幅提升，覆蓋范圍進(jìn)一步擴(kuò)大，并在實(shí)驗(yàn)當(dāng)中取得較好的結(jié)果。但是此類方法仍舊在很大程度上受語(yǔ)料環(huán)境影響，當(dāng)用于語(yǔ)料庫(kù)中的文本包含的詞匯過于關(guān)注某一主題或包含某個(gè)情感極性，那么該語(yǔ)料庫(kù)對(duì)其他主題或其他極性的分析準(zhǔn)確性就會(huì)大幅降低。因此，隨著機(jī)器學(xué)習(xí)研究的推進(jìn)，基于機(jī)器學(xué)習(xí)的方法進(jìn)行文本情感分析是當(dāng)前研究的主流方向。

近年來(lái)，機(jī)器學(xué)習(xí)方法在情感分析工作中起著非常重要的作用，并取得了迄今為止最好的分類效果。一部分機(jī)器學(xué)習(xí)方法通過大量訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)獲得高質(zhì)量的情感特征和良好的模型泛化能力。該方法的不足之處在于：訓(xùn)練前需要準(zhǔn)備大量的已標(biāo)記樣本，其所需的實(shí)踐和資源是驚人的。另外一部分機(jī)器學(xué)習(xí)方法建立在數(shù)學(xué)推論之上，如支撐向量機(jī)。前兩類方法都需要人工設(shè)計(jì)目標(biāo)特征，特征設(shè)計(jì)的準(zhǔn)確性直接影響到模型訓(xùn)練的結(jié)果。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)是當(dāng)前情感識(shí)別領(lǐng)域應(yīng)用最為廣泛、效果最好的方法。通常情況下，這些方法需要大量的數(shù)據(jù)作為訓(xùn)練基礎(chǔ)，并且詞嵌入向量的準(zhǔn)確性也會(huì)影響模型訓(xùn)練的準(zhǔn)確性。筆者首先采用TF-IDF方法計(jì)算情感詞在句子中的權(quán)重，然后將權(quán)重值和原詞向量進(jìn)行加權(quán)，最后將加權(quán)的詞向量投入到模型中進(jìn)行訓(xùn)練，并得到最后的結(jié)果。

二、情感分析模型

筆者提出的情感分析模型首先使用TF-IDF方法得到情感詞的權(quán)重，然后將權(quán)重值和詞向量結(jié)果進(jìn)行融合，并最終完成分析工作。

（一）TF-IDF

TF-TDF是一種統(tǒng)計(jì)方法，用于計(jì)算句子每個(gè)詞語(yǔ)的重要性[7]。該方法認(rèn)為：如果某個(gè)詞語(yǔ)或短語(yǔ)在一篇文章中出現(xiàn)的頻率較高，同時(shí)在其他文章中出現(xiàn)的頻率較低，則認(rèn)為該詞語(yǔ)能夠代表這篇文章，也就是這些詞語(yǔ)具有較好的類別區(qū)分能力。TF-IDF中TF表示詞頻，是指一個(gè)詞語(yǔ)在當(dāng)前文章中出現(xiàn)的次數(shù)，這個(gè)數(shù)字通常會(huì)被歸一化，以防止它偏向篇幅長(zhǎng)的文檔。同一個(gè)詞語(yǔ)在長(zhǎng)文檔中出現(xiàn)的次數(shù)可能比短文檔中更多，但它不是該長(zhǎng)文檔中的重要詞匯。IDF表示逆向文件頻率。在有些情況下，一些通用的詞語(yǔ)對(duì)于主題的表達(dá)沒有太大的作用，而一些出現(xiàn)頻率較少的詞語(yǔ)更能夠表達(dá)文檔的主題，所以有些學(xué)者對(duì)單純使用詞頻來(lái)分析詞語(yǔ)的重要性持反對(duì)觀點(diǎn)。他們認(rèn)為，越能反映主題詞語(yǔ)，權(quán)重應(yīng)該越大，反之權(quán)重應(yīng)該越小。如果一個(gè)詞在屬于某個(gè)主題的文檔中出現(xiàn)的次數(shù)越多，則認(rèn)為它對(duì)該主題的表達(dá)就越重要，這個(gè)詞的權(quán)重應(yīng)該設(shè)計(jì)較大。

逆向文件頻率（inverse document frequency，IDF）的主要思想是：如果一個(gè)詞被包含的文檔數(shù)量越小，則該詞的文本分類能力就越強(qiáng)，那么IDF值也就越大。它的計(jì)算方式為文檔總數(shù)除以包含該詞的文檔數(shù)，再對(duì)此結(jié)果取對(duì)數(shù)就可以得到IDF值。

基于隨著詞w在當(dāng)前文檔中的詞頻和該詞在文檔集中出現(xiàn)的文檔次數(shù)即可以得到該詞的TF-IDF值，常見的計(jì)算公式為：

（二）詞向量

使用計(jì)算機(jī)進(jìn)行情感分析需要首先將文本信息轉(zhuǎn)換為計(jì)算機(jī)可以識(shí)別的形式，然后再基于數(shù)字化后的結(jié)果進(jìn)行相應(yīng)的分析和處理。早期詞向量采用的方法是詞袋模型。詞袋模型首先從輸入文檔集中提取所有的詞，然后基于這些詞構(gòu)建一個(gè)集合，并按照一定的規(guī)則對(duì)這些詞進(jìn)行排序和編碼，最后以建立好的詞集合為基礎(chǔ)對(duì)輸入的文檔進(jìn)行編碼。詞袋模型不能體現(xiàn)出詞在句子中的先后順序，只能體現(xiàn)出它們?cè)谠~典中的編碼，所以詞袋模型在表達(dá)文檔語(yǔ)義方面存在不足。

Word2Vec是一種可以體現(xiàn)詞語(yǔ)相關(guān)性的詞向量模型，它被廣泛地應(yīng)用于詞向量工作當(dāng)中。Word2Vec主要有兩種實(shí)現(xiàn)模型：CBOW和Skip-Gram。CBOW模型是通過周圍的詞來(lái)預(yù)測(cè)中間的詞是什么的模型。訓(xùn)練時(shí)通過不斷調(diào)整周圍詞的詞向量完成模型的訓(xùn)練。訓(xùn)練完成后，周圍詞的詞向量形態(tài)就是文本里所有詞的詞向量的最終表示形式。Skip-Gram模型是根據(jù)中心詞來(lái)預(yù)測(cè)周圍詞的模型。訓(xùn)練時(shí)通過不斷調(diào)整中心詞的詞向量來(lái)完成模型的訓(xùn)練。當(dāng)詞集數(shù)量比較少時(shí)或生僻詞出現(xiàn)次數(shù)較少時(shí)，使用Skip-Gram模型獲取的詞向量更加準(zhǔn)確。因此Skip-Gram是目前采用頻率最高的模型。Skip-Gram建模過程和自編碼器的思想很相似，即先基于訓(xùn)練數(shù)據(jù)構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)。當(dāng)這個(gè)模型訓(xùn)練好之后，就可以使用該模型獲取輸入數(shù)據(jù)對(duì)應(yīng)的隱藏層狀態(tài)。所以，訓(xùn)練模型的真正目的是獲取模型的隱藏層權(quán)重。

（三）LSTM分析模型

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short Term，LSTM）是循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的一種變體，該模型通過特殊的設(shè)置避免了RNN網(wǎng)絡(luò)長(zhǎng)時(shí)依賴的問題[8]。它通過一種叫門的機(jī)制實(shí)現(xiàn)短時(shí)記憶和長(zhǎng)時(shí)記憶的結(jié)合，這在一定程度上緩解了梯度消失的問題。

簡(jiǎn)單來(lái)說，RNN網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)的一種循環(huán)模式。在這種模式的約束下，卷積神經(jīng)網(wǎng)絡(luò)的輸出被再一次投入到網(wǎng)絡(luò)的輸入流中。這就涉及一個(gè)問題：如何處理新的輸入信息和已有輸出之間的關(guān)系。目前比較通用的做法是設(shè)計(jì)一個(gè)選擇機(jī)制，讓新輸入和舊輸出在概率選擇的機(jī)制下進(jìn)行融合，并形成最終的輸入。標(biāo)準(zhǔn)RNN網(wǎng)絡(luò)采用的融合方法是tanh層，LSTM的信息融合結(jié)構(gòu)和tanh結(jié)構(gòu)類似，不同之處在于它擁有四個(gè)融合結(jié)構(gòu)。LSTM通過三個(gè)門來(lái)實(shí)現(xiàn)信息的保存和傳輸，它們分別是忘記門、輸入門和輸出門。每個(gè)門都是由一個(gè)Sigmoid函數(shù)和一個(gè)點(diǎn)乘操作組成。Sigmoid層輸出為0到1之間的數(shù)值，0代表任何量通過，1代表允許任意量通過。下圖是標(biāo)準(zhǔn)的LSTM結(jié)構(gòu)模型。

LSTM的第一步是決定哪些信息需要被丟掉，完成這個(gè)工作的結(jié)構(gòu)被稱為忘記門。隱藏層的前一狀態(tài)和當(dāng)前輸入被送入忘記門，該門的輸出結(jié)果是0～1之間的數(shù)值向量，向量中元素為0的位置對(duì)應(yīng)信息被刪除，元素為1的對(duì)應(yīng)位置被刪除。忘記門的公式為：

LSTM的第二步?jīng)Q定什么樣的新信息被存儲(chǔ)在隱藏層的單元中，完成這個(gè)工作的結(jié)構(gòu)被稱為輸入門。這一結(jié)構(gòu)由兩部分組成：輸入層和更新層。輸入層使用Sigmoid層決定哪些值將會(huì)被更新，然后更新層使用tanh層創(chuàng)建一個(gè)新的候選值向量。

LSTM的第三步是更新隱藏層的單元狀態(tài)信息，完成這個(gè)工作的結(jié)構(gòu)被稱為輸出門。輸出門將根據(jù)隱藏層前一狀態(tài)和候選狀態(tài)得出隱藏層的最新狀態(tài)，計(jì)算的方式一般采用加權(quán)求和。

最終網(wǎng)絡(luò)將根據(jù)最新的隱藏層狀態(tài)得到最新的網(wǎng)絡(luò)輸出。更新完隱藏層狀態(tài)后需要根據(jù)輸入的和來(lái)判斷輸出哪些隱藏層單元，然后將輸出的單元經(jīng)過tanh處理得到一個(gè)-1～1之間的值向量。將該向量與輸出門得到的判斷條件相乘就得到了模型的最終輸出。

（四）融合方法

不同的詞在不同類別的文檔中具有不同的影響作用，經(jīng)典的Word2Vec方法只是根據(jù)詞語(yǔ)之間的相關(guān)性來(lái)得到詞向量的結(jié)果，并不能體現(xiàn)出詞語(yǔ)在句子中的影響作用。如果根據(jù)每個(gè)詞對(duì)文檔情感的代表性進(jìn)行加權(quán)，可以增加情感分析模型對(duì)重點(diǎn)詞語(yǔ)的感知能力。筆者基于TF-IDF方法為每一個(gè)詞向量計(jì)算對(duì)應(yīng)的權(quán)重因子。標(biāo)準(zhǔn)的TF-IDF可以計(jì)算出每個(gè)詞在文檔中的權(quán)重，但是無(wú)法體現(xiàn)出該詞在不同類別文檔的概率分布。為了能夠計(jì)算出詞語(yǔ)在不同類別文檔中的權(quán)重，筆者使用以下公式計(jì)算每個(gè)詞語(yǔ)的情感權(quán)重值：

其中表示情感類別的數(shù)量，表示分詞在類文檔出現(xiàn)的頻率。在得到分詞的情感權(quán)重后，將其和值相乘，得到融合情感類別信息的分詞權(quán)重值，計(jì)算方法如下所示：

在詞向量和分詞權(quán)重融合階段，筆者同樣采用簡(jiǎn)單加權(quán)的方式進(jìn)行計(jì)算，即將每個(gè)分詞的詞向量和它的值相乘得到加權(quán)后的詞向量，計(jì)算方法如下所示：

其中表示加權(quán)后的詞向量，表示加權(quán)前的詞向量。

BILSTM是對(duì)LSTM模型的一種改進(jìn)，通過雙向使用循環(huán)機(jī)制來(lái)發(fā)現(xiàn)網(wǎng)絡(luò)當(dāng)前狀態(tài)與前驅(qū)輸入和后繼輸入直接的關(guān)聯(lián)性，捕獲當(dāng)前詞與上下文之間的關(guān)聯(lián)性。使用加權(quán)后的詞向量進(jìn)行模型訓(xùn)練，可以讓模型更加關(guān)注權(quán)重大的向量，但是這種方式需要模型對(duì)文本中所有的詞進(jìn)行訓(xùn)練。為了進(jìn)一步凸顯權(quán)重詞的重要性，挑選高權(quán)重值的分詞進(jìn)行文本分類研究是常用的研究思路。目前常用的挑選方法是選擇前10個(gè)權(quán)重高的詞進(jìn)行模型訓(xùn)練，這前10個(gè)詞的選擇標(biāo)準(zhǔn)是通過實(shí)驗(yàn)確定的。

三、實(shí)驗(yàn)和評(píng)價(jià)

（一）實(shí)驗(yàn)設(shè)計(jì)

筆者選擇哈爾濱工業(yè)大學(xué)譚松波教授建立的數(shù)據(jù)集：帶標(biāo)記的酒店評(píng)論數(shù)據(jù)。該數(shù)據(jù)集由10000條評(píng)論組成，為了研究方便，數(shù)據(jù)被分為四個(gè)語(yǔ)料子集：三個(gè)平衡子集和一個(gè)非平衡子集。ChnSenticop數(shù)據(jù)集結(jié)構(gòu)如表1所示。

在進(jìn)行計(jì)算之前，需要先將評(píng)論文本進(jìn)行數(shù)據(jù)預(yù)處理操作，這些操作包括：異常符號(hào)清除、重復(fù)數(shù)據(jù)消除和停用詞去除。經(jīng)過處理后的數(shù)據(jù)將最大限度地保留有用信息并使用筆者提出的加權(quán)方法進(jìn)行情感權(quán)重計(jì)算。在短文本情感評(píng)論中，用于表達(dá)特別情感或主題的詞語(yǔ)是由一些特定的詞語(yǔ)體現(xiàn)的。所以，在情感分類研究中，所需要的詞匯應(yīng)該只局限于文本中的詞的一個(gè)子集。通過一定的方式獲取這個(gè)子集，并以此為基礎(chǔ)增加模型預(yù)測(cè)的準(zhǔn)確性?；谀芰吭恚凑誘F-IDF值從大到小的順序選擇文本中的代表性情感詞，當(dāng)所選單子的權(quán)重值大于總權(quán)重值的百分之八十時(shí)即停止采集，此時(shí)的情感詞集即為文檔情感特征。

（二）評(píng)價(jià)指標(biāo)

為了驗(yàn)證筆者提出算法的有效性，采用Precision、Recall、F1-Score三種指標(biāo)實(shí)驗(yàn)結(jié)果進(jìn)行驗(yàn)證。Precision是針對(duì)預(yù)測(cè)結(jié)果而言的，它表示預(yù)測(cè)為正的樣本有多少是真正的正例樣本。令TP表示將正例樣本預(yù)測(cè)為正的數(shù)量，F(xiàn)P表示將負(fù)例樣本預(yù)測(cè)為正的數(shù)量。

召回率是針對(duì)訓(xùn)練樣本而言的，它表示訓(xùn)練樣本中有多少正例樣本得到了正確的預(yù)測(cè)。這就說明訓(xùn)練集中的正例樣本可能有兩種預(yù)測(cè)結(jié)果：一種是把正例樣本預(yù)測(cè)為正，表示為TP;一種是把原來(lái)的正例樣本預(yù)測(cè)為負(fù)，表示FN。

這兩個(gè)指標(biāo)的差別僅在于分母不同，前者表示預(yù)測(cè)結(jié)果為正的樣本總數(shù)，后者表示輸入樣本中正例樣本的數(shù)量。Precision和Recall其實(shí)是相互矛盾的，在不同的應(yīng)用場(chǎng)景下，它們的關(guān)注點(diǎn)是不同的。F1-Score是對(duì)二者的一種綜合，該方式對(duì)類別數(shù)量不均衡的樣本集具有比較好的評(píng)價(jià)。

（三）評(píng)價(jià)結(jié)果

為了驗(yàn)證算法的有效性，筆者選擇了五種詞向量和LSTM相結(jié)合的方法，進(jìn)行復(fù)雜度和準(zhǔn)確率的比較分析。這幾種方法都是用Word2vec對(duì)輸入文本進(jìn)行了詞向量計(jì)算。因此，對(duì)比模型可以劃分成4種不同的情況。從表2可以看出筆者提出的方法能夠有效地區(qū)分準(zhǔn)確率。

四、總結(jié)

筆者介紹了一種融合情感權(quán)重的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)文本情感分析方法，該方法以TF-IDF為基礎(chǔ)對(duì)文本向量化的結(jié)果進(jìn)行加權(quán)。通過加權(quán)系數(shù)將原本地位相同的分詞賦予了不同的權(quán)重，從而實(shí)現(xiàn)了情感類別和關(guān)鍵詞之間的關(guān)聯(lián)。這樣分類模型在學(xué)習(xí)時(shí)可以有效地感知到不同詞的類別判斷的重要性，并在網(wǎng)絡(luò)隱藏層的狀態(tài)中有所體現(xiàn)，從而實(shí)現(xiàn)情感分類準(zhǔn)確率的提高。TF-IDF是目前常用的詞語(yǔ)重要性的統(tǒng)計(jì)方法，但是該方法過于單一，在某些特定的語(yǔ)境下并不準(zhǔn)確。所以筆者介紹的情感權(quán)重計(jì)算方法是在TF-IDF之上設(shè)計(jì)的權(quán)重算子和加權(quán)方法。機(jī)器學(xué)習(xí)方法是目前情感分析的主要研究路線，但是它在數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練方面仍舊面臨巨大的挑戰(zhàn)，如何優(yōu)化網(wǎng)絡(luò)模型和提高輸入數(shù)據(jù)的準(zhǔn)確性是當(dāng)前研究的主要目標(biāo)。

參考文獻(xiàn)：

[1] Khan F H，Qamar U，Bashir S. eSAP：A decision support framework for enhanced sentiment analysis and polarity classification[J]. Information Sciences，2016（07）：862-873.

[2] Medhat W，Hassan A，Korashy H. Sentiment analysis algorithms and applications：A survey[J]. Ain Shams Engineering Journal，2014（05）：1093-1113.

[3] Miller G A，Beckwith R，F(xiàn)ellbaum C，et al. Introduction to wordnet：An on-line lexical database[J]. International Journal of Lexicography，1990（04）：235-244.

[4] Strapparava C，Valitutti A. WordNet-Affect：an affective extension of WordNet[C]//Proceedings of the Fourth International Conference on Language Resources and Evaluation.Lisbon：ELRA，2004：1083-1086.

[5] Cho H，Kim S，Lee J. Data-driven integration of multiple sentiment dictionaries for lexicon-based sentiment classification of product reviews[J]. Knowledge Based Systems，2014（11）：61-71.

[6] Wu F，Huang Y，Song Y，et al. Towards building a high-quality microblog-specific Chinese sentiment lexicon[J]. Decision Support Systems，2016（07）：39-49.

[7] Salton G，Buckley C. Improving retrieval performance by relevance feedback[J]. Journal of the American Society for Information Science， 1990（04）：288-297.

[8] Gers F A，Schmidhuber J，Cummins F. Learning to Forget：Continual Prediction with LSTM[J].Neural Computation，2000（10）：2451-2471.