• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于循環(huán)神經(jīng)網(wǎng)絡(luò)的互聯(lián)網(wǎng)短文本情感要素抽取

    2016-12-30 05:40:42鄭秋生
    關(guān)鍵詞:語料短文向量

    張 英, 鄭秋生

    (中原工學(xué)院, 鄭州 450007)

    基于循環(huán)神經(jīng)網(wǎng)絡(luò)的互聯(lián)網(wǎng)短文本情感要素抽取

    張 英, 鄭秋生

    (中原工學(xué)院, 鄭州 450007)

    針對(duì)大數(shù)據(jù)互聯(lián)網(wǎng)短文本信息,比較幾種深度循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)模型,提出了一種基于雙向長短時(shí)記憶(Bidirectional Long Short-Term Memory,BLSTM)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型的互聯(lián)網(wǎng)短文本情感要素抽取方法。實(shí)驗(yàn)結(jié)果表明,該方法不僅可以有效完成互聯(lián)網(wǎng)短文本中情感要素抽取工作,而且明顯提高了抽取準(zhǔn)確率。

    互聯(lián)網(wǎng)短文本;情感要素抽?。谎h(huán)神經(jīng)網(wǎng)絡(luò);自然語言處理;深度學(xué)習(xí)

    隨著互聯(lián)網(wǎng)與信息技術(shù)的高速發(fā)展,互聯(lián)網(wǎng)的文本信息迅速膨脹。面對(duì)互聯(lián)網(wǎng)海量的文本數(shù)據(jù),準(zhǔn)確、高效地從這些文本中挖掘觀點(diǎn)信息對(duì)網(wǎng)絡(luò)輿情分析具有重要意義。文本情感要素的抽取是指抽取情感詞語的評(píng)價(jià)對(duì)象以及評(píng)價(jià)對(duì)象屬性。因此,利用抽取的文本情感信息進(jìn)行分析挖掘,對(duì)識(shí)別情感詞語以及判斷文本情感的傾向性等情感分析問題具有重要的意義[1]。

    目前,情感分析是自然語言處理領(lǐng)域的研究熱點(diǎn),雖然在情感傾向性分析的研究方面已經(jīng)取得了不少成果,但通過情感要素抽取來判斷情感傾向性方面的研究并不充分[2]。目前,情感要素抽取的方法主要有兩類:一類是使用基于機(jī)器學(xué)習(xí)的條件隨機(jī)場(Conditional Random Field,CRF)方法識(shí)別情感對(duì)象;另一類是首先依照情感詞表抽取情感詞,然后通過關(guān)聯(lián)規(guī)則抽取情感對(duì)象。這些傳統(tǒng)方法對(duì)現(xiàn)今大量格式隨意的互聯(lián)網(wǎng)文本處理效果并不理想,主要原因是其結(jié)果局限于特征模板、情感詞典資源以及句法分析器等外部資源[3]。

    與傳統(tǒng)方法不同,本文針對(duì)現(xiàn)今互聯(lián)網(wǎng)文本格式隨意、數(shù)據(jù)量大、無法使用正規(guī)文本的分類方法等問題,提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)(CNNs)模型的中文互聯(lián)網(wǎng)短文本情感要素抽取方法。

    1 情感要素抽取方法

    1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

    近年來,隨著深度學(xué)習(xí)的發(fā)展,神經(jīng)網(wǎng)絡(luò)應(yīng)用已在眾多自然語言處理領(lǐng)域中取得了不錯(cuò)的成績。Bengio Y等首先提出了利用神經(jīng)網(wǎng)絡(luò)構(gòu)建語言模型來處理自然語言問題[4]。2010年,Mikolov T等提出使用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建語言模型,充分利用上下文信息進(jìn)行語言建模[5],但該模型存在梯度爆炸和消失等問題。隨后,長短時(shí)記憶(Long Short-Term Memory,LSTM)型循環(huán)神經(jīng)網(wǎng)絡(luò)由Morin F等提出[6],并由Graves A等進(jìn)行了改進(jìn)[7]。實(shí)驗(yàn)證明,該網(wǎng)絡(luò)結(jié)構(gòu)在長序列依賴問題中非常有效。因此,LSTM模型的很多優(yōu)化改進(jìn)形式被應(yīng)用于神經(jīng)語言程序(Neuro-Linguistic Programming,NLP)領(lǐng)域,如Huang Z等使用BLSTM-CRF模型處理序列標(biāo)注問題[8],Chiu J P C等使用BLSTM-CNNs模型解決命名實(shí)體識(shí)別問題[9],Wang P等使用基于Word Embedding的BLSTM模型處理標(biāo)注問題[10]。這些對(duì)深度循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)模型進(jìn)行優(yōu)化應(yīng)用的方法大都取得了不錯(cuò)的效果。

    1.2 情感要素抽取

    在情感要素抽取方面,張凌等以情感詞為基準(zhǔn),通過計(jì)算先驗(yàn)概率建立詞性模板庫,根據(jù)依存規(guī)則抽取情感要素[11]。劉鴻宇等使用句法分析結(jié)果抽取候選評(píng)價(jià)對(duì)象,再使用基于網(wǎng)絡(luò)挖掘的PMI算法和名詞剪枝方法,對(duì)候選評(píng)價(jià)對(duì)象進(jìn)行過濾篩選[12]。Hu M等按照標(biāo)簽序列規(guī)則(Label Sequential Rule,LSR)匹配語料中產(chǎn)品特征的方法[13]針對(duì)性強(qiáng),可以高效地識(shí)別結(jié)構(gòu)類似文章中的評(píng)價(jià)對(duì)象,但是該方法需要人工編寫相應(yīng)的模板,通用性不強(qiáng)。這些方法具有一定的應(yīng)用效果。但是,在中文的文本情感要素抽取方面,傳統(tǒng)的抽取方法和現(xiàn)有研究在開放的數(shù)據(jù)上表現(xiàn)并不令人滿意,而且傳統(tǒng)的情感要素抽取方法大多是基于大量的標(biāo)注語料,這些標(biāo)注語料也都是較規(guī)則文本,用這些規(guī)則語料訓(xùn)練得到的模型并不能對(duì)如今互聯(lián)網(wǎng)上大量的不規(guī)則數(shù)據(jù)進(jìn)行有效抽取。

    雖然傳統(tǒng)方法在情感分析問題中獲得了應(yīng)用,但這些方法對(duì)情感特征的選擇過于依賴現(xiàn)有情感詞典或人工標(biāo)注的語料庫,需要大量人力資源對(duì)情感語料庫進(jìn)行不斷完善。由于情感特征的選擇是情感分析的重要依據(jù),因此,本文提出用基于深度學(xué)習(xí)的word2vec模型來提取情感特征,處理互聯(lián)網(wǎng)短文本情感分類問題。

    在自然語言處理中,詞向量的選擇在模型的訓(xùn)練過程中具有重要意義。傳統(tǒng)的one-hot representation詞向量表示方法要求創(chuàng)建一個(gè)詞表并給每個(gè)詞編號(hào),向量的維度是詞表的大小,每個(gè)詞的向量中只有一個(gè)維度的值為1,該維度就是詞在詞表中的位置,并用稀疏矩陣來存儲(chǔ)。但這種表達(dá)方式容易造成維數(shù)災(zāi)難,并且這種詞向量表示法與詞語的語義并沒有太大的關(guān)系。因此,本文選用Hinton G E[14]提出的Embedding表示法。這種詞向量表示法不僅將詞表示在低維向量空間中,而且可以反映出詞語間潛藏的語義關(guān)系,這對(duì)詞語的情感分析具有重要意義。

    1.3 詞向量

    本文使用word2vec工具訓(xùn)練Embedding詞向量,用連續(xù)詞袋模型(Continuous Bag-Of-Words,CBOW)和Skip-Gram模型實(shí)現(xiàn)詞向量計(jì)算[15]。其中,CBOW模型以圍繞目標(biāo)單詞的語境作為輸入來預(yù)測目標(biāo)單詞;Skip-Gram模型則與其相反,通過當(dāng)前詞來預(yù)測語境。本文選擇Skip-Gram模型來訓(xùn)練語料,通過調(diào)整窗口大小訓(xùn)練出合適的詞向量。

    2 基于BLSTM的循環(huán)神經(jīng)網(wǎng)絡(luò)模型

    隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,越來越多的神經(jīng)網(wǎng)絡(luò)模型在處理自然語言問題中得到了應(yīng)用。本文在前人研究的基礎(chǔ)上,提出了采用BLSTM-RNN網(wǎng)絡(luò)模型的互聯(lián)網(wǎng)短文本要素抽取方案。

    2.1 RNN模型

    RNN是近年來深度學(xué)習(xí)領(lǐng)域比較流行的模型,實(shí)踐證明它應(yīng)用于NLP領(lǐng)域是非常成功的。與其他人工神經(jīng)網(wǎng)絡(luò)不同,循環(huán)神經(jīng)網(wǎng)絡(luò)是一種序列模型,用來處理序列數(shù)據(jù)。在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型中,輸入層與輸出層之間彼此獨(dú)立,而循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出不僅依據(jù)當(dāng)前的輸入而且與上一時(shí)刻的輸出有關(guān)。因此,RNN是具有記憶功能的,能夠記住以前的計(jì)算信息。典型的RNN網(wǎng)絡(luò)如圖1所示。

    圖1 RNN網(wǎng)絡(luò)圖

    圖1展示了一個(gè)完整展開的RNN網(wǎng)絡(luò)。其中:Xt表示t時(shí)刻的輸入;St為t時(shí)刻隱藏層的狀態(tài),它是網(wǎng)絡(luò)的記憶單元,通過循環(huán)方式傳遞到下一層。根據(jù)當(dāng)前層的輸出與上一隱藏層的狀態(tài)進(jìn)行計(jì)算,可得出St=f(UXt-WSt-1)。其中,f是非線性激活函數(shù),如tanh或ReLU;通常,St的初始值為0;Ot表示t時(shí)刻的輸出,僅與當(dāng)前時(shí)刻的St有關(guān),Ot=softmax(VSt);U、V、W分別為輸入、輸出、隱藏層權(quán)重矩陣。

    在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中,各個(gè)網(wǎng)絡(luò)層的參數(shù)是不能共享的。而在RNN中,由于每步都在做相同的事,只是輸入不同,因此,每輸入一步,各層都共享參數(shù)U、V、W。這樣,RNN大大降低了網(wǎng)絡(luò)中需要學(xué)習(xí)的參數(shù)。在圖1所示的網(wǎng)絡(luò)圖中,每個(gè)時(shí)間步都會(huì)有輸出,但是,在循環(huán)神經(jīng)網(wǎng)絡(luò)中,每個(gè)時(shí)間步并不必有輸出。比如,使用循環(huán)神經(jīng)網(wǎng)絡(luò)來預(yù)測一條語句所表達(dá)的情緒,僅需要得到輸入最后一個(gè)單詞后的輸出,并不需要知道輸入每個(gè)單詞后的輸出。同理,每個(gè)時(shí)間步的輸入也不是必需的。RNN的關(guān)鍵之處在于隱藏層,隱藏層能夠捕捉序列的信息。

    2.2 LSTM型RNN模型

    循環(huán)神經(jīng)網(wǎng)絡(luò)是一個(gè)在時(shí)間序列上傳遞的神經(jīng)網(wǎng)絡(luò),在沿時(shí)間序列反向傳播(Back Propagation Through Time,BPTT)訓(xùn)練時(shí)會(huì)產(chǎn)生時(shí)間序列上梯度消失的問題。為了解決梯度消失問題,Graves A等設(shè)計(jì)了長短時(shí)記憶單元(Long Short Term Memory,LSTM)型RNN[7]。圖2為一個(gè)LSTM單元。

    圖2 LSTM單元

    在圖2中,可以將隱藏層當(dāng)作一個(gè)黑盒子,給定當(dāng)前輸入和先前隱藏狀態(tài),然后計(jì)算出下一個(gè)隱藏狀態(tài)。LSTM在本質(zhì)上仍屬于循環(huán)神經(jīng)網(wǎng)絡(luò),只是用一個(gè)記憶單元(Memory Cell,MC)來代替RNN中的隱藏層,并用門開關(guān)實(shí)現(xiàn)時(shí)間序列上的記憶功能,從而避免梯度消失的問題。LSTM網(wǎng)絡(luò)的隱藏層結(jié)構(gòu)如圖3所示。

    圖3 LSTM網(wǎng)絡(luò)的隱藏層結(jié)構(gòu)

    在圖3中:i、f、o分別為輸入門、輸出門、忘記門單元;c為1個(gè)記憶單元,用來描述LSTM的當(dāng)前狀態(tài)。輸入門、輸出門和忘記門是3個(gè)控制門,其輸出分別連接到1個(gè)乘法單元上,用來控制網(wǎng)絡(luò)的輸入、輸出以及記憶單元的讀、寫狀態(tài)。關(guān)于LSTM的計(jì)算如下:

    it=σ(WiXt+Uiht-1+bi)

    (1)

    ft=σ(WfXt+Ufht-1+bf)

    (2)

    ot=σ(WoXt+Uoht-1+bo)

    (3)

    gt=tanh(WcXt+Ucht-1+bc)

    (4)

    ct=ftect-1+itegt

    (5)

    ht=ote tanh(ct)

    (6)

    式(1)、式(2)、式(3)分別為t時(shí)刻輸入門、輸出門、忘記門的計(jì)算式。這些門的計(jì)算式由使用不同參數(shù)矩陣的相同計(jì)算方程構(gòu)成,并且所有門都具有相同的尺寸,即隱藏狀態(tài)的大小相等。gt為t時(shí)刻候選的隱藏狀態(tài),根據(jù)當(dāng)前輸入和以前的隱藏狀態(tài)計(jì)算得出。ct為t時(shí)刻記憶單元的計(jì)算式。ht為t時(shí)刻LSTM單元的輸出。bi、bf、bo為3個(gè)控制門相應(yīng)的偏置向量。σ表示激活函數(shù)。

    與傳統(tǒng)的RNN網(wǎng)絡(luò)模型相比,LSTM模型的門控機(jī)制使記憶單元在工作中可以保持一段時(shí)間的信息記憶,并在訓(xùn)練時(shí)保證內(nèi)部梯度不受不利因素的干擾。因此,LSTM適合于處理和預(yù)測時(shí)間序列中間隔和延遲非常長的重要事件[16]。

    2.3 BLSTM型RNN模型

    由于LSTM型RNN模型只能獲取單向文本信息,因此,設(shè)計(jì)了一種BLSTM型RNN模型,以便從兩個(gè)方向獲取上下文信息。圖4所示BLSTM模型即為雙向LSTM模型。

    圖4 BLSTM模型

    類似于LSTM,BLSTM在隱藏層包含一個(gè)正向LSTM和一個(gè)反向LSTM。根據(jù)LSTM相關(guān)公式,可以推導(dǎo)出如下正向LSTM的公式:

    F_it=σ(WiXt+UiF_ht-1+bi)

    (7)

    F_ft=σ(WfXt+UfF_ht-1+bf)

    (8)

    F_ot=σ(WoXt+UoF_ht-1+bo)

    (9)

    F_gt=tanh(WcXt+UcF_ht-1+bc)

    (10)

    F_ct=F_ftect-1+F_iteF_gt

    (11)

    F_ht=F_ote tanh(F_ct)

    (12)

    同理,可以推導(dǎo)出反向LSTM的公式。將模型每個(gè)時(shí)刻的正向、反向記憶單元的狀態(tài)ct和輸出ht連接,即可獲得BLSTM層的特征輸出。BLSTM可以學(xué)習(xí)更長距離的上下文特征信息。因此,通常情況下,使用雙向LSTM型RNN模型的效果優(yōu)于單向LSTM型RNN模型。

    2.4 基于BLSTM的情感要素抽取模型訓(xùn)練

    本文將圖5所示基于BLSTM的模型應(yīng)用于情感要素抽取問題。

    圖5 BLSTM神經(jīng)網(wǎng)絡(luò)模型

    對(duì)于BLSTM-RNN模型,本文使用隨機(jī)梯度下降法來訓(xùn)練模型,即先隨機(jī)初始化參數(shù),然后每次批處理部分樣本,參與運(yùn)算,更新參數(shù)值。為加快梯度下降的收斂速度,使用ReLU激活函數(shù),同時(shí)在LSTM層的各節(jié)點(diǎn)訓(xùn)練中引入Dropout策略,可以有效防止模型的過擬合[10]。該方法不僅能找到最優(yōu)解,而且訓(xùn)練速度較快。

    3 模型驗(yàn)證

    3.1 數(shù)據(jù)集

    為了驗(yàn)證模型的有效性,本文將COAE2014評(píng)測中任務(wù)5提供的40 000條微博數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),并以該評(píng)測最終公布的抽取結(jié)果中6 479條評(píng)價(jià)對(duì)象為實(shí)驗(yàn)的訓(xùn)練語料,并且采用了數(shù)據(jù)集提供的40 000條數(shù)據(jù)訓(xùn)練詞向量。表1為數(shù)據(jù)樣例。表2為標(biāo)注語料樣例。

    表1 數(shù)據(jù)樣例

    表2 標(biāo)注語料樣例

    注:B-P表示評(píng)價(jià)對(duì)象;B-F表示評(píng)價(jià)對(duì)象屬性;O表示其他。

    3.2 模型參數(shù)

    在使用神經(jīng)網(wǎng)絡(luò)模型時(shí),參數(shù)設(shè)定是非常重要的環(huán)節(jié),不同的參數(shù)訓(xùn)練得到的結(jié)果有很大不同。BLSTM-RNN網(wǎng)絡(luò)模型的參數(shù)設(shè)置如表3所示。

    表3 BLSTM-RNN網(wǎng)絡(luò)模型參數(shù)設(shè)置

    3.3 對(duì)比實(shí)驗(yàn)

    本文用傳統(tǒng)基于機(jī)器學(xué)習(xí)的CRF模型對(duì)比采用深度學(xué)習(xí)的RNN模型和LSTM模型,基于CRF模型,選擇詞作為特征,并添加詞性以及依存關(guān)系兩種特征組合,使用CRF++工具進(jìn)行實(shí)驗(yàn),而且,在深度學(xué)習(xí)模型中,以Word2vec工具訓(xùn)練的詞級(jí)別的特征向量作為特征。

    3.4 實(shí)驗(yàn)結(jié)果分析

    本文采用十折交叉法驗(yàn)證實(shí)驗(yàn)結(jié)果,并根據(jù)COAE2014評(píng)測提供的實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)計(jì)算出了各模型的準(zhǔn)確率(見表4)。

    表4 不同模型的準(zhǔn)確率

    從表4可以看出,使用BLSTM模型處理要素抽取任務(wù)效果較好,證明該模型是有效的。對(duì)比實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),使用BLSTM模型比傳統(tǒng)模型在準(zhǔn)確率上有明顯提升,深度學(xué)習(xí)模型的結(jié)果明顯優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型的結(jié)果。對(duì)比RNN模型與BLSTM-RNN模型的準(zhǔn)確率可以發(fā)現(xiàn),使用BLSTM-RNN模型可以取得更好的效果。

    4 結(jié) 語

    本文針對(duì)情感要素抽取問題將模型擴(kuò)展到雙向LSTM型網(wǎng)絡(luò),通過實(shí)驗(yàn)證明了BLSTM-RNN模型處理情感要素抽取問題的可行性。與傳統(tǒng)模型相比,采用該模型能夠取得更好的效果。因此,對(duì)于互聯(lián)網(wǎng)短文本,采用基于詞向量的BLSTM-RNN模型進(jìn)行情感要素抽取是可行的。

    [1] 劉銘, 昝紅英, 原慧斌. 基于SVM與RNN的文本情感關(guān)鍵句判定與抽取[J]. 山東大學(xué)學(xué)報(bào)(理學(xué)版), 2014,49(11):68-73.

    [2] 劉鴻宇, 趙妍妍, 秦兵,等. 評(píng)價(jià)對(duì)象抽取及其傾向性分析[J]. 中文信息學(xué)報(bào), 2010, 24(1):84-88.

    [3] 趙妍妍, 秦兵, 劉挺. 文本情感分析[J]. 軟件學(xué)報(bào), 2010, 21(8):1834-1848.

    [4] Bengio Y, Ducharme R, Vincent P, et al. A Neural Probabilistic Language Model[J]. The Journal of Machine Learning Research, 2003, 3(6): 1137-1155.

    [5] Mikolov T, Karafiát M, Burget L, et al. Recurrent Neural Network Based Language Model[C]//The International Speech Communication Association. Makuhari, Chiba: Interspeech, 2010:1045-1048.

    [6] Morin F, Bengio Y. Hierarchical Probabilistic Neural Network Language Model[J]. Aistats,2005, 5: 246-252.

    [7] Graves A, Mohamed A, Hinton G. Speech Recognition with Deep Recurrent Neural Networks[C]//2013 IEEE International Conference on Acoustics, Speech and Signal Processing. Washington: IEEE, 2013: 6645-6649.

    [8] Huang Z, Xu W, Yu K. Bidirectional LSTM-CRF Models for Sequence Tagging[J].Computer Science, 2015,9:1508-1519.

    [9] Chiu J P C, Nichols E. Named Entity Recognition with Bidirectional LSTM-CNNs[J]. Computer Science, 2015,11:8308-8315.

    [10] Huang Z, Xu W, Yu K. A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding[J]. Computer Science,2015,11:511-515.

    [11] 張凌, 馮欣. 基于詞性模板與依存分析的中文微博情感要素抽取[J]. 計(jì)算機(jī)科學(xué), 2015,42(6A):474-478.

    [12] 劉鴻宇, 趙妍妍, 秦兵,等. 評(píng)價(jià)對(duì)象抽取及其傾向性分析[J]. 中文信息學(xué)報(bào), 2010, 24(1):84-88.

    [13] Hu M, Liu B. Mining and Summarizing Customer Reviews[C]// Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Washington:ACM, 2004:168-177.

    [14] Hinton G E. Learning Distributed Representations of Concepts[C]//Proceedings of the Eighth Annual Conference of the Cognitive Science Society. Washington: IEEE, 1986: 1-12.

    [15] 蔡慧蘋,王麗丹,段書凱. 基于word embedding和CNN的情感分類模型[J]. 計(jì)算機(jī)應(yīng)用研究,2015(10):1-5.

    [16] 梁軍,柴玉梅,原慧斌,等. 基于極性轉(zhuǎn)移和LSTM遞歸網(wǎng)絡(luò)的情感分析[J]. 中文信息學(xué)報(bào), 2015, 29(5): 152-159.

    (責(zé)任編輯:王長通)

    Sentiment Classification of the Short Texts on Internet Based on Convolutional Neural Networks

    ZHANG Ying, ZHENG Qiu-sheng

    (Zhongyuan University of Technology, Zhengzhou 450007, China)

    For the information of big data Internet essay, a deep convolution neural network (convolutional neural networks, CNNs) model of the short text on the Internet is put forward. And first use the Skip-gram in the Word2vec training model of feature vector, then further extracting feature vector into CNNs, finally training the classification model of the depth convolution neural network. The experimental results show that, compared with classification methods of traditional machine learning, this method not only could effectively handle Internet emotion classification in this essay, but also significantly improves the accuracy of emotion classification.

    short texts on the Internet; sentiment classification; convolutional neural networks; natural language processing; deep learning

    2016-09-08

    國家自然科學(xué)基金項(xiàng)目 (U1304611);河南省科技攻關(guān)項(xiàng)目(132102210186);河南省科技攻關(guān)項(xiàng)目(132102310284);河南省教育廳科學(xué)技術(shù)研究重點(diǎn)項(xiàng)目(14A520015)

    張英 (1992-),女,河南洛陽人,碩士生,主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、自然語言處理。

    1671-6906(2016)06-0082-05

    TP391

    A

    10.3969/j.issn.1671-6906.2016.06.017

    猜你喜歡
    語料短文向量
    向量的分解
    聚焦“向量與三角”創(chuàng)新題
    KEYS
    Keys
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    向量垂直在解析幾何中的應(yīng)用
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    華語電影作為真實(shí)語料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實(shí)證研究比較:語料類型與收集方法
    免费看a级黄色片| 久久久久久久亚洲中文字幕| 国产伦精品一区二区三区视频9| 天堂av国产一区二区熟女人妻| 亚洲七黄色美女视频| 亚洲专区国产一区二区| 亚洲欧美日韩高清专用| 日本 av在线| 欧美日本视频| 俺也久久电影网| 精品久久久久久,| 精品久久久噜噜| a在线观看视频网站| 亚洲精品在线观看二区| 午夜免费男女啪啪视频观看 | 国产乱人伦免费视频| 亚洲国产色片| 精品久久久久久久久av| 又紧又爽又黄一区二区| 精品人妻一区二区三区麻豆 | 欧美日韩国产亚洲二区| 国产成人av教育| 天堂√8在线中文| 国产毛片a区久久久久| 久久久久性生活片| 精品久久久久久久久av| 国产乱人视频| 久久精品国产亚洲av涩爱 | av天堂中文字幕网| 亚洲在线自拍视频| 日本a在线网址| 亚洲乱码一区二区免费版| 色综合色国产| 久久久久久久亚洲中文字幕| 午夜激情福利司机影院| 久久久久久大精品| 又黄又爽又刺激的免费视频.| 日本 欧美在线| 国产精品国产三级国产av玫瑰| 久久精品人妻少妇| 尾随美女入室| 蜜桃久久精品国产亚洲av| 国内精品宾馆在线| 露出奶头的视频| 久久人人精品亚洲av| av福利片在线观看| 国产激情偷乱视频一区二区| 国产日本99.免费观看| 亚洲黑人精品在线| 国内揄拍国产精品人妻在线| 搞女人的毛片| 男女那种视频在线观看| 热99re8久久精品国产| 亚洲性夜色夜夜综合| 久久精品国产亚洲av香蕉五月| 精品一区二区三区人妻视频| 亚洲成av人片在线播放无| 国产亚洲欧美98| 亚洲精华国产精华精| 舔av片在线| 久久亚洲精品不卡| 日韩精品青青久久久久久| 亚洲av五月六月丁香网| 成人一区二区视频在线观看| 一本精品99久久精品77| 亚洲成人久久爱视频| 成人午夜高清在线视频| 波多野结衣高清作品| 亚洲真实伦在线观看| 小蜜桃在线观看免费完整版高清| 久久久久性生活片| 乱人视频在线观看| av.在线天堂| 成人欧美大片| 色av中文字幕| 久久国内精品自在自线图片| 日韩强制内射视频| 97人妻精品一区二区三区麻豆| 国产高清不卡午夜福利| 亚洲三级黄色毛片| 能在线免费观看的黄片| 男女边吃奶边做爰视频| 自拍偷自拍亚洲精品老妇| 欧美日韩国产亚洲二区| 九色国产91popny在线| 久久久国产成人免费| 九色成人免费人妻av| 成人三级黄色视频| 色综合色国产| 亚洲欧美清纯卡通| 午夜福利欧美成人| 精品久久久久久久久久久久久| 亚洲经典国产精华液单| 午夜爱爱视频在线播放| 亚洲av第一区精品v没综合| 国产午夜精品久久久久久一区二区三区 | 国产精品美女特级片免费视频播放器| 琪琪午夜伦伦电影理论片6080| 亚洲精品在线观看二区| av在线亚洲专区| 欧美成人免费av一区二区三区| 嫁个100分男人电影在线观看| 琪琪午夜伦伦电影理论片6080| 久久这里只有精品中国| 午夜福利高清视频| 国产精品一区二区三区四区免费观看 | 三级国产精品欧美在线观看| 日韩欧美国产在线观看| 亚洲va在线va天堂va国产| 我要看日韩黄色一级片| 午夜a级毛片| 国产乱人视频| 波多野结衣巨乳人妻| 日本撒尿小便嘘嘘汇集6| 亚洲av一区综合| 久久午夜福利片| 欧美黑人欧美精品刺激| 国产精品一区二区性色av| 亚洲不卡免费看| 午夜老司机福利剧场| 99久久精品热视频| 在线a可以看的网站| 可以在线观看毛片的网站| 亚洲成a人片在线一区二区| 九色成人免费人妻av| 无遮挡黄片免费观看| 久久精品国产亚洲av涩爱 | 国产午夜精品论理片| 日本撒尿小便嘘嘘汇集6| 日日干狠狠操夜夜爽| 久久久久久国产a免费观看| 人人妻,人人澡人人爽秒播| 国产毛片a区久久久久| 国产aⅴ精品一区二区三区波| 国产视频内射| 天天躁日日操中文字幕| 久久久久久国产a免费观看| 日韩中字成人| 亚洲国产高清在线一区二区三| 亚洲精华国产精华液的使用体验 | 九色国产91popny在线| 桃色一区二区三区在线观看| 午夜老司机福利剧场| 一级毛片久久久久久久久女| 日本精品一区二区三区蜜桃| 嫩草影视91久久| 最近最新中文字幕大全电影3| 国产亚洲av嫩草精品影院| 99九九线精品视频在线观看视频| 99久久精品热视频| 三级男女做爰猛烈吃奶摸视频| 成人国产综合亚洲| 国产男靠女视频免费网站| 男女做爰动态图高潮gif福利片| a级毛片免费高清观看在线播放| 我的女老师完整版在线观看| 色噜噜av男人的天堂激情| av在线观看视频网站免费| 国产一区二区三区视频了| 亚洲av二区三区四区| 人妻制服诱惑在线中文字幕| 韩国av一区二区三区四区| 少妇的逼水好多| 真人做人爱边吃奶动态| 国产欧美日韩精品一区二区| 久久精品国产亚洲av天美| 亚洲男人的天堂狠狠| xxxwww97欧美| 国产单亲对白刺激| 桃色一区二区三区在线观看| 在线免费十八禁| 成年人黄色毛片网站| 欧美在线一区亚洲| 我要看日韩黄色一级片| 亚洲性夜色夜夜综合| 久久久久久久午夜电影| a级毛片免费高清观看在线播放| 九色成人免费人妻av| 精品久久久久久久久av| 十八禁网站免费在线| 日韩欧美三级三区| 美女大奶头视频| 日本与韩国留学比较| 亚洲精品一区av在线观看| 最好的美女福利视频网| 亚洲精品成人久久久久久| 色综合亚洲欧美另类图片| 亚洲综合色惰| 一进一出好大好爽视频| 97超视频在线观看视频| 国产成年人精品一区二区| 国产男人的电影天堂91| 成年女人永久免费观看视频| 我要看日韩黄色一级片| 免费看美女性在线毛片视频| 男女之事视频高清在线观看| 嫩草影院新地址| 一区二区三区免费毛片| 一本一本综合久久| 在线免费十八禁| 中文字幕精品亚洲无线码一区| 在线看三级毛片| av在线老鸭窝| 小蜜桃在线观看免费完整版高清| 国产精品亚洲美女久久久| 欧美绝顶高潮抽搐喷水| 亚洲va日本ⅴa欧美va伊人久久| 天天一区二区日本电影三级| av福利片在线观看| 国产午夜福利久久久久久| 亚洲专区中文字幕在线| 男人舔奶头视频| 亚洲 国产 在线| 久久国产乱子免费精品| 久久中文看片网| 深夜a级毛片| 国产成人av教育| 精品欧美国产一区二区三| videossex国产| 麻豆成人午夜福利视频| 午夜爱爱视频在线播放| 热99re8久久精品国产| 99热6这里只有精品| 很黄的视频免费| 成年免费大片在线观看| 欧美xxxx性猛交bbbb| 欧美xxxx性猛交bbbb| 精品欧美国产一区二区三| 在线免费十八禁| 1024手机看黄色片| 亚洲精品乱码久久久v下载方式| 97人妻精品一区二区三区麻豆| 99久久精品热视频| 91麻豆精品激情在线观看国产| 亚洲欧美日韩卡通动漫| 美女高潮喷水抽搐中文字幕| 日韩欧美三级三区| 日日撸夜夜添| 变态另类丝袜制服| 久久久久久大精品| 亚洲黑人精品在线| 男人和女人高潮做爰伦理| 在现免费观看毛片| 日韩 亚洲 欧美在线| 亚洲成a人片在线一区二区| 久久久久精品国产欧美久久久| 国产精品电影一区二区三区| 中文资源天堂在线| 亚洲成人免费电影在线观看| 自拍偷自拍亚洲精品老妇| 亚洲精品成人久久久久久| 一进一出好大好爽视频| 噜噜噜噜噜久久久久久91| www.www免费av| 国产中年淑女户外野战色| 精品久久久久久久久久久久久| 99热精品在线国产| 国产精品一区二区三区四区免费观看 | 久久国产乱子免费精品| 99热网站在线观看| 久久久久久国产a免费观看| 狠狠狠狠99中文字幕| 欧美成人a在线观看| 久久天躁狠狠躁夜夜2o2o| 春色校园在线视频观看| 亚洲精华国产精华精| 久久久色成人| 国产v大片淫在线免费观看| 成人欧美大片| 身体一侧抽搐| 少妇被粗大猛烈的视频| 日韩欧美三级三区| 国产精品日韩av在线免费观看| 最近中文字幕高清免费大全6 | 日韩av在线大香蕉| 国内少妇人妻偷人精品xxx网站| 最新在线观看一区二区三区| 亚州av有码| 直男gayav资源| 亚洲av中文av极速乱 | 我要搜黄色片| 一个人免费在线观看电影| 亚洲四区av| 精品久久久久久成人av| 日韩欧美在线乱码| 亚洲中文字幕日韩| 一a级毛片在线观看| 国产成人福利小说| 午夜福利在线观看吧| 毛片女人毛片| 亚洲人成网站在线播| 成人欧美大片| 此物有八面人人有两片| 黄色女人牲交| 超碰av人人做人人爽久久| 日韩亚洲欧美综合| 欧美高清性xxxxhd video| 中文字幕高清在线视频| 又紧又爽又黄一区二区| 国产午夜精品久久久久久一区二区三区 | 麻豆国产av国片精品| 亚洲男人的天堂狠狠| 国产午夜精品论理片| 动漫黄色视频在线观看| 91av网一区二区| 久久久久久大精品| 日本欧美国产在线视频| 亚洲不卡免费看| 欧美高清成人免费视频www| 亚洲电影在线观看av| 日本免费一区二区三区高清不卡| 亚洲国产精品sss在线观看| or卡值多少钱| 成人无遮挡网站| 中文字幕精品亚洲无线码一区| 日韩欧美国产在线观看| 国产精品99久久久久久久久| 在线观看免费视频日本深夜| 97人妻精品一区二区三区麻豆| 黄色视频,在线免费观看| 麻豆成人午夜福利视频| 久久久久久久久久久丰满 | .国产精品久久| 国产男靠女视频免费网站| 毛片一级片免费看久久久久 | 日韩大尺度精品在线看网址| 亚洲经典国产精华液单| 无遮挡黄片免费观看| 少妇的逼好多水| 在线观看美女被高潮喷水网站| 在现免费观看毛片| 亚洲av不卡在线观看| 18+在线观看网站| 成年女人看的毛片在线观看| 精品一区二区免费观看| 成人午夜高清在线视频| 成人鲁丝片一二三区免费| 真人做人爱边吃奶动态| 22中文网久久字幕| 亚洲av成人av| 91久久精品国产一区二区成人| 午夜激情欧美在线| 成人综合一区亚洲| 小说图片视频综合网站| 亚洲成人中文字幕在线播放| 免费高清视频大片| 99久久无色码亚洲精品果冻| 国产人妻一区二区三区在| 精品99又大又爽又粗少妇毛片 | 日本 av在线| a级毛片a级免费在线| 午夜免费激情av| 三级毛片av免费| 亚洲在线观看片| 又黄又爽又免费观看的视频| 男女啪啪激烈高潮av片| 免费av毛片视频| 免费看美女性在线毛片视频| 给我免费播放毛片高清在线观看| 免费黄网站久久成人精品| 国产午夜精品论理片| av在线蜜桃| 成人三级黄色视频| 露出奶头的视频| 午夜福利视频1000在线观看| 欧美成人免费av一区二区三区| 免费av观看视频| 欧美三级亚洲精品| 黄片wwwwww| 欧美一区二区国产精品久久精品| 久久九九热精品免费| 欧洲精品卡2卡3卡4卡5卡区| 日韩在线高清观看一区二区三区 | 国产精品福利在线免费观看| 露出奶头的视频| 一进一出抽搐动态| 国产精品一区二区免费欧美| 国产精品国产高清国产av| 老熟妇仑乱视频hdxx| 精品乱码久久久久久99久播| 亚洲七黄色美女视频| 亚洲avbb在线观看| av福利片在线观看| 精品一区二区免费观看| 俺也久久电影网| 啦啦啦观看免费观看视频高清| 亚洲中文字幕一区二区三区有码在线看| 免费不卡的大黄色大毛片视频在线观看 | 午夜老司机福利剧场| 日本三级黄在线观看| av中文乱码字幕在线| 床上黄色一级片| 麻豆国产av国片精品| 亚洲av中文字字幕乱码综合| 男人舔奶头视频| 俄罗斯特黄特色一大片| 欧美黑人巨大hd| 国产av一区在线观看免费| 国产精品1区2区在线观看.| 免费电影在线观看免费观看| 99久久精品国产国产毛片| 国产在视频线在精品| 少妇高潮的动态图| www.色视频.com| 久久天躁狠狠躁夜夜2o2o| 老司机福利观看| 在线a可以看的网站| 国产精品av视频在线免费观看| 91久久精品国产一区二区成人| 女的被弄到高潮叫床怎么办 | 他把我摸到了高潮在线观看| 禁无遮挡网站| 欧美潮喷喷水| ponron亚洲| 国产探花在线观看一区二区| 天堂av国产一区二区熟女人妻| av天堂中文字幕网| 国产高清激情床上av| 最近最新免费中文字幕在线| 校园春色视频在线观看| 欧美不卡视频在线免费观看| 国产精品av视频在线免费观看| 色播亚洲综合网| 欧美成人免费av一区二区三区| 国产毛片a区久久久久| 国产不卡一卡二| 欧美在线一区亚洲| 波多野结衣巨乳人妻| 亚洲专区中文字幕在线| 亚洲av.av天堂| 99riav亚洲国产免费| 精品久久久久久久久久久久久| 在线观看免费视频日本深夜| 亚洲精品色激情综合| 亚洲欧美清纯卡通| av在线老鸭窝| 老熟妇仑乱视频hdxx| 久久久久久久久久黄片| 欧美色视频一区免费| 色综合婷婷激情| 午夜福利18| 午夜福利在线观看吧| 国产精品电影一区二区三区| av天堂在线播放| 亚洲黑人精品在线| 精品国内亚洲2022精品成人| 国产精品无大码| 性色avwww在线观看| 看黄色毛片网站| 精华霜和精华液先用哪个| 亚洲欧美日韩卡通动漫| 老师上课跳d突然被开到最大视频| 12—13女人毛片做爰片一| 日本a在线网址| 真实男女啪啪啪动态图| 亚洲精品在线观看二区| 性插视频无遮挡在线免费观看| 欧美最黄视频在线播放免费| 国产极品精品免费视频能看的| 免费电影在线观看免费观看| 能在线免费观看的黄片| 久久精品国产亚洲av涩爱 | 国产精品久久久久久久久免| 国产视频一区二区在线看| or卡值多少钱| 99久久成人亚洲精品观看| 老熟妇仑乱视频hdxx| 亚洲av第一区精品v没综合| 亚洲av成人精品一区久久| 人人妻人人澡欧美一区二区| av视频在线观看入口| 亚洲av成人精品一区久久| 亚洲自拍偷在线| 国产欧美日韩一区二区精品| 免费看光身美女| 床上黄色一级片| 欧美高清性xxxxhd video| 中文字幕av成人在线电影| 最近最新免费中文字幕在线| 中文字幕高清在线视频| 色综合亚洲欧美另类图片| 国产视频内射| 欧美+亚洲+日韩+国产| www.www免费av| netflix在线观看网站| 久久这里只有精品中国| aaaaa片日本免费| 动漫黄色视频在线观看| 女同久久另类99精品国产91| 最新中文字幕久久久久| 欧美色视频一区免费| 成人国产综合亚洲| 在线观看美女被高潮喷水网站| 国产综合懂色| 国产乱人视频| 亚洲欧美日韩卡通动漫| 日韩在线高清观看一区二区三区 | 一区二区三区四区激情视频 | 国产大屁股一区二区在线视频| 国产av在哪里看| 真人一进一出gif抽搐免费| 国产精品98久久久久久宅男小说| 我要看日韩黄色一级片| 亚洲在线观看片| 国产不卡一卡二| 18禁黄网站禁片午夜丰满| 中文亚洲av片在线观看爽| 一区二区三区四区激情视频 | 在线免费观看的www视频| 亚洲一区高清亚洲精品| 精品一区二区三区视频在线观看免费| 亚洲精品粉嫩美女一区| 亚洲图色成人| 亚洲欧美日韩无卡精品| 午夜精品在线福利| 少妇高潮的动态图| 少妇裸体淫交视频免费看高清| 国产大屁股一区二区在线视频| 亚洲成人中文字幕在线播放| 无人区码免费观看不卡| 免费av不卡在线播放| 91在线精品国自产拍蜜月| 美女被艹到高潮喷水动态| 亚洲综合色惰| 在线免费观看不下载黄p国产 | 69人妻影院| 日韩一区二区视频免费看| 99热只有精品国产| 国产v大片淫在线免费观看| av天堂在线播放| 久久久久九九精品影院| 国产毛片a区久久久久| 国产一区二区三区在线臀色熟女| 久久久久久久亚洲中文字幕| 丰满的人妻完整版| 色视频www国产| 99久久久亚洲精品蜜臀av| 嫩草影院入口| 中文资源天堂在线| 国产精品,欧美在线| 国产真实乱freesex| 国产激情偷乱视频一区二区| 色综合色国产| 亚洲精品成人久久久久久| 国产精品久久视频播放| 亚洲天堂国产精品一区在线| 伊人久久精品亚洲午夜| 午夜福利高清视频| 国产av不卡久久| 国产亚洲欧美98| 国产熟女欧美一区二区| 国产欧美日韩精品亚洲av| 人妻久久中文字幕网| 亚洲精品在线观看二区| 亚洲欧美清纯卡通| 日韩精品中文字幕看吧| 亚洲熟妇中文字幕五十中出| 性欧美人与动物交配| 最好的美女福利视频网| 高清毛片免费观看视频网站| 国产毛片a区久久久久| 搡老妇女老女人老熟妇| 国产精品亚洲美女久久久| 亚洲精品国产成人久久av| 精品国内亚洲2022精品成人| 久久精品夜夜夜夜夜久久蜜豆| 亚洲成a人片在线一区二区| 色哟哟哟哟哟哟| 欧美xxxx黑人xx丫x性爽| 亚洲av五月六月丁香网| 欧美一区二区亚洲| 看黄色毛片网站| 色哟哟·www| 99热这里只有是精品50| 他把我摸到了高潮在线观看| 中文字幕免费在线视频6| 午夜福利欧美成人| 性欧美人与动物交配| 国产一区二区三区视频了| 禁无遮挡网站| av.在线天堂| 国内毛片毛片毛片毛片毛片| 亚洲图色成人| 免费av毛片视频| 久久久久久久久久久丰满 | 欧美日韩中文字幕国产精品一区二区三区| 精品久久久噜噜| 久久精品影院6| 日韩大尺度精品在线看网址| 他把我摸到了高潮在线观看| 高清在线国产一区| 亚洲综合色惰| av在线老鸭窝| 有码 亚洲区| 天堂av国产一区二区熟女人妻| 精品久久国产蜜桃| 成人欧美大片| 99九九线精品视频在线观看视频| 欧美+日韩+精品| 久久6这里有精品| 99久久九九国产精品国产免费| 亚洲黑人精品在线| 亚洲专区国产一区二区| 嫁个100分男人电影在线观看| 亚洲第一区二区三区不卡| 国产精品嫩草影院av在线观看 | 97超视频在线观看视频| 国产色婷婷99| 九九热线精品视视频播放| 亚洲午夜理论影院| 一夜夜www| 黄色日韩在线| 国产亚洲av嫩草精品影院| 1000部很黄的大片| 美女 人体艺术 gogo|