• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于循環(huán)神經(jīng)網(wǎng)絡(luò)的互聯(lián)網(wǎng)短文本情感要素抽取

    2016-12-30 05:40:42鄭秋生
    關(guān)鍵詞:語料短文向量

    張 英, 鄭秋生

    (中原工學(xué)院, 鄭州 450007)

    基于循環(huán)神經(jīng)網(wǎng)絡(luò)的互聯(lián)網(wǎng)短文本情感要素抽取

    張 英, 鄭秋生

    (中原工學(xué)院, 鄭州 450007)

    針對(duì)大數(shù)據(jù)互聯(lián)網(wǎng)短文本信息,比較幾種深度循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)模型,提出了一種基于雙向長短時(shí)記憶(Bidirectional Long Short-Term Memory,BLSTM)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型的互聯(lián)網(wǎng)短文本情感要素抽取方法。實(shí)驗(yàn)結(jié)果表明,該方法不僅可以有效完成互聯(lián)網(wǎng)短文本中情感要素抽取工作,而且明顯提高了抽取準(zhǔn)確率。

    互聯(lián)網(wǎng)短文本;情感要素抽?。谎h(huán)神經(jīng)網(wǎng)絡(luò);自然語言處理;深度學(xué)習(xí)

    隨著互聯(lián)網(wǎng)與信息技術(shù)的高速發(fā)展,互聯(lián)網(wǎng)的文本信息迅速膨脹。面對(duì)互聯(lián)網(wǎng)海量的文本數(shù)據(jù),準(zhǔn)確、高效地從這些文本中挖掘觀點(diǎn)信息對(duì)網(wǎng)絡(luò)輿情分析具有重要意義。文本情感要素的抽取是指抽取情感詞語的評(píng)價(jià)對(duì)象以及評(píng)價(jià)對(duì)象屬性。因此,利用抽取的文本情感信息進(jìn)行分析挖掘,對(duì)識(shí)別情感詞語以及判斷文本情感的傾向性等情感分析問題具有重要的意義[1]。

    目前,情感分析是自然語言處理領(lǐng)域的研究熱點(diǎn),雖然在情感傾向性分析的研究方面已經(jīng)取得了不少成果,但通過情感要素抽取來判斷情感傾向性方面的研究并不充分[2]。目前,情感要素抽取的方法主要有兩類:一類是使用基于機(jī)器學(xué)習(xí)的條件隨機(jī)場(Conditional Random Field,CRF)方法識(shí)別情感對(duì)象;另一類是首先依照情感詞表抽取情感詞,然后通過關(guān)聯(lián)規(guī)則抽取情感對(duì)象。這些傳統(tǒng)方法對(duì)現(xiàn)今大量格式隨意的互聯(lián)網(wǎng)文本處理效果并不理想,主要原因是其結(jié)果局限于特征模板、情感詞典資源以及句法分析器等外部資源[3]。

    與傳統(tǒng)方法不同,本文針對(duì)現(xiàn)今互聯(lián)網(wǎng)文本格式隨意、數(shù)據(jù)量大、無法使用正規(guī)文本的分類方法等問題,提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)(CNNs)模型的中文互聯(lián)網(wǎng)短文本情感要素抽取方法。

    1 情感要素抽取方法

    1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

    近年來,隨著深度學(xué)習(xí)的發(fā)展,神經(jīng)網(wǎng)絡(luò)應(yīng)用已在眾多自然語言處理領(lǐng)域中取得了不錯(cuò)的成績。Bengio Y等首先提出了利用神經(jīng)網(wǎng)絡(luò)構(gòu)建語言模型來處理自然語言問題[4]。2010年,Mikolov T等提出使用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建語言模型,充分利用上下文信息進(jìn)行語言建模[5],但該模型存在梯度爆炸和消失等問題。隨后,長短時(shí)記憶(Long Short-Term Memory,LSTM)型循環(huán)神經(jīng)網(wǎng)絡(luò)由Morin F等提出[6],并由Graves A等進(jìn)行了改進(jìn)[7]。實(shí)驗(yàn)證明,該網(wǎng)絡(luò)結(jié)構(gòu)在長序列依賴問題中非常有效。因此,LSTM模型的很多優(yōu)化改進(jìn)形式被應(yīng)用于神經(jīng)語言程序(Neuro-Linguistic Programming,NLP)領(lǐng)域,如Huang Z等使用BLSTM-CRF模型處理序列標(biāo)注問題[8],Chiu J P C等使用BLSTM-CNNs模型解決命名實(shí)體識(shí)別問題[9],Wang P等使用基于Word Embedding的BLSTM模型處理標(biāo)注問題[10]。這些對(duì)深度循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)模型進(jìn)行優(yōu)化應(yīng)用的方法大都取得了不錯(cuò)的效果。

    1.2 情感要素抽取

    在情感要素抽取方面,張凌等以情感詞為基準(zhǔn),通過計(jì)算先驗(yàn)概率建立詞性模板庫,根據(jù)依存規(guī)則抽取情感要素[11]。劉鴻宇等使用句法分析結(jié)果抽取候選評(píng)價(jià)對(duì)象,再使用基于網(wǎng)絡(luò)挖掘的PMI算法和名詞剪枝方法,對(duì)候選評(píng)價(jià)對(duì)象進(jìn)行過濾篩選[12]。Hu M等按照標(biāo)簽序列規(guī)則(Label Sequential Rule,LSR)匹配語料中產(chǎn)品特征的方法[13]針對(duì)性強(qiáng),可以高效地識(shí)別結(jié)構(gòu)類似文章中的評(píng)價(jià)對(duì)象,但是該方法需要人工編寫相應(yīng)的模板,通用性不強(qiáng)。這些方法具有一定的應(yīng)用效果。但是,在中文的文本情感要素抽取方面,傳統(tǒng)的抽取方法和現(xiàn)有研究在開放的數(shù)據(jù)上表現(xiàn)并不令人滿意,而且傳統(tǒng)的情感要素抽取方法大多是基于大量的標(biāo)注語料,這些標(biāo)注語料也都是較規(guī)則文本,用這些規(guī)則語料訓(xùn)練得到的模型并不能對(duì)如今互聯(lián)網(wǎng)上大量的不規(guī)則數(shù)據(jù)進(jìn)行有效抽取。

    雖然傳統(tǒng)方法在情感分析問題中獲得了應(yīng)用,但這些方法對(duì)情感特征的選擇過于依賴現(xiàn)有情感詞典或人工標(biāo)注的語料庫,需要大量人力資源對(duì)情感語料庫進(jìn)行不斷完善。由于情感特征的選擇是情感分析的重要依據(jù),因此,本文提出用基于深度學(xué)習(xí)的word2vec模型來提取情感特征,處理互聯(lián)網(wǎng)短文本情感分類問題。

    在自然語言處理中,詞向量的選擇在模型的訓(xùn)練過程中具有重要意義。傳統(tǒng)的one-hot representation詞向量表示方法要求創(chuàng)建一個(gè)詞表并給每個(gè)詞編號(hào),向量的維度是詞表的大小,每個(gè)詞的向量中只有一個(gè)維度的值為1,該維度就是詞在詞表中的位置,并用稀疏矩陣來存儲(chǔ)。但這種表達(dá)方式容易造成維數(shù)災(zāi)難,并且這種詞向量表示法與詞語的語義并沒有太大的關(guān)系。因此,本文選用Hinton G E[14]提出的Embedding表示法。這種詞向量表示法不僅將詞表示在低維向量空間中,而且可以反映出詞語間潛藏的語義關(guān)系,這對(duì)詞語的情感分析具有重要意義。

    1.3 詞向量

    本文使用word2vec工具訓(xùn)練Embedding詞向量,用連續(xù)詞袋模型(Continuous Bag-Of-Words,CBOW)和Skip-Gram模型實(shí)現(xiàn)詞向量計(jì)算[15]。其中,CBOW模型以圍繞目標(biāo)單詞的語境作為輸入來預(yù)測目標(biāo)單詞;Skip-Gram模型則與其相反,通過當(dāng)前詞來預(yù)測語境。本文選擇Skip-Gram模型來訓(xùn)練語料,通過調(diào)整窗口大小訓(xùn)練出合適的詞向量。

    2 基于BLSTM的循環(huán)神經(jīng)網(wǎng)絡(luò)模型

    隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,越來越多的神經(jīng)網(wǎng)絡(luò)模型在處理自然語言問題中得到了應(yīng)用。本文在前人研究的基礎(chǔ)上,提出了采用BLSTM-RNN網(wǎng)絡(luò)模型的互聯(lián)網(wǎng)短文本要素抽取方案。

    2.1 RNN模型

    RNN是近年來深度學(xué)習(xí)領(lǐng)域比較流行的模型,實(shí)踐證明它應(yīng)用于NLP領(lǐng)域是非常成功的。與其他人工神經(jīng)網(wǎng)絡(luò)不同,循環(huán)神經(jīng)網(wǎng)絡(luò)是一種序列模型,用來處理序列數(shù)據(jù)。在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型中,輸入層與輸出層之間彼此獨(dú)立,而循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出不僅依據(jù)當(dāng)前的輸入而且與上一時(shí)刻的輸出有關(guān)。因此,RNN是具有記憶功能的,能夠記住以前的計(jì)算信息。典型的RNN網(wǎng)絡(luò)如圖1所示。

    圖1 RNN網(wǎng)絡(luò)圖

    圖1展示了一個(gè)完整展開的RNN網(wǎng)絡(luò)。其中:Xt表示t時(shí)刻的輸入;St為t時(shí)刻隱藏層的狀態(tài),它是網(wǎng)絡(luò)的記憶單元,通過循環(huán)方式傳遞到下一層。根據(jù)當(dāng)前層的輸出與上一隱藏層的狀態(tài)進(jìn)行計(jì)算,可得出St=f(UXt-WSt-1)。其中,f是非線性激活函數(shù),如tanh或ReLU;通常,St的初始值為0;Ot表示t時(shí)刻的輸出,僅與當(dāng)前時(shí)刻的St有關(guān),Ot=softmax(VSt);U、V、W分別為輸入、輸出、隱藏層權(quán)重矩陣。

    在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中,各個(gè)網(wǎng)絡(luò)層的參數(shù)是不能共享的。而在RNN中,由于每步都在做相同的事,只是輸入不同,因此,每輸入一步,各層都共享參數(shù)U、V、W。這樣,RNN大大降低了網(wǎng)絡(luò)中需要學(xué)習(xí)的參數(shù)。在圖1所示的網(wǎng)絡(luò)圖中,每個(gè)時(shí)間步都會(huì)有輸出,但是,在循環(huán)神經(jīng)網(wǎng)絡(luò)中,每個(gè)時(shí)間步并不必有輸出。比如,使用循環(huán)神經(jīng)網(wǎng)絡(luò)來預(yù)測一條語句所表達(dá)的情緒,僅需要得到輸入最后一個(gè)單詞后的輸出,并不需要知道輸入每個(gè)單詞后的輸出。同理,每個(gè)時(shí)間步的輸入也不是必需的。RNN的關(guān)鍵之處在于隱藏層,隱藏層能夠捕捉序列的信息。

    2.2 LSTM型RNN模型

    循環(huán)神經(jīng)網(wǎng)絡(luò)是一個(gè)在時(shí)間序列上傳遞的神經(jīng)網(wǎng)絡(luò),在沿時(shí)間序列反向傳播(Back Propagation Through Time,BPTT)訓(xùn)練時(shí)會(huì)產(chǎn)生時(shí)間序列上梯度消失的問題。為了解決梯度消失問題,Graves A等設(shè)計(jì)了長短時(shí)記憶單元(Long Short Term Memory,LSTM)型RNN[7]。圖2為一個(gè)LSTM單元。

    圖2 LSTM單元

    在圖2中,可以將隱藏層當(dāng)作一個(gè)黑盒子,給定當(dāng)前輸入和先前隱藏狀態(tài),然后計(jì)算出下一個(gè)隱藏狀態(tài)。LSTM在本質(zhì)上仍屬于循環(huán)神經(jīng)網(wǎng)絡(luò),只是用一個(gè)記憶單元(Memory Cell,MC)來代替RNN中的隱藏層,并用門開關(guān)實(shí)現(xiàn)時(shí)間序列上的記憶功能,從而避免梯度消失的問題。LSTM網(wǎng)絡(luò)的隱藏層結(jié)構(gòu)如圖3所示。

    圖3 LSTM網(wǎng)絡(luò)的隱藏層結(jié)構(gòu)

    在圖3中:i、f、o分別為輸入門、輸出門、忘記門單元;c為1個(gè)記憶單元,用來描述LSTM的當(dāng)前狀態(tài)。輸入門、輸出門和忘記門是3個(gè)控制門,其輸出分別連接到1個(gè)乘法單元上,用來控制網(wǎng)絡(luò)的輸入、輸出以及記憶單元的讀、寫狀態(tài)。關(guān)于LSTM的計(jì)算如下:

    it=σ(WiXt+Uiht-1+bi)

    (1)

    ft=σ(WfXt+Ufht-1+bf)

    (2)

    ot=σ(WoXt+Uoht-1+bo)

    (3)

    gt=tanh(WcXt+Ucht-1+bc)

    (4)

    ct=ftect-1+itegt

    (5)

    ht=ote tanh(ct)

    (6)

    式(1)、式(2)、式(3)分別為t時(shí)刻輸入門、輸出門、忘記門的計(jì)算式。這些門的計(jì)算式由使用不同參數(shù)矩陣的相同計(jì)算方程構(gòu)成,并且所有門都具有相同的尺寸,即隱藏狀態(tài)的大小相等。gt為t時(shí)刻候選的隱藏狀態(tài),根據(jù)當(dāng)前輸入和以前的隱藏狀態(tài)計(jì)算得出。ct為t時(shí)刻記憶單元的計(jì)算式。ht為t時(shí)刻LSTM單元的輸出。bi、bf、bo為3個(gè)控制門相應(yīng)的偏置向量。σ表示激活函數(shù)。

    與傳統(tǒng)的RNN網(wǎng)絡(luò)模型相比,LSTM模型的門控機(jī)制使記憶單元在工作中可以保持一段時(shí)間的信息記憶,并在訓(xùn)練時(shí)保證內(nèi)部梯度不受不利因素的干擾。因此,LSTM適合于處理和預(yù)測時(shí)間序列中間隔和延遲非常長的重要事件[16]。

    2.3 BLSTM型RNN模型

    由于LSTM型RNN模型只能獲取單向文本信息,因此,設(shè)計(jì)了一種BLSTM型RNN模型,以便從兩個(gè)方向獲取上下文信息。圖4所示BLSTM模型即為雙向LSTM模型。

    圖4 BLSTM模型

    類似于LSTM,BLSTM在隱藏層包含一個(gè)正向LSTM和一個(gè)反向LSTM。根據(jù)LSTM相關(guān)公式,可以推導(dǎo)出如下正向LSTM的公式:

    F_it=σ(WiXt+UiF_ht-1+bi)

    (7)

    F_ft=σ(WfXt+UfF_ht-1+bf)

    (8)

    F_ot=σ(WoXt+UoF_ht-1+bo)

    (9)

    F_gt=tanh(WcXt+UcF_ht-1+bc)

    (10)

    F_ct=F_ftect-1+F_iteF_gt

    (11)

    F_ht=F_ote tanh(F_ct)

    (12)

    同理,可以推導(dǎo)出反向LSTM的公式。將模型每個(gè)時(shí)刻的正向、反向記憶單元的狀態(tài)ct和輸出ht連接,即可獲得BLSTM層的特征輸出。BLSTM可以學(xué)習(xí)更長距離的上下文特征信息。因此,通常情況下,使用雙向LSTM型RNN模型的效果優(yōu)于單向LSTM型RNN模型。

    2.4 基于BLSTM的情感要素抽取模型訓(xùn)練

    本文將圖5所示基于BLSTM的模型應(yīng)用于情感要素抽取問題。

    圖5 BLSTM神經(jīng)網(wǎng)絡(luò)模型

    對(duì)于BLSTM-RNN模型,本文使用隨機(jī)梯度下降法來訓(xùn)練模型,即先隨機(jī)初始化參數(shù),然后每次批處理部分樣本,參與運(yùn)算,更新參數(shù)值。為加快梯度下降的收斂速度,使用ReLU激活函數(shù),同時(shí)在LSTM層的各節(jié)點(diǎn)訓(xùn)練中引入Dropout策略,可以有效防止模型的過擬合[10]。該方法不僅能找到最優(yōu)解,而且訓(xùn)練速度較快。

    3 模型驗(yàn)證

    3.1 數(shù)據(jù)集

    為了驗(yàn)證模型的有效性,本文將COAE2014評(píng)測中任務(wù)5提供的40 000條微博數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),并以該評(píng)測最終公布的抽取結(jié)果中6 479條評(píng)價(jià)對(duì)象為實(shí)驗(yàn)的訓(xùn)練語料,并且采用了數(shù)據(jù)集提供的40 000條數(shù)據(jù)訓(xùn)練詞向量。表1為數(shù)據(jù)樣例。表2為標(biāo)注語料樣例。

    表1 數(shù)據(jù)樣例

    表2 標(biāo)注語料樣例

    注:B-P表示評(píng)價(jià)對(duì)象;B-F表示評(píng)價(jià)對(duì)象屬性;O表示其他。

    3.2 模型參數(shù)

    在使用神經(jīng)網(wǎng)絡(luò)模型時(shí),參數(shù)設(shè)定是非常重要的環(huán)節(jié),不同的參數(shù)訓(xùn)練得到的結(jié)果有很大不同。BLSTM-RNN網(wǎng)絡(luò)模型的參數(shù)設(shè)置如表3所示。

    表3 BLSTM-RNN網(wǎng)絡(luò)模型參數(shù)設(shè)置

    3.3 對(duì)比實(shí)驗(yàn)

    本文用傳統(tǒng)基于機(jī)器學(xué)習(xí)的CRF模型對(duì)比采用深度學(xué)習(xí)的RNN模型和LSTM模型,基于CRF模型,選擇詞作為特征,并添加詞性以及依存關(guān)系兩種特征組合,使用CRF++工具進(jìn)行實(shí)驗(yàn),而且,在深度學(xué)習(xí)模型中,以Word2vec工具訓(xùn)練的詞級(jí)別的特征向量作為特征。

    3.4 實(shí)驗(yàn)結(jié)果分析

    本文采用十折交叉法驗(yàn)證實(shí)驗(yàn)結(jié)果,并根據(jù)COAE2014評(píng)測提供的實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)計(jì)算出了各模型的準(zhǔn)確率(見表4)。

    表4 不同模型的準(zhǔn)確率

    從表4可以看出,使用BLSTM模型處理要素抽取任務(wù)效果較好,證明該模型是有效的。對(duì)比實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),使用BLSTM模型比傳統(tǒng)模型在準(zhǔn)確率上有明顯提升,深度學(xué)習(xí)模型的結(jié)果明顯優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型的結(jié)果。對(duì)比RNN模型與BLSTM-RNN模型的準(zhǔn)確率可以發(fā)現(xiàn),使用BLSTM-RNN模型可以取得更好的效果。

    4 結(jié) 語

    本文針對(duì)情感要素抽取問題將模型擴(kuò)展到雙向LSTM型網(wǎng)絡(luò),通過實(shí)驗(yàn)證明了BLSTM-RNN模型處理情感要素抽取問題的可行性。與傳統(tǒng)模型相比,采用該模型能夠取得更好的效果。因此,對(duì)于互聯(lián)網(wǎng)短文本,采用基于詞向量的BLSTM-RNN模型進(jìn)行情感要素抽取是可行的。

    [1] 劉銘, 昝紅英, 原慧斌. 基于SVM與RNN的文本情感關(guān)鍵句判定與抽取[J]. 山東大學(xué)學(xué)報(bào)(理學(xué)版), 2014,49(11):68-73.

    [2] 劉鴻宇, 趙妍妍, 秦兵,等. 評(píng)價(jià)對(duì)象抽取及其傾向性分析[J]. 中文信息學(xué)報(bào), 2010, 24(1):84-88.

    [3] 趙妍妍, 秦兵, 劉挺. 文本情感分析[J]. 軟件學(xué)報(bào), 2010, 21(8):1834-1848.

    [4] Bengio Y, Ducharme R, Vincent P, et al. A Neural Probabilistic Language Model[J]. The Journal of Machine Learning Research, 2003, 3(6): 1137-1155.

    [5] Mikolov T, Karafiát M, Burget L, et al. Recurrent Neural Network Based Language Model[C]//The International Speech Communication Association. Makuhari, Chiba: Interspeech, 2010:1045-1048.

    [6] Morin F, Bengio Y. Hierarchical Probabilistic Neural Network Language Model[J]. Aistats,2005, 5: 246-252.

    [7] Graves A, Mohamed A, Hinton G. Speech Recognition with Deep Recurrent Neural Networks[C]//2013 IEEE International Conference on Acoustics, Speech and Signal Processing. Washington: IEEE, 2013: 6645-6649.

    [8] Huang Z, Xu W, Yu K. Bidirectional LSTM-CRF Models for Sequence Tagging[J].Computer Science, 2015,9:1508-1519.

    [9] Chiu J P C, Nichols E. Named Entity Recognition with Bidirectional LSTM-CNNs[J]. Computer Science, 2015,11:8308-8315.

    [10] Huang Z, Xu W, Yu K. A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding[J]. Computer Science,2015,11:511-515.

    [11] 張凌, 馮欣. 基于詞性模板與依存分析的中文微博情感要素抽取[J]. 計(jì)算機(jī)科學(xué), 2015,42(6A):474-478.

    [12] 劉鴻宇, 趙妍妍, 秦兵,等. 評(píng)價(jià)對(duì)象抽取及其傾向性分析[J]. 中文信息學(xué)報(bào), 2010, 24(1):84-88.

    [13] Hu M, Liu B. Mining and Summarizing Customer Reviews[C]// Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Washington:ACM, 2004:168-177.

    [14] Hinton G E. Learning Distributed Representations of Concepts[C]//Proceedings of the Eighth Annual Conference of the Cognitive Science Society. Washington: IEEE, 1986: 1-12.

    [15] 蔡慧蘋,王麗丹,段書凱. 基于word embedding和CNN的情感分類模型[J]. 計(jì)算機(jī)應(yīng)用研究,2015(10):1-5.

    [16] 梁軍,柴玉梅,原慧斌,等. 基于極性轉(zhuǎn)移和LSTM遞歸網(wǎng)絡(luò)的情感分析[J]. 中文信息學(xué)報(bào), 2015, 29(5): 152-159.

    (責(zé)任編輯:王長通)

    Sentiment Classification of the Short Texts on Internet Based on Convolutional Neural Networks

    ZHANG Ying, ZHENG Qiu-sheng

    (Zhongyuan University of Technology, Zhengzhou 450007, China)

    For the information of big data Internet essay, a deep convolution neural network (convolutional neural networks, CNNs) model of the short text on the Internet is put forward. And first use the Skip-gram in the Word2vec training model of feature vector, then further extracting feature vector into CNNs, finally training the classification model of the depth convolution neural network. The experimental results show that, compared with classification methods of traditional machine learning, this method not only could effectively handle Internet emotion classification in this essay, but also significantly improves the accuracy of emotion classification.

    short texts on the Internet; sentiment classification; convolutional neural networks; natural language processing; deep learning

    2016-09-08

    國家自然科學(xué)基金項(xiàng)目 (U1304611);河南省科技攻關(guān)項(xiàng)目(132102210186);河南省科技攻關(guān)項(xiàng)目(132102310284);河南省教育廳科學(xué)技術(shù)研究重點(diǎn)項(xiàng)目(14A520015)

    張英 (1992-),女,河南洛陽人,碩士生,主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、自然語言處理。

    1671-6906(2016)06-0082-05

    TP391

    A

    10.3969/j.issn.1671-6906.2016.06.017

    猜你喜歡
    語料短文向量
    向量的分解
    聚焦“向量與三角”創(chuàng)新題
    KEYS
    Keys
    基于語料調(diào)查的“連……都(也)……”出現(xiàn)的語義背景分析
    向量垂直在解析幾何中的應(yīng)用
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    華語電影作為真實(shí)語料在翻譯教學(xué)中的應(yīng)用
    《苗防備覽》中的湘西語料
    國內(nèi)外語用學(xué)實(shí)證研究比較:語料類型與收集方法
    精品久久久久久久久av| 久久午夜综合久久蜜桃| 一个人看视频在线观看www免费| 成人无遮挡网站| 亚洲第一区二区三区不卡| 久久婷婷青草| 97精品久久久久久久久久精品| 婷婷色综合大香蕉| 亚洲第一av免费看| 人妻少妇偷人精品九色| 日韩av在线免费看完整版不卡| 亚洲无线观看免费| 免费黄网站久久成人精品| 大香蕉97超碰在线| 日韩制服骚丝袜av| 亚洲av二区三区四区| 国产一级毛片在线| 日韩亚洲欧美综合| 亚洲国产欧美在线一区| 久久99蜜桃精品久久| 伊人久久精品亚洲午夜| 一级爰片在线观看| 欧美亚洲日本最大视频资源| 五月玫瑰六月丁香| 亚洲中文av在线| 精品亚洲乱码少妇综合久久| videossex国产| 精品久久久久久电影网| 色网站视频免费| 国产精品久久久久久久久免| 啦啦啦视频在线资源免费观看| 久久99蜜桃精品久久| 久久久国产欧美日韩av| 春色校园在线视频观看| 我的女老师完整版在线观看| 亚洲精品久久成人aⅴ小说 | 亚洲国产av新网站| 免费看光身美女| 三上悠亚av全集在线观看| 毛片一级片免费看久久久久| 亚洲欧美成人综合另类久久久| 十八禁高潮呻吟视频| √禁漫天堂资源中文www| 国产有黄有色有爽视频| 丰满饥渴人妻一区二区三| 国产日韩一区二区三区精品不卡 | 国产免费一级a男人的天堂| 建设人人有责人人尽责人人享有的| 黑人猛操日本美女一级片| 国产成人一区二区在线| 特大巨黑吊av在线直播| 午夜91福利影院| www.色视频.com| 制服丝袜香蕉在线| 欧美老熟妇乱子伦牲交| 18禁观看日本| 国产精品久久久久成人av| 国产精品人妻久久久影院| 满18在线观看网站| 亚洲精品一二三| 少妇 在线观看| 国产精品欧美亚洲77777| 三级国产精品欧美在线观看| 精品人妻一区二区三区麻豆| 99久久综合免费| 97超视频在线观看视频| 一级,二级,三级黄色视频| 国产精品99久久久久久久久| 亚洲国产精品成人久久小说| 一本色道久久久久久精品综合| 黄色配什么色好看| 十八禁高潮呻吟视频| 亚洲高清免费不卡视频| 各种免费的搞黄视频| 日韩人妻高清精品专区| 性高湖久久久久久久久免费观看| 国产熟女欧美一区二区| 18在线观看网站| 国产精品秋霞免费鲁丝片| 国产成人精品婷婷| 97在线视频观看| 中国国产av一级| 免费观看无遮挡的男女| 自拍欧美九色日韩亚洲蝌蚪91| 国产成人91sexporn| 日本色播在线视频| 看十八女毛片水多多多| 中国美白少妇内射xxxbb| 欧美日韩亚洲高清精品| 51国产日韩欧美| 在线 av 中文字幕| 亚洲欧美日韩卡通动漫| 视频中文字幕在线观看| 精品久久国产蜜桃| 一本—道久久a久久精品蜜桃钙片| 街头女战士在线观看网站| 天天躁夜夜躁狠狠久久av| 97精品久久久久久久久久精品| 黑人高潮一二区| 日韩中字成人| 国产精品一国产av| 亚洲色图 男人天堂 中文字幕 | 国产av国产精品国产| 久久影院123| 中国国产av一级| 久久精品久久久久久噜噜老黄| 亚洲精品自拍成人| 大话2 男鬼变身卡| 大陆偷拍与自拍| 黑丝袜美女国产一区| 天天影视国产精品| 又黄又爽又刺激的免费视频.| 免费黄色在线免费观看| 黄色视频在线播放观看不卡| 999精品在线视频| av黄色大香蕉| 久久久久久久久久成人| 久久久久久人妻| 另类亚洲欧美激情| 国产色婷婷99| 亚洲性久久影院| 国产一区有黄有色的免费视频| 97在线人人人人妻| 久久久久久人妻| 人妻系列 视频| 在线免费观看不下载黄p国产| 狂野欧美白嫩少妇大欣赏| av不卡在线播放| 热99国产精品久久久久久7| 下体分泌物呈黄色| 99久久精品国产国产毛片| 国产av国产精品国产| 国产精品免费大片| 夫妻午夜视频| 女人精品久久久久毛片| 色吧在线观看| 亚洲国产av影院在线观看| 精品国产一区二区久久| 超色免费av| 国产精品成人在线| freevideosex欧美| 最新的欧美精品一区二区| 91午夜精品亚洲一区二区三区| 男的添女的下面高潮视频| 久久久久久久久久久久大奶| 男的添女的下面高潮视频| 我的老师免费观看完整版| 国产有黄有色有爽视频| 亚洲第一区二区三区不卡| 久久久久国产网址| 18+在线观看网站| 成人午夜精彩视频在线观看| 新久久久久国产一级毛片| 丝袜喷水一区| 欧美一级a爱片免费观看看| 中文字幕人妻熟人妻熟丝袜美| 久久精品国产亚洲av天美| 日韩亚洲欧美综合| 99九九在线精品视频| 久久精品久久精品一区二区三区| 国产综合精华液| 久久久久久久久久久免费av| 国产又色又爽无遮挡免| 岛国毛片在线播放| 精品熟女少妇av免费看| 插逼视频在线观看| 国产免费福利视频在线观看| 人人妻人人澡人人爽人人夜夜| 国产精品一区二区在线观看99| 亚洲精品美女久久av网站| 国产一区二区三区综合在线观看 | 国产视频内射| 欧美日韩av久久| 麻豆精品久久久久久蜜桃| 狠狠精品人妻久久久久久综合| 国产精品国产av在线观看| 国产精品一区二区三区四区免费观看| 午夜福利视频精品| 9色porny在线观看| 欧美少妇被猛烈插入视频| 2018国产大陆天天弄谢| 亚洲欧洲精品一区二区精品久久久 | av一本久久久久| 搡老乐熟女国产| 丰满少妇做爰视频| a级毛片黄视频| 国产无遮挡羞羞视频在线观看| 精品99又大又爽又粗少妇毛片| 三上悠亚av全集在线观看| 亚洲少妇的诱惑av| 精品亚洲成国产av| 精品卡一卡二卡四卡免费| 亚洲国产精品一区三区| 青春草亚洲视频在线观看| 欧美精品国产亚洲| 久久久精品94久久精品| 狂野欧美激情性xxxx在线观看| 狂野欧美激情性xxxx在线观看| 国产亚洲欧美精品永久| 有码 亚洲区| 91久久精品国产一区二区三区| 91久久精品国产一区二区三区| 欧美最新免费一区二区三区| 久久女婷五月综合色啪小说| 国产成人一区二区在线| 自线自在国产av| 国产日韩欧美亚洲二区| 国产亚洲精品第一综合不卡 | 校园人妻丝袜中文字幕| 久久人人爽av亚洲精品天堂| 国产精品一区二区在线不卡| 亚洲欧洲精品一区二区精品久久久 | 人妻人人澡人人爽人人| 日韩亚洲欧美综合| 亚洲欧美清纯卡通| videossex国产| 五月天丁香电影| 亚洲人与动物交配视频| xxx大片免费视频| 少妇被粗大的猛进出69影院 | 黑丝袜美女国产一区| 一个人看视频在线观看www免费| 欧美一级a爱片免费观看看| 乱码一卡2卡4卡精品| 国产日韩欧美亚洲二区| 精品99又大又爽又粗少妇毛片| 啦啦啦啦在线视频资源| 亚洲精品456在线播放app| 免费黄频网站在线观看国产| 午夜久久久在线观看| 高清黄色对白视频在线免费看| 国产高清不卡午夜福利| 久久久久久久久久久免费av| 久久久久国产网址| 色5月婷婷丁香| 亚洲精品乱码久久久v下载方式| 日韩欧美一区视频在线观看| 亚洲成人一二三区av| 亚洲人与动物交配视频| 狂野欧美激情性bbbbbb| 男人爽女人下面视频在线观看| 在现免费观看毛片| av电影中文网址| 91精品国产国语对白视频| 国产亚洲欧美精品永久| av播播在线观看一区| 汤姆久久久久久久影院中文字幕| 两个人的视频大全免费| 成年美女黄网站色视频大全免费 | 搡老乐熟女国产| av国产精品久久久久影院| 黑人欧美特级aaaaaa片| 在线观看免费高清a一片| 成人无遮挡网站| 下体分泌物呈黄色| 免费看av在线观看网站| 精品99又大又爽又粗少妇毛片| av在线老鸭窝| 久久久欧美国产精品| 十八禁网站网址无遮挡| 人人妻人人澡人人爽人人夜夜| 免费观看在线日韩| 夫妻性生交免费视频一级片| 最近中文字幕2019免费版| 制服丝袜香蕉在线| 亚洲国产欧美在线一区| 亚洲欧美中文字幕日韩二区| 欧美97在线视频| 午夜免费男女啪啪视频观看| 2022亚洲国产成人精品| 国产精品国产三级国产av玫瑰| 2021少妇久久久久久久久久久| 香蕉精品网在线| 久久久欧美国产精品| 国产av码专区亚洲av| 美女大奶头黄色视频| 中国三级夫妇交换| 国产亚洲最大av| 免费日韩欧美在线观看| 国产精品一二三区在线看| 久久精品国产鲁丝片午夜精品| 日韩电影二区| 亚洲无线观看免费| 一级毛片黄色毛片免费观看视频| 国产在线免费精品| 纵有疾风起免费观看全集完整版| 亚洲美女黄色视频免费看| 亚洲国产精品专区欧美| 日日摸夜夜添夜夜爱| 免费观看的影片在线观看| 国产亚洲一区二区精品| a级毛色黄片| 国产一区有黄有色的免费视频| 91精品三级在线观看| 久久热精品热| 最新中文字幕久久久久| 亚洲综合色网址| 最近手机中文字幕大全| 蜜桃国产av成人99| 国产成人精品一,二区| 人妻 亚洲 视频| 人妻制服诱惑在线中文字幕| 久久免费观看电影| av在线观看视频网站免费| 亚洲综合色网址| 我要看黄色一级片免费的| 国产无遮挡羞羞视频在线观看| 午夜视频国产福利| 在线精品无人区一区二区三| 母亲3免费完整高清在线观看 | av电影中文网址| 嘟嘟电影网在线观看| 热99久久久久精品小说推荐| 国产女主播在线喷水免费视频网站| 国产视频首页在线观看| 韩国av在线不卡| 亚洲欧美成人精品一区二区| 国产极品天堂在线| 九九久久精品国产亚洲av麻豆| 丰满迷人的少妇在线观看| 久久99热6这里只有精品| 日韩一区二区视频免费看| 永久免费av网站大全| 国产精品免费大片| 精品人妻熟女av久视频| 在线观看一区二区三区激情| 两个人的视频大全免费| 自拍欧美九色日韩亚洲蝌蚪91| 一级毛片我不卡| 欧美一级a爱片免费观看看| 夜夜看夜夜爽夜夜摸| 日韩大片免费观看网站| av卡一久久| 久久久久久久国产电影| 国产有黄有色有爽视频| 在线观看三级黄色| 大片免费播放器 马上看| 乱人伦中国视频| 日本-黄色视频高清免费观看| 日产精品乱码卡一卡2卡三| 18禁在线播放成人免费| 日本黄色片子视频| 涩涩av久久男人的天堂| 肉色欧美久久久久久久蜜桃| 国产成人精品婷婷| 亚洲国产精品一区三区| 一边摸一边做爽爽视频免费| 久久久欧美国产精品| 只有这里有精品99| 永久网站在线| 免费黄网站久久成人精品| 男男h啪啪无遮挡| 肉色欧美久久久久久久蜜桃| 观看av在线不卡| 午夜免费鲁丝| 国产亚洲精品第一综合不卡 | 啦啦啦视频在线资源免费观看| 成人无遮挡网站| 国产精品99久久99久久久不卡 | 亚洲欧美日韩另类电影网站| 久久久久网色| av黄色大香蕉| 日韩,欧美,国产一区二区三区| 久久免费观看电影| 国产精品免费大片| 国产成人免费无遮挡视频| 亚洲精品av麻豆狂野| 狂野欧美白嫩少妇大欣赏| 一级爰片在线观看| 国产男女超爽视频在线观看| 久久精品久久久久久噜噜老黄| 观看美女的网站| 亚洲国产欧美在线一区| 国产亚洲最大av| 在线免费观看不下载黄p国产| 亚洲欧美色中文字幕在线| 国产男女超爽视频在线观看| 99热国产这里只有精品6| 18禁在线播放成人免费| 国产高清有码在线观看视频| 国产片特级美女逼逼视频| 国产在线一区二区三区精| 欧美人与善性xxx| 22中文网久久字幕| 在线观看三级黄色| 能在线免费看毛片的网站| 亚洲国产成人一精品久久久| 日韩熟女老妇一区二区性免费视频| 2022亚洲国产成人精品| 99久久中文字幕三级久久日本| av在线播放精品| 日韩 亚洲 欧美在线| 精品人妻一区二区三区麻豆| 亚洲精品美女久久av网站| 国产女主播在线喷水免费视频网站| 各种免费的搞黄视频| √禁漫天堂资源中文www| 最近的中文字幕免费完整| 亚洲三级黄色毛片| 亚洲人成77777在线视频| 九九在线视频观看精品| 亚洲伊人久久精品综合| 精品卡一卡二卡四卡免费| 国产乱人偷精品视频| 九草在线视频观看| 日本-黄色视频高清免费观看| 午夜久久久在线观看| 三级国产精品片| 久久av网站| 视频在线观看一区二区三区| 国产精品欧美亚洲77777| 一边摸一边做爽爽视频免费| 亚洲丝袜综合中文字幕| 欧美xxⅹ黑人| 久久人人爽人人爽人人片va| 老司机亚洲免费影院| 亚洲av成人精品一区久久| 免费高清在线观看日韩| 日本午夜av视频| 成人影院久久| 人妻系列 视频| 欧美激情国产日韩精品一区| 一区二区三区精品91| 男女高潮啪啪啪动态图| 午夜激情福利司机影院| 亚洲国产精品999| 看非洲黑人一级黄片| 啦啦啦中文免费视频观看日本| 三级国产精品片| 亚洲国产精品999| 五月伊人婷婷丁香| 日本爱情动作片www.在线观看| 久久精品久久久久久久性| 亚洲成人av在线免费| 国产精品一国产av| xxxhd国产人妻xxx| 中文字幕亚洲精品专区| 亚洲欧美成人精品一区二区| 在线观看免费日韩欧美大片 | 狂野欧美激情性xxxx在线观看| 黄色视频在线播放观看不卡| 亚洲丝袜综合中文字幕| 亚洲精品乱码久久久久久按摩| 国产亚洲最大av| 免费看av在线观看网站| 久久久久国产网址| 99热国产这里只有精品6| 黄色怎么调成土黄色| 免费看av在线观看网站| 久久毛片免费看一区二区三区| 久久人妻熟女aⅴ| 欧美日韩精品成人综合77777| 最近中文字幕高清免费大全6| 亚洲成人一二三区av| 国产白丝娇喘喷水9色精品| 美女脱内裤让男人舔精品视频| 桃花免费在线播放| 久久国产亚洲av麻豆专区| 中文字幕制服av| 国产成人精品一,二区| 精品国产一区二区三区久久久樱花| 午夜激情久久久久久久| 99热这里只有是精品在线观看| 欧美老熟妇乱子伦牲交| 久久久午夜欧美精品| 在线天堂最新版资源| 成人黄色视频免费在线看| 一本—道久久a久久精品蜜桃钙片| 99久久精品一区二区三区| 欧美97在线视频| 久久热精品热| 亚洲综合色网址| 久久久久国产精品人妻一区二区| 国产精品99久久久久久久久| 免费不卡的大黄色大毛片视频在线观看| 在现免费观看毛片| 熟女人妻精品中文字幕| 中文字幕久久专区| 91午夜精品亚洲一区二区三区| 伦理电影免费视频| 51国产日韩欧美| 人妻制服诱惑在线中文字幕| 99久久中文字幕三级久久日本| 亚洲欧美中文字幕日韩二区| 午夜福利,免费看| 如日韩欧美国产精品一区二区三区 | 久久国产亚洲av麻豆专区| 国产深夜福利视频在线观看| 美女脱内裤让男人舔精品视频| 我的女老师完整版在线观看| a级毛片黄视频| 亚洲精品成人av观看孕妇| 免费少妇av软件| 亚洲精品,欧美精品| 国产黄片视频在线免费观看| 一级毛片aaaaaa免费看小| 欧美精品一区二区免费开放| 亚洲四区av| 免费av不卡在线播放| 男女高潮啪啪啪动态图| 精品久久久噜噜| 欧美日韩精品成人综合77777| 婷婷色av中文字幕| 欧美日韩视频精品一区| 午夜激情福利司机影院| 国产伦理片在线播放av一区| 男女边吃奶边做爰视频| 三上悠亚av全集在线观看| 日产精品乱码卡一卡2卡三| 亚洲国产色片| 夜夜看夜夜爽夜夜摸| 大片免费播放器 马上看| 精品人妻一区二区三区麻豆| 只有这里有精品99| 日韩欧美精品免费久久| 亚洲丝袜综合中文字幕| 亚洲国产av新网站| 久久人人爽人人片av| 国产精品一区二区三区四区免费观看| 99热网站在线观看| 2021少妇久久久久久久久久久| 久久久久久久久久成人| 一本—道久久a久久精品蜜桃钙片| 纯流量卡能插随身wifi吗| 国产熟女欧美一区二区| 中国国产av一级| 18禁观看日本| 欧美xxⅹ黑人| 少妇猛男粗大的猛烈进出视频| 亚洲精品美女久久av网站| 久久久久视频综合| 欧美 日韩 精品 国产| 国产女主播在线喷水免费视频网站| 视频中文字幕在线观看| 久久久久久久国产电影| 午夜福利网站1000一区二区三区| 亚洲一级一片aⅴ在线观看| 午夜福利视频精品| 欧美一级a爱片免费观看看| 一区二区av电影网| 精品少妇内射三级| 国产色婷婷99| 国产精品无大码| 亚洲欧美中文字幕日韩二区| 亚洲经典国产精华液单| 久久久国产一区二区| 国产精品蜜桃在线观看| 免费高清在线观看日韩| 欧美少妇被猛烈插入视频| 97在线人人人人妻| 亚洲精品久久久久久婷婷小说| 黄色毛片三级朝国网站| 男人添女人高潮全过程视频| 久久99精品国语久久久| 人妻人人澡人人爽人人| 人妻制服诱惑在线中文字幕| 自拍欧美九色日韩亚洲蝌蚪91| 高清在线视频一区二区三区| 亚洲精品日韩在线中文字幕| 精品国产国语对白av| 中国美白少妇内射xxxbb| 中文精品一卡2卡3卡4更新| 亚洲人成网站在线播| 日韩av不卡免费在线播放| 亚洲高清免费不卡视频| 一个人看视频在线观看www免费| 欧美bdsm另类| 男人爽女人下面视频在线观看| 免费大片黄手机在线观看| 亚洲欧洲国产日韩| 热re99久久精品国产66热6| 天堂中文最新版在线下载| 午夜福利视频精品| 人人妻人人爽人人添夜夜欢视频| 大片电影免费在线观看免费| 久久久久网色| 久久久精品免费免费高清| 国产极品粉嫩免费观看在线 | 国产精品无大码| 国产老妇伦熟女老妇高清| a级片在线免费高清观看视频| 一本色道久久久久久精品综合| 中文字幕制服av| 2022亚洲国产成人精品| 中文字幕av电影在线播放| videos熟女内射| 又大又黄又爽视频免费| 午夜激情福利司机影院| 在线看a的网站| 99九九线精品视频在线观看视频| 国产精品久久久久久精品古装| 男女免费视频国产| 国产精品久久久久久av不卡| 嘟嘟电影网在线观看| 欧美精品一区二区大全| 22中文网久久字幕| 在线 av 中文字幕| 午夜免费观看性视频| 最近最新中文字幕免费大全7| 中文字幕精品免费在线观看视频 | h视频一区二区三区| 五月伊人婷婷丁香| 99热全是精品| 交换朋友夫妻互换小说| 久久国内精品自在自线图片| 国产免费现黄频在线看| 欧美人与性动交α欧美精品济南到 | 一级片'在线观看视频| 精品亚洲成国产av| 亚洲高清免费不卡视频| 99国产精品免费福利视频| 爱豆传媒免费全集在线观看| 久久国产精品男人的天堂亚洲 | 午夜影院在线不卡| 日韩人妻高清精品专区|