• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多情緒源關(guān)聯(lián)模型的中文微博情感分析

    2016-09-27 06:36:22李凌霄李紹滋曹冬林
    智能系統(tǒng)學(xué)報(bào) 2016年4期
    關(guān)鍵詞:極性詞典關(guān)聯(lián)

    李凌霄, 李紹滋,曹冬林

    (1.廈門(mén)大學(xué) 智能科學(xué)與技術(shù)系,福建 廈門(mén) 361005; 2. 廈門(mén)大學(xué) 福建省仿腦智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,福建 廈門(mén) 361005)

    ?

    基于多情緒源關(guān)聯(lián)模型的中文微博情感分析

    李凌霄1, 2, 李紹滋1, 2,曹冬林1, 2

    (1.廈門(mén)大學(xué) 智能科學(xué)與技術(shù)系,福建 廈門(mén) 361005; 2. 廈門(mén)大學(xué) 福建省仿腦智能系統(tǒng)重點(diǎn)實(shí)驗(yàn)室,福建 廈門(mén) 361005)

    社交媒體信息的爆炸式增長(zhǎng),使得依據(jù)其對(duì)公眾輿論情感的分析受到越來(lái)越多的關(guān)注。與傳統(tǒng)文本不同,新浪微博中存在包括情感詞、表情、圖片和視頻等特征在內(nèi)的多情緒源,本文針對(duì)中文社交短文本情感分析中情感詞典時(shí)效性問(wèn)題和多情緒源間的關(guān)聯(lián)性問(wèn)題,提出了一種多情緒源關(guān)聯(lián)模型。該模型考慮微博中的情感詞和表情特征及其之間的關(guān)聯(lián)關(guān)系,在經(jīng)典的詞典規(guī)則投票方法基礎(chǔ)上,引入多情緒源以及關(guān)聯(lián)概率,通過(guò)概率建模的方式對(duì)情感詞和表情兩類(lèi)情緒源建立關(guān)聯(lián)模型,實(shí)現(xiàn)對(duì)微博情感的判別。實(shí)驗(yàn)表明,在6 171條微博數(shù)據(jù)集中,多情緒源關(guān)聯(lián)模型分類(lèi)準(zhǔn)確率達(dá)到了85.3%,強(qiáng)于包含情感詞和表情的傳統(tǒng)投票模型(83.4%)以及包含同類(lèi)多特征的SVM方法(82.9%)。

    多模態(tài)情感分析;多情緒源;社交媒體;關(guān)聯(lián)性

    中文引用格式:李凌霄,李紹滋,曹冬林. 基于多情緒源關(guān)聯(lián)模型的中文微博情感分析[J]. 智能系統(tǒng)學(xué)報(bào), 2016, 11(4): 546-553.

    英文引用格式:LI Lingxiao, LI Shaozi, CAO Donglin. Emotional multi-source correlation model for chinese micro-blog sentiment analysis[J]. CAAI Transactions on Intelligent Systems, 2016, 11(4): 546-553.

    時(shí)下,社交媒體正成為人們生活中不可或缺的一部分,通過(guò)微博、微信等工具,人們可以隨意發(fā)表對(duì)電影、商品的喜惡,對(duì)社會(huì)事件的個(gè)人觀點(diǎn),甚至對(duì)國(guó)家政策的看法。如何從包含這些信息的大規(guī)模數(shù)據(jù)中獲取諸如情感傾向在內(nèi)的潛在信息,對(duì)于產(chǎn)品導(dǎo)向、廣告精確投放、國(guó)家輿情控制等領(lǐng)域都具有重要意義,社交信息的數(shù)據(jù)挖掘與分析正成為研究者們關(guān)注的熱門(mén)課題。

    對(duì)英文社交媒體(如Tweet)的情感分析已經(jīng)有很多進(jìn)展,分析的方法主要分為有監(jiān)督方法[1-5]和基于詞典或逐點(diǎn)互信息(PMI)[7]的無(wú)監(jiān)督方法。而類(lèi)似針對(duì)中文社交媒體的情感分析工作則仍處于起步階段,所使用的方法大都源于英文情感分析方法,但由于社交媒體表現(xiàn)形式的多樣化和中文網(wǎng)絡(luò)語(yǔ)境多變性等原因,傳統(tǒng)分類(lèi)方法仍存在很大改進(jìn)空間,本文針對(duì)目前存在的兩個(gè)問(wèn)題進(jìn)行建模:

    1)情感詞典時(shí)效性差,中文新詞的出現(xiàn)更為頻繁,基于統(tǒng)計(jì)的方法在短周期內(nèi)難以判斷其情感;

    2)傳統(tǒng)方法未考慮多情緒源之間的關(guān)聯(lián)。

    這里的多情緒源是指微博中可能出現(xiàn)的能夠體現(xiàn)其情感的多種異構(gòu)特征,如情感詞、表情符號(hào)、圖片和視頻等。并且這些情緒源之間存在以下在情感分析上可以進(jìn)行互補(bǔ)利用的關(guān)聯(lián)關(guān)系:

    1)不同情緒源表達(dá)的情感強(qiáng)度可能不同,強(qiáng)情緒源可以對(duì)弱情緒源進(jìn)行極性加強(qiáng);

    2)同一情緒下不同情緒源之間存在較強(qiáng)的關(guān)聯(lián)性,例如在“哈哈”表情下出現(xiàn)正情感詞的概率較大。

    根據(jù)以上分析,我們提出了一種多情緒源關(guān)聯(lián)模型,該模型對(duì)微博中的情感詞和表情符號(hào)兩種情緒源及其之間的關(guān)聯(lián)進(jìn)行建模。我們的實(shí)驗(yàn)結(jié)果顯示,該模型在微博數(shù)據(jù)上優(yōu)于經(jīng)典分類(lèi)算法,并且該模型具有拓展性,可以繼續(xù)加入諸如圖片和視頻在內(nèi)的其他情緒源。

    1 情感分析相關(guān)工作

    文本情感分析近幾年逐漸成為熱門(mén)研究課題,其內(nèi)容主要包括情感極性分析和主客觀分析等,本文主要關(guān)注情感極性分析。目前情感極性分析的方法主要分為兩類(lèi):有監(jiān)督的分類(lèi)器學(xué)習(xí)方法和無(wú)監(jiān)督的基于情感詞典或者PMI的方法。

    1.1有監(jiān)督方法

    有監(jiān)督方法大多通過(guò)機(jī)器學(xué)習(xí)技術(shù)從文本中選取合適的特征構(gòu)建分類(lèi)器,包括樸素貝葉斯、最大熵和支持向量機(jī)等,進(jìn)而對(duì)不同情感進(jìn)行分類(lèi)。

    分類(lèi)器選擇上,Pang等[1]用以上3種分類(lèi)器將影評(píng)分為正、負(fù)兩類(lèi)極性,引入了一元語(yǔ)法特征、二元語(yǔ)法特征、詞性特征和詞位置特征等8種組合特征,最終使用基于出現(xiàn)與否的一元語(yǔ)法特征SVM分類(lèi)器效果最好,在其語(yǔ)料集中達(dá)到83%的準(zhǔn)確率。

    特征選擇上,D.Kushal 等[2]對(duì)語(yǔ)法規(guī)則、n-gram特征進(jìn)行了分析;Hatzivassiloglou等[3]使用了情感詞作為特征,對(duì)句子級(jí)別的情感傾向進(jìn)行了分析;J.C.Na等[4]對(duì)指定詞語(yǔ)和否定短語(yǔ)特征進(jìn)行了分析。

    這類(lèi)機(jī)器學(xué)習(xí)方法,例如多特征SVM情感分類(lèi)方法,并未考慮到不同特征之間的關(guān)聯(lián)關(guān)系。

    1.2無(wú)監(jiān)督方法

    無(wú)監(jiān)督方法利用文本中帶有情感的詞匯的情感傾向,綜合考慮文本的語(yǔ)法規(guī)則、句法構(gòu)成等要素對(duì)文本進(jìn)行情感極性的判別,通常采用投票的方法。在該類(lèi)方法中,主要依靠文本分析,并未關(guān)注社交媒體信息中情緒源多并且不同情緒源之間存在關(guān)聯(lián)性的特點(diǎn)。

    基于情感詞方法的基礎(chǔ)是判斷詞的情感,對(duì)詞匯的情感判斷方法包括:基于情感詞典、基于監(jiān)督學(xué)習(xí)[5]和基于種子詞[7-9]的方法等。

    常用的中文情感詞典有知網(wǎng)情感分析用詞語(yǔ)集、臺(tái)灣大學(xué)中文情感極性詞典(NTUSD)和大連理工大學(xué)中文情感詞匯本體庫(kù)等?;谇楦性~典的方法主要缺陷在于覆蓋面窄、無(wú)法包含網(wǎng)絡(luò)新詞。

    Wilson等[5]提出了一種二步分類(lèi)的有監(jiān)督方法判斷短語(yǔ)的極性:1)判斷將短語(yǔ)分類(lèi)為有極性和中性;2)將第1步中得出的有極性短語(yǔ)進(jìn)一步劃分為4類(lèi)極性,每一步使用不同的特征進(jìn)行分類(lèi),分類(lèi)器相同(BoosTexter AdaBoost.HM[6])。最終在其數(shù)據(jù)集上準(zhǔn)確率達(dá)到75.9%。

    Turney[7]提出了一種判斷單詞情感的方法,通過(guò)在大規(guī)模語(yǔ)料集中分別計(jì)算目標(biāo)單詞與正負(fù)極性種子詞(正種子詞:excellent;負(fù)種子詞:pool)的逐點(diǎn)互信息,將兩個(gè)結(jié)果進(jìn)行對(duì)比得出目標(biāo)單詞的情感,最終在其數(shù)據(jù)集中達(dá)到82.8%的準(zhǔn)確率,缺點(diǎn)是需要大規(guī)模語(yǔ)料集,運(yùn)算量大。

    此外,Xia H.等[9]研究了英文社交媒體中出現(xiàn)的情感標(biāo)記信號(hào)在無(wú)監(jiān)督情感分析中的應(yīng)用,取得了良好的效果。

    1.3中文微博情感極性分析研究現(xiàn)狀

    中文微博情感極性分析主要方法來(lái)源于上文提及的英文文本情感分析相關(guān)方法[10]。

    目前,由中國(guó)中文信息學(xué)會(huì)(CIPS)主辦的中文傾向性分析評(píng)測(cè)(The Fifth Chinese Opinion Analysis Evaluation, COAE)聚集了該領(lǐng)域大量研究成果。COAE評(píng)測(cè)由2008年開(kāi)始每年舉辦一次,發(fā)布中文傾向性分析的相關(guān)任務(wù),包括情感識(shí)別、新詞發(fā)現(xiàn)、觀點(diǎn)句提取和評(píng)價(jià)對(duì)象識(shí)別等。表1給出了COAE2013 http://ccir2013.sxu.edu.cn/COAE.aspx 任務(wù)1(基于否定句的句子級(jí)傾向性分析)的最佳評(píng)測(cè)結(jié)果。

    表1 COAE2013任務(wù)1最佳評(píng)測(cè)宏平均結(jié)果

    最佳結(jié)果[11]使用了集成學(xué)習(xí)的方法,通過(guò)多次欠采樣訓(xùn)練NB、ME、SVM基分類(lèi)器,通過(guò)product rule融合多個(gè)基分類(lèi)器。該方法針對(duì)標(biāo)注數(shù)據(jù)集較少的情況,提高了分類(lèi)器的魯棒性和泛化能力。

    在中文微博情感分析的多種方法中,SVM方法雖然引入了不同特征,但是認(rèn)為特征之間相互獨(dú)立;基于規(guī)則投票的方法主要依賴(lài)情感詞典和語(yǔ)法規(guī)則,也有引入表情符號(hào)等情緒源的方法,但未考慮不同情緒源之間的關(guān)聯(lián)。

    此外,謝麗星等[12]提出了基于層次結(jié)構(gòu)的SVM分類(lèi)方法,選取主題相關(guān)特征構(gòu)建分類(lèi)器對(duì)微博情感進(jìn)行三分類(lèi)。通過(guò)分句考慮了3類(lèi)極性的句子數(shù)目以及首尾句情感極性,并且依據(jù)主題選取了多種特征訓(xùn)練分類(lèi)器,在其數(shù)據(jù)集上達(dá)到67.283%的準(zhǔn)確率。但通過(guò)對(duì)我們的6171條微博進(jìn)行分析發(fā)現(xiàn),句子數(shù)目大于2的微博僅占12%,因此分句對(duì)情感分析效果不大。此外由于本文針對(duì)沒(méi)有主題標(biāo)簽的微博,因此最終在實(shí)驗(yàn)中選擇文獻(xiàn)[12]中與主題無(wú)關(guān)的不分句最佳特征SVM以及無(wú)關(guān)聯(lián)多情緒源模型作為對(duì)比方法。

    2 算法實(shí)現(xiàn)

    多情緒源關(guān)聯(lián)模型受基于詞典投票的情感分析方法啟發(fā),對(duì)包括情感詞在內(nèi)的多情緒源及其間的關(guān)聯(lián)進(jìn)行建模(本文只考慮情感詞和表情兩種情緒源)。因此本章從基于詞典投票的分類(lèi)模型,到加入表情特征進(jìn)行改進(jìn),近而引入后驗(yàn)概率聯(lián)合建模3個(gè)過(guò)程來(lái)介紹模型的產(chǎn)生原理,最后介紹多情緒源關(guān)聯(lián)模型的構(gòu)建方法(算法將微博分為負(fù)面、中性和正面3種情感)。

    2.1原理框圖

    圖1~3分別展示了3種情感分類(lèi)模型的組成原理,可以看出相比其他兩類(lèi)模型只考慮單一或者相互獨(dú)立的情緒源特征,本文提出的多情緒源關(guān)聯(lián)模型綜合考慮了不同情緒源及其之間的關(guān)聯(lián)進(jìn)行建模,并且在第2.4節(jié)的實(shí)驗(yàn)中證明了這種關(guān)聯(lián)對(duì)于情感分析的作用。

    圖1 情感詞投票模型Fig.1 Word voting model

    圖2 無(wú)關(guān)聯(lián)模型Fig.2 Uncorrelated model

    圖3 多情緒源關(guān)聯(lián)模型Fig.3 Emotional multi-source correlation model

    2.2基于詞典投票的情感分類(lèi)模型

    本節(jié)介紹了傳統(tǒng)方法中基于情感詞典投票的情感分類(lèi)模型,并對(duì)其進(jìn)行了概率轉(zhuǎn)換,再依據(jù)否定詞和感嘆句對(duì)情感詞極性進(jìn)行了修正。

    2.2.1情感詞典概率模型

    基于情感詞典的分析方法將情感詞典中標(biāo)注為正負(fù)極性的情感詞作為特征,先對(duì)文本進(jìn)行分詞(本文中涉及的分詞工具使用了中科院計(jì)算所開(kāi)發(fā)的ICTCLAS50分詞系統(tǒng) http://www.ictclas.org/),將正負(fù)情感詞在文本中出現(xiàn)次數(shù)的差值作為文本正負(fù)情感判斷的依據(jù)。根據(jù)式(1)進(jìn)行極性投票判斷。

    (1)

    如果將以上判斷方法用概率模型進(jìn)行表示,可以得到式(2)。

    (2)

    2.2.2否定詞和感嘆句分析

    針對(duì)中文微博里存在否定詞、感嘆句等語(yǔ)法結(jié)構(gòu)的特點(diǎn),本文對(duì)情感詞的極性權(quán)值進(jìn)行了修正。

    與文獻(xiàn)[12]中類(lèi)似,模型對(duì)否定詞的出現(xiàn)進(jìn)行了處理,自定義了24個(gè)常用否定詞,如表2所示,將以否定詞為中心,大小為3窗口的中出現(xiàn)的情感詞極性反轉(zhuǎn)。

    表2 自定義否定詞表

    感嘆句通常起到的是加強(qiáng)語(yǔ)義的作用,而對(duì)于語(yǔ)句的情感影響也會(huì)起到類(lèi)似的加強(qiáng)效果。我們認(rèn)為出現(xiàn)感嘆句的句子中,情感詞表達(dá)效果翻倍,因此使用了最為直接的處理方法,將感嘆句中的情感詞個(gè)數(shù)在原基礎(chǔ)上乘以2。

    2.3無(wú)關(guān)聯(lián)的情感詞和表情模型

    很多情況下,單獨(dú)使用情感詞難以判斷微博所表達(dá)的極性,因此可以通過(guò)引入其他情緒源來(lái)綜合判斷極性,我們考慮了表情符號(hào)作為聯(lián)合特征,因?yàn)楸砬楹颓楦性~在微博情感分析中具有如下優(yōu)勢(shì)互補(bǔ)的特性。

    1)微博中情感詞分布廣泛,一條微博中往往包含多個(gè)情感詞。但僅利用情感詞進(jìn)行情感判別的缺點(diǎn)在于情感詞典時(shí)效性差:情感新詞出現(xiàn)較頻繁,但剛出現(xiàn)時(shí)數(shù)量少,使用基于統(tǒng)計(jì)的新詞極性判別方法在新詞出現(xiàn)初始周期內(nèi)難以對(duì)新詞進(jìn)行識(shí)別和判斷。

    2)微博上表情符號(hào)的使用相對(duì)固定,但利用表情進(jìn)行情感判別的缺點(diǎn)在于一條微博中表情個(gè)數(shù)不多,同時(shí)并非所有微博都包含表情。

    此外,經(jīng)過(guò)試驗(yàn)表明,微博表情特征的以下特點(diǎn)也能夠提升情感分類(lèi)效果:

    1)微博表情對(duì)情感的表達(dá)比文本更為直接和顯著;例如微博“終于通關(guān)了”,文本中并未出現(xiàn)情感詞,僅通過(guò)詞典將其判斷為中性情感,加入表情特征后判斷為正面情感。

    因此我們對(duì)情感詞和表情符號(hào)聯(lián)合建模,以綜合利用二者在微博情感判斷中的互補(bǔ)優(yōu)勢(shì),和表情特征的自身判別優(yōu)點(diǎn),具體模型如式(3)~(5)所示:

    (3)

    (4)

    (5)

    2.4多情緒源關(guān)聯(lián)模型

    2.3節(jié)模型認(rèn)為情感詞與表情之間是相互獨(dú)立的,沒(méi)有考慮情感詞和表情之間的關(guān)聯(lián)關(guān)系,以及這種關(guān)系對(duì)情感極性判斷的影響,因此這里引入了后驗(yàn)概率對(duì)其進(jìn)行修正。

    表3給出了一個(gè)例子,在該例中,雖然出現(xiàn)的情感詞都為正極性,但表情符號(hào)卻只有負(fù)面表情,通過(guò)2.3模型進(jìn)行判斷,將這條微博錯(cuò)分成負(fù)極性。

    表3 無(wú)轉(zhuǎn)折詞的轉(zhuǎn)折句實(shí)例

    (6)

    (7)

    (8)

    式中:normal為歸一化因子。

    (9)

    類(lèi)似地

    (10)

    在表3所示的示例中,使用2.3節(jié)中的方法進(jìn)行極性判斷,結(jié)果如下:

    Sp-Sn=0.14>0,最終結(jié)果為正性(本數(shù)據(jù)集下,取ωw=1,ωf=1.5)。分類(lèi)正確的原因是通過(guò)“淚”與上述情感詞之間的關(guān)聯(lián)性,考慮了“淚”與上述情感詞出現(xiàn)情況下,分類(lèi)為正極性的概率。

    多情緒源關(guān)聯(lián)模型不限于情感詞和表情符號(hào)兩個(gè)情緒源,可以通過(guò)加入更多的情緒源,例如圖片、視頻等,來(lái)拓展關(guān)聯(lián)模型。

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1實(shí)驗(yàn)數(shù)據(jù)及驗(yàn)證方法

    上文中提及的COAE評(píng)測(cè)給出了公共數(shù)據(jù)集,但由于其數(shù)據(jù)集中所包含的有表情微博數(shù)量十分稀少,不適合測(cè)試本方法,因此本文通過(guò)新浪微博API爬取微博信息,并對(duì)爬取的6 171條微博進(jìn)行了人工標(biāo)注,經(jīng)過(guò)統(tǒng)計(jì),微博數(shù)據(jù)來(lái)自社會(huì)、電影、電視劇、美食、娛樂(lè)八卦、科技等多個(gè)領(lǐng)域。

    所選擇數(shù)據(jù)集中正極性微博所占比例偏大,中極性比例偏小,并且含有表情的微博較多(主要分布于電影、電視劇、娛樂(lè)八卦和美食等領(lǐng)域),但用于比較的各個(gè)分類(lèi)方法所用數(shù)據(jù)集相同,不會(huì)對(duì)結(jié)果比較造成影響。

    我們所使用的情感詞典為大連理工大學(xué)中文情感詞匯本體庫(kù)http://ir.dlut.edu.cn/EmotionOntologyDownload.aspx?以及自定義的少量新詞(如坑爹、給力等),一共27 488個(gè)(正極性詞13 556個(gè),負(fù)極性詞13 932個(gè))。在分詞時(shí),使用ICTCLAS50自定義詞典接口,調(diào)用了情感詞典和否定詞典。

    模型中,使用表情符號(hào)和情感詞進(jìn)行了聯(lián)合建模,表情符號(hào)選擇微博常用表情中默認(rèn)的50個(gè)表情符號(hào),如(正性)和(負(fù)性)。如表4。

    表4 實(shí)驗(yàn)數(shù)據(jù)極性分布

    3.2對(duì)比實(shí)驗(yàn)說(shuō)明

    對(duì)比實(shí)驗(yàn)1采用文獻(xiàn)[12]中一步三分類(lèi)最佳特征組合(去除了情感短語(yǔ)和中文是否出現(xiàn)這兩個(gè)特征),此外因?yàn)楸疚臄?shù)據(jù)集中的微博包含的多句子情況少,因而不考慮分句的情況進(jìn)行第2次分類(lèi);同時(shí)本文的情感極性分析針對(duì)無(wú)主題標(biāo)簽的微博,因此不考慮主題特征。在文獻(xiàn)[12]所做的實(shí)驗(yàn)中,url特征與主客觀分類(lèi)對(duì)最終效果有負(fù)面影響,因此也不將這兩個(gè)因素考慮在內(nèi)。此外,選用的情感詞典和表情符號(hào)、標(biāo)點(diǎn)符號(hào)也與之不同。最終使用的特征表示如表5所示,用詞袋模型(BOW)表示。其中否定詞采用與3.2.2中相同處理方法。對(duì)比實(shí)驗(yàn)二采用3.3節(jié)中方法。實(shí)驗(yàn)采用五折交叉驗(yàn)證。

    表5 對(duì)比實(shí)驗(yàn)特征表示

    3.3實(shí)驗(yàn)結(jié)果及分析

    分類(lèi)器說(shuō)明:

    1)關(guān)聯(lián)模型:多情緒源關(guān)聯(lián)模型(情感詞、表情關(guān)聯(lián)建模);

    2)NB:樸素貝葉斯模型,所使用的特征與對(duì)比實(shí)驗(yàn)一的SVM方法相同,使用BOW表示特征;

    3)傳統(tǒng)詞典:傳統(tǒng)的基于情感詞典以及規(guī)則進(jìn)行投票的方法(2.2中的方法);

    4)詞典+表情:傳統(tǒng)基于情感詞典及規(guī)則進(jìn)行投票的方法,輔以表情特征(2.3中的方法)。

    5)SVM:文獻(xiàn)[12]中一步三分類(lèi)方法。

    從表6的實(shí)驗(yàn)結(jié)果可以看出,本文提出的多情緒源關(guān)聯(lián)模型分類(lèi)效果最佳,達(dá)到85.3%,比傳統(tǒng)基于情感詞加表情投票的方法高出了1.9%,比同類(lèi)多特征SVM高出了2.4%。說(shuō)明了對(duì)情緒源進(jìn)行關(guān)聯(lián)性建模,能夠有效提高情感分類(lèi)效果,表明不同情緒源之間的關(guān)聯(lián)關(guān)系與情感極性也是相關(guān)的。缺點(diǎn)在于對(duì)情緒源單一的微博(例如無(wú)表情的微博)則主要依賴(lài)于傳統(tǒng)情感詞典分類(lèi)方法。

    表6 總體結(jié)果

    注:P、R分別表示準(zhǔn)確率(Precision)和召回率(Recall)。

    3.4 錯(cuò)誤分析

    本節(jié)中對(duì)混合概率模型的錯(cuò)誤分類(lèi)樣本進(jìn)行了分析,研究了造成分類(lèi)錯(cuò)誤的原因,如表7所示。

    表7 錯(cuò)誤類(lèi)別及相關(guān)示例

    實(shí)驗(yàn)結(jié)果表明,在缺乏表情符號(hào)特征的微博中分類(lèi)效果較差,主要原因還是由于當(dāng)沒(méi)有表情特征時(shí),分類(lèi)器只依賴(lài)于情感詞以及簡(jiǎn)單規(guī)則進(jìn)行分類(lèi)。此外,對(duì)轉(zhuǎn)折句、反諷句等句式的判斷存在不足,原因是微博中很多反諷句式的出現(xiàn)往往是伴隨著網(wǎng)絡(luò)新詞出現(xiàn)的,并且沒(méi)有明顯的句式標(biāo)識(shí)詞(例如,“這小偷真是太機(jī)智了”),使得對(duì)反諷句和轉(zhuǎn)折句的判斷比較困難。

    4.4對(duì)比分析

    通過(guò)在同一數(shù)據(jù)集上對(duì)不同模型的實(shí)驗(yàn)表明,多情緒源關(guān)聯(lián)模型能夠很好地解決基于情感詞判別方法時(shí)效性差的問(wèn)題,并且在分類(lèi)時(shí)綜合考慮了不同情緒源之間的關(guān)聯(lián)性,提高了分類(lèi)效果。相對(duì)于對(duì)比實(shí)驗(yàn)2的普通情感詞和表情建模的方法,多情緒源關(guān)聯(lián)模型通過(guò)引入后驗(yàn)概率,利用情感詞與表情符號(hào)之間的關(guān)聯(lián)性,加強(qiáng)情感判斷性能。另外,使用對(duì)比實(shí)驗(yàn)1中的SVM分類(lèi)器時(shí),雖然加入了包括表情、否定詞在內(nèi)的多特征,但認(rèn)為不同特征之間相互獨(dú)立。多情緒源關(guān)聯(lián)模型所能解決的一些錯(cuò)分類(lèi)問(wèn)題如表8所示。

    表8 關(guān)聯(lián)模型分類(lèi)正確樣本

    4 結(jié)論及展望

    新浪微博作為時(shí)下最為流行的社交網(wǎng)站之一,不僅是民眾鐘愛(ài)的社交工具,更是研究者挖掘數(shù)據(jù)的天堂,其商業(yè)價(jià)值和學(xué)術(shù)價(jià)值都不斷升溫。本文對(duì)微博數(shù)據(jù)挖掘領(lǐng)域的情感分析進(jìn)行了研究,提出多情緒源關(guān)聯(lián)模型,針對(duì)傳統(tǒng)基于詞典的方法重新進(jìn)行了關(guān)聯(lián)性建模,使得分類(lèi)準(zhǔn)確率相比傳統(tǒng)模型(3.3節(jié)模型)提高了1.9%;相比多特征SVM提高了2.4%。但該方法仍是較為簡(jiǎn)單的情感分析方法,就方法本身而言,也存在很大的提升空間,可以對(duì)以下幾個(gè)方面進(jìn)行改進(jìn):

    1)拓展模型,引入更多情緒源,包括圖片和視頻等,使模型更適合于微博語(yǔ)境。

    2)在概率模型中引入更加復(fù)雜的語(yǔ)法規(guī)則分析,例如祈使句式、多重否定、反諷句等;

    3)挖掘微博用戶(hù)之間的社交網(wǎng)絡(luò)關(guān)系對(duì)情感分析的影響,通過(guò)有關(guān)聯(lián)用戶(hù)來(lái)參與判斷情感。

    [1]PANG Bo, LEE L, VAITHYANATHAN S. Thumbs up?: sentiment classification using machine learning techniques[C]//Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: ACM, 2002, 10: 79-86.

    [2]DAVE K, LAWRENCE S, PENNOCK D M. Mining the Peanut gallery: opinion extraction and semantic classification of product reviews[C]//Proceedings of the 12th International Conference on World Wide Web. Budapest, HU: ACM, 2003: 519-528.

    [3]YU HONG, HATZIVASSILOGLOU V. Towards answering opinion questions: separating facts from opinions and identifying the polarity of opinion sentences[C]//Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: ACM, 2003: 129-136.

    [4]NA J C, SUI H, KHOO C, et al. Effectiveness of simple linguistic processing in automatic sentiment classification of product reviews[C]//MCILWAINE I C. Knowledge Organization and the Global Information Society: Proceedings of the Eighth International ISKO Conference. Wurzburg, Germany: Ergon Verlag, 2004: 49-54.

    [5]WILSON T, WIEBE J, HOFFMANN P. Recognizing contextual polarity in phrase-level sentiment analysis[C]//Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: ACM, 2005: 347-354.

    [6]SCHAPIRE R E, SINGER Y. BoosTexter: a boosting-based system for text categorization[J]. Machine Learning, 2000, 39(2/3): 135-168.

    [7]TURNEY P D. Thumbs up or thumbs down?: semantic orientation applied to unsupervised classification of reviews[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg, PA, USA: ACM, 2002: 417-424.

    [8]朱嫣嵐, 閔錦, 周雅倩, 等. 基于HowNet的詞匯語(yǔ)義傾向計(jì)算[J]. 中文信息學(xué)報(bào), 2006, 20(1): 14-20.

    ZHU Yanlan, MIN Jin, ZHOU Yaqian, et al. Semantic orientation computing based on HowNet[J]. Journal of Chinese information processing, 2006, 20(1): 14-20.

    [9]HU Xia, TANG Jiliang, GAO Huiji, et al. Unsupervised sentiment analysis with emotional signals[C]//Proceedings of the 22nd international conference on World Wide Web. Rio de Janeiro, Brazil: ACM, 2013: 607-618.

    [10]趙妍妍, 秦兵, 劉挺. 文本情感分析[J]. 軟件學(xué)報(bào), 2010, 21(8): 1834-1848.

    ZHAO Yanyan, QIN Bing, LIU Ting. Sentiment analysis[J]. Journal of software, 2010, 21(8): 1834-1848.

    [11] 魏現(xiàn)輝, 任巨偉, 何文譯, 等. DUTIR: 中文短文本傾向性分析及要素抽取方法研究[C]//第五屆中文傾向性分析評(píng)測(cè)研討會(huì)論文集. 太原, 2013: 116-129.

    WEI Xianhui, REN Juwei, HE Wenyi, et al. DUTIR: method research of sentiment analysis and elements extraction of Chinese short text[C]//Proceedings of the Fifth Chinese Opinion Analysis Evaluation. Taiyuan, 2013: 116-129.

    [12]謝麗星, 周明, 孫茂松. 基于層次結(jié)構(gòu)的多策略中文微博情感分析和特征抽取[J]. 中文信息學(xué)報(bào), 2012, 26(1): 73-83.

    XIE Lixing, ZHOU Ming, SUN Maosong. Hierarchical structure based hybrid approach to sentiment analysis of Chinese micro blog and its feature extraction[J]. Journal of Chinese information processing, 2012, 26(1): 73-83.

    李凌霄,男,1990 年生,碩士研究生,主要研究方向?yàn)榭缑襟w輿情分析。

    曹冬林,男,1977 年生,博士,廈門(mén)大學(xué)智能科學(xué)與技術(shù)系助理教授,主要研究方向?yàn)樽匀徽Z(yǔ)言處理、信息檢索、跨媒體輿情分析、計(jì)算機(jī)視覺(jué)、模式識(shí)別。

    李紹滋 ,男,1963年生,博士,教授,博士生導(dǎo)師,主要研究方向?yàn)槿斯ぶ悄芗捌鋺?yīng)用、計(jì)算機(jī)視覺(jué)與機(jī)器學(xué)習(xí)、運(yùn)動(dòng)目標(biāo)檢測(cè)與識(shí)別、跨媒體輿情分析等。主持過(guò)多項(xiàng)國(guó)家、省市級(jí)項(xiàng)目研究,獲得省科學(xué)技術(shù)三等獎(jiǎng)兩項(xiàng),發(fā)表學(xué)術(shù)論文200余篇,其中:27篇被SCI檢索、171篇EI檢索。

    Emotional multi-source correlation model for chinese micro-blog sentiment analysis

    LI Lingxiao1, 2, LI Shaozi1, 2, CAO Donglin1, 2

    (1. Cognitive Science Department, Xiamen University, Xiamen 361005, China; 2. Fujian Key Laboratory of the Brain-like Intelligent Systems, Xiamen 361005, China)

    With the explosion of social media information, sentiment analysis of public opinion is attracting more and more attention. Compared with traditional text, the Sina micro-blog contains a variety of emotional sources, including sentiment words, emoticons, pictures, etc. To solve the problem of the poor timeliness of lexicons in Chinese social short messages and to utilize the correlation between different emotional sources, an emotional multi-source correlation model (EMCM) is proposed to carry out sentiment analysis on a micro-blog. In particular, it takes advantage of the correlation between sentiment words and emoticons. It imports the multi-sources and correlation probabilities, and then builds a correlation model between the two emotional sources, emotional words and emoticons, based on a voting model using sentimental words. Experimental results show that this model achieved an accuracy of 85.3% in 6 171 micro-blogs, higher than either the traditional method based on voting (83.4%) or the SVM method based on similar multi-features (82.9%).

    multi-modal sentiment analysis; emotional multi-sources; social media; correlation

    10.11992/tis.201605019

    網(wǎng)絡(luò)出版地址:http://www.cnki.net/kcms/detail/23.1538.TP.20160808.0830.002.html

    2016-05-19. 網(wǎng)絡(luò)出版日期:2016-08-08.

    國(guó)家自然科學(xué)基金項(xiàng)目 (61202143, 61305061, 61402386,61572409);福建省自然科學(xué)基金項(xiàng)目 (2013J05100).

    曹冬林. E-mail:another@xmu.edu.cn.

    TP391

    A

    1673-4785(2016)04-0546-08

    猜你喜歡
    極性詞典關(guān)聯(lián)
    米沃什詞典
    文苑(2019年24期)2020-01-06 12:06:50
    跟蹤導(dǎo)練(四)
    “一帶一路”遞進(jìn),關(guān)聯(lián)民生更緊
    奇趣搭配
    評(píng)《現(xiàn)代漢語(yǔ)詞典》(第6版)
    詞典例證翻譯標(biāo)準(zhǔn)探索
    智趣
    讀者(2017年5期)2017-02-15 18:04:18
    表用無(wú)極性RS485應(yīng)用技術(shù)探討
    一種新型的雙極性脈沖電流源
    《胡言詞典》(合集版)刊行
    亚洲 欧美一区二区三区| 亚洲国产欧美一区二区综合| 国产精品久久久久久精品电影 | 亚洲最大成人中文| 女警被强在线播放| 中文字幕另类日韩欧美亚洲嫩草| 亚洲人成77777在线视频| 成在线人永久免费视频| 亚洲性夜色夜夜综合| 精品国产乱码久久久久久男人| 99国产综合亚洲精品| 国产精品av久久久久免费| 18禁美女被吸乳视频| 十八禁网站免费在线| 国产欧美日韩精品亚洲av| 色综合站精品国产| 黑丝袜美女国产一区| 国产成人精品无人区| 亚洲七黄色美女视频| 日本免费a在线| 国产亚洲精品久久久久5区| 亚洲aⅴ乱码一区二区在线播放 | 亚洲国产欧美日韩在线播放| 身体一侧抽搐| 国产精品久久久久久亚洲av鲁大| 无遮挡黄片免费观看| 国产精品久久久av美女十八| 日韩欧美一区二区三区在线观看| 欧美午夜高清在线| 老汉色av国产亚洲站长工具| 久久香蕉国产精品| 大陆偷拍与自拍| 久久久久久久精品吃奶| 久久九九热精品免费| 国产成人av教育| 欧美成人免费av一区二区三区| 国产高清videossex| xxx96com| 精品高清国产在线一区| 少妇熟女aⅴ在线视频| 亚洲欧美激情在线| 99久久久亚洲精品蜜臀av| 精品人妻1区二区| 国产不卡一卡二| 亚洲视频免费观看视频| 国产欧美日韩精品亚洲av| videosex国产| 狠狠狠狠99中文字幕| 高清毛片免费观看视频网站| 午夜免费激情av| 日本一区二区免费在线视频| 性欧美人与动物交配| 日本在线视频免费播放| 国产激情欧美一区二区| 99国产精品一区二区三区| 中文亚洲av片在线观看爽| 午夜福利高清视频| 欧美+亚洲+日韩+国产| 在线视频色国产色| 成人三级黄色视频| 男女做爰动态图高潮gif福利片 | 国产亚洲av嫩草精品影院| 久久性视频一级片| 可以在线观看的亚洲视频| 首页视频小说图片口味搜索| 成人18禁在线播放| 午夜日韩欧美国产| 又黄又爽又免费观看的视频| 日本黄色视频三级网站网址| 欧美亚洲日本最大视频资源| 人人妻,人人澡人人爽秒播| 久久亚洲精品不卡| 国产91精品成人一区二区三区| 国产精品一区二区三区四区久久 | 在线观看一区二区三区| 国产黄a三级三级三级人| 香蕉丝袜av| 一夜夜www| 在线观看免费日韩欧美大片| 日本vs欧美在线观看视频| 亚洲第一电影网av| 亚洲av成人一区二区三| 9热在线视频观看99| 亚洲精品中文字幕在线视频| 午夜免费成人在线视频| 在线观看免费视频网站a站| 一二三四社区在线视频社区8| 18禁美女被吸乳视频| 亚洲色图 男人天堂 中文字幕| 亚洲第一欧美日韩一区二区三区| 亚洲精品国产色婷婷电影| 一区二区三区国产精品乱码| 亚洲va日本ⅴa欧美va伊人久久| 亚洲成人免费电影在线观看| 国产男靠女视频免费网站| 黄色女人牲交| 露出奶头的视频| 视频在线观看一区二区三区| 黄色片一级片一级黄色片| 欧美中文综合在线视频| 久久 成人 亚洲| av免费在线观看网站| 黑人巨大精品欧美一区二区蜜桃| 精品一品国产午夜福利视频| 99国产精品免费福利视频| 国产亚洲精品久久久久5区| 夜夜爽天天搞| 成年人黄色毛片网站| 男人舔女人的私密视频| 波多野结衣高清无吗| 亚洲第一av免费看| 国产精品香港三级国产av潘金莲| 黄片小视频在线播放| 久久久国产精品麻豆| 这个男人来自地球电影免费观看| 极品人妻少妇av视频| 日本在线视频免费播放| 免费在线观看视频国产中文字幕亚洲| 亚洲色图av天堂| 免费看a级黄色片| 亚洲成av片中文字幕在线观看| 91av网站免费观看| 亚洲精华国产精华精| 99在线视频只有这里精品首页| e午夜精品久久久久久久| 久久影院123| 精品久久久精品久久久| 亚洲五月色婷婷综合| 波多野结衣av一区二区av| 久久精品国产清高在天天线| 国产精品自产拍在线观看55亚洲| 丝袜人妻中文字幕| 国产精品亚洲av一区麻豆| 国产在线精品亚洲第一网站| 亚洲国产日韩欧美精品在线观看 | 欧美最黄视频在线播放免费| 免费无遮挡裸体视频| 日韩精品青青久久久久久| 婷婷六月久久综合丁香| 99国产综合亚洲精品| 两性夫妻黄色片| 精品日产1卡2卡| 国产亚洲精品综合一区在线观看 | 国产亚洲欧美精品永久| 亚洲中文日韩欧美视频| 精品国产超薄肉色丝袜足j| 午夜免费成人在线视频| 99国产精品免费福利视频| av超薄肉色丝袜交足视频| 老司机午夜福利在线观看视频| 精品国内亚洲2022精品成人| 亚洲欧美精品综合一区二区三区| 婷婷精品国产亚洲av在线| 91精品三级在线观看| 最近最新免费中文字幕在线| 日本撒尿小便嘘嘘汇集6| 高潮久久久久久久久久久不卡| 久热爱精品视频在线9| 亚洲国产毛片av蜜桃av| 亚洲久久久国产精品| 99国产精品一区二区蜜桃av| 美女 人体艺术 gogo| 日韩欧美国产在线观看| 亚洲午夜理论影院| 国语自产精品视频在线第100页| 午夜精品国产一区二区电影| 在线永久观看黄色视频| 亚洲欧美一区二区三区黑人| 热99re8久久精品国产| 伦理电影免费视频| 亚洲国产日韩欧美精品在线观看 | 国产日韩一区二区三区精品不卡| 色综合婷婷激情| 国产精品98久久久久久宅男小说| 好男人电影高清在线观看| 国产成年人精品一区二区| 性色av乱码一区二区三区2| tocl精华| 午夜久久久久精精品| 手机成人av网站| 女人高潮潮喷娇喘18禁视频| 国产欧美日韩精品亚洲av| 久久久久九九精品影院| 久久精品国产99精品国产亚洲性色 | 青草久久国产| 在线播放国产精品三级| 又黄又粗又硬又大视频| 日韩欧美国产一区二区入口| 欧美日本中文国产一区发布| 午夜免费激情av| 国产片内射在线| www日本在线高清视频| 人人妻人人澡欧美一区二区 | 中文字幕av电影在线播放| 身体一侧抽搐| 免费在线观看完整版高清| 一个人观看的视频www高清免费观看 | 免费看美女性在线毛片视频| 99在线视频只有这里精品首页| 九色国产91popny在线| 亚洲自偷自拍图片 自拍| ponron亚洲| 99精品欧美一区二区三区四区| 久久天躁狠狠躁夜夜2o2o| 欧美成人免费av一区二区三区| 男男h啪啪无遮挡| 中文亚洲av片在线观看爽| 一进一出好大好爽视频| 色播亚洲综合网| 女人精品久久久久毛片| 国产精品电影一区二区三区| 亚洲一区二区三区色噜噜| 欧美激情 高清一区二区三区| 久久亚洲真实| 精品无人区乱码1区二区| 久久 成人 亚洲| 国产精品永久免费网站| 波多野结衣巨乳人妻| 国产亚洲av高清不卡| 亚洲激情在线av| av超薄肉色丝袜交足视频| 久久热在线av| 亚洲五月色婷婷综合| 久久狼人影院| 国产高清有码在线观看视频 | 亚洲少妇的诱惑av| 视频区欧美日本亚洲| 在线观看免费午夜福利视频| 精品国内亚洲2022精品成人| 悠悠久久av| 在线天堂中文资源库| 后天国语完整版免费观看| 人妻丰满熟妇av一区二区三区| 激情视频va一区二区三区| 欧美午夜高清在线| 高清毛片免费观看视频网站| av天堂久久9| 亚洲国产高清在线一区二区三 | 精品久久久久久,| 亚洲狠狠婷婷综合久久图片| 免费不卡黄色视频| 国产精品亚洲美女久久久| 亚洲国产精品sss在线观看| 久久中文字幕人妻熟女| 欧美黄色淫秽网站| 两性午夜刺激爽爽歪歪视频在线观看 | 一本久久中文字幕| 伦理电影免费视频| 久久精品91蜜桃| 亚洲av美国av| 久久性视频一级片| 两个人看的免费小视频| 在线观看www视频免费| 宅男免费午夜| 亚洲国产欧美一区二区综合| www.精华液| 黑人巨大精品欧美一区二区mp4| 男女做爰动态图高潮gif福利片 | 人人澡人人妻人| 色哟哟哟哟哟哟| 琪琪午夜伦伦电影理论片6080| 免费在线观看黄色视频的| 波多野结衣巨乳人妻| 久久人人精品亚洲av| 叶爱在线成人免费视频播放| 成年女人毛片免费观看观看9| 免费无遮挡裸体视频| av视频免费观看在线观看| 久久人妻福利社区极品人妻图片| 非洲黑人性xxxx精品又粗又长| 女人爽到高潮嗷嗷叫在线视频| 韩国精品一区二区三区| 国产精品二区激情视频| 久99久视频精品免费| 女人爽到高潮嗷嗷叫在线视频| 99re在线观看精品视频| 亚洲人成电影观看| 麻豆一二三区av精品| 无遮挡黄片免费观看| 少妇裸体淫交视频免费看高清 | 国产男靠女视频免费网站| 最近最新中文字幕大全免费视频| 欧美中文综合在线视频| 亚洲人成网站在线播放欧美日韩| 99国产精品免费福利视频| 国产国语露脸激情在线看| 搡老熟女国产l中国老女人| 亚洲成人精品中文字幕电影| 搡老妇女老女人老熟妇| 亚洲男人的天堂狠狠| 亚洲中文字幕日韩| 久久精品国产亚洲av高清一级| 亚洲男人的天堂狠狠| 亚洲三区欧美一区| 国产一区二区在线av高清观看| 亚洲欧美激情综合另类| 不卡av一区二区三区| 精品一品国产午夜福利视频| 午夜福利视频1000在线观看 | 在线天堂中文资源库| 精品无人区乱码1区二区| 亚洲一区二区三区不卡视频| 搡老岳熟女国产| 又大又爽又粗| 我的亚洲天堂| 此物有八面人人有两片| 精品免费久久久久久久清纯| 黄色丝袜av网址大全| 老司机靠b影院| or卡值多少钱| 91麻豆av在线| 亚洲成人免费电影在线观看| 国产午夜精品久久久久久| 可以免费在线观看a视频的电影网站| 女人爽到高潮嗷嗷叫在线视频| 啦啦啦免费观看视频1| 一个人观看的视频www高清免费观看 | 一级,二级,三级黄色视频| 人人澡人人妻人| 女人被躁到高潮嗷嗷叫费观| 欧美日韩中文字幕国产精品一区二区三区 | 99香蕉大伊视频| 国产成人精品久久二区二区免费| 久久狼人影院| 黄片大片在线免费观看| 亚洲情色 制服丝袜| 日韩免费av在线播放| 俄罗斯特黄特色一大片| 女人被狂操c到高潮| 亚洲一区中文字幕在线| 亚洲视频免费观看视频| 99香蕉大伊视频| 欧美日本视频| 精品一品国产午夜福利视频| 99在线视频只有这里精品首页| 国产免费男女视频| 长腿黑丝高跟| 成人亚洲精品av一区二区| 日本三级黄在线观看| 丝袜在线中文字幕| 黄色视频,在线免费观看| 国产亚洲欧美精品永久| 久热爱精品视频在线9| cao死你这个sao货| 美女国产高潮福利片在线看| 国产成人精品无人区| 日韩国内少妇激情av| 深夜精品福利| 精品久久久久久久久久免费视频| 国产一卡二卡三卡精品| 两个人看的免费小视频| 长腿黑丝高跟| 久久青草综合色| 久久中文看片网| 色综合欧美亚洲国产小说| 乱人伦中国视频| 日韩一卡2卡3卡4卡2021年| 好男人电影高清在线观看| 国产欧美日韩综合在线一区二区| 亚洲专区中文字幕在线| 国产国语露脸激情在线看| 色哟哟哟哟哟哟| 后天国语完整版免费观看| 欧美日韩黄片免| www.www免费av| 国产精品免费视频内射| 一边摸一边抽搐一进一小说| 久久久久久免费高清国产稀缺| 最近最新免费中文字幕在线| 黄网站色视频无遮挡免费观看| 又大又爽又粗| 亚洲欧美激情在线| 电影成人av| 一二三四在线观看免费中文在| 国产成人精品久久二区二区91| 亚洲国产精品合色在线| 久久亚洲真实| 女同久久另类99精品国产91| 国产精华一区二区三区| 黄色 视频免费看| 后天国语完整版免费观看| 免费在线观看影片大全网站| 在线观看日韩欧美| 午夜免费成人在线视频| 大码成人一级视频| av欧美777| 成人18禁在线播放| 亚洲激情在线av| 两个人看的免费小视频| 亚洲精品粉嫩美女一区| 成人精品一区二区免费| 欧美日韩乱码在线| 色老头精品视频在线观看| 夜夜爽天天搞| 久久香蕉精品热| 欧美乱妇无乱码| 国产一级毛片七仙女欲春2 | 欧美大码av| 色综合亚洲欧美另类图片| 精品久久蜜臀av无| 大型黄色视频在线免费观看| 国产一区二区三区在线臀色熟女| 亚洲精品美女久久久久99蜜臀| 99久久精品国产亚洲精品| 亚洲熟女毛片儿| 欧美老熟妇乱子伦牲交| 亚洲人成电影免费在线| 欧美激情久久久久久爽电影 | 欧美黄色淫秽网站| 亚洲一区二区三区色噜噜| 99国产精品一区二区蜜桃av| 国产精品野战在线观看| 91麻豆精品激情在线观看国产| 97超级碰碰碰精品色视频在线观看| 亚洲三区欧美一区| 满18在线观看网站| 中文字幕久久专区| 国产免费av片在线观看野外av| 亚洲成国产人片在线观看| 亚洲国产欧美日韩在线播放| 视频在线观看一区二区三区| 不卡av一区二区三区| 亚洲无线在线观看| 国产成人av激情在线播放| 久久狼人影院| 亚洲免费av在线视频| 午夜视频精品福利| 18美女黄网站色大片免费观看| 欧美绝顶高潮抽搐喷水| 国产精品九九99| 久久久久精品国产欧美久久久| 亚洲自拍偷在线| tocl精华| 在线观看66精品国产| 两个人视频免费观看高清| 亚洲一码二码三码区别大吗| 免费久久久久久久精品成人欧美视频| 伊人久久大香线蕉亚洲五| 午夜免费激情av| 两性午夜刺激爽爽歪歪视频在线观看 | 如日韩欧美国产精品一区二区三区| 身体一侧抽搐| 99国产极品粉嫩在线观看| 美女 人体艺术 gogo| 亚洲国产精品999在线| 亚洲avbb在线观看| 亚洲男人天堂网一区| 可以在线观看毛片的网站| 露出奶头的视频| 搞女人的毛片| 18禁裸乳无遮挡免费网站照片 | 午夜福利18| 色综合欧美亚洲国产小说| 久久精品国产亚洲av香蕉五月| 最近最新中文字幕大全电影3 | 少妇裸体淫交视频免费看高清 | av天堂久久9| 亚洲av成人av| 国产成+人综合+亚洲专区| 国产成人精品无人区| 亚洲五月色婷婷综合| 在线观看日韩欧美| 久久久国产欧美日韩av| 午夜久久久久精精品| 亚洲精品美女久久av网站| 国产成人精品久久二区二区免费| 欧美在线一区亚洲| 亚洲成人久久性| 可以在线观看的亚洲视频| 久久国产乱子伦精品免费另类| 精品久久久久久成人av| 免费在线观看完整版高清| 看黄色毛片网站| 性色av乱码一区二区三区2| 欧美精品亚洲一区二区| tocl精华| 国产av在哪里看| 日韩欧美在线二视频| 99精品欧美一区二区三区四区| 91精品国产国语对白视频| 亚洲精品中文字幕一二三四区| 一级a爱视频在线免费观看| 男人操女人黄网站| 女人高潮潮喷娇喘18禁视频| 亚洲国产中文字幕在线视频| 在线天堂中文资源库| 国产亚洲精品一区二区www| 免费人成视频x8x8入口观看| 黄网站色视频无遮挡免费观看| 国产精品秋霞免费鲁丝片| 啦啦啦免费观看视频1| 国产高清videossex| 国产三级黄色录像| 国产免费男女视频| 国产色视频综合| 成人av一区二区三区在线看| 91麻豆av在线| 男女床上黄色一级片免费看| 国产成+人综合+亚洲专区| av网站免费在线观看视频| 亚洲精品在线美女| e午夜精品久久久久久久| 一区二区日韩欧美中文字幕| 久久 成人 亚洲| 中文字幕另类日韩欧美亚洲嫩草| 黄网站色视频无遮挡免费观看| 久久久精品国产亚洲av高清涩受| 在线观看一区二区三区| 啦啦啦韩国在线观看视频| 性色av乱码一区二区三区2| 女同久久另类99精品国产91| 亚洲欧美激情综合另类| avwww免费| 怎么达到女性高潮| 制服丝袜大香蕉在线| av免费在线观看网站| 黄色片一级片一级黄色片| 搡老岳熟女国产| 九色国产91popny在线| or卡值多少钱| 一级a爱视频在线免费观看| bbb黄色大片| 久久人人精品亚洲av| 久久人妻av系列| 久久久国产精品麻豆| 国产精品98久久久久久宅男小说| 操出白浆在线播放| 搡老岳熟女国产| 午夜免费鲁丝| 在线天堂中文资源库| www日本在线高清视频| 午夜精品在线福利| 久久国产乱子伦精品免费另类| 国产人伦9x9x在线观看| 99国产综合亚洲精品| 97人妻天天添夜夜摸| 国产成人av教育| 亚洲精品久久成人aⅴ小说| 窝窝影院91人妻| 大型av网站在线播放| 亚洲国产欧美日韩在线播放| 精品欧美一区二区三区在线| 日本精品一区二区三区蜜桃| 香蕉久久夜色| tocl精华| 国产精品久久久av美女十八| 欧美最黄视频在线播放免费| 午夜亚洲福利在线播放| 国产成人欧美| 在线av久久热| 欧美黑人欧美精品刺激| 超碰成人久久| 欧美日韩一级在线毛片| 美女大奶头视频| 国产高清videossex| 黄色视频不卡| 国产亚洲精品综合一区在线观看 | 色播亚洲综合网| 国产精品一区二区免费欧美| 久久精品国产清高在天天线| 黄片播放在线免费| 亚洲成人国产一区在线观看| 黄色a级毛片大全视频| 长腿黑丝高跟| 精品国产乱子伦一区二区三区| 国产亚洲欧美在线一区二区| 啦啦啦观看免费观看视频高清 | 午夜久久久久精精品| 在线天堂中文资源库| 国产成人免费无遮挡视频| 亚洲中文av在线| 香蕉久久夜色| 高清黄色对白视频在线免费看| 国产精品99久久99久久久不卡| 国产成人影院久久av| 亚洲国产欧美日韩在线播放| av片东京热男人的天堂| 丁香欧美五月| 欧美成人免费av一区二区三区| 久久婷婷人人爽人人干人人爱 | 国产欧美日韩一区二区三| 中文字幕久久专区| 久久久水蜜桃国产精品网| 国产亚洲精品一区二区www| 大型av网站在线播放| 久久精品91蜜桃| bbb黄色大片| 成人三级黄色视频| 国产av一区在线观看免费| 99热只有精品国产| 成人精品一区二区免费| 国产一区二区在线av高清观看| 看黄色毛片网站| 欧美在线一区亚洲| 日韩中文字幕欧美一区二区| 精品无人区乱码1区二区| 日韩精品免费视频一区二区三区| 亚洲精品国产一区二区精华液| 国产一卡二卡三卡精品| 成人精品一区二区免费| 日本 av在线| 中国美女看黄片| 色哟哟哟哟哟哟| 国产区一区二久久| 村上凉子中文字幕在线| 亚洲avbb在线观看| 男女床上黄色一级片免费看| 熟妇人妻久久中文字幕3abv| 99riav亚洲国产免费| 久久久久亚洲av毛片大全| 欧美人与性动交α欧美精品济南到| www.熟女人妻精品国产| 国产精品香港三级国产av潘金莲| 日本在线视频免费播放| 在线天堂中文资源库|