• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合BERT和VGG模型多模態(tài)虛假新聞檢測方法研究

    2024-01-20 12:19:34曾江峰
    知識管理論壇 2023年6期
    關鍵詞:特征融合特征提取

    王蕊? 黎欣雨? 馬霄

    摘要:[目的/意義]旨在通過融合BERT和VGG模型解決當前虛假新聞泛濫、虛假新聞自動檢測準確度較低、智能化較低問題。[方法/過程]使用預訓練模型BERT和VGG將新聞中的圖文分離并轉化為特征向量集,并進行特征融合,運用SVM模型設計分類器實現(xiàn)多模態(tài)虛假新聞檢測識別。[結果/結論] 實證結果表明,實驗數據集F1值達到93%,相較于單獨使用BERT和VGG模型提升7%與9%,該方法具有較高的準確率和召回率,能夠有效地檢測虛假新聞。

    關鍵詞:虛假新聞檢測;特征提??;特征融合;多模態(tài)分析

    分類號:TP391

    引用格式:曾江峰, 王蕊, 黎欣雨, 等. 融合BERT和VGG模型多模態(tài)虛假新聞檢測方法研究[J/OL]. 知識管理論壇, 2023, 8(6): 502-513[引用日期]. http://www.kmf.ac.cn/p/367/.

    習近平總書記在二十大報告中強調,要加強全媒體傳播體系建設,推動形成良好網絡生態(tài)[1]。互聯(lián)網的普及推動了信息傳播的發(fā)展,覆蓋了更為廣泛的受眾,但這些信息的真實性、準確性有待考量?!疤摷傩侣劇币辉~在2016年美國總統(tǒng)大選期間成為主流,當時數百家網站發(fā)布了虛假或帶有嚴重偏見的報道,其中許多是為了從社交媒體廣告收入中獲利[2]。2020年初,面對新冠肺炎疫情,恐懼與不安充斥全國,每天新聞產出量劇增,針對“辟謠”的百度搜索指數(2020年1月19—25日)與2019年春節(jié)期間相比,增長了5.4倍;中國科學院計算技術研究所研發(fā)的虛假新聞自動檢測平臺“AI識謠”平均每天發(fā)現(xiàn)具有爭議性的疫情新聞200條;騰訊開發(fā)的以人工審核為主的事實查證平臺“較真”的疫情新聞特別版上線24小時,用戶已超過4 000萬,服務次數超過1億。虛假新聞的存在嚴重威脅著人們的生活和社會秩序,對虛假新聞的檢測已然成為一個備受關注的熱門研究領域。隨著多媒體技術的發(fā)展和社交媒體的廣泛應用,新聞不再僅僅局限于文字形式,而是包括圖片、視頻和語音等多種形式。鑒于此,針對多模態(tài)的虛假新聞檢測成為一個新的研究方向。

    目前學界對虛假新聞檢測方法的研究主要集中于以下幾個方面:①針對文本形式的虛假新聞,通常采用自然語言處理技術,如詞袋模型、詞向量等,對新聞文本的特征進行分析和提取[3]。②針對圖片形式的虛假新聞,采用計算機視覺技術,如卷積神經網絡等,對圖片的內容、色調、尺寸等特征進行分析和提取。③由于虛假新聞往往包含多種形式的信息,學者開始探索多模態(tài)特征融合的方法,將不同形式的特征進行整合,提高虛假新聞檢測的準確率和魯棒性。④對于虛假新聞的傳播路徑分析,研究者致力于了解虛假新聞的來源、傳播規(guī)律和受眾群體,以提高虛假新聞檢測的精度和效率。⑤針對虛假新聞檢測模型受到的對抗性攻擊,學者提出系列防御方法,以提高虛假新聞檢測模型的魯棒性??傊?,學界對于虛假新聞檢測方法的研究涵蓋了自然語言處理、計算機視覺、機器學習等多個領域,是一個具有挑戰(zhàn)性和復雜性的研究方向。

    虛假新聞帶來社會恐慌、輿情肆意泛濫等嚴重的社會影響,檢測并打擊虛假新聞具有現(xiàn)實性和緊迫性[4]。目前大多虛假新聞檢測要依靠讀者檢舉揭發(fā),并讓相關專家和機構來證實。但這種方式時效性不強,檢測效率不高,相比識別新聞的復雜過程,謠言的傳播成本相對較低,制作虛假新聞的簡單與檢測虛假新聞的困難形成強烈反差。因此,構建自動化程度高、響應速度快的虛假新聞檢測模型及系統(tǒng)是產學研界關注的焦點,如何高效檢測虛假新聞這一問題迫在眉睫[5]。

    在此背景下,本研究提出融合預訓練BERT(Bidirectional Encoder Representations From Transformers)和VGG(Visual Geometry Group Network)模型的多模態(tài)虛假新聞檢測算法。首先搜集的虛假信息數據集,用BERT模型提取文本特征向量;其次利用VGG模型提取圖片特征向量;最后進行特征融合,將這兩部分向量拼接在一起,用于訓練最終的分類器。通過融合文本和圖像兩個單模態(tài)模型中的隱層特征,最終得到多模態(tài)融合特征和其對應的真假標簽。這些特征和標簽將作為下游分類器的輸入,經過進一步的特征組合訓練實現(xiàn)對真假新聞概率上的判別。最后將未被訓練的數據集輸入到訓練好的分類模型,從而得到測試集的分類精度,完成對多模態(tài)新聞真假的檢測。

    1? 相關研究

    虛假新聞也可以被稱為虛假信息,它被定義為故意捏造和已經被核實的虛假信息[6]。虛假信息通常表現(xiàn)為各種形式,如謠言、緋聞、流言、偽科學等[7]。目前學界對虛假新聞的研究主要聚焦于檢測方法。首先,虛假新聞的檢測主要采用機器學習方法,如基于深層次和集成分類器的微博謠言檢測方法、提取Twitter中謠言的文本特征、行為特征,構建貝葉斯分類器。P. Zhou等[8]提出一個雙流的 Faster R-CNN模型,將 RGB流和噪聲流中豐富的篡改特征進行了很好的利用,以此實現(xiàn)多種類型虛假圖片的檢測。C. Boididou等[9]將取證特征用在虛假新聞檢測領域,以塊效應網格和分塊離散余弦變換(DCT)系數等作為特征,取得不錯的反饋結果。Z. Jin等[10]基于多媒體數據集分析新聞、文章的圖像進行虛假新聞檢測,探討了視覺和統(tǒng)計圖像特征,以預測各自文章的準確性,并提出了利用從文章中提取的沖突觀點構建的可信度傳播網絡的虛假新聞檢測方法。Y. Liu等[11]利用多元時間序列對新聞傳播路徑進行分類,提出了一種由傳播路徑構建與轉換、基于循環(huán)神經網絡的傳播路徑表示、基于卷積神經網絡傳播路徑表示和傳播路徑分類四個主要部分構成的虛假新聞早期檢測模型。

    隨著互聯(lián)網技術飛速發(fā)展,虛假新聞呈現(xiàn)出多元化趨勢,基于虛假新聞自身語言特性的虛假新聞檢測模型出現(xiàn)很多局限性[12],因此,基于多模態(tài)特征的虛假新聞檢測算法的研究頗多。劉鵬飛等[13]提出的模型利用多核異步長卷積神經網絡對新聞標題作者及鏈接信息中隱含的辨別特征進行充分提取,根據新聞圖片語義和物理級別的聯(lián)系,利用注意力機制來提取帶有權重的特征。P. Qi等[14]設計基于CNN和CNN-RNN的網絡來捕捉頻域和像素域的視覺特征,并使用注意力機制來動態(tài)融合特征表示,以檢測虛假新聞。陶霄等人[15]提取文本、視覺和用戶三個模態(tài)的特征向量,在詞語和視覺的雙向匹配、前期融合和后期融合中均加入注意力機制,實現(xiàn)特征和決策的自動加權,并基于 Dempster組合規(guī)則進行混合融合。R K. Kaliyar等[16]提出一個深度卷積神經網絡模型(FNDNet),它包含一個預先訓練好的名為 GloVe的單詞嵌入和一個具有多個隱藏層的 CNN,在每一層提取用于分類假新聞的判別性特征。S. Deepak等[17]在神經網絡中加入在線數據挖掘,從互聯(lián)網上獲得與所考慮的新聞文章相對應的知識特征。M. H. Goldani等[18]使用邊際損失(Margin Loss),在 CNN上進行虛假新聞檢測,這是第一個將邊際損失用于文本分類工作的模型,并在 ISOT和 LIAR數據集上獲得較好表現(xiàn)。S. R. Sahoo等[19]提出一種 chrome環(huán)境下 Facebook的自動假新聞檢測方法。這些模型收集并分析多個特征,這些特征與 Facebook賬戶和一些新聞內容特征相關,并使用機器學習和深度學習將其輸入分類器,然后選擇匹配度最高的分類器,通過chrome擴展來檢測假新聞。S. HAKAK等[20]從虛假新聞數據集中提取重要特征,然后使用由隨機森林決策樹和非線性分類器組成的集合模型對提取的特征進行分類。

    MVAE和MVNN代表了在多模態(tài)信息處理領域的最新研究進展。這兩個模型都致力于將不同模態(tài)的數據(如文本和圖像)融合到一個統(tǒng)一的表示空間中,從而為任務提供更多元化和豐富的信息。MVAE采用了一種變分自編碼器的結構,包括編碼器、解碼器和假新聞檢測器模塊。通過學習概率潛變量模型,MVAE能夠將不同模態(tài)的信息編碼成潛在的表示,這為任務提供了更靈活的信息表達方式。盡管相對于BERT+VGG+SVM,MVAE的精確率、召回率和F1值稍低,但它仍然表現(xiàn)出令人印象深刻的性能,尤其是在多模態(tài)任務中[21]。MVNN采用了不同的方法,它利用頻域子網絡和像素域子網絡的特征來對輸入圖像進行分類。這種方法使MVNN在圖像分類任務上表現(xiàn)出色,其精確率、召回率和F1值都達到了90%以上。這顯示出了MVNN在圖像相關任務上的強大性能[22]。

    盡管MVAE和MVNN是多模態(tài)模型,它們提供了更豐富的輸入數據表示,但在某些情況下,需要更復雜的模型結構和訓練策略,以便充分發(fā)揮它們的潛力。相反,BERT+VGG+SVM雖然只是串聯(lián)了文本信息和圖像信息,但它在性能上仍然勝過了這兩個多模態(tài)模型。這突顯了模型選擇的重要性,以確保最適合特定任務和數據集的性能。

    綜上,虛假新聞檢測方式主要是基于用戶行為可信度的方法以及基于網絡傳播的方法,具體而言是利用手工特征、深度學習、循環(huán)神經網絡等研究方法。由于虛假新聞的形式多樣化,僅基于虛假新聞自身語言特性的虛假新聞檢測模型不足以滿足現(xiàn)狀,文本和圖片為虛假新聞檢測提供相對側重、相輔相成的信息。在過去的研究中,已有學者使用單模態(tài)的方式進行虛假新聞檢測。但單模態(tài)方法往往忽略了多模態(tài)信息之間的相互作用。虛假新聞的傳播往往涉及多元化的信息,因此,為更加全面地評估虛假新聞的真實性,學界開始探索多模態(tài)虛假新聞檢測的方法。鑒于此,基于多模態(tài)的虛假新聞檢測方法備受關注[23],如何有效提取各個模態(tài)的特征并進行有效的融合是多模態(tài)虛假新聞檢測的核心。針對現(xiàn)有研究的局限性,筆者提出了一種基于BERT和VGG模型的多模態(tài)虛假新聞檢測方法。其中,BERT模型用于處理文本信息,VGG模型用于處理圖片信息,筆者將 BERT和 VGG兩個模型融合,提取虛假新聞的文本、圖像特征,以解決虛假新聞檢測問題。

    2? 研究框架

    BERT直接引用Transformer架構中的Encoder模塊,舍棄Decoder模塊,自動擁有雙向編碼能力和強大的特征提取能力。VGG16采用連續(xù)的幾個小卷積核(3×3)代替Alex Net中的較大卷積核(11×11,7×7,5×5),卷積的固定步長為1,并在圖像的邊緣填充1個像素,這樣卷積后保持圖像的分辨率不變,在保證具有相同感知野的條件下,在一定程度上提升神經網絡的效果。基于此,對于搜集的虛假信息數據集,利用VGG模型生成圖片特征向量;利用BERT模型生成文本特征向量;通過向量拼接的方式將文本和圖片特征進行特征融合后基于SVM模型設計分類器來自動鑒別新聞的真?zhèn)危瑢崿F(xiàn)多模態(tài)虛假新聞檢測。使用初步完成的多模態(tài)檢測模型進行數據測試,分析測試效果,并根據效果對模型進一步優(yōu)化。具體研究過程分為三個部分,如圖1所示:

    (1)數據來源與處理。數據來源于中國科學院計算技術研究所舉辦的虛假新聞檢測挑戰(zhàn)賽中多模態(tài)虛假新聞檢測的測試集數據,并將數據中包含的發(fā)布人信息、發(fā)布時間等冗余信息剔除。經處理后的一條數據設為N=[T,V,Y],T代表新聞文本數據,V代表新聞圖片數據,Y為該條新聞的真實性標簽,取值為{0,1},0表示真實新聞,1表示虛假新聞。

    (2)模型構建與特征提取。分別使用BERT模型和VGG16模型對處理后的文字新聞和圖片新聞進行特征提取并融合,形成代表新聞數據的融合特征向量。

    (3)結果檢測與分析。將獲得的新聞特征向量輸入SVM分類器實現(xiàn)多模態(tài)虛假新聞檢測,并選用精確率、召回率和F1值作為模型的評價指標,判斷建立的bert-vgg-svm多模態(tài)新聞檢測模型的優(yōu)劣,并對檢測結果進行分析。

    3? 模型構建

    本研究旨在基于社交媒體新聞中的文字和圖像數據使用,運用深度學習方法構建虛假新聞檢測模型,以此識別虛假新聞。該模型將 BERT與 VGG16相結合,融合文本和圖片特征對虛假新聞進行識別,其中使用 BERT提取文本特征向量,VGG16提取圖片特征向量特征,經過向量拼接后輸入 SVM中進行虛假新聞判別,輸出為對應的真假新聞標簽,TRUE為真實新聞,F(xiàn)ALSE為虛假新聞。

    3.1? 特征提取

    3.1.1? 文本特征提取

    文本特征在文本分析中起到重要作用,直接影響虛假新聞檢測的準確率。對每一條新聞文本進行預處理后,使用 BERT模型來提取文本特征,以捕捉文本中潛在的依存關系。BERT框架見圖2,通過查詢字向量表將文本中的每個字轉換為詞嵌入向量、句向量和位置向量的拼接結果,然后將其通過多層雙向Transformer編碼器,模型輸出則是輸入各字對應的融合全文語義信息后的向量表示。

    BERT 引入自注意力機制,聯(lián)合 Next Sentence Prediction和 Masked-LM進行訓練。模型在提取文本特征時,讀取 csv文件,輸入包含 s個詞匯的新聞文本數據 T=(T1,T2,…,Ts),在倒數第二層輸出處理后的整個句子語義向量Tf,過程表示如公式(1)所示:

    Tf=BERT(T)

    Tf為 BERT模型在倒數第二層的向量輸出,也是文本數據最終的表示特征,共有 768維。

    3.1.2? 圖像特征提取

    人類大腦處理視覺信息的速度是處理文字信息的 6 000倍,視覺信息可以縮小溝通差距、幫助理解信息內容、增強人類記憶。因此,模型同時融合圖像特征,采用在 ImageNet數據庫上訓練的 VGG16模型提取圖像特征。由圖 3所示,VGG16由 13層卷積層和 3個全連接層組成,可以有效提取圖像特征。

    由于新聞圖像數據大小不一,對其統(tǒng)一縮放后裁剪成規(guī)格為 224*224的區(qū)域,轉換成符合輸入的三通道圖片格式Vimg,再輸入 VGG16模型中進行特征提取。過程表示如公式(2)所示:

    Vf=VGG16(Vimg)

    Vf為 VGG16模型在 fc7層的向量輸出,也是圖像數據最終的表示特征,共有4 096維。

    3.2? 特征融合

    特征融合即輸入兩個模態(tài)的特征向量,輸出融合后的向量。本模型采用向量拼接的方式,用Tf表示文本特征,用Vf表示圖像特征,融合后的新聞特征用F表示。過程表示如公式(3)所示:

    F=Tf⊕Vf (TVf∈R4864)

    如圖4所示,將提取出的新聞文本數據的特征向量Tf與新聞圖像數據的特征向量Vf 進行融合,形成代表新聞數據的融合特征向量F。為了穩(wěn)定獲取新聞數據特征,將新聞數據分為真實新聞數據集和虛假新聞數據集,根據數據對應的標簽分別進行訓練,融合后的特征輸出至csv文件中儲存。

    3.3? 模型分類

    通過融合文本和圖像兩個單模態(tài)模型中的隱層特征,得到4 864維的多模態(tài)融合特征D'={TVf1, TVf2, …, TVfn}和其對應的真假標簽Label=[L1, L2, …, Ln]。這些特征和標簽將作為下游分類器的輸入,經過進一步的特征組合訓練實現(xiàn)對真假新聞概率上的判別。最后將未被訓練的數據集輸入到訓練好的分類模型,從而得到測試新聞的分類精度,完成對多模態(tài)新聞真假的檢測。在分類器模型的選擇中,優(yōu)先選擇scikit-learn包中的SVM(支持向量機)作為特征融合后的分類器。

    SVM是一種以統(tǒng)計學為基礎的線性分類器,被頻繁地應用在二分類問題中。同時其表現(xiàn)出優(yōu)秀的泛化能力,在高維空間中非常有效。尤其是在特征維數大于樣本的情況下,可以將向量從低維空間映射到高維空間,效果要優(yōu)于其他傳統(tǒng)分類算法。它的主要思想是找到一個最優(yōu)的超平面來劃分不同類別的數據點。為了驗證SVM的優(yōu)越性,同時選取GBDT(Gradient Boosting Decision Tree)分類模型進行結果比對。

    GBDT是一種基于決策樹的集成學習算法,它通過迭代的方式訓練多個決策樹,并將它們組合成一個強分類器。GBDT算法的主要思想是通過迭代的方式訓練多個弱分類器,每個弱分類器都嘗試去糾正之前分類器的誤差。在每一輪迭代中,GBDT算法都會新增一棵決策樹,并將它的預測結果與之前的分類器進行加權組合,得到最終的預測結果。

    在本文中,選擇GBDT作為對比算法的依據是因為GBDT算法在處理非線性數據上具有很好的性能,并且可以自動進行特征選擇。通過與SVM進行對比,可以更全面地評估SVM算法在高維稀疏數據上的優(yōu)越性。同時,選取適當的對比算法也有助于驗證實驗結果的可靠性。

    4? 實驗與分析

    4.1? 數據集

    為保證數據的真實可靠,對新聞數據標記真假;作為多模態(tài)的數據集,需要同時包含文本和圖片的新聞數據。數據集經過篩選和初步實驗,確定選擇中國科學院計算技術研究所舉辦的虛假新聞檢測挑戰(zhàn)賽中多模態(tài)虛假新聞檢測賽道的數據。

    虛假新聞多模態(tài)檢測任務中,包含文本和圖片兩種模態(tài)的數據。圖片模態(tài)包括“piclist”字段,表示該文本對應的圖片,如果沒有,則該字段為空;如果有多張,則使用“ \ t ”進行分隔。原始數據集由新聞文本數據以及相關的新聞圖像數據構成。對于原始文本數據,由于原始數據信息的復雜性和無序性,在數據處理過程中,會將其攜帶的冗余信息進行剔除,可使用表情符號、URL、賬號信息和發(fā)布時間作為標簽替換,對空白字符和繁體字符等其他特殊字符做轉換,保留剩余文字信息。對于新聞圖片數據,新聞文本對應的圖片類型不一,有GIF、JPG等,本文對新聞圖片數據的處理方法是將文本對應的圖片統(tǒng)一為JPG格式,因為新聞中的圖片有可能不止一個,本文統(tǒng)一將第一個圖片作為對應的數據。

    由于融合后的數據特征維數過大,為了防止數據集過小出現(xiàn)模型過擬合的風險,因此訓練數據集的大小應和特征維數同量級。這里選擇2 200條真實數據和2 200條虛假數據,共4 400條數據作為訓練集;另選擇100條真實數據和300條虛假數據,共400條數據作為測試集,如表1所示:

    4.2? SVM模型參數調優(yōu)

    由于本次實驗的訓練集維數即特征數很大,并接近于樣本數,理論上應該選擇線性核函數“Linear”來防止出現(xiàn)過擬合。為了保證實驗結果的精準性,采用五折交叉驗算和網格搜索的方式來確定懲罰因子C及核函數kernel的最優(yōu)參數。懲罰因子C決定了分類器對誤分類樣本的懲罰程度,較小的C表示允許一些誤分類,較大的C表示不允許誤分類。網格搜索是一種通過在一定范圍內不斷調整參數來尋找最優(yōu)參數的方法,而交叉驗證則是一種通過將數據集劃分為訓練集和測試集來評估模型性能的方法。通過設定一組候選的懲罰因子C和核函數kernel的參數組合,對于每一組參數組合,都使用五折交叉驗證來評估該組合下的SVM模型的性能,最終選擇在驗證集上表現(xiàn)最好的一組參數組合作為最優(yōu)參數。

    具體實現(xiàn)過程為:定義懲罰因子C和核函數kernel的參數范圍,C=[0.01,0.1,1,10],kernel=[‘linear’, ‘rbf’, ‘sigmoid’]。將訓練集數據分為5份。對于每一組參數組合,使用五折交叉驗證來訓練SVM模型,計算模型在驗證集上的精度。將所有參數組合在五折交叉驗證中的平均精度計算出來,選取平均精度最高的一組參數作為最優(yōu)參數。使用最優(yōu)參數訓練SVM模型,并使用測試集來測試模型的性能。

    最終,本次實驗確定SVM模型的最佳核函數為預測的“Linear”,C為1。將 400條測試集輸入到訓練好的分類模型中。隨著訓練集樣本數由 2 000條增加至 4 400條,準確度也逐漸提高。訓練集所訓練的模型測試分類精度由 0.84提高至0.93,效果遠優(yōu)于 GBDT分類模型的分類精度 0.735。

    4.3? 實驗基線

    本研究選擇4種基線模型來進行虛假新聞檢測的任務。這4種基線模型包括:

    BERT+SVM(單文本特征):筆者使用BERT預訓練模型提取文本特征,并使用SVM分類器進行分類。該模型只考慮了文本信息,并使用了SVM分類器進行分類。

    VGG+SVM(單圖片特征):筆者使用VGG預訓練模型提取圖片特征,并使用SVM分類器進行分類。該模型只考慮了圖片信息,并使用了SVM分類器進行分類。

    BERT+VGG+SVM(多模態(tài)分類):筆者使用BERT模型提取文本特征,使用VGG模型提取圖片特征,將兩個模型的特征向量拼接起來作為SVM模型的輸入,并使用SVM分類器進行分類。該模型綜合了文本和圖片信息,并使用了SVM分類器進行分類。

    BERT+VGG+GBDT(多模態(tài)分類):筆者使用BERT預訓練模型提取文本特征,使用VGG預訓練模型提取圖片特征,并將兩者合并后使用GBDT分類器進行分類。該模型綜合了文本和圖片信息,并使用了GBDT分類器進行分類。

    這4種基線模型的選擇是基于其代表性和效果評估。其中,BERT和VGG是當前在文本和圖像領域最為流行和有效的預訓練模型,而SVM和GBDT是分類問題中表現(xiàn)較為優(yōu)秀的分類器。筆者希望通過對這4種模型的對比,能夠更好地了解不同模型在虛假新聞檢測任務中的表現(xiàn)。

    4.4? 評價指標

    為了檢驗筆者提出的基于 ERT-VGG-SVM的多模態(tài)新聞檢測模型的優(yōu)劣,采用混淆矩陣(Confusion Matrix,CM)作為模型實驗結果的評判指標。混淆矩陣見公式(4)。0是真實新聞,1是虛假新聞。TP表示虛假新聞被預測為虛假新聞的數量;FN表示虛假新聞被預測為真實新聞的數量;FP表示真實新聞被預測為虛假新聞的數量;TN表示真實新聞被預測為真實新聞的數量。如圖5所示,TP和TN較大,F(xiàn)N和FP較小。

    通過構建單文本特征、單圖像特征以及 gdbt分類模型的基線模型,在同樣的數據集下,如公式(5)—(7)所示,通過混淆矩陣得到TP、TN、FP和FN,得出精確率(Precision,P)、召回率(Recall,R)和F1值(F1-score,F(xiàn)1)。

    精確率表示模型預測為真實新聞的結果中,模型預測正確的比例,公式如下:

    召回率表示真實新聞數據中模型預測正確的比例,公式如下:

    F1值綜合精確率和召回率的結果,對二者進行加權調和平均,公式如下:

    4.5? 實驗結果

    各模型的預測分類結果見圖 6。綜合單文本特征識別結果和單圖像分類結果,從圖6中可以看出,單文本特征、單圖像特征在測試集上的精確率分別為86%、84%。單文本特征分類效果略優(yōu)于單圖像特征分類效果。結果表明,在新聞傳播過程中,文本相較于圖片更貼近人類情感,可以更為準確地表達信息含義,傳遞新聞創(chuàng)造者的思想主旨,是虛假新聞檢測的主要依據。而圖像包含更多的特性,使得單圖像模型很難在不同類型的虛假新聞中提取相同的特征,所表達的信息內容更為模糊,在情感傳遞過程中存在語義障礙,檢測過程中一般起到輔助的作用。與視覺特征相比,文本特征更具有可轉移性,從而提高單文本模型的性能。

    對比單模態(tài)檢測結果和多模態(tài)檢測結果,實驗得出多模態(tài)新聞檢測模型精確率、召回率均為93%,F(xiàn)1值為0.93。相較于單文本特征以及單圖像特征的單模態(tài)特征檢測來說,多模態(tài)新聞檢測模型在精確率、召回率和F1值上都是最優(yōu)的。由此可以推斷,多模態(tài)新聞檢測方法可以提高虛假新聞檢測的準確性,對于文本和圖片表達情感有較大差異的情況,僅分析文本或僅分析圖片,都可能對檢測結果帶來干擾。在這種情況下,將文本與圖像的特征相結合,便能更加準確識別新聞的真假。

    此外,在多模態(tài)新聞檢測模型中,使用gdbt分類器的模型精確率結果為71%,使用SVM分類器精確率結果為93%,相較于gdbt分類器的基線模型高出22%。這也驗證針對多樣本、高維數特征所選的分類器是合適的,在數據分類方面有更好的表現(xiàn)。綜合來看,多模態(tài)新聞檢測模型均優(yōu)于基準模型,其優(yōu)點主要在于利用深度學習網絡將提取的文本特征和圖像特征融合后進行統(tǒng)一識別,避免單一模態(tài)語義缺失的缺點。同時,利用支持向量機有效處理高維數據的特點,增強分類器的泛化能力,解決了模型過擬合的問題,提高模型分類的精確率。

    5? 結語

    虛假新聞的泛濫傳播已成為一個全球性的社會問題,對公眾的認知、社會輿論和政治經濟等方面產生了重要影響。多模態(tài)虛假新聞檢測是一個新興的研究領域,其重要性和研究價值正在逐步被認識和認可,多模態(tài)虛假新聞檢測技術的研究和應用,可有效地幫助公眾識別和避免虛假新聞的誤導,維護社會公正、公平和穩(wěn)定。本研究基于多模態(tài)信息融合的思想,提出一種融合BERT和VGG模型的虛假新聞檢測方法。該方法將文本和圖像信息進行有機結合,同時利用BERT模型學習文本特征和VGG模型學習圖像特征,以實現(xiàn)更加準確和可靠的虛假新聞檢測。通過實驗驗證,本研究所提出的多模態(tài)虛假新聞檢測方法準確率、召回率和F1值都優(yōu)于基準模型,證明了該方法的有效性和可行性。

    盡管本研究所提出的多模態(tài)虛假新聞檢測方法在性能和可解釋性方面都表現(xiàn)出較好的優(yōu)勢,但是仍存在一定的改進空間。①由于圖片提取特征維數過多,可能存在一些冗余信息,延緩模型運行速度,如何在兼顧準確度和性能的條件下降低特征向量的維數是后續(xù)研究的重點之一。②文本特征與圖片特征的普通拼接很可能難以充分利用多模態(tài)之間的關聯(lián),從而對分類產生一定的干擾。在后續(xù)的研究中,將采用不同的特征融合方法,揭示其對模型性能的影響,更近一步地提高新聞檢測的準確率。

    未來可以從以下幾個方面進行深入探究:①優(yōu)化模型的訓練和調參方法,以進一步提高檢測性能;②考慮更多的模態(tài)信息,如視頻和音頻等,以實現(xiàn)更全面的虛假新聞檢測;③結合領域知識,以更好地應對虛假新聞檢測中的特殊場景和問題。

    參考文獻:

    [1] 新華社.中國共產黨第二十次全國代表大會在京開幕 習近平代表第十九屆中央委員會向大會作報告[EB/OL]. [2023-01-22]. http: //www.gov.cn/xinwen/2022-10/16/content_5718884.htm. (Xinhua News Agency. Twentieth National Congress of the Communist Party of China opens in Beijing Xi Jinping reports to the Congress on behalf of the 19th Central Committee [EB/OL]. [2023-01-22]. http: //www.gov.cn/xinwen/2022-10/16/content_5718884.htm.)

    [2] ALLCOTTH, GENTZKOW M. Social media and fake news in the 2016 election[J]. Journal of economic perspectives, 2017, 31(2): 211-36.

    [3] 劉賞, 沈逸凡.基于新聞標題—正文差異性的虛假新聞檢測方法[J]. 數據分析與知識發(fā)現(xiàn), 2023, 7(2): 97-107. (LIU S, SHEN Y F. Fake news detection method based on news title-text variability[J]. Data analysis and knowledge discovery, 2023, 7(2): 97-107.)

    [4] VOSOUGHIS, ROY D, ARAL S. The spread of true and false news online[J]. science, 2018, 359(6380): 1146-1151.

    [5] GUO C, CAO J, ZHANG X, et al. Dean: learning dual emotion for fake news detection on social media[J]. arXiv e-prints, 2019: arXiv: 1903.01728.

    [6] RUCHANSKY N, SEOS, LIU Y. CSI: a hybrid deep model for fake news detection[C]//Proceedings of the 2017 ACM on conference on information and knowledge management. New York: ACM, 2017: 797-806.

    [7] 刁海倫, 王樹義, 王楠.基于多主體的微博網絡虛假信息的集中甄別方法研究[J]. 情報科學, 2016, 34(2): 37-44. (DIAO H L, WANG S Y, WANG N. Research on centralised screening method of microblogging network false information based on multi-subjects[J]. Information science, 2016, 34(2): 37-44.)

    [8] ZHOU P, HAN X, MORARIU VI, et al. Learning rich features for image manipulation detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Salt Lake City: IEEE, 2018: 1053-1061.

    [9] BOIDIDOU C, READOU K, PAPADOPOULOS S, et al. Verifying multimedia use at mediaeval 2015[M]//MediaEval 2015. Wurzen: CEUR-WS, 2015: 1436.

    [10] JIN Z, CAO J, ZHANG Y, ET AL. Novel visual and statistical image features for microblogs news verification[J]. IEEE transactions on multimedia, 2016, 19(3): 598-608.

    [11] LIU Y, WU Y F. Early detection of fake news on social media through propagation path classification with recurrent and convolutional networks[C]//Proceedings of the AAAI conference on artificial intelligence. New Orleans: AAAI, 2018: 354-361.

    [12] MIAN A, KHAN S. Coronavirus: the spread of misinformation[J]. BMC medicine, 2020, 18(1): 1-2.

    [13] 汪超.基于多模態(tài)融合的虛假新聞檢測算法研究[D]. 安徽: 安徽理工大學, 2022. (WANG C. Research on false news detection algorithm based on multimodal fusion[D]. Anhui: Anhui University of Science & Technology, 2022.)

    [14] PENG Q, JUAN C, TIANYUN Y, et al. Exploiting multi-domain visual information for fake news detection[C]//2019 IEEE international conference on data mining (ICDM). Beijing: IEEE, 2019: 518-527.

    [15] 陶霄, 朱焱, 李春平.基于注意力與多模態(tài)混合融合的謠言檢測方法[J]. 計算機工程, 2021, 47(12): 71-77. (TAO X, ZHU Y, LI C R. Rumour detection method based on attention and multimodal hybrid fusion[J]. Computer engineering, 2021, 47(12): 71-77.)

    [16] KALIYAR R K, GOSWAMI A, NARANG P, et al. FNDNet–A deep convolutional neural network for fake news detection[J]. Cognitive systems research, 2020, 61: 32-44.

    [17] DEEPAK S, CHITTURI B. Deep neural approach to Fake-News identification[J]. Procedia computer science, 2020, 167: 2236-2243.

    [18] GOLDANI M H, SAFABAKHSH R, MOMTAZI S. Convolutional neural network with margin loss for fake news detection[J]. Information processing & management, 2021, 58(1): 102418.

    [19] SAHOO S R, Gupta B B. Multiple features based approach for automatic fake news detection on social networks using deep learning[J]. Applied soft computing, 2021, 100: 106983.

    [20] HAKAK S, ALAZAB M, KHAN S, et al. An ensemble machine learning approach through effective feature extraction to classify fake news[J]. Future generation computer systems, 2021, 117: 47-58.

    [21] KHATTAR D, GOUD J S, GUPTA M, et al. Mvae: Multimodal variational autoencoder for fake news detection[C]//The world wide Web conference. New York: Association for Computing Machinery, 2019: 2915-2921.

    [22] QI P, CAO J, YANG T, et al. Exploiting multi-domain visual information for fake news detection[C]//2019 IEEE international conference on data mining (ICDM). Beijing: IEEE, 2019: 518-527.

    [23] 亓鵬, 曹娟, 盛強.語義增強的多模態(tài)虛假新聞檢測[J]. 計算機研究與發(fā)展, 2021, 58(7): 1456-1465. (QI P, CAO J, SHENG Q. Semantic enhancement for multimodal fake news detection[J]. Journal of computer research and development, 2021, 58(7): 1456-1465.)

    作者貢獻說明:

    曾江峰:提出研究思路,設計研究方案;

    王? 蕊:撰寫論文;

    黎欣雨:爬取、采集、清洗和分析數據;

    馬? 霄:負責進行實驗。

    Research on Multimodal Fake News Detection Method Based on BERT and VGG Models

    Zeng Jiangfeng1? Wang Rui1? Li Xinyu2? Ma Xiao2

    1School of Information Management, Central China Normal University, Wuhan 430079

    2School of Information and Security Engineering, Zhongnan University of Economics and Law, Wuhan 430073

    Abstract: [Purpose/Significance] The aim is to solve the current problems of the proliferation of fake news, low accuracy and low intelligence of automatic fake news detection by integrating BERT and VGG models. [Method/Process] BERT and VGG models were uesd to separate the graphics and texts in the news and convert them into feature vector sets, and the feature fusion was carried out. The SVM model was used to design a classifier to achieve multi-modal fake news detection and identification. [Result/Conclusion] The empirical result shows that the F1 value of the experimental dataset reaches 93%, which is 7 percentage points and 9 percentage points higher than that of the BERT and VGG models alone, indicating that the combination of the two models has good detection accuracy and recall rate, and can effectively detect fake news.

    Keywords: fake news detection? ? feature extraction? ? feature fusion? ? multimodal analysis

    基金項目:教育部人文社會科學研究項目青年基金項目“情境大數據驅動的社交媒體虛假信息識別模型與治理策略研究”(項目編號:21YJC870002)、湖北省自然科學基金一般面上項目“基于多層語義融合的多模態(tài)社交媒體虛假信息檢測研究”(項目編號:2023AFB1018)和武漢市知識創(chuàng)新專項項目曙光計劃項目“多源知識驅動的社交媒體虛假新聞檢測研究”(項目編號:2022010801020287)研究成果之一。

    作者簡介:曾江峰,講師,博士;王蕊,博士研究生,通信作者,E-mail:471133151@qq.com;黎欣雨,碩士研究生;馬霄,講師,博士。

    收稿日期:2023-08-29? ? ? ? 發(fā)表日期:2023-12-21? ? ? ? 本文責任編輯:劉遠穎

    猜你喜歡
    特征融合特征提取
    基于Gazebo仿真環(huán)境的ORB特征提取與比對的研究
    電子制作(2019年15期)2019-08-27 01:12:00
    基于Daubechies(dbN)的飛行器音頻特征提取
    電子制作(2018年19期)2018-11-14 02:37:08
    基于多特征融合的圖像匹配算法
    軟件導刊(2017年7期)2017-09-05 06:27:00
    人體行為特征融合與行為識別的分析
    基于移動端的樹木葉片識別方法的研究
    科技資訊(2017年11期)2017-06-09 18:28:13
    基于SIFT特征的港口內艦船檢測方法
    融合整體與局部特征的車輛型號識別方法
    一種基于LBP 特征提取和稀疏表示的肝病識別算法
    基于DSP的直線特征提取算法
    基于MATLAB的道路交通標志識別
    国产精品久久久久久精品电影| 97超视频在线观看视频| 高清av免费在线| 久久97久久精品| 亚洲欧美中文字幕日韩二区| av黄色大香蕉| 大香蕉久久网| 男人舔奶头视频| 亚洲怡红院男人天堂| 偷拍熟女少妇极品色| 久久久色成人| 精品人妻一区二区三区麻豆| 成年版毛片免费区| 久久精品久久久久久噜噜老黄| 麻豆国产97在线/欧美| 嫩草影院入口| 中文字幕亚洲精品专区| 色5月婷婷丁香| 身体一侧抽搐| www.色视频.com| 免费大片18禁| 午夜激情欧美在线| 亚洲av中文字字幕乱码综合| 大话2 男鬼变身卡| 五月玫瑰六月丁香| 午夜精品在线福利| 亚洲人成网站高清观看| 亚洲av二区三区四区| 国产一区二区三区av在线| 男女边吃奶边做爰视频| 亚洲成人久久爱视频| 国产综合懂色| 一级毛片黄色毛片免费观看视频| 我的女老师完整版在线观看| 午夜老司机福利剧场| 成人二区视频| 天天一区二区日本电影三级| 国产三级在线视频| 校园人妻丝袜中文字幕| 中文字幕制服av| 国产伦理片在线播放av一区| 久久99蜜桃精品久久| 久久久久久久午夜电影| 日韩一区二区三区影片| 国产成人一区二区在线| 91aial.com中文字幕在线观看| 亚洲国产欧美人成| 久久久色成人| 欧美变态另类bdsm刘玥| 亚洲av中文av极速乱| 亚洲内射少妇av| 男插女下体视频免费在线播放| 内地一区二区视频在线| 免费av不卡在线播放| 日本午夜av视频| 听说在线观看完整版免费高清| 亚洲国产色片| 成人午夜精彩视频在线观看| 亚洲av国产av综合av卡| 欧美性感艳星| 欧美日韩亚洲高清精品| 欧美不卡视频在线免费观看| 日韩精品有码人妻一区| 国产成人a∨麻豆精品| 91精品国产九色| 中国美白少妇内射xxxbb| 国内少妇人妻偷人精品xxx网站| 五月玫瑰六月丁香| 国产成人aa在线观看| 中文字幕人妻熟人妻熟丝袜美| 大香蕉久久网| 97人妻精品一区二区三区麻豆| 淫秽高清视频在线观看| 校园人妻丝袜中文字幕| 国产久久久一区二区三区| 国内精品一区二区在线观看| 欧美日韩精品成人综合77777| 天美传媒精品一区二区| 晚上一个人看的免费电影| 中文资源天堂在线| 久久精品国产自在天天线| 国产高清国产精品国产三级 | 亚洲内射少妇av| 国语对白做爰xxxⅹ性视频网站| 国产91av在线免费观看| 国产高清不卡午夜福利| 又大又黄又爽视频免费| av卡一久久| 亚洲一区高清亚洲精品| 精品酒店卫生间| 亚洲欧美日韩无卡精品| 国产精品久久久久久av不卡| 亚洲久久久久久中文字幕| 欧美激情久久久久久爽电影| 菩萨蛮人人尽说江南好唐韦庄| 亚洲婷婷狠狠爱综合网| 日本一本二区三区精品| 成人毛片60女人毛片免费| 777米奇影视久久| 99久国产av精品国产电影| 在线观看人妻少妇| 成人毛片60女人毛片免费| 搡女人真爽免费视频火全软件| 听说在线观看完整版免费高清| 青春草国产在线视频| 91狼人影院| 日产精品乱码卡一卡2卡三| a级毛片免费高清观看在线播放| 国产麻豆成人av免费视频| 午夜免费观看性视频| 久久久亚洲精品成人影院| 激情五月婷婷亚洲| 欧美成人精品欧美一级黄| 日韩成人伦理影院| 26uuu在线亚洲综合色| 一二三四中文在线观看免费高清| 又爽又黄a免费视频| 色网站视频免费| 日本wwww免费看| 少妇猛男粗大的猛烈进出视频 | 日本熟妇午夜| 婷婷六月久久综合丁香| 国语对白做爰xxxⅹ性视频网站| 亚洲成人一二三区av| 国产午夜精品论理片| 亚洲成人精品中文字幕电影| 性插视频无遮挡在线免费观看| 亚洲国产精品国产精品| 91久久精品电影网| 美女xxoo啪啪120秒动态图| 成人鲁丝片一二三区免费| 欧美人与善性xxx| 少妇人妻一区二区三区视频| 一区二区三区四区激情视频| 久久久久久久大尺度免费视频| 内射极品少妇av片p| 精品久久久久久久久亚洲| 一区二区三区四区激情视频| 如何舔出高潮| 99视频精品全部免费 在线| 日韩大片免费观看网站| 亚洲精品成人av观看孕妇| 看黄色毛片网站| 国产黄频视频在线观看| 丰满少妇做爰视频| 国产激情偷乱视频一区二区| 国产三级在线视频| 国模一区二区三区四区视频| 日韩在线高清观看一区二区三区| 国产一区二区三区av在线| 亚洲国产精品成人综合色| av线在线观看网站| 日韩av不卡免费在线播放| 成人漫画全彩无遮挡| 欧美 日韩 精品 国产| 亚洲成色77777| 爱豆传媒免费全集在线观看| 99热全是精品| 国产精品一区二区在线观看99 | 亚洲av不卡在线观看| 伦理电影大哥的女人| av免费在线看不卡| 韩国高清视频一区二区三区| 久久久久久久久久久免费av| 日韩欧美三级三区| 建设人人有责人人尽责人人享有的 | 婷婷六月久久综合丁香| 美女cb高潮喷水在线观看| 久久精品熟女亚洲av麻豆精品 | 日本欧美国产在线视频| 日日摸夜夜添夜夜添av毛片| 在线免费观看的www视频| 国产片特级美女逼逼视频| 80岁老熟妇乱子伦牲交| 国产不卡一卡二| 亚洲va在线va天堂va国产| 可以在线观看毛片的网站| freevideosex欧美| 精品久久久精品久久久| 精品国内亚洲2022精品成人| 国产一区二区在线观看日韩| 熟女人妻精品中文字幕| 欧美激情久久久久久爽电影| 男女边吃奶边做爰视频| 99久久人妻综合| 身体一侧抽搐| 欧美性猛交╳xxx乱大交人| 99热这里只有精品一区| 大话2 男鬼变身卡| 日本免费a在线| 免费在线观看成人毛片| 国产老妇女一区| 精品午夜福利在线看| 亚洲精品成人av观看孕妇| 特级一级黄色大片| 菩萨蛮人人尽说江南好唐韦庄| 人妻少妇偷人精品九色| 网址你懂的国产日韩在线| 亚州av有码| 97精品久久久久久久久久精品| 日韩国内少妇激情av| www.色视频.com| 熟女人妻精品中文字幕| 夫妻性生交免费视频一级片| 久久久国产一区二区| 蜜桃亚洲精品一区二区三区| 我的老师免费观看完整版| 久久精品综合一区二区三区| 亚洲av电影不卡..在线观看| 22中文网久久字幕| 色播亚洲综合网| 黄色欧美视频在线观看| 男女下面进入的视频免费午夜| 午夜精品在线福利| 特级一级黄色大片| 亚洲内射少妇av| 中文字幕亚洲精品专区| 国产乱人视频| 91精品伊人久久大香线蕉| 亚洲三级黄色毛片| 国产精品av视频在线免费观看| 在线 av 中文字幕| 色综合色国产| 97超视频在线观看视频| 中文字幕亚洲精品专区| 国产黄色免费在线视频| 免费观看的影片在线观看| 中国美白少妇内射xxxbb| 亚洲国产精品专区欧美| 亚洲人与动物交配视频| av福利片在线观看| 在线观看美女被高潮喷水网站| 国产乱人偷精品视频| av网站免费在线观看视频 | 可以在线观看毛片的网站| 91av网一区二区| 最近手机中文字幕大全| 亚洲在久久综合| 男女下面进入的视频免费午夜| 男人爽女人下面视频在线观看| 色5月婷婷丁香| 美女黄网站色视频| 狠狠精品人妻久久久久久综合| 在线观看av片永久免费下载| 好男人视频免费观看在线| 可以在线观看毛片的网站| 国产一区二区在线观看日韩| 亚洲欧美中文字幕日韩二区| 国产精品久久久久久久电影| 亚洲精品久久午夜乱码| 看黄色毛片网站| 99久久中文字幕三级久久日本| 亚洲精品第二区| 国产黄片美女视频| 日本免费a在线| 天堂网av新在线| 精品人妻视频免费看| 99久久精品国产国产毛片| 内射极品少妇av片p| 亚洲熟妇中文字幕五十中出| 亚洲精品国产av蜜桃| 国内少妇人妻偷人精品xxx网站| 在线观看免费高清a一片| 国产探花在线观看一区二区| 亚洲国产精品专区欧美| 中文字幕制服av| 国产乱人视频| 高清欧美精品videossex| 欧美人与善性xxx| 爱豆传媒免费全集在线观看| 精品亚洲乱码少妇综合久久| 亚洲真实伦在线观看| 一区二区三区乱码不卡18| 中国美白少妇内射xxxbb| 亚洲av免费在线观看| 婷婷色av中文字幕| 中文天堂在线官网| 大香蕉97超碰在线| 网址你懂的国产日韩在线| 成人特级av手机在线观看| 尤物成人国产欧美一区二区三区| 日韩一本色道免费dvd| 日日摸夜夜添夜夜爱| 国产成人a区在线观看| 美女大奶头视频| 国产片特级美女逼逼视频| 岛国毛片在线播放| 国产精品爽爽va在线观看网站| 日本一本二区三区精品| www.色视频.com| 亚洲一区高清亚洲精品| 只有这里有精品99| 中文乱码字字幕精品一区二区三区 | 国产成人福利小说| 观看免费一级毛片| 久久精品夜夜夜夜夜久久蜜豆| 国产黄色视频一区二区在线观看| 日本-黄色视频高清免费观看| or卡值多少钱| 久久精品久久久久久久性| 亚洲欧美日韩东京热| 天堂俺去俺来也www色官网 | 国产一区有黄有色的免费视频 | 婷婷色麻豆天堂久久| 搡老乐熟女国产| 国产中年淑女户外野战色| 极品教师在线视频| 寂寞人妻少妇视频99o| av一本久久久久| videossex国产| 国产一级毛片在线| 十八禁网站网址无遮挡 | 丰满人妻一区二区三区视频av| 能在线免费看毛片的网站| 国产成人精品一,二区| 国产高潮美女av| 色综合站精品国产| 啦啦啦啦在线视频资源| 欧美激情久久久久久爽电影| 国产精品久久久久久精品电影| 亚洲最大成人手机在线| 中文字幕久久专区| 日韩欧美 国产精品| 淫秽高清视频在线观看| 99久国产av精品| 免费av不卡在线播放| 一边亲一边摸免费视频| 啦啦啦啦在线视频资源| 国产有黄有色有爽视频| 成人特级av手机在线观看| 日日啪夜夜爽| 久久久久久久久久人人人人人人| 国产成人福利小说| 大又大粗又爽又黄少妇毛片口| 国产伦精品一区二区三区视频9| 国产精品伦人一区二区| 91aial.com中文字幕在线观看| 日韩 亚洲 欧美在线| 一级毛片黄色毛片免费观看视频| 97热精品久久久久久| 免费大片黄手机在线观看| 欧美性感艳星| 尾随美女入室| 18禁在线播放成人免费| 中文资源天堂在线| 97在线视频观看| 亚洲人成网站高清观看| 国产男人的电影天堂91| 高清在线视频一区二区三区| 精品久久久久久久久亚洲| 色视频www国产| 精品人妻偷拍中文字幕| 三级毛片av免费| 我的老师免费观看完整版| 婷婷色综合www| .国产精品久久| 日日摸夜夜添夜夜爱| 欧美+日韩+精品| 久久综合国产亚洲精品| 国产午夜精品一二区理论片| 91久久精品国产一区二区三区| 日韩视频在线欧美| 精品午夜福利在线看| 在线观看人妻少妇| 美女国产视频在线观看| 狠狠精品人妻久久久久久综合| 亚洲色图av天堂| 一边亲一边摸免费视频| 美女cb高潮喷水在线观看| 精品欧美国产一区二区三| 91精品国产九色| 美女被艹到高潮喷水动态| 精品人妻偷拍中文字幕| a级毛片免费高清观看在线播放| 亚洲精品456在线播放app| 九草在线视频观看| 亚洲精品乱久久久久久| 麻豆乱淫一区二区| 国产精品一区二区在线观看99 | 亚洲国产精品成人久久小说| 天天一区二区日本电影三级| 亚洲av免费在线观看| 婷婷色av中文字幕| 永久网站在线| 午夜亚洲福利在线播放| 免费黄频网站在线观看国产| 欧美日韩在线观看h| 97热精品久久久久久| 亚洲,欧美,日韩| 国产 亚洲一区二区三区 | 高清欧美精品videossex| 色5月婷婷丁香| 成人二区视频| 国产成人精品一,二区| 不卡视频在线观看欧美| 婷婷色麻豆天堂久久| 在线观看美女被高潮喷水网站| 国产精品女同一区二区软件| 别揉我奶头 嗯啊视频| 永久免费av网站大全| 久久6这里有精品| 最近最新中文字幕大全电影3| 自拍偷自拍亚洲精品老妇| 国语对白做爰xxxⅹ性视频网站| 中国美白少妇内射xxxbb| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | eeuss影院久久| 久久久色成人| 大香蕉久久网| 亚洲欧洲日产国产| 亚洲久久久久久中文字幕| 亚洲第一区二区三区不卡| 欧美精品国产亚洲| 国产一级毛片在线| 国内少妇人妻偷人精品xxx网站| 男人爽女人下面视频在线观看| 国产免费一级a男人的天堂| 成年人午夜在线观看视频 | 国模一区二区三区四区视频| 亚洲电影在线观看av| 亚洲最大成人手机在线| 久久精品人妻少妇| 国产乱来视频区| 街头女战士在线观看网站| 最近2019中文字幕mv第一页| 亚洲精品久久久久久婷婷小说| 国产视频内射| 亚洲欧美精品专区久久| 国产单亲对白刺激| 日本与韩国留学比较| 超碰97精品在线观看| 黄片无遮挡物在线观看| 久久久久久久国产电影| 亚洲欧美成人综合另类久久久| 99热6这里只有精品| 纵有疾风起免费观看全集完整版 | 久久久久久久国产电影| 我的老师免费观看完整版| 大香蕉97超碰在线| 成人亚洲欧美一区二区av| 日本爱情动作片www.在线观看| 在线播放无遮挡| 2018国产大陆天天弄谢| 中文在线观看免费www的网站| 91aial.com中文字幕在线观看| 午夜激情福利司机影院| 看十八女毛片水多多多| 高清av免费在线| 亚洲av在线观看美女高潮| 亚洲精品日韩在线中文字幕| av卡一久久| 黄色一级大片看看| 色综合站精品国产| 青春草视频在线免费观看| 久久久久久久久久人人人人人人| 99九九线精品视频在线观看视频| 亚洲av成人精品一区久久| 色吧在线观看| 尾随美女入室| 亚洲精品色激情综合| 久久久久性生活片| 肉色欧美久久久久久久蜜桃 | 亚洲熟女精品中文字幕| 欧美一区二区亚洲| 久久这里有精品视频免费| 亚洲怡红院男人天堂| 在线免费十八禁| 少妇熟女aⅴ在线视频| 午夜激情久久久久久久| 成人二区视频| 亚洲欧美日韩东京热| 亚洲一级一片aⅴ在线观看| 人妻系列 视频| 夫妻性生交免费视频一级片| 又粗又硬又长又爽又黄的视频| 亚洲欧美中文字幕日韩二区| 99久久九九国产精品国产免费| 亚州av有码| a级毛色黄片| 少妇熟女aⅴ在线视频| www.色视频.com| 99热全是精品| 成人亚洲欧美一区二区av| 日本猛色少妇xxxxx猛交久久| 亚洲精品456在线播放app| 国产精品一区二区三区四区免费观看| 久久精品夜夜夜夜夜久久蜜豆| 简卡轻食公司| 免费av观看视频| 亚洲成人精品中文字幕电影| 女人十人毛片免费观看3o分钟| 日日啪夜夜爽| 只有这里有精品99| 少妇猛男粗大的猛烈进出视频 | 国产一区二区亚洲精品在线观看| 搡老乐熟女国产| 狂野欧美白嫩少妇大欣赏| 高清视频免费观看一区二区 | 国产精品久久视频播放| 久久这里有精品视频免费| 男女啪啪激烈高潮av片| 美女内射精品一级片tv| 观看免费一级毛片| 亚洲av中文av极速乱| 免费观看性生交大片5| 久久人人爽人人片av| 色综合色国产| 国产 亚洲一区二区三区 | 国产精品久久久久久av不卡| 国产高清三级在线| 国产真实伦视频高清在线观看| 99久国产av精品国产电影| 亚洲精华国产精华液的使用体验| 国产精品av视频在线免费观看| 午夜激情欧美在线| 人体艺术视频欧美日本| 超碰av人人做人人爽久久| 亚洲精品乱码久久久v下载方式| 日本黄大片高清| 日日干狠狠操夜夜爽| 国产色爽女视频免费观看| 日韩av不卡免费在线播放| 男女视频在线观看网站免费| 中文在线观看免费www的网站| 国产精品国产三级专区第一集| 婷婷色综合www| 亚洲成色77777| 嫩草影院新地址| 麻豆成人av视频| 日本猛色少妇xxxxx猛交久久| 伊人久久国产一区二区| 国内揄拍国产精品人妻在线| 成人鲁丝片一二三区免费| 中文天堂在线官网| 日本欧美国产在线视频| 白带黄色成豆腐渣| 国产综合精华液| 91精品一卡2卡3卡4卡| 床上黄色一级片| 最近最新中文字幕大全电影3| 成人国产麻豆网| 日本三级黄在线观看| 欧美日韩精品成人综合77777| 三级国产精品片| 国产爱豆传媒在线观看| 国产在视频线精品| 网址你懂的国产日韩在线| 国产高清有码在线观看视频| 午夜视频国产福利| 黑人高潮一二区| 国产亚洲av片在线观看秒播厂 | 日本爱情动作片www.在线观看| 亚洲国产日韩欧美精品在线观看| 日本猛色少妇xxxxx猛交久久| 亚洲av成人精品一区久久| 亚洲av男天堂| 国产大屁股一区二区在线视频| 搡女人真爽免费视频火全软件| 成人二区视频| 深夜a级毛片| 麻豆av噜噜一区二区三区| 亚洲av国产av综合av卡| 熟女人妻精品中文字幕| av网站免费在线观看视频 | 精品人妻一区二区三区麻豆| 国内揄拍国产精品人妻在线| 国产精品久久久久久久久免| 国产真实伦视频高清在线观看| 免费看av在线观看网站| 国产极品天堂在线| 免费黄色在线免费观看| 亚洲av日韩在线播放| 婷婷色综合www| 色网站视频免费| av国产久精品久网站免费入址| 亚洲经典国产精华液单| av在线播放精品| 日韩,欧美,国产一区二区三区| 日本av手机在线免费观看| 国产成人freesex在线| 一级二级三级毛片免费看| 国产伦一二天堂av在线观看| 免费大片18禁| 国产成人一区二区在线| 淫秽高清视频在线观看| 免费av观看视频| 久久久精品欧美日韩精品| 久久久欧美国产精品| 欧美另类一区| 免费av观看视频| 舔av片在线| 国产午夜精品论理片| 欧美性猛交╳xxx乱大交人| 国产午夜精品论理片| 青青草视频在线视频观看| 国产成人一区二区在线| 国产视频首页在线观看| 欧美高清成人免费视频www| 成人特级av手机在线观看| 国产精品人妻久久久久久| 成人漫画全彩无遮挡| 国产伦一二天堂av在线观看| 国产精品精品国产色婷婷| 亚洲无线观看免费| 欧美另类一区| 人人妻人人看人人澡| 激情 狠狠 欧美| 国产精品人妻久久久久久| 欧美日韩视频高清一区二区三区二| 免费看不卡的av| 日韩强制内射视频| 国产成人午夜福利电影在线观看| 国产av不卡久久| 欧美高清成人免费视频www| 欧美日韩视频高清一区二区三区二|