• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合BERT和VGG模型多模態(tài)虛假新聞檢測方法研究

    2024-01-20 12:19:34曾江峰
    知識管理論壇 2023年6期
    關鍵詞:特征融合特征提取

    王蕊? 黎欣雨? 馬霄

    摘要:[目的/意義]旨在通過融合BERT和VGG模型解決當前虛假新聞泛濫、虛假新聞自動檢測準確度較低、智能化較低問題。[方法/過程]使用預訓練模型BERT和VGG將新聞中的圖文分離并轉化為特征向量集,并進行特征融合,運用SVM模型設計分類器實現(xiàn)多模態(tài)虛假新聞檢測識別。[結果/結論] 實證結果表明,實驗數據集F1值達到93%,相較于單獨使用BERT和VGG模型提升7%與9%,該方法具有較高的準確率和召回率,能夠有效地檢測虛假新聞。

    關鍵詞:虛假新聞檢測;特征提??;特征融合;多模態(tài)分析

    分類號:TP391

    引用格式:曾江峰, 王蕊, 黎欣雨, 等. 融合BERT和VGG模型多模態(tài)虛假新聞檢測方法研究[J/OL]. 知識管理論壇, 2023, 8(6): 502-513[引用日期]. http://www.kmf.ac.cn/p/367/.

    習近平總書記在二十大報告中強調,要加強全媒體傳播體系建設,推動形成良好網絡生態(tài)[1]。互聯(lián)網的普及推動了信息傳播的發(fā)展,覆蓋了更為廣泛的受眾,但這些信息的真實性、準確性有待考量?!疤摷傩侣劇币辉~在2016年美國總統(tǒng)大選期間成為主流,當時數百家網站發(fā)布了虛假或帶有嚴重偏見的報道,其中許多是為了從社交媒體廣告收入中獲利[2]。2020年初,面對新冠肺炎疫情,恐懼與不安充斥全國,每天新聞產出量劇增,針對“辟謠”的百度搜索指數(2020年1月19—25日)與2019年春節(jié)期間相比,增長了5.4倍;中國科學院計算技術研究所研發(fā)的虛假新聞自動檢測平臺“AI識謠”平均每天發(fā)現(xiàn)具有爭議性的疫情新聞200條;騰訊開發(fā)的以人工審核為主的事實查證平臺“較真”的疫情新聞特別版上線24小時,用戶已超過4 000萬,服務次數超過1億。虛假新聞的存在嚴重威脅著人們的生活和社會秩序,對虛假新聞的檢測已然成為一個備受關注的熱門研究領域。隨著多媒體技術的發(fā)展和社交媒體的廣泛應用,新聞不再僅僅局限于文字形式,而是包括圖片、視頻和語音等多種形式。鑒于此,針對多模態(tài)的虛假新聞檢測成為一個新的研究方向。

    目前學界對虛假新聞檢測方法的研究主要集中于以下幾個方面:①針對文本形式的虛假新聞,通常采用自然語言處理技術,如詞袋模型、詞向量等,對新聞文本的特征進行分析和提取[3]。②針對圖片形式的虛假新聞,采用計算機視覺技術,如卷積神經網絡等,對圖片的內容、色調、尺寸等特征進行分析和提取。③由于虛假新聞往往包含多種形式的信息,學者開始探索多模態(tài)特征融合的方法,將不同形式的特征進行整合,提高虛假新聞檢測的準確率和魯棒性。④對于虛假新聞的傳播路徑分析,研究者致力于了解虛假新聞的來源、傳播規(guī)律和受眾群體,以提高虛假新聞檢測的精度和效率。⑤針對虛假新聞檢測模型受到的對抗性攻擊,學者提出系列防御方法,以提高虛假新聞檢測模型的魯棒性??傊?,學界對于虛假新聞檢測方法的研究涵蓋了自然語言處理、計算機視覺、機器學習等多個領域,是一個具有挑戰(zhàn)性和復雜性的研究方向。

    虛假新聞帶來社會恐慌、輿情肆意泛濫等嚴重的社會影響,檢測并打擊虛假新聞具有現(xiàn)實性和緊迫性[4]。目前大多虛假新聞檢測要依靠讀者檢舉揭發(fā),并讓相關專家和機構來證實。但這種方式時效性不強,檢測效率不高,相比識別新聞的復雜過程,謠言的傳播成本相對較低,制作虛假新聞的簡單與檢測虛假新聞的困難形成強烈反差。因此,構建自動化程度高、響應速度快的虛假新聞檢測模型及系統(tǒng)是產學研界關注的焦點,如何高效檢測虛假新聞這一問題迫在眉睫[5]。

    在此背景下,本研究提出融合預訓練BERT(Bidirectional Encoder Representations From Transformers)和VGG(Visual Geometry Group Network)模型的多模態(tài)虛假新聞檢測算法。首先搜集的虛假信息數據集,用BERT模型提取文本特征向量;其次利用VGG模型提取圖片特征向量;最后進行特征融合,將這兩部分向量拼接在一起,用于訓練最終的分類器。通過融合文本和圖像兩個單模態(tài)模型中的隱層特征,最終得到多模態(tài)融合特征和其對應的真假標簽。這些特征和標簽將作為下游分類器的輸入,經過進一步的特征組合訓練實現(xiàn)對真假新聞概率上的判別。最后將未被訓練的數據集輸入到訓練好的分類模型,從而得到測試集的分類精度,完成對多模態(tài)新聞真假的檢測。

    1? 相關研究

    虛假新聞也可以被稱為虛假信息,它被定義為故意捏造和已經被核實的虛假信息[6]。虛假信息通常表現(xiàn)為各種形式,如謠言、緋聞、流言、偽科學等[7]。目前學界對虛假新聞的研究主要聚焦于檢測方法。首先,虛假新聞的檢測主要采用機器學習方法,如基于深層次和集成分類器的微博謠言檢測方法、提取Twitter中謠言的文本特征、行為特征,構建貝葉斯分類器。P. Zhou等[8]提出一個雙流的 Faster R-CNN模型,將 RGB流和噪聲流中豐富的篡改特征進行了很好的利用,以此實現(xiàn)多種類型虛假圖片的檢測。C. Boididou等[9]將取證特征用在虛假新聞檢測領域,以塊效應網格和分塊離散余弦變換(DCT)系數等作為特征,取得不錯的反饋結果。Z. Jin等[10]基于多媒體數據集分析新聞、文章的圖像進行虛假新聞檢測,探討了視覺和統(tǒng)計圖像特征,以預測各自文章的準確性,并提出了利用從文章中提取的沖突觀點構建的可信度傳播網絡的虛假新聞檢測方法。Y. Liu等[11]利用多元時間序列對新聞傳播路徑進行分類,提出了一種由傳播路徑構建與轉換、基于循環(huán)神經網絡的傳播路徑表示、基于卷積神經網絡傳播路徑表示和傳播路徑分類四個主要部分構成的虛假新聞早期檢測模型。

    隨著互聯(lián)網技術飛速發(fā)展,虛假新聞呈現(xiàn)出多元化趨勢,基于虛假新聞自身語言特性的虛假新聞檢測模型出現(xiàn)很多局限性[12],因此,基于多模態(tài)特征的虛假新聞檢測算法的研究頗多。劉鵬飛等[13]提出的模型利用多核異步長卷積神經網絡對新聞標題作者及鏈接信息中隱含的辨別特征進行充分提取,根據新聞圖片語義和物理級別的聯(lián)系,利用注意力機制來提取帶有權重的特征。P. Qi等[14]設計基于CNN和CNN-RNN的網絡來捕捉頻域和像素域的視覺特征,并使用注意力機制來動態(tài)融合特征表示,以檢測虛假新聞。陶霄等人[15]提取文本、視覺和用戶三個模態(tài)的特征向量,在詞語和視覺的雙向匹配、前期融合和后期融合中均加入注意力機制,實現(xiàn)特征和決策的自動加權,并基于 Dempster組合規(guī)則進行混合融合。R K. Kaliyar等[16]提出一個深度卷積神經網絡模型(FNDNet),它包含一個預先訓練好的名為 GloVe的單詞嵌入和一個具有多個隱藏層的 CNN,在每一層提取用于分類假新聞的判別性特征。S. Deepak等[17]在神經網絡中加入在線數據挖掘,從互聯(lián)網上獲得與所考慮的新聞文章相對應的知識特征。M. H. Goldani等[18]使用邊際損失(Margin Loss),在 CNN上進行虛假新聞檢測,這是第一個將邊際損失用于文本分類工作的模型,并在 ISOT和 LIAR數據集上獲得較好表現(xiàn)。S. R. Sahoo等[19]提出一種 chrome環(huán)境下 Facebook的自動假新聞檢測方法。這些模型收集并分析多個特征,這些特征與 Facebook賬戶和一些新聞內容特征相關,并使用機器學習和深度學習將其輸入分類器,然后選擇匹配度最高的分類器,通過chrome擴展來檢測假新聞。S. HAKAK等[20]從虛假新聞數據集中提取重要特征,然后使用由隨機森林決策樹和非線性分類器組成的集合模型對提取的特征進行分類。

    MVAE和MVNN代表了在多模態(tài)信息處理領域的最新研究進展。這兩個模型都致力于將不同模態(tài)的數據(如文本和圖像)融合到一個統(tǒng)一的表示空間中,從而為任務提供更多元化和豐富的信息。MVAE采用了一種變分自編碼器的結構,包括編碼器、解碼器和假新聞檢測器模塊。通過學習概率潛變量模型,MVAE能夠將不同模態(tài)的信息編碼成潛在的表示,這為任務提供了更靈活的信息表達方式。盡管相對于BERT+VGG+SVM,MVAE的精確率、召回率和F1值稍低,但它仍然表現(xiàn)出令人印象深刻的性能,尤其是在多模態(tài)任務中[21]。MVNN采用了不同的方法,它利用頻域子網絡和像素域子網絡的特征來對輸入圖像進行分類。這種方法使MVNN在圖像分類任務上表現(xiàn)出色,其精確率、召回率和F1值都達到了90%以上。這顯示出了MVNN在圖像相關任務上的強大性能[22]。

    盡管MVAE和MVNN是多模態(tài)模型,它們提供了更豐富的輸入數據表示,但在某些情況下,需要更復雜的模型結構和訓練策略,以便充分發(fā)揮它們的潛力。相反,BERT+VGG+SVM雖然只是串聯(lián)了文本信息和圖像信息,但它在性能上仍然勝過了這兩個多模態(tài)模型。這突顯了模型選擇的重要性,以確保最適合特定任務和數據集的性能。

    綜上,虛假新聞檢測方式主要是基于用戶行為可信度的方法以及基于網絡傳播的方法,具體而言是利用手工特征、深度學習、循環(huán)神經網絡等研究方法。由于虛假新聞的形式多樣化,僅基于虛假新聞自身語言特性的虛假新聞檢測模型不足以滿足現(xiàn)狀,文本和圖片為虛假新聞檢測提供相對側重、相輔相成的信息。在過去的研究中,已有學者使用單模態(tài)的方式進行虛假新聞檢測。但單模態(tài)方法往往忽略了多模態(tài)信息之間的相互作用。虛假新聞的傳播往往涉及多元化的信息,因此,為更加全面地評估虛假新聞的真實性,學界開始探索多模態(tài)虛假新聞檢測的方法。鑒于此,基于多模態(tài)的虛假新聞檢測方法備受關注[23],如何有效提取各個模態(tài)的特征并進行有效的融合是多模態(tài)虛假新聞檢測的核心。針對現(xiàn)有研究的局限性,筆者提出了一種基于BERT和VGG模型的多模態(tài)虛假新聞檢測方法。其中,BERT模型用于處理文本信息,VGG模型用于處理圖片信息,筆者將 BERT和 VGG兩個模型融合,提取虛假新聞的文本、圖像特征,以解決虛假新聞檢測問題。

    2? 研究框架

    BERT直接引用Transformer架構中的Encoder模塊,舍棄Decoder模塊,自動擁有雙向編碼能力和強大的特征提取能力。VGG16采用連續(xù)的幾個小卷積核(3×3)代替Alex Net中的較大卷積核(11×11,7×7,5×5),卷積的固定步長為1,并在圖像的邊緣填充1個像素,這樣卷積后保持圖像的分辨率不變,在保證具有相同感知野的條件下,在一定程度上提升神經網絡的效果。基于此,對于搜集的虛假信息數據集,利用VGG模型生成圖片特征向量;利用BERT模型生成文本特征向量;通過向量拼接的方式將文本和圖片特征進行特征融合后基于SVM模型設計分類器來自動鑒別新聞的真?zhèn)危瑢崿F(xiàn)多模態(tài)虛假新聞檢測。使用初步完成的多模態(tài)檢測模型進行數據測試,分析測試效果,并根據效果對模型進一步優(yōu)化。具體研究過程分為三個部分,如圖1所示:

    (1)數據來源與處理。數據來源于中國科學院計算技術研究所舉辦的虛假新聞檢測挑戰(zhàn)賽中多模態(tài)虛假新聞檢測的測試集數據,并將數據中包含的發(fā)布人信息、發(fā)布時間等冗余信息剔除。經處理后的一條數據設為N=[T,V,Y],T代表新聞文本數據,V代表新聞圖片數據,Y為該條新聞的真實性標簽,取值為{0,1},0表示真實新聞,1表示虛假新聞。

    (2)模型構建與特征提取。分別使用BERT模型和VGG16模型對處理后的文字新聞和圖片新聞進行特征提取并融合,形成代表新聞數據的融合特征向量。

    (3)結果檢測與分析。將獲得的新聞特征向量輸入SVM分類器實現(xiàn)多模態(tài)虛假新聞檢測,并選用精確率、召回率和F1值作為模型的評價指標,判斷建立的bert-vgg-svm多模態(tài)新聞檢測模型的優(yōu)劣,并對檢測結果進行分析。

    3? 模型構建

    本研究旨在基于社交媒體新聞中的文字和圖像數據使用,運用深度學習方法構建虛假新聞檢測模型,以此識別虛假新聞。該模型將 BERT與 VGG16相結合,融合文本和圖片特征對虛假新聞進行識別,其中使用 BERT提取文本特征向量,VGG16提取圖片特征向量特征,經過向量拼接后輸入 SVM中進行虛假新聞判別,輸出為對應的真假新聞標簽,TRUE為真實新聞,F(xiàn)ALSE為虛假新聞。

    3.1? 特征提取

    3.1.1? 文本特征提取

    文本特征在文本分析中起到重要作用,直接影響虛假新聞檢測的準確率。對每一條新聞文本進行預處理后,使用 BERT模型來提取文本特征,以捕捉文本中潛在的依存關系。BERT框架見圖2,通過查詢字向量表將文本中的每個字轉換為詞嵌入向量、句向量和位置向量的拼接結果,然后將其通過多層雙向Transformer編碼器,模型輸出則是輸入各字對應的融合全文語義信息后的向量表示。

    BERT 引入自注意力機制,聯(lián)合 Next Sentence Prediction和 Masked-LM進行訓練。模型在提取文本特征時,讀取 csv文件,輸入包含 s個詞匯的新聞文本數據 T=(T1,T2,…,Ts),在倒數第二層輸出處理后的整個句子語義向量Tf,過程表示如公式(1)所示:

    Tf=BERT(T)

    Tf為 BERT模型在倒數第二層的向量輸出,也是文本數據最終的表示特征,共有 768維。

    3.1.2? 圖像特征提取

    人類大腦處理視覺信息的速度是處理文字信息的 6 000倍,視覺信息可以縮小溝通差距、幫助理解信息內容、增強人類記憶。因此,模型同時融合圖像特征,采用在 ImageNet數據庫上訓練的 VGG16模型提取圖像特征。由圖 3所示,VGG16由 13層卷積層和 3個全連接層組成,可以有效提取圖像特征。

    由于新聞圖像數據大小不一,對其統(tǒng)一縮放后裁剪成規(guī)格為 224*224的區(qū)域,轉換成符合輸入的三通道圖片格式Vimg,再輸入 VGG16模型中進行特征提取。過程表示如公式(2)所示:

    Vf=VGG16(Vimg)

    Vf為 VGG16模型在 fc7層的向量輸出,也是圖像數據最終的表示特征,共有4 096維。

    3.2? 特征融合

    特征融合即輸入兩個模態(tài)的特征向量,輸出融合后的向量。本模型采用向量拼接的方式,用Tf表示文本特征,用Vf表示圖像特征,融合后的新聞特征用F表示。過程表示如公式(3)所示:

    F=Tf⊕Vf (TVf∈R4864)

    如圖4所示,將提取出的新聞文本數據的特征向量Tf與新聞圖像數據的特征向量Vf 進行融合,形成代表新聞數據的融合特征向量F。為了穩(wěn)定獲取新聞數據特征,將新聞數據分為真實新聞數據集和虛假新聞數據集,根據數據對應的標簽分別進行訓練,融合后的特征輸出至csv文件中儲存。

    3.3? 模型分類

    通過融合文本和圖像兩個單模態(tài)模型中的隱層特征,得到4 864維的多模態(tài)融合特征D'={TVf1, TVf2, …, TVfn}和其對應的真假標簽Label=[L1, L2, …, Ln]。這些特征和標簽將作為下游分類器的輸入,經過進一步的特征組合訓練實現(xiàn)對真假新聞概率上的判別。最后將未被訓練的數據集輸入到訓練好的分類模型,從而得到測試新聞的分類精度,完成對多模態(tài)新聞真假的檢測。在分類器模型的選擇中,優(yōu)先選擇scikit-learn包中的SVM(支持向量機)作為特征融合后的分類器。

    SVM是一種以統(tǒng)計學為基礎的線性分類器,被頻繁地應用在二分類問題中。同時其表現(xiàn)出優(yōu)秀的泛化能力,在高維空間中非常有效。尤其是在特征維數大于樣本的情況下,可以將向量從低維空間映射到高維空間,效果要優(yōu)于其他傳統(tǒng)分類算法。它的主要思想是找到一個最優(yōu)的超平面來劃分不同類別的數據點。為了驗證SVM的優(yōu)越性,同時選取GBDT(Gradient Boosting Decision Tree)分類模型進行結果比對。

    GBDT是一種基于決策樹的集成學習算法,它通過迭代的方式訓練多個決策樹,并將它們組合成一個強分類器。GBDT算法的主要思想是通過迭代的方式訓練多個弱分類器,每個弱分類器都嘗試去糾正之前分類器的誤差。在每一輪迭代中,GBDT算法都會新增一棵決策樹,并將它的預測結果與之前的分類器進行加權組合,得到最終的預測結果。

    在本文中,選擇GBDT作為對比算法的依據是因為GBDT算法在處理非線性數據上具有很好的性能,并且可以自動進行特征選擇。通過與SVM進行對比,可以更全面地評估SVM算法在高維稀疏數據上的優(yōu)越性。同時,選取適當的對比算法也有助于驗證實驗結果的可靠性。

    4? 實驗與分析

    4.1? 數據集

    為保證數據的真實可靠,對新聞數據標記真假;作為多模態(tài)的數據集,需要同時包含文本和圖片的新聞數據。數據集經過篩選和初步實驗,確定選擇中國科學院計算技術研究所舉辦的虛假新聞檢測挑戰(zhàn)賽中多模態(tài)虛假新聞檢測賽道的數據。

    虛假新聞多模態(tài)檢測任務中,包含文本和圖片兩種模態(tài)的數據。圖片模態(tài)包括“piclist”字段,表示該文本對應的圖片,如果沒有,則該字段為空;如果有多張,則使用“ \ t ”進行分隔。原始數據集由新聞文本數據以及相關的新聞圖像數據構成。對于原始文本數據,由于原始數據信息的復雜性和無序性,在數據處理過程中,會將其攜帶的冗余信息進行剔除,可使用表情符號、URL、賬號信息和發(fā)布時間作為標簽替換,對空白字符和繁體字符等其他特殊字符做轉換,保留剩余文字信息。對于新聞圖片數據,新聞文本對應的圖片類型不一,有GIF、JPG等,本文對新聞圖片數據的處理方法是將文本對應的圖片統(tǒng)一為JPG格式,因為新聞中的圖片有可能不止一個,本文統(tǒng)一將第一個圖片作為對應的數據。

    由于融合后的數據特征維數過大,為了防止數據集過小出現(xiàn)模型過擬合的風險,因此訓練數據集的大小應和特征維數同量級。這里選擇2 200條真實數據和2 200條虛假數據,共4 400條數據作為訓練集;另選擇100條真實數據和300條虛假數據,共400條數據作為測試集,如表1所示:

    4.2? SVM模型參數調優(yōu)

    由于本次實驗的訓練集維數即特征數很大,并接近于樣本數,理論上應該選擇線性核函數“Linear”來防止出現(xiàn)過擬合。為了保證實驗結果的精準性,采用五折交叉驗算和網格搜索的方式來確定懲罰因子C及核函數kernel的最優(yōu)參數。懲罰因子C決定了分類器對誤分類樣本的懲罰程度,較小的C表示允許一些誤分類,較大的C表示不允許誤分類。網格搜索是一種通過在一定范圍內不斷調整參數來尋找最優(yōu)參數的方法,而交叉驗證則是一種通過將數據集劃分為訓練集和測試集來評估模型性能的方法。通過設定一組候選的懲罰因子C和核函數kernel的參數組合,對于每一組參數組合,都使用五折交叉驗證來評估該組合下的SVM模型的性能,最終選擇在驗證集上表現(xiàn)最好的一組參數組合作為最優(yōu)參數。

    具體實現(xiàn)過程為:定義懲罰因子C和核函數kernel的參數范圍,C=[0.01,0.1,1,10],kernel=[‘linear’, ‘rbf’, ‘sigmoid’]。將訓練集數據分為5份。對于每一組參數組合,使用五折交叉驗證來訓練SVM模型,計算模型在驗證集上的精度。將所有參數組合在五折交叉驗證中的平均精度計算出來,選取平均精度最高的一組參數作為最優(yōu)參數。使用最優(yōu)參數訓練SVM模型,并使用測試集來測試模型的性能。

    最終,本次實驗確定SVM模型的最佳核函數為預測的“Linear”,C為1。將 400條測試集輸入到訓練好的分類模型中。隨著訓練集樣本數由 2 000條增加至 4 400條,準確度也逐漸提高。訓練集所訓練的模型測試分類精度由 0.84提高至0.93,效果遠優(yōu)于 GBDT分類模型的分類精度 0.735。

    4.3? 實驗基線

    本研究選擇4種基線模型來進行虛假新聞檢測的任務。這4種基線模型包括:

    BERT+SVM(單文本特征):筆者使用BERT預訓練模型提取文本特征,并使用SVM分類器進行分類。該模型只考慮了文本信息,并使用了SVM分類器進行分類。

    VGG+SVM(單圖片特征):筆者使用VGG預訓練模型提取圖片特征,并使用SVM分類器進行分類。該模型只考慮了圖片信息,并使用了SVM分類器進行分類。

    BERT+VGG+SVM(多模態(tài)分類):筆者使用BERT模型提取文本特征,使用VGG模型提取圖片特征,將兩個模型的特征向量拼接起來作為SVM模型的輸入,并使用SVM分類器進行分類。該模型綜合了文本和圖片信息,并使用了SVM分類器進行分類。

    BERT+VGG+GBDT(多模態(tài)分類):筆者使用BERT預訓練模型提取文本特征,使用VGG預訓練模型提取圖片特征,并將兩者合并后使用GBDT分類器進行分類。該模型綜合了文本和圖片信息,并使用了GBDT分類器進行分類。

    這4種基線模型的選擇是基于其代表性和效果評估。其中,BERT和VGG是當前在文本和圖像領域最為流行和有效的預訓練模型,而SVM和GBDT是分類問題中表現(xiàn)較為優(yōu)秀的分類器。筆者希望通過對這4種模型的對比,能夠更好地了解不同模型在虛假新聞檢測任務中的表現(xiàn)。

    4.4? 評價指標

    為了檢驗筆者提出的基于 ERT-VGG-SVM的多模態(tài)新聞檢測模型的優(yōu)劣,采用混淆矩陣(Confusion Matrix,CM)作為模型實驗結果的評判指標。混淆矩陣見公式(4)。0是真實新聞,1是虛假新聞。TP表示虛假新聞被預測為虛假新聞的數量;FN表示虛假新聞被預測為真實新聞的數量;FP表示真實新聞被預測為虛假新聞的數量;TN表示真實新聞被預測為真實新聞的數量。如圖5所示,TP和TN較大,F(xiàn)N和FP較小。

    通過構建單文本特征、單圖像特征以及 gdbt分類模型的基線模型,在同樣的數據集下,如公式(5)—(7)所示,通過混淆矩陣得到TP、TN、FP和FN,得出精確率(Precision,P)、召回率(Recall,R)和F1值(F1-score,F(xiàn)1)。

    精確率表示模型預測為真實新聞的結果中,模型預測正確的比例,公式如下:

    召回率表示真實新聞數據中模型預測正確的比例,公式如下:

    F1值綜合精確率和召回率的結果,對二者進行加權調和平均,公式如下:

    4.5? 實驗結果

    各模型的預測分類結果見圖 6。綜合單文本特征識別結果和單圖像分類結果,從圖6中可以看出,單文本特征、單圖像特征在測試集上的精確率分別為86%、84%。單文本特征分類效果略優(yōu)于單圖像特征分類效果。結果表明,在新聞傳播過程中,文本相較于圖片更貼近人類情感,可以更為準確地表達信息含義,傳遞新聞創(chuàng)造者的思想主旨,是虛假新聞檢測的主要依據。而圖像包含更多的特性,使得單圖像模型很難在不同類型的虛假新聞中提取相同的特征,所表達的信息內容更為模糊,在情感傳遞過程中存在語義障礙,檢測過程中一般起到輔助的作用。與視覺特征相比,文本特征更具有可轉移性,從而提高單文本模型的性能。

    對比單模態(tài)檢測結果和多模態(tài)檢測結果,實驗得出多模態(tài)新聞檢測模型精確率、召回率均為93%,F(xiàn)1值為0.93。相較于單文本特征以及單圖像特征的單模態(tài)特征檢測來說,多模態(tài)新聞檢測模型在精確率、召回率和F1值上都是最優(yōu)的。由此可以推斷,多模態(tài)新聞檢測方法可以提高虛假新聞檢測的準確性,對于文本和圖片表達情感有較大差異的情況,僅分析文本或僅分析圖片,都可能對檢測結果帶來干擾。在這種情況下,將文本與圖像的特征相結合,便能更加準確識別新聞的真假。

    此外,在多模態(tài)新聞檢測模型中,使用gdbt分類器的模型精確率結果為71%,使用SVM分類器精確率結果為93%,相較于gdbt分類器的基線模型高出22%。這也驗證針對多樣本、高維數特征所選的分類器是合適的,在數據分類方面有更好的表現(xiàn)。綜合來看,多模態(tài)新聞檢測模型均優(yōu)于基準模型,其優(yōu)點主要在于利用深度學習網絡將提取的文本特征和圖像特征融合后進行統(tǒng)一識別,避免單一模態(tài)語義缺失的缺點。同時,利用支持向量機有效處理高維數據的特點,增強分類器的泛化能力,解決了模型過擬合的問題,提高模型分類的精確率。

    5? 結語

    虛假新聞的泛濫傳播已成為一個全球性的社會問題,對公眾的認知、社會輿論和政治經濟等方面產生了重要影響。多模態(tài)虛假新聞檢測是一個新興的研究領域,其重要性和研究價值正在逐步被認識和認可,多模態(tài)虛假新聞檢測技術的研究和應用,可有效地幫助公眾識別和避免虛假新聞的誤導,維護社會公正、公平和穩(wěn)定。本研究基于多模態(tài)信息融合的思想,提出一種融合BERT和VGG模型的虛假新聞檢測方法。該方法將文本和圖像信息進行有機結合,同時利用BERT模型學習文本特征和VGG模型學習圖像特征,以實現(xiàn)更加準確和可靠的虛假新聞檢測。通過實驗驗證,本研究所提出的多模態(tài)虛假新聞檢測方法準確率、召回率和F1值都優(yōu)于基準模型,證明了該方法的有效性和可行性。

    盡管本研究所提出的多模態(tài)虛假新聞檢測方法在性能和可解釋性方面都表現(xiàn)出較好的優(yōu)勢,但是仍存在一定的改進空間。①由于圖片提取特征維數過多,可能存在一些冗余信息,延緩模型運行速度,如何在兼顧準確度和性能的條件下降低特征向量的維數是后續(xù)研究的重點之一。②文本特征與圖片特征的普通拼接很可能難以充分利用多模態(tài)之間的關聯(lián),從而對分類產生一定的干擾。在后續(xù)的研究中,將采用不同的特征融合方法,揭示其對模型性能的影響,更近一步地提高新聞檢測的準確率。

    未來可以從以下幾個方面進行深入探究:①優(yōu)化模型的訓練和調參方法,以進一步提高檢測性能;②考慮更多的模態(tài)信息,如視頻和音頻等,以實現(xiàn)更全面的虛假新聞檢測;③結合領域知識,以更好地應對虛假新聞檢測中的特殊場景和問題。

    參考文獻:

    [1] 新華社.中國共產黨第二十次全國代表大會在京開幕 習近平代表第十九屆中央委員會向大會作報告[EB/OL]. [2023-01-22]. http: //www.gov.cn/xinwen/2022-10/16/content_5718884.htm. (Xinhua News Agency. Twentieth National Congress of the Communist Party of China opens in Beijing Xi Jinping reports to the Congress on behalf of the 19th Central Committee [EB/OL]. [2023-01-22]. http: //www.gov.cn/xinwen/2022-10/16/content_5718884.htm.)

    [2] ALLCOTTH, GENTZKOW M. Social media and fake news in the 2016 election[J]. Journal of economic perspectives, 2017, 31(2): 211-36.

    [3] 劉賞, 沈逸凡.基于新聞標題—正文差異性的虛假新聞檢測方法[J]. 數據分析與知識發(fā)現(xiàn), 2023, 7(2): 97-107. (LIU S, SHEN Y F. Fake news detection method based on news title-text variability[J]. Data analysis and knowledge discovery, 2023, 7(2): 97-107.)

    [4] VOSOUGHIS, ROY D, ARAL S. The spread of true and false news online[J]. science, 2018, 359(6380): 1146-1151.

    [5] GUO C, CAO J, ZHANG X, et al. Dean: learning dual emotion for fake news detection on social media[J]. arXiv e-prints, 2019: arXiv: 1903.01728.

    [6] RUCHANSKY N, SEOS, LIU Y. CSI: a hybrid deep model for fake news detection[C]//Proceedings of the 2017 ACM on conference on information and knowledge management. New York: ACM, 2017: 797-806.

    [7] 刁海倫, 王樹義, 王楠.基于多主體的微博網絡虛假信息的集中甄別方法研究[J]. 情報科學, 2016, 34(2): 37-44. (DIAO H L, WANG S Y, WANG N. Research on centralised screening method of microblogging network false information based on multi-subjects[J]. Information science, 2016, 34(2): 37-44.)

    [8] ZHOU P, HAN X, MORARIU VI, et al. Learning rich features for image manipulation detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Salt Lake City: IEEE, 2018: 1053-1061.

    [9] BOIDIDOU C, READOU K, PAPADOPOULOS S, et al. Verifying multimedia use at mediaeval 2015[M]//MediaEval 2015. Wurzen: CEUR-WS, 2015: 1436.

    [10] JIN Z, CAO J, ZHANG Y, ET AL. Novel visual and statistical image features for microblogs news verification[J]. IEEE transactions on multimedia, 2016, 19(3): 598-608.

    [11] LIU Y, WU Y F. Early detection of fake news on social media through propagation path classification with recurrent and convolutional networks[C]//Proceedings of the AAAI conference on artificial intelligence. New Orleans: AAAI, 2018: 354-361.

    [12] MIAN A, KHAN S. Coronavirus: the spread of misinformation[J]. BMC medicine, 2020, 18(1): 1-2.

    [13] 汪超.基于多模態(tài)融合的虛假新聞檢測算法研究[D]. 安徽: 安徽理工大學, 2022. (WANG C. Research on false news detection algorithm based on multimodal fusion[D]. Anhui: Anhui University of Science & Technology, 2022.)

    [14] PENG Q, JUAN C, TIANYUN Y, et al. Exploiting multi-domain visual information for fake news detection[C]//2019 IEEE international conference on data mining (ICDM). Beijing: IEEE, 2019: 518-527.

    [15] 陶霄, 朱焱, 李春平.基于注意力與多模態(tài)混合融合的謠言檢測方法[J]. 計算機工程, 2021, 47(12): 71-77. (TAO X, ZHU Y, LI C R. Rumour detection method based on attention and multimodal hybrid fusion[J]. Computer engineering, 2021, 47(12): 71-77.)

    [16] KALIYAR R K, GOSWAMI A, NARANG P, et al. FNDNet–A deep convolutional neural network for fake news detection[J]. Cognitive systems research, 2020, 61: 32-44.

    [17] DEEPAK S, CHITTURI B. Deep neural approach to Fake-News identification[J]. Procedia computer science, 2020, 167: 2236-2243.

    [18] GOLDANI M H, SAFABAKHSH R, MOMTAZI S. Convolutional neural network with margin loss for fake news detection[J]. Information processing & management, 2021, 58(1): 102418.

    [19] SAHOO S R, Gupta B B. Multiple features based approach for automatic fake news detection on social networks using deep learning[J]. Applied soft computing, 2021, 100: 106983.

    [20] HAKAK S, ALAZAB M, KHAN S, et al. An ensemble machine learning approach through effective feature extraction to classify fake news[J]. Future generation computer systems, 2021, 117: 47-58.

    [21] KHATTAR D, GOUD J S, GUPTA M, et al. Mvae: Multimodal variational autoencoder for fake news detection[C]//The world wide Web conference. New York: Association for Computing Machinery, 2019: 2915-2921.

    [22] QI P, CAO J, YANG T, et al. Exploiting multi-domain visual information for fake news detection[C]//2019 IEEE international conference on data mining (ICDM). Beijing: IEEE, 2019: 518-527.

    [23] 亓鵬, 曹娟, 盛強.語義增強的多模態(tài)虛假新聞檢測[J]. 計算機研究與發(fā)展, 2021, 58(7): 1456-1465. (QI P, CAO J, SHENG Q. Semantic enhancement for multimodal fake news detection[J]. Journal of computer research and development, 2021, 58(7): 1456-1465.)

    作者貢獻說明:

    曾江峰:提出研究思路,設計研究方案;

    王? 蕊:撰寫論文;

    黎欣雨:爬取、采集、清洗和分析數據;

    馬? 霄:負責進行實驗。

    Research on Multimodal Fake News Detection Method Based on BERT and VGG Models

    Zeng Jiangfeng1? Wang Rui1? Li Xinyu2? Ma Xiao2

    1School of Information Management, Central China Normal University, Wuhan 430079

    2School of Information and Security Engineering, Zhongnan University of Economics and Law, Wuhan 430073

    Abstract: [Purpose/Significance] The aim is to solve the current problems of the proliferation of fake news, low accuracy and low intelligence of automatic fake news detection by integrating BERT and VGG models. [Method/Process] BERT and VGG models were uesd to separate the graphics and texts in the news and convert them into feature vector sets, and the feature fusion was carried out. The SVM model was used to design a classifier to achieve multi-modal fake news detection and identification. [Result/Conclusion] The empirical result shows that the F1 value of the experimental dataset reaches 93%, which is 7 percentage points and 9 percentage points higher than that of the BERT and VGG models alone, indicating that the combination of the two models has good detection accuracy and recall rate, and can effectively detect fake news.

    Keywords: fake news detection? ? feature extraction? ? feature fusion? ? multimodal analysis

    基金項目:教育部人文社會科學研究項目青年基金項目“情境大數據驅動的社交媒體虛假信息識別模型與治理策略研究”(項目編號:21YJC870002)、湖北省自然科學基金一般面上項目“基于多層語義融合的多模態(tài)社交媒體虛假信息檢測研究”(項目編號:2023AFB1018)和武漢市知識創(chuàng)新專項項目曙光計劃項目“多源知識驅動的社交媒體虛假新聞檢測研究”(項目編號:2022010801020287)研究成果之一。

    作者簡介:曾江峰,講師,博士;王蕊,博士研究生,通信作者,E-mail:471133151@qq.com;黎欣雨,碩士研究生;馬霄,講師,博士。

    收稿日期:2023-08-29? ? ? ? 發(fā)表日期:2023-12-21? ? ? ? 本文責任編輯:劉遠穎

    猜你喜歡
    特征融合特征提取
    基于Gazebo仿真環(huán)境的ORB特征提取與比對的研究
    電子制作(2019年15期)2019-08-27 01:12:00
    基于Daubechies(dbN)的飛行器音頻特征提取
    電子制作(2018年19期)2018-11-14 02:37:08
    基于多特征融合的圖像匹配算法
    軟件導刊(2017年7期)2017-09-05 06:27:00
    人體行為特征融合與行為識別的分析
    基于移動端的樹木葉片識別方法的研究
    科技資訊(2017年11期)2017-06-09 18:28:13
    基于SIFT特征的港口內艦船檢測方法
    融合整體與局部特征的車輛型號識別方法
    一種基于LBP 特征提取和稀疏表示的肝病識別算法
    基于DSP的直線特征提取算法
    基于MATLAB的道路交通標志識別
    eeuss影院久久| 亚洲av电影在线进入| 一边摸一边抽搐一进一小说| 亚洲精品乱码久久久v下载方式 | 午夜免费观看网址| 偷拍熟女少妇极品色| 亚洲黑人精品在线| 熟女人妻精品中文字幕| 国产 一区 欧美 日韩| 欧美绝顶高潮抽搐喷水| 国产乱人视频| 国产91精品成人一区二区三区| 两个人视频免费观看高清| 国产欧美日韩一区二区精品| 亚洲精品乱码久久久v下载方式 | 69av精品久久久久久| 成人av在线播放网站| 中文字幕人妻熟人妻熟丝袜美 | 变态另类丝袜制服| 久久久久九九精品影院| 国产又黄又爽又无遮挡在线| 全区人妻精品视频| 欧美av亚洲av综合av国产av| 男女之事视频高清在线观看| 免费在线观看成人毛片| 99热这里只有精品一区| 国产午夜精品论理片| 久久精品人妻少妇| 美女高潮喷水抽搐中文字幕| 十八禁人妻一区二区| 亚洲不卡免费看| 内射极品少妇av片p| 午夜免费成人在线视频| 18禁在线播放成人免费| 首页视频小说图片口味搜索| 欧美日本视频| 少妇人妻一区二区三区视频| 欧美成人性av电影在线观看| 国产久久久一区二区三区| 老司机深夜福利视频在线观看| 97碰自拍视频| 亚洲性夜色夜夜综合| 国产美女午夜福利| 高潮久久久久久久久久久不卡| 欧美最新免费一区二区三区 | 97超视频在线观看视频| 午夜福利在线观看吧| 蜜桃亚洲精品一区二区三区| 内射极品少妇av片p| 男女午夜视频在线观看| 香蕉丝袜av| 久久久久性生活片| 一个人看视频在线观看www免费 | 国产在线精品亚洲第一网站| 日本黄色视频三级网站网址| 日韩欧美一区二区三区在线观看| 欧美xxxx黑人xx丫x性爽| 精品久久久久久成人av| 又紧又爽又黄一区二区| 男女床上黄色一级片免费看| 女警被强在线播放| 国产精品亚洲美女久久久| av天堂在线播放| 亚洲av电影在线进入| 很黄的视频免费| 天堂影院成人在线观看| 久久国产精品影院| 国产欧美日韩一区二区三| 男女视频在线观看网站免费| 亚洲avbb在线观看| 国产精品亚洲一级av第二区| 日本精品一区二区三区蜜桃| 国产麻豆成人av免费视频| 亚洲av中文字字幕乱码综合| 免费看a级黄色片| or卡值多少钱| 欧美日韩亚洲国产一区二区在线观看| 色老头精品视频在线观看| 亚洲人成网站在线播放欧美日韩| 午夜免费观看网址| 最近在线观看免费完整版| 欧美一级a爱片免费观看看| 国产午夜福利久久久久久| 深夜精品福利| 免费在线观看亚洲国产| www日本在线高清视频| 国产成人系列免费观看| 亚洲国产精品成人综合色| 久久草成人影院| 国产亚洲精品一区二区www| av中文乱码字幕在线| 噜噜噜噜噜久久久久久91| 国产日本99.免费观看| 韩国av一区二区三区四区| 国产一区二区三区视频了| 99热只有精品国产| 午夜激情欧美在线| 又黄又爽又免费观看的视频| 高清日韩中文字幕在线| 亚洲欧美日韩高清专用| 可以在线观看毛片的网站| 亚洲 国产 在线| or卡值多少钱| 老司机福利观看| 99久久九九国产精品国产免费| 日韩欧美一区二区三区在线观看| 男人的好看免费观看在线视频| xxx96com| 日韩欧美 国产精品| 哪里可以看免费的av片| 美女高潮的动态| 无限看片的www在线观看| 18禁黄网站禁片免费观看直播| 欧美成人性av电影在线观看| 淫妇啪啪啪对白视频| 亚洲中文字幕一区二区三区有码在线看| 一二三四社区在线视频社区8| 欧美色视频一区免费| 人妻丰满熟妇av一区二区三区| 亚洲一区二区三区色噜噜| 麻豆国产97在线/欧美| 亚洲欧美激情综合另类| 国内精品一区二区在线观看| 国产91精品成人一区二区三区| 高清毛片免费观看视频网站| 亚洲国产日韩欧美精品在线观看 | www.熟女人妻精品国产| 日韩欧美 国产精品| 最近视频中文字幕2019在线8| 国产97色在线日韩免费| 国产毛片a区久久久久| 男女做爰动态图高潮gif福利片| 免费看十八禁软件| 亚洲av中文字字幕乱码综合| eeuss影院久久| 18禁裸乳无遮挡免费网站照片| 亚洲在线自拍视频| 午夜影院日韩av| 日韩av在线大香蕉| 中文字幕久久专区| 神马国产精品三级电影在线观看| 日本a在线网址| 日韩欧美在线二视频| 亚洲成人免费电影在线观看| 精品久久久久久久毛片微露脸| 精品一区二区三区视频在线 | 国产三级中文精品| 变态另类丝袜制服| 熟女少妇亚洲综合色aaa.| 国产精品亚洲一级av第二区| 成人特级黄色片久久久久久久| 中文字幕人妻丝袜一区二区| 中文字幕精品亚洲无线码一区| 特级一级黄色大片| 国产不卡一卡二| 日韩高清综合在线| 国产av麻豆久久久久久久| 国产男靠女视频免费网站| 欧美zozozo另类| 两个人看的免费小视频| 亚洲乱码一区二区免费版| 欧美在线一区亚洲| 麻豆一二三区av精品| 色在线成人网| 天天躁日日操中文字幕| 一级毛片女人18水好多| 2021天堂中文幕一二区在线观| 亚洲黑人精品在线| 天堂av国产一区二区熟女人妻| 久久国产乱子伦精品免费另类| 一个人观看的视频www高清免费观看| 九色国产91popny在线| 又粗又爽又猛毛片免费看| 午夜亚洲福利在线播放| 国产精品一区二区免费欧美| 在线视频色国产色| 欧美色视频一区免费| 无限看片的www在线观看| 中文字幕人成人乱码亚洲影| 好男人在线观看高清免费视频| 国产午夜精品论理片| 搡女人真爽免费视频火全软件 | 内地一区二区视频在线| 好男人电影高清在线观看| av在线天堂中文字幕| 欧美中文综合在线视频| 最好的美女福利视频网| 一本久久中文字幕| netflix在线观看网站| 国产一区在线观看成人免费| 亚洲人成电影免费在线| 精品国内亚洲2022精品成人| 久久精品夜夜夜夜夜久久蜜豆| 俺也久久电影网| 久久久久久久久中文| www日本黄色视频网| 美女cb高潮喷水在线观看| 中文资源天堂在线| 黄片小视频在线播放| 亚洲人成伊人成综合网2020| 国内精品美女久久久久久| 免费大片18禁| 精品国内亚洲2022精品成人| 亚洲激情在线av| 欧美日韩一级在线毛片| av福利片在线观看| 成年女人永久免费观看视频| 久久伊人香网站| 悠悠久久av| 两个人视频免费观看高清| 精品一区二区三区av网在线观看| 国产高清激情床上av| av女优亚洲男人天堂| 国产亚洲精品综合一区在线观看| 免费电影在线观看免费观看| 国产成人av教育| 婷婷精品国产亚洲av| 国产av不卡久久| 欧美一级毛片孕妇| 每晚都被弄得嗷嗷叫到高潮| 天天躁日日操中文字幕| 搡老熟女国产l中国老女人| 搡女人真爽免费视频火全软件 | 色哟哟哟哟哟哟| 国产伦人伦偷精品视频| 国产探花在线观看一区二区| 欧美bdsm另类| 在线免费观看不下载黄p国产 | 两性午夜刺激爽爽歪歪视频在线观看| 高清日韩中文字幕在线| 国产日本99.免费观看| 亚洲中文字幕日韩| 啪啪无遮挡十八禁网站| 好看av亚洲va欧美ⅴa在| 久久中文看片网| 最新在线观看一区二区三区| 国产爱豆传媒在线观看| 国模一区二区三区四区视频| 中文资源天堂在线| 琪琪午夜伦伦电影理论片6080| 两人在一起打扑克的视频| 熟女电影av网| 成人午夜高清在线视频| 午夜视频国产福利| 美女黄网站色视频| 黄色丝袜av网址大全| 欧美又色又爽又黄视频| 欧美色视频一区免费| 757午夜福利合集在线观看| 少妇的逼好多水| 精品日产1卡2卡| 久久久久久九九精品二区国产| 男女之事视频高清在线观看| 99久久精品一区二区三区| 午夜福利成人在线免费观看| 夜夜看夜夜爽夜夜摸| 天美传媒精品一区二区| 欧美乱码精品一区二区三区| 天堂√8在线中文| 精品99又大又爽又粗少妇毛片 | 全区人妻精品视频| 一个人观看的视频www高清免费观看| 中文字幕高清在线视频| 有码 亚洲区| 国产av一区在线观看免费| 亚洲乱码一区二区免费版| 一本一本综合久久| 精品不卡国产一区二区三区| 超碰av人人做人人爽久久 | 九九久久精品国产亚洲av麻豆| 国产成人av教育| 99视频精品全部免费 在线| 69人妻影院| 看片在线看免费视频| 国产精品久久久人人做人人爽| 久久久久性生活片| 久久久久亚洲av毛片大全| 午夜老司机福利剧场| 伊人久久精品亚洲午夜| 极品教师在线免费播放| 免费在线观看日本一区| 黄片小视频在线播放| 人妻久久中文字幕网| 亚洲精品亚洲一区二区| 成人性生交大片免费视频hd| 午夜福利在线观看免费完整高清在 | 乱人视频在线观看| 看片在线看免费视频| 国产私拍福利视频在线观看| 国产精品久久电影中文字幕| 亚洲欧美日韩无卡精品| 美女 人体艺术 gogo| 欧美区成人在线视频| 久久久久久久精品吃奶| 特级一级黄色大片| 国产伦人伦偷精品视频| 久久精品国产亚洲av涩爱 | 午夜福利18| 真人一进一出gif抽搐免费| 又紧又爽又黄一区二区| 欧美成人一区二区免费高清观看| 人人妻人人看人人澡| 午夜福利18| 国产av在哪里看| 国产真人三级小视频在线观看| 俄罗斯特黄特色一大片| 午夜福利成人在线免费观看| 亚洲最大成人中文| 婷婷六月久久综合丁香| 久久午夜亚洲精品久久| 真人做人爱边吃奶动态| 每晚都被弄得嗷嗷叫到高潮| 叶爱在线成人免费视频播放| 亚洲一区高清亚洲精品| 婷婷精品国产亚洲av| 久久久久久久久久黄片| 很黄的视频免费| 少妇熟女aⅴ在线视频| 国产伦精品一区二区三区视频9 | 日本黄色片子视频| 欧美不卡视频在线免费观看| 国产免费av片在线观看野外av| 嫩草影院入口| 欧美日韩瑟瑟在线播放| 成人午夜高清在线视频| 757午夜福利合集在线观看| 免费观看人在逋| 看黄色毛片网站| 老汉色av国产亚洲站长工具| 日韩大尺度精品在线看网址| 亚洲熟妇熟女久久| 午夜精品一区二区三区免费看| 热99在线观看视频| 婷婷丁香在线五月| 欧美bdsm另类| 精品久久久久久成人av| 九九久久精品国产亚洲av麻豆| 91麻豆av在线| 欧美bdsm另类| 成人亚洲精品av一区二区| 亚洲国产精品999在线| 日本撒尿小便嘘嘘汇集6| 日韩欧美国产一区二区入口| 成人无遮挡网站| 亚洲无线观看免费| 99国产极品粉嫩在线观看| 老汉色∧v一级毛片| 深夜精品福利| 精品久久久久久久末码| 精品日产1卡2卡| 色哟哟哟哟哟哟| 久久天躁狠狠躁夜夜2o2o| 脱女人内裤的视频| 久久精品国产自在天天线| 国产精品嫩草影院av在线观看 | 国产一区在线观看成人免费| 精品免费久久久久久久清纯| xxx96com| 亚洲美女黄片视频| 欧美黑人巨大hd| 麻豆一二三区av精品| 天堂动漫精品| 内地一区二区视频在线| 成人国产一区最新在线观看| 一个人观看的视频www高清免费观看| 国产精品一区二区免费欧美| 在线视频色国产色| 免费看十八禁软件| 免费观看精品视频网站| 每晚都被弄得嗷嗷叫到高潮| 舔av片在线| 国产色爽女视频免费观看| 欧美日本亚洲视频在线播放| 男人的好看免费观看在线视频| 国产伦在线观看视频一区| 久久久久久久久久黄片| 婷婷丁香在线五月| 精品人妻偷拍中文字幕| 一边摸一边抽搐一进一小说| 看免费av毛片| 亚洲人与动物交配视频| 岛国在线观看网站| 亚洲自拍偷在线| 久久久国产精品麻豆| 黄色丝袜av网址大全| 欧美一区二区精品小视频在线| 日日干狠狠操夜夜爽| 亚洲无线观看免费| 深夜精品福利| 欧美一级毛片孕妇| 亚洲人成网站在线播放欧美日韩| 最好的美女福利视频网| 欧美区成人在线视频| 91久久精品电影网| 久久久久久大精品| 欧美中文日本在线观看视频| 色老头精品视频在线观看| 国产一区二区在线观看日韩 | 在线观看午夜福利视频| a级一级毛片免费在线观看| 少妇丰满av| 女警被强在线播放| 在线a可以看的网站| 在线观看美女被高潮喷水网站 | 欧美中文日本在线观看视频| 亚洲中文字幕一区二区三区有码在线看| 男女之事视频高清在线观看| 99精品在免费线老司机午夜| 欧美bdsm另类| 一级黄片播放器| 日本黄色视频三级网站网址| 欧美在线一区亚洲| 在线观看舔阴道视频| 国产一区二区激情短视频| 亚洲国产中文字幕在线视频| 午夜福利欧美成人| 最新美女视频免费是黄的| 国产成年人精品一区二区| 怎么达到女性高潮| 综合色av麻豆| 欧美日韩瑟瑟在线播放| 精品久久久久久久末码| 国产午夜福利久久久久久| 成人性生交大片免费视频hd| 国产av在哪里看| 精品午夜福利视频在线观看一区| 香蕉av资源在线| 国产精品永久免费网站| 国产av不卡久久| 午夜视频国产福利| av在线天堂中文字幕| 一个人看视频在线观看www免费 | 又粗又爽又猛毛片免费看| 国产日本99.免费观看| 成人三级黄色视频| 久久伊人香网站| 岛国视频午夜一区免费看| 99热精品在线国产| 欧美性猛交╳xxx乱大交人| 欧美精品啪啪一区二区三区| 国产精品久久视频播放| 三级国产精品欧美在线观看| 免费在线观看亚洲国产| 国产成人系列免费观看| 国产探花在线观看一区二区| 九九热线精品视视频播放| 香蕉久久夜色| 色播亚洲综合网| 夜夜看夜夜爽夜夜摸| 麻豆成人午夜福利视频| av中文乱码字幕在线| 99久国产av精品| 免费av毛片视频| 淫妇啪啪啪对白视频| 国产一区二区亚洲精品在线观看| 欧美黄色淫秽网站| 成人av一区二区三区在线看| 亚洲成a人片在线一区二区| 18禁黄网站禁片免费观看直播| 少妇的丰满在线观看| 成人国产一区最新在线观看| 亚洲欧美日韩卡通动漫| 51午夜福利影视在线观看| 国产成人av激情在线播放| 亚洲欧美日韩无卡精品| 精品一区二区三区视频在线 | 男人和女人高潮做爰伦理| 国产乱人视频| 欧美极品一区二区三区四区| 黄片小视频在线播放| 波多野结衣巨乳人妻| 午夜福利免费观看在线| 欧美日韩国产亚洲二区| 久久天躁狠狠躁夜夜2o2o| 99久久久亚洲精品蜜臀av| 亚洲人成伊人成综合网2020| 欧美bdsm另类| 精品一区二区三区av网在线观看| 久久久精品欧美日韩精品| 亚洲最大成人中文| 高清毛片免费观看视频网站| 日韩人妻高清精品专区| 校园春色视频在线观看| 91麻豆精品激情在线观看国产| av福利片在线观看| 欧美色视频一区免费| 国产av在哪里看| 久久伊人香网站| 亚洲内射少妇av| 欧美乱色亚洲激情| 黄片大片在线免费观看| 欧美+亚洲+日韩+国产| 蜜桃亚洲精品一区二区三区| 美女黄网站色视频| 搡老熟女国产l中国老女人| 免费搜索国产男女视频| 精品一区二区三区视频在线观看免费| 成年免费大片在线观看| 在线观看一区二区三区| 日日夜夜操网爽| 天美传媒精品一区二区| av福利片在线观看| 非洲黑人性xxxx精品又粗又长| 日韩 欧美 亚洲 中文字幕| 级片在线观看| 亚洲狠狠婷婷综合久久图片| 一个人看的www免费观看视频| 最近在线观看免费完整版| 亚洲精品一区av在线观看| 久久伊人香网站| 老汉色av国产亚洲站长工具| 一区二区三区国产精品乱码| 欧美成人a在线观看| 全区人妻精品视频| 女警被强在线播放| 草草在线视频免费看| 99精品在免费线老司机午夜| а√天堂www在线а√下载| 麻豆成人av在线观看| 99精品久久久久人妻精品| 3wmmmm亚洲av在线观看| 国产探花在线观看一区二区| 亚洲欧美一区二区三区黑人| 人妻夜夜爽99麻豆av| 亚洲欧美精品综合久久99| 在线免费观看的www视频| 亚洲一区二区三区不卡视频| av视频在线观看入口| av福利片在线观看| 久久久久性生活片| 欧美午夜高清在线| 国产激情偷乱视频一区二区| 丝袜美腿在线中文| ponron亚洲| 午夜福利成人在线免费观看| 长腿黑丝高跟| 亚洲最大成人中文| 国产欧美日韩一区二区精品| 美女大奶头视频| 精品久久久久久久久久免费视频| 超碰av人人做人人爽久久 | 女人十人毛片免费观看3o分钟| 国产一级毛片七仙女欲春2| 欧美中文日本在线观看视频| 国产成年人精品一区二区| 国产av麻豆久久久久久久| 最近视频中文字幕2019在线8| 亚洲人成网站在线播放欧美日韩| 欧美色欧美亚洲另类二区| 国产欧美日韩一区二区三| 国产熟女xx| 桃红色精品国产亚洲av| 色在线成人网| 怎么达到女性高潮| 色播亚洲综合网| 日本免费一区二区三区高清不卡| 成人18禁在线播放| 极品教师在线免费播放| 成人特级黄色片久久久久久久| 久久精品国产99精品国产亚洲性色| 亚洲av美国av| 看片在线看免费视频| 99国产综合亚洲精品| 又紧又爽又黄一区二区| 99久久精品国产亚洲精品| 岛国视频午夜一区免费看| 国产免费男女视频| 久9热在线精品视频| 久久精品国产自在天天线| 一级毛片高清免费大全| 十八禁人妻一区二区| 午夜影院日韩av| 午夜精品一区二区三区免费看| 亚洲aⅴ乱码一区二区在线播放| 国产爱豆传媒在线观看| 久久伊人香网站| 国内毛片毛片毛片毛片毛片| 欧美日韩黄片免| 人妻久久中文字幕网| 国产三级黄色录像| av福利片在线观看| 成人鲁丝片一二三区免费| 99热只有精品国产| 国产精品国产高清国产av| 亚洲成人久久爱视频| 国产精品久久久人人做人人爽| 欧美日韩国产亚洲二区| av女优亚洲男人天堂| 搡女人真爽免费视频火全软件 | 少妇的逼好多水| 老司机在亚洲福利影院| 精品无人区乱码1区二区| 免费电影在线观看免费观看| 少妇熟女aⅴ在线视频| 国产真实乱freesex| 国产欧美日韩一区二区三| 一个人看视频在线观看www免费 | 在线观看一区二区三区| 一级毛片高清免费大全| 国产成人影院久久av| 91av网一区二区| 一区二区三区国产精品乱码| a在线观看视频网站| 中文字幕人成人乱码亚洲影| a级一级毛片免费在线观看| 免费看十八禁软件| av国产免费在线观看| 18+在线观看网站| 亚洲国产精品成人综合色| 亚洲精品一区av在线观看| 中文字幕久久专区| 欧美在线一区亚洲| 国产野战对白在线观看| 99热精品在线国产| 18美女黄网站色大片免费观看|