• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    深度學(xué)習(xí)方法在地震事件分類中的應(yīng)用及可解釋性研究

    2023-12-10 23:46:05路曉辰楊立明楊興悅王祖東王維歡高永國(guó)尹欣欣
    地震工程學(xué)報(bào) 2023年2期
    關(guān)鍵詞:解釋性波形準(zhǔn)確率

    路曉辰 楊立明 楊興悅 王祖東 王維歡 高永國(guó) 尹欣欣

    摘要:

    采用2016—2020年福建臺(tái)網(wǎng)所記錄的爆破和天然地震事件以及背景噪聲數(shù)據(jù)集,使用CNN模型、Inception10模型、ResNet18模型和Vgg16模型4種深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行分類研究。針對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)模型的“黑盒”問(wèn)題,將梯度類激活映射(Gradient-weighted Class Activation Mapping,Grad-CAM)算法引入這4種分類模型中,得到每個(gè)模型的可視化圖。通過(guò)可視化圖可以直觀地看出模型在做出分類決策時(shí)對(duì)于不同波形特征的依賴權(quán)重,為模型的可解釋性提供依據(jù),進(jìn)而提高模型的可信度。通過(guò)對(duì)模型的可視化圖分析得出,分類效果更好的CNN模型和Vgg16模型在做出決策時(shí)更依賴于地震波形的震相特征,對(duì)于震前和震后的波段關(guān)注較小;而ResNet18模型和Inception10模型對(duì)于震相特征的關(guān)注不夠敏銳。通過(guò)Grad-CAM算法對(duì)模型進(jìn)行可視化分析得到的結(jié)果能夠很好地反映模型的分類效果,對(duì)于改進(jìn)和選擇合適的分類模型具有重要意義。

    關(guān)鍵詞:

    可解釋性; Grad-CAM算法; 爆破事件分類; 深度學(xué)習(xí)

    中圖分類號(hào): P315.63????? 文獻(xiàn)標(biāo)志碼:A?? 文章編號(hào): 1000-0844(2023)02-0474-09

    DOI:10.20000/j.1000-0844.20220926001

    Application and interpretability of deep learning

    methods in seismic event classification

    LU Xiaochen1,2, YANG Liming3, YANG Xingyue2, WANG Zudong2,

    WANG Weihuan2, GAO Yongguo2, YIN Xinxin2

    (1. Lanzhou Institute of Seismology, CEA, Lanzhou 730000, Gansu, China;

    2. Gansu Earthquake Agency, Lanzhou 730000, Gansu, China;

    3. Qinghai Earthquake Agency, Xining 810000, Qinghai, China)

    Abstract:

    In this paper, four deep learning network models, i.e., the CNN, ResNet18, Vgg16, and Inception10 models, were used to classify blasting and seismic events, and the dataset used blasting events and natural seismic events recorded by the Fujian station network from 2016 to 2020. The gradient-weighted class activation mapping (Grad-CAM) algorithm was introduced into the four classification models to address the “black box” problem of deep learning network models, and a visualization of each model was obtained. The visualization diagram provides an intuitive view of the model's reliance weights for different waveform features when making classification decisions, thus providing a basis for the models interpretability and improving its credibility. Analysis of the visualization diagram shows that the CNN and Vgg16 models with better classification effects rely more on the seismic phase characteristics of seismic waveforms when making decisions and pay less attention to the pre-earthquake and post-earthquake bands. In contrast, the ResNet18 and Inception10 models are insufficiently sensitive to the seismic phase characteristics. The results obtained from a visual analysis of the models through the Grad-CAM algorithm well reflect the classification effect of the models, which is important for improving the models and selecting an appropriate classification model.

    Keywords:

    interpretability; Grad-CAM algorithm; classification of blasting events; deep learning

    0 引言

    從創(chuàng)建地震災(zāi)害的構(gòu)造事件目錄到監(jiān)測(cè)核爆炸,區(qū)分爆炸和地震仍然是地震學(xué)中的一項(xiàng)重要任務(wù)。由于爆破和地震事件的波形具有相似性,如果人工區(qū)分較多的爆破和地震事件需要花費(fèi)大量的時(shí)間,而且區(qū)分過(guò)程中個(gè)人的主觀性比較強(qiáng)。傳統(tǒng)方法主要通過(guò)提取震相特征去區(qū)分爆破和天然地震事件,比如提取波形數(shù)據(jù)的初動(dòng)方向、P波和S波最大振幅比、尾波衰減等特征[1-3],或者使用傅里葉變換、小波變換等方法提取波形數(shù)據(jù)的頻域信息進(jìn)行分析[4-5]。區(qū)分爆破和天然地震事件的傳統(tǒng)方法只是提取了事件波形中的部分特征,然后通過(guò)單個(gè)或多個(gè)震相特征去分類地震事件,這些方法會(huì)造成震相特征的損失,不能夠?qū)⒄麄€(gè)波形的特征利用起來(lái),從而會(huì)降低分類精度。最近深度學(xué)習(xí)在地震學(xué)各個(gè)領(lǐng)域應(yīng)用廣泛,例如應(yīng)用在到時(shí)拾取、地震事件分類、地震目錄的構(gòu)建等。2020年Mousavi等[6]提出EQTransformer深度學(xué)習(xí)模型,用于同時(shí)進(jìn)行地震檢測(cè)和相位選取。通過(guò)使用分層注意力機(jī)制,結(jié)合地震信號(hào)的相位和全波形的信息,提高了每個(gè)單獨(dú)任務(wù)的模型性能。2021年趙明等[7]將PhaseNet震相識(shí)別算法、REAL震相自動(dòng)關(guān)聯(lián)技術(shù)與傳統(tǒng)定位技術(shù)VELEST和HYPODD相結(jié)合,自動(dòng)構(gòu)建長(zhǎng)寧地震前震目錄。2022年高永國(guó)等[8]使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)方法搭建兩個(gè)不同的模型,對(duì)甘肅地區(qū)的地震事件和爆破事件進(jìn)行了分類研究。

    雖然深度學(xué)習(xí)廣泛應(yīng)用于地震學(xué)研究、圖片分類、自然語(yǔ)言處理及目標(biāo)識(shí)別等領(lǐng)域,而且具有其獨(dú)特的優(yōu)勢(shì),但是深度學(xué)習(xí)網(wǎng)絡(luò)模型作為一個(gè)黑盒模型缺乏可解釋性,研究人員無(wú)法理解深度學(xué)習(xí)模型如何做出決策,限制了深度學(xué)習(xí)的應(yīng)用和發(fā)展[9]。對(duì)于一些分類任務(wù)來(lái)說(shuō),較高的識(shí)別率并不代表模型能夠正確地捕捉到目標(biāo)本身的特征。在文獻(xiàn)[10]中提到了華盛頓大學(xué)所做的一項(xiàng)實(shí)驗(yàn),華盛頓大學(xué)曾通過(guò)創(chuàng)建一個(gè)分類器來(lái)識(shí)別哈士奇與狼,但實(shí)際上模型是依據(jù)背景中是否存在積雪來(lái)做出的決策,而不是通過(guò)哈士奇和狼的本身特征來(lái)進(jìn)行識(shí)別的。對(duì)于應(yīng)用到地震事件分類中的模型來(lái)說(shuō),模型可能關(guān)注的主要特征為事件的位置和時(shí)間信息,而不是波形的真正鑒別特征,如初至波、波峰和尾波[11]。所以在爆破事件的分類研究中,加入對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)模型的可解釋性分析具有重要的意義。隨著可解釋性方法的不斷提出和發(fā)展,深度學(xué)習(xí)的可解釋性研究已經(jīng)應(yīng)用于多個(gè)領(lǐng)域。Zhang等[12]提出MDNet模型,該模型在醫(yī)學(xué)圖像和診斷報(bào)告之間建立直接的多模態(tài)映射,而且可以將診斷報(bào)告的決策依據(jù)進(jìn)行可視化。李瑋杰等[13]利用歸因方法進(jìn)行雷達(dá)圖像深度學(xué)習(xí)模型的可解釋性研究。目前,在地震學(xué)中對(duì)于深度學(xué)習(xí)的可解釋性研究較少。

    本文使用了4種深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行爆破和天然地震事件的分類,而且將梯度類激活映射(Gradient-weighted Class Activation Mapping,Grad-CAM)算法引入到分類模型中,嘗試解決地震事件分類模型的“黑盒問(wèn)題”。通過(guò)加入分類模型的可解釋性研究,提高了模型的可信度,建立了人與機(jī)器之間的信任,推動(dòng)了深度學(xué)習(xí)應(yīng)用到實(shí)際的地震事件分類工作中去。可解釋性研究提高了模型的透明度,通過(guò)可視化圖可以了解到模型學(xué)習(xí)到的震相特征,為選擇模型、診斷模型、修改模型及應(yīng)用模型提供了依據(jù)。

    1 數(shù)據(jù)與方法介紹

    1.1 數(shù)據(jù)集

    本研究選取2016—2020年福建臺(tái)網(wǎng)所記錄的爆破事件和天然地震事件,從中去篩選其中的爆破事件和天然地震事件。截取每個(gè)事件的三通道波形,波形的開(kāi)始時(shí)間為最近臺(tái)站P波到時(shí)的前2 s。每個(gè)通道截取20 s波形,波形采樣率為100 Hz,每段波形取2 000個(gè)點(diǎn)。選取每個(gè)事件震中距較小的臺(tái)站,以保證在20 s的時(shí)間窗中能完整記錄P波和S波。經(jīng)過(guò)篩選得到9 794個(gè)天然地震三分量波形和5 244個(gè)爆破三分量波形,并加入7 000條三分量噪聲數(shù)據(jù)。最后對(duì)所有的波形數(shù)據(jù)進(jìn)行歸一化處理。隨機(jī)打亂數(shù)據(jù)集的順序,將前20 000條三分量波形作為訓(xùn)練集,剩余2 038條三分量波形作為驗(yàn)證集。最終得到的訓(xùn)練集包括8 914個(gè)天然地震三分量波形,6 317個(gè)噪聲數(shù)據(jù),4 769個(gè)爆破數(shù)據(jù)。將沒(méi)有加入訓(xùn)練集的2 038條三分量波形作為驗(yàn)證集,驗(yàn)證集包括880個(gè)天然地震數(shù)據(jù),683個(gè)噪聲數(shù)據(jù)和475個(gè)爆破數(shù)據(jù)。

    1.2 深度學(xué)習(xí)模型

    本文采用4種深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行地震事件和爆破事件的分類,包括CNN模型、ResNet 18模型、Inception 10和Vgg16模型(圖1)。

    CNN模型主要包含5層二維卷積層,卷積核大小為3×1,卷積深度依次為16、32、64、128、256。模型的輸入尺寸為2 000×1×3,模型使用卷積神經(jīng)網(wǎng)絡(luò)從輸入的三分量波形中自動(dòng)提取特征。通過(guò)CNN(卷積神經(jīng)網(wǎng)絡(luò))層提取的特征被FC(全連接)層扁平化為100個(gè)特征,然后通過(guò)最后的全連接層進(jìn)行分類。

    ResNet模型利用殘差結(jié)構(gòu)解決了深度網(wǎng)絡(luò)出現(xiàn)的梯度消失、梯度爆炸等模型退化問(wèn)題[14]。ResNet模型選取經(jīng)典的ResNet 18模型,一共使用4個(gè)殘差塊,每個(gè)殘差塊具有兩個(gè)3×3卷積,模型主要包括17個(gè)卷積層和1個(gè)全連接層。

    Inception結(jié)構(gòu)能夠增加網(wǎng)絡(luò)的深度及寬度,而且減少了模型的訓(xùn)練參數(shù)個(gè)數(shù),解決了深度網(wǎng)絡(luò)計(jì)算參數(shù)過(guò)多造成的過(guò)擬合和梯度消失等問(wèn)題,從而提升了模型的性能[15]。Inception10模型主要采用Inception-v1模塊,具有1×1、3×3和5×5三種卷積核。

    Vgg16模型包含13個(gè)卷積層和3個(gè)全連接層[16]。整個(gè)網(wǎng)絡(luò)都使用3×3的卷積核尺寸和2×2的最大池化尺寸。

    1.3 Grad-CAM算法

    為了解決深度學(xué)習(xí)網(wǎng)絡(luò)模型的可解釋性問(wèn)題,學(xué)者們提出了很多解決方法??山忉屝苑椒梢苑譃槭虑翱山忉屝苑椒ê褪潞罂山忉屝苑椒āJ虑翱山忉屝灾改P捅旧砭邆浣忉屇芰?,事后可解釋性指使用特定方法去解釋訓(xùn)練好的模型。曾春艷等[17]將深度學(xué)習(xí)可解釋方法總結(jié)為自解釋模型、特定模型解釋方法、不可知模型解釋方法及因果可解釋性4大類。

    自解釋模型指本身具有可解釋性的模型。典型的自解釋模型有線性回歸模型[18]和決策樹(shù)模型。特定模型解釋方法通過(guò)研究模型的內(nèi)部結(jié)構(gòu)和參數(shù)來(lái)解釋模型,主要方法有激活最大化方法、基于梯度解釋方法及類激活映射方法。Erhan等[19]2009年提出了激活最大化分析法來(lái)可視化深度神經(jīng)網(wǎng)絡(luò)(DNN)學(xué)習(xí)到的高層特征。2016年Sundararajan等[20]提出積分梯度方法解決了神經(jīng)元和網(wǎng)絡(luò)飽和問(wèn)題。2015年Zhou等[21]提出類激活映射技術(shù),將深度學(xué)習(xí)網(wǎng)絡(luò)中的全連接層替換為全局平均池化層(Global Average Pooling,GAP),對(duì)最后一個(gè)卷積層每個(gè)特征圖的均值進(jìn)行加權(quán)求和,最后通過(guò)熱力圖的形式對(duì)網(wǎng)絡(luò)模型進(jìn)行可視化。2017年Selvaraju等[22-23]提出了梯度類激活映射Grad-CAM算法。不可知模型解釋方法是指不研究模型的結(jié)構(gòu)和參數(shù),僅通過(guò)模型的輸入和輸出來(lái)對(duì)模型進(jìn)行解釋。典型的不可知模型解釋方法有LIME方法和LEMNA方法。因果可解釋性方法主要從因果關(guān)系的角度分析模型做出決策的原因,可以從基于模型的解釋、反事實(shí)解釋、決策公平性三個(gè)方面對(duì)因果可解釋性進(jìn)行總結(jié)。基于模型的解釋指分析模型中的組成部分對(duì)模型做出決策的因果影響。反事實(shí)解釋描述了一種因果關(guān)系“如果沒(méi)有發(fā)生x,那么y就不會(huì)發(fā)生”。決策公平性是指某些敏感特征的不同取值不應(yīng)該影響模型的預(yù)測(cè)結(jié)果。

    對(duì)于深度學(xué)習(xí)模型的可解釋性,本文使用模型梯度類激活映射算法。Grad-CAM是類激活映射(Class Activation Mapping,CAM)的一種改進(jìn)算法。其使用卷積層的梯度值來(lái)計(jì)算權(quán)值,從而不需要模型具有GAP層,改進(jìn)了CAM算法需要更改模型結(jié)構(gòu)、重新訓(xùn)練等局限性。Grad-CAM算法首先計(jì)算c類的輸出分?jǐn)?shù)yc相對(duì)于最后一個(gè)CNN層特征圖Ak的所有像素的梯度平均值,其中k代表第k個(gè)特征圖,式(1)定義了第k個(gè)特征圖對(duì)于類別c的權(quán)重值αck。

    αck=1z∑ui∑vjycAkij (1)

    式中:ycAkij為最后一個(gè)卷積層中每一個(gè)特征圖的梯度值;u和v是特征圖的寬度和高度;Akij表示第k個(gè)特征圖中坐標(biāo)是(i,j)的像素點(diǎn)的像素值;z表示特征圖的像素點(diǎn)的個(gè)數(shù)。在模型做出決策之前,由目標(biāo)類c的這些權(quán)重給出了每個(gè)特征映射的相對(duì)重要性。然后利用式(2)計(jì)算出類判別定位映射:

    LcGrad-CAM=RELU(∑nkαckAk) (2)

    式中:n為最后一個(gè)卷積層中特征映射的總數(shù);αck為權(quán)重值。因?yàn)橹恍枰獙?duì)目標(biāo)類有積極影響的特征,所以將ReLU層應(yīng)用于加權(quán)特征映射的線性組合。導(dǎo)出的定位圖是最后一個(gè)特征圖在同一維上的所有特征圖的非負(fù)加權(quán)平均值,利用雙線性插值對(duì)輸入圖像分辨率進(jìn)行上采樣,形成最終的熱圖。計(jì)算出的Grad-CAM權(quán)重歸一化到0~1的范圍,權(quán)重值越高,說(shuō)明該震相特征重要性越大。每個(gè)模型均使用網(wǎng)絡(luò)模型的最后一個(gè)卷積層來(lái)形成可視化圖。

    2 訓(xùn)練結(jié)果及評(píng)價(jià)指標(biāo)

    訓(xùn)練集包括8 914個(gè)天然地震三分量波形、6 317個(gè)噪聲數(shù)據(jù)及4 769個(gè)爆破數(shù)據(jù),將訓(xùn)練集分別應(yīng)用于這4種模型中。在所有的訓(xùn)練中,均使用SparseCategoricalCrossentropy作為損失函數(shù),Adam作為優(yōu)化方法[24-25]。訓(xùn)練過(guò)程采取早停機(jī)制,若測(cè)試精度連續(xù)20個(gè)批次沒(méi)有增長(zhǎng),則停止訓(xùn)練,并通過(guò)ModelCheckpoint函數(shù)保存訓(xùn)練過(guò)程中最優(yōu)的訓(xùn)練模型。每個(gè)模型的輸入尺寸均為(2 000,1,3),迭代次數(shù)為50,批尺寸為64。4種模型訓(xùn)練過(guò)程中的準(zhǔn)確率曲線和損失曲線如圖2所示。CNN模型在第15次迭代之后訓(xùn)練準(zhǔn)確率曲線和驗(yàn)證準(zhǔn)確率曲線趨于穩(wěn)定,訓(xùn)練準(zhǔn)確率穩(wěn)定在0.99左右,驗(yàn)證準(zhǔn)確率穩(wěn)定在0.98左右。CNN模型的損失函數(shù)在第15次迭代之后走勢(shì)趨于平穩(wěn),訓(xùn)練損失曲線穩(wěn)定在0.02左右,驗(yàn)證損失曲線穩(wěn)定在0.05附近。Inception10模型在訓(xùn)練過(guò)程中訓(xùn)練準(zhǔn)確率曲線和驗(yàn)證準(zhǔn)確率曲線迅速達(dá)到0.9以上,在第20次迭代之后趨于平穩(wěn),驗(yàn)證損失曲線在第20次迭代之后也穩(wěn)定在0.2附近,訓(xùn)練損失曲線穩(wěn)定在0.1附近。ResNet18模型在第5次迭代之后訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率均達(dá)到0.95以上,之后隨著迭代次數(shù)的增加準(zhǔn)確率趨于平穩(wěn)。Vgg16模型在第5次迭代之后準(zhǔn)確率曲線和損失曲線趨于平穩(wěn)。

    最終的訓(xùn)練結(jié)果如表1所列。CNN模型驗(yàn)證準(zhǔn)確率高達(dá)99.17%,訓(xùn)練準(zhǔn)確率為99.70%。CNN模型不僅分類精度較高,而且訓(xùn)練所用的時(shí)間也比較短。Inception10模型驗(yàn)證準(zhǔn)確率為97.22%,訓(xùn)練準(zhǔn)確率為98.76%。ResNet18模型驗(yàn)證準(zhǔn)確率高達(dá)97.27%,訓(xùn)練準(zhǔn)確率為99.81%。4種模型中Vgg16模型的驗(yàn)證準(zhǔn)確率最高,達(dá)到99.20%,同時(shí)其訓(xùn)練準(zhǔn)確率在4種模型中也相對(duì)較高,達(dá)到99.48%。由于Vgg16的模型參數(shù)達(dá)到31 511 363個(gè),所以訓(xùn)練所用的時(shí)間相對(duì)較高。

    測(cè)試集選取訓(xùn)練過(guò)程中未使用過(guò)的880個(gè)天然地震數(shù)據(jù)、683個(gè)噪聲數(shù)據(jù)和475個(gè)爆破數(shù)據(jù),使用訓(xùn)練好的模型對(duì)測(cè)試集中的地震事件進(jìn)行分類。CNN模型和Inception10模型的測(cè)試集分類準(zhǔn)確率分別為98.68%、97.55%。ResNet18模型的測(cè)試集分類準(zhǔn)確率最低為96.71%。Vgg16模型的測(cè)試集分類準(zhǔn)確率最高,達(dá)到99.07%。4種模型的測(cè)試集分類準(zhǔn)確率均大于96%,說(shuō)明4種模型的泛化能力都比較好。

    準(zhǔn)確率是一個(gè)比較直觀的評(píng)價(jià)分類器效果的指標(biāo),但是在樣本不均衡的情況下并不能作為很好的指標(biāo)來(lái)衡量結(jié)果。為了評(píng)估每個(gè)模型的性能,本文加入查準(zhǔn)率、召回率和F1值去評(píng)價(jià)每個(gè)模型的分類效果[26]。F1值為查準(zhǔn)率和召回率的調(diào)和平均值,以便更好地反映模型的整體性能。

    通過(guò)測(cè)試集來(lái)計(jì)算各個(gè)模型的查準(zhǔn)率、召回率和F1值來(lái)評(píng)價(jià)模型的性能。從表2中可以看出4種模型的查準(zhǔn)率、召回率和F1值均接近1,所以各個(gè)模型的分類性能比較好。

    3 模型的可解釋性研究

    本文將Grad-CAM算法應(yīng)用到模型的可解釋性研究當(dāng)中。計(jì)算出的Grad-CAM權(quán)重值歸一化到0~1的范圍,值越高說(shuō)明重要性越大。CNN模型和Vgg16模型做出分類決策主要依賴P波和S波。ResNet18模型和Inception10模型的關(guān)注點(diǎn)較少,整條波形的高權(quán)值部分較少。

    4種模型識(shí)別天然地震事件的可視化圖如圖3所示,每個(gè)子圖顯示了模型做出分類決策所依賴的波形特征,波形特征的Grad-CAM權(quán)重值越大,代表模型做出決策時(shí)更加依賴此波形特征,每個(gè)波形圖的標(biāo)題顯示了波形的真實(shí)類別、預(yù)測(cè)類別以及預(yù)測(cè)概率,輸入波形的真實(shí)類別為天然地震事件。4種模型預(yù)測(cè)此輸入波形為天然地震事件的概率均為1,預(yù)測(cè)此輸入波形為噪聲數(shù)據(jù)或者爆破事件的概率為0。CNN模型在識(shí)別天然地震波形時(shí)主要依賴于P波和S波,權(quán)值在S波之后顯著下降。Vgg16模型和CNN模型相似,同樣將注意力放在P波和S波的震相上面,對(duì)于其他位置的關(guān)注度很低。ResNet18模型更關(guān)注S波,對(duì)于P波的依賴較小。Inception10模型對(duì)于S波的關(guān)注度較大,分類時(shí)對(duì)于其他波段的關(guān)注度較小。

    4種模型識(shí)別爆破事件的可視化圖如圖4所示,輸入波形的真實(shí)類別為爆破事件波形。Inception10模型預(yù)測(cè)輸入波形為爆破事件的概率為0.97,波形為天然地震的概率為0.03,波形為噪聲數(shù)據(jù)的概率為0。CNN模型、Vgg16模型和ResNet18模型預(yù)測(cè)輸入波形為爆破事件的概率均為1。CNN模型識(shí)別爆破事件權(quán)值在P波和S波處最大,對(duì)于震前和能量衰減階段的關(guān)注度非常低,主要注意力集中在能量較高的部分。Vgg16模型識(shí)別爆破事件時(shí)P波的權(quán)值最大,隨后權(quán)值開(kāi)始降低。ResNet18模型的關(guān)注點(diǎn)相對(duì)較少,僅僅關(guān)注到部分P波和S波的震相特征,在波形的末尾處有權(quán)值較高的部分。Inception10模型最大注意力在S波振幅較大處,整條波形的權(quán)值比較平均。

    圖5為4種模型識(shí)別噪聲數(shù)據(jù)的可視化圖,輸入波形的真實(shí)類別為噪聲數(shù)據(jù)。4種模型預(yù)測(cè)輸入波形為噪聲數(shù)據(jù)的概率均為1。CNN模型和Vgg16模型在識(shí)別噪聲數(shù)據(jù)時(shí),波形的高權(quán)值部分較多。而ResNet18模型和Inception10模型所依賴的波形特征較少。

    4 結(jié)論

    本文使用CNN模型、ResNet18模型、Inception模型和Vgg16模型對(duì)地震和爆破事件波形進(jìn)行分類,并通過(guò)Grad-CAM算法對(duì)4種深度學(xué)習(xí)模型的可解釋性進(jìn)行了分析。

    在福建地區(qū)的地震事件分類應(yīng)用中,4種模型的測(cè)試集分類準(zhǔn)確率均在96%以上。其中CNN模型和Inception10模型的準(zhǔn)確率分別為98.68%和97.55%。ResNet18模型的準(zhǔn)確率為96.71%,在4種模型中最低。Vgg16模型的準(zhǔn)確率最高,達(dá)到99.07%。4種模型在地震事件的分類任務(wù)中準(zhǔn)確率均比較高,而且具有較好的泛化能力。通過(guò)對(duì)模型的可解釋性分析可以看出,Vgg16模型和CNN模型能夠比較準(zhǔn)確地注意到波形中P波和S波的震相特征,對(duì)于地震波到達(dá)之前和能量衰減的位置依賴性較小,而ResNet18模型和Inception模型做出判決時(shí)對(duì)于整條波形的依賴比較廣泛,不能很好地注意到地震波的震相特征。因此,由模型的可解釋性分析也可以預(yù)測(cè)出Vgg16和CNN模型的分類效果應(yīng)該好于其他2種模型,而實(shí)際的分類結(jié)果確實(shí)如此。

    本文通過(guò)為每個(gè)模型加入Grad-CAM算法,使得模型的黑盒問(wèn)題得到解決,提高了研究人員對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)的信任度,能夠讓研究人員了解到模型做出判決時(shí)對(duì)于波形的依賴,從而能夠選擇更合適的模型并且去修改模型。對(duì)于地震事件分類任務(wù)來(lái)說(shuō),波形數(shù)據(jù)比較小,CNN模型結(jié)構(gòu)簡(jiǎn)單,分類精度高,訓(xùn)練耗時(shí)少,更適合應(yīng)用于地震事件分類任務(wù)中。由于CNN模型和Vgg16模型對(duì)于P波和S波初至較為敏感,也可嘗試將這2種模型應(yīng)用到P波和S波到時(shí)拾取的研究中。

    致謝:福建省地震局林彬華高級(jí)工程師提供的地震波形資料,美國(guó)勞倫斯利弗莫爾國(guó)家實(shí)驗(yàn)室Kong教授提供的神經(jīng)網(wǎng)絡(luò)可視化代碼,以及python開(kāi)源編程平臺(tái),在此一并表示感謝。附所用深度學(xué)習(xí)模型及可視化程序代碼鏈接:https://github.com/Luxiaochen2022/Grad-CAM.git。

    參考文獻(xiàn)(References)

    [1] 邊銀菊.Fisher方法在震級(jí)比mb/MS判據(jù)識(shí)別爆炸中的應(yīng)用研究[J].地震學(xué)報(bào),2005,27(4):414-422.

    BIAN Yinju.Application of Fisher method to discriminating earthquakes and explosions using criterion mb/MS[J].Acta Seismologica Sinica,2005,27(4):414-422.

    [2] 楊芳,朱嘉健,劉智,等.廣東地區(qū)地震與爆破事件識(shí)別方法研究[J].華南地震,2016,36(3):110-115.

    YANG Fang,ZHU Jiajian,LIU Zhi,et al.Study on identification methods between earthquakes and explosions occurred in Guangdong region[J].South China Journal of Seismology,2016,36(3):110-115.

    [3] 蔡杏輝,邵平榮,段剛,等.福建地區(qū)人工爆破與天然地震的判定[J].地震地磁觀測(cè)與研究,2013,34(增刊1):87-91.

    CAI Xinghui,SHAO Pingrong,DUAN Gang,et al.Waveform distinction between artificial explosions and natural earthquakes recorded in Fujian area[J].Seismological and Geomagnetic Observation and Research,2013,34(Suppl01):87-91.

    [4] 崔鑫,許力生,許忠淮,等.小地震與人工爆破記錄的時(shí)頻分析[J].地震工程學(xué)報(bào),2016,38(1):71-78.

    CUI Xin,XU Lisheng,XU Zhonghuai,et al.Time-frequency analysis of records of small earthquakes and explosions[J].China Earthquake Engineering Journal,2016,38(1):71-78.

    [5] 霍祝青,王俊,張金川,等.江蘇地區(qū)天然地震與人工爆破識(shí)別研究[J].地震工程學(xué)報(bào),2015,37(1):228-231.

    HUO Zhuqing,WANG Jun,ZHANG Jinchuan,et al.Recognition study on earthquakes and explosions in Jiangsu area[J].China Earthquake Engineering Journal,2015,37(1):228-231.

    [6] MOUSAVI S M,ELLSWORTH W L,ZHU W Q,et al.Earthquake transformer:an attentive deep-learning model for simultaneous earthquake detection and phase picking[J].Nature Communications,2020,11:3952.

    [7] 趙明,唐淋,陳石,等.基于深度學(xué)習(xí)到時(shí)拾取自動(dòng)構(gòu)建長(zhǎng)寧地震前震目錄[J].地球物理學(xué)報(bào),2021,64(1):54-66.

    ZHAO Ming,TANG Lin,CHEN Shi,et al.Machine learning based automatic foreshock catalog building for the 2019 MS6.0 Changning,Sichuan earthquake[J].Chinese Journal of Geophysics,2021,64(1):54-66.

    [8] 高永國(guó),尹欣欣,李少華.基于深度學(xué)習(xí)的地震與爆破事件自動(dòng)識(shí)別研究[J].大地測(cè)量與地球動(dòng)力學(xué),2022,42(4):426-430.

    GAO Yongguo,YIN Xinxin,LI Shaohua.Automatic recognition of earthquake and blasting events based on deep learning[J].Journal of Geodesy and Geodynamics,2022,42(4):426-430.

    [9] 化盈盈,張岱墀,葛仕明.深度學(xué)習(xí)模型可解釋性的研究進(jìn)展[J].信息安全學(xué)報(bào),2020,5(3):1-12.

    HUA Yingying,ZHANG Daichi,GE Shiming.Research progress in the interpretability of deep learning models[J].Journal of Cyber Security,2020,5(3):1-12.

    [10] FJELLAND R.Why general artificial intelligence will not be realized[J].Humanities and Social Sciences Communications,2020,7(1):1-9.

    [11] KONG Q K,WANG R J,WALTER W R,et al.Combining deep learning with physics based features in explosion-earthquake discrimination[J].Geophysical Research Letters,2022,49(13):l098645.

    [12] ZHANG Z Z,XIE Y P,XING F Y,et al.MDNet:a semantically and visually interpretable medical image diagnosis network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu,HI,USA:[s.n.],2017:3549-3557.

    [13] 李瑋杰,楊威,劉永祥,等.雷達(dá)圖像深度學(xué)習(xí)模型的可解釋性研究與探索[J].中國(guó)科學(xué):信息科學(xué),2022,52(6):1114-1134.

    LI Weijie,YANG Wei,LIU Yongxiang,et al.Research and exploration on the interpretability of deep learning model in radar image[J].Scientia Sinica (Informationis),2022,52(6):1114-1134.

    [14] HE K M,ZHANG X Y,REN S Q,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:[s.n.],2016:770-778.

    [15] SZEGEDY C,LIU W,JIA Y Q,et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA,USA:[s.n.],2015:1-9.

    [16] SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[EB/OL].2014:arXiv:1409.1556.https://arxiv.org/abs/1409.1556.

    [17] 曾春艷,嚴(yán)康,王志鋒,等.深度學(xué)習(xí)模型可解釋性研究綜述[J].計(jì)算機(jī)工程與應(yīng)用,2021,57(8):1-9.

    ZENG Chunyan,YAN Kang,WANG Zhifeng,et al.Survey of interpretability research on deep learning models[J].Computer Engineering and Applications,2021,57(8):1-9.

    [18] HAUFE S,MEINECKE F,GORGEN K,et al.On the interpretation of weight vectors of linear models in multivariate neuroimaging[J].NeuroImage,2014,87:96-110.

    [19] ERHAN D,BENGIO Y,COURVILLE A,et al.Visualizing higher-layer features of a deep network[R].Montreal:University of Montreal,2009.

    [20] SUNDARARAJAN M,TALY A,YAN Q Q.Gradients of counterfactuals[EB/OL].2016:arXiv:1611.02639.https://arxiv.org/abs/1611.02639.

    [21] ZHOU B L,KHOSLA A,LAPEDRIZA A,et al.Learning deep features for discriminative localization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:[s.n.],2016:2921-2929.

    [22] SELVARAJU R R,DAS A,VEDANTAM R,et al.Grad-CAM:why did You say that?[EB/OL].2016:arXiv:1611.07450.https://arxiv.org/abs/1611.07450.

    [23] SELVARAJU R R,COGSWELL M,DAS A,et al.Grad-CAM:visual explanations from deep networks via gradient-based localization[C]//Proceedings of the IEEE International Conference on Computer Vision.Venice,Italy:[s.n.],2017:618-626.

    [24] GOODFELLOW I,BENGIO Y,COURVILLE A.Deep learning[M].Cambridge,Boston,Massachusetts,USA:The MIT Press,2016.

    [25] KINGMA D P,BA J.Adam:a method for stochastic optimization[EB/OL].2014:arXiv:1412.6980.https://arxiv.org/abs/1412.6980.

    [26] 林學(xué)楷,許才軍.深度學(xué)習(xí)驅(qū)動(dòng)的地震目錄構(gòu)建:PhaseNet和EqT模型的對(duì)比與評(píng)估[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2022,47(6):855-865.

    LIN Xuekai,XU Caijun.Deep-learning-empowered earthquake catalog building:comparison and evaluation of PhaseNet and EqT models[J].Geomatics and Information Science of Wuhan University,2022,47(6):855-865.

    猜你喜歡
    解釋性波形準(zhǔn)確率
    著力構(gòu)建可解釋性模型
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
    論行政自由裁量的“解釋性控權(quán)”
    法律方法(2021年4期)2021-03-16 05:35:16
    對(duì)《壓力容器波形膨脹節(jié)》2018版新標(biāo)準(zhǔn)的理解及分析
    基于LFM波形的靈巧干擾效能分析
    高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
    融媒體時(shí)代解釋性報(bào)道的發(fā)展之路
    傳播力研究(2017年5期)2017-03-28 09:08:30
    非解釋性憲法適用論
    26uuu在线亚洲综合色| 大香蕉97超碰在线| 欧美成人午夜免费资源| 亚洲在久久综合| 亚洲精品乱码久久久久久按摩| 亚洲一级一片aⅴ在线观看| 国产黄片视频在线免费观看| 亚洲成人一二三区av| 少妇的逼水好多| 国产午夜福利久久久久久| 最新中文字幕久久久久| 成人午夜高清在线视频| 国产亚洲一区二区精品| 特级一级黄色大片| 日日啪夜夜撸| 国产精品女同一区二区软件| 久热久热在线精品观看| 不卡视频在线观看欧美| 免费高清在线观看视频在线观看| 免费大片18禁| 国产69精品久久久久777片| 亚洲av中文字字幕乱码综合| 午夜福利网站1000一区二区三区| 色哟哟·www| 国产精品嫩草影院av在线观看| 天堂影院成人在线观看| 国产午夜福利久久久久久| 免费电影在线观看免费观看| 2021少妇久久久久久久久久久| 国产乱人偷精品视频| 女人久久www免费人成看片| 日本色播在线视频| 免费观看无遮挡的男女| 国产综合懂色| 寂寞人妻少妇视频99o| 高清日韩中文字幕在线| 中文乱码字字幕精品一区二区三区 | 97精品久久久久久久久久精品| 中文在线观看免费www的网站| 成人亚洲精品一区在线观看 | 少妇熟女aⅴ在线视频| 日韩欧美精品v在线| 成人漫画全彩无遮挡| 在线免费观看不下载黄p国产| 国产淫语在线视频| 天天躁夜夜躁狠狠久久av| 色哟哟·www| 乱系列少妇在线播放| 青春草视频在线免费观看| 永久网站在线| 亚洲自偷自拍三级| 乱系列少妇在线播放| 日韩一区二区视频免费看| 日韩欧美 国产精品| 国产一区亚洲一区在线观看| 三级毛片av免费| 小蜜桃在线观看免费完整版高清| 国产真实伦视频高清在线观看| 观看美女的网站| 国产亚洲一区二区精品| 看十八女毛片水多多多| 国产精品国产三级国产av玫瑰| 午夜老司机福利剧场| av黄色大香蕉| 中文天堂在线官网| 丰满乱子伦码专区| 免费看日本二区| 久久久久久久久久成人| 国产精品av视频在线免费观看| 亚洲国产精品成人综合色| 中文字幕制服av| 精品酒店卫生间| 26uuu在线亚洲综合色| 少妇猛男粗大的猛烈进出视频 | 亚洲色图av天堂| 男女啪啪激烈高潮av片| 国产av在哪里看| 亚洲成人精品中文字幕电影| 草草在线视频免费看| 亚洲精品色激情综合| 国产精品爽爽va在线观看网站| 欧美日韩在线观看h| 我的女老师完整版在线观看| 九色成人免费人妻av| 美女内射精品一级片tv| 秋霞在线观看毛片| 国产大屁股一区二区在线视频| 久久久精品免费免费高清| 国产精品一区二区在线观看99 | 综合色丁香网| 亚洲精品日本国产第一区| 亚洲精品第二区| 久久久久久久大尺度免费视频| 直男gayav资源| 中文字幕久久专区| 国产又色又爽无遮挡免| 亚洲成人av在线免费| 欧美区成人在线视频| 男女边摸边吃奶| 黑人高潮一二区| 久久97久久精品| 啦啦啦中文免费视频观看日本| 性插视频无遮挡在线免费观看| 久久综合国产亚洲精品| 美女cb高潮喷水在线观看| 在现免费观看毛片| 亚洲精品国产av蜜桃| 免费av不卡在线播放| 国产精品一及| 搡老乐熟女国产| 丝袜美腿在线中文| 欧美成人一区二区免费高清观看| 91久久精品国产一区二区成人| 人妻少妇偷人精品九色| 三级毛片av免费| 高清毛片免费看| 岛国毛片在线播放| 亚洲自偷自拍三级| 最近手机中文字幕大全| 国产乱来视频区| 亚洲精品中文字幕在线视频 | 身体一侧抽搐| 日韩强制内射视频| 精品亚洲乱码少妇综合久久| 国产精品一区二区性色av| 国国产精品蜜臀av免费| 在线免费观看不下载黄p国产| 久久久a久久爽久久v久久| 老师上课跳d突然被开到最大视频| kizo精华| 国产午夜精品论理片| 国产黄片美女视频| 国产有黄有色有爽视频| 3wmmmm亚洲av在线观看| 亚洲婷婷狠狠爱综合网| 波多野结衣巨乳人妻| 欧美xxⅹ黑人| 2021天堂中文幕一二区在线观| 久久精品久久久久久噜噜老黄| 一级片'在线观看视频| 亚洲av电影在线观看一区二区三区 | 又爽又黄无遮挡网站| 精品酒店卫生间| 免费不卡的大黄色大毛片视频在线观看 | 亚洲色图av天堂| 国产一区二区三区av在线| 精品一区二区免费观看| 午夜激情久久久久久久| 嫩草影院精品99| 久久久色成人| 日韩,欧美,国产一区二区三区| 99热网站在线观看| 在线免费观看不下载黄p国产| 国产探花极品一区二区| 草草在线视频免费看| 性插视频无遮挡在线免费观看| 一级av片app| 午夜精品一区二区三区免费看| 91精品一卡2卡3卡4卡| 黄色一级大片看看| 国产伦精品一区二区三区视频9| 男人和女人高潮做爰伦理| 国产精品人妻久久久久久| 日本色播在线视频| 国产精品久久久久久精品电影小说 | 麻豆国产97在线/欧美| 18禁在线播放成人免费| 精品久久久久久久末码| a级毛色黄片| 美女被艹到高潮喷水动态| 亚洲自拍偷在线| 一区二区三区免费毛片| 伦精品一区二区三区| 99久久精品热视频| 韩国高清视频一区二区三区| 色综合色国产| 黄片无遮挡物在线观看| 色吧在线观看| 欧美日韩视频高清一区二区三区二| 大片免费播放器 马上看| 国产单亲对白刺激| 国内少妇人妻偷人精品xxx网站| 日本免费a在线| 日本三级黄在线观看| 人妻夜夜爽99麻豆av| 欧美一区二区亚洲| 日日啪夜夜爽| 99久久九九国产精品国产免费| 国产一级毛片七仙女欲春2| 3wmmmm亚洲av在线观看| 久久久精品欧美日韩精品| 丝瓜视频免费看黄片| 男的添女的下面高潮视频| 最近中文字幕高清免费大全6| 午夜久久久久精精品| 日日啪夜夜撸| 99久久精品国产国产毛片| 91精品一卡2卡3卡4卡| 日本色播在线视频| 三级国产精品欧美在线观看| 久久久久久久久久人人人人人人| 久久精品国产亚洲av涩爱| 国产精品综合久久久久久久免费| 国产精品久久久久久精品电影| 插阴视频在线观看视频| 人妻一区二区av| 日韩大片免费观看网站| 欧美成人精品欧美一级黄| 国产免费福利视频在线观看| 啦啦啦中文免费视频观看日本| 又爽又黄a免费视频| 插逼视频在线观看| 亚洲熟女精品中文字幕| 精品午夜福利在线看| 一区二区三区乱码不卡18| 国产在线男女| 国产一区亚洲一区在线观看| 亚洲美女搞黄在线观看| 亚洲激情五月婷婷啪啪| 美女cb高潮喷水在线观看| 日韩成人伦理影院| 亚洲av.av天堂| 国产精品一区www在线观看| 联通29元200g的流量卡| 黄色日韩在线| 黄片无遮挡物在线观看| 免费av毛片视频| 国产精品久久视频播放| 日韩国内少妇激情av| 亚州av有码| 晚上一个人看的免费电影| 成人毛片60女人毛片免费| 国精品久久久久久国模美| 成人欧美大片| 久久精品夜夜夜夜夜久久蜜豆| 日日摸夜夜添夜夜爱| 成人鲁丝片一二三区免费| 80岁老熟妇乱子伦牲交| 亚洲精品亚洲一区二区| 亚洲欧美清纯卡通| 黄色一级大片看看| 在线观看美女被高潮喷水网站| 国产免费又黄又爽又色| 日韩精品有码人妻一区| 久久精品久久久久久久性| 肉色欧美久久久久久久蜜桃 | 国产精品久久久久久av不卡| 免费看av在线观看网站| 欧美97在线视频| 国产毛片a区久久久久| 亚州av有码| 女的被弄到高潮叫床怎么办| 国产三级在线视频| 最近的中文字幕免费完整| 亚洲成人av在线免费| 在线观看美女被高潮喷水网站| 日韩视频在线欧美| av免费在线看不卡| 97精品久久久久久久久久精品| 日韩成人伦理影院| 久久久久久九九精品二区国产| 一边亲一边摸免费视频| 国产精品一二三区在线看| 国内精品美女久久久久久| 日日摸夜夜添夜夜爱| 国产成人午夜福利电影在线观看| 精品久久国产蜜桃| 精品一区二区三卡| 日韩大片免费观看网站| 免费在线观看成人毛片| 亚洲av中文字字幕乱码综合| 国产有黄有色有爽视频| 日韩欧美三级三区| 亚洲婷婷狠狠爱综合网| 国产精品不卡视频一区二区| 成人特级av手机在线观看| 午夜久久久久精精品| 亚洲国产精品sss在线观看| 国产成人aa在线观看| 最近中文字幕2019免费版| 观看美女的网站| 国产色婷婷99| 亚洲精品亚洲一区二区| 淫秽高清视频在线观看| 少妇熟女欧美另类| 日韩,欧美,国产一区二区三区| 亚洲乱码一区二区免费版| 丰满少妇做爰视频| 成年版毛片免费区| 亚洲aⅴ乱码一区二区在线播放| 亚洲精品一二三| 亚洲18禁久久av| 中文字幕免费在线视频6| 国产亚洲5aaaaa淫片| 最近手机中文字幕大全| 高清视频免费观看一区二区 | 国产美女午夜福利| 联通29元200g的流量卡| 精品人妻偷拍中文字幕| 一级毛片电影观看| 成人一区二区视频在线观看| av又黄又爽大尺度在线免费看| 别揉我奶头 嗯啊视频| 免费观看a级毛片全部| 免费在线观看成人毛片| 汤姆久久久久久久影院中文字幕 | 国产探花极品一区二区| 精品久久久久久久久亚洲| 日日干狠狠操夜夜爽| 九九爱精品视频在线观看| 亚洲欧美一区二区三区黑人 | 久久精品熟女亚洲av麻豆精品 | 内地一区二区视频在线| 日韩中字成人| 国产v大片淫在线免费观看| 三级国产精品欧美在线观看| 亚洲av免费在线观看| 国产美女午夜福利| 国产成人一区二区在线| 99久久精品热视频| 男人狂女人下面高潮的视频| 国产 一区精品| 三级国产精品片| 男女啪啪激烈高潮av片| 国产中年淑女户外野战色| 国产精品综合久久久久久久免费| 能在线免费观看的黄片| 日韩av不卡免费在线播放| 麻豆成人午夜福利视频| 天天一区二区日本电影三级| 国产精品一及| 日本欧美国产在线视频| 亚洲三级黄色毛片| ponron亚洲| 日本免费a在线| 午夜免费男女啪啪视频观看| 国产高清国产精品国产三级 | 国产综合懂色| 日韩不卡一区二区三区视频在线| 欧美日韩亚洲高清精品| 国产黄频视频在线观看| 精品久久久精品久久久| 天堂av国产一区二区熟女人妻| 2021天堂中文幕一二区在线观| 精品一区二区三卡| 日本免费在线观看一区| 18禁裸乳无遮挡免费网站照片| 午夜视频国产福利| 亚州av有码| 免费看av在线观看网站| 亚洲成人av在线免费| 国产精品三级大全| 国产精品一二三区在线看| 亚洲成人av在线免费| 成人午夜高清在线视频| 看十八女毛片水多多多| 丰满少妇做爰视频| 免费观看av网站的网址| 国产在视频线精品| 亚洲av日韩在线播放| 男人和女人高潮做爰伦理| 午夜福利在线观看免费完整高清在| 18禁裸乳无遮挡免费网站照片| 欧美区成人在线视频| 我要看日韩黄色一级片| 高清在线视频一区二区三区| 国产永久视频网站| 18禁在线播放成人免费| 亚洲不卡免费看| 3wmmmm亚洲av在线观看| 丝瓜视频免费看黄片| 精品国产三级普通话版| 亚洲av在线观看美女高潮| 久久精品夜夜夜夜夜久久蜜豆| 成年av动漫网址| 五月伊人婷婷丁香| 色尼玛亚洲综合影院| 美女国产视频在线观看| 成人美女网站在线观看视频| 亚洲国产精品sss在线观看| 99久国产av精品国产电影| 欧美变态另类bdsm刘玥| 午夜日本视频在线| 亚洲va在线va天堂va国产| 国产精品99久久久久久久久| 啦啦啦中文免费视频观看日本| 人妻制服诱惑在线中文字幕| 大片免费播放器 马上看| 国产高清不卡午夜福利| 高清欧美精品videossex| 国产午夜福利久久久久久| 日韩亚洲欧美综合| 亚洲精品乱码久久久久久按摩| 久久人人爽人人片av| 久久热精品热| 欧美成人一区二区免费高清观看| 秋霞伦理黄片| 男人舔女人下体高潮全视频| 精品欧美国产一区二区三| 亚洲,欧美,日韩| 观看美女的网站| 免费大片黄手机在线观看| 91久久精品国产一区二区成人| 国产精品1区2区在线观看.| 欧美成人一区二区免费高清观看| 国产一级毛片七仙女欲春2| 国产精品嫩草影院av在线观看| 久久久久久九九精品二区国产| 午夜激情福利司机影院| 97人妻精品一区二区三区麻豆| 99热6这里只有精品| 夜夜看夜夜爽夜夜摸| 狂野欧美激情性xxxx在线观看| 精品99又大又爽又粗少妇毛片| freevideosex欧美| 精品欧美国产一区二区三| 国内少妇人妻偷人精品xxx网站| 非洲黑人性xxxx精品又粗又长| 久久久午夜欧美精品| 国产精品一二三区在线看| 亚洲精品成人久久久久久| 欧美极品一区二区三区四区| 最近最新中文字幕免费大全7| 国产高清三级在线| 成人特级av手机在线观看| 人妻一区二区av| 久久久精品欧美日韩精品| 国产在视频线在精品| 你懂的网址亚洲精品在线观看| 日本猛色少妇xxxxx猛交久久| 成人二区视频| 国产爱豆传媒在线观看| 成年人午夜在线观看视频 | 校园人妻丝袜中文字幕| 国产精品1区2区在线观看.| 99久久精品国产国产毛片| 男的添女的下面高潮视频| 秋霞在线观看毛片| 五月伊人婷婷丁香| 观看免费一级毛片| 男女国产视频网站| 黄色配什么色好看| 亚洲av电影在线观看一区二区三区 | 国产高清有码在线观看视频| 青春草视频在线免费观看| 色哟哟·www| av在线亚洲专区| 国产av国产精品国产| 在线a可以看的网站| 99久久精品国产国产毛片| 成人午夜精彩视频在线观看| 久久久成人免费电影| 精品久久久噜噜| 淫秽高清视频在线观看| 黄色一级大片看看| 亚洲四区av| 亚洲av国产av综合av卡| 国产91av在线免费观看| 精品午夜福利在线看| 欧美变态另类bdsm刘玥| a级毛片免费高清观看在线播放| 大又大粗又爽又黄少妇毛片口| 久久久成人免费电影| 国产精品伦人一区二区| 我的老师免费观看完整版| 美女cb高潮喷水在线观看| 国产老妇女一区| 麻豆成人午夜福利视频| 深夜a级毛片| 高清在线视频一区二区三区| 亚洲国产欧美人成| 内射极品少妇av片p| 一区二区三区免费毛片| 中文字幕av成人在线电影| 国产单亲对白刺激| 免费电影在线观看免费观看| 免费看不卡的av| 69av精品久久久久久| 免费无遮挡裸体视频| 少妇猛男粗大的猛烈进出视频 | 91狼人影院| 激情 狠狠 欧美| 80岁老熟妇乱子伦牲交| 欧美一区二区亚洲| 九九在线视频观看精品| 97精品久久久久久久久久精品| 黄片wwwwww| 国产日韩欧美在线精品| 青青草视频在线视频观看| 夫妻性生交免费视频一级片| 简卡轻食公司| 哪个播放器可以免费观看大片| 国产 一区 欧美 日韩| 91久久精品国产一区二区三区| www.av在线官网国产| 国产高清有码在线观看视频| 熟妇人妻久久中文字幕3abv| 久久久久久久午夜电影| 精品久久久噜噜| 七月丁香在线播放| 直男gayav资源| 久久久久久久久大av| 欧美变态另类bdsm刘玥| 91精品伊人久久大香线蕉| 成人毛片60女人毛片免费| 亚洲精品中文字幕在线视频 | 亚洲av不卡在线观看| 国产成年人精品一区二区| 久久久久免费精品人妻一区二区| 国产精品久久久久久av不卡| 夫妻性生交免费视频一级片| 精品久久久久久久末码| 女人久久www免费人成看片| 嫩草影院新地址| 国产精品99久久久久久久久| 亚洲精品国产成人久久av| 免费看不卡的av| 国产精品女同一区二区软件| 国产有黄有色有爽视频| a级毛色黄片| 亚洲美女视频黄频| 中文在线观看免费www的网站| 99久久精品热视频| 日本三级黄在线观看| 九九久久精品国产亚洲av麻豆| 精品人妻一区二区三区麻豆| 国产精品国产三级国产av玫瑰| 精品亚洲乱码少妇综合久久| 亚洲欧洲国产日韩| 成人鲁丝片一二三区免费| 亚洲成人精品中文字幕电影| 99久国产av精品| 精华霜和精华液先用哪个| 欧美极品一区二区三区四区| 欧美bdsm另类| 久久久久久久国产电影| 亚洲怡红院男人天堂| 中文在线观看免费www的网站| 久久久久久久久大av| 精品久久久久久久人妻蜜臀av| 一区二区三区四区激情视频| 三级经典国产精品| 91精品伊人久久大香线蕉| 网址你懂的国产日韩在线| 最近中文字幕高清免费大全6| 特级一级黄色大片| 乱人视频在线观看| 97超碰精品成人国产| 舔av片在线| 精品国产一区二区三区久久久樱花 | 久久99蜜桃精品久久| 免费黄频网站在线观看国产| 一个人免费在线观看电影| av.在线天堂| 蜜桃亚洲精品一区二区三区| 少妇的逼好多水| 亚洲色图av天堂| 少妇人妻精品综合一区二区| 精品人妻视频免费看| 国产精品伦人一区二区| 蜜臀久久99精品久久宅男| 国产精品国产三级国产专区5o| 久久久午夜欧美精品| 天堂俺去俺来也www色官网 | 能在线免费观看的黄片| 亚洲国产av新网站| 尾随美女入室| 久久国内精品自在自线图片| 欧美日韩精品成人综合77777| 国产欧美日韩精品一区二区| 好男人视频免费观看在线| 国产精品国产三级专区第一集| 真实男女啪啪啪动态图| 免费观看性生交大片5| 国内少妇人妻偷人精品xxx网站| av线在线观看网站| 激情 狠狠 欧美| 免费无遮挡裸体视频| 毛片女人毛片| 欧美精品一区二区大全| 97精品久久久久久久久久精品| 亚洲精品久久久久久婷婷小说| 久久精品国产亚洲网站| 精品久久久久久久久亚洲| 乱码一卡2卡4卡精品| 免费大片18禁| 边亲边吃奶的免费视频| 亚洲精品一区蜜桃| 18禁在线播放成人免费| 我的老师免费观看完整版| 亚洲精品乱码久久久v下载方式| 舔av片在线| 国产精品一区二区性色av| 高清毛片免费看| 欧美性感艳星| 人妻夜夜爽99麻豆av| 久久精品国产亚洲av天美| 青春草亚洲视频在线观看| 国产精品久久久久久久电影| 一级黄片播放器| 久久精品久久久久久噜噜老黄| 老师上课跳d突然被开到最大视频| 免费不卡的大黄色大毛片视频在线观看 | 精品国产一区二区三区久久久樱花 | 久久热精品热| 老师上课跳d突然被开到最大视频| 69人妻影院| 日韩一本色道免费dvd| 最近最新中文字幕大全电影3| 国产av国产精品国产| 久久久午夜欧美精品| 黄色欧美视频在线观看| 在线观看免费高清a一片| 国产三级在线视频| 国产欧美日韩精品一区二区|