• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進Tiny-YOLO模型的群養(yǎng)生豬臉部姿態(tài)檢測

    2019-11-08 01:18:34燕紅文劉振宇崔清亮胡志偉李艷文
    農(nóng)業(yè)工程學報 2019年18期
    關(guān)鍵詞:臉部類別姿態(tài)

    燕紅文,劉振宇,崔清亮,胡志偉,李艷文

    基于改進Tiny-YOLO模型的群養(yǎng)生豬臉部姿態(tài)檢測

    燕紅文1,劉振宇1,崔清亮2※,胡志偉1,李艷文1

    (1. 山西農(nóng)業(yè)大學信息科學與工程學院,太谷 030801;2. 山西農(nóng)業(yè)大學工學院,太谷 030801)

    生豬臉部包含豐富的生物特征信息,對其臉部姿態(tài)的檢測可為生豬的個體識別和行為分析提供依據(jù),而在生豬群養(yǎng)場景下,豬舍光照、豬只黏連等復雜因素給生豬臉部姿態(tài)檢測帶來極大挑戰(zhàn)。該文以真實養(yǎng)殖場景下的群養(yǎng)生豬為研究對象,以視頻幀數(shù)據(jù)為數(shù)據(jù)源,提出一種基于注意力機制與Tiny-YOLO相結(jié)合的檢測模型DAT-YOLO。該模型將通道注意力和空間注意力信息引入特征提取過程中,高階特征引導低階特征進行通道注意力信息獲取,低階特征反向指引高階特征進行空間注意力篩選,可在不顯著增加參數(shù)量的前提下提升模型特征提取能力、提高檢測精度。對5欄日齡20~105 d的群養(yǎng)生豬共35頭的視頻抽取504張圖片,共計3 712個臉部框,并標注水平正臉、水平側(cè)臉、低頭正臉、低頭側(cè)臉、抬頭正臉和抬頭側(cè)臉6類姿態(tài),構(gòu)建訓練集,另取420張圖片共計2 106個臉部框作為測試集。試驗表明,DAT-YOLO模型在測試集上對群養(yǎng)生豬的水平正臉、水平側(cè)臉、低頭正臉、低頭側(cè)臉、抬頭正臉和抬頭側(cè)臉6類姿態(tài)預測的AP值分別達到85.54%、79.30%、89.61%、76.12%、79.37%和84.35%,其6類總體mAP值比Tiny-YOLO模型、僅引入通道注意力的CAT-YOLO模型以及僅引入空間注意力的SAT-YOLO模型分別提高8.39%、4.66%和2.95%。為進一步驗證注意力在其余模型上的遷移性能,在同等試驗條件下,以YOLOV3為基礎模型分別引入兩類注意力信息構(gòu)建相應注意力子模型,試驗表明,基于Tiny-YOLO的子模型與加入相同模塊的YOLOV3子模型相比,總體mAP指標提升0.46%~1.92%。Tiny-YOLO和YOLOV3系列模型在加入注意力信息后檢測性能均有不同幅度提升,表明注意力機制有利于精確、有效地對群養(yǎng)生豬不同類別臉部姿態(tài)進行檢測,可為后續(xù)生豬個體識別和行為分析提供參考。

    圖像處理;模型;目標檢測;Tiny-YOLO;通道注意力;空間注意力

    0 引 言

    隨著生豬養(yǎng)殖規(guī)模不斷擴大,養(yǎng)殖密度不斷增加,對群養(yǎng)環(huán)境中的生豬個體進行自動有效識別,為其建檔立卡并構(gòu)建養(yǎng)殖可追溯系統(tǒng),對實現(xiàn)豬場養(yǎng)殖的精準管理具有重要意義。生豬臉部的眼、鼻、耳等可辨識性個體信息對生豬個體識別至關(guān)重要,準確有效地生豬臉部檢測可為生豬個體識別與規(guī)模化養(yǎng)殖決策制定提供技術(shù)支撐[1-2]。

    隨著深度學習技術(shù)的成熟,基于卷積神經(jīng)網(wǎng)絡CNN(convolutional neural network)的視覺分析技術(shù)在生豬姿態(tài)檢測[3]、生豬圖像分割[4-7]、生豬個體識別[8]等諸多領域取得較大進展,并在目標檢測領域同樣表現(xiàn)出優(yōu)越性能[9-13]。CNN檢測框架包括基于區(qū)域[14-15]和基于回歸兩大系列。其中以YOLOV1[16]、YOLOV2[17]、YOLOV3[18]和Tiny-YOLO[19]為代表的基于回歸的方法能在保證檢測精度的同時提升檢測速度,適用于規(guī)?;a(chǎn)環(huán)境中,并已被用于芒果[20]、蘋果[21]、生豬個體[22]等目標的檢測定位。而在生豬臉部姿態(tài)檢測方面,經(jīng)現(xiàn)有文獻查證,未有學者對此領域做過相關(guān)研究。此外上述基于YOLO的系列方法認為特征圖中每個區(qū)域?qū)δP妥罱K檢測結(jié)果貢獻度相同,而在群養(yǎng)生豬臉部姿態(tài)檢測中,豬體、豬糞、豬食等噪聲信息均不利于臉部位置精確提取,若可有效抑制此類信息,并對豬臉所在區(qū)域特征施以較高權(quán)重則可更好的提升檢測精度。注意力機制的出現(xiàn)可有效解決此類問題,該機制在處理信息時只關(guān)注部分有利于任務實現(xiàn)的區(qū)域信息,濾除次要信息以提升模型效果,并已在圖像分類[23]、圖像分割[24]領域得到成熟應用,而在目標檢測領域仍處于探索階段[25],因而探討將該機制用于豬舍場景下群養(yǎng)生豬臉部定位成為可能。

    基于此,本文提出一種基于Tiny-YOLO模型的非接觸、低成本的群養(yǎng)生豬臉部姿態(tài)檢測新方法,該方法將通道注意力和空間注意力機制相結(jié)合以構(gòu)建雙重注意力子模型DAT-YOLO進行端到端訓練,實現(xiàn)對群養(yǎng)生豬水平正臉、水平側(cè)臉、低頭正臉、低頭側(cè)臉、抬頭正臉和抬頭側(cè)臉6類姿態(tài)高精度檢測,避免豬只黏連、豬舍光照等干擾因素對檢測效果的影響,以期為生豬智能養(yǎng)殖與管理提供技術(shù)參考。

    1 試驗數(shù)據(jù)

    1.1 數(shù)據(jù)采集

    數(shù)據(jù)采集自山西省汾陽市冀村鎮(zhèn)東宋家莊村,為獲取不同豬舍場景的生豬圖像,于2019年6月1日9:00-14:00(晴,光照強烈)選取3個豬場進行視頻采集,每個豬場由10~30間豬欄構(gòu)成,每欄數(shù)量5~8只不等,豬欄大小約為3.5 m×2.5 m×1 m。選取5欄日齡20~105 d的群養(yǎng)生豬共計35頭,采用佳能700D防抖鏡頭,移動拍攝時生豬距離鏡頭0.3~3 m不等,因而可用于采集不同大小豬臉區(qū)域。因?qū)嶋H場景下群養(yǎng)生豬臉部姿態(tài)具有隨機性,并非均是正臉面朝鏡頭,故將臉部姿態(tài)細分為正臉與側(cè)臉,同時,不同角度生豬個體臉部蘊含信息差異較大,故最終將臉部姿態(tài)細化標注為水平正臉、水平側(cè)臉、低頭正臉、低頭側(cè)臉、抬頭正臉和抬頭側(cè)臉6類。標注時將耳部作為臉部與身體部位分界點,且對未出現(xiàn)在采集范圍或眼部未出現(xiàn)在鏡頭中的臉部不做任何標注,其每類姿態(tài)詳細標注原則如表1所示。

    表1 生豬臉部6類姿態(tài)定義

    注:夾角的正負定義為嘴部最低點與頸部連線的夾角在頸部水平方向上方為正,在頸部水平方向下方為負。

    Note: The positive and negative angle is defined as positive when the angle between the lowest point of mouth and the line of neck is above the horizontal direction of neck and negative below the horizontal direction of neck.

    1.2 數(shù)據(jù)預處理

    將采集的視頻數(shù)據(jù)進行下列操作以構(gòu)建生豬臉部姿態(tài)檢測數(shù)據(jù)集:

    1)對采集的視頻做切割視頻幀處理,對獲取到的1 920×1 080分辨率圖像邊緣添加黑色像素值操作以使其寬高比為2:1,完成后像素值變?yōu)? 048×1 024,并采用labelImg[26]作為臉部姿態(tài)標注工具,其過程如圖1a~1b所示。

    2)因本文檢測模型輸入分辨率為416×416,故對上述處理后的圖片每2張進行拼接操作得到方形圖片,其分辨率為2 048×2 048,對獲取的圖片做放縮操作,將分辨率最終轉(zhuǎn)換為416×416,以減少運算量,提高模型訓練速度,同時對步驟1)中所標注的臉部位置進行相應坐標變換,以獲取放縮后圖像對應的臉部坐標信息,其過程如圖1c~1d所示。由圖1可見,雖然豬的頭部也位于鏡頭采集范圍內(nèi),但其眼部并未呈現(xiàn),故本文未對其進行標注。

    圖1 數(shù)據(jù)處理過程

    經(jīng)上述2步處理后,本文共得到標注圖像989張,按照通用數(shù)據(jù)集劃分策略[27],將其中504張作為訓練集,65張作為驗證集,420張作為測試集。訓練集包含3 712個生豬臉部框,測試集包含2 106個豬臉框,對訓練集與測試集中每類姿態(tài)標注框數(shù)量統(tǒng)計結(jié)果如表2所示。由表2可知,訓練集與測試集上6種姿態(tài)數(shù)目不等會帶來數(shù)據(jù)不均衡問題,本研究對該問題的處理見5.1討論部分所示。

    表2 訓練集測試集各個姿態(tài)類別數(shù)量

    2 檢測模型

    2.1 Tiny-YOLO模型

    YOLOV1、YOLOV2和YOLOV3是Joseph等[16-18]提出的目標檢測通用模型,Tiny-YOLO是輕量化YOLOV3,其融合了最新的特征金字塔網(wǎng)絡[12](feature pyramid networks,F(xiàn)PN)和全卷積網(wǎng)絡[28](fully convolutional networks,F(xiàn)CN)技術(shù),模型結(jié)構(gòu)更簡單,檢測精度更高,速度更快[29]。

    Tiny-YOLO模型主要由卷積層與池化層拼接構(gòu)成,其模型結(jié)構(gòu)如圖2所示。模型輸入圖像分辨率為416×416×3,經(jīng)過一系列3×3和1×1卷積、池化以及上采樣操作,可對輸入圖像進行特征提取,每步提取完成后特征圖尺寸如圖3中長方體底部數(shù)字所示,數(shù)字項分別表示特征圖分辨率寬×分辨率高×通道數(shù)。由于不同種類目標在原始圖中所占比例差異較大,Tiny-YOLO引入多尺度特征提取模塊以保證對不同大小目標均具有較強的檢測性能。模型最終輸出2個尺度特征圖,如圖2中①、②所示。多尺度特征圖對于同一目標可能會有多個檢測結(jié)果,Tiny-YOLO引入非極大值抑制(non maximum suppression, NMS)[30]剔除冗余的檢測框以使得對于每個目標均有唯一檢測框,使其位置信息更準確,置信度更高。但Tiny-YOLO模型在特征提取過程中,對特征圖中的每個區(qū)域均賦予相同權(quán)重值,而在生豬臉部姿態(tài)檢測中,圖像中的豬臉、豬蹄和豬舍等部位對豬臉區(qū)域精確定位貢獻度不同,應賦予不同權(quán)重值。降低豬蹄、豬舍等噪聲信息的影響,強化豬臉區(qū)域特征,可提升定位準確度。

    注:L表示低階特征圖,H表示高階特征圖信息,F(xiàn)表示高低階融合特征圖,①、②分別表示對輸入圖像的2種不同尺度檢測結(jié)果。

    2.2 對Tiny-YOLO模型的改進

    2.2.1 引入通道注意力模塊

    因不同通道信息對檢測結(jié)果貢獻度不同,本文引入通道注意力(channel attention block, CAB)模塊對特征圖各個通道間的依賴性進行建模,可使同一特征圖的不同位置具有相同的通道權(quán)重信息,使模型能選擇性地強化重要信息并抑制弱相關(guān)特征,進而提高模型表征能力,可精確定位生豬臉部,其結(jié)構(gòu)如圖3所示。全局平均池化[31-32]常被用于匯集空間通道信息,該操作通過壓縮輸入特征圖空間維度生成特征圖像素點反饋信息以計算通道注意力,但其斷然將特征圖中的每一點對通道注意力信息的獲取視為具有同等作用,削弱了特征強度較大區(qū)域?qū)νǖ雷⒁饬π畔⒌挠绊?。而全局最大池化在梯度反向傳播過程中僅計算響應最大地方的梯度反饋,可進一步強化敏感區(qū)域以彌補全局平均池化的短板。為此,本文CAB模塊在傳統(tǒng)通道注意力模塊中加入全局最大池化操作,通過對高階特征進行全局平均與最大池化融合得到通道權(quán)重向量以引導低階特征圖進行通道選擇,實現(xiàn)特征響應與特征重校準效果。

    其核心操作如圖3中虛線框部分所示,其計算為式(1)~式(3)。

    注:Higher表示高階特征,Lower表示低階特征。與分別表示全局平均池化與全局最大池化,與分別表示經(jīng)隱藏層處理后的全局平均池化與全局最大池化值,W0與W1分別表示隱藏層參數(shù)矩陣,s表示sigmoid激活函數(shù),BC(H)表示最終獲取的通道注意力信息。

    2.2.2 引入空間注意力模塊

    為有效編碼特征圖內(nèi)部像素點間關(guān)系,本文引入空間注意力(spatial attention block,SAB)模塊以對特征圖內(nèi)部元素進行建模,不同通道特征圖中相同位置處具有相同的空間權(quán)重信息。不同于通道注意力對特征圖中的每一通道內(nèi)部的所有特征點共享相同權(quán)重,空間注意力區(qū)別對待于特征圖中的每一點,將所有通道中相同位置處的值進行全局平均池化與最大池化融合操作以獲取指定位置處的空間權(quán)重值,用以補充通道注意力機制無法較好獲取的位置關(guān)系信息,進而用于對特征圖中各個位置特征值進行篩選以突出適用于生豬臉部姿態(tài)檢測的特征,其核心操作如圖4中虛線框所示,其計算為式(4)。

    圖4 空間注意力模塊

    Fig.4 Spatial attention block

    2.2.3 融合通道與空間注意力的DAT-YOLO模型

    本文提出融合CAB與SAB模塊的DAT-YOLO(dual attention tiny-YOLO)模型,對Tiny-YOLO模型進行改進,用于群養(yǎng)環(huán)境下多角度生豬臉部姿態(tài)檢測,其模型結(jié)構(gòu)如圖5所示。DAT-YOLO在Tiny-YOLO模型中引入通道注意力塊與空間注意力塊兩類模塊以選擇性融合深淺層特征,高階特征引導低階特征進行通道注意力獲取,低階特征反向指引高階特征進行空間注意力篩選,可在不顯著增加計算量和參數(shù)量的前提下提升模型特征提取能力。因群養(yǎng)狀態(tài)下生豬個體距攝像儀位置不同,故其所采集的生豬臉部面積差異較大,DAT-YOLO保留了Tiny-YOLO的多尺度特征提取模塊以保證對不同大小臉部有較強的檢測性能。DAT-YOLO模型核心部件如圖5中最外層虛框所示,其計算為式(5)。

    2.3 模型評價指標

    本文采用目標檢測領域公認的平均檢測精度mAP以及精確率-召回率(precision-recall,-)曲線變化情況作為評價標準以衡量4種模型對生豬臉部姿態(tài)檢測性能。-曲線反映的是不同召回率與對應召回率下最大精確率間的關(guān)系變化情況,檢測精度AP指-曲線下方面積,mAP指同一模型對6種生豬臉部姿態(tài)類別的AP平均值。Precision、Recall、AP及mAP定義如式(6)~式(9)所示。

    注:表示經(jīng)過高階特征通道篩選后的低階特征信息,表示經(jīng)過低階特征空間篩選后的高階特征信息

    其中TP表示模型預測為正實際為正的樣本數(shù)量;FP表示模型預測為正實際為負的樣本數(shù)量;FN表示模型預測為負實際為正的樣本數(shù)量;,分別表示精確率與召回率;表示姿態(tài)類別總數(shù),本文取6,C表示當前第個類別,的取值范圍為1~6。

    3 試驗平臺參數(shù)

    試驗平臺配置為Intel(R) Core(TM)i7-6700CPU@ 3.40 GHz 處理器,8 GB 運行內(nèi)存,1 T 硬盤容量,12 GB GTX Titan X GPU,系統(tǒng)為CentOS7.4。采用keras[33]框架進行模型代碼的編寫。將數(shù)據(jù)集分為訓練集、驗證集及測試集3 個部分,其中訓練集大小為 504,驗證集大小為65,測試集大小為420。為避免內(nèi)存溢出,采取批訓練方式對Tiny-YOLO與YOLOV3兩類系列8個子模型在訓練集和驗證集上進行試驗,訓練時一個批次(batch)包含16張圖片,遍歷1次全部訓練集數(shù)據(jù)稱為1次迭代,本文設置迭代次數(shù)為300。8個子模型均采用與Redmon[18]一致的loss損失函數(shù),采用自適應矩陣估計算法(adaptive moment estimation,Adam)[34]優(yōu)化模型,初始學習率設置為0.000 1,每次更新權(quán)值時使用BN(batch normalization)[35]進行正則化。為使模型能檢測不同大小的生豬臉部,引入Faster R-CNN的錨框(anchor boxes)[15]思想,通過使用K-means算法對訓練集錨框進行聚類,針對圖5 中Tiny-YOLO系列模型①與②每種尺度分別生成2種不同大小的潛在待識別目標的錨框,最終獲得4個錨點,其大小分別為(23×27)(37×58)(81×82)(135×169),其中尺度①使用后2個錨點,適合檢測較大臉部對象,尺度②使用前2個錨點,適合檢測較小對象,針對YOLOV3系列模型,共有9個錨點框,其大小分別為(10×13)(16×30)(33×23)(30×61)(62×45)(59×119)(116×90)(156×198)(373×326),其中前3個錨點框適合檢測較小臉部對象,中間3個錨點框適合檢測中等大小臉部框,后3個錨點框適合檢測較大臉部對象。在計算mAP指標值時,參照PASCAL VOC2012 mAP評價指標[36]定義方式,設置當檢測框與手動標注框的IOU[37]值超過0.5且檢測類別相同時視為檢測正確。

    4 結(jié)果與分析

    本文移除圖5中CAB模塊構(gòu)建SAT-YOLO(spatial attention tiny-YOLO)子模型、移除SAB模塊構(gòu)建CAT-YOLO(channel attention tiny-YOLO)子模型以測試2類注意力模塊在Tiny-YOLO系列模型上的有效性。同時為進一步驗證注意力信息在其余模型上的遷移性能,基于YOLOV3模型分別構(gòu)建CA-YOLOV3(channel attention YOLOV3)、SA-YOLOV3(spatial attention YOLOV3)與DA-YOLOV3(dual attention YOLOV3)子模型,并評估其各自性能狀況。

    4.1 模型的檢測精度分析

    表3為Tiny-YOLO模型8種子模型對生豬6種臉部姿態(tài)識別的AP以及總體mAP,不同模型間采用相同的試驗訓練參數(shù),并在相同測試集上驗證模型的有效性,其中每一系列模型均進行完全不引入注意力、僅引入通道注意力、僅引入空間注意力與同時引入2種注意力各4組試驗,以驗證注意力機制有效性。

    試驗結(jié)果表明:

    1)基于Tiny-YOLO的子模型在水平側(cè)臉、低頭正臉、抬頭側(cè)臉姿態(tài)類別的AP值均優(yōu)于基于YOLOV3的子模型,且對低頭正臉類別的提升幅度最大,由表2可知,在對低頭正臉類別預測的AP值方面,Tiny-YOLO系列模型相較于YOLOV3系列模型提高了2.20%~8.59%。Tiny-YOLO系列模型雖對水平正臉和低頭側(cè)臉姿態(tài)類別未能取得最佳AP值,但其值與YOLOV3系列加入相同注意力模塊的子模型相比仍具有較強競爭力。Tiny-YOLO系列模型的總體mAP指標與加入相同注意力模塊的YOLOV3系列模型相比提高了0.46%~1.92%,且對同時加入2類注意力模塊的子模型,DA-YOLOV3模型預測mAP值達到81.92%,DAT-YOLO模型預測mAP值達到82.38%,取得了相應系列模型最優(yōu)值,而對于單獨引入通道或者空間注意力的mAP指標,

    SA-YOLOV3預測mAP值達到78.30%,CA-YOLOV3預測mAP值達到75.80%,SA-YOLOV3預測效果優(yōu)于SA-YOLOV3預測效果,SAT-YOLO模型預測mAP值達到79.43%,CAT-YOLO模型預測mAP值達到77.72%,SAT-YOLO預測效果優(yōu)于CAT-YOLO預測效果,這表明注意力信息尤其是空間注意力對YOLOV3和Tiny-YOLO系列模型性能影響更大。雖然YOLOV3網(wǎng)絡層次更深,但在本文試驗數(shù)據(jù)環(huán)境中,其性能劣于Tiny-YOLO系列模型,理論上網(wǎng)絡層次越深,其特征表征能力越強,但深層網(wǎng)絡可能會帶來梯度消失問題,導致反向傳播算法無法將梯度有效傳回。此外,本文群養(yǎng)生豬圖片具有背景可控、豬只所占圖片像素比例較大的特點,對場景語義豐富度較弱的圖片,淺層網(wǎng)絡往往具有更優(yōu)的檢測性能。基于上述試驗結(jié)果,本文后續(xù)其他指標分析主要集中于性能較優(yōu)的Tiny-YOLO系列模型。

    2)Tiny-YOLO系列模型的DAT-YOLO子模型在多數(shù)類別上均能取得最佳AP值。與同系列模型其余3種子模型相比,DAT-YOLO模型的mAP值提高2.95%~8.39%。DAT-YOLO對抬頭側(cè)臉類別預測的AP值比其余3種子模型最優(yōu)值提高6.59%,提升幅度最大。雖然DAT-YOLO對低頭側(cè)臉類別未能達到最優(yōu)效果,但僅比其余3種子模型的最佳值低1.31%,說明DAT-YOLO子模型最適用于群養(yǎng)狀態(tài)下生豬臉部姿態(tài)識別。

    3)引入注意力機制在很大程度上提升了生豬臉部姿態(tài)檢測準確率。在Tiny-YOLO模型中引入通道注意力或空間注意力后的子模型,SAT-YOLO比Tiny-YOLO模型的mAP提高5.44%,CAT-YOLO比Tiny-YOLO模型的mAP提高3.73%,DAT-YOLO比Tiny-YOLO模型的mAP提高8.39%,其性能均優(yōu)于Tiny-YOLO模型,且DAT-YOLO子模型的效果最優(yōu),其mAP分雖較CAT-YOLO、SAT-YOLO提高4.66%和2.95%,這是因為通道注意力可對特征圖的不同通道賦予不同特征,選擇性增大包含生豬臉部通道的權(quán)重值,空間注意力對同一特征圖不同位置特征點給予不同權(quán)重,區(qū)別對待特征圖內(nèi)部像素點,強化臉部特征值貢獻率,兩者結(jié)合可總體提升檢測準確率,這表明了注意力機制對生豬臉部姿態(tài)檢測的有效性。對僅引入一種注意力的子模型,SAT-YOLO提升幅度一般較高于CAT-YOLO,其mAP較CAT-YOLO子模型提高1.71%,具體到單一生豬臉部姿態(tài)類別,SAT-YOLO子模型相較于CAT-YOLO子模型對低頭側(cè)臉類別的提高值達到11.40%,提升幅度最大,說明在群養(yǎng)生豬臉部姿態(tài)檢測中,空間注意力效果更加明顯,這是因為不同于通道注意力信息,空間注意力將權(quán)重施加于特征圖中的每一點,對每個特征點區(qū)別對待,自學習臉部框邊界權(quán)重,可進一步提高臉部邊界位置的準確率。

    表3 測試集不同子模型對生豬臉部姿態(tài)類別的檢測精度與平均檢測精度

    4.2 模型預測結(jié)果TP與FP數(shù)目分析

    為明確Tiny-YOLO系列模型的4種子模型對6種姿態(tài)類別的預測結(jié)果,對式(6)、式(7)中的TP、FP中間指標值采用柱狀圖表示。通常TP、FP值的獲取,需對模型預測的結(jié)果類別框進行過濾操作,首先去除置信度低于某一值的預測框(本文置信度閾值設置為0.3),接著將篩選過后的預測框按照置信度值進行降序排列,隨后計算最高置信度值預測框與真實框間的IOU值,若IOU大于設定閾值(本文IOU閾值設為0.5),則將當前預測框加入TP中,同時將對應真實框標注為已檢測,后續(xù)對該真實框的其余預測框均被列入FP中,最終Tiny-YOLO系列模型4種子模型的TP與FP值如圖6所示。

    注:TP表示模型預測為正實際為正的樣本數(shù)量;FP表示模型預測為正實際為負的樣本數(shù)量。

    試驗結(jié)果表明:

    1)對于TP數(shù)目而言,其值越高,模型越優(yōu)。由圖6可見加入注意力機制的3種子模型其值相差不是很大,但3種子模型預測TP指標值均高于未加入注意力信息的Tiny-YOLO模型。加入注意力信息的3種子模型對6種臉部姿態(tài)類別的TP總數(shù)目排序依次是DAT-YOLO> SAT-YOLO>CAT-YOLO,可見同時加入2種注意力對生豬臉部姿態(tài)檢測的預測效果最佳。對于單一姿態(tài)類別,加入注意力的3種子模型TP值呈現(xiàn)出不同特點,對差異最大的低頭側(cè)臉和抬頭側(cè)臉類別,SAT-YOLO的低頭側(cè)臉TP數(shù)目比CAT-YOLO多19個,DAT-YOLO的抬頭側(cè)臉TP值比CAT-YOLO多19個。

    2)對于FP數(shù)值而言,其值越低,模型效果越佳。4種子模型預測結(jié)果值排序依次為DAT-YOLO< SAT-YOLO

    4.3 模型精確率-召回率曲線分析

    圖7為Tiny-YOLO系列模型4種子模型對生豬6種臉部姿態(tài)識別的-曲線圖。由式(6)、式(7)可知,Precision與Recall值的獲取需要首先計算TP、FP以及FN的個數(shù),每種子模型對不同種類的預測結(jié)果TP、FP值可見圖6所示。對于FN數(shù)值,圖像中某一類別的真實框數(shù)量是已知的,TP數(shù)量可從4.1部分求出,兩者差值即為FN結(jié)果值。每個類別中-曲線下方面積即為表3中對應模型在該類別上的AP值,曲線越靠近右上角,模型效果越優(yōu)。

    從圖7中可看出,加入注意力機制后的3種子模型-曲線均位于未加注意力信息的Tiny-YOLO模型上方,這是因為Tiny-YOLO檢測模型所提取的卷積特征并未對卷積核中不同位置處特征進行區(qū)別對待,認為每個區(qū)域?qū)z測結(jié)果貢獻度相同,但實際中,待檢測物體周圍往往具有復雜且豐富的語境信息,對目標區(qū)域特征施以權(quán)重可使模型更好地定位至待檢測特征上,說明注意力信息有利于對群養(yǎng)生豬臉部姿態(tài)進行檢測。對于單獨引入1種注意力機制的情況,SAT-YOLO子模型在除抬頭正臉類別外的其余類別上其曲線均位于CAT-YOLO子模型上方,說明與通道注意力相比,空間注意力對區(qū)域檢測效果更為明顯。此外,4種子模型對低頭正臉、抬頭正臉、抬頭側(cè)臉3個姿態(tài)類別的Recall值小于0.1時,Precision值均維持在1.0附近,差異不大,但隨著Recall值的減小,DAT-YOLO子模型優(yōu)勢逐漸明顯,其對應Precision值均不遜于其余3種子模型,并在抬頭正臉、抬頭側(cè)臉2個類別上優(yōu)勢最為明顯。雖然DAT-YOLO子模型對水平正臉、水平側(cè)臉、低頭側(cè)臉類別的表現(xiàn)并不突出,但其對應類別曲線狀態(tài)均不弱于其余子模型,說明在同時加入2種注意力的情況下可最大限度提升模型性能,能充分融合通道注意力和空間注意力優(yōu)勢。

    4.4 模型預測結(jié)果分析

    為進一步展示模型預測效果,在測試集上對Tiny-YOLO系列模型4種子模型進行預測,選取其中3幅可視化結(jié)果如圖8所示。其中每行所表示子模型類別見圖左側(cè)注釋所示,預測結(jié)果中預測框左上角部分顯示值表示預測為當前姿態(tài)類別的置信度。

    圖8 部分測試集預測結(jié)果

    由圖8可知,對于8a對應圖像,4種子模型均能正確預測出生豬臉部姿態(tài)類別及其位置,其中DAT-YOLO子模型能夠取得最佳的類別置信度。對于8b對應的圖像,Tiny-YOLO、SAT-YOLO和DAT-YOLO3種子模型均能對生豬臉部較小或者不明顯區(qū)域做出正確預測,且DAT-YOLO預測置信度最高,且除DAT-YOLO子模型外,其余3種子模型在預測過程中均有預測錯誤的情形出現(xiàn),表明DAT-YOLO子模型在小目標臉部姿態(tài)檢測的可用性。8c對應圖像,小豬較為密集黏連,4種子模型雖然均有預測錯誤的情況出現(xiàn),但對于預測正確的情況,DAT-YOLO子模型預測結(jié)果最接近真實框。

    5 討 論

    5.1 數(shù)據(jù)不均衡問題處理

    本研究中6種臉部姿態(tài)的數(shù)量差異會產(chǎn)生數(shù)據(jù)不均衡問題,理論上可從數(shù)據(jù)和損失函數(shù)2種角度解決該問題[38-39]。結(jié)合文中模型的適用場景,本文采用損失函數(shù)對數(shù)據(jù)進行偽均衡化處理,采用與Redmon等[18]一致的損失函數(shù),其形式化表示如公式(10)所示。

    5.2 不同姿態(tài)檢測精度差異研究

    由表3可知,模型對不同類別姿態(tài)檢測精度差異較大,該問題屬于深度學習可解釋性研究的最前沿領域,最新研究主要集中于對卷積核與圖像特征點部位間關(guān)系的探討[40-42]。模型的不同層次可用于提取不同特征,每層卷積核與圖像的特定特征相關(guān)聯(lián),并具有一定的通用性,淺層卷積核可提取紋理、邊緣等特征,深層卷積核可提取抽象特征,暫無文獻研究表明提取的特定特征與最終檢測精度間的定量關(guān)系,對于某些臉部姿態(tài)類別,在特征提取過程中,模型所關(guān)注區(qū)域不同,暫時無法從理論上解釋模型各層卷積核學習的特征對特定臉部姿態(tài)檢測類別的貢獻程度。

    5.3 注意力特征圖數(shù)量取值原則

    圖5中DAT-YOLO模型除注意力模塊外的其余特征圖數(shù)目選取均與圖2中Tiny-YOLO模型均保持一致,對通道與空間注意力特征圖數(shù)量的選取原則是基于經(jīng)驗的直觀準則及約定俗成的默認設置(取2的整數(shù)次冪),目前尚無嚴密且令人信服的數(shù)學解釋,對該部分探索性的研究集中于神經(jīng)網(wǎng)絡架構(gòu)搜索(neural architecture search, NAS)[43],其可用于自動搜索最優(yōu)卷積核大小及特征圖數(shù)量。本研究更關(guān)注于不同注意力信息對檢測效果的影響程度,故未將其列入研究范疇。

    6 結(jié) 論

    本文在Tiny-YOLO模型中引入通道注意力和空間注意力,對Tiny-YOLO模型進行了改進,建立檢測模型DAT-YOLO,用于群養(yǎng)場景下生豬不同臉部姿態(tài)檢測,主要結(jié)論如下:

    1)與YOLOV3系列模型相比,Tiny-YOLO系列模型具有更強檢測性能,且在加入注意力信息后,2類系列模型檢測精度均有不同程度提升。

    2)Tiny-YOLO系列模型中,引入注意力機制的CAT-YOLO、SAT-YOLO和DAT-YOLO 3種子模型的mAP值相較于未引入注意力機制的Tiny-YOLO模型分別提高了3.73%、5.44%和8.39%,表明注意力機制對生豬臉部姿態(tài)檢測的有效性,可很大程度提升通用卷積網(wǎng)絡的特征提取能力。

    3)SAT-YOLO檢測效果總體優(yōu)于CAT-YOLO。其在低頭側(cè)臉類別上優(yōu)勢最為明顯,相較于CAT-YOLO子模型,其檢測精度提高6.90%。表明空間注意力信息更適用于生豬臉部姿態(tài)檢測。

    4)同時引入2種注意力的DAT-YOLO子模型無論在各個類別的檢測精度、所有類別的平均檢測精度、FP/TP指標值以及-曲線中,效果均優(yōu)于CAT-YOLO和SAT-YOLO模型,表明同時引入2種注意力信息對生豬臉部姿態(tài)檢測效果更佳,可為生豬臉部姿態(tài)檢測提供方法和思路,為群養(yǎng)生豬個體識別提供有益參考。

    [1] 孫龍清,李玥,鄒遠炳,等. 基于改進Graph Cut算法的生豬圖像分割方法[J]. 農(nóng)業(yè)工程學報,2017,33(16):196-202.

    Sun Longqing, Li Yue, Zou Yuanbing, et al. Pig image segmentation method based on improved Graph Cut algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 196-202. (in Chinese with English abstract)

    [2] 鄒遠炳,孫龍清,李玥,等. 基于分布式流式計算的生豬養(yǎng)殖視頻監(jiān)測分析系統(tǒng)[J]. 農(nóng)業(yè)機械學報,2017,48(S):365-373.

    Zou Yuanbing, Sun Longqing, Li Yue, et al. Video monitoring and analysis system for pig breeding based on distributed flow Computing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(S): 365-373. (in Chinese with English abstract)

    [3] 薛月菊,朱勛沐,鄭嬋,等. 基于改進 Faster R-CNN 識別深度視頻圖像哺乳母豬姿態(tài)[J]. 農(nóng)業(yè)工程學報,2018,34(9):189-196.

    Xue Yueju, Zhu Xunmu, Zheng Chan, et al. Lactating sow postures recognition from depth image of videos based on improved Faster R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 189-196. (in Chinese with English abstract)

    [4] 胡志偉,楊華,婁甜田,等. 基于全卷積網(wǎng)絡的生豬輪廓提取[J]. 華南農(nóng)業(yè)大學學報,2018,39(6):111-119.

    Hu Zhiwei, Yang Hua, Lou Tiantian, et al. Extraction of pig contour based on fully convolutional networks[J]. Journal of South China Agricultural University, 2018, 39(6): 111-119. (in Chinese with English abstract)

    [5] 楊阿慶,薛月菊,黃華盛,等. 基于全卷積網(wǎng)絡的哺乳母豬圖像分割[J]. 農(nóng)業(yè)工程學報,2017,33(23):219-225.

    Yang Aqing, Xue Yueju, Huang Huasheng, et al. Lactating sow image segmentation based on fully convolutional networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 219-225. (in Chinese with English abstract)

    [6] Yang Aqing, Huang Huasheng, Zheng Chan, et al. High-accuracy image segmentation for lactating sows using a fully convolutional network[J]. Biosystems Engineering, 2018, 176: 36-47.

    [7] Psota E, Mittek M, Pérez L, et al. Multi-pig part detection and association with a fully-convolutional network[J]. Sensors, 2019, 19(4): 852.

    [8] Wang Jianzong, Liu Aozhi, Xiao Jing. Video-Based Pig Recognition with Feature-Integrated Transfer Learning[C]// Biometric Recognition, 2018: 620-631.

    [9] Chen Zuge, Wu Kehe, Li Yuanbo, et al. SSD-MSN: An improved multi-scale object detection network based on SSD[J]. IEEE Access, 2019, 7: 80622-80632.

    [10] GhiasiG, Lin T Y, Le Q V. Nas-fpn: Learning scalable feature pyramid architecture for object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society: Piscataway, NJ. 2019: 7036-7045.

    [11] Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European Conference on Computer Vision (ECCV). Cham:SpringerInternational Publishing, 2018: 734-750.

    [12] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). IEEE Computer Society: Piscataway, NJ. 2017: 2117-2125.

    [13] Liu W, Anguelov D, Erhan D, et al. Ssd: Single shot multibox detector[C]//European conference on computer vision(CVPR). IEEE Computer Society: Piscataway, NJ. 2016: 21-37.

    [14] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Computer Science, 2013: 580-587.

    [15] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6): 1137-1149.

    [16] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). IEEE Computer Society: Piscataway, NJ. 2016: 779-788.

    [17] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society: Piscataway, NJ. 2017: 6517-6525.

    [18] Redmon J, Farhadi A. Yolov3: An incremental improvement[J/OL]. [2019-07-10]. USA: 2018. https://arxiv.org/abs/1804.02767

    [19] Pedoeem J, Huang R. YOLO-LITE: A real-time object fetection algorithm optimized for non-GPU computers[J/OL]. [2019-07-10]. USA: 2018. https://arxiv.org/abs/1811.05588

    [20] 薛月菊,黃寧,涂淑琴,等. 未成熟芒果的改進 YOLOv2識別方法[J]. 農(nóng)業(yè)工程學報,2018,34(7):173-179.

    Xue Yueju, Huang Ning, Tu Shuqin, et al. Immature mango detection based on improved YOLOv2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 173-179. (in Chinese with English abstract)

    [21] 趙德安,吳任迪,劉曉洋,等. 基于YOLO 深度卷積神經(jīng)網(wǎng)絡的復雜背景下機器人采摘蘋果定位[J]. 農(nóng)業(yè)工程學報,2019,35(3):164-173.

    Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

    [22] Ju M, Choi Y, Seo J, et al. A kinect-based segmentation of touching-pigs for real-time monitoring[J]. Sensors, 2018, 18(6): 1746.

    [23] Wang Fei, Jiang Mengqing, Qian Chen, et al. Residual Attention Network for Image Classification[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society: Piscataway, NJ. 2017: 3156-3164.

    [24] Yu Changqian, Wang Jingbo, Peng Chao, et al. BiSeNet: Bilateral segmentation network for real-time semantic segmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). Cham:SpringerInternational Publishing, 2018: 325-341.

    [25] 徐誠極,王曉峰,楊亞東. Attention-YOLO:引入注意力機制的YOLO檢測算法.計算機工程與應用[J],2019,55(6):13-23.

    Xu Chengji, Wang Xiaofeng, Yang Yadong. Attention-YOLO: YOLO detection algorithm that introduces attention mechanism[J]. Computer Engineering and Applications, 2019, 55(6): 13-23. (in Chinese with English abstract)

    [26] TzuTa L. LabelImg [CP/DK]. (2017-01-09) [2019-06-20] https:// github.com/tzutalin/labelImg

    [27] Raykar V C, Saha A. Data Split Strategies for Evolving Predictive Models[C]//Machine Learning and Knowledge Discovery in Databases. 2015: 3-19.

    [28] Long Jonathan, Shelhamer Evan, Darrell Trevor. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640-651.

    [29] 劉軍,后士浩,張凱,等. 基于增強Tiny YOLOV3算法的車輛實時檢測與跟蹤[J]. 農(nóng)業(yè)工程學報,2019,35(8):118-125.

    Liu Jun, Hou Shihao, Zhang Kai, et al. Real-time vehicle detection and tracking based on enhanced Tiny YOLOV3 algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(8): 118-125. (in Chinese with English abstract)

    [30] Neubeck A, Van Gool L. Efficient non-maximum suppression[C]//18th International Conference on Pattern Recognition (ICPR). Springer: Berlin, German. 2006, 3: 850-855.

    [31] Lin Min, Chen Qiang, Yan Shuicheng. Network in network[J/OL]. [2019-07-20]. USA: 2014. https://arxiv.org/ abs/1312.4400

    [32] Zhou Bolei, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization[C]//In: Computer Vision and Pattern Recognition (CVPR), IEEE Computer Society: Piscataway, NJ. 2016: 2921-2929.

    [33] Chollet F. Keras[CP/DK]. (2015-03-28)[2019-07-05]. https://github.com/keras-team/keras/

    [34] Kingma D P, Ba J. Adam: A method for stochastic optimization[J/OL]. [2019-07-20]. https://arxiv.org/ abs/1412.6980

    [35] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// International Conference on Machine Learning(ICML). 2015: 448-456.

    [36] Microsoft. PASCAL-VOC2012 [DB/OL]. (2012-02-20) [2019-08-02]. http://host.robots.ox.ac.uk/pascal/VOC/voc2012

    [37] Rezatofighi H, Tsoi N, Gwak J Y, et al. Generalized intersection over union: A metric and a loss for bounding box regression[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, IEEE Computer Society: Piscataway, NJ. 2019: 658-666.

    [38] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 2980-2988.

    [39] Li B, Liu Y, Wang X. Gradient harmonized single-stage detector[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2019, 33: 8577-8584.

    [40] Zhang Quanshi, Wu Yingnian, Zhu Songchun. Interpretable Convolutional Neural Networks[C]// The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018: 8827-8836.

    [41] Zhang Quanshi, Yang Yu, Ma Haotian, et al. Interpreting CNNs via Decision Trees[C]// The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019: 6261-6270.

    [42] Bolei Zhou, David Bau, Aude Oliva, et al. Interpreting deep visual representations via network dissection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(9): 2131-2145.

    [43] Jin H, Song Q, Hu X. Auto-keras: An efficient neural architecture search system[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, ACM, 2019: 1946-1956.

    Detection of facial gestures of group pigs based on improved Tiny-YOLO

    Yan Hongwen1, Liu Zhenyu1, Cui Qingliang2※, Hu Zhiwei1, Li Yanwen1

    (1.,,030801,; 2.,,030801)

    The face of the pig contains rich biometric information, and the detection of the facial gestures can provide a basis for the individual identification and behavior analysis of the pig. Detection of facial posture can provide basis for individual recognition and behavioral analysis of pigs. However, under the scene of group pigs breeding, there always have many factors, such as pig house lighting and pig adhesion, which brings great challenges to the detection of pig face. In this paper, we take the group raising pigs in the real breeding scene as the research object, and the video frame data is used as the data source. Latter we propose a new detection algorithm named DAT-YOLO which based on the attention mechanism and Tiny-YOLO model, and channel attention and spatial attention information are introduced into the feature extraction process. High-order features guide low-order features for channel attention information acquisition, and low-order features in turn guide high-order features for spatial attention screening, meanwhile the model parameters don’t have significant increase, the model feature extraction ability is improved and the detection accuracy is improved. We collect 504 sheets total 3 712 face area picture for the 5 groups of 20 days to 3 and a half months of group health pig video extraction, the number of pigs is 35. In order to obtain the model input data set, we perform a two-step pre-processing operation of filling pixel values and scaling for the captured video. The model outputs are divided into six classes, which are horizontal face, horizontal side-face, bow face, bow side-face, rise face and rise side-face.The results show that for the test set, the detection precision(AP)reaches 85.54%, 79.3%, 89.61%, 76.12%, 79.37%, 84.35% of the horizontal face, horizontal side-face, bow face, bow side-face, rise face and rise side-face respectively, and the mean detection precision(mAP) is 8.39%, 4.66% and 2.95% higher than that of the general Tiny-YOLO model, the CAT-YOLO model only refers to channel attention and the SAT-YOLO model only introduces spatial attention respectively. In order to further verify the migration performance of attention on the remaining models, under the same experimental conditions, two attentional information were introduced to construct the corresponding attention sub-models based on the YOLOV3-based model. The experiment shows that compared to the YOLOV3 submodel, the sub-model based on Tiny-YOLO increase by 0.46% to 1.92% in the mAP. The Tiny-YOLO and YOLOV3 series models have different performance improvements after adding attention information, indicating that the attention mechanism is beneficial to the accurate and effective group gestures detection of different groups of pigs. In this study, the data is pseudo-equalized from the perspective of loss function to avoid the data imbalance caused by the number of poses of different facial categories, and actively explore the reasons for the difference in the accuracy of different facial gesture detection. The study can provide reference for the subsequent individual identification and behavior analysis of pigs.

    image processing; models; object detection; Tiny-YOLO; channel attention; spatial attention

    燕紅文,劉振宇,崔清亮,胡志偉,李艷文. 基于改進Tiny-YOLO模型的群養(yǎng)生豬臉部姿態(tài)檢測[J]. 農(nóng)業(yè)工程學報,2019,35(18):169-179.doi:10.11975/j.issn.1002-6819.2019.18.021 http://www.tcsae.org

    Yan Hongwen, Liu Zhenyu, Cui Qingliang, Hu Zhiwei, Li Yanwen. Detection of facial gestures of group pigs based on improved Tiny-YOLO[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 169-179. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2019.18.021 http://www.tcsae.org

    2019-08-16

    2019-08-28

    國家高技術(shù)研究發(fā)展計劃(863計劃)資助項目(2013AA102306);國家自然基金面上項目資助(31772651);山西省重點研發(fā)計劃專項(農(nóng)業(yè))(201803D221028-7)

    燕紅文,博士生,主要研究方向為農(nóng)產(chǎn)品加工新技術(shù)及裝備、計算機視覺技術(shù)。Email: yhwhxh@126.com

    崔清亮,教授,博導,主要從事旱作農(nóng)業(yè)機械化關(guān)鍵技術(shù)與裝備的研究。Email: qlcui@126.com

    10.11975/j.issn.1002-6819.2019.18.021

    TP391

    A

    1002-6819(2019)-18-0169-11

    猜你喜歡
    臉部類別姿態(tài)
    攀爬的姿態(tài)
    學生天地(2020年3期)2020-08-25 09:04:16
    全新一代宋的新姿態(tài)
    汽車觀察(2018年9期)2018-10-23 05:46:40
    跑與走的姿態(tài)
    中國自行車(2018年8期)2018-09-26 06:53:44
    服務類別
    新校長(2016年8期)2016-01-10 06:43:59
    論類別股東會
    商事法論集(2014年1期)2014-06-27 01:20:42
    中醫(yī)類別全科醫(yī)師培養(yǎng)模式的探討
    3D打印技術(shù)助英男子重獲完整臉部
    世界科學(2014年4期)2014-02-28 14:58:24
    “臉部塑形”的彩妝魔術(shù)
    聚合酶鏈式反應快速鑒別5種常見肉類別
    食品科學(2013年8期)2013-03-11 18:21:31
    眩暈寧片致臉部紅斑型藥疹1例
    五月开心婷婷网| av在线播放精品| 国产av码专区亚洲av| 精品卡一卡二卡四卡免费| 欧美激情 高清一区二区三区| 丝袜美足系列| 如日韩欧美国产精品一区二区三区| 亚洲成人国产一区在线观看 | 国产熟女午夜一区二区三区| 欧美人与善性xxx| 亚洲欧美精品综合一区二区三区| 制服人妻中文乱码| 十八禁人妻一区二区| 性高湖久久久久久久久免费观看| 精品亚洲成国产av| 97人妻天天添夜夜摸| 综合色丁香网| 国产精品一区二区在线不卡| 免费高清在线观看视频在线观看| kizo精华| 女人高潮潮喷娇喘18禁视频| 晚上一个人看的免费电影| 一区二区三区乱码不卡18| 日韩精品有码人妻一区| 国产有黄有色有爽视频| 国产成人午夜福利电影在线观看| 老司机靠b影院| 嫩草影院入口| 亚洲av电影在线观看一区二区三区| 精品一区二区免费观看| 男女之事视频高清在线观看 | 国产片特级美女逼逼视频| 男女高潮啪啪啪动态图| 国产精品亚洲av一区麻豆 | 亚洲色图综合在线观看| www.av在线官网国产| 久久97久久精品| 老汉色av国产亚洲站长工具| 国产精品亚洲av一区麻豆 | 你懂的网址亚洲精品在线观看| av卡一久久| 性高湖久久久久久久久免费观看| 国产免费视频播放在线视频| 欧美人与善性xxx| 国产成人av激情在线播放| 久久亚洲国产成人精品v| 搡老乐熟女国产| 考比视频在线观看| 在现免费观看毛片| 亚洲伊人久久精品综合| 美女午夜性视频免费| 啦啦啦在线免费观看视频4| 人人妻人人澡人人看| 亚洲成人av在线免费| 午夜精品国产一区二区电影| 亚洲四区av| 午夜日韩欧美国产| 少妇人妻 视频| 五月开心婷婷网| 国产xxxxx性猛交| 一区二区三区激情视频| 日韩欧美精品免费久久| 免费久久久久久久精品成人欧美视频| 99香蕉大伊视频| 久久久久久久久久久免费av| 欧美在线黄色| 亚洲欧美日韩另类电影网站| av在线播放精品| 中文精品一卡2卡3卡4更新| 亚洲精品久久久久久婷婷小说| 肉色欧美久久久久久久蜜桃| 久久久久久久国产电影| 热re99久久国产66热| 亚洲精品乱久久久久久| 久久天躁狠狠躁夜夜2o2o | 老司机靠b影院| av国产久精品久网站免费入址| 少妇的丰满在线观看| 美女大奶头黄色视频| 99国产精品免费福利视频| 老熟女久久久| 国产片特级美女逼逼视频| 青青草视频在线视频观看| 中文精品一卡2卡3卡4更新| 美女大奶头黄色视频| 亚洲久久久国产精品| 精品亚洲成国产av| 老熟女久久久| 亚洲三区欧美一区| 精品国产国语对白av| 青春草亚洲视频在线观看| 久久久久国产一级毛片高清牌| 欧美精品一区二区免费开放| 欧美日韩一区二区视频在线观看视频在线| 一区福利在线观看| 精品亚洲乱码少妇综合久久| 国产一级毛片在线| 咕卡用的链子| 超色免费av| 免费黄网站久久成人精品| www.精华液| 亚洲一码二码三码区别大吗| 蜜桃国产av成人99| av天堂久久9| 日韩一本色道免费dvd| 黄色 视频免费看| 大片电影免费在线观看免费| 亚洲中文av在线| 免费观看人在逋| 国产精品麻豆人妻色哟哟久久| 嫩草影视91久久| 久久精品国产a三级三级三级| 久久久久精品性色| av国产精品久久久久影院| 日本猛色少妇xxxxx猛交久久| 99香蕉大伊视频| 一级,二级,三级黄色视频| 99国产综合亚洲精品| 高清视频免费观看一区二区| 一级爰片在线观看| 女人被躁到高潮嗷嗷叫费观| 男人爽女人下面视频在线观看| 啦啦啦视频在线资源免费观看| √禁漫天堂资源中文www| 99精品久久久久人妻精品| 国产精品久久久久久人妻精品电影 | 看免费成人av毛片| 黄色一级大片看看| 男女床上黄色一级片免费看| 久久精品熟女亚洲av麻豆精品| 97在线人人人人妻| 国产免费又黄又爽又色| 免费少妇av软件| 美女午夜性视频免费| 18禁国产床啪视频网站| 韩国精品一区二区三区| 久久久久久久大尺度免费视频| 97人妻天天添夜夜摸| 建设人人有责人人尽责人人享有的| 蜜桃国产av成人99| 青春草国产在线视频| 夜夜骑夜夜射夜夜干| netflix在线观看网站| 国产99久久九九免费精品| 日日摸夜夜添夜夜爱| 黄色怎么调成土黄色| av国产精品久久久久影院| 中文字幕高清在线视频| 好男人视频免费观看在线| 久久精品久久精品一区二区三区| 欧美久久黑人一区二区| 国产精品 欧美亚洲| 国产亚洲欧美精品永久| 免费久久久久久久精品成人欧美视频| 国产成人啪精品午夜网站| 熟女少妇亚洲综合色aaa.| 成人黄色视频免费在线看| 久久天躁狠狠躁夜夜2o2o | 日本欧美视频一区| 亚洲图色成人| 如何舔出高潮| 激情视频va一区二区三区| 午夜激情av网站| 无限看片的www在线观看| 久久国产亚洲av麻豆专区| 欧美少妇被猛烈插入视频| 七月丁香在线播放| 亚洲欧洲国产日韩| 波多野结衣一区麻豆| 在线观看免费午夜福利视频| 亚洲激情五月婷婷啪啪| 国产免费福利视频在线观看| 欧美激情高清一区二区三区 | 日韩成人av中文字幕在线观看| 天天躁日日躁夜夜躁夜夜| 夜夜骑夜夜射夜夜干| 亚洲成人一二三区av| 久久久久久久大尺度免费视频| 涩涩av久久男人的天堂| videos熟女内射| 午夜免费男女啪啪视频观看| 免费在线观看完整版高清| 精品酒店卫生间| 大话2 男鬼变身卡| 国产精品国产三级专区第一集| 亚洲av欧美aⅴ国产| 国产伦人伦偷精品视频| 欧美xxⅹ黑人| 电影成人av| 亚洲欧洲国产日韩| 最近最新中文字幕免费大全7| 精品午夜福利在线看| 在线观看国产h片| 看免费av毛片| 天天躁日日躁夜夜躁夜夜| 又黄又粗又硬又大视频| 午夜激情av网站| 亚洲欧美中文字幕日韩二区| 日韩中文字幕欧美一区二区 | 成人漫画全彩无遮挡| 国产精品欧美亚洲77777| 久久ye,这里只有精品| 欧美精品av麻豆av| 国产人伦9x9x在线观看| 国产高清国产精品国产三级| 国产高清国产精品国产三级| 亚洲av电影在线观看一区二区三区| 国产高清国产精品国产三级| 在线观看国产h片| 精品一区二区三区av网在线观看 | 大陆偷拍与自拍| 少妇被粗大的猛进出69影院| 国产成人午夜福利电影在线观看| 久久天堂一区二区三区四区| 18禁国产床啪视频网站| 国产毛片在线视频| 亚洲,欧美,日韩| 看免费成人av毛片| 亚洲av日韩精品久久久久久密 | 精品少妇一区二区三区视频日本电影 | 777米奇影视久久| 久久久国产一区二区| 久久久精品94久久精品| 伦理电影免费视频| 欧美久久黑人一区二区| 久久久久久久精品精品| 成年人午夜在线观看视频| 国产精品嫩草影院av在线观看| 在线观看www视频免费| 日日啪夜夜爽| 18禁国产床啪视频网站| 香蕉丝袜av| 欧美人与性动交α欧美精品济南到| 又粗又硬又长又爽又黄的视频| 久久 成人 亚洲| 建设人人有责人人尽责人人享有的| 国产无遮挡羞羞视频在线观看| videos熟女内射| 亚洲人成77777在线视频| 香蕉丝袜av| 亚洲天堂av无毛| 啦啦啦在线观看免费高清www| 黑人欧美特级aaaaaa片| 国产视频首页在线观看| 久久99热这里只频精品6学生| av国产久精品久网站免费入址| 久久久久网色| av线在线观看网站| 国产成人午夜福利电影在线观看| 久久鲁丝午夜福利片| 日韩av在线免费看完整版不卡| 日本wwww免费看| 天堂8中文在线网| 好男人视频免费观看在线| 亚洲精品aⅴ在线观看| 久久毛片免费看一区二区三区| 亚洲国产日韩一区二区| 久久99精品国语久久久| 国产亚洲午夜精品一区二区久久| 热99国产精品久久久久久7| 欧美精品高潮呻吟av久久| 欧美黑人欧美精品刺激| 成人亚洲精品一区在线观看| 日韩熟女老妇一区二区性免费视频| 免费观看av网站的网址| bbb黄色大片| 中国国产av一级| 在现免费观看毛片| 韩国精品一区二区三区| 只有这里有精品99| 男女免费视频国产| 亚洲精品一区蜜桃| 999久久久国产精品视频| 飞空精品影院首页| 熟妇人妻不卡中文字幕| 中文字幕亚洲精品专区| 999久久久国产精品视频| 日本欧美视频一区| 伊人久久大香线蕉亚洲五| 精品少妇一区二区三区视频日本电影 | 久久 成人 亚洲| 日本猛色少妇xxxxx猛交久久| 日韩伦理黄色片| 十八禁人妻一区二区| 精品国产乱码久久久久久男人| 国产成人一区二区在线| 精品一区二区三卡| 国产精品av久久久久免费| 日日撸夜夜添| 最近中文字幕高清免费大全6| 天天躁日日躁夜夜躁夜夜| 中文乱码字字幕精品一区二区三区| 97精品久久久久久久久久精品| 久久精品久久久久久久性| 老熟女久久久| 国产伦理片在线播放av一区| 亚洲成色77777| 19禁男女啪啪无遮挡网站| 国产成人午夜福利电影在线观看| 国产淫语在线视频| 极品少妇高潮喷水抽搐| 久久久久久久大尺度免费视频| 侵犯人妻中文字幕一二三四区| 一区二区三区乱码不卡18| 亚洲 欧美一区二区三区| 久久久精品94久久精品| av又黄又爽大尺度在线免费看| 久久久精品国产亚洲av高清涩受| 成人手机av| 天天操日日干夜夜撸| 欧美最新免费一区二区三区| 国产精品二区激情视频| 热99久久久久精品小说推荐| 日本欧美视频一区| 久久国产精品男人的天堂亚洲| 新久久久久国产一级毛片| 男人舔女人的私密视频| 欧美亚洲日本最大视频资源| 狂野欧美激情性bbbbbb| 亚洲精品日本国产第一区| 超碰成人久久| 无限看片的www在线观看| 日韩欧美精品免费久久| 久久韩国三级中文字幕| 日本av手机在线免费观看| 国产精品女同一区二区软件| 亚洲熟女毛片儿| 97人妻天天添夜夜摸| 一边摸一边抽搐一进一出视频| 日韩免费高清中文字幕av| 中文字幕高清在线视频| 欧美久久黑人一区二区| av天堂久久9| 国产人伦9x9x在线观看| av一本久久久久| www.精华液| 国产片内射在线| 国产片内射在线| 成人漫画全彩无遮挡| av天堂久久9| 天堂8中文在线网| 91老司机精品| 日本av手机在线免费观看| 免费观看性生交大片5| 午夜影院在线不卡| 成年av动漫网址| 亚洲少妇的诱惑av| 日日啪夜夜爽| 午夜影院在线不卡| 精品一品国产午夜福利视频| 一区福利在线观看| 少妇被粗大的猛进出69影院| 日韩欧美一区视频在线观看| 精品亚洲成a人片在线观看| 国产野战对白在线观看| 丝袜喷水一区| 欧美97在线视频| 国产av一区二区精品久久| 热99久久久久精品小说推荐| 中文字幕人妻丝袜一区二区 | 日韩一卡2卡3卡4卡2021年| 少妇人妻久久综合中文| 桃花免费在线播放| 自拍欧美九色日韩亚洲蝌蚪91| www.精华液| 黄片播放在线免费| 男男h啪啪无遮挡| 午夜91福利影院| 一本久久精品| 久久久久精品性色| 韩国av在线不卡| 热re99久久精品国产66热6| 悠悠久久av| 亚洲少妇的诱惑av| 午夜免费观看性视频| 宅男免费午夜| 欧美激情极品国产一区二区三区| 亚洲成人av在线免费| 精品国产一区二区三区久久久樱花| 啦啦啦 在线观看视频| 成人亚洲欧美一区二区av| 人成视频在线观看免费观看| 国产精品成人在线| 99香蕉大伊视频| 可以免费在线观看a视频的电影网站 | 中文精品一卡2卡3卡4更新| 中文字幕最新亚洲高清| 啦啦啦视频在线资源免费观看| 欧美 亚洲 国产 日韩一| 最近2019中文字幕mv第一页| 国产精品一二三区在线看| 人人妻,人人澡人人爽秒播 | 亚洲精品国产一区二区精华液| 中文字幕最新亚洲高清| 99久久综合免费| 美女国产高潮福利片在线看| 国产精品一二三区在线看| 日日啪夜夜爽| 亚洲美女搞黄在线观看| 国产爽快片一区二区三区| 波多野结衣av一区二区av| 一区福利在线观看| 国产日韩欧美亚洲二区| 在线观看免费视频网站a站| 欧美成人精品欧美一级黄| 十八禁网站网址无遮挡| 亚洲成国产人片在线观看| 无限看片的www在线观看| 国产野战对白在线观看| 国产av码专区亚洲av| 精品国产一区二区久久| 日本爱情动作片www.在线观看| 超碰97精品在线观看| 午夜福利免费观看在线| 国产精品成人在线| 免费久久久久久久精品成人欧美视频| 亚洲精品av麻豆狂野| 下体分泌物呈黄色| 韩国精品一区二区三区| 少妇被粗大的猛进出69影院| 叶爱在线成人免费视频播放| 两性夫妻黄色片| 777米奇影视久久| 亚洲,一卡二卡三卡| 97人妻天天添夜夜摸| 精品亚洲乱码少妇综合久久| 午夜福利一区二区在线看| 在线天堂最新版资源| 99精品久久久久人妻精品| 国产男女内射视频| 亚洲精品国产区一区二| 欧美xxⅹ黑人| 9色porny在线观看| 久久久久久久国产电影| 黑丝袜美女国产一区| 大片电影免费在线观看免费| 国产精品免费视频内射| 18禁国产床啪视频网站| 亚洲熟女精品中文字幕| 嫩草影院入口| 欧美变态另类bdsm刘玥| 美女脱内裤让男人舔精品视频| 国产熟女午夜一区二区三区| 久久久精品94久久精品| 在现免费观看毛片| videos熟女内射| 美女高潮到喷水免费观看| 国产精品国产三级专区第一集| 成年女人毛片免费观看观看9 | 日韩av免费高清视频| 中文字幕高清在线视频| 在线观看一区二区三区激情| 美女高潮到喷水免费观看| 欧美精品一区二区免费开放| av女优亚洲男人天堂| 亚洲伊人色综图| 午夜福利,免费看| 欧美xxⅹ黑人| 女人精品久久久久毛片| 久久久久久久精品精品| 免费黄色在线免费观看| 日韩电影二区| 性高湖久久久久久久久免费观看| 最新的欧美精品一区二区| 国产成人91sexporn| 高清不卡的av网站| 秋霞在线观看毛片| 考比视频在线观看| 亚洲欧美精品自产自拍| 精品一区二区三区四区五区乱码 | 性高湖久久久久久久久免费观看| 欧美日韩视频精品一区| 制服人妻中文乱码| 99热全是精品| 两个人免费观看高清视频| 中文天堂在线官网| 日韩av免费高清视频| 久久久久网色| 国产又爽黄色视频| 国产高清不卡午夜福利| 视频区图区小说| 精品少妇内射三级| 中文字幕制服av| 亚洲在久久综合| 观看av在线不卡| 久久青草综合色| 日韩中文字幕欧美一区二区 | 久久久久久免费高清国产稀缺| 熟女av电影| 十八禁人妻一区二区| 成人18禁高潮啪啪吃奶动态图| 亚洲欧美激情在线| 国产又色又爽无遮挡免| 母亲3免费完整高清在线观看| 高清av免费在线| 国产老妇伦熟女老妇高清| 成年动漫av网址| 亚洲av中文av极速乱| av又黄又爽大尺度在线免费看| 国产精品熟女久久久久浪| 国产精品麻豆人妻色哟哟久久| 欧美xxⅹ黑人| 夫妻午夜视频| 性色av一级| 久久精品国产亚洲av涩爱| av福利片在线| netflix在线观看网站| 亚洲国产欧美日韩在线播放| 在线精品无人区一区二区三| 国产 一区精品| 午夜免费鲁丝| 纯流量卡能插随身wifi吗| 久久国产精品大桥未久av| 可以免费在线观看a视频的电影网站 | 不卡av一区二区三区| 久热这里只有精品99| 青草久久国产| 热re99久久国产66热| 国产成人欧美| videosex国产| 十分钟在线观看高清视频www| 女性被躁到高潮视频| 国产不卡av网站在线观看| 国产精品偷伦视频观看了| 中文字幕av电影在线播放| 国产亚洲av片在线观看秒播厂| 人成视频在线观看免费观看| 亚洲av电影在线观看一区二区三区| 久久精品久久久久久久性| 女性生殖器流出的白浆| 99香蕉大伊视频| 日韩免费高清中文字幕av| 久久精品aⅴ一区二区三区四区| 亚洲国产欧美一区二区综合| 久久人人爽av亚洲精品天堂| 女的被弄到高潮叫床怎么办| 九草在线视频观看| 狂野欧美激情性xxxx| 日韩 亚洲 欧美在线| 亚洲国产日韩一区二区| 色婷婷av一区二区三区视频| 午夜激情av网站| 啦啦啦 在线观看视频| 狂野欧美激情性xxxx| 日韩中文字幕欧美一区二区 | 日本欧美视频一区| 中文欧美无线码| 国产成人a∨麻豆精品| 男女无遮挡免费网站观看| 亚洲天堂av无毛| 曰老女人黄片| 制服丝袜香蕉在线| 精品久久久精品久久久| 国产有黄有色有爽视频| 亚洲国产欧美网| 日本黄色日本黄色录像| 国产日韩一区二区三区精品不卡| 国产一区有黄有色的免费视频| 一区二区av电影网| 在线亚洲精品国产二区图片欧美| 亚洲精品视频女| 曰老女人黄片| 色网站视频免费| 中国国产av一级| 国产成人系列免费观看| av免费观看日本| 老司机影院成人| 女人久久www免费人成看片| 国产精品亚洲av一区麻豆 | 中文字幕人妻丝袜制服| 欧美日韩视频高清一区二区三区二| 亚洲少妇的诱惑av| 中文欧美无线码| 久久久久网色| 成人亚洲精品一区在线观看| svipshipincom国产片| 亚洲国产成人一精品久久久| 久久99一区二区三区| 久久97久久精品| 国产精品久久久人人做人人爽| 操美女的视频在线观看| 日韩中文字幕欧美一区二区 | 成人亚洲欧美一区二区av| 日本欧美国产在线视频| 午夜福利网站1000一区二区三区| 国产在视频线精品| 精品国产乱码久久久久久男人| 咕卡用的链子| 黄片小视频在线播放| 国产亚洲欧美精品永久| 欧美成人精品欧美一级黄| 一区在线观看完整版| 亚洲国产欧美日韩在线播放| 69精品国产乱码久久久| 人人妻,人人澡人人爽秒播 | 午夜av观看不卡| 成年人午夜在线观看视频| 国产精品一区二区在线观看99| 久久热在线av| 国产午夜精品一二区理论片| 日本一区二区免费在线视频| 侵犯人妻中文字幕一二三四区| 国产免费福利视频在线观看| 亚洲婷婷狠狠爱综合网| 久久鲁丝午夜福利片| 国产日韩一区二区三区精品不卡| 日韩电影二区| 爱豆传媒免费全集在线观看| 亚洲国产欧美日韩在线播放| 亚洲一区二区三区欧美精品| 久久久久网色| 成年美女黄网站色视频大全免费| 99久久综合免费| 精品酒店卫生间| av一本久久久久|