基于旋轉(zhuǎn)框的輕量高效安全帶檢測(cè)算法研究

宋長(zhǎng)明,梁朝陽(yáng),肖 露,宋 蒙,彩 朔

(中原工學(xué)院理學(xué)院,河南 鄭州 450007)

0 引言(Introduction)

基于道路監(jiān)控的汽車駕駛員安全帶檢測(cè),是智慧交通建設(shè)中不可或缺的一環(huán),規(guī)勸駕駛?cè)藛T養(yǎng)成佩戴安全帶的良好駕駛習(xí)慣,保障駕駛?cè)藛T人身安全,是交通管理部門不可推卸的責(zé)任?，F(xiàn)有的安全帶檢測(cè)算法研究中,部分學(xué)者使用機(jī)器學(xué)習(xí)的方式,人為地選取某些特征作為安全帶檢測(cè)識(shí)別標(biāo)志。例如,謝騰等[1]選取方向盤與安全帶構(gòu)成的空間特征作為安全帶圖像特征,周彬[2]選取安全帶邊緣直線特征作為安全帶圖像特征。這些方法對(duì)圖片質(zhì)量要求過(guò)高,并且算法使用中對(duì)門限閾值的設(shè)定受主觀因素干擾較大,缺乏魯棒性。隨著深度學(xué)習(xí)被越來(lái)越多地應(yīng)用在圖像識(shí)別領(lǐng)域,在交通安全監(jiān)控檢測(cè)方向利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行安全帶檢測(cè)也成為新的發(fā)展方向[3]。付春芬[4]首先根據(jù)經(jīng)驗(yàn)閾值粗定位車窗位置,其次利用積分投影定位車窗,最后利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)車窗位置圖片樣本進(jìn)行訓(xùn)練檢測(cè)。吳天舒[5]先使用YOLO目標(biāo)檢測(cè)方法定位駕駛員位置,再用語(yǔ)義分割網(wǎng)絡(luò)檢測(cè)安全帶。王甄延[6]提出一種改進(jìn)的YOLOv3車輛檢測(cè)算法、前擋風(fēng)玻璃定位檢測(cè)算法和安全帶檢測(cè)算法,實(shí)現(xiàn)了對(duì)乘車人員與駕駛?cè)藛T位置、駕駛員及乘車人員是否佩戴安全帶的檢測(cè)。這些使用深度學(xué)習(xí)的安全帶檢測(cè)算法,都采用了分兩步或三步的策略,通過(guò)先檢測(cè)車、車窗或者駕駛員位置,再通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)或圖像分割網(wǎng)絡(luò)檢測(cè)安全帶,不能進(jìn)行端到端的訓(xùn)練檢測(cè),會(huì)消耗大量算力資源,并且由于采用的都是水平框檢測(cè)安全帶,會(huì)導(dǎo)致模型將目標(biāo)框中大量非目標(biāo)特征學(xué)習(xí)進(jìn)來(lái),出現(xiàn)嚴(yán)重的特征不對(duì)齊問(wèn)題。

本文所構(gòu)建的輕量高效的端到端的旋轉(zhuǎn)框安全帶檢測(cè)算法,使用旋轉(zhuǎn)框?qū)R傾斜安全帶的特征區(qū)域,很好地改善了特征不對(duì)齊的問(wèn)題;結(jié)合輕量化主干網(wǎng)絡(luò),降低了模型參數(shù)量和算力消耗,提升了模型推理速度;構(gòu)建了注意力特征融合模塊(AFFM),增強(qiáng)了安全帶特征表達(dá),提升了模型檢測(cè)精度。實(shí)驗(yàn)結(jié)果表明,本文算法的各項(xiàng)指標(biāo)都達(dá)到較高水平。

1 相關(guān)工作(Related work)

1.1 旋轉(zhuǎn)框檢測(cè)算法

普通的目標(biāo)檢測(cè)算法,使用的是水平錨框,包含較多背景區(qū)域,如圖1(a)所示,這會(huì)導(dǎo)致最終分類置信度與定位精度之間存在較大偏差。因此,降低錨框中背景區(qū)域的占比,可以有效改善特征不對(duì)齊的問(wèn)題,更好的解決方案是使用旋轉(zhuǎn)的錨框,如圖1(b)所示。近年來(lái),旋轉(zhuǎn)的錨框在交通檢測(cè)領(lǐng)域和遙感檢測(cè)領(lǐng)域已經(jīng)有了長(zhǎng)足的發(fā)展,如旋轉(zhuǎn)的區(qū)域候選網(wǎng)絡(luò)RRPN,基于區(qū)域候選網(wǎng)絡(luò)RPN(Region Proposal Net work)架構(gòu)引入旋轉(zhuǎn)候選框?qū)崿F(xiàn)任意方向的場(chǎng)景文本檢測(cè)[7]?；谛D(zhuǎn)的錨框得到旋轉(zhuǎn)的感興趣區(qū)域RoI(Region of Interest),然后提取相應(yīng)特征。區(qū)別于RRPN 設(shè)置很多旋轉(zhuǎn)錨框,RoI Transfor m是在RPN階段通過(guò)全連接從水平錨框?qū)W習(xí)得到旋轉(zhuǎn)RoI,基于旋轉(zhuǎn)RoI提取特征,然后進(jìn)行定位和分類,這種方式大大提高了基于旋轉(zhuǎn)框的檢測(cè)精度[8]。為了解決小型、雜亂的旋轉(zhuǎn)目標(biāo)帶來(lái)的檢測(cè)問(wèn)題,YANG 等[9]在Faster RCNN 的通用對(duì)象檢測(cè)框架上構(gòu)建了一種旋轉(zhuǎn)框目標(biāo)檢測(cè)方法。XU等[10]提出了一種稱為頂點(diǎn)滑動(dòng)的旋轉(zhuǎn)框檢測(cè)方式,它先檢測(cè)水平框,再通過(guò)學(xué)習(xí)回歸水平框上的4個(gè)頂點(diǎn)滑動(dòng)偏移量得到旋轉(zhuǎn)框。XIE等[11]提出了Oriented RCNN旋轉(zhuǎn)框目標(biāo)檢測(cè)算法,首先使用旋轉(zhuǎn)的RPN,以低計(jì)算成本的方式生成高質(zhì)量的旋轉(zhuǎn)候選框,其次通過(guò)旋轉(zhuǎn)RoI對(duì)其提取固定尺寸大小的特征,最后將這些特征作為旋轉(zhuǎn)檢測(cè)頭的輸入,執(zhí)行分類和回歸任務(wù)。

1.2 注意力機(jī)制和特征融合網(wǎng)絡(luò)

目前,解決目標(biāo)檢測(cè)中物體的尺度變化問(wèn)題有兩種方法。一種是直接在不同尺度的圖像特征上識(shí)別目標(biāo),并使用非最大抑制組合預(yù)測(cè)結(jié)果[12];另一種是融合卷積神經(jīng)網(wǎng)絡(luò)從不同層次圖像中提取的不同尺度的特征用于近似多尺度圖像特征,獲得高分辨率的語(yǔ)義特征,從而提升預(yù)測(cè)效果[13]。近年來(lái),注意力機(jī)制被廣泛應(yīng)用在目標(biāo)檢測(cè)和圖像分割等解決計(jì)算機(jī)視覺(jué)相關(guān)問(wèn)題的網(wǎng)絡(luò)設(shè)計(jì)上。注意力機(jī)制網(wǎng)絡(luò)中壓縮和激勵(lì)網(wǎng)絡(luò)(Squeeze and Excitation Net works,SENet)將全局空間信息擠壓到通道權(quán)重信息中,捕獲通道相關(guān)性[14]。卷積注意力模塊(Convolutional Block Attention Module,CBAM),可以在通道和空間維度上添加注意力機(jī)制,獲得空間和通道上的重要特征[15]。

2 旋轉(zhuǎn)框安全帶檢測(cè)算法(Rotate frame seat belt detection algorithm)

本文針對(duì)安全帶檢測(cè)問(wèn)題,引入旋轉(zhuǎn)框目標(biāo)檢測(cè)算法Oriented RCNN,提出了AFFM,結(jié)合Mobilenet V2主干特征提取網(wǎng)絡(luò),構(gòu)建了一種輕量高效的端到端的旋轉(zhuǎn)框安全帶檢測(cè)算法[16]?；谛D(zhuǎn)框的安全帶檢測(cè)算法網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,左側(cè)是Mobilenet V2主干網(wǎng)絡(luò),用于提取圖像不同層次的特征;中間部分是AFFM,結(jié)合注意力機(jī)制融合不同尺度之間的特征;右側(cè)部分是旋轉(zhuǎn)的RPN 模塊和旋轉(zhuǎn)的RCNN 檢測(cè)頭模塊。

圖2 基于旋轉(zhuǎn)框的安全帶檢測(cè)算法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Net work structure diagram of seat belt detection algorithm based on rotated frame

2.1 注意力特征融合模塊

針對(duì)安全帶這一較小目標(biāo),普通的特征融合方式容易丟失特征,本文在金字塔特征融合網(wǎng)絡(luò)FPN的基礎(chǔ)上,結(jié)合CBAM卷積注意力模塊,提出了一種針對(duì)小目標(biāo)特征融合的注意力特征融合模塊。它的主要作用是在空間位置上和特征通道上,增強(qiáng)目標(biāo)的特征表達(dá),從而達(dá)到提高檢測(cè)精度的目的。其中,CBAM 卷積注意力模塊結(jié)構(gòu)如圖3所示,輸入的特征圖首先經(jīng)過(guò)通道注意力模塊,其次將得到的通道注意力特征圖與輸入的特征圖相乘,給不同通道施加注意力權(quán)重;以同樣的方式再輸入空間注意力模塊,最終得到被賦予了空間和通道注意力權(quán)重的特征圖。

圖3 卷積注意力模塊結(jié)構(gòu)圖Fig.3 Structure diagram of convolutional attention module

2.2 Oriented RCNN旋轉(zhuǎn)框目標(biāo)檢測(cè)

兩階段的旋轉(zhuǎn)目標(biāo)檢測(cè)算法Oriented RCNN,由旋轉(zhuǎn)的RPN和旋轉(zhuǎn)的RCNN檢測(cè)頭構(gòu)成。首先通過(guò)旋轉(zhuǎn)的RPN 生成高質(zhì)量旋轉(zhuǎn)候選框,其次通過(guò)旋轉(zhuǎn)RoI對(duì)齊提取固定大小尺寸的特征,最后將這些特征作為旋轉(zhuǎn)的RCNN檢測(cè)頭的輸入,執(zhí)行分類和回歸任務(wù)。

旋轉(zhuǎn)的RPN是在RPN網(wǎng)絡(luò)上構(gòu)建的,拓展了RPN 回歸分支的輸出維度,由原來(lái)的4個(gè)變?yōu)?個(gè)。如圖4(a)所示,對(duì)于每個(gè)位置的錨框,旋轉(zhuǎn)的RPN 輸出為(x,y,w,h,Δα,Δβ),其中(x,y)為旋轉(zhuǎn)候選框的中心坐標(biāo),w和h表示旋轉(zhuǎn)候選框的寬和高。Δα和Δβ表示旋轉(zhuǎn)候選框外接矩形頂邊和右邊的偏移量。

圖4 旋轉(zhuǎn)框定義和候選框調(diào)整Fig.4 Rotate frame definition and proposal frame adjustment

旋轉(zhuǎn)的RCNN 檢測(cè)頭首先進(jìn)行候選框調(diào)整操作,如圖4(b) 所示,將上述提到的旋轉(zhuǎn)候選框的頂點(diǎn)坐標(biāo)集V={v1,v2,v3,v4}由平行四邊形轉(zhuǎn)換為矩形,將平行四邊形較長(zhǎng)的對(duì)角線作為矩形的對(duì)角線。然后對(duì)所有調(diào)整后的旋轉(zhuǎn)候選框進(jìn)行旋轉(zhuǎn)RoI對(duì)齊操作,將得到的特征圖作為旋轉(zhuǎn)檢測(cè)頭的輸入,執(zhí)行分類和回歸任務(wù)。

2.3 Mobilenet V2主干特征提取網(wǎng)絡(luò)

Mobilenet是為了將復(fù)雜的網(wǎng)絡(luò)能夠應(yīng)用在移動(dòng)端和資源受限情境下的輕量級(jí)神經(jīng)網(wǎng)絡(luò)的解決方案。在Mobilenet中提出的方案主要是深度可分離卷積和兩個(gè)超參數(shù),即寬度縮放因子、分辨率縮放因子。如圖5所示,在Mobilenet V2的網(wǎng)絡(luò)設(shè)計(jì)中,除了繼續(xù)使用深度可分離卷積結(jié)構(gòu),還使用了擴(kuò)張層和壓縮映射層。擴(kuò)張層是使用1×1卷積將低維空間映射到高維空間,即擴(kuò)大通道數(shù),壓縮映射層也是使用1×1卷積,它的目的是希望把高維特征映射到低維空間,即減小通道數(shù),其中殘差連接是在輸入和輸出的部分進(jìn)行連接。

圖5 殘差卷積模塊結(jié)構(gòu)圖Fig.5 Structure diagram of residual convolutional module

3 實(shí)驗(yàn)與結(jié)果分析(Experiments and results analysis)

3.1 數(shù)據(jù)集

本數(shù)據(jù)集包含557張道路監(jiān)控畫(huà)面,劃分為訓(xùn)練集281張、驗(yàn)證集184張、測(cè)試集92張。每張圖片的像素大小為1 600×1 264。數(shù)據(jù)集為DOTA格式。

3.2 實(shí)驗(yàn)平臺(tái)及模型參數(shù)

實(shí)驗(yàn)使用的實(shí)驗(yàn)設(shè)備操作系統(tǒng)為64位的Windows 11,CPU選用英特爾(R)酷睿(TM)i5-12400F,GPU 選用英偉達(dá)Ge Force GTX1080TI 11 GB,CUDA版本為11.3,所有模型均使用基于Py Torch的MMrotate旋轉(zhuǎn)框目標(biāo)檢測(cè)框架。輸入圖片尺寸為1 024×1 024,Batch_size設(shè)置為2,Epoch設(shè)置為72,學(xué)習(xí)率為0.005,權(quán)重衰減參數(shù)設(shè)置為0.000 1,動(dòng)量設(shè)置為0.9,使用隨機(jī)梯度下降優(yōu)化算法SGD。

3.3 評(píng)價(jià)指標(biāo)

通常用真實(shí)結(jié)果的正反例和預(yù)測(cè)結(jié)果的正反例,作為評(píng)價(jià)指標(biāo)的評(píng)判基準(zhǔn),其中TP是被模型預(yù)測(cè)為正類的正樣本,即真正例。TN是被模型預(yù)測(cè)為負(fù)類的負(fù)樣本,即真反例。FP是被模型預(yù)測(cè)為正類的負(fù)樣本,即假正例。FN是被模型預(yù)測(cè)為負(fù)類的正樣本,即假反例。

準(zhǔn)確率(Precision)反映了被分類器判定的正例中真正的正例樣本的比重,如公式(1)所示,在目標(biāo)檢測(cè)場(chǎng)景中,無(wú)法全面衡量模型效果。查全率(Recall)反映了被正確判定的正例占總的正例的比重,如公式(2)所示。平均精度(AP)是查準(zhǔn)率曲線查全率曲線與坐標(biāo)軸所圍成的面積,表示查準(zhǔn)率與查全率的關(guān)系,是目標(biāo)檢測(cè)中較為常用的評(píng)價(jià)指標(biāo),AP值越高,模型效果越好。本文采用Recall和AP作為模型評(píng)價(jià)指標(biāo)。

3.4 實(shí)驗(yàn)結(jié)果及對(duì)比分析

模型訓(xùn)練過(guò)程中,隨著迭代次數(shù)的增加,參數(shù)變化如圖6所示,總的損失函數(shù)逐步降低,學(xué)習(xí)率不斷調(diào)整,準(zhǔn)確度逐漸上升,驗(yàn)證集平均精度逐漸上升,并趨于穩(wěn)定。以上數(shù)據(jù)表明模型已經(jīng)收斂到較好的效果。

圖6 模型訓(xùn)練過(guò)程中各指標(biāo)變化曲線圖Fig.6 Change plot of each indicator during model training

本文所構(gòu)建的旋轉(zhuǎn)框目標(biāo)檢測(cè)算法與其他旋轉(zhuǎn)框算法對(duì)比實(shí)驗(yàn)效果如表1所示,本文使用測(cè)試數(shù)據(jù)集和訓(xùn)練驗(yàn)證數(shù)據(jù)集作為檢驗(yàn)數(shù)據(jù)集,實(shí)驗(yàn)結(jié)果表明,所建立模型在查全率(Recall)和平均精度(AP)上均達(dá)到了較高水平。

表1 實(shí)驗(yàn)數(shù)據(jù)效果對(duì)比表Tab.1 Comparison of experimental data

各個(gè)算法實(shí)驗(yàn)對(duì)比效果圖如圖7所示,左起第一張樣例有高光反射區(qū)域,左起第二張樣例較為昏暗,大部分對(duì)比算法均表現(xiàn)不佳;左起第三、第四及第五張樣例分別是左肩條形陰影區(qū)域干擾、衣領(lǐng)遮擋和手勢(shì)遮擋,部分對(duì)比算法均受到一定影響,錨框位置不準(zhǔn)確,以及置信度不高。而本文算法在上述樣例中均表現(xiàn)良好,不僅錨框的位置較為接近真實(shí)框,而且置信度也達(dá)到較高水平。

圖7 算法實(shí)驗(yàn)效果展示Fig.7 Display of the experimental effect of each algorithm

本文所構(gòu)建的算法與Oriented RCNN 算法實(shí)驗(yàn)效果對(duì)比如表2所示。本文構(gòu)建的算法是基于Oriented RCNN的改進(jìn),第一種改進(jìn)方案是采用swin_tiny作為主干特征提取網(wǎng)絡(luò),使用本文提出的AFFM 作為特征融合模塊,第一種方案在保證Recall和AP的情況下,降低了算力消耗(FLOPs)和模型參數(shù)量(Params),不足之處是受限于swin_tiny網(wǎng)絡(luò)的復(fù)雜性,檢測(cè)推理速度(FPS)大打折扣。第二種方案是改用Mobilenet V2作為主干特征提取網(wǎng)絡(luò),該方案在保證查全率(Recall)、平均精度(AP)以及檢測(cè)推理速度(FPS)的情況下,降低了算力消耗和參數(shù)量。

表2 本文方法與Oriented RCNN算法對(duì)比Tab.2 Comparison of the proposed algorithm with Oriented RCNN

4 結(jié)論(Conclusion)

本文針對(duì)道路監(jiān)控圖像的安全帶檢測(cè)問(wèn)題,構(gòu)建了一種輕量、高效的端到端的旋轉(zhuǎn)框安全帶檢測(cè)算法,引入旋轉(zhuǎn)框,較好地改善了安全帶檢測(cè)特征不對(duì)齊的問(wèn)題;提出AFFM,較好地增強(qiáng)了安全帶這一小目標(biāo)的特征融合;結(jié)合Mobilenet V2輕量化主干網(wǎng)絡(luò),既降低了參數(shù)量和所需算力,又提高了模型檢測(cè)推理速度。經(jīng)實(shí)驗(yàn)驗(yàn)證,本文構(gòu)建的基于旋轉(zhuǎn)框的輕量高效的端到端安全帶檢測(cè)算法,在訓(xùn)練驗(yàn)證數(shù)據(jù)集上,查全率(Recall)達(dá)到0.949,平均精度(AP)達(dá)到0.905,參數(shù)量(Params)僅需要18.54 MB,檢測(cè)推理速度(FPS)達(dá)到每秒14.6 張圖片,滿足實(shí)際的檢測(cè)應(yīng)用需求,具有一定的市場(chǎng)潛力。