基于改進Faster R-CNN的車輛乘員數(shù)量檢測方法

金 鑫，胡 英

〈紅外應(yīng)用〉

基于改進Faster R-CNN的車輛乘員數(shù)量檢測方法

金 鑫，胡 英

（大連海事大學(xué) 船舶電氣工程學(xué)院，遼寧 大連 116026）

針對現(xiàn)有以雷達技術(shù)和紅外熱成像技術(shù)為代表的HOV（High occupancy vehiclelane）車道車輛乘員數(shù)量檢測方法可靠性差、準確率低等問題，提出一種基于多光譜紅外圖像與改進Faster R-CNN（Region-Convolutional Neural Networks）的車輛乘員數(shù)量檢測方法。通過多光譜紅外成像系統(tǒng)獲得汽車內(nèi)部空間圖像，結(jié)合Faster R-CNN深度學(xué)習(xí)算法實現(xiàn)乘員數(shù)量檢測，通過采用全卷積網(wǎng)絡(luò)結(jié)構(gòu)、多尺度特征預(yù)測、使用ROI-Align代替ROI-Pooling等方式增強網(wǎng)絡(luò)的泛化能力。通過對樣據(jù)進行K-means聚類得到目標框長寬幾何比例先驗分布，提高區(qū)域生成（region proposal network，RPN）網(wǎng)絡(luò)訓(xùn)練速度和位置回歸準確性。測試結(jié)果表明，獲得的汽車內(nèi)部空間圖像較為清晰，算法可以實現(xiàn)對乘員數(shù)量的檢測。經(jīng)過改進，網(wǎng)絡(luò)的泛化能力得到增強，單乘員檢測的準確率達到88.6%，相比于改進前提高了13.8%，能夠滿足行業(yè)規(guī)定大于80%的要求。

多光譜紅外圖像；Faster-RCNN；全卷積；K-means聚類；ROI-Align

0 引言

隨著社會經(jīng)濟發(fā)展和生活質(zhì)量的提高，汽車數(shù)量增長而帶來的交通擁堵問題已經(jīng)成為目前亟待解決的問題。HOV專用車道即高載客率多乘員車道，在規(guī)定的時間段只對多乘員開放。設(shè)置HOV專用車道，可以在不增加交通建設(shè)成本的情況下，有效利用現(xiàn)有的公共資源提高交通運輸?shù)男?，是解決城市擁堵的一種有效措施[1-2]。

目前HOV專用車道執(zhí)法效率較低，針對汽車乘員數(shù)量檢測領(lǐng)域的研究比較少，主要是因為汽車車窗貼過車膜后，普通相機很難獲得其內(nèi)部空間圖像。當(dāng)前可參考應(yīng)用到車輛乘員數(shù)量檢測的技術(shù)主要有雷達法和基于紅外圖像的目標檢測法[3]。Fadel Adib等人[4]提出一種基于射頻體反射的多人室內(nèi)目標定位檢測方法，該研究使用5對頻率在5.46～7.25GHz的信號接收-發(fā)射裝置，將信號調(diào)整為連續(xù)波信號后，將這5對收發(fā)裝置的時延-頻率圖（Time delay- frequency diagram）進行疊加，可以得到目標相對準確的空間位置。該方法雖然滿足車輛乘員數(shù)量檢測的條件和要求，但在實際的檢測環(huán)境中，路邊的行人、行駛的車輛對雷達檢測的精度影響較大。在紅外圖像檢測技術(shù)方面，馬也等人[5]提出一種復(fù)雜背景下紅外目標的檢測算法。通過多權(quán)值高斯背景率除法對人體目標進行分割，然后對得到的候選區(qū)域采用融合邊緣方向累加和特性的梯度方向直方圖進行特征描述，通過對支持向量機進行訓(xùn)練來實現(xiàn)人體目標的判別，但在目標密集、目標遮擋等情況下檢測精度還不能達到要求。以應(yīng)用在成都HOV專用車道的紅外熱成像檢測技術(shù)為例，只有當(dāng)車窗搖下時才可獲得駕駛室內(nèi)部空間圖像，大大降低了紅外熱成像檢測的適用性，當(dāng)汽車內(nèi)部乘員較多時，乘員間相互遮擋會使目標的成像不規(guī)律，影響檢測結(jié)果，紅外圖像質(zhì)量的不確定性使得準確率難以保證。

隨著紅外技術(shù)與圖像融合技術(shù)的發(fā)展[6-8]，為設(shè)計適用于HOV車道執(zhí)法的檢測技術(shù)提供了新的思路。本文在前期設(shè)計了一套多光譜紅外成像裝置，采用主動照明技術(shù)，由光源系統(tǒng)主動發(fā)射多個波長的紅外光，形成多光譜人工照明環(huán)境。相機內(nèi)置光學(xué)分光系統(tǒng)，通過感光器件形成各個波段的圖像，利用圖像層疊技術(shù)將多張圖像合成為一張多光譜紅外圖像，從而解決了車窗貼膜普通相機不能成像的問題，成像效果如圖1所示。該視覺系統(tǒng)放置于車道一側(cè)，與高架桿處卡口相機一同觸發(fā)，卡口相機拍攝汽車的正面圖像并識別車牌號碼，兩相機同時抓拍的照片便形成完整的執(zhí)法證據(jù)。

通過對車內(nèi)乘員數(shù)量的自動檢測可以輔助完成HOV車道執(zhí)法工作。在獲得汽車內(nèi)部空間的多光譜紅外圖像后，車內(nèi)乘員數(shù)量可以通過目標檢測算法來實現(xiàn)。深度學(xué)習(xí)領(lǐng)域出現(xiàn)了一批以Faster R-CNN[9]、YOLO（You Only Look Once）[10]、SSD（Single Shot MultiBox Detector）[11]為代表的目標檢測算法，與傳統(tǒng)算法相比在準確率上有很大的提升。與后兩種算法相比，F(xiàn)aster R-CNN是一種典型的兩步目標檢測算法，兩步法雖然在檢測速度上慢了一些，但兩步法網(wǎng)絡(luò)的適用性強、準確率高、結(jié)構(gòu)相對靈活，便于后期有針對性的調(diào)整。因此，本文在獲得清晰汽車內(nèi)部空間圖像的基礎(chǔ)上，以Faster R-CNN為基礎(chǔ)，提出了基于多尺度特征預(yù)測方式、通過K-means聚類的方法學(xué)習(xí)目標框大小的幾何先驗知識來優(yōu)化候選框的生成方式、通過用ROI-ALign代替ROI-Pooling完成目標的特征映射，用以解決因模型泛化能力不強而帶來的誤報、漏報問題，以達到提高檢測精度的目的。

1 Faster R-CNN介紹

Faster R-CNN網(wǎng)絡(luò)將目標檢測網(wǎng)絡(luò)中特征提取、候選區(qū)域生成、目標分類、目標定位等4個步驟融合到一個深度網(wǎng)絡(luò)中，實現(xiàn)了端到端的訓(xùn)練，算法結(jié)構(gòu)如圖2所示[12]。從網(wǎng)絡(luò)結(jié)構(gòu)上看，所有任務(wù)統(tǒng)一到一個任務(wù)中完成。在執(zhí)行順序上，數(shù)據(jù)在經(jīng)過特征提取后，首先經(jīng)過RPN網(wǎng)絡(luò)生成候選區(qū)域，接著判斷候選區(qū)域內(nèi)容是否為前景，如果內(nèi)容是前景，則最后經(jīng)過ROI池化后送入后續(xù)的檢測進行目標分類和位置回歸，否則放棄該候選框。同時當(dāng)判定為前景后，RPN網(wǎng)絡(luò)的另一分支也會對候選框的大小和幾何坐標進行調(diào)整。所以相比于YOLO、SSD等算法而言，F(xiàn)aster R-CNN是一個兩步法的端到端的訓(xùn)練，所以在實際表現(xiàn)中準確率往往會更高一些。

RPN網(wǎng)絡(luò)代替了傳統(tǒng)的選擇性搜索（selective search）方法[12]，卷積運算使得候選框生成的方式更加科學(xué)，提升了候選框生成效率和準確性。ROI池化操作實現(xiàn)了將不同尺寸的候選框映射成相同尺寸的特征圖，可以有效地將RPN網(wǎng)絡(luò)和目標檢測網(wǎng)絡(luò)的權(quán)值進行共享，避免了對候選區(qū)域進行重復(fù)的卷積運算，大大提升了網(wǎng)絡(luò)的運算速度。

2 網(wǎng)絡(luò)改進

Faster R-CNN在Pascal Voc、Coco等數(shù)據(jù)集上實驗效果很好，但當(dāng)同一類別目標特征相差較大時，網(wǎng)絡(luò)的泛化能力還有很大的提升空間[13]，特別是在本文中，因為天氣、環(huán)境、光照等因素使得乘員目標間特征差異較大，前期實驗中仍然存在漏報、誤報等問題。此外，本章在前期實驗的基礎(chǔ)上，對本文研究圖像的目標檢測做出分析：①應(yīng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)泛化能力得到提高，減少漏報、誤報情況的出現(xiàn)。②原始RPN網(wǎng)絡(luò)中Anchor的設(shè)置是針對一般目標的，不適合本文的乘員目標檢測。③RPN網(wǎng)絡(luò)中將對應(yīng)于原圖上的ROI區(qū)域映射到特征圖上，ROI-Pooling經(jīng)歷兩次取整，最終提取的特征和原圖的ROI不再對齊，導(dǎo)致目標的細節(jié)信息丟失。

圖1 多光譜紅外成像效果

Fig.1 Multispectral visual imaging effect

圖2 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

2.1 全卷積網(wǎng)絡(luò)結(jié)構(gòu)

全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）[14]是Jonathan Long等人在2015年提出用于語義分割的一種網(wǎng)絡(luò)結(jié)構(gòu)，已經(jīng)被廣泛地應(yīng)用于計算機視覺研究領(lǐng)域。全卷積網(wǎng)絡(luò)的3個核心思想：卷積化、上采樣、跳躍結(jié)構(gòu)，本文基于預(yù)訓(xùn)練的VGG-16[15]網(wǎng)絡(luò)結(jié)合上述3個方面做出改進。在原有VGG-16參數(shù)的基礎(chǔ)上通過調(diào)整原有卷積核的步長代替池化層實現(xiàn)數(shù)據(jù)的降維，通過Loss值的反向傳播來學(xué)習(xí)采樣區(qū)域的最佳表達信息，使得圖像更多的細節(jié)信息得以保留。用1×1的卷積核代替全連接層，通過控制卷積核的數(shù)量實現(xiàn)通道數(shù)大小的放縮，同時非線性激活函數(shù)的引入使得網(wǎng)絡(luò)的非線性得到增強。

圖3是本文采用的基于VGG-16特征提取網(wǎng)絡(luò)結(jié)構(gòu)，與改進前相比，本文采用了兩種特征尺度輸出，在兩種特征尺度基礎(chǔ)上分別連接RPN網(wǎng)絡(luò)并分別進行目標特征映射、目標分類與位置回歸，有效彌補了單一尺度特征預(yù)測的局限性，使得網(wǎng)絡(luò)在提高檢測精度的同時提高網(wǎng)絡(luò)對小目標的檢測能力。本文將Conv5_3輸出的特征進行上采樣并與Conv4_3輸出的特征進行融合，由于反卷積會隨著網(wǎng)絡(luò)深度增加出現(xiàn)訓(xùn)練不穩(wěn)定、難收斂的問題，所以本文采用雙線性插值的方法進行上采樣。融合后特征的通道數(shù)發(fā)生了改變，所以再將融合后的特征通過1×1卷積降維到與Conv5_3相同的通道數(shù)。跳躍結(jié)構(gòu)的特征融合可以有效緩解原始網(wǎng)絡(luò)在數(shù)據(jù)降維時細節(jié)特征丟失嚴重的問題，同時深層特征圖中包含了目標豐富的語義信息，淺層特征圖中包含了目標的位置信息，二者融合將有效提高后續(xù)的目標分類與位置回歸的特征基礎(chǔ)。

圖3 基于VGG-16的特征提取網(wǎng)絡(luò)

2.2 K-means聚類

RPN網(wǎng)絡(luò)使用了候選框滑動窗口生成機制，實現(xiàn)了多個候選區(qū)域的同時預(yù)測。RPN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，圖右側(cè)為在每個滑動窗口所產(chǎn)生的個候選框，由于待測目標的尺寸、寬高比的差異，往往需要設(shè)定多種幾何尺度的候選框。在原始RPN網(wǎng)絡(luò)中，候選框大小由3種尺度（128, 256, 512）、3種寬高比（1:1, 1:2, 2:1）組合而成，共9種，分別用于檢測不同大小的目標。

圖4 RPN網(wǎng)絡(luò)結(jié)構(gòu)

本文識別目標為乘員臉部，目標大小總體上差異并不大，原始尺寸的候選框并不適合本文應(yīng)用，因此本文選?。?，避免生成多余無用尺寸的候選框，同時對RPN網(wǎng)絡(luò)中生成候選框的方式作以改進。通過一個基于交并比的K-means聚類算法，對大量訓(xùn)練數(shù)據(jù)進行目標框幾何大小的先驗知識進行學(xué)習(xí)[16]，得到適合本文兩種尺度特征預(yù)測的6種尺寸的候選框。以此為參考來生成候選框，可以降低RPN網(wǎng)絡(luò)訓(xùn)練的初始誤差，提升網(wǎng)絡(luò)訓(xùn)練的速度和目標定位精度。

其中：

圖5 聚類結(jié)果

Fig.5 Clustering results

2.3 ROI-Align

RPN網(wǎng)絡(luò)會產(chǎn)生大小不同的候選框，并在ROI-Pooling層中映射為固定大小的特征圖，具體過程如圖6所示。候選目標框首先映射到深層特征圖獲得該候選目標的特征圖，為了方便后續(xù)目標分類與坐標回歸網(wǎng)絡(luò)的計算，還會繼續(xù)映射成固定大小的輸入尺寸，這兩次量化過程中，會存在非整數(shù)倍的縮放。以將目標特征圖映射成固定尺寸輸入為例，在ROI-Pooling中采用的處理是浮點數(shù)取整，如圖6(a)所示，采樣網(wǎng)格外的陰影部分便是取整后省略掉的特征信息，正是這一原因使得Faster R-CNN對小目標的檢測能力不強，同時減少特征信息的丟失有利于提高網(wǎng)絡(luò)的泛化能力[17-18]。本文檢測目標為乘員臉部，幾何面積較小、目標特征差異較大，因此引用了ROI-Align來對此改進，提升網(wǎng)絡(luò)的泛化能力和檢測精度。參考文獻18對于此部分的研究內(nèi)容，ROI-Align完成特征映射的過程如圖6(b)所示。

圖6 ROI-Pooling和ROI Align過程圖

ROI-Align是在Mask RCNN[19]中使用以將候選目標的特征圖映射產(chǎn)生固定大小的feature map時提出的，它增加了額外的網(wǎng)絡(luò)分支用于語義分割任務(wù)，雖然目標檢測的準確率得到了提升，但網(wǎng)絡(luò)的檢測速度卻大大降低，因此本文只借鑒了它ROI-Align部分的改進。它與ROI-Pooling的區(qū)別是保留了非整數(shù)倍的縮放，對于縮放后坐標不能剛好為整數(shù)的候選框，最近鄰插值法直接選擇離目標點最近的整數(shù)點坐標去代替原始坐標。如圖6(b)所示，每一池化單元分為4等份，假設(shè)每一等份的中心點分別為、、、。

假設(shè)點坐標為(＋,＋)，其中，均為非負整數(shù)，(,)為[0, 1]區(qū)間的浮點數(shù)，點附近的4個圓點分別表示離點最近且坐標為整數(shù)的點，它們的坐標分別為(,)，(＋1,)，(,＋1)，(＋1,＋1)，(,)表示坐標為(＋1,)的點的像素值。則點的像素值的計算公式可以表示為：

其他3個點，，處的像素值計算類似。

分別求得各個等分中的像素值后再進行最大池化采樣，使得候選區(qū)域的特征信息全部都得以利用，增大了特征圖單元的感受野。大量的實驗表明，在檢測大目標時，兩者方案差別不大；當(dāng)檢測小目標時，RoI-Align更精準。

3 實驗分析

實驗部分主要從RPN網(wǎng)絡(luò)的訓(xùn)練曲線、改進前后網(wǎng)絡(luò)泛化能力和識別準確率、檢測速度等方面作以分析，同時隨著乘員人數(shù)的增多，檢測過程中漏報和誤報的概率增大，所以將不同人數(shù)下的準確率作以統(tǒng)計對比。本文實驗的硬件環(huán)境為Intel i7-7600k處理器，12GB內(nèi)存，Nvidia GeForce GTX 1080Ti顯卡。軟件上采用PyCharm編譯平臺，TensorFlow深度學(xué)習(xí)框架，CUDA版本為9.0。

3.1 RPN網(wǎng)絡(luò)訓(xùn)練曲線

本文特征提取網(wǎng)絡(luò)輸出的兩種尺度特征分別連接了RPN網(wǎng)絡(luò)，并分別進行訓(xùn)練，對于兩個網(wǎng)絡(luò)生成的候選框使用非極大值抑制的方法濾除相同目標框。本文采用學(xué)習(xí)率動態(tài)更替的訓(xùn)練方式，batch_size大小為128，對原始的RPN網(wǎng)絡(luò)及本文的兩種特征尺度為預(yù)測基礎(chǔ)的RPN網(wǎng)絡(luò)繪制了位置回歸Loss曲線，如圖7所示。從圖中可以看出，改進后兩個RPN網(wǎng)絡(luò)的初始誤差與改進前相比縮小了將近2倍，說明聚類后得到的候選框大小與實際的候選框大小更加接近。改進后的兩個RPN網(wǎng)絡(luò)在迭代六千次以后趨于收斂，網(wǎng)絡(luò)收斂速度有明顯提升，并且在訓(xùn)練過程中，震蕩較小，Loss值下降明顯。

圖7 RPN loss訓(xùn)練曲線對比

為了直觀驗證RPN網(wǎng)絡(luò)改進的效果，本文對改進前后的網(wǎng)絡(luò)在1000張數(shù)據(jù)集上測試生成候選框的準確率，統(tǒng)計結(jié)果如表1所示。同時為了保證測試結(jié)果的可靠性，本文也對網(wǎng)絡(luò)改進（1×1卷積代替全連接等）部分進行試驗。

表1 RPN改進前后對比

從表中分步試驗的結(jié)果可以看出，本文改進后的兩個RPN網(wǎng)絡(luò)相比于改進前分別提高了5.91%和7.17%的精度，網(wǎng)絡(luò)結(jié)構(gòu)的改進分別使得網(wǎng)絡(luò)提高了0.48%和0.65%的精度，這說明改進后的候選框的質(zhì)量更高。此外從圖7和表1也可以看到，RPN2網(wǎng)絡(luò)無論從位置回歸Loss曲線的訓(xùn)練過程還是候選框的生成質(zhì)量都具有很好的表現(xiàn)，說明特征融合后提高了特征質(zhì)量，特征尺度變大后更有利于本文人臉目標的檢測。

3.2 檢測結(jié)果對比

首先測試模型的泛化能力，選取了一些典型的乘員目標特征差異較大的數(shù)據(jù)進行測試，特征差異主要表現(xiàn)在乘員臉部曝光程度、明暗差異等等。改進前后的檢測效果如圖8所示。

由圖8中可以看出，即使是當(dāng)曝光程度較高導(dǎo)致面部信息缺失嚴重時、人臉紋理特征不明顯時，改進后的網(wǎng)絡(luò)也可以對乘員面部進行準確標記，并保持較高的識別分數(shù)。當(dāng)車膜較厚時，相機的透光率不足導(dǎo)致整體成像灰暗，主背景層次不明顯，改進后的網(wǎng)絡(luò)也可以準確標記。此外，抓怕過程的隨機性與乘員目標狀態(tài)的不確定性，乘員面部容易被車窗中間的壁柱遮擋，并且乘員目標的帽子、口罩等因素都會對臉部發(fā)生遮擋，從實驗中可以看出改進后的網(wǎng)絡(luò)可以實現(xiàn)對存在遮擋的目標準確判別。從實際檢測效果來看，在可能存在漏報的幾種情況下，改進后的網(wǎng)絡(luò)的可以很好的完成檢測任務(wù)，同時也能避免對靠枕等非檢測目標的誤報。

同時為了量化驗證本文的改進效果，選取了2500張圖片，每類乘員數(shù)量（1～5）各500張，將改進后網(wǎng)絡(luò)和目前主流的YOLOv3[20]、Mask R-CNN等檢測算法分別進行實驗，記錄各類乘員數(shù)量下檢測的準確率和檢測速度，統(tǒng)計結(jié)果如表2所示。

圖8 改進前后檢測效果對比

表2 不同算法檢測效果對比

從表2的數(shù)據(jù)可以看出，在準確率上，本文的模型比其它模型表現(xiàn)更好，原因在于本文結(jié)合了其它幾種模型的優(yōu)點，準確率提高的同時增強了模型的泛化能力，檢測的速度比改進前略微降低，但并不影響檢測的實時性。相比于改進前的網(wǎng)絡(luò)，單乘員檢測的準確率提高了13.8%，多乘員檢測的準確率也隨之有明顯提高，基本能保持在70%以上。YOLOv3是目前較為優(yōu)秀的目標檢測網(wǎng)絡(luò)，但其算法計算的基礎(chǔ)是針對正方形的圖像輸入，圖像識別前會經(jīng)預(yù)處理裁減掉大部分的背景信息，得到的駕駛室圖像多為長方形，需要壓縮成正方形后再輸入網(wǎng)絡(luò)，壓縮后圖像質(zhì)量降低，網(wǎng)絡(luò)預(yù)測的準確率不佳。Mask R-CNN的實驗結(jié)果表明實例分割的效果優(yōu)于一般的目標檢測算法，但準確率略低于本文，說明雖然都采用了ROI-Align，但本文網(wǎng)絡(luò)結(jié)構(gòu)的改進提升了檢測精度，此外，單目標的準確率也可以達到行業(yè)內(nèi)的規(guī)定標準，但是語義分割網(wǎng)絡(luò)的加入使得網(wǎng)絡(luò)整體的計算量增大，檢測速度只有本文的1/3。從實驗數(shù)據(jù)可以總結(jié)得知，隨著人數(shù)的增加，圖像成像的不確定因素增大，檢測的準確率隨檢測人數(shù)增加呈下降趨勢，當(dāng)檢測人數(shù)不超過3人時，本文可以基本滿足行業(yè)規(guī)定標準。

4 結(jié)語

結(jié)合已獲得的多光譜紅外圖像，本文以Faster R-CNN網(wǎng)絡(luò)模型為基礎(chǔ)，通過對網(wǎng)絡(luò)結(jié)構(gòu)、候選框生成方式、目標特征圖的池化方式等方面做出改進，網(wǎng)絡(luò)模型的泛化能力得到明顯的提高，對圖像中目標曝光度過高、目標紋理不清晰、面部遮擋嚴重等可能存在誤報、漏報的情況也可以準確識別。相比于改進之前，本文單乘員的檢測準確率達到88.6%，提升了13.8%，滿足了行業(yè)內(nèi)的規(guī)定標準。但隨著乘員人數(shù)的增加，檢測的不確定因素也隨之增加，多乘員之間容易發(fā)生相互遮擋，當(dāng)檢測人數(shù)大于3時，準確率還不能達到行業(yè)內(nèi)的規(guī)定標準，也就不能夠滿足乘員超載情況的檢測要求。此外，在檢測速度上相比于YOLOv3還有很大差距，提高各類數(shù)量乘員檢測精度的同時提升檢測速度將作為以后主要的研究方向。

[1] 曾炎盛. HOV車道實施效果評價體系研究——以深圳市為例[J]. 交通科技與經(jīng)濟, 2019, 21(5): 39-43.

ZENG Yansheng. Study on the evaluation system of the implementation effect of HOV Lane -- Taking Shenzhen as an example[J]., 2019, 21(5): 39-43.

[2] 陳魯峰, 葉鵬飛, 余佳歡, 等. HOV在城市交通管理中的應(yīng)用可行性分析[J]. 交通企業(yè)管理, 2016, 31(4): 38-41.

CHEN Lufeng, YE Pengfei, YU Jiahuan, et al. Feasibility analysis of HOV application in urban traffic management [J]., 2016, 31(4): 38-41.

[3] 程建梅. HOV專用車道管理思路探索[J]. 行業(yè)管理, 2018(4): 34-35.

CHENG Jianmei. Exploration of management ideas of HOV special lane[J]., 2018(4): 34-35.

[4] Fadel Adib, Zachary Kabelac, Dina Katabi. Multi-person Lcalization via RF Body Reflections[C]//12th(NSDI'15), 2015: 279-292.

[5] 馬也, 常青, 胡謀法. 復(fù)雜背景下紅外人體目標檢測算法研究[J].紅外技術(shù), 2017, 39(11): 1038-1053.

MA Ye, CHANG Qing, HU Moufa. Research on infrared human target detection algorithm in complex background[J]., 2017, 39(11): 1038-1053.

[6] 馬翰飛, 范海震, 李強, 等. 基于多光譜融合圖像的飛機導(dǎo)航系統(tǒng)設(shè)計[J]. 電子設(shè)計工程, 2019, 27(24): 161-166.

MA Hanfei, FAN Haizhen, LI Qiang, et al. Design of aircraft navigation system based on multispectral fusion image[J]., 2019, 27(24): 161-166.

[7] 李雪欣, 馬保東, 張嵩, 等. 融合多光譜與 SAR 影像的地物分類研究[J]. 測繪與空間地理信息, 2019, 42(12): 55-58.

LI Xuexin, MA Baodong, ZHANG Song, et al. Study on the classification of ground features using multispectral and SAR images[J]., 2019, 42(12): 55-58.

[8] 趙慶展, 劉偉, 尹小君, 等. 基于無人機多光譜影像特征的最佳波段組合研究[J]. 農(nóng)業(yè)機械學(xué)報, 2016(3): 242-248.

ZHAO Qingzhan, LIU Wei, YIN Xiaojun, et al. Research on optimal band combination based on multi spectral image characteristics of UAV[J]., 2016(3): 242-248.

[9] REN Shaoqing, HE Kaiming, Girshick Ross, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]., 2017, 39(6): 1137-1149.

[10] 鄭國書. 基于深度學(xué)習(xí)SSD模型的視頻室內(nèi)人數(shù)統(tǒng)計[J]. 工業(yè)控制計算機, 2017, 30(11): 48-50.

ZHENG Guoshu. Statistics of indoor video population based on deep learning SSD model[J]., 2017, 30(11): 48-50.

[11] Oseph Redmon, Santosh Diwala, Ross Girshick, et al. You Only Look Once: Unified, Real-Time Object Detection[C]//, 2016: 779-788.

[12] 徐代, 岳章, 楊文霞, 等. 基于改進的三向流 Faster R-CNN 篡改圖像識別[J/OL]. 計算機應(yīng)用,http://www.joca.cn/CN/10.11772/ j.issn.1001-9081.2019081515.

XU Dai, YUE Zhang, YANG Wenxia, et al. Tamper image recognition based on improved three-way Fasert R-CNN[J/OL]., http://www.joca.cn/CN/10.11772/ j.issn.1001-9081.2019081515.

[13] 孫雄峰, 林滸, 王詩宇, 等. 基于改進Faster RCNN的工業(yè)機器人分揀系統(tǒng)[J]. 計算機系統(tǒng)應(yīng)用, 2019, 28(9): 258-263

SUN Xiongfeng, LIN Hu, WANG Shiyu, et al. Industrial robot sorting system based on improved fast RCNN[J]., 2019, 28(9): 258-263.

[14] LONG J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//, 2015: 3431-3440.

[15] Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]., 2014, 42(5): 324-328.

[16] 張琦, 丁新濤, 王萬軍, 等. 基于Faster R-cnn的交通目標檢測方法[J]. 皖西學(xué)院學(xué)報, 2019, 35(5): 50-55.

ZHANG Qi, DING Xintao, WANG Wanjun, et al. Traffic target detection method based on fast R-cnn[J]., 2019, 35(5): 50-55.

[17] 陳澤, 葉學(xué)義, 錢丁煒, 等. 基于改進的 Faster R-CNN小尺度行人檢測[J]. 計算機工程, 2020, 46(): 226-232, 241.

CHEN Ze, YE Xueyi, QIAN Dingwei, et al. Small scale pedestrian detection based on improved Faster R-CNN[J].2020, 46(9): 226-232, 241.

[18] 侯志強, 劉曉義, 余旺盛, 等. 基于雙閾值-非極大值抑制的Faster R-CNN改進算法[J]. 光電工程, 2019, 46(12): 1-11. HOU Zhiqiang, LIU Xiaoyi, YU Wangsheng, et al. Improved Faster R-CNN algorithm based on double threshold-non-maximum suppression[J]., 2019, 46(12): 1-11.

[19] HE K M, Gkioxari G, Dollár P, et al. Mask R-CNN[C]//, 2017: 1026-1032.

[20] Redmon J, Farhadi A. YOLOv3: An incremental improvement[J/OL].: 1804. 02767, 2018.

Detection of Vehicle Crews Based on Modified Faster R-CNN

JIN Xin，HU Ying

(Dalian Maritime University, College of Marine Electrical Engineering, Dalian 116026, China)

Existing methods for detecting the number of vehicle occupants in a high-occupancy vehicle (HOV) lane, using radar and infrared thermal imaging technology, exhibit low reliability and low accuracy. To address these limitations, a method for detecting the number of vehicle occupants based on multispectral infrared imaging and an improved Faster regions with convolutional neural networks (R-CNN) algorithm is proposed. The vehicle interior space image is obtained using a multispectral infrared imaging system, and the number of passengers is detected by a Faster R-CNN deep learning algorithm. The generalization ability of the network is enhanced using the full convolution network structure and multiscale feature prediction, and ROI-Align is used instead of ROI-Pooling. Through K-means clustering, the prior distribution of the geometric proportion of the length and width of the target frame is obtained, which improves the training speed and the accuracy of position regression of the region proposal network (RPN). The test results showed that the interior space image was clear, and the algorithm could detect the number of passengers. After its improvement, the generalization ability of the network was enhanced, and the accuracy of single occupant detection reached 88.6%, which was 13.8% higher than before its improvement. This meets the requirements of more than 80% of industry regulations.

multispectral infrared image, faster-RCNN, full convolution, K-means clustering, ROI-Align

TP391

A

1001-8891(2020)11-1103-08

2020-02-19；

2020-09-02.

金鑫（1996），男，碩士研究生，主要研究方向為計算機視覺、深度學(xué)習(xí)、目標檢測。E-mail: jin_xin@dlmu.edu.cn。

國家自然科學(xué)基金（61973049）。