張炳力,秦浩然,江 尚,鄭杰禹,吳正海
(1.合肥工業(yè)大學(xué)汽車與交通工程學(xué)院,合肥230041;2.安徽省智能汽車工程實(shí)驗(yàn)室,合肥230009;3.浙江百康光學(xué)股份有限公司,嘉興314113)
在汽車自動(dòng)駕駛系統(tǒng)和高級(jí)輔助駕駛系統(tǒng)(advanced driving assistance system,ADAS)中,車輛檢測(cè)準(zhǔn)確性直接影響行車安全。在夜間環(huán)境中,道路及前方車輛的可視性變差,駕駛員在缺乏路面信息、視野變差以及視力疲勞的情況下,極易引發(fā)交通事故。同時(shí),多數(shù)目標(biāo)檢測(cè)算法易受路燈和反光等光源的干擾而產(chǎn)生誤判[1],嚴(yán)重影響了自動(dòng)駕駛系統(tǒng)和ADAS的安全性。因此,研究高精度夜間車輛檢測(cè)算法尤為重要。
基于傳統(tǒng)圖像處理的夜間車輛檢測(cè)算法通常利用夜間環(huán)境中較為明顯的燈光特征,其主要流程包括提取候選區(qū)域、分類和燈光配對(duì)3個(gè)部分。首先使用閾值分割、連通域分析等方法得到候選區(qū)域,然后利用車燈的空間位置、高寬比、形狀等信息選取出燈光,最后利用對(duì)稱性對(duì)燈光進(jìn)行配對(duì),將配對(duì)成功的燈光對(duì)視為車輛并輸出[2-6]。部分研究在分類過程運(yùn)用Adaboost[7-9]或支持向量機(jī)[10]等機(jī)器學(xué)習(xí)算法,但仍需依賴燈光進(jìn)行檢測(cè)。上述算法中均忽略了車輛的其他特征,致使其極易受到路燈、反光及其他光源的干擾,算法魯棒性較差,難以應(yīng)用于智能駕駛系統(tǒng)。
隨著深度學(xué)習(xí)的發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)技術(shù)在準(zhǔn)確性上比傳統(tǒng)方法有極大的提高。以Faster R-CNN為代表的兩階段算法[11-13]專注提高檢測(cè)精度,但檢測(cè)速度極低,無法達(dá)到實(shí)時(shí),YOLO系列算法[14-16]和SSD[17]等單階段算法則追求實(shí)時(shí)的檢測(cè)速度,而檢測(cè)精度不足,不能直接應(yīng)用于智能駕駛系統(tǒng)。
RetinaNet[18]對(duì)經(jīng)典特征提取網(wǎng)絡(luò)ResNet[19]進(jìn)行改進(jìn),引入了圖像特征金字塔,將高低分辨率的特征層相融合,提高了網(wǎng)絡(luò)學(xué)習(xí)特征的能力,并引入Focal loss解決了正負(fù)樣本不均衡的問題,使單層檢測(cè)網(wǎng)絡(luò)在保證檢測(cè)速度優(yōu)勢(shì)的同時(shí),在檢測(cè)精度上超過Faster-RCNN、R-FCN等兩階段檢測(cè)網(wǎng)絡(luò)。然而,在RetinaNet損失函數(shù)的設(shè)計(jì)上,仍存在以下兩個(gè)問題:(1)沒有充分利用分類與定位之間的聯(lián)系,造成定位更準(zhǔn)的檢測(cè)框有可能獲得較低的分?jǐn)?shù),從而被NMS過程抑制,導(dǎo)致檢測(cè)精度下降;(2)定位損失的歸一化過程中導(dǎo)致了小目標(biāo)產(chǎn)生的損失與大目標(biāo)相比較小,影響了對(duì)于遠(yuǎn)處小目標(biāo)車輛檢測(cè)精度。對(duì)于問題(1),部分研究通過添加交并比(intersection over union,IoU)預(yù)測(cè)子網(wǎng)絡(luò)[20]或使用基于IoU的標(biāo)簽[21]來利用正樣本IoU信息提高分類與定位的關(guān)聯(lián)性,但均沒有研究如何利用負(fù)樣本IoU信息。
為解決上述問題,本文中進(jìn)一步優(yōu)化了RetinaNet的損失函數(shù):
(1)提出了基于IoU的分類損失函數(shù),將其定義為IoU系數(shù)與交叉熵的乘積,建立了分類與定位子網(wǎng)絡(luò)的相關(guān)性,利用正樣本IoU提高檢測(cè)框定位精度,利用負(fù)樣本IoU加強(qiáng)網(wǎng)絡(luò)對(duì)于難分類負(fù)樣本的學(xué)習(xí);
(2)改進(jìn)了定位損失函數(shù)對(duì)高寬進(jìn)行歸一化的方式,降低訓(xùn)練對(duì)目標(biāo)尺度的敏感性。此外,根據(jù)應(yīng)用場(chǎng)景中車輛目標(biāo)的特點(diǎn),對(duì)網(wǎng)絡(luò)的特征層和預(yù)設(shè)框進(jìn)行了優(yōu)化設(shè)計(jì),同時(shí)簡化分類和定位子網(wǎng)絡(luò),進(jìn)一步提高了網(wǎng)絡(luò)的精度和速度。最后,在夜間車輛數(shù)據(jù)集上進(jìn)行了試驗(yàn)驗(yàn)證。
RetinaNet的作者提出了Focal loss,其通過兩個(gè)可調(diào)參數(shù)修正樣本的分類損失,使網(wǎng)絡(luò)能夠充分利用所有正負(fù)樣本,有效解決了訓(xùn)練過程中的正負(fù)樣本不均衡問題。同時(shí),根據(jù)樣本檢測(cè)的難易程度對(duì)其損失進(jìn)行衰減,促使了網(wǎng)絡(luò)在訓(xùn)練過程中可以更集中于學(xué)習(xí)相對(duì)困難的樣本。其損失函數(shù)由分類損失與定位損失兩部分組成:
式中:N為正樣本個(gè)數(shù);p與?分別為預(yù)測(cè)框的分類概率與相對(duì)于預(yù)設(shè)框的定位偏移;c和g分別代表目標(biāo)框的類別標(biāo)簽與位置信息;λ為兩類損失的權(quán)重比。
對(duì)于單個(gè)預(yù)設(shè)框,采用Focal loss后其分類損失可表示為式(2),其中為對(duì)應(yīng)目標(biāo)框種類的預(yù)測(cè)概率,γ為可調(diào)節(jié)的超參數(shù)。
單個(gè)預(yù)設(shè)框的定位損失為Smooth L1損失[22],如式(3)所示。包括了中心點(diǎn)損失和高寬損失,并使用預(yù)設(shè)框的高寬進(jìn)行了歸一化。
由損失函數(shù)的定義可知,分類與定位兩個(gè)子網(wǎng)絡(luò)的訓(xùn)練通過相互獨(dú)立的損失函數(shù)進(jìn)行。分類分?jǐn)?shù)僅由分類子網(wǎng)絡(luò)決定,不考慮其定位精度,而定位精度則由檢測(cè)框與目標(biāo)框的IoU表示,致使最終所得分類分?jǐn)?shù)與定位精度IoU相關(guān)性較弱。如圖1所示,在損失函數(shù)的設(shè)計(jì)上忽略分類分?jǐn)?shù)與定位的聯(lián)系,則有可能導(dǎo)致與目標(biāo)框IoU較大的預(yù)測(cè)框A1的分?jǐn)?shù)低于IoU較小的預(yù)測(cè)框B2,則在非極大抑制(non maximum suppression,NMS)環(huán)節(jié)中,A1會(huì)被B2所抑制,最終輸出定位精度較低的預(yù)測(cè)框B2。部分研究[20-21]利用正樣本的IoU信息,將體現(xiàn)定位精度的IoU信息與預(yù)測(cè)正樣本的類別分?jǐn)?shù)聯(lián)系起來,保證具有較高定位精度的檢測(cè)框可得到更高的分類分?jǐn)?shù),從而被NMS過程選擇成為最終的輸出框。
圖1 分類與定位相互獨(dú)立可能導(dǎo)致的誤檢
然而,現(xiàn)有的研究僅考慮了正樣本的IoU信息。事實(shí)上,訓(xùn)練過程中被劃分為負(fù)樣本的預(yù)設(shè)框在經(jīng)過回歸后仍可能與目標(biāo)框產(chǎn)生IoU,但在已有的損失函數(shù)中,對(duì)所有負(fù)樣本不加區(qū)分地計(jì)算其損失,會(huì)使網(wǎng)絡(luò)不能注意到更應(yīng)該被訓(xùn)練的負(fù)樣本,即未與目標(biāo)框產(chǎn)生交并比或交并較小的樣本,從而產(chǎn)生誤檢。對(duì)于夜間車輛檢測(cè)系統(tǒng)來說,成對(duì)的路燈由于其外形特點(diǎn)與車燈類似,極易被誤檢為車輛,如圖2中的誤檢1。同時(shí),對(duì)于部分經(jīng)過回歸后與目標(biāo)框產(chǎn)生一定交并比的檢測(cè)框,如圖2中的誤檢2,這類檢測(cè)框被分類為目標(biāo)而非背景是相對(duì)可接受的。已有的算法在訓(xùn)練過程中,沒有將誤檢1和誤檢2加以區(qū)分,而結(jié)合IoU為0這一信息,使IoU較小的負(fù)樣本產(chǎn)生更大的損失,即強(qiáng)調(diào)IoU為0的檢測(cè)框?qū)儆诒尘埃軌蚪档驼`檢率。
圖2 車輛檢測(cè)中的誤檢
定位損失分為中心點(diǎn)定位偏差損失與高寬偏差損失,現(xiàn)分別對(duì)其進(jìn)行分析。
(1)對(duì)于高寬定位偏差,由于采用對(duì)數(shù)形式定義,其計(jì)算出的損失與預(yù)設(shè)框高寬無關(guān),以寬度損失為例,可以看出輸入到Smooth L1的寬度損失部分僅與預(yù)測(cè)框和目標(biāo)框?qū)挾戎扔嘘P(guān),如式(7)所示。
(2)對(duì)于中心點(diǎn)定位損失,預(yù)設(shè)框的高寬在其中承擔(dān)歸一化的作用,其高寬的設(shè)定對(duì)于后續(xù)損失的計(jì)算影響巨大。以cx定位損失為例,輸入到Smooth L1的中心點(diǎn)位置偏差如式(8)所示,可以看出其與預(yù)設(shè)框?qū)挾瘸煞幢取?/p>
如圖3所示,黑色框代表預(yù)設(shè)框,綠色框代表目標(biāo)框,紅色框代表預(yù)測(cè)框。圖3(a)和圖3(b)中預(yù)測(cè)框與目標(biāo)框的相對(duì)位置一致,應(yīng)產(chǎn)生相同的損失,然而,圖3(a)中預(yù)設(shè)框較小而圖3(b)中預(yù)設(shè)框較大,由于式(7)使用預(yù)設(shè)框的尺寸進(jìn)行歸一化,導(dǎo)致了圖3(a)的中心點(diǎn)定位損失大于圖3(b),從而促使模型訓(xùn)練比預(yù)設(shè)框大的目標(biāo)框,降低了較小目標(biāo)的檢測(cè)精度。
圖3 大目標(biāo)與小目標(biāo)產(chǎn)生損失的不平衡
在實(shí)際車輛檢測(cè)模型構(gòu)建中,為保證精度與計(jì)算速度的平衡,一般采用K均值聚類[15]對(duì)預(yù)設(shè)框大小進(jìn)行設(shè)計(jì),所選取的預(yù)設(shè)框接近于目標(biāo)框大小分布的中位數(shù),因此實(shí)際樣本中必然存在小于預(yù)設(shè)框的目標(biāo)框,在夜間車輛檢測(cè)中該類目標(biāo)框的占比較高,因此采用式(7)中的定位損失將降低夜間對(duì)小目標(biāo)車輛的檢測(cè)精度。
為在訓(xùn)練時(shí)將網(wǎng)絡(luò)的定位與分類聯(lián)系起來,在不同樣本的分類損失函數(shù)中增加了與IoU關(guān)聯(lián)的系數(shù),并針對(duì)正負(fù)樣本的特性分別設(shè)計(jì)其對(duì)應(yīng)系數(shù),如式(10)所示。圖4為正樣本IoU系數(shù)曲線,圖5為負(fù)樣本IoU系數(shù)曲線。
圖4 正樣本IoU系數(shù)
圖5 負(fù)樣本IoU系數(shù)
對(duì)于正樣本,引入IoU信息后,與目標(biāo)框的IoU越大的預(yù)測(cè)框?qū)a(chǎn)生更大的損失,進(jìn)而經(jīng)過訓(xùn)練后,IoU越大的檢測(cè)框?qū)碛懈叩姆诸惙謹(jǐn)?shù),這樣使目標(biāo)的分類與定位聯(lián)系起來,更重要的是,這樣有利于具有較高IoU的檢測(cè)框經(jīng)過NMS之后被選為最終的輸出框,提高了定位精度。
對(duì)于負(fù)樣本,為方便說明引入IoU系數(shù)后誤檢率降低的原因,設(shè)計(jì)了如圖6所示的示例,圖中A、B、C均為3個(gè)被誤檢的負(fù)樣本,即預(yù)設(shè)框與目標(biāo)框IoU<0.5,且分類過程被判定為車輛而非背景。
圖6 3種類型的誤分類示例
對(duì)于預(yù)設(shè)框A,盡管與目標(biāo)框的IoU<0.5,但是其經(jīng)過回歸得到的預(yù)測(cè)框與目標(biāo)框的IoU較高(為便于理解,假定為0.8),從最終預(yù)測(cè)結(jié)果來看其應(yīng)該被分類為車輛。然而,由于已將其劃分為負(fù)樣本,分類子網(wǎng)絡(luò)將更傾向于將其分類為背景,這造成了檢測(cè)精度的降低,因此通過設(shè)置權(quán)重(0.04)將該樣本的損失降低至幾乎為0,使其仍然被分類為車輛。
對(duì)于預(yù)設(shè)框B,其預(yù)測(cè)框與目標(biāo)框的IoU為0.4,從預(yù)測(cè)結(jié)果來看其沒有準(zhǔn)確定位出目標(biāo),由于分?jǐn)?shù)較低,在NMS環(huán)節(jié)其可能被附近預(yù)測(cè)框抑制,因此對(duì)于這類誤判的負(fù)樣本,給予其一定損失權(quán)重(0.36),保證其分類分?jǐn)?shù)較低即可。
對(duì)于預(yù)設(shè)框C,其預(yù)測(cè)框與目標(biāo)框的IoU為0,該類負(fù)樣本難以通過回歸與目標(biāo)框相交,且其預(yù)測(cè)框也無法被其他正確預(yù)測(cè)框所抑制,可將其理解為訓(xùn)練中的難分類負(fù)樣本(hard negative example),因此需要對(duì)該誤檢給予盡可能大的懲罰,其IoU系數(shù)被設(shè)定為1,進(jìn)而促使模型將其正確分類為背景,降低誤檢率。
基于1.2節(jié)中的分析,在式(1)的基礎(chǔ)上做出調(diào)整,以消除預(yù)設(shè)框高寬對(duì)于定位損失的影響,如式(11)所示。
其中
如式(11)所示,對(duì)于高寬偏差損失,依舊保持原定位損失的定義,而對(duì)于中心點(diǎn)定位損失,引入了綜合預(yù)設(shè)框、目標(biāo)框以及預(yù)測(cè)框信息的系數(shù),以橫坐標(biāo)定位為例,修正后的損失模型中輸入到Smooth L1損失的偏差可表示為
基于式(13)可知,改進(jìn)后偏差與預(yù)設(shè)框信息完全解耦,僅與當(dāng)前訓(xùn)練過程中的預(yù)測(cè)框和目標(biāo)框有關(guān),中心點(diǎn)在橫坐標(biāo)維度上的偏差以預(yù)測(cè)框和目標(biāo)框?qū)挾戎瓦M(jìn)行了歸一化,消除了模型對(duì)不同大小目標(biāo)框的敏感度。圖3所示的相對(duì)位置完全相同而整體尺度不同的兩子圖的定位損失完全一致,使網(wǎng)絡(luò)不會(huì)在訓(xùn)練過程中傾向于忽視小目標(biāo)。因此,采用改進(jìn)后的方法,對(duì)于較小目標(biāo)的檢測(cè)更有利,對(duì)于夜間車輛檢測(cè)系統(tǒng)來說,可以提高對(duì)遠(yuǎn)處車輛的檢測(cè)精度。
目前缺乏公開的夜間車輛數(shù)據(jù)集,為驗(yàn)證本文的方法,在夜間高速公路上采集了數(shù)據(jù)集。夜間高速公路光照條件較差,照明僅依賴車輛燈光、反光板和少量路燈,多數(shù)車輛目標(biāo)位于前方50~200 m。該場(chǎng)景下收集的圖片數(shù)據(jù)中,車輛像素信息較少且光源特征類似,易產(chǎn)生誤檢,該數(shù)據(jù)集可以有效驗(yàn)證算法的可靠性。原圖片為車載攝像頭采集的連續(xù)幀圖片,幀率為10 fps,分辨率為1280×720。為驗(yàn)證模型的可靠性,按照每0.5 s取一幀圖片的規(guī)則得到了5 465張圖片,包含11 924個(gè)車輛目標(biāo),并按4∶1劃分訓(xùn)練集和測(cè)試集。
本文使用RetinaNet作為基礎(chǔ)模型,RetinaNet-50在ResNet50上構(gòu)建圖像特征金字塔,使用了金字塔 的P3~P7層,其 中P3、P4、P5由ResNet50的conv3_x、conv4_x、conv5_x通過上采樣和橫向連接產(chǎn)生,P6是在conv5_x的基礎(chǔ)上通過3×3卷積得到的,P7在P6的基礎(chǔ)上增加了Relu激活函數(shù)和一個(gè)3×3卷積得到。為適應(yīng)夜間車輛檢測(cè)的應(yīng)用場(chǎng)景,將圖片輸入大小設(shè)置為640×360。考慮到車載運(yùn)算單元算力的限制以及智能車輛對(duì)感知系統(tǒng)實(shí)時(shí)性的要求,對(duì)RetinaNet模型進(jìn)行了部分修改。
(1)由于車輛在圖片中所占尺寸通常較小,舍棄了特征圖中的P6和P7兩層,同時(shí),為提高對(duì)極遠(yuǎn)處車輛的檢測(cè)能力,添加了P2特征層,改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。
圖7 改進(jìn)的RetinaNet網(wǎng)絡(luò)結(jié)構(gòu)示意圖
(2)使用K均值方法對(duì)訓(xùn)練集中的車輛標(biāo)簽進(jìn)行聚類[8],并根據(jù)聚類結(jié)果設(shè)置了適合于檢測(cè)任務(wù)的預(yù)設(shè)框??紤]到速度與精度的平衡,在P2上只設(shè)置了一個(gè)尺度20,在P3~P5上各設(shè)置了兩個(gè)尺度,其中P3上的尺度為32和58,P4上的尺度為64和90,P5上的尺度為135和190,預(yù)設(shè)框的高寬比設(shè)置為0.7。
(3)RetinaNet的分類子網(wǎng)絡(luò)和定位子網(wǎng)絡(luò)均使用了4個(gè)3×3的卷積,極大影響了檢測(cè)速度,將其替換為2個(gè)3×3卷積,以提高檢測(cè)速度。
使用pytorch1.7實(shí)現(xiàn)網(wǎng)絡(luò)模型,在兩個(gè)GTX 1080Ti 11GB顯卡上進(jìn)行訓(xùn)練。批尺寸設(shè)置為8,所有模型均使用隨機(jī)梯度下降方法訓(xùn)練了30個(gè)周期。初始學(xué)習(xí)率設(shè)置為0.002,動(dòng)量為0.9,權(quán)重衰減為0.000 5,每5個(gè)周期學(xué)習(xí)率降低一半。
采用精度-召回率曲線(precision?recall curve,P-R曲線)和COCO評(píng)價(jià)指標(biāo)對(duì)模型性能進(jìn)行分析。
對(duì)于一般目標(biāo),使用P-R曲線(IoU閾值取0.5)、AP以及APIoU=0.50(下文簡寫為AP50)進(jìn)行分析。其中,AP為不同IoU閾值下的平均精度,可反映檢測(cè)框的定位精度。對(duì)于小目標(biāo),其定義通常有兩種:(1)長寬小于原圖像長寬1/10的目標(biāo);(2)像素面積小于322的目標(biāo)。本文采用第2種定義,并使用小目標(biāo)的P-R曲線(IoU閾值取0.5)和APSmall(像素面積小于322的目標(biāo)的AP,下文簡寫為APS)單獨(dú)對(duì)小目標(biāo)檢測(cè)效果進(jìn)行分析驗(yàn)證。
首先驗(yàn)證對(duì)于RetinaNet網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化是否有效,測(cè)試結(jié)果如表1所示。由于選擇了分辨率較高的淺層特征層,有利于對(duì)遠(yuǎn)處目標(biāo)的檢測(cè),相比于原始的RetinaNet,AP提高了6.3%,在此基礎(chǔ)上,通過K?means聚類的結(jié)果設(shè)置預(yù)設(shè)框,使其尺寸和高寬比更接近目標(biāo)框,更有利于網(wǎng)絡(luò)定位,使AP進(jìn)一步提高了5.4%。測(cè)試結(jié)果表明了選擇合適的特征層并依據(jù)聚類結(jié)果設(shè)置預(yù)設(shè)框?qū)z測(cè)精度的提高是顯著的。在對(duì)子網(wǎng)絡(luò)進(jìn)行簡化后,精度有所降低,但減少了網(wǎng)絡(luò)運(yùn)算的時(shí)間,提高了檢測(cè)速度。
表1 RetinaNet網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化效果
以改進(jìn)后的RetinaNet為基準(zhǔn),通過5組試驗(yàn)測(cè)試對(duì)于損失函數(shù)的優(yōu)化方法。損失函數(shù)的優(yōu)化是對(duì)訓(xùn)練過程的改進(jìn),不影響其檢測(cè)速度,故只需關(guān)注精度指標(biāo)。測(cè)試結(jié)果如表2、圖8和圖9所示。其中,表2中的APS指標(biāo)和圖9反映的是小目標(biāo)的檢測(cè)效果。
表2 損失函數(shù)優(yōu)化效果對(duì)比
圖8 數(shù)據(jù)集中所有目標(biāo)的檢測(cè)效果
圖9 數(shù)據(jù)集中“小目標(biāo)”的檢測(cè)效果
對(duì)于一般目標(biāo),試驗(yàn)2為定位損失優(yōu)化,提高了1.5%的AP,檢測(cè)精度總體上升。試驗(yàn)3、試驗(yàn)4和試驗(yàn)5為分類損失優(yōu)化,其中,僅使用正樣本IoU優(yōu)化,提高了1.1%AP,表明IoU較大的檢測(cè)框獲得較高分?jǐn)?shù)是合理的;僅使用負(fù)樣本IoU優(yōu)化,提高了2.0%AP,表明該損失函數(shù)正確地利用了負(fù)樣本的IoU信息,使網(wǎng)絡(luò)更加合理地學(xué)習(xí)了負(fù)樣本;同時(shí)應(yīng)用兩種分類損失,提升了2.4%AP。試驗(yàn)6為同時(shí)應(yīng)用定位和分類損失優(yōu)化,AP提高了3.7%,AP50提高了6.1%,表明本文對(duì)于損失函數(shù)的優(yōu)化在總體上有效。
對(duì)于小目標(biāo),試驗(yàn)2使APS提升了3.1%,表明定位損失的優(yōu)化增強(qiáng)了網(wǎng)絡(luò)對(duì)于小目標(biāo)的學(xué)習(xí)。試驗(yàn)3、試驗(yàn)4和試驗(yàn)5分別使APS提升了1.6%、3.7%和4.4%,表明了分類損失函數(shù)的優(yōu)化對(duì)于小目標(biāo)具有良好的效果。試驗(yàn)6使APS提升了6.3%,表明本文提出的方法極大地改善了小目標(biāo)的檢測(cè)效果。
為得到效果最優(yōu)的α和γ,首先,將α固定為1.0,調(diào)整γ的大小確定其大致范圍,試驗(yàn)結(jié)果如表3所示。當(dāng)γ=1.5時(shí),AP和AP50均達(dá)到最大值,表明最佳的γ應(yīng)在區(qū)間[1,2]之內(nèi)。
表3 γ優(yōu)化試驗(yàn)結(jié)果(α=1)
然后,在[1.0,2.0]的區(qū)間內(nèi)對(duì)γ的取值進(jìn)行更精細(xì)的劃分。同時(shí),在[0.8,1.2]的區(qū)間內(nèi)以0.1為步長改變權(quán)重α,以確定最優(yōu)的(α,γ)。表4的試驗(yàn)結(jié)果表明,當(dāng)α=1.75、γ=1.1時(shí)效果最優(yōu)。
表4 α和γ聯(lián)合優(yōu)化試驗(yàn)結(jié)果
根據(jù)夜間車輛數(shù)據(jù)集中目標(biāo)框的特點(diǎn),優(yōu)化了RetinaNet的網(wǎng)絡(luò)結(jié)構(gòu),通過改進(jìn)特征層、K均值聚類設(shè)置預(yù)設(shè)框及子網(wǎng)絡(luò)簡化,構(gòu)建了具有較高性能的網(wǎng)絡(luò)模型,提高了10.9%AP。在此基礎(chǔ)上,對(duì)損失函數(shù)提出以下改進(jìn)。
(1)提出了基于IoU系數(shù)的分類損失函數(shù),利用負(fù)樣本IoU信息,根據(jù)IoU的大小對(duì)其損失進(jìn)行修正,增強(qiáng)了網(wǎng)絡(luò)對(duì)難分類負(fù)樣本的學(xué)習(xí),利用正樣本IoU信息提高了定位精度,使AP提升了2.4%,APS提升了4.4%。
(2)對(duì)L1損失中的中心點(diǎn)偏差損失進(jìn)行改進(jìn),消除了訓(xùn)練過程中不同尺度目標(biāo)歸一化不一致的問題,使網(wǎng)絡(luò)更加關(guān)注小目標(biāo)檢測(cè),使AP提升了1.5%,APS提升了3.1%。
同時(shí)采用兩種損失函數(shù),使AP在網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的基礎(chǔ)上提升了3.7%,同時(shí)APS提高了6.3%。表明了其對(duì)于夜間車輛檢測(cè)中尤為關(guān)鍵的小尺度目標(biāo)的檢測(cè)具有較好的效果。試驗(yàn)結(jié)果證明,所提出的方法大幅改善了對(duì)夜間車輛的檢測(cè)效果,具有較高的應(yīng)用價(jià)值。