駱 尚,吳曉峰,楊明輝,王 斌,孫曉瑋
(1.復旦大學 電磁波信息科學教育部重點實驗室,上海 200433; 2.復旦大學 信息學院智慧網(wǎng)絡與系統(tǒng)研究中心,上海 200433; 3.中國科學院 上海微系統(tǒng)與信息技術(shù)研究所,上海 200050)
近年來,潛在的犯罪行為和恐怖活動使得機場、火車站等人流密集處的安防越來越受到重視,進而促進了武器、禁運品、爆炸物等人體安全檢測系統(tǒng)的發(fā)展[1].自9·11事件之后,美國首先對毫米波成像系統(tǒng)進行了研究,并率先用于機場等公共場所的人體安檢;而在國內(nèi),毫米波成像系統(tǒng)用于人體安檢的產(chǎn)品尚為空白,所以研究以及開發(fā)毫米波成像的人體隱匿物檢測系統(tǒng)對我國的安防領(lǐng)域具有重大意義[2].
毫米波圖像中人體隱匿物的檢測算法通常包括圖像去噪和隱匿物檢測兩個步驟.圖像去噪的目的在于提高圖像的信噪比,常用的去噪方法有高斯平滑濾波[3]、非局部均值[4]、各向異性擴散[4]和形態(tài)學去噪[5]等.隱匿物檢測方法基本可分為兩類: 基于圖像分割和基于目標檢測.基于圖像分割的方法著重于毫米波圖像中隱匿物的紋理信息,如通過Otsu閾值法[6-7]或者基于灰度統(tǒng)計特征參數(shù)[8-10]來分割隱匿物,這類方法原理簡單,速度較快,但丟失了物體的結(jié)構(gòu)信息,依賴于隱匿物與背景、人體結(jié)構(gòu)等灰度信息之間的差異性,不適用于隱匿物灰度值與背景、人體等灰度值相近的毫米波圖像.基于目標檢測的方法是將深度學習(Deep Learning, DL)框架卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)應用在毫米波圖像的目標識別上,目前這類方法研究較少,文獻[11]利用簡單修改后的Lenet5[12]判別毫米波圖像中是否含有隱匿物,虛警率較高且無法對隱匿物定位,但是將深度學習應用于毫米波圖像的隱匿物檢測具有一定的理論價值和應用前景.
深度學習源于人工神經(jīng)網(wǎng)絡(Artificial Neural Network, ANN),能通過組合簡單直觀的低層特征形成復雜的高層特征,從而實現(xiàn)對數(shù)據(jù)特征的自動提取[13].目前深度學習主要應用于自然圖像,文獻[14-18]等探討了CNN在自然圖像中目標檢測任務的重要性和有效性.相較于自然圖像,毫米波圖像信噪比較低,并且隱匿物的紋理信息很可能與背景、人體結(jié)構(gòu)等處差異較小,因此采用深度學習進行人體隱匿物檢測也可能存在不小的困難.此外,深度學習的訓練階段需要大量的訓練樣本,數(shù)據(jù)庫樣本量過小易造成過擬合,從而使訓練得到的網(wǎng)絡泛化能力較差.由于毫米波成像系統(tǒng)研發(fā)的技術(shù)難度和使用成本問題,目前毫米波圖像樣本較少,因此采用文獻[14-18]中的算法極有可能造成過擬合.
針對上述采用深度學習的毫米波圖像中人體隱匿物的檢測問題,本文提出一種基于CNN的人體隱匿物自動檢測算法,主要分為4個步驟: 首先,基于IoU(Intersection over Union)指標對毫米波圖像通過滑動窗進行正負樣本選擇,考慮到實際情況下人體攜帶隱匿物尺寸有限,因此滑動窗的大小來自于數(shù)據(jù)集中隱匿物尺寸的統(tǒng)計平均,這種基于先驗知識的滑動窗樣本選取方法可克服目前毫米波圖像數(shù)據(jù)庫訓練集不足的問題,基本滿足了深度學習對訓練集數(shù)量的要求;其次,基于本文新提出的IoG(Intersection over Ground-truth)指標對候選正負樣本進行進一步篩選,可擴大正負樣本間的特征差別,使得訓練得到的CNN模型泛化能力更強;然后,CNN模型對滑動窗截取的圖像塊提取多層特征并自動分類,若該區(qū)域?qū)儆诳梢赡繕说母怕蚀笥谒O(shè)定的閾值則將該區(qū)域標記為可疑區(qū)域;最后,綜合所有的可疑區(qū)域疊加得到可疑目標熱度圖,進而確定可疑目標的位置.
CNN是模仿生物的視覺機制而提出的一種局部連接的多層網(wǎng)絡,它是根據(jù)1959年Hubel和Wiesel[19]發(fā)現(xiàn)的貓視覺神經(jīng)系統(tǒng)從簡單細胞到復雜細胞再到超復雜細胞的層級信息處理的過程,以及1980年Fukushima模仿生物視覺提出的神經(jīng)認知機(neocognitron)[20]而構(gòu)建的網(wǎng)絡.CNN的具體結(jié)構(gòu)可以各有不同,但是其基本組成模塊相差無幾,一般由卷積層(Convolution Layer),池化層(Pooling Layer)和全連接層(Full Connection Layer)組合而成.本文的CNN網(wǎng)絡包括3個卷積層、3個池化層和2個全連接層,如圖1所示.
圖1 本文的CNN網(wǎng)絡結(jié)構(gòu)示意圖Fig.1 CNN architecture of the proposed method
卷積層的作用是學習輸入的特征表達,由圖1可以看出,同其他神經(jīng)網(wǎng)絡不同的是,經(jīng)過卷積層計算得到的特征圖(Feature Map)上的神經(jīng)元只和前一層的神經(jīng)元進行局部連接.假設(shè),卷積核窗口是大小為c的正方形,用n個卷積核對輸入圖像進行卷積操作可得到n個特征圖,那么第m個卷積層的第k個特征圖的輸出為:
(1)
(2)
池化層通過下采樣降低特征層的參數(shù),通常將池化層放在2個卷積層之間,將池化操作記為ρ(·),則可得到池化后的特征圖為
(3)
其中:Rij是卷積層的輸出圖在(i,j)位置上池化窗口的區(qū)域;通過池化降采樣后得到的特征圖上的位置記為(i*,j*).一般池化操作可采用最大池化法(Max Pooling)[21],最大池化是選取區(qū)域Rij中的最大值作為輸出.
多個卷積層和池化層之后是一般神經(jīng)網(wǎng)絡中常見的全連接層.全連接層將前一層所有神經(jīng)元的輸出都與本層所有神經(jīng)元的輸入相連接以生成全局的語義信息(Semantic Information).最后一個全連接層的輸出被送往輸出層的輸入,該層根據(jù)不同的任務可定義不同的操作,比如對于多分類(Multi-class Classification),通常使用softmax運算[22].
用θ表示CNN的網(wǎng)絡結(jié)構(gòu)參數(shù),N為輸入數(shù)據(jù)數(shù)量,CNN的輸入數(shù)據(jù)、標簽數(shù)據(jù)和輸出表示為{(xn,tn,yn);n∈[1,2,…,N]},那么CNN網(wǎng)絡的損失函數(shù)為
(4)
因此,CNN的訓練可看作網(wǎng)絡映射的優(yōu)化問題,通過訓練集中已知輸入以及對應標簽的數(shù)據(jù),以最小化式(4)的損失函數(shù)為優(yōu)化目標,使用梯度下降來尋找網(wǎng)絡的最優(yōu)參數(shù)θ[23].
中科院上海微系統(tǒng)所[2]為我們提供數(shù)百張毫米波人體成像數(shù)據(jù),其中隱匿物包含手槍、手機、皮帶、小刀、肥皂、扳手、礦泉水瓶、鉗子、榔頭等多種類型.部分隱匿物示例如圖2所示,其中白色方框表示隱匿物的標記位置(Ground Truth),可以看到以下信息: 人體的骨骼在圖像中一般比較亮,而非骨骼的身體和背景通常很暗;隱匿物大小、位置等各不相同;圖像信噪比較低,多張圖片甚至人眼都難以觀察到隱匿物的位置.
直接應用CNN進行人體隱匿物檢測的難點主要概括如下: 僅有的數(shù)百張毫米波圖像對于深度學習來說遠遠不夠,若直接以此作為訓練集則CNN模型易發(fā)生過擬合現(xiàn)象;部分隱匿物如榔頭、扳手等與人體手臂結(jié)構(gòu)較為類似,對圖像局部的尺寸調(diào)整可能會導致CNN網(wǎng)絡誤把人體手臂檢測為隱匿物;各種隱匿物尺寸大小不一,并且其所在區(qū)域像素灰度信息各不相同.
圖2 毫米波成像的人體隱匿物示例Fig.2 Examples of concealed objects in millimeter wave images
針對以上問題,本文提出了基于CNN的毫米波圖像中人體隱匿物檢測方法,分為訓練階段和測試階段兩個部分,如圖3所示.
圖3 本文方法的框圖Fig.3 Framework of the proposed method
本文方法訓練階段的步驟如下:
步驟1 從數(shù)據(jù)集的正樣本圖像(即含有隱匿物的圖像)中抽取80%作為訓練階段的正負圖像塊樣本的來源;
步驟2 對步驟1中的圖像進行滑動窗截取操作,并基于IoU和IoG指標篩選得到正負樣本圖像塊;
步驟3 由于步驟2中的負樣本數(shù)量遠多于正樣本,因此從負樣本中隨機不放回地抽取與正樣本同等數(shù)目的圖像塊,從而得到用于CNN訓練的正負樣本圖像塊;
步驟4 將步驟3中的正負樣本圖像塊按照8∶1∶1的比例分配得到訓練集、驗證集和測試集,利用訓練集和驗證集對模型進行參數(shù)調(diào)整,利用測試集對CNN模型進行性能定量分析.
本文方法測試階段的步驟如下:
步驟1 在輸入圖像上利用滑動窗截取圖像塊,并送入CNN模型進行測試,得到所有可疑區(qū)域;
步驟2 生成一個與輸入圖像等高等寬但像素值全為0的二維圖像,若步驟1中局部圖像塊被判別為可疑區(qū)域,則將新二維圖像中與此圖像塊對應區(qū)域的所有像素值加1,從而得到整幅圖像的可疑目標熱度圖;
步驟3 若可疑目標熱度圖的最大值小于某個經(jīng)過優(yōu)化的既定閾值probthr(參見式(9)),則判決該輸入圖像不存在隱匿物,否則執(zhí)行步驟4確定隱匿物位置;
步驟4 將可疑目標熱度圖中值較小的像素值置0,并進行八連通規(guī)則的區(qū)域劃分,從而得到隱匿物的位置.
圖4 IoU和IoG的比較Fig.4 Comparison between IoU and IoG
首先對訓練集中隱匿物的大小進行統(tǒng)計,在其均值附近進行滑動窗尺寸的篩選.其次,通過滑動窗口和隱匿物標記位置的重疊程度來選取訓練集中的局部圖像塊作為圖像塊級別的正負樣本.本文采用了兩個評價指標來判別滑動窗口和標記位置的覆蓋程度: 傳統(tǒng)的IoU和文中提出的IoG.
若Rslide表示滑動窗的矩形區(qū)域,Rgt表示隱匿物標記位置的矩形區(qū)域,∩表示取交集,∪表示取并集,則IoU定義為:
(5)
在實際的毫米波圖像中,人體攜帶的隱匿物尺寸有限,盡管IoU值較低,但滑動窗圖像塊仍然包含了隱匿物的大部分甚至全部信息.如圖4所示,其中紅色方框表示隱匿物的標記位置,黃色方框表示滑動窗的位置,可以看到,紅色方框和黃色方框的IoU值雖然較低,但仍然可以將滑動窗所截取的圖像塊視為正樣本.
基于此,本文提出了一個新指標IoG,定義為:
(6)
在IoU的基礎(chǔ)上,通過IoG對正負樣本進行更加精確地篩選,以此擴大正負樣本間的特征差異. 具體做法為: 若局部圖像塊與標記位置的IoU高于閾值IoUthr,則將該局部圖像塊標記為正樣本;若局部圖像塊與標記位置的IoU低于閾值IoUthr,但是IoG超過閾值IoGthr,亦將該局部圖像塊標記為正樣本;反之,則標記為負樣本. 因此,訓練階段滑動窗圖像塊正負樣本的判定包含3種方式: 基于IoU指標以選定的滑動窗尺寸在整幅圖像上自左向右、自上而下地滑動,滑動間隔為slideimg;基于IoU指標在隱匿物體標記位置的長和寬的1/2鄰域內(nèi)進行滑動,滑動間隔為slideimg;基于IoG指標在隱匿物體標記位置的長和寬的1/2鄰域內(nèi)滑動,滑動間隔為slidegt.
引入IoG指標的原因在于: 某些隱匿物的尺寸可能小于選定的滑動窗尺寸,導致隱匿物位置處IoU指標較低;榔頭、扳手等類型的隱匿物,其部分區(qū)域的信息特征已足夠表達其整體的主要信息特征.這樣人工選擇正負樣本的好處是: 一方面,使得原有的數(shù)據(jù)集樣本數(shù)量得到擴展,滿足了深度學習對訓練集樣本數(shù)量的要求;另一方面,在特征空間上擴大了正負樣本間的差異性,有利于神經(jīng)網(wǎng)絡的特征自動選取.
訓練階段,所有可調(diào)參數(shù)的初始值都采用隨機生成,在已知正負訓練樣本的情況下,用式(1)和(2)計算卷積層的輸出,用最大池化法計算池化層的輸出,利用BP算法[23]優(yōu)化式(4)最終獲得能區(qū)分正負樣本的所有參數(shù).
測試階段,輸入毫米波人體圖像全圖后,首先初始化一個與輸入圖像等寬w等高h的二維矩陣Iprob,其每個像素值為:
Iprob(i,j)=0 ?i∈{1,2,…,h}, ?j∈{1,2,…,w}.
(7)
然后通過覆蓋區(qū)域可重疊的滑動窗在輸入圖像上滑動截取得到局部圖像塊,每一個滑動窗截取的圖像塊通過已訓練好的CNN網(wǎng)絡計算輸出,來判定該區(qū)域進行是否存在隱匿物,若其輸出大于閾值softmaxthr則判為可疑區(qū)域,該區(qū)域中每個像素值加1,如下式所示:
(8)
其中:r代表滑動的局部圖像塊;(i,j)表示該滑動窗圖像塊的每一個像素位置;CNN(·)表示該滑動窗所截取的圖像塊通過CNN網(wǎng)絡計算得到的存在隱匿物的概率.當滑動窗遍歷整個輸入圖像后,采用式(8)將所有的可疑區(qū)域綜合即可得到全圖的可疑目標熱度圖.
若可疑目標熱度圖的最大值小于閾值probthr,則該輸入圖像沒有隱匿物存在;反之,則該輸入圖像存在隱匿物攜帶.其中閾值probthr定義為:
(9)
若可疑目標熱度圖存在隱匿物,對其進行以下操作:
(10)
其中:Iprob(i,j)表示可疑目標熱度圖中的每一個像素點;Iprob_thr為常數(shù),表示熱度圖對噪聲的抗干擾程度.這樣可以將可疑概率較小的區(qū)域去掉,同時可以區(qū)分開不同隱匿物,達到對多種隱匿物同時檢測的目的.然后對再對Iprob進行八連通區(qū)域的劃分,在每一個連通區(qū)內(nèi),將該連通區(qū)域內(nèi)最大值的0.9倍以下的像素置0,剩下的區(qū)域為隱匿物的檢測位置.
實驗采用的計算機硬件配置為Intel(R) Core(TM) i7-6700K CPU@4.00HZ,內(nèi)存為32GB,其軟件運行環(huán)境為Windows 10操作系統(tǒng),程序使用MATLAB R2015b編寫,其中CNN模型由開源框架MatConvNet[24]訓練得到.
攜帶有隱匿物的人體毫米波圖像視為正樣本,反之不攜帶隱匿物的人體毫米波圖像視為負樣本.本文的實驗數(shù)據(jù)來源于中科院上海微系統(tǒng)所[2]提供的728張人體毫米波圖像,其中正樣本680張(其中包含的隱匿物及其圖像數(shù)目分別為: 手槍37、手機125、皮帶8、小刀84、肥皂83、扳手109、水瓶90、鉗子74、榔頭70),負樣本48張.該數(shù)據(jù)集由兩部分組成: 一部分,正樣本圖像280張,負樣本圖像8張,大小均為380×127;另一部分,正樣本圖像400張,負樣本圖像40張,大小均為365×152.對680張已標記樣本圖像的隱匿物的尺寸進行統(tǒng)計,如表1所示.
如1.2節(jié)所述,將728張毫米波圖像隨機分為訓練圖像(544張正樣本圖像)和測試圖像(136張正樣本圖像和48張負樣本圖像),以訓練圖像為基礎(chǔ),按1.3節(jié)所述的訓練集生成方法,產(chǎn)生正負局部圖像塊樣本,實驗中滑動窗大小為30×30,閾值IoUthr取0.3,IoGthr取0.8,slideimg取4,slidegt取2,均由多次交叉實驗給出.由于圖像塊正樣本數(shù)量遠遠小于負樣本數(shù),實驗中隨機挑選等量的圖像塊負樣本,從而構(gòu)成平衡訓練數(shù)據(jù)集并按照1.2節(jié)訓練階段操作對CNN進行訓練,為了消除其隨機性,對1.2節(jié)中訓練階段的步驟3和步驟4分別進行了10次獨立的重復實驗操作.
在實驗中,訓練階段采用的評判指標為查準率(Precision)、查全率(Recall)和F-Measure.查準率定義為:
(11)
查全率定義為:
(12)
根據(jù)查準率和查全率得到的F-Measure定義為:
(13)
其中:β是平衡查準率和查全率的參數(shù);P是查準率;R是查全率.測試階段采用的評價指標為檢測率(True Positive Rate, TPR)和虛警率(False Positive Rate, FPR),其中檢測率的定義與式(11)相同,虛警率的定義為:
(14)
本文算法的訓練階段中基于IoU和IoG指標的滑動窗圖像塊的正負樣本選取和測試階段中可疑目標熱度圖的生成是兩個比較關(guān)鍵的環(huán)節(jié),本節(jié)將用實驗說明這兩部分的重要性.
2.3.1 訓練階段實驗分析
本文按1.3節(jié)所述方法生成的局部圖像塊隨機抽選10%組成的測試集上進行了10次獨立重復實驗,CNN網(wǎng)絡的訓練參數(shù)如下: 學習率為固定值0.001,mini-batch的大小取100(即每輸入100張圖像更新一次權(quán)值),訓練循環(huán)次數(shù)(epoch)取30.本文訓練階段針對圖像塊的10次重復獨立實驗的檢測結(jié)果如表2所示,可以看出,人工選擇正負樣本后得到擴充的數(shù)據(jù)集在CNN的框架下取得了較好的分類結(jié)果.
注: 均值(方差)分別為95.6(1.7),97.6(0.8).
表3 滑動窗操作以及去噪的分析
注: √表示對應的操作方法執(zhí)行.
2.3.2 測試階段實驗分析
圖5 測試階段10次獨立重復實驗的檢測率和虛警率Fig.5 TPR and TPR of ten independent experiments in test stage
將表2中10次實驗的CNN模型分別應用于測試集整張毫米波圖像的隱匿物檢測,檢測過程如圖3所示,本文中參數(shù)softmaxthr取0.8,參數(shù)Iprob_thr取0.4.很明顯,閾值probthr的變化影響著測試集的TPR和FPR,不同閾值下,2.3.1節(jié)中10次實驗的CNN模型在測試集上的TPR和FPR如圖5所示,其中上半部分表示TPR,下半部分表示FPR,同種顏色和標記的TPR和FPR表示同一次實驗的檢測結(jié)果.由圖5可以看出,本文方法的檢測結(jié)果中,10次獨立重復實驗的TPR較高,F(xiàn)PR較低,但是10次實驗結(jié)果在同一閾值下的有一定的波動,這是因為正負樣本的選取過程中,負樣本的個數(shù)遠大于正樣本,隨機選擇不同負樣本導致CNN網(wǎng)絡學習到的特征略有差異.
為了平衡取值TPR和FPR,本文定義指標BoTF(Balance of TPR and FPR)表示TPR和FPR相對于理想情況(TPR=1,F(xiàn)PR=0)的距離,其定義式為:
(16)
則不同閾值probthr下BoTF的變化如圖6(a)所示,因此本文取閾值probthr為27,此時TPR為88.5%,F(xiàn)PR為13.5%.不同閾值probthr下平均TPR與平均FPR的關(guān)系如圖6(b)所示,可以看出平均TPR隨著平均FPR的降低而降低,因此實際情況中可根據(jù)最終需求指標選擇閾值probthr.
圖6 閾值probthr的選擇Fig.6 Selection of threshold parameter probthr
測試集上隱匿物檢測正確部分示例如圖7所示,為了顯示方便,將示例圖樣統(tǒng)一到相同尺寸(圖8進行同樣的處理),其中紅色方框表示隱匿物標記位置位置,黃色方框表示本文算法檢測的位置.實驗表明,本文的算法對各種不同類型的隱匿物檢測都具有較好的結(jié)果.受益于可疑目標熱度圖的設(shè)計,與扳手、鋼管等物體類似的易被誤判的手臂在可疑目標熱度圖上的亮度值很低,圖7中均去除其對檢測結(jié)果的影響.圖7(a)和(b)中隱匿物和人體灰度值接近,因CNN模型學習到的隱匿物的結(jié)構(gòu)信息,因此可將其準確定位;圖7(c)和(d)中隱匿物均位于胸前,前者隱匿物相對于人體較亮而后者隱匿物相對于人體較暗,盡管定位精度不高,但是本文算法仍然檢測出隱匿物的主體部分.圖7(e)與圖7(a)~(d)來源于不同的毫米波成像系統(tǒng),本文算法依然準確檢測出隱匿物位置.
圖7 檢測正確示例Fig.7 Examples for correct detection
圖8 檢測錯誤示例Fig.8 Example for wrong detection
圖8給出了4個檢測失敗的案例,其中圖8(a)和(b)圖像中含有隱匿物,以紅色方框標識,圖8(c)和(d)中不含任何隱匿物,4個示例中黃色方框均表示本文算法檢測到的隱匿物位置.圖8(a)中隱匿物灰度值與人體接近,同時又缺乏明顯結(jié)構(gòu)信息,因此未能正確檢出;將手部錯誤檢出的原因在于手掌中心形成的空洞相對于手掌其他位置較暗,因此本文模型可能將手掌誤識別為肥皂等物體;將膝蓋處錯誤檢出的原因在于膝蓋下部與膝蓋上部組合結(jié)構(gòu)類似于手機等物體;將胯下錯誤檢出可能因為胯下成像含有線形噪聲,從而誤識別為棍棒等物體.圖8(b)未能檢測出隱匿物,原因在于腰部兩側(cè)在滑動窗取樣的過程中,一般會因兩側(cè)的背景丟失掉1/4的滑動位置,若隱匿物結(jié)構(gòu)或灰度信息不夠明顯,本文算法很可能無法將其識別.圖8(c)和(d)中圖像均有較大散射噪聲,疊加在人體之上,使得本文算法誤將其識別為隱匿物.這些錯誤檢測的實例需要在以后的工作中進一步改進.
本文算法與文獻[7-8,11]的算法在測試集(136張正樣本圖像和40張負樣本圖像)上的實驗對比結(jié)果如表4所示,為了與2.3.2中本文實驗結(jié)果進行對比,亦取文獻[7-8,11]算法的10次獨立重復試驗的檢測結(jié)果平均值.
從表4的比較結(jié)果可以看出,本文算法在TPR和FPR上均有明顯優(yōu)勢.文獻[7]和[8]雖然采用了不同的圖像分割算法,但是都是從圖像的灰度信息入手,雖然實現(xiàn)速度較快,但是丟失了隱匿物的結(jié)構(gòu)信息等,從理論上講只能檢測灰度信息與人體差別比較明顯的隱匿物,因此在我們含有不同材質(zhì)的隱匿物的數(shù)據(jù)集上無法取得較好的結(jié)果.文獻[11]采用以Lenet5為基礎(chǔ),將濾波器個數(shù)稍作修改以適應其訓練數(shù)據(jù),沒有考慮毫米波圖像與自然的差異性,另外,作為分類網(wǎng)絡Lenet5只能用作分類任務,而無法對隱匿物進行定位.相比之下,本文算法在兼顧圖像灰度信息的同時,可利用CNN學習到隱匿物的結(jié)構(gòu)信息.同時,在訓練階段采用IoG指標來生成正負樣本,擴大了正負樣本間的特征距離,增強了CNN模型的泛化能力.
圖9 隱匿物檢測結(jié)果對比Fig.9 Comparison among detection results of different methods for concealed object detection
本文算法與文獻[7]和[8](文獻[11]無法輸出隱匿物位置)的一些檢測結(jié)果對比示例如圖9所示,其中紅色方框表示隱匿物的標記位置,黃色方框表示各算法檢測的隱匿物位置.在2幅圖像中,本文算法均能準確定位到隱匿物的位置.文獻[7]和[8]均能檢測出圖像1中的隱匿物,但是兩者均對其他如手部或腿部等位置得到誤識別的檢測結(jié)果;對于圖像2,文獻[7]和[8]均未檢測出其中的隱匿物,同時在手部、腿部或腹部等位置也得到了誤識別的檢測結(jié)果.可以發(fā)現(xiàn),僅僅依靠灰度信息的檢測算法,無法對多種材質(zhì)的隱匿物進行有效的檢測,同時其他與隱匿物灰度值相近的位置易被誤檢,而CNN網(wǎng)絡可學習到隱匿物的灰度和結(jié)構(gòu)信息,因此得到了較好的檢測結(jié)果,降低了干擾目標的誤導性.
本文提出了一種基于卷積神經(jīng)網(wǎng)絡的人體隱匿物毫米波成像檢測算法,該模型基于IoU指標篩選通過滑動窗截取的圖像塊,擴大了數(shù)據(jù)集樣本的數(shù)量從而滿足了CNN網(wǎng)絡對訓練集數(shù)目的要求,同時通過新提出的IoG指標擴大了所選正負樣本間的特征差別,使得CNN模型泛化能力得到提高.測試時,綜合可疑的局部圖像塊輸出得到可疑目標熱度圖,進而提取出隱匿物的位置.本文結(jié)合CNN通過學習獲得特征自動提取能力的優(yōu)勢,將對人體隱匿物的檢測轉(zhuǎn)化為隱匿物可疑目標熱度圖,經(jīng)過參數(shù)調(diào)優(yōu)之后,可對多種隱匿物進行有效的檢測.當前方法的不足在于采用滑動窗的方式使得運行速度較慢,這也是以后模型改進的重點.