遮擋情形下的行人檢測方法綜述

陳 寧，李夢(mèng)璐，袁 皓，李云紅，楊 迪，劉志堅(jiān)

西安工程大學(xué) 電子信息學(xué)院，西安 710600

1 引言

行人檢測技術(shù)就是計(jì)算機(jī)對(duì)于給定的視頻和圖像，判斷出其中是否有行人存在，同時(shí)標(biāo)記出行人位置。人工智能技術(shù)的快速發(fā)展使得行人檢測在計(jì)算機(jī)視覺領(lǐng)域再次掀起熱潮。行人檢測為步態(tài)分析、行人身份識(shí)別、行人分析等提供技術(shù)支撐和基礎(chǔ)，被廣泛地應(yīng)用在視頻監(jiān)控、車輛輔助駕駛、智能交通等諸多領(lǐng)域。

雖然行人檢測技術(shù)在過去十年內(nèi)一直不斷前進(jìn)，但遮擋仍是一大難題。參考最近的調(diào)查，在一個(gè)街道拍攝的視頻幀中，至少有70%的行人存在遮擋情況[1]。在銀行、商店、火車站、機(jī)場等人流量較大的場所，攝像機(jī)所拍攝的現(xiàn)實(shí)生活中的行人圖像或者視頻往往會(huì)出現(xiàn)人群遮擋或者粘連情況，同時(shí)復(fù)雜背景的干擾或者其他物體的遮擋也增加了行人檢測的難度，這對(duì)于商業(yè)化的行人檢測系統(tǒng)提出了極高的要求與挑戰(zhàn)。

形變和遮擋一直都是行人檢測的兩個(gè)難點(diǎn)，之前絕大多數(shù)研究都是針對(duì)姿態(tài)形變的行人檢測算法，因此，本文研究了遮擋情況下行人檢測算法的優(yōu)劣。

根據(jù)遮擋物的不同，行人遮擋可分為兩大類，即非目標(biāo)造成的遮擋（Reasonable-Occlusion）及需要檢測的目標(biāo)造成的遮擋（Reasonable-Crowd），如圖1 所示。前一種遮擋，即為目標(biāo)和非目標(biāo)的區(qū)別，這種情況往往會(huì)導(dǎo)致目標(biāo)信息的缺失，進(jìn)而導(dǎo)致漏檢。另一類是行人之間的遮擋和粘連，這樣往往會(huì)引入大量的干擾信息，進(jìn)而導(dǎo)致更多的虛檢。根據(jù)行人的遮擋程度，將行人遮擋分為四個(gè)等級(jí)[2]，分別為0 無遮擋，1%～35%部分遮擋、35%～80%嚴(yán)重遮擋，≥80%完全遮擋。研究表明，一般的行人檢測算法在遮擋等級(jí)為0～10%的情況下，檢測效果較好，隨著遮擋等級(jí)的增加，漏檢率也隨之增加。當(dāng)遮擋程度超過50%時(shí)，幾乎無法檢測到行人。

圖1 行人遮擋

對(duì)于遮擋下的行人檢測，本文將現(xiàn)有方法分成兩類，如表1所示：（1）基于傳統(tǒng)方法的遮擋行人檢測，人工提取行人特征+分類器[3]，比如 Harr+Adaboost[4]、Edgelet+貝葉斯、HOG（Histogram of Oriented Gradients）+SVM（Support Vector Machine）[5]等；（2）基于深度學(xué)習(xí)[6-8]的遮擋行人檢測，人工提取的特征對(duì)于行人多樣性的變化魯棒性較低，且人工提取較為耗時(shí)，深度學(xué)習(xí)算法檢測速度快，檢測精度更高?；谏疃葘W(xué)習(xí)行人檢測算法主要有三大類別：（1）基于深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）；（2）基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）；（3）基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）。

表1 遮擋下的行人檢測方法

2 基于傳統(tǒng)方法的遮擋行人檢測

2000年P(guān)apageorgiou和Poggio提出Haar小波特征。Haar 特征值反映了圖像的灰度變化情況，分為四類：邊緣特征、線性特征、中心特征和對(duì)角線特征。Haar 小波特征的提出奠定了行人檢測技術(shù)的基礎(chǔ)。

傳統(tǒng)檢測方法首先根據(jù)大量的行人樣本特征構(gòu)建行人檢測分類器，提取的行人特征主要有灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括SVM、Adaboost等。基本框架如圖2所示。

圖2 傳統(tǒng)方法基本框架

對(duì)于行人之間遮擋情況的處理方法，傳統(tǒng)檢測方法主要有兩種思路：一是將檢測目標(biāo)進(jìn)行分部處理，利用未被遮擋部分推測行人位置。二是針對(duì)日常生活中常見的遮擋物訓(xùn)練特定分類器，減輕遮擋影響，正確判斷行人位置。

2.1 基于部件處理遮擋行人檢測

基于部件的方法是處理行人檢測任務(wù)中遮擋問題最常見也非常有效的一類方法。該類方法的出發(fā)點(diǎn)十分簡單：待檢測的行人有一部分被遮擋，沒有遮擋的部分可以用來判斷行人位置。

Leibe等人[9]提出了擁擠人群中行人檢測算法，相當(dāng)于遮擋下的行人檢測問題雛形。他們?cè)诨诨舴蜃儞Q聯(lián)合概率模型的基礎(chǔ)上，將行人局部和全局線索結(jié)合，生成自頂向下的分割模型，提高了人群中行人檢測的精度。Mohan等人研究發(fā)現(xiàn)，若將人的身體分為頭肩、腿、左、右胳膊四部分，處理遮擋時(shí)更加有效。Mikolajczyk等人[10]在此基礎(chǔ)上進(jìn)一步將人分為七部分。Wu和Nevatia[11]受此靈感啟發(fā)，使用基于部件的行人特征——Edgelet特征，將行人圖像定義成I，用點(diǎn)來表示身體部分和法向量，k為Edgelet 的長度，圖像I用MI(P)和NI(P)表示。圖像I和Edgelet之間的關(guān)系能表示為：

運(yùn)用此特征在腿部或者其他局部被遮擋的情況下也能檢測到行人。Wang 等通過HOG 結(jié)合LBP（Local Binary Pattern）[12]作為特征集，提出了一種能夠處理局部遮擋的新算法。算法中包含兩種檢測器——掃描整個(gè)窗口的全局檢測器以及局部區(qū)域的部分檢測器，通過全局檢測器構(gòu)建一個(gè)Occlusion Likelihood Map，一旦遮擋的區(qū)域被檢測出來，則觸發(fā)分部檢測器檢測未遮擋部分，可以最小化遮擋的影響。Enzweiler和Eigenstetter融合了前人的研究成果，提出了一個(gè)新的Multi-cue Component-Based Mixture-of-Experts 檢測框架[13]，其核心是一組包含深度和運(yùn)動(dòng)信息的特定檢測器。該算法在語義分割的基礎(chǔ)上，確定了部分檢測器的權(quán)重，將組合決策集中在行人的可見部分，如圖3所示。此方法與Wu 和Nevatia 的方法不同在于，Wu 要求特定的照相機(jī)設(shè)置，相機(jī)的位置是從上往下，并且在他們假設(shè)場景中行人的頭部總是可見的。

2.2 基于特殊遮擋分類器的行人檢測

除了對(duì)行人分部處理，推測遮擋位置，利用未遮擋部分檢測行人之外，最大限度地提高遮擋行人檢測質(zhì)量的另一個(gè)常見做法是訓(xùn)練一組特定于遮擋的分類器，每個(gè)分類器針對(duì)一定的遮擋類型。

圖3 多線索框架概述

Isard 和MacCormick 在研究行人跟蹤算法時(shí)發(fā)現(xiàn)，跟蹤器中加入背景外觀模型會(huì)更具有魯棒性，此舉能有效處理形變和遮擋。Wojek 等[14]借鑒這種思想，將其應(yīng)用于3D場景下，提出不僅要檢測行人個(gè)體，周圍背景物體也需要被檢測。該方法使用HOG+SVM 訓(xùn)練特殊遮擋背景的檢測器，然而不足之處是訓(xùn)練代價(jià)太大。Mathias 等針對(duì)這一問題，提出了Franken-Classifiers[15]，將每個(gè)分類器針對(duì)每種不同的遮擋物以及不同的遮擋等級(jí)加以區(qū)分，此外在分類器訓(xùn)練過程中引入了空間偏置特征選擇的思想，通過不同訓(xùn)練階段之間重復(fù)使用計(jì)算，16種特定于遮擋的分類器只需訓(xùn)練一次完整訓(xùn)練的1/10。

Felzenszwalb改進(jìn)了HOG特征，提出了DPM（Deformable Parts Model），對(duì)目標(biāo)的形變具有很強(qiáng)的魯棒性。該模型包括融合了密集特征圖的線性濾波器，濾波器是由d維權(quán)重向量數(shù)組定義的矩形模，特征映射G中濾波器F的響應(yīng)（或分?jǐn)?shù)）是濾波器和特征映射的子窗口左上角點(diǎn)(x,y)的點(diǎn)積：

Andriluka 和Schiele 在DPM 方法的基礎(chǔ)上提出了一種新的雙人探測器，不將人人之間的遮擋視為障礙，而是把人人之間重疊時(shí)的特殊外觀看作特點(diǎn)，允許預(yù)測兩個(gè)人的邊界框。這種方法在有明顯的部分遮擋的情況下，比單人檢測器的性能要好得多。

然而行人檢測算法中普遍存在正負(fù)樣本不均衡的問題，尤其在行人被遮擋的情況下，更需要大量的行人樣本訓(xùn)練分類器。為解決這一問題，甘玲等人[16]對(duì)于普遍存在正負(fù)樣本不均衡的問題，提出一種結(jié)合欠采樣和EasyEnsemble 的方法，即聚合支持向量機(jī)（Ensemble SVM）分類器的行人檢測方法。該方法將正樣本和經(jīng)過初始訓(xùn)練的負(fù)樣本劃分為多個(gè)平衡子訓(xùn)練集，在INRIA上的訓(xùn)練結(jié)果表明，該方法相較于經(jīng)典算法，在檢測速度和檢測率上都有大幅度提升，同時(shí)也解決了正負(fù)樣本不均衡問題。

基于部件處理和特殊遮擋分類器都能在一定程度上減輕遮擋對(duì)算法帶來的影響。前者思路簡單，易于實(shí)現(xiàn)，只需將行人分成幾個(gè)部分即可，但想最大限度地利用未遮擋部分檢測行人，不同區(qū)塊之間的權(quán)重占比極為重要，如何正確消除遮擋區(qū)域帶來的影響是一大難點(diǎn)；后者實(shí)現(xiàn)起來較為復(fù)雜，訓(xùn)練不同的分類器需要較多時(shí)間，且隨著場景的變換其魯棒性也會(huì)降低，因此如何快速且自適應(yīng)地訓(xùn)練特定遮擋分類器是一大難點(diǎn)。

3 基于深度學(xué)習(xí)的遮擋行人檢測

基于深度學(xué)習(xí)行人檢測算法主要有三大類別：（1）基于深度置信網(wǎng)絡(luò)（DBN）；（2）基于卷積神經(jīng)網(wǎng)絡(luò)[17]（CNN）；（3）基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[18]。借鑒傳統(tǒng)算法處理遮擋的思想，深度學(xué)習(xí)算法對(duì)于遮擋的處理一般有兩種思路：（1）引入部件模型，這種方法是將部件模型和深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合，綜合部分檢測器分部處理遮擋；（2）基于優(yōu)化函數(shù)，這種方法基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，一般通過優(yōu)化損失函數(shù)處理遮擋[19]。

3.1 基于深度置信網(wǎng)絡(luò)的檢測算法

2006年Hinton等人提出深度置信網(wǎng)絡(luò)（DBN）[20]，它是一種極其高效的學(xué)習(xí)算法，也是一種生成模型，通過訓(xùn)練神經(jīng)元間的權(quán)重，讓整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)，即Pre-training+Fine Tuning。這一思想也成為其后深度學(xué)習(xí)算法的主要框架。DBN的組成元件是受限玻爾茲曼機(jī)（Restricted Boltzmann Machines，RBM）。訓(xùn)練DBN的過程是一層一層地進(jìn)行的，在每一層中，用數(shù)據(jù)向量來推斷隱層，再把這一隱層當(dāng)作下一層（高一層）的數(shù)據(jù)向量。結(jié)構(gòu)如圖4所示。

圖4 深度置信網(wǎng)絡(luò)結(jié)構(gòu)

Ouyang 和Wang[21]就是在此網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，運(yùn)用部件模型和深度特征結(jié)合的思路，將特征提取、形變處理、遮擋處理構(gòu)造成一個(gè)聯(lián)合的深度學(xué)習(xí)框架，并提出了一種新的深度網(wǎng)絡(luò)體系結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，在處理遮擋問題時(shí)，行人定位不應(yīng)該與特征提取和分部模型完全脫離。然而當(dāng)有遮擋或大變形時(shí)，如何整合部分探測器的分?jǐn)?shù)是一個(gè)亟待解決的關(guān)鍵問題。為了解決零件探測器不完善的問題，他們又提出了一種基于改進(jìn)RBM的概率模型[22]。通過將部件可見性建模成隱變量，該模型能在部件的可見性得分不準(zhǔn)確的情況下得到整體較為準(zhǔn)確的檢測得分，如圖5所示。而后他們又在此算法上進(jìn)行改進(jìn)，改進(jìn)后的模型能建模單人檢測器與多人檢測器的關(guān)系，從而利用多行人檢測器來幫助單人檢測。

圖5 改進(jìn)后的檢測器

3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的檢測算法

卷積神經(jīng)網(wǎng)絡(luò)行人檢測器主要分為兩類：一類是兩階段檢測器（two-stage），將目標(biāo)識(shí)別與目標(biāo)定位分成兩部分分別處理，有R-CNN 系列，它們識(shí)別效果較好，但是速度較慢，難以達(dá)到實(shí)時(shí)效果。另一類是單階段檢測器（one-stage），包括SSD[23-24]和YOLO[25-26]系列。YOLO系列的速度很快，但是效果不穩(wěn)定，在檢測小目標(biāo)和密集目標(biāo)時(shí)具有先天劣勢，而SSD在保持較快的檢測速度同時(shí)，又有較高的準(zhǔn)確性。

目前主流的行人檢測算法大多基于兩階段的檢測器框架，如圖6 所示。Ouyang 等人基于R-CNN 提出了用于通用目標(biāo)檢測的可變形深度卷積神經(jīng)網(wǎng)絡(luò)[27]。該算法使用一種新的預(yù)訓(xùn)練策略，可以學(xué)習(xí)更適合目標(biāo)檢測任務(wù)的特征表示，提高了算法的平均精度。Tian等人[28]在部分檢測器的啟發(fā)下，提出了基于R-CNN的DeepParts，由不同的部分檢測器組成深度部分檢測器。與傳統(tǒng)方法Franken-Classifiers不同的是，F(xiàn)ranken-Classifiers的部分檢測器是預(yù)定義的，DeepPart的數(shù)據(jù)根據(jù)輸入圖像而確定，魯棒性更高。Zhang 等人[29]則提出使用部件檢測器結(jié)合注意機(jī)制[30]，在Faster R-CNN體系結(jié)構(gòu)中添加一個(gè)額外的注意機(jī)制來處理不同的遮擋，從而通過引導(dǎo)探測器更多地關(guān)注可見的身體部位，可有效提高算法檢測精度。Zhou 等人[31]在部件檢測器上使用多標(biāo)簽學(xué)習(xí)方法，利用部件檢測器之間的相關(guān)性改進(jìn)檢測器性能，降低了部分檢測器的計(jì)算成本。

圖6 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

除了引入部件檢測這一方法外，基于優(yōu)化的遮擋處理也十分多。Wang 等人[32]在Faster R-CNN 的基礎(chǔ)上，通過優(yōu)化損失函數(shù)，即提出Repulsion Loss，如式（3）所示，使預(yù)測框和真實(shí)目標(biāo)框的距離縮小，與周圍非負(fù)責(zé)目標(biāo)框的距離加大，從而實(shí)現(xiàn)遮擋下的行人檢測。

Zhang等人[33]在Faster R-CNN的檢測框架基礎(chǔ)上，提出了OR-CNN（Occlusion-aware R-CNN），并設(shè)計(jì)了一個(gè)新的聚合損失函數(shù)，同時(shí)提出了一個(gè)新的部分遮擋感知池化層（PORoI）代替原始的RoI 池化層，改善遮擋物體的檢測問題。

盡管基于CNN 系列算法取得了較好的效果，但其依舊存在局限性：（1）大多數(shù)方法只使用卷積神經(jīng)網(wǎng)絡(luò)最后一層特征，不能有效利用卷積網(wǎng)絡(luò)不同層的圖像特征。（2）系統(tǒng)運(yùn)算量會(huì)隨著卷積層數(shù)增加，計(jì)算耗時(shí)。針對(duì)這一局限性，楊雅茹等人[34]提出將淺層特征融合深層網(wǎng)絡(luò)，該算法通過HOG 特征、改進(jìn)的LBP 特征與深度網(wǎng)絡(luò)特征融合，實(shí)現(xiàn)淺層學(xué)習(xí)與深度學(xué)習(xí)的優(yōu)勢互補(bǔ)。在消除行人檢測重疊區(qū)域時(shí)使用非極大值抑制（Non-Maximum Suppression，NMS）降低計(jì)算成本，加快檢測速度。而肖艷秋等人[35]則提出將支持向量機(jī)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，利用聚合通道特征快速獲取圖像候選區(qū)域，同時(shí)利用主成分分析法處理神經(jīng)網(wǎng)絡(luò)提取到的冗余信息，然后采用支持向量機(jī)優(yōu)化后行人特征，以提高分類精度。該模型避免了復(fù)雜的提取特征工程，但在小尺度、遮擋行人檢測方面還需要改進(jìn)。

3.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)算法

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)。其中雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bidirectional RNN，Bi-RNN）和長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory networks，LSTM）是常見的循環(huán)神經(jīng)網(wǎng)絡(luò)。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)將原始圖像作為輸入，網(wǎng)絡(luò)的復(fù)雜程度導(dǎo)致學(xué)習(xí)時(shí)間較長，影響檢測器的性能。崔鵬等[36]提出DSAEN（Deep Sparse Auto-Encoder Network），在輸入層后加了一層感興趣層，提取出充分表示行人信息的混合特征，在處理神經(jīng)網(wǎng)絡(luò)復(fù)雜的運(yùn)算問題時(shí)，該算法將通過網(wǎng)絡(luò)得到的特征輸入到線性核函數(shù)的SVM分類器中進(jìn)行訓(xùn)練，并采用非極大值抑制法，降低計(jì)算量，能夠?qū)π腥说奈恢眠M(jìn)行精確定位。

Stewart 等人提出了一種由over-feat 模型改進(jìn)而來的方法，如圖7[37]。該方法將圖像解碼成一組人體檢測器，使用一個(gè)循環(huán)的LSTM 層進(jìn)行序列生成，并使用一個(gè)新的損失函數(shù)，同時(shí)結(jié)合定位和檢測兩方面對(duì)模型進(jìn)行端對(duì)端訓(xùn)練。同時(shí)也證明了可以利用LSTM 單元鏈來將圖像內(nèi)容解碼為可變長度的相干實(shí)值輸出，是一個(gè)分部處理遮擋的新思路。

圖7 LSTM結(jié)構(gòu)

4 典型實(shí)驗(yàn)方法對(duì)比

4.1 行人庫介紹

表2為行人數(shù)據(jù)庫的詳細(xì)介紹。

最早公開的行人檢測數(shù)據(jù)庫MIT行人數(shù)據(jù)庫（MITCBCL Pedestrian Database）是由麻省理工學(xué)院創(chuàng)建的，共924 張行人圖片（ppm 格式，寬高為64×128），庫中圖片包含正面和背面兩個(gè)視角。USC 行人數(shù)據(jù)庫（USC Pedestrian Detection Test Set）的圖像大多來源于監(jiān)控視頻，一共包含三組數(shù)據(jù)集USC-A、USC-B 和USC-C，包含各個(gè)角度下的行人和遮擋情況下的行人。戴姆勒行人檢測標(biāo)準(zhǔn)數(shù)據(jù)庫（Daimler Pedestrian Detection Benchmark）的圖像來源于車載攝像機(jī)，均是灰度圖像，其中包含完整的行人和被遮擋的行人。Caltech行人數(shù)據(jù)庫是目前規(guī)模較大的行人數(shù)據(jù)庫，庫中的圖像來源于車載攝像機(jī)，包含一些低分辨率的圖像，其中行人遮擋圖像比較符合生活中的實(shí)際情況。INRIA 行人數(shù)據(jù)庫（INRIA Person Dataset）是目前使用最多的靜態(tài)行人檢測數(shù)據(jù)庫，該行人庫圖片清晰度較高，分為訓(xùn)練集和測試集，并且區(qū)分正負(fù)樣本，有相應(yīng)的標(biāo)注文件。CUHK遮擋行人數(shù)據(jù)集（CUHK Occlusion Dataset）由香港中文大學(xué)發(fā)布，包含了1 063張行人圖片，其中有大量的粘連、遮擋行人圖片。此外香港中文大學(xué)還有CUHK Person Re-identification Datasets（CUHK-PRe-D）和CUHK Square Dataset（CHUK-SD）。CUHK-PRe-D數(shù)據(jù)集使用了兩個(gè)視角，記錄了971個(gè)行人在不同視角下的取樣。CHUK-SD則是一段長達(dá)60 min的交通視頻序列，拍攝于港中大的廣場。CVC 行人數(shù)據(jù)庫包含CVC-01、CVC-02 和CVC-Virtual三個(gè)子集，針對(duì)行人檢測的三個(gè)不同方面。NICTA行人數(shù)據(jù)庫是規(guī)模較大的靜態(tài)圖像行人數(shù)據(jù)庫，該庫分為測試集和訓(xùn)練集，包含25 551張含單人的圖片，5 207張高分辨率非行人圖片。CityPerson數(shù)據(jù)集是CitysCapes數(shù)據(jù)集的子集，CityPerson 的標(biāo)注文件只標(biāo)注了其中Human的類別。TUD行人數(shù)據(jù)庫所提供的圖像主要便于計(jì)算光流信息，該數(shù)據(jù)庫主要用于評(píng)估運(yùn)動(dòng)信息在行人檢測中的作用，常用于行人檢測及跟蹤。

表2 行人數(shù)據(jù)庫

4.2 行人檢測評(píng)價(jià)指標(biāo)

行人數(shù)據(jù)集眾多且評(píng)估算法工具各不相同，從而使直接比較變得困難。Dollar 統(tǒng)計(jì)了一般行人遮擋出現(xiàn)的頻率，又根據(jù)行人被遮擋的面積，將其分為了4 個(gè)遮擋級(jí)別[38]：full occlusion（≥ 80%），heavy occlusion（35%～80%），partial occlusion（1%～35%），never occlusion（0）。大多數(shù)人認(rèn)為要對(duì)比檢測算法每一個(gè)窗口的性能，而Dalal&Triggs建議通過以行人為中心的裁剪窗口與沒有行人的圖像中進(jìn)行固定密度取樣分類，來評(píng)估檢測器的性能。除此之外，他們提出一個(gè)統(tǒng)一的框架，對(duì)行人檢測技術(shù)進(jìn)行了廣泛的評(píng)價(jià)。他們組建了一個(gè)大型的、注釋完備的單目行人檢測數(shù)據(jù)集，并且研究了這些數(shù)據(jù)的大小尺寸、行人位置以及遮擋信息。行人檢測中有兩個(gè)指標(biāo)：MR-FPPI 曲線和 MR-2。MR-FPPI（Miss Rate-False Positive Per Image）曲線：假設(shè)N幅圖片中，誤檢窗口為k，那么FPPI（False Positive Per Image）為k/N。MR-2（Miss Rate-2）則使用log-average miss rate來總結(jié)探測器的性能，計(jì)算方法是在9 個(gè)FPPI 值下（在值域[0.01，1.0]內(nèi)以對(duì)數(shù)空間均勻間隔）的平均miss rate值。從概念上講，log-average miss rate 與目標(biāo)檢測的AP（Average Precision）相似，因?yàn)樗鼈兌际怯靡粋€(gè)參考值表示整個(gè)曲線。MR-2評(píng)估檢測器時(shí)，分?jǐn)?shù)越低性能越好。

表3 為幾種典型傳統(tǒng)算法和深度學(xué)習(xí)在檢測遮擋行人時(shí)的表現(xiàn)[39]。從表中可以看出，傳統(tǒng)遮擋行人檢測算法HOG 等表現(xiàn)都不如DSAEN 等深度學(xué)習(xí)算法。深度學(xué)習(xí)算法在速度和精度方面都有提高。表4 展示了五種深度學(xué)習(xí)算法在CityPerson 不同遮擋程度子集上的檢測情況。在部分遮擋情況下，算法的檢測精度不會(huì)被過多影響，而發(fā)生嚴(yán)重遮擋時(shí)，檢測精度則發(fā)生斷崖式下降。圖8 則是幾種算法在Caltech 不同子集的表現(xiàn)[28]。從圖中來看，在無遮擋情況下，不同算法性能差別較大，傳統(tǒng)算法經(jīng)典HOG表現(xiàn)遠(yuǎn)不如深度學(xué)習(xí)算法，不過隨著遮擋部分增加，傳統(tǒng)算法和深度學(xué)習(xí)算法[31]的差距縮小，但深度學(xué)習(xí)算法的表現(xiàn)仍然更加優(yōu)秀。從圖8結(jié)果對(duì)比也可發(fā)現(xiàn)，同一種算法在不同的數(shù)據(jù)集上，算法精度也有不同，目前OR-CNN和RPN+BF處理行人遮擋時(shí)效果較好，但相較于DSAEN等算法，其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，計(jì)算量更高。

表3 不同的傳統(tǒng)算法和深度學(xué)習(xí)算法檢測性能

表4 深度學(xué)習(xí)算法在CityPerson不同遮擋程度子集上的檢測情況

圖8 不同算法在Caltech三個(gè)子集上的表現(xiàn)

此外表5 針對(duì)主流處理遮擋的檢測方法進(jìn)行分析。無論是基于深度學(xué)習(xí)還是傳統(tǒng)算法，處理遮擋的思路可分為以下幾類：（1）分部處理；（2）訓(xùn)練特定分類器；（3）在判定是人或背景時(shí)對(duì)判別函數(shù)進(jìn)行優(yōu)化（例如深度學(xué)習(xí)算法里的改進(jìn)損失函數(shù)）。從表中可以看出，在處理遮擋問題時(shí)，無論是傳統(tǒng)還是深度學(xué)習(xí)算法，主要采取分部處理的思想，相較于整體檢查，基于部件的方法的確能夠有效地處理遮擋帶來的影響，提高行人識(shí)別率。然而目前算法主要靠手工對(duì)行人進(jìn)行分塊，針對(duì)日常生活中的遮擋情況魯棒性還不是很高，需要進(jìn)一步研究如何更好地對(duì)行人進(jìn)行分塊，并綜合各部分之間關(guān)系，更好地利用未遮擋部分推斷行人位置?；谔囟ǚ诸惼鞯乃惴m然可以在一定程度上處理遮擋，但耗費(fèi)時(shí)間過長，且在不同情景下魯棒性略低，因此在深度學(xué)習(xí)算法中很少再利用這一思想處理遮擋。由于深度網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，除了基于部件算法之外，基于優(yōu)化的思想處理遮擋也逐漸成為主流，這類算法目的是使預(yù)測框能更加接近真實(shí)目標(biāo)框。如何改進(jìn)判別函數(shù)，更好地使預(yù)測框和所負(fù)責(zé)的真實(shí)目標(biāo)框的距離縮小是需要改進(jìn)的方向。

表5 在Caltech測試集上主流方法對(duì)比

5 總結(jié)與展望

本文對(duì)遮擋下的行人檢測方法進(jìn)行了綜述。首先分別介紹了基于傳統(tǒng)方法和基于深度學(xué)習(xí)的行人檢測算法。其次對(duì)于每一類方法，按照對(duì)遮擋的不同處理，又進(jìn)一步地將傳統(tǒng)方法分為兩類，將深度學(xué)習(xí)方法分為三類。結(jié)果表明，傳統(tǒng)方法需要手動(dòng)提取行人特征，訓(xùn)練算法耗時(shí)較長且魯棒性較低。深度學(xué)習(xí)方法識(shí)別率更高，且檢測速度更快，更加適用于實(shí)際應(yīng)用，具有廣闊的發(fā)展前景。

綜上所述，雖然遮擋下的行人檢測已經(jīng)取得不錯(cuò)的識(shí)別效果，但是在交通情況復(fù)雜或者人流量較大的場景下尚有許多問題亟待解決，主要包括：

（1）訓(xùn)練數(shù)據(jù)問題。神經(jīng)網(wǎng)絡(luò)在樣本數(shù)據(jù)量小的情況下無法得到很好的檢測效果。目前大多數(shù)算法均是在大數(shù)據(jù)集中進(jìn)行訓(xùn)練，將訓(xùn)練好的模型進(jìn)行微調(diào)操作，這就使得模型過分依賴大數(shù)據(jù)。

（2）魯棒性和檢測速度問題。深度學(xué)習(xí)算法雖然效果更好，其計(jì)算復(fù)雜程度也更高，如果要保證檢測精度，模型需要充分學(xué)習(xí)到行人的特征，增加計(jì)算量，必然導(dǎo)致檢測速度慢，無法滿足實(shí)時(shí)性的需求。如果要保證檢測速度，通常需要減少特征金字塔的圖像，減少計(jì)算量，然而這會(huì)使訓(xùn)練不夠充分，產(chǎn)生誤檢或者漏檢的情況。因此，設(shè)計(jì)一種高效的同時(shí)兼顧檢測精度與檢測速度的算法，具有重要理論和實(shí)際意義。

（3）多變化融合問題。實(shí)際應(yīng)用中，往往不只是遮擋問題，角度變化和形變所導(dǎo)致的誤檢漏檢也是一大棘手問題，目前已有的方法大多只針對(duì)一個(gè)問題。因此，研究不同因素組合的行人檢測算法，提高行人檢測系統(tǒng)的實(shí)用性，也是本領(lǐng)域中值得關(guān)注和挑戰(zhàn)的問題。

（4）長時(shí)間或者嚴(yán)重遮擋問題。從文中的算法對(duì)比結(jié)果可以看出，針對(duì)遮擋的行人檢測算法在輕微或者部分遮擋的情況下，性能良好，但在嚴(yán)重遮擋或者長時(shí)間遮擋的情況下，精度則會(huì)斷崖式下降。因此，針對(duì)長時(shí)間和嚴(yán)重遮擋問題還需進(jìn)一步研究。