基于SIFT算法的ATM視頻人臉識(shí)別方法

陳春雨，張 鑫，趙春暉

（哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001）

0 引 言

隨著銀行業(yè)客戶終端ATM自動(dòng)提款機(jī)的不斷推廣使用，其安全防范工作越來(lái)越顯重要，難度也越來(lái)越大。視頻監(jiān)控手段越來(lái)越受到廣泛的關(guān)注，但是大多數(shù)監(jiān)控手段都存在不同程度的缺點(diǎn)，主要表現(xiàn)在：①存取的大量視頻信息沒(méi)能得到及時(shí)的處理；②攝像機(jī)放置位置沒(méi)有一個(gè)固定的標(biāo)準(zhǔn)，使得圖像不便于處理。

因?yàn)锳TM取款機(jī)視頻人臉特征信息豐富，所以選用人臉識(shí)別方法作為監(jiān)控方法。目前主要的人臉識(shí)別方法有以下4種：基于知識(shí)的人臉識(shí)別方法、基于特征的人臉識(shí)別方法、基于模板匹配的人臉識(shí)別方法、基于外觀的人臉識(shí)別方法。其中基于知識(shí)的人臉識(shí)別方法是基于規(guī)則的方法，試圖對(duì)人臉特征在直覺(jué)上建模，對(duì)先驗(yàn)知識(shí)依賴很大；基于特征的人臉識(shí)別方法包括人臉的器官的比例，灰度級(jí)和膚色的方法，該方法受光照、噪聲要求較大；基于模板匹配的人臉識(shí)別方法通過(guò)人為定義模板進(jìn)行人臉識(shí)別，該方法模板單一，模板不能隨著外界環(huán)境的變化而變化；基于外觀的方法是從圖像中的樣本學(xué)習(xí)，受樣本影響大、計(jì)算繁瑣［1］。

計(jì)算機(jī)人臉識(shí)別過(guò)程中，分為兩個(gè)關(guān)鍵的技術(shù)，即人臉檢測(cè)、人臉識(shí)別。針對(duì)ATM取款機(jī)視頻的特點(diǎn)，選取尺度不變特征變換 （Scale－invariant feature transform，SIFT）算法［2］對(duì)人臉圖像進(jìn)行識(shí)別。該算法具有對(duì)縮放、旋轉(zhuǎn)的不變性，同時(shí)還具有一定程度的仿射不變性。本文的人臉檢測(cè)處理過(guò)程如下：①捕獲視頻，對(duì)視頻進(jìn)行處理成單幀圖像；②對(duì)每幅圖像運(yùn)用膚色算法［3］進(jìn)行膚色提取，計(jì)算膚色區(qū)域占整幅圖像的比例；③取出膚色占圖像比例最大的前100幀圖像；④按照訓(xùn)練設(shè)定好的方法取出人臉特征信息豐富的10幀關(guān)鍵幀。

1 SIFT算法

SIFT特征不變匹配算法是David G．Lowe在2004年總結(jié)前人方法的基礎(chǔ)上提出的一種在尺度空間中的局部不變特征匹配算法。

SIFT算法提取的特征向量具有如下特性：

1）SIFT特征是圖像的局部特征，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；

2）獨(dú)特性好，信息量豐富，適用于海量特征數(shù)據(jù)庫(kù)中進(jìn)行快速、準(zhǔn)確的匹配；

3）多量性，即使少數(shù)的幾個(gè)物體也可以產(chǎn)生大量的SIFT特征向量；

4）高速性，經(jīng)優(yōu)化的SIFT匹配算法甚至可以達(dá)到實(shí)時(shí)的要求；

5）可擴(kuò)展性，可以很方便的與其他形式的特征向量進(jìn)行聯(lián)合。

生成一幅圖像SIFT特征向量分為4步：檢測(cè)尺度空間極值點(diǎn)、確定關(guān)鍵點(diǎn)的參數(shù)、生成特征向量、匹配特征點(diǎn)。

1．1 建立尺度空間

尺度空間理論是檢測(cè)不變特征的基礎(chǔ)，有人通過(guò)不同的推導(dǎo)證明了高斯核是實(shí)現(xiàn)尺度變換的唯一變換核［4－5］。因此，尺度空間理論的主要思想是利用高斯核對(duì)原始圖像進(jìn)行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對(duì)這些序列進(jìn)行尺度空間特征提取。

均值為0，標(biāo)準(zhǔn)差為σ的二維高斯函數(shù)定義如下：

不同尺度下的尺度空間可以由圖像與高斯函數(shù)進(jìn)行卷積得到［6－7］：

I（x，y）為待處理圖像，式 （1）中的標(biāo)準(zhǔn)差σa和尺度因子σ可以取相同大小的值。SIFT算法提出，在某一個(gè)尺度上對(duì)斑點(diǎn)的檢測(cè)，可以通過(guò)相減2個(gè)相鄰高斯尺度空間的圖像，得到1個(gè)DoG （Difference of Gaussians）的響應(yīng)值圖像D（x，y，σ）［6］，其中：

使用DoG對(duì)LoG （Laplacian－Gauss）近似帶來(lái)的好處有3點(diǎn)：

1）DoG直接使用高斯卷積核，省去了生成卷積核的運(yùn)算量；

2）DoG保留了各個(gè)高斯尺度空間的圖像，這樣，在生成某一空間尺度的特征時(shí)，可以直接采用式 （1）產(chǎn)生的尺度空間圖像；

3）DoG對(duì)斑點(diǎn)進(jìn)行檢測(cè)穩(wěn)定性更好，抗噪聲的能力更強(qiáng)，也具有LoG相同的性質(zhì)。

圖像金字塔的構(gòu)建：圖像金字塔共O組，每組有S層，下一組的圖像由上一組圖像降采樣得到［6］。圖1由兩組高斯尺度空間圖像示例金字塔的構(gòu)建，第二組是通過(guò)對(duì)第一組高斯尺度空間圖像降2倍分辨率得到，意義與第一組相同。圖2是DoG尺度空間構(gòu)建的灰度圖，是DoG算子的構(gòu)建。

1．2 關(guān)鍵點(diǎn)的參數(shù)確定

通過(guò)同一組內(nèi)各DoG相鄰的層之間比較完成關(guān)鍵點(diǎn)的檢測(cè)。為了尋找尺度空間的極值點(diǎn)，每個(gè)采樣點(diǎn)都要與它周圍所有的相鄰點(diǎn)進(jìn)行比較，如圖3所示中間檢測(cè)點(diǎn)要與它周圍的8個(gè)點(diǎn)和上下相鄰尺度對(duì)應(yīng)的18個(gè)點(diǎn)共26個(gè)點(diǎn)進(jìn)行比較。

因?yàn)镈oG算子對(duì)圖像中的邊緣有比較強(qiáng)的響應(yīng)值，為了得到穩(wěn)定的特征點(diǎn)，一定要?jiǎng)h除這些響應(yīng)值。DoG響應(yīng)峰值在橫跨邊緣的地方有較大的主曲率，在垂直邊緣的方向有較小的主曲率。主曲率可以通過(guò)2×2的 Hessian矩陣H （x，y）求出：

式中D值可以通過(guò)求取臨近點(diǎn)像元的差分得到。令α為最大特征值，β為最小特征值，可以通過(guò)H矩陣直接計(jì)算它們的和，通過(guò)H矩陣的行列式計(jì)算它們的乘積：

若γ為最大特征值與最小特征值的比值，則：

所以要想檢查主曲率的比值小于某一閾值γ只要檢查下式是否成立：

Lowe在論文［2］中給出γ＝10。如果主曲率的比值＞10的特征點(diǎn)被刪除，否則保留。

1．3 生成特征向量

為了實(shí)現(xiàn)圖像特征向量旋轉(zhuǎn)的不變性，SIFT算法使用圖像梯度的方法求該局部結(jié)構(gòu)的穩(wěn)定方向。對(duì)于已經(jīng)檢測(cè)到的特征點(diǎn)使用有限差分，計(jì)算以特征點(diǎn)為中心，以4．5σ為半徑的區(qū)域內(nèi)計(jì)算圖像的梯度的幅角和幅值 （模值），計(jì)算公式如下：

直方圖統(tǒng)計(jì)出鄰域像素的梯度方向和幅值。梯度直方圖的縱軸是梯度方向角對(duì)應(yīng)的梯度幅值累加值，橫軸是梯度方向角。梯度方向直方圖將0°～360°的范圍分為36個(gè)柱，每10°為一個(gè)柱。直方圖峰值代表該特征點(diǎn)處鄰域內(nèi)圖像梯度的主方向，當(dāng)存在另一個(gè)峰值相當(dāng)于主峰值80%的能量時(shí)，則將這個(gè)方向規(guī)定是該特征點(diǎn)的輔助方向。輔助方向的設(shè)定可以增加魯棒性。每個(gè)特征點(diǎn)有3個(gè)信息：位置、尺度、方向。

實(shí)際計(jì)算過(guò)程中，為了增強(qiáng)匹配的穩(wěn)定性，對(duì)每個(gè)關(guān)鍵點(diǎn)使用4×4共16個(gè)種子點(diǎn)來(lái)描述，這樣對(duì)于1個(gè)關(guān)鍵點(diǎn)就可以產(chǎn)生128個(gè)數(shù)據(jù)，即最終形成128維的SIFT特征向量，見(jiàn)圖4。SIFT特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，再繼續(xù)將特征向量的長(zhǎng)度歸一化，則可以進(jìn)一步去除光照變化的影響［8］。

1．4 特征向量匹配

當(dāng)兩幅圖像的SIFT特征向量生成后采用關(guān)鍵

圖4 特征向量生成Fig．4 Generate eigenvector

2 基于SIFT算法的ATM取款視頻的算法流程

首先給出本文算法的實(shí)現(xiàn)流程圖，見(jiàn)圖5。

下面詳細(xì)介紹本文算法流程：

1）視頻輸入：通過(guò)ATM取款機(jī)攝像頭獲取存在人取款視頻；

2）視頻處理：對(duì)視頻進(jìn)行處理，將視頻分解成單幀圖像，并對(duì)圖像進(jìn)行亮度補(bǔ)償處理；

3）檢測(cè)人臉：對(duì)每幀圖像運(yùn)用基于膚色的算法對(duì)人臉進(jìn)行檢測(cè)；

4）計(jì)算比例：計(jì)算所求人臉區(qū)域占整幅圖像的比例x，將此比例值保存；

5）處理數(shù)據(jù)：對(duì)數(shù)據(jù)進(jìn)行排序處理，取出前100幀人臉占圖像比例最大的圖像作為關(guān)鍵幀；

6）處理關(guān)鍵幀：按預(yù)先設(shè)定好的閾值選取10幀關(guān)鍵幀，對(duì)關(guān)鍵幀進(jìn)行加權(quán)處理；

7）特征匹配：對(duì)所選取的10幀關(guān)鍵幀分別匹配處理；

圖5 算法流程圖Fig．5 Flow chat of the arithmetic

8）處理誤匹配：運(yùn)用隨機(jī)抽樣一致性RANSAC （Random Sample Consensus）迭代算法去除誤匹配點(diǎn)，從而得到正確匹配點(diǎn)數(shù)N；

9）匹配加權(quán)：對(duì)消除完誤匹配的關(guān)鍵幀按照大量樣本訓(xùn)練好的閾值分別進(jìn)行加權(quán)處理，如果正確匹配點(diǎn)數(shù)N與總匹配點(diǎn)數(shù)N總的比值R＞0．5并且計(jì)算匹配點(diǎn)數(shù)N＞45，則認(rèn)為識(shí)別成功。

本文分別選取不同時(shí)間在不同地點(diǎn)取款的兩個(gè)視頻，錄取格式是352×288的avi視頻，幀速率為15幀／s。其中視頻1為正常取款視頻，視頻2則為了說(shuō)明算法的魯棒性錄制的具有不同表情的視頻。

視頻1在弱光下拍攝共548幀。表1是按照上述規(guī)則提取出的關(guān)鍵幀信息，表2是關(guān)鍵幀匹配信息。圖6（a）是按照關(guān)鍵幀順序的10幅初始圖像匹配圖，圖6（b）是相應(yīng)關(guān)鍵幀消除誤匹配圖。

表1 視頻1關(guān)鍵幀信息Table 1 Message of key frame with video 1

表2 視頻1關(guān)鍵幀匹配信息Table 2 Message of key frame matching with video 1

在關(guān)鍵幀提取中根據(jù)ATM取款機(jī)視頻自身的特點(diǎn)，本文提出的算法相對(duì)傳統(tǒng)的K－means關(guān)鍵幀提取算法克服了需要預(yù)先對(duì)N個(gè)數(shù)據(jù)對(duì)象設(shè)定任意K個(gè)初始聚類中心的缺點(diǎn)，同時(shí)也省去了多次迭代聚類的復(fù)雜算法。

依次選取人臉占整幅圖像比例最大的5幀圖像作為前5幀關(guān)鍵幀，將548幀圖像掐去初始視頻前100幀圖像按求出比例值x從大到小排列，每5幀圖像為一組，分別計(jì)算其對(duì)應(yīng)的索引位置序號(hào)和比例值的方差和，求出與之和最小的5幀圖像作為其余的5幀關(guān)鍵幀。歸一化關(guān)鍵幀的比例值見(jiàn)表3。

根據(jù)訓(xùn)練經(jīng)驗(yàn)分別對(duì)每幀關(guān)鍵幀以歸一化比例值的第一非零位加權(quán)求和則有：

計(jì)算結(jié)果則有N＝62．7，R＝0．614 7＞0．5且N＞45；識(shí)別成功。

視頻2在正常日光下拍攝并且為了滿足實(shí)際需要拍攝視頻時(shí)變換不同表情，下面給出視頻2的詳細(xì)匹配信息。視頻2在正常日光下拍攝，圖片格式為320×240，共613幀。表4是按照上述規(guī)則提取出的關(guān)鍵幀信息；表5是關(guān)鍵幀匹配信息；表6是歸一化關(guān)鍵幀比例值。圖7（a）是按照關(guān)鍵幀順序的10幅初始圖像匹配圖，圖7（b）是相應(yīng)關(guān)鍵幀消除誤匹配圖。

表3 視頻1歸一化關(guān)鍵幀比例值Table 3 Normalized the proportion value of key frame with video 1

表4 視頻2關(guān)鍵幀信息Table 4 Message of key frame with video 2

表5 視頻2關(guān)鍵幀匹配信息Table 5 Message of key frame matching with video 2

根據(jù)訓(xùn)練經(jīng)驗(yàn)分別對(duì)每幀關(guān)鍵幀以歸一化比例值 （表6）的第一非零位加權(quán)求和則有：

計(jì)算結(jié)果則有 N＝121．6，R＝0．643 4＞0．5且N＞45；識(shí)別成功。

表6 視頻2歸一化關(guān)鍵幀比例值Table 6 Normalized the proportion value of key frame with video 2

3 結(jié) 論

本文開(kāi)發(fā)了基于SIFT算法的ATM取款機(jī)視頻的人臉識(shí)別方法。它首先對(duì)采樣到的視頻進(jìn)行分解，然后將分解出來(lái)的單幀圖像進(jìn)行人臉識(shí)別，計(jì)算出人臉在整幅圖像的比例，最后通過(guò)計(jì)算得到的比例確定出關(guān)鍵幀匹配關(guān)鍵幀和標(biāo)準(zhǔn)人臉庫(kù)圖像，輸出匹配結(jié)果。本實(shí)驗(yàn)克服了傳統(tǒng)基于子空間人臉識(shí)別方法需要大量樣本訓(xùn)練的缺點(diǎn)。

本實(shí)驗(yàn)以MATLAB為實(shí)驗(yàn)平臺(tái)，在操作系統(tǒng)WIN7，處理器E7400，內(nèi)存2．0GB的電腦上實(shí)驗(yàn)。通過(guò)大量視頻訓(xùn)練、測(cè)試，根據(jù)上述訓(xùn)練閾值，在150個(gè)訓(xùn)練視頻中，錯(cuò)誤識(shí)別8個(gè)視頻，識(shí)別正確率為94．5%，下面給出小部分測(cè)試樣本結(jié)果 （表7、表8）。

表7 非目標(biāo)識(shí)別Table 7 Identify the wrong object

表8 目標(biāo)識(shí)別Table 8 Identify the object

本文為今后人臉識(shí)別系統(tǒng)在ATM取款機(jī)上應(yīng)用提供了理論化的依據(jù)，進(jìn)一步用硬件實(shí)現(xiàn)并縮短處理時(shí)間是今后研究的重點(diǎn)。

［1］趙麗紅，劉紀(jì)紅，徐心和．人臉檢測(cè)方法綜述 ［J］．計(jì)算機(jī)應(yīng)用研究，2004，（9）：1－4．

［2］David G Lowe．Distinctive image features from scale－invariant points ［J］．International Journal of Computer Vision，2004，60 （2）：91－110．

［3］朱淑亮，王增才，王樹(shù)梁，等．頭部多角度的眼睛定位與狀態(tài)分析 ［J］．重慶大學(xué)學(xué)報(bào)，2010，33 （11）：20－26．

［4］Lindeberg J．Scale－space for discrete signals［J］．IEEE Transactions PAMI，1980，207：187－217．

［5］Babaud J，Witkin A P，Baudin Metal．Uniqueness of the Gaussian kernel for scale－space filtering ［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，8 （1）：26－33．

［6］黃令允．基于自適應(yīng)閾值的SIFT算法研究及應(yīng)用［D］．大連：大連理工大學(xué)，2011：13－15．

［7］王永明，王貴錦．圖像局部不變行特征與描述 ［M］．北京：國(guó)防工業(yè)出版社，2010：79－88．