改進的單尺度Retinex和LBP結合的人臉識別

段紅燕，何文思，李世杰

蘭州理工大學 機電工程學院，蘭州 730050

1 引言

人臉識別是通過提取人臉圖像的特征信息從而進行分類識別的一種生物識別技術。因其具有方便性和友好性以及隨著信息技術的發(fā)展，在安檢、航天、醫(yī)療等領域有著廣泛的應用。在理想環(huán)境下，人臉識別技術取得了很大的進步和應用，但在多變的光照環(huán)境下人臉識別技術的性能會受到嚴重影響[1]。復雜光照下的人臉識別已經成為計算機視覺領域的一個研究熱點。

對于復雜光照的問題，國內外的研究者提出了很多的解決方案，這些方法可分為圖像預處理、人臉建模和提取光照不變量三類[2]。圖像預處理是通過圖像處理技術對圖像進行光照補償，減小光照影響，代表方法有伽馬校正（Gamma Correction，GC）[3]、直方圖均衡化（Histogram Equalization，HE）[4]、同態(tài)濾波（Homomorphic Filtering，HF）[5]等。人臉建模是構建一個子空間表示不同光照的人臉圖像[6]。提取光照不變量是在人臉圖像中計算得出光照不變量或者不敏感的特征，以改善光照變化對人臉識別的影響。例如，梯度臉（Gradientfaces，GF）[7]、局部二值模式（Local Binary Pattern，LBP）[8]、局部方向模式（Local Directional Pattern，LDP）[9]等。20世紀70年代，美國學者Edwin Land提出了Retinex理論。經眾多學者研究出現許多基于該理論的算法，如單尺度Retinex（SSR）、多尺度 Retinex（MSR）[10]以及帶色彩恢復的多尺度Retinex（MSRCR）等。但Retinex算法本身存在缺點，在處理光照劇烈變化的圖像時，易出現“光暈”現象，同時會丟失部分細節(jié)特征信息，影響分類識別效果。

為增強圖像細節(jié)信息，減少光照影響，提高復雜光照人臉識別的準確率，利用雙邊濾波代替Retinex的高斯濾波處理人臉圖像，減小傳統(tǒng)Retinex帶來的“光暈”現象，同時使用LoG算法并結合歸一化處理提取圖像的邊緣細節(jié)特征，采用標準差的加權方法將兩幅處理后的圖像進行特征融合，在減少光照影響的同時增加圖像細節(jié)特征，然后使用LBP對融合后的圖像進行特征提取，并通過稀疏表示（SRC）[11]算法對數據樣本進行判別歸類。

2 單尺度Retinex算法改進

2.1 Retinex理論

Retinex是一種基于色彩恒常的計算理論，該理論指出圖像可以看成照射圖像分量和反射圖像分量的乘積[12]，公式如下：

其中，L(x ,y)表示環(huán)境光的照射分量，它影響圖像中像素能達到的動態(tài)范圍，R(x ,y)表示體現物體本身色彩特征的反射分量，I(x ,y)表示原始圖像信息。式（1）為乘積形式計算反射分量較為復雜，將式（1）轉化到對數域空間，得：

根據Retinex理論，在已知原始圖像信息I(x ,y)后，通過有效地估算算法描述出照射分量L(x ,y )，然后根據公式（2）求得R(x ,y)。

2.2 單尺度Retinex理論

單尺度Retinex是由Jobson等提出的，它在對數域公式如下：

其中，i代表RGB顏色模型的3個顏色通道，取值為1，2，3，?表示卷積運算符，F(x ,y)表示高斯環(huán)繞函數，有：

2.3 Retinex與雙邊濾波結合

Retinex算法使用高斯函數對輸入圖像進行光照估計，并且假設圖像在空間上的光照變化是平滑的，而實際受光照影響較大的圖像在使用該算法時會產生“光暈”現象，雙邊濾波（Bilateral Filter）是一種非線性濾波器[13]，同時考慮像素點的空域信息和值域信息，能較好處理光照突變的圖像。故選用雙邊濾波代替Retinex算法中的高斯濾波來進行光照估計。雙邊濾波公式表示如下：

其中f(x)為輸入圖像在x的亮度值，h(x)為輸出圖像在x的亮度值，c(ξ ,x )為ξ和x之間的距離為ξ和x之間的亮度相似度。k(x)為：

式（8）中，d(ξ ,x)表示歐式距離。

圖1為SSR與雙邊濾波結合的對比圖，其中圖1（a）表示原始圖像及其直方圖、圖1（b）表示SSR處理后的圖像及其直方圖、圖1（c）表示SSR結合雙邊濾波處理后的圖像及其直方圖。

圖1 SSR與雙邊濾波結合的對比圖

2.4 拉普拉斯高斯算子

拉普拉斯高斯（Laplacian of Gaussian，LoG）是基于二階導數的邊緣檢測算子，它融合了高斯濾波和拉普拉斯算子的優(yōu)點[14]。由于一階導數對噪聲敏感，該算法中使用到的二階導數會導致結果更不穩(wěn)定。因此，在進行Laplacian變換前先使用高斯濾波器對原始圖像作平滑處理，再使用Laplacian算子作卷積，可表示為：

根據卷積是可變換、可結合的定理，先作高斯卷積，即：

其中hl(x ,y)為輸出，g(x,y)為原始圖像，?為卷積運算符，G(x ,y)為高斯濾波器的濾波函數，?2為拉普拉斯算子。

則LoG算子為：

其中，σ為高斯函數的空間分布系數，本文中取值為1.8，同時，得到輸出后對圖像矩陣進行歸一化操作，以便保留更多圖像的細節(jié)信息。圖2為LoG算法對比圖，其中圖2（a）表示原始圖像、圖2（b）表示Matlab圖像處理工具箱中LoG算法（自動選擇閾值）處理的圖像、圖2（c）表示LoG算法處理后再進行歸一化處理的圖像。

圖2 LoG算法對比圖

2.5 基于標準差的特征融合

使用雙邊濾波替換單尺度Retinex算法中的高斯濾波減輕了Retinex算法處理帶來的“光暈”現象，但由于Retinex本身特性使處理后的圖像像素值偏高減弱了部分細節(jié)特征。LoG算法雖然在消除圖像光照影響方面效果不佳，但該算法能很好地提取圖像的邊緣信息和細節(jié)特征。為了提取圖像的光照不變量并且使圖像保留較多的細節(jié)特性，可以通過圖像融合技術對所述兩種圖像信息進行特征融合。

圖像融合可以將多張圖像信息融合在一張圖像中，保留融合前圖像的優(yōu)勢，提高圖像信息攜帶量。LoG算子屬于邊緣檢測算子，通過計算二階導數的零交叉點來尋找邊緣信息。圖像邊緣和紋理區(qū)域由于灰度值變化較大，經LoG算法處理得到的值較大，在圖像其他位置的處理結果值較小。如圖2（c）所示，經LoG算法處理后雖能保留邊緣及紋理特征，但在眼球、嘴唇等人臉特征提取的重要部位與原圖以及圖1（c）相比較呈現出較大的灰度值差異。如果直接將圖1（c）和圖2（c）進行融合會使各自攜帶的特征信息相互抵消，降低融合優(yōu)勢。因此，先對圖2（c）進行圖像灰度值取反，在進行融合操作。圖像標準差體現了像素灰度值與平均灰度值的偏離程度，標準差越大圖像攜帶的信息量越多，故可以用兩幅圖像標準差來確定各自的融合系數。設表示圖像P點處的灰度值，圖像大小為M×N，則圖像P的標準差σ1為：

分別計算SSR結合雙邊濾波處理后的圖像PSSRBF和LoG算法結合歸一化處理并取反的圖像PLoGIN的標準差為σS和σL，圖像PSSRBF和圖像PLoGIN融合系數分別為ωS和ωL：

則得到融合后的特征F為：

圖3為特征融合的對比圖。

圖3 特征融合的對比圖

3 LBP特征提取及稀疏表示

局部二進制模式（Local Binary Pattern，LBP）是一種用來描述圖像局部紋理特征的算子，由Ojala等提出。該算法通過對比圖像局部中心點與周圍鄰近像素點的灰度值來實現，因此對光照具有不變性，可用于光照變化的圖像特征提取，同時還具有計算過程簡單、平移和旋轉不變性的優(yōu)點。LBP算法被廣泛應用在紋理分析、圖像檢測等領域。

經典的LBP算子以3×3像素塊為檢測區(qū)域，以區(qū)域中心像素點的灰度值為閾值，分別比較區(qū)域中心鄰域的8個像素點的灰度值與閾值的大小關系，通過大小關系對圖像進行重新編碼。LBP算子用公式表示為：

稀疏表示分類是將測試圖像樣本表示為訓練圖像樣本的線性組合，求解測試圖像樣本最稀疏的表示。假設實驗訓練樣本有T類，第i類的訓練樣本為Ai=[ai1,ai2,…,aini]，第i類的訓練樣本數為ni，則整體訓練樣本A=[A1,A2,…,AT]，依據稀疏表示原理，測試樣本y可以用A線性表示，表達式為y=Ax，x為y在整體訓練樣本下表示的系數向量。為了使系數向量最稀疏，把求解問題轉化為l1范數最優(yōu)化問題：

本文采用 Homotopy[15]算法，對式（22）求解，令δi(1)表示1中第i類樣本空間的系數，則測試樣本，分別計算T類的殘差：

本文算法的主要流程為：

（1）使用雙邊濾波代替SSR算法中的高斯濾波對原始圖像進行光照估計，得到特征圖像PSSRBF。

（2）使用LoG算子對原圖進行處理，并進行歸一化處理和取反操作，得到特征圖像PLoGIN。

（3）通過基于標準差的特征融合對兩特征圖像進行融合，融合系數ωS和ωL按照特征圖像的標準差比例分配。

（4）使用LBP算法對融合后的特征圖像進行最終的特征提取，建立圖像的樣本集，并且采用稀疏表示算法進行判別歸類。

4 仿真實驗

4.1 仿真實驗環(huán)境和實驗數據集

為了驗證本文算法的有效性，在Intel Core I3，2.3 GHz CPU，8 GB RAM，Windows 7操作系統(tǒng)的計算機上，采用Matlab R2014a編程實現仿真測試，使用的人臉庫為AR和Yale B+人臉數據庫。

AR[16]人臉庫包含126個人4 000多張圖像，涵蓋了不同表情、不同光照以及遮擋等要素。在本實驗中選取部分圖像作為實驗數據，共100人包含50位男性和50位女性。因為本文研究的是光照變化對識別率的影響，所以每個人去掉有遮擋的12幅圖像，選取每人14幅圖像共1 400幅圖像進行實驗。為方便實驗圖像被裁剪成像素大小為120×165，圖4為AR數據庫部分圖像。

圖4 AR數據庫部分圖像

Yale B+人臉數據庫由Yale B人臉庫和擴展的Yale B人臉庫組成[17]，包含38人，每個人的人臉有9種姿態(tài)，每種姿態(tài)包括64幅不同光照的圖像。根據光照入射的角度不同，每種姿態(tài)下Yale B+人臉庫可分為5個子集，子集 1（0°～12°）、子集 2（13°～25°）、子集 3（26°～50°），子集4（51°～77°）和子集5（＞77°）。每個人在每個子集中對應的人臉圖像數目分別為，子集1為7、子集2為12、子集3為12，子集4為14以及子集5為19。本實驗中選用正面姿態(tài)圖像，同時因子集1和子集2在光照變化方面不明顯，所以實驗選取子集3、子集4和子集5作為實驗數據。圖像被裁剪成像素大小為168×192，圖5為Yale B+數據庫部分圖像。

4.2 實驗結果與分析

為驗證本文提及的特征融合算法的有效性，將其與文獻[18]的算法進行對比。在光照較為復雜的Yale B+人臉庫中選取三個人臉圖像進行對比實驗，原圖分別為圖像1、圖像2和圖像3。原圖經過文獻[18]和本文特征融合算法處理效果圖如圖6所示。并分別計算各圖像的信息熵作為客觀評價標準，如表1所示。

根據表1的實驗數據，原圖經過文獻[18]和本文特征融合算法的處理后，信息熵的值均有所提高。對比文獻[18]的結果經過本文特征融合算法處理后信息熵的值均有一定程度的增加，表明本文特征融合算法處理后的人臉圖像具有較高的信息量。

圖5 Yale B+數據庫部分圖像

圖6 文獻[18]和本文特征融合算法處理效果圖

表1 各圖像的信息熵

為驗證本文算法對變化光照的魯棒性，將本文算法與SSR、MSR、LBP、HE以及LDP這幾種經典的算法進行比較。此外，深度學習在機器視覺領域也得到廣泛的研究和關注。在人臉識別研究方向，一些預先訓練好的卷積神經網絡可以表現出較好的性能。Parkhi等人[19]提出了Vgg-Face網絡模型，該模型在LFW數據集上取得了較好的測試效果。本文基于matconvnet-1.0-beta19編寫Matlab測試程序，并將本文算法與基于該模型的算法（V-F）做對比實驗。以上實驗分別在AR、Yale B+的子集3、Yale B+的子集4和Yale B+的子集5中隨機選取每人1～6幅圖像作為訓練樣本，其他圖像作為測試樣本，實驗時均采用稀疏表示算法進行判別歸類，每項測試分別進行5次實驗，最后求得平均值作為最終實驗數據。為了直觀了解SSR、MSR、LBP、HE、LDP以及本文算法對圖像的特征提取效果，分別在AR和Yale B+選取一人進行不同算法的特征提取，如圖7所示。所有算法在不同訓練樣本下的人臉識別率如表2～5所示。

圖7 各算法處理效果

表2 AR人臉庫各種算法的人臉識別率%

表3 Yale B+的子集3人臉庫各種算法的人臉識別率%

表4 Yale B+的子集4人臉庫各種算法的人臉識別率%

表5 Yale B+的子集5人臉庫各種算法的人臉識別率%

根據表2～5的實驗數據，從整體上分析可以發(fā)現，各種算法以及原始圖像的實驗識別率都是隨著訓練樣本的增加而增加。對于在光照變化方面，AR人臉庫整體的光照變化程度要小于Yale B+人臉庫整體的光照變化程度。對照表1和另外三個表的數據，在訓練樣本較少的情況下AR人臉庫的整體實驗結果要高于Yale B+人臉庫。

具體而言無論在AR還是Yale B+人臉庫，本文算法基本上在每組測試的結果都優(yōu)于其他算法。在光照變化程度不劇烈的AR人臉庫中本文算法和V-F算法數據相差不大，而在Yale B+人臉庫中本文算法的數據要優(yōu)于V-F算法的數據，尤其是Yale B+人臉庫的子集5中的數據。對于光照變化十分劇烈的Yale B+人臉庫的子集4和子集5而言，本算法的識別率明顯高于其他算法，在訓練樣本數為3時就到達90%以上的識別率。對于光照入射的角度為26°～50°的子集3，本文算法達到了98%以上的識別率。本文算法經過前期處理后最終的特征提取是用的LBP算法，由實驗數據可知識別率比單獨使用SSR或者LBP有很大提高。由此說明本文算法對光照變化劇烈情況下的人臉圖像具有良好的特征提取能力，提高了復雜光照環(huán)境下的人臉識別率。

5 結束語

為了改善復雜光照下人臉識別率，本文提出了一種SSR和LBP結合的人臉識別算法。對傳統(tǒng)的單尺度Retinex算法進行改進，通過算法優(yōu)化解決了傳統(tǒng)單尺度Retinex處理圖像出現“光暈”以及邊緣細節(jié)缺失的問題，通過LBP處理后能夠得到更多的人臉細節(jié)特征信息，更能表達原始圖像的光照不變量。在AR和Yale B+人臉庫對本文算法的有效性進行了仿真對比測試，結果表明在復雜的光照環(huán)境下以及訓練樣本數較少情況下的人臉識別率都有較大提升。