基于加權(quán)邊緣弱化引導(dǎo)濾波的人臉光照補(bǔ)償

余拓，陳瑩

（江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122）

人臉識(shí)別作為一項(xiàng)日趨成熟的生物特征識(shí)別技術(shù)，廣泛應(yīng)用于安防、金融、教育、交通、行政等領(lǐng)域。在人臉識(shí)別中，光照變化一直是影響人臉識(shí)別結(jié)果的重要因素之一。不同光照條件下的同一個(gè)人的圖像差異巨大，有時(shí)甚至大于兩個(gè)不同的人的圖像。傳統(tǒng)方法如主成分分析[1](principal component analysis, PCA)、局部Gabor特征匹配[2]、支持向量機(jī)[3]等，無(wú)法消除光照帶來(lái)的圖像差異[4]。

為了解決這個(gè)問(wèn)題，人們提出了許多方法，大致可分為4類。第1類方法使用傳統(tǒng)的圖像處理方法，如直方圖均衡[5](histogram equalization, HE)、Gamma校正、對(duì)數(shù)變換、同態(tài)濾波等方法，來(lái)消除光照差異。這類方法不考慮物理光照模型，因此效果有限。第2類方法從圖像中提取對(duì)光照不敏感的特征作為人臉圖像的特征，如局部二值模式[6]、局部三值模式[7]、梯度方向直方圖[8]、增強(qiáng)局部紋理特征[9]。第3類方法嘗試?yán)貌煌庹障碌娜四槇D像樣本來(lái)建立人臉模型，如光照錐模型法[10]、3-D形變模型[11]以及球面諧波模型法[12]。第4類方法嘗試尋找光照不變的人臉圖像表征方法，如單尺度Retinex 方法[13]、Gradientface[14]、自商圖[15](self-quotient image，SQI)、Weber-face[16]以及基于小波變換的方法[17-18]。C. Chen 等[19]將引導(dǎo)濾波[20](guided image filter)引入人臉圖像的光照補(bǔ)償中，提出了邊緣弱化引導(dǎo)濾波(edge-weakening guided image filter，EWGIF)，并將人臉圖像經(jīng)EWGIF處理后的圖像作為自商圖中平滑圖，利用自商圖得到光照補(bǔ)償圖像，取得了良好的效果。

本文在C. Chen等工作的基礎(chǔ)上，提出了一種基于加權(quán)EWGIF的人臉圖像光照補(bǔ)償方法。首先構(gòu)造一個(gè)可區(qū)分邊緣細(xì)節(jié)的懲罰項(xiàng)來(lái)代替引導(dǎo)濾波中的常數(shù)懲罰項(xiàng)；接著以正面光照下的訓(xùn)練樣本的類間平均臉作為正面光照模型，使用該光照模型生成一個(gè)加權(quán)系數(shù)對(duì)懲罰項(xiàng)進(jìn)行加權(quán)；最終通過(guò)自商圖獲得在人臉識(shí)別過(guò)程中更具區(qū)分度的人臉圖像。

1 基于EWGIF的人臉光照補(bǔ)償

本節(jié)首先簡(jiǎn)要介紹文獻(xiàn)[19]中獲得光照補(bǔ)償圖像的自商圖[15]方法，然后介紹引導(dǎo)濾波[20]，文獻(xiàn)[19]在該方法的基礎(chǔ)上提出了EWGIF，用以計(jì)算自商圖中的平滑圖，最后介紹EWGIF方法，并分析了其中的不足之處。

1.1 自商圖

自商圖是一種簡(jiǎn)單而高效的圖像光照補(bǔ)償方法，它是指輸入圖像及其平滑圖的比值，即

式中：I 為輸入圖像，I?為 I的 平滑圖， Q 為光照補(bǔ)償之后圖像。文獻(xiàn)[19]以EWGIF方法得到原圖的平滑圖 I? ， 以自商圖的結(jié)果 Q 作為人臉識(shí)別過(guò)程中的特征。由式(1)可以看出，平滑圖 I?決定了自商圖的最終效果。

1.2 引導(dǎo)濾波

引導(dǎo)濾波是一種局部線性圖像濾波，在實(shí)現(xiàn)平滑濾波的同時(shí)具有良好的邊緣保持性能。引導(dǎo)濾波建立在兩個(gè)模型的基礎(chǔ)上。

模型1 假設(shè)輸出圖像 Z 和引導(dǎo)圖像G 之間呈局部線性關(guān)系，即

式中： ωr(k)為 以 像素點(diǎn) k 為 中 心 半徑為 r 的 窗 ； αk、βk是 線性變換的系數(shù)，在 ωr(k)范圍內(nèi)為常數(shù)。由式(2)可知 ? Z=α?G，這使得引導(dǎo)濾波能夠從圖像中良好地區(qū)分出邊緣部分。

模型2 假設(shè)輸出圖像 Z 和輸入圖像 I之間呈線性關(guān)系，即

式中 n( i)是濾波過(guò)程中不希望保留的噪聲或紋理。

為了在維持式(2)成立的同時(shí)最小化 Z 和 I之間的差異，引導(dǎo)濾波通過(guò)在窗 ωr(k)內(nèi)最小化下述損失函數(shù)來(lái)求解式(2)中的線性變換系數(shù) αk和 βk：

式中 ε為常數(shù)懲罰項(xiàng)，用于抑制過(guò)大的 αk值。

由于每個(gè)像素點(diǎn)都被多個(gè)窗所覆蓋，故每個(gè)像素點(diǎn)都對(duì)應(yīng)多組線性變換系數(shù) αk、 βk，這里取它們的均值 αˉ和 βˉ作為每個(gè)像素點(diǎn)對(duì)應(yīng)的線性變換系數(shù)。因此式(2)可改寫成：

其中

1.3 EWGIF

文獻(xiàn)[19]中使用引導(dǎo)濾波的輸出圖像 Z 作為SQI中的平滑圖 I?，并將引導(dǎo)濾波的損失函數(shù)，即式(4)中的常數(shù)懲罰項(xiàng) ε用一個(gè)由局部方差生成的系數(shù)λ代替：

這使得引導(dǎo)濾波能根據(jù)圖像的局部方差，自動(dòng)調(diào)節(jié)平滑等級(jí)。EWGIF雖然具有區(qū)分邊緣的能力，但并不是所有的邊緣細(xì)節(jié)都能被看作人臉特征，算法對(duì)于不屬于人臉特征的邊緣細(xì)節(jié)不做特殊處理。如圖1所示，圓圈標(biāo)記出的明暗交界處是光照影響產(chǎn)生的，應(yīng)歸為噪聲，但因其局部方差較大，也會(huì)被算法視作邊緣細(xì)節(jié)。這會(huì)在一定程度上影響人臉識(shí)別的準(zhǔn)確率。

圖1 EWGIF將光照產(chǎn)生的噪聲視作邊緣細(xì)節(jié)Fig. 1 EWGIF with regard to the noise caused by the illumination as edge

為了解決這個(gè)問(wèn)題，本文提出加權(quán)EWGIF算法來(lái)彌補(bǔ)EWGIF的不足。

2 加權(quán) EWGIF

2.1 加權(quán)懲罰項(xiàng)

同文獻(xiàn)[19]一樣，本文方法在使用引導(dǎo)濾波時(shí)，假設(shè)輸入圖像 I 與引導(dǎo)圖像G 相同。同時(shí)本文將式(4)中的常數(shù)懲罰項(xiàng) ε用加權(quán)懲罰項(xiàng)ξ ( k)代替：

此時(shí)式(4)變?yōu)?/p>

式(10)是一個(gè)線性嶺回歸模型[21]，易得其解 αk和βk分別為

式(9)第1項(xiàng) W (k)是加權(quán)系數(shù)，本文將在2.2節(jié)闡述如何計(jì)算該項(xiàng)，以及該項(xiàng)的作用；第2項(xiàng) μ是輸入圖像的每個(gè)窗 ω1(q)內(nèi)方差的倒數(shù)之和，即

式中 N 是輸入圖像的總像素?cái)?shù)。為了防止式(13)出現(xiàn)分母為零的情況，c是一個(gè)取值極小的常數(shù)(本文取 c =0.001)。式(13)反映了圖像整體上的光照差異(見(jiàn)圖2)：當(dāng)光照良好時(shí)，圖像邊緣細(xì)節(jié)明顯，其值最?。划?dāng)光照不均勻，部分區(qū)域出現(xiàn)陰影造成邊緣細(xì)節(jié)不明顯時(shí)，其值變大；當(dāng)光照極度不均勻，圖像中出現(xiàn)大片陰影時(shí)，其值最大。

圖2 光照條件不同時(shí)對(duì)應(yīng)式(9)中μ 的值Fig. 2 Value of μ in Eq.(9) on the face images under different illuminations

圖3 一幅圖像中不同區(qū)域?qū)?yīng)式(9)中k)的值Fig. 3 Value of (k) in Eq.(9) on different areas from the same image

2.2 加權(quán)系數(shù)

本文使用人臉在正面光照條件下圖像的光照部分 L 來(lái)構(gòu)造加權(quán)系數(shù) W 。取正面光照的訓(xùn)練樣本圖像{Tm,m=1,2,···,M}的平均值，并對(duì)其使用高斯模糊，即得到光照部分 L：

式中： Tm為 第 m幅正面光照的訓(xùn)練樣本圖像，其像素值已歸一化至 [0 ,1]； M 為 訓(xùn)練樣本總數(shù)目；gaussian(·)為高斯模糊函數(shù)。圖4展示了利用Extended Yale B中正面光照?qǐng)D像計(jì)算得到的光照模型。由圖4可以看出，眼、口、鼻等邊緣細(xì)節(jié)處的像素灰度值相對(duì)較小，而額頭、臉頰、下巴等平滑處的像素灰度值相對(duì)較大。

圖4 光照模型Fig. 4 Illumination model

在濾波過(guò)程中，某一區(qū)域的懲罰項(xiàng)越大，其平滑等級(jí)越高，經(jīng)過(guò)自商圖方法處理后該區(qū)域的邊緣細(xì)節(jié)也越明顯；該區(qū)域懲罰項(xiàng)越小，其平滑等級(jí)越低，經(jīng)過(guò)自商圖方法處理后該區(qū)域更趨向于平滑。故為了弱化光照造成的人臉平滑部分圖像的細(xì)節(jié)噪聲，需減小濾波過(guò)程中這些區(qū)域的平滑等級(jí)，即減小這些區(qū)域的懲罰項(xiàng)。同時(shí)，為了維持人臉特征不被弱化，對(duì)于包含人臉特征的細(xì)節(jié)區(qū)域，其懲罰項(xiàng)需要增大或維持不變。

為了滿足上述條件，加權(quán)系數(shù) W 在人臉細(xì)節(jié)區(qū)域的取值應(yīng)當(dāng)大于其在人臉平滑區(qū)域的取值。為此，本文對(duì) L作反色得到 L′(k)=1?L(k)， 并在 W 中加入 L′。同時(shí)由圖4可觀察到，人臉平滑區(qū)域的總面積大于人臉細(xì)節(jié)區(qū)域，所以 W 中大部分像素的取值應(yīng)當(dāng)較小。但從圖5(a)中 L′的直方圖來(lái)看，其大部分像素分布在直方圖中心區(qū)域。因此，本文對(duì) L′中的各像素值求平方(相當(dāng)于對(duì) L′進(jìn)行了Gamma校正)，用所得值來(lái)代替 W 中 的 L′。圖5(b)直方圖展示了其像素分布，從中可見(jiàn)大部分像素分布在直方圖左側(cè)，取值較小。

圖5 對(duì)L分別作反色和反色+Gamma校正后圖像的直方圖Fig. 5 Histogram of L after color reverse and color reverse + Gamma correction

最終根據(jù)如上分析，本文構(gòu)造加權(quán)系數(shù) W ：

式中 δ是由多次實(shí)驗(yàn)得到的一個(gè)常數(shù)。

2.3 算法流程

本文算法的具體流程如下。

輸入 正面光照人臉圖像 {Tm,m=1,2,···,M}，人臉圖像 I；

輸出 光照補(bǔ)償后圖像 Q 。

1) 按式(14)由 {Tm,m=1,2,···,M}計(jì)算光照部分L，并將其帶入式(15)得到加權(quán)系數(shù) W ；

2) 取窗口半徑為1，計(jì)算 I中各個(gè)像素的局部方差σ21(k),k=1,2,···,N，并按式(13)計(jì)算各個(gè)窗內(nèi)方差的倒數(shù)之和 μ；

4) 將 I同時(shí)作為引導(dǎo)濾波的輸入圖像和引導(dǎo)圖像，并使用 ξ作為引導(dǎo)濾波的懲罰項(xiàng)，通過(guò)引導(dǎo)濾波算法計(jì)算得到濾波輸出圖像 Z；

5) 將算法的輸入圖像 I和濾波輸出圖像 Z分別作為式(1)中的原圖 I和平滑圖 I?，可得到自商圖輸出 Q ，即人臉圖像I 經(jīng)過(guò)光照補(bǔ)償后的圖像。

上述算法的時(shí)間復(fù)雜度為 O (N)，與引導(dǎo)濾波的時(shí)間復(fù)雜度相同。

3 實(shí)驗(yàn)結(jié)果與分析

本文首先在Extended Yale B數(shù)據(jù)庫(kù)上進(jìn)行了光照補(bǔ)償實(shí)驗(yàn)，并與EWGIF+SQI方法[19]做了對(duì)比。接著在CMU-PIE和Extended Yale B這兩個(gè)數(shù)據(jù)庫(kù)上進(jìn)行了人臉識(shí)別實(shí)驗(yàn)，并與原圖、HE[5]、Weberface[16]、EWGIF+SQI做對(duì)比。Weber-face方法使用文獻(xiàn)[16]推薦參數(shù)，EWGIF中的常數(shù)系數(shù) ε和本文式(15)中的常數(shù)系數(shù) δ都通過(guò)窮舉搜索，在Extended Yale B數(shù)據(jù)庫(kù)中設(shè)定至最佳值。對(duì)于δ ，本文以0.02為步長(zhǎng)，在區(qū)間[0.02, 0.4]內(nèi)進(jìn)行搜索。本文在CMU-PIE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)亦采用這套參數(shù)(ε =250，δ=0.06)。數(shù)據(jù)庫(kù)中的人臉圖像均已對(duì)齊，且尺寸歸一化至1 2 0×120。本文使用以歐式距離為度量準(zhǔn)則的最近鄰分類器來(lái)對(duì)測(cè)試樣本進(jìn)行分類，同時(shí)使用PCA來(lái)降低特征維數(shù)，使用訓(xùn)練樣本來(lái)提取PCA投影基向量，并保留特征90%的能量。

3.1 光照補(bǔ)償實(shí)驗(yàn)結(jié)果

Extended Yale B中包含了38張人臉在64種光照條件下的圖像，本文按照拍攝時(shí)光源方向與攝像機(jī)方向的夾角，將數(shù)據(jù)庫(kù)分為5個(gè)子集(S1～S5)：0°～12°為 S1，13°～25°為 S2，26°～50°為 S3，51°～77°為S4，大于 78°為 S5。

圖6展示了本文方法和EWGIF分別結(jié)合的SQI方法，以及Weber-face對(duì)Extended Yale B數(shù)據(jù)庫(kù)進(jìn)行光照補(bǔ)償后的結(jié)果。由圖6可以看到，S3、S4、S5樣本中由光照造成的明暗交界區(qū)域，在EWGIF和Weber-face中沒(méi)有做特別處理；而在本文方法中，這些區(qū)域被弱化，在S4中體現(xiàn)尤為明顯。S2圖像由于光照比較接近正面光照，本文方法和EWGIF方法的實(shí)驗(yàn)結(jié)果相近。

3.2 人臉識(shí)別實(shí)驗(yàn)結(jié)果

3.2.1 CMU-PIE測(cè)試結(jié)果

本文在CMU-PIE的光照子集(“C27”)上進(jìn)行測(cè)試，其中包含了68個(gè)人臉在21種光照條件下的圖像。本文每次使用1種光照下的圖像作為訓(xùn)練樣本，其余20種光照下的圖像作為測(cè)試樣本。

圖7展示了不同方法在CMU-PIE上的識(shí)別準(zhǔn)確率，可以看到，本文方法明顯優(yōu)于原圖和HE，較Weber-face提升了約7.3%的平均識(shí)別準(zhǔn)確率；且在不同光照條件的圖片作為訓(xùn)練樣本時(shí)，相較于EWGIF，本文方法的識(shí)別準(zhǔn)確率都得到了不同程度的提升。從表1可以看出，本文方法的平均識(shí)別準(zhǔn)確率在EWGIF+SQI的基礎(chǔ)上提升了約5.9%。

圖7 不同方法在CMU-PIE上的識(shí)別準(zhǔn)確率Fig. 7 Recognition rates on CMU-PIE with different approaches

表1 不同方法在CMU-PIE上的平均識(shí)別準(zhǔn)確率Table 1 Average recognition rates on CMU-PIE with different approaches

3.2.2 Extended Yale B測(cè)試結(jié)果

本文使用Extended Yale B中的子集S1作為訓(xùn)練樣本，另外4個(gè)子集作為測(cè)試樣本，進(jìn)行人臉識(shí)別實(shí)驗(yàn)。

圖8展示了窮舉搜索常數(shù)系數(shù) δ的結(jié)果。由圖8可見(jiàn)，當(dāng) δ =0.06時(shí)，本文方法+SQI在Extended Yale B數(shù)據(jù)庫(kù)S2～S5子集上取得較好的識(shí)別結(jié)果。

表2展示了不同方法在Extended Yale B中的每個(gè)子集(不包含作為訓(xùn)練集的S1)上的識(shí)別準(zhǔn)確率及平均識(shí)別準(zhǔn)確率，可以看到，本文方法在各個(gè)子集上的識(shí)別準(zhǔn)確率明顯高于原圖和HE，在S3、S4、S5上的識(shí)別準(zhǔn)確率高于Weber-face。由于S2與訓(xùn)練集的光照差異不大，本文方法在S2上的識(shí)別準(zhǔn)確率與EWGIF、Weber-face相差不大；另外3個(gè)子集與訓(xùn)練集的光照差異大，本文方法相較于EWGIF+SQI，在 S3、S4、S5上分別提升了約 6.1%、7.6%、2.1%，平均識(shí)別率提升了約3.7%。

圖8 δ取不同值時(shí)本文方法+SQI在Extended Yale B數(shù)據(jù)庫(kù)S2～S5子集上的平均識(shí)別準(zhǔn)確率Fig. 8 Average recognition rates on the S2～S5 subsets of the Extended Yale B by the proposed method + SQI with different δ valves

表3對(duì)比了不同方法的運(yùn)行時(shí)間。實(shí)驗(yàn)使用CPU主頻3.2 GHz、內(nèi)存8 GB的PC機(jī)，所有代碼均為MATLAB實(shí)現(xiàn)。由表3可見(jiàn)，本文方法的運(yùn)行時(shí)間雖然超過(guò)HE、Weber-face，但相較于EWGIF僅增加了微量的運(yùn)行時(shí)間。算法具有一定的實(shí)時(shí)性，可進(jìn)一步應(yīng)用于實(shí)時(shí)視頻的人臉識(shí)別中。

表2 不同方法在Extended Yale B上的識(shí)別準(zhǔn)確率Table 2 Recognition rates on the Extended Yale B with different approaches %

表3 不同方法在Extended Yale B上對(duì)一幅圖像的平均處理時(shí)間Table 3 Average processing time per image on the Extended Yale B with different approaches ms

4 結(jié)束語(yǔ)

本文針對(duì)人臉識(shí)別中的光照變化問(wèn)題，提出了一種基于加權(quán)EWGIF的人臉光照補(bǔ)償方法。使用正面光照樣本的類間平均臉生成加權(quán)系數(shù)，作為引導(dǎo)濾波損失函數(shù)懲罰項(xiàng)的加權(quán)系數(shù)，配合自商圖，弱化了最終得到的光照補(bǔ)償圖像中人臉平滑區(qū)域由光照造成的邊緣細(xì)節(jié)噪聲。實(shí)驗(yàn)結(jié)果表明，本文方法能有效提高人臉識(shí)別準(zhǔn)確率。未來(lái)的工作將深入研究引導(dǎo)濾波的懲罰項(xiàng)，改進(jìn)加權(quán)系數(shù)，優(yōu)化光照模型，從而進(jìn)一步提升光照補(bǔ)償?shù)男Ч腿四樧R(shí)別的準(zhǔn)確率。