基于稀疏表示的人臉圖像高光檢測和消除

李明悅

（四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實(shí)驗(yàn)室，成都610065）

0 引言

許多計算機(jī)視覺問題在處理的時候都會假設(shè)圖像不存在鏡面反射高光，然而在真實(shí)場景中，非均勻介質(zhì)不是理想的漫反射體，物體的表面總會存在高光。圖像中的鏡面反射會遮蓋高光區(qū)域內(nèi)的真實(shí)材質(zhì)屬性，影響圖像的質(zhì)量，對于如圖像分割、目標(biāo)檢測和跟蹤等問題產(chǎn)生很大的干擾。

傳統(tǒng)的高光消除研究大多采用Shafer 提出的在非均勻介質(zhì)上的雙色反射模型（Dichromatic Reflection Model）。該模型指出，當(dāng)場景中光源發(fā)出的光線照射到物體材質(zhì)表面時，反射光同時包含漫反射和鏡面反射：漫反射是入射光線在物體表面經(jīng)過多次的反射和吸收后返回物體表面的光；鏡面反射是入射光在物體表面上直接反射出的光，它與物體表面的位置、粗糙程度等因素有關(guān)。數(shù)學(xué)模型為：

其中，ms和md分別是鏡面反射和漫反射的權(quán)重因子，Γ 是光照顏色的色度，Λ 是漫反射的色度。

本文工作的目的是針對單幅人臉圖像的鏡面反射高光分量，建立一個有效的檢測和消除方法。在高光檢測任務(wù)中，我們利用人臉圖像上高光分布的稀疏性特點(diǎn)，結(jié)合非負(fù)矩陣分解方法檢測高光。進(jìn)而，在高光消除過程中，在盡可能不改變圖像特點(diǎn)的前提下，借鑒圖像修復(fù)的思想實(shí)現(xiàn)高光消除。

1 相關(guān)工作

單幅圖像的高光消除算法，因?yàn)檩斎雸D像數(shù)量的限制，是一個病態(tài)問題，有大量的相關(guān)研究。早期高光消除方法通過分析彩色圖像的直方圖分布恢復(fù)高光和漫反射分量。Schluns 和Koschan[1]利用雙色反射模型公式，將鏡面反射圖像( x,y )和漫反射圖像( x,y )看作是顏色空間的兩個基向量，圖像應(yīng)當(dāng)近似地分布在這兩個向量支撐的平面上。但是，該方法適用于材質(zhì)一致的物體表面的高光檢測和消除，因?yàn)楫?dāng)物體包含不止一種材質(zhì)時，不同材質(zhì)的漫反射分量不相同，鏡面反射分量也會發(fā)生變化，所以無法統(tǒng)一地近似到一個平面上。Tan[2]提出通過顏色一致性的方法估計光照色度，將圖像的光照色度規(guī)范為均勻分布，從而可以在已知光照色度時，高光系數(shù)ms只與物體的漫反射色度的最大值Λmax相關(guān)，即可以通過估計Λmax去估計ms，進(jìn)而估計出高光分量Is。Tan 證明，在沒有明確顏色分割的情況下，迭代地將色度值移向鄰域中具有最大色度的相鄰像素的色度值，可以有效地去除具有復(fù)雜多色場景的紋理對象的高光。此外，Yang 等人[3]利用雙邊濾波的方法近似最大漫反射色度，Kim 等人[4]用暗通道先驗(yàn)近似偽漫射圖像。但是，因?yàn)檫@些方法對輸入圖像的限制，曝光量較大的自然圖像必須通過直方圖均衡化或圖像增強(qiáng)等方法進(jìn)行預(yù)處理，這樣操作的同時，會改變圖像的光照信息。

2 基于稀疏約束的高光檢測

人臉皮膚呈現(xiàn)的顏色主要受黑色素和血紅蛋白影響[5]，膚色的變化是由這兩種色素的密度和分布變化引起的。因此，本文假設(shè)皮膚材質(zhì)函數(shù)Sd( )x,λ 由色素的密度和分布決定：

其中x 表示空間坐標(biāo), β( x )表示色素的分布。

此外，在皮膚中的高光區(qū)域中，鏡面反射光的光譜可以等同于環(huán)境光源的光譜。因?yàn)橛屑僭O(shè)，Ss=1 當(dāng)且僅當(dāng)位于高光區(qū)域，否則Ss=0。同時假設(shè)場景光照是一致的，光強(qiáng)的變化是由皮膚表面曲率的變化引起的?；谏鲜黾僭O(shè)，Blinn Phong 光照模型可以表示為：

式（3）的意義在于：將鏡面反射和漫反射分解為僅受幾何參數(shù)影響的色度無關(guān)項(xiàng)和受光照因素控制的色度項(xiàng)的乘積。

我們考慮有N 個像素的彩色圖像在RGB 空間每個顏色通道的分量，有：

其中，等號右端的第一個矩陣是3*2 的矩陣，表示漫反射和鏡面反射的RGB 通道幅度，僅與光照有關(guān)；第二矩陣是2*N 矩陣，表示N 個像素的每個點(diǎn)的漫反射和鏡面反射的空間關(guān)聯(lián)系數(shù)。

顯然，對圖像而言，所有矩陣都是非負(fù)的。同時，因?yàn)殓R面反射區(qū)域存在但且是局部稀疏分布的，根據(jù)提出的假設(shè)，圖像的所有非高光區(qū)域中鏡面反射系數(shù)ks( x )=0，因此，系數(shù)矩陣的ks( x )分量是稀疏的。我們選擇帶有稀疏約束的非負(fù)矩陣分解（Non-negative Matrix Factorization，NMF）求解（4）。

2.1 算法描述

Hoyer[6]提出稀疏度（Sparseness）的概念，用于衡量向量的稀疏程度，數(shù)學(xué)定義是：

本文的高光檢測問題中，輸入矩陣是圖像像素點(diǎn)的數(shù)據(jù)矩陣，若圖像的像素點(diǎn)個數(shù)為N，那么輸入矩陣大小是3*N 。公式（4）表明矩陣分解內(nèi)部的維度為2，分別對應(yīng)漫反射特征和鏡面反射特征。根據(jù)前文有關(guān)鏡面反射的假設(shè)，本文針對鏡面反射系數(shù)向量設(shè)置稀疏度約束。具體算法步驟如下：

輸入：原始圖像I=3×n

鏡面反射系數(shù)的稀疏約束sp( ki)=Si

輸出：稀疏分解系數(shù)矩陣K。

Step 1. 用矩陣的奇異值分解算法（SVD）分解I=W?K ；

Step 2.迭代最小化能量函數(shù)E(W,K)=‖I-W?K‖2直至收斂；

b.將K 的每行行向量進(jìn)行“投影”，保證投影后的行向量滿足非負(fù)，L2范數(shù)為一，L1范數(shù)為根據(jù)稀疏度約束Si和( 3.4 )式計算的值；

其中，?和?分別表示按元素的乘法和除法。μK是小值步長系數(shù)，相當(dāng)于傳統(tǒng)的梯度下降法，μK的值取足夠小的時候我們能保證逐步減小能量函數(shù)E(W ,K )，我們根據(jù)自動計算μK。

2.2 算法優(yōu)化

在計算中，我們知道對給定的向量x，它的實(shí)際稀疏度sp( x )在絕大多數(shù)情況下并不一定符合預(yù)期的稀疏情況。我們通過近似的方法找到和x 接近的非負(fù)向量y，令y 滿足我們預(yù)期的稀疏度，同時向量y 與向量x的距離最小。我們稱之為L1范數(shù)不變的稀疏化近似。具體過程如下：

Step 1. 計 算 x 的 L1范 數(shù)，記，其中s 是預(yù)期的稀疏度；

Step 2.令yi=xi+(l1-∑xi)/n，Z={}，；

Step 4. 若 y 非負(fù)，則結(jié)束運(yùn)算；否則令Z={i,yi＜0}，yi=0,i ∈Z，計算c=(∑yi-l1)/(n- ||Z)，最后令yi=yi-c,i ?Z，返回Step 3。

3 基于稀疏表示的高光消除

在檢測出高光區(qū)域之后，本文旨在盡可能保留圖像上非高光部分屬性的前提下，消除高光對圖像的影響。借鑒圖像修復(fù)的思路，我們將檢測到的高光區(qū)域視為異常值，在假設(shè)非高光區(qū)域只包含漫反射分量的前提下，將高光區(qū)域部分匹配到非高光區(qū)域的近似中，消除高光分量的影響。在樣本匹配階段，我們利用稀疏表示來完成高光消除。

記Ω={p|εp≠0}為高光區(qū)域坐標(biāo)集合，它的邊界為?Ω。記I?Ω為圖像I 中不包含Ω 區(qū)域的像素集合，即為圖像的非高光區(qū)域，D?Ω是將Ω 區(qū)域坐標(biāo)列刪除后對應(yīng)的字典。那么在I?Ω上有稀疏表示：

從而，我們可以通過?修復(fù)圖像：

為了保證結(jié)構(gòu)信息能得到正確有效地恢復(fù)而不是錯誤計算或者遺漏信息，我們在對邊界?Ω 進(jìn)行填充的時候需要確定填充順序。我們在每次迭代中，都計算邊界?Ω 上每個像素點(diǎn)p 的優(yōu)先度P(p)。因?yàn)楦吖鈪^(qū)域的不規(guī)則性，所以我們記P(p)為p 的k*k 窗口內(nèi)的非高光像素的比例，即。記其中最大優(yōu)先度的點(diǎn)為pm，以pm為中心的一個k*k 大小的窗口補(bǔ)丁就作為當(dāng)前迭代的處理對象Ψpm。因?yàn)閜m位于待修復(fù)區(qū)域邊界?Ω 上，所以以pm為中心的圖像塊Ψpm既包含Ω 區(qū)域像素，也包含I?Ω區(qū)域內(nèi)像素，同時我們可以明確地區(qū)分這兩個區(qū)域，對應(yīng)上文討論的稀疏分解圖像進(jìn)行修復(fù)，就有：

具體的算法過程如下：

Step 1.將檢測出的高光區(qū)域記為Ω，使用不含高光區(qū)域的I?Ω構(gòu)建字典D；

Step 2.While Ω 非空，Do：

b. 在窗口Ψpm內(nèi)利用字典D 進(jìn)行稀疏分解得到系數(shù)矩陣；

c. 根據(jù)系數(shù)矩陣恢復(fù)Ψpm?Ω 的像素，更新Ω=Ω-Ψpm?Ω。

4 實(shí)驗(yàn)結(jié)果

本文將高光檢測實(shí)驗(yàn)分為兩步：首先通過上述的L1范數(shù)不變的稀疏化近似方法初始化輸入矩陣，即圖像I；然后使用單一稀疏度約束的非負(fù)矩陣分解算法計算檢測高光區(qū)域，根據(jù)分解出的系數(shù)矩陣K 的第二行的數(shù)值判定高光區(qū)域。此外，為了保證計算的自動化，我們根據(jù)暗通道圖像計算非負(fù)矩陣分解中的稀疏約束。

高光檢測實(shí)驗(yàn)對比圖中可以看出，盡管圖（1）和（2）一個膚色偏白，一個膚色偏黑，但是第二列本文方法的結(jié)果（1a）和（2a）檢測出的高光區(qū)域具有較強(qiáng)的魯棒性。與第三列暗通道閾值檢測結(jié)果（1b）和（2b）相比，由于單一閾值導(dǎo)致檢測出的區(qū)域很不穩(wěn)定，表現(xiàn)為：圖（2）皮膚偏黑，高光檢測結(jié)果不完全；圖（1）皮膚偏白，高光檢測過多。本文方法受白色牙齒的干擾十分小，同時基本檢測了嘴唇和下巴的高光區(qū)域。

圖1 高光檢測實(shí)驗(yàn)

（1）（2）是大小為600×600 像素的人臉圖像；（1a）（2a）是對應(yīng)圖像的本文高光檢測算法的結(jié)果；（1b）（2b）是基于暗通道圖像閾值檢測高光的結(jié)果，根據(jù)文獻(xiàn)[7]的統(tǒng)計數(shù)據(jù)將閾值設(shè)置在0.7。

圖2 不同高光消除方法的對比

（1）（2）是輸入的原始圖像；（a）-（e）分別為文獻(xiàn)[7],[8],[9],[10]以及本文的高光消除實(shí)驗(yàn)的結(jié)果。

圖2 所示的高光消除實(shí)驗(yàn)對比結(jié)果中，第二列（1a）（2a）是文獻(xiàn)[7]采用了暗通道圖像特性對高光區(qū)域檢測并消除，但是針對非人臉區(qū)域的非高光白色材質(zhì)、人臉的牙齒部分會錯誤檢測為高光，高光消除過程會錯誤地修改這些區(qū)域的結(jié)果。第三列（1b）（2b）根據(jù)文獻(xiàn)[8]中采用的技術(shù)在針對單張人臉圖像上結(jié)果是失敗的，一方面因?yàn)槭俏墨I(xiàn)[8]選取的圖像都是較暗光照下的圖像，高光區(qū)域有較為明顯的特征，但是這類方法對一般的人臉圖像并不適用。第四列（1c）（2c）是文獻(xiàn)[9]根據(jù)雙色反射模型利用圖像分割方法實(shí)現(xiàn)的高光消除的效果。盡管人臉區(qū)域的材質(zhì)是稀疏的，但并不是單一材質(zhì)，圖像分割受到高光的影響就會導(dǎo)致錯誤的結(jié)果。第五列（1d）（2d）是文獻(xiàn)[10]的高光消除，同樣地因?yàn)闄z測高光過程需要手動標(biāo)定閾值，所以在對于不同光照環(huán)境下的圖像設(shè)定一個固定閾值時，會導(dǎo)致有些圖像的非高光區(qū)域被錯誤檢測（1d）。第六列是本文采用的高光消除的實(shí)驗(yàn)結(jié)果。從方框區(qū)域的對比中可以看出，本文方法不論是在不同光照條件下高光區(qū)域檢測的準(zhǔn)確性，還是檢測出高光區(qū)域后高光消除的可信度上，都比前面幾種方法有著更好的結(jié)果。

5 結(jié)語

本文利用人臉圖像上鏡面反射高光的成因和特征，采用雙色反射模型構(gòu)建圖像的高光分量和漫反射分量。通過假設(shè)材質(zhì)函數(shù)可以由色素的密度和分布決定，且高光系數(shù)為空間上的二值函數(shù)，僅在高光區(qū)域高光系數(shù)為1，從而利用有稀疏約束的非負(fù)矩陣分解算法檢測鏡面反射高光區(qū)域。同時，本文從高光檢測區(qū)域、高光消除結(jié)果兩個方面同其它高光檢測消除方法進(jìn)行實(shí)驗(yàn)對比。對比結(jié)果證實(shí)本章提出的方法對影響人臉圖像的高光檢測和高光消除的膚色、光照等因素具有較好的魯棒性。

但是由于在鏡面反射分量上做了大量的假設(shè)，并且拋棄了實(shí)際人臉圖像上其他材質(zhì)特征，如胡子、斑點(diǎn)的稀疏性討論，因此這些稀疏的材質(zhì)特征可能會對高光檢測造成影響，這也是我們下一步要研究解決的問題。