基于光學(xué)偏振成像的鏡面反射分量分離算法

景元萍，彭群聶，稅昌健

(1.洛陽理工學(xué)院數(shù)學(xué)與物理教學(xué)部,河南 洛陽 471000；2.光電控制技術(shù)重點實驗室,河南 洛陽 471000; 3.拉瓦爾大學(xué)計算機工程實驗室,魁北克 999040)

0 引言

由于復(fù)雜光源環(huán)境與目標表面材質(zhì)等因素綜合作用，成像過程中目標表面極易出現(xiàn)耀光、光斑等鏡面反射光的干擾。鏡面反射光分布面積廣、強度不均勻，掩蓋了目標原有的色彩紋理特征，嚴重影響目標檢測、識別、跟蹤、立體匹配等應(yīng)用性能?，F(xiàn)有視覺處理算法大多假定目標成像過程中為理想Lambertain表面，忽略鏡面反射光的存在；或?qū)㈢R面反射光視作噪聲與異常值處理[1]，不可避免存在色彩細節(jié)失真、區(qū)域空洞等問題。因此,有效準確抑制分離鏡面反射分量具有極大的研究意義和工程應(yīng)用價值。

目前，針對鏡面反射分量抑制分離的研究均集中于單幅圖像的處理，依賴于先驗信息、局部梯度、偽編碼等一系列約束實現(xiàn)漫反射分量的估計。文獻[2]利用局部鄰域內(nèi)像素梯度一致性約束，求解偏微分方程去除鏡面反射光；文獻[3]結(jié)合色彩分布統(tǒng)計特性和結(jié)構(gòu)相似性形成能量方程最小化約束，求解漫反射分量與鏡面反射分量；文獻[4-9]研究利用暗通道先驗、色彩空間等不同約束，構(gòu)建漫反射-鏡面反射(SF)先驗策略，引導(dǎo)鏡面反射分量的分離。文獻[10-11]搭建深度CNN網(wǎng)絡(luò)，通過大量的數(shù)據(jù)訓(xùn)練，實現(xiàn)圖像漫反射分量的復(fù)原。以上算法對于特定場景下，均能取得一定程度的鏡面反射分量抑制結(jié)果；但針對表面結(jié)構(gòu)單一、紋理不顯著的強反光目標，其依賴的先驗、約束條件受到限制，結(jié)果極易出現(xiàn)大區(qū)域數(shù)據(jù)空洞、紋理細節(jié)丟失等問題，嚴重影響視覺效應(yīng)。

1 基于光學(xué)偏振成像的鏡面反射分量分離

1.1 本文算法

針對現(xiàn)有算法的缺陷，本文提出基于光學(xué)偏振成像的鏡面反射分量分離算法。結(jié)合雙色反射模型的偏振成像機理，探究體反射與鏡面反射光的偏振特性差異，提出了基于Stokes參數(shù)的體反射強度反演機制；聯(lián)合CbCr空間雙色度矢量約束、最小二乘法遍歷式進行反射系數(shù)求解，準確抑制分離鏡面反射分量，高效恢復(fù)目標表面原有的紋理、邊緣、色彩等細節(jié)特征，進一步提升視覺質(zhì)量。算法不依賴于諸多假設(shè)、先驗信息，物理可靠性高，場景適應(yīng)性強。其算法流程如圖1所示。

圖1 基于光學(xué)偏振成像的鏡面反射分離算法流程圖Fig.1 Flow chart of the specular reflection separation algorithm based on polarization imaging

1.2 雙色反射模型偏振成像機理分析

根據(jù)雙色反射模型[12]，非均質(zhì)目標表面發(fā)生的反射效應(yīng)，其成像強度I可以描述為漫反射分量Id與鏡面反射分量Is的線性組合，即

I(x)=Id(x)+Is(x)=ρd(x)D(x)+ρs(x)S(x)

(1)

式中:x為像素坐標；Id(x)=ρd(x)D(x)，Is(x)=ρs(x)·S(x),ρd,ρs分別為漫反射系數(shù)和鏡面反射系數(shù)，與目標表面材質(zhì)分布、理化特性(粗糙度)相關(guān)，D為目標表面的體反射強度，S為光源能量強度。鑒于中性界面反射假設(shè)[1]，自然場景下其可見光波段光源能量密度恒定，近似為白光，滿足S=[255,255,255]T。

偏振成像特征統(tǒng)計表明[13]，目標成像過程中，其介質(zhì)表面發(fā)生的單次鏡面反射分量IS具有強起偏效應(yīng)，近似為線偏振光；而由于目標內(nèi)部多次散射消偏效應(yīng)顯著，其體反射強度D起偏效應(yīng)微弱，可近似為無偏光?；阽R面反射與體反射的偏振特性差異，本文利用目標偏振成像，有效分離目標表面的鏡面反射分量。

目標圖像強度隨偏振方位角φ呈余弦變化關(guān)系。其圖像強度數(shù)學(xué)表達式為

(2)

式中:α為偏振相角；Imax，Imin分別為不同偏振方位角下，觀測圖像的最大和最小強度值，且對應(yīng)兩個偏振方位角相互正交。由以上分析可知，體反射可近似為無偏光，即表明體反射強度不隨偏振方位角的變化而發(fā)生變化。結(jié)合雙色反射模型與偏振成像機理分析，求取得到成像強度Imin后，可將其作為目標體反射強度D的有效估計，則有

D≈Imin。

(3)

1.3 基于Stokes參數(shù)的體反射強度反演機制

偏振成像測量中，Stokes參數(shù)作為一種有效的數(shù)學(xué)表示方法，常利用3個偏振方位角下的強度參數(shù)描述目標表面反射光的線性偏振態(tài)。本文對觀測目標進行[0°,45°,90°]三角度偏振成像，其Stokes相關(guān)參數(shù)數(shù)學(xué)表達式為

(4)

式中:H為兩正交偏振方位角的圖像總強度，滿足I(0°)+I(90°)=Imax+Imin；Q為水平方向上的線偏振光強度；U為45°方向上的線偏振光強度。

線偏振度PLP表征線偏振光強度在總光強中的占比，反映目標表面的起偏強弱效應(yīng)。其Stokes聯(lián)合參數(shù)表達式如下

(5)

聯(lián)合式(4)～(5)，基于Stokes參數(shù)可解析得到目標的線偏振信息，進而反演得到目標圖像的最大強度值Imax與最小強度值Imin，即實現(xiàn)目標表面體反射強度D的有效估計。其表達式為

(6)

(7)

現(xiàn)有鏡面反射分離算法[4-9]依賴于色彩一致性、暗通道等眾多先驗信息估計體反射強度。當光源環(huán)境復(fù)雜、目標表面色彩紋理信息單一時，其不可避免存在色彩紋理失真、數(shù)據(jù)空洞等問題。不依賴于現(xiàn)有算法的先驗假設(shè)，本文提出基于Stokes參數(shù)的體反射強度反演機制，僅利用目標成像的偏振信息進行反演，不受限于目標表面的色彩、紋理約束，物理可靠性高。

1.4 CbCr空間雙色度矢量

基于Stokes參數(shù)反演機制能有效估計體反射強度。為進一步徹底分離鏡面反射分量、抑制噪聲等異常值干擾，本文構(gòu)建CbCr空間雙色度矢量約束，實現(xiàn)鏡面反射分量的物理隔離。

將式(7)求解的體反射強度圖像D歸一化轉(zhuǎn)換至YCbCr空間實現(xiàn)處理，其矩陣轉(zhuǎn)換表達式為

(8)

式中:Ooffset=[0,128/255,128/255]T為歸一化偏置參數(shù);R,G,B為色彩通道。依據(jù)色彩空間轉(zhuǎn)換特性研究[14]，YCbCr色彩空間中目標圖像僅Y分量受鏡面反射影響，Cb和Cr色度與鏡面反射無關(guān)。基于此特性，本文以體反射強度圖像D，構(gòu)建其CbCr空間雙色度矢量機制，表達式為

VD(x)=[DCb(x)，DCr(x)]T。

(9)

由式(9)可知，CbCr空間雙色度矢量與鏡面反射分量高度無關(guān)。即對于目標圖像I，其對應(yīng)的CbCr空間雙色度矢量VI亦與鏡面反射分量高度無關(guān)，同時與體反射強度圖像D的雙色度矢量VD應(yīng)保持強度一致性分布。因此對于p,q分別為目標圖像與體反射強度圖像的兩像素，滿足約束

q=arg min||

(10)

不同于現(xiàn)有算法RGB空間色度估計策略，其三通道均受鏡面反射影響，本文構(gòu)建的CbCr空間雙色度矢量實現(xiàn)鏡面反射分量的高度無關(guān)。其物理隔離機制，有效解決現(xiàn)有算法RGB空間色度估計不準確導(dǎo)致噪聲放大、邊緣不連續(xù)等問題。

1.5 遍歷式最小二乘反射系數(shù)求解

由1.4節(jié)可知，本文構(gòu)建的CbCr空間雙色度矢量實現(xiàn)了鏡面反射分量的物理隔離，且體反射強度圖像D的雙色度矢量VD與目標圖像I的雙色度矢量VI保持分布一致性。本文聯(lián)合CbCr空間雙色度矢量約束，提出遍歷式最小二乘法逐像素實現(xiàn)漫反射系數(shù)與鏡面反射系數(shù)的快速求解策略，高效引導(dǎo)鏡面反射分量的徹底分離。其算法過程如下。

1) 為進一步抑制過程中噪聲等異常值的干擾，本文針對CbCr空間雙色度矢量約束，融合了鄰域分布相似性思想。對于像素p，遍歷其像素局部鄰域內(nèi)體反射圖像雙色度矢量VD(q)與其目標圖像雙色度矢量VI(p)最接近的像素q，滿足歐氏距離最小。即有

q=arg min||

(11)

2) 將像素q對應(yīng)的體反射強度值作為目標圖像中像素p體反射強度值的有效估計，即有D(p)=D(q)，代入雙色反射模型，則有

I(p)=ρd(p)D(q)+ρs(p)S。

(12)

3) 利用最小二乘法對式(12)進行線性求解，其反射系數(shù)解為

(13)

式中,“-1”表示矩陣的偽逆。鑒于鏡面反射系數(shù)具有非負性，若解得ρs(p)<0，則式(13)可轉(zhuǎn)化為

ρd(p)=D(p)-1I(p)。

(14)

4) 對于求解得到的漫反射系數(shù)ρd(p)，其對應(yīng)的漫反射分量強度表達式為

Id(p)=ρd(p)D(p)=ρd(p)D(q)

(15)

此時，對應(yīng)的鏡面反射分量強度即為

Is(p)=I(p)-Id(p)。

(16)

綜上可知，本文利用CbCr空間雙色度矢量進行約束，引導(dǎo)實現(xiàn)遍歷式逐像素最小二乘反射系數(shù)的快速求解；同時，考慮局部鄰域信息，有效抑制噪聲等異常值干擾，其鏡面反射分量抑制結(jié)果更為徹底，精確度更高，視覺效應(yīng)更為優(yōu)異。其算法實現(xiàn)步驟如下。

算法：基于光學(xué)偏振成像的鏡面反射分量分離。

輸入：目標偏振圖像。

輸出：鏡面反射分量分離結(jié)果。

1) 根據(jù)式(4)～(5)，分別求解目標的Stokes參數(shù)[H,Q,U]，線偏振度PLP。

3) 構(gòu)建體反射強度圖像的CbCr雙色度矢量約束：VD(x)=[DCb(x),DCr(x)]T,q=arg min||

5) 求解得到漫反射分量Id與鏡面反射分量Is：Id(p)=ρd(p)D(p),Is(p)=I(p)-Id(p)。

2 實驗分析及評價

為驗證算法有效性和可靠性，本文對真實場景進行偏振成像，針對強反光目標進行試驗探究。結(jié)合主客觀評價指標，對鏡面反射分量抑制效果、局部紋理細節(jié)還原度、色彩保真度及圖像質(zhì)量評價等方面定性分析，與文獻[9]算法和文獻[5]算法進行對比評價。其中：文獻[9]算法以逐像素通道偏差估計漫反射分量的初始估計，聯(lián)合像素聚類、鄰域強度比值一致性先驗區(qū)分漫反射分量與鏡面反射分量；文獻[5]算法利用偽編碼圖像，利用雙邊濾波進行漫反射色度最優(yōu)估計。不同于上述兩種算法的強度比值先驗及偽編碼圖像約束，本文算法基于體反射與鏡面反射的偏振特性差異，提出Stokes參數(shù)的體反射反演機制，準確實現(xiàn)鏡面反射的抑制分離。

2.1 實驗及結(jié)果

場景一(orange)中，目標圖像鏡面反射影響嚴重，具有高亮度、離散不均勻的分布特點。其相應(yīng)鏡面反射分離結(jié)果如圖2所示。

圖2 場景一鏡面反射分離結(jié)果Fig.2 Specular reflection separation results of Scene 1

由圖2可看出，由于文獻[5]算法和文獻[9]算法缺陷，對于表面色度單一、紋理缺乏的高反光目標，其鏡面反射分量抑制分離結(jié)果存在大面積數(shù)據(jù)空洞、細節(jié)紋理模糊、色彩失真、噪聲顯著等問題；而本文提出的基于偏振成像的鏡面反射分量算法結(jié)合偏振特性分析、結(jié)合雙色度矢量約束，其鏡面分量抑制分離準確、徹底，同時，目標表面的結(jié)構(gòu)紋理完整性、色彩邊緣得到極大程度保留，其細節(jié)更清晰、視覺效應(yīng)更為優(yōu)異。

場景二(cup)中，目標表面為高反射性涂層，成像過程中極易受耀光、雜散光等鏡面反射的干擾。其對應(yīng)的鏡面反射分離結(jié)果如圖3所示。

圖3 場景二鏡面反射分離結(jié)果Fig.3 Specular reflection separation results of Scene 2

針對場景二，文獻[5]算法和文獻[9]算法一定程度上有效抑制分離了鏡面反射分量，但其結(jié)果出現(xiàn)明顯的噪聲放大、字符邊緣畸變模糊、紋理細節(jié)空洞等問題；而本文算法結(jié)果中鏡面反射分量整體抑制視覺效應(yīng)更為優(yōu)異，且色彩保真度、邊緣紋理清晰度、字符辨識度更高。

2.2 定量評價分析

為進一步評價鏡面反射抑制結(jié)果的圖像質(zhì)量，除以上的視覺效應(yīng)對比外，本文結(jié)合無源圖像質(zhì)量評價機制CurveletQA[15]進行鏡面反射抑制結(jié)果視覺質(zhì)量的定量評價分析。CurveletQA描述復(fù)頻域下圖像特征信息的損失度。其值越小，代表圖像紋理結(jié)構(gòu)特征丟失度越小，圖像質(zhì)量越佳。針對上述兩組測試場景，其評價結(jié)果如表1所示。

表1 CurveletQA圖像質(zhì)量評價結(jié)果Table 1 Image quality evaluation of CurveletQA

以上視覺效應(yīng)和客觀評價指標均表明，本文算法性能更為優(yōu)異。利用鏡面反射的偏振成像特性，構(gòu)建CbCr空間雙色度矢量約束，結(jié)合最小二乘法遍歷式反射系數(shù)求解機制，實現(xiàn)了鏡面反射分量的準確抑制分離；同時，極大地保留了目標表面原有的色彩邊緣、紋理結(jié)構(gòu)等細節(jié)特征。本文算法不依賴于諸多假設(shè)先驗，物理可靠性高，場景適應(yīng)性強。

3 結(jié)束語

鏡面反射干擾一直是困擾檢測、識別等視覺應(yīng)用的難題。本文提出了基于光學(xué)偏振成像的鏡面反射分量分離算法，結(jié)合雙色反射模型的偏振成像機理，提出了基于Stokes參數(shù)的體反射反演機制；構(gòu)建CbCr空間雙色度矢量約束，結(jié)合最小二乘法遍歷式求解反射系數(shù)，實現(xiàn)了鏡面反射分量的準確抑制分離。算法不依賴于諸多先驗假設(shè)，極大保留了目標表面原有的紋理結(jié)構(gòu)、色彩邊緣等細節(jié)特征，有效抑制了噪聲的干擾。相比于現(xiàn)有算法，其鏡面反射分量抑制效果及圖像視覺質(zhì)量更為優(yōu)異。