基于圖像分解的光照估計算法 *

曹天池，李秀實，李 丹，陳嘉南，劉 爽，向未來，胡迎松

(華中科技大學計算機學院，湖北 武漢 430074)

1 引言

增強現(xiàn)實技術(shù)將虛擬的信息合成到真實世界中，有效地提高了用戶對于現(xiàn)實場景的交互體驗。實現(xiàn)真實的增強現(xiàn)實效果的關(guān)鍵在于保持虛擬對象與現(xiàn)實世界對象之間的一致性，一致性可以劃分為時間一致性、光照一致性和幾何一致性[1]。目前時間一致性與幾何一致性的相關(guān)研究已經(jīng)趨于成熟，而光照一致性仍然面臨著許多挑戰(zhàn)。

在實際的復雜動態(tài)光照環(huán)境下，有效的光照估計是實現(xiàn)光照一致性的重要先決條件之一，尤其從單幅圖像中估計出場景光照的信息是一個復雜的、具有挑戰(zhàn)性的任務(wù)。一幅圖像里的光照強度是一個疊加了場景中的材質(zhì)屬性信息、光照信息和場景幾何信息等信息的函數(shù)[2]。以往的光照估計方法常?；\統(tǒng)地將場景材質(zhì)假設(shè)為漫反射表面，并采用局部照明模型對照明進行模擬，當場景中存在大量的鏡面反射材質(zhì)或者相近材質(zhì)時(比如海面或者玻璃表面較多的場景)，這種方法并不能從有限的線索中準確地還原出光照信息。

早期的光照估計方法多借助輔助標志物進行，利用一個已知表面材質(zhì)屬性的立方體作為標志物，通過陰影或表面圖像分析來獲取光照信息。1998年，Debevec[3]通過組合采用不同的曝光時間拍攝的多幅鏡面小球圖像制作高動態(tài)范圍環(huán)境圖，并估算出局部場景的雙向反射分布函數(shù)。這類方法對基于圖像的虛擬物體渲染起到了很大作用，但其缺點是需要大量的預處理操作。隨著圖像分析技術(shù)的進步，基于圖像的方法也應(yīng)用于光照估計，這一類方法可以分為深度方法和數(shù)學方法，深度方法應(yīng)用深度神經(jīng)網(wǎng)絡(luò)，從單幅圖像中恢復場景光照圖。比如Zhang等[4]提出的深度自動編碼器，通過在合成數(shù)據(jù)集上訓練，學習回歸非線性飽和地動態(tài)范圍全景圖的高動態(tài)光照。Hold-Geoffroy等[5]利用全景圖中提取的單幅圖像訓練CNN網(wǎng)絡(luò)。而本文所關(guān)注的數(shù)學方法通常不需要獲取大量的數(shù)據(jù)集，具備較好的靈活性。Liu等[6]通過對視頻流中的每一幀圖像提取稀疏平面特征點來估計太陽光和天空的相對強度。Chen等[7]利用語義約束選擇幾何模型上的微表面，結(jié)合陰影圖像和反射率圖像來估計場景中的照明參數(shù)，實現(xiàn)較真實的虛擬物體渲染效果。

本文提出了一種基于像素聚類方法的圖像分解算法對圖像進行反射光的分解，并提出了一種利用場景中分解出的不同反射分量估算場景照明信息的全局光照估計算法。該算法綜合考慮場景中的反射分量，利用全局照明模型，得到了光源的位置和顏色信息，然后利用基于物理的渲染將虛擬物體插入到圖像中，實現(xiàn)具有光照一致性的渲染效果。和前人的研究相比，本文算法不需要任何輔助標志物或者在場景中插入光探針，也不需要對深度神經(jīng)網(wǎng)絡(luò)進行訓練，僅通過數(shù)學分析單幅圖像估計光照實現(xiàn)具有真實性的渲染效果。

2 圖像分解

為了更準確地進行全局光照估計，需要使用圖像分解算法準確地分離圖像中的鏡面反射分量。本文所提出的圖像分解算法首先在具有鏡面高光的場景中估計出一幅場景圖像的無鏡面反射圖估算圖，并通過像素聚類分離出場景的鏡面反射圖和漫反射圖，然后對漫反射圖進一步分解，得到場景的反照率圖和陰影圖。

2.1 強度比與無鏡面反射估算圖

在具有鏡面反光的輸入圖像中，對于相同的顏色表面，鏡面反射高光的部分通常包含僅具有漫反射分量的像素和同時具有漫反射和鏡面反射分量的像素。后文會定義一個色度空間，并在色度空間中對像素進行聚類，以分離不同像素。

本小節(jié)的分類標準依賴于強度比的定義。首先定義Imin(x)和Imax(x)分別為儲存x像素RGB三通道強度的最小值和最大值的單通道圖像；定義Ir(x)為存儲最大值和最小值單通道圖像的差值圖像，得到的結(jié)果同樣是單通道圖像，該差值圖像不再包含雙色反射模型中的鏡面反射部分，因此是無鏡面的圖像。根據(jù)Shen等[8]提出的強度比定義，強度比值為最大值和差值的比值：

(1)

為了排除與鏡面反射部分無關(guān)的像素來減少計算量，需要劃分出高光區(qū)域。高光區(qū)域的計算需要對像素的漫反射色度值進行計算。將無鏡面反射估算圖(Specular-free)作為漫反射分量的偽表示。為了方便計算，將原圖像減去RGB分量的最小值單通道圖像的結(jié)果作為無鏡面反射估算圖，定義為Isf。對于每個像素，其無鏡面反射估算圖的漫反射色度估計值可以表示為Λsf：

(2)

由漫反射色度可以計算出每個像素的最小強度，將每個像素的計算結(jié)果與平均最小像素強度進行比較，判斷像素是否屬于高光區(qū)域，以便進行下一步的像素聚類。

2.2 像素聚類方法

為了將高光區(qū)域內(nèi)的像素分離為鏡面反射分量和漫反射分量，需要將這些像素分類，每類像素使用不同的區(qū)分標準進行反射類型的劃分。本文使用K-means聚類方法對像素進行分類，需要率先定義分類的個數(shù)和初始種子。本文通過將相關(guān)區(qū)域的像素投影到最小-最大色度空間中來對這些具有相同擴散色度的像素進行聚類。聚類算法需要首先選定聚類的初始簇種子，為了確定初始種子的選擇，接下來需要對最小-最大色度空間進行數(shù)學分析。首先，根據(jù)式(2)可以從無鏡面反射估算圖獲得偽漫反射色度，由此可將偽漫反射色度重寫為：

(3)

Figure 1 Chromaticity space of the pixels圖1 像素所在色度空間

之后基于這個推導便能對高光區(qū)域的像素進行K-means聚類，首先初始化聚類中心，根據(jù)上述推導，處于三角形頂點的像素具有最小色度或者最大色度的極值，更容易被檢測到，并且還能消除選擇簇種子的隨機性，選擇頂點像素作為起始像素。之后將輸入圖像的相關(guān)像素與最近的初始簇種子相關(guān)聯(lián)，將不同類別的像素分配給最近的聚類。最后，在分配之后需要計算新的聚類中心點，將每個簇種子的位置更新為在色度空間中投影的與其相關(guān)聯(lián)的像素集合的質(zhì)心，再將每個像素重新與最近的簇種子相互關(guān)聯(lián)起來。重復迭代上述的過程經(jīng)過一定的次數(shù)，直至沒有數(shù)據(jù)再更改聚類，整個聚類過程收斂便可以得到最終的結(jié)果。

通過對高光區(qū)域的像素進行聚類能夠?qū)⑾嚓P(guān)像素有效地分離成不同的聚類，分離之后，需要為每個聚類確定能夠?qū)㈢R面反射像素與漫反射像素區(qū)分開的強度比。對聚類結(jié)果中的每個聚類的像素強度比進行升序排列，以聚類結(jié)果的像素質(zhì)心強度比作為分離標準，劃分出漫反射像素和鏡面反射像素。

對于分離的結(jié)果可能存在高頻偽像的情況，本文對鏡面反射結(jié)果進行進一步處理，對反射分量應(yīng)用高頻強調(diào)濾波器來突出錯誤部分，這種濾波器是一個二維傅里葉濾波，通過強調(diào)邊緣來銳化圖像?？梢圆捎猛ㄓ玫?×3盒式低通濾波器構(gòu)造。對于所得到的漫反射圖像和鏡面反射圖像，分別令它們通過高頻強調(diào)濾波，得到的結(jié)果再合并成一幅完整的組合圖像，將這幅組合圖像與將輸入圖像經(jīng)過高頻強調(diào)濾波的結(jié)果圖進行比較，如果分離正確無誤，這種方法得到的2幅圖像應(yīng)該是趨近于相同的?；谙嗨菩院瘮?shù)進行分析并優(yōu)化結(jié)果，即可提高反射分量的分離精度。

2.3 本征圖像分解

為了進行后續(xù)的光照估計實驗，不僅需要對圖像進行反射類型的分解，同樣地，為了獲取準確的光源方向和顏色渲染，還需要處理分離后的漫反射圖像。在場景照明的過程中，漫反射往往起到主導作用，若想準確估計出場景的光照信息，漫反射圖像的信息是不可或缺的。本征圖像分解的目的在于將漫反射圖像分解為陰影部分和反射率部分，利用分解后的本征圖像，結(jié)合上一步分離得到的鏡面反射信息，可以在后續(xù)實驗中得到準確的光照分析結(jié)果。

3 全局光照估計算法

根據(jù)圖像分解的結(jié)果，通過反射量信息和圖像陰影信息，結(jié)合場景三維結(jié)構(gòu)便能推導出光源的位置和顏色信息，從而對場景重新點亮，對虛擬物體進行渲染。

3.1 光照模型與深度估計

照明模型用于生成物體表面在指定點上的顏色，選擇合適的照明模型對于圖像中虛擬物體的視覺效果是非常重要的，由于本文加入了對圖像中鏡面反射元素的估計，在選取光照模型時需要將漫反射模型與鏡面反射模型相結(jié)合來達到最好的實驗效果。由于Torrance-Sparrow模型在計算反射光強度時可以將表面半球的所有方向入射光線進行積分，大大提高了光照計算的準確性，因此本文采用該光照模型。

在第2節(jié)對一幅輸入的RGB圖像獲取了其中的色彩信息和陰影信息，用于估計場景中的光照色度和光照方向，在實驗中為了利用所獲取的這些信息，還需要通過圖像獲得場景的三維結(jié)構(gòu)信息。場景的三維點云可以有效地結(jié)合圖像反射和圖像陰影信息來計算像素間的位置關(guān)系，從而得出光照估計結(jié)果，因此在進行場景光照估計之前，首先需要獲取場景的三維結(jié)構(gòu)。通過單幅圖像獲取場景的深度信息有很多方法，許多現(xiàn)有的方法能夠估計出小尺度的室內(nèi)場景結(jié)構(gòu)信息，但是對于室外大尺度場景并不能得到精確的結(jié)果。Saxena等[10]的方法利用二維圖像中不同部分的關(guān)系來理解場景的三維結(jié)構(gòu)，其模型通過監(jiān)督學習使用訓練集進行訓練，在室內(nèi)室外場景都能取得較好的效果。本文對該方法進行了改進以將其應(yīng)用在光照估計算法中。

3.2 光源位置估計

本小節(jié)利用鏡面陰影和漫反射陰影得到光源位置信息，適用于單一光源或多光源場景。

首先使用鏡面反射的陰影來估算場景中的光源位置，對于分離出的鏡面反射圖像中的強度較大的圖像區(qū)域，可以通過鏡面光斑的3D位置，結(jié)合還原出的三維點云，得到反射光的方向以及這些區(qū)域的表面法線。通過這些信息可以獲得光源位置。本文通過鏡面反射信息估算出的光源方向向量Ls的定義如式(4)所示：

(4)

利用鏡面信息估計出光源位置之后，再使用漫反射陰影信息估計出一個光源位置來幫助優(yōu)化結(jié)果。通過使用加速魯棒特征算法來計算特征點，這些特征點被選為圖像中對象輪廓的關(guān)鍵點，通過檢測相同物體的陰影數(shù)量來估計場景中的光源數(shù)量。再結(jié)合3.1節(jié)中估計出的深度信息可以獲得這些對象輪廓和陰影點的3D位置。結(jié)合這些同樣可以確定光源的大致方向Ld，如式(5)表示：

(5)

其中，E是一組場景中對象的輪廓采樣關(guān)鍵點數(shù)量，pi是關(guān)鍵點的3D位置，di是關(guān)鍵點的陰影位置。R表示光源與輪廓點之間的平均差值向量。接下來結(jié)合鏡面反射和漫反射2個陰影所估計出的結(jié)果，通過線性組合可以得到場景光源的初始化位置。之后利用最優(yōu)化的方法來逼近光源位置的真實值，當場景中有多個相同顏色的燈光時利用式(6)來估計每個燈光的位置：

(6)

其中,N為光源數(shù)量，Li表示第i個光源的光照，上標s代表鏡面反射，d代表漫反射。初始化光源后通過式(6)來估計場景中N個光源的最終位置。在實驗最優(yōu)化的步驟中通過設(shè)置閾值和迭代次數(shù)來逼近最優(yōu)結(jié)果。

3.3 反照率估計

獲得光源位置之后，本小節(jié)利用不同反射量計算光照顏色，以在后續(xù)渲染中使效果更加真實。為了從鏡面反射項得到準確的光源色度信息，本文在實施分離后將場景光源顏色估計為圖像中的鏡面像素平均色度，然后對原始圖像歸一化為新的場景光源顏色，再進行圖像分解，直到場景的估計光源色度收斂，這時得到的就是場景中的實際光源色度，可直接用于場景鏡面反射部分的顏色渲染。

此外，對漫反射部分進行渲染的時候需要考慮漫反射的觀察顏色問題。根據(jù)渲染方程，漫反射圖像中的場景材料表面為朗伯表面，考慮到可視程度，則到達相機方向的光線可以由式(7)表示：

(7)

其中,Li(l)表示方向l的入射光輻射率，θ為入射角，V表示從頂點到視點的向量，ω為初始化系數(shù)。進行反照率估計的目標是確定光照Li，使得在給定場景三維結(jié)構(gòu)和相機參數(shù)的情況下能夠產(chǎn)生盡可能接近分離出的陰影層的結(jié)果，將著色的誤差用式(9)定義為：

Es=∑p(S(x(p))-Sv(p))2

(8)

其中,p是圖像平面中的像素位置，S(x(p))為三維空間中的著色值，Sv(p)為圖像平面中的著色值,下標v代表觀察方向。環(huán)境貼圖對于漫反射部分更適合用于進行整個環(huán)境的照亮，從數(shù)學上可以表示為一些基函數(shù)的線性組合，例如球諧函數(shù)，這種方法對光照強度的變換更加靈敏,在球坐標的基礎(chǔ)上可以將需要估計的光照Li寫為加權(quán)和：Li=∑kαklk，其中αk和lk代表超像素k的平面參數(shù)和λ射光方向，代入式(7)改寫渲染方程，便可以把目標函數(shù)改寫為二次形式：

(9)

其中,α和sp是第k個分量分別為αk和sk(x)的向量,sk(x)是指每一個基礎(chǔ)的lk所貢獻的基礎(chǔ)著色值。選擇了一組基函數(shù)后，可以通過最小化目標函數(shù)來計算每個分量的權(quán)重。在獲得基函數(shù)的系數(shù)之后就可以生成環(huán)境圖照亮圖像中的漫反射部分。

最后，利用得到的光源信息，使用基于物理的渲染方式重新渲染場景，在場景中插入不同材質(zhì)的虛擬物體時可以保證光照一致性。

4 實驗仿真與分析

本節(jié)主要對所提出基于圖像分解的光照估計算法進行實驗仿真與分析。實驗分別選擇2組室內(nèi)與2組室外的不同場景，針對室內(nèi)外的場景特點對實驗進行優(yōu)化，室外場景往往高光像素較多，整體場景較亮，根據(jù)鏡面物體去推斷光源方向可能會不夠準確，因此對輸入圖像設(shè)定閾值Th，以控制輸入圖像的高光像素，這樣能夠有效地區(qū)分大尺度場景中的鏡面反射部分。分離出的高光圖如圖2所示。

Figure 2 Experimental results of image decomposition based on pixel clustering圖2 基于像素聚類的圖像分解實驗結(jié)果

圖2直觀地展示了本文算法在一些室內(nèi)外場景下的鏡面反射提取效果。接下來將定量評估圖像分解算法，并與其他人所作的相關(guān)研究進行比較。選取圖像分解領(lǐng)域的通用數(shù)據(jù)集對象進行評估實驗，使用峰值信噪比來定量評價實驗結(jié)果，根據(jù)2幅圖像之間的均方差來定義實驗誤差，直觀地表示2幅圖像的差異。表1展示了本文算法與其他算法對一些不同的通用對象進行圖像分解實驗時的分解準確度比較，數(shù)值代表峰值信噪比，加粗的數(shù)值代表對應(yīng)對象鏡面反射分離的最高精確值。

可以看出，對于標準數(shù)據(jù)集中的5個不同的對象，本文算法大多得到了更高的分離精度，之后將圖像分解方法與深度估計和本征圖像分解相結(jié)合，對場景空間中的光照進行分析。

Table 1 Peak signal-to-noise ratios comparison of different algorithm on the data set表1 數(shù)據(jù)集上不同算法的峰值信噪比對比

在實驗場景的中央放置一個表面是鏡面材質(zhì)的球表示場景中的光源信息,并將本文算法與Liu[15]的算法在光源的方向和強度估計結(jié)果上進行直觀比較，不同場景下的光照估計結(jié)果如圖3和圖4所示。

Figure 3 Outdoor scene lighting restoration圖3 室外場景光照還原

在圖3所展示的室外場景中，主光源為太陽光源，是單一光源，在場景中處于高位，且光照強度很大。相比文獻[15]的算法，第1個場景中本文算法對于太陽高度的估計相對更為準確，文獻[15]的算法還原光照偏低。第2個場景中本文算法對于強度的還原相對更加準確，文獻[15]的算法還原光照偏暗。在圖4所展示的室內(nèi)場景中，第1個場景屬于單一光源場景，處于右上角的位置，第2個場景在教室中，屬于多光源場景。相比文獻[15]的算法，本文算法在單光源室內(nèi)場景中對方向的估計更為真實準確，在多光源場景能夠估計出多個點光源來模擬場景的多光源效果。

Figure 4 Indoor scene lighting restoration圖4 室內(nèi)場景光照還原

恢復場景照明后將虛擬物體合成到場景中，觀察光照一致性效果，渲染效果如圖5所示。

Figure 5 Virtual object rendering圖5 虛擬對象渲染

從圖5可以看出，本文算法得到的光照能夠?qū)μ摂M物體陰影進行較為真實的渲染。為了定量評估算法的準確性，在渲染軟件中創(chuàng)建一個虛擬場景，并模擬2個點光源的照明情況，在創(chuàng)建的虛擬場景中，放置一個鏡面材質(zhì)的球體和一個朗伯表面的立方體，之后創(chuàng)建2個不同位置方向的點光源對其進行點亮，對比實驗結(jié)果如圖6所示?？梢钥闯觯疚乃惴ǖ玫降墓庹辗较虼篌w準確，同時也能夠準確地還原出光照顏色，并且對于鏡面材質(zhì)部分的模擬，本文算法的渲染效果比文獻[15]的算法的更接近真實場景。

Figure 6 Simulation scene rendering圖6 模擬場景渲染

表2和表3是本文算法估計光源的定量對比。本文算法對于光源的位置估計平均誤差控制在2個單位以內(nèi)，也準確還原了方向向量和顏色信息。

Table 2 Comparison of light source position in simulated scenes表2 模擬場景光源位置對比

Table 3 Comparison of light source direction in simulated scenes表3 模擬場景光源旋轉(zhuǎn)方向?qū)Ρ?/p>

5 結(jié)束語

本文改進了光照估計算法,提出了一種基于像素聚類方法的圖像分解算法對圖像進行反射光的分解，并提出了一種利用場景中分解出的不同反射分量估算場景照明信息的全局光照估計算法。綜合考慮場景中的反射分量，利用全局照明模型，得到了光源的位置和顏色信息，然后利用基于物理的渲染將虛擬物體插入到圖像中，實現(xiàn)具有光照一致性的渲染效果。使用上述算法進行虛擬物體的渲染實驗，結(jié)果表明，本文提出的算法能夠有效地實現(xiàn)非朗伯體表面場景中的光照估計以及虛擬物體渲染，明顯提高了渲染結(jié)果的真實感。