巖石薄片圖像拼接中的色差校正算法

袁 媛，滕奇志，何小海，張余強(qiáng)

(1.四川大學(xué) 電子信息學(xué)院 圖像信息研究所，四川 成都 610065;2.成都西圖科技有限公司，四川 成都 610065)

0 引 言

在石油地質(zhì)勘探行業(yè)中，通常使用采集到的巖石樣本制成的巖石薄片研究地質(zhì)油氣分布情況。由于巖石薄片在長期保存中容易受到損壞，而圖像資料能夠完整持久地保存巖石薄片信息，因此利用相機(jī)來采集顯微鏡放大的巖石薄片圖像，對于后續(xù)巖石薄片的研究和保存具有重要的意義。在顯微鏡下拍攝巖石薄片時(shí)，通常只能拍攝到巖石薄片的局部視域圖，為了構(gòu)造整個(gè)巖石薄片圖像，需要對其分區(qū)域逐行逐列進(jìn)行序列圖像采集，得到一系列具有部分重疊區(qū)域的巖石薄片序列圖像，然后對巖石薄片序列圖像進(jìn)行圖像拼接，進(jìn)而構(gòu)造成一幅具有高分辨率的巖石全薄片圖像。然而，在連續(xù)采集過程中，由于拍攝環(huán)境(如光線)、巖石薄片自身性能(如薄片厚度、損壞程度)等原因，會導(dǎo)致巖石序列圖像之間往往存在亮度和色彩差異，從而導(dǎo)致拼出的結(jié)果圖有明顯的“塊”效應(yīng)，不能準(zhǔn)確地保留完整的巖石薄片信息。

目前常用的圖像拼接算法中，主要針對拼接縫區(qū)域進(jìn)行顏色校正[1-3]，而對于兩幅圖像之間本身就有的顏色差異，只校正拼接縫區(qū)域并不能完整地改善拼接結(jié)果圖質(zhì)量。而針對兩幅完整的光照不均勻、色彩不一致的圖像，已有一些校正算法。例如，李勇等[4-5]基于直方圖匹配的圖像勻光算法，根據(jù)模板直方圖與目標(biāo)直方圖累計(jì)歸一化數(shù)據(jù)進(jìn)行直方圖匹配處理，實(shí)現(xiàn)對圖像亮度的校正，但該方法在圖像直方圖差異較大時(shí)，會改變原有圖像灰度級的相對距離。李德仁等[6]提出基于Mask原理的勻色算法，其需要高斯濾波器模擬圖像的亮度分布作為背景圖像，通過原始圖像減去不均勻背景圖像達(dá)到勻色目的，但這種方法主要針對灰度圖像，對彩色圖像勻色效果不好。呂楠等[7]提出了一種多相機(jī)圖像拼接勻色算法，但其只針對拍攝一行圖像進(jìn)行處理，不適用于巖石薄片多行多列的全薄片圖像拼接。

在已有算法的基礎(chǔ)上，文中通過將巖石序列彩色圖像從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間，然后利用Wallis濾波器分別計(jì)算兩幅圖像重疊區(qū)域l,α,β各個(gè)空間的均值和方差，校正目標(biāo)圖像的色彩亮度，再按照類“王”字型順序整體調(diào)整序列圖像的光照和色彩。

1 算法理論基礎(chǔ)

1.1 顏色空間的選擇

lαβ顏色空間是基于人眼的視覺感知，由亮度分量l,色度分量α、β組成，其中α分量表示黃-藍(lán)通道，β分量表示紅-綠通道。lαβ顏色空間的各個(gè)通道之間相關(guān)性較弱，有利于后續(xù)分通道進(jìn)行亮度色差計(jì)算。因此，將彩色圖像從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間進(jìn)行處理。lαβ空間是從LMS空間轉(zhuǎn)換過來的，LMS空間是基于人眼視網(wǎng)膜上對短波光線敏感的錐體細(xì)胞(S錐體)，對中波光線敏感的錐體(M錐體)，對長波光線敏感的錐體(L錐體)的顏色空間。因此要將顏色值從基于設(shè)備的RGB空間變換到lαβ空間，先要將顏色值轉(zhuǎn)化到基于對波長敏感的LMS空間。

(1)先將RGB空間轉(zhuǎn)換到LMS空間。

(1)

(2)由于LMS空間的分量分布比較分散，為了使其聚斂，將其轉(zhuǎn)換到LMS對數(shù)空間。

L'=lgL

(2)

M'=lgM

(3)

S'=lgS

(4)

(3)將LMS對數(shù)空間轉(zhuǎn)換到lαβ空間。

(5)

在lαβ空間進(jìn)行圖像色差校正后，為了后續(xù)進(jìn)行圖像融合，需要將校正結(jié)果圖像從lαβ空間變換回RGB空間，其轉(zhuǎn)換步驟如下所示：

(1)將lαβ空間轉(zhuǎn)換到LMS對數(shù)空間。

(6)

(2)從LMS對數(shù)空間轉(zhuǎn)換到LMS空間。

L=10L'

(7)

M=10M'

(8)

S=10S'

(9)

(3)從LMS空間轉(zhuǎn)換到RGB空間。

(10)

1.2 Wallis濾波器特性

Wallis濾波器是一種應(yīng)用于圖像增強(qiáng)的濾波器[8]。它可以增強(qiáng)原始圖像的反差，同時(shí)抑制噪聲，其目的是將圖像局部的灰度均值和方差(即圖像灰度動態(tài)范圍)映射到給定的灰度均值和方差。它是一種局部圖像變換，使得在圖像不同位置處的灰度方差和灰度均值具有近似相等的數(shù)值。一幅圖像l分量的均值反映其亮度，在α、β分量的均值反映其在該分量的色調(diào)統(tǒng)計(jì)量，而標(biāo)準(zhǔn)差則反映了該分量的灰度動態(tài)范圍。由于相機(jī)采集全薄片過程是連續(xù)的，因此在理想情況下獲取的序列圖像在色彩空間上也應(yīng)該是連續(xù)的，具有近似一致的色調(diào)、亮度和反差，即也應(yīng)該具有近似一致的均值和標(biāo)準(zhǔn)差。因此，文中主要采用Wallis濾波器進(jìn)行兩幅圖像之間的勻光勻色處理。

Wallis濾波器的一般形式為：

bmf+(1-b)mg

(11)

其中，g(x,y)為原始圖像的灰度值；f(x,y)為目標(biāo)圖像的灰度值；mg為原始圖像的局部灰度均值；sg為原始圖像的局部灰度標(biāo)準(zhǔn)差；mf為目標(biāo)圖像的局部灰度均值；sf為目標(biāo)圖像的局部灰度標(biāo)準(zhǔn)差；c∈[0,1]為圖像方差的擴(kuò)展常數(shù)；b∈[0,1]為圖像的亮度系數(shù)。

在式11中，當(dāng)b趨向于1時(shí)，目標(biāo)圖像均值mf起主要作用；當(dāng)b趨向于0時(shí)，原始圖像均值mg起主要作用；當(dāng)c=1,b=1時(shí)，為典型Wallis濾波器，如下：

(12)

其中，當(dāng)mg=mf，sg=sf時(shí)，目標(biāo)圖像的均值和方差與原始圖像的均值和方差相同，進(jìn)行變換時(shí)不會改變圖像的灰度值，適用于圖像拼接時(shí)重疊區(qū)域的顏色校正[9]。

2 巖石薄片序列圖像拼接

2.1 圖像配準(zhǔn)

由于巖石薄片顏色、亮度等信息差異較大，文中主要采用SIFT(scale-invariant feature transform)算法進(jìn)行配準(zhǔn)。SIFT算法[10]主要是通過在尺度空間尋找極值點(diǎn)，提取位置、尺度、旋轉(zhuǎn)不變特征量等信息，形成128維特征描述符。對所有待拼接的序列圖像采用SIFT算法查找其特征點(diǎn)，然后利用特征描述符的歐氏距離作為兩幅圖像的特征點(diǎn)的相似性判定度量。取其中一幅圖像的某個(gè)特征點(diǎn)，找出相鄰圖像中與其距離最近的前兩個(gè)特征點(diǎn)，對于這兩個(gè)特征點(diǎn)，若最近距離除以次近距離小于某個(gè)閾值時(shí)，則可以接受該匹配點(diǎn)[11]。

在實(shí)現(xiàn)圖像之間的粗匹配后，利用RANSAC模型進(jìn)行參數(shù)估計(jì)[12]，剔除“誤匹配”點(diǎn)，得到圖像間的單應(yīng)矩陣H。

2.2 圖像色差校正

2.2.1 兩幅圖像色差校正

(1)顏色空間轉(zhuǎn)換。

由于lαβ顏色空間各個(gè)通道相關(guān)性較弱，有利于后續(xù)勻光勻色分通道進(jìn)行參數(shù)校正，因此首先將參考圖像和目標(biāo)圖像進(jìn)行顏色空間轉(zhuǎn)換，即將圖像從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間，轉(zhuǎn)換公式如式1～5。

(2)重疊區(qū)參數(shù)計(jì)算。

根據(jù)單應(yīng)矩陣H獲得兩幅圖像間的重疊區(qū)域A(x,y)、B(x,y)，其尺寸大小均為m×n，將參考圖像1重疊區(qū)域的lαβ通道分解成l1、α1、β1，目標(biāo)圖像2的重疊區(qū)域的lαβ通道分解成l2、α2、β2，分別計(jì)算兩幅圖像重疊區(qū)域各個(gè)顏色分量的灰度均值m1、m2和灰度標(biāo)準(zhǔn)差s1、s2。

(13)

(14)

(15)

(16)

(17)

(18)

其中，ml1、mα1、mβ1表示參考圖像1在lαβ空間各個(gè)通道重疊區(qū)域的均值；ml2、mα2、mβ2表示目標(biāo)圖像2在lαβ空間各個(gè)通道重疊區(qū)域的均值；sl1、sα1、sβ1表示參考圖像1在lαβ空間各個(gè)通道重疊區(qū)域的方差；sl2、sα2、sβ2表示目標(biāo)圖像2在lαβ空間各個(gè)通道重疊區(qū)域的方差。

(3)圖像勻光勻色。

由于這是兩幅圖像的重疊區(qū)域，所以理論上二者在lαβ空間的均值和方差應(yīng)該基本一致，但是由于實(shí)際拍攝過程中拍攝環(huán)境和巖石薄片自身性能等因素，導(dǎo)致兩幅圖像重疊區(qū)域得到的均值和方差差別較大。采用Wallis濾波器，將參考圖像1的顏色信息遷移至目標(biāo)圖像2，使兩幅圖像間的色彩亮度趨于一致。利用式12，對目標(biāo)圖像2中的每個(gè)通道的每個(gè)像素點(diǎn)使用Wallis濾波器，如下所示：

(19)

(20)

(21)

得到新的l,α,β分量后，將lαβ三個(gè)通道合并，再利用式10將目標(biāo)圖像從lαβ顏色空間轉(zhuǎn)換到RGB顏色空間顯示，即可得到與參考圖像1亮度色彩一致的新的圖像2。

2.2.2 序列圖像色差校正

巖石全薄片圖像是由采集多行多列的序列圖像拼接而成，其采集順序類似于“S”型。首先，采集系統(tǒng)在x方向上橫向移動薄片，y坐標(biāo)保持不變，在到達(dá)一行的末尾時(shí)，直接在y方向上進(jìn)行平移，x方向坐標(biāo)保持不變，接著向y的負(fù)坐標(biāo)方向移動，依次循環(huán)，直至采集完全薄片視域。

常用的顏色校正算法通常只是平行地拍攝自然景物或灰度圖像，并且對一行圖像進(jìn)行處理，在初始參考圖像的選擇上，有的采用分塊影像中光照充足且分布均勻、具有最高亮度均值的圖像作為初始參考圖像進(jìn)行顏色校正[13]，有的先計(jì)算圖像的信息熵，選擇信息熵最大的圖像作為初始參考圖像進(jìn)行顏色校正[7]。當(dāng)采用這些算法對巖石序列圖像進(jìn)行校正時(shí)，無法保證行與行之間的亮度信息趨于一致，會出現(xiàn)明顯的一行一行的“裂痕”。

這種拼接結(jié)果圖的視覺效果極差，只能保證一行圖像的亮度一致，多行多列時(shí)會出現(xiàn)明顯的“裂痕”，不利于保存真實(shí)的巖石薄片信息。而出現(xiàn)這種情況的原因常常是初始參考圖像的選擇只考慮了單行圖像，然后按順序依次調(diào)整，對于巖石薄片這種由多行多列序列圖像組成的拼接結(jié)果圖像而言，還需要考慮行與行之間色彩亮度的差異性。針對這種情況，采用類“王”字型順序?qū)θ∑M(jìn)行亮度及色彩調(diào)整，如圖1所示。

圖1 類“王”字型順序色彩亮度調(diào)整

其中，一條線代表一行圖像，豎線代表了列中心，中間的圓代表了整幅薄片的中心圖像。

(1)對所有序列圖像先查找SIFT特征點(diǎn)，然后進(jìn)行圖像配準(zhǔn)，得到序列圖像兩兩之間的單應(yīng)矩陣H，確定圖像之間的重疊區(qū)域。

(2)找到在全薄片顯示最中心的圖像，并對其作自動白平衡，作為初始參考圖像R(x,y)。

(3)對R(x,y)所在列按2.2.1所述方法進(jìn)行圖像色差校正，保證初始參考圖像R(x,y)所在列的圖像色彩亮度趨于一致，然后將校正后的圖像作為該行的次級參考圖像SRi(x,y)。

(4)對于第i行圖像，以次級參考圖像SRi(x,y)作為參考圖像，依次向兩側(cè)分別用2.2.1所述方法逐個(gè)進(jìn)行圖像色差校正，整個(gè)圖像顏色校正順序類“王”字型展開。

(5)所有序列圖像完成色差校正后，再計(jì)算各個(gè)圖像相對于參考圖像的單應(yīng)矩陣，然后進(jìn)行多分辨率圖像融合[14-15]，最終得到一幅圖像色彩亮度一致的高分辨率拼接結(jié)果圖。

3 實(shí)驗(yàn)結(jié)果與分析

拍攝的相機(jī)采用Canon EOS 600D，通過偏光顯微采集系統(tǒng)拍攝了多組巖石地質(zhì)薄片進(jìn)行實(shí)驗(yàn)，其中多組圖像都出現(xiàn)了亮度色彩不一致的情況。先采用基于Wallis濾波器的顏色校正算法試驗(yàn)兩幅圖像校正后進(jìn)行拼接的效果，再采用類“王”字調(diào)整順序的顏色校正算法試驗(yàn)多行多列序列圖像拼接后的效果。

3.1 兩幅圖像色差校正

圖2是由相機(jī)連續(xù)拍攝的兩幅相鄰圖像，其拍攝參數(shù)固定為曝光時(shí)間1/20 s，ISO為800，光圈值為F/5。

圖2 相機(jī)連續(xù)拍攝圖像

觀察圖2可以發(fā)現(xiàn)，兩幅圖像有重疊區(qū)域，并且重疊區(qū)域圖像的亮度、色彩都不一致，如果直接采用圖像拼接算法，未對圖2(a)進(jìn)行色差校正，得到的拼接結(jié)果見圖3。

圖3 兩幅相鄰圖像拼接結(jié)果

觀察圖3可以發(fā)現(xiàn)，雖然兩幅圖像的拍攝固定參數(shù)一致，但是兩幅圖像的色彩亮度存在明顯的差異，即便在圖像融合算法中使用了多分辨率融合，但是直接拼接后，拼接結(jié)果圖仍然有明顯的拼接縫并且圖像色彩亮度不一致，不利于保存巖石薄片信息。

采用文中的顏色校正算法，將圖2(b)作為參考圖像，圖2(a)作為目標(biāo)圖像，進(jìn)行顏色校正處理后得到新的圖像。然后再對兩幅圖像進(jìn)行拼接，拼接結(jié)果如圖4所示。

圖4 處理后的拼接結(jié)果

對比圖3和圖4可以發(fā)現(xiàn)，采用文中算法能明顯地改善巖石序列圖像色彩亮度不一致的問題。

3.2 序列圖像拼接

兩幅圖像色彩亮度調(diào)整是序列圖像調(diào)整的基礎(chǔ)。由相機(jī)連續(xù)拍攝24張序列圖像，圖2(a)、(b)是序列圖像中的兩幅圖像。其未進(jìn)行色差校正直接拼接的結(jié)果如圖5(a)所示。可以看出該圖中間區(qū)域由于相機(jī)白平衡效果不同，其色彩與周圍區(qū)域出現(xiàn)明顯差別，在這種情況下，只處理拼接縫的亮度色彩差異不能改善結(jié)果圖的整體效果。采用文中所述的類“王”字型序列圖像色差校正算法，以最中心圖像作為初始參考圖像進(jìn)行處理，得到校正色彩后新的序列圖像，用新的序列圖像進(jìn)行圖像拼接后的結(jié)果如圖5(b)所示。

圖5 拼接圖像

4 結(jié)束語

提出了一種針對色彩亮度不均勻巖石薄片序列圖像的拼接算法。將待拼接圖像先轉(zhuǎn)換到lαβ色彩空間，然后利用SIFT算法進(jìn)行圖像配準(zhǔn)后獲得圖像間重疊區(qū)域，計(jì)算重疊區(qū)域的Wallis濾波器相關(guān)參數(shù)，然后對目標(biāo)圖像的色彩亮度進(jìn)行調(diào)整。全薄片采用類“王”字型順序進(jìn)行色彩亮度調(diào)整。實(shí)驗(yàn)結(jié)果表明，該算法對于相機(jī)連續(xù)拍攝的色彩亮度不一致的巖石薄片序列圖像有較好的改善，可以明顯消除拼接結(jié)果圖中因?yàn)樯畛霈F(xiàn)的“塊”效應(yīng)。