基于亮度校正的航拍圖像拼接融合算法

伏 曉，卿粼波，何小海

(四川大學(xué)電子信息學(xué)院，四川成都610064)

無(wú)人飛行器航拍具有成本低、安全、高效和便捷的特點(diǎn)，其航拍的圖像被廣泛應(yīng)用于遙感遙測(cè)、軍事偵察、城市監(jiān)控等方面。無(wú)人飛行器航拍圖像時(shí)，可在按一定路線（如“Z”形）飛行的過(guò)程中拍攝，也可懸停空中相機(jī)以徑向圓環(huán)掃描方式拍攝，如深圳光啟有限公司的智慧城市空間信息平臺(tái)“云端號(hào)”[1]懸?？罩锌蓪?shí)現(xiàn)通信、物聯(lián)網(wǎng)監(jiān)測(cè)和大數(shù)據(jù)收集等功能。無(wú)人飛行器航拍大視角圖像時(shí)，因?qū)I(yè)廣角成像裝置價(jià)格昂貴而多使用普通相機(jī)，但普通相機(jī)因需調(diào)節(jié)相機(jī)焦距等因素導(dǎo)致圖像分辨率較低。因此，需采用圖像拼接技術(shù)將無(wú)人飛行器拍攝的一組具有重疊區(qū)域的小場(chǎng)景圖像拼接成全景圖像。

圖像配準(zhǔn)算法中，Harris算法[2]利用移動(dòng)的窗口計(jì)算灰度變化值，該算法具有一定的魯棒性，但不具有尺度不變性且對(duì)亮度和對(duì)比度的變化敏感；尺度不變特征變換(scale-invariant feature transform，SIFT)[3-4]特征提取算法具有旋轉(zhuǎn)不變性、尺度不變性和光照不變性，其魯棒性較強(qiáng)但提取特征速度慢?；赟IFT算法，Bay等[5]提出了加速魯棒特征(speed up robust feature，SURF)算法[5]，將SIFT特征描述向量維數(shù)降低了一半，運(yùn)算速度提升了3倍，但當(dāng)在圖像配準(zhǔn)有一定誤差或待拼接圖像存在運(yùn)動(dòng)物體時(shí)，易出現(xiàn)“鬼影”，需進(jìn)一步利用圖切割技術(shù)解決。其中頂點(diǎn)覆蓋法、最佳縫合線法[6]和流行拼接法是圖切割的經(jīng)典算法。

無(wú)人飛行器航拍過(guò)程中，由于光照以及高空相機(jī)曝光時(shí)間不一等因素的影響，易造成航拍圖像亮度差異明顯，直接拼接會(huì)導(dǎo)致圖像存在明顯拼接縫且色彩不一。對(duì)此，文獻(xiàn)[7]提出一種基于最佳縫合線的拉普拉斯金字塔融合算法，其不僅可解決拼接圖像的“鬼影”問(wèn)題，還可使拼接縫兩側(cè)亮度差異更小，拼接更自然。但此算法復(fù)雜度較高，運(yùn)行時(shí)占用內(nèi)存較大，并且當(dāng)待拼接圖像亮度差異明顯時(shí)，拼接縫仍會(huì)存在。針對(duì)上述問(wèn)題，筆者對(duì)文獻(xiàn)[7]中的算法進(jìn)行改進(jìn)，提出一種基于亮度校正的航拍圖像拼接融合算法。

1 基于最佳縫合線的拉普拉斯分析

1.1 最佳縫合線搜索準(zhǔn)則

最佳縫合線應(yīng)遵循以下準(zhǔn)則：使2張圖像的顏色差最??；使2張圖像的幾何結(jié)構(gòu)最相似。Duplaquet[8]提出建立最佳縫合線的公式，如

其中：Ec(x,y)表示圖像重疊區(qū)域的顏色差；Eg(x,y)表示圖像重疊區(qū)域的幾何結(jié)構(gòu)差。Eg(x,y)可通過(guò)Sobel算子計(jì)算圖像梯度得到

其中Sx,Sy分別表示x，y 方向的3×3 的Sobel 算子模板；I1(x,y)，I2(x,y)表示待縫合圖像相應(yīng)的灰度值。

1.2 基于最佳縫合線的拉普拉斯金字塔融合

搜索到圖像的最佳縫合線之后，使用拉普拉斯金字塔融合算法拼接圖像，步驟如下。

1)生成尺寸為拼接后圖像大小的掩碼圖像M，縫合線左側(cè)填充0，右側(cè)填充1。

2)在配準(zhǔn)和幾何模型變換后的圖像A、B 中，大量無(wú)效圖像部分用0填充。

3)生成高斯金字塔圖像G，然后生成擴(kuò)展的A、B 的拉普拉斯金字塔圖像LA、LB，LA、LB的金字塔層數(shù)相同。

4)對(duì)每一層進(jìn)行融合，以獲得融合的拉普拉斯圖像Lf，像素值為

其中：(i,j)表示像素點(diǎn)坐標(biāo)；l表示金字塔第幾層。

5)從最高層開(kāi)始擴(kuò)展插值并將其添加到下一層圖像，直至最后一層獲得最終融合圖像。

搜索最佳縫合線時(shí)，很難找到同時(shí)滿足Ec(x,y)和Eg(x,y)最小的縫合線，根據(jù)式(1)搜索到的最佳縫合線往往不是亮度差異最小的縫合線，采用拉普拉斯金字塔融合算法無(wú)法實(shí)現(xiàn)所需的結(jié)果。若航拍圖像亮度差異很小，采用拉普拉斯金字塔融合算法拼接圖像可取得良好的拼接效果，拼接縫過(guò)渡自然；然而無(wú)人飛行器航拍時(shí)，光照變化較大或懸停空中旋轉(zhuǎn)相機(jī)時(shí)，相機(jī)背光和向光均可能造成待拼接圖像亮度較大差異，此融合算法不足以解決圖像的拼接縫和色差的問(wèn)題。此外，采用拉普拉斯金字塔融合算法拼接圖像需分別對(duì)待融合圖像A、B生成高斯金字塔，并構(gòu)造拉普拉斯金字塔圖像LA，LB。此算法步驟復(fù)雜，金字塔結(jié)構(gòu)融合時(shí)所需內(nèi)存較大。為此，對(duì)基于最佳縫合線的拉普拉斯金字塔融合算法進(jìn)行改進(jìn)，以解決圖像拼接縫問(wèn)題并且使其運(yùn)算占用內(nèi)存減小。

2 基于亮度校正的航拍圖像拼接融合算法

基于最佳縫合線的拉普拉斯金字塔融合算法可較好地解決“鬼影”問(wèn)題，但不足以解決拼接縫及運(yùn)算占用內(nèi)存較大等問(wèn)題?；诖颂岢鲆环N基于亮度校正的航拍圖像拼接融合算法，即在融合前對(duì)航拍圖像進(jìn)行亮度校正預(yù)處理，并且減小拉普拉斯金字塔結(jié)構(gòu)面積，其流程圖如圖1。對(duì)航拍配準(zhǔn)的圖像進(jìn)行亮度校正預(yù)處理，搜索圖像獲得最佳縫合線，并將圖像重疊區(qū)域劃分出過(guò)渡區(qū)域。確定圖像像素點(diǎn)是否在圖像重疊區(qū)域中，若否，則直接填充原始圖像；若是，則繼續(xù)判斷像素點(diǎn)是否在過(guò)渡區(qū)域。若圖像像素點(diǎn)位于過(guò)渡區(qū)域中，則使用加權(quán)平均融合算法；否則使用拉普拉斯金字塔融合算法。

2.1 亮度校正

在色調(diào)、飽和度和亮度(HSI)彩色空間選取亮度基準(zhǔn)圖像，計(jì)算其與待校正圖像重疊區(qū)域各區(qū)間亮度差平均值后，對(duì)圖像進(jìn)行整體亮度校正。亮度校正時(shí)，對(duì)圖像亮度進(jìn)行分段調(diào)整，提高圖像低亮度區(qū)域?qū)Ρ榷?，最終獲得均勻亮度的拼接圖像。

2.1.1 亮度基準(zhǔn)圖像的選取

在HSI 空間統(tǒng)計(jì)待拼接圖像亮度(I)直方圖，結(jié)果如圖2。計(jì)算圖2 所示圖像正常亮度區(qū)間比例及標(biāo)準(zhǔn)差，將其作為衡量圖像曝光是否正常的標(biāo)準(zhǔn)，以選取亮度基準(zhǔn)圖像。

1)正常亮度區(qū)間比例

圖像像素點(diǎn)位于正常亮度區(qū)間的數(shù)量占圖像總像素點(diǎn)的比例越高，圖像正常曝光可能性越高。根據(jù)經(jīng)驗(yàn)選取[70，200)為正常亮度區(qū)間，該區(qū)間可根據(jù)不同應(yīng)用場(chǎng)景修改以適應(yīng)各類場(chǎng)景。統(tǒng)計(jì)圖像正常亮度區(qū)間比例，圖2(b)，(d)所示方框內(nèi)為正常亮度區(qū)間的圖像像素點(diǎn)；圖2(a)所示正常亮度區(qū)間比例為0.668，圖2(c)為0.709，兩圖像正常亮度區(qū)間比例相近，無(wú)法確定亮度基準(zhǔn)圖像。

圖1 改進(jìn)算法的流程圖Fig.1 Flow chart of improved algorithm

圖2 待拼接圖像及亮度直方圖Fig.2 Images to be stitched and its brightness histogram

2)正常亮度區(qū)間標(biāo)準(zhǔn)差

若無(wú)法選定基準(zhǔn)圖像，則計(jì)算正常亮度區(qū)間標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差越大，選擇的圖像亮度在正常亮度區(qū)間分布越均勻。通過(guò)計(jì)算得出圖2(a)所示正常亮度區(qū)間標(biāo)準(zhǔn)差為36.582，圖2(c)為26.922，選取圖2(a)作為基準(zhǔn)圖像。從人眼觀察，圖2(a)曝光適宜，細(xì)節(jié)清楚，宜作為基準(zhǔn)圖像。實(shí)驗(yàn)結(jié)果符合視覺(jué)選取結(jié)果。

2.1.2 亮度差值的計(jì)算

采用SURF算法提取基準(zhǔn)圖像及待校正圖像的特征點(diǎn)并對(duì)特征點(diǎn)進(jìn)行配準(zhǔn)，結(jié)果如圖3。匹配特征點(diǎn)對(duì)在理想光照條件下具有相同的亮度，因此可通過(guò)匹配特征點(diǎn)對(duì)亮度差異衡量航拍圖像的亮度差異。統(tǒng)計(jì)基準(zhǔn)圖像及待校正圖像匹配特征點(diǎn)對(duì)亮度差{ΔI1, ΔI2,…,ΔIn}，計(jì)算亮度差平均值E和標(biāo)準(zhǔn)差σ：

圖3 匹配的特征點(diǎn)對(duì)Fig.3 Feature point pairs of matched image

位于(-2σ,2σ)區(qū)間外的亮度差對(duì)應(yīng)的匹配特征點(diǎn)對(duì)為誤匹配，將其去除。將亮度區(qū)間劃分為5 個(gè)區(qū)間，即低亮度區(qū)間[0,T1)、較低亮度區(qū)間[T1,T2)、正常亮度區(qū)間[T2,T3)、較高亮度區(qū)間[T3,T4)、和高亮度區(qū)間[T4,255](0 ≤T1≤T2≤T3≤T4≤255)。

文中將亮度區(qū)間劃分為[0，30)、[30，70)、[70，200)、[200，230)和[230，255]。統(tǒng)計(jì)匹配特征點(diǎn)對(duì)位于各區(qū)間的亮度差值，當(dāng)匹配特征點(diǎn)對(duì)不在同一區(qū)間時(shí)，以亮度基準(zhǔn)圖像特征點(diǎn)所在區(qū)間為準(zhǔn)，計(jì)算出各區(qū)間亮度差平均值ΔI。

2.1.3 亮度校正

計(jì)算亮度基準(zhǔn)圖像及待校正圖像的亮度差平均值ΔI 后，對(duì)待校正圖像進(jìn)行亮度校正。若只在重疊區(qū)域?qū)ΥＵ龍D像進(jìn)行亮度校正，得到的最終拼接圖像拼接縫過(guò)渡自然，但圖像兩端亮度差異明顯。因此，需對(duì)待校正圖像進(jìn)行整體亮度調(diào)整，將HSI空間轉(zhuǎn)換到RGB彩色空間以獲得均勻亮度的拼接圖像。亮度校正函數(shù)如下所示：

其中：I 表示待校正圖像亮度；I1表示需調(diào)整的亮度值。

以待校正圖像像素點(diǎn)亮度所在區(qū)間為基準(zhǔn)，待校正圖像像素點(diǎn)亮度I 需調(diào)整的亮度值為I1。值得注意的是，為增加圖像低亮度區(qū)域?qū)Ρ榷龋谳^低亮度區(qū)間將亮度變換函數(shù)設(shè)置為指數(shù)函數(shù)。根據(jù)本文劃分的亮度區(qū)間，亮度校正函數(shù)如下：

圖4 亮度校正函數(shù)示意圖Fig.4 Diagram of brightness correction function

根據(jù)式(7)，亮度校正示意圖如圖4。遍歷待校正圖像像素點(diǎn)，根據(jù)其亮度所在區(qū)間對(duì)待校正圖像各像素點(diǎn)調(diào)整亮度。

2.2 過(guò)渡區(qū)域的劃分

對(duì)航拍圖像進(jìn)行亮度校正可使待拼接圖像亮度大概一致，避免出現(xiàn)過(guò)明或過(guò)暗的情況。但亮度仍存在差異，直接縫合會(huì)出現(xiàn)拼接縫，因此仍需使用融合算法在圖像重疊區(qū)域劃分過(guò)渡區(qū)域。通常拉普拉斯金字塔在獲得最佳縫合線后需對(duì)整張圖像構(gòu)建金字塔，但亮度校正后不需對(duì)整張圖像構(gòu)建拉普拉斯金字塔，可在圖像重疊區(qū)域劃分過(guò)渡區(qū)域，如圖5。

圖5表示采用基于亮度校正的航拍圖像拼接融合算法拼接后的圖像。其中：a、b、c、d 表示圖像重疊區(qū)域；e、f 表示非重疊區(qū)域；L 表示縫合線。e、f 區(qū)域?yàn)榱炼刃Ｕ髮?duì)應(yīng)的原圖像，e 為拼接左圖，f 為拼接右圖。在b、c 區(qū)域采用拉普拉斯金字塔融合算法，在過(guò)渡區(qū)域a、d 采用加權(quán)平均融合算法。區(qū)域a、d、b ∪c 寬度分別為重疊區(qū)域?qū)挾鹊?/5、1/5、3/5。融合公式如下：

圖5 過(guò)渡區(qū)域的劃分Fig.5 Dividing of the transition area

其中：I(x,y)表示點(diǎn)(x,y)的像素值；Ie(x,y)表示拼接左圖像素值；If(x,y)表示拼接右圖像素值；de、df、db∪c分別表示點(diǎn)(x,y)距區(qū)域e、f、b ∪c 的距離；Ib∪c(x,y)表示采用拉普拉斯金字塔融合后的像素值。

3 實(shí)驗(yàn)結(jié)果及分析

為檢驗(yàn)本文所提算法的有效性，對(duì)航拍圖像(圖2(a)，(c))采用不同的算法進(jìn)行拼接。算法分別為直接拼接、基于最佳縫合線的拉普拉斯金字塔融合、亮度校正后直接拼接、亮度校正后重疊區(qū)域拉普拉斯金字塔融合以及基于亮度校正的圖像拼接融合等。以圖2(a)為亮度基準(zhǔn)圖像，圖2(c)為待校正圖像。實(shí)驗(yàn)計(jì)算機(jī)CPU為Inter(R)Core(TM)i5-2320，主頻為3.00，內(nèi)存為8 GB，Windows 10操作系統(tǒng)，VS2015開(kāi)發(fā)環(huán)境。實(shí)驗(yàn)結(jié)果如圖6～11。

圖6 直接拼接圖像Fig.6 Image of direct stitching

圖7 基于最佳縫合線的拉普拉斯金字塔算法拼接圖像Fig.7 Stitched image based on Laplacian pyramid algorithm with optimal seam

圖8 亮度校正后的拼接右圖Fig.8 Right image to be stitched after brightness correction

圖9 亮度校正后直接拼接的圖像Fig.9 Image of directly stitched after brightness correction

圖10 未劃分過(guò)渡區(qū)域的融合圖像Fig.10 Fusion image without transition region division

圖11 劃分過(guò)渡區(qū)域后的融合圖像Fig.11 Fusion image after transition region division

由圖6～11可看出：直接拼接圖像由色彩差異大的兩個(gè)色塊組成；采用基于最佳縫合線的拉普拉斯金字塔融合算法拼接圖像仍存在拼接縫，且拼接縫兩側(cè)存在明顯亮度差異；亮度校正后，拼接圖像拼接縫兩側(cè)亮度差異明顯小于未校正直接拼接圖像；在重疊區(qū)域進(jìn)行拉普拉斯金字塔融合后，拼接圖像出現(xiàn)明顯的黑邊，重疊區(qū)域內(nèi)出現(xiàn)明顯黑線；劃分過(guò)渡區(qū)域后，黑邊消失，拼接效果相較于采用基于最佳縫合線的拉普拉斯金字塔融合算法有明顯提升；對(duì)航拍圖像進(jìn)行亮度校正，可避免出現(xiàn)圖像過(guò)明或過(guò)暗的情況。

為進(jìn)一比較基于最佳縫合線的拉普拉斯金字塔融合算法及本文算法的拼接效果，計(jì)算兩種算法下圖像重疊區(qū)域峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)，結(jié)果如表1。其中：PSNR越大，圖像質(zhì)量越好；SSIM是根據(jù)圖像間結(jié)構(gòu)相似性評(píng)價(jià)拼接圖像，SSIM越大，圖像質(zhì)量越好。由表1可知，本文算法運(yùn)算時(shí)間和占用內(nèi)存明顯減小，其PSNR和SSIM均有提升，拼接圖像有更好的視覺(jué)效果。本文算法中，拉普拉斯金字塔并非針對(duì)整張圖像構(gòu)建，僅需在重疊區(qū)域構(gòu)造金字塔，故其在運(yùn)算時(shí)間和占用內(nèi)存方面較基于最佳縫合線的拉普拉斯金字塔融合算法有明顯提升。

表1 算法性能Tab.1 Performances of algorithms

4 結(jié) 論

提出一種基于亮度校正的航拍圖像拼接融合算法，在HSI空間對(duì)曝光差異較大的圖像進(jìn)行亮度校正，再對(duì)待拼接圖像重疊區(qū)域劃分過(guò)渡區(qū)域，并且在不同區(qū)域分別采用加權(quán)融合算法和拉普拉斯金字塔融合算法。實(shí)驗(yàn)結(jié)果表明，該算法能夠提高航拍圖像的拼接質(zhì)量，有效改善曝光差異，減少拼接時(shí)占用的內(nèi)存。但是，本文算法適用于較明亮的不同場(chǎng)景航拍圖像拼接，對(duì)于整體亮度很低的航拍圖像不具有通用性。下一步的研究是將自適應(yīng)校正不同亮度的航拍圖像，實(shí)現(xiàn)算法適用于復(fù)雜的外部環(huán)境。