一種改進(jìn)的拼接縫消除方法

龍永新，吳金津，文志強(qiáng)，王鵬程

（湖南工業(yè)大學(xué)計(jì)算機(jī)與通信學(xué)院，湖南株洲412007）

一種改進(jìn)的拼接縫消除方法

龍永新，吳金津，文志強(qiáng)，王鵬程

（湖南工業(yè)大學(xué)計(jì)算機(jī)與通信學(xué)院，湖南株洲412007）

針對(duì)線(xiàn)性加權(quán)平滑法找到的拼接縫兩邊的灰度差異較大，存在縫較明顯的問(wèn)題，提出最佳拼接縫的線(xiàn)性加權(quán)平滑法。該算法首先從圖像重疊部分的中間區(qū)域開(kāi)始選擇每行梯度和最小的像素作為最佳拼接點(diǎn)；同時(shí)，對(duì)于圖像受噪聲的影響，以及存在多個(gè)像素點(diǎn)最小“梯度和”相等的問(wèn)題，利用散度量進(jìn)一步檢查最佳拼接點(diǎn)，然后連接每行的最佳拼接點(diǎn)作為最佳拼接縫，最后使用線(xiàn)性加權(quán)平滑法消除拼接縫。試驗(yàn)結(jié)果表明，此方法使圖像重疊區(qū)域能平滑自然過(guò)渡，實(shí)現(xiàn)無(wú)縫拼接。

最佳拼接縫；線(xiàn)性加權(quán)平滑法；梯度；散度

0 引言

拼接縫消除技術(shù)是圖像融合中的關(guān)鍵技術(shù)。拼接縫是由于圖像在獲取過(guò)程中受到光照、拍攝時(shí)間、以及曝光差異等的影響，造成拼接圖像亮度在重疊區(qū)域左右兩側(cè)一定范圍內(nèi)不連續(xù)，即出現(xiàn)一條特別明顯的拼接縫[1]。 拼接縫的消除包括兩部分：一是尋找最佳拼接縫，二是消除拼接縫。

近年來(lái)，學(xué)者們提出了多種尋找最佳拼接縫的方法，如：1）基于灰度差和結(jié)構(gòu)差的尋找最佳拼接縫法[2]。該方法原理簡(jiǎn)單，但算法的精度在很大程度上取決于配準(zhǔn)算法的精度，當(dāng)配準(zhǔn)誤差大于2時(shí)，縫合線(xiàn)較難找準(zhǔn)確，從而導(dǎo)致拼接效果不理想。2）基于相關(guān)系數(shù)的遙感圖像拼接線(xiàn)檢測(cè)算法[3]。其基本思想是根據(jù)影像重疊區(qū)域內(nèi)兩幅影像對(duì)應(yīng)像素的相關(guān)系數(shù)大小來(lái)判斷其相關(guān)程度，并結(jié)合影像亮調(diào)的差異來(lái)選取最佳拼接縫。該方法對(duì)像素的精度要求較高，屬于遍歷式運(yùn)算，計(jì)算速度較慢。3）基于灰色理論的遙感圖像尋找最佳拼接縫法[4]。該方法原理簡(jiǎn)單，算法復(fù)雜度低，拼接圖像具有良好的視覺(jué)效果，但易出現(xiàn)折線(xiàn)的情況。

拼接縫的消除是圖像拼接過(guò)程中需要解決的重要問(wèn)題之一。拼接縫消除效果的好壞會(huì)直接影響圖像的視覺(jué)效果，甚至影響圖像后期的應(yīng)用。常見(jiàn)的消除重疊區(qū)域拼接縫的方法有線(xiàn)性加權(quán)平滑法和強(qiáng)制改正法[5]。其中，線(xiàn)性加權(quán)平滑法是在尋找到一個(gè)最佳拼接點(diǎn)之后，就把這個(gè)拼接點(diǎn)所在的整列作為最佳拼接縫進(jìn)行拼接，沒(méi)有考慮到拼接縫兩邊的灰度差異仍然很大，此種方法雖然有一定的平滑作用，但縫仍然較明顯[6]，因此，本文提出了最佳拼接縫的線(xiàn)性加權(quán)平滑法。試驗(yàn)結(jié)果表明，本文方法能在一定程度上能滿(mǎn)足最佳拼接縫兩側(cè)像素灰度差異盡量小的要求，使圖像重疊區(qū)域平滑自然過(guò)渡，實(shí)現(xiàn)無(wú)縫拼接，提高圖像的視覺(jué)效果。

1 尋找最佳拼接縫

圖像梯度和散度都反映了圖像灰度的變化[7]。梯度表示圖像中灰度變化的快慢。梯度值愈大，說(shuō)明該區(qū)域灰度變化愈劇烈；梯度值愈小，則說(shuō)明該區(qū)域灰度變化愈平緩，與周?chē)袼氐幕叶戎涤嘟?。散度描述了?shù)據(jù)的特征顯著性程度，即反映圖像中灰度變化大小和變化方向的分散程度。本文將梯度和散度用于圖像融合中，從圖像重疊的中間區(qū)域開(kāi)始，選取每行3*3鄰域內(nèi)梯度值之和最小的像素作為最佳拼接點(diǎn)；同時(shí)，考慮到圖像受噪聲的影響，以及存在像素點(diǎn)最小“梯度和”相等的情況，利用散度量對(duì)檢測(cè)出來(lái)的最佳拼接點(diǎn)作進(jìn)一步判定，即選擇灰度變化較緩慢以及分散程度較小的像素點(diǎn)，由此得到的拼接縫的兩側(cè)灰度差異較小且分散較集中，最后用線(xiàn)性加權(quán)平滑法對(duì)拼接縫進(jìn)行消除處理，能夠得到更加符合人們視覺(jué)特性的融合圖像。

梯度是表示圖像重疊區(qū)域T(x, y)在像素點(diǎn)(x, y)的最大方向?qū)?shù)的方向，即

式中：Tx為像素點(diǎn)(x, y)在x方向上的梯度；

Ty為像素點(diǎn)(x, y)在y方向上的梯度。

像素點(diǎn)(x, y)的梯度模值為

為了避免拼接縫出現(xiàn)上下兩行拼接點(diǎn)的位置相差較遠(yuǎn)的情況，設(shè)定了閾值K來(lái)限制選取最佳拼接點(diǎn)的范圍。閾值K一般取1～5之間，本文選取K=3。

尋找最佳拼接線(xiàn)的步驟如下：從圖像重疊區(qū)域的中間區(qū)域中，計(jì)算3*3鄰域內(nèi)的像素的梯度和（見(jiàn)圖1），選擇梯度和最小點(diǎn)作為拼接縫的起始位置，設(shè)其位置為j，以后每行都以上一行或者下一行已經(jīng)確定的位置j所在的列兩側(cè)的K個(gè)點(diǎn)中，尋找梯度和最小的像素點(diǎn)作為該行的拼接點(diǎn)，除起始行外，其余每行的拼接點(diǎn)都是從區(qū)域K內(nèi)選擇，以避免上下行之間灰度差異較大而造成新的裂縫；為解決由于圖像受噪聲的影響，容易將噪聲點(diǎn)作為拼接點(diǎn)，以及同一行存在多個(gè)最小梯度和相等的問(wèn)題，利用散度量對(duì)圖像中的拼接點(diǎn)作進(jìn)一步檢測(cè)，即通過(guò)比較其散度量，取3*3鄰域散度值之和最小的像素作為拼接點(diǎn)，若幾個(gè)像素點(diǎn)的梯度和與散度和都相等，取距離上一行或下一行所在的列最近的點(diǎn)作為最佳拼接點(diǎn)；所有行的最佳拼接點(diǎn)找到后，連接這些拼接點(diǎn)作為最佳拼接縫，最后使用線(xiàn)性加權(quán)平滑法去除拼接縫。

圖1 像素點(diǎn)3*3鄰域的8個(gè)方向圖Fig.1Diagram for eight directions of pixels 3*3 neighborhood

2 介紹線(xiàn)性加權(quán)平滑法

線(xiàn)性加權(quán)平滑法是圖像融合的常用經(jīng)典算法之一。因此，本文對(duì)圖像重疊區(qū)域采用線(xiàn)性加權(quán)平滑法。該算法的思想是將重疊圖像的左區(qū)域慢慢過(guò)渡到右區(qū)域，重疊后的像素點(diǎn)數(shù)值為

式中：p為圖像漸變系數(shù)，由p=i/d得到，其中，d為圖像重疊區(qū)域?qū)挾?，i(0＜i＜d-1)為重疊區(qū)域?qū)?yīng)的列序號(hào)，因此p的取值范圍為0＜p＜1；

L_P為左區(qū)域的某像素點(diǎn)的數(shù)值；

R_P為L(zhǎng)_P在右區(qū)域?qū)?yīng)的像素點(diǎn)的數(shù)值。

圖像的重疊部分由左邊重疊區(qū)域漸進(jìn)過(guò)渡到右邊重疊區(qū)域，如圖2所示。圖中，陰影部分為圖像的重疊區(qū)域，圖像1中某點(diǎn)L_P和圖像2中對(duì)應(yīng)的R_P經(jīng)過(guò)融合之后其像素值為P。

圖2 圖像平滑示意圖Fig.2Schematic diagram for image smooth

3 試驗(yàn)結(jié)果及分析

本試驗(yàn)平臺(tái)的操作系統(tǒng)為WIN 7 XI，CPU為AMD Athlon(tm) Dual-Core CPU T4400 @ 2.20 GHz，內(nèi)存為2 G。編程環(huán)境為 MATLAB 7.0。

將線(xiàn)性加權(quán)的圖像拼接縫消除方法與本文所提的最佳拼接縫的線(xiàn)性加權(quán)平滑法進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)結(jié)果證明，本方法實(shí)現(xiàn)了無(wú)縫拼接，圖像重疊區(qū)域能平滑過(guò)渡。

試驗(yàn)一是2幅從不同角度拍攝的湖南工業(yè)大學(xué)校門(mén)圖像，圖像大小為570×570像素，如圖3所示。經(jīng)2種算法處理后的效果圖如圖4所示。

試驗(yàn)二是從不同角度拍攝的2幅圖像，圖像大小為420×279像素，如圖5所示。經(jīng)2種算法處理后的效果圖如圖6所示。

從圖4a, 6a兩幅拼接圖像可以看出，利用線(xiàn)性加權(quán)的圖像拼接方法對(duì)2幅圖像進(jìn)行拼接，在重疊區(qū)域臨界處會(huì)產(chǎn)生明顯的拼接縫，影響視覺(jué)效果。而本文針對(duì)此算法進(jìn)行了改進(jìn)，從圖4b, 6b可以看出，利用最佳拼接縫的線(xiàn)性加權(quán)平滑法對(duì)2幅圖像進(jìn)行拼接，不存在明顯的拼接縫，圖像重疊區(qū)域能平滑過(guò)渡，實(shí)現(xiàn)了無(wú)縫拼接，達(dá)到了圖像鑲嵌的準(zhǔn)則，視覺(jué)效果良好。

圖3 試驗(yàn)一的2幅待拼接圖像Fig.3Two stitching images of experiment one

圖4 試驗(yàn)一的拼接效果對(duì)比圖Fig.4The comparison chart for stitched effect of experiment one

圖5 試驗(yàn)二的2幅待拼接圖像Fig.5Two stitching images of experiment two

圖6 試驗(yàn)二的拼接效果對(duì)比圖Fig.6The comparison chart for stitched effect of experiment two

4 結(jié)語(yǔ)

通過(guò)對(duì)線(xiàn)性加權(quán)平滑法的深入研究，針對(duì)此方法在圖像拼接容易形成拼接縫的問(wèn)題，提出最佳拼接縫的線(xiàn)性加權(quán)平滑法。將線(xiàn)性加權(quán)平滑法與本文所提算法進(jìn)行對(duì)比試驗(yàn)，試驗(yàn)結(jié)果表明：本算法能較好地消除拼接縫，得到符合人們視覺(jué)效果的拼接圖像。

[1]Hayat K，Puech W，Gesquiere G. Seamless Heterogeneous Tessellation via Smoothing and Mosaicking in the DWT Domain[C]//Proceeding of SPIE. San Jose：[s. n.]，2010：1-8.

[2]方賢勇，潘志庚，徐丹.圖像拼接的改進(jìn)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2003，15(11)：1362-1365. Fang Xianyong，Pan Zhigeng，Xu Dan. An Improved Algorithm for Image Mosaics[J]. Journal of Computer-Aided Design & Computer Graphics，2003，15(11)：1362-1365.

[3]王軍，朱寶山，朱述龍，等. 基于相關(guān)系數(shù)的遙感圖像拼接線(xiàn)檢測(cè)算法[J]. 測(cè)繪與空間地理信息，2011，34 (3)：151-153. Wang Jun，Zhu Baoshan，Zhu Shulong，et al. A Stitching Line Detection Algorithm of Remote Sensing Image Based on Correlation Coefficient[J]. Geomatics & Spatial Information Technology，2011，34(3)：151-153.

[4]溫紅艷，周建中. 基于灰色理論的遙感圖像最佳鑲嵌線(xiàn)檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用，2009，45(15)：31-33. Wen Hongyan，Zhou Jianzhong. Optimal Seam Line Detection Algorithm of Remote Sensing Image Mosaic Based on Gray System Theory[J]. Computer Engineering and Applications，2009，45(15)：31-33.

[5]周春江，徐麗華. 遙感影像鑲嵌中拼接縫消除方法研究[J]. 西南大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，32(9)：136-140. Zhou Chunjiang，Xu Lihua. Study on Seam-Line Removal Under Mosaicking of Remote Sensing Images[J]. Journal of Southwest University：Natural Science Edition，2010，32 (9)：136-140.

[6]史金霞，王錚. 一種拼接縫消除方法[J]. 現(xiàn)代電子技術(shù)，2005(13)：116-120. Shi Jinxia，Wang Zheng. A Method of Seam-Line Elimination[J]. Modern Electronics Technique，2005(13)：116-120.

[7]楊朝霞，逯峰，李岳生. 圖像梯度與散度計(jì)算及在邊緣提取中的應(yīng)用[J]. 中山大學(xué)學(xué)報(bào)：自然科學(xué)版，2002，41(6)：6-9. Yang Zhaoxia，Lu Feng，Li Yuesheng. Computation of Image Gradient and Divergence and Their Application to Edge Detection of Noisy Images[J]. Acta Scientiarum Naturalium Universitatis Sunyatseni，2002，41(6)：6-9.

（責(zé)任編輯：鄧彬）

An Improved Seam-Line Removal Algorithm

Long Yongxin，Wu Jinjin，Wen Zhiqiang，Wang Pengcheng
（School of Computer and Communication，Hunan University of Technology，Zhuzhou Hunan 412007，China）

As the linear weighted smoothing method causes obvious seam-line due to large gray difference between the two images, a linear weighted smoothing algorithm for the optimal stitching-line removal is proposed. The algorithm first selects each line gradient and the smallest pixels from the middle of the overlapping area of the image as optimal stitching point, and as for the image affected by noise and the problems of multiple pixels minimum“gradient sum”equal, uses divergence metric to check the optimal stitching point, then connects optimal stitching point of each line as a best seam, at last applies linear weighted smoothing algorithm to remove stitching line. The experimental result shows that the proposed method achieves image overlap region smooth transition and seamless stitching.

optimal seam-line；linear weighted smoothing algorithm；gradient；divergence

TP751

A

1673-9833(2014)05-0089-04

10.3969/j.issn.1673-9833.2014.05.018

2014-08-07

國(guó)家自然科學(xué)基金資助項(xiàng)目（61170102），湖南省科技發(fā)展基金資助項(xiàng)目（2011GK3145），湖南省教育廳科學(xué)研究基金資助項(xiàng)目（12A039），湖南省自然科學(xué)基金資助項(xiàng)目（12JJ2036）

龍永新（1966-），男，湖南益陽(yáng)人，湖南工業(yè)大學(xué)副教授，碩士生導(dǎo)師，博士，主要從事智能信息處理和數(shù)字圖像處理方面的教學(xué)與研究，E-mail：1525127621@qq.com