遙感圖像拼接中改進(jìn)的圖像預(yù)處理算法研究?

么鴻原 王海鵬 林雪原 潘新龍

（海軍航空大學(xué) 煙臺 264000）

1 引言

無人機(jī)具有體積小、時效性強(qiáng)、操作靈活、成本低等優(yōu)點(diǎn)，其航拍遙感技術(shù)被廣泛應(yīng)用于災(zāi)害監(jiān)測、環(huán)境偵察等方面［1～3］。遙感圖像預(yù)處理作為無人機(jī)圖像拼接的第一環(huán)節(jié)，其處理效果會直接影響到后續(xù)拼接的速度、配準(zhǔn)準(zhǔn)確度以及圖像拼接質(zhì)量。

受限于無人機(jī)的飛行高度低、體積小、重量輕導(dǎo)致的抗風(fēng)能力差、數(shù)碼攝像頭焦距不足等因素的限制，無人機(jī)遙感技術(shù)所拍攝的圖像往往像幅小、數(shù)據(jù)量大；雖然大多數(shù)無人機(jī)均裝載了陀螺儀以穩(wěn)定重心，但在無人機(jī)圖像采集過程中無法避免的會因顛簸、抖動等因素引起航拍圖像的幾何畸變；并且數(shù)碼相機(jī)的成像過程也有可能產(chǎn)生不同程度的幾何畸變，這些變形會直接影響后續(xù)的圖像特征采集與配準(zhǔn)，因此在預(yù)處理過程中進(jìn)行有效的畸變校正極為重要。除去畸變因素，無人機(jī)遙感圖像還會受到諸多環(huán)境變量的影響，如光照、煙霧等，這也導(dǎo)致了即使是相鄰多幅圖像之間，也會存在較大的亮度差異和色調(diào)差異，這些也會影響到特征點(diǎn)檢測的準(zhǔn)確度以及最后圖像融合的質(zhì)量，因此在預(yù)處理階段中引入勻光處理十分必要。在任何圖像采集過程中，噪聲干擾都是需要考慮的因素，本文所提出的基于圖像銳化的平滑處理能夠有效地去除噪聲并增強(qiáng)圖像細(xì)節(jié)［2］，為下一步特征配準(zhǔn)打下良好的基礎(chǔ)。

2 航拍圖像的畸變校正

在無人機(jī)圖像采集過程中受飛行因素或相機(jī)因素影響，圖像中的整體或局部有可能會存在一定程度的幾何畸變，因此在預(yù)處理過程中進(jìn)行有效的畸變校正極為重要。

畸變校正又稱幾何校正，指的是消除圖像中幾何變形的過程。其主要包含兩個步驟［4］：1）建立畸變圖像與未畸變圖像之間的映射關(guān)系；2）對未畸變圖像進(jìn)行重采樣。

畸變校正所需的數(shù)據(jù)可以通過查詢相機(jī)參數(shù)獲得，設(shè)徑向畸變系數(shù)為K1、K2，像主點(diǎn)的坐標(biāo)為O(x0，y0)，偏心畸變參數(shù)為 P1、P2。假設(shè) P(xi，yi)為畸變圖像中的一個像素點(diǎn)，則像素點(diǎn)的坐標(biāo)變形可以由式（1）表示。

其中，x=xi-x0，y=yi-y0，r2=x2+y2。

因此，如果畸變圖像中P點(diǎn)在畸變矯正結(jié)果中對應(yīng)的點(diǎn)為 P′(xj，yj)，那么，P′的坐標(biāo)可由式（2）求出。

確定了畸變前后圖像的映射關(guān)系后，由于映射到畸變矯正結(jié)果上的像素點(diǎn)不一定是整數(shù)點(diǎn)，所以需要對畸變校正后的圖像進(jìn)行重采樣。設(shè)畸變圖像的像素點(diǎn)P，在校正結(jié)果中對應(yīng)的點(diǎn)P′的坐標(biāo)是(i +u，j+v)。式（3）表示的是 P′的像素值。其中，i，j代表像素點(diǎn)行和列的整數(shù)部分，u，v是相應(yīng)像素點(diǎn)的小數(shù)部分。

式（3）中 ， f(i ， j) ， f(i +1，j) ， f(i ， j+1) ，f(i +1，j+1)分別為畸變圖像上像點(diǎn) P1，P2，P3，P4的像素值。利用式（3）可以完成對畸變圖像的校正。

圖1為航拍圖像畸變校正的原圖和校正結(jié)果。由圖1可以看出，經(jīng)過畸變校正，圖像中線條的曲度發(fā)生較為明顯的變化。由此說明了本文提出的畸變校正算法真實(shí)有效，能夠很好地實(shí)現(xiàn)畸變圖像的校正。

圖1 畸變校正前（左）后（右）對比圖

3 航拍圖像的勻光處理

航拍圖像由于受到云層、煙霧、光照等影響，在亮度、色調(diào)、反差等方面存在一定差異，這種差異叫做不均勻光照。而不均勻光照對特征提取存在一定影響，同時也會對圖像融合造成一定程度的影響［5］。所以在圖像預(yù)處理過程中需要對航拍圖像做勻光處理。圖像的直方圖代表的是圖像的統(tǒng)計(jì)特征，它代表的是數(shù)字圖像中每一灰度級與該灰度級出現(xiàn)的像素?cái)?shù)或頻數(shù)之間的數(shù)學(xué)統(tǒng)計(jì)關(guān)系。相鄰的兩幅航拍圖像由于拍攝位置、時間的差異可能會導(dǎo)致其直方圖也存在很大區(qū)別。但是，理論上說，相鄰兩幅航拍圖像存在一定比例的重疊部分，直方圖的相似度應(yīng)該很高［6］。所以，可以在圖像預(yù)處理的過程中，通過采用直方圖配準(zhǔn)的方式使相鄰兩幅航拍圖像的直方圖趨于一致，由此完成兩幅圖像間的勻光處理。采用直方圖配準(zhǔn)的方式進(jìn)行勻光處理的基本思想是：首先計(jì)算出參考圖像的直方圖，然后根據(jù)參考圖像的直方圖信息對待校正圖像的直方圖進(jìn)行校正，使得待校正圖像的直方圖與參考圖像的直方圖大體上趨于一致，最終實(shí)現(xiàn)航拍圖像的勻光處理［7］。圖2中兩幅圖像分別為參考圖像和待校正的圖像，可以明顯看出兩幅圖像的光照不一致。

圖2 參考圖像（左）和待校正圖像（右）

其中，參考圖像和待校正圖像對應(yīng)的直方圖如圖3所示。從圖3中可以看出，兩幅圖像的直方圖形狀大體上相似，但是參考圖像的直方圖像素頻數(shù)分布更加均勻，待校正圖像的直方圖像素集中在中部，兩邊的像素比較少。這說明兩幅圖像還在色調(diào)和亮度上存在一定差異，有必要對待配校正像進(jìn)行勻光處理。

圖3 參考圖像（左）與待校正圖像（右）的直方圖

根據(jù)參考圖像的直方圖，對待校正圖像進(jìn)行勻光處理，可得到勻光后的圖像以及其對應(yīng)的直方圖，如圖4所示。從圖中可以看出勻光校正［8］后的圖像和參考圖像在色調(diào)和亮度上更加一致，處理結(jié)果對應(yīng)直方圖的分布也更加均勻，達(dá)到了預(yù)期的效果。

圖4 勻光校正結(jié)果圖（左）與校正后直方圖（右）

由實(shí)驗(yàn)結(jié)果可以觀察到，根據(jù)參考圖像的直方圖，對待校正進(jìn)行直方圖配準(zhǔn)，配準(zhǔn)后的結(jié)果在色調(diào)和亮度上與原始圖像相比產(chǎn)生了明顯變化，與參考圖像的色調(diào)和亮度更加接近。同時，參考圖像和待校正圖像的直方圖分布也存在很大差異，而經(jīng)過配準(zhǔn)后的圖像在直方圖分布上和參考圖像也更為接近。由此可以看出，利用本文直方圖均衡方法可以很好地實(shí)現(xiàn)對原始的航拍圖像進(jìn)行勻光處理，使航拍圖像色調(diào)和亮度更為接近，直方圖分布也更為一致，實(shí)驗(yàn)效果較為理想，具有一定的可行性。

4 改進(jìn)的平滑處理

無人機(jī)航拍所采集的遙感圖像可能會受到噪聲干擾，如高斯噪聲、椒鹽噪聲等；噪聲的存在會對接下來的特征提取的速度與特征配準(zhǔn)的準(zhǔn)確度造成一定的影響，影響圖像拼接結(jié)果，因此我們需要進(jìn)行有效的處理以消除圖像中的噪聲干擾［9］。圖像平滑是指直接對源圖像數(shù)據(jù)做空間變換以達(dá)到平滑的目的［3］，這種計(jì)算通常也被稱作模糊或?yàn)V波，常見的平滑處理有盒濾波、均值濾波、中值濾波、高斯濾波、雙邊濾波等［10］。

均值濾波又稱鄰域平均法，算法簡單，計(jì)算速度快，但不能很好地保護(hù)圖像細(xì)節(jié)，在去噪時也破壞了圖像細(xì)節(jié)和邊緣信息導(dǎo)致圖像模糊。中值濾波在邊界的保存方面優(yōu)于均值濾波，畫面清晰度基本得到保持，但在圖像模板太大時，仍會存在一定的模糊［11］；相對于均值濾波和中值濾波，高斯平滑的平滑效果更柔和，而且邊緣保留的也更好［12］。因此本文選擇高斯濾波法作為平滑方法并進(jìn)行改進(jìn)。

高斯濾波是將輸入數(shù)組的每一個像素點(diǎn)與高斯內(nèi)核進(jìn)行卷積計(jì)算，將卷積和作為輸出像素值。假設(shè)構(gòu)造寬（列數(shù)）為W、高（行數(shù)）為H的高斯卷積算子gaussKernelH×W［13］，其中W和H均為奇數(shù)，錨點(diǎn)位置在，計(jì)算高斯矩陣如式（4）所示，其中g(shù)aussr，c代表位置索引，且r，c均為整數(shù)。

所以在對圖像進(jìn)行高斯平滑時，可以根據(jù)same卷積的結(jié)合律和卷積核的分離性對圖像先進(jìn)行一維水平方向上的高斯平滑［14］，然后在進(jìn)行一維垂直方向上的高斯平滑，反過來也可以；因此高斯平滑的平滑效果更柔和，邊緣、細(xì)節(jié)等信息保留的也更好。

高斯平滑處理結(jié)果如圖5所示，從圖中可以看出，高斯濾波能夠消除圖像中的孤立點(diǎn)與線段，并且較好的去除高斯噪聲及椒鹽噪聲（受篇幅限制，本文只給出高斯噪聲濾波結(jié)果）。

圖5 帶有高斯噪聲圖像平滑前（左）后（右）的對比

對于無人機(jī)遙感圖像拼接而言，高斯平滑后雖然能夠去除圖像中的噪點(diǎn)，但是通過將圖像轉(zhuǎn)化為灰度圖并放大后，可以發(fā)現(xiàn)多次的高斯平滑處理，會導(dǎo)致圖像對比度較低，圖像中的細(xì)節(jié)變模糊，且在圖像拼接中，接下來還會通過構(gòu)造高斯金字塔［15］來完成特征檢測與提取，在這一步驟中還會進(jìn)行多次平滑處理，這將會導(dǎo)致圖像平滑過渡，對比度更低，細(xì)節(jié)更加模糊，反而使特征點(diǎn)提取數(shù)目變少，配準(zhǔn)準(zhǔn)確率變低；因此，我們需要對平滑處理算法進(jìn)行了相應(yīng)改進(jìn)。

由前面提到的平滑處理可知，圖像的模糊受到兩方面影響：1）圖像自身因素；2）平滑處理過程中對圖像數(shù)據(jù)進(jìn)行了一系列運(yùn)算。從第二點(diǎn)出發(fā)進(jìn)行考慮，若想增強(qiáng)平滑后圖像的細(xì)節(jié)，那么對平滑后的圖像進(jìn)行與平滑算法相對應(yīng)的反向運(yùn)算即可，即對高斯平滑后得到的圖像I( )x，y與矩陣F進(jìn)行卷積，如式（7）所示，此時得到的新圖像通過放大觀察細(xì)節(jié)發(fā)現(xiàn)明顯清晰了許多的同時，噪聲點(diǎn)也并未出現(xiàn)。

式（8）中的F為自定義的銳化濾波器，其實(shí)質(zhì)上是一種微分算子。

操作結(jié)果對比如圖6所示。

圖6 灰度圖像銳化濾波前（左）后（右）對比圖

5 結(jié)語

本文主要研究了航拍圖像預(yù)處理中遇到的圖像噪聲大、光照差異大、視野中景物存在畸變、圖像不清晰等問題。通過分析航拍圖像產(chǎn)生畸變的原因，找到了校正畸變的方法，并驗(yàn)證了畸變校正算法的有效性。然后采用直方圖配準(zhǔn)法對原始圖像進(jìn)行了勻光處理，實(shí)驗(yàn)表明，本文采用的直方圖配準(zhǔn)法能夠有效地統(tǒng)一兩幅航拍圖像的色調(diào)和亮度，達(dá)到了預(yù)期的效果。最后針對遙感圖像經(jīng)平滑去噪后圖像細(xì)節(jié)不明顯的問題，提出了基于圖像銳化的高斯平滑處理，增強(qiáng)遙感影像的細(xì)節(jié)。實(shí)驗(yàn)表明，改進(jìn)的高斯平滑算法可以有效地消除圖像中的噪聲，并能夠很好地保留圖像邊緣信息，獲得較理想的效果；在后期進(jìn)行特征提取時，采用本文所提預(yù)處理算法后提取到的特征點(diǎn)數(shù)目比起采取其他常規(guī)圖像預(yù)處理算法后提取到的數(shù)目平均增加了約16%左右，下一階段應(yīng)重點(diǎn)對算法運(yùn)行時間進(jìn)行研究改進(jìn)。