提高“天繪一號”衛(wèi)星條帶影像拼接精度的技術探討

程家勝 穆春迪 李揚 姜艷媛

?

提高“天繪一號”衛(wèi)星條帶影像拼接精度的技術探討

程家勝 穆春迪 李揚 姜艷媛

（中國天繪衛(wèi)星中心，北京 102102）

“天繪一號”衛(wèi)星2m全色相機焦平面共8片TDI-CCD器件，分上下兩行品字形交錯排列組成。目前地面處理系統(tǒng)采用基于SIFT特征點匹配的分段線性拼接算法，將8片條帶影像進行拼接。然而受地形起伏、云層移動、影像對比度等多種因素影響，易出現(xiàn)局部拼接錯位現(xiàn)象，條帶拼接精度不高，降低了衛(wèi)星的使用性能。為解決上述問題，文章重點分析了影響拼接精度的因素，并提出了基于分段線性拼接和拼接區(qū)域邏輯自適應影像增強技術的影像拼接方法。經過大量試驗驗證，該方法有效地解決了長條帶影像拼接參數(shù)不一致、拼接區(qū)域影像對比度不高等問題，提高了器件片間拼接精度，在“天繪一號”衛(wèi)星條帶影像的拼接中取得了良好的應用效果。

尺度不變的特征轉換算法 分段線性拼接 影像增強 “天繪一號”衛(wèi)星 空間遙感應用

0 引言

時間延遲積分電荷藕合器件圖像傳感器（Time Delay Integration Charge Coupled Device，TDI-CCD）是一種面陣結構、線陣輸出的新型CCD，由于單片TDI-CCD像素個數(shù)有限，在相機設計時，為解決空間分辨率和成像幅寬的矛盾，需將多片TDI-CCD連接排列。“天繪一號”衛(wèi)星2m全色相機焦面共8片TDI-CCD，采用視場中心線兩側分上下兩行交錯排列，相鄰TDI-CCD器件的視場拼接方式分兩排安裝。星下采用基于尺度不變特征轉換（Scale-Invariant Feature Transform，SIFT）算法在相鄰TDI-CCD影像上提取匹配點，統(tǒng)計得到片間水平偏移量和垂直偏移量，然后依次對相鄰兩片影像進行拼接處理，以形成覆蓋整個相機有效視場的連續(xù)無縫的掃描景[1-3]。但在實際應用中發(fā)現(xiàn)，受地形起伏、云層移動、影像對比度等因素影響，拼接精度不高，降低了衛(wèi)星的使用效能。文獻[4-6]提出基于SIFT的圖像匹配算法，但算法針對全部圖像采用同一拼接參數(shù)，不適用于長條帶影像；文獻[7]提出了一種基于RANSAC （Random Sample Consensus）特征點提純技術的SIFT匹配算法，雖然算法匹配精確度較好，但復雜度較高，不適用于長條帶遙感影像處理；文獻[8-10]提出了一種簡化SIFT算法，但算法對低對比度影像處理效果有限。

因此，本文重點分析了影響拼接精度的因素，并提出通過引入分段線性拼接、拼接區(qū)域邏輯自適應影像增強技術提高拼接精度。經驗證，該方法有效提高了產品的拼接精度，并在“天繪一號”衛(wèi)星條帶影像的拼接中取得了良好的應用效果。

1 SIFT算法簡介

由于SIFT算法在相關文獻上有詳細介紹，本文只結合其在“天繪一號”衛(wèi)星條帶拼接中的具體應用進行簡單介紹。

SIFT特征匹配方法，是由Lowe在總結現(xiàn)有的基于變量技術的特征提取方法基礎上，提出的一種基于尺度空間局部特征的描述算子[11]，該算子對于匹配圖像間的旋轉、平移、拉伸等仿射變換具有良好的魯棒性?！疤炖L一號”衛(wèi)星基于SIFT算法的條帶拼接流程主要環(huán)節(jié)如圖1所示，圖中虛線框內的主要步驟是經典的SIFT算法[12]，由于“天繪一號”衛(wèi)星相機結構的特殊性，在SIFT算法需找到匹配點后，分段對影像進行拼接，并對拼接接縫處進行了灰度平滑處理。

圖1 SIFT算法主要環(huán)節(jié)

（1）尺度空間極值檢測

尺度空間（scale space）是一個抽象的框架，從算法的觀點看是濾波器的迭代，尺度空間理論的目的是模擬影像數(shù)據的多尺度特征。高斯卷積核是實現(xiàn)尺度變換的唯一線性核，二維影像的尺度空間函數(shù)(,,)定義為：

式中(,)代表影像；(,,)是尺度可變高斯函數(shù)，其表達式如下：

式中 (,)是像素點的空間坐標；是尺度坐標。

（2）尺度空間關鍵點提取

由于關鍵點的提取是在尺度空間中進行的，相比較傳統(tǒng)特征點的檢測方法，SIFT特征點不僅包含了點影像坐標，還包含了尺度。為了進一步增強匹配穩(wěn)定性、提高抗噪聲能力，SIFT算法采用了多種處理方法實現(xiàn)特征點的亞像素精度定位，同時去除了容易受噪聲影響的低對比度的關鍵點和不穩(wěn)定的邊緣響應點[15-18]。

（3）關鍵點方向分配

利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù)，使算子具備旋轉不變性。

式中(,)為(,)處梯度的模值；(,)為(,)處方向公式。其中函數(shù)所用的尺度為每個關鍵點各自所在的尺度。

（4）特征點匹配

當生成了兩幅影像的SIFT特征向量，利用關鍵點特征向量的歐氏距離作為相似性度量。取影像1中的某個關鍵點，并找出其與影像2中歐氏距離最近的兩個關鍵點。在這兩個關鍵點中，若最近距離與次近距離比值小于設定的閾值，則認為它們是一對匹配點。降低這個比例閾值，SIFT匹配點數(shù)目會減少，但更加穩(wěn)定。

（5）剔除誤匹配點

由于影像中的噪聲等因素干擾，通過SIFT所提取的特征點對并不都正確。對于錯誤的特征點在求解幾何變換參數(shù)時影響很大，所以需要采取一定的措施剔除無效的干擾點對（干擾點對：指算法判定當前點為匹配點，但實質上是錯誤匹配的點），即所謂的外點?！疤炖L一號”衛(wèi)星采用RANSAC算法剔除誤匹配點，RANSAC算法是根據一組包含異常數(shù)據的樣本數(shù)據集，計算出數(shù)據的數(shù)學模型參數(shù)，得到有效樣本數(shù)據的算法。RANSAC是一種具有魯棒性的參數(shù)估計方法，可以處理外點比例大于50%的數(shù)據集。

2 影響拼接精度原因分析

由于影響“天繪一號”衛(wèi)星條帶拼接精度的因素與相機的安裝結構有很強的相關性，所以在分析影響拼接精度原因之前，先介紹“天繪一號”衛(wèi)星2m分辨率全色相機的TDI-CCD器件物理安裝結構。

“天繪一號”衛(wèi)星2m分辨率全色相機焦面共有8片TDI-CCD器件，采用視場中心線兩側分上下兩行交錯排列，相鄰兩TDI-CCD器件搭接96個像素，兩行CCD器件中軸線間距為2 114個像素。其幾何關系如圖2所示。

圖2 TDI-CCD器件安裝示意

衛(wèi)星攝影期間需進行偏流角控制，保證相鄰兩片TDI-CCD器件間的搭接像素數(shù)量，便于影像拼接處理。

（1）地形起伏對拼接精度的影響

在衛(wèi)星推掃成像過程中，由于地形起伏，導致傳感器空間成像的幾何關系產生改變，所拍攝的影像也產生了相應的形變，這種形變是引起拼接誤差的主要因素之一，稱之為像點位移。針對“天繪一號”衛(wèi)星，經推算，地形起伏每增加233m，線陣之間就會錯位1個像素。

（2）云層移動對拼接精度的影響

云的移動速度一般為10m/s~30m/s左右，最大云速可以達到49m/s。通過計算得到，對于一般的云速，同一塊云所成像的位置差異達到3.23~9.68個像素點，當云速最大時，最大位置差異可達16個像素點?？梢姡僭O在相鄰兩片CCD進行拼接時，在重疊區(qū)域中有云層存在，并且在云上或云的周圍找到特征點時，那么通過這些特征點得到的拼接參數(shù)會對拼接精度產生較大影響。

如果公益性的勞務派遣制度能夠切實執(zhí)行上述功能，那么其最顯著的效果將是保護農民免受損失，使其不至于返貧，從長遠看，也有利于移民的非農就業(yè)正?；?。

（3）對比度對拼接精度的影響

對于兩片CCD器件之間的重疊區(qū)域地物變換不明顯，或者由于大氣干擾、探元響應度較低等因素造成影像質量下降，此時通過SIFT算法提取的特征點數(shù)較少，甚至部分重疊區(qū)無法找到有效的匹配點對。另外，“天繪一號”衛(wèi)星獲取的部分高緯度地區(qū)影像，由于太陽高度角低，影像整體較暗，條帶拼接精度也較差。通過對拼接過程數(shù)據的分析，結合SIFT算法原理發(fā)現(xiàn)，SIFT算法尋找特征點的核心主要是依據灰度梯度的變化。對于整體灰度值偏暗、對比度低的影像，重疊區(qū)域內找到的特征點較少，經過粗差剔除后剩下的較少匹配點方差較大，導致最終計算出的片間拼接參數(shù)不準確，影響了圖像的拼接精度。

3 提高拼接精度的主要技術途徑

影響“天繪一號”衛(wèi)星2m分辨率全色相機影像條帶間拼接精度的因素是多方面的，本節(jié)主要針對地形起伏、對比度低的問題，提出了分段線性拼接、拼接區(qū)域邏輯自適應增強技術，并進行試驗驗證。

（1）分段線性拼接技術

由于“天繪一號”衛(wèi)星2m分辨率全色相機的單景影像行數(shù)較大，加之受衛(wèi)星平臺穩(wěn)定性、偏流角控制精度、地形起伏等因素的影響，往往導致每景影像用一個統(tǒng)一的拼接參數(shù)無法達到較好的拼接效果，即出現(xiàn)局部拼接錯位的現(xiàn)象，如圖3所示。

圖3 整景采用統(tǒng)一參數(shù)拼接效果

因此，在“天繪一號”衛(wèi)星2m分辨率全色相機影像條帶拼接時，采用了分段擬合的方法來解決拼接參數(shù)不一致的問題。影像拼接方法詳見圖4。

圖4 基于SIFT算法的影像拼接流程

采用分段線性拼接技術后，作者選取了部分拼接精度達到指標要求的影像，并計算出每段的拼接參數(shù)。結果發(fā)現(xiàn)，每段的拼接參數(shù)有一定的波動，總體呈現(xiàn)緩慢變化的趨勢，所以進一步得出“天繪一號”衛(wèi)星必須采用分段線性拼接的方式，整景采用統(tǒng)一的參數(shù)必然導致局部拼接精度不高的結論。

3.2 拼接區(qū)域邏輯自適應增強技術

SIFT算法的核心是根據影像灰度的變化尋找特征點，提高影像的對比度，有利于特征點的尋找，進而可提高拼接精度。基于這一思想，在“天繪一號”衛(wèi)星條帶拼接處理之前，先對待拼接區(qū)域影像進行自適應邏輯影像增強，提高影像的對比度。

本文先建立直角坐標系，設定CCD相機安裝面為軸、衛(wèi)星飛行方向為軸（此處軸、軸的定義主要是依據相機的物理結構和衛(wèi)星的飛行方向定義）。預處理系統(tǒng)接收到條帶影像后，首先根據相機的物理結構讀取相鄰兩條帶的重疊區(qū)，“天繪一號”衛(wèi)星相鄰兩條帶軸方向重疊96個像素，故系統(tǒng)相鄰兩條帶各讀取110個像素。然后依次計算每段影像的灰度值范圍，根據灰度值區(qū)間范圍自動進行灰度值拉伸；之后基于SIFT算法尋找匹配點，經過粗差剔除后計算拼接參數(shù)。拼接區(qū)域邏輯自適應增強技術流程如圖6所示。

圖5 分段拼接效果

圖6 影像自適應增強流程

Fig.6 Adaptive enhancement process of image

圖7為拼接區(qū)域邏輯自適應增強前、后SIFT算法找到的匹配點。左圖為未經過自適應邏輯增強找到的匹配點，右圖為經過自適應邏輯增強后找到的匹配點。從圖7可以看出，經過拼接區(qū)域邏輯自適應增強處理后，拼接區(qū)域的匹配點明顯增多，理論上匹配點越多，根據匹配點計算出的拼接參數(shù)越準確，拼接精度將越高。

圖7 自適應增強前后匹配點對

為驗證上述結論的正確性，本文隨機選取了“天繪一號”02星2017年6月18日拍攝的法國西部地區(qū)影像進行試驗驗證。圖8為拼接區(qū)域邏輯自適應增強前后的拼接參數(shù)（為便于顯示，只截取了前64段拼接區(qū)拼接參數(shù)），橫軸為分段序號，縱軸為對應的拼接參數(shù)值（單位：像素）。

衛(wèi)星平臺在正常情況下是比較穩(wěn)定的，拼接參數(shù)的變化應該是緩慢的，波動較大的參數(shù)屬于異常值。從圖8的拼接參數(shù)輸出結果看，自適應增強處理前拼接參數(shù)波動較大；拼接區(qū)域邏輯自適應增強后，拼接參數(shù)波動明顯變小。波動較大的拼接參數(shù)屬于異常值，如果用異常拼接參數(shù)直接進行拼接，勢必導致拼接精度下降。為驗證此觀點，本文對圖8中自適應增強處理前、后的拼接情況進行了拼接精度對比檢查。結果發(fā)現(xiàn)，拼接區(qū)域邏輯自適應增強后，拼接精度明顯提高，如圖9所示。

圖8 自適應增強處理前后拼接參數(shù)對比

圖9 自適應增強處理前后局部拼接效果

拼接區(qū)域邏輯自適應增強技術已經在“天繪一號”衛(wèi)星數(shù)據預處理系統(tǒng)中得到工程化應用。經統(tǒng)計，該技術的成功應用有效提高了“天繪一號”衛(wèi)星2m分辨率全色相機的影像條帶間拼接精度。

在此需說明，拼接區(qū)域影像自適應增強的目的是用于計算拼接參數(shù)，最終的拼接區(qū)影像是通過對增強處理前的影像采樣獲取，所以稱為拼接區(qū)域邏輯自適應增強。

3.3 測試結果

為驗證分段線性拼接技術和拼接區(qū)域邏輯自適應增強技術對“天繪一號”衛(wèi)星2m分辨率全色相機的影像條帶間拼接效果，本文針對“天繪一號”衛(wèi)星01、02星2017年10月、11月攝影的云量小于20%的有效數(shù)據進行了對比測試。

為便于描述，文中未采用分段線性拼接技術和拼接區(qū)域邏輯自適應增強技術的算法稱為舊算法；采用分段線性拼接技術和拼接區(qū)域邏輯自適應增強技術的算法稱為新算法。測試過程中，對于同一景數(shù)據，分別采用新、舊算法進行拼接，后采用相同的檢測手段進行拼接精度檢查。本文中，對拼接精度大于1個像素的數(shù)據視為不合格產品，稱為錯位數(shù)據。測試結果如表1和圖10所示。表1中單月錯位率為單月錯位景數(shù)占單月總檢測景數(shù)的百分比；合計錯位率為兩月錯位景數(shù)之和占兩月總檢測景數(shù)的百分比。

表1 新、舊算法拼接錯位率測試結果

Tab.1 Test results of stitching misplacement rate of new and old algorithms %

圖10 新、舊算法拼接錯位率測試結果

從測試結果可以看出，01星、02星、雙星合計的新算法較舊算法，錯位率降低約7個百分點；另外可以看出新算法01、02星錯位率隨時間的變化較小，算法性能較舊算法穩(wěn)定。

4 結束語

“天繪一號”衛(wèi)星地面預處理系統(tǒng)基于SIFT算法進行2m的分辨率全色相機條帶影像拼接，但由于受多種因素的影響，拼接精度不理想。本文在分析各種影響因素的前提下，針對“天繪一號”衛(wèi)星的成像特點，提出了分段線性擬合，并采用了拼接區(qū)域邏輯自適應增強技術，有效提高了“天繪”衛(wèi)星影像拼接精度。本算法對于云層移動等因素的影響，尚無有效解決辦法，目前采用該算法部分產品仍存在拼接錯位現(xiàn)象。另外，實踐證明，基于物方的虛擬線陣技術能夠有效解決“天繪一號”衛(wèi)星多條帶影像拼接精度問題，并得到了工程化應用。筆者下一步將重點對基于像方的拼接技術和基于物方的虛擬線陣拼接技術進行對比研究。

[1] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[2] 王任享, 王建榮, 王新義, 等. LMCCD相機衛(wèi)星攝影測量的特性[J]. 測繪科學, 2004, (4): 10-12. WANG Renxiang, WANG Jianrong, WANG Xinyi, et al. The Satellite Photogrammetric Performance of LMCCD Camera[J]. Science of Surveying Mapping, 2004, (4): 15-17. (in Chinese)

[3] 谷口慶治. 數(shù)字圖像處理基礎[M]. 北京: 科學出版社, 2005: 31-55. Taniguchi Yoji. Digital Image Processing Foundation[M]. Science Press, 2005: 31-55. (in Chinese)

[4] 賈世杰, 王鵬翔, 姜海洋, 等. 基于SIFT的圖像匹配算法[J]. 大連交通大學學報, 2010, 9, 31(4): 17-21. JIA Shijie, WANG Pengxiang, JIANG Haiyang, et al. Study of Image Matching Algorithm Based on SIFT[J]. Journal of Dalian Jiaotong University, 2010, 31(4): 17-21. (in Chinese)

[5] 曹楠, 王萍. 基于SIFT特征匹配的圖像無縫拼接算法[J]. 計算機與運用化學, 2011, 28(2): 242-244. CAO Nan, WANG Ping. Seamless Image Stitching Based on SIFT Feature Matching[J]. Computers and Applied Chemistry, 2011, 28(2): 242-244. (in Chinese)

[6] 徐亞明, 刑誠, 陳曉東. 一種基于拼接線的無人機序列影像拼接方法[J]. 武漢大學學報（信息科學版）, 2011, 36(11): 1265-1269. XU Yaming, XING Cheng, CHEN Xiaodong. A Mosaicking Method for UAV Sequence Images Based on Seam Line[J]. Geomatics and Information Science of Wuhan University, 2011, 36(11): 1265-1269. (in Chinese)

[7] 賈西茜, 催希民, 邱亞輝, 等. 無地面控制點航空圖像無縫拼接算法[J]. 影像技術, 2011, 23(4): 34-39. JIA Xiqian, CUI Ximin, QIU yahui, et al. Airphoto Seamless Mosaic Algorithm without Ground Control Point[J]. Image Technology, 2011, 23(4): 34-39. (in Chinese)

[8] YANG H, WANG Q. A Novel Local Feature Descriptor for Image Matching[C]//2008 IEEE International Conference on Multimedia and Expo, Hannover, Germany, 2008: 1405-1408.

[9] LOWE D G. Object Recognition from Local Scale-invariant Features[C]//The 7th International conference on Computer Vision, kerkyra, Greece, 1999.

[10] 劉立, 彭復員, 趙坤, 等. 采用簡化SIFT算法實現(xiàn)快速圖像匹配[J]. 紅外與激光工程, 2008, 37(1): 181-184. LIU Li, PENG Fuyuan, ZHAO Kun, et al. Simplified SIFT Algorithm for Fast Image Matching[J]. Infrared and Laser Engineering, 2008, 37(1): 181-184. (in Chinese)

[11] 呂江安, 于晉, 陳琦. 基于SIFT特征的三線陣CCD影像立體匹配[J]. 航天返回與遙感, 2010, 31(2): 38-45. LYU Jiang’an, YU Jin, CHEN Qi. Stereo Matching of Three-line CCD Imagery Based on SIFT[J]. Spacecraft Recovery & Remote Sensing, 2010, 31(2): 38-45. (in Chinese)

[12] 田國梁, 黃巧林, 何紅艷, 等. 遙感衛(wèi)星圖像幾何定位精度評估方法淺析[J]. 航天返回與遙感, 2017, 38(5): 106-112. TIAN Guoliang, HUANG Qiaolin, HE Hongyan, et al. Analysis on Geometric Positioning Accuracy Evaluation of Remote Sensing Satellite Image[J]. Spacecraft Recovery & Remote Sensing, 2017, 38(5): 106-112. (in Chinese)

[13] 王歡, 蔣顯嵐. 4種無人機遙感影像快速拼接方法的試驗分析[J]. 測繪與空間地理信息, 2015, 38(8): 117-118. WANG Huan, JIANG Xianlan. Experimental Analysis of 4 Kinds of Remote Sensing Image Mosaic Method for UAV[J]. Geomatics & Spatial Information Technology, 2015, 38(8): 117-118. (in Chinese)

[14] 付云潔. 遙感影像拼接縫消除算法改進研究[J]. 測繪與空間地理信息, 2013, 36(9): 151-153. FU Yunjie. Improving Research on Seamless Mosaicking Algorithm of Remote Sensing Images[J]. Geomatics & Spatial Information Technology, 2013, 36(9): 151-153. (in Chinese)

[15] 李國, 張俊, 龔志輝. 彩色遙感影像色彩保持直接線性增強方法[J]. 地理空間信息, 2012, 10(5): 47-49. LI Guo, ZHANG Jun, GONG Zhihui. Color Retention Direct Linear Enhancement Method for Color Remote Sensing Images[J]. Geospatial Information, 2012, 10(5): 47-49. (in Chinese)

[16] 朱紅, 宋偉東, 譚海, 等. 多尺度細節(jié)增強的遙感影像超分辨率重建[J]. 測繪學報, 2016, 45(9): 1081-1088. ZHU Hong, SONG Weidong, TAN Hai, et al. Remote Sensing Images Super Resolution Reconstruction Based on Multi-scale Detail Enhancement[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(9): 1081-1088. (in Chinese)

（編輯：龐冰）

Technical Study on Improving Stitching Accuracy for TH-1 Satellite Strip Images

CHENG Jiasheng MU Chundi LI Yang JIANG Yanyuan

（Tianhui Satellite Center of China, Beijing 102102, China）

Focal plane of the full color camera on TH-1 satellite consists of eight TDI-CCD elements, which are staggered in upper and lower rows. The eight TDI-CCD strip images are currently stitched by SIFT-based feature point matching algorithm to form one wide-area image. However, due to terrain change, cloud movement and the difference of image contrast, the stitching accuracy is usually low by misplacement, thus reducing the performance of TH-1 image data significantly. In the paper, we focus on analyzing influencing factors of stitching accuracy, and then propose a new method to improve the accuracy by introducing piecewisely linear stitching and logically adaptive image enhancement of the stitching area. The method is validated by real data processing and is currently applied for TH-1strip image stitching, which is effective to solve the stitching parameters inconsistency and low remote sensing image contrast.

Scale-Invariant Feature Transform; piecewisely linear stitching; image enhancement; TH-1 satellite; space remote sensing application

P407.8

A

1009-8518(2018)02-0084-09

10.3969/j.issn.1009-8518.2018.02.010

2017-08-30

程家勝，男，1984年生，2010年獲國防科技大學電子科學與工程專業(yè)碩士學位，工程師。主要從事航天攝影測量等方面的研究工作。E-mail：chengjias_heng@126.com。