模擬地形輔助的無人機(jī)傾斜攝影測(cè)量圖像匹配

于大鵬，梁玉斌，馮晨陽，邱 炎

（1.中冶沈勘工程技術(shù)有限公司海外分公司，沈陽110169；2.天津師范大學(xué)地理與環(huán)境科學(xué)學(xué)院，天津300387；3.天津市地質(zhì)調(diào)查研究院地質(zhì)環(huán)境信息中心，天津300191）

近年來，無人機(jī)攝影測(cè)量技術(shù)廣泛應(yīng)用于大比例尺地形測(cè)繪、環(huán)境監(jiān)測(cè)和應(yīng)急響應(yīng)等領(lǐng)域[1-3].無人機(jī)傾斜攝影測(cè)量搭載輕小型傾斜攝影系統(tǒng)可以有效獲取地物的多角度影像觀測(cè)數(shù)據(jù)，是構(gòu)建實(shí)景三維模型的重要測(cè)量技術(shù)[4].無人機(jī)傾斜攝影測(cè)量的關(guān)鍵技術(shù)包括圖像匹配、相對(duì)定向、絕對(duì)定向、密集匹配和三維模型構(gòu)建及紋理映射[5-6].其中，圖像匹配是影響傾斜攝影測(cè)量精度和效率的關(guān)鍵因素.一方面，圖像匹配為后續(xù)的相對(duì)定向提供同名點(diǎn)觀測(cè)值，其精度直接影響相對(duì)定向精度，并決定攝影測(cè)量最終成果的幾何精度；另一方面，圖像匹配速度是影響攝影測(cè)量數(shù)據(jù)處理效率的重要因素，不同的圖像匹配方法會(huì)引起數(shù)據(jù)處理效率上的巨大差異.

由于無人機(jī)傾斜影像的尺度、視角和轉(zhuǎn)角變化較大，常規(guī)航測(cè)采用的圖像匹配方法難以實(shí)現(xiàn)傾斜影像的穩(wěn)健匹配.研究人員在傾斜攝影測(cè)量的圖像匹配方面展開廣泛研究[7-9].SIFT算子及其衍生算子能夠從圖像中提取大量具有尺度和旋轉(zhuǎn)不變特性的特征點(diǎn)，這些特征點(diǎn)對(duì)仿射變換和光照變化具有一定適應(yīng)性，被廣泛用于攝影測(cè)量和三維計(jì)算機(jī)視覺的圖像匹配處理[10-15].SIFT算子可以自動(dòng)提取特征點(diǎn)的位置、尺度及其所在鄰域的特征描述向量.在圖像匹配時(shí)，基于特征描述向量并通過最近鄰搜索算法對(duì)兩幅圖像的特征點(diǎn)進(jìn)行一一匹配.然而，當(dāng)一幅圖像中的特征點(diǎn)具有相似的紋理特征時(shí)，基于最近鄰搜索的匹配方法可能產(chǎn)生誤匹配特征點(diǎn).盡管采用基礎(chǔ)矩陣（fundamental matrix）結(jié)合隨機(jī)抽樣一致算法（random sample consensus，RANSAC）進(jìn)行去噪可以減少誤匹配特征點(diǎn)的數(shù)量，但該方法計(jì)算量大，且無法徹底解決特征點(diǎn)誤匹配問題.此外，將誤匹配特征點(diǎn)作為觀測(cè)值引入攝影測(cè)量平差過程可能導(dǎo)致空三精度下降甚至圖像定向失敗.

已有研究表明通過合理利用航測(cè)過程中獲取的POS（position and orientation system）數(shù)據(jù)和測(cè)區(qū)地形數(shù)據(jù)可以提高圖像匹配的精度和效率[16-18].無人機(jī)機(jī)載POS系統(tǒng)記錄了相機(jī)曝光瞬間飛行平臺(tái)的位置和姿態(tài)數(shù)據(jù).影像的曝光位置反映了航空影像間的拓?fù)潢P(guān)系，利用這種拓?fù)潢P(guān)系可以確定照片間的匹配關(guān)系.因此，基于曝光位置的圖像匹配可以提高圖像匹配精度，并縮短圖像匹配時(shí)間.在此基礎(chǔ)上，通過簡(jiǎn)化圖像匹配關(guān)系和減少特征點(diǎn)數(shù)量可以進(jìn)一步優(yōu)化圖像的匹配結(jié)果[19-20].然而，由于傾斜影像具有較大的傾角，嚴(yán)格的圖像匹配關(guān)系無法由照片曝光位置唯一決定，需由影像曝光位置、攝影姿態(tài)和測(cè)區(qū)地形共同決定.常見的Maltese十字傾斜攝影系統(tǒng)同一時(shí)刻曝光可獲得5張影像，其中1張為垂直下視影像，其余4張分別為向前、后、左、右各傾斜45°的傾斜影像.盡管下視影像的曝光位置和攝影姿態(tài)信息可由POS數(shù)據(jù)直接求解，傾斜影像的姿態(tài)信息卻無法由POS數(shù)據(jù)直接計(jì)算.針對(duì)以上問題，本研究提出一種用于無人機(jī)傾斜攝影測(cè)量的圖像匹配方法.該方法綜合利用影像曝光位置、攝影姿態(tài)和測(cè)區(qū)地形信息，基于嚴(yán)格的成像模型計(jì)算各視角影像間的準(zhǔn)確匹配關(guān)系，并通過實(shí)測(cè)數(shù)據(jù)對(duì)圖像匹配方法的有效性進(jìn)行驗(yàn)證.

1 研究方法

模擬地形輔助的圖像匹配方法由模擬地形數(shù)據(jù)生成，并利用相對(duì)旋轉(zhuǎn)矩陣和圖像匹配關(guān)系計(jì)算3個(gè)部分的構(gòu)成.首先，根據(jù)測(cè)區(qū)的地形起伏情況生成模擬地面采樣點(diǎn)集；然后，利用地面控制點(diǎn)數(shù)據(jù)輔助空中三角測(cè)量估計(jì)傾斜影像與下視影像間的相對(duì)旋轉(zhuǎn)矩陣；最后，利用POS數(shù)據(jù)和傾斜影像與下視影像間的相對(duì)旋轉(zhuǎn)矩陣計(jì)算傾斜影像的絕對(duì)旋轉(zhuǎn)矩陣.在此基礎(chǔ)上，基于共線方程將模擬地面采樣點(diǎn)集投影至影像，生成每張影像的投影點(diǎn)集.根據(jù)影像投影點(diǎn)集間的交集判定照片的匹配關(guān)系，進(jìn)而基于匹配關(guān)系對(duì)影像進(jìn)行兩兩匹配.

1.1 模擬地形數(shù)據(jù)的生成

從無人機(jī)POS數(shù)據(jù)中提取影像曝光點(diǎn)位的大地坐標(biāo)，并將坐標(biāo)從大地坐標(biāo)系變換至攝影測(cè)量坐標(biāo)系.統(tǒng)計(jì)影像曝光點(diǎn)位坐標(biāo)為平面內(nèi)的最大值和最小值，從而確定測(cè)區(qū)范圍，并根據(jù)測(cè)區(qū)范圍確定測(cè)區(qū)的高程平均值.在攝影測(cè)量坐標(biāo)系下利用計(jì)算機(jī)程序模擬生成地面三維采樣點(diǎn)集.在攝影測(cè)量坐標(biāo)系的XOY平面上以給定的采樣間隔進(jìn)行離散點(diǎn)采樣，采樣點(diǎn)的高程值取測(cè)區(qū)平均高程.

1.2 相對(duì)旋轉(zhuǎn)矩陣的估計(jì)

利用傾斜影像和地面控制點(diǎn)數(shù)據(jù)，通過控制點(diǎn)輔助空中三角測(cè)量求解下視影像和傾斜影像的絕對(duì)攝影姿態(tài)，然后估計(jì)傾斜影像與下視影像間的相對(duì)旋轉(zhuǎn)矩陣.傾斜影像與下視影像間相對(duì)旋轉(zhuǎn)矩陣的估計(jì)方法為：①將地面控制點(diǎn)的大地坐標(biāo)測(cè)量值變換至攝影測(cè)量坐標(biāo)系下；②在航空影像中標(biāo)記地面控制點(diǎn)的位置，確保每個(gè)控制點(diǎn)被3張以上的照片標(biāo)記；③利用SIFT算子在影像中提取特征點(diǎn)，利用特征點(diǎn)的鄰域特征描述向量，并對(duì)特征點(diǎn)進(jìn)行匹配，得到初步匹配結(jié)果.利用同名點(diǎn)觀測(cè)值解算基礎(chǔ)矩陣，結(jié)合RANSAC算法剔除誤匹配的特征點(diǎn)，從而得到較為準(zhǔn)確的同名點(diǎn)觀測(cè)值；④利用同名點(diǎn)觀測(cè)值對(duì)影像進(jìn)行相對(duì)定向，基于增量光束法區(qū)域網(wǎng)平差構(gòu)建區(qū)域自由網(wǎng)；⑤基于控制點(diǎn)坐標(biāo)，將自由網(wǎng)下的模型整體變換到攝影測(cè)量坐標(biāo)系下，從而解出每張影像的絕對(duì)位置和姿態(tài).

假設(shè)下視影像的物空間到像空間的旋轉(zhuǎn)矩陣為Rn，傾斜影像的物空間到像空間的旋轉(zhuǎn)矩陣為Ro，則下視影像到傾斜影像的相對(duì)旋轉(zhuǎn)矩陣Rno為

式（1）中：RnT為矩陣Rn的轉(zhuǎn)置矩陣.

1.3 圖像匹配關(guān)系的計(jì)算

遍歷生成的地面采樣點(diǎn)，基于共線方程

將地面采樣點(diǎn)投影至航空影像，生成每張影像的投影點(diǎn)集.式（2）中：f為鏡頭主距；（X，Y，Z）為地面采樣點(diǎn)坐標(biāo)；（XS，YS，ZS）為投影中心坐標(biāo)；a1、a2、a3、b1、b2、b3、c1、c2和c3為9個(gè)方向余弦.采用以Y軸為主軸的φω-κ轉(zhuǎn)角系統(tǒng)，9個(gè)方向余弦分別表示為

對(duì)于任一下視影像ni，其物空間到像空間的旋轉(zhuǎn)矩陣Rni由POS數(shù)據(jù)直接計(jì)算.對(duì)于與下視影像ni同時(shí)曝光的傾斜影像oi，其物空間到像空間的旋轉(zhuǎn)矩陣基于

對(duì)于任意2張照片，如果投影點(diǎn)集的交集非零，即可判定這2張照片部分重疊.將照片匹配關(guān)系寫入匹配文件，以此為依據(jù)對(duì)圖像進(jìn)行兩兩匹配.

1.4 數(shù)據(jù)說明

實(shí)驗(yàn)區(qū)為一村鎮(zhèn)區(qū)域，范圍為東經(jīng)109.678 7°E～109.689 6°E，北緯23.645 5°N～23.652 6°N，測(cè)區(qū)中心為23.648 8°N，109.684 4°E，域內(nèi)分布有農(nóng)田和住宅，地形平坦.使用垂直起降固定翼無人機(jī)搭載五相機(jī)傾斜攝影系統(tǒng)對(duì)測(cè)區(qū)進(jìn)行航空攝影，相對(duì)航高設(shè)計(jì)為400 m，航向和旁向重疊度設(shè)計(jì)為80%.實(shí)驗(yàn)規(guī)劃5條航線，每條航線設(shè)定16個(gè)曝光點(diǎn)位，整個(gè)測(cè)區(qū)共拍攝400張影像.圖1顯示了照片曝光點(diǎn)在測(cè)區(qū)內(nèi)的分布情況，其中紅色圓點(diǎn)表示照片的曝光點(diǎn)位.

圖1 照片曝光點(diǎn)測(cè)區(qū)分布圖Fig.1 Map of exposures in surveying area

傾斜攝影系統(tǒng)采用Maltese十字安裝方式，5個(gè)觀測(cè)方向的相機(jī)均選用SONY ILCE-5100型相機(jī)，影像分辨率為6 000×4 000，像元大小為3.9μm.圖2為某一時(shí)刻曝光所得的5張影像，其中圖2（a）～圖2（e）分別為前視影像、右視影像、后視影像、左視影像和下視影像.下視相機(jī)鏡頭焦距為20mm，傾斜相機(jī)鏡頭焦距為35mm.在測(cè)區(qū)內(nèi)部利用RTK均勻采集了9個(gè)地面測(cè)量點(diǎn).地面點(diǎn)測(cè)量采用國(guó)家2 000坐標(biāo)系統(tǒng)，測(cè)量精度為厘米級(jí).

圖2 某一時(shí)刻曝光的5張影像Fig.2 Five images exposed at one moment

2 結(jié)果與分析

將地面測(cè)量點(diǎn)分為5個(gè)控制點(diǎn)和4個(gè)檢查點(diǎn)，對(duì)影像進(jìn)行控制點(diǎn)輔助空中三角測(cè)量，控制點(diǎn)和檢查點(diǎn)處的定位精度如表1所示.

表1 控制點(diǎn)和檢查點(diǎn)的定位精度Tab.1 Positioning accuracy at control points and check points m

由表1可以看出，控制點(diǎn)在東向、北向和天向上的定位精度均達(dá)到厘米級(jí)；檢查點(diǎn)的東向定位精度達(dá)到厘米級(jí)，北向和天向定位精度為分米級(jí).

為了對(duì)圖像匹配方法進(jìn)行對(duì)比，首先，使用Agisoft PhotoScan軟件對(duì)測(cè)區(qū)全部影像進(jìn)行POS輔助全自動(dòng)空三處理.圖像匹配采用基于位置的匹配方法，匹配精度設(shè)為最高，特征點(diǎn)數(shù)和同名點(diǎn)數(shù)分別設(shè)為40 000和4 000.基于位置的圖像匹配及空三結(jié)果如圖3所示.由圖3可以看出，400張影像中有17張影像定向失敗（紅色圓點(diǎn)標(biāo)記），其中后視影像6張，前視影像11張.

圖3 基于位置的圖像匹配與空三Fig.3 Aerial triangulation and image matching based on position

將控制點(diǎn)輔助空三求解的影像位置作為真值，計(jì)算基于位置圖像匹配的空三結(jié)果中后視、前視、右視、左視和下視影像的偏差Bias和定位精度RMSE，結(jié)果如表2所示.統(tǒng)計(jì)數(shù)據(jù)基于383張成功定向的影像計(jì)算，17張定向失敗的影像沒有計(jì)入統(tǒng)計(jì).由表2可以看出，5個(gè)視角的影像定位精度均為米級(jí)，不同視角的影像定位精度不同.下視影像的定位精度整體上優(yōu)于傾斜影像的定位精度，各視角影像的北向和天向定位精度均優(yōu)于其東向定位精度.此外，各視角影像定位結(jié)果均存在不同程度的定位偏差，下視影像與傾斜影像的定位偏差沒有明顯區(qū)別.

表2 基于位置匹配的影像定位精度和偏差Tab.2 Positioning accuracy and bias of images based on postion-based matching m

采用本研究提出的模擬地形輔助的無人機(jī)傾斜影像匹配對(duì)影像進(jìn)行處理時(shí)，算法使用C++語言實(shí)現(xiàn)，攝影測(cè)量坐標(biāo)系選用東北天坐標(biāo)系（east-north-up，ENU）.地面采樣點(diǎn)的采樣間隔設(shè)為30 m，采樣點(diǎn)的高程統(tǒng)一取測(cè)區(qū)的平均高程65 m.照片曝光點(diǎn)和地面采樣點(diǎn)的分布如圖4所示.圖4中紅色十字表示照片的曝光點(diǎn)位，藍(lán)色圓點(diǎn)表示模擬生成的地面采樣點(diǎn).

圖4 照片曝光點(diǎn)和地面采樣點(diǎn)的分布Fig.4 Distribution of exposures and ground sample points

基于控制點(diǎn)輔助空三結(jié)果估計(jì)傾斜影像與下視影像間的相對(duì)旋轉(zhuǎn)矩陣，結(jié)合POS數(shù)據(jù)估計(jì)傾斜影像的絕對(duì)姿態(tài).將生成的采樣點(diǎn)集投影至每張影像生成投影點(diǎn)集，并基于投影點(diǎn)集的交集確定照片的匹配關(guān)系.根據(jù)匹配關(guān)系對(duì)照片進(jìn)行匹配和POS輔助全自動(dòng)空三處理，結(jié)果如圖5所示.

圖5 模擬地形輔助的圖像匹配與空三Fig.5 Aerial triangulation and image matching based on simulated terrain

由圖5可以看出，400張照片全部成功定向，區(qū)域網(wǎng)中照片的位置與預(yù)期一致，空三解算所得物方點(diǎn)的分布符合測(cè)區(qū)真實(shí)情況.

將控制點(diǎn)輔助空三求解的影像位置作為真值，計(jì)算模擬地形輔助圖像匹配的影像定位精度RMSE和偏差Bias，結(jié)果如表3所示.結(jié)合表2和表3可知，基于本研究提出的圖像匹配方法解算的影像定位精度整體上優(yōu)于PhotoScan的影像定位精度，傾斜影像的定位精度提高了1.4～3.6倍.在影像定位的偏差方面，2種圖像匹配方法沒有明顯差別.

表3 模擬地形輔助圖像匹配的影像定位精度和偏差Tab.3 Positioning accuracy and bias of images based on image matching using simulated terrain m

對(duì)于傳統(tǒng)的無人機(jī)航空攝影測(cè)量影像，圖像間的匹配關(guān)系主要由影像曝光點(diǎn)位決定.基于位置的匹配沒有考慮影像的觀測(cè)角度，因此生成了錯(cuò)誤的圖像匹配關(guān)系.對(duì)于如農(nóng)田、林地等紋理單一的區(qū)域，錯(cuò)誤的圖像匹配關(guān)系造成誤匹配特征點(diǎn)數(shù)量增加，進(jìn)而降低影像的定向精度.錯(cuò)誤的匹配關(guān)系不但降低影像匹配和影像的定向精度，而且降低攝影測(cè)量的數(shù)據(jù)處理效率.此外，對(duì)于多視角傾斜攝影測(cè)量，基于位置的圖像匹配無法準(zhǔn)確確定全部待匹配圖像對(duì).匹配不充分導(dǎo)致部分照片定向失敗，無法納入?yún)^(qū)域網(wǎng).而部分照片的缺失造成地形和地物失去某些角度的觀測(cè)數(shù)據(jù)，從而導(dǎo)致后續(xù)重建的實(shí)景三維模型出現(xiàn)漏洞.

與基于位置的圖像匹配相比，本研究提出的基于模擬地形輔助的圖像匹配方法考慮影像的位置、觀測(cè)角度和地形，能夠準(zhǔn)確計(jì)算圖像的匹配關(guān)系.準(zhǔn)確的圖像匹配關(guān)系減少了圖像誤匹配特征點(diǎn)的數(shù)量，提高了圖像定向的精度和成功率.值得注意的是，基于本文圖像匹配方法的下視影像定位精度低于基于位置的圖像匹配方法的影像定位精度.其原因在于基于位置的圖像匹配無法準(zhǔn)確計(jì)算傾斜影像和下視影像的匹配關(guān)系，因而在平差過程中下視影像的定向較少受到傾斜影像定向的影響.而本研究的圖像匹配方法能夠準(zhǔn)確計(jì)算傾斜影像和下視影像的匹配關(guān)系，選取下視影像與傾斜影像匹配所得同名點(diǎn)作為觀測(cè)值參與光束法區(qū)域網(wǎng)的平差.由于傾斜影像和下視影像視角差異較大，匹配所得同名點(diǎn)觀測(cè)值精度較低，因此在整體平差過程中降低了下視影像的定位精度.

3 結(jié)論

針對(duì)傳統(tǒng)的基于位置的圖像匹配方法存在的誤匹配和不充分匹配問題，本研究提出一種基于模擬地形的無人機(jī)傾斜攝影測(cè)量圖像匹配方法.首先，通過程序模擬生成規(guī)則的地面采樣點(diǎn)集.其次，基于控制點(diǎn)輔助空三求解傾斜影像和下視影像間的相對(duì)旋轉(zhuǎn)矩陣.最后，利用無人機(jī)POS數(shù)據(jù)和地面采樣點(diǎn)集，基于嚴(yán)格的成像模型確定影像間準(zhǔn)確的匹配關(guān)系.實(shí)驗(yàn)結(jié)果表明：

（1）本研究方法解決了基于位置的圖像匹配方法引起的誤匹配問題，使傾斜影像定向的成功率提高至100%；

（2）本研究方法改善了基于位置的圖像匹配方法引起的匹配不充分問題，將傾斜影像的空三定位精度提高了1.4～3.6倍.

對(duì)于下視影像定位精度下降的問題，未來的工作中將重點(diǎn)研究適用于大視角差的圖像匹配方法，進(jìn)一步提高傾斜影像和下視影像間的匹配精度和定向精度.