陳曉勇,何海清,周俊超,安譜陽(yáng),陳 婷
1. 東華理工大學(xué)測(cè)繪工程學(xué)院,江西 南昌 330013; 2. 東華理工大學(xué)水資源與環(huán)境工程學(xué)院,江西 南昌 330013
低空攝影測(cè)量由于攝影高度較低,云霧產(chǎn)生的遮擋影響更小,低空飛行平臺(tái)具有機(jī)動(dòng)靈活、便捷、快速高效等優(yōu)勢(shì),在某種程度上可對(duì)航空和衛(wèi)星攝影測(cè)量方式進(jìn)行補(bǔ)充,在資源調(diào)查、環(huán)境監(jiān)測(cè)、城市建模、地形測(cè)繪等領(lǐng)域應(yīng)用廣泛[1-2]。
在低空攝影測(cè)量數(shù)據(jù)處理中,影像匹配是最為關(guān)鍵的步驟。影像匹配旨在兩幅或多幅具有重疊度的影像中通過(guò)特定的算法提取影像間同名點(diǎn)的過(guò)程,匹配質(zhì)量與效率直接影響到后續(xù)數(shù)據(jù)處理成功與否,以及關(guān)系到測(cè)繪產(chǎn)品生成質(zhì)量。因而,影像匹配是低空攝影測(cè)量數(shù)據(jù)處理領(lǐng)域的研究熱點(diǎn)之一,迄今為止,國(guó)內(nèi)外研究人員提出了許多卓有成效的方法。
基于灰度的影像匹配算法起步較早,是圖像匹配中常用的方法。該算法根據(jù)兩幅影像之間的重疊區(qū)域的灰度相似性程度來(lái)確定匹配點(diǎn),目前發(fā)展較為成熟。具體而言,該算法是比較參考影像待匹配點(diǎn)鄰近區(qū)域灰度與目標(biāo)影像搜索區(qū)像素鄰近灰度的相似性來(lái)確定兩幅影像的同名點(diǎn)?;诨叶鹊挠跋衿ヅ浞椒ò▍f(xié)方差函數(shù)法、有差平方和法、相關(guān)系數(shù)法、差絕對(duì)值和法、相關(guān)函數(shù)法,以及最小二乘法、去均值歸一化相關(guān)算法、序列相似性檢測(cè)算法、歸一化灰度組合算法、不變矩匹配法、網(wǎng)格匹配法、塊匹配法和比值匹配法等。然而,基于灰度的匹配算法過(guò)于依賴點(diǎn)像素的信息,對(duì)于噪聲、灰度與尺度變化等變化較為敏感,且匹配效率不高,僅適合于匹配簡(jiǎn)單的剛體或仿射變換的場(chǎng)景。為提高基于灰度的匹配方法效率,文獻(xiàn)[3]于1972年利用核線相關(guān)將影像相關(guān)的二維搜索空間縮小為一維搜索,從而大幅度提高了匹配效率。此外,為提高影像匹配在幾何畸變、噪聲和輻射等存在的情況下的穩(wěn)健性,文獻(xiàn)[4]提出了最小二乘影像匹配算法,利用最小二乘平差來(lái)消除匹配窗口中影像畸變與噪聲帶來(lái)的影響,匹配精度可達(dá)1/10~1/100像素,從而實(shí)現(xiàn)影像高精度相關(guān)。文獻(xiàn)[5]提出了基于物方的影像匹配(VLL法),通過(guò)迭代逐步趨近的方法在待匹配點(diǎn)平面坐標(biāo)已知的情況下,確定待匹配點(diǎn)高程。
基于灰度的影像匹配方法雖然算法簡(jiǎn)單,但對(duì)光照變化敏感,對(duì)于影像旋轉(zhuǎn)和尺度變化適應(yīng)性差,且存在運(yùn)算量較大等缺陷,難以滿足低空影像匹配的需要。相比而言,基于特征的匹配方法是通過(guò)比較重疊影像上特征的相似程度來(lái)確定同名點(diǎn)。特征基元包括點(diǎn)、線、面等顯著特征,相比像素點(diǎn)數(shù)量大為減少,提取的特征具有較強(qiáng)的抗噪性,且對(duì)影像間灰度變化、局部形變和遮擋也有較強(qiáng)的穩(wěn)健性,因而,低空攝影測(cè)量影像匹配廣泛采用基于特征的匹配方法,該方法主要包括3個(gè)過(guò)程,即特征提取、特征描述、特征匹配。
根據(jù)提取特征的種類,影像特征提取大致可分為點(diǎn)特征提取、線特征提取及面特征提取3大類。
點(diǎn)特征是指影像中灰度信號(hào)在二維方向上有著明顯變化的點(diǎn),是影像中最基本的特征。點(diǎn)特征的概念由文獻(xiàn)[6]在1980年提出,Moravec角點(diǎn)提取算子利用差平方和函數(shù)計(jì)算局部窗口內(nèi)8個(gè)方向的相似性,根據(jù)局部最大值來(lái)確定角點(diǎn),然而,Moravec算子易受噪聲的影響。文獻(xiàn)[7]提出了SUSAN(smallest univalve segment assimilating nucleus)算子,該算子與Moravec算子的基本思想一致,都是通過(guò)局部自相似性來(lái)檢測(cè)角點(diǎn),不同的是,SUSAN算子在計(jì)算相似性時(shí)使用矩形函數(shù),這一改變可避免噪聲造成的干擾。在Moravec算法的基礎(chǔ)上,文獻(xiàn)[8]提出了Harris角點(diǎn)提取算法,從數(shù)學(xué)的角度上定義點(diǎn)特征,該方法以Hessain矩陣及其特征值作為依據(jù)來(lái)判斷特征點(diǎn),具有計(jì)算簡(jiǎn)便,檢測(cè)到的角點(diǎn)具有旋轉(zhuǎn)不變等特點(diǎn)。與Harris角點(diǎn)算子類似的還包括Kanade-Tomasi算子[9]。文獻(xiàn)[10]在Harris算子上加以改進(jìn),使其擴(kuò)展到在仿射變換時(shí)角點(diǎn)特征也較為穩(wěn)健。為進(jìn)一步提升點(diǎn)特征的旋轉(zhuǎn)不變、尺度不變性,文獻(xiàn)[11]提出了DoG(Difference of Gaussian)特征;在此基礎(chǔ)上,文獻(xiàn)[12]結(jié)合尺度空間理論提出了DoG特征提取算法,使得提取的特征點(diǎn)具有旋轉(zhuǎn)和尺度不變性。此外,文獻(xiàn)[13]提出了FAST角點(diǎn)特征來(lái)進(jìn)一步提升點(diǎn)特征檢測(cè)效率。在FAST算子基礎(chǔ)上,文獻(xiàn)[14]提出了一種自適應(yīng)通用加速分割檢測(cè)算法。
文獻(xiàn)[15]分別于1983年和1984年定義線特征為影像中脊和谷。在線特征檢測(cè)中,較為經(jīng)典的算子是Sobel算子[16]和Canny算子[17]。Sobel算子是基于Hessain矩陣在尺度空間中通過(guò)該矩陣的兩個(gè)特征值來(lái)判別邊緣,檢測(cè)效率較低。為此,Canny算子提出利用基于搜索(影像的一階導(dǎo)數(shù))和基于零交叉(影像二階導(dǎo)數(shù))的特征檢測(cè)算法來(lái)提高線特征檢測(cè)效率。除了這兩種經(jīng)典的線提取算法之外,文獻(xiàn)[18]提出了一種利用傅里葉變換,將影像由空間域變換到頻率域,通過(guò)相位一致性來(lái)檢測(cè)線特征;此外,也有利用特征點(diǎn)算子來(lái)檢測(cè)特征線,如利用SUSAN算子來(lái)檢測(cè)邊緣點(diǎn)[7]。
面特征與點(diǎn)、線特征有所不同,面特征的范圍較大,特征較為穩(wěn)定并具有抗噪能力強(qiáng)等特點(diǎn),在影像中主要表現(xiàn)為灰度大致相同或變化較為平緩的區(qū)域。基于面特征的提取算法較為典型的算法包括MSER算法[19]、PCBR檢測(cè)算子[20]。其中,MSER算法移植了分水嶺的思想,該算法提取的極值區(qū)域即面特征為某個(gè)閾值圖像的連通分量,并通過(guò)該極值區(qū)域的旋轉(zhuǎn)與尺寸歸一化來(lái)實(shí)現(xiàn)仿射不變性。PCBR檢測(cè)算子是一種基于線條和曲率的算法,在尺度空間中構(gòu)建最大主曲率圖像,并利用分水嶺分割方法來(lái)尋找在尺度變化情況下,位置和面積不變或變化較小的區(qū)域。此外,研究人員還提出了旨在檢測(cè)兼具尺度不變性與仿射不變性的區(qū)域的其他算法,如基于圖割的影像分割算法等[21]。
在影像中提取特征后,為評(píng)判不同影像特征間的相似性,需要利用數(shù)值向量對(duì)特征區(qū)域的局部特征進(jìn)行編碼,該數(shù)值向量通常稱為特征描述符。其中,較為常用的是基于分布的描述符,通過(guò)不同的統(tǒng)計(jì)直方圖形式來(lái)表示局部區(qū)域的特征[22],與基于導(dǎo)數(shù)和過(guò)濾器的描述符[23]等其他類型描述符相比在性能上具有一定的優(yōu)勢(shì)?;诜植嫉拿枋龇ǔ?煞譃榛跐u變、像素強(qiáng)度順序、相位一致、自相似、整合及二進(jìn)制描述符。
作為當(dāng)下較為流行的基于分布的描述符的SIFT算法[24],在計(jì)算機(jī)視覺(jué)和遙感等領(lǐng)域已得到廣泛應(yīng)用,其基本思想是依據(jù)圖像梯度函數(shù)來(lái)構(gòu)造3D空間方向直方圖。許多研究人員在SIFT描述符的基礎(chǔ)上進(jìn)行了擴(kuò)展,如SURF描述符[25]在笛卡爾網(wǎng)格上應(yīng)用Haar小波響應(yīng)以提高其計(jì)算速度;文獻(xiàn)[26]提出了描述符DAISY,它利用不同的各向同性高斯函數(shù)來(lái)高效、密集地計(jì)算梯度方向直方圖,并使用圓形柵格代替矩形柵格,以提高描述符的穩(wěn)健性和獨(dú)特性。PIIFD(partial intensity invariant feature descriptor)即部分強(qiáng)度不變特征描述符[27]利用對(duì)稱梯度方向直方圖來(lái)進(jìn)行多模態(tài)圖像配準(zhǔn)。文獻(xiàn)[28]利用邊緣的位置和方向在SIFT的空間結(jié)構(gòu)中生成可擴(kuò)展的二進(jìn)制邊緣圖。文獻(xiàn)[29]利用仿射尺度空間和鏡面反射極化直方圖來(lái)改進(jìn)SIFT特征描述符。文獻(xiàn)[30]提出AB-SIFT算法,將自適應(yīng)量化應(yīng)用于描述符結(jié)構(gòu),以提高其可區(qū)分性與穩(wěn)健性。
為使基于分布的描述符獲得旋轉(zhuǎn)不變性,文獻(xiàn)[31]提出了基于像素強(qiáng)度階次的描述符LIOP和基于多支持區(qū)域階次的梯度直方圖描述符MROGH[32];文獻(xiàn)[33]提出了整體強(qiáng)度階次描述符OIOP和混合強(qiáng)度階次描述符MIOP;文獻(xiàn)[34]提出了多鄰域強(qiáng)度相對(duì)階次描述符MIROP。盡管這些描述符具有旋轉(zhuǎn)不變性,但對(duì)明顯的非線性光照變化較為敏感。
此外,二進(jìn)制描述符也被提出在計(jì)算效率及存儲(chǔ)空間方面提升特征描述符的性能,如BRIEF(binary robust independent elementary features)[35]、FREAK(fast retina key point)[36]、LDB(local difference binary)[37]和RFD(receptive fields descriptor)[38]等,這些算法通?;跒V波或圖像點(diǎn)對(duì)之間的強(qiáng)度關(guān)系進(jìn)行線性組合,比傳統(tǒng)的非二進(jìn)制描述符所占內(nèi)存更少,并提高了效率。文獻(xiàn)[39]提出了CSLBP(center sym-metric local binary pattern)描述符,該描述符以SIFT空間形式和通過(guò)編碼灰度強(qiáng)度的局部分布來(lái)描述特征。文獻(xiàn)[40]提出了對(duì)光照穩(wěn)健的LPCD(local patch clustering distribution)描述符,該描述符采用雙碼本聚類方法進(jìn)行區(qū)域劃分,并采用穩(wěn)健的檢測(cè)響應(yīng)來(lái)進(jìn)行區(qū)域加權(quán)。文獻(xiàn)[41]提出了LOC(local contrast and ordering)描述符,該描述符將符號(hào)和強(qiáng)度差的排序應(yīng)用于特征描述。文獻(xiàn)[42]提出了DaLI(deformation and light invariant)描述符,該描述利用熱核特征并結(jié)合傅里葉變換和PCA方法的對(duì)數(shù)采樣來(lái)進(jìn)行特征描述。然而,基于梯度或強(qiáng)度順序的描述符對(duì)非線性輻射差異的較為敏感易導(dǎo)致對(duì)多傳感器遙感圖像匹配失敗。此外,一些對(duì)光照不變性的描述符也被提出,如文獻(xiàn)[43]提出了用于多傳感器圖像配準(zhǔn)的HOPC(histogram of orientated phase congruency)描述符,基于圖像結(jié)構(gòu)特性來(lái)構(gòu)建描述符對(duì)圖像強(qiáng)度分布變化較為穩(wěn)健。隨后,文獻(xiàn)[43—44]提出了DLSS描述符,以及基于擴(kuò)展的PC模型和DAISY算法,提出了LHOPC(local histogram of orientated phase congruency)描述符。另外,DOBSS(distinctive order based self-similarity)[45-46]也被利用來(lái)增強(qiáng)描述符的可識(shí)別性。文獻(xiàn)[47]結(jié)合局部三元模式算子和LSS(local self-similarity)(局部自相似描述符)來(lái)描述特征以達(dá)到對(duì)光照的魯棒。
在檢測(cè)影像特征和描述特征后,特征的相似性通過(guò)歐氏距離、曼哈頓距離、切氏距離、明氏距離、馬氏距離、漢明距離等來(lái)測(cè)度,相應(yīng)的匹配策略主要包括以下3種:
(1) 由粗到精的降維匹配,在金字塔頂層進(jìn)行影像匹配解算粗略的外方位元素,根據(jù)核線關(guān)系在原始影像上將特征匹配空間由二維降為一維。
(2) 匹配準(zhǔn)則,通常使用如歐氏距離等來(lái)度量特征的相似性,并利用相關(guān)系數(shù)法和設(shè)定閾值來(lái)剔除誤匹配點(diǎn),匹配點(diǎn)相關(guān)系數(shù)一般能達(dá)到0.9以上[5]。
(3) 誤匹配點(diǎn)及粗差剔除,影像匹配不可避免存在誤匹配點(diǎn)及粗差,通常利用幾何約束如核線約束、相容性約束、唯一性約束、視差連續(xù)性約束等,以及RANSAC(random sample consensus)隨機(jī)抽樣一致性算法等來(lái)去除誤匹配點(diǎn)和剔除粗差。
當(dāng)前,盡管低空垂直攝影測(cè)量立體影像匹配的相關(guān)技術(shù)相對(duì)成熟,但測(cè)繪產(chǎn)品的多樣化需求使得低空攝影測(cè)量影像匹配面臨新的挑戰(zhàn),比如傾斜攝影測(cè)量影像匹配、多傳感器影像匹配等,現(xiàn)有的影像匹配方法能否適應(yīng)新形式的低空攝影測(cè)量影像匹配仍需進(jìn)一步研究。
低空攝影測(cè)量中的影像大多通過(guò)對(duì)地垂直攝影的方式獲得,主要對(duì)地物頂部進(jìn)行觀測(cè),存在基線短、基高比小、交會(huì)角小等缺陷,對(duì)于獲取起伏較大的地形地物側(cè)面的紋理與三維幾何結(jié)構(gòu)等信息十分有限[48],限制了低空攝影測(cè)量精度的提高。
為彌補(bǔ)垂直攝影的不足,測(cè)繪領(lǐng)域近些年發(fā)展了低空傾斜攝影技術(shù),它可通過(guò)在同一飛行平臺(tái)上搭載多臺(tái)不同角度的對(duì)地觀測(cè)傳感器,能同時(shí)從垂直、傾斜等不同的角度采集影像。低空傾斜攝影相比垂直攝影,可采集更為豐富的對(duì)地觀測(cè)數(shù)據(jù),且可增大前方交會(huì)角,能實(shí)現(xiàn)寬基線大傾角的攝影測(cè)量。文獻(xiàn)[49]從基于共線方程嚴(yán)密解的前方交會(huì)法推導(dǎo)與試驗(yàn)驗(yàn)證了交會(huì)角與旋轉(zhuǎn)角對(duì)近景攝影測(cè)量精度的影響,可以推知具有寬基線的低空傾斜攝影測(cè)量方式有利于提高當(dāng)前基高比小的低空攝影測(cè)量精度,因此,研究寬基線低空傾斜攝影測(cè)量具有重要的實(shí)用價(jià)值。在傾斜攝影測(cè)量數(shù)據(jù)處理中,立體影像間存在幾何變形與遮擋關(guān)系[50],影像自動(dòng)匹配是關(guān)鍵技術(shù)和難點(diǎn)之一,也是影響傾斜攝影測(cè)量精度和效率的重要一環(huán),通常利用已知傾斜角度預(yù)先對(duì)立體像對(duì)進(jìn)行幾何校正后再匹配[51]。然而,以無(wú)人機(jī)、飛艇、系留氣球等作為平臺(tái)的低空傾斜攝影得到的立體像對(duì)存在一些難以克服的問(wèn)題:①因平臺(tái)較輕、低空氣流不穩(wěn)定,造成攝影姿態(tài)不穩(wěn)定;②平臺(tái)飛行高度低,復(fù)雜地形下對(duì)地觀測(cè)影像幾何變形尤為突出,并且地物尺度變化大。常用的匹配方法沒(méi)有較好的環(huán)境適應(yīng)性,致使低空傾斜影像匹配可靠性不高,難以獲得分布均勻、定位精度高的同名點(diǎn)。同時(shí),在低空傾斜攝影中,獲取的影像傾角變化較大,傳統(tǒng)的影像匹配方法因不具有仿射不變性,難以滿足大傾角低空影像自動(dòng)匹配需要。
迄今為止,為解決寬基線大傾角影像匹配問(wèn)題,國(guó)內(nèi)外開(kāi)展了大量而深入的相關(guān)研究。針對(duì)不同視點(diǎn)影像中同名特征點(diǎn)領(lǐng)域窗口之間的幾何透視變形,目前大多特征匹配算法采用仿射變換模型來(lái)近似表述這種變形,采用仿射不變性的特征來(lái)進(jìn)行影像匹配[52]。國(guó)際上,文獻(xiàn)[53]提出了基于局部仿射不變性特征的寬基線立體匹配方法,不依賴邊緣或特征點(diǎn),而是完全根據(jù)局部灰度強(qiáng)度信息進(jìn)行影像匹配;文獻(xiàn)[54]提出了針對(duì)平面的仿射不變性的特征點(diǎn)檢測(cè)算法;文獻(xiàn)[55]提出了基于最大穩(wěn)定極值區(qū)域(maximally stable extremal regions,MSER)的寬基線立體匹配方法,試驗(yàn)結(jié)果表明對(duì)于尺度、光照條件變化、視點(diǎn)變化等立體像對(duì)匹配,能取得較高的極幾何估計(jì)精度;文獻(xiàn)[56]通過(guò)試驗(yàn)對(duì)比了Harris-Affine、Hessian-Affine、MSER、EBR(edge-based region detector)、IBR(intensity extremal-based region detector)、salient regions等常見(jiàn)的仿射不變性特征提取算法,表明MSER算子具有最佳的仿射不變性;以MSER算法為代表的面匹配在解決局部仿射不變性方面應(yīng)用較多,常選用其MSER邊界點(diǎn)進(jìn)行精確匹配[51],或擬合MSER區(qū)域橢圓范圍建立描述子進(jìn)行匹配[55,57];文獻(xiàn)[58]提出了仿射不變的SIFT算法(affine-SIFT,ASIFT),根據(jù)攝影中心軸模擬影像在各個(gè)視角的變化,對(duì)各個(gè)視角中影像進(jìn)行SIFT運(yùn)算來(lái)實(shí)現(xiàn)仿射不變性的影像匹配,試驗(yàn)結(jié)果表明對(duì)于寬基線、大傾角影像立體匹配具有較好的效果,但采用了SIFT算法提取的特征點(diǎn)定位精度,相對(duì)于基于F?rstner或最小二乘等匹配方法在精度上更低[49]。在國(guó)內(nèi),文獻(xiàn)[59]提出了面向?qū)捇€立體影像匹配的高質(zhì)量仿射不變特征提取方法,集成特征篩選方法、MSER、SIFT的特征提取算法,試驗(yàn)表明該方法具有更高的重復(fù)率和匹配成功率,有利于寬基線立體匹配;文獻(xiàn)[60]提出了針對(duì)高分辨率遙感影像的多基線影像匹配方法,可適用于地勢(shì)起伏較大的山地區(qū)域影像匹配;文獻(xiàn)[61]提出了基于SIFT的寬基線立體影像密集匹配方法;為適應(yīng)地形起伏較大的低空影像匹配,提出了ASIFT輔助的匹配方法[2],試驗(yàn)結(jié)果表明可一定程度上滿足寬基線大傾角的近景影像和山區(qū)低空影像匹配的需要,但運(yùn)算復(fù)雜度較高;文獻(xiàn)[62]提出了融合互補(bǔ)仿射不變特征的傾斜立體影像高精度自動(dòng)配準(zhǔn)方法。然而,目前大都仿射不變性的影像匹配研究常把地面視為平坦地形來(lái)表述其幾何變形,等效于影像的整體仿射變換。在低空傾斜攝影測(cè)量中,平臺(tái)飛行高度低地形起伏相對(duì)較大,其引起的影像幾何變形會(huì)嚴(yán)重影響匹配性能[63],采用單一的仿射變化關(guān)系可能難以表述立體像對(duì)間各個(gè)局部的扭曲變化,已不適用于地表建筑物高低錯(cuò)落、山區(qū)等復(fù)雜地形下低空傾斜攝影測(cè)量影像匹配。
對(duì)于諸如低空傾斜立體像對(duì)匹配所涉及的影像,因視點(diǎn)變化較大,利用仿射變換而非透視變換來(lái)表述特征進(jìn)行匹配易失敗,相關(guān)研究主要集中在計(jì)算機(jī)視覺(jué)處理方面??紤]透視變換關(guān)系特征提取算法具有代表性主要有:文獻(xiàn)[64]提出了透視不變性的特征匹配,通過(guò)構(gòu)建立體像對(duì)三維表面建立透視不變特征描述子進(jìn)行影像匹配,在對(duì)象較為簡(jiǎn)單的計(jì)算機(jī)視覺(jué)影像匹配可以得到較好的效果;文獻(xiàn)[65]提出了三維特征的格網(wǎng)匹配算法;文獻(xiàn)[66]提出了透視不變性特征點(diǎn)檢測(cè)算法,但主要用在平面目標(biāo)對(duì)象的處理;文獻(xiàn)[67]提出了基于透視投影的完全仿射不變性的影像匹配方法,通過(guò)模擬攝影機(jī)在三維空間姿態(tài)變換構(gòu)建透視變換的視圖來(lái)匹配影像,這種算法類似ASIFT,把ASIFT算法中仿射變換替換為透視變換,在平面攝影對(duì)象效果較好,但仍未解決地形起伏較大時(shí)影像幾何變形給匹配帶來(lái)的影響。
當(dāng)前,以卷積神經(jīng)網(wǎng)絡(luò)CNN(convolutional neural networks)為代表的深度學(xué)習(xí)已廣泛應(yīng)用于圖像處理[68-69],基于CNN的方法不僅可以提高圖像識(shí)別和分類的準(zhǔn)確度,且能夠提高在線操作的效率,更重要的是,深層語(yǔ)義特征可通過(guò)深度學(xué)習(xí)來(lái)提取。2015年以來(lái),研究人員開(kāi)始將深度學(xué)習(xí)應(yīng)用到密集立體匹配中,并且在計(jì)算機(jī)視覺(jué)圖像上獲得的匹配結(jié)果在準(zhǔn)確性上已逐漸超過(guò)傳統(tǒng)方法。
基于CNN的密集匹配方法通常使用兩種策略:①?gòu)膱D像到視差圖像的端到端預(yù)測(cè);②應(yīng)用CNN來(lái)學(xué)習(xí)立體匹配過(guò)程,如MC-CNN網(wǎng)絡(luò)[68,70]將匹配自動(dòng)化;SGM-Net[71]在基于半全局SGM的密集匹配的標(biāo)準(zhǔn)流程中引入CNN學(xué)習(xí)懲罰約束。利用端到端的學(xué)習(xí)策略直接根據(jù)立體像對(duì)預(yù)測(cè)視差圖像,如DispNet[72]這一典型的全卷積網(wǎng)絡(luò)(FCN)在編碼階段逐層提取立體圖像的高級(jí)特征,在解碼階段網(wǎng)絡(luò)將特征圖從粗糙圖像分辨率恢復(fù)到原始圖像分辨率以生成視差圖。GC-Net[73]充分利用像素之間的幾何信息和語(yǔ)義信息,考慮上下文信息的3D體積由2D CNN提取的視差交叉的2D特征圖組成,由一系列3D內(nèi)核進(jìn)行卷積將這些特征圖轉(zhuǎn)化為2D視差圖像。PSM-Net(pyramid stereo matching network)[74]是由空間金字塔池和3D卷積層組成的金字塔立體匹配網(wǎng)絡(luò),它將全局背景信息與立體匹配結(jié)合,實(shí)現(xiàn)了對(duì)遮擋區(qū)域,無(wú)紋理區(qū)域或圖案重復(fù)區(qū)域的穩(wěn)健匹配。級(jí)聯(lián)殘差學(xué)習(xí)[75]方法連接兩個(gè)改進(jìn)的DispNet網(wǎng)絡(luò),第1個(gè)網(wǎng)絡(luò)獲得立體像對(duì)之間的初始視差值,第2個(gè)網(wǎng)絡(luò)使用前一階段的殘差來(lái)訓(xùn)練更精細(xì)的視差圖。上述基于深度的學(xué)習(xí)方法是以監(jiān)督樣本進(jìn)行訓(xùn)練,需要高精度視差圖作為訓(xùn)練的標(biāo)簽。
盡管基于深度學(xué)習(xí)的立體方法已被應(yīng)用到計(jì)算機(jī)視覺(jué)圖像的匹配中,且與傳統(tǒng)方法相比取得了更好的效果,但受限于卷積運(yùn)算量大等制約因素并未廣泛應(yīng)用到低空攝影測(cè)量影像匹配中,隨著硬件并行運(yùn)算進(jìn)一步發(fā)展與算法的改進(jìn),基于深度學(xué)習(xí)等人工智能算法也將應(yīng)用在攝影測(cè)量數(shù)據(jù)處理中。
近年來(lái),以無(wú)人機(jī)為代表的低空攝影測(cè)量迅速發(fā)展,立體影像匹配技術(shù)也取得了長(zhǎng)足的進(jìn)步,傳統(tǒng)的基于灰度與特征的影像匹配方法已較為成熟,并廣泛應(yīng)用于低空攝影測(cè)量影像匹配,然而,面對(duì)深度學(xué)習(xí)等人工智能新方法及新型的低空攝影測(cè)量方式的出現(xiàn),影像匹配的發(fā)展還遠(yuǎn)未成熟,低空攝影測(cè)量影像匹配仍然是國(guó)內(nèi)外的研究熱點(diǎn)之一。
多平臺(tái)多角度自由飛行的低空攝影測(cè)量給后期數(shù)據(jù)處理帶來(lái)了新的挑戰(zhàn),現(xiàn)有算法側(cè)重于旋轉(zhuǎn)、平移、尺度、仿射變換等影像變換的處理,而對(duì)復(fù)雜地形條件下寬基線大視角攝影測(cè)量,尤其是對(duì)丘陵、山地等復(fù)雜地形造成的影像局部幾何變形、灰度壓縮或夸張等復(fù)雜變化的影像匹配處理還有待提升。
異源多傳感器低空攝影數(shù)據(jù)融合對(duì)影像匹配提出了新的要求,影像特征差異較大,傳統(tǒng)基于人工設(shè)計(jì)的特征可能無(wú)法提取深層次和具有語(yǔ)義的共軛特征,如何顧及多傳感器數(shù)據(jù)的空間代表性差異,挖掘它們之間的相關(guān)性與非線性映射關(guān)系,并實(shí)現(xiàn)影像匹配,是一個(gè)重要的發(fā)展趨勢(shì)。盡管當(dāng)前以深度學(xué)習(xí)為代表的人工智能算法在計(jì)算機(jī)視覺(jué)圖像匹配中取得了較好的效果,但低空攝影測(cè)量影像匹配數(shù)據(jù)量大、精度要求高,基于深度學(xué)習(xí)的人工智能算法在低空攝影測(cè)量影像匹配中仍需進(jìn)一步探討和發(fā)展。