圖像配準(zhǔn)關(guān)鍵技術(shù)綜述

楊家俊， 丁祝順， 陳 昕

（1.超精密航天控制儀器技術(shù)實驗室，北京100039；2.北京航天控制儀器研究所，北京100039）

0 引言

圖像配準(zhǔn)技術(shù)作為多種圖像處理與分析系統(tǒng)非常重要的基礎(chǔ)模塊，一直以來都是圖像處理與機器視覺領(lǐng)域極為重要的研究方向。圖像配準(zhǔn)技術(shù)被廣泛接受的定義如下：圖像配準(zhǔn)技術(shù)指將由不同視角、不同時間或不同傳感器捕獲的同一場景包含重疊區(qū)域的圖像進行幾何對齊［1］。

圖像拼接及圖像融合是圖像配準(zhǔn)技術(shù)的兩大重要應(yīng)用領(lǐng)域，是相關(guān)功能系統(tǒng)不可或缺并直接影響系統(tǒng)性能的核心模塊，具備非常重要的技術(shù)價值。以圖像配準(zhǔn)算法為基礎(chǔ)的圖像融合技術(shù)已經(jīng)被廣泛應(yīng)用于機器視覺、安防監(jiān)控、醫(yī)學(xué)圖像分析、遙感圖像解譯、軍事目標(biāo)識別與跟蹤等多種實際場景，通過輸出全面綜合了各個輸入圖像信息的高質(zhì)量單一圖像，以便于人的感知或機器分析、理解以及決策。圖像配準(zhǔn)算法的另一大應(yīng)用領(lǐng)域是圖像拼接技術(shù)，通過將具有重疊區(qū)域的輸入圖像進行準(zhǔn)確拼接，可以合成具有大視角、超高分辨率的高質(zhì)量圖像。近年來，增強現(xiàn)實（Augmented Reality， AR ）、 混 合 現(xiàn) 實 （Mixed Reality，MR）等技術(shù)的快速發(fā)展及廣泛應(yīng)用促進了對大視角、高分辨率全景圖像的迫切需求［2］。圖像配準(zhǔn)技術(shù)亦廣泛應(yīng)用于圖像降噪、視場擴展、運動物體去除、模糊消除、空間解析度提高、動態(tài)范圍增強、計算機特效、遙感及醫(yī)學(xué)成像等技術(shù)領(lǐng)域。

廣闊的應(yīng)用場景對圖像配準(zhǔn)算法提出了更高的性能指標(biāo)及技術(shù)要求，也促進了圖像配準(zhǔn)技術(shù)的快速發(fā)展和廣泛應(yīng)用。目前，被廣泛研究以及應(yīng)用的圖像配準(zhǔn)算法通常分為基于區(qū)域的圖像配準(zhǔn)算法以及基于特征的圖像配準(zhǔn)算法兩大類［1］。傳統(tǒng)的圖像配準(zhǔn)算法［3］通常估計一個全局的單應(yīng)性變換進行圖像對齊，并配合光束法平差尋找最優(yōu)解。2011年，Gao等［4］提出的算法將場景劃分到背景和前景兩個平面，分別使用單應(yīng)性矩陣進行對齊，有效提升了融合圖像質(zhì)量。Lin等［5］使用多個仿射變換對齊圖像，能更好地處理圖像局部形變。2013年，Zaragoza等［6］將圖像劃分為密集的網(wǎng)格，然后在每個網(wǎng)格中高效地估計局部單應(yīng)性矩陣。2014年，Zhang等［7］提出的算法通過網(wǎng)格優(yōu)化實現(xiàn)了高質(zhì)量的大視差場景圖像拼接。2015年，Lin等［8］提出的算法通過自適應(yīng)計算確定全局相似變換進行形狀矯正。2016年，Chen等［9］提出的算法同時使用局部和全局相似性約束確定相似矩陣，提升了圖像配準(zhǔn)質(zhì)量。2017年，Nie等［10］提出的算法同時計算拼接和穩(wěn)定的優(yōu)化，實現(xiàn)了對視頻圖像的高質(zhì)量配準(zhǔn)。

本文首先介紹了圖像配準(zhǔn)技術(shù)的基本流程，并討論了圖像配準(zhǔn)算法面臨的技術(shù)難點。然后，對基于區(qū)域和基于特征的圖像配準(zhǔn)算法分別進行了詳細論述。最后，對全文進行了總結(jié)并展望了圖像配準(zhǔn)技術(shù)的發(fā)展方向。

1 圖像配準(zhǔn)基本流程及技術(shù)難點

1.1 圖像配準(zhǔn)基本流程

首先，圖像配準(zhǔn)算法需要選擇合適的變換模型及圖像特征。然后，針對圖像特征制定優(yōu)化準(zhǔn)則，并依據(jù)優(yōu)化準(zhǔn)則在變換模型的參數(shù)空間中進行最優(yōu)搜索。最后，將搜索到的變換模型應(yīng)用至輸入圖像，完成圖像的配準(zhǔn)。圖像特征包括灰度特征以及各種人工設(shè)計的特征，人工特征相比灰度特征更穩(wěn)定、魯棒性更強，因此獲得了更廣泛的應(yīng)用。以下為基于特征的圖像配準(zhǔn)技術(shù)標(biāo)準(zhǔn)流程，如圖1所示。

圖1 基于特征的圖像配準(zhǔn)流程圖Fig.1 Flowchart of feature-based image registration

（1）圖像預(yù)處理

圖像預(yù)處理屬于數(shù)據(jù)準(zhǔn)備階段，主要用于抑制噪聲、增強圖像配準(zhǔn)所需要的特征信息、提高輸入圖像的質(zhì)量。

（2）特征提取

特征提取是圖像配準(zhǔn)的關(guān)鍵步驟，包括手動提取和自動提取兩種，通常使用自動提取的特征。人工設(shè)計的特征通常以像素亮度變化劇烈的邊緣、封閉輪廓、角點、線交點及端點等作為興趣點。圖像配準(zhǔn)通常提取角點特征，因為其具備良好的可定位及可識別性。最經(jīng)典的特征描述符包括SIFT及其變體HOG，其具備平移、旋轉(zhuǎn)、縮放的幾何不變性及光照不變性。此外，被廣泛使用的人工特征還包括SURF、FAST、ORB等。

（3）特征匹配

特征匹配為待配準(zhǔn)圖像和參考圖像中提取的特征集合建立匹配關(guān)系，需要兩幅圖像之間具有足夠面積的重疊區(qū)域，通常利用特征描述符配合相應(yīng)的相似性度量實現(xiàn)特征的最近鄰匹配。同時，采用隨機采樣一致性（Random Sample Concensus，RANSAC）算法利用特征的空間位置關(guān)系剔除誤匹配，建立全局一致的特征匹配關(guān)系。

（4）變換模型估計

圖像的變換模型包括剛體變換和非剛體變換：剛體變換對圖像建立全局的變換模型，無法建模圖像間的局部差異；非剛體變換允許通過局部的圖像扭曲配準(zhǔn)參考圖像與待配準(zhǔn)圖像。利用選定的變換模型對特征集進行變換，并選擇合適的優(yōu)化搜索算法最小化匹配誤差，獲取變換模型參數(shù)的最優(yōu)估計。

（5）圖像重采樣

對待配準(zhǔn)圖像使用已估計參數(shù)的變換模型進行重采樣，并對部分像素位置進行插值，將待配準(zhǔn)圖像對齊至參考圖像，完成圖像配準(zhǔn)過程。最常用的插值方法包括最近鄰函數(shù)、雙線性和雙三次函數(shù)、二次樣條函數(shù)、三次B樣條函數(shù)、高階B樣條函數(shù)、Gauss函數(shù)和截斷的Sinc函數(shù)等。

1.2 圖像配準(zhǔn)技術(shù)難點

圖像配準(zhǔn)是圖像處理與分析領(lǐng)域的關(guān)鍵技術(shù)，當(dāng)前面臨的技術(shù)難點及挑戰(zhàn)主要包括：

1）典型的大視角鏡頭采集的圖像常常帶有不同程度的畸變失真，而廣角鏡頭、魚眼鏡頭的畸變則更為嚴(yán)重。這會嚴(yán)重影響使用針孔攝像機模型的圖像配準(zhǔn)系統(tǒng)，需要事先對圖像采集設(shè)備進行精確標(biāo)定［11］。

2）常用的異源圖像融合系統(tǒng)如可見光-紅外圖像、多模醫(yī)學(xué)圖像融合，其待配準(zhǔn)圖像來自不同類型的傳感器，由于其成像原理、所捕獲的目標(biāo)信息存在差異，給圖像配準(zhǔn)系統(tǒng)帶來了挑戰(zhàn)。

3）當(dāng)待拼接圖像較多或者輸入視頻流的時候，可能需要降低圖像配準(zhǔn)算法的復(fù)雜度，或者引入圖像選擇機制，從而在有限的計算資源下獲得滿足需求的處理速度。

4）實際圖像配準(zhǔn)系統(tǒng)的輸入圖像可能來自非受限的自然環(huán)境，運動物體干擾、光照等環(huán)境條件的變化難以避免，需要設(shè)計魯棒性更強的圖像配準(zhǔn)系統(tǒng)。

2 基于特征的圖像配準(zhǔn)算法

基于特征的圖像配準(zhǔn)算法由源圖像中提取更高層次的特征信息用于圖像配準(zhǔn)，提高了算法對亮度變化和噪聲的魯棒性。并且相比基于區(qū)域的圖像配準(zhǔn)算法，基于特征的圖像配準(zhǔn)算法可以處理圖像差異較大的情況，是當(dāng)前被普遍采用的圖像配準(zhǔn)算法。

2.1 特征提取

圖像特征包括區(qū)域特征、線特征和點特征。區(qū)域特征通常選擇高對比度的封閉區(qū)域，通過圖像分割方法檢測區(qū)域特征［12］。區(qū)域通常以重心來表達，具備旋轉(zhuǎn)、尺度不變性，且對隨機噪聲和光照變化不敏感。線特征通常選擇線段或特定的物體輪廓［13］，使用標(biāo)準(zhǔn)的邊緣檢測方法如Canny檢測器［14］檢測線特征，線特征通常以線的端點或中點表達。點特征在場景適應(yīng)性、檢測難度、匹配精度等方面優(yōu)于區(qū)域特征和線特征，在圖像配準(zhǔn)算法中得到了更廣泛的應(yīng)用。圖像特征的提取示意圖如圖 2 所示［15-16］。

圖2 圖像特征提取示意圖Fig.2 Schematic diagram of image feature extraction

常規(guī)的點特征定義包括線交叉點、局部曲率不連續(xù)點、曲線拐點、角點等，大量的研究文獻專注于點特征的精確、魯棒及快速檢測。最早的角點檢測器由 Moravec［17］在 1980年提出， Moravec檢測器將自相似度較低的點定義為角點。Kitchen等［18］使用了圖像的二階偏導(dǎo)數(shù)，選擇曲率和梯度均較高的點。為了解決圖像二階導(dǎo)數(shù)對噪聲敏感的問題， F?rstner等［19］提出了只使用圖像一階導(dǎo)數(shù)、魯棒性更強的檢測器。Harris檢測器［20］由Harris和Stephens提出，它對旋轉(zhuǎn)和平移、少量光照及視角變化不敏感，計算量很小，應(yīng)用非常廣泛。1994年提出的Shi-Tomasi角點［21］改進了Harris檢測器，通?？梢垣@得更好的結(jié)果。Smith等［22］提出的SUSAN檢測器在適當(dāng)?shù)膱A形掩模內(nèi)檢測角點，具備優(yōu)異的檢測速度、準(zhǔn)確性和抗噪性。Lowe［23］于2004年提出了尺度不變特征變換（Scale Invariant Feature Transform，SIFT）特征點，SIFT特征具備優(yōu)異的魯棒性，獲得了非常廣泛的應(yīng)用。Bay等［24］提出的SURF特征是SIFT的改進版本，引入了積分圖像，性能更強。2006年，由Rosten等［25］提出的FAST角點檢測器改進了SUSAN特征，通過灰度值比較將圖像局部像素變化明顯的位置作為特征，其優(yōu)勢是速度極快。2011年，由Rublee等［26］提出的ORB特征為FAST特征引入了旋轉(zhuǎn)及尺度不變性，并使用速度極快的二進制BRIEF描述子，實現(xiàn)了檢測質(zhì)量和性能的良好平衡，獲得了廣泛的應(yīng)用。

2.2 特征匹配

當(dāng)圖像缺少局部紋理、形狀和結(jié)構(gòu)等顯著的細節(jié)信息時，通常使用基于特征之間空間分布關(guān)系的方法進行匹配。Goshtasby等［27］提出的配準(zhǔn)算法基于圖匹配算法，統(tǒng)計待配準(zhǔn)圖像特征經(jīng)特定轉(zhuǎn)換后落在參考圖像特征給定范圍內(nèi)的數(shù)量，以得分最高的轉(zhuǎn)換參數(shù)作為估計結(jié)果。Stockman等［28］提出的算法假設(shè)變換模型為相似變換，首先使用所有點對計算參數(shù)空間點，然后定位參數(shù)空間中的聚類簇，并取其質(zhì)心作為變換參數(shù)。

使用更為廣泛的方法基于特征的不變描述子，將待配準(zhǔn)圖像間描述子最相似的特征進行配對。暴力匹配計算每一個待匹配特征與參考特征集的相似度，并返回相似度最高的項。暴力匹配可以獲得最優(yōu)匹配結(jié)果，但是效率太低，通常使用近似最近鄰快速 搜 索［29］（Fast Library for Approximate Nearest Neighbors，F(xiàn)LANN）進行快速匹配。特征的相似度度量通常使用特征向量間的Euclidean距離或余弦相似度，二進制特征通常使用Hamming距離。文獻［30］使用相關(guān)系數(shù)作為相似性度量，文獻［31］利用互信息提升特征匹配的準(zhǔn)確度。此外，文獻［32］中提出的迭代最近點（ICP）算法在三維匹配中應(yīng)用非常廣泛。

為了剔除誤匹配點對，通常使用由Fischler等［33］提出的隨機采樣一致（RANSAC）隨機優(yōu)化算法。RANSAC算法隨機選擇樣本點計算變換矩陣，通過不斷迭代執(zhí)行并保留內(nèi)點數(shù)量最多的變換矩陣作為輸出，其容錯能力很強，缺點是結(jié)果具有隨機性，且受迭代次數(shù)影響。此外，文獻［34］根據(jù)特征匹配的可靠性選擇特征，文獻［35］引入匹配似然系數(shù)用于匹配可靠性的度量。部分特征匹配方法不進行區(qū)域相關(guān)或者特征匹配，如文獻［36］基于特征一致機制分階段進行參數(shù)投票，逐個估計變換模型參數(shù)。點特征的匹配及誤匹配剔除示意圖如圖 3 所示［15］。

2.3 變換模型估計

圖像配準(zhǔn)算法普遍使用透視變換模型和鏡頭畸變模型作為成像模型，配準(zhǔn)變換模型主要包括全局模型和局部模型。全局變換模型使用所有匹配點對估計待配準(zhǔn)圖像的映射函數(shù)，通常使用線性的仿射變換模型

圖3 特征匹配及誤匹配剔除示意圖Fig.3 Schematic diagram of feature matching and mismatch eliminatio

若相機和成像場景距離較近，通常使用以下透視變換模型

由于匹配點數(shù)量遠多于變換模型的自由度，通常對匹配點對的均方差損失函數(shù)使用最小二乘法求解模型的最優(yōu)參數(shù)。

全局變換模型平等地對待整幅圖像的變形，無法建模圖像的局部形變差異。因此，局部敏感的配準(zhǔn)模型在處理存在局部變形的圖像配準(zhǔn)時通常優(yōu)于全局方法。文獻［37］使用加權(quán)最小二乘法和加權(quán)平均法處理圖像的局部變形。文獻［38］利用匹配點對進行三角化，并在三角內(nèi)部使用局部映射函數(shù)。其他應(yīng)對圖像局部變形的方法還包括使用徑向基函數(shù)以及彈性配準(zhǔn)方法。

使用暴力搜索求解模型參數(shù)的計算復(fù)雜度太高，通常使用數(shù)值優(yōu)化算法優(yōu)化由特定相似度度量構(gòu)造的配準(zhǔn)模型損失函數(shù)，以獲得模型的自由參數(shù)。如文獻［39］使用了Gauss-Newton數(shù)值優(yōu)化算法，文獻［40］使用了梯度下降優(yōu)化算法，文獻［41］使用了Levenberg-Marquardt優(yōu)化算法，文獻［42］使用了模擬退火隨機優(yōu)化算法。此外，為了提高搜索速度，通常利用圖像金字塔分解或者小波分解進行逐層細化搜索。

3 基于區(qū)域的圖像配準(zhǔn)算法

基于區(qū)域的圖像配準(zhǔn)算法定義了不同的區(qū)域相關(guān)性指標(biāo)。通常以參考圖像為基準(zhǔn)，通過極大化相關(guān)性指標(biāo)搜索待配準(zhǔn)圖像的最佳位置，以實現(xiàn)圖像對齊，其示意圖如圖4所示［15］?；趨^(qū)域的圖像配準(zhǔn)算法通常不需要復(fù)雜的圖像預(yù)處理，算法實現(xiàn)簡單，缺點是一般只適用于平移、旋轉(zhuǎn)較小且待配準(zhǔn)圖像之間亮度統(tǒng)計相關(guān)的情況，應(yīng)用范圍較小，魯棒性較低，運算量較大。

圖4 基于區(qū)域的圖像配準(zhǔn)示意圖Fig.4 Schematic diagram of area-based image registration

最經(jīng)典的區(qū)域配準(zhǔn)準(zhǔn)算是歸一化互相關(guān)法［43］，其對參考圖像和待配準(zhǔn)圖像的滑動計算相似度，搜索最大值位置作為配準(zhǔn)結(jié)果。如圖4（c）所示，圖中顯著的響應(yīng)尖峰即最優(yōu)的匹配位置。相關(guān)法易于硬件實現(xiàn)，但缺點是計算量較大、相似度極大值的顯著性較低。相位相關(guān)法由Kuglin［44］提出，該算法通過Fourier變換將圖像轉(zhuǎn)換到頻域，使用互功率譜中的相位信息進行配準(zhǔn)。該算法具備光照魯棒性，并且適用于異源圖像，缺點是對噪聲比較敏感。擴展相位相關(guān)法由De Castro等［45］提出，該算法依次對待配準(zhǔn)圖像的旋轉(zhuǎn)和平移量進行估計，可以在同時包含旋轉(zhuǎn)和平移的圖像上獲得良好的配準(zhǔn)效果。來自信息論的互信息（Mutual Information，MI）度量兩組數(shù)據(jù)間的統(tǒng)計相關(guān)性，被廣泛用于異源圖像的配準(zhǔn)，典型如醫(yī)學(xué)圖像和多光譜圖像。互信息最初由Viola等［40］引入到圖像配準(zhǔn)領(lǐng)域，他們通過梯度下降法最大化互信息進行圖像配準(zhǔn)。Zhu［46］將交叉熵引入了圖像配準(zhǔn)領(lǐng)域，使用交叉熵度量圖像相似性。

4 結(jié)論與展望

本文介紹了圖像配準(zhǔn)技術(shù)的基本流程及技術(shù)難點，分階段總結(jié)了圖像配準(zhǔn)算法的關(guān)鍵技術(shù)及研究進展，同時分析了不同算法的適用性?；趨^(qū)域的圖像配準(zhǔn)算法實現(xiàn)簡單，但計算復(fù)雜度較高，適用范圍較小?；谔卣鞯膱D像配準(zhǔn)算法在特征匹配之前引入了更高層特征的提取過程，有效提升了算法的環(huán)境適應(yīng)性及配準(zhǔn)質(zhì)量，應(yīng)用非常廣泛，具有非常大的發(fā)展?jié)摿Α?/p>

傳統(tǒng)的圖像配準(zhǔn)算法主要使用點特征，對特征點的數(shù)量、質(zhì)量及分布情況要求較高。近年來，部分研究嘗試使用線特征輔助點特征以提高圖像配準(zhǔn)質(zhì)量，這有待進一步的發(fā)展研究。隨著深度學(xué)習(xí)技術(shù)特別是卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展及其在計算機視覺領(lǐng)域展現(xiàn)出的優(yōu)異的實用性能，神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)開始被引入到圖像配準(zhǔn)領(lǐng)域。利用深度神經(jīng)網(wǎng)絡(luò)輔助提升基于多視幾何學(xué)傳統(tǒng)算法的圖像配準(zhǔn)質(zhì)量，甚至是訓(xùn)練端到端的圖像配準(zhǔn)網(wǎng)絡(luò)有著巨大的發(fā)展前景。

作為眾多計算機視覺系統(tǒng)的基礎(chǔ)模塊，圖像配準(zhǔn)技術(shù)得到了廣泛的研究及發(fā)展。隨著計算硬件性能的不斷提升，高計算復(fù)雜度的算法可以實時運行，圖像配準(zhǔn)技術(shù)的精度及效率不斷提升。同時，存在嚴(yán)重局部或非線性形變的圖像以及多模態(tài)圖像等圖像配準(zhǔn)任務(wù)仍然具有挑戰(zhàn)性，并且需要在提升算法魯棒性及場景自適應(yīng)性等方面繼續(xù)開展深入研究。