基于Oriented FAST和 M AD的特征匹配圖像自動配準?

燕 磊 孫啟湲 朱菲菲

基于Oriented FAST和 M AD的特征匹配圖像自動配準?

燕 磊1，2孫啟湲1，2朱菲菲1，2

（1.天津市先進機電系統(tǒng)設計與智能控制重點實驗室 天津 300384）（2.天津理工大學機械工程學院 天津 300384）

針對雙目攝像機所獲取的兩幅具有平移變換的圖像提出了一種基于Oriented FAST和平均絕對差值法（MAD）進行特征匹配的自動配準算法。應用FAST特征提取算法檢測圖像中的角點、邊緣特征，并應用灰度質(zhì)心計算每個特征點的方位角，使用方位角作為特征描述符篩選出待配準圖像的候選匹配點隊列，然后利用MAD對特征點鄰域進行匹配，后續(xù)處理采用交叉過濾、隨機采樣一致算法（Random Sample Consensus，RANSAC）去除誤匹配點并求出兩幅圖像的仿射變換矩陣。實驗結果表明，該算法可以準確高效地實現(xiàn)兩幅圖像的自動配準。

圖像配準；FAST特征；MAD匹配

AbstractAn automatic image registration algorithm based on Oriented FAST and Mean Absolute Differences（MAD）was pro?posed for binocular-camera images with translational transformation.In this algorithm，F(xiàn)AST algorithm was used to detect feature points，intensity centroid method was used to calculate the key-point orientation which was lately used to screen out candidate matching points，then MAD was used to match those candidate points，finally mismatched points were eliminated by Cross Filter and RANSAC algorithm during which the affine transform matrix between the images was obtained.Experiments demonstrated the feasibility of this method.

Key Wordsimage registration，F(xiàn)AST features，MADmatching

Class NumberTP391

1 引言

目前圖像配準技術在視覺測量和視覺三維重建領域已經(jīng)得到廣泛應用［1～3］，利用雙目攝像機獲取兩幅具有視差的圖像（以下稱為左視圖和右視圖），利用左右視圖中對應點的視差值根據(jù)三角測量原理［4］可以計算出空間點的三維坐標。高效準確的圖像配準技術是計算左右視圖對應點視差的基礎，論文受到ORB（Oriented FAST and Rotated BRIEF）算法的啟發(fā)，利用FAST算法提取圖像特征，使用灰度質(zhì)心計算特征點的方位角，然后利用此方位角篩選出兩幅圖像中可能的匹配對，應用平均絕對差值法（Mean Absolute Differences，MAD）實現(xiàn)圖像配準。

2 基于O riented FAST和MAD的圖像配準算法

本文提出算法的總體框架如圖1所示，它主要由 FAST［5～6］特征點提?。ɡ?Harris響應值篩選顯著特征點，計算特征點方位角）、特征匹配（利用方位角篩選匹配對，運用MAD匹配）和變換參數(shù)估計幾個部分組成。

圖1 算法總體框架

2.1 Oriented FAST特征檢測

ORB（Oriented FAST and Rotated BRIEF）［6～7］建立在FAST特征點檢測器和BRIEF［8］特征描述子基礎上，F(xiàn)AST具有良好的性能和很低的計算量，但不具有旋轉(zhuǎn)不變性。ORB為FAST檢測器附加了一個快速而準確的方向元件，稱為Oriented FAST，使所描述的特征具備了旋轉(zhuǎn)不變性。Oriented FAST首先在圖像上檢測FAST-9特征點，F(xiàn)AST沒有對特征點的角度信息進行度量，并且對邊緣點有很高的響應值，因此使用Harris特征點響應值對檢測出的特征進行降序排序，響應值依次遞減，選取前N個特征點作為待匹配點集合。

然后Oriented FAST采用灰度質(zhì)心［9］來計算特征點的方位角。假設角點區(qū)域的灰度質(zhì)心與區(qū)域中心有一個偏移量，該偏移向量可以用來計算方位。我們把FAST特征檢測器的環(huán)形區(qū)域（圖2）稱為特征點斑塊，Rosin定義了一個圖像斑塊區(qū)域的矩：

使用圖像矩，斑塊區(qū)域的灰度質(zhì)心表示為

由此可得斑塊的方位角：

θ 的取值范圍在-180°～180°之間，表示質(zhì)心到中心點連線與x軸的夾角。假設特征點斑塊的半徑為r，則x，y的取值范圍是［-r，r］。

圖2 圖片區(qū)域中的12點分段測試角點檢測

由于雙目攝像機所拍攝的圖像間存在平移變換和微小的旋轉(zhuǎn)變換，受到ORB算法的啟發(fā)，使用Oriented FAST分別在兩幅圖像中提取特征點，然后計算每個點的方位角。假設兩幅圖像間的旋轉(zhuǎn)角度為Δα(Δα≤t)，t為設定閾值，用參考圖像的每個特征點遍歷待配準圖像的特征點，把方位角差值的絕對值小于所設閾值的點列為候選匹配點（如式4），存儲到參考圖像該特征點的候選匹配點隊列中，這樣可以縮小特征點匹配的搜索范圍，理論上可以有效提高匹配效率：

其中，t表示閾值，Pi， Pj'分別是兩圖像的特征點，兩點的狀態(tài)為1則將點Pj'列為點Pi的候選匹配點，狀態(tài)為0則略過并繼續(xù)下面的遍歷。

2.2 平均絕對差值模板匹配

設S(x ，y )是大小為 m×n的搜索圖像（圖3（a）），T(x ，y )是大小為 M×N 的模板圖像（圖3（b）），目的是在（a）中找到與（b）匹配的區(qū)域的坐標。

平均絕對差值法（Mean Absolute Differences，MAD）［10～12］是 Leese 在 1971 年提出的一種匹配算法，是模式識別中的常用算法。該算法的思想簡單，具有較高的匹配精度，廣泛用于圖像匹配。

圖3 灰度模板匹配

該算法的思路是，在搜索圖S中，以像素點(i，j)為左上角，取M×N大小的子圖，計算其與模板的相似度，遍歷整個搜索圖，在所有能夠得到的子圖中找到與模板圖最相似的子圖作為最終匹配結果。MAD算法的相似性測度公式如下：

其中，1≤i≤m-M+1，1≤j≤n-N+1

顯然平均絕對差D(i，j)越小表明越相似，故只需找到最小的D(i，j)即可確定正確匹配的子圖坐標。該算法的優(yōu)點是運算過程簡單，匹配精度高；缺點是運算量偏大，對噪聲非常敏感。針對以上問題，以特征點坐標作為模板的中心（此處采用15×15的模板尺寸），只對上節(jié)中得到的參考圖像特征點與其候選匹配點隊列進行模板匹配，將平均絕對差最小的點對作為正確匹配。這樣一方面避免了遍歷每個像素，大大減少了運算量，另一方面用方位角和模板匹配雙重篩選減小了噪聲點的干擾作用。

2.3 利用交叉過濾和重投影消除誤匹配點

從上面得到的匹配點對難免有誤匹配現(xiàn)象，原因是，比如參考圖像檢測得到225個特征點，待配準圖像檢測得200個特征點，在用參考圖像的每個特征點去遍歷待配準圖像的特征點時，將得到225個候選匹配點對，其中顯然是有誤匹配的點，換句話說，即出現(xiàn)了參考圖像上多個點與帶配準圖像的同一個點相匹配的現(xiàn)象。因此采用交叉過濾法，即兩幅圖像（稱為圖像1和圖像2），首先用圖像1遍歷圖像2得到匹配集合S1，再用圖像2遍歷圖像1得到匹配集合S2，取S1∩S2作為進一步處理的候選匹配集。

在實驗中發(fā)現(xiàn)由于場景圖像存在重復的紋理，造成誤匹配現(xiàn)象?；诖?，采用RANSAC［13］算法計算兩圖像的單應矩陣，把待配準圖像特征點映射到參考圖像上去，計算對應點之間的重投影誤差，把誤差小于設定閾值的點對定為正確匹配。經(jīng)過以上過程去除了剩余的誤匹配，最終得到兩幅圖像的變換參數(shù)。

3 實驗結果與分析

在Intel core i5 2.6 GHz CPU 4.0 Gbit RAM的PC機上采用C++編程實現(xiàn)了本文提出的算法，針對大量雙目攝像機獲取的圖像進行了實驗（限于篇幅下文僅給出一組實驗結果），并對算法的配準性能進行了分析。實驗中雙目攝像機經(jīng)過標定后的平均重投影誤差為0.25像素，達到了亞像素級。下圖4（a）是左右攝像機拍攝的大小為320×240像素的圖像，對它們進行特征提取和特征匹配，圖4（b）為經(jīng)過交叉過濾后的匹配圖像，在圖中可以明顯看到有幾處誤匹配的地方（黑線標出），圖4（c）為經(jīng)過RANSAC算法優(yōu)化后的最終匹配結果，具體實驗數(shù)據(jù)如表1所示。

圖4 特征提取與匹配實驗

表1 特征提取與匹配實驗數(shù)據(jù)

由表1看到該算法特征提取時間為6ms，特征匹配時間為15ms，以上時間計算均為多次實驗的平均值，總時間平均為21ms，對于雙目攝像機所獲取的視頻流，本算法可以滿足實時匹配的要求。

4 結語

論文受到ORB算法啟發(fā)提出了一種將Orient?ed FAST與平均絕對差值法（MAD）相結合進行圖像配準的方法，針對雙目攝像機所獲取的具有平移變換的兩幅圖像進行了特征提取和匹配實驗，實驗證明本算法可以準確而快速地完成特征提取和特征匹配，能夠滿足視頻流實時性要求。該算法的不足之處是只在兩攝像機存在平移變換時能夠有效匹配，不具有旋轉(zhuǎn)不變性，因此將算法進一步改進使其對存在旋轉(zhuǎn)變換的圖像配準具有魯棒性是未來研究的方向。

［1］ 張開玉.基于改進SURF的雙目立體視覺三維重建［D］.太原：太原理工大學，2013：11-16.

ZHANG Kaiyu.Three Dimensional Reconstruction of Bin?ocular Stereo Vision Based on Improved SURF［D］.Taiyu?an：Taiyuan University of Technology，2013：11-16.

［2］佟帥，徐曉剛，易成濤，等.基于視覺的三維重建技術綜述［J］.計算機應用研究，2011（7）：2411-2417.

TONG Shuai，XU Xiaogang，YI Chengtao，et al.Overview on vision-based 3D reconstruction［J］.Application Re?search of Computers，2011（7）：2411-2417.

［3］全燕鳴，黎淑梅，麥青群.基于雙目視覺的工件尺寸在機三維測量［J］.光學精密工程，2013（4）：1054-1061.

QUAN Yanming，LI Shumei，MAI Qingqun.On-machine 3D measurement of workpiece dimensions based on binoc?ular vision［J］.Optics and Precision Engineering，2013（4）：1054-1061.

［4］馬頌德，張正友.計算機視覺［M］.北京：科學出版社，1998：72-94.

MA Songde，ZHANG Zhengyou.Computer Vision：Foun?dation of Theory of computation and algorithms［M］.Bei?jing：Science Press，1998：72-94.

［5］Rosten E，Porter R，Drummond T.Faster and better：a ma?chine learning approach to corner detection.［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence，2008，32（1）：105-119.

［6］Rublee E，Rabaud V，Konolige K，et al.ORB：An efficient alternative to SIFT or SURF［C］//IEEE International Con?ference on Computer Vision.IEEE，2011：2564-2571.

［7］李小紅，謝成明，賈易臻，等.基于ORB特征的快速目標檢測算法［J］.電子測量與儀器學報，2013（5）：455-460.

LI Xiaohong，XIE Chengming，JIA Yizheng，et al.Rapid moving object detection algorithm based on ORB features［J］.Journal of Electronic Measurement and Instrument，2013（5）：455-460.

［8］Calonder M，Lepetit V，Strecha C，et al.BRIEF：Binary Robust Independent Elementary Features［C］//Computer Vision-ECCV 2010，European Conference on Computer Vision，Heraklion，Crete，Greece，September 5-11，2010，Proceedings，2010：778-792.

［9］Rosin P L.Measuring Corner Properties［J］.Computer Vi?sion&Image Understanding，1999，73（2）：291-307.

［10］趙啟.圖像匹配算法研究［D］.西安：西安電子科技大學，2013：7-16.

ZHAO Qi.Research on Algorithm of Image Matching［D］.Xi’an：Xidian University，2013：7-16.

［11］陳皓，馬彩文，陳岳承，等.基于灰度統(tǒng)計的快速模板匹配算法［J］.光子學報，2009（6）：1586-1590.

CHEN Hao，MA Caiwen，CHEN Yuecheng，et al.Fast Template Matching Algorithm Based on Image Gray Sta?tistic［J］.Acta Photonica Sinica，2009（6）：1586-1590.

［12］Barnea D I，Silverman H F.A Class of Algorithms for Fast Digital Image Registration［J］.IEEE Transactions on Computers，1972，C-21（2）：179-186.

［13］Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the Acm，1981，24（6）：381-395.

CNKI推出《中國高被引圖書年報》

日前，中國知網(wǎng)（CNKI）中國科學文獻計量評價研究中心推出了一套《中國高被引圖書年報》，該報告基于中國大陸建國以來出版的422萬余本圖書被近3年國內(nèi)期刊、博碩、會議論文的引用頻次，分學科、分時段遴選高被引優(yōu)秀學術圖書予以發(fā)布。據(jù)研制方介紹，他們統(tǒng)計并分析了2013-2015年中國學術期刊813萬余篇、中國博碩士學位論文101萬余篇、中國重要會議論文39萬余篇，累計引文達1451萬條。根據(jù)統(tǒng)計數(shù)據(jù)，422萬本圖書至少被引1次的圖書達72萬本。研制方根據(jù)中國圖書館分類法，將72萬本圖書劃分為105個學科，分1949-2009年和2010-2014年兩個時間段，分別遴選被引最高的TOP10%圖書，共計選出70911本優(yōu)秀圖書收入《中國被高引圖書年報》。統(tǒng)計數(shù)據(jù)顯示，這7萬本被高引優(yōu)秀圖書雖然只占全部圖書的1.68%，卻獲得67.4%的總被引頻次，可見這些圖書質(zhì)量上乘，在同類圖書中發(fā)揮了更加重要的作用。該報告還首次發(fā)布各科學“學科h指數(shù)”排名前20的出版單位的評價指標，對客觀評價出版社的社會效益—特別是學術出版物的社會效益具有重要的參考價值。

該報告從圖書被引用的角度出發(fā)，評價圖書的學術影響力，彌補了以銷量和借閱等指標無法準確評價學術圖書的缺憾，科學、客觀地評價了圖書、圖書作者以及出版單位對各科學發(fā)展的貢獻。

《中國高被引圖書年報》把建國以來出版圖書全部納入評價范圍屬國內(nèi)首創(chuàng)，是全面、客觀評價圖書學術影響力的工具，填補了目前圖書學術水平定量評價的空白，在幫助圖書館建設特色館藏和提高服務水平、幫助出版管理部門了解我國學術出版物現(xiàn)狀、幫助科研機構科研管理、幫助讀者購買和閱讀圖書等方面，均具有較強的參考價值，也為出版社評估出版業(yè)績、決策再版圖書、策劃學科選題提供有用的信息。

《中國高被引圖書年報》由《中國學術期刊（光盤版）》電子雜志社有限公司出版。該產(chǎn)品的形式為光盤電子出版物，分為理學、工學、農(nóng)學、醫(yī)學、人文科學和社會科學6個分卷，隨盤贈送圖書，歡迎您咨詢、訂購。咨詢電話：010-82710850 82895056轉(zhuǎn)8599，email：aspt@cnki.net

An Autom atic Image Registration M ethod Based on O riented FAST and MAD Features M atching

YAN Lei1，2SUN Qiyuan1，2ZHU Feifei1，2
（1.Key Laboratory of Advanced Mechanical and Electrical Systems Design and Intelligent Control of Tianjin，Tianjin 300384）（2.School of Mechanical Engineering，Tianjin University of Technology，Tianjin 300384）

TP391

10.3969/j.issn.1672-9722.2017.09.035

2017年3月10日，

2017年4月21日

燕磊，男，碩士研究生，研究方向：機器視覺。孫啟湲，男，博士，教授，研究方向：機器視覺。朱菲菲，女，碩士研究生，研究方向：多元信息融合。