基于ORB特征的戶外建筑物識別方法

羅林

摘要：在景點導(dǎo)游系統(tǒng)、戶外廣告等增強現(xiàn)實系統(tǒng)中，戶外建筑物識別有較大的應(yīng)用價值。本文討論了一種戶外建筑物的識別方法，其特點是把整個系統(tǒng)分為服務(wù)器/客戶端設(shè)計。設(shè)計中，在服務(wù)器端可以利用服務(wù)器強大的計算及存儲能力來計算感興趣區(qū)域（POI）的建筑物的ORB特征；客戶端通過攝像頭等設(shè)備抓取視頻幀并獲取當前視頻幀的ORB特征傳遞給服務(wù)器；服務(wù)器通過漢明距離匹配這兩組ORB特征，得到最匹配的建筑物信息返回給客戶端。為了提高識別效率，預(yù)先將POI劃分成二維網(wǎng)格，并根據(jù)客戶端的GPS信息定位在其中一個單元格中，匹配時，只需要遍歷比較已定位單元格的8個鄰域中的建筑物即可。

關(guān)鍵詞：建筑物識別；ORB；GPS；服務(wù)器

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2015）28-0127-02

Outdoor Building Identification Method Based on ORB Features

LUO Lin

（Guangzhou University Huaruan Software College， Guangzhou 510990， China）

Abstract： In the scenic spot guide system， outdoor advertising and other augmented reality system， outdoor building identification has great application value. This paper discuss a method for the identification of outdoor buildings， which divide the system into server / client component. In this design， on the server side can use servers powerful computing and storage capacity to calculate the orb features of region of interest （POI） buildings； client through video cameras capture video frames and obtain the orb features of current video frame and send it to the server； the server use hamming distance matching method match the two sets of orb feature， get the best matches of the building information and send it back to the client. In order to improve the recognition efficiency， POI is divided into grids， and according to the client's GPS information， location the client in one of the cells， do matching work， only need to traverse and compare to the 8 neighbourhood cells building .

Key words：building identification；ORB；GPS；Server

1 概述

“城市增強現(xiàn)實是當前增強現(xiàn)實的應(yīng)用熱點，在城市增強現(xiàn)實中往往使用提示信息來為用戶做出與城市內(nèi)建筑景物等相關(guān)的提示”[1]，這些提示信息可以用作公共信息服務(wù)或者戶外廣告，具有極大的應(yīng)用價值。

要實現(xiàn)城市建筑物的增強現(xiàn)實信息提示的關(guān)鍵點是要實現(xiàn)建筑物的識別。在城市增強現(xiàn)實應(yīng)用中的典型場景是用戶手持如iPhone這樣的移動設(shè)備，將其攝像頭對準場景中保持一小段時間，應(yīng)用程序則需要根據(jù)攝像頭捕獲的視頻幀與預(yù)先獲取的建筑物的參考圖像匹配，并根據(jù)匹配的結(jié)果，在移動設(shè)備的屏幕上顯示出相應(yīng)的提示信息。

實現(xiàn)圖像匹配，可以利用SIFT、SURF、ORB等算法抽取圖像的特征點。其中SIFT、SURF算法準確度較高，但執(zhí)行效率較低，不適合應(yīng)用在實時運行的環(huán)境中。而“在計算速度方面，ORB是SIFT的100倍左右，是SURF的10倍左右，可以滿足實時的特征匹配”[2]。因此，在建筑物識別時，可以利用ORB[3]算法抽取圖像特征點，然后使用漢明距離匹配視頻幀圖像與參考圖像。

在建筑物識別時，應(yīng)用程序會預(yù)先生成具有興趣點（POI）的若干建筑物的ORB特征。如果應(yīng)用的范圍比較廣，建筑物較多，那么進行ORB特征匹配時，需要匹配檢測的圖像太多，會嚴重拖慢匹配速度，用戶體驗不好。而iPhone這樣的移動設(shè)備具有GPS芯片，可以得到自身的GPS信息，所以，可以利用GPS信號對建筑物參考圖像進行篩選，只匹配移動設(shè)備周圍有限的建筑參考圖像，提高匹配速度。

由于移動設(shè)備的性能限制，也為了便于更新系統(tǒng)中各建筑物的信息，在是建筑物識別系統(tǒng)時，應(yīng)該分為服務(wù)器端及客戶端應(yīng)用程序。如圖1的活動圖所示。

2 服務(wù)器設(shè)計

如圖1，服務(wù)器需要不停監(jiān)聽客戶端發(fā)送過來的識別信息，并做出響應(yīng)。因此采用高效的服務(wù)器模型有助于提高整個系統(tǒng)的性能，給使用者帶來較好的體驗。在目前的網(wǎng)絡(luò)通信開發(fā)庫中，BOOST.Asio“以其良好的性能，靈活的用法，支持高并發(fā)的IO處理，以及強大的跨平臺支持，逐漸成為C++網(wǎng)絡(luò)庫的工業(yè)化標準，被越來越多的網(wǎng)絡(luò)應(yīng)用作為基礎(chǔ)框架”[4]。 因此服務(wù)器通信層的設(shè)計可以采用BOOST.Asio開發(fā)庫作為底層網(wǎng)絡(luò)通信技術(shù)手段，并利用其異步通信機制創(chuàng)建一個高效的基于TCP/IP協(xié)議的網(wǎng)絡(luò)通信層[5]。服務(wù)器與客戶端的通信協(xié)議表1所示：

圖2所示網(wǎng)格是將系統(tǒng)所包含的區(qū)域按同樣寬度及高度w劃分成網(wǎng)格，將用戶的GPS坐標整除w就可以快速定位到網(wǎng)格中的某一個單元格上。假設(shè)p是用戶GPS定位到的單元格，那么系統(tǒng)只需要用p周圍的8個鄰域中的建筑物進行特征匹配，而超出這8個鄰域的其他單元格中的建筑物因為距離p較遠而不用考慮。如圖2，只需要匹配建筑物A、B的ORB特征，而C、D、E因為距離較遠，不需要計算，從而提高了系統(tǒng)的性能。

如表1，客戶端還會上傳當前視頻幀的特征點數(shù)組k2及特征描述數(shù)組d2，服務(wù)器要用這些信息與數(shù)據(jù)庫中記錄的p點附近的建筑物做特征匹配，其方法是遍歷p點附近的建筑物參考圖像，得到它們存在數(shù)據(jù)庫中的特征點k1及特征點描述序列d1，利用OpenCV庫中的cv：：BFMatcher對象的match方法按照漢明距離做匹配d1、d2，得到匹配點集合matches。將matches按照漢明距離做升序排序，取一定數(shù)量（假定100個）的匹配點放到集合good_matches中。在good_matches中還有可能存在錯誤的匹配，為了剔除這些錯誤的匹配，可以使用RANSAC算法對good_matches中的匹配點進行篩選。通過篩選后，對于正確的匹配，在good_matches集合中還能保留較多的匹配點，而錯誤的匹配在good_matches集中中只能留下很少的匹配點，如圖3所示。而具有較多匹配點的參考圖像即當前視頻幀中所包含的建筑物，將該建筑物相應(yīng)的提示信息發(fā)送給客戶端。

（a）正確的匹配（較多匹配點）

（b）錯誤的匹配（很少匹配點）

3 客戶端設(shè)計

客戶端基于iPhone設(shè)計。其步驟如下：

1）客戶端的功能首先要打開攝像頭捕獲視頻。在IOS平臺可以使用AvFoundation類庫中的AVCaptureSession對象打開攝像頭捕獲視頻。在AVCaptureSession的委托方法captureOutput里將捕獲到的數(shù)據(jù)轉(zhuǎn)換為OpenCV中的Mat對象vm，便于下一步處理；

2）同服務(wù)器，用OpenCV視覺庫中的ORB特征檢測對象提取vm的特征點序列k2，特征點描述序列d2；

3）使用IOS定位服務(wù)得到GPS信息，即使用CoreLocation.framework中的CLLocationManager對象開啟定位服務(wù)，在其委托方法中得到GPS信息g；

4）將g、k3、d3按照表1所示通信協(xié)議打包數(shù)據(jù)幀，使用socket發(fā)送給監(jiān)聽的服務(wù)器，等待服務(wù)器返回匹配結(jié)果；

5）如果匹配，則在屏幕上用標簽或者文本框等控件將服務(wù)器返回的提示信息顯示出來，否則不顯示任何信息。

客戶端設(shè)計時要注意，特征匹配比對是耗時的，所以在客戶端不能在每幀都發(fā)送待匹配的信息，可以采用標記來記錄服務(wù)器匹配是否完成，在已經(jīng)完成了匹配驗證的情況下，再發(fā)送新的視頻幀。

4 結(jié)語

本文討論了一種基于ORB特征匹配的戶外建筑物識別方法，使用此方法能較快從視頻幀圖像中識別出目標建筑物，并受旋轉(zhuǎn)、光照等影響較小，具有較強的健壯性及容錯性。該方法在戶外景點導(dǎo)游或者戶外建筑物廣告等熱點應(yīng)用中有較高的實用價值。在今后的工作中，需要進一步提高這種方法的匹配速度，使用戶體驗有更進一步的提升。

參考文獻：

[1] 葛林，莊曉斌，華煒，萬華根.面向城市增強現(xiàn)實的高融合度信息標注方法[J].系統(tǒng)仿真學(xué)報，2014，26（9）：2015-2022.

[2] 任結(jié)，周余，于耀，等.基于 ORB 自然特征的 AR 實時系統(tǒng)實現(xiàn)[J].計算機應(yīng)用研究，2012，

[3] 肖斌，江弋，林凡.基于 ORB 和 KLT 的移動增強現(xiàn)實三維注冊算法[J].計算機與現(xiàn)代化，2014（3）：57-60.

[4] 吳克松，陳浩然，董建平.基于IOCP的Boost.Asio的研究及在高清MCU中的應(yīng)用[J].數(shù)據(jù)通信，2015（2）：11-14.

[5] 胡楊，梁防昕.異步模型Asio的應(yīng)用與分析[J].現(xiàn)代計算機（專業(yè)版），2008（11）：69-72.