移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)在虛擬公告板的應(yīng)用研究

劉哲+張衛(wèi)華+李松柏

摘要：近年來(lái)，隨著移動(dòng)設(shè)備性能的提高與互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展。增強(qiáng)現(xiàn)實(shí)（Augmented Reality，下文簡(jiǎn)稱(chēng)AR）這項(xiàng)技術(shù)被廣泛的應(yīng)用到移動(dòng)平臺(tái)（手機(jī)、平板等）。本文通過(guò)對(duì)移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)在虛擬公告板的應(yīng)用研究，實(shí)現(xiàn)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的虛擬公告板信息交互平臺(tái)，旨在改進(jìn)現(xiàn)有公告板及其它類(lèi)似平臺(tái)的靈活性差、傳播范圍受限、用戶(hù)交流不足等缺點(diǎn)。利用增強(qiáng)現(xiàn)實(shí)、圖像識(shí)別，GPS定位等相關(guān)技術(shù)，使得傳統(tǒng)的信息傳播方式變得更為生動(dòng)有趣及實(shí)用。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)；虛擬公告板；信息交互；圖像識(shí)別

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）06-0090-02

1 前言

隨著智能手機(jī)和硬件性能的不斷提升，增強(qiáng)現(xiàn)實(shí)技術(shù)逐漸出現(xiàn)在公眾的視野之中。通俗的來(lái)講增強(qiáng)現(xiàn)實(shí)技術(shù)是一種集真實(shí)世界信息與虛擬世界信息為一體進(jìn)行互動(dòng)的技術(shù)。通過(guò)模式識(shí)別技術(shù)識(shí)別場(chǎng)景中的部分圖像特征，基于視覺(jué)的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)技術(shù)將虛擬世界的信息應(yīng)用到真實(shí)世界中，增強(qiáng)用戶(hù)的視覺(jué)體驗(yàn)感。

針對(duì)以上所述，文中設(shè)計(jì)并實(shí)現(xiàn)了基于增強(qiáng)現(xiàn)實(shí)技術(shù)的虛擬公告板信息交互平臺(tái)。使用模式識(shí)別技術(shù)識(shí)別場(chǎng)景中的部分圖像特征。將位置信息以及社交互動(dòng)信息等基礎(chǔ)數(shù)據(jù)集成為留言信息并上傳至服務(wù)器，同時(shí)建立增強(qiáng)現(xiàn)實(shí)的基礎(chǔ)數(shù)據(jù)。當(dāng)用戶(hù)手機(jī)對(duì)場(chǎng)景取景時(shí)，運(yùn)用AR技術(shù)將虛擬公告板信息覆蓋顯示在真實(shí)場(chǎng)景中，在虛擬公告板上生動(dòng)真實(shí)顯示社交互動(dòng)信息，虛實(shí)結(jié)合。既通過(guò)以上兩種技術(shù)的結(jié)合建立虛擬的信息交互平臺(tái)，賦予傳統(tǒng)的公告板生動(dòng)有趣的社交功能。該研究對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)在虛擬公告板的應(yīng)用具有實(shí)際參考價(jià)值。

2 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)架構(gòu)設(shè)計(jì)是軟件開(kāi)發(fā)過(guò)程中至關(guān)重要的一步。移動(dòng)端由圖像采集，地理信息采集，增強(qiáng)現(xiàn)實(shí)信息展示，信息上傳，網(wǎng)絡(luò)服務(wù)這五部分組成，與用戶(hù)進(jìn)行直接的交互。其中圖像采集主要實(shí)現(xiàn)通過(guò)移動(dòng)端攝像頭獲取到實(shí)時(shí)的視頻圖像，完成視頻的采集。地理信息采集主要是通過(guò)GPS獲取用戶(hù)的地理信息，方便提高后期的圖像匹配精確度。增強(qiáng)現(xiàn)實(shí)信息展示主要利用AR技術(shù)將信息實(shí)時(shí)生動(dòng)地展示給用戶(hù)。信息上傳與網(wǎng)絡(luò)服務(wù)主要完成了數(shù)據(jù)的上傳。在服務(wù)器端主要包括數(shù)據(jù)庫(kù)，圖像識(shí)別，AR信息這三部分組成，提供數(shù)據(jù)的存儲(chǔ)與處理。由于服務(wù)器圖片處理能力較強(qiáng)，系統(tǒng)將圖像的識(shí)別與匹配放在服務(wù)器端進(jìn)行實(shí)現(xiàn)，以達(dá)到用戶(hù)滿(mǎn)意的效果。

3 關(guān)鍵技術(shù)

3.1 圖像匹配與識(shí)別技術(shù)研究

圖像匹配與識(shí)別對(duì)于本項(xiàng)目至關(guān)重要，系統(tǒng)通過(guò)移動(dòng)客戶(hù)端實(shí)時(shí)采集圖像，并提取圖像特征，在服務(wù)器通過(guò)特征進(jìn)行圖像匹配，并將獲取的圖像匹配結(jié)果返回給移動(dòng)客戶(hù)端。在數(shù)據(jù)上傳過(guò)程中，若有大量特征上傳服務(wù)器，則會(huì)消耗較多的用戶(hù)數(shù)據(jù)流量。

3.1.1 特征檢測(cè)

特征檢測(cè)主要完成的工作是在圖像中檢測(cè)“興趣”點(diǎn)。這些點(diǎn)可以是角點(diǎn)、邊緣等?？芍貜?fù)性和不變形是檢測(cè)“興趣”點(diǎn)的重要標(biāo)準(zhǔn)，這就意味著算法應(yīng)該盡量能夠在同一個(gè)物體的多張圖像中檢測(cè)出相同的點(diǎn)。針對(duì)于本系統(tǒng)則采用了ORB特征檢測(cè)方法。

3.1.2 特征描述

興趣點(diǎn)檢測(cè)出來(lái)后，下一步就是對(duì)他們進(jìn)行編碼。編碼就是將這些興趣點(diǎn)轉(zhuǎn)換成特征向量。SIFT、SRUF和ORB是在該領(lǐng)域里非常重要的算法。SURF算法的運(yùn)行速度要比SIFT快。特征向量的維數(shù)主要由所用的算法決定。針對(duì)SIFT算法，它是利用由梯度直方圖的最大值與其次大值所在的bin所對(duì)應(yīng)的方向來(lái)確定特征點(diǎn)的主方向。會(huì)消耗較多的時(shí)間。而針對(duì)ORB的算法，它獲取特征點(diǎn)的主方向的方式與SIFT不盡相同，是通過(guò)矩計(jì)算而來(lái)。

3.1.3 特征匹配

特征匹配這一步能給出圖像的匹配的最終答案。系統(tǒng)將從移動(dòng)客戶(hù)端傳回的數(shù)據(jù)進(jìn)行識(shí)別和預(yù)處理，得到相應(yīng)的數(shù)據(jù)。系統(tǒng)通過(guò)獲得的標(biāo)識(shí)物模塊識(shí)別的視頻幀，并且確定要追蹤的目標(biāo)是否成功匹配，匹配成功后將目標(biāo)狀態(tài)信息發(fā)送至應(yīng)用層，應(yīng)用層根據(jù)狀態(tài)信息查詢(xún)關(guān)聯(lián)的虛擬對(duì)象，使用增強(qiáng)現(xiàn)實(shí)技術(shù)在客戶(hù)端顯示出增強(qiáng)現(xiàn)實(shí)影像與其相對(duì)應(yīng)的交互信息。使交互信息生動(dòng)真實(shí)地展示給用戶(hù)。

3.2 增強(qiáng)現(xiàn)實(shí)技術(shù)在客戶(hù)端呈現(xiàn)數(shù)據(jù)的研究

3.2.1 增強(qiáng)現(xiàn)實(shí)的三維注冊(cè)技術(shù)

現(xiàn)階段常見(jiàn)的基于視覺(jué)的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)技術(shù)有：仿射變換注冊(cè)和相機(jī)定標(biāo)注冊(cè)。其中仿射變換是空間直角坐標(biāo)系的變換，從一個(gè)二維坐標(biāo)變換到另一個(gè)二維坐標(biāo)。通俗的來(lái)講給定三維空間中任何至少4個(gè)不共面的點(diǎn)，空間中任何一個(gè)點(diǎn)的投影變換都可以用這4個(gè)點(diǎn)的變換結(jié)果的樹(shù)形組合來(lái)表示。

3.2.2 增強(qiáng)現(xiàn)實(shí)交互技術(shù)

本系統(tǒng)要求用戶(hù)與虛擬物體能夠直觀的交互，針對(duì)這種需求增強(qiáng)現(xiàn)實(shí)系統(tǒng)必須具備特定的交互工具，并實(shí)現(xiàn)對(duì)工具位置的定位跟蹤，服務(wù)器端將所需信息發(fā)送給客戶(hù)端，移動(dòng)客戶(hù)端的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的交互方式可以基于視覺(jué)處理，在標(biāo)識(shí)物上疊加。

3.2.3 增強(qiáng)現(xiàn)實(shí)的虛實(shí)融合顯示技術(shù)

本系統(tǒng)通過(guò)安裝在用戶(hù)手機(jī)端的攝像機(jī)，攝取外部真實(shí)環(huán)境的景象。然后移動(dòng)客戶(hù)端將視頻信息發(fā)送給服務(wù)器，在服務(wù)器端通過(guò)計(jì)算處理，將所有要添加的信息或圖像信號(hào)疊加在攝像機(jī)的視頻信號(hào)上。這樣用戶(hù)所看到的周?chē)鎸?shí)世界的場(chǎng)景是由移動(dòng)設(shè)備攝取的。

4 研究結(jié)果

本系統(tǒng)是基于Android平臺(tái)進(jìn)行開(kāi)發(fā)。由于C++語(yǔ)言的執(zhí)行效率較高以及筆記本電腦的CPU處理能力較強(qiáng)，在初期算法實(shí)現(xiàn)階段利用的是Visual Studio 2013進(jìn)行編寫(xiě)。通過(guò)測(cè)試，系統(tǒng)完成了對(duì)圖像的采集、分析和處理。并且實(shí)現(xiàn)了AR信息交互，完成了目標(biāo)功能。首先通過(guò)surf算法對(duì)圖像進(jìn)行特征點(diǎn)的提取，并將特征點(diǎn)上傳至服務(wù)器。之后服務(wù)器端進(jìn)行匹配，匹配成功后，運(yùn)用ORB算法進(jìn)行跟蹤。既可以利用surf算法準(zhǔn)確匹配圖像的特點(diǎn)，也可以很好利用ORB算法匹配速度快的優(yōu)勢(shì)進(jìn)行圖像的跟蹤，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的信息呈現(xiàn)。并且目前本系統(tǒng)在PC端保持的幀率平均為1秒10-20幀，基本滿(mǎn)足用戶(hù)的需要。endprint

在Android端本系統(tǒng)完成了以下的一些工作：在虛擬公告板信息交互區(qū)界面，通過(guò)GPS獲取用戶(hù)當(dāng)前的地理信息當(dāng)用戶(hù)進(jìn)入虛擬公告板信息交互區(qū)之后，系統(tǒng)將提示用戶(hù)已進(jìn)入虛擬公告板留言區(qū)，可以進(jìn)行信息交互。在本系統(tǒng)的虛擬公告板的呈現(xiàn)與信息交互界面，系統(tǒng)將為用戶(hù)提供以下的一些服務(wù)：當(dāng)用戶(hù)需要對(duì)面前的事物進(jìn)行了解和評(píng)論時(shí)，只要拿起手機(jī)對(duì)其進(jìn)行掃描拍照，系統(tǒng)會(huì)將用戶(hù)所拍攝的圖片進(jìn)行上傳，在服務(wù)器端進(jìn)行圖像的匹配與識(shí)別。如圖1所示當(dāng)系統(tǒng)獲取到相應(yīng)的留言與詳細(xì)信息，服務(wù)器會(huì)將這些信息傳回。用戶(hù)即可獲得他們所想要的信息。如果數(shù)據(jù)庫(kù)中沒(méi)有可以匹配的圖片，用戶(hù)可以將拍攝的圖片結(jié)合地理信息與留言信息進(jìn)行上傳，隨時(shí)隨地的構(gòu)建虛擬公告板，實(shí)現(xiàn)信息的交互，用戶(hù)長(zhǎng)按手機(jī)屏幕即可獲得近期的公告版和海報(bào)的詳細(xì)信息。

5 結(jié)語(yǔ)

本文從一個(gè)項(xiàng)目的角度討論了增強(qiáng)現(xiàn)實(shí)技術(shù)在虛擬公告板信息交互平臺(tái)的應(yīng)用研究。運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)在實(shí)體公告欄上顯示虛擬的留言?xún)?nèi)容，賦予傳統(tǒng)公告板生動(dòng)有趣的社交功能，搭建信息交互平臺(tái)。這是本系統(tǒng)的一大特色，也是吸引用戶(hù)的亮點(diǎn)。同時(shí)該系統(tǒng)也可以應(yīng)用到公司招聘信息的推廣，學(xué)校年終總結(jié)素材的選擇，校內(nèi)活動(dòng)的公示，景區(qū)休息區(qū)的規(guī)劃，旅游景點(diǎn)的選擇與旅游景點(diǎn)的介紹等多元領(lǐng)域，具有廣闊的應(yīng)用前景與較高的商業(yè)價(jià)值。

同時(shí)增強(qiáng)現(xiàn)實(shí)技術(shù)在移動(dòng)端的應(yīng)用也存在著一些問(wèn)題與瓶頸。由于目前移動(dòng)設(shè)備性能無(wú)法與筆記本電腦的處理性能相媲美，導(dǎo)致用戶(hù)的使用體驗(yàn)感大大降低。并且在移動(dòng)端為了盡可能的縮短匹配時(shí)間，采用的是ORB算法進(jìn)行圖像的特征點(diǎn)的提取與匹配，但是匹配的精度也有所下降，所以會(huì)出現(xiàn)增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)顯示的時(shí)候圖像一直在不斷變換的情況。并且由于長(zhǎng)期開(kāi)啟攝像頭導(dǎo)致移動(dòng)設(shè)備溫度升高也是目前存在的問(wèn)題。不過(guò)隨著智能設(shè)備的普及與發(fā)展，這些問(wèn)題在不久的將來(lái)都應(yīng)該會(huì)得到解決，增強(qiáng)現(xiàn)實(shí)技術(shù)也會(huì)為我們的生活帶來(lái)更多的便利。

參考文獻(xiàn)

[1]C. Lanchon，G. Custillon，A. Moreau-Gaudry，J.-L. Descotes，J.-A. Long，G. Fiard，S. Voros. Augmented reality using transurethral ultrasounds in laparoscopic radical prostatectomy： pre clinical evaluation[J]. The Journal of Urology，2016.

[2]Rabia M. Yilmaz. Educational magic toys developed with augmented reality technology for early childhood education[J]. Computers in Human Behavior，2016，54.

[3]Joachim Scholz，Andrew N. Smith. Augmented reality： Designing immersive experiences that maximize consumer engagement[J]. Business Horizons，2016，59（2）.

[4]Huan Deng，Qiong-Hua Wang，Zhao-Long Xiong，Han-Le Zhang，Yan Xing. Magnified augmented reality 3D display based on integral imaging[J]. Optik - International Journal for Light and Electron Optics，2016，127（10）.

[5]George Michalos，Panagiotis Karagiannis，Sotiris Makris，nder Tokalar，George Chryssolouris. Augmented Reality （AR） Applications for Supporting Human-robot Interactive Cooperation[J].Procedia CIRP，2016，41.

[6]張志禹，劉耀陽(yáng).基于SURF與光流法的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2015，（03）：166-170.endprint