基于增強(qiáng)現(xiàn)實(shí)的校園助手

汪冰冰 李連民

摘要：隨著科學(xué)技術(shù)的不斷發(fā)展，服務(wù)行業(yè)也逐漸從人人互動(dòng)轉(zhuǎn)變?yōu)榱巳藱C(jī)互動(dòng)，而AR技術(shù)的出現(xiàn)，又給人機(jī)互動(dòng)帶來一個(gè)全新的形式，一下內(nèi)容就此項(xiàng)目開發(fā)過程中的關(guān)鍵問題，和AR技術(shù)進(jìn)行說明解釋。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí);校園服務(wù);智能助手

中圖分類號(hào)：TP302? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）24-0214-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Campus Assistant Based on Augmented Reality

WANG Bing-bing ， LI Lian-min

（Henan University of Science and Technology Software college ， Luoyang? 471003， China）

Abstract： With the continuous development of science and technology， the service industry has gradually changed from human-computer interaction to human-computer interaction， and the emergence of AR technology has brought a new form of human-computer interaction. This paper elaborates and explains some key issues of campus assistant development based on augmented reality technology.

Key words： Augmented Reality;Campus service;Intelligent assistant

增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality，簡(jiǎn)稱AR）是一項(xiàng)將真實(shí)世界信息和虛擬世界信息“無縫”集成的新技術(shù)，他的工作原理是通過現(xiàn)有的信息捕捉技術(shù)捕捉現(xiàn)實(shí)視界的實(shí)體信息，再通過計(jì)算機(jī)科學(xué)技術(shù)進(jìn)行處理，為其添加虛擬世界信息，將現(xiàn)實(shí)信息和虛擬信息疊加之后，再被人類感官感知。從而實(shí)現(xiàn)超越現(xiàn)實(shí)的感官體驗(yàn)。

1 AR技術(shù)原理

AR從其技術(shù)手段和表現(xiàn)形式上，可以明確分為大約兩類，一是LBS basedAR，即基于地理位置信息的AR，二是Vision based AR，即基于計(jì)算機(jī)視覺的AR。這里主要用到第二類，基于計(jì)算機(jī)視覺的AR，基于計(jì)算機(jī)視覺的AR是利用計(jì)算機(jī)視覺方法建立現(xiàn)實(shí)世界與屏幕之間的映射關(guān)系，使我們想要繪制的圖形或是3D模型可以如同依附在現(xiàn)實(shí)物體上一般展現(xiàn)在屏幕上，如何做到這一點(diǎn)呢？本質(zhì)上來講就是要找到現(xiàn)實(shí)場(chǎng)景中的一個(gè)依附平面，然后再將這個(gè)三維場(chǎng)景下的平面映射到我們二維屏幕上，然后再在這個(gè)平面上繪制你想要展現(xiàn)的圖形

1.1 Marker-Based AR實(shí)現(xiàn)原理

這種實(shí)現(xiàn)方法需要一個(gè)事先制作好的Marker（例如：繪制著一定規(guī)格形狀的模板卡片或者二維碼），然后把Marker在現(xiàn)實(shí)中的位置確定了一個(gè)現(xiàn)實(shí)場(chǎng)景中的平面，通過攝像頭對(duì)Marker進(jìn)行識(shí)別和姿態(tài)評(píng)估（Pose Estimation），并確定其位置，然后將該Marker中心為原點(diǎn)的坐標(biāo)系稱為Marker Coordinates，即模板坐標(biāo)系，我們要做的事情實(shí)際上是要得到一個(gè)變換從而使模板坐標(biāo)系和屏幕坐標(biāo)系建立映射關(guān)系，這樣我們根據(jù)這個(gè)變換在屏幕上畫出的圖形就可以達(dá)到該圖形依附在Marker上的效果，理解其原理需要一點(diǎn)3D射影幾何的知識(shí)，從模板坐標(biāo)系變換到真實(shí)的屏幕坐標(biāo)系需要先旋轉(zhuǎn)平移到攝像機(jī)坐標(biāo)系（Camera Coordinates）然后再從攝像機(jī)坐標(biāo)系映射到屏幕坐標(biāo)系。

1.2? Marker-Less AR實(shí)現(xiàn)原理

基本原理與Marker based AR相同，但是任何一個(gè)具有足夠特征點(diǎn)的物體（例如：禮盒包裝）都可以作為平面基準(zhǔn)，這樣避免了事先制作特殊模板帶來的麻煩，擺脫了模板對(duì)AR應(yīng)用的束縛。它的原理是通過一

系列算法（如：SURF，ORB，F(xiàn)ERN等）對(duì)模板物體提取特征點(diǎn)，然后記錄并學(xué)習(xí)這些特征點(diǎn)。當(dāng)攝像頭掃描周圍場(chǎng)景，會(huì)提取周圍場(chǎng)景的特征點(diǎn)并與記錄的模板物體的特征點(diǎn)進(jìn)行比對(duì)，如果掃描到的特征點(diǎn)和模板特征點(diǎn)匹配數(shù)量超過閾值，則認(rèn)為掃描到該模板，然后根據(jù)對(duì)應(yīng)的特征點(diǎn)坐標(biāo)估計(jì)Tm矩陣，之后再根據(jù)Tm進(jìn)行圖形繪制（方法與Marker-Based AR類似）。

2 AR技術(shù)所需技術(shù)支持

在目前世界上主流的AR SDK提供廠商，國(guó)外的主要是Vuforia、Metaio，國(guó)內(nèi)的主要是EasyAR。其中Metaio在2015年5月已被Apple重金收購，之后就沒有再對(duì)外公開過SDK，經(jīng)過兩年的封閉開發(fā)，Apple已經(jīng)打造出了強(qiáng)大的ARKit，能夠基于龐大的iOS和iPad設(shè)備生產(chǎn)出各種驚艷的AR產(chǎn)品。Vuforia也在2015年11月被PTC公司重金收購，但是后續(xù)一直在更新并提供SDK，因此在ARKit普及之前，Vuforia一直是開發(fā)者最青睞的AR SDK，眾多的功能以及高質(zhì)量的識(shí)別技術(shù)，使得Vuforia早已深入人心。

2.1 識(shí)別與跟蹤技術(shù)

在實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的過程中，需要對(duì)真實(shí)的場(chǎng)景和信息進(jìn)行分析，生成虛擬事物信息。這兩步看似簡(jiǎn)單，其實(shí)在實(shí)際進(jìn)行過程中，需要將攝像機(jī)獲得的真實(shí)場(chǎng)景的視頻流，轉(zhuǎn)化成數(shù)字圖像，然后通過圖像處理技術(shù)，辨識(shí)出預(yù)先設(shè)置的標(biāo)志物。

識(shí)別出標(biāo)志物之后，一標(biāo)志物作為參考，結(jié)合定位技術(shù)，由增強(qiáng)現(xiàn)實(shí)程序確定需要添加的三維虛擬物體在增強(qiáng)現(xiàn)實(shí)環(huán)境中的位置和方向，并確定數(shù)字模板的方向。將標(biāo)志物中的標(biāo)識(shí)符號(hào)與預(yù)先設(shè)定的數(shù)字模板鏡像匹配，確定需要添加的三維虛擬物體的基本信息。生成虛擬物體，并用程序根據(jù)標(biāo)識(shí)物體位置，將虛擬物體放置在正確的位置上。這其中涉及的識(shí)別跟蹤和定位問題，是增強(qiáng)現(xiàn)實(shí)的最大的難題之一。

2.2 圖像檢測(cè)法

這種方法進(jìn)行跟蹤定位不需要其他的設(shè)備，而且精確度較高，因此是增強(qiáng)現(xiàn)實(shí)技術(shù)中最常見的定位方法。在模板匹配時(shí)，系統(tǒng)會(huì)預(yù)先存儲(chǔ)好多種模板，來和圖像中檢測(cè)到的標(biāo)志物匹配來計(jì)算定位。簡(jiǎn)單的模板匹配可以提高圖像檢測(cè)的效率，因也為增強(qiáng)現(xiàn)實(shí)的實(shí)時(shí)性提供了保障。通過計(jì)算圖像中標(biāo)志物的偏移和偏轉(zhuǎn)，也能夠做到三維虛擬物體的全方位觀察。模板匹配一般用于對(duì)應(yīng)特定圖片三維成像，設(shè)備通過掃描特定的圖片，將這些圖片中的特殊標(biāo)志位與預(yù)先存儲(chǔ)的模板匹配，即可呈現(xiàn)三維虛擬模型。比如汽車店的車?？ㄆ婢吖镜娜宋锟ㄆ?，都可以用模板匹配來進(jìn)行增強(qiáng)現(xiàn)實(shí)。邊緣檢測(cè)可以檢測(cè)出人體的一些部位，同時(shí)也可以跟蹤這些部位的運(yùn)動(dòng)，將其與虛擬物體物體無縫融合。比如，真實(shí)的手提起虛擬的物體，攝像機(jī)可以通過跟蹤用戶手的輪廓，運(yùn)動(dòng)方式來調(diào)整虛擬物體的方位。因此，許多商場(chǎng)的虛擬商品實(shí)用，多會(huì)使用邊緣檢測(cè)。

2.3 現(xiàn)實(shí)技術(shù)

智能手機(jī)通過相應(yīng)的APP實(shí)時(shí)取景并顯示疊加的數(shù)字圖像，這就是移動(dòng)手持式顯示器的一般工作情況。同時(shí)現(xiàn)在平板電腦不斷增加功能以及比智能手機(jī)更大的屏幕，也是的其日益流行。手持增強(qiáng)現(xiàn)實(shí)標(biāo)志物，通過網(wǎng)絡(luò)攝像機(jī)在食品窗口或是顯示器上顯示虛擬疊加的圖像，就是視頻空間顯示方式。帶有增強(qiáng)現(xiàn)實(shí)功能的賀卡，既是用這種方式顯示的。用戶在收到賀卡后，登錄相應(yīng)的網(wǎng)站系統(tǒng)，用網(wǎng)絡(luò)攝像機(jī)對(duì)準(zhǔn)賀卡，用戶即可從顯示屏上得到賀卡內(nèi)所存儲(chǔ)的信息形成的虛擬物體和視頻。而空間增強(qiáng)顯示技術(shù)，則是利用把包括全息投影在內(nèi)的視頻投影技術(shù)，直接將虛擬數(shù)字信息顯示在真實(shí)的環(huán)境之中。這種技術(shù)的系統(tǒng)不同于一般的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，只適合于個(gè)人使用，而是能想增強(qiáng)現(xiàn)實(shí)與周圍環(huán)境相結(jié)合，不僅僅限于單個(gè)用戶。這種技術(shù)適用于大學(xué)或者圖書館，可以同時(shí)為一群人提供增強(qiáng)現(xiàn)實(shí)信息。也可以將控制組件投影到相應(yīng)的實(shí)體模型上，方便工程師的交互操作。

3 校園助手簡(jiǎn)單功能實(shí)現(xiàn)

3.1 帶路功能

使用高德地圖API。使用其中步行路線規(guī)劃的方法與接口，將路線規(guī)劃形式以校園助帶路的形式展現(xiàn)出來，從而實(shí)現(xiàn)校園內(nèi)部簡(jiǎn)單的帶路功能。

3.2查詢空教室

使用校園教務(wù)中心數(shù)據(jù)，返回的空教室以語音播報(bào)的形式返回給用戶，并選擇最近的空教室自動(dòng)給用戶帶路。

3.3尋找周圍用戶

使用GPS定位系統(tǒng)調(diào)用用戶當(dāng)前的位置，上傳到服務(wù)器中，以發(fā)現(xiàn)周圍的用戶位置。

4 結(jié)束語

如今的科技發(fā)展迅速，越來越多的校園服務(wù)應(yīng)用出現(xiàn)在師生的眼前讓人眼花繚亂，如何制作一款功能強(qiáng)大，簡(jiǎn)單好用，富有各大高校自身特色的校園助手應(yīng)用，AR技術(shù)可以很完美地做到這一點(diǎn)。獨(dú)特的使用方式可以給人眼前一亮的感覺。從1966年第一臺(tái)AR設(shè)備以達(dá)摩克利斯之劍（Sword of Damocles）的名字出現(xiàn)在人們眼前，到如今的蘋果公司打造的最大的AR平臺(tái)ARKit，AR正在逐步的融于人們的生活當(dāng)中。未來的AR將連接現(xiàn)在與未來，溝通天涯與海角。

參考文獻(xiàn)：

[1] Ahmad Hoirul Basori and Hani Moaiteq Abdullah AlJahdali. Telerobotic 3D Articulated Arm-Assisted Surgery Tools with Augmented Reality for Surgery Training[M].IntechOpen，2019.

[2] Maria Makolkina，Van Dai Pham，Truong Duy Dinh，Alexander Ryzhkov，Ruslan Kirichek. Transmission of Augmented Reality Contents Based on BLE 5.0 Mesh Network[M].Springer International Publishing，2018.

[3] Ammar Muthanna，Abdelhamied A. Ateya，Aleksey Amelyanovich，Mikhail Shpakov，Pyatkina Darya，Maria Makolkina. AR Enabled System for Cultural Heritage Monitoring and Preservation[M].Springer International Publishing，2018.

【通聯(lián)編輯：唐一東】