楊培生,邵美蘭,許小華,肖磊,付佳偉
(1.江西省水利科學(xué)院,江西 南昌,330029;2.江西建設(shè)職業(yè)技術(shù)學(xué)院,江西 南昌,330200)
經(jīng)過(guò)多年的山洪災(zāi)害防治項(xiàng)目建設(shè),江西省山洪災(zāi)害防治宣傳事業(yè)得到長(zhǎng)足發(fā)展,社會(huì)效益顯著[1]。但在高科技快速發(fā)展背景下,目前山洪災(zāi)害防治宣傳方式還主要以傳統(tǒng)的宣傳標(biāo)語(yǔ)、圖文、展板等為主,形式不夠新穎、吸引力不強(qiáng)、科技含量不高等問(wèn)題突出,在一定程度上限制了山洪災(zāi)害防治宣傳工作更好的發(fā)展。
當(dāng)前,增強(qiáng)現(xiàn)實(shí)技術(shù)得到了快速應(yīng)用和發(fā)展,該技術(shù)通過(guò)屏幕把虛擬世界融合在現(xiàn)實(shí)世界并進(jìn)行互動(dòng),用戶(hù)可以透過(guò)屏幕看到疊加在真實(shí)世界之上的虛擬對(duì)象,具有較強(qiáng)的交互性和娛樂(lè)型,目前在宣傳領(lǐng)域已有較多應(yīng)用[2]。目前AR技術(shù)應(yīng)用于山洪災(zāi)害防治宣傳仍是空白,本研究通過(guò)在手機(jī)上使用AR技術(shù)應(yīng)用于山洪災(zāi)害防治知識(shí)宣傳和監(jiān)測(cè)預(yù)警等非工程防治措施科普教育。以立體圖像結(jié)合語(yǔ)音的方式,動(dòng)態(tài)的展現(xiàn)山洪災(zāi)害危害及特點(diǎn)、如何預(yù)警、避災(zāi)和防災(zāi)等特殊場(chǎng)景,可給用戶(hù)帶來(lái)更形象、更豐富的立體體驗(yàn)[3],從而達(dá)到更好的山洪災(zāi)害防治宣傳效果。
增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)技術(shù),是指將計(jì)算機(jī)生成的虛擬物體或信息疊加到真實(shí)場(chǎng)景中,從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。AR技術(shù)的實(shí)現(xiàn)步驟如圖1所示,主要是先通過(guò)攝像頭采集實(shí)景,之后將采集到的實(shí)景數(shù)字化成圖像,然后通過(guò)特征點(diǎn)檢測(cè)、匹配等一系列技術(shù)找到識(shí)別標(biāo)識(shí)物,以此為參考找出需要生成的動(dòng)畫(huà)在AR環(huán)境中處于何種位置或方向,并確定提前存入手機(jī)中的標(biāo)識(shí)圖的位置[4]。最后,通過(guò)手機(jī)傳感器感知環(huán)境的光照情況,并以此為依據(jù)調(diào)整虛擬物體的亮度、材質(zhì)和陰影,使其達(dá)到更為逼真的效果,動(dòng)畫(huà)必須和識(shí)別圖位置保持一致才能達(dá)到融合效果。
圖1 AR技術(shù)實(shí)現(xiàn)步驟
增強(qiáng)現(xiàn)實(shí)的概念誕生于20世紀(jì)90年代,最先從國(guó)外開(kāi)始進(jìn)入人們的視野。隨著移動(dòng)技術(shù)的發(fā)展、智能手機(jī)的普及,為AR技術(shù)在各行業(yè)中廣泛應(yīng)用提供了扎實(shí)的基礎(chǔ)。目前,國(guó)內(nèi)已經(jīng)有若干AR技術(shù)應(yīng)用的綜述研究。其中,齊立森[5]等從信息獲取、三維導(dǎo)航與游戲場(chǎng)景、虛擬仿真、互動(dòng)教學(xué)等方面詳細(xì)闡述了AR技術(shù)在教育行業(yè)中的應(yīng)用;張宏[6]等認(rèn)為應(yīng)用AR技術(shù)開(kāi)展水利科普資源建設(shè)十分必要,并列舉了在水利科普資源建設(shè)中的應(yīng)用案例;胡智標(biāo)[7]等認(rèn)為AR宣傳能夠創(chuàng)新宣傳模式,給用戶(hù)提供沉浸式學(xué)習(xí)環(huán)境,從而實(shí)現(xiàn)情景化學(xué)習(xí);王璞[8]詳細(xì)分析了移動(dòng)AR技術(shù)在圖書(shū)館中的應(yīng)用前景,認(rèn)為AR具有較強(qiáng)的實(shí)用性、可行性和廣泛的應(yīng)用前景;汪存友[9]等對(duì)已有的增強(qiáng)現(xiàn)實(shí)教育相關(guān)產(chǎn)品進(jìn)行研究,認(rèn)為基于AR現(xiàn)實(shí)的教育宣傳應(yīng)用新產(chǎn)品具有功能多樣化、觸屏交互、可達(dá)性與普及度提高等新特點(diǎn)。
山洪災(zāi)害防治宣傳作為山洪災(zāi)害群測(cè)群防體系最前端、最重要的一個(gè)環(huán)節(jié),做好山洪災(zāi)害防治宣傳工作顯得尤為重要[10]。AR技術(shù)用于山洪災(zāi)害防治宣傳具有如下優(yōu)勢(shì):
(1)符合信息化時(shí)代的發(fā)展理念。隨著高新技術(shù)的飛速發(fā)展,新興的增強(qiáng)現(xiàn)實(shí)技術(shù)逐漸走進(jìn)大眾視野,該技術(shù)也通過(guò)實(shí)踐應(yīng)用到各個(gè)領(lǐng)域,各種AR交互式的系統(tǒng)研究逐漸成為熱點(diǎn)被大眾所關(guān)注,其中AR交互式宣傳系統(tǒng)也是研究的重點(diǎn)[11]。增強(qiáng)現(xiàn)實(shí)技術(shù)作為一項(xiàng)熱門(mén)的高新科技應(yīng)用于山洪災(zāi)害防治宣傳,能夠提高宣傳的創(chuàng)新性和科技含量,為公眾帶來(lái)一款喜聞樂(lè)見(jiàn)的山洪災(zāi)害防治宣傳作品。
(2)增強(qiáng)宣傳的互動(dòng)性、趣味性、體驗(yàn)感。傳統(tǒng)的山洪災(zāi)害防治宣傳多以發(fā)放宣傳冊(cè)、張貼畫(huà)報(bào)、開(kāi)展培訓(xùn)、媒體報(bào)道等形式開(kāi)展,宣傳效果不佳,公眾對(duì)此已經(jīng)習(xí)以為常,對(duì)獲取知識(shí)的方式覺(jué)得枯燥乏味,失去了學(xué)習(xí)知識(shí)的動(dòng)力。增強(qiáng)現(xiàn)實(shí)將虛擬對(duì)象融合到真實(shí)世界,把知識(shí)以一種形象、生動(dòng)、具體的形式呈現(xiàn)給用戶(hù),讓用戶(hù)體驗(yàn)到視覺(jué)聽(tīng)覺(jué)一體化的感知效果,從而大大增強(qiáng)了宣傳的互動(dòng)性、趣味性和體驗(yàn)感。
(3)驅(qū)動(dòng)山洪災(zāi)害宣傳知識(shí)傳播與發(fā)展。增強(qiáng)現(xiàn)實(shí)可以利用其強(qiáng)大的虛實(shí)融合功能,將虛擬對(duì)象、文字、圖像、三維立體、全景信息、視頻、三維動(dòng)畫(huà)、音頻等復(fù)雜的物體、信息、流程等疊加到現(xiàn)實(shí)中,為公眾創(chuàng)造一個(gè)真實(shí)地觀察、操作的實(shí)踐場(chǎng)景,這種真實(shí)的體驗(yàn)感會(huì)極大地激發(fā)公眾學(xué)習(xí)知識(shí)的興趣,有利于更好的理解知識(shí),增加記憶[12];另一方面,隨著增強(qiáng)現(xiàn)實(shí)在移動(dòng)設(shè)備上的廣泛應(yīng)用,借助高速發(fā)展的互聯(lián)網(wǎng),公眾可以擺脫時(shí)間和空間的限制,隨時(shí)隨地、快速準(zhǔn)確地獲取直觀、形象的知識(shí)[9]。這在一定程度上驅(qū)動(dòng)了山洪災(zāi)害宣傳知識(shí)的傳播與發(fā)展。
傳統(tǒng)的基于幾何的建模技術(shù)雖日益改進(jìn),但構(gòu)建稍復(fù)雜的場(chǎng)景的三維模型仍十分耗時(shí),甚至難以建模,且所建模型的逼真度較低,而基于圖像的建模技術(shù)因具有成本低廉、使用方便、逼真度高等優(yōu)點(diǎn),近些年已經(jīng)逐漸成為計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)領(lǐng)域的一個(gè)新的研究熱點(diǎn)。
通過(guò)圖像建立模型來(lái)生成虛擬場(chǎng)景是一個(gè)很好的方法,應(yīng)用該方法需要了解建模中的關(guān)鍵技術(shù),即全景圖像生成技術(shù)。全景圖像生成技術(shù)是一種基于圖像繪制技術(shù)生成真實(shí)感圖形的VR技術(shù),其主要包括圖像獲取技術(shù)、圖像投影技術(shù)、圖像拼接技術(shù)、圖像顯示技術(shù)。圖像獲取后,得到有重疊區(qū)域的待匹配圖像;對(duì)不同坐標(biāo)的每幅圖像建立統(tǒng)一的投影模型,進(jìn)行圖像拼接融合;經(jīng)過(guò)拼接融合后形成全景圖像;建立統(tǒng)一的投影模型與圖像顯示模型相對(duì)應(yīng)。即通過(guò)圖像建立模型的方法是:先獲取客觀世界的圖像,然后通過(guò)圖像投影構(gòu)建全景圖像,全景圖像通過(guò)圖像投影變換后生成全景圖像顯示模型。以本系統(tǒng)需要用到的房屋為例,基于圖像的建模前后對(duì)照如圖2所示。
圖2 基于圖像的建模前后對(duì)照?qǐng)D
增強(qiáng)現(xiàn)實(shí)技術(shù)的目的在于達(dá)到真實(shí)的體驗(yàn)和自然的交互,基于AR的山洪災(zāi)害交互式宣傳系統(tǒng)實(shí)現(xiàn)流程具體如下:①虛擬場(chǎng)景經(jīng)過(guò)3D建模與渲染,存儲(chǔ)在虛擬對(duì)象數(shù)據(jù)庫(kù)中;②周?chē)默F(xiàn)實(shí)場(chǎng)景通過(guò)圖像輸入設(shè)備記錄在相應(yīng)的計(jì)算與存儲(chǔ)設(shè)備中;③用戶(hù)借助交互設(shè)備與物理環(huán)境中的虛擬對(duì)象進(jìn)行交互,同時(shí)AR設(shè)備利用跟蹤定位技術(shù)實(shí)時(shí)檢測(cè)用戶(hù)的位置,視域方向、手勢(shì)及運(yùn)動(dòng)情況,幫助系統(tǒng)向用戶(hù)提供合適的虛擬對(duì)象;④依托虛擬現(xiàn)實(shí)融合技術(shù),準(zhǔn)確的配準(zhǔn)真實(shí)世界和虛擬世界,實(shí)現(xiàn)遮擋、陰影和光照的一致性,同時(shí)實(shí)現(xiàn)自然交互;⑤計(jì)算與存儲(chǔ)設(shè)備將精準(zhǔn)匹配的圖像、動(dòng)作等信息經(jīng)由一定的顯示設(shè)備處理后顯示出來(lái),如圖3所示??傊?,增強(qiáng)現(xiàn)實(shí)技術(shù)體系主要由3D建模、用戶(hù)交互、追蹤定位和系統(tǒng)顯示四大類(lèi)技術(shù)相配合,共同呈現(xiàn)給用戶(hù)一個(gè)“虛實(shí)結(jié)合”的增強(qiáng)現(xiàn)實(shí)世界[13]。
圖3 增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)及實(shí)現(xiàn)流程
山洪災(zāi)害交互式宣傳系統(tǒng)主要服務(wù)對(duì)象有以下4類(lèi):一是需普及山洪災(zāi)害防范知識(shí)的群眾;二是所在地區(qū)經(jīng)常發(fā)生泥石流、洪水、暴雨等天氣的特殊人群;三是水利和防災(zāi)等相關(guān)管理部門(mén)人員;四是中小學(xué)學(xué)生群體。
4.2.1 總體框架設(shè)計(jì)
通過(guò)AR技術(shù)把防災(zāi)減災(zāi)的現(xiàn)實(shí)環(huán)境構(gòu)成虛擬場(chǎng)景,并植入到手機(jī)APP中,利用專(zhuān)業(yè)引擎去與GPU互換數(shù)據(jù),并通過(guò) METAL、OpenGL ES2、OpenGL ES3 接口去動(dòng)態(tài)渲染模擬光源[14],并將模型表面貼圖虛擬真實(shí)化。系統(tǒng)總體框架設(shè)計(jì)如圖4所示。
圖4 系統(tǒng)總體框架圖
4.2.2 AR場(chǎng)景設(shè)計(jì)
為使AR系統(tǒng)宣傳的內(nèi)容易于4類(lèi)服務(wù)對(duì)象接受,本次設(shè)計(jì)的場(chǎng)景內(nèi)容為山洪災(zāi)害防治基本知識(shí),具體包括什么是山洪災(zāi)害、江西省山洪災(zāi)害特點(diǎn)等7種場(chǎng)景,詳見(jiàn)圖5中所列。
圖5 “AR 普通模式”功能模塊
在山洪災(zāi)害交互式宣傳系統(tǒng)中,用戶(hù)可使用AR功能,在APP觀看山洪災(zāi)害防治相關(guān)知識(shí),并且該功能具有交互性,可以實(shí)現(xiàn)模型旋轉(zhuǎn)、汛寶講解等交互功能。具體功能模塊如下:
(1)AR普通模式。選擇“AR普通模式”,進(jìn)入選擇目錄,可分別點(diǎn)擊相應(yīng)的目錄按鍵進(jìn)入想觀看的內(nèi)容,內(nèi)容為視頻形式呈現(xiàn),講解宣傳冊(cè)上山洪災(zāi)害防范自救知識(shí)。
(2)AR識(shí)別模式。AR識(shí)別模式的基本功能是:當(dāng)用戶(hù)使用移動(dòng)電話(huà)相機(jī)對(duì)準(zhǔn)特定標(biāo)志物時(shí),在上傳所收集到的圖像信息后,通過(guò)算法提取識(shí)別圖像中的信息,然后再利用服務(wù)器的高速計(jì)算能力進(jìn)行特征匹配以顯示與該標(biāo)志物相對(duì)應(yīng)的山洪災(zāi)害防治知識(shí),從而提高了學(xué)習(xí)的可視化效果,增加了用戶(hù)學(xué)習(xí)山洪災(zāi)害相關(guān)知識(shí)的趣味性。
圖6 AR識(shí)別模式
以其中一個(gè)模塊“山洪來(lái)臨前,如何獲取預(yù)警信息”為例,當(dāng)用戶(hù)掃描“山洪來(lái)臨前,如何獲取預(yù)警信息”所對(duì)應(yīng)的圖片,會(huì)出現(xiàn)吉祥物“汛寶”,吉祥物講解時(shí)右方會(huì)邊出現(xiàn)模型物件,當(dāng)吉祥物講解到門(mén)戶(hù)網(wǎng)站、廣播、電視、報(bào)刊、短信、微信等方式發(fā)布信息的時(shí)候,出現(xiàn)相應(yīng)的微信等對(duì)應(yīng)的照片;當(dāng)吉祥物講解到入戶(hù)預(yù)警器、雨量報(bào)警器、廣播、手搖報(bào)警器、銅鑼、口哨等時(shí),吉祥物右手上空承托浮現(xiàn)以上三維模型。最后吉祥物會(huì)介紹常用的緊急救援電話(huà)。
圖7 汛寶介紹洪來(lái)臨前,如何獲取預(yù)警信息
為評(píng)估基于AR技術(shù)的山洪災(zāi)害交互式宣傳系統(tǒng)的應(yīng)用效果,本研究通過(guò)事后問(wèn)卷調(diào)查法對(duì)4類(lèi)系統(tǒng)服務(wù)對(duì)象進(jìn)行了效果評(píng)估,共收集到82張反饋的調(diào)查問(wèn)卷,根據(jù)問(wèn)卷結(jié)果,將對(duì)應(yīng)的評(píng)估指標(biāo)分?jǐn)?shù)化,統(tǒng)計(jì)每項(xiàng)指標(biāo)的平均值得到基于AR技術(shù)的山洪災(zāi)害交互式宣傳系統(tǒng)的應(yīng)用效果,如表1所示。
表1 應(yīng)用效果調(diào)查統(tǒng)計(jì)表(滿(mǎn)分均為10分)
總體來(lái)看,基于AR技術(shù)的山洪災(zāi)害交互式宣傳系統(tǒng)很有應(yīng)用價(jià)值、使用舒適度較高;針對(duì)山洪災(zāi)害頻發(fā)的山區(qū),由于老年人相對(duì)較多,對(duì)新型技術(shù)接受能力相對(duì)較差,導(dǎo)致易用性較低。
增強(qiáng)現(xiàn)實(shí)是將真實(shí)世界與虛擬世界結(jié)合在一起研究的新型領(lǐng)域,在眾多行業(yè)、領(lǐng)域中有著廣泛的應(yīng)用,鑒于其優(yōu)越的宣傳傳播價(jià)值,為解決傳統(tǒng)山洪災(zāi)害宣傳形式不夠新穎、吸引力不夠、科技含量不高等問(wèn)題,提出了運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)開(kāi)發(fā)交互式宣傳系統(tǒng)的思路和實(shí)現(xiàn)方案,實(shí)現(xiàn)了山洪災(zāi)害防治相關(guān)知識(shí)從可讀到可視、從靜態(tài)到動(dòng)態(tài)、從一維到多維、從平面媒體到全媒體的融合轉(zhuǎn)變,開(kāi)辟了一個(gè)重要、有效的宣傳途徑,是對(duì)傳統(tǒng)山洪災(zāi)害科普手段的重要補(bǔ)充。