高魯棒性增強(qiáng)現(xiàn)實(shí)的三維注冊(cè)改進(jìn)算法

黃 珍,潘 穎

(蘭州文理學(xué)院 數(shù)字媒體學(xué)院,甘肅 蘭州 730000)

0 引 言

AR技術(shù)的發(fā)展不僅給人們的日常生活、工作和學(xué)習(xí)帶來了很大的便利,也在數(shù)據(jù)庫應(yīng)用、信息處理等領(lǐng)域發(fā)揮了重要作用[1]。AR技術(shù)主要是指通過計(jì)算機(jī)對(duì)模擬場(chǎng)景進(jìn)行系統(tǒng)生成與模擬,同時(shí)加以文字描述,將各種時(shí)效性信息精準(zhǔn)地添加至使用者所感受到的虛擬世界,相當(dāng)于一種對(duì)人的視覺進(jìn)行擴(kuò)展與無限延伸的技術(shù)[2]。AR技術(shù)能夠有效地對(duì)虛擬世界中的信息進(jìn)行實(shí)時(shí)、精準(zhǔn)計(jì)算,使用者能夠更清楚地了解虛擬世界相對(duì)于真實(shí)世界的位置以及形態(tài)數(shù)據(jù),并將這些信息在虛擬世界中實(shí)現(xiàn)精準(zhǔn)覆蓋，而這一過程被稱為三維注冊(cè)[3-4]。

三維注冊(cè)技術(shù)因其自身的精準(zhǔn)度高、實(shí)效性強(qiáng)以及裝置簡(jiǎn)單等特點(diǎn),逐漸得到研究人員的廣泛關(guān)注。文獻(xiàn)[5]提出一種基于自然特征的移動(dòng)增強(qiáng)現(xiàn)實(shí)注冊(cè)算法,該算法首先借助于KAZE算法識(shí)別移動(dòng)視頻中的有效信息特征點(diǎn),然后采用光流法實(shí)時(shí)捕捉視頻流中的移動(dòng)目標(biāo),再根據(jù)世界坐標(biāo)系中關(guān)鍵幀之間的轉(zhuǎn)換關(guān)系判斷相機(jī)姿態(tài),以計(jì)算注冊(cè)矩陣為基礎(chǔ)，在目標(biāo)上疊加三維虛擬物體,實(shí)現(xiàn)三維注冊(cè)。文獻(xiàn)[6]提出一種基于ORB與光流法的增強(qiáng)現(xiàn)實(shí)注冊(cè)算法,該算法采用光流法和跟蹤檢測(cè)算法對(duì)移動(dòng)目標(biāo)進(jìn)行跟蹤,利用ORB對(duì)實(shí)現(xiàn)目標(biāo)圖像特征點(diǎn)的采集和信息匹配,并結(jié)合相鄰幀間特征點(diǎn)的匹配關(guān)系求得三維注冊(cè)矩陣,完成三維信息注冊(cè)。然而上述算法通過虛擬場(chǎng)景對(duì)現(xiàn)實(shí)目標(biāo)進(jìn)行定位處理時(shí),計(jì)算過程過于復(fù)雜,注冊(cè)耗時(shí)長、效率低。文獻(xiàn)[7]提出一種基于加速分割檢測(cè)的移動(dòng)AR跟蹤注冊(cè)算法,該算法首先建立尺度空間,使得圖像分割檢測(cè)過程具有尺度不變性,然后采用強(qiáng)度中心的方案為特征檢測(cè)過程提供方向,使圖像具有旋轉(zhuǎn)不變性,在此基礎(chǔ)上采用掃視搜索方法描述圖像特征,并剔除誤匹配并完成虛實(shí)注冊(cè)。文獻(xiàn)[8]提出一種基于模型的AR無標(biāo)識(shí)三維注冊(cè)追蹤算法,該算法借助于線性并行多模態(tài)模板匹配方法識(shí)別目標(biāo)物體,并得到與當(dāng)前視角接近的參考視圖,估計(jì)相機(jī)位姿,在此基礎(chǔ)上,引入非迭代透視點(diǎn)問題算法提高三維注冊(cè)追蹤的精度和速度。然而上述算法追蹤到的特征點(diǎn)較少,易造成位姿抖動(dòng),算法性能魯棒性較低,且實(shí)時(shí)性較差。文獻(xiàn)[9]提出一種基于視覺即時(shí)定位與地圖構(gòu)建的改進(jìn)AR注冊(cè)算法,該算法利用相似函數(shù)衡量匹配特征點(diǎn)之間的差異,從數(shù)據(jù)子集中抽取最優(yōu)匹配特征點(diǎn)完成三維重建過程中的平面檢測(cè),在此基礎(chǔ)上通過奇異值分解控制虛擬物體的方向和位置,結(jié)合相機(jī)的位姿估計(jì)結(jié)果完成虛擬物體三維注冊(cè)。文獻(xiàn)[10]提出一種于FAST-ER改進(jìn)算法的AR空間注冊(cè)算法,該算法首先采用改進(jìn)FAST-ER算法對(duì)目標(biāo)圖像進(jìn)行檢測(cè)與匹配,然后根據(jù)優(yōu)化決策樹的調(diào)整與迭代結(jié)果,利用簡(jiǎn)化后SURF算法計(jì)算圖像特征點(diǎn)的方向信息,通過建立特征描述符實(shí)現(xiàn)圖像特征的匹配,繼而完成空間注冊(cè)。然而上述算法對(duì)特征點(diǎn)位置信息計(jì)算結(jié)果的準(zhǔn)確度低,應(yīng)用效果不理想。

針對(duì)上述問題,設(shè)計(jì)了一種高魯棒性的AR三維注冊(cè)算法。該算法能更好地簡(jiǎn)化算法運(yùn)算程序,為三維注冊(cè)過程節(jié)省了大量的時(shí)間成本,也提高了算法的整體運(yùn)行效率和時(shí)效性,具有廣泛的應(yīng)用空間。

1 位置信息初推導(dǎo)

本文設(shè)計(jì)的AR三維注冊(cè)算法在初推導(dǎo)階段的研究，包括攝像頭定位跟蹤和虛擬目標(biāo)在真實(shí)世界中具體位置的確定2個(gè)方面[11]。

以三維坐標(biāo)系對(duì)所選虛擬空間進(jìn)行整體性描述。由于虛擬空間的方位坐標(biāo)應(yīng)按照設(shè)計(jì)系統(tǒng)所具備的基礎(chǔ)功能進(jìn)行操作,為此,設(shè)定虛擬空間坐標(biāo)系與真實(shí)空間坐標(biāo)系的具體數(shù)據(jù)是可知的,將所觀察的空間坐標(biāo)系中的虛擬影像投放至現(xiàn)實(shí)圖像平面坐標(biāo)中[12],完成對(duì)AR技術(shù)三維注冊(cè)算法的初設(shè)計(jì)。

由于AR三維注冊(cè)算法的關(guān)鍵在于對(duì)攝像頭定位結(jié)果進(jìn)行標(biāo)準(zhǔn)化處理,因此,需要對(duì)定位結(jié)果在虛擬空間中的矩陣結(jié)果進(jìn)行表示,基本步驟如下:

(1)設(shè)置標(biāo)準(zhǔn)點(diǎn)在空間中的坐標(biāo)為(x,y,z);

(2)對(duì)標(biāo)準(zhǔn)點(diǎn)的虛擬空間坐標(biāo)進(jìn)行測(cè)定;

(3)根據(jù)透視規(guī)則與投影原理對(duì)平面坐標(biāo)系與真實(shí)場(chǎng)景進(jìn)行系統(tǒng)聯(lián)系操作;

(4)求解出矩陣數(shù)據(jù)。

假設(shè)與實(shí)際位置所對(duì)應(yīng)的匹配點(diǎn)的單位方向上的向量矩陣如下:

N=[n1,n2,…,nm]T

(1)

則方向向量ni與nj之間的相似性為

sij=〈ni,nj〉

(2)

如果sij>閾值χ,則2個(gè)匹配點(diǎn)連線方向一致。ni與匹配點(diǎn)矩陣N中各方向向量的相似度計(jì)算過程如下:

S=ni×NT

(3)

若S中的某一元素小于閾值χ,則可說明與其對(duì)應(yīng)的匹配點(diǎn)連線方向與大部分匹配點(diǎn)連線方向相偏離,則該匹配點(diǎn)可排除。

不斷重復(fù)上述過程,直到確定所有的匹配點(diǎn),實(shí)現(xiàn)虛擬目標(biāo)在真實(shí)世界中的具體位置。

將虛擬場(chǎng)景的坐標(biāo)系與真實(shí)空間的坐標(biāo)系聯(lián)系起來,在真實(shí)檢測(cè)空間中,即使所需研究的目標(biāo)點(diǎn)的具體位置是不確定的,但根據(jù)坐標(biāo)點(diǎn)在圖形空間平面中的投影規(guī)律來看,可以利用投影方程對(duì)其進(jìn)行計(jì)算與測(cè)量。從實(shí)際理論角度講,由于旋轉(zhuǎn)矩陣具有空間轉(zhuǎn)換性,因此需要將轉(zhuǎn)換矩陣進(jìn)行集中分析[13]。為此,在算法設(shè)計(jì)過程中,需對(duì)觀察點(diǎn)的位置進(jìn)行固定,防止產(chǎn)生觀察點(diǎn)移動(dòng)的現(xiàn)象,進(jìn)而影響到設(shè)計(jì)效果。通過上述設(shè)計(jì)分析,實(shí)現(xiàn)AR三維注冊(cè)算法中位置信息初推導(dǎo)過程的設(shè)計(jì)。

2 特征信息匹配

在上述位置信息初推導(dǎo)的基礎(chǔ)上進(jìn)行特征點(diǎn)信息匹配。為準(zhǔn)確計(jì)算出與目前檢測(cè)幀相對(duì)應(yīng)的投影矩陣,首先需獲取與相關(guān)空間圖像相聯(lián)系的虛擬場(chǎng)景關(guān)系,并提出基于長基線的特征匹配方法。在確定空間數(shù)據(jù)準(zhǔn)確性與完整性的基礎(chǔ)上,對(duì)空間圖像中的特征點(diǎn)臨界值進(jìn)行轉(zhuǎn)換提取,在虛擬空間系統(tǒng)運(yùn)行的過程中,將所有轉(zhuǎn)化的可能性表示出來,并由此生成對(duì)應(yīng)的鄰域點(diǎn)集合[14],再將主成分分析(PCA,principal component analysis)降維到標(biāo)準(zhǔn)數(shù)值,并對(duì)其進(jìn)行參數(shù)成分提取,利用K-means將主要觀察點(diǎn)成分與特征點(diǎn)進(jìn)行綜合匹配,并將匹配數(shù)據(jù)作為綜合待定點(diǎn)進(jìn)行待定操作,由此供給后續(xù)匹配程序使用[15]。

在特征匹配過程中,需加強(qiáng)對(duì)所提取位置特征點(diǎn)的轉(zhuǎn)換,并將特征點(diǎn)變換到臨界真實(shí)空間處理圖像中,作為觀察主成分而單獨(dú)存在。在這一過程中,由于觀察特征分類的對(duì)比度、尺度大小以及光學(xué)亮度都具有較強(qiáng)的高魯棒性,因此,需要在當(dāng)前圖像中確定具體的觀察點(diǎn),并將圖像中出現(xiàn)的每一個(gè)特征臨界點(diǎn)做為前期特征數(shù)據(jù)進(jìn)行分析。在運(yùn)算過程中,需對(duì)特征臨界點(diǎn)進(jìn)行理論優(yōu)化,以促使注冊(cè)算法的整體速度能夠得以提高,同時(shí)縮小所需搜查的空間范圍[16]。

在特征匹配過程中,需要對(duì)局部匹配策略進(jìn)行相關(guān)排查,利用前一幀圖像在空間坐標(biāo)系中的投影,將其變化到當(dāng)前圖像中,再將變化過后的特征點(diǎn)作為中心結(jié)構(gòu)重新表達(dá)。在這一過程中,以所得特征點(diǎn)為中心進(jìn)行局部搜索窗口建造,對(duì)于窗口內(nèi)所具備的相關(guān)特征,需要進(jìn)一步提高搜索策略處理[17-18]。在系統(tǒng)處理前一階段利用全局匹配,后一階段利用局部特征點(diǎn)匹配,匹配性能如圖1所示。

圖1 匹配性能對(duì)比圖

3 算法建立

在經(jīng)過特征匹配過程后,將匹配后的數(shù)據(jù)作為算法建立的基礎(chǔ)數(shù)據(jù),對(duì)算法應(yīng)用過程進(jìn)行最終的建立。本文將算法建立過程劃分為如下2個(gè)階段：

(1)算法初始化階段 首先利用AR技術(shù)獲得等待處理場(chǎng)景的圖像,并將此圖像作為參考數(shù)據(jù)進(jìn)行參考,利用匹配特征數(shù)據(jù)與基礎(chǔ)變換算法矩陣的數(shù)據(jù)進(jìn)行計(jì)算,并將不在同一條直線中的5個(gè)點(diǎn)進(jìn)行世界坐標(biāo)系的建立。在此基礎(chǔ)上,將參考現(xiàn)實(shí)空間圖像中的特征點(diǎn)與世界坐標(biāo)系相連系,完成對(duì)AR技術(shù)的定義,同時(shí)恢復(fù)用戶在5個(gè)點(diǎn)之下的坐標(biāo)系位置[19]。最后進(jìn)行PCA處理,將匹配特征點(diǎn)數(shù)據(jù)與建立模型進(jìn)行合集分類處理,同時(shí)生成特征點(diǎn)描述,為后續(xù)追蹤提供追蹤基礎(chǔ)。

(2)算法在線化階段 將三維注冊(cè)算法進(jìn)行理論化重組,利用重組后的算法將虛擬空間圖像中所獲取的特征點(diǎn)與離線過程所獲取的特征點(diǎn)進(jìn)行匹配,結(jié)合KLT追蹤方法對(duì)空間位置姿態(tài)進(jìn)行計(jì)算。當(dāng)相機(jī)捕捉到目標(biāo)后,將圖像幀劃分為q層,構(gòu)建正金字塔模型,在進(jìn)入KLT追蹤過程后,從高層開始計(jì)算窗口位置,將得到的位置估計(jì)作為參數(shù)傳輸至下一層的KLT追蹤中,重復(fù)這一過程直到所有目標(biāo)均被有效追蹤。在此基礎(chǔ)上,利用所獲得的計(jì)算結(jié)果對(duì)離線過程中的特征集合點(diǎn)實(shí)施恢復(fù)操作,獲取其在真實(shí)空間坐標(biāo)系圖像中的投影位置,按照特征點(diǎn)之間的對(duì)應(yīng)關(guān)系計(jì)算虛擬空間圖像與真實(shí)空間坐標(biāo)系圖像之間的反映性聯(lián)系,恢復(fù)三維算法矩陣實(shí)現(xiàn)虛實(shí)方式配比[20]。

通過以上2個(gè)階段完成AR三維注冊(cè)算法的建立過程,實(shí)現(xiàn)對(duì)高魯棒性的AR三維注冊(cè)算法的整體設(shè)計(jì),算法的整體流程如圖2所示。

圖2 算法整體實(shí)現(xiàn)流程

4 結(jié)果及分析

為驗(yàn)證所提的高魯棒性AR三維注冊(cè)算法的實(shí)際應(yīng)用效果,設(shè)計(jì)如下實(shí)驗(yàn),從注冊(cè)過程耗時(shí)、匹配特征點(diǎn)數(shù)量、特征點(diǎn)位置信息計(jì)算結(jié)果準(zhǔn)確率3個(gè)角度將該算法與文獻(xiàn)[5]中的基于自然特征的移動(dòng)增強(qiáng)現(xiàn)實(shí)注冊(cè)算法、文獻(xiàn)[7]中的基于加速分割檢測(cè)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)算法、文獻(xiàn)[9]中的基于視覺即時(shí)定位與地圖構(gòu)建的改進(jìn)增強(qiáng)現(xiàn)實(shí)注冊(cè)算法進(jìn)行對(duì)比,并分析對(duì)比實(shí)驗(yàn)結(jié)果。為保證實(shí)驗(yàn)的有效性,設(shè)置如下實(shí)驗(yàn)環(huán)境和參數(shù),設(shè)定內(nèi)容如表1所示。

表1 實(shí)驗(yàn)環(huán)境及參數(shù)

對(duì)比不同AR三維注冊(cè)算法在應(yīng)用過程中的注冊(cè)過程耗時(shí),對(duì)比結(jié)果如圖3所示。

圖3 不同算法注冊(cè)過程耗時(shí)對(duì)比

從圖3可知,隨著實(shí)驗(yàn)迭代次數(shù)的不斷增加,不同注冊(cè)算法的注冊(cè)過程耗時(shí)也在不斷發(fā)生變化?？梢钥闯?本文算法的耗時(shí)始終少于另外3種算法,證明該算法能夠快速完成注冊(cè)過程,注冊(cè)效率較高。造成此種現(xiàn)象的主要原因在于本文算法利用方向矩陣進(jìn)行位置信息分析,提高了特征點(diǎn)位置信息的空間變換效率,進(jìn)而提升了整體注冊(cè)效率,實(shí)現(xiàn)對(duì)特征點(diǎn)的實(shí)時(shí)跟蹤。

對(duì)比不同AR三維注冊(cè)算法在應(yīng)用過程中的匹配特征點(diǎn)數(shù)量和位置計(jì)算結(jié)果準(zhǔn)確率,對(duì)比結(jié)果如圖4所示和表2所示。

圖4 不同算法匹配特征點(diǎn)數(shù)量對(duì)比結(jié)果

表2 不同算法位置計(jì)算結(jié)果準(zhǔn)確率對(duì)比

從圖4可知,采用本文算法進(jìn)行AR三維注冊(cè)過程的匹配特征點(diǎn)數(shù)量較多,有效避免了位姿抖動(dòng)現(xiàn)象,從而使得算法魯棒性得以提高。同時(shí),本文算法將算法的建立過程劃分為初始化與在線化2個(gè)階段,提高了算法的運(yùn)算規(guī)則性。通過與標(biāo)準(zhǔn)坐標(biāo)系建立聯(lián)系,在較高程度上破除傳統(tǒng)算法的模式固定化的特征,由單一策略變化為靈活策略,對(duì)有效特征點(diǎn)進(jìn)行大幅度追蹤和匹配篩選,使注冊(cè)過程不單單依靠簡(jiǎn)單的單點(diǎn)追蹤,從而提升算法的魯棒性。

從表2可知,隨著迭代次數(shù)的增加,不同算法的位置計(jì)算結(jié)果準(zhǔn)確率也在隨之變化。但本文算法的特征點(diǎn)位置信息計(jì)算結(jié)果準(zhǔn)確率始終高于另外3種算法。造成此種現(xiàn)象的主要原因在于本文算法設(shè)計(jì)了初推導(dǎo)步驟,對(duì)設(shè)計(jì)算法進(jìn)行初始理論性加工,降低了設(shè)計(jì)復(fù)雜度,從而降低算法的計(jì)算錯(cuò)誤率。

經(jīng)過以上對(duì)比分析可知,高魯棒性AR三維注冊(cè)算法在計(jì)算耗時(shí)、特征點(diǎn)位置信息計(jì)算結(jié)果準(zhǔn)確率和魯棒性等方面明顯優(yōu)于傳統(tǒng)算法,有著更為廣闊的使用前景與發(fā)展空間。

5 結(jié) 語

本研究設(shè)計(jì)了一種新的高魯棒性的AR三維注冊(cè)算法,首先對(duì)算法進(jìn)行初推導(dǎo),對(duì)注冊(cè)算法的原理進(jìn)行系統(tǒng)研究,并確定虛擬目標(biāo)在真實(shí)世界中的具體位置,降低整體算法在開始運(yùn)行時(shí)的錯(cuò)誤率,進(jìn)而保障算法的完整性與可靠性。其次,在初推導(dǎo)的基礎(chǔ)上實(shí)現(xiàn)特征匹配,增強(qiáng)對(duì)目標(biāo)對(duì)象的追蹤與控制,提高注冊(cè)算法的準(zhǔn)確率。最后,通過初始化和在線化2個(gè)階段實(shí)現(xiàn)算法的最終建立。

實(shí)驗(yàn)結(jié)果表明,相較于傳統(tǒng)算法,本研究所提算法具有更高的注冊(cè)效率和魯棒性,且對(duì)特征點(diǎn)位置信息計(jì)算結(jié)果的準(zhǔn)確率較高,具有良好的應(yīng)用前景。