虛擬圖像特征融合誤差控制算法仿真

莊 佳,石 林

(常州大學(xué),江蘇 常州 213164)

1 引言

VR技術(shù)是在數(shù)字技術(shù)的幫助下產(chǎn)生虛擬圖像[1]的一種方法,利用VR技術(shù)可創(chuàng)造出現(xiàn)實(shí)世界無(wú)法呈現(xiàn)的場(chǎng)景,為消費(fèi)者帶來(lái)全新的感官體驗(yàn),VR技術(shù)獲取圖像的途徑主要是圖像特征融合[2,3],但VR技術(shù)應(yīng)用過(guò)程中不可避免會(huì)產(chǎn)生一定的圖像場(chǎng)景重建誤差,在校正這些誤差的過(guò)程中,很多數(shù)量較少且不明顯的誤差容易被忽略,導(dǎo)致虛擬場(chǎng)景圖像的誤差校正效果不理想。

呂麗軍[4]等人首先利用光學(xué)系統(tǒng)的主光線將錯(cuò)誤圖像與正確圖像一起投影到平面上,獲取兩者之間的曲線,其次對(duì)曲線進(jìn)行擬合并計(jì)算出該曲線的逆函數(shù),從而復(fù)原帶有誤差的圖像,實(shí)現(xiàn)圖像誤差校正。段靜彧[5]等人首先將圖像轉(zhuǎn)換成數(shù)字信號(hào),并對(duì)信號(hào)進(jìn)行視差函數(shù)配準(zhǔn),完成圖像模板匹配,將其視為圖像誤差校正的基礎(chǔ),其次計(jì)算出圖像的實(shí)際誤差,將誤差進(jìn)行插值處理,以此生成誤差補(bǔ)償結(jié)果,實(shí)現(xiàn)圖像誤差校正。

以上二種方法均沒(méi)有提前預(yù)測(cè)VR圖像特征融合誤差,導(dǎo)致在計(jì)算過(guò)程數(shù)據(jù)量巨大,同時(shí)提高錯(cuò)誤校正發(fā)生率,大大加長(zhǎng)校正時(shí)間,存在校正準(zhǔn)確率低、誤差預(yù)測(cè)準(zhǔn)確性低、校正所需時(shí)間長(zhǎng)和校正效果差的問(wèn)題。

為了解決上述算法中存在的問(wèn)題,提出VR圖像特征融合誤差半監(jiān)督校正算法。經(jīng)研究發(fā)現(xiàn),機(jī)器學(xué)習(xí)可有效提高校正精度,機(jī)器學(xué)習(xí)是人工智能的主要表示,其中的半監(jiān)督式學(xué)習(xí)可通過(guò)推導(dǎo)部分?jǐn)?shù)據(jù)獲取,經(jīng)過(guò)訓(xùn)練將相同的誤差類別分類到一起進(jìn)行校正,加強(qiáng)整體校正精度。

2 VR圖像特征融合誤差預(yù)測(cè)

對(duì)于已經(jīng)完成特征融合[6,7]后的VR圖像其中不可避免會(huì)出現(xiàn)融合誤差,因此完成圖像融合后還需進(jìn)行誤差校正[8],為最大程度提高校正精度,需對(duì)可疑區(qū)域完成定位進(jìn)而完成圖像特征融合誤差的預(yù)測(cè)[9,10]。

2.1 VR圖像特征提取

卷積神經(jīng)網(wǎng)絡(luò)[11]是目前最高效的誤差定位方法,由于卷積神經(jīng)的特殊組成結(jié)構(gòu)可分別完成定位所需的內(nèi)容,從而提高定位精度,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型提取出圖像特征,在網(wǎng)絡(luò)模型的反向傳播特性以及誤差函數(shù)的幫助下調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù),其中誤差函數(shù)的表達(dá)式為

(1)

基于誤差函數(shù)以及網(wǎng)絡(luò)訓(xùn)練模型對(duì)圖像特征進(jìn)行提取,首先將原始圖像轉(zhuǎn)換成HSV模式以此提出圖像的顏色特征向量,為減少直方圖維數(shù)以此增強(qiáng)校正效率,可均勻量化圖像的顏色空間,將圖像顏色特征進(jìn)行加權(quán)歸一化處理[12]后得出圖像特征,其結(jié)果表達(dá)式為

H=βHa+Hb(1-β)

(2)

式中,Ha表示圖像誤差區(qū)域直方圖特征,Hb表示沒(méi)有誤差區(qū)域的直方圖特征,β表示相應(yīng)圖像區(qū)域的面積,H表示經(jīng)過(guò)歸一化處理后的圖像特征。

除顏色以外的特征在提取時(shí)可將無(wú)誤差的圖像與有誤差的圖像進(jìn)行映射,通過(guò)計(jì)算兩種圖像之間的映射函數(shù)完成特征提取[13,14],其映射計(jì)算公式為

C(x)→NTm

(3)

式中,C(x)表示映射函數(shù),N表示目標(biāo)圖像的特征數(shù)量,Tm表示實(shí)數(shù)向量。

通過(guò)映射生成誤差圖像的空間維數(shù)計(jì)算公式為

W=ε(1+e)2

(4)

其中,W表示帶有誤差特征的圖像空間維數(shù),ε表示空間維度向量,e表示映射參數(shù)。

進(jìn)而計(jì)算出特征融合圖像的向量,其運(yùn)算表達(dá)式為

p=Bi(x)·WC(x)

(5)

式中,p表示圖像的向量,Bi(x)表示第i個(gè)圖像的特征。

根據(jù)式(5)即完成圖像的特征提取。

2.2 圖像特征融合誤差定位

根據(jù)提取出的特征進(jìn)行誤差區(qū)域相似度的計(jì)算,在相似度計(jì)算結(jié)果的幫助下對(duì)每類相似的特征進(jìn)行分類,并運(yùn)算出不同區(qū)域之間的距離,在特征相似度計(jì)算中歐式距離是最有效的計(jì)算方法,其中區(qū)域距離的表達(dá)式可設(shè)置為

F(c,d)=(Hc-Hd)TA(Hc-Hd)

(6)

式中,F(c,d)表示特征區(qū)域c和特征區(qū)域d之間的歐式距離,A表示特征相似矩陣,即特征維數(shù)之間的聯(lián)系權(quán)重,T表示特征向量。

假設(shè)特征之間的相似度為akj,其表達(dá)式為

(7)

式中,fkj表示特征k和j之間的距離,fmax表示特征間的最長(zhǎng)距離。

為更好描述圖像特征間的相似性,同時(shí)明確定位出誤差區(qū)域,定義出參考區(qū)域的距離,其表達(dá)式為

(8)

式中,Oi表示參考區(qū)域距離,φ表示特征點(diǎn)的權(quán)重向量,V表示圖像特征。

通過(guò)計(jì)算特征間的距離并對(duì)其進(jìn)行加權(quán)處理,得出最符合圖像的平滑因子,進(jìn)而得出特征相似度,特征相似度就是經(jīng)過(guò)外部加權(quán)歸一化處理后的特征歐式距離,其表達(dá)式為

Dis(a,b)=F(a,b)(1-γ)+γF(a,b)

(9)

式中,Dis(a,b)表示特征間的相似度,γ表示歸一化參數(shù)。

根據(jù)相似度公式計(jì)算出特征間距離,并與參考區(qū)域距離進(jìn)行比較,若大于參考距離,則進(jìn)行標(biāo)記,從而定義出可疑區(qū)域。

2.3 圖像特征融合誤差預(yù)測(cè)

在可疑區(qū)域中預(yù)測(cè)出存在誤差的圖像區(qū)域,即將標(biāo)記出的可疑區(qū)域視為目標(biāo)區(qū)域進(jìn)行預(yù)測(cè),首先構(gòu)建圖像訓(xùn)練樣本與預(yù)測(cè)樣本之間的多元線性回歸矩陣,其表達(dá)式為

(10)

其中,κ表示多線性回歸系數(shù),τ表示各個(gè)樣本的殘差值,r表示與目標(biāo)樣本相鄰的樣本像素。

其中回歸系數(shù)κ的運(yùn)算表達(dá)式為

κi=(YTY)-1YTY

(11)

其中,T表示轉(zhuǎn)置符號(hào)。

進(jìn)而計(jì)算出圖像融合特征的預(yù)測(cè)值,其表達(dá)式為

r′a,b=J(τ1ra,b-1+τ3ra-1,b+τ2ra-1,b-1)

(12)

其中,J表示每種特征的評(píng)價(jià)分?jǐn)?shù),r表示圖像特征融合誤差預(yù)測(cè)樣本。

將目標(biāo)預(yù)測(cè)樣本與全新樣本預(yù)測(cè)值進(jìn)行比較即可生成VR圖像特征融合的誤差預(yù)測(cè)值,其運(yùn)算表達(dá)式為

D1=round(ra,b-r′a,b)

(13)

式中,D1即為誤差預(yù)測(cè)值。

3 圖像特征融合誤差半監(jiān)督校正

半監(jiān)督式學(xué)習(xí)算法[15]在機(jī)器學(xué)習(xí)中是較為容易實(shí)現(xiàn)的一種算法,它可以忽略數(shù)據(jù)是否被標(biāo)記的同時(shí)完成數(shù)據(jù)的分類,加強(qiáng)系統(tǒng)的泛化能力,半監(jiān)督式誤差校正可通過(guò)少量被標(biāo)記以及大量未被標(biāo)記的樣本進(jìn)行訓(xùn)練完成誤差校正,即在預(yù)測(cè)的誤差數(shù)據(jù)中提取訓(xùn)練樣本,并在半監(jiān)督式學(xué)習(xí)下對(duì)樣本的特征信息進(jìn)行分類。

為加強(qiáng)分類精度,基于VR圖像特征融合的誤差預(yù)測(cè)值,在半監(jiān)督式學(xué)習(xí)下添加支持向量機(jī),首先對(duì)預(yù)測(cè)數(shù)據(jù)中已被標(biāo)記的數(shù)據(jù)進(jìn)行分類,假設(shè)預(yù)測(cè)數(shù)據(jù)中被標(biāo)記的數(shù)據(jù)集合為(y1,z1),(y2,z2),…,(yn,zn),未被標(biāo)記的數(shù)據(jù)集合為y′1,y′2,…,y′3,其中支持向量機(jī)的公式如下所示

(14)

其中,B表示支持向量機(jī)的參數(shù),C表示支持向量機(jī)中的影響因素,i和j均表示1～n的正整數(shù),v表示特征的權(quán)重,φi表示分類系數(shù)。

通過(guò)半監(jiān)督式學(xué)習(xí)算法對(duì)分類器進(jìn)行訓(xùn)練,生成誤差特征的期望向量以及方差向量,其表達(dá)式如下所示

(15)

當(dāng)i和n相等,即可得出分類器,否則重新選取標(biāo)記的樣本進(jìn)行訓(xùn)練直至i和n相等得出分類器。

利用訓(xùn)練出的分類器對(duì)大量未被標(biāo)記的數(shù)據(jù)進(jìn)行分類,在預(yù)測(cè)誤差樣本中任意選取未被標(biāo)記的樣本進(jìn)行分類,為更加貼近未被標(biāo)記的樣本,需在已生成的分類器的基礎(chǔ)上進(jìn)行修改,即將式(15)優(yōu)化成下列式子

(16)

通過(guò)式(15)和(16)分類器對(duì)標(biāo)記的誤差數(shù)據(jù)以及未標(biāo)記的圖像誤差數(shù)據(jù)進(jìn)行分類即可獲取最具影響力的結(jié)果。

VR圖像由于特征融合錯(cuò)誤導(dǎo)致的圖像誤差是系統(tǒng)固有的,因此也將這種誤差稱之為系統(tǒng)誤差,根據(jù)VR技術(shù)得出這種誤差的數(shù)學(xué)模型公式為

fd(z)=fc(z)fs(z)

(17)

其中,fd(z)表示分類出的誤差圖像區(qū)域,fs(z)表示原始VR圖像,fc(z)表示特征融合誤差函數(shù),z表示圖像中特征點(diǎn)。

進(jìn)而得出特征融合誤差就是乘性誤差,這種誤差的校正最優(yōu)方法就是系統(tǒng)校正,通過(guò)上式可知原始圖像的生成公式為

(18)

利用上式對(duì)原始圖像的復(fù)原較為困難,為方便運(yùn)算可提前設(shè)定條件進(jìn)行還原,假設(shè)VR圖像中所有特征融合誤差種類相同,設(shè)誤差為j,此時(shí)的原始圖像表達(dá)式為

(19)

將每種誤差進(jìn)行設(shè)定,根據(jù)上式計(jì)算出每種誤差的修正系數(shù),以此完成誤差校正。

4 實(shí)驗(yàn)結(jié)果與分析

對(duì)所提算法、文獻(xiàn)[4]算法和文獻(xiàn)[5]算法進(jìn)行校正準(zhǔn)確率、誤差預(yù)測(cè)準(zhǔn)確性、校正所需時(shí)間和校正效果進(jìn)行測(cè)試,設(shè)計(jì)仿真。具體測(cè)試結(jié)果如下所示。

4.1 校正準(zhǔn)確率指標(biāo)

VR圖像特征融合誤差校正算法必須保證校正精度,為驗(yàn)證所提算法的優(yōu)劣,對(duì)所提算法、文獻(xiàn)[4]算法以及文獻(xiàn)[5]算法的校正準(zhǔn)確率進(jìn)行比較。

現(xiàn)在同一環(huán)境下選取帶有不同誤差類型的VR圖像,分別通過(guò)三種算法進(jìn)行校正,將校正結(jié)果準(zhǔn)確率進(jìn)行比較,其結(jié)果如圖1所示。

圖1 不同算法下的校正準(zhǔn)確率

為保證實(shí)驗(yàn)真實(shí)性,分別對(duì)十組不同的誤差進(jìn)行校正,根據(jù)實(shí)驗(yàn)結(jié)果可看出,每組實(shí)驗(yàn)結(jié)果均是所提算法的準(zhǔn)確率最高,其余兩種算法的實(shí)驗(yàn)結(jié)果準(zhǔn)確率均遠(yuǎn)遠(yuǎn)低于所提算法,因?yàn)樗崴惴ㄔ谶M(jìn)行誤差校正前對(duì)誤差數(shù)據(jù)進(jìn)行預(yù)測(cè),提前將數(shù)據(jù)量降低,使得后續(xù)的校正計(jì)算僅僅在預(yù)測(cè)數(shù)據(jù)中進(jìn)行校正即可,保證校正效率,降低將正確融合特征視為誤差的概率,從而提高校正精度。

4.2 誤差預(yù)測(cè)準(zhǔn)確性指標(biāo)

在進(jìn)行VR圖像特征誤差校正過(guò)程中,對(duì)誤差進(jìn)行預(yù)測(cè)是提高校正精度的最常用手段,經(jīng)過(guò)預(yù)測(cè)可排除大部分正確融合數(shù)據(jù),降低在校正過(guò)程中錯(cuò)誤校正的風(fēng)險(xiǎn),因此預(yù)測(cè)誤差的精度也是決定校正結(jié)果好壞的關(guān)鍵因素。

為得出最優(yōu)校正算法,隨機(jī)選取100組帶有特征融合誤差的VR圖像,通過(guò)三種校正算法進(jìn)行誤差預(yù)測(cè),判斷出精度最高的預(yù)測(cè)算法即為最優(yōu)校正算法,其實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 三種算法的誤差預(yù)測(cè)準(zhǔn)確性

圖3 三種算法的誤差校正效果圖

誤差預(yù)測(cè)準(zhǔn)確性是正確預(yù)測(cè)誤差數(shù)量與實(shí)際圖像中所存在的誤差之比,經(jīng)過(guò)對(duì)圖2的分析,誤差預(yù)測(cè)準(zhǔn)確性最高的算法即為所提算法,因?yàn)榻?jīng)比較發(fā)現(xiàn)每組實(shí)驗(yàn)下的預(yù)測(cè)準(zhǔn)確性最高的均是所提算法,從而驗(yàn)證所提算法的優(yōu)越性。

4.3 校正時(shí)間指標(biāo)

VR系統(tǒng)在生成圖像過(guò)程中不僅要求圖像的質(zhì)量也講究生成時(shí)間,圖像誤差的校正也包括在圖像生成時(shí)間內(nèi),因?yàn)樾Ｕ龝r(shí)間的長(zhǎng)短也影響系統(tǒng)圖像的生成效率,所以現(xiàn)將校正所用時(shí)間當(dāng)成驗(yàn)證校正誤差算法優(yōu)劣的一項(xiàng)指標(biāo)。

為保證外界環(huán)境不影響實(shí)驗(yàn)結(jié)果,現(xiàn)保證三種算法所處的環(huán)境以及受到的影響均一致,隨機(jī)選取幾組誤差圖像進(jìn)行校正,計(jì)算其校正所需時(shí)間,結(jié)果如表1所示。

表1 三種算法的校正耗時(shí)/s

經(jīng)過(guò)對(duì)表1的分析,所以算法的校正時(shí)間均在0.5秒以下,文獻(xiàn)[4]算法較文獻(xiàn)[5]算法其校正效率更高些,時(shí)間均控制在1秒以下,而文獻(xiàn)[5]算法的一部分校正時(shí)間已經(jīng)超過(guò)1秒,因此證明所提算法是最優(yōu)誤差校正算法。

4.4 校正效果

對(duì)誤差進(jìn)行校正后最直觀的效果評(píng)價(jià)方法就是看校正結(jié)果是否對(duì)稱,現(xiàn)隨機(jī)選取一張帶有誤差的VR圖像,在三種算法下進(jìn)行圖像的校正,看最終的校正效果。

將三種算法的校正效果與原始誤差圖進(jìn)行比較,校正效果最優(yōu)的是所提算法,該算法將不對(duì)稱以及變形的部位全部還原,所以所提算法是最優(yōu)的圖像誤差校正算法。

5 結(jié)束語(yǔ)

本研究提出了一種VR圖像特征融合誤差半監(jiān)督校正算法,該算法首先預(yù)測(cè)出VR圖像特征融合誤差,其次根據(jù)預(yù)測(cè)結(jié)果在半監(jiān)督式機(jī)器學(xué)習(xí)的幫助下進(jìn)行誤差校正,實(shí)現(xiàn)VR圖像特征融合誤差校正,解決了校正準(zhǔn)確率低、誤差預(yù)測(cè)準(zhǔn)確性低、校正所需時(shí)間長(zhǎng)和校正效果差的問(wèn)題,提高用戶體驗(yàn)感,保證圖像質(zhì)量。