陳紅初,王安霞
(1.湖南科技學(xué)院電子與信息工程學(xué)院,湖南永州 425199;2.江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院,江蘇無錫214122)
虛擬現(xiàn)實(shí)(Virtual Reality,VR)技術(shù)綜合圖形系統(tǒng)、多媒體技術(shù)與網(wǎng)絡(luò)技術(shù)等,在計(jì)算機(jī)中生成三維圖像,廣泛應(yīng)用在教育、娛樂等方面,屬于一種挑戰(zhàn)性較強(qiáng)的前沿學(xué)科。圖像是人們感知世界的主要信息源泉,承擔(dān)著信息載體的關(guān)鍵任務(wù)。對(duì)于VR圖像,它的幾何特征尤為重要,能夠展示目標(biāo)特征,提取效果直接影響圖像描述與識(shí)別。如何從初始圖像內(nèi)提取有價(jià)值的特征信息,是計(jì)算機(jī)視覺技術(shù)領(lǐng)域近年來的熱點(diǎn)話題。
文獻(xiàn)[1]提出基于雙樹復(fù)小波域統(tǒng)計(jì)圖像建模的特征提取方法,統(tǒng)計(jì)圖像建模方式利用某類參數(shù)分布模型來表述幾何特征。采用廣義伽馬分布在圖像雙樹復(fù)小波域?qū)崿F(xiàn)統(tǒng)計(jì)建模,通過對(duì)數(shù)累計(jì)量法完成幾何特征參數(shù)提取。文獻(xiàn)[2]提出基于深度學(xué)習(xí)的圖像特征提取。利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò),再使用該網(wǎng)絡(luò)完成圖像特征向量訓(xùn)練;通過卷積層、池化層的操作實(shí)現(xiàn)特征向量降維,獲取特征提取初步結(jié)果;將Alexnet神經(jīng)網(wǎng)絡(luò)與Googlenet神經(jīng)網(wǎng)絡(luò)相結(jié)合去除特征不明確部分,構(gòu)建最優(yōu)特征向量集合,實(shí)現(xiàn)特征提取。
但以上方法存在無法克服的弊端,無法在降維與特征提取效果之間達(dá)到平衡,實(shí)現(xiàn)降維目的的同時(shí)會(huì)大幅度降低圖像質(zhì)量,使某些細(xì)節(jié)消失,影響特征提取效果。為此,本文在視差估計(jì)下對(duì)VR圖像進(jìn)行幾何特征提取。通過視差估計(jì)快速選擇圖像最佳參考點(diǎn)[3],結(jié)合參考點(diǎn)構(gòu)建尺度空間,引入Gabor小波變換算法,獲取圖像幾何特征,建立尺度函數(shù)。Gabor小波變換不但能全面提取圖像幾何特性,還可以減少信息冗余,和視覺傳達(dá)機(jī)制相符,為圖像辨識(shí)提供技術(shù)支持。
VR圖像具備一些幾何特征,在分辨率較高的VR圖像中體現(xiàn)為灰度值接近、存在明顯的大小與形狀區(qū)分[4]。對(duì)圖像幾何特征做出如下分類。
1)面積
S=n×s
(1)
式中,n表示柵格中像元數(shù)量,s是每個(gè)像元對(duì)應(yīng)的真實(shí)面積。
2)周長
(2)
式中,(xi-xi-1)、(yi-yi-1)均表示構(gòu)成向量的邊緣部分連接點(diǎn),周長即為向量連接點(diǎn)的坐標(biāo)連接長度,number代表連接點(diǎn)總數(shù)量。
3)質(zhì)心
計(jì)算圖像目標(biāo)的pq矩與pq次中心矩[5-6]
(3)
(4)
式中,f(i,j)表示像元值,ip、jq表示圖像目標(biāo)特征分類數(shù)量,xc、yc表示一階矩。
因此圖像質(zhì)心可通過一階矩表示
(5)
(6)
4)延伸方向
延伸方向也就是圖像的長軸方向,定義式如下
(7)
5)形態(tài)指數(shù)
(8)
式中,S表示圖像中目標(biāo)面積,L代表周長。
在圖像數(shù)字化提取過程中,參考視點(diǎn)的選擇為尺度空間的構(gòu)建奠定基礎(chǔ),快速準(zhǔn)確地選取參考視點(diǎn)可以減少計(jì)算復(fù)雜度。通過相鄰塊之間的視差信息,如圖1所示,獲得視差向量。
圖1 相鄰塊示意圖
獲取C塊與三個(gè)相鄰塊的相似度尺度,得出與C塊最接近的A塊,將塊A當(dāng)作左參考視點(diǎn)RL,則A的視差向量也是C塊的左參考視點(diǎn)RL的視差向量。相同道理獲得C塊右參考視點(diǎn)視差向量RR。
如果塊C與任意視點(diǎn)上的預(yù)測塊相似到某個(gè)程度時(shí),在視差估計(jì)過程中即可將該點(diǎn)當(dāng)作參考視點(diǎn),其余視點(diǎn)對(duì)視差估計(jì)的影響較小。
(9)
(10)
式中,IC代表視點(diǎn)中間塊,DC,L為參考視點(diǎn)DA、DB、DC的相似程度,即相似度判斷閾值。在IC是Ture時(shí),將RL當(dāng)作單一參考點(diǎn)完成視差估計(jì),反之利用多個(gè)參考點(diǎn)完成[7]。此種方法可以在提高視差估計(jì)精準(zhǔn)度的同時(shí),降低算法復(fù)雜度,提高特征提取方法的實(shí)用性。
尺度空間實(shí)際上是將偏微分方程應(yīng)用到圖像中的結(jié)果,通過該空間方便觀察VR圖像的幾何特征,要想實(shí)現(xiàn)尺度空間的構(gòu)建,必須結(jié)合上述選取的參考視點(diǎn),確定空間內(nèi)核[8]。內(nèi)核表達(dá)式如下
fout=K×fin
(11)
式中,對(duì)fin和K在經(jīng)過卷積計(jì)算后獲取的結(jié)果記為fout,如果fout的最小值低于初始圖像最小值,則將K當(dāng)作尺度空間內(nèi)核。關(guān)于內(nèi)核問題存在一些假設(shè),經(jīng)過相關(guān)研究表明高斯卷積核屬于較為合理的線性核,對(duì)其定義為
(12)
L′=(x′,y′,σ)=G(x′,y′,σ)*I(x′,y′)
(13)
式中,I(x′,y′)代表輸入圖像,L(x′,y′,σ)描述高斯變換輸出,σ為尺度參數(shù),該值增大,圖像整體輪廓會(huì)更加清晰。
利用高斯函數(shù)構(gòu)建了圖像尺度空間,為特征關(guān)鍵點(diǎn)定位提供有利條件[9]。該函數(shù)能夠很好適應(yīng)空間位置變換,不會(huì)添加多余計(jì)算量,同時(shí)也能夠很好地保留圖像邊緣特征信息。
由上述高斯函數(shù)表達(dá)式可知,VR圖像特征的關(guān)鍵點(diǎn)大多數(shù)集中在函數(shù)極值點(diǎn)處。所以將關(guān)鍵點(diǎn)確定問題變換為極值點(diǎn)計(jì)算問題。
首先需定義候選點(diǎn),初步劃分出關(guān)鍵點(diǎn)區(qū)間。將3×3鄰域當(dāng)作基準(zhǔn),對(duì)需檢測的點(diǎn)與鄰域附近的像素點(diǎn)做灰度值對(duì)比。濾出對(duì)比度較低的點(diǎn),提高圖像清晰度,具體過程如下。
對(duì)高斯函數(shù)進(jìn)行泰勒展開
(14)
(15)
(16)
Tr(H)=Dx′x′+Dy′y′=α+β
(17)
Det(H)=Dx′x′Dy′y′-(Dx′y′)2=αβ
(18)
式中,Dx′x′、Dx′y′和Dy′y′表示空間函數(shù)值,假設(shè)兩個(gè)特征值之間的比值為r,有α=rβ成立,則閾值判別公式如下
(19)
在上述判別公式中結(jié)合實(shí)際需求設(shè)定R值,再將不符合閾值的邊緣響應(yīng)點(diǎn)去除,剩余的點(diǎn)即為幾何特征提取的關(guān)鍵點(diǎn)。
獲取VR圖像的幾何特征關(guān)鍵點(diǎn)后,利用Gabor小波變換方法獲取特征向量,并對(duì)該方法進(jìn)行改進(jìn),使提取的特征具有旋轉(zhuǎn)不變特性[11]。
3.4.1 離散Gabor小波變換過程分析
針對(duì)某連續(xù)信號(hào)f′(t),選取母函數(shù)g(t),假設(shè)該函數(shù)的表達(dá)式如下
gm′,n′(t)=f′(t)+g(t)
(20)
針對(duì)母函數(shù)g(t)進(jìn)行位移調(diào)整,獲得gm′,n′的位移調(diào)整方式。且g(t)和其它母函數(shù)h(t)滿足如下雙正交關(guān)系
(21)
式中,如果m′與n′其中某個(gè)不等于零,則積分值等于零,g(t)和h(t)存在正交關(guān)系。
在小波變換中將高斯函數(shù)當(dāng)作窗函數(shù),確保時(shí)域與頻域內(nèi)的能量集中。
假設(shè)h(x′,y′)和g(x′,y′)分別為離散綜合窗與離散分析窗,同時(shí)二者符合正交關(guān)系,此時(shí)f(x′)的Gabor小波變換與展開公式如下
(22)
式中,cm′,n′,r′,s′與hm′,n′,r′,s′代表位移與調(diào)制。
hm′,n′,r′,s′(x′,y′)=h(x′-m′,y′-m′)
(23)
gm′,n′,r′,s′(x′,y′)=g(x′-m′,y′-m′)
(24)
式中,h(x′-m′,y′-m′)與g(x′-m′,y′-m′)分別代表兩個(gè)頻域中采樣點(diǎn)數(shù)量,基本上窗函數(shù)中分量之間是分離的。
3.4.2 幾何特征提取
利用上述Gabor小波變換過程,對(duì)某VR圖像做小波變換,設(shè)I(x′,y′)為輸入圖像,經(jīng)過小波變換后獲得
(25)
(26)
(27)
利用上述公式即可獲取圖像的幾何特征向量,該方法不但可以有效提取幾何特征,還能降低特征信息冗余度。因此Gabor小波在特征提取領(lǐng)域有著廣闊應(yīng)用前景。但此時(shí)獲得的特征缺乏旋轉(zhuǎn)不變性,針對(duì)這一問題,本文對(duì)其進(jìn)行改進(jìn),確保經(jīng)過旋轉(zhuǎn)等操作后,提取到的特征向量發(fā)生變化的可能性較小。改進(jìn)步驟如下:
步驟一:獲取Gabor小波幾何特征在所有方向上的總能量,選取其中極大值;
步驟二:使能量最大方向中的數(shù)值向幾何特征向量的最前側(cè)移動(dòng),令其當(dāng)做新的向量序列;
步驟三:設(shè)置初始Gabor向量序列表示為“123opq”,對(duì)能量函數(shù)進(jìn)行計(jì)算能夠得出,o方向中存在最大能量值;將q首先移動(dòng)在向量序列前測,再將o和p移動(dòng)到序列最前側(cè),獲得重新組合排列的向量序列“123opq”,針對(duì)每個(gè)空間區(qū)域的特征向量都做相同處理,即可使提取的特征向量具有旋轉(zhuǎn)不變性特征。
為了驗(yàn)證所提特征提取方法性能,利用MATLAB平臺(tái)進(jìn)行仿真。其中硬件架構(gòu)為Intel Core2 T5800,其主頻是4.0GHz。選取的VR圖像均存在噪聲,在視差估計(jì)下,左、右眼與標(biāo)準(zhǔn)視差圖分別如圖2到圖4所示。
圖2 左眼視差圖
圖3 右眼視差圖
圖4 綜合視差圖
在綜合視差圖中構(gòu)建六個(gè)特征空間,利用本文方法、文獻(xiàn)[1]方法與文獻(xiàn)[2]方法,對(duì)每個(gè)空間中的幾何特征進(jìn)行數(shù)字化提取,提取效果如圖5所示。
圖5 VR圖像幾何特征提取效果圖
由綜合視差圖能夠看出,在六個(gè)空間內(nèi),空間2和空間4包含的幾何特征信息較多。而從實(shí)驗(yàn)結(jié)果來看,本文方法對(duì)這兩個(gè)空間特征提取的像素值最高,表明可有效提取出VR圖像中幾何特征明顯的區(qū)域,對(duì)于特征不明顯區(qū)域獲得的特征值也高于其它方法。而文獻(xiàn)[2]方法幾乎無法提取特征信息較少的區(qū)域。文獻(xiàn)[1]方法提取的像素特征值沒有明顯差異。這表明該方法選取的特征點(diǎn)更加穩(wěn)定,且具有較強(qiáng)的獨(dú)特性。
此外,選取100幅VR圖像進(jìn)行樣本訓(xùn)練,隨機(jī)選擇五個(gè)樣本進(jìn)行仿真。根據(jù)圖像正確識(shí)別次數(shù)來對(duì)比不同方法的適應(yīng)度與降維效果。適應(yīng)度的評(píng)價(jià)方法如下
F(l)=p×100-d/H
(28)
式中,p表示圖像識(shí)別率,d代表特征集合中特征數(shù)量,H是初始特征數(shù)量。三種方法的適應(yīng)度值與特征使用數(shù)量分別如表1和2所示。
表1 不同方法適應(yīng)度結(jié)果對(duì)比表
表2 不同方法所需特征個(gè)數(shù)表
綜合表1和2能夠看出,在五次實(shí)驗(yàn)中,所提方法的適應(yīng)度值最高,說明經(jīng)過本文特征提取后的圖像被準(zhǔn)確識(shí)別出的次數(shù)最多。文獻(xiàn)[1]方法的適應(yīng)度值雖然也很高,但是所使用的特征較多;文獻(xiàn)[2]方法是以犧牲適應(yīng)度值為前提,降低了特征維數(shù)。這表明本文方法在特征提取過程中有效去除冗余特征,保留了貢獻(xiàn)較大的特征值,降低維數(shù),減少特征空間,提高適應(yīng)度值。
VR圖像處理擁有廣闊的應(yīng)用前景,在生物識(shí)別、醫(yī)學(xué)等領(lǐng)域發(fā)揮巨大作用。本文在視差估計(jì)下融入Gabor小波變換方法實(shí)現(xiàn)圖像幾何特征的有效提取。實(shí)驗(yàn)結(jié)果表明,該方法數(shù)字化特征提取效果較好,冗余度低,適應(yīng)度高。但Gabor小波變換在實(shí)現(xiàn)幾何特征向量旋轉(zhuǎn)不變性過程中,是利用歐式距離測量兩個(gè)矢量存在的距離,并沒有分析特征向量之間的相似程度。在今后研究中需對(duì)此方面內(nèi)容進(jìn)行延伸與詳細(xì)分析,進(jìn)一步提高圖像處理效果。