基于VR的視頻圖像處理效果優(yōu)化仿真研究

王 婧，高 博

(福建農(nóng)林大學(xué)，福建 福州 350000)

1 引言

VR(Virtual Reality，虛擬現(xiàn)實)技術(shù)是新一代視頻顯示技術(shù)，將用戶放置在球形區(qū)域中心，可以自由選擇觀看周圍360度的視頻場景，不受空間和時間的限制，具有身臨其境的感覺。VR視頻是一種新型的視頻載體，它具有聲音和圖像對齊的特點，給用戶一種深入式沉浸感。與傳統(tǒng)視頻圖像相比，虛擬現(xiàn)實需要更高的比特率，同時也會占用更多網(wǎng)絡(luò)帶寬和存儲空間，在給予用戶優(yōu)質(zhì)體驗的同時，如何優(yōu)化視頻質(zhì)量和低比特率的視頻編碼是VR視頻快速發(fā)展的關(guān)鍵之一，同樣這也是本文的重點。

早期的視頻圖像處理系統(tǒng)主要基于仿真系統(tǒng)[1]，技術(shù)成熟、成本低廉，但傳輸距離短、抗干擾能力差，存儲不方便，無法進行復(fù)雜數(shù)字處理。而現(xiàn)階段，高分辨率數(shù)字視頻圖像處理系統(tǒng)已廣泛應(yīng)用，通常采用數(shù)字信號(Digital Signal Process，DSP)作為處理器[2]，但DSP較為適用復(fù)雜算法內(nèi)，程序本質(zhì)是串行執(zhí)行，難以滿足高速信號實時處理的要求，處理速度有限，要求及時性的系統(tǒng)中不適用。相比之下，F(xiàn)PGA(Field Programmable Gate Array，現(xiàn)場可編程門陣列)在實時圖像處理占有很大速度優(yōu)勢[3]。根據(jù)現(xiàn)場可編程門陣列的內(nèi)部結(jié)構(gòu)和分布式算法，使各功能塊可以同時工作，更有利于高速數(shù)字信號處理，但是處理效果依舊不夠理想。

因此，本文提出基于VR的視頻圖像處理效果優(yōu)化，在中值濾波算法基礎(chǔ)上，添加閾值建立極值中值濾波算法，對視頻圖像中的噪聲波點去除，是VR圖像更切合現(xiàn)實背景。

2 虛擬現(xiàn)實技術(shù)

虛擬現(xiàn)實技術(shù)系統(tǒng)由檢測模塊、反饋模塊、傳感器模塊、控制模塊、建模模塊和三維模塊組成，系統(tǒng)組成如圖1所示。

圖1 虛擬現(xiàn)實技術(shù)的系統(tǒng)構(gòu)成

在這六個模塊中，檢測和反饋模塊是連接傳感器模塊以及用戶的橋梁，控制模塊在傳感器模塊和三維模塊之間起連接作用，而建模模塊則是通過用戶的操作直接生成三維模塊，它們之間的關(guān)系是相互聯(lián)系、相互補充的。其中，圖像作為虛擬現(xiàn)實技術(shù)中最為關(guān)鍵載體，能夠通過視覺影響使用者對環(huán)境感知[4]，增強視頻圖像處理效果能夠進一步加強虛擬真實感。

3 視頻圖像數(shù)字化

圖像是二維數(shù)據(jù)，數(shù)據(jù)在內(nèi)存中只能一維存儲，所以在本次設(shè)計中，視頻圖像數(shù)字化多采用量化方法。此處做出對應(yīng)的假設(shè)，安排在M×N數(shù)據(jù)組中，利用等距采樣獲取出一幅近似連續(xù)圖像f(x，y)，那么即可得出

f(x，y)

(1)

其中每個元素就是一個離散變量，而式(4)的右側(cè)則代表數(shù)字視頻圖像，數(shù)據(jù)組中每個元素即被描述成為相對應(yīng)的像素條件。

在實際計算過程中，令Z和R分別表示為實整數(shù)集和實數(shù)集，采樣時將其轉(zhuǎn)換為網(wǎng)絡(luò)格式作為圖像平面，并根據(jù)笛卡爾坐標系計算確定每個中心點的網(wǎng)格圖像。

如果式中x和y同樣也被表示為Z集合中實整數(shù)，而且f(·)是給點對(x，y)賦予灰度值的函數(shù)，那么f(x，y)就可以代表一幅完整的空間數(shù)字化圖像，其中賦值過程也可以稱之為量化過程。如果計算得知圖像中灰度值也取為整數(shù)，就是指Z集合代替了R集合，這樣f(x，y)就可以直接表述為數(shù)字圖像，并且該圖像是坐標值與灰度值都取整數(shù)的二維函數(shù)[5]。

圖像數(shù)字化處理過程中，首先對處理圖像大小M、N以及像素的離散灰度計數(shù)G進行判定，在計算中經(jīng)常將這些量都取為2的整數(shù)冪，這樣圖像數(shù)字化處理表達式便可寫為

(2)

如果把圖像離散灰度取值范圍定在0和10之間，以均勻狀態(tài)分布，那么根據(jù)下式即可得出儲存一張數(shù)字視頻圖像需要的bit

b=M×N×K

(3)

如果M=N，那么就可以得出

b=N2k

(4)

比如M=N=1024、G=256=28=2k，那么就有b=N2K=8Mb。

4 視頻圖像處理效果優(yōu)化

4.1 單向多級中值濾波算法分析

中值濾波是將數(shù)字圖像中某一點值替換為該點鄰域內(nèi)的中值[6]，而中值取值結(jié)果則根據(jù)以下方法計算：

假設(shè)定義一組數(shù)據(jù)x1，x2，x3…，xn，將其按照大小順序?qū)@n個數(shù)值進行排列得出

xi1≤xi2≤xi3≤…≤xin

(5)

其中，當n為奇數(shù)時便有

(6)

n為偶數(shù)時

(7)

根據(jù)上式計算結(jié)果即可得知，圖像效果將和3×3窗口下的簡單鄰域平均法得到的結(jié)果相似，將y描述為序列x1，x2，x3…，xn的中值[7]。

在計算過程中，假設(shè)將x(m，n)描述為有噪聲混雜的原始視頻圖像以及在坐標為(m，n)處像素點灰度值。首先選取出矩形窗口為L=2N+1，其中N代表了非負整數(shù)，將這個窗口劃分成為等同的四個子窗口，流程如下描述

W1(m，n)={x(m，n+i)，-N≤i≤N}

(8)

W2(m，n)={x(m+i，n)，-N≤i≤N}

(9)

W3(m，n)={x(m+i，n-i)，-N≤i≤N}

(10)

W4(m，n)={x(m+i，n+i)，-N≤i≤N}

(11)

根據(jù)計算可獲得圖2MLM濾波器示意圖：

圖2 MLM 濾波器

W1，W2，W3，W4代表沿著水平或垂直進行旋轉(zhuǎn)的一維圖像窗口，然后令Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)分別是4個窗口W1，W2，W3，W4的中值，這樣便有：

Z1(m，n)=med[x(i，j)∈W1(m，n)]

(12)

Z2(m，n)=med[x(i，j)∈W2(m，n)]

(13)

Z3(m，n)=med[x(i，j)∈W3(m，n)]

(14)

Z4(m，n)=med[x(i，j)∈W4(m，n)]

(15)

將Umax(m，n)和Umin(m，n)描述為四個中值Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)的最大值以及最小值，即可得出：

Umax(m，n)

=max[Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)]

(16)

Umin(m，n)

=min[Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)]

(17)

根據(jù)上式，單項多級中值濾波的輸出形式就有

y(m，n)=med[Umin(m，n)，Umax(m，n)，x(m，n)]

(18)

4.2 基于閾值的極值中值濾波算法圖像效果優(yōu)化

本文通過加入閾值構(gòu)造極值中值濾波算法，增強濾波窗口的圖像像素排序[8]，通過預(yù)判斷將圖像區(qū)域劃分為圖像邊緣細節(jié)區(qū)域、平坦區(qū)域和噪聲影響區(qū)域，優(yōu)化過程如下：

首先，對窗口W[xi，j]內(nèi)的像素點排序，找出max(W[xi，j])點和min(W[xi，j])點，也即極大值與極小值點。然后，將該點xij與max(W[xi，j])點、min(W[xi，j])對比，根據(jù)對比結(jié)果可知，如果兩點不一致，那么就傳輸原值，不經(jīng)過濾波處理，反之如果這兩點取值相同，那么就采用預(yù)判斷算法進行處理。

設(shè)f(x，y)為圖像(x，y)點處的灰度值，g(x，y)為(x，y)鄰域內(nèi)像素點的灰度值。選擇一個算子Y作用在g(x，y)和f(x，y)上，得Y=Y(f，g)之后根據(jù)不同的Y作進一步處理。這里Y的形式如下式所示

(19)

其中可得出

(20)

經(jīng)過計算，式中i取值便如圖3所示。

圖3 i取值分布

在圖3中，將點f(x+1，y)設(shè)為點(x，y)鄰域內(nèi)的第0點，依次圍繞點(x，y)一周，直到點f(x+1，y-1)為第7點。

根據(jù)上述可得知T表述為常數(shù)閾值，而圖像中噪聲污染程度以及圖像之間的分布變化、對比度都會直接影響T值的取值結(jié)果。面對分布變化大的圖像，計算時T值結(jié)果就需要高一些，反之如果圖像視覺效果良好，并沒有很大噪聲污染，分布變化也沒有被拉的過大，那么計算過程中T值就需要取低值，不然會出現(xiàn)因閾值取值結(jié)果不精準，而導(dǎo)致的失誤情況。

如果最終選擇的閾值結(jié)果太高，在處理圖像時會誤認為噪聲是有用的信號點，大部分噪聲仍會保留在處理過程中，從而降低濾波處理效果和視覺效果；反之，如果閾值太小，則相應(yīng)的會出現(xiàn)這種情況，將有用的信號點作為污染噪聲處理，使圖像更加模糊，信噪比會降低視覺效果。

根據(jù)上述計算結(jié)果，便可以進一步獲取出以下判定：

1)如果任何像素的灰度值等于或接近它，即Y=0時，可將該點作為一個孤立噪聲點進行中值濾波。

2)當1到4個像素灰度值等于或非常接近它時，即1≤Y≤4時，該點將被視為一個邊緣細節(jié)節(jié)點，將不經(jīng)處理而輸出。

3)當有超過4個像素的灰度值等于或非常接近它時，即Y≥4時，可以認為該點位于一個平坦區(qū)域中，不處理該點。這樣，整個計算過程可以表示為：

(21)

5 仿真研究

5.1 評價指標

5.1.1 紋理特征分析

圖像灰度共生矩陣是紋理統(tǒng)計分析主要方法之一，利用灰度二階統(tǒng)計量描述圖像中灰度分布。將灰度共生矩陣ρ(d，φ)定義為從灰度為i點離開某個固定位置點上灰度為j的概率。此處選取d=1，而φ的取值分別為0°，45°，90°，135°，這樣即可建立對比度以及熵的表達式：

(22)

根據(jù)計算得出k=i-j。在視頻圖像處理優(yōu)化過程中，對比度是圖像紋理溝槽測量的主要因素。凹槽越深，圖像之間的對比度就越大。熵是對圖像信息的度量。如果圖像沒有紋理，則熵值幾乎為零。如果有許多精細的紋理，那么熵值會更大。

5.1.2 噪聲比

視頻圖像處理后評價的指標是圖像中含有噪聲對比(Contrast to Noise Ratio，CNR)，便有

(23)

式中，μt和μb分別被描述為圖像中噪聲目標區(qū)域以及背景區(qū)域的均值，而σt和σb則表述為噪聲目標和背景的標準方差取值，根據(jù)計算取值如果CNR越高，那么就證明該圖像沒有達到效果最優(yōu)。

5.2 實驗結(jié)果分析

將提出的基于VR的視頻圖像處理效果優(yōu)化仿真與基于仿真系統(tǒng)、基于DSP和基于FPGA的視頻圖像處理方法作比較，以驗證提出的基于 VR的視頻圖像處理效果優(yōu)化仿真在使用后，對于視頻圖像處理質(zhì)量的優(yōu)化程度。

本文使用的實驗材料來自某開源信息庫，計算機實驗環(huán)境如表1所示。

表1 計算機實驗環(huán)境參數(shù)設(shè)置

通過基于仿真系統(tǒng)、基于FPGA、基于DSP以及本文方法處理后，仿真結(jié)果如圖4所示。

圖4 圖像優(yōu)化處理對比圖

根據(jù)圖4可知，本文處理效果最優(yōu)，因為本文算法可以計算得出最適用的閾值，其它算法雖然可以完成優(yōu)化目的，但由于圖像優(yōu)化標準值難以計算，式中不能達到滿意效果。

本文對圖像處理時，針對產(chǎn)生視覺效果差、壓縮比率低等問題做出了解決，為得出得出視覺效果最優(yōu)圖像，現(xiàn)對比本文方法的優(yōu)化效果的具體參數(shù)，不同方法的對比結(jié)果如表2所示。

表2 性能對比結(jié)果

如表2可知，在更細致的性能對比過程中，本文方法的優(yōu)化效果明顯高于其它方法，其對比度為4.21，噪聲比為145.1，皆低于其它方法，說明本文方法可以有效調(diào)整對比度參數(shù)，防止丟失細節(jié)，減少刺眼強度。

當圖像中出現(xiàn)較多“毛刺”現(xiàn)象時，其中所存壞像素點較多，圖像質(zhì)量優(yōu)化就會失效，從而不能準確地得到視頻圖像效果，因此，對比經(jīng)過三種方法處理后的“毛刺”現(xiàn)象顯現(xiàn)程度，可以反映不同方法的優(yōu)化效果。對比結(jié)果如圖5所示。

圖5 不同方法的辨識效果對比結(jié)果

如圖5所示，對視頻幀中含有“毛刺”現(xiàn)象的圖像像素數(shù)據(jù)進行含壞像素點處理時，本文方法的含壞像素點顯現(xiàn)程度高于其它兩種方法，最為接近實際值，最高可達500，說明本文方法對“毛刺”現(xiàn)象辨識效果較強且可適用于多個視頻幀應(yīng)用，實際應(yīng)用效果得到保證。

6 結(jié)論

1)提出基于VR的視頻圖像效果優(yōu)化方法，對“毛刺”現(xiàn)象的優(yōu)化效果其最為接近實際值，最高可達500，更加貼合真實生活環(huán)境，解決視覺效果差、壓縮比率低等問題。

2)本文方法優(yōu)化后的對比度為4.21，噪聲比為145.1，可以有效防止丟失細節(jié)，減少刺眼強度，完成視頻圖像優(yōu)化，得出視覺效果最優(yōu)圖像。

3)由于計算過程中濾波閾值需要精準取值，對計算結(jié)果有不容更改的硬性要求，不能廣泛適用于各類計算機中，如何提高容錯率是下一階段研究的重點課題。