面向裸眼3D的半全局立體匹配視差優(yōu)化方法

賴明珠， 李 劍， 劉玉斌

(1.海南師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院， 海口 570000； 2.杭州海康機(jī)器人技術(shù)有限公司， 杭州 310052; 3.哈爾濱工業(yè)大學(xué)機(jī)器人與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室， 哈爾濱 150080)

三維顯示技術(shù)由于能夠提高使用者對視頻信息的直觀、真實(shí)感受，從而帶來沉浸式的體驗(yàn)而備受關(guān)注[1]。該技術(shù)正逐漸被廣泛應(yīng)用到電視、游戲、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、醫(yī)療圖像等視頻顯示和人機(jī)交互領(lǐng)域，具有巨大的市場需求和商業(yè)價(jià)值。隨著技術(shù)的進(jìn)步，裸眼3D技術(shù)正步入人們的視野，它能夠讓人擺脫穿戴設(shè)備的束縛，獲得更自由、廣闊的觀看視角，體驗(yàn)更自然、真實(shí)的虛擬世界。然而，裸眼3D顯示內(nèi)容的生成需要獲取大量不同視點(diǎn)下的圖像信息，制作復(fù)雜、成本高，并且給數(shù)據(jù)的采集、處理和輸送帶來極大的困難，這些因素限制了裸眼3D技術(shù)的應(yīng)用和發(fā)展[2]。在3D視頻制作的多種方式中，虛擬視點(diǎn)繪制的方法僅需要利用有限數(shù)量的圖像和深度信息生成繪制3D視頻所需的視點(diǎn)圖像，大幅度降低了制作成本、提高了靈活性，但卻需要更復(fù)雜的算法來改善圖像質(zhì)量，更為關(guān)鍵的技術(shù)難點(diǎn)是如何采取有效的方法來提高獲取深度信息的精度。因此，研究高精度、高效的雙目立體匹配算法來獲取高質(zhì)量的深度信息，是實(shí)現(xiàn)低成本3D裸眼顯示的必要途徑，其成果對裸眼3D技術(shù)的推廣具有深遠(yuǎn)意義。

立體匹配算法包括全局匹配算法、局部匹配算法和半全局匹配算法[3-4]。其中，全局匹配算法是依據(jù)全局能量函數(shù)的最優(yōu)化來獲取全局最優(yōu)視差[5]，該方法的特點(diǎn)是增加了相鄰像素點(diǎn)間的平滑約束[6]，因此能夠得到更高精度的視差計(jì)算結(jié)果，但算法的復(fù)雜性給計(jì)算單元帶來了巨大負(fù)擔(dān)，無論是動(dòng)態(tài)規(guī)劃方法還是圖割法都無法滿足高實(shí)時(shí)性需求[7-10]。局部立體匹配算法是基于窗口匹配代價(jià)最小來進(jìn)行匹配計(jì)算，該算法具有一定的局限性，為了提高其對光照等因素的抗干擾性、改善邊緣容易模糊等缺陷[11-13]，學(xué)者們提出了很多改進(jìn)的方法，但由于局部立體匹配算法僅考慮局部的最優(yōu)化，雖然相對全局匹配算法計(jì)算量小、運(yùn)算效率高，但匹配的錯(cuò)誤率較高[14-15]。半全局立體匹配算法綜合了全局匹配算法和局部匹配算法特點(diǎn)，不僅具備較高精度的視差計(jì)算結(jié)果，同時(shí)具備較高的運(yùn)算速度[16]，在該方法基礎(chǔ)上采用優(yōu)化算法來進(jìn)一步提高深度信息的精度，是實(shí)現(xiàn)裸眼3D顯示實(shí)時(shí)性和真實(shí)性的可行途徑[17]。

為此，面向立體匹配技術(shù)以及視差優(yōu)化方法，依據(jù)雙目相機(jī)獲取的圖像信息構(gòu)建立體匹配單元，以獲取高精度深度信息。首先，對半全局立體匹配技術(shù)進(jìn)行解析，揭示遮擋、弱紋理、重復(fù)紋理、反光等因素對錯(cuò)誤視差估計(jì)的影響規(guī)律；其次，對半全局立體匹配算法計(jì)算結(jié)果中的缺陷進(jìn)行分析，建立缺陷與錯(cuò)誤估計(jì)值、不穩(wěn)定邊界值、空洞以及噪聲的關(guān)系；再次，基于以上結(jié)論設(shè)計(jì)基于一致性檢驗(yàn)、中值濾波、多層次均值濾波和視差繪制算法的組合優(yōu)化方法；最后，通過實(shí)驗(yàn)對立體匹配單元和組合視差優(yōu)化方法進(jìn)行評估和性能驗(yàn)證。

1 半全局立體匹配算法

半全局立體匹配算法兼具全局立體匹配和局部立體匹配算法的特征，可兼顧處理速度和深度信息獲取精度[18]，但其獲取的深度信息精度仍然不能夠滿足虛擬視點(diǎn)繪制的需求。因此，深入分析半全局立體匹配技術(shù)的局限性，有針對性的設(shè)計(jì)視差優(yōu)化方法，是實(shí)現(xiàn)高質(zhì)量虛擬視點(diǎn)繪制的技術(shù)基礎(chǔ)。

1.1 立體匹配原理及技術(shù)難點(diǎn)

立體匹配方法是依據(jù)雙目相機(jī)獲取的圖像信息尋找對應(yīng)點(diǎn)，并且根據(jù)匹配關(guān)系以及相機(jī)的空間坐標(biāo)位置推導(dǎo)得到各個(gè)像素點(diǎn)的深度信息。如圖1所示，雙目相機(jī)獲取的圖像信息經(jīng)過對齊處理后，其成像平面共處于同一平面，左右圖像的極線位于相同的圖像水平掃描線上，因此，兩幅圖像具有相同的縱坐標(biāo)，此時(shí)橫坐標(biāo)的差值即稱為視差。視差與深度的關(guān)系式為

(1)

式(1)中：B和f分別為雙目相機(jī)基線間的距離和焦距；Z和d分別為相應(yīng)點(diǎn)的深度和視差。

由于遮擋、弱紋理、重復(fù)紋理以及反光等因素，使得立體匹配技術(shù)難以實(shí)施[19]。如圖2所示，造成遮擋的原因是相機(jī)取像的角度不同，導(dǎo)致不同角度下一部分像素獲取不到，從而在兩幅圖中難以實(shí)現(xiàn)對應(yīng)像素的匹配。弱紋理體現(xiàn)在獲取圖像信息對象紋理特征不明顯，從而區(qū)域區(qū)分特征不顯著，由于匹配關(guān)系主要依賴于紋理特征，因此難以確定兩幅圖像的匹配關(guān)系。重復(fù)紋理是指圖像信息存在多處一樣的紋理特征，從而導(dǎo)致匹配時(shí)不能夠得到唯一結(jié)果。反光是由于光強(qiáng)導(dǎo)致紋理信息模糊，從而無法準(zhǔn)確辨識紋理特征，進(jìn)而影響匹配的準(zhǔn)確性。以上因素導(dǎo)致了立體匹配不可避免地存在無法確定和出現(xiàn)錯(cuò)誤的情況，必須對匹配結(jié)果進(jìn)行估計(jì)和修正。

圖1 立體匹配基本原理Fig.1 Basic principle of stereo matching

圖2 立體匹配難點(diǎn)Fig.2 Difficulties in stereo matching

1.2 半全局立體匹配算法

立體匹配算法的常規(guī)執(zhí)行過程如圖3所示，首先在雙目相機(jī)獲取的兩幅圖中的等高線上尋找匹配的像素點(diǎn)，通過對每一對點(diǎn)在各自鄰域內(nèi)計(jì)算匹配代價(jià)值的大小，取值最小者為匹配點(diǎn)。對應(yīng)點(diǎn)即指代價(jià)函數(shù)值最小的一對像素點(diǎn)，代價(jià)函數(shù)通常用歐氏距離求解。為了改進(jìn)對干擾因素的魯棒性，算法采用代價(jià)擴(kuò)散策略，制定領(lǐng)域規(guī)則，擴(kuò)展到對領(lǐng)域內(nèi)所有的像素點(diǎn)進(jìn)行計(jì)算，確定鄰域的形狀為正方形，則代價(jià)函數(shù)可以表示為

(2)

式(2)中：p和d分別為左圖像中的像素點(diǎn)及其視差；N(·)表示像素點(diǎn)的鄰域；pl和pr表示鄰域內(nèi)的點(diǎn)；I(·)表示像素。

圖3 立體匹配的基本過程Fig.3 Basic process of stereo matching

雙目相機(jī)獲取的兩幅圖像在對齊的情況下，其對應(yīng)點(diǎn)必然會在對應(yīng)的極線上，因此對應(yīng)點(diǎn)的搜索范圍為同一條掃描線。采用填加約束的方法來實(shí)現(xiàn)對視差具備連續(xù)和一致的特性的估計(jì)，通過定義能量函數(shù)來實(shí)現(xiàn)約束，該函數(shù)包含了數(shù)據(jù)項(xiàng)和平滑項(xiàng)，其表達(dá)式為

(3)

式(3)中：Cd(d)表示所有匹配代價(jià)值的和，體現(xiàn)了匹配程度；Cs(d)表示所有懲罰項(xiàng)的和，體現(xiàn)了平滑程度；λ(dp-dq)表示懲罰項(xiàng)，與dp和dq的差值成正比。

優(yōu)化目標(biāo)是使得能量函數(shù)取最小值，此時(shí)得到估計(jì)視差。由于雙目相機(jī)獲取的兩幅圖像的對應(yīng)點(diǎn)在同一條掃描線上，半全局立匹配算法可將視差估計(jì)計(jì)算分解為多個(gè)一維線性問題進(jìn)行計(jì)算，從而采用動(dòng)態(tài)規(guī)劃策略來大幅提高算法的運(yùn)行效率和計(jì)算速度。

1.3 半全局立體匹配方法的局限性

半全局立體匹配算法的初步計(jì)算得到的視差圖依然普遍存在空洞和噪聲缺陷，物體的邊界處存在較大誤差。利用半全局立體匹配的視差估計(jì)結(jié)果主要存在以下局限性：

(1)錯(cuò)誤估計(jì)值：弱紋理、重復(fù)紋理及反光等擾動(dòng)因素造成了錯(cuò)誤估計(jì)值現(xiàn)象，優(yōu)化過程尚且不能夠?qū)﹀e(cuò)誤估計(jì)值進(jìn)行修正。該現(xiàn)象直接導(dǎo)致了無法獲得匹配結(jié)果。

(2)不穩(wěn)定邊界值：往往出現(xiàn)在前景和背景物體的交界處，表現(xiàn)為相鄰的視差值發(fā)生突變，優(yōu)化函數(shù)中的平滑項(xiàng)對邊界處的值進(jìn)行平滑，從而導(dǎo)致了不穩(wěn)定現(xiàn)象。

(3)空洞：遮擋是導(dǎo)致空洞現(xiàn)象的主要因素，由于無法建立匹配關(guān)系，半全局立體匹配算法的處理之后會留下未處理的空洞區(qū)域。

(4)噪聲：導(dǎo)致噪聲產(chǎn)生因素較多，直接因素是匹配關(guān)系之間存在偏差，必須采用有效的濾波方法進(jìn)行處理。

2 組合視差優(yōu)化方法

在深入分析半全局立體匹配算法視差估計(jì)局限性基礎(chǔ)上，采取相應(yīng)的視差優(yōu)化方法，提高立體匹配深度估計(jì)的精度和魯棒性。

2.1 總體方案設(shè)計(jì)

半全局立體匹配初步處理的得到的視差信息存在較多的缺陷，如果直接用于繪制基于深度的圖像渲染(depth-image-based rendering，DIBR)的虛擬視點(diǎn)，會造成生成的圖像質(zhì)量較差的后果。為了有針對性的去除錯(cuò)誤估計(jì)值、識別不穩(wěn)定邊界值、彌補(bǔ)空洞、過濾噪聲，設(shè)計(jì)組合視差優(yōu)化方法。如圖4所示，該方法分為一致性檢驗(yàn)、中值濾波、多層次均值濾波、視差繪制4個(gè)步驟，依次有針對性地對半全局立體匹配算法的不足進(jìn)行修正和彌補(bǔ)。

一致性檢驗(yàn)通過設(shè)置嚴(yán)格的檢驗(yàn)條件，對計(jì)算錯(cuò)誤的點(diǎn)進(jìn)行剔除。中值濾波可以將明顯的離群點(diǎn)過濾掉，來消除不穩(wěn)定邊界值。多層次均值濾波能夠抑制結(jié)果中的噪聲，同時(shí)防止邊界處被過度平滑。視差繪制則將濾波后殘存的空洞進(jìn)行填補(bǔ)。

2.2 組合視差優(yōu)化方法

針對總體能量函數(shù)優(yōu)化過程中出現(xiàn)的視差優(yōu)化錯(cuò)誤計(jì)算點(diǎn)，尤其在重復(fù)或空白紋理區(qū)域，首先應(yīng)該進(jìn)行一致性檢驗(yàn)，而這就要求匹配點(diǎn)滿足以下條件：

(4)

圖4 視差優(yōu)化方案框架Fig.4 Parallax optimization scheme framework

式(4)中：dl、dr分別代表以左、右圖像為參考計(jì)算得到的視差；ql和qr代表一對正確匹配點(diǎn)；匹配像素點(diǎn)的橫坐標(biāo)由xl和xr所表示；ε代表匹配代價(jià)閾值。ε越小則表明約束越嚴(yán)格，一致性檢驗(yàn)則通過式(4)中迭代約束驗(yàn)證實(shí)現(xiàn)左右視差圖優(yōu)化，對不滿足約束的優(yōu)化結(jié)果作為空洞無效值進(jìn)行再次填充。檢驗(yàn)后的效果如圖4(b)所示。

盡管一致性檢驗(yàn)可以消除明顯計(jì)算錯(cuò)誤，但檢驗(yàn)過程存在復(fù)雜噪聲耦合，往往導(dǎo)致檢驗(yàn)結(jié)果存在誤差，如圖4(b)紅框標(biāo)識，稱作椒鹽噪聲。針對椒鹽噪聲的處理通常采用中值濾波技術(shù)以有效消除離群點(diǎn)，避免圖像模糊：

(5)

式(5)中：N(d)代表鄰域數(shù)據(jù)集合；n代表集合量級大小。

實(shí)驗(yàn)過程發(fā)現(xiàn)鄰域大小嚴(yán)格影響椒鹽噪聲過濾效果，過大或過小將造成圖像邊緣污染或失真。多次實(shí)驗(yàn)驗(yàn)證表明5×5像素鄰域框可合理消除噪聲。針對一致性檢驗(yàn)優(yōu)化空洞無效值添加多層均值濾波以進(jìn)行平滑處理，有效減小空洞取值范圍，實(shí)現(xiàn)過程如下：

(6)

rc+1=rc/2

(7)

式中：當(dāng)前和下一時(shí)刻的濾波半徑分別由rc和rc+1所表示；坐標(biāo)(i,j)處的視差值由dij表示。

為防止圖像過度平滑，多層均值濾波以單次逐步縮小鄰域框大小進(jìn)行反復(fù)迭代實(shí)現(xiàn)，其效果如圖4(c)和圖4(d)所示。圖4(c)中綠框標(biāo)識表示濾波后的空洞變化效果，圖4(d)中藍(lán)框標(biāo)識代表較大無效空洞殘存，通常由于遮擋造成，針對該項(xiàng)處理，通常采用差值方法進(jìn)行視差繪制：

(8)

通過該方法，可以有效處理無效空洞殘存，平滑填補(bǔ)銜接，高效完成視差優(yōu)化。其效果如圖4(e)所示。

2.3 視差優(yōu)化的快速計(jì)算方法

盡管視差優(yōu)化可以有效過濾視差圖中的原始噪聲，但組合視差優(yōu)化策略采用多層濾波技術(shù)將導(dǎo)致復(fù)雜計(jì)算非實(shí)時(shí)性問題，研究視差優(yōu)化快速計(jì)算法，以大幅降低算法計(jì)算復(fù)雜度，有效提升處理速度。

傳統(tǒng)中值濾波算法需要對窗口全部像素值進(jìn)行反復(fù)排序，計(jì)算冗余，極大增加了時(shí)間成本，如圖5所示。而快速中值濾波方法重點(diǎn)在于濾波元素值隨著窗口滑移實(shí)現(xiàn)迭代更新，操作過程在執(zhí)行單行掃描結(jié)束后再轉(zhuǎn)至下一行運(yùn)算，窗口像素值通常只變動(dòng)一行或者一列，可以有效避免冗余計(jì)算。

傳統(tǒng)均值濾波算法同樣需要對窗口全部像素值進(jìn)行反復(fù)均值迭代，計(jì)算冗余，大大增加了計(jì)算復(fù)雜度。而快速均值濾波采用積分圖表征方法僅采集窗口四個(gè)頂點(diǎn)元素，實(shí)現(xiàn)單次加減運(yùn)算即可，其原理如圖6所示。

圖5 中值濾波原理Fig.5 Median filtering principle

圖6 積分圖Fig.6 Integral diagram

窗口元素之和可由式(9)所得：

Is=Ilt+Irb-Ilb-Irt

(9)

式(9)中：Is表示利用積分圖求得的窗口內(nèi)所有元素的和；Ilt和Irb對應(yīng)積分圖中左上、右下的值；Ilb和Irt對應(yīng)左下、右上的值。

積分圖的構(gòu)建由圖像積分圖S和圖像有效值掩模積分圖N兩個(gè)子積分圖構(gòu)成，其中圖像有效值掩模積分圖N由元素0和1組成，分別表征對應(yīng)像素值無效和有效，那么最終的均值(AVR)計(jì)算公式為

(10)

式(10)中：Slt、Srb、Slb、Srt和Nlt、Nrb、Nlb、Nrt分別對應(yīng)積分圖S和積分圖N中窗口4個(gè)頂點(diǎn)處的像素值。

圖7 立體匹配模塊視差估計(jì)結(jié)果Fig.7 Parallax estimation result of stereo matching module

3 模塊性能評估與方案驗(yàn)證

為了進(jìn)行立體匹配技術(shù)普適性評價(jià)和視差優(yōu)化方案有效性驗(yàn)證，現(xiàn)綜合考慮了不同場景和不同設(shè)備因素，整合開源Middlebury雙目圖像數(shù)據(jù)集，包含多組視差圖片和對應(yīng)視差真值，以合理估計(jì)視差并進(jìn)行相應(yīng)對比驗(yàn)證。

3.1 視差圖精度的性能評估指標(biāo)

實(shí)驗(yàn)分別選取了均方根誤差和誤匹配像素比率作為視差圖精度評估指標(biāo)，同時(shí)采用視差估值與視差真值進(jìn)行計(jì)算比對。其中均方根誤差反映了所有視差值的誤差總和，表征視差圖整體精度；誤匹配像素比率反映了不同誤差水平的分布，表征不同誤差水平的像素?cái)?shù)目占總體數(shù)目的比率，展現(xiàn)的是誤差的局部特征。

均方根誤差(RMS)計(jì)算公式為

(11)

誤匹配像素比率(BADδd)計(jì)算公式為

(12)

式(12)中：δd表示誤差容忍閾值；1(·)表示二進(jìn)制函數(shù)，真值為1，反之為0；BADδd代表誤匹配像素比率。

由式(11)和式(12)可知，均方根誤差和誤匹配像素比率隨著視差圖計(jì)算精度的增高而降低，前者通過誤差總和表征整體誤差分布特征，后者通過不同誤差容忍閾值設(shè)定間接表征局部誤差分布特征。

3.2 立體匹配單元綜合性能評估

實(shí)驗(yàn)通過輸出的視差圖精度結(jié)果來評估立體匹配模塊總體性能，其視差估計(jì)結(jié)果如圖7所示，圖7中各行分別為輸入彩圖、視差真值和估計(jì)視差圖。結(jié)果表明，對于不同場景和不同設(shè)備下的數(shù)據(jù)情況，立體匹配技術(shù)都能夠?qū)σ暡钸M(jìn)行良好的估計(jì)，較之真值視差圖，僅有部分細(xì)小物體或邊界處估值存在較大差異，此外視差圖經(jīng)過優(yōu)化后相對較為平滑，且對于空洞誤差進(jìn)行了合理填補(bǔ)，滿足虛擬試點(diǎn)圖像繪制要求。

實(shí)驗(yàn)過程分別對均方根誤差和不同閾值進(jìn)行了定量分析驗(yàn)證，其中閾值選擇不同的誤匹配像素比率，依次為閾值0.5、閾值1.0、閾值2.0及閾值4.0。為方便描述，依次標(biāo)記為RMSE、BadRate0.5、BadRate1.0、BadRate2.0和BadRate4.0。此外，采用Middlebury數(shù)據(jù)集中的Barn1、Barn2、Bull、Map、Poster、Sawtooth、Tsukuba、Venus、Cones和Teddy這10組數(shù)據(jù)來模擬對應(yīng)10組場景，并分別對各組數(shù)據(jù)進(jìn)行上述指標(biāo)計(jì)算，分別得到視差估值與真值間誤差，最終得到均方根誤差統(tǒng)計(jì)直方圖分布，如圖8所示。

圖8 RMSE統(tǒng)計(jì)直方圖Fig.8 RMSE statistical histogram

從圖8中可以得到，均方根誤差平均值為2.23個(gè)像素單位，均方根誤差最大值和最小值分別為5.8個(gè)像素單位和0.5個(gè)像素單位。此外，在10組場景中，有8組場景下的均方根誤差較為平均。盡管第四組和第十組均方根誤差較大，這可能是由于數(shù)據(jù)集的噪聲耦合或者場景物體較小難以辨識導(dǎo)致，整體結(jié)果可以說明模塊具有普適性，有效達(dá)到匹配精度。

考慮視差圖估計(jì)誤差分布情況，采用誤匹配像素比率進(jìn)行直觀描述，實(shí)驗(yàn)過程選擇閾值分別為0.5、1.0、2.0和4.0個(gè)像素單位。其結(jié)果如圖9所示。

從圖9中可以得到，不同閾值條件下對應(yīng)的誤匹配像素比率平均值為12.2%、6.3%、4.8%、3.5%，由此可知，隨著像素單位的增大，誤匹配像素比率平均值越小，大于4.0個(gè)像素單位的視差誤差只有極少部分，而大多數(shù)視差誤差都集中于0.5個(gè)像素單位以下，這充分表明立體匹配具有較高的估計(jì)精度。

圖9 誤匹配像素比率Fig.9 Mismatched pixel ratio

綜合以上實(shí)驗(yàn)分析，針對不同場景下輸出的視差，所研究的立體匹配模塊技術(shù)可以有效抑制原始噪聲，提高估值魯棒性，估值精度得到大幅提升，為后續(xù)的虛擬試點(diǎn)圖像繪制要求提供了支撐。

3.3 組合視差優(yōu)化方法性能評估

針對組合視差優(yōu)化方案性能驗(yàn)證，實(shí)驗(yàn)通過對RMSE、BadRate0.5、BadRate1.0、BadRate2.0和BadRate4.0這5個(gè)指標(biāo)分別進(jìn)行單步優(yōu)化計(jì)算，進(jìn)而比較各指標(biāo)優(yōu)化前后相對應(yīng)變化來驗(yàn)證所提出的組合視差優(yōu)化方案有效性。

實(shí)驗(yàn)分別考慮了4組場景Barn1、Bull、Poster和Venus，針對不同場景數(shù)據(jù)進(jìn)行單步優(yōu)化操作，其優(yōu)化前后視差估值均方根誤差變化結(jié)果如圖10所示。

圖10 視差優(yōu)化后均方根誤差變化Fig.10 Variation of RMSE after parallax optimization

由圖10可得，單步視差優(yōu)化后的視差估值均方根誤差呈下降趨勢，且通過中值濾波處理和多層次均值濾波處理之后的結(jié)果尤為明顯，下降最為突出。

圖11 視差優(yōu)化后誤匹配像素比率變化Fig.11 Change of mismatched pixel ratio after parallax optimization

圖11展示了4個(gè)場景下閾值分別為0.5、1.0、2.0和4.0條件下的單步優(yōu)化操作前后的誤匹配像素比率變化。結(jié)果顯示，視差優(yōu)化操作不同程度上降低了誤匹配像素比率，下降幅度比較突出的為閾值0.5，這充分說明視差優(yōu)化取得了良好的效果，使得整體誤差集中分布于零點(diǎn)附近，大幅降低了整體誤差。

為了展現(xiàn)視差優(yōu)化過程中各步對均方根誤差的影響，視差優(yōu)化單步優(yōu)化后均方根誤差縮減比率，如表1所示。由表1可得，經(jīng)過視差優(yōu)化操作，有效降低了均方根誤差，其比例均值可達(dá)40.91%。

此外，考慮閾值1.0在視差優(yōu)化步驟中的變化規(guī)律，視差優(yōu)化單步優(yōu)化后閾值1.0值被詳細(xì)列出，如表2所示。從表2中可得，經(jīng)過視差優(yōu)化操作，有效降低了閾值1.0值，其比例均值可達(dá)23.78%。

表1 視差優(yōu)化步驟對RMSE的影響

表2 視差優(yōu)化步驟對BadRate1.0的影響

綜合上述實(shí)驗(yàn)，結(jié)合均方根誤差和誤匹配像素比率兩個(gè)指標(biāo)實(shí)現(xiàn)視差優(yōu)化計(jì)算和定量分析，實(shí)驗(yàn)結(jié)果表明視差優(yōu)化方案可以有效降低誤差水平，實(shí)現(xiàn)視差圖的修復(fù)與優(yōu)化，大幅提升立體匹配模塊性能，充分驗(yàn)證了所提方案的有效性。

4 結(jié)論

面向基于虛擬視點(diǎn)法的裸眼3D技術(shù)需求，綜合分析立體匹配技術(shù)的難點(diǎn)，采用半全局立體匹配技術(shù)實(shí)現(xiàn)對視差的高效估計(jì)，并且設(shè)計(jì)了包括一致性檢驗(yàn)、中值濾波、多層次均值濾波和視差繪制方法的組合優(yōu)化方法，來進(jìn)一步提高視差的精度。通過實(shí)驗(yàn)對理論和方法的有效性進(jìn)行評估，得到的結(jié)論如下。

(1)該方法能夠有效地去除視差估計(jì)結(jié)果中的噪聲，并且可以有效地彌補(bǔ)由于遮擋等問題造成的空洞，從而提高視差的精度。實(shí)驗(yàn)定量分析結(jié)果顯示，該優(yōu)化方法使視差的均方根誤差下降40%左右，像素錯(cuò)誤匹配比率下降20%以上。

(2)基于半全局立體匹配算法和組合優(yōu)化方法的立體匹配單元能夠高效、穩(wěn)定的獲取高精度深度信息、從而為虛擬視點(diǎn)的繪制提供技術(shù)保障。該技術(shù)為降低裸眼3D實(shí)施成本、推廣裸眼3D技術(shù)廣泛應(yīng)用具有重要意義。