離軸平行立體成像中視差圖像失真及觀看舒適性研究

劉霜　閃明才　孔祥杰

摘 要：視差立體成像系統(tǒng)中的圖像失真是系統(tǒng)本身結(jié)構(gòu)造成的，不可能完全消除，但可以通過對拍攝和播放參數(shù)的控制盡量減小。攝像機(jī)的構(gòu)造不同產(chǎn)生的失真也會(huì)有差別，離軸平行攝像機(jī)產(chǎn)生的典型失真有深度非線性化、木偶劇效應(yīng)、紙板效應(yīng)及剪切失真等。每種失真都是立體成像系統(tǒng)中存在的成像缺陷，通過推導(dǎo)立體成像及顯示系統(tǒng)的幾何關(guān)系，可以找到失真原因；通過對公式分析，可以得到那些參數(shù)對失真產(chǎn)生起關(guān)鍵作用。用離軸平行攝像機(jī)在室內(nèi)和室外拍攝并實(shí)時(shí)觀察，通過改變拍攝參數(shù)來觀察失真結(jié)果，可以找到如何在拍攝時(shí)通過拍攝參數(shù)的調(diào)節(jié)來控制失真，失真的減少可以大大地提高觀看舒適性。

關(guān)鍵詞：雙目視差；離軸平行成像；圖像失真；觀看舒適性

引言

立體（3D）的顯示相對于平面（2D）的顯示增加了深度信息，給觀看者帶來視覺享受和更加震撼的視覺體驗(yàn)[1]。然而，雙目視差立體顯示時(shí)再現(xiàn)物體場景并不同于真實(shí)世界中的物體，由于拍攝時(shí)攝像機(jī)的擺放結(jié)構(gòu)不同以及攝像方法的原因，立體圖像會(huì)有各種畸變或者說失真，如深度水平彎曲、深度非線性化、木偶劇效應(yīng)、剪切失真、梯度失真等[2]，另外一種典型失真現(xiàn)象是紙板效應(yīng)[3]。失真和拍攝時(shí)攝像機(jī)的擺放結(jié)構(gòu)有很大的關(guān)系，常見的擺放結(jié)構(gòu)有：平行式（如圖1-a所示）、匯聚式（如圖1-b所示）、離軸平行式（CCD中心和成像中心不重合，如圖1-c所示）[4]。

圖中點(diǎn)畫線為匯聚面，平行式結(jié)構(gòu)中沒有匯聚面，只有負(fù)視差，較明顯的失真有：紙板效應(yīng)、部分區(qū)域非立體化、木偶劇效應(yīng)、深度缺失等。匯聚式結(jié)構(gòu)可獲得較大的視差圖像公共場景區(qū)，同時(shí)存在正視差、零視差和負(fù)視差，但容易造成梯度失真、深度非線性化、剪切失真等。離軸平行式結(jié)構(gòu)結(jié)合了平行式結(jié)構(gòu)和匯聚式結(jié)構(gòu)的優(yōu)點(diǎn)，公共場景區(qū)域大，沒有梯度失真，有正視差、零視差和負(fù)視差，但是仍然存在失真。接下來將重點(diǎn)討論離軸平行立體成像中視差圖像失真和系統(tǒng)中參數(shù)的關(guān)系，以及如何將失真控制在最小范圍內(nèi)，提高觀看舒適性。

1 離軸平行立體成像中的失真分析

1.1 離軸平行立體成像系統(tǒng)的坐標(biāo)分析

離軸平行立體成像系統(tǒng)實(shí)現(xiàn)立體觀看要經(jīng)過三次獨(dú)立的坐標(biāo)變換，首先是由實(shí)物的拍攝坐標(biāo)轉(zhuǎn)換成立體攝像機(jī)的CCD成像坐標(biāo)，接下來把CCD的坐標(biāo)轉(zhuǎn)換成屏幕坐標(biāo)，以左右視差圖的形式展示在屏幕上；最后視差圖經(jīng)過雙眼在大腦融合，融合的對象會(huì)根據(jù)視差的多少形成感知物體坐標(biāo)，產(chǎn)生立體感覺。為了更好地理解三次坐標(biāo)轉(zhuǎn)換，把三次坐標(biāo)轉(zhuǎn)換的信息畫在同一張圖中，如圖2所示，CCD成像坐標(biāo)如圖3所示。

圖2、3中各參數(shù)說明如下：（xO，yO，zO）為某對象上參考點(diǎn)在世界坐標(biāo)系的坐標(biāo)，B為左右鏡頭間距；f為焦距；C為匯聚距離；E為觀察者的眼距，一般平均為65mm；由于拍攝時(shí)的匯聚面的圖像在放映時(shí)視差為零，所以可認(rèn)為兩者統(tǒng)一為一個(gè)面，即為圖2中的屏幕，在拍攝時(shí)參考點(diǎn)在CCD上形成視差坐標(biāo)為CL（xCL，yC）、CR（xCR，yC），由于平行結(jié)構(gòu)垂直方向不存在視差所以只有yC，xCL和xCR是以CCD屏幕中心作為原點(diǎn)來計(jì)算的；h為離軸距離，通過改變h可調(diào)節(jié)匯聚距離C；（xSL，yS）、（xSR，yS）表示參考點(diǎn)的屏幕坐標(biāo)；WC為CCD寬度，WS為屏幕寬度，設(shè)拍攝時(shí)的高寬比和播放時(shí)一樣，這樣圖像水平放大率和豎直放大率一樣都為Mf，統(tǒng)一稱為幀放大率Mf=WS/WC；V（xV，yV，zV）為觀察者雙目連線中心的世界坐標(biāo)系的坐標(biāo)；β為匯聚角，tanβ=h/f=（B/2）/C；拍攝時(shí)原點(diǎn)位于左右攝像機(jī)光心連線的中點(diǎn)，X0軸平行于光心連線方向，Z0軸平行于相機(jī)光軸方向。

由圖3可知，實(shí)物參考點(diǎn)（xO，yO，zO）在CCD上的成像坐標(biāo)為：

1.2 離軸平行立體成像系統(tǒng)的失真分析

首先，分析觀察者觀看到的感知物體深度是否能還原真實(shí)物體深度，如果zI=zO那么感知物體和實(shí)物的深度是一致的，但從（6）可知，感知物體深度跟播放時(shí)的屏幕大小、實(shí)物深度zO以及觀察者的位置zV有關(guān)，所以，zI=zO只是各個(gè)參數(shù)協(xié)調(diào)后的偶然事件。假定觀察者在某點(diǎn)觀察，而且播放屏幕不變，這時(shí)zI是zO的函數(shù)，對（6）求zO的偏導(dǎo)數(shù)，可以得到感知物體各點(diǎn)相對于實(shí)際物體各點(diǎn)在深度方向的變化率，定義為深度放大率Md，有：

可以看到，感知物體深度zI與實(shí)際物體深度zO并不是線性關(guān)系，當(dāng)zO值變化越大時(shí)，zI相對于zO的變化量越小，這種情況稱為深度非線性化。

接著，分析觀察者觀察到的感知物體大小是否能還原真實(shí)物體大小，同理，對（4）求xO的偏導(dǎo)數(shù)，對（5）求yO的偏導(dǎo)數(shù)，可以得到感知物體各點(diǎn)相對于實(shí)際物體各點(diǎn)在尺寸上的變化率，定義為尺寸放大率Ms，有：

由（8）可知，不同深度的物體在再現(xiàn)時(shí)具有不同的尺寸放大率，當(dāng)zO等于0時(shí)， Ms=1（E≈B=65mm），也就是說，在匯聚面上的物體，尺寸失真最小接近于不失真，在正水平視差時(shí)，zO為負(fù)值越大，Ms越小（Ms<1），在負(fù)水平視差時(shí)，zO為正值越大，Ms越大（Ms>1），而遠(yuǎn)離匯聚面的背景尺寸會(huì)比真實(shí)的背景偏小，這種情況稱為木偶劇效應(yīng)。

最后，定義深度放大率與尺寸放大率的比值為放大因子[5]，即：

由（9）可知，在正水平視差時(shí)，當(dāng)zO為負(fù)值越大，M越小，這時(shí)深度方向上的變化變小，也就是說物體看上去更扁了，象紙板做的一樣，稱這種失真為紙板效應(yīng)。

2 實(shí)驗(yàn)

對立體失真的實(shí)驗(yàn)可以采用主觀評(píng)價(jià)方法來進(jìn)行，先將立體失真分為三個(gè)等級(jí)，并列出各等級(jí)的表現(xiàn)特征，然后讓觀察者說出觀看后立體的失真程度，如表1所示。

實(shí)驗(yàn)設(shè)備攝像機(jī)采用Panasonic AG-3DA1MC，顯示器采用Panasonic BT-3DL2550MC，幀放大率Mf為110，拍攝對象分為室內(nèi)和室外兩種場景，在室內(nèi)拍攝3米內(nèi)近距離物體，在本實(shí)驗(yàn)中觀看的對象是前后兩個(gè)立方體。在室外可拍攝大于3米較遠(yuǎn)的物體，觀察對象為風(fēng)景圖像，讓觀察者分別觀察拍攝到的物體，在不同的參數(shù)選擇下，統(tǒng)計(jì)觀察者的感受等級(jí)。在室內(nèi)時(shí)，取C=2420mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，觀察到的失真統(tǒng)計(jì)后，□代表狀態(tài)3有失真，○代表狀態(tài)2有點(diǎn)失真但不太明顯，×代表狀態(tài)1沒有失真，得到如圖4所示的結(jié)果。endprint

在室外，取C=5000mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，得到如圖5所示的結(jié)果，當(dāng)焦距取太大時(shí)容易產(chǎn)生紙板效應(yīng)。

3 結(jié)束語

從圖4可以看出，在室內(nèi)拍攝時(shí)，隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，所以在室內(nèi)拍攝時(shí)，焦距f不易調(diào)的過大，太大了近的和遠(yuǎn)的物體會(huì)失真，另外，在物體離鏡頭太近時(shí)，左右圖的視差會(huì)超出人眼的瞳距，這時(shí)圖像不能正確匯聚，如在小于1.3m時(shí)，左右圖像已經(jīng)不能形成立體了，變得模糊不清；圖5是室外拍攝的情況，同樣隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，另外，因?yàn)槭彝舛嘁燥L(fēng)景作為背景拍攝，背景表現(xiàn)為無限遠(yuǎn)，所以想要背景不失真，要設(shè)置焦距f在20mm以下為好，否則會(huì)產(chǎn)生明顯的木偶劇和紙板效應(yīng)，甚至?xí)a(chǎn)生背景圖像不能正確匯聚。

參考文獻(xiàn)

[1]劉然，朱慶生，等.基于監(jiān)視器的雙目立體視覺的立體效果[J].同濟(jì)大學(xué)學(xué)報(bào)，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，F(xiàn)ebruary 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者簡介：劉霜（1971-），男，河北保定人，博士，主要從事3D視覺控制研究。endprint

在室外，取C=5000mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，得到如圖5所示的結(jié)果，當(dāng)焦距取太大時(shí)容易產(chǎn)生紙板效應(yīng)。

3 結(jié)束語

從圖4可以看出，在室內(nèi)拍攝時(shí)，隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，所以在室內(nèi)拍攝時(shí)，焦距f不易調(diào)的過大，太大了近的和遠(yuǎn)的物體會(huì)失真，另外，在物體離鏡頭太近時(shí)，左右圖的視差會(huì)超出人眼的瞳距，這時(shí)圖像不能正確匯聚，如在小于1.3m時(shí)，左右圖像已經(jīng)不能形成立體了，變得模糊不清；圖5是室外拍攝的情況，同樣隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，另外，因?yàn)槭彝舛嘁燥L(fēng)景作為背景拍攝，背景表現(xiàn)為無限遠(yuǎn)，所以想要背景不失真，要設(shè)置焦距f在20mm以下為好，否則會(huì)產(chǎn)生明顯的木偶劇和紙板效應(yīng)，甚至?xí)a(chǎn)生背景圖像不能正確匯聚。

參考文獻(xiàn)

[1]劉然，朱慶生，等.基于監(jiān)視器的雙目立體視覺的立體效果[J].同濟(jì)大學(xué)學(xué)報(bào)，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，F(xiàn)ebruary 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者簡介：劉霜（1971-），男，河北保定人，博士，主要從事3D視覺控制研究。endprint

在室外，取C=5000mm通過調(diào)節(jié)焦距f和被拍攝物體到鏡頭的距離C-zO來觀察，得到如圖5所示的結(jié)果，當(dāng)焦距取太大時(shí)容易產(chǎn)生紙板效應(yīng)。

3 結(jié)束語

從圖4可以看出，在室內(nèi)拍攝時(shí)，隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，所以在室內(nèi)拍攝時(shí)，焦距f不易調(diào)的過大，太大了近的和遠(yuǎn)的物體會(huì)失真，另外，在物體離鏡頭太近時(shí)，左右圖的視差會(huì)超出人眼的瞳距，這時(shí)圖像不能正確匯聚，如在小于1.3m時(shí)，左右圖像已經(jīng)不能形成立體了，變得模糊不清；圖5是室外拍攝的情況，同樣隨著焦距f的增加，被拍攝物體到鏡頭的距離C-zO在無失真的情況下范圍在變窄，另外，因?yàn)槭彝舛嘁燥L(fēng)景作為背景拍攝，背景表現(xiàn)為無限遠(yuǎn)，所以想要背景不失真，要設(shè)置焦距f在20mm以下為好，否則會(huì)產(chǎn)生明顯的木偶劇和紙板效應(yīng)，甚至?xí)a(chǎn)生背景圖像不能正確匯聚。

參考文獻(xiàn)

[1]劉然，朱慶生，等.基于監(jiān)視器的雙目立體視覺的立體效果[J].同濟(jì)大學(xué)學(xué)報(bào)，2007，35（11）：1542-1547.

[2]Andrew W，Tom D.Image Distortions in Stereoscopic Video Systems[J].Proceedings of the SPIE Volume 1915，Stereoscopic Displays and Applications IV，San Jose，California，F(xiàn)ebruary 1993.

[3]Yamanoue H，Okui M，Yuyama I.A Study on the Relationship Between Shooting Conditions and Cardboard Effect of Stereoscopic Images[J].IEEE Transactions on Circuits and Systems for Video Technology，2000，10（3）：411-416.

[4]Yamanoue，H.The Differences Between Toed-in Camera Configurations and Parallel Camera Configurations in Shooting Stereoscopic Images[C]. Multimedia and Expo， 2006 IEEE International Conference on Digital Object Identifier，2006：1701-1704.

作者簡介：劉霜（1971-），男，河北保定人，博士，主要從事3D視覺控制研究。endprint