基于光柵的手機(jī)自由立體顯示視差調(diào)整方法

李志敏，侯永宏，王寶亮，侯春萍，周 圓

(天津大學(xué)電子信息工程學(xué)院，天津300072)

3D顯示技術(shù)已有150多年的歷史，隨著科技的進(jìn)步和需求的增長，立體顯示技術(shù)取得了巨大的進(jìn)步并進(jìn)入了高速發(fā)展的時(shí)期［1］。裸眼立體顯示技術(shù)突破了觀看者必須戴輔助視具(眼鏡、頭盔等)才能觀看立體節(jié)目的局限，是立體顯示技術(shù)的一項(xiàng)重大突破。作為裸眼立體顯示技術(shù)實(shí)現(xiàn)方法中非常重要的一種，多視點(diǎn)自由立體視頻顯示技術(shù)非常具有方便與2D兼容、量產(chǎn)簡單、成本低等優(yōu)勢(shì)，已經(jīng)成為最適合與現(xiàn)有平板顯示系統(tǒng)相結(jié)合的技術(shù)，因而也受到學(xué)術(shù)界、工業(yè)界和商業(yè)界越來越多的重視［2－4］。芯片制造技術(shù)的進(jìn)步、移動(dòng)終端硬件性能的提高以及數(shù)字移動(dòng)通信技術(shù)的發(fā)展，為三維影像在移動(dòng)終端上的呈現(xiàn)提供了有力的硬件支持和可靠的傳輸保障。近年來，在移動(dòng)終端上實(shí)現(xiàn)多視點(diǎn)自由立體顯示已經(jīng)受到人們?cè)絹碓蕉嗟年P(guān)注［5，6］，同時(shí)也成為視頻顯示領(lǐng)域一個(gè)新的研究熱點(diǎn)。

目前LG、HTC、夏普等廠商都發(fā)布了各自的裸眼立體手機(jī)產(chǎn)品，裸眼3D技術(shù)已經(jīng)在手機(jī)上得到了實(shí)現(xiàn)?，F(xiàn)有的裸眼立體手機(jī)大多是雙視點(diǎn)的，雙視點(diǎn)立體手機(jī)由于僅提供兩個(gè)視點(diǎn)的圖像/視頻源，立體視角小，觀察者只有在非常狹小的區(qū)域內(nèi)才能觀看到立體效果［7］。文獻(xiàn)［8］將原有的基于大屏幕的多視點(diǎn)自由立體視頻顯示技術(shù)擴(kuò)展到了移動(dòng)終端上，實(shí)現(xiàn)了小屏幕上8視點(diǎn)自由立體視頻的顯示，擴(kuò)大了移動(dòng)終端上的立體視角范圍。

由于移動(dòng)終端的顯示屏幕在尺寸、分辨率等方面有都自己的特點(diǎn)和局限，將原來適用于大屏幕的自由立體顯示技術(shù)應(yīng)用到小屏幕的移動(dòng)終端上，由于視差過大，會(huì)出現(xiàn)視頻圖像模糊，容易使觀者產(chǎn)生不舒適感和視疲勞等現(xiàn)象。筆者基于以上問題，提出了一種視差調(diào)整方法，通過確定視差大小、視差調(diào)整、分辨率調(diào)整3個(gè)步驟，得到適應(yīng)于具有小分辨率屏幕的移動(dòng)終端顯示的多視點(diǎn)視頻源，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。經(jīng)測(cè)試，按照該方法進(jìn)行視差調(diào)整后，移動(dòng)終端上的多視點(diǎn)自由立體視頻的清晰度有明顯提高，有效解決了小屏幕上觀看立體視頻時(shí)模糊不清的問題。

1 8視點(diǎn)立體視頻在移動(dòng)終端上的顯示

1.1 基于狹縫光柵的多視點(diǎn)視頻合成顯示方法

當(dāng)前應(yīng)用在臺(tái)式電腦顯示器或大尺寸、高分辨率平板顯示器上的主流的多視點(diǎn)自由立體顯示方法中各子像素排列方法如圖1所示(以8視點(diǎn)立體顯示為例)。

圖1中，φ為光柵傾斜角，為相鄰兩個(gè)像素中心間距，d為光柵間柵距，每個(gè)光柵之間可容納分別來自8個(gè)視點(diǎn)圖像的8個(gè)子像素，即每個(gè)視點(diǎn)圖像對(duì)應(yīng)像素點(diǎn)的R、G或B，這8個(gè)子像素需要交替排列。以每3個(gè)像素行為一個(gè)單位，每個(gè)視點(diǎn)的對(duì)應(yīng)子像素按照光柵傾斜的方向進(jìn)行排列，在垂直方向上相差一個(gè)子像素的距離［8－9］。各視點(diǎn)子像素依次方法排列可，使觀察者在不同的可視區(qū)域內(nèi)，都能看到兩幅不同的圖像，從而獲得清晰的立體視覺。

圖1 8視點(diǎn)光柵立體顯示器子像素排列規(guī)律Fig.1 Sub-pixel arrangement of 8 viewpoints on optical p late stereo disp layer

在貼有傾斜狹縫光柵的移動(dòng)終端上，也可采用上述方法進(jìn)行多視點(diǎn)圖像的合成顯示。采用此方法進(jìn)行多視點(diǎn)立體視頻合成的顯示的效果如圖2所示，其中圖2(a)是大屏幕上的顯示效果，圖2 (b)是移動(dòng)終端小屏幕上的顯示效果。

1.2 多視點(diǎn)立體視頻在移動(dòng)終端上顯示時(shí)存在的問題

經(jīng)測(cè)試，8視點(diǎn)立體視頻按1.1節(jié)所述的方法在大屏幕和移動(dòng)終端上進(jìn)行顯示，都能觀看到明顯的立體顯示效果。但是由圖2可見，大屏幕上的8視點(diǎn)立體視頻圖像清晰，而移動(dòng)終端小屏幕上的立體視頻存在模糊現(xiàn)象，圖像邊緣有明顯的重影，從截取的這一幀來看，圖像前方的圓盤輪廓模糊不清，圓盤上的內(nèi)容幾乎無法辨認(rèn)。在8視點(diǎn)立體視頻合成算法中，來自8個(gè)視點(diǎn)的子像素按照?qǐng)D1的規(guī)律進(jìn)行排列，相鄰兩個(gè)視點(diǎn)圖像中想的主體圖像間有Δx個(gè)像素點(diǎn)的視差，由合成算法可知，其水平方向上增加的像素點(diǎn)個(gè)數(shù)為:

其中Δx為相鄰兩視點(diǎn)間圖像主體之間的視差，n為視點(diǎn)數(shù)。也就是說水平方向有N個(gè)像素點(diǎn)用來描述不同視點(diǎn)間的同一確定點(diǎn)。這對(duì)高分辨率的大屏幕(如1920×1080)影響不大，而移動(dòng)終端的屏幕尺寸和分辨率大都較小(如480×800、480 ×720、320×240等)，所以其影響相對(duì)于屏幕整體分辨率來說不能忽略。這就解釋了在手機(jī)上進(jìn)行多視點(diǎn)立體顯示時(shí)會(huì)出現(xiàn)如圖2(b)所示的模糊和重影現(xiàn)象的原因。對(duì)于水平方向變化劇烈的圖像，這種由合成算法帶來的模糊感將更加明顯，嚴(yán)重影響立體視頻清晰度和觀看體驗(yàn)。

圖2 8視點(diǎn)立體視頻顯示效果Fig.2 Display effect of 8 viewpoint stereo video

2 移動(dòng)終端上基于狹縫光柵的自由立體視頻視差調(diào)整

由1.2節(jié)分析可知，相鄰視點(diǎn)間視差Δx或者視點(diǎn)數(shù)n過大時(shí)，小屏幕上的多視點(diǎn)視頻會(huì)產(chǎn)生模糊現(xiàn)象，為減輕這種現(xiàn)象，可通過適當(dāng)減小Δx或n提高清晰度。筆者著重介紹調(diào)整視差Δx以使其適應(yīng)移動(dòng)終端小屏幕顯示，從而提高立體視頻清晰度的方法。

2.1 確定視差大小

以Δx表示左右圖像對(duì)相差的像素個(gè)數(shù)，Δs表示左右圖像對(duì)應(yīng)點(diǎn)之間的距離。即滿足:

l為每個(gè)像素的寬度(見圖1)。

將原有立體圖像對(duì)和新生成的虛擬立體圖像對(duì)按照模擬真實(shí)拍攝場(chǎng)景的排列方式進(jìn)行編號(hào)，確定視點(diǎn)1到視點(diǎn)8。使用圖像處理軟件依次比對(duì)相鄰視點(diǎn)圖像，得出相鄰視點(diǎn)主體圖像位置相差的像素個(gè)數(shù)，以Δx1，Δx2，…，Δx7表示。

當(dāng)任意相鄰兩視點(diǎn)間的視差都相等，即Δx1=Δx2=…=Δx7時(shí)，顯示的立體效果最為理想和舒適。否則，當(dāng)觀察者在屏幕前方移動(dòng)時(shí)，接收到的左右圖像對(duì)視差發(fā)生變化，觀看到的立體圖像中每個(gè)角度的深度信息會(huì)產(chǎn)生差異，存在突跳旋轉(zhuǎn)等問題，容易產(chǎn)生不舒適感和視覺疲勞。標(biāo)準(zhǔn)的多視點(diǎn)立體圖像/視頻源滿足Δx1=Δx2=…= Δx7，但由第1節(jié)中的分析可知，大屏幕的立體圖像/視頻源在應(yīng)用于手機(jī)上時(shí)，視差相對(duì)非常大，需要進(jìn)行調(diào)整使其減小才以適應(yīng)于移動(dòng)終端上的立體顯示。

2.2 批處理進(jìn)行視差調(diào)整

立體顯示的基本原理［10］如圖3所示，圖像中的3個(gè)點(diǎn)O、M、N對(duì)應(yīng)的左右圖像對(duì)中的點(diǎn)分別排列在屏幕上的Ol、Or、Ml、Mr、Nl、Nr，通過狹縫光柵的控制，人的左眼只能看到左圖像的點(diǎn)Ol、Ml、Nl，而右眼只能看到右圖像的點(diǎn)Or、Mr、Nr。觀察者觀看視頻節(jié)目時(shí)，O點(diǎn)的左右圖像Ol、Or處在屏幕上的同一位置，雙眼的匯聚點(diǎn)在屏幕上與Ol、Or重合的O'點(diǎn)，即人腦感知的圖像位置處于屏幕的O'處。而M點(diǎn)和N點(diǎn)的左右圖像在屏幕上的位置有一定距離，雙眼的匯聚點(diǎn)分別在屏幕后方的M'點(diǎn)和屏幕前方的N'點(diǎn)，亦即人腦感知的圖像位置脫離了屏幕而產(chǎn)生一定的縱深感。圖像中所有的點(diǎn)都依據(jù)此原理顯示，觀察者就能觀看到一幅具有縱深感的立體圖像。

如果以Δs表示左右圖像對(duì)對(duì)應(yīng)像素點(diǎn)之間的距離，那么雙眼的匯聚點(diǎn)進(jìn)入或離開屏幕的距離，即人腦感知到的圖像空間位置為

其中e為兩眼距離，L為觀察者眼睛到屏幕的距離，由于人眼的瞳孔距離是固定值(成年人瞳孔距離為65 mm)。由式(1)可知，立體圖像的空間縱深感y與觀看距離L和左右圖像對(duì)的視差Δs有著非常直接的關(guān)系。

圖3 立體顯示基本原理Fig.3 Principle of stereo display

由式(2)可知，人觀看多視點(diǎn)自由立體視頻時(shí)獲得的立體感與左右眼觀看到的圖像對(duì)對(duì)應(yīng)點(diǎn)之間的距離有著直接的關(guān)系，Δs越大，|y|越大，即觀察者獲得的圖像縱深感越強(qiáng)。同時(shí)，根據(jù)2.2節(jié)的推導(dǎo)，視差Δx越大，就越容易產(chǎn)生圖像模糊不清、觀看疲勞等不良現(xiàn)象。筆者提出的視差調(diào)整方法，本質(zhì)上是平衡多視點(diǎn)立體視頻的立體感與清晰度之間的矛盾，即在保證能夠觀看到具有縱深感的立體圖像的同時(shí)，提高立體視頻的清晰度，為觀看者提供良好的觀看體驗(yàn)。

實(shí)驗(yàn)所用的魅族 M8手機(jī)，屏幕尺寸為8.636 cm，分辨率為480×720像素，人眼觀看到的左右圖像按照3.1所述排列方法相隔大約5－6個(gè)視點(diǎn)。當(dāng)相鄰兩視點(diǎn)圖像相差10個(gè)像素，觀看距離為30 cm時(shí)，由式(2)和式(3)得到的立體圖像深度為2.5 cm，這個(gè)數(shù)值完全可滿足使用一個(gè)8.636 cm英寸的手機(jī)屏幕觀看立體視頻時(shí)對(duì)立體感的需要，而一般大屏幕上視頻源的視差往往要多于10個(gè)像素點(diǎn)。因此完全可在不影響立體觀看的前提下適當(dāng)減小視差，用深度的適當(dāng)減小換取圖像清晰度的提高。

視差調(diào)整的過程可用Matlab等軟件進(jìn)行批量處理。處理過程需要先讀入原來的8個(gè)視點(diǎn)的圖像，在截取圖像的過程中通過橫坐標(biāo)依次相差n個(gè)像素，由此來調(diào)整相鄰視點(diǎn)的視差，從而調(diào)整8視點(diǎn)圖像總體的視差。

視差調(diào)整的過程如圖4所示。其中圖4(a)表示的是視差調(diào)整前各視點(diǎn)圖像主體的視差情況。圖4(b)中Δx'是調(diào)整之后的視差，視點(diǎn)2左側(cè)斜線框表示的是由于視差調(diào)整而截去的n列，由圖4可知，調(diào)整后的視差:

其中Δx為未經(jīng)調(diào)整的視差。

2.3 分辨率調(diào)整

由圖4(b)可知，為保證各視點(diǎn)圖像具有相同的分辨率大小，調(diào)整的過程中僅保留了8個(gè)視點(diǎn)的公共區(qū)域，導(dǎo)致調(diào)整后整幅圖像水平方向的分辨率減小。而對(duì)于特定分辨率的狹縫光柵立體顯示屏，合成算法對(duì)視頻源的分辨率有非常精確的要求，這就需要運(yùn)用圖像比例變換技術(shù)實(shí)現(xiàn)8視點(diǎn)視頻分辨率的調(diào)整。目前圖像比例變換技術(shù)已經(jīng)很成熟，可很容易的完成該步驟的工作。

3 實(shí)驗(yàn)結(jié)果分析

筆者按上述方法在貼有傾斜狹縫光柵的魅族M8手機(jī)上對(duì)不同的視頻源進(jìn)行了視差調(diào)整和顯示測(cè)試，得出如表1所示結(jié)論。

圖4 視差調(diào)整示意圖Fig.4 Illustration of parallax adjustment

表1 各個(gè)立體視頻源調(diào)整的視差數(shù)Table 1 Adjusted parallaxes of different sources

經(jīng)過調(diào)整后立體顯示效果明顯，圖像主體的清晰度明顯提高。圖5列出了其中hutu和vsop兩個(gè)視頻源調(diào)整前后的清晰度對(duì)比。以其中的hutu為例，未經(jīng)調(diào)整前有13個(gè)像素寬度的視差，經(jīng)調(diào)整減小的1個(gè)像素寬度，根據(jù)式(3)計(jì)算立體圖像的深度由原來的3.3 cm減小到3 cm，調(diào)整后立體視頻的深度略有減小，但仍然足夠滿足觀看立體效果的需要，同時(shí)，清晰度得到了大幅度的提高，由圖5(a)、圖5(b)對(duì)比可看出，調(diào)整后的圖像右側(cè)盒子上的花紋和文字清晰可辨。

4 結(jié)束語

由于移動(dòng)終端本身的特性，尤其是尺寸、分辨率方面局限性的限制，將原有的大屏幕上多視點(diǎn)視頻合成方法應(yīng)用于移動(dòng)終端小分辨率屏幕上時(shí)，會(huì)出現(xiàn)畫面模糊、清晰度下降、觀看不舒適的問題。筆者分析了移動(dòng)終端上模糊現(xiàn)象產(chǎn)生的原因，結(jié)合多視點(diǎn)視頻視差對(duì)立體視頻顯示效果的影響，論證了適當(dāng)減小視差以提高視頻清晰度的合理性。同時(shí)在此基礎(chǔ)上提出了一種視差調(diào)整方法，以有效提高移動(dòng)終端上多視點(diǎn)立體視頻的清晰度。經(jīng)實(shí)驗(yàn)驗(yàn)證，應(yīng)用筆者所述方法進(jìn)行視差調(diào)整后的多視點(diǎn)視頻在移動(dòng)終端上播放時(shí)，圖像的出(入)屏深度有少量減少，但圖像的清晰度得到了明顯提高，可滿足移動(dòng)終端上多視點(diǎn)自由立體視頻的觀看需求。

圖5 視差校正后8視點(diǎn)合成圖像效果圖Fig.5 Effect of 8 viewpoint stereo video after parallax adjustment

［1］Zhu Yu－h(huán)ua，Zhen Tong.3D multi－view autostereoscopic display and its key technologies［C］//Asia－Pacific Conference on Information Processing.2009:31－35.

［2］Zhang Yan，Quanmin JI，Zhang Wen－shuai.Multi－view autostereoscopic 3D display［C］//International Conference on Optics，Photonics and Energy Engineering，2010:58－61.

［3］Zhang Wen，Wu Juan.Research on key technologies of free stereoscopic display under multi－views and multiview Video Coding［C］//Proceedings of 2009 4th International Conference on Computer Science＆Education，2009:735－738.

［4］Jung－Young Son，Bahram Javidi，Sumio Yano，et al.Recent developments in 3－D imaging technologies［J］. Journal of Display Technology，2010，6(10):394－403.

［5］Junsup Kwon，Manbae Kim，Changyeol Choi.Multiview video service framework for 3D mobile devices［C］// International Conference on Intelligent Information Hiding and Multimedia Signal Processing.2008:1231－1234.

［6］Min－Chul Park，Sang Ju Park，Jung－Young Son.Stereoscopic imaging and display for a 3－D mobile phone［J］.Applied Optics，2009，48(34):238－243.

［7］王寶亮，侯春萍，陳艷芳，等.基于光柵立體手機(jī)的多視點(diǎn)自適應(yīng)顯示方法［J］.天津大學(xué)學(xué)報(bào)，2011，44 (12):1037－1042.

Wang Bao－liang，Hou Chun－ping，Chen Yan－fang，et al. Multi－view adaptive display method on optical－plate stereomobile phone［J］.Journal of Tianjin University，2011，44(12):1037－1042.

［8］Chen Yan－fang，Hou Chun－ping，Wang Bao－liang，et al. One pixel arrangement method on multi－view opticalplate stereomobile［C］//International Conference on High Performance Computing and Simulation.2011: 612－616.

［9］宋曉煒，楊蕾.一種光柵普適的LCD多視點(diǎn)立體圖像合成方法［J］.計(jì)算機(jī)應(yīng)用，2008.28(1):195－198.

Song Xiao－wei，Yang Lei.General composition method for optical－plate－based LCD multi－view stereo image［J］.Journal of Computer Applications，2008，28(1): 195－198.

［10］王元慶.基于LCD的自由立體顯示技術(shù)［J］.液晶與顯示，2003(2):116－120.

Wang Yuan－qing.Auto－stereoscopic display based on LCD［J］.Chinese Journal of Liquid Crystals and Displays，2003(2):116－120.