基于HSI模型的立體電視圖像視覺舒適度評價

吳冬燕，曹建東，范科峰，徐君書

（1.蘇州工業(yè)職業(yè)技術學院，江蘇 蘇州 215104；2.中國電子技術標準化研究院，北京 100007）

基于HSI模型的立體電視圖像視覺舒適度評價

吳冬燕1，曹建東1，范科峰2，徐君書1

（1.蘇州工業(yè)職業(yè)技術學院，江蘇 蘇州 215104；2.中國電子技術標準化研究院，北京 100007）

舒適度是立體顯示技術的重要指標之一。針對立體電視圖像舒適度評價問題，利用HSI模型分解立體電視圖像，分析了立體電視圖像色調(diào)、色飽和度和亮度之間的數(shù)據(jù)關系。按照最小間隔10°將立體電視圖像分割成36對新圖像，分析了立體電視圖像色調(diào)值與人眼舒適度的數(shù)據(jù)關系。通過實驗者的人眼主觀測試，驗證了理論分析并給出了有效舒適度立體電視圖像的色調(diào)值范圍。

3D電視；舒適度；色調(diào)

電視技術改變了人們的生活，從黑白電視到彩色電視、模擬電視到數(shù)字電視、標清電視到高清電視，特別是2D電視到3D電視的轉(zhuǎn)變，給人們極大的視覺沖擊和享受，但其昂貴的價格讓普通百姓望而止步。近年來，隨著信息技術和材料科學的發(fā)展，3D電視的成本和技術難關已被攻克，立體顯示技術（包括3D圖片、3D電視、3D電影等）得到了飛速的提升。尤其是3D電視和電影，給人以真實的立體感和現(xiàn)場感，技術成本越來越低，產(chǎn)品價格也很親民，深受廣大消費者的喜愛。立體顯示技術給人們帶來了視覺享受的同時也存在一些問題，比如視覺不舒適感、視覺疲勞的問題。特別是兒童和老人，稍長時間觀看立體視頻節(jié)目就容易引起視覺疲勞，常見現(xiàn)象如：流眼淚、眼睛脹、頭暈等不舒服感。事實上，3D電視圖像的質(zhì)量和舒適度問題，我國相關研究院、高校研究人員等已經(jīng)著手研究，而且有了初步成果。其中，電子行業(yè)標準《立體電視圖像質(zhì)量檢測方法》已遞交審議，立體電視圖像的舒適度規(guī)范及測試標準已完成送審稿。

關于立體電視圖像舒適度方面的研究有很多，在國外：Frank L.Kooi等著重提出了影響立體圖像舒適度的主要因素，如色度、亮度、雙眼視差等，并提供了一套客觀的立體顯示圖像舒適度評測流程和方法[1-2]。Pieter J.H.Seuntiens主要提出針對立體圖像的主觀評價方法，著重提出圖像扭曲、串擾、深度等關鍵因素會造成視覺不舒適感[3]。Marc Lambooij重點提出了視圖不匹配等4種影響視覺舒適度的指標[4]。國際標準化組織 ISO也發(fā)布了有關立體圖像/視頻安全性的文件IWA3：Image safety，其主要強調(diào)立體圖像/視頻雙眼圖像質(zhì)量參數(shù)異常，如串擾、顏色、亮度等，會導致視覺疲勞、誘發(fā)眼睛疾病等。

在國內(nèi)，天津大學是較早研究立體顯示技術及圖像質(zhì)量、舒適度評價的高校，天津大學的李素梅、臧燕軍、劉暢等針對立體顯示圖像的色度、亮度和飽和度進行定量分析，通過數(shù)據(jù)分析和主管評測的方法，分別得出了立體圖像的色度、亮度、飽和度等三個指標與視覺舒適度的關系，并給出了相應的參數(shù)范圍[5-8]。勞麗娟提出了基于HVS特性，通過左（右）視圖分別變化與同時變化相結(jié)合的實驗方法，定性研究了亮度、對比度、分辨率等指標與視覺舒適度的關系[8]。陳載清等研究雙眼視差與3D舒適度的影響，得出了3D舒適度隨著視差增加而降低的結(jié)論，其3D內(nèi)容舒適視差的范圍在-119至+115弧分之間[10]。

本文主要是在前期的研究基礎上，提出了基于HSI（Hue，Saturation and Intensity）顏色模型的立體電視圖像舒適度評價方法。

1 立體電視圖像舒適度

立體視覺舒適度主要是指人們觀看立體顯示內(nèi)容如3D電視、圖像時，眼睛的主觀視覺舒適感受程度。根據(jù)人的主觀感受和生理反應，文獻[4]給出了立體圖像視覺不舒適感的四類癥狀，如表1所示。

表1 視覺不舒適的四類癥狀

1.1 舒適度的分類

另外，ITU（2002）電視圖像質(zhì)量主觀評價推薦準則給出了舒適度的分類標準[11]，共分為5類，具體內(nèi)容如表2所示。

表2 舒適度等級

1.2 引起立體視覺舒適度問題的主要因素

眾所周知，引起視覺舒適度問題的原因來自于立體電視觀看系統(tǒng)和人的生理系統(tǒng)。其中，立體電視觀看系統(tǒng)是主要因素，如立體內(nèi)容、立體電視機、觀看的環(huán)境（距離、亮度、溫濕度）等。而針對立體電視圖像而言，閃爍、視差、色度、對比度等參數(shù)對人眼舒適度有較大影響，本文主要研究立體電視圖像對視覺舒適度的影響。

1.3 HSI模型

圖像處理和分析都是基于某種顏色空間下進行的，如RGB，HSV，HSI，LAB等。比較熟悉的是RGB模型，但RGB是一種不均勻的顏色空間，不能直接從該空間中感知飽和度和亮度等信息。為克服這一不足，提髙色彩的處理與識別的效果，在彩色圖像處理中可使用彩色空間，它更符合顏色視覺特性。在HSI模型中（見圖1），H表示色調(diào)（Hue）、S表示飽和度（Satura?tion），I表示亮度（Intensity），這3種基本特征量用來感知顏色，這三者之間的關系[12-13]為

圖1 HSI顏色模型

通過以上公式、顏色模型可以看出，I分量和H分量是相對獨立的，I分量與圖像的彩色信息無關。其次是H及S分量與人感受彩色的方式緊密相關。這些特點使得HSI彩色空間非常適合基于人的顏色感知特性進行處理和分析的圖像處理算法。HSI與RGB相比，HSI顏色空間大的3個分量獨立性較強，各分量的數(shù)據(jù)[14]分割見表3。因此，本文采用HSI顏色模型分析能夠減少立體圖像處理的復雜性，提高分析效率，也符合人眼的視覺生理特性。

表3 HSI獨立分量分割數(shù)據(jù)

2 實驗

2.1 實驗準備

1）實驗條件

實驗室環(huán)境溫度：20～25℃，相對濕度：25%～75%，大氣壓：90～106 kPa。立體顯示器采用G320S偏振式立體視窗，配備專用立體眼鏡，全程實驗在暗室中完成，根據(jù)立體電視圖像的主觀評價標準，人眼觀看距離為屏幕高度的3～6倍。實驗用圖像素材見圖2，并按照色調(diào)值分割成不同色調(diào)值的圖片。

圖2 house_原圖

2）實驗人員

本次實驗挑選雙目視生理正常者共45人，年齡19～35歲，男性19人，女性26人，眼睛視力正常、無眼部疾病。在正式實驗之前，課題組有必要向?qū)嶒炄藛T詳細介紹評判等級，并且強調(diào)評判依據(jù)的一致性，可以針對5個等級的立體圖像進行初試。為了保證測試的客觀性和準確性，每次的測試時間為20min。

2.2 實驗過程

針對立體電視圖像舒適度的測試，人眼的主觀評測是關鍵，天津大學李素梅教授所帶領的團隊在立體圖像飽和度、亮度、對比度等指標給出了定量分析，本文利用HSI模型，從色調(diào)H角度進行分析和實驗。

1）圖像轉(zhuǎn)化

通過MATLAB 2012a分割源立體電視圖像，實驗將源圖像由RGB轉(zhuǎn)化為HSI，通過式（1）可知H的取值范圍為0～2π。根據(jù)參考文獻[6]提出的改進極限法，其中色調(diào)變量為H，則有

式中：Hmax是圖像色調(diào)值的最大值；Hmin是圖像色調(diào)值的最小值；Href是圖像色調(diào)最小閾值；Ni為圖像分段數(shù)；n為分級數(shù)。該算法通過分級分類，左右視圖不同等級進行匹配，共形成725張新的左右視圖，參考文獻[6]通過此算法，待測樣本明顯減少，精簡了測試過程、降低了測試難度。

本文為了進一步簡化測試流程，提高效率，進行同步分割圖像的左右視圖。根據(jù)人眼的視覺特性，假設人眼對色調(diào)的最小閾值為10°，那么待測立體圖像將被分割成左右視圖各36張，并按分級一一對應。

2）實驗步驟

（1）源立體圖像由RGB轉(zhuǎn)化為HSI，提取色調(diào)分量，并按照10°進行逐級提取和分割，形成36張左右新視圖；

（2）將新組成的左右視圖進行從小到大編號，并記錄其不同色調(diào)值；

（3）按照既定程序，實驗人員逐個觀看待測立體圖像樣品，每張觀看時間為20 s，時間間隔為5 s，每位實驗人員測試總時間在15 min左右，符合人體舒適度要求；

（4）記錄實驗評價等級、數(shù)據(jù)；

（5）第2個實驗人員開始實驗，重復實驗至最后一位人員。

測試期間，保證實驗室人員觀看圖片的時間和間隔時間，如果有極不適應感，可以停止實驗。

2.3 數(shù)據(jù)分析

1）數(shù)據(jù)處理

由于測試過程主要是人眼主觀測試，難免會出現(xiàn)無效數(shù)據(jù)，測試數(shù)據(jù)必須進行篩選和甄別。根據(jù)主觀測試圖像的統(tǒng)計方法[6]，對同一圖像的有效評分的均值得出，均值公式為

式中：m為圖像舒適度等級數(shù)，即m=5；ci為被測圖像屬于第i類對應的分數(shù)；ni為判斷被測圖像屬于第i類的實驗者的人數(shù)[6]。當統(tǒng)計數(shù)據(jù)的平均值Cˉ，滿足Cˉ≥4則達到舒適度要求。

通過實驗所得1 620個數(shù)據(jù)點，其有效數(shù)據(jù)為1 296個，對數(shù)據(jù)進行數(shù)理整理統(tǒng)計，針對不同色調(diào)值的圖像進行等級統(tǒng)計，按照每幅圖片觀察者評估值進行處理取平均值。最后數(shù)據(jù)處理后的舒適度曲線如圖6所示，根據(jù)HSI模型解析后，通過測試數(shù)據(jù)示意圖可以看出，色調(diào)值的取值與立體舒適度的關系。

2）分析結(jié)論

通過圖6可知，圖像色調(diào)值與舒適度之間的直接關系，并根據(jù)表2的舒適度等級可知，當圖像色調(diào)值在180°～210°時，舒適度非常好，無任何不舒服，觀察無障礙；60°～180°、210°～235°時，舒適度等級在4～5之間，舒適度可確認為好，舒適度有微小變化，不妨礙觀看；0°～60°、235°～360°時，舒適度等級在3～4之間，舒適度可認為一般，對觀看稍微有妨礙，但仍可觀看。鑒于圖像色調(diào)值與舒適度的關系，根據(jù)表3色調(diào)值的分割，可看出圖像色調(diào)舒適度由高到低為：青（180°）、綠（120°）、黃（60°）、紅（0°）、藍（240°）。

圖6 立體圖像舒適度測試數(shù)據(jù)

3 小結(jié)

本文根據(jù)前期立體顯示技術研究成果[5-7]，結(jié)合立體電視圖像顯示特點，利用HSI模型將立體圖像進行分解，按照色調(diào)值（每隔10°）進行分割和排序形成新的圖像。通過人眼的主觀實驗，發(fā)現(xiàn)了立體電視圖像色調(diào)值與舒適度之間的數(shù)值關系，在53°～238°之間的圖像舒適度較好，定量地給出了符合舒適度的立體電視圖像色調(diào)范圍，為今后的立體電視圖像舒適度評價標準提供參考。另外，人眼主觀測試，費時費力，還有進一步改進的空間和方法，以建立更加高效的立體電視圖像舒適度評價體系。

[1] FRANK L K.Visual com fort of binocular and 3D displays[J].Dis?plays，2004，25（2/3）：99-108.

[2] PAN H，YUAN C，DALY S.3D video disparity scaling for prefer?ence and prevention of discom fort[EB/OL].[2014-07-20].http:// spie.org/Publications/Proceedings/Paper/10.1117/12.872582.

[3] SEUNTIENS P JH.Visual experience of 3D TV[D].Eindhoven: Eindhoven University Press Facilities，2006.

[4]LAMBOOIJM，IJSSELSTEIJNW，F(xiàn)ORTUIN M，et al.Visual dis?comfort and visual fatigue of stereoscopic displays：A review[J]. Imaging Science Technology，2009，53（3）:30-26.

[5] 李素梅，付貝貝，臧艷軍，等.影響立體圖像舒適度的飽和度范圍測定[J].天津大學學報，2012（8）:669-676.

[6] 劉暢，李素梅，朱丹，等.色度對立體圖像視覺舒適度影響的定量研究[J].光電子·激光，2014（1）:178-185.

[7] 劉暢，李素梅.影響立體圖像舒適度的對比度范圍的測定[J].光電子·激光，2014（4）:748-755.

[8] 臧艷軍，李素梅，衛(wèi)津津，等.影響立體圖像舒適度的亮度范圍測定[J].電子測量技術，2012（2）:59-64.

[9] 勞麗娟.靜止立體圖像的理論分析與實驗研究[D].天津:天津大學，2008.

[10]陳載清，石俊生，邰永航.立體內(nèi)容舒適視差范圍研究[J].吉林大學學報：工學版，2013，43（S1）:35-40.

[11] ITU.ITU-R BT.500-11，Methodology for the subjective assess?ment of the quality of television pictures[S].2002.

[12] 張靜，董偉，張有會，等.基于HSI顏色模型重影畫面的自動檢測[J].石家莊學院學報，2007（6）:79-82.

[13]謝妍梅，樊臻，張森林.基于HSI顏色空間的彩色圖像邊緣檢測[J].計算機工程，2013（9）:12-14.

[14] 戴天虹，王玉玨，趙貝貝.基于HSI三分量獨立性木材缺陷圖像分割[J].機電產(chǎn)品開發(fā)與創(chuàng)新，2009（6）:110-112.

[15] 吳冬燕，范科峰，卜樹坡，等.3D電視雙眼串擾測試方法[J].電視技術，2012，36（6）:87-89.

[16]吳冬燕，曹建東，范科峰.影響3D電視圖像舒適度的雙眼串擾范圍研究[J].電視技術，2013，37（22）:94-96.

[17] 吳冬燕，曹建東，范科峰.立體電視閃爍的客觀評價[J].電視技術，2013，37（23）:246-248.

Visual Com fort Degree of 3D Television Image Based on HSI

WU Dongyan1，CAO Jiandong1，F(xiàn)AN Kefeng2，XU Junshu1
（1.Suzhou Institute of Industrial Technology，Jiangsu Suzhou 215104，China；2.China Electronics Standardization Institute，Beijing 100007，China）

Degree of com fort is an important index of 3D display technology.In order to solve the problems of visual discom fort which are caused by stereoscopic images,the data relationships are analyzed using HSI model among hue, saturation and intensity.3D TV image is segmented into 36 of the new image based on 10°.The stereoscopic television image color and comfort degree are analyzed.According to experimenter test,it confirms that the theory analysis is correct. As a result,value range of hue about the effective com fort stereoscopic television image is given in this paper.

3D TV；degree of com fort；hue

TN141；TN949

A

?? 薇

2014-09-29

中國聯(lián)通：沃商店獨立成子公司 命名“小沃科技”

【本文獻信息】吳冬燕，曹建東，范科峰，等.基于HSI模型的立體電視圖像視覺舒適度評價[J].電視技術，2014，38（24）.

江蘇省高?！扒嗨{工程”項目；2012年蘇州市科技發(fā)展項目（SYG201248)

吳冬燕（1980—），碩士，講師，主研電子通信及信息處理方向；

曹建東（1961—），副教授，主研自動化技術；

范科峰（1978—），博士，高工，主研立體電視技術方向。

近日，中國聯(lián)通旗下應用商店運營中心（以下簡稱“沃商店”）從原隸屬企業(yè)上海聯(lián)通整體剝離，并成立了“小沃科技有限公司”，于11月1日起正式獨立化運作。新公司將引入外部優(yōu)質(zhì)合作伙伴資源，進一步以市場化規(guī)律運作，并可能引入混合經(jīng)濟所有制，即引入民營資本。新成立的“小沃科技有限公司”為中國聯(lián)通的全資子公司，是中國聯(lián)通創(chuàng)新體系的有機組成部分，專注于移動互聯(lián)網(wǎng)領域，聚合產(chǎn)業(yè)鏈。聯(lián)通集團明文確定小沃科技有限公司的定位為聯(lián)通最核心的應用分發(fā)平臺、聯(lián)通唯一的手機游戲運營平臺、聯(lián)通基于移動互聯(lián)網(wǎng)的能力開放平臺。小沃科技有限公司旗下?lián)碛兴拇螽a(chǎn)品，分別是綜合性應用分發(fā)下載平臺沃商店客戶端，垂直游戲運營平臺沃游戲客戶端，線下應用分發(fā)渠道聯(lián)通手機服務站，以及專注于家庭娛樂的V樂游戲大廳。