基于頻域直方圖和HVS的彩色圖像質(zhì)量評價(jià)算法

秦 川，李小飛

(長江大學(xué)工程技術(shù)學(xué)院，湖北荊州434020)

彩色數(shù)字圖像早已成為主流媒體形式，圖像處理和傳輸過程中會引入失真或噪聲，因此圖像質(zhì)量評價(jià)［1］(IQA)成為關(guān)鍵。目前已有許多圖像質(zhì)量評價(jià)方法:均方差(MSE)、峰值信噪比(PSNR)、PSNR-HVS-M［2］、結(jié)構(gòu)相似性質(zhì)量因子(SSIM)［3］、MS-SSIM［4］、通用質(zhì)量指標(biāo)(UQI)等。其中最簡單且應(yīng)用最廣泛的IQA是MSE，然而MSE和PSNR均不能處理許多特殊情況，并且評價(jià)結(jié)果不夠準(zhǔn)確，對于某些失真的敏感度較低。

主流圖像質(zhì)量評價(jià)算法均基于圖像的空間域進(jìn)行質(zhì)量分析，而對于某些失真，空間域差異較小，但是頻率域差異明顯，本文對圖像頻率域進(jìn)行直方圖分析。已有的部分圖像質(zhì)量評價(jià)算法從不同角度考慮了人類視覺系統(tǒng)(HVS)的影響［5］，而本文從一個(gè)新的角度結(jié)合HVS特性，對彩色圖像質(zhì)量進(jìn)行評價(jià)，提出了HHBQA(基于直方圖和HVS的圖像質(zhì)量評價(jià))質(zhì)量評價(jià)算法。HHBQA包括2個(gè)創(chuàng)新步驟:1)基于圖像頻率域做直方圖計(jì)算分析;2)利用HVS特征對評價(jià)結(jié)果進(jìn)行權(quán)重分配。本文對彩色圖像的質(zhì)量評價(jià)結(jié)果與實(shí)際感官高度一致，具有較好的準(zhǔn)確性和敏感性。

1 相關(guān)知識介紹

1．1 YUV 變換

典型的彩色圖像顏色用RGB 3個(gè)通道表示，通常一個(gè)像素顏色占24 bit數(shù)據(jù):紅、綠、藍(lán)分別占8 bit。彩色圖像分為壓縮和非壓縮兩種，通常彩色圖像壓縮先將RGB轉(zhuǎn)換為YUV顏色空間。

JPEG和JPEG2000采用YUV轉(zhuǎn)換，其正向轉(zhuǎn)換和逆向轉(zhuǎn)換分別如式(1)和式(2)所示

YUV轉(zhuǎn)換將原顏色空間去相關(guān)，并刪除部分信息從而使熵下降。而該部分刪除信息無法恢復(fù)，因此該轉(zhuǎn)換過程不可逆。JPEG2000中采用近似可逆分量變換(RCT)，表示為

因圖像壓縮并非本文關(guān)注點(diǎn)，所以本文采用RCT變換，即RGB轉(zhuǎn)換YUV(RCT)過程中無數(shù)據(jù)丟失。

1．2 傅里葉變換

傅里葉變換將信號轉(zhuǎn)換成若干三角波形疊加，其變換公式如下

其中，正弦曲線為ωk=2πk/N，相位為φk，正弦波形系數(shù)為ck。

數(shù)字圖像可由二維離散信號f(x，y)表示，因此，大小為M×N的二維圖像離散傅里葉變換為

其中

二維傅里葉變化可擴(kuò)展為

其中

傅里葉系數(shù)是復(fù)數(shù)，其大小可由幅度和相位計(jì)算得到，假設(shè)FT系數(shù)為真實(shí)空間的一個(gè)向量，其大小和相位角分別如文獻(xiàn)［6-7］定義

1．3 圖像直方圖

已有研究大多針對圖像空間域做直方圖分析，如灰度直方圖。本文基于圖像頻率域做直方圖分析。利用傅里葉變換將二維圖像轉(zhuǎn)換為頻率域，所得圖像頻率分布圖即為圖像梯度分布圖，頻率表現(xiàn)了相鄰像素點(diǎn)間的變化劇烈程度，而傅里葉幅度值表示相應(yīng)頻率占所有頻率的比重大小。

圖1a為Lena圖像(512 × 512，24 bit/pixel)，圖1b為Lena圖像經(jīng)JPEG壓縮后的失真圖像，2幅圖片PSNR值均為27.67 dB。分別對圖1中原圖像Lena和失真圖像Lena的R、G、B 3個(gè)通道做傅里葉變換并得到相應(yīng)的傅里葉系數(shù)，對所得傅里葉系數(shù)的幅度值做三維立體直方圖分析。結(jié)果如圖2所示，圖中三維立體直方圖均通過MATLAB mesh()函數(shù)繪制得到。

圖1 Lena原圖像和經(jīng)JPEG壓縮過的失真圖像

由圖2可見，部分情況下利用PSNR值(空間域算法)無法評價(jià)圖像質(zhì)量差異(圖中PSNR值均為27.67 dB)。而通過圖像的頻率域直方圖，可簡單清晰地辨別圖像差異(圖像頻率域直方圖差異明顯)。

2 HHBQA彩色圖像質(zhì)量評價(jià)算法

HHBQA算法如圖3所示，由4部分組成:1)進(jìn)行可逆YUV變換;2)對YUV每個(gè)通道的傅里葉變換結(jié)果進(jìn)行直方圖計(jì)算;3)基于直方圖計(jì)算每個(gè)通道質(zhì)量評價(jià)(HQA);4)基于HVS(人眼視覺特性)權(quán)重計(jì)算圖像總質(zhì)量評價(jià)。

HHBQA算法流程:

1)利用RCT變換，將RGB彩色圖像轉(zhuǎn)換成YUV顏色空間。

2)首先將YUV 3個(gè)通道分別進(jìn)行二維離散傅里葉變換，將空間域轉(zhuǎn)換為頻率域，計(jì)算得到Y(jié)UV各通道的傅里葉系數(shù)。

其次利用YUV各通道的傅里葉系數(shù)，計(jì)算各頻率的幅度值直方圖:原圖像(H(YFT)，H(UFT)，H(VFT))，失真圖像

3)計(jì)算得到各通道的直方圖質(zhì)量評價(jià)結(jié)果(YHQA，UHQA，VHQA)。

HQA由下式計(jì)算得到

ΔTCfactor表示直方圖差異因子，以Y通道為例，其差異如下計(jì)算得到

圖2 Lena圖像和失真Lena圖像的傅里葉幅度直方圖

式中:Δ表示原圖像和失真圖像直方圖間的差值。而原圖像和失真圖像的總差異(ΔTC)可由所有Δ相加得到

ΔTCfactor如下計(jì)算得到

ΔTCfactor區(qū)間為0～1，0為最嚴(yán)重失真，1為無失真。ΔTCmax為直方圖差異是2×M×N的極限情況。

HD值(直方圖失真)由相關(guān)經(jīng)典公式表示

如同ΔTCfactor，HD最優(yōu)值為1，表示無失真;0為最差值。

綜上可知，當(dāng)ΔTCfactor=1且HD=1時(shí)，HQA值為最優(yōu)值，等于1;當(dāng)ΔTC=ΔTCmax時(shí)，HQA值為最差值，等于0。將以上算法應(yīng)用于其他直方圖(H(UFT)和H(VFT))，可得YHQA、UHQA和 VHQA。

4)考慮 HVS［8］(人眼視覺特性)特點(diǎn)，對 HQA 結(jié)果(YHQA，UHQA，VHQA)進(jìn)行權(quán)重分配。該步驟為本算法另一個(gè)創(chuàng)新點(diǎn)。

人類視網(wǎng)膜有2種光受體:視桿和視錐。視桿負(fù)責(zé)低亮度時(shí)的視力，無顏色識別功能，且?guī)缀鯚o空間知覺。而視錐高亮度時(shí)活躍，并負(fù)責(zé)顏色感知和空間感知。眼球有近7百萬視錐和1億2千萬視桿。視桿負(fù)責(zé)亮度感知，而視錐負(fù)責(zé)顏色感知。由此可推導(dǎo)眼睛感知過程中，視桿和視錐的權(quán)重計(jì)算如下

圖3 HHBQA算法流程圖

式中:CW表示視錐的感知權(quán)重;RW表示視桿的感知權(quán)重。

由上可得HPQA方程

以上權(quán)重算法從新的角度考慮了人眼視覺特性，不同于其他經(jīng)典IQA算法，此為本算法一大創(chuàng)新。

3 實(shí)驗(yàn)結(jié)果與分析

圖4所示為原Lena圖像及一些Lena失真圖像，利用一些失真方法(銳化、中值噪聲、胡椒鹽、JPEG壓縮、高斯噪聲和模糊化)對其進(jìn)行失真處理，處理過程中保持失真圖像與原圖像PSNR值相同(均為27.67 dB)，盡管各圖像PSNR值相同，但7幅圖像仍有明顯視覺感官差異，可見PSNR質(zhì)量評價(jià)有時(shí)無效或者不精確。

圖4 Lena原圖像和幾種失真處理后圖像

第一組試驗(yàn):各圖像質(zhì)量評價(jià)算法結(jié)果與真實(shí)人眼感知統(tǒng)計(jì)結(jié)果對比

1)為了對HHBQA進(jìn)行性能衡量，利用 PSNR，PSNRHVS，MS-SSIM，SSIM和UQI進(jìn)行圖像質(zhì)量評價(jià)的對比試驗(yàn)，利用MATLAB計(jì)算HHBQA質(zhì)量評價(jià)結(jié)果，各質(zhì)量評價(jià)方法結(jié)果如表1所示。

表1 不同失真類型的質(zhì)量評價(jià)結(jié)果

2)為了對6幅失真圖像的真實(shí)人眼感知效果做出檢測，筆者請200位學(xué)生參與評價(jià)試驗(yàn)。學(xué)生根據(jù)自身真實(shí)感官評價(jià)6幅失真圖像，并從作者設(shè)定的等級中(最好=6、很好=5、好=4、差=3、很差 =2、最差 =1)選擇評價(jià)結(jié)果。人眼感知分?jǐn)?shù)統(tǒng)計(jì)結(jié)果圖如圖5所示。

圖5 失真圖像的人眼真實(shí)感官統(tǒng)計(jì)結(jié)果

從對比試驗(yàn)可看出，PSNR-HVS-M結(jié)果顯示圖4d、4f質(zhì)量優(yōu)于其他圖像，甚至優(yōu)于原圖像，明顯與真實(shí)感官差異較大。MS-SSIM值顯示圖4e差于圖4f、4g，與人眼真實(shí)感官統(tǒng)計(jì)結(jié)果不符;而且MS-SSIM各評價(jià)結(jié)果數(shù)值過于接近(算法敏感度不高)，而真實(shí)的人眼真實(shí)感官統(tǒng)計(jì)結(jié)果分布跨度較大，兩者也不符。而SSIM和UQI的結(jié)果均顯示圖4g質(zhì)量好于圖4e和4f，顯然與實(shí)際不符。而HHBQA結(jié)果與人眼真實(shí)統(tǒng)計(jì)結(jié)果具有高度一致性，同時(shí)評價(jià)結(jié)果跨度較大，與人眼感官統(tǒng)計(jì)結(jié)果一致(跨度也較大)?？梢奌HBQA的敏感度及準(zhǔn)確度與真實(shí)感官接近，優(yōu)于其他算法。本實(shí)驗(yàn)結(jié)合人眼感知系統(tǒng)證明HHBQA的性能。

第二組試驗(yàn):HHBQA與其他質(zhì)量評價(jià)算法在乘性斑點(diǎn)噪聲失真下的質(zhì)量評價(jià)結(jié)果對比

如圖6所示為1幅Peppers原圖和5幅經(jīng)過乘性斑點(diǎn)噪聲(均值=0，方差=0.06～0.86)處理的失真圖像。

圖6 原Peppers圖像和5種斑點(diǎn)噪聲處理后的圖像

對圖6中全部5幅失真圖像計(jì)算各自PSNR，PSNRHVS-M，SSIM，UQI，MS-SSIM和HHBQA質(zhì)量評價(jià)結(jié)果，結(jié)果如圖7所示，可看出其他5種IQA算法隨著方差值(σ2)均成指數(shù)分布，而HHBQA算法接近線性分布。對于乘性斑點(diǎn)噪聲失真處理，理論上失真圖像的視覺質(zhì)量應(yīng)該是隨著方差值(σ2)呈線性下降而非指數(shù)性下降，所以本算法與理論最為接近。而其他5種質(zhì)量評價(jià)算法不準(zhǔn)確，與理論有一定差異。該實(shí)驗(yàn)從理論角度證明本算法的性能。

圖7 經(jīng)斑點(diǎn)噪聲處理的Peppers圖像評價(jià)結(jié)果隨方差值的變化

第三組試驗(yàn):HHBQA與其他質(zhì)量評價(jià)算法的處理時(shí)間對比(計(jì)算所需時(shí)間)

質(zhì)量評價(jià)算法所需處理時(shí)間也是一個(gè)重要參數(shù)，直接影響算法的實(shí)時(shí)性。本實(shí)驗(yàn)環(huán)境為:PC:Intel?Core i7 Q720(CPU 1.60 GHz，6 Gbyte內(nèi)存)。利用 MATLAB2007對各質(zhì)量評價(jià)算法進(jìn)行了仿真，并對各算法所需的處理時(shí)間進(jìn)行了統(tǒng)計(jì)(每個(gè)算法運(yùn)行50次，然后取平均值)，結(jié)果見表2。

表2 不同質(zhì)量評價(jià)所需處理時(shí)間

由表2可看出，本文算法計(jì)算所需時(shí)間最低，且大幅度低于PSNR-HVS-M。計(jì)算效率上，本算法有一定優(yōu)勢，具有較高的實(shí)時(shí)性，并有較高應(yīng)用價(jià)值。

第四組試驗(yàn):HHBQA與其他質(zhì)量評價(jià)算法對失真的敏感度對比

從著名圖像庫(http://scien.stanford.edu/pages/labsite/scien_test_images_videos.php)選取12幅彩色圖像如圖8所示。(圖8a～圖8f size=341×512×3;圖8g～圖8 l size=512×341×3)，為了評價(jià)HHBQA在圖像低失真下的敏感度性能，選擇最低位比特替換數(shù)據(jù)隱藏的方式對圖像進(jìn)行失真處理(該方法造成的失真較小)。對所有12幅圖像均進(jìn)行最低位比特替換(LSB)數(shù)據(jù)隱藏處理(所有圖像的隱藏?cái)?shù)據(jù)相同(數(shù)據(jù)大小為1.5 bit/像素))。盡管對12幅彩色圖像的數(shù)據(jù)隱藏失真處理參數(shù)一致，但理論上不同圖像經(jīng)數(shù)據(jù)隱藏后的視覺效果應(yīng)該會有差異。處理后的失真圖像評價(jià)結(jié)果如表3所示:可看出PSNR值均相同，無法判斷出圖像差異;PSNRHVS-M值非常接近(49.95～50.06);MS-SSIM除了圖8a之外，其他11幅圖像評價(jià)結(jié)果都一樣;SSIM值更加接近(0.997～0.999);UQI值也非常接近(0.976～0.999);HHBQA值跨度較大(0.427～0.933)，敏感度較高。這是因?yàn)槠渌u價(jià)算法大多基于空間域計(jì)算，對于一些低失真，從空間域難以區(qū)分圖像視覺效果差異。而本算法基于頻率域計(jì)算，并結(jié)合HVS的權(quán)重分配，所以本算法對低失真的敏感度較高，可以明顯區(qū)分失真圖像的視覺效果差異。

圖8 用作算法敏感度測試的圖像原圖

表3 經(jīng)LSB處理過的圖像(1.5 bit/pixel)質(zhì)量評價(jià)結(jié)果

4 小結(jié)

針對已有的基于空間域圖像質(zhì)量評價(jià)算法準(zhǔn)確度和敏感度不高的問題，本文設(shè)計(jì)了一種新的彩色圖像質(zhì)量評價(jià)算法，創(chuàng)新地利用頻率域直方圖和HVS計(jì)算圖像質(zhì)量。與已有同類算法相比，本文算法與真實(shí)視覺感官高度一致，對于低失真具有較好敏感性，本算法的計(jì)算過程也快于其他算法，在保持質(zhì)量評價(jià)準(zhǔn)確性的同時(shí)，具有實(shí)時(shí)性和高效性。

［1］高攀.一種基于顏色特征的圖像質(zhì)量評價(jià)算法［J］.電視技術(shù)，2012，36(16):98-100.

［2］ PONOMARENKO N，SILVESTRI F，EGIAZARIAN K，et al.On between-coefficient contrast masking of dct basis functions［C］//Proc.Workshop on Video Processing and Quality Metrics.［S.l.］:IEEE Press，2007.

［3］ WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans.Image Processing，2004，13(4):600-612.

［4］ WANG Z，SIMONCELLI E P，BOVIK A C.Multiscale structural similarity for image quality assessment［C］//Proc.Thirty-Seventh Asilomar Conference on Signals，Systems and Computers.［S.l.］:IEEE Press，2003:1398-1402.

［5］謝斌，任克強(qiáng)，肖玲玲.一種基于HVS的DCT域穩(wěn)健視頻水印算法［J］.電視技術(shù)，2011，35(9):30-32.

［6］ FRIDRICH J.Digital image forensics［J］.IEEE Signal Processing Magazine，2009，26(2):26-37.

［7］ PEI SC，YEH M H，LUO T L.Fractional fourier series expansion for finite signals and dual extension to discrete-time fractional Fourier transform［J］.IEEE Trans.Signal Processing，1999，47(10):2883-2888.

［8］ CHEN SK，CHEW K S，MCNEILL D S，et al.Apoptosis regulates ipRGC spacing necessary for rods and cones to drive circadian photoentrainment［J］.Neuron，2013，77(3):503-515.