視覺(jué)顯著特征融合的圖像評(píng)價(jià)

摘? 要：針對(duì)視覺(jué)顯著（visual saliency index，VSI）圖像質(zhì)量評(píng)價(jià)的不足，通過(guò)引入人眼的感知特性，提出了一種視覺(jué)特征融合（visual saliency feature pooling，VSFP）的評(píng)價(jià)方法。VSFP方法首先對(duì)失真圖像的灰度特征進(jìn)行評(píng)價(jià)，作為能量補(bǔ)充信息，然后基于人眼的中央凹生理特性對(duì)圖像局部特征評(píng)價(jià)進(jìn)行加權(quán)融合，最后基于回歸方程對(duì)多特征評(píng)價(jià)進(jìn)行自適應(yīng)融合。實(shí)驗(yàn)表明所提方法明顯提高了VSI方法的評(píng)價(jià)性能。

關(guān)鍵詞：圖像質(zhì)量評(píng)價(jià);特征融合;視覺(jué)中央凹;回歸方程

中圖分類號(hào)：TP391.41? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）07-0080-03

Abstract：Aiming at the shortcomings of visual saliency index（VSI）for image quality assessment，an assessment method called visual saliency feature pooling（VSFP）is proposed by introducing the perceptual characteristics of human eyes. Firstly，the VSFP method evaluates the gray level features of distorted images are assessed and viewed as energy supplement information. Secondly，the local features assessment is pooled with the weights based on the physiological characteristics of the central foveal of the human eye. Finally，the multi-features assessment is adaptively pooled based on the regression equation. Experiments show that the assessment performance of the proposed method is significantly improved compared to VSI method.

Keywords：image quality assessment;feature pooling;visual foveal;regression equation

0? 引? 言

當(dāng)前，隨著圖像信號(hào)在日常生活中的應(yīng)用普及，人們提出了越來(lái)越高的視覺(jué)感知體驗(yàn)需求，因此，圖像質(zhì)量評(píng)價(jià)方法的研究具有重大的現(xiàn)實(shí)意義[1，2]。相對(duì)于主觀評(píng)價(jià)方法，客觀評(píng)價(jià)方法由于具有計(jì)算機(jī)建模的一系列優(yōu)點(diǎn)而成為了重要的研究和應(yīng)用方向。峰值信噪比（Peak Signal to Noise Ratio，PSNR）方法在現(xiàn)實(shí)中具有最廣泛的應(yīng)用領(lǐng)域，但各項(xiàng)評(píng)價(jià)指標(biāo)水平低下。近些年提出的結(jié)構(gòu)相似度（Structural Similarity，SSIM）方法[3]則明顯提高了PSNR方法的性能水平并成為了目前的研究熱點(diǎn)。其中，視覺(jué)顯著（Visual Saliency Index，VSI）方法[4]在理論上提出了較大的創(chuàng)新，首次將視覺(jué)顯著模型用于圖像質(zhì)量客觀評(píng)價(jià)算法中，并將圖像梯度作為第二特征信息融入評(píng)價(jià)算法中。然而，通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證，發(fā)現(xiàn)VSI方法存在如下不足：

（1）沒(méi)有考慮圖像灰度特征的信息失真，這將導(dǎo)致評(píng)價(jià)結(jié)果無(wú)法準(zhǔn)確判斷圖像的背景失真情況;

（2）利用視覺(jué)顯著視圖作為權(quán)重對(duì)局部評(píng)價(jià)進(jìn)行了加權(quán)融合，但是這種加權(quán)算法并沒(méi)有提高VSI方法的評(píng)價(jià)準(zhǔn)確度指標(biāo)水平;

（3）對(duì)視覺(jué)顯著評(píng)價(jià)和梯度特征評(píng)價(jià)采用了局部乘積的融合策略，但這種融合策略對(duì)于整體評(píng)價(jià)性能的改進(jìn)效果非常不明顯。

針對(duì)VSI方法的上述不足，通過(guò)引入人眼的主觀感知特性，本研究提出了一種改進(jìn)的VSFP融合評(píng)價(jià)方法，VSFP方法引入灰度特征信息來(lái)改進(jìn)圖像背景失真的評(píng)價(jià)效果，并基于人眼主觀感知和回歸方程對(duì)評(píng)價(jià)視圖進(jìn)行深度融合，最后通過(guò)實(shí)驗(yàn)分析了所提方法的評(píng)價(jià)性能，并與VSI方法進(jìn)行了比較。

1? VSFP方法原理

VSFP方法原理可以用圖1描述，通過(guò)將人類視覺(jué)系統(tǒng)的視覺(jué)顯著、中央凹和自適應(yīng)等特性引入圖像質(zhì)量客觀評(píng)價(jià)，VSFP方法包括了視覺(jué)顯著評(píng)價(jià)、梯度評(píng)價(jià)和灰度評(píng)價(jià)三個(gè)要素，實(shí)施過(guò)程分為特征評(píng)價(jià)和加權(quán)融合兩個(gè)階段，具體包括以下步驟：

（1）基于視覺(jué)顯著模型[4]獲得失真圖像質(zhì)量的視覺(jué)顯著評(píng)價(jià)視圖V（i，j）;

（2）基于梯度特征[5]獲得失真圖像質(zhì)量的梯度特征評(píng)價(jià)視圖G（i，j）;

（3）基于SSIM算法[3]獲得失真圖像質(zhì)量的灰度評(píng)價(jià)評(píng)價(jià)視圖L（i，j）;

（4）基于中央凹生理特性對(duì)V（i，j）、G（i，j）和L（i，j）分別進(jìn)行局部加權(quán)融合，依次獲得對(duì)應(yīng)的視覺(jué)顯著評(píng)價(jià)V、梯度評(píng)價(jià)G和灰度評(píng)價(jià)L;

（5）基于自適應(yīng)特性構(gòu)造回歸方程算法，然后對(duì)V、G和L進(jìn)行融合，獲得失真圖像質(zhì)量的客觀評(píng)價(jià)結(jié)果VSFP分值。

1.1? 評(píng)價(jià)視圖原理

根據(jù)VSI方法的原理，本研究采用的視覺(jué)顯著評(píng)價(jià)視圖V（i，j）算法如下：

式中Vx（i，j）、Vy（i，j）分別為參考圖像和失真圖像的視覺(jué)顯著測(cè)量視圖，ζ為調(diào)節(jié)公式穩(wěn)定的常數(shù)。

根據(jù)GSM方法[5]的原理，本研究采用的梯度評(píng)價(jià)視圖G（i，j）算法如下：

式中Gx（i，j）、Gy（i，j）分別為參考圖像和失真圖像的梯度測(cè)量視圖，ζ作用同公式（1）。

根據(jù)SSIM方法[3]的原理，本研究采用的灰度評(píng)價(jià)視圖L（i，j）算法如下：

式中Lx（i，j）、Ly（i，j）分別為參考圖像和失真圖像的灰度測(cè)量視圖，ζ作用同公式（1）、（2）。

1.2? 評(píng)價(jià)視圖局部加權(quán)融合

根據(jù)人類視覺(jué)系統(tǒng)的中央凹生理感知特性，本研究提出的局部評(píng)價(jià)視圖加權(quán)融合算法如下：

式中τ（i，j）為中央凹生理函數(shù)，[J，I]為圖像大小。

1.3? 特征評(píng)價(jià)融合

根據(jù)人類視覺(jué)系統(tǒng)的自適應(yīng)感知特性，本研究基于回歸方程設(shè)計(jì)了融合算法，獲得失真圖像質(zhì)量的客觀評(píng)價(jià)結(jié)果VSFP分值如下：

式中，，參數(shù)γ11、γ12、γ21、γ22取值詳見(jiàn)表1。

2? 實(shí)驗(yàn)分析

本實(shí)驗(yàn)采用了該領(lǐng)域權(quán)威的LIVE圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)，實(shí)驗(yàn)結(jié)果如表1所示。

表1數(shù)據(jù)反映出本研究所提VSFP方法相對(duì)VSI方法取得的改進(jìn)效果體現(xiàn)在：

（1）對(duì)于JPEG2000類型失真圖像的評(píng)價(jià)，VSFP方法的RMSE和SROCC指標(biāo)取得了較為明顯的優(yōu)勢(shì);

（2）對(duì)于JPEG類型失真圖像的評(píng)價(jià)，VSFP方法的PLCC和SROCC指標(biāo)取得了明顯的優(yōu)勢(shì);

（3）對(duì)于WN和Gblur兩個(gè)類型失真圖像的評(píng)價(jià)，VSFP方法的RMSE和PLCC指標(biāo)取得了明顯的優(yōu)勢(shì);

（4）對(duì)于Fast fading類型失真圖像的評(píng)價(jià)，VSFP方法的RMSE、PLCC和SROCC三項(xiàng)指標(biāo)均取得了明顯的優(yōu)勢(shì)。此外，所提VSFP方法的優(yōu)勢(shì)還體現(xiàn)在對(duì)于失真圖像的整體ALL評(píng)價(jià)上，RMSE、PLCC和SROCC三項(xiàng)指標(biāo)相對(duì)VSI方法均取得了明顯的優(yōu)勢(shì)。綜上分析，所提VSFP方法相對(duì)VSI方法取得了改進(jìn)效果。

3? 結(jié)? 論

針對(duì)VSI圖像質(zhì)量客觀評(píng)價(jià)方法的缺點(diǎn)，通過(guò)引入人眼視覺(jué)系統(tǒng)的一系列感知特性，對(duì)VSI方法中的評(píng)價(jià)視圖局部加權(quán)融合和多特征融合等算法進(jìn)行了改進(jìn)，并融入了圖像灰度特征評(píng)價(jià)信息。實(shí)驗(yàn)表明所提方法相對(duì)VSI方法取得了明顯的改進(jìn)效果。

參考文獻(xiàn)：

[1] 王勇，王宇慶，趙曉暉.圖像質(zhì)量客觀評(píng)價(jià)的復(fù)數(shù)矩陣結(jié)構(gòu)相似度方法 [J].儀器儀表學(xué)報(bào)，2014，35（5）：1118-1129.

[2] Guo Yingchun，Hao Yuting，Yu Ming.Image retargeting quality assessment based on content deformation measurement [J].Signal Processing：Image Communication，2018，67：171-181.

[3] Wang Z，Bovik AC，Sheikh HR，et al.Image Quality Assessment：From Error Visibility to Structural Similarity [J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

[4] Zhang L，Shen Y，Li H.VSI：A Visual Saliency-Induced Index for Perceptual Image Quality Assessment [J].IEEE Transactions on Image Processing，2014，23（10）：4270-4281.

[5] Liu Anmin，Lin Weisi，Narwaria M.Image quality assessment based on gradient similarity [J].IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

作者簡(jiǎn)介：王賽嬌（1977-），女，漢族，浙江人，講師，碩士，研究方向：計(jì)算機(jī)視覺(jué)，人工智能。