基于擴(kuò)展梯度相似度的自適應(yīng)圖像質(zhì)量評價算法研究

摘" 要：客觀圖像質(zhì)量評價使用特定的數(shù)學(xué)模型使圖像評價結(jié)果與主觀評價一致。提出一種自適應(yīng)的擴(kuò)展梯度圖像質(zhì)量評價算法（AE-GSSIM），使用擴(kuò)展梯度算子從多個方向計算圖像梯度幅值，然后在梯度圖像上定義并計算梯度相似度;考慮到亮度失真對圖像質(zhì)量的影響，為梯度相似度與亮度相似度設(shè)置不同的權(quán)重，使亮度相似度隨梯度相似度自適應(yīng)變化;最后，采用算術(shù)平均池化策略計算圖像評價結(jié)果。在4個公開圖像庫中進(jìn)行的實驗表明，AE-GSSIM算法優(yōu)于傳統(tǒng)的評價算法，更加符合人眼視覺感知結(jié)果。

關(guān)鍵詞：圖像質(zhì)量;結(jié)構(gòu)相似度;梯度相似度;擴(kuò)展梯度相似度;評價算法

中圖分類號：TP391" " " "文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號：2095-2945（2023）18-0066-04

Abstract： In order to evaluate the quality of an image more accurately， this paper proposes a novel objective image quality assessment algorithm - Adaptive Extended Gradient-based Structural Similarity（AE-GSSIM）. Firstly， the extended gradient operator is employed to calculate the gradient amplitude from multiple directions; then， the gradient similarity is defined and calculated on the gradient image. Considering the effect of luminance distortion on image quality， different weights are set for gradient similarity and luminance similarity to make luminance similarity change adaptively with gradient similarity. Finally， the arithmetic average pooling strategy is used to calculate the image evaluation results. Experiments in four public image databases show that the AE-GSSIM algorithm is better than the traditional evaluation algorithm and is more consistent with the results of human visual perception.

Keywords： image quality; SSIM; gradient similarity; extended gradient similarity; evaluation algorithm

數(shù)字圖像的質(zhì)量容易受到各種噪聲的影響，即圖像失真[1]。對失真圖像進(jìn)行質(zhì)量評價，即評價圖像的失真程度或失真圖像與原圖像（參考圖像）的相似度[2]。圖像質(zhì)量評價（IQA）的結(jié)果可作為其他圖像處理技術(shù)進(jìn)行參數(shù)調(diào)整和性能優(yōu)化的依據(jù)[2-3]。因此，提高圖像質(zhì)量評價結(jié)果能夠促進(jìn)各種圖像處理技術(shù)的發(fā)展和應(yīng)用。

目前有2種最常見的圖像質(zhì)量評價方式，即主觀評價和客觀評價[2，4]。主觀評價以人作為觀測者，能夠反映人類視覺系統(tǒng)（HVS）的感知特性。主觀評價的缺點是評價過程繁瑣、耗時長、費(fèi)用高，而且評價結(jié)果依賴于實驗環(huán)境布置、觀測者的知識結(jié)構(gòu)和心理因素，穩(wěn)定性較差[2]。另外，主觀評價不能實時嵌入到其他圖像處理技術(shù)中，這也大大限制了其應(yīng)用范圍?？陀^評價的評價主體是數(shù)學(xué)模型和算法，借助數(shù)據(jù)模型和算法取得和主觀評價相同或相近的結(jié)果。相比于主觀評價，客觀評價簡單高效，具有較高的穩(wěn)定性和可移植性[5]。

早期的代表性IQA算法包括均方誤差算法（MSE）和峰值信噪比算法（PSNR）[6]。由于它們僅僅計算圖像像素點之間的絕對誤差，沒有考慮鄰域像素之間的相互關(guān)系及HVS的感知特性，因此不能如實體現(xiàn)主觀視覺感受。Wang等[5]根據(jù)HVS的工作特點，提出利用結(jié)構(gòu)相似度（SSIM）模擬HVS提取圖像結(jié)構(gòu)信息。SSIM模型綜合考慮圖像的亮度、對比度和結(jié)構(gòu)3個分量，模型簡單、意義明確。相比于PSNR和MSE，SSIM更加符合人類視覺感知特性，評價結(jié)果有較大提高。但是SSIM對圖像邊緣處理不夠細(xì)致，在評價模糊失真圖像時效果不好[6]。楊春玲等[6]在SSIM的基礎(chǔ)上將梯度引入圖像質(zhì)量評價，提出基于圖像梯度結(jié)構(gòu)相似度（GSSIM）的IQA算法。與SSIM不同的是，GSSIM在梯度圖像上計算對比度和結(jié)構(gòu)相似度。GSSIM對模糊失真圖像的質(zhì)量評價優(yōu)于SSIM。Liu等[7]提出的圖像梯度相似度（GSM）算法將不同的權(quán)重應(yīng)用于亮度分量與梯度分量，克服了GSSIM的不足。Zhang等[8]提出的圖像特征相似度（FSIM）IQA算法引入圖像的相位特征，結(jié)合圖像梯度幅值生成圖像特征圖。FSIM評價結(jié)果較好，但其計算過程涉及多次頻域濾波操作和傅里葉變換，計算復(fù)雜度較高。本文受GSSIM和GSM的啟發(fā)，提出基于擴(kuò)展梯度相似度的自適應(yīng)IQA算法（AE-GSSIM）。在計算圖像梯度時，使用擴(kuò)展梯度算子從多個方向提取圖像梯度信息。同時，將亮度相似度的權(quán)重設(shè)置為隨梯度相似度變化并限制在較小的范圍，以突出梯度對HVS的重要性。

1" 結(jié)構(gòu)相似度預(yù)備知識

1.1" SSIM模型回顧

Wang等[5]認(rèn)為人眼能夠從圖像結(jié)構(gòu)中提取有效信息，提出了結(jié)構(gòu)相似度算法（SSIM）。SSIM包含3個分量，即圖像亮度l（x，y）、圖像對比度c（x，y）和圖像結(jié)構(gòu)相似度s（x，y）。對于圖像塊x和y，其計算方法如式（1）所示。參數(shù)α、β和γ是用于調(diào)節(jié)亮度分量、對比度分量和結(jié)構(gòu)分量的權(quán)重。計算SSIM（x，y）時，需要在圖像塊上逐個像素移動。最后，對局部質(zhì)量進(jìn)行算術(shù)平均池化，計算方法如式（2）所示。

式中：M是圖像塊的總數(shù)。SSIM（x，y）的值越大表示參考圖像和失真圖像相似度越高。

1.2" 基于梯度的結(jié)構(gòu)相似度

SSIM對模糊圖像的質(zhì)量評價與主觀評價相關(guān)性較差。楊春玲等[6]根據(jù)人眼對圖像的邊緣和紋理信息高度敏感的特性，提出基于梯度的結(jié)構(gòu)相似度（GSSIM）。GSSIM首先計算每個像素點的梯度幅值，得到參考圖像X和失真圖像Y對應(yīng)的梯度圖像X′和Y′。然后分別計算梯度圖像的對比度相似度Cg（x′，y′）和結(jié)構(gòu)相似度Sg（x′，y′），并用其分別代替式（1）中的c（x，y）和s（x，y），然后采用算術(shù)平均池化，結(jié)果即為最終質(zhì)量得分。

2" 基于擴(kuò)展梯度相似度的自適應(yīng)IQA算法

GSSIM僅使用水平算子和垂直算子計算圖像梯度，而結(jié)構(gòu)復(fù)雜的圖像往往具有多個方向的邊緣信息[9]。為了更全面地刻畫圖像邊緣，本文采用包含8個方向的擴(kuò)展梯度算子計算圖像梯度，如圖1所示。

3" 實驗結(jié)果與分析

3.1" 圖像庫與評價標(biāo)準(zhǔn)

評價一個IQA算法的效果或性能時往往需要圖像數(shù)據(jù)庫的支撐[10]。本文選用國際上公開的4大圖像庫進(jìn)行實驗，即LIVE、CSIQ、TID2008、TID2013。這些圖像庫在參考圖像、失真圖像、失真類型的數(shù)量等方面具有較大差異。LIVE圖像庫共有799幅失真圖像，對應(yīng)5種失真類型，每種失真類型有4～5個失真級別;CSIQ圖像庫共有866幅失真圖像，對應(yīng)6種失真類型，每種失真類型有4～5個失真級別;TID2008圖像庫共有1 700幅失真圖像，對應(yīng)17種失真類型，每種失真類型有4個失真級別;TID2013圖像庫比較大，共有3 000幅失真圖像，失真類型和失真級別數(shù)分別為24和5。觀測者的主觀評價以平均主觀意見得分（MOS）的形式提供。質(zhì)量越好的圖像具有越大的MOS值。

常用的客觀IQA算法評價指標(biāo)有RMSE（均方根誤差）、SROCC（斯皮爾曼秩相關(guān)系數(shù)）、PLCC（皮爾森相關(guān)系數(shù)）和KROCC（肯德爾秩相關(guān)系數(shù)）。其中，SROCC與KROCC兩個指標(biāo)反映IQA算法的單調(diào)性，單調(diào)性越好的算法具有越大的SROCC和KROCC值;PLCC度量IQA算法的精度，值越大說明精度越高;RMSE度量IQA算法的準(zhǔn)確度，值越小說明準(zhǔn)確度越高。一個好的客觀IQA算法應(yīng)具有較高的SROCC、KROCC和PLCC，以及較小的RMSE。

3.2" 數(shù)值實驗

表1列舉了AE-GSSIM與其他幾種客觀IQA算法在4個圖像庫中的SROCC、KROCC、PLCC與RMSE值。每個圖像庫中最好的3個結(jié)果用黑體顯示。從表1中可以看到，在TID2008和TID2013這2個圖像庫中，F(xiàn)SIM均獲得了最優(yōu)的評價結(jié)果。AE-GSSIM在TID2008中的評價結(jié)果僅次于FSIM。AE-GSSIM在CSIQ圖像庫的評價結(jié)果是最優(yōu)的。在LIVE數(shù)據(jù)庫中，F(xiàn)SIM獲得了最優(yōu)的評價結(jié)果，VIF的評價結(jié)果與其相當(dāng)。根據(jù)每個圖像庫的失真圖像數(shù)量對每個客觀IQA算法的各個評價指標(biāo)進(jìn)行加權(quán)平均，可以看到FSIM的評價結(jié)果最優(yōu)，AE-GSSIM取得了與GSM相當(dāng)?shù)脑u價結(jié)果，且明顯優(yōu)于SSIM、GSSIM、VIF。這些結(jié)果說明AE-GSSIM與主觀視覺感知具有較好的一致性。

4" 結(jié)論

本文對結(jié)構(gòu)相似度IQA算法SSIM及梯度結(jié)構(gòu)相似度IQA算法GSSIM進(jìn)行了研究，提出一種基于擴(kuò)展梯度相似度的自適應(yīng)圖像質(zhì)量評價算法AE-GSSIM，將擴(kuò)展梯度算子引入梯度計算，同時為梯度相似度分配更高的權(quán)重，并且使亮度相似度的權(quán)重隨梯度相似度變化。實驗結(jié)果表明，AE-GSSIM取得了比目前大多數(shù)IQA算法更優(yōu)的結(jié)果，與人眼的主觀評價結(jié)果具有很好的一致性。如何選擇更有效的池化策略以得到更好的客觀IQA算法，或者將該算法應(yīng)用于無參考IQA，將是下一步的研究重點。

參考文獻(xiàn)：

[1] 張凱兵，朱丹妮，王珍，等.超分辨圖像質(zhì)量評價綜述[J].計算機(jī)工程與應(yīng)用，2019，55（4）：31-40，47.

[2] 高麗霞，劉國軍，張選德.快速提升的結(jié)構(gòu)相似度IQA算法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2017，29（7）：1314-1323.

[3] 盧彥飛.基于局部視覺特征的圖像質(zhì)量客觀評價方法研究[D].長春：中國科學(xué)院研究生院（長春光學(xué)精密機(jī)械與物理研究所），2015.

[4] 高敏娟，黨宏社，魏立力，等.視覺顯著性引導(dǎo)的局部圖像質(zhì)量度量[J].中國科學(xué)：技術(shù)科學(xué)，2019，49（11）：1350-1360.

[5] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13（4）：600-612.

[6] 楊春玲，陳冠豪，謝勝利.基于梯度信息的圖像質(zhì)量評判方法的研究[J].電子學(xué)報，2007（7）：1313-1317.

[7] LIU A， LIN W， NARWARIA M. Image Quality Assessment Based on Gradient Similarity[J]. IEEE Transactions on Image Processing，2012，21（4）：1500-1512.

[8] ZHANG L， ZHANG L， MOU X， et al. FSIM： A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

[9] 王同罕，賈惠珍，舒華忠.基于梯度幅度和梯度方向直方圖的全參考圖像質(zhì)量評價算法[J].東南大學(xué)學(xué)報（自然科學(xué)版），2018，48（2）：276-281.

[10] 鄧杰航，毋鵬杰，余漢君，等.基于擴(kuò)展梯度算子的結(jié)構(gòu)相似度圖像質(zhì)量評價方法[J].科學(xué)技術(shù)與工程，2018，18（27）：42-47.