基于加權(quán)模型的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法

徐長(zhǎng)英 曾艷嬌 陳英

摘? 要： 針對(duì)無(wú)參考的圖像質(zhì)量評(píng)價(jià)，提出一種基于SSEQ算法、BRISQUE算法和BP神經(jīng)網(wǎng)絡(luò)的質(zhì)量評(píng)價(jià)模型，其評(píng)價(jià)過(guò)程如下：利用SSEQ算法提取圖像的空間熵值和頻譜熵值;利用BRISQUE算法提取局部規(guī)范系數(shù);將圖像中提取的兩類特征值和對(duì)應(yīng)的主觀質(zhì)量分?jǐn)?shù)分別利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并通過(guò)加權(quán)融合得到最終的客觀質(zhì)量分?jǐn)?shù)。實(shí)驗(yàn)結(jié)果表明，主客觀質(zhì)量分?jǐn)?shù)的皮爾遜相關(guān)系數(shù)均在0.85以上，滿足極強(qiáng)相關(guān)，結(jié)果優(yōu)于部分無(wú)參考圖像質(zhì)量評(píng)價(jià)模型。

關(guān)鍵詞： 圖像質(zhì)量評(píng)價(jià); 評(píng)價(jià)模型; SSEQ; BRISQUE; 特征值提取; 性能檢測(cè)

中圖分類號(hào)： TN911.73?34; TP391.41? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）21?0043?04

No?reference image quality assessment method based on weighted model

XU Changying1， ZENG Yanjiao2， CHEN Ying2

（1. Engineering Training Centre， Nanchang Hangkong University， Nanchang 330063， China;

2. School of Software， Nanchang Hangkong University， Nanchang 330063， China）

Abstract： A non?reference image quality assessment model based on SSEQ （spatial?spectral entropy based quality assessment） algorithm， BRISQUE （blind/referenceless image spatial quality evaluator） algorithm and BP neural network is proposed in this paper. The assessment process is shown as follows： the SSEQ algorithm is used to extract the spatial entropy value and spectral entropy value of the image; the BRISQUE algorithm is used to extract local norm coefficients; the two types of eigenvalues extracted from the image and their corresponding subjective quality scores are trained by BP neural network， and then the final objective quality scores are got by weighted fusion. The experimental results show that the Pearson correlation coefficients of the subjective quality score and objective quality score are all above 0.85， which meets the standard of extremely strong correlation. The results are better than those of some non?reference image quality assessment models.

Keywords： image quality assessment; evaluation model; SSEQ; BRISQUE; eigenvalue extraction; performance detection

0? 引? 言

圖像選優(yōu)方法是基于圖像質(zhì)量展開(kāi)的，由于人是圖像質(zhì)量評(píng)價(jià)的主體，如何建立圖像選優(yōu)模型使主客觀評(píng)價(jià)一致是圖像處理領(lǐng)域的研究熱點(diǎn)[1]。目前無(wú)參考圖像質(zhì)量評(píng)價(jià)在圖像壓縮、無(wú)人機(jī)航拍和醫(yī)學(xué)圖像領(lǐng)域廣泛應(yīng)用[2]。無(wú)參考圖像質(zhì)量評(píng)價(jià)模型分為基于機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)兩類，基于深度學(xué)習(xí)又可分為OA?BIQA（Opinion Aware）和OF?BIQA（Opinion Free）[3]。對(duì)于圖像中存在的多種失真，BIQI（Blind Image Quality Indices）算法[4]基于五種失真類型的預(yù)設(shè)，將圖像的失真類型概率和其對(duì)應(yīng)的失真水平進(jìn)行加權(quán)求和得出質(zhì)量分?jǐn)?shù)。文獻(xiàn)[5]提出的ERISQUE使用局部標(biāo)準(zhǔn)化亮度系數(shù)得出圖像失真程度。SSEQ算法[6]使用空間熵值和頻譜熵值作為圖像質(zhì)量指標(biāo)并使用支持向量機(jī)判斷失真類型并進(jìn)行評(píng)價(jià)。OA?BIQA中，文獻(xiàn)[7]基于卷積神經(jīng)網(wǎng)絡(luò)提出IQA?CNN，使用特征提取和回歸建立學(xué)習(xí)模型，對(duì)于模糊、壓縮和噪聲失真圖像的質(zhì)量評(píng)價(jià)有很好的效果。文獻(xiàn)[8]提出的DeepBIQ中引入遷移學(xué)習(xí)、擴(kuò)展深度學(xué)習(xí)中的網(wǎng)絡(luò)深度。OF?BIQA模型不需要使用人工評(píng)價(jià)樣本，可用性更強(qiáng)。文獻(xiàn)[9]提出的BIECON中訓(xùn)練過(guò)程包括回歸到客觀誤差圖和主觀評(píng)分兩個(gè)部分，有效避免實(shí)驗(yàn)樣本受限問(wèn)題。本文使用SSEQ，BQRISQUE和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，提出一種無(wú)參考質(zhì)量評(píng)價(jià)模型。

1? 基礎(chǔ)理論

1.1? BRISQUE算法

BRISQUE（Blind Referenceless Image Spatial Quality Evaluator）是一種無(wú)參考的空間域圖像質(zhì)量評(píng)估算法。算法原理為從圖像中提取局部規(guī)范化系數(shù)（MSCN），并將其擬合成廣義高斯分布（GGD）和非對(duì)稱性廣義高斯分布（AGGD），并利用多尺度圖像提取36個(gè)特征，使用支持向量機(jī)LibSVM得出客觀質(zhì)量分?jǐn)?shù)。BRISQUE算法的流程圖如圖1所示。

MSCN系數(shù)具有由于失真的存在而改變的特征，一定程度上反映了圖像的自然統(tǒng)計(jì)特征，并且量化這些變化可以預(yù)測(cè)影響圖像的失真類型及其感知質(zhì)量。由于人類視覺(jué)系統(tǒng)觀察圖像是多尺度的，各種圖像退化也作用于圖像的多個(gè)尺度。所以在不同的尺度圖像上進(jìn)行質(zhì)量評(píng)價(jià)，更符合人類感知的特性。

1.2? SSEQ算法

SSEQ（Spatial?Spectral Entropy Quality）稱為基于空間?譜熵的質(zhì)量指數(shù)，獲取圖像的空間熵值和頻譜熵值作為圖像的特征值，熵值大小可反映不同種類失真，使用支持向量機(jī)LibSVM得出客觀質(zhì)量分?jǐn)?shù)。SSEQ算法的流程圖如圖2所示。

由于空間熵值和頻譜熵值都是基于多個(gè)像素點(diǎn)計(jì)算出來(lái)的，所以為了使讀取的值分布均勻，本文采用塊處理，將預(yù)處理后的灰度圖像分成8×8的塊，并以此作為特征值提取最小信息單位。圖像的信息可使用[14]，[18]，[116]的采樣率，分為高、中、低3個(gè)頻率段，特征值為每個(gè)頻率段的均值和偏度值。

1.3? BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，拓?fù)浣Y(jié)構(gòu)分為輸入層、隱含層和輸出層三個(gè)部分，具有信號(hào)前向傳播、誤差后向傳播的特點(diǎn)。BP神經(jīng)網(wǎng)絡(luò)信號(hào)的前向傳播是指信號(hào)從輸入層經(jīng)過(guò)隱含層，再到輸出層;誤差的反向傳播是從輸出層到隱含層，再到輸入層。

使用該模型的BP神經(jīng)網(wǎng)絡(luò)對(duì)樣本進(jìn)行訓(xùn)練，網(wǎng)絡(luò)的形成過(guò)程中為使誤差平方和最小，使用誤差的反向傳播不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，從而使輸出值接近期望值。其結(jié)構(gòu)圖如圖3所示。

2? 模型建立

本文中模型使用的算法有BRISQUE算法、SSEQ算法、BP神經(jīng)網(wǎng)絡(luò)和加權(quán)融合算法。首先通過(guò)BRISQUE算法得出36個(gè)特征值，SSEQ算法得出12個(gè)特征值。然后利用BP神經(jīng)網(wǎng)絡(luò)將特征值和DOMS值進(jìn)行訓(xùn)練測(cè)試，其中50%作為訓(xùn)練集，50%作為測(cè)試集。最后將測(cè)試集得出的客觀質(zhì)量評(píng)分進(jìn)行加權(quán)融合，得到最終的客觀質(zhì)量評(píng)分，其中，加權(quán)融合的權(quán)值為相關(guān)性檢測(cè)中相關(guān)性最大時(shí)對(duì)應(yīng)的權(quán)值。具體流程如圖4所示。

3? 實(shí)驗(yàn)結(jié)果及分析

3.1? 實(shí)驗(yàn)樣本描述

圖像來(lái)源于美國(guó)德克薩斯大學(xué)奧斯汀分校的電氣與計(jì)算機(jī)工程系和心理學(xué)系聯(lián)合建立的LIVE（Laboratory for Image & Video Engineering）圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)的Release2版本，由29幅參考圖像和5種失真類型共982幅圖像組成，其中包含不同程度高斯白噪聲（WN）失真圖像174幅、不同程度高斯模糊（GBlur）失真圖像174幅、jpeg壓縮（JPEG）失真圖像233幅、jp2k壓縮（JP2K）失真圖像227幅和快速瑞利衰減（FF）失真圖像174幅。采用161人作為觀察人員，通過(guò)統(tǒng)計(jì)約25 000個(gè)數(shù)據(jù)，獲得了不同失真圖像的主觀相對(duì)質(zhì)量分?jǐn)?shù)（DMOS）。DMOS值范圍為0～100，DMOS值越大，表示圖像失真越嚴(yán)重。

3.2? 模型評(píng)價(jià)標(biāo)準(zhǔn)

本文采用線性相關(guān)系數(shù)LCC，也稱皮爾遜線性相關(guān)系數(shù)PLCC，描述預(yù)測(cè)值與主觀評(píng)分之間的相關(guān)性和算法的準(zhǔn)確性。皮爾遜相關(guān)系數(shù)定義為兩個(gè)變量之間的協(xié)方差和標(biāo)準(zhǔn)差的商，計(jì)算公式如下所示：

[ρX，Y=cov（X，Y）σXσY=E[（X-μX）（Y-μY）]σXσY]

式中[σ]為標(biāo)準(zhǔn)差。皮爾遜相關(guān)系數(shù)反映了兩個(gè)變量的線性相關(guān)性的大小，絕對(duì)值越大說(shuō)明兩變量的相關(guān)性越強(qiáng)。相關(guān)系數(shù)大于0.8為極強(qiáng)相關(guān)。

3.3? 實(shí)驗(yàn)結(jié)果

本文模型是在對(duì)單張失真圖像進(jìn)行客觀質(zhì)量評(píng)價(jià)的基礎(chǔ)上實(shí)現(xiàn)圖像質(zhì)量的選優(yōu)，即單張圖像通過(guò)模型處理后得到其對(duì)應(yīng)的客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)，多張圖片可獲得多個(gè)對(duì)應(yīng)的客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)，對(duì)圖像進(jìn)行圖像質(zhì)量評(píng)價(jià)就是預(yù)測(cè)圖像的主觀質(zhì)量分?jǐn)?shù)。如圖5a）～圖5f）所示是LIVE圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)里高斯模糊失真中對(duì)應(yīng)的6張圖像，將這6張圖像輸入此模型可得出其對(duì)應(yīng)的客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)。表1是圖5中的6張失真圖像通過(guò)模型得出客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)和其在LIVE數(shù)據(jù)庫(kù)中對(duì)應(yīng)的主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)。

如表1所示，失真圖像5a）和失真圖像5b）對(duì)應(yīng)的主觀評(píng)價(jià)分?jǐn)?shù)分別為23.14和27.16，客觀質(zhì)量分?jǐn)?shù)分別為20.58和22.51，從中可以得出主客觀結(jié)果一致，即表明通過(guò)此模型得出的客觀質(zhì)量分?jǐn)?shù)可在失真圖像5a）和5b）中預(yù)測(cè)圖像5a）的圖像質(zhì)量?jī)?yōu)于圖像5b）。

再者，對(duì)表1的主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)和客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)進(jìn)行排序，其中主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)從小到大對(duì)應(yīng)的失真圖像依次為圖像5e），5a），5f），5b），5c），5d），客觀質(zhì)量分?jǐn)?shù)從小到大對(duì)應(yīng)的失真圖像依次為圖像5e），5a），5f），5b），5c），5d），比較得出兩個(gè)序列失真圖像客觀評(píng)價(jià)分?jǐn)?shù)的大小與主觀評(píng)價(jià)分?jǐn)?shù)大小有關(guān)，主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)越大對(duì)應(yīng)的客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)往往也會(huì)越大。在這6張圖像中圖像5e）對(duì)應(yīng)的質(zhì)量分?jǐn)?shù)最小，即圖像5e）的質(zhì)量最好。通過(guò)對(duì)LIVE數(shù)據(jù)庫(kù)中的高斯模糊失真中對(duì)應(yīng)的6張圖像的客觀和主觀質(zhì)量分?jǐn)?shù)進(jìn)行分析，說(shuō)明本文模型可以在一定程度上通過(guò)輸入失真圖像得出客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)的大小，對(duì)一系列圖像的質(zhì)量進(jìn)行比較，選擇質(zhì)量最好的圖像。

由于考慮到模型性能，評(píng)價(jià)方法使用的是PLCC相關(guān)系數(shù)，所以需要得到大量圖像的客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)和其對(duì)應(yīng)的主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)才可以進(jìn)行模型性能的評(píng)價(jià)，PLCC越接近1則表示線性相關(guān)性越好。為評(píng)價(jià)模型的整體性能，對(duì)LIVE圖像評(píng)價(jià)數(shù)據(jù)庫(kù)中的五種失真圖像使用PLCC進(jìn)行相關(guān)性分析，得出的客觀評(píng)價(jià)分?jǐn)?shù)的大小與其對(duì)應(yīng)的主觀評(píng)價(jià)分?jǐn)?shù)的PLCC相關(guān)性如表2所示。

表2中五種失真圖像對(duì)應(yīng)的PLCC均在0.8～1.0的區(qū)間里，失真圖像的客觀評(píng)價(jià)分?jǐn)?shù)和主觀評(píng)價(jià)分?jǐn)?shù)呈極強(qiáng)相關(guān)，所以通過(guò)此模型對(duì)LIVE數(shù)據(jù)庫(kù)的五種失真圖像得出的客觀評(píng)價(jià)分?jǐn)?shù)可以找到較好質(zhì)量的圖像。其中，F(xiàn)F的PLCC系數(shù)最小，由此可知此模型對(duì)于快速瑞利衰減失真圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性最低，GBlur和WN對(duì)應(yīng)的PLCC系數(shù)相對(duì)較大，可知此模型對(duì)于高斯模糊和高斯白噪聲失真圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性高于其他三種失真圖像。

3.4? 性能檢測(cè)

將本文模型與BIQI，BRISQUE，OG?IQA和SSEQ四種經(jīng)典的無(wú)參考圖像評(píng)價(jià)模型進(jìn)行PLCC比較，得到的結(jié)果如表3所示。

由表3可知，對(duì)于FF失真，本文模型優(yōu)于BIQI和SSEQ模型，略差于BRISQUE和OG?IQA模型。對(duì)于GBlur失真，本文模型優(yōu)于BIQI和OG?IQA模型，略差于BRISQUE和SSEQ模型。對(duì)于JP2K失真，本文模型優(yōu)于BIQI和BRISQUE模型，略差于OG?IQA和SSEQ模型。對(duì)于JPEG失真，本文模型明顯優(yōu)于BIQI、BRISQUE和OG?IQA模型，略差于SSEQ模型。 對(duì)于WN失真，本文模型明顯優(yōu)于BIQI模型，略優(yōu)于BRISQUE、OG?IQA和SSEQ模型。

3.5? 遷移性分析

本文模型針對(duì)TID2013數(shù)據(jù)庫(kù)進(jìn)行遷移性分析，使用GBlur，JP2K和JPEG這3種失真圖像進(jìn)行性能分析。TID2013圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)中某張圖像與其對(duì)應(yīng)的5張JPEG失真圖像如圖6所示。其中圖6a）為原圖像，圖6b）～圖6f）為失真圖像，觀察比較圖像可知，圖6b）～圖6f）的5張失真圖像的信息損失程度逐漸增加。

表4是圖6中的5張失真圖像6b）～6f）通過(guò)模型得到的客觀評(píng)價(jià)分?jǐn)?shù)和其主觀評(píng)價(jià)分?jǐn)?shù)，其中分?jǐn)?shù)越大表示圖像失真程度越高。表中圖6b）～圖6f）對(duì)應(yīng)的質(zhì)量分?jǐn)?shù)的增加符合圖像失真程度的增加，并且客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)呈正相關(guān)，故此模型可以較好地預(yù)測(cè)圖像的失真程度。

表5是此模型分別在LIVE和TID2013圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)中，對(duì)于GBlur，JP2K和JPEG這3種失真對(duì)應(yīng)的客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的PLCC。由表5可知此模型對(duì)于TID2013圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)的PLCC值在0.8～1.0的區(qū)間里，所以客觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)和主觀質(zhì)量評(píng)價(jià)分?jǐn)?shù)呈極強(qiáng)相關(guān)，即模型對(duì)TID2013圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)的圖像可以較為準(zhǔn)確地預(yù)測(cè)圖像質(zhì)量。

4? 結(jié)? 語(yǔ)

本文基于LIVE數(shù)據(jù)庫(kù)提出了融合SSEQ算法、BRISQUE算法和BP神經(jīng)網(wǎng)絡(luò)的無(wú)參考質(zhì)量評(píng)價(jià)模型?？筛鶕?jù)圖像在模型中得出的客觀質(zhì)量分?jǐn)?shù)較為準(zhǔn)確地實(shí)現(xiàn)系列圖像的自動(dòng)選優(yōu)。該模型優(yōu)于部分無(wú)參考圖像質(zhì)量評(píng)價(jià)模型，且具有較強(qiáng)的遷移性。如何進(jìn)一步提高圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性以及建立模型適用于多種失真類型的圖像是今后的研究方向。

參考文獻(xiàn)

[1] 詹憶冰.基于視覺(jué)感知特性的圖像質(zhì)量評(píng)價(jià)方法研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2018.

[2] 張滿.無(wú)參考圖像質(zhì)量評(píng)價(jià)及其應(yīng)用[D].西安：西安電子科技大學(xué)，2018.

[3] 楊璐，王輝，魏敏.基于機(jī)器學(xué)習(xí)的無(wú)參考圖像質(zhì)量評(píng)價(jià)綜述[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（19）：34?42.

[4] MOORTHY A K， BOVIK A C. A two?step framework for constructing blind image quality indices [J]. IEEE signal proces?sing letters， 2010， 17（5）： 513?516.

[5] MITTAL A， MOORTHY A K， BOVIK A C. No?reference image quality assessment in the spatial domain [J]. IEEE transactions on image processing， 2012， 21（12）： 4695?4708.

[6] 鄭加蘇.基于圖像信息熵的無(wú)參考圖像質(zhì)量評(píng)估算法的研究[D].北京：北京交通大學(xué)，2015.

[7] KANG Le， YE Peng， LI Yi， et al. Convolutional neural networks for no?reference image quality assessment [C]// Procee?dings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 1733?1740.

[8] BIANCO S， CELONA L， NAPOLETANO P， et al. On the use of deep learning for blind image quality assessment [J]. Signal， image and video processing， 2018， 12（2）： 355?362.

[9] KIM J， NGUYEN A D， LEE S. Deep CNN?based blind image quality predictor [J]. IEEE transactions on neural networks & learning systems， 2019， 30（1）： 11?24.

作者簡(jiǎn)介：徐長(zhǎng)英（1981—），女，山東鄆城人，碩士，講師，主要研究方向?yàn)樾盘?hào)處理、模式識(shí)別。

曾艷嬌（1998—），女，湖南株洲人，主要研究方向?yàn)閳D像處理。

陳? 英（1981—），男，江西臨川人，博士，副教授，主要研究方向?yàn)閳D像處理及模式識(shí)別。