水下生成圖像真實(shí)性評(píng)價(jià)方法研究

劉懷周，王雙園，白國(guó)振，張鵬舉

（1.上海理工大學(xué)機(jī)械工程學(xué)院；2.上海理工大學(xué)深海高端裝備復(fù)雜系統(tǒng)研究院，上海 200093）

0 引言

機(jī)器學(xué)習(xí)通常建立在大量有效數(shù)據(jù)學(xué)習(xí)的基礎(chǔ)上，因此數(shù)據(jù)質(zhì)量問(wèn)題是機(jī)器學(xué)習(xí)領(lǐng)域的重要研究?jī)?nèi)容之一。在水下機(jī)器視覺(jué)研究中，由于水下圖像獲取成本高，通常使用人工合成或模擬生成圖像作為樣本。因此，建立一個(gè)有效、客觀的水下生成圖像質(zhì)量指標(biāo)，對(duì)評(píng)價(jià)生成圖像質(zhì)量以及機(jī)器學(xué)習(xí)算法的優(yōu)化至關(guān)重要。圖像質(zhì)量評(píng)價(jià)可分為主觀圖像評(píng)價(jià)和客觀圖像評(píng)價(jià)。主觀圖像評(píng)價(jià)被認(rèn)為是最可靠的結(jié)果，但對(duì)于實(shí)時(shí)系統(tǒng)而言，該方法代價(jià)昂貴、耗時(shí)且不切實(shí)際?？陀^圖像質(zhì)量評(píng)價(jià)方法根據(jù)是否存在代表原始信號(hào)的參考圖像可分成3 類：全參考圖像評(píng)價(jià)、半?yún)⒖紙D像評(píng)價(jià)和無(wú)參考圖像評(píng)價(jià)［1］。對(duì)于無(wú)法獲得參考圖像的水下生成圖像，需要一個(gè)無(wú)參考的客觀圖像質(zhì)量評(píng)價(jià)方法來(lái)評(píng)價(jià)圖像質(zhì)量，其能夠識(shí)別出水下生成圖像與真實(shí)水下圖像的差異，并符合人類的視覺(jué)感官系統(tǒng)。

近年來(lái)，生成對(duì)抗網(wǎng)絡(luò)得到了廣泛研究［2］。為了定量評(píng)估GAN 網(wǎng)絡(luò)，人們相繼提出了各種評(píng)價(jià)指標(biāo)，如Incep?tion 分?jǐn)?shù)、Mode 分?jǐn)?shù)、Kernel MMD、Wasserstein 距離、Fre?chet Inception 距離與基于1-最近鄰（1-NN）的雙樣本測(cè)試指標(biāo)等。這些評(píng)價(jià)指標(biāo)基于生成樣本與真實(shí)樣本之間的距離度量，主要是對(duì)生成模型的評(píng)估，而無(wú)法評(píng)價(jià)單個(gè)生成樣本質(zhì)量。此外，還有大氣彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)［3-5］和其它水下圖像質(zhì)量評(píng)價(jià)指標(biāo)，如UCIQE［6］、UIQM［7］、CCF［8］等。然而，由于水下圖像存在色偏、模糊、低光照和噪聲復(fù)雜等問(wèn)題，因此現(xiàn)有的自然彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)不能有效應(yīng)用于水下圖像。當(dāng)前水下圖像質(zhì)量評(píng)價(jià)指標(biāo)主要為針對(duì)水下圖像增強(qiáng)與恢復(fù)的評(píng)價(jià)指標(biāo)，很少有針對(duì)水下生成圖像質(zhì)量的評(píng)價(jià)指標(biāo)。

本文提出一種水下生成圖像的客觀評(píng)價(jià)指標(biāo)。由于生成圖像與真實(shí)水下圖像在內(nèi)容、結(jié)構(gòu)和紋理等方面千差萬(wàn)別，為了使提取的圖像特征不受影響，本文首先采用超像素分割算法進(jìn)行預(yù)分割，然后通過(guò)改進(jìn)的MSRM 融合算法分離出背景和前景，并保持較好的邊緣信息，最后在背景圖中提取特征，擬合多元高斯模型，用馬氏距離度量單個(gè)生成圖像與真實(shí)水下圖像的相似性。實(shí)驗(yàn)結(jié)果表明，與MSRM 算法相比，改進(jìn)的MSRM 算法能夠更好地提取物體邊緣輪廓，與現(xiàn)有水下圖像質(zhì)量評(píng)價(jià)方法相比，本文提出的UGIQE 方法更加有效，與人類視覺(jué)感官系統(tǒng)具有更高的一致性。

1 圖像背景與前景分割

1.1 超像素生成

為提高分割效率、降低計(jì)算復(fù)雜度，首先采用超像素進(jìn)行圖像預(yù)處理。目前常用的超像素算法有：Lazy Ran?dom Walk（LRW）［9］、Linear Spectral Clustering（LSC）［10］、Coarse-to-Fine Topology-Preserving（CFTP）［11］、Content-Adaptive Superpixel（CAS）［12］、Simple Liner Iterative Cluster?ing（SLIC）［13］、Fast Linear Iterative Clustering（FLIC）［14］等。其中，SLIC 算法不僅可以產(chǎn)生大小均勻、結(jié)構(gòu)緊湊、邊緣依附較好的超像素，而且計(jì)算速度較快，因此本文選用SLIC算法作圖像預(yù)分割。SLIC 算法是一種簡(jiǎn)單的線性迭代聚類，先將圖像RGB 顏色空間轉(zhuǎn)化為L(zhǎng)AB 空間，再以LAB 顏色特征和位置特征作為度量標(biāo)準(zhǔn)對(duì)圖像像素進(jìn)行局部聚類，最后形成一個(gè)個(gè)超像素。其算法流程如圖1 所示。

1.2 改進(jìn)的MSRM 算法

MSRM 算法是在保持目標(biāo)標(biāo)記區(qū)域超像素集合不變的情況下，盡可能多地合并背景標(biāo)記超像素區(qū)域和未標(biāo)記的超像素區(qū)域，直至合并完所有背景區(qū)域，沒(méi)有新的區(qū)域需要合并。其主要分為兩個(gè)階段：第一階段，將與背景標(biāo)記區(qū)域相鄰的未標(biāo)記超像素合并到背景標(biāo)記區(qū)域；第二階段，未標(biāo)記區(qū)域相互合并，此時(shí)的未標(biāo)記區(qū)域可能包括目標(biāo)區(qū)域和背景區(qū)域，兩個(gè)階段循環(huán)進(jìn)行，直到?jīng)]有新的區(qū)域需要合并，循環(huán)結(jié)束。其算法流程如圖2 所示。

Fig.1 SLIC algorithm flow圖1 SLIC 算法流程

Fig.2 MSRM algorithm flow圖2 MSRM 算法流程

利用SLIC 算法產(chǎn)生超像素經(jīng)過(guò)人工標(biāo)注前景與背景后，通過(guò)基于區(qū)域最大相似度算法（MSRM）進(jìn)行區(qū)域合并，最后得到前景與背景的分割圖。MSRM 算法用顏色直方圖描述區(qū)域特征，首先將RGB 顏色空間中的每個(gè)通道均勻量化為16 級(jí)，每個(gè)區(qū)域有16*16*16=4 096 級(jí)顏色，利用巴氏系數(shù)［15］測(cè)量區(qū)域間顏色特征的相似性，該系數(shù)定義如下：

因此，本文引入圖像梯度方向直方圖（Histogram of Ori?ented Gradient，HOG）特征［16］。圖像局部目標(biāo)的表象和形狀能夠被HOG 特征的梯度與邊緣方向密度分布很好地進(jìn)行描述。基于超像素的HOG 特征度量步驟如下：首先計(jì)算超像素區(qū)域內(nèi)在180 個(gè)方向上的梯度，從而得到180*1 歸一化HOG 特征，然后利用巴氏系數(shù)測(cè)量區(qū)域間HOG 特征的相似性，該系數(shù)定義如下：

其中，α是HOG 特征的權(quán)重系數(shù)，α∈[0,1]。

MSRM 算法與改進(jìn)的MSRM 算法比較如圖3 所示。從原始圖a1和b1的黑色矩形框中可以看出水下礁石模糊的輪廓，礁石與背景顏色很難區(qū)分。當(dāng)直接使用MSRM 算法時(shí)，此時(shí)礁石邊緣被背景區(qū)域合并，導(dǎo)致分割不完整。采用改進(jìn)的MSRM 算法可保持較完整的邊界輪廓，對(duì)通過(guò)顏色特征難以區(qū)分的模糊邊界具有較好的區(qū)分效果。

Fig.3 Background and foreground segmentation effect of MSRM algorithm and improved MSRM algorithm圖3 MSRM 算法和改進(jìn)的MSRM 算法背景與前景分割效果

另外，本文對(duì)前景與背景分割精度進(jìn)行了定量評(píng)估，使用分割正確率R 作為評(píng)估標(biāo)準(zhǔn)。R 表示為：

由此可計(jì)算出圖a1采用MSRM 算法分割的正確率為96.7%，改進(jìn)后的MSRM 算法分割正確率為98.8%，精度提高了2.1%。圖b1采用MSRM 算法分割的正確率為97.8%，改進(jìn)后的MSRM算法分割正確率為99.2%，精度提高了1.4%。

1.3 背景區(qū)域分塊與提取

通過(guò)改進(jìn)的MSRM 算法可實(shí)現(xiàn)背景與前景的分離，對(duì)背景區(qū)域進(jìn)行特征提取與擬合多元高斯分布，需要去除背景區(qū)域的空白部分，并把背景區(qū)域分成若干小塊。主要分為3 個(gè)步驟：①把圖像分成P*P 的圖像塊；②檢測(cè)圖像塊中是否有空白區(qū)域（空白區(qū)域RGB 三通道的值均為255）；③若有空白區(qū)域（即背景塊）則舍去，若沒(méi)有空白區(qū)域則保留。若背景塊數(shù)量小于12，則把圖像分成更多的（p-20）*（p-20）圖像塊，直到背景塊數(shù)量達(dá)到12 結(jié)束循環(huán)（注：背景塊數(shù)量大于等于12 時(shí)，在進(jìn)行擬合多元高斯分布時(shí)其均值和協(xié)方差矩陣數(shù)值穩(wěn)定）。

2 背景區(qū)域特征提取與建模

2.1 顏色特征

Lab 是一種基于生理特征的顏色系統(tǒng)，其采用數(shù)字化方法描述人的視覺(jué)感應(yīng)。Lab 顏色空間中的L 分量用于表示像素亮度，取值范圍為［0，100］，表示從純黑到純白；a 表示從紅色到灰色再到綠色的范圍，取值范圍為［127，-128］；b 表示從黃色到灰色再到藍(lán)色的范圍，取值范圍為［127，-128］。因此，可采用Lab 顏色空間的a、b 兩個(gè)顏色通道作為顏色特征。

由于水對(duì)光的吸收，導(dǎo)致水下圖像通常會(huì)偏綠或偏藍(lán)。圖4 為來(lái)自海洋牧場(chǎng)的真實(shí)水下圖像及UWCNN［17］生成圖像，其中圖4（a）是水下偏藍(lán)圖像，圖4（c）、圖4（e）是UWCNN 生成的兩種偏藍(lán)類型圖像。圖4（b）中的背景在Lab 顏色空間分別取a、b 兩個(gè)顏色通道的平均值，則a=-45.82，b=8.21；圖（d）中的背景a=-14.56，b=-6.32；圖4（f）中的背景a=-24.73，b=2.28。從圖8 中可以看出，圖4（e）比4（c）更偏藍(lán)一點(diǎn)，因此圖4（e）背景中的兩個(gè)顏色通道平均值與圖4（a）更加接近。

Fig.4 Real underwater images and generated images圖4 真實(shí)水下圖像與生成圖像

2.2 飽和度特征

色彩飽和度（saturation）是指色彩的鮮艷程度，也稱為純度。在色彩學(xué)中，原色飽和度最高，隨著飽和度的下降，色彩變得暗淡直至成為無(wú)彩色，即失去色相的色彩。

如圖4 所示，圖4（b）中的背景飽和度平均值s=0.65，圖4（d）中的背景飽和度平均值s=0.29，圖4（f）中的背景飽和度平均值s=0.37。隨著顏色的加深，圖像的色彩飽和度不斷增加，水下圖像具有較高的飽和度。

2.3 對(duì)比度特征

對(duì)于水下圖像，對(duì)比度下降通常是由后向散射引起的。在本文中，對(duì)比度是通過(guò)在圖像上應(yīng)用logAMEE 進(jìn)行測(cè)量的［18］。

其中，圖像被分成k1*k2個(gè)區(qū)域，⊕、Θ、?是克羅內(nèi)克和、差與積運(yùn)算。

分別對(duì)圖4 中的背景圖（b）、（d）、（f）測(cè)量對(duì)比度，由于背景區(qū)域的像素強(qiáng)度接近，導(dǎo)致其對(duì)比度很低。在計(jì)算圖像對(duì)比度的過(guò)程中，發(fā)現(xiàn)背景區(qū)域會(huì)降低圖像整體的對(duì)比度。采用加權(quán)平均方式計(jì)算對(duì)比度，可減少背景區(qū)域的影響，即分別計(jì)算原圖與背景圖的對(duì)比度，然后乘以權(quán)重系數(shù)η（通常取η=0.5）。因此，圖4（a）的對(duì)比度Contrast=0.23，圖c 的對(duì)比度Contrast=0.16，圖4（e）的對(duì)比度Contrast=0.07。圖4（e）中圖像出現(xiàn)了霧狀，對(duì)比度最差，圖4（c）中圖像物體邊緣模糊不清，所以圖4（a）相比圖4（c）、圖4（e）更為清晰，對(duì)比度較高。

2.4 多元高斯模型

多元高斯分布是指一元高斯分布在向量形式的推廣，其概率密度函數(shù)形式如式（7）所示，主要參數(shù)為各個(gè)變量的均值和協(xié)方差矩陣。選擇一張測(cè)試圖像并分割出12 個(gè)背景圖，在每個(gè)背景圖中提取4 個(gè)特征，然后將12 組特征擬合成多元高斯分布，利用最大似然估計(jì)［19］得到均值和協(xié)方差矩陣，最后用馬氏距離度量測(cè)試圖像與真實(shí)水下偏藍(lán)圖像分布之間的距離。距離越小，則生成的圖像與真實(shí)的水下圖像越相似。

其中，(x1,…,xk)是提取的特征值，k=4；v和∑是多元高斯模型的均值與協(xié)方差矩陣。

其中，v1、v2和∑1、∑2是測(cè)試圖像與真實(shí)水下圖像多元高斯分布的均值及協(xié)方差矩陣。

3 實(shí)驗(yàn)評(píng)估

本次實(shí)驗(yàn)的真實(shí)水下圖像來(lái)自海洋牧場(chǎng)的偏藍(lán)圖像，部分圖像如圖5 所示。在水下圖像中分割出500 個(gè)背景圖，背景圖的尺寸范圍從32*32 到128*128，并在每個(gè)背景圖中提取兩個(gè)顏色通道（a，b），以及飽和度和對(duì)比度等4 個(gè)特征。然后將500 組特征擬合成多元高斯分布得到均值和協(xié)方差矩陣。

Fig.5 Underwater blueish image圖5 水下偏藍(lán)圖像

3.1 主觀評(píng)價(jià)

為了測(cè)試所提出指標(biāo)的性能，本文使用來(lái)自海洋牧場(chǎng)的真實(shí)水下偏藍(lán)圖像作為參考圖像，并使用UWCNN 生成TypeI、TypeII、TypeIII 以及UWGAN［20］生成TypeIV、TypeV的偏藍(lán)圖像作為測(cè)試圖像。邀請(qǐng)10 名學(xué)生分別對(duì)生成的每一張測(cè)試圖像進(jìn)行主觀評(píng)價(jià)，受邀者根據(jù)1-5 的尺度對(duì)測(cè)試圖像與參考圖像的相似度進(jìn)行評(píng)分。相似度越高，評(píng)分越接近1，相似度越低則越接近5，最后計(jì)算平均得分。為了說(shuō)明所提出的客觀評(píng)價(jià)指標(biāo)與主觀評(píng)價(jià)的相關(guān)性，采用皮爾遜相關(guān)系數(shù)（PRCC）和Spearman 的秩序相關(guān)系數(shù)（SRCC）進(jìn)行驗(yàn)證。本文將提出的UGIQE 指標(biāo)與目前先進(jìn)的水下彩色圖像評(píng)價(jià)指標(biāo)UCIQE、UIQM 及大氣彩色圖像評(píng)價(jià)指標(biāo)NIQE 進(jìn)行對(duì)比，結(jié)果如表1 所示。

Table 1 Comparison of UGIQE and advanced image evaluation indexes表1 UGIQE 與先進(jìn)的圖像評(píng)價(jià)指標(biāo)對(duì)比

從表1 可以看出，本文提出的UGIQE 指標(biāo)與主觀圖像質(zhì)量評(píng)價(jià)有較高的相關(guān)性，且性能優(yōu)于UIQM、UCIQE 和NIQE，可以很好地評(píng)價(jià)生成圖像質(zhì)量。

3.2 生成圖像質(zhì)量評(píng)價(jià)

近年來(lái)，研究者大多使用生成的水下圖像訓(xùn)練模型實(shí)現(xiàn)水下圖像的增強(qiáng)與復(fù)原，生成圖像的真實(shí)性決定了模型的準(zhǔn)確性。圖6 為UWCNN 生成TypeI、TypeII、TypeIII 以及UWGAN 生成TypeIV、TypeV 的偏藍(lán)圖像。對(duì)比各類方法生成圖像的效果，TypeIV 與海洋牧場(chǎng)真實(shí)的水下偏藍(lán)圖像較為相似，生成圖像效果較好。將UGIQE 指標(biāo)與先進(jìn)的圖像質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行比較，結(jié)果如表2 所示。從表中可以看出，UCIQE 與UIQM 指標(biāo)對(duì)TypeI、TypeII 和TypeIV 3 種類型圖像的區(qū)分度低，無(wú)法判斷哪種生成圖像效果較好。雖然NIQE 在數(shù)值上具有一定區(qū)分度，但無(wú)法根據(jù)數(shù)值大小判斷生成圖像質(zhì)量高低。相反，本文提出的UGIQE 指標(biāo)具有較好的區(qū)分度，從中可以看出TypeIV 類型數(shù)值最小，與真實(shí)的水下偏藍(lán)圖像相似度較高，圖像效果較好，并且與主觀評(píng)價(jià)一致。

Fig.6 Five types of underwaterblueish image圖6 生成的5 種類型水下偏藍(lán)圖像

Table 2 Comparison of UGIQE index and advanced image quality evaluation index表2 UGIQE 指標(biāo)與先進(jìn)的圖像質(zhì)量評(píng)價(jià)指標(biāo)比較

4 結(jié)語(yǔ)

本文提出一種水下生成圖像評(píng)價(jià)指標(biāo)UGIQE，首先采用超像素分割算法進(jìn)行預(yù)分割，然后通過(guò)改進(jìn)MSRM 融合算法分離出背景和前景，最后在背景圖中提取特征，擬合多元高斯模型，用馬氏距離度量單個(gè)生成圖像與真實(shí)水下圖像的相似性，從而建立客觀定量評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有水下圖像質(zhì)量評(píng)價(jià)方法相比，本文提出的UGIQE 方法更加有效，與人類視覺(jué)感官系統(tǒng)具有更高的一致性。此外，該方法能有效評(píng)價(jià)水下圖像生成模型的性能，并幫助模型選擇最優(yōu)參數(shù)。