基于視覺顯著性的農(nóng)作物圖像評價方法研究

李江龍，鮑義東，陳 果

(貴州航天智慧農(nóng)業(yè)有限公司，貴州 貴陽 550081)

0 引 言

21世紀(jì)的農(nóng)業(yè)管理是以信息為核心，同時集智能機(jī)械、計算機(jī)圖像圖形可視化以及互聯(lián)網(wǎng)技術(shù)為一體的智慧農(nóng)業(yè)時代。目前，數(shù)字圖像相對于傳統(tǒng)照片具有成本低、便攜性強(qiáng)、易分析等優(yōu)勢，已經(jīng)廣泛應(yīng)用于農(nóng)業(yè)領(lǐng)域，如農(nóng)作物病蟲害分析、農(nóng)作物長勢監(jiān)測以及農(nóng)作物產(chǎn)量預(yù)測等。顯然，一幅具有高清晰度、對比度以及無污染的農(nóng)作物圖像是保證后續(xù)有價值信息提取的關(guān)鍵。然而，在實際情況中，由于受到圖像采集設(shè)備和環(huán)境，以及圖像壓縮編碼、傳輸信道中隨機(jī)噪聲、終端解碼的影響，終端獲得的農(nóng)作物圖像質(zhì)量往往并不十分理想，嚴(yán)重降低了有用信息的可信度。因此，該文致力于設(shè)計一種有效的農(nóng)作物圖像質(zhì)量評價方法，這對于提升農(nóng)作物信息化管理具有非常重要的理論和現(xiàn)實意義[1-2]。

一般來說，數(shù)字圖像質(zhì)量評價方法根據(jù)是否有人的參與分為主觀評價方法和客觀評價方法[3]。主觀評價方法通常是由一組非圖像處理專業(yè)人員組成的測試者在相同的環(huán)境和標(biāo)準(zhǔn)下對圖像質(zhì)量進(jìn)行主觀評分，國際電信聯(lián)盟對相關(guān)標(biāo)準(zhǔn)和環(huán)境進(jìn)行了詳細(xì)的設(shè)定[4]。主觀評價方法用人作為評價圖像質(zhì)量的主體，能得到滿意的結(jié)果，但是，該方法存在不少缺陷：實驗環(huán)境嚴(yán)格，需要大量的人員和時間，非常耗時耗力。并且，在一定程度上，主觀評價方法受測試者的專業(yè)知識水平以及心理承受能力等主觀非線性因素影響，很難用于實際工程測量中，而只是作為圖像質(zhì)量分析的輔助手段。與此相反，客觀評價方法不需要人的參與，通過一個合適的、簡單的、易于實現(xiàn)的計算模型來獲得圖像的質(zhì)量評分。同時，該計算模型可以通過模擬人眼視覺特征得到與主觀評價方法相似的質(zhì)量評估結(jié)果。

具體來說，按照對參考圖像信息的依賴程度，客觀評價方法可以分為以下三類：全參考圖像質(zhì)量評價 (full-reference，F(xiàn)R)、半?yún)⒖紙D像質(zhì)量評價(reduced-reference，RR)、無參考圖像質(zhì)量評價 (no-reference，NR)[5]。當(dāng)前，全參考質(zhì)量評價方法能夠取得較好的評價結(jié)果，是因為全參考質(zhì)量評價方法是通過比較失真圖像和原參考圖像對應(yīng)像素點的差異來進(jìn)行評價，需要使用原參考圖像的全部有效信息[6-7]，但一個不可避免的問題是實際監(jiān)測系統(tǒng)中參考信息往往是缺失的。相反，無參考質(zhì)量評價方法不需要使用原參考圖像的信息，更符合實際需求。雖然對人來說，即使沒有原參考圖像，也能很輕松地判斷出圖像的失真程度，但對計算機(jī)而言，無參考評價方法的準(zhǔn)確度仍然需要進(jìn)一步提升[8-9]。半?yún)⒖假|(zhì)量評價方法是全參考方法和無參考方法的折中，僅需要原參考圖像的部分特征作為參考信息，具有數(shù)據(jù)量小，時間和空間復(fù)雜度低等優(yōu)點[10-11]。因此，文中以農(nóng)作物圖像為研究對象，以視覺顯著性為理論分析依據(jù)，建立一種半?yún)⒖假|(zhì)量評價方法用于提升智慧農(nóng)業(yè)中信息的有效性和可靠性。

1 理論基礎(chǔ)

1.1 視覺顯著性

根據(jù)視覺目標(biāo)刺激的不同，人類在其自身的視覺系統(tǒng)的調(diào)度下，選擇性地將注意力集中分配在某些特定區(qū)域的生理機(jī)制叫做視覺顯著性機(jī)制[12](visual saliency)。人的視覺系統(tǒng)可以在復(fù)雜的背景下，快速準(zhǔn)確地搜索到場景中的顯著性區(qū)域。在計算機(jī)領(lǐng)域，視覺信息通常被轉(zhuǎn)換為圖像信息，將視覺顯著性機(jī)制引入到圖像處理領(lǐng)域，就發(fā)展出了圖像的顯著性這一研究方向。圖像的視覺顯著性區(qū)域是指圖像中的某些像素點比其他部分更能吸引視覺注意，是人眼視覺系統(tǒng)最關(guān)注的一部分。顯然，發(fā)生在顯著性區(qū)域的失真或者形變更容易被感知，進(jìn)而影響評價的結(jié)果。這極大地促使人們?nèi)タ紤]提取圖像的視覺顯著特征來衡量農(nóng)作物圖像的質(zhì)量。人對于圖像的注意力視覺選擇機(jī)制包括至底向上(bottom-up)和由頂而下(top-down)兩種，而對于農(nóng)作物圖像顯著性檢測而言，主要關(guān)注的區(qū)域是與周邊區(qū)域差距十分明顯的不同點，是一種至底向上的注意力機(jī)制。具體來說，文中采用frequency-tuned (FT)顯著性計算模型[13]去表征農(nóng)作物圖像的顏色和亮度特征，通過利用局部的亮度和顏色特征來獲取對應(yīng)像素點的顯著值，將求取的每個像素點的顯著值拼湊在一起形成顯著圖。FT模型的計算過程如下所述：

第一，Difference of Gaussian濾波(DoG，高斯差分濾波器)。農(nóng)作物圖像多在田間實際環(huán)境中采集，由于光照變化、拍照設(shè)備、傳輸通道的原因，農(nóng)作物圖像存在一些噪聲，采用高斯差分濾波器可以對圖像的噪聲進(jìn)行濾出。此外，DoG濾波器可以反映圖像局部的灰度對比值，在一定程度上體現(xiàn)了其在圖像中的顯著程度。在不同的尺度下，計算一幅圖像的DoG濾波結(jié)果，其計算公式如下：

G(x,y,σ1)-G(x,y,σ2)

(1)

第二，顏色空間轉(zhuǎn)換。顯而易見，無論是圖像還是場景，顏色變化是最明顯也最吸引人的顯著性特征。眾所周知，RGB顏色空間是目前應(yīng)用最廣泛、最基礎(chǔ)的顏色空間，是數(shù)字圖像采用的基本顏色表示，但當(dāng)亮度較低時，RGB模型無法體現(xiàn)顏色顯著性[14]。更多的研究者偏向使用CIE Lab模型，CIE Lab模型將亮度和色度區(qū)分開，更加符合人眼視覺模型。因此，文中將圖像從RGB顏色空間轉(zhuǎn)換到CIE Lab顏色空間，其中L分量表示亮度信息，a和b分量表示兩個顏色信息，轉(zhuǎn)換公式如下所示：

(2)

(3)

其中，x0=0.950 456，y0=1.0，z0=1.088 754。

(4)

第三，顯著性區(qū)域計算。假設(shè)Lu，au，bu是CIE Lab顏色空間三個分量的均值，并且使用Lf，af，bf分別表示經(jīng)過DoG濾波后的三個分量的結(jié)果，則最終的顯著性區(qū)域可以通過如下公式得到：

S(x,y)=‖Lu-Lf‖+‖au-af‖+‖bu-bf‖

(5)

在圖1中，(a)是一幅農(nóng)作物圖像，圖(b)是農(nóng)作物圖像(a)受到椒鹽噪聲污染后的結(jié)果，使用FT視覺顯著性模型分別計算(a)和(b)的顯著性圖，如(c)和(d)所示。通過圖1能夠發(fā)現(xiàn)，當(dāng)原圖像遭受污染時，相應(yīng)的顯著性區(qū)域可以很好地反映出圖像質(zhì)量的退化，在此基礎(chǔ)上提取圖像特征能夠以人眼視覺系統(tǒng)為中心較好地評估客觀質(zhì)量。

圖1 農(nóng)作物圖像的視覺顯著性圖

1.2 梯度幅值

農(nóng)作物圖像相較于其他類型的數(shù)字圖像而言，往往具有更豐富的紋理、邊緣以及輪廓信息，這些信息能夠反映農(nóng)作物表面的共有屬性，能對農(nóng)作物圖像中的灰度和同質(zhì)規(guī)律的空間分布進(jìn)行描述。這些信息在很大程度上反映了農(nóng)作物的生長情況。例如，通過葉片的輪廓預(yù)測農(nóng)作物成熟時間，通過葉片紋理的粗細(xì)判斷農(nóng)作物長勢，通過葉片邊緣監(jiān)測農(nóng)作物是否有病蟲害等[15]。因此，對農(nóng)作物圖像進(jìn)行客觀質(zhì)量評價時，提取能夠反映其邊緣紋理信息變化的特征對最終的質(zhì)量評估具有重要意義。文中采用梯度幅值來刻畫農(nóng)作物圖像的邊緣紋理信息。

(6)

其中，hx和hy分別表示水平和垂直方法的卷積模板，用于從圖像中提取梯度信息。

(7)

(8)

在圖2中，(a)和(b)分別是農(nóng)作物圖像和受到椒鹽噪聲污染后的圖像，使用文中的梯度計算模型得到最終的梯度信息，如(c)和(d)所示。觀察圖2能夠發(fā)現(xiàn)，文中的計算模型可以很好地刻畫出農(nóng)作物圖像的邊緣和輪廓信息，并且當(dāng)原圖像發(fā)生失真時，對應(yīng)的梯度也遭受一定程度的退化。

圖2 農(nóng)作物圖像的梯度信息圖

2 算法描述

文中以農(nóng)作物圖像為研究對象，設(shè)計一種半?yún)⒖紙D像質(zhì)量評價方法，用于提升智慧農(nóng)業(yè)中信息的可靠性和有效性，同時為高層次的視覺任務(wù)提供有力的質(zhì)量篩選和評價。詳細(xì)的設(shè)計流程如圖3所示。

圖3 算法整體框圖

在發(fā)送端，利用文中提出的方法提取原參考圖像的直方圖特征，該特征將被發(fā)送到接收端作為原圖像的參考信息用于評價失真圖像質(zhì)量。詳細(xì)的算法步驟如下描述：

步驟1：對原參考圖像進(jìn)行高斯低通濾波操作，目的是初步降低隨機(jī)噪聲對后續(xù)特征提取的影響；

步驟2：利用FT顯著性模型計算預(yù)處理后的農(nóng)作物圖像的視覺顯著性區(qū)域，并對該視覺顯著性信息進(jìn)行歸一化處理；

步驟3：計算預(yù)處理后的農(nóng)作物圖像的梯度信息圖；

步驟4：利用步驟2生成的歸一化視覺顯著性圖對步驟3生成的梯度信息圖進(jìn)行視覺加權(quán)，得到最終的結(jié)合視覺顯著性和梯度幅值的標(biāo)準(zhǔn)圖像；

步驟5：對上一步得到標(biāo)準(zhǔn)圖像進(jìn)行非重疊分塊，對于每一個圖像塊，對應(yīng)的梯度方向信息根據(jù)需要分割成N個區(qū)間。例如，分割成12個區(qū)間，則意味著每個區(qū)間包含30度，整個直方圖包含12維。接著，按照每個像素點的梯度方向，利用雙線性內(nèi)插將其幅值累加到直方圖中；

步驟6：按照步驟5的操作，遍歷完所有的圖像塊，得到最終的直方圖特征。

在接收端，對于接收到的圖像，采用上述步驟得到失真圖像的直方圖特征，然后計算原參考圖像的直方圖特征與失真圖像直方圖特征之間的相似度。文中采用歐氏距離作為相似度的衡量標(biāo)準(zhǔn)，設(shè)發(fā)送端某參考圖像的特征向量為R(r1,r2,…,rn)，對應(yīng)的接收端失真圖像F的特征向量為F(f1,f2,…,fn)，n為向量的維數(shù)，用該方法評價參考圖像R和失真圖像F的距離公式為：

(9)

其中，ri，fi表示樣本向量的第i維，歐氏距離dEuclidean越小，表示發(fā)送端圖像R和接收端圖像F相似度越高，說明接收到的圖像質(zhì)量越好，即這幅圖像是可靠的，能夠用于農(nóng)作物的深層次任務(wù)分析。相反，如果歐氏距離較大，說明接收到的圖像質(zhì)量較差，并不適合于進(jìn)一步的分析。在實際的質(zhì)量監(jiān)測系統(tǒng)中，可以設(shè)置一個合適的閾值，小于該閾值，該圖像被接收并用于下一階段的任務(wù)分析，大于該閾值，該圖像則被直接過濾掉。這大大降低了接收端的存儲壓力，減少了人工操作的工作量，并且提供了更加快捷有效的農(nóng)作物圖像管理。

3 實驗結(jié)果

為了說明文中提出的半?yún)⒖嫁r(nóng)作物圖像質(zhì)量評價方法的有效性，首先在實驗中構(gòu)建了一個包含20幅農(nóng)作物圖像的數(shù)據(jù)庫，這些圖像均來自于真實的農(nóng)作物攝像采集系統(tǒng)。接著，利用Matlab工具對這20幅原圖像分別進(jìn)行五種失真攻擊，具體包含亮度調(diào)整，對比度調(diào)整，高斯模糊，白噪聲，JPEG2000壓縮。針對每一個失真攻擊，通過調(diào)整其對應(yīng)的參數(shù)獲得7個不同等級的失真圖像。因此，最終的圖像庫包含20幅原圖像，每幅圖像對應(yīng)35個不同類型，不同失真等級的失真圖像，即700幅失真圖像，共計720幅圖像。

此外，文中采用歐氏距離作為衡量參考特征(原圖像的直方圖特征)與失真圖像特征之間的相似度衡量標(biāo)準(zhǔn)，正如上面所描述的，歐氏距離越小，說明失真圖像和參考圖像的相似度越大，質(zhì)量更好，可信度更高。理論上，對于某一特定的失真類型，參考特征和失真圖像特征之間的歐氏距離應(yīng)該隨著失真等級的增加而嚴(yán)格單調(diào)增加，以方便于實際質(zhì)量評價系統(tǒng)中閾值的設(shè)置和圖像質(zhì)量的篩選。圖4給出了五種失真操作下，不同失真等級的歐氏距離分布，其中x軸表示7個不同程度的失真等級，y軸表示對應(yīng)的歐氏距離。觀察圖4能夠看出，文中提出的方法在每一種失真類型下，歐氏距離均隨著失真等級的增加而增加。這說明該方法能夠很好地感知失真圖像的質(zhì)量退化，正確識別好的圖像質(zhì)量和差的圖像質(zhì)量，滿足單調(diào)性要求。這很大程度上得益于在該方法設(shè)計過程中充分考慮了農(nóng)作物圖像的屬性，繼而結(jié)合圖像的視覺顯著性和梯度方向信息提取了能夠反映圖像質(zhì)量變化的直方圖特征。

圖4 不同失真類型的歐氏距離分布

4 結(jié)束語

文中提出了一種基于視覺顯著性的半?yún)⒖嫁r(nóng)作物圖像質(zhì)量評價方法，通過考慮農(nóng)作物圖像具有高對比度和邊緣輪廓的特征，在梯度域去提取方向直方圖特征來刻畫圖像質(zhì)量的變化。同時，引入視覺顯著性來強(qiáng)調(diào)人眼視覺系統(tǒng)在觀察圖像時的顯著區(qū)域，這極大地提升了提出的客觀評價方法與主觀方法的一致性，提升了質(zhì)量評價的準(zhǔn)確度。在包含有720幅農(nóng)作物圖像的圖像庫上做實驗，結(jié)果表明，該方法能夠非常好地感知圖像質(zhì)量的退化，可以應(yīng)用于實際的質(zhì)量監(jiān)測系統(tǒng)，并且在閾值的控制下可以自動過濾質(zhì)量差的圖像減少人力工作量。特別強(qiáng)調(diào)的是，由于真實場景中的圖像失真更加復(fù)雜，未來將會著重于多重失真的農(nóng)作物圖像質(zhì)量評價，以更好地服務(wù)于新型農(nóng)業(yè)信息化需求。