基于多特征信息融合的彩色圖像復(fù)雜度研究*

馮丹青，陳 亮

（陸軍工程大學(xué)，江蘇 南京 210007）

0 引 言

復(fù)雜性是客觀存在固有特征的主觀反映，是衡量圖像分析或處理時(shí)難度的指標(biāo)[1]。對(duì)于圖像復(fù)雜度而言，如若圖像色彩越豐富，紋理越雜亂，形狀越多樣，其直觀感受的信息量越多，復(fù)雜度越高。學(xué)者根據(jù)實(shí)際應(yīng)用從不同角度給出復(fù)雜度計(jì)算方法，但是目前并沒有統(tǒng)一的計(jì)算公式。高振宇等人[1]提出了用圖像的信息熵、邊緣信息和紋理等相關(guān)因子來分析圖像的復(fù)雜度，最后用等權(quán)重系數(shù)加權(quán)求和來計(jì)算圖像的復(fù)雜度值。Mario等人[2]通過對(duì)圖像邊緣層百分比的分析來確定圖像的復(fù)雜度，并通過間隔映射函數(shù)得到具體數(shù)值。陳燕芹等[3]則基于圖像紋理，利用BP神經(jīng)網(wǎng)絡(luò)構(gòu)造評(píng)價(jià)模型，得到具體復(fù)雜度數(shù)值評(píng)估圖像。綜上所述，圖像復(fù)雜度可以從不同角度闡述，可細(xì)分為顏色復(fù)雜度、紋理復(fù)雜度和形狀復(fù)雜度，歸根究底就是描述圖像內(nèi)容豐富程度的物理量[4]。但是，上述文章均是基于灰度圖像的復(fù)雜度分析，大都從顏色、紋理或形狀單方面進(jìn)行評(píng)判。

本文基于視覺敏感度，探索彩色圖像的復(fù)雜度與顏色熵、能量、對(duì)比度、相關(guān)性、同質(zhì)性和邊緣比率六個(gè)特征之間的關(guān)系，應(yīng)用神經(jīng)網(wǎng)絡(luò)、遺傳優(yōu)化等相關(guān)，成立多特征信息融合的敏感度模型，并定義復(fù)雜度的圖像數(shù)學(xué)理論，為圖像、視頻等通信技術(shù)關(guān)于復(fù)雜度的影響與應(yīng)用奠定基礎(chǔ)。

1 圖像復(fù)雜度

圖像復(fù)雜度由圖像本身內(nèi)在屬性決定，涵蓋了圖像內(nèi)在價(jià)值、表現(xiàn)形式和處理難度，是圖像的綜合指標(biāo)。主觀評(píng)價(jià)以人為主，受制于人的知識(shí)見解等因素，而客觀評(píng)價(jià)的標(biāo)準(zhǔn)則建立在主觀評(píng)判之上，所以兩者相互依存，緊密聯(lián)系。

1.1 主觀評(píng)價(jià)

主觀評(píng)價(jià)是人作為主體對(duì)待評(píng)價(jià)圖像進(jìn)行評(píng)分的過程，該評(píng)價(jià)以人眼視覺系統(tǒng)為基準(zhǔn)，直觀簡(jiǎn)單，但是受限于主體對(duì)象和外界環(huán)境。整個(gè)過程中，人眼受到刺激，察覺到圖像的存在，這是淺層次過程，識(shí)別、判斷圖像則是深層次過程，最后通過主體反應(yīng)得到復(fù)雜度。可以理解為，主觀評(píng)價(jià)是圖像的外在復(fù)雜度和內(nèi)在復(fù)雜度的結(jié)合，對(duì)應(yīng)人認(rèn)知過程和理解過程。

目前主流的主觀評(píng)價(jià)基本是基于人眼視覺系統(tǒng)選擇定量評(píng)價(jià)者，按照評(píng)價(jià)者的主觀意識(shí)對(duì)圖庫(kù)里的圖像進(jìn)行打分，根據(jù)分?jǐn)?shù)計(jì)算方法得到該圖庫(kù)的圖像復(fù)雜度。比如，王[5]等人在主觀評(píng)價(jià)實(shí)驗(yàn)中通過人眼視覺系統(tǒng)將圖像復(fù)雜度分成3個(gè)等級(jí)，定義低等、中等和高等復(fù)雜度圖像的復(fù)雜度值評(píng)分范圍，評(píng)價(jià)者按照范圍進(jìn)行獨(dú)立判斷。多次實(shí)驗(yàn)后，用均值法計(jì)算出人眼視覺對(duì)一幅圖像復(fù)雜度的評(píng)分。本文圖像復(fù)雜度基于主流劃分方法分成三個(gè)等級(jí)，其劃分標(biāo)準(zhǔn)如下表1所示。

表1 圖像復(fù)雜度f級(jí)別

1.2 客觀評(píng)價(jià)

當(dāng)機(jī)器替換了人，評(píng)價(jià)模型取代了人眼視覺系統(tǒng)，此時(shí)運(yùn)算得到的評(píng)價(jià)稱為客觀評(píng)價(jià)。與主觀評(píng)價(jià)不同，客觀評(píng)價(jià)全程借助計(jì)算機(jī)進(jìn)行，其準(zhǔn)確性依賴于復(fù)雜度評(píng)價(jià)模型。目前，客觀評(píng)價(jià)基本從整體、區(qū)域和目標(biāo)角度出發(fā)，其中整體復(fù)雜度奠定圖像基調(diào)，區(qū)域復(fù)雜度則是圖像的局部分析，而目標(biāo)復(fù)雜度針對(duì)圖像中特定事物，是圖像的細(xì)節(jié)展示。

本文基于視覺敏感度，將待評(píng)價(jià)圖像進(jìn)行基于顏色、紋理和形狀三方面的特征提取，考慮到選取的特征需要反映出該圖像的復(fù)雜程度，因此選擇了顏色熵、能量、對(duì)比度、相關(guān)性、同質(zhì)性和邊緣比率六個(gè)特征，然后根據(jù)多特征信息融合建立復(fù)雜度評(píng)價(jià)模型，最后得到復(fù)雜度數(shù)值。

2 圖像復(fù)雜度特征提取

2.1 顏色特征提取

顏色特征是圖像最基本的特征[6]。根據(jù)人眼視覺系統(tǒng)，圖像的顏色越豐富，其復(fù)雜度就越大。顏色熵作為度量顏色多樣性的特征，其反映了圖像的顏色種類，因此本文選擇顏色熵作為圖像整體的特征，依照組合論的原則得到公式（1）[7]。其中，K代表圖像的顏色數(shù)量，Pi代表了第i種顏色值在圖像中出現(xiàn)的頻率。

現(xiàn)實(shí)生活中，RGB彩色模型使用廣泛，但是對(duì)于人眼視覺系統(tǒng)而言，最自然且直觀的是HSV彩色模型[8]。該模型由色調(diào)（H），飽和度（S）和明度（V）組成，它們通過方程式組（2）～（4）[9]沿著灰色軸使用RGB彩色立方體獲得。

在HSV彩色模型中，通常存在顏色由多維變成一維的量化過程，該過程能夠減少計(jì)算復(fù)雜度和降低存儲(chǔ)成本。在本文中，選擇非等間隔處理方法[5]，即分別對(duì)三個(gè)分量h、s、v進(jìn)行劃分，其中h被量化為16個(gè)等級(jí)，s被量化為4個(gè)等級(jí)，同樣v被量化為4個(gè)等級(jí)?；谌搜垡曈X系統(tǒng)，色調(diào)、飽和度、明度的重要性依次遞減，所以三個(gè)分量對(duì)應(yīng)不同的權(quán)重，最后合并成一維特征向量。通過以上步驟，模型把顏色這一特征量化至256級(jí)的空間。其具體量化過程如下式組（5）～（8）：

2.2 紋理特征提取

圖像的結(jié)構(gòu)特點(diǎn)反映在紋理上[10]，本文選擇選擇灰度共生矩陣?yán)锏哪芰?、?duì)比度、相關(guān)性和同質(zhì)性四部分進(jìn)行特征提取[11]?；叶裙采仃噂(i,j,d,θ)中，i、j作為兩像素的灰度值，d規(guī)定了兩者的距離，θ規(guī)定角度。一般情況下，θ∈ {0°,45°,90°,135°}，此時(shí)d∈{(0,d),(d,d),(d,0),(-d,d)}。

能量J反映了紋理厚度，當(dāng)紋理越粗時(shí)，J值越大，圖像的灰度均衡度越高。

對(duì)比度D對(duì)應(yīng)著圖像的清晰程度，溝紋的深淺決定了視覺清晰度的高低。

相關(guān)性C衡量了矩陣在行、列兩向元素的相似度，是局部灰度相關(guān)性的體現(xiàn)。C值越大，該矩陣元素?cái)?shù)值越勻稱。其中，μ1、μ2代表矩陣的行列的均值，σ1、σ2代表矩陣的行列的均方差。

同質(zhì)性Q詮釋了紋理局部變化，其度量著矩陣元素到對(duì)角線緊密度的分布情況。Q值越大，矩陣局部越平均，其變化越少。

當(dāng)θ∈ {0°,45°,90°,135°}，賦予不同方向的權(quán)值δ，這樣紋理特征與方向無關(guān)：

2.3 形狀特征提取

在空間狀態(tài)中，形狀作為圖像的重要特征，其代表了線條封閉的區(qū)域[12]。圖形特征表述依賴于圖像的輪廓邊界，本文選擇Canny邊緣檢測(cè)。上世紀(jì)80年代末，Canny[13]初次定義該檢測(cè)算子，其滿足下面3個(gè)條件：

（1）低誤判率檢測(cè)邊緣，盡可能捕獲圖像邊緣；

（2）定位精度高，檢測(cè)得到的邊緣點(diǎn)需位于在真實(shí)邊緣的中心；

（3）圖像中給定的邊緣應(yīng)只被標(biāo)記一次，抑制虛假邊緣。

首先，圖像預(yù)處理：選擇高斯濾波器展開平滑濾波，以此去除噪聲；繼而使用一階差分算子計(jì)算圖像的梯度大小和方向，此時(shí)對(duì)梯度大小采取非極值抑制，去除檢測(cè)引起的雜散響應(yīng)；最終采用雙閾值遞歸檢測(cè)確定邊緣點(diǎn)來完成邊緣提取。正是Canny算子采用雙閾值方法得到強(qiáng)弱兩邊緣，只有強(qiáng)弱邊緣相接聯(lián)，弱邊緣才會(huì)包含在最后的邊緣提取中。此方法易檢測(cè)出真實(shí)的弱邊緣。

通過Canny邊緣檢測(cè)后，采用邊緣比率公式14定量分析形狀特征，分母是圖像行列數(shù)乘積，分子Pcanny代表邊緣像素?cái)?shù)。一般情況下，邊緣比率越高，圖像復(fù)雜程度越高，反之亦然。

3 多特征信息融合的復(fù)雜度敏感模型

3.1 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)[14]的學(xué)習(xí)就是通過不斷調(diào)整神經(jīng)網(wǎng)絡(luò)權(quán)值直至獲取誤差函數(shù)最小值的過程。BP神經(jīng)網(wǎng)絡(luò)可以分為輸入、隱層和輸出三層，層間全部連接，層中的神經(jīng)元不會(huì)相互干涉。在前向傳播過程中，輸入信息依次經(jīng)過輸入層、隱層至輸出層，最后完成輸出。然后遵循降低理想輸出和現(xiàn)實(shí)輸出之間差值的理念，從輸出層逆向傳播，逐層修改連接權(quán)值，直到達(dá)到所需目標(biāo)。

BP神經(jīng)網(wǎng)絡(luò)在未知條件下，利用輸入、輸出矢量訓(xùn)練，能夠逼近所求函數(shù)，得到科學(xué)有效的指標(biāo)權(quán)重。值得注意的是，隱含層的層數(shù)、各層的神經(jīng)元數(shù)量需要視實(shí)際設(shè)定，其性能隨著結(jié)構(gòu)的改變而改變。同時(shí)，初始權(quán)值和閾值的抉擇值得思考，這部分參數(shù)決定了網(wǎng)絡(luò)的收斂效率，因此在初始值這部分加入遺傳算法，優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，以便得到更優(yōu)的預(yù)測(cè)值?；谶z傳算法“全局最優(yōu)”的特征[15]，利用個(gè)體形成網(wǎng)絡(luò)的初始權(quán)重及閾值，獲得初始化網(wǎng)絡(luò)預(yù)測(cè)誤差，以形成個(gè)體的適應(yīng)度值，經(jīng)歷選擇、交叉或變異不同操作尋找最優(yōu)個(gè)體，得到網(wǎng)絡(luò)最終的初始權(quán)重及閾值。

3.2 評(píng)價(jià)指標(biāo)體系

本文主要考慮圖像復(fù)雜度的影響因素，基于顏色、紋理和形狀三方面評(píng)價(jià)，其指標(biāo)如圖1所示。

圖1 評(píng)價(jià)指標(biāo)分類圖

3.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)上述的評(píng)價(jià)指標(biāo)體系，確定神經(jīng)網(wǎng)絡(luò)輸入層具有六個(gè)處理單元，并且輸出層具有一個(gè)處理單元。關(guān)于隱含層的層數(shù)，考慮到單層隱含層的BP神經(jīng)網(wǎng)絡(luò)基本涵蓋了任意維數(shù)之間的映射問題，本文采取常規(guī)三層結(jié)構(gòu)，保證計(jì)算效率。而隱含層的神經(jīng)元數(shù)量，由于層中神經(jīng)元越多越容易收斂，但過多的數(shù)量只會(huì)增加計(jì)算量，因此本文根據(jù)網(wǎng)絡(luò)大小確定數(shù)量為六。該神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)參數(shù)如表2所示。

表2 圖像復(fù)雜度神經(jīng)網(wǎng)絡(luò)參數(shù)

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)

選取220張彩色圖像進(jìn)行主觀評(píng)價(jià)，得到的評(píng)價(jià)分?jǐn)?shù)均值就是最終的圖像復(fù)雜度值，并將圖庫(kù)劃分成復(fù)雜、中等和簡(jiǎn)單三部分。圖2給出了圖庫(kù)中部分圖像主觀復(fù)雜度評(píng)價(jià)分?jǐn)?shù)數(shù)據(jù)集，在此基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。

圖2 部分圖像主觀分?jǐn)?shù)數(shù)據(jù)集

神經(jīng)網(wǎng)絡(luò)的建立可得到神經(jīng)元之間的關(guān)系，但是輸入層與輸出層對(duì)應(yīng)關(guān)系，即各項(xiàng)評(píng)價(jià)指標(biāo)權(quán)值需要在神經(jīng)元的基礎(chǔ)上處理分析[16]，其過程如式（15）～（17）所示。其中，i=1…m，j=1…n，k=1…p分別作為輸入、輸出和隱層三層的神經(jīng)元，ωjk為隱層神經(jīng)元k同輸出神經(jīng)元j的權(quán)重，ωki為輸入神經(jīng)元i同隱層神經(jīng)元k的權(quán)重，Sij為絕對(duì)影響系數(shù)即評(píng)價(jià)指標(biāo)權(quán)重。

按照式（15）～（17），獲得本文的各項(xiàng)評(píng)價(jià)指標(biāo)權(quán)重，數(shù)值見表3。

表3 圖像復(fù)雜度評(píng)價(jià)指標(biāo)權(quán)重

各項(xiàng)評(píng)價(jià)指標(biāo)權(quán)重作為敏感因子λ組成評(píng)價(jià)指標(biāo)體系，最終圖像復(fù)雜度敏感模型的數(shù)學(xué)公式為：

4.2 結(jié)果分析

神經(jīng)網(wǎng)絡(luò)建成后，選擇彩色圖像進(jìn)行測(cè)試，圖3為部分測(cè)試圖像。選用文獻(xiàn)[2]中的人類視覺復(fù)雜度相關(guān)數(shù)據(jù)，和文獻(xiàn)[3]基于圖像紋理的BP神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)方案得到的結(jié)果作為參考，驗(yàn)證本文復(fù)雜度計(jì)算的有效性，其結(jié)果如表4所示。

圖3 部分測(cè)試圖

表4 不同圖像復(fù)雜度評(píng)價(jià)體系對(duì)比表

由表4可知，本文算法下的測(cè)試圖片主客觀評(píng)價(jià)等級(jí)一致，同時(shí)復(fù)雜度與視覺復(fù)雜度較為吻合，大部分?jǐn)?shù)據(jù)優(yōu)于文獻(xiàn)[3]，結(jié)果證明該方法是正確的。由于該方法不受限于人的觀察影響，與視覺復(fù)雜度具有相關(guān)一致性，該算法適用于彩色圖像復(fù)雜度度量的應(yīng)用。

對(duì)圖像就局部分析，以圖3（b）Lena圖為例，圖像分塊處理，得到64*64的子塊，并完成所有子塊復(fù)雜度計(jì)算。已知Lena圖像隸屬中等復(fù)雜度圖像，主觀復(fù)雜度為0.52，本文整體復(fù)雜度為0.386 4。表5展示了該圖像子塊復(fù)雜度的分布情況，其中一半以上子塊隸屬于中等子塊，三分之一左右的子塊從屬于簡(jiǎn)單子塊，只有約10%的子塊屬于復(fù)雜子塊。其中，圖像全部子塊的均值為0.438 4，與整體復(fù)雜度相差不大，同屬于中等類別。這驗(yàn)證了圖像的整體復(fù)雜度是局部復(fù)雜度的基礎(chǔ)，而局部復(fù)雜度也會(huì)影響整體復(fù)雜度。

表5 圖像子塊復(fù)雜度分類表

為了更好的理解整體、區(qū)域和目標(biāo)之間的關(guān)系，圖4展示了圖像子塊類別對(duì)照?qǐng)D。根據(jù)人眼視覺系統(tǒng)，絕大多數(shù)子塊屬于中等類別，敏感的視覺系統(tǒng)能夠接收到子塊顏色的轉(zhuǎn)變、形狀的劃分和凹凸不平感；背景中的部分平緩子塊顏色無突兀，紋理不明顯，主客觀評(píng)價(jià)一致為簡(jiǎn)單子塊；而圖像中女士帽檐裝飾物那部分主觀評(píng)價(jià)屬于復(fù)雜類別，與對(duì)應(yīng)的客觀評(píng)價(jià)一致。通過圖4，證明了該復(fù)雜度敏感模型符合人眼視覺系統(tǒng)。

圖4 圖像子塊類別對(duì)照?qǐng)D

5 結(jié) 語(yǔ)

本文基于人眼視覺系統(tǒng)，從彩色圖像出發(fā)，綜合顏色、紋理、形狀三方面，提取顏色熵、能量、對(duì)比度、相關(guān)性、同質(zhì)性和邊緣比率六個(gè)特征，選用遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)，構(gòu)建了基于多特征信息融合的彩色圖像復(fù)雜度敏感模型。同時(shí)，通過BP神經(jīng)網(wǎng)絡(luò)得到各評(píng)價(jià)指標(biāo)權(quán)重，建立評(píng)價(jià)指標(biāo)體系。實(shí)驗(yàn)結(jié)果表明，針對(duì)整體、區(qū)域、目標(biāo)不同方面，該圖像復(fù)雜度敏感模型均與人眼視覺系統(tǒng)一致，且評(píng)價(jià)指標(biāo)體系能夠準(zhǔn)確地闡述彩色圖像的復(fù)雜度，為圖像、視頻等通信技術(shù)在復(fù)雜度的后續(xù)研究提供了理論支撐。