圖像情感語義分類及檢索研究

王華秋，胡立松

(重慶理工大學(xué) 計算機科學(xué)與工程學(xué)院， 重慶 400054)

圖像情感語義分類及檢索研究

王華秋，胡立松

(重慶理工大學(xué) 計算機科學(xué)與工程學(xué)院， 重慶 400054)

提高情感語義映射和檢索的準(zhǔn)確率是圖像檢索的研究主題。在情感語義映射模型中，將圖像的形狀七階矩和顏色矩作為模糊神經(jīng)網(wǎng)絡(luò)的輸入，對網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行二進(jìn)制編碼，作為遺傳算法的染色體串，通過遺傳算法尋優(yōu)得到情感語義映射效率最高的個體編碼。在檢索模型中，用遺傳算法對圖像匹配算法進(jìn)行優(yōu)化，直接找到最適合匹配的子模板坐標(biāo)。相比傳統(tǒng)的序貫相似檢測算法，模型大大提高了圖像匹配的效率。通過查全率與查準(zhǔn)率的對比結(jié)果可知，經(jīng)遺傳算法優(yōu)化后，圖像情感映射和檢索的性能均得到了明顯提升。

情感語義分類; 圖像檢索; 遺傳算法;模糊神經(jīng)網(wǎng)絡(luò);顏色矩;形狀七階矩

數(shù)字影像在互聯(lián)網(wǎng)的普及應(yīng)用在一定程度上促進(jìn)了數(shù)字圖像的實時檢索和處理技術(shù)的發(fā)展，各種檢索技術(shù)相繼問世。圖像的低層特征往往被用來匹配圖像的內(nèi)容，目前在不同的應(yīng)用中，對圖像的搜索需求度越來越大。本文對圖像情感語義進(jìn)行探討，通過提取低層特征來搜索圖像，以期達(dá)到大眾預(yù)想的結(jié)果。不同的圖像可以激起人類不同的情感，馮特最早提出情感的三維說，羅素則提出了情感分類的環(huán)狀模式。在當(dāng)前的心理學(xué)界，使用最多的是PAD情感模型，該模型提出了關(guān)于情感空間的理論概念，適用于情感檢測，因此PAD模型被廣泛應(yīng)用在心理學(xué)和產(chǎn)品滿意度等研究領(lǐng)域[1-2]。

關(guān)于低層特征，本文研究圖像中的顏色和形狀。顏色特征具有對圖像依賴小的特性，相比其他特征更加穩(wěn)定可靠[3]。形狀七階矩特征是對區(qū)域進(jìn)行相關(guān)描述的方法[4-5]，使用該方法時無需關(guān)注外部情況(諸如移動等各種外部變換)，只需對其內(nèi)部特征進(jìn)行了解即可，內(nèi)部情況才是影響描述區(qū)域的真正因素。

作為分類算法的模糊神經(jīng)網(wǎng)絡(luò)(FNN)是結(jié)合了模糊近似推理算法得到的一種較前沿的神經(jīng)網(wǎng)絡(luò)[6]。遺傳算法(GA)的核心算子是從大的解決方案的空間中隨機選擇一條染色體[7]，包括編碼、選擇、交叉以及突變等過程[8]。在GA中，基因分布在染色體上，是GA中的最小單位，一個染色體代表了一個可行方案，由多個染色體在一起就形成了一個群體[9-10]，即為一組解決問題的方案。

本文首先通過相關(guān)算法得到圖像的底層特征，對于可能激起人類不同情緒變化的圖片分別打上不同的標(biāo)簽，作為預(yù)測輸出；在模糊神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中不斷調(diào)整輸出誤差，使結(jié)果能與預(yù)測輸出得到最大程度上的近似。為了得到更好的圖像分類效果，本文中還加入了遺傳算法對網(wǎng)絡(luò)進(jìn)行優(yōu)化，進(jìn)一步得到最優(yōu)解。

1 底層特征提取

1.1 顏色矩特征

本文提取的R、G、B的顏色矩各有三維，分別代表均值、方差、協(xié)方差。該方法的最大優(yōu)勢在于不需要再對提取出來的特征進(jìn)行量化，其表示形式如下：

(1)

(2)

(3)

式中：μi為均值，μi越小，則圖像越暗；σi表示方差，σi越小，則對應(yīng)的顏色分布越窄；si表示協(xié)方差，當(dāng)si>0時，圖像為正偏；si<0時，圖像為負(fù)偏；si=0時，圖像的顏色分布是對稱的。

1.2 形狀特征提取

對于已給的數(shù)字圖像函數(shù)f(x,y)的(p,q)階矩，定義為：

(4)

質(zhì)心為

xc=m10/m00,yc=m01m00

(5)

則(p,q)階中心矩為

(6)

在數(shù)字圖像中，上述積分可以采用以下形式：

(7)

標(biāo)準(zhǔn)化后的中心矩為

(8)

由此可以得到7個不變矩：

m1=η2,0+η0,2

(9)

(10)

m3=(η3,0-η1,2)2+(3η2,1+η0,3)2

(11)

m4=(η3,0+η1,2)2+(3η2,1+η0,3)2

(12)

m5=(η3,0-3η1,2)(3η3,0+η1,2)·

[(η3,0+η1,2)2-(3η3,0+η1,2)2]+

(3η2,1-3η3,0)(η0,3+η2,1)·

[3(η3,0+η1,2)2-(η0,3+η2,1)2]

(13)

m6=(η2,0-η0,2)[(η3,0+η1,2)2-

(η0,3+η2,1)2]+4η1,1·

(η3,0+η1,2)(η0,3+η2,1)

(14)

m7=(3η2,1-η0,3)(η3,0+η1,2)·

[(η3,0+η1,2)2-(3η2,1+η3,0)2]+

(3η1,2-3η3,0)(η0,3+η2,1)·

[3(η3,0+η1,2)2-(η1,2+η0,3)2]

(15)

1.3 特征歸一化

形狀與顏色作為不同的特征，在提取完成之后需要進(jìn)行相應(yīng)的處理才能作為本文中神經(jīng)網(wǎng)絡(luò)的輸入量，這里對形狀和顏色做線性放縮處理，即歸一化，如式(16)所示：

(16)

2 模糊神經(jīng)網(wǎng)絡(luò)

模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)見圖1，其中：C1,C2,…，Ci表示顏色特征輸入量，S1,S2,…,Sj表示形狀特征輸入量，Y1，Y2，…，Yn表示圖像的情感語義。

FNN的第1層將輸入量進(jìn)行模糊化，設(shè)第i個輸入xi模糊化后的隸屬度為μi(xi)，則：

(17)

其中：b>0，表示xi的標(biāo)準(zhǔn)方差；a為均值。

第2層完成輸入到輸出的映射，采用的函數(shù)為：

(18)

第3層輸出模糊值，第4層實現(xiàn)解模糊。

圖1 模糊神經(jīng)網(wǎng)絡(luò)模型

3 遺傳算法

3.1 二進(jìn)制編碼

GA的基礎(chǔ)是編碼，本文將模糊神經(jīng)網(wǎng)絡(luò)(FNN)的閾值以及各層之間相互連接的權(quán)重連接起來形成編碼。

本文采用二進(jìn)制編碼，與其他編碼方式相比更加快捷。對種群進(jìn)行一一編碼時，種群中的每個個體都是1個由0和1組成的二進(jìn)制串。首先將FNN的權(quán)值閾值用二進(jìn)制串表示，若權(quán)值實際取值變化范圍為[X1,X2]，則采用二進(jìn)制編碼，表示值Xij與實際值的關(guān)系為

(19)

binrep是用L位字符串表示的二進(jìn)制整數(shù)，同理求出對應(yīng)的閾值編碼θij，此后將所有的權(quán)值閾值編碼連接起來形成一個個體編碼串。

在編碼完成之后求適應(yīng)度值。每個個體對應(yīng)的FNN的權(quán)重和閾值都不盡相同，通過訓(xùn)練集中的數(shù)據(jù)起到訓(xùn)練網(wǎng)絡(luò)模型的作用。在本文中，用式(20)(21)求適應(yīng)度值：

Fi=1/MSR

(20)

(21)

本文中的最大遺傳代數(shù)為50，產(chǎn)生最好預(yù)測結(jié)果的FNN參數(shù)對應(yīng)于GA的最優(yōu)解決方案。

3.2 選擇

選擇過程中將染色體單位的適應(yīng)度高低值作為評定標(biāo)準(zhǔn)。大部分情況下，值高的染色體生存的機會也更大，相對而言，值低的將面臨被排除。對于染色體i，若Fi是相應(yīng)的適應(yīng)度值，則選擇過程比較的指標(biāo)如式(22)(23)所示：

(22)

(23)

其中：c為系數(shù)；n為個體數(shù)量，本文中取n=80。

3.3 交叉

交叉發(fā)生在成對的染色體個體之間，兩兩之間進(jìn)行任意性的交叉，設(shè)個體的長度為L，定義一個1～(L-1)范圍的任意的正整數(shù)作為交叉點，隨后讓2個染色體進(jìn)行交叉，從而得到新的個體。在j位置處，個體ak和al進(jìn)行實數(shù)交叉的公式如式(24)(25)所示：

(24)

(25)

f(g)=r2(1-g/Gmax)

(26)

(27)

式中各參數(shù)意義見表1。

表1 參數(shù)意義

4 檢索系統(tǒng)的實現(xiàn)

4.1 情感語義映射

本文采用的自然圖像庫中有1 000張圖片，分為古樸、和諧、清爽、自然、嫵媚、生機、巍峨、鮮艷、希望、活躍10類。作為高層語義輸出，每類選取80張圖片作為訓(xùn)練集，20張圖片作為測試集。本文中將顏色矩加上7階不變矩共16維向量作為神經(jīng)網(wǎng)絡(luò)的輸入，即輸入節(jié)點為16個，圖像情感分為10類。其中，訓(xùn)練集的輸入是圖像的低層特征,在網(wǎng)絡(luò)訓(xùn)練完成之后加入測試集對構(gòu)建好的學(xué)習(xí)模型進(jìn)行測試。

圖像的情感指的是一幅圖片給人的最直觀的感受。例如：藍(lán)色大海的沙灘邊度假的圖片往往給人一種很清爽的感覺，微小的生命如蝴蝶的起舞展示出了勃勃生機的情感，遠(yuǎn)古建筑投射出一股莊嚴(yán)古樸的氣息，常見的風(fēng)景圖描述了自然界的風(fēng)光，色彩感很強的圖片(如綠色)凸顯了活躍的氛圍，生物界動物的日常作息彰顯了萬物與自然環(huán)境的和諧共處，嬌艷的花朵給觀賞者的最直接感受是嫵媚，日出時天邊的緋紅代表了生生不息的希望，雄偉高大的山峰展現(xiàn)了巍峨的身姿，色彩繽紛的食品外觀看起來十分鮮艷。本文依據(jù)人對圖片最直接的情感劃分進(jìn)行圖像檢索，將情感類別分為10類，具體研究內(nèi)容如下文所述。

本文有語義映射和圖像檢索兩大部分，其中情感語義映射采用語義映射的準(zhǔn)確率即precise來判斷優(yōu)劣，其公式如式(28)所示：

(28)

precise指圖像情感語義被正確映射的數(shù)量與總的需要被映射的圖片數(shù)量的比值，通過使用優(yōu)化前后的模糊神經(jīng)網(wǎng)絡(luò)分別進(jìn)行映射過程，即FNN和GA-FNN，用平均值作為映射的結(jié)果。

任意選擇5組語義進(jìn)行映射，得到FNN和GA-FNN的數(shù)據(jù)統(tǒng)計，見表2。

從表2可以得知：采用GA優(yōu)化后的FNN的準(zhǔn)確率相比傳統(tǒng)的FNN提高了7.6%，起到了較好的優(yōu)化作用，提高了系統(tǒng)的準(zhǔn)確度。

在進(jìn)行情感語義映射的過程中，任選一種情感的圖片進(jìn)行映射，結(jié)果以直方圖的形式展示出來。

本文將GA優(yōu)化后的FNN與未優(yōu)化的FNN進(jìn)行對比。例如，清爽類圖片使用FNN進(jìn)行情感語義映射的系統(tǒng)展示見圖2。使用GA優(yōu)化后的FNN語義映射展示見圖3。對比映射結(jié)果可知：GA-FNN的情感語義映射準(zhǔn)確率要顯著優(yōu)于FNN。

圖2 FNN語義映射的結(jié)果

圖3 GA-FNN的語義映射結(jié)果

4.2 圖像匹配算法

本文中的圖像檢索模塊采用圖像匹配算法中的序貫相似檢測算法，即SSDA。使用SSDA算法可以保證圖像匹配的全局最優(yōu)性，以往的模板匹配算法是在未知的圖像中尋找對應(yīng)已知模型的子圖像，將需要被搜索的圖像與要被匹配的圖像進(jìn)行空間上的對準(zhǔn)。首先把模板T(M×N)放在被搜索圖像S(W×H)上，隨后平移，令與T進(jìn)行匹配的子圖像為Sxy(x和y為子圖像像素點在圖像上的坐標(biāo))，將T與Sxy進(jìn)行相似度匹配，計算兩者差的平方D(x,y)，即:

(29)

將D(x,y)展開，得:

(30)

等號右邊第1項為Sij的能量，第2項為T與Sij的相關(guān)程度，第3項為T的能量，兩者的相關(guān)程度用R(x,y)表示，即:

(31)

R(x,y)也稱匹配度量函數(shù)，范圍為[0,1]。R(x,y) 越大，則表明模板與子圖像之間的相關(guān)度越高，若R(x,y)=1，則表明T與Sxy完全一致。

傳統(tǒng)的圖像匹配算法存在計算量過大、匹配速度慢等缺點，針對此，本文中提出了SSDA算法。該算法在原有匹配方法的基礎(chǔ)上由用戶自行設(shè)定一個閾值，若當(dāng)前位置匹配得到的相關(guān)程度小于閾值，則直接停止此次運算轉(zhuǎn)而進(jìn)行下一次匹配過程，由此在一定程度上提高匹配速度。令D(n)為T與Sxy差的絕對值，即:

(32)

由于圖像匹配的主要過程是找到匹配的最佳位置，所以最優(yōu)解可以由坐標(biāo)來體現(xiàn)。使用遺傳算法來尋找最佳位置就是采用二進(jìn)制編碼方式得到對應(yīng)坐標(biāo)的二進(jìn)制編碼，即子圖像Sij中的i和j的二進(jìn)制編碼，隨后將該編碼作為初始個體，開始遺傳算法尋優(yōu)過程。二進(jìn)制編碼的過程如前文所述。

圖像匹配中用來與子圖像匹配的子模板的劃分為：

T(x,y)=T1(x1,y1)∪T2(x2,y2)∪…

∪TN(xN,yN)

(33)

式中，Ti(xi,yi)(i=1,2,…,N)是用來與子圖像匹配的子模板，本文中匹配度量函數(shù)R(x,y)是每一次匹配中得到的匹配度量函數(shù)Ri(x,y)(i=1,2…,N)的加權(quán)和。在本文中，遺傳算法的適應(yīng)度函數(shù)f(x,y)表述如下:

(34)

式中ci是相應(yīng)的權(quán)系數(shù)。

本文首先把圖像均分成14×8=112個區(qū)域，每一個區(qū)域?qū)?yīng)一個個體，對個體坐標(biāo)進(jìn)行二進(jìn)制編碼，隨機得到區(qū)域內(nèi)的2個初始圖像個體。計算每個個體的匹配度量函數(shù)，選擇適應(yīng)度最高的30個個體作為初始群體，隨后進(jìn)行交叉和突變等一系列的遺傳操作，最終得到最優(yōu)的匹配位置，然后與測試集中的圖像進(jìn)行匹配，返回相似度最高的20幅圖片給用戶，并求出對應(yīng)的查全率和查準(zhǔn)率，以此來反映圖像檢索系統(tǒng)性能的優(yōu)劣。

4.3 檢索結(jié)果

本文方法通過和SSDA、GA-SSDA進(jìn)行對比，將檢索結(jié)果以圖的方式展示。本次檢索共返回10張圖片，第一張為待檢索圖片，SSDA檢索結(jié)果見圖4。GA-SSDA的檢索結(jié)果見圖5。

通過對比這2種檢索方法的結(jié)果可知：GA-SSDA的效果優(yōu)于SSDA。

本文中使用查全率和查準(zhǔn)率來評價檢索系統(tǒng)性能的優(yōu)劣。查全率是檢索得到的相關(guān)圖像數(shù)與相關(guān)圖像的總數(shù)的比值，而查準(zhǔn)率是檢索得到的相關(guān)圖像數(shù)與總的檢索圖像數(shù)的比值。一般而言，查全率相同的情況下，查準(zhǔn)率的高低反映了檢索系統(tǒng)性能的優(yōu)劣，兩者呈正比關(guān)系。

圖5 GA-SSDA檢索結(jié)果展示

圖6是對本文檢索系統(tǒng)的展示，其中左上角是需要被檢索的情感語義為嫵媚的花朵圖片，右側(cè)的結(jié)果區(qū)返回20幅與它相似度最高的圖片，該檢索方法使用SSDA。

圖6 檢索系統(tǒng)

為了比較不同檢索方法得到的不同效果，比較使用哪種方法得到的檢索效率更高，圖7、8分別列出了使用SSDA和GA-SSDA檢索相同圖片時對應(yīng)的查全率-查準(zhǔn)率曲線。

圖7 SSDA查全率-查準(zhǔn)率

圖8 GA-SSDA查全率-查準(zhǔn)率

對比圖7、8的結(jié)果可知：GA-SSDA的檢索結(jié)果優(yōu)于SSDA，對應(yīng)的查全率-查準(zhǔn)率的整體準(zhǔn)確效率優(yōu)于SSDA。

5 結(jié)束語

圖像情感語義的語義鴻溝是一個研究難點。在目前的圖像檢索中，并沒有一種方法能完全從圖像中提取所有可以激起人類感情變化的對象，而且對于圖像情感語義目前仍然沒有統(tǒng)一的和更加權(quán)威的方法。本文實現(xiàn)的圖像顏色和形狀等底層特征到高層情感語義的映射存在很多的不足，例如，當(dāng)訓(xùn)練樣本很大時計算量會變得很大；GA尋求局部最優(yōu)解的能力比較低，大部分時候都不會在全局最優(yōu)解中收斂，一般只能達(dá)到全局次優(yōu)解等。這些都是今后研究中需要不斷改進(jìn)和學(xué)習(xí)的地方。另外，在圖像的檢索過程中需要尋找更好的方法，使圖像的查全率-查準(zhǔn)率準(zhǔn)確度更高。

[1] 劉燁,陶霖密,傅小蘭.基于情緒圖片的PAD情感狀態(tài)模型分析[J].中國圖象圖形學(xué)報,2009,14(5):753-758.

[2] 汪衛(wèi)星,李峰,殷萇茗.一種新型的基于神經(jīng)網(wǎng)絡(luò)的圖像檢索算法[J].微計算機信息,2010,21(26):228-230.

[3] 于琴.基于Water-Filling的醫(yī)學(xué)圖像檢索技術(shù)的應(yīng)用研究[D].北京：中國石油大學(xué),2010.

[4] 胡帆.基于輪廓的物體識別算法研究[D].北京：華北電力大學(xué),2012.

[5] 王華秋,王斌.優(yōu)化的鄰近支持向量機在圖像檢索中的應(yīng)用[J].重慶理工大學(xué)學(xué)報(自然科學(xué)),2014,28(9):66-71.

[6] 張萬亮,許晨,張丁等.基于T-S模糊神經(jīng)網(wǎng)絡(luò)的邊坡穩(wěn)定性分析[J].露天采礦技術(shù),2013(4):20-22.

[7] JIAO Y,XU G.Optimizing the lattice design of a diffraction-limited storage ring with a rational combination of particle swarm and genetic algorithms [J].Chinese Physica C,2017(2):166-176.

[8] KABIR M M J,XU S,KANG B H,et al.A New Multiple Seeds Based Genetic Algorithm for Discovering a Set of Interesting Boolean Association Rules[J].Expert Systems with Applications,2017,74:55-69.

[9] SHEN G,ZHANG Y.Power Consumption Constrained Task Scheduling Using Enhanced Genetic Algorithms[M]//Germany:Spring Berlin Heidelberg Publisher,2013,139-159.

[10] 胡文斌,韓璞,孫明.二進(jìn)制編碼遺傳算法中的控制參數(shù)選取方法[J].計算機仿真,2015,32(3):447-450.

(責(zé)任編輯楊黎麗)

ImageEmotionalSemanticClassificationandRetrievalResearch

WANG Huaqiu, HU Lisong

(College of Computer Science and Engineering, Chongqing University of Technology, Chongqing 400054, China)

It is the main subject of the images retrieves to improve the accuracy of emotional semantic mapping and retrieval. In the model of emotional semantic mapping, the shape seventh moment and color moment of images are input into the fuzzy neural networks, and the weights and thresholds of networks are encoded into binary format, which are the chromosomal strings of genetic algorithm. Genetic algorithm is used to find the optimal individual coding that makes the efficiency of emotional semantic mapping reach the highest. In the retrieval model, genetic algorithm is used to optimize the image matching algorithm. The sub template coordinates which are most suitable for direct matching can found by the way. The model greatly improves the efficiency of image matching compared to the traditional sequential similarity detection algorithm. Through the comparison of recall ratio and precision ratio, the emotional mapping and image retrieval model optimized by genetic algorithm have obviously improved performance.

emotional semantics classification; image retrieval; genetic algorithm; fuzzy neural network; color moment; shape seventh moment

2017-06-28

國家社會科學(xué)基金一般項目“數(shù)字圖書館智能圖像檢索系統(tǒng)研制”(14BTQ053)

王華秋(1975—),男,博士,教授,主要從事圖像檢索、數(shù)據(jù)挖掘、智能控制方面的研究,E-mail: wanghuaqiu@163.com; 胡立松(1990—),男, 碩士研究生,主要從事圖像檢索研究。

王華秋，胡立松.圖像情感語義分類及檢索研究[J].重慶理工大學(xué)學(xué)報(自然科學(xué))，2017(10):180-186.

formatWANG Huaqiu, HU Lisong.Image Emotional Semantic Classification and Retrieval Research[J].Journal of Chongqing University of Technology(Natural Science)，2017(10):180-186.

10.3969/j.issn.1674-8425(z).2017.10.029

TP18

A

1674-8425(2017)10-0180-07