面向情感特征的風(fēng)景圖像分類研究及其實(shí)現(xiàn)

郭潔暢　朱蓉　何山　周云蕾

摘要：視覺活動(dòng)是認(rèn)知外部世界的主要途徑，視覺感知源于物體的外形、色彩及紋理。而顏色特征的不同對(duì)人類情感變化起著至關(guān)重要的作用。鑒于不同風(fēng)景圖像會(huì)產(chǎn)生不同的顏色特征和情感特點(diǎn)，如何建立圖像顏色特征與用戶評(píng)價(jià)之間的關(guān)系并加以鑒別具有重要的研究意義。該文在學(xué)習(xí)前人提出的各種顏色提取分類算法的基礎(chǔ)上，結(jié)合圖像的顏色直方圖對(duì)風(fēng)景圖像的顏色特征進(jìn)行提取，并利用支持向量機(jī)的方法對(duì)圖像進(jìn)行分類。實(shí)驗(yàn)表明，該方法取得了較好的準(zhǔn)確率。

關(guān)鍵詞：情感特征；顏色直方圖；特征提??；顏色分類；支持向量機(jī)

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）28-6727-05

視覺活動(dòng)是人們?cè)谏鐣?huì)生產(chǎn)生活中認(rèn)知外部世界的主要途徑，而一副圖像中的顏色及其分布的不同能使人類對(duì)其產(chǎn)生不同的情感。人們?cè)诓煌瑘?chǎng)合根據(jù)不同的場(chǎng)景會(huì)使用不同的風(fēng)景圖像來表達(dá)情感，因此對(duì)于風(fēng)景圖像的提取和分類是很有必要的。顏色特征的提取和分類以及如何把底層的語(yǔ)義與高層的情感語(yǔ)義聯(lián)系在一起也成為數(shù)字圖像處理研究領(lǐng)域的熱點(diǎn)和難點(diǎn)。

在對(duì)風(fēng)景圖像的處理中，進(jìn)行模擬人類情感進(jìn)而分類和準(zhǔn)確辨認(rèn)是十分困難的，因此對(duì)顏色特征的提取及分類是對(duì)風(fēng)景圖像的內(nèi)容理解、跟蹤與目標(biāo)識(shí)別的重要研究?jī)?nèi)容。風(fēng)景圖像的分類是指用計(jì)算機(jī)對(duì)圖庫(kù)中的圖像進(jìn)行分析，而后將圖像劃分到一個(gè)語(yǔ)義當(dāng)中來代替人類對(duì)圖像的感受。圖像分類其實(shí)就是基于圖像的語(yǔ)義基礎(chǔ)上，也是人類對(duì)圖像的視覺判別的發(fā)展。所以針對(duì)存在于網(wǎng)絡(luò)環(huán)境中的風(fēng)景圖像的分類是一項(xiàng)艱巨繁重的任務(wù)。然而傳統(tǒng)的圖像分類技術(shù)已不能滿足現(xiàn)代人的需求，其局限性在于僅僅涉及了圖像的客觀特征，而沒有真正利用人類的情感和生活經(jīng)驗(yàn)去挖掘圖像中的語(yǔ)義信息。為了解決這一問題，該文采用顏色直方圖的方法對(duì)風(fēng)景圖像進(jìn)行顏色特征的提取，而對(duì)紋理的分類則選擇支持向量機(jī)（Support Vector Machine，簡(jiǎn)稱SVM）的多類分類器。最后將從建立的情感數(shù)據(jù)庫(kù)中對(duì)風(fēng)景圖像的情感語(yǔ)義進(jìn)行人為的分類。

1 圖像顏色特征值提取

1.1圖像情感特征

廣義而言，圖像情感特征是指人們看到圖像時(shí)所激發(fā)出的感覺或是情感等各種體驗(yàn)。20世紀(jì)以來，日本、歐洲、美洲、韓國(guó)等國(guó)的學(xué)者都陸續(xù)開始關(guān)注如何依據(jù)情感特征對(duì)圖像的檢索。由人類的視覺刺激，視神經(jīng)的圖像刺激圖像情感特征，視網(wǎng)膜視覺刺激將收集到發(fā)送到視神經(jīng)，然后發(fā)送該信息到大腦的視覺皮層。根據(jù)視覺體驗(yàn)，長(zhǎng)期記憶的信息處理，神經(jīng)刺激這些轉(zhuǎn)化為人類自己的意識(shí)和激活人的各種心理狀態(tài)，形成對(duì)事物的感覺和認(rèn)知。從情感特征生成圖像的原則包括生理刺激的感覺到人類情感的高級(jí)情感體驗(yàn)多層面特征。

根據(jù)圖像的三層語(yǔ)義模型如圖1所示，以了解圖像的語(yǔ)義的自底向上的過程中形成。語(yǔ)義信息處理鋪在一層語(yǔ)義層，精制而成，使圖像更接近抽象思維人類的語(yǔ)義表示底層語(yǔ)義層將是有益的，提取圖像語(yǔ)義信息也更有意義 [1] 。

1.2 顏色特征提取方法

圖像檢索系統(tǒng)中廣泛采用顏色特征顏色直方圖。它所描述的是不同色彩基調(diào)在整幅圖像中所占比例[2]，而風(fēng)景圖像具有十分明顯的顏色特征，如日落圖像主要色彩基調(diào)是紅色而海邊風(fēng)景圖像主要色彩基調(diào)是藍(lán)色。所以顏色直方圖非常適合用來描述難以進(jìn)行自動(dòng)分割的風(fēng)景圖像。

計(jì)算顏色直方圖需要將顏色空間劃分成若干個(gè)顏色區(qū)間對(duì)每個(gè)小區(qū)域進(jìn)行量化。顏色直方圖可通過計(jì)算顏色落在每個(gè)小區(qū)間內(nèi)的像素得到[3]。

1.3 數(shù)字化色度空間

傳統(tǒng)的顏色直方圖提取顏色特征選用的是RGB顏色空間，主要原因 RGB顏色空間有利于圖像的顯示，但是它的缺點(diǎn)在于不具有視覺一致性。例如有三幅單色圖像， 顏色分別為綠色（0，255，0）、紅色（255，0， 0）和粉紅色（255 ，255，0）， 紅色圖像與綠色圖像的歐式距離和紅色圖像與粉紅色圖像的歐式距離相等，即紅色圖像與綠色圖像的相似程度等同于紅色圖像與粉紅色圖像的相似程度，這不符合人的視覺感覺[4]。該文采用具有視覺一致性的HSV顏色空間替代傳統(tǒng)的RGB顏色空間，因?yàn)橄啾容^ RGB顏色空間而言，HSV顏色空間更直觀，更容易接受，適合于基于顏色的圖像相似比較，同時(shí)從RGB顏色轉(zhuǎn)換到HSV顏色也方便容易。

給定的RGB顏色空間的值（r，g，b），r，g， b（[0，255]），則變換到HSV空間的（h，s，v）值計(jì)算如下：

1.4 顏色量化

對(duì)于給定的一幅圖像，它的顏色一般會(huì)很多，特別是真彩色圖像，導(dǎo)致直方圖矢量的維數(shù)會(huì)很多。如果對(duì) HSV空間進(jìn)行一定程度的量化，然后再計(jì)算直方圖，能大量減少計(jì)算量。在HSV空間中，H從0到360變化時(shí)，色調(diào)依次呈現(xiàn)為我們熟悉的紅、橙、黃、綠、青、藍(lán)、紫，每一種色調(diào)對(duì)應(yīng)的H分量的區(qū)域并不是非常均勻的 [5] 。所以根據(jù)視覺對(duì)顏色的心理感覺，將H、S、V三個(gè)分量按照人的顏色感知進(jìn)行量化， 將H的不同分量分為不等間隔的8份[6]。

（8）

其中Qs和Qv分別表示分量s和v的量化級(jí)數(shù)， 雖然Qs和Qv取的越大，量化的精度越高，但是隨之而來的檢索的時(shí)間也就越長(zhǎng)，該文的試驗(yàn)中取Qs=3，Qv=3，因此轉(zhuǎn)化為G=9H+3S+V。這樣，H，S，V這3個(gè)顏色分量就可以用一維矢量上表示。G的取值范圍為[0，1…， 71]，該文對(duì)每個(gè)分塊構(gòu)造G的顏色直方圖，采用直方圖相交法進(jìn)行相似度的匹配。

目前，顏色直方圖是最常用的顏色信息提取和表示方法。之所以被較多地使用到圖像特征提取中去，是因?yàn)轭伾狈綀D的簡(jiǎn)單性。對(duì)于不同的顏色空間，每個(gè)顏色空間有三個(gè)通道，因此可反映圖像顏色分布特征的直方圖很多。

簡(jiǎn)單說，量化主要分為兩種：等間隔量化和非等間隔量化。等間隔量化的方法較為簡(jiǎn)單，但是存在兩個(gè)問題： 第一，沒有考慮顏色空間的特點(diǎn)，不足以反映顏色空間的分布情況。第二，顏色集合的代表性差，存在列的浪費(fèi)及擁擠問題 [7] 。

非等間隔量化方法是一種基于HSV顏色空間的方法。先將得到的RGB空間上的圖像轉(zhuǎn)化至HSV空間，再根據(jù)H、S、V三個(gè)分量按照人類的顏色感知進(jìn)行非等間隔量化 [8] 。

72種顏色量化方法：

將H的不同分量分為不等間隔的8份 [10] 。最后量化結(jié)果為：

如此，在一維矢量上，H、S、V三個(gè)分量分布開來， 亮度取的權(quán)重是1，飽和度取的權(quán)重是3， 色調(diào)取的權(quán)重是9。這種權(quán)重取值方法的優(yōu)點(diǎn)是使得顏色分布不同的圖像可以被很好地區(qū)分開來。根據(jù)式1可知， [0，71]是一維特征矢量G的取值范圍，對(duì)各值出現(xiàn)的頻率進(jìn)行統(tǒng)計(jì)，得到了72柄（bin）的直方圖。對(duì)原風(fēng)景圖像進(jìn)行量化后量化結(jié)果顏色直方圖如圖2所示。

2 SVM分類器設(shè)計(jì)

2.1 核函數(shù)的選擇

支持向量機(jī)的使用首先需要選擇合適的核函數(shù)和參數(shù)，選擇不同的核函數(shù)和參數(shù)意味著采取不同的標(biāo)準(zhǔn)對(duì)樣本特征的相似程度進(jìn)行估計(jì)。目前常用的核函數(shù)主要包括以下三種：

線性內(nèi)積核函數(shù)：

2.2 SVM參數(shù)的選擇

當(dāng)選定了核函數(shù)以后，需對(duì)核參數(shù)進(jìn)行確定，即要確定懲罰因子[C]和RBF核的參數(shù)[σ]的值。其中試湊法是較為方便直觀的方法之一，確定核參數(shù)，這可以找到分類函數(shù)的預(yù)測(cè)準(zhǔn)確率最高的[σ]值來進(jìn)行。網(wǎng)格搜索法（grid-search），它適合從不同的增長(zhǎng)方向并行搜索最優(yōu)解。算法輸出就是由找到的適應(yīng)度最高的參數(shù)來替代，還需給定參數(shù)的解區(qū)間，然后在區(qū)間內(nèi)逐個(gè)地測(cè)試。

根據(jù)經(jīng)驗(yàn)，該文選取[C∈（2-4，2-3.5，2-3…，23.5，24）]，[σ2∈（2-4，2-3.5，2-3…，23.5，24）]比較恰當(dāng)。首先進(jìn)行粗網(wǎng)格搜索，設(shè)定搜索步長(zhǎng)為1，如此，在[C]，[σ]坐標(biāo)系上就構(gòu)成了一個(gè)二維網(wǎng)格。對(duì)應(yīng)網(wǎng)格上每一組[C]，[σ]值都是一組潛在解，代表著一組SVM參數(shù)。依照K折交叉驗(yàn)證方法計(jì)算各組參數(shù)預(yù)測(cè)準(zhǔn)確率的均值，用等高線畫出，獲得等高線圖，可以得到最佳的[C]，[σ]參數(shù)對(duì)。其次進(jìn)行細(xì)網(wǎng)格搜索，就是在現(xiàn)有的等高線圖上，選定一個(gè)具有最高的預(yù)測(cè)準(zhǔn)確率的搜索區(qū)域，減小搜索步長(zhǎng)來開展二次搜索，這樣可以得到更加精確的搜索結(jié)果。根據(jù)前人實(shí)驗(yàn)得出的經(jīng)驗(yàn)，該文試驗(yàn)選取[log2C=-4]，[log2σ=1.5]即[C=0.0625]，[σ=2.8284]為SVM的參數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 圖像庫(kù)

本文結(jié)合互聯(lián)網(wǎng)上搜到的一些風(fēng)景圖片來作為本次試驗(yàn)的試驗(yàn)用圖。實(shí)驗(yàn)中使用的風(fēng)景圖像均來自百度圖像庫(kù)。在整個(gè)實(shí)驗(yàn)過程中采用的風(fēng)景圖像集中包含藍(lán)色，紅色，灰色，綠色4類不同顏色特征的風(fēng)景圖像，為減少實(shí)驗(yàn)誤差，選取互聯(lián)網(wǎng)中主色調(diào)占有整幅風(fēng)景圖像比較大篇幅的圖像作為試驗(yàn)對(duì)象。眾所周知擁有不同顏色特征的風(fēng)景圖像會(huì)給人們帶來不同的感受，而人與人之間由于社會(huì)經(jīng)歷經(jīng)驗(yàn)，成長(zhǎng)環(huán)境，種族的不同會(huì)對(duì)此產(chǎn)生輕微的差異，所以本次試驗(yàn)事先從互聯(lián)網(wǎng)中查取這4類不同的顏色分別對(duì)應(yīng)模擬出代表人類不同的情感，所用的顏色基調(diào)有紅色；灰色；綠色；藍(lán)色。其中紅色代表生機(jī)、安康、熱情、盼望，綠色代表芳華、戰(zhàn)爭(zhēng)、暮氣 ，藍(lán)色代表秀白、清爽、安靜、寧?kù)o、永久、明智，灰，寧?kù)o、慎重、質(zhì)樸。

圖像集中包含天空，花朵，草地等4類不同的顏色基調(diào)的圖像，共40幅風(fēng)景圖像，每類圖像各10幅（圖3顯示了部分圖像示例）。由于原始圖像的尺寸不一致，首先執(zhí)行預(yù)處理操作，進(jìn)行尺寸歸一化（預(yù)處理后的圖像尺寸為 384×256 或 256×384） 。

3.2 實(shí)驗(yàn)環(huán)境

研究本系統(tǒng)所用的硬件平臺(tái)：硬件平臺(tái)為：CPU（intel core i3 1.86GHZ）、內(nèi)存（2G）；軟件工具為：VC++6.0 與 MATLAB7.0 混合編程。

3.3 實(shí)驗(yàn)過程及算法

本文對(duì)于面向風(fēng)景特征圖像的分類試驗(yàn)中，綜合運(yùn)用了前文中提到的方法進(jìn)行整個(gè)試驗(yàn)，先采用顏色直方圖對(duì)風(fēng)景圖像進(jìn)行顏色特征的提取，再運(yùn)用SVM分類方法對(duì)提取出顏色特征的風(fēng)景圖像進(jìn)行訓(xùn)練和分類。由于分類器具有一定的模糊性，使得分類無法得到100%的準(zhǔn)確，為評(píng)價(jià)風(fēng)景圖像分類實(shí)驗(yàn)，現(xiàn)將準(zhǔn)確率（Accuracy）定義如下：

準(zhǔn)確率 = 正確分類樣本數(shù) / 測(cè)試樣本總數(shù) × 100%

本次實(shí)驗(yàn)的算法流程圖如圖4所示。

圖4 基于顏色直方圖及SVM的風(fēng)景圖像分類算法流程圖

3.4 實(shí)驗(yàn)結(jié)果分析

本次試驗(yàn)的風(fēng)景圖像顏色特征一共有四類（紅色，灰色，綠色，藍(lán)色）88張風(fēng)景圖片，每類有22張圖，先對(duì)每類的前19張進(jìn)行訓(xùn)練，而后對(duì)剩下的三張進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如表1所示。

通過SVM分類，得到了通過顏色特征分類出來的風(fēng)景圖像，并進(jìn)行模擬人類情感的表達(dá)進(jìn)行歸納分類。根據(jù)人類情感特點(diǎn)本文對(duì)最終的試驗(yàn)結(jié)果進(jìn)行分析并且歸納整理后得出最后的試驗(yàn)結(jié)果。有68.75%的風(fēng)景圖像是符合我們的分類歸納標(biāo)準(zhǔn)的，由于風(fēng)景圖顏色的多變性和復(fù)雜性，仍然有31.25%的圖像無法正確的被識(shí)別分類。

4 結(jié)束語(yǔ)

由于缺乏人類對(duì)于風(fēng)景圖像情感的大量分析結(jié)果和語(yǔ)義庫(kù)，導(dǎo)致面向情感語(yǔ)義的風(fēng)景圖像的分類研究還處于不是非常完善成熟的階段。風(fēng)景圖像對(duì)于計(jì)算機(jī)來講是一個(gè)很抽象的概念，從本次試驗(yàn)結(jié)果可知試驗(yàn)的風(fēng)景圖片分類的吻合率較低，如果用作網(wǎng)絡(luò)檢索方面是遠(yuǎn)遠(yuǎn)不夠的，從本文所用方法原理可以看到，對(duì)于風(fēng)景圖像這種包涵多重語(yǔ)義的對(duì)象來說，只用顏色直方圖對(duì)其進(jìn)行特征提取是遠(yuǎn)遠(yuǎn)不夠的，還要綜合其他方法一起才能達(dá)到最佳效果。人類的情感對(duì)于計(jì)算機(jī)來說則是更為抽象，還需要綜合醫(yī)學(xué)，生理學(xué)，統(tǒng)計(jì)學(xué)，計(jì)算機(jī)科學(xué)等多種學(xué)科進(jìn)行綜合研究，這樣才能得到更為精確的試驗(yàn)結(jié)果，這也是今后從事該領(lǐng)域研究學(xué)者致力于去研究的內(nèi)容。

參考文獻(xiàn)：

[1] 張厚粲，徐建平.現(xiàn)代心理與教育統(tǒng)計(jì)學(xué)[M].2版.北京：北京師范大學(xué)出版社，2003.

[2] 周明全，耿國(guó)華，韋娜.基于內(nèi)容圖像檢索技術(shù)[M].北京：清華大學(xué)出版社，2007.

[3] 屈伸.基于內(nèi)容的圖像表示和分類[D].西安：西北工業(yè)大學(xué)，2004.

[4] 洪安祥，陳剛.基于圖像直方圖混合量匹配的圖像檢索[J].通信學(xué)報(bào)，2002（8）：1-7.

[5] 邱兆文，張?zhí)镂?一個(gè)智能化的圖像檢索系統(tǒng)IIRS[J].自動(dòng)化技術(shù)與應(yīng)用，2003（5）.

[6] 姜蘭池，沈國(guó)強(qiáng)，張國(guó)煊.基于HSV分塊顏色直方圖的圖像檢索算法[J].機(jī)電工程，2009（11）.

[7] 丁宏波.基于顏色和紋理的圖像檢索系統(tǒng)的研究和實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2008.

[8] 宋麥玲，李歡.一種基于HSV顏色空間的圖像檢索技術(shù)[J].電腦知識(shí)與技術(shù)， 2007（1）.