基于圖像表示和稀疏表示的圖像分類?

潘承昌 張永軍 王澤偉 劉竣文

（貴州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 貴陽 550025）

1 引言

在圖像分類任務(wù)中，對(duì)一個(gè)物體使用多種表示方法可以有效地提高分類準(zhǔn)確率。在人臉識(shí)別領(lǐng)域，由于人臉圖像在不同的面部表情、光照和姿態(tài)的條件下呈現(xiàn)出非常大的差異，這對(duì)人臉識(shí)別造成了很大的困難［1～3］。為了提高人臉識(shí)別的準(zhǔn)確率，很多研究人員提出了不同的方法。例如，基于小波系數(shù)增強(qiáng)函數(shù)的表情不變?nèi)四樧R(shí)別算法有效地提高了不同表情的人臉圖像識(shí)別精度［4］。Jian等提出了一種基于光照補(bǔ)償?shù)娜四樧R(shí)別方法［5］，Sharma 等提出了一種姿態(tài)不變虛擬分類器的人臉識(shí)別方法［6］。考慮到人臉圖像具有對(duì)稱性，Xu等提出了一種使用原始圖像生成“對(duì)稱”人臉圖像的方法［7］，結(jié)合原始圖像和對(duì)稱人臉圖像能夠更好的降低圖像外觀變化的影響，提高分類準(zhǔn)確率。

稀疏表示分類（Sparse Representation Classification，SRC）算法被提出之后，廣泛應(yīng)用于圖像處理和人臉識(shí)別等領(lǐng)域。例如，在人臉識(shí)別方面，Xu等提出了一種基于l 正則化的稀疏表示方法［8］，對(duì)于人臉識(shí)別具有很強(qiáng)的魯棒性，同時(shí)也獲得了巨大的精度提升。稀疏表示也越來越多的應(yīng)用于圖像分類［8］、圖像超分辨率［9～10］和圖像去噪［11］。隨后，各種不同的稀疏表示方法也相繼被提出，字典學(xué)習(xí)作為稀疏表示的一個(gè)重要分支，越來越受到研究人員的關(guān)注。我們一般把SRC分為兩大類，第一類是基于原始訓(xùn)練樣本的稀疏表示，第二類是基于字典的稀疏表示?；谠加?xùn)練樣本的稀疏表示使用訓(xùn)練樣本來線性表示測(cè)試樣本，基于字典的稀疏表示使用字典來表示測(cè)試樣本。其中，基于原始訓(xùn)練樣本的稀疏表示包含了大量的圖像分類算法，比如L1 正則化最小二乘（L1LS）［12］、快速迭代收縮閾值化算法（FISTA）［13］、協(xié)作表示（CRC）［14］等。然而這些文獻(xiàn)中的算法都不能很好地保留原始圖像的大尺度信息和全局特征，不能很好地挖掘和利用原始圖像信息。

為了更好地保留原始圖像的大尺度信息和全局特征，減小同一物體在其不同圖像中的差異性，本文把改進(jìn)的圖像表示算法和稀疏表示結(jié)合，提出了一種圖像分類算法。

2 相關(guān)工作

2.1 圖像的稀疏表示

稀疏表示簡(jiǎn)化了原始圖像的復(fù)雜度，從而更容易獲得圖像內(nèi)部信息的結(jié)構(gòu)特征。如圖1 所示，對(duì)于圖像I，在稀疏編碼之前，先將圖像矩陣轉(zhuǎn)換向量。然后圖像可以由冗余字典和稀疏系數(shù)來表示，這個(gè)模型可以用式（1）來表示：

其中D是大小為M×N的字典，D的列向量di?Rm(1 ≤i≤N)稱為原子，M?N確保字典D是冗余的。α=[α1,α2,…,αN]T稱為稀疏系數(shù)，通常情況下，α中的非零元素越少，意味著稀疏編碼更稀疏，稀疏表示更好，用?0范數(shù)來度量稀疏性。因此，可通過求解α將式（1）中的模型轉(zhuǎn)換為式（2）。

‖α‖0是?0范數(shù)，測(cè)量列向量中非零元素的數(shù)量，確保盡可能獲得最稀疏 的α。通過?F測(cè)量原始圖像I與重構(gòu)圖像Dα之間的誤差，并將最大誤差限制為ε，當(dāng)ε=0 時(shí)，可獲得最佳的稀疏系數(shù)并且式（1）等于式（2）。

在稀疏表示模型中，字典訓(xùn)練和稀疏編碼是兩個(gè)最關(guān)鍵的步驟，對(duì)最終結(jié)果有重大影響。對(duì)于基于稀疏表示的圖像分類算法，稀疏系數(shù)的融合也起著重要的作用。同理，我們可以根據(jù)以上原理求得測(cè)試樣本和生成的虛擬圖像之間誤差Ei。

2.2 誤差融合方案

本節(jié)將說明如何將原始訓(xùn)練樣本的結(jié)果與虛擬訓(xùn)練樣本融合的過程。本文采用了一種簡(jiǎn)單高效的融合方法，假設(shè)實(shí)驗(yàn)數(shù)據(jù)庫(kù)中的受試對(duì)象總數(shù)是M。首先我們需要獲得測(cè)試樣本和原始圖像之間的分類誤差(i=1,2,3,…,M)，以及測(cè)試樣本和虛擬圖像之間的分類誤差(i=1,2,3,…,M)，其中i表示第i個(gè)受試對(duì)象，然后對(duì)這兩個(gè)誤差進(jìn)行排序，根據(jù)排序結(jié)果，求出誤差融合方案中原始圖像的權(quán)重W1和虛擬圖像的權(quán)重W2。

誤差融合方案的具體步驟如下：

4）使用式（7）計(jì)算原始圖像和虛擬圖像的融合誤差Ei。

通過以上步驟我們獲得了原始圖像和虛擬圖像的融合誤差Ei，然后找到它的誤差最小值，保存誤差最小的下標(biāo)記為i，將i作為測(cè)試樣本對(duì)應(yīng)的分類估計(jì)值，然后和真實(shí)標(biāo)簽比較，統(tǒng)計(jì)分類錯(cuò)誤數(shù)量，得到最終分類錯(cuò)誤率。

3 算法步驟與分析

3.1 虛擬圖像的生成

本文提出了一種圖像表示算法，將表示后得到的結(jié)果稱為虛擬圖像。以灰度圖像為例說明原始圖像如何生成其對(duì)應(yīng)的虛擬圖像。在灰度圖像中最大的像素值為255，我們用Pmax來表示。原始圖像中第r行c列的像素值記為Src，生成的虛擬圖像使用V表示，在虛擬圖像中第r行c列的像素值記為Vrc。生成虛擬圖像的表示方法如下：

通過對(duì)上面的公式分析，我們可以得出以下幾個(gè)結(jié)論：

1）如果Src等于0 或者等于圖像的最大像素值時(shí)，虛擬圖像在對(duì)應(yīng)位置Vrc的像素值為0。

2）如果Src越接近，虛擬圖像相應(yīng)位置的像素值就越大，最大值

3）原始圖像的像素值為Src或者（Pmax-Src）時(shí)，在虛擬圖像中對(duì)應(yīng)位置的像素值相同。換句話說，在虛擬圖像中像素值是以對(duì)稱的。

我們知道，在灰度圖像中最大的像素值為255，由原算法的圖像表示生成的虛擬圖像，其像素值遠(yuǎn)大于該值。此外，原始圖像中像素值相對(duì)接近的兩個(gè)像素，經(jīng)過原算法的圖像表示方法后，在虛擬圖像中顯示出非常大的差異，這增加了同一人臉在不同原始圖像中的差異性，不利于分類。如果原始圖像是灰度圖，那么我們的算法生成的虛擬圖像的最大值為，不但可以將原始圖像的像素強(qiáng)度都表示在中等像素強(qiáng)度附近，還能很好地保留原始圖像的大尺度信息，某種程度上這些信息對(duì)應(yīng)圖像的全局特征，這將非常有利于圖像分類任務(wù)。

基于以上提出的圖像表示方法原理，本文還提出了另一種新的方案來生成虛擬圖像，在大量的實(shí)驗(yàn)驗(yàn)證下表明，該方法能夠顯著提高圖像分類精度。其生成虛擬圖像的公式如下：

3.2 算法實(shí)現(xiàn)步驟

本文算法的主要步驟如下：

第一步：選取訓(xùn)練樣本和測(cè)試樣本。即將所有原始圖像分為訓(xùn)練樣本和測(cè)試樣本兩部分。

第二步：使用式（8）或者式（9）獲取訓(xùn)練樣本的虛擬圖像。將虛擬圖像轉(zhuǎn)換為? 范數(shù)的單位向量。

第三步：使用公式（8）或者（9）獲取測(cè)試樣本的虛擬圖像，將虛擬圖像轉(zhuǎn)換為? 范數(shù)的單位向量。

第四步：結(jié)合第二步和第三步的訓(xùn)練樣本和測(cè)試樣本的虛擬圖像，對(duì)每一張測(cè)試樣本應(yīng)用圖像分類算法進(jìn)行分類，得到分類誤差。

第五步：對(duì)訓(xùn)練樣本和測(cè)試樣本中的原始圖像轉(zhuǎn)換為? 范數(shù)的單位向量，對(duì)每一張測(cè)試樣本使用圖像分類算法進(jìn)行分類，得到分類誤差。第六步：原始圖像和虛擬圖像融合，獲得融合后的分類誤差Ei。

第七步：在測(cè)試集樣本上通過融合誤差Ei和圖像的真實(shí)標(biāo)簽比較，統(tǒng)計(jì)分類錯(cuò)誤數(shù)量，得到最終分類錯(cuò)誤率。

3.3 算法分析

以O(shè)RL 人臉數(shù)據(jù)庫(kù)實(shí)驗(yàn)為例，選擇ORL 人臉數(shù)據(jù)庫(kù)中的第一個(gè)受試對(duì)象的第一張人臉圖像為例進(jìn)行分析。圖2 顯示了該樣本原始像素的分布情況。

圖2 測(cè)試樣本的原始像素強(qiáng)度分布

根據(jù)圖2 和圖3，可以直觀地看出原始圖像和生成的虛擬圖像的區(qū)別，通過原始圖像進(jìn)行圖像表示后生成的虛擬圖像，與其原像素值非常大，遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的灰度圖像的像素值范圍，而且，在原始圖像中像素值相近的兩個(gè)像素，在虛擬圖像中的像素值差距非常大，這導(dǎo)致原始圖像中的一些大尺度信息在虛擬圖像中丟失了，不利于圖像分類。通過圖5（a）與圖5（b）的對(duì)比，可以發(fā)現(xiàn)，我們改進(jìn)的圖像表示方法生成的虛擬圖像，其像素值相對(duì)于原算法生成的虛擬圖像顯著減小，最大像素值為，并且，原始圖像中像素值相近的兩個(gè)像素在相應(yīng)虛擬圖像中的像素值差異顯著減小。這樣的特點(diǎn)使得原始圖像中的大尺度信息在虛擬圖像中很好的保留了下來。對(duì)于一張灰度圖像來說，一個(gè)像素值為i的像素和一個(gè)像素值為255-i的像素，在虛擬圖像中都有著同樣大小的強(qiáng)度，這使得原始圖像中越趨近于中等強(qiáng)度的像素，在虛擬圖像中有著更重要的作用，能夠獲得原始圖像中更豐富的大尺度信息，因此，本文提出的算法對(duì)圖像分類任務(wù)有更大的精度提升。同理，使用式（9）生成虛擬圖像的算法同樣具有以上的特點(diǎn)與優(yōu)勢(shì)。圖4 顯示了該方法生成的虛擬圖像的像素變化，圖5（c）顯示了原始圖像的像素在0～255 之間變化時(shí)，該方法生成的虛擬圖像的像素變化情況。

圖3 使用該算法的虛擬圖像的像素值

圖4 使用式（9）獲得的像素值

圖5 虛擬圖像像素值的對(duì)稱性

通過圖6可以發(fā)現(xiàn)不管是ICR［15］的算法還是本文的算法生成的虛擬圖像，都是比較自然的人臉圖像。雖然虛擬圖像和原始圖像在外觀上存在著一些較大的差別，但是將虛擬圖像和原始圖像融合，可以為同一張人臉圖像提供多種表示方法，這有利于提高人臉圖像分類的精度。

圖6 原始圖像與生成圖像對(duì)比

4 實(shí)驗(yàn)結(jié)果

本節(jié)通過實(shí)驗(yàn)驗(yàn)證了所提算法的可行性和合理性。一共在兩個(gè)人臉數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，分別是Georgia Tech 人臉數(shù)據(jù)庫(kù)和FERET 人臉數(shù)據(jù)庫(kù)。在實(shí)驗(yàn)中，不僅對(duì)原始圖像直接應(yīng)用稀疏表示，還與近年來提出的算法進(jìn)行了比較。把在原始圖像上直接應(yīng)用稀疏表示的方法稱為NCR（Naive Collaborative Representation），下面是不同算法在各個(gè)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)分析。

4.1 Georgia Tech 數(shù)據(jù)庫(kù)實(shí)驗(yàn)

Georgia Tech 人臉數(shù)據(jù)庫(kù)一共有50 個(gè)受試對(duì)象，每個(gè)受試對(duì)象有15 張JPEG 格式的彩色圖像，共有750 張彩色人臉圖像。該數(shù)據(jù)庫(kù)中的圖像背景雜亂，圖像的分辨率為640像素×480像素。每個(gè)受試對(duì)象的圖像包含了該對(duì)象在不同表情、不同光照和尺度的情況下的正面人臉圖像與傾斜人臉圖像。每張圖像都被手動(dòng)標(biāo)記過，以確定人臉在圖像中的位置。在本文的算法中，先對(duì)該數(shù)據(jù)庫(kù)中的圖像進(jìn)行了處理，使用去除背景的人臉圖像，并且每個(gè)人臉圖像的分辨率都是40像素×30像素。

在Georgia Tech人臉數(shù)據(jù)庫(kù)上不同算法的圖像分類錯(cuò)誤率對(duì)比結(jié)果如表2。在對(duì)象訓(xùn)練樣本數(shù)量為3 時(shí)，ICR 算法的分類錯(cuò)誤率為52.17%，本文的算法的分類錯(cuò)誤率為48.83%，算法精度提升了3.34%。在訓(xùn)練樣本數(shù)量為1和2時(shí)，所提算法的分類精度分別提升了0.57%和0.46%，相對(duì)于其他算法，提升的精度更大。我們還對(duì)式（9）中的圖像表示方法進(jìn)行了實(shí)驗(yàn)，當(dāng)訓(xùn)練樣本數(shù)量為1、2、3 時(shí)，該方法比ICR 算法提升的精度分別為0.86%、0.92%、4.00%，實(shí)驗(yàn)表明該方法能夠給圖像分類精度帶來驚人的提升，與ICR 算法相比最大精度提升超過4%。同時(shí)，將算法與最近算法進(jìn)行了比較，結(jié)果表明所提算法具有較低的分類錯(cuò)誤率。例如，當(dāng)訓(xùn)練樣本為3 時(shí)，與多分辨率字典學(xué)習(xí)，RSLDA 和BDLRR 相比，算法（式（8））分類錯(cuò)誤率分別降低了12.42%，1.83%和0.34%。

表2 GT數(shù)據(jù)集上的分類錯(cuò)誤率（%）對(duì)比

4.2 FERET數(shù)據(jù)庫(kù)實(shí)驗(yàn)

本節(jié)在FERET 人臉數(shù)據(jù)庫(kù)上對(duì)提出的算法進(jìn)行了實(shí)驗(yàn)。FERET 人臉庫(kù)是人臉識(shí)別領(lǐng)域應(yīng)用最廣泛的人臉數(shù)據(jù)庫(kù)之一，是在不同光照的條件下對(duì)受試對(duì)象進(jìn)行圖像采集，每個(gè)受試對(duì)象的人臉圖像都呈現(xiàn)出不同姿態(tài)、不同面部表情的特點(diǎn)。在本節(jié)實(shí)驗(yàn)中，用FERET 人臉數(shù)據(jù)庫(kù)的“ba”、“bj”、“bk”、“be”、“bf”、“bd”和“bg”子集進(jìn)行實(shí)驗(yàn)，共包含200個(gè)對(duì)象1400張灰度人臉圖像，每個(gè)對(duì)象有7張灰度人臉圖像。

將所有的人臉圖像都調(diào)整為40 像素×40 像素的大小。在FERET 人臉數(shù)據(jù)庫(kù)上不同算法的分類錯(cuò)誤率對(duì)比結(jié)果如表3。受試對(duì)象的訓(xùn)練樣本數(shù)量為1 和5 時(shí)，該算法在ICR 算法的基礎(chǔ)上精度分別提升了1%和1.5%。此外，我們還對(duì)式（9）中的圖像表示方法進(jìn)行了實(shí)驗(yàn)，結(jié)果表明，在訓(xùn)練樣本數(shù)量為1 和5 時(shí)，該方法比ICR 算法精度提升分別為0.41%和3.00%。最后，與多分辨率字典學(xué)習(xí)RSLDA 和BDLRR 相比，當(dāng)訓(xùn)練樣本數(shù)為5 時(shí)，算法公式（8）的分類錯(cuò)誤率分別降低了20.27%，1.50%和1.00%。

表3 FERET數(shù)據(jù)集上的分類錯(cuò)誤率（%）對(duì)比

5 結(jié)語

本文提出了兩種新的圖像表示算法，并進(jìn)行了大量的實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提的算法可以顯著地提高圖像分類精度。通過和其他圖像分類算法比較，該算法在圖像分類精度上有非常大的優(yōu)勢(shì)，同時(shí)算法運(yùn)行效率高，實(shí)現(xiàn)方式簡(jiǎn)單，完全自動(dòng)化。兩種新的圖像表示算法在表示對(duì)象時(shí)，和原始圖像是互補(bǔ)的，通過原始圖像和虛擬圖像對(duì)同一對(duì)象進(jìn)行多種表示方法，使得我們的算法具有非常強(qiáng)的通用性，以上實(shí)驗(yàn)也證明了該算法的可行性和有效性。