基于DWT的PCA+SVM優(yōu)化算法在人臉識(shí)別應(yīng)用中的研究

劉 敏

(合肥財(cái)經(jīng)職業(yè)學(xué)院人工智能學(xué)院 安徽合肥 230061)

PCA+SVM 是人們常用的面部識(shí)別算法，識(shí)別性能較好。但PCA+SVM 算法也需要提高識(shí)別精度，以應(yīng)對(duì)大規(guī)模的人臉數(shù)據(jù)。所以，如何提高PCA+SVM 算法在人臉識(shí)別領(lǐng)域應(yīng)用的精確度，是目前研究的一個(gè)重要方向。小波變換(dwt)是一種時(shí)頻分析方法，具有多分辨率、局部性和優(yōu)秀的壓縮性等特點(diǎn)。小波變換可以將訊號(hào)分解為頻率不同、時(shí)間不同的多個(gè)子訊號(hào)，從而實(shí)現(xiàn)訊號(hào)的降維和特性的抽離。所以通過(guò)小波變的方式優(yōu)化PCA+SVM算法，可以增強(qiáng)人臉識(shí)別的精確度。

一、PCA算法和SVM算法原理

PCA+SVM 算法的基本思路是，首先利用PCA 算法將高維度的人面圖像數(shù)據(jù)向低維度空間進(jìn)行降維處理，再將降維處理后的數(shù)據(jù)送至SVM分類器進(jìn)行分類處理。

（一）PCA算法。PCA算法是一種常用的降維方法，其基本思路是將高維數(shù)據(jù)通過(guò)線性變換映射到低維空間，從而達(dá)到數(shù)據(jù)維度的降低。在圖像處理中，PCA算法可以通過(guò)對(duì)圖像數(shù)據(jù)的協(xié)方差矩陣進(jìn)行特征值分解來(lái)提取圖像的主成分，進(jìn)而實(shí)現(xiàn)對(duì)圖像的降維操作。

假設(shè)有一個(gè)n 維的樣本數(shù)據(jù)矩陣X，每個(gè)樣本有m 個(gè)特征值，則可以通過(guò)以下步驟來(lái)實(shí)現(xiàn)PCA算法：

第一步：對(duì)數(shù)據(jù)進(jìn)行中心化處理

計(jì)算出數(shù)據(jù)矩陣X每個(gè)特征值的均值，然后將數(shù)據(jù)矩陣X的每個(gè)樣本向量減去其均值，得到新的中心化數(shù)據(jù)矩陣Y。

第二步：計(jì)算數(shù)據(jù)的協(xié)方差矩陣

協(xié)方差矩陣C可以從一個(gè)中心化數(shù)據(jù)矩陣Y與Y的轉(zhuǎn)置矩陣YT與相乘得到。

第三步：特征值分解協(xié)方差矩陣

特征向量和對(duì)應(yīng)特征值用特征值分解協(xié)方差矩陣C求得。

第四步:選取主成分

按特征值從大到小的順序取前k 個(gè)特征量，組成投影矩陣w。

第五步：進(jìn)行降維操作

降維后的數(shù)據(jù)矩陣Z由原始數(shù)據(jù)矩陣X乘以投影矩陣計(jì)算得來(lái)。

（二）SVM分類器。SVM 是一種二分類模型，其基本思想是將原始數(shù)據(jù)映射到高維空間中，然后在高維空間中找到使正負(fù)樣本分離最好的最優(yōu)超平面(surface)。在SVM 中，對(duì)于一個(gè)二分類題，假設(shè)訓(xùn)練集中有n個(gè)樣本，每個(gè)樣本以m維的特征向量表示，其中xi 表示第i 個(gè)樣本，yi 表示該樣本的類別標(biāo)記，取值為+1或-1。那么SVM分類題的基礎(chǔ)模型就可以表現(xiàn)為：

其中，C表示懲罰因子，b表示一個(gè)分類超平面的截距，w表示一個(gè)分類超平面的法向量，εi表示松弛變量。

二、DWT小波變換的原理

DWT變換是一種基于小波分析的信號(hào)處理方法，可以將信號(hào)分解為不同尺度的子信號(hào)，并且能夠提取信號(hào)的局部特征。在圖像處理中，DWT可以將圖像分解為不同尺度和方向的子圖像，適用于圖像的多尺度表示和特征提取。

DWT的基本思想是將信號(hào)分解成不同的尺度，對(duì)各種尺度的子信號(hào)進(jìn)行低通和高過(guò)濾。具體地，對(duì)于一個(gè)長(zhǎng)度為N的信號(hào)x，可以進(jìn)行J級(jí)DWT分解，得到J+1個(gè)子信號(hào)，其中第j級(jí)的低頻子信號(hào)Lj和高頻子信號(hào)Hj可以分別表示為：

其中，h、g 分別表示低通、高濾，L0 為原始信號(hào)，Lj 為第j級(jí)低頻子信號(hào)，Hj為第j級(jí)高頻信號(hào)，n為點(diǎn)索引。

三、基于DWT的PCA+SVM算法優(yōu)化

（一）算法流程。本文提出的基于DWT 的PCA+SVM 算法優(yōu)化方法的流程如下：

圖1 DWT+PCA+SVM算法優(yōu)化流程圖

（二）算法實(shí)現(xiàn)步驟。本文提出的使用DWT 的PCA+SVM算法優(yōu)化方法的具體步驟是：

1.用DWT分解原人的臉部形象為多條子帶。DWT是一種多尺度分析方法，其基本思想是通過(guò)對(duì)信號(hào)進(jìn)行多級(jí)低通和高通濾波，得到一系列尺度不同、頻帶寬度逐漸減小的子信號(hào)。在人臉識(shí)別中，將原始人臉圖像分解為多個(gè)子帶，可以有效提取圖像的多尺度信息，提高人臉識(shí)別的魯棒性。

假設(shè)有一個(gè)大小為N×M的原始人臉圖像I，DWT分解的過(guò)程可以分為以下步驟：

Step1：將原始圖像I分解為四個(gè)子圖像

將原始圖像I 分成四個(gè)子圖像，即LH、HL、HH 和LL，其中LL子圖像是低頻子帶，而LH、HL和HH子圖像是高頻子帶。這個(gè)過(guò)程可以通過(guò)一個(gè)二維的 DWT 變換原始的圖像來(lái)實(shí)現(xiàn)，得到如下公示：

其中，Lj+1、Hj+1、Vj+1、Dj+1分別表示第j+1 級(jí)DWT 變換的低頻、水平高頻、垂直高頻和對(duì)角高頻子帶。

Step2：LL子圖像再次分解

將LL子圖像使用DWT再次分解，求得LL子圖像的下一級(jí)分解系數(shù)。這個(gè)過(guò)程可以重復(fù)多個(gè)等級(jí)，直到子帶的數(shù)量達(dá)到規(guī)定的要求。

Step3：重復(fù)Step1和Step2，得到所有的子帶

對(duì)于其他三個(gè)子圖像（LH、HL 和HH），可以重復(fù)Step1 和Step2 的過(guò)程，分別對(duì)這些子圖像進(jìn)行DWT 分解，得到對(duì)應(yīng)的子帶。

最終，將所有得到的子帶拼接在一起，得到一個(gè)多尺度子帶圖像序列$D={D_1,D_2,...,D_n}$，其中n為子帶數(shù)目。

實(shí)現(xiàn)這一步功能的主要代碼在MATLAB軟件中表示如下。

圖2 實(shí)現(xiàn)相關(guān)功能的主要代碼

2.對(duì)每個(gè)子帶進(jìn)行PCA降維操作，選取最重要的特征子集作為輸入數(shù)據(jù)。對(duì)于每個(gè)子帶，我們可以按照以下步驟進(jìn)行PCA降維操作，并選取最重要的特征子集作為輸入數(shù)據(jù)：

Step1：將子帶重構(gòu)成矩陣X：

其中，xi為子帶中的一張人臉圖像。

Step2：對(duì)矩陣X的各個(gè)列進(jìn)行零的均值化處理：

其中，ui和σi分別為第i列的均值和標(biāo)準(zhǔn)差。

Step3：計(jì)算X的協(xié)方差矩陣C：

Step4：對(duì)C 協(xié)方差矩陣特征值的分解，求得特征值λ 和特征向量V：

Step5：按特征值由大到小排序特征向量，選擇前k 位的特征向量作為特征的重要子集。

Step6：將重要特征子集組成的矩陣乘子帶矩陣X，得出降維后的子帶矩陣Y：

基于Matlab實(shí)現(xiàn)的PCA降維的主要代碼如圖3所示：

圖3 實(shí)現(xiàn)相關(guān)功能的主要代碼

3.把特征向量傳入已訓(xùn)練的SVM 分類器進(jìn)行分類。SVM分類器是一種二分類算法，可以將樣本點(diǎn)劃分為兩個(gè)類別，例如“是”或“否”，“正”或“負(fù)”，“真”或“假”等。在人臉識(shí)別中，一般將SVM分類器用于將人臉圖像分為“是該人臉”和“不是該人臉”兩個(gè)類別。在使用SVM分類器前，先要對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，以確定SVM 分類器的參數(shù)，后在將特征向量傳入SVM 分類器進(jìn)行分類。

主要有以下幾個(gè)步驟來(lái)進(jìn)行SVM分類器的訓(xùn)練：

Step1：讀取訓(xùn)練集數(shù)據(jù)：將訓(xùn)練集中的圖像數(shù)據(jù)讀入程序中，并將其轉(zhuǎn)換為特征向量。

Step2：規(guī)范數(shù)據(jù)：對(duì)訓(xùn)練集合數(shù)據(jù)進(jìn)行規(guī)范處理，以杜絕各特點(diǎn)之間的大綱差異。

Step3：SVM 分類器參數(shù)的確定：通過(guò)交叉驗(yàn)證等方法確定 SVM 分類器的參數(shù)，如懲罰系數(shù)，核函數(shù)參數(shù)等。

Step4：訓(xùn)練SVM分類器：利用訓(xùn)練集數(shù)據(jù)和確定的 SVM分類器參數(shù)對(duì)SVM分類器模型進(jìn)行訓(xùn)練。

Step5：測(cè)試SVM分類器：將測(cè)試集合數(shù)據(jù)送到SVM分類器中進(jìn)行測(cè)試，該分類器經(jīng)過(guò)訓(xùn)練，計(jì)算識(shí)別率和準(zhǔn)確度。

在執(zhí)行上述步驟時(shí)，可以使用MATLAB 軟件，調(diào)用其中的SVM 工具箱，對(duì)SVM 分類器進(jìn)行訓(xùn)練和測(cè)試。下面是具體步驟：

Step1：讀取訓(xùn)練集數(shù)據(jù)并轉(zhuǎn)換為特征向量：使用imread()函數(shù)讀取圖像數(shù)據(jù)，并使用reshape()函數(shù)將圖像矩陣轉(zhuǎn)換為向量。將每個(gè)人的面部形象分別轉(zhuǎn)化為一個(gè)matrix 中儲(chǔ)存的特征向量。

Step2：標(biāo)準(zhǔn)化數(shù)據(jù)：使用zscore()函數(shù)對(duì)矩陣中的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，使各特征的均值為0，標(biāo)準(zhǔn)差為1。

Step3：確定SVM 分類器參數(shù)：使用fitcsvm()函數(shù)訓(xùn)練SVM分類器，并通過(guò)交叉驗(yàn)證等方法確定懲罰系數(shù)和核函數(shù)參數(shù)等參數(shù)。

Step4：訓(xùn)練SVM分類器：使用FitcSVM()函數(shù)對(duì)SVM分類器模型進(jìn)行訓(xùn)練，并測(cè)試訓(xùn)練集數(shù)據(jù)使用Predict()函數(shù)。

Step5：測(cè)試SVM 分類器：利用Predict()函數(shù)將測(cè)試集合數(shù)據(jù)發(fā)送給訓(xùn)練良好的SVM 分類器進(jìn)行測(cè)試，計(jì)算識(shí)別率和準(zhǔn)確度。

（三）實(shí)驗(yàn)結(jié)果和分析。本文訓(xùn)練樣本來(lái)自劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建的ORL人臉數(shù)據(jù)庫(kù)中的圖像，因?yàn)闊o(wú)論從形態(tài)、光線強(qiáng)度還是特征的幾個(gè)關(guān)鍵點(diǎn)來(lái)看，這個(gè)人的人臉數(shù)據(jù)庫(kù)中的圖像都是標(biāo)準(zhǔn)化的，所以優(yōu)化算法的實(shí)驗(yàn)不用預(yù)先處理圖片，就可以直接使用ORL人臉數(shù)據(jù)庫(kù)中的圖片。在ORL人臉數(shù)據(jù)庫(kù)中，部分人臉圖像如圖4所示：

圖4 ORL人臉庫(kù)中的圖像

此次訓(xùn)練樣本選擇ORL人臉圖片庫(kù)中抽取了10個(gè)人臉后5張圖片前5張為測(cè)試樣張。選擇10、20、30、40、50個(gè)重要特征向量為基，分別測(cè)試PCA+SVM 算法與本文提出的PCA+SVM優(yōu)化算法基于DWT 的識(shí)別率進(jìn)行比較，兩種算法的識(shí)別率見表1。

表1 樣本識(shí)別率

從圖5可以看出，基于DWT 的PCA+SVM 多尺度人臉識(shí)別算法在識(shí)別準(zhǔn)確率方面優(yōu)于傳統(tǒng)PCA方法。

圖5 兩種算法識(shí)別率對(duì)比圖

實(shí)驗(yàn)中將實(shí)訓(xùn)樣本分為50%用于實(shí)訓(xùn)，50%用于驗(yàn)證；測(cè)試樣張采用每人后5幅照片作為訓(xùn)練樣張，剩余前5幅照片作為測(cè)試樣張。識(shí)別率表示正確分類的測(cè)試樣本數(shù)占全部測(cè)試樣本數(shù)的比例，本實(shí)驗(yàn)使用的評(píng)價(jià)指標(biāo)為識(shí)別率，識(shí)別率越高，說(shuō)明使用的算法越優(yōu)。從表1 和圖5 中可以看出基于DWT 的PCA+SVM算法優(yōu)勝于單純的PCA+SVM算法。

四、結(jié)語(yǔ)

本文研究了基于DWT 的PCA 和SVM 算法的人臉識(shí)別方法，并對(duì)該方法進(jìn)行了優(yōu)化。通過(guò)DWT 將原始人臉圖像分解為多個(gè)子帶，然后對(duì)每個(gè)子帶進(jìn)行PCA降維操作，并選取最重要的特征子集作為輸入數(shù)據(jù)，最后利用SVM分類器對(duì)人臉進(jìn)行識(shí)別，從而實(shí)現(xiàn)快速準(zhǔn)確識(shí)別面部特征。

實(shí)驗(yàn)結(jié)果表明，本文提出的方法在人臉識(shí)別精度上都傳統(tǒng)的PCA+SVM方法更優(yōu)。通過(guò)實(shí)驗(yàn)分析發(fā)現(xiàn)，DWT分解能夠在一定程度上增加識(shí)別準(zhǔn)確率，而PCA降維能夠降低數(shù)據(jù)的維度和復(fù)雜度，提高分類的效率，最后通過(guò)SVM分類器能夠進(jìn)一步提高識(shí)別的準(zhǔn)確性。

這項(xiàng)研究為人臉識(shí)別技術(shù)的發(fā)展提供了一種新的思路和方法，也為人類面部識(shí)別系統(tǒng)在實(shí)際應(yīng)用中的應(yīng)用提供了可行的解決方案。未來(lái)的研究方向可以在該方法的基礎(chǔ)上進(jìn)一步探索，如結(jié)合深度學(xué)習(xí)等新興技術(shù)進(jìn)行優(yōu)化，以獲得更好的效果。