基于粒子群算法尋最優(yōu)屬性關聯(lián)下的零樣本語義自編碼器

蘆楠楠 張欣茹 歐 倪

①(中國礦業(yè)大學信息與控制工程學院 徐州 221116)

②(北京理工大學信息與電子學院 北京 100081)

③(北京理工大學自動化學院 北京 100081)

1 引言

在圖像分類任務中，為保證測試集與數(shù)據(jù)集類別相同，在每次增加新的圖像類別時需要對模型重新進行訓練。從而，傳統(tǒng)的圖像識別方法在大量新類別出現(xiàn)時圖像分類效果會顯著下降。為解決現(xiàn)實生活中海量類別的存在，使計算機具有知識遷移的能力，“零樣本學習”成為研究焦點[1-4]?；趯傩缘牧銟颖痉诸愂峭ㄟ^對不同類別之間的共享屬性進行學習，從而實現(xiàn)從訓練類別到測試類別的遷移。在零樣本發(fā)展的前期階段，對屬性的考察僅僅停留在二值[5]層面，“1”表示具有該屬性的性質(zhì)，“0”則表示不具有。采用二值屬性對于共享屬性層描述過于簡單，從而使該模型對語義的理解存在偏差，因此相對屬性(Relative Attribute, RA)[6]這一概念被提出，并在零樣本圖像分類中取得了良好的分類效果[7]。相對屬性的屬性值是連續(xù)的，其大小可以表示為樣本具有該屬性的相對強弱程度，從而提高了屬性信息的準確性。作為樣本的另一種表示，屬性攜帶的語義信息可以建立起已知類別與未知類別的聯(lián)系。鑒于深度神經(jīng)網(wǎng)絡的特征學習能力，將語義信息用于引導底層特征學習過程，從而獲得具有鑒別性信息的共享特征[8,9]。語義自編碼器(Semantic AutoEncoder, SAE)[10]將屬性作為隱藏層，實現(xiàn)了零樣本圖像底層特征到語義屬性的映射，取得了突破性進展。然而，從深度神經(jīng)網(wǎng)絡學習的圖像底層特征中提取出的共享屬性信息用作零樣本分類時，會使屬性之間固有的相關性信息丟失，如何對丟失信息進一步補償成為零樣本圖像分類的重要研究內(nèi)容。

在傳統(tǒng)的屬性學習[11-13]方法中，很少考慮到這些相關性信息并予以補償。隨著對零樣本學習研究的逐漸深入[14-16]，現(xiàn)有的屬性相關性的研究證明了屬性相關性的挖掘有利于屬性分類器性能的提高[17-22]。Liu等人[17]采用屬性相關性矩陣與原始共享屬性進行運算從而將相關性信息引入屬性層。Wang等人[18]利用互信息對屬性間關系進行衡量。Biswas等人[19]提出將語義屬性相關性引入嵌入空間的跨越空間結構。Quercia等人[20]發(fā)現(xiàn)，應該對不同城市感知屬性之間的相關性進行建模，以通過適當共享視覺知識來實現(xiàn)更有效和準確的相對屬性學習。Min等人[21]提出了一種多任務深度相對屬性學習網(wǎng)絡，通過多任務連體網(wǎng)絡同時學習所有相對屬性，解決了成對排名算法獨立學習每個感知屬性時造成的不同屬性之間的關系的丟失。通過將屬性相關性向多維度擴展，Qiao等人[22]研究了多個屬性之間的相關性，從而構造屬性鏈，結果表明當屬性鏈長為2時屬性分類器性能達到最優(yōu)。因此，本文重點研究二元屬性相關性，將屬性相關性引入共享屬性層中，以提升零樣本圖像分類時的信息量和準確度。

本文提出一種自動尋找最優(yōu)屬性相關方法，彌補SAE在屬性學習中缺少的屬性相關性信息，對屬性進行相關性信息補償。該方法將屬性相關性求解轉(zhuǎn)化為參數(shù)尋優(yōu)，使用經(jīng)典啟發(fā)式粒子群優(yōu)化算法(Partial Swarm Optimization, PSO)尋找最優(yōu)的嵌入屬性相關性信息的新屬性。首先，學習屬性與屬性間的相關性，在原始的共享屬性層中加入相關性變量?？紤]到參數(shù)與目標之間的單向可解性，利用PSO平衡原始屬性與相關性變量間的關系。在每次分類過程中都要對新的屬性進行排序，然后將預測的屬性值映射到標簽。通過交叉驗證下的雙向損失函數(shù)來衡量本次迭代過程中求解的映射矩陣性能，將此函數(shù)作為PSO算法尋優(yōu)的適應度函數(shù)。實驗結果表明，該方法在零樣本圖像分類數(shù)據(jù)集的性能相較于其他方法可以得到明顯提升。

2 基于語義自編碼器的零樣本圖像分類

語義自編碼器[10]是一種特殊的自編碼器，其最顯著的特點是中間隱藏層為一層語義層。網(wǎng)絡結構如圖1所示。其中，輸入層為基礎的特征向量空間，隱藏層是一層語義層。可將輸入層特征向量空間進行壓縮編碼和解碼，輸出層為經(jīng)過隱藏層處理后恢復出來的特征向量空間。在進行編解碼的過程中，使用原始數(shù)據(jù)對編碼器和解碼器進行額外的約束，使得編碼后的數(shù)據(jù)盡可能恢復成為原來的數(shù)據(jù)。

為了簡化模型，加上限制條件WX=S，其中S為數(shù)據(jù)特征X對應的屬性向量。對式(1)做W?=WT變換，進一步轉(zhuǎn)換為優(yōu)化問題：

因此，變換后的目標函數(shù)式(2)是凸函數(shù)， κ為大于0的權重系數(shù)。改寫式(2)，可得

由于需要求式(3)的極值，所以需要對其進行求導操作，導數(shù)為零便可獲得相應的結果

圖1 SAE結構框架

該方程為西爾韋斯特方程，可以通過Bartels-Stewart算法求解得出。

SAE可以通過學習訓練樣本(X, Y)中的屬性知識完成從底層特征到屬性值的映射，用屬性共享機制將學習到的知識遷移到未知類別中，實現(xiàn)類別邊界的突破。在用SAE進行零樣本分類時，SAE的中間層為訓練圖像相對屬性的分數(shù)值。在使用SAE編碼器模型的時候，就可以獲取到從視覺底層特征到語義共享屬性層的映射矩陣W。在測試的過程中，使用訓練得到的W可以將測試圖像的底層特征映射成相對屬性分數(shù)值，然后利用高斯分布的概念來統(tǒng)計計算得出均值和方差，最后利用最大似然估計來預測出其測試樣本標簽。

3 基于粒子群算法尋最優(yōu)屬性關聯(lián)下的零樣本語義自編碼器

3.1 語義屬性相關性分析

基于描述類別的屬性的可共享性，共享屬性層的屬性與屬性之間存在一定的語義相關性[23]。如在描述動物時，“會飛”與“有翅膀”以及“會游泳”與“無皮毛”大多數(shù)情況總是相關聯(lián)的。將這些相關屬性予以結合或者引入相關性信息可以對分類起到積極作用，彌補共享屬性層的信息丟失。為表述這些屬性之間的正負相關性以及相關程度，根據(jù)類別、屬性以及訓練樣本個數(shù)，計算訓練樣本屬性-屬性的相關性，將其記作相關性矩陣。

假設數(shù)據(jù)中共有 N個訓練樣本，ani為第n個樣本的第i個屬性值。如果用Rij表 示屬性ai, aj間的相關性，其計算公式可表示為

3.2 粒子群優(yōu)化屬性相關性下的語義自編碼器(PSOSAE, PSA)

在零樣本分類中，K, L為訓練集和測試集樣本數(shù)，樣本總數(shù)為K+L。樣本有H個相對屬性，則樣本表示為 H ×(K+L)的屬性矩陣，記作Score ∈RH×(K+L)。 屬性關系為H ×H的相關性矩陣，記作 R L ∈RH×H。在原始屬性的基礎上，為引入屬性相關性且保持原始屬性維度，采用式(7)定義新屬性S core?。

其中， λ , μ 為兩個權重系數(shù)，λ 為乘性因子，對屬性相關信息做調(diào)整； μ為加性因子，對原始屬性信息保留。

考慮到參數(shù)與目標之間的單向可解性，本文采用PSO[26,27]尋找合適的 λ , μ，提出將PSO算法與SAE算法結合，簡稱PSA。粒子群算法是一種基于群體迭代的群算法，依據(jù)粒子在解空間追隨最優(yōu)的粒子的方法進行搜索，以使粒子能夠飛向解空間并在最好解處降落。

將PSO算法嵌入屬性尋優(yōu)過程中，其搜索步驟如下：

步驟 1 初始化D維粒子群，設定群體規(guī)模n、每個粒子的位置 Gi與 速度Vi。 將乘性因子λ 與加性因子μ 作為規(guī)模大小為250組的粒子群G，并用隨機數(shù)設定初始位置。

步驟 2 計算每個粒子的適應度值Fit[Gi]。適應度函數(shù)Fitness是經(jīng)過每組粒子群確定新屬性值下SAE求解最佳映射矩陣時的優(yōu)化目標：

步驟 6 如果滿足誤差結束條件或者最大循環(huán)次數(shù)則退出循環(huán)迭代，否則返回步驟2。

3.3 類別高斯圖像分類

本文采用直接屬性預測模型(Direct Attribute Prediction, DAP)[11]實現(xiàn)零樣本分類，通過屬性分類器的學習，建立屬性值到類別標簽的映射。在DAP模型中，先將數(shù)據(jù)從特征空間映射到中間層的屬性向量層，屬性向量層的屬性標簽是通過收集來的每一類特征的總結，通過利用數(shù)據(jù)預測屬性，再通過屬性映射到類別標簽來實現(xiàn)對于未知類別的預測。分類過程中，針對 m個已知類別，對應地用一個生成模型表示該類別的特征。根據(jù)圖像相對屬性取值的連續(xù)性，本文采用高斯模型來估計類別特征，采用最大似然估計實現(xiàn)高斯模型的參數(shù)估計。而未知類別的模型參數(shù)則通過與已知類別間的相對模型來進行指導學習。在判斷標簽類別時本文采用高 斯貝葉斯計算最大后驗概率來實現(xiàn)。

4 實驗仿真與分析

4.1 數(shù)據(jù)集

實驗選用數(shù)據(jù)集Pubfig[28]和OSR[29]。Pubfig是公開人臉數(shù)據(jù)集，包括8位名人的772幅圖像，擁有11個語義屬性。OSR是戶外場景識別數(shù)據(jù)集，包括8個戶外場景共2688幅圖像，擁有6個語義屬性。

在實際處理時，針對Pubfig和OSR數(shù)據(jù)集，本實驗設定不同訓練類別數(shù)目和測試類別數(shù)目來驗證方法，采用交叉驗證的方法增大實驗量，求取所有情況的平均值來驗證方法有效性。本實驗討論PSA的零樣本分類結果，并采用DAP[11], Relative[6]與SAE[10]方法做比較。

4.2 屬性相關性分析

為了直觀地分析屬性相關性，采用相關性圖對屬性相關性強弱進行可視化表示。圖2展示了Pubfig和OSR數(shù)據(jù)集的屬性正負相關性及強弱信息。如圖所示，藍色和紅色表示正、負相關。屬性相關性強弱由顏色深淺來表示，顏色越深表示相關性越強，白色則表明兩屬性之間不存在相關性。根據(jù)H個屬性兩兩相關性度量，可構建相關性矩陣RH×H。例如，就OSR的6個相對屬性，構建兩兩屬性間的相關性中，屬性size-large與diagonal-plane有較強的正相關性，其相關性系數(shù)可高達0.9333；而屬性perspective與natural有較強的負相關性，相關性系數(shù)為-0.9491?？梢?，屬性中嵌入相關性，可有效對 原數(shù)據(jù)集屬性值進行信息補償。

表1 PSA算法偽代碼

圖2 OSR和Pubfig數(shù)據(jù)集屬性相關性相比

4.3 參數(shù)λ , μ分析

根據(jù)建立的屬性相關性，利用PSO對屬性參數(shù)尋優(yōu)。PSO的具體參數(shù)設置如表2所示。

圖3給出Pubfig數(shù)據(jù)集(訓練和測試類別數(shù)為6和2情況下的第9組交叉驗證組合的情況)中，PSO在第1代與最后一代的粒子分布情況。起初250組粒子均勻地分布在設定的位置范圍內(nèi)，隨著迭代次數(shù)增加，最終適應度值下粒子所處的位置集中，并未出現(xiàn)在所設置的范圍邊界處，粒子分布隨著代數(shù)增加可以很好地聚集收斂，證明PSO整體參數(shù)設置合理。

此外，表3給出了Pubfig數(shù)據(jù)集中PSO尋優(yōu)參數(shù)下對應的測試精度(訓練和測試類別數(shù)分別為6和2，共計=28次交叉驗證)。對于每一次類別組合，均可以采用PSA算法對其尋求最優(yōu)的乘性因子和加性因子的參數(shù)組合，并計算該組合下引入相關性的屬性值，將訓練集屬性作為SAE輸入求得最優(yōu)目標下的映射矩陣。對訓練集屬性值進行重新排序，利用求解出的映射矩陣計算出測試集的屬性值，再構建高斯分布，根據(jù)最大后驗概率分配標簽，計算測試集的精度。

由表3可以看出PSO在尋最優(yōu) λ , μ時，其值都落在所設定的位置范圍內(nèi)，即再一次證明了采用PSO進行參數(shù)設置的合理性，而對應參數(shù)下引入相關性的新屬性值在Pubfig數(shù)據(jù)集中的分類結果也得到 了提高。

4.4 零樣本圖像分類

PSA將得到的最優(yōu)參數(shù)用來更新屬性值，利用SAE求解映射矩陣計算測試類別屬性值，對不可見類構建高斯分布求解最大后驗概率完成標簽映射。根據(jù)訓練類別數(shù)m與測試類別數(shù)M的不同組合，完成每一組下的交叉驗證的分類精度(Accuracy, Acc)與ROC曲線下面積(Area Under Curve, AUC)[30,31]。其中，分類精度能夠真實地反映出分類正確的樣本數(shù)與測試樣本總數(shù)的關系。AUC可以反映誤判率(把實際為假值的樣本判定為真值的概率)與靈敏度(把實際為真值的樣本判定為真值的概率)之間的關系，以便更好地對分類效果進行評價。表4和表5分別給出了Pubfig和OSR數(shù)據(jù)集中6組交叉驗證的Acc和AUC值。

由表4和表5結果可見，兩種數(shù)據(jù)集的平均測試結果Acc和AUC整體均有不同程度提升，其中Acc提升明顯。特別是在 m /M =2/6和m/M =6/2時，對于Acc, PSA在OSR上可提升10%以上，在Pubfig上也有近10%提升。而且，隨著訓練類別增加，Acc逐漸升高。然而對于Pubfig中m/M =4/4和m/M =5/3兩種情況，PSA并沒有取得顯著優(yōu)勢的分類精度；在O S R 數(shù)據(jù)集中 m/M =4/4時，PSA的分類精度略微降低。總體來說，在與經(jīng)典算法比較時，PSA可以得到較好的分類效果，尤其是在訓練、測試類別不均衡的情況下。因此，PSA更加適用于處理訓練和測試類別不均衡的情況。這是由于，當訓練組別和測試組別數(shù)目相差較大而造成兩類樣本不均衡且交叉驗證組別較少時，屬性之間相關性的建立能夠較大程度緩解零樣本分類的強偏問題。此外，在優(yōu)化屬性相關性時，PSA所采用的PSO是一種進化算法，進化算法的優(yōu)化過程本身所具有的隨機性，難以確保所有情況下PSO找到的參數(shù)都是全局最優(yōu)，而PSO現(xiàn)有的尋優(yōu)能力已經(jīng)顯著改善了零樣本分類效果。對于AUC，從表4和表5的結果來看，PSA相較于SAE略有提升。但是在OSR數(shù)據(jù)集上 m /M =4/4時，AUC值略低于SAE。這是由于PSO的優(yōu)化目標是訓練集的Acc，并未將

AUC作為優(yōu)化目標進行參數(shù)尋優(yōu)，因此得到的新參數(shù)并不一定滿足AUC更高的效果。本文之所以采用了單目標優(yōu)化而未優(yōu)化AUC指標，目的是更大幅度地提升Acc指標，提高分類性能。

表2 PSO的參數(shù)設置

圖3 PSO粒子始末分布圖

表3 PSO尋優(yōu)參數(shù)及測試精度(Pubfig數(shù)據(jù)集 測試類別數(shù)：2)

表4 OSR數(shù)據(jù)集的分類精度和AUC值

為了進一步分析PSA的詳細分類表現(xiàn)，本文分別給出了PSA與SAE在混淆矩陣上的實驗結果。本文隨機選取m /M =3/5 和m /M =5/3兩種分組下交叉驗證的其中一組混淆矩陣結果。圖4和圖5給出PSA和SAE兩種方法在OSR和Pubfig兩組數(shù)據(jù)集上的混淆矩陣分類結果，其中縱坐標表示真實標簽，橫坐標表示預測標簽。每個方格內(nèi)的小數(shù)代表測試分配標簽個數(shù)與該標簽的真實個數(shù)的百分比，顏色越深數(shù)值越小，顏色越淺對應的數(shù)值越大。表征分類結果的好壞時，對角線上的數(shù)值越大越好，即對角線上的方格顏色越淺越好。對比圖4(c)和圖4(d)，Insidecity與Opencountry兩種戶外的場景分類中，SAE錯分率較高，且兩者在分類過程中，互相錯分的概率很大，而PSA 因為相關性的信息引入，分類精度大幅度提升，使得這兩種場景分類具有更強的辨別度。同樣地，對比圖4(a)和圖4(b)，SAE在Forest類別上的分類精度很低，易錯分為Opencountry。在引入相關性分析后，PSA提高了Coast, Opencountry及Forest 3種場景的分類精度。然而，其在Insidecity和Street上的分類精度卻略有降低。這是由于PSA是在訓練集上優(yōu)化屬性相關性信息，所得到的屬性相關性并不能完全符合每種類別樣本的描述。甚至某種類別的屬性相關性信息與樣本平均的屬性相關性信息的正負相關性是相反的，從而相關性信息的引入會對個別類別樣本的分類產(chǎn)生消極影響。但是，通過交叉驗證實驗可以看到，屬性相關性信息的引入促使整體分類精度得到了顯著提高，在多種訓練、測試類別組合中獲得較穩(wěn)定的分類效果。對比圖5(a)和圖5(b)，對于JaredLeto與MileyCyrus兩人圖像，SAE分類的正確率較低，而PSA分類精度在一定程度上有明顯改善?；煜仃嚨膶嶒灲Y果進一步證明了在相同的算法架構下，引入屬性相關性的信息補償可以有效地改進分類精度，并且通過屬性多元化可以對共享層的屬性信息進行進一步挖掘。

表5 Pubfig數(shù)據(jù)集的分類精度和AUC值

圖4 分類結果混淆矩陣(OSR數(shù)據(jù)集)

圖5 分類結果混淆矩陣(Pubfig數(shù)據(jù)集)

5 結束語

本文致力于對零樣本圖像分類中構建的共享屬性層進行丟失信息的補償，通過PSO引入最優(yōu)屬性相關性信息，提升零樣本圖像分類的分類效果。針對特征到屬性的映射層采用SAE，針對屬性到標簽的歸類采用對不可見類構建高斯分布。該方法在Pubfig和OSR數(shù)據(jù)集上可獲得良好的分類效果，并與經(jīng)典的零樣本圖像分類方法相比有明顯提升。從而驗證了PSA方法的有效性。該方法使用PSO尋優(yōu)屬性相關性參數(shù)具有很好的移植性和靈活性。屬性多元信息化有利于在已有屬性基礎上提取圖像的鑒別性信息。在未來的工作中將重點探討復雜圖像分類中的屬性鏈的動態(tài)提取。