基于深度層級特征的中國傳統(tǒng)視覺文化符號識別及應用

吳曉雨，張愉，譚笑，楊磊

(中國傳媒大學 信息工程學院，北京100024)

1 引言

本課題的研究內容來源于國家科技支撐計劃課題《區(qū)域公共文化云服務平臺關鍵技術研究》，主要研究區(qū)域公共文化云服務平臺的關鍵技術，在此基礎上形成區(qū)域公共文化網絡平臺上支持各種服務模式及相關業(yè)務的技術解決方案。本課題主要負責基于圖像識別的線上線下互動技術的研究與實現(xiàn)，旨在完成對典型視覺文化符號的特征量分析，抽象特征提取和識別，服務于視覺文化符號新型展示和推廣應用。這一課題的研究，有助于加快中國傳統(tǒng)視覺文化領域的研究速度，與時俱進，推動我國傳統(tǒng)文化的數(shù)字化進程，以便達到更高的研究水平。

目前，計算機技術在中國傳統(tǒng)視覺文化符號大類之間的識別研究還是空白，且依靠于深度學習卷積神經網絡來識別傳統(tǒng)文化符號的研究還很少見，所以將深度學習卷積神經網絡應用在中國傳統(tǒng)視覺文化符號的研究中，并建立相應的識別系統(tǒng)的工作需要我們快速推進。

2 基于淺層學習的視覺文化符號識別

我們先從簡單的分類任務入手，利用淺層學習中多特征融合的方法來解決分類問題，結果顯示在提取輪廓特征、顏色特征及SIFT特征并結合空間金字塔的思想，將融合后的多特征送入SVM中訓練并測試，效果最好。

基于空間語義信息的多特征融合和SVM對中國傳統(tǒng)視覺文化符號進行識別，總體框架如圖1。

主要根據(jù)局部特征和全局特征的優(yōu)勢互補性，將幾種特征結合在一起形成多特征，我們分析了幾種特征組合的識別結果，即SIFT+RGB，SIFT+RGB+LBP，SIFT+HOG+RGB等，其中在SIFT特征提取過程中，我們引用了詞包模型和空間金字塔的思想[1]，使得提取到的特征具有空間語義信息。同時，根據(jù)對視覺文化符號的特征分析，我們在提取SIFT特征的基礎上，又加入了輪廓特征和顏色特征等，并將以上幾種特征融合，將融合后的特征作為圖像的具有空間語義信息的特征表達。并用核函數(shù)為的SVM作為文化符號的分類器來將文化符號分類。實驗中，使用的數(shù)據(jù)是從視覺文化符號數(shù)據(jù)集中抽取的典型的8類符號作為數(shù)據(jù)集A，實驗證明，基于淺層學習的中國傳統(tǒng)視覺文化符號識別算法中，最有效的識別算法組合是含有空間位置信息的SIFT、HOG和RGB融合的多特征，并結合核函數(shù)為的SVM作為分類器，識別的平均F-值在97.5%左右。但考慮到實際生活中識別系統(tǒng)的拒識能力和泛化能力，我們對正樣本進行了數(shù)據(jù)擴充并加入了負樣本，此時數(shù)據(jù)集A變?yōu)閿?shù)據(jù)集A+，也就是在數(shù)據(jù)集A+上再次使用前面的方法進行實驗，實驗結果如表1所示。從表1中，可以發(fā)現(xiàn)，當識別任務變復雜后，準召率明顯下降，F(xiàn)-值降低了約6個百分點，對實驗結果進行錯誤分析后，我們覺得在分類任務變復雜后，使用淺層學習的SIFT+HOG+RGB(SPM)方法并不能夠很好地完成分類任務。這就說明淺層學習在處理復雜的分類任務上，效果并不理想，所以我們對于這一問題的解決還需要進一步研究。

圖1 基于空間語義信息的多特征融合和SVM的視覺文化符號識別總體框架

類標簽準確率．(%)召回率．(%)F-measure．(%)數(shù)據(jù)集A數(shù)據(jù)集A+數(shù)據(jù)集A數(shù)據(jù)集A+數(shù)據(jù)集A數(shù)據(jù)集A+00．94200．84961．00000．92270．97010．914311．00000．94620．98520．95050．99260．961420．95980．92890．97950．94970．96950．9609

續(xù)表

3 基于深度學習的視覺文化符號識別

為了克服現(xiàn)有技術的不足，我們在本部分先使用深度學習中卷積神經網絡來解決這個問題。實驗中我們在Caffe框架[2]上使用網絡Alexnet[3]，為了使網絡有一個好的初始化，加快網絡收斂，我們在已有的模型上finetuning[4]。同時使用GPU加速訓練。并選取數(shù)據(jù)集A+進行實驗，將實驗結果與第2部分提到的基于淺層學習中識別性能最好的方法做比較。實驗結果如表2所示，從表2的實驗結果中可以發(fā)現(xiàn)基于深度學習的識別效果要比淺層學習好，使用Alexnet網絡進行實驗的效果比較理想。最后為了驗證識別系統(tǒng)的識別性能，我們又選用了較為復雜的數(shù)據(jù)集B+做驗證，實驗證實了我們得出的結論，也就是使用Alexnet網絡處理較為復雜的分類任務，效果最好，實驗結果如表3所示。除此之外我們也經過實驗驗證了對數(shù)據(jù)進行手動擴充和虛擬擴充后訓練出的模型更具有泛化能力，并且關于負樣本個數(shù)的問題，我們經過實驗驗證發(fā)現(xiàn)當負樣本和正樣本總量相當?shù)那闆r下，對識別系統(tǒng)的拒識能力越有利。在降維的實驗中，我們發(fā)現(xiàn)降維可以有效地減少噪聲，去掉冗余特征，提升識別性能，實驗結果顯示，當特征降到256維時，識別系統(tǒng)的識別性能最好。

之后，我們又提出了基于深度層級特征和SVM結合的中國傳統(tǒng)視覺文化符號識別的方法，總體框如圖2所示。基于深度層級特征和SVM結合的中國傳統(tǒng)視覺文化符號識別方法，首先將數(shù)據(jù)集轉化為lmdb格式送入到深度學習卷積神經網絡中訓練分類模型；其次在訓練好的模型中提取全連接層fc6和fc7的視覺文化符號特征，將提取到的兩層的特征合并成一個長向量；最后，將該向量作為每一類圖像的圖像特征表達送入到淺層學習SVM中進行分類。

圖2 基于深度層級特征的視覺文化符號識別技術總體框架

提出該方法的理論依據(jù)是因為卷積神經網絡的網絡結構效仿了人腦視覺機制，能夠自行地從原始圖像中學習到具有普適性的深層特征。并且基于上面提到的傳統(tǒng)網絡中Softmax的缺點考慮到SVM不用計算代價函數(shù)，這樣的話就省略了參數(shù)更新的過程，使得收斂速度更快。并且SVM最大的優(yōu)勢就是抗噪聲的能力，以及可以采用核函數(shù)進行維度變化，將線性不可分的低維特征通過映射變到高維空間上進行分類，它是基于結構風險最小化理論在特征空間中建構最優(yōu)分割超平面，使得學習達到全局最優(yōu)[5]?？紤]到卷積神經網絡可以學習到良好的特征，而傳統(tǒng)分類器SVM又具有優(yōu)越的分類性能，所以我們利用兩者的優(yōu)勢互補性將卷積神經網絡和傳統(tǒng)分類器相結合，把卷積神經網絡看作為特征提取器，提取深度層級特征，再使用SVM進行訓練和分類來獲取最好的分類性能。

實驗中我們用到的網絡是Alexnet，為了提升訓練速度我們使用GPU并且在別人已經訓練好的成熟模型上finetuning。模型訓練好后，提取最后兩層特征，并將兩層特征結合并做降維處理，將此作為深度層級特征。最后將深度層級特征送入核函數(shù)不同的SVM中進行訓練與測試。實驗結果顯示如表2和表3，通過據(jù)集A+和B+的實驗結果顯示，將傳統(tǒng)神經網絡Alexnet中提取到的深度層級特征與核函數(shù)為直方圖交叉核的SVM結合使用，識別性能最好。

表2 數(shù)據(jù)集A+：各類別識別性能比較

表3 數(shù)據(jù)集B+：各類別識別性能比較

續(xù)表

4 基于展品識別的線上線下互聯(lián)系統(tǒng)研發(fā)

由于本項目最終是服務于博物館、藝術館等文化場館中，為了方便游客更好地了解中國傳統(tǒng)視覺文化，實現(xiàn)文物信息的數(shù)字化。我們將上述研究成果做成手機APP，該APP的主要作用是，當游客在參觀博物館時，如果對某件展品感興趣想了解該展品的相關信息以及展品背后的故事，可以使用該APP對展品進行拍照，然后APP獲取數(shù)據(jù)后通過HTTP協(xié)議，傳送到云服務器端進行特征提取，及識別，最后將相應的展品信息及相關數(shù)據(jù)返回到客戶端。這樣游客在欣賞展品的同時，也可以獲取到公共文化知識進而可以促進公共文化的傳播；或者游客可以將展品拍下保存在本地相冊，當想了解某件展品時，再通過APP獲取相應的信息。如此一來人們可不受時間和空間的局限，隨時隨地獲取公共文化云服務信息、享受公共文化服務資源，使公共文化真正成為公民“身邊的文化”，不僅有利于公民自身知識的拓展，也有利于中國傳統(tǒng)視覺文化的傳播。

我們先從客戶端獲取所要識別的圖像，然后在服務器端(云端)調用提取特征的腳本以獲取該圖像的特征，其實主要是將圖像送入到指定的卷積神經網絡中，提取fc6和fc7層的特征，作為該圖像的特征表達。其中fc6層的特征維數(shù)是4096，fc7層特征經過降維降256維，這樣得到的結果應該是一個維度為4096+256的長向量，然后將該向量送入到已加載模型的SVM中，得到測試結果，最后將測試結果返回給客戶端。依靠“云到端”的圖像識別完成線上線下的互聯(lián)。實驗顯示，當對感興趣展品進行拍照上傳后，服務器端可以精準地識別，從圖像上傳到展品信息被反饋到客戶端，所用時間不超過1.5s。成品展示說明如下：

(1)當識別50類中的瓷器展品時，會顯示瓷器的相關介紹，如圖3所示。

圖3 識別50類中的展品示例

(2)當識別非以上50類的瓷器，或者其他非瓷器的物品時，會顯示“檢測范圍之外”如圖4所示。

圖4 識別非50類中的展品識別示例

基于文化展品識別的線上線下連接系統(tǒng)研發(fā)。主要是提到了博物館中文化展品的采集以及利用第四部分提到的識別技術對采集到的數(shù)據(jù)進行訓練和識別，完成客戶端到云服務器端的交互，也就是面向智能終端完成基于展品識別的線上線下互聯(lián)。

5 結論

中國傳統(tǒng)視覺文化符號識別的核心技術就是圖像識別，針對圖像識別技術而言傳統(tǒng)的方法主要是基于淺層學習或者深度學習來進行識別，本論文在第二、三部分分別使用了淺層學習和深度學習對視覺文化符號進行識別，并在此基礎上提出第四部分的算法，然后在第五部分實際應用中使用第四部分的算法對文化展品進行識別，完成“云—端”的線上線下的交互。將計算機技術與中國傳統(tǒng)視覺文化相結合，不僅有利于中國傳統(tǒng)視覺文化的傳播，而且對于計算機技術在中國傳統(tǒng)視覺文化上的應用也起到了推動作用。在基于展品識別的線上線下互聯(lián)技術中，我們使用基于深度層級特征的識別方法，實驗顯示使用該方法可以準確高效地完成識別任務。從實驗和實踐上都證明了所提方法的可行性與可靠性。同時識別系統(tǒng)搭建簡單，識別算法具備完全自動化、結果準確的特性。

[1]Lazebnik S，Schmid C，Ponce J.Beyond Bags of Features：Spatial Pyramid Matching for Recognizing Natural Scene Categories[C].Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on IEEE，2006.2169-2178.

[2]http：//caffe.berkeleyvision.org/.

[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C].International Conference on Neural Information Processing Systems，Curran Associates Inc，2012.1097-1105.

[4]Yanai K，Kawano Y.Food image recognition using deep convolutional network with pre-training and fine-tuning[C].Multimedia & Expo Workshops(ICMEW)，2015 IEEE International Conference on，IEEE，2015.1-6.

[5]Vapnik VN.The nature of statistical learning theory(statistics for engi- neering and information science)[M].New York，NY：Springer- Verlag，1999.