基于多區(qū)域中心加權卷積特征的圖像檢索

楊海龍 張娜 包曉安 桂江生

摘 要：針對圖像特征局部信息描述不足問題，提出一種基于多區(qū)域中心加權深度卷積特征提取方法。首先通過卷積神經(jīng)網(wǎng)絡提取輸入圖像的卷積層激活特征圖，然后通過計算不同通道特征圖的差異，選擇具有區(qū)分性的區(qū)域特征圖，最后通過多區(qū)域權重進行加權聚合，生成用于檢索圖像特征向量。在不同的建筑物數(shù)據(jù)集進行實驗，結果表明檢索精度分別提升了1.2%、0.9%。

關鍵詞：卷積特征;特征加權;特征提取;圖像檢索

DOI：10. 11907/rjdk. 182855 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP317.4 文獻標識碼：A 文章編號：1672-7800（2019）008-0204-04

Image Retrieval Based on Multi-region Center Weighted Convolution Feature

YANG Hai-long， ZHANG Na， BAO Xiao-an， GUI Jiang-sheng

（School of Information Science and Technology， Zhejiang Sci-Tech University， Hangzhou 310018， China）

Abstract：Aiming at the problem of insufficient description of image feature local information， a multi-region center weighted depth convolution feature extraction method is proposed. Firstly， the convolutional layer activation feature map of the input image is extracted by the convolutional neural network， and then the discriminative regional feature map is selected by calculating the difference of the different channel feature maps. Finally， the multi-region weights are used for weighted aggregation to generate the image feature vector for retrieval. After experiments in the image dataset， the retrieval accuracy was increased by 1.2% and 0.9%.

Key Words：convolution feature; feature weighting; feature extraction; image retrieval

基金項目：國家自然科學基金項目（61502430，61562015）

作者簡介：楊海龍（1993-），男，浙江理工大學信息學院碩士研究生，研究方向為圖像處理。

0 引言

伴隨著計算機及互聯(lián)網(wǎng)技術的發(fā)展，各種便攜設備逐步普及，圖像數(shù)據(jù)日益增加，如何從海量的圖像數(shù)據(jù)中高效、準確地檢索出用戶所需要的相似圖像成為圖像檢索研究熱點。

以傳統(tǒng)手工特征SIFT（Scale-Invariant Feature Transform）為代表[1]，出現(xiàn)了如詞袋模型（Bag-of-Words，BoW）[2]、費雪向量（Fisher Vector，F(xiàn)V）[3]以及局部聚合向量（Vector of locally aggregated descriptors，VLAD）[4]等局部特征編碼方法，BoW局部特征視為視覺詞，隨后使用K-Means無監(jiān)督聚類算法“視覺詞典”，最后將統(tǒng)計圖像中關鍵視覺詞出現(xiàn)頻率的直方圖作為圖像的全局視覺描述。FV算法通過高斯混合模型對不同的局部特征進行聚類，構建需要的視覺特征詞典，并使用關鍵視覺詞的均值和方差梯度信息表示圖像的全局特征，同等長度的特征檢索性能優(yōu)于BoW算法[5]。VLAD改進了BoW全局特征編碼過程，將局部特征與字典中心距離信息累積編碼作為圖像特征向量。

隨著深度學習的發(fā)展，深度卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）在圖像檢索領域效果卓著[6]。早期Babenko 等[7]將CNN用于圖像檢索，提出使用預先訓練的CNN提取全連接層特征作為圖像特征用語檢索，取得了優(yōu)于傳統(tǒng)特征的精度。隨后分析了卷積特征包含的局部信息，提出對CNN特征進行池化SPoC（Sum Pooled Convolutional Features）[8]，檢索精度優(yōu)于全連接層特征，結果表明卷積層特征比全連接層特征包含更多的圖像局部信息;Tolias 等[9]提出了基于區(qū)域卷積激活特征最大化的R-MAC（Regional Maximum Activation of Convolutions）特征提取算法，采用不同尺度的區(qū)域池化生成圖像的全局特征;Kalantidis 等[10]提出了CROW方法（Cross Dimensional Weighting），將卷積層特征按照通道、空間分解，分別計算卷積層特征對應的權重值，最后將其累加求和獲取圖像描述特征，提升了檢索性能;王利卿等[11]為了克服圖像尺度變化問題，提出了多尺度神經(jīng)網(wǎng)絡提取特征，并通過壓縮模型降低計算復雜度，在商品數(shù)據(jù)集上精度良好;Li等[12]提出了對多個卷積層特征進行融合的方法，檢索精度有所提升;Jimenez 等[13]將CAM（Class Activation Map）中學習的類別信息融合進圖像特征中，通過提取每個類別中判別性語義區(qū)域?qū)μ卣骷訖嗖僮鳌?/p>

但此前的研究忽略了目標位置信息，對此，Wei等[14]提出了選擇性卷積描述聚合SCDA（Selective Convolutional Descriptor Aggregation），通過獲取檢索目標物體位置區(qū)域，丟棄無關的背景區(qū)域，最終根據(jù)篩選后的特征區(qū)域經(jīng)過池化形成圖像特征向量。董榮勝等[15]受此啟發(fā)對Crow進行了改進，先提取出區(qū)域位置，再對該區(qū)域卷積特征進行空間和通道加權，提升了特征的判別性。

為提升特征局部信息描述能力，本文提出一種基于多區(qū)域中心加權的卷積特征提取方法，通過對卷積激活響應，從通道維度的卷積特征圖進行篩選，去除差異較小的特征圖，提取具有代表性的語義區(qū)域卷積特征圖，丟棄不相關的噪聲圖像區(qū)域，最終根據(jù)篩選后的特征進行加權生成圖像特征向量。在不同的建筑物數(shù)據(jù)集上進行實驗，結果表明提出的算法取得了較優(yōu)的檢索精度。

1 提取方法

1.1 符號定義

如圖1所示，將尺寸大小為[H×W]的圖像I作為整個網(wǎng)絡的輸入數(shù)據(jù)，輸入圖像經(jīng)過CNN網(wǎng)絡處理后，抽取出圖像的卷積層激活響應（Activations），其為 [h×w×c] 大小的三維卷積特征張量T。從通道維度劃分，張量T視為包含c個二維卷積特征圖（Feature Map），將卷積特征圖記為[Fk=Tk？，k=1，？，c]。從空間維度劃分，張量T視為具有 [h×w] 個維度為c的卷積通道向量，記為[C（i，j）=T（i，j）？，][i∈1，？，h，j∈1，？，w]，其中i，j對應卷積激活響應中的位置坐標。

圖1 卷積激活特征

1.2 圖像特征提取流程

卷積特征圖篩選階段，先將數(shù)據(jù)庫中圖像傳入卷積神經(jīng)網(wǎng)絡進行處理，抽取所有圖像的卷積激活響應。然后空間維度求和獲取c維向量，對所有求和后的向量獲取標準差數(shù)據(jù)，選取偏差較大的卷積核作為選取后的區(qū)域特征提取器，最后對選擇后的區(qū)域提取器等信息進行保存，見圖2。

圖2 特征提取流程

在特征加權階段，先通過提取器提取語義區(qū)域特征圖中的響應值進行排序，然后通過響應值計算語義區(qū)域中心位置，最后根據(jù)位置生成權重對卷積激活響應進行加權操作，獲取圖像的全局特征描述。

1.3 區(qū)域特征圖選擇策略

卷積層不同的卷積核可被特定的模式（Pattern）激活，多個卷積核非線性組合可以提取特定的圖像語義區(qū)域信息。通過對卷積特征圖進行篩選，可以提取出包含語義區(qū)域的響應值。篩選具有區(qū)別性語義區(qū)域的特征圖，去除部分無關的卷積特征圖，減少信息冗余和噪聲。卷積核在不同目標上的響應存在顯著差異，因此特征圖之間的差異可以衡量響應值中目標的信息。以此為基礎，采用計算c個通道二維特征圖之間的數(shù)值標準差[s∈Rc]，保留偏離值較大的通道特征圖，計算公式如下：

其中，[s，N，xk] 分別代表所求的標準差向量、訓練數(shù)據(jù)集中圖像的數(shù)量、通道維度c對其它維度進行求和得到的c維特征向量。

隨后對獲取的標準差向量進行排序，獲取偏離程度大的通道位置。該通道對應的卷積核在不同圖像上的響應值有顯著差異，提供了目標的相關判別性信息，將此卷積核稱之為區(qū)域特征提取器。為查看選取的區(qū)域特征提取器的有效性，對相同位置卷積核產(chǎn)生的卷積特征進行可視化操作。

可視化后的特征圖像素點越白表示響應值越大，越黑則響應值越小。從圖3可看出，具有檢索目標的位置顏色偏白，而沒有的顏色則較黑。經(jīng)過篩選后的卷積特征圖能有效抑制背景噪聲并突出該特征圖中包含的檢索目標。隨后對提取器的選取數(shù)量進行實驗，分析對比選取方式與數(shù)量對檢索精度的影響。

圖3 卷積特征圖可視化

1.4 多區(qū)域中心加權聚合方法

SPoC算法假定高斯中心處于圖像幾何中心，沒有考慮目標空間位置的關聯(lián)性。因此本文提出了多區(qū)域中心的高斯權重生成方法。區(qū)域特征圖選擇策略能去除不相關的噪聲干擾，突出了判別性目標位置信息和其近鄰關系。高斯權重記為[wk（i，j）∈Rh×w]：

其中，[xk，σ，（i0，j0）] 分別表示選取的卷積特征圖、高斯函數(shù)的標準方差函數(shù)和幾何中心坐標。將標準方差設定為卷積特征圖幾何中心與邊界距離的一半，由特征圖響應值排序，選取響應值較大的確定中心點坐標，選取的百分比由參數(shù) [α] 表示。提取特征圖，選取排序后較大的響應值作為基準獲取高斯函數(shù)的幾何中心。獲取區(qū)域中心后對卷積激活響應進行加權操作，獲得圖像的加權特征描述[f]：

最后在求得多個區(qū)域中心特征權重加權操作后，根據(jù)Crow方法對通道維度進行加權，最后將加權特征拼接成圖像全局特征描述。為了方便后續(xù)特征間相似度計算，對圖像全局特征進行了歸一化和PCA特征降維操作。

2 實驗

2.1 實驗設計

為評估算法性能，本實驗采用常用的建筑圖像檢索數(shù)據(jù)集：牛津Oxford5K、巴黎Paris6K以及增加了干擾數(shù)據(jù)的Oxford105k和Paris106k[17]。Oxford5k和Paris6k為研究者從網(wǎng)站上搜集的Oxford和Paris兩地的著名城市地標建筑物圖片。其中Oxford和Paris建筑數(shù)據(jù)集包含五千多張圖像樣本，所有的圖像樣本均對應一個類別標簽，共11種不同的地標標簽;每類地標圖像包含5個相關的檢索樣本，總共包含55個檢索圖像樣本，其余的圖像為不包含目標的干擾樣本。

實驗采用keras搭建 VGG Net 16層網(wǎng)絡模型[16]，去除卷積層后的全連接層，提取最后一層卷積層的輸出作為卷積激活響應。首先保留輸入圖像的原始尺寸，隨后進行預處理操作。采用深度卷積網(wǎng)絡模型提取實驗圖像樣本的卷積激活響應，按照特征圖篩選算法和多區(qū)域中心加權算法提取圖像的全局特征描述。

實驗評估步驟：先提取待查詢圖像全局特征描述，并計算與圖像全局特征之間的距離，然后采用余弦相似度計算方法對得到的圖像之間的相似度依據(jù)從大到小順序進行排序，最后選取排名靠前的圖像作為檢索結果。

將平均精確度均值mAP作為圖像檢索性能評價指標[18]。為進一步提升檢索精度，還進行了查詢拓展QE（Query Expansion）[19]，即對初步查詢后得到的結果求平均特征，并使用該特征再進行檢索，將其結果作為最后的查詢結果。

2.2 實驗結果與分析

2.2.1 區(qū)域提取器數(shù)量對比實驗

為評估不同數(shù)量的提取器對檢索性能產(chǎn)生的影響，進行排序后選擇與隨機選擇方法對比實驗，如圖4所示。

圖4 區(qū)域數(shù)目對比

圖4對比了隨機選擇和排序選擇兩種策略，圖中實線代表牛津數(shù)據(jù)集實驗結果，虛線為巴黎數(shù)據(jù)集實驗結果，實驗結果表明排序選擇優(yōu)于隨機選擇策略。當選取的區(qū)域特征提取器數(shù)量較少時，檢索精度較低，原因可能是丟失了過多的圖像目標位置信息，在加權后產(chǎn)生判別性較弱的特征描述。與之相反，當提取器數(shù)量超過50%時，兩種策略檢索精度無明顯差異，說明提取器過多產(chǎn)生了一定的噪聲，檢索精度也隨之下降。實驗結果表明特征篩選能夠降低噪聲干擾，提升特征描述能力，并且取得優(yōu)于隨機方法的精度。隨后的實驗中將提取器數(shù)值設定為通道總數(shù)的15%。

2.2.2 CNN算法對比

實驗分別對比同等特征維度下的各種圖像特征提取方法的性能，如表1所示，加黑的數(shù)字為性能表現(xiàn)最優(yōu)的檢索精度。從表1可以看出，采用提取全連接層的檢索算法檢索性能最低，而采用卷積層特征的算法性能上有一定優(yōu)勢。由于SPoC算法的特征維數(shù)較低，所以精度較低。在Paris數(shù)據(jù)集上，本文提出的算法比次優(yōu)的 R-MAC 算法 mAP 超出一個百分點，在拓展的干擾數(shù)據(jù)集上高出兩個百分點，而在Oxford數(shù)據(jù)集上，檢索精度優(yōu)于其它同類卷積特征算法。由于 R-MAC 算法進行了近似最大池化定位（Approximate Max-Pooling Localization，AML）操作，在Paris建筑物數(shù)據(jù)集上，本文方法的檢索精度相差0.3%，但在Oxford數(shù)據(jù)集上，本文的算法依舊高于次優(yōu)算法1%。實驗證實，通過簡單的查詢拓展操作后，不同的特征提取算法性能都有所提升。

表1 不同算法檢索mAP比較

3 結語

本文提出了一種新穎的圖像卷積特征加權方法，區(qū)域特征圖選擇策略和卷積特征加權策略是本算法核心。實驗結果表明，提出的圖像特征提取算法在相同條件下取得了優(yōu)于其它同類別CNN算法的檢索性能。未來研究工作中將繼續(xù)對圖像特征提取方法進行改進，從增加網(wǎng)絡深度、采用成對的樣本微調(diào)網(wǎng)絡參數(shù)等方向進行深入研究。

參考文獻：

[1] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[2] WU J，LI Z，QU W， et al. A new bag-of-words model using multi-cue integration for image retrieval[J]. International Journal of Computational Science & Engineering， 2016， 13（1）：80-86.

[3] QI C，SHI C，XU J，et al. Spatial weighted fisher vector for image retrieval[C]. IEEE International Conference on Multimedia & Expo， 2017.

[4] 顏文，金煒， 符冉迪. 結合VLAD特征和稀疏表示的圖像檢索[J]. 電信科學， 2016， 32（12）：80-85.

[5] 周文罡， 周文罡， 李厚強， 等. 圖像檢索技術研究進展 [J]. 南京信息工程大學學報：自然科學版， 2017， 9（6）：613-634.

[6] ZHENG L，YANG Y，TIAN Q. Sift meets cnn： a decade survey of instance retrieval[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2016， 40（5）：1224-1244.

[7] BABENKO A， SLESAREV A， CHIGORIN A， et al. Neural codes for image retrieval[C].European conference on computer vision. Springer， Cham， 2014： 584-599.

[8] BABENKO A V，VICTOR L. Aggregating local deep features for image retrieval[C].IEEE International Conference on Computer Vision， 2016.

[9] TOLIAS G，SICRE R，JéGOU? HERVé. Particular object retrieval with integral max-pooling of CNN activations[J]. Computer Science， 2015（9）：2254-2261.

[10] KALANTIDIS Y，MELLINA C，OSINDERO S. Cross-dimensional weighting for aggregated deep convolutional features[C].European Conference on Computer Vision. Springer， Cham， 2016.

[11] 王利卿， 黃松杰. 基于多尺度卷積神經(jīng)網(wǎng)絡的圖像檢索算法[J]. 軟件導刊， 2016， 15（2）：38-40.

[12] LI Y，XU Y，WANG J，et al. MS-RMAC： multiscale regional maximum activation of convolutions for image retrieval[J]. IEEE Signal Processing Letters， 2017， 24（5）：609-613.

[13] JIMENEZ A，ALVAREZ J M，GIRO-I-NIETO X. Class-weighted convolutional features for visual instance search[J]. arXiv preprint ， 2017（1）： 1707-2581.

[14] WEI X S，LUO J H，WU J，et al. Selective convolutional descriptor aggregation for fine-grained image retrieval[J]. IEEE Transactions on Image Processing， 2017， 26（6）：2868-2881.

[15] 董榮勝，程德強，李鳳英. 用于圖像檢索的多區(qū)域交叉加權聚合深度卷積特征[J]. 計算機輔助設計與圖形學學報， 2018（4）：2011-2021.

[16] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint，2014（5）：1409-1556.

[17] RADENOVI？ F， ISCEN A， TOLIAS G， et al. Revisiting Oxford and paris： large-scale image retrieval benchmarking[J]. arXiv preprint ，2018（2）：1524-1530.

[18] 于俊清， 吳澤斌， 吳飛，等. 多媒體工程：圖像檢索研究進展與發(fā)展趨勢[J]. 中國圖象圖形學報， 2017， 22（11）：1467-1485.

[19] 柯圣財， 李弼程， 陳剛，等. 一種基于視覺詞典優(yōu)化和查詢擴展的圖像檢索方法[J]. 自動化學報， 2018， 44（1）：2141-2148.

[20] ARANDJELOVIC R， GRONAT P， TORII A， et al. Netvlad： CNN architecture for weakly supervised place recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017（99）：1-2.

（責任編輯：杜能鋼）