優(yōu)化三元組損失的深度距離度量學(xué)習(xí)方法

李子龍，周 勇，鮑 蓉，王洪棟

（1.徐州工程學(xué)院信息工程學(xué)院，江蘇徐州 221018；2.中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇徐州 221116）

（?通信作者電子郵箱lzl@xzit.edu.cn）

0 引言

近年來(lái)，距離度量學(xué)習(xí)在圖像檢索、行人再識(shí)別、聚類(lèi)等方面都有著很好的應(yīng)用，已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。隨著深度學(xué)習(xí)的飛速發(fā)展，許多專(zhuān)家提出了深度距離度量的方法［1］。深度距離度量旨在通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練樣本到特征的映射。在該映射下，相似樣本的距離更為接近，而相異樣本的距離則更為遠(yuǎn)離。

為了學(xué)習(xí)樣本到特征的映射函數(shù)，設(shè)計(jì)合適的距離度量損失函數(shù)是提高深度神經(jīng)網(wǎng)絡(luò)性能的重要因素。對(duì)比損失是深度距離度量學(xué)習(xí)中經(jīng)常被使用的一類(lèi)損失函數(shù)［2-4］。通過(guò)該損失函數(shù)能使正樣本對(duì)特征向量之間的距離最小化，而使負(fù)樣本對(duì)特征向量之間間隔一定的距離。三元組損失使用正樣本對(duì)和負(fù)樣本對(duì)組成三元組［3，5］，在對(duì)比損失的基礎(chǔ)上進(jìn)一步考慮了類(lèi)內(nèi)距離和類(lèi)間距離的相對(duì)關(guān)系。相比負(fù)樣本對(duì)，這樣會(huì)使得正樣本對(duì)在映射后的特征空間里距離更近。由于構(gòu)造三元組的數(shù)量往往巨大，一些學(xué)者提出通過(guò)減少三元組的數(shù)量來(lái)降低算法的復(fù)雜度［6-7］。文獻(xiàn)［8］中提出了一種層次的三元組損失結(jié)構(gòu)，該方法將采樣和特征嵌入結(jié)合在一起進(jìn)行學(xué)習(xí)；文獻(xiàn)［9］中提出了一種距離加權(quán)采樣的方法，它是基于相對(duì)距離進(jìn)行樣本選擇；文獻(xiàn)［3］中提出在訓(xùn)練過(guò)程中充分利用小批量數(shù)據(jù)來(lái)構(gòu)建成對(duì)距離矩陣，并使用結(jié)構(gòu)化損失函數(shù)來(lái)學(xué)習(xí)特征嵌入；文獻(xiàn)［3］中的工作后來(lái)在文獻(xiàn)［10］中進(jìn)行了擴(kuò)展，提出了一種基于結(jié)構(gòu)化預(yù)測(cè)的距離度量方案，并用其去優(yōu)化聚類(lèi)效果；文獻(xiàn)［11］中擴(kuò)展了三元組的思想，允許在多個(gè)負(fù)樣本之間進(jìn)行聯(lián)合比較；文獻(xiàn)［12］中考慮了角度關(guān)系，提出了一種新穎的角度損失函數(shù)。

上述方法都是使用單一的距離度量去適應(yīng)多樣化的數(shù)據(jù)，也就是從整個(gè)訓(xùn)練集上學(xué)習(xí)距離度量，這容易忽略訓(xùn)練樣本間的局部差異性，在數(shù)據(jù)類(lèi)內(nèi)變化大、類(lèi)間模糊的情況下就顯得力不從心；而且使用單一、全局的距離度量容易導(dǎo)致過(guò)擬合。為此，一些學(xué)者嘗試對(duì)訓(xùn)練樣本分組，然后在組內(nèi)對(duì)局部差異性進(jìn)行距離度量學(xué)習(xí)，并使用集成技術(shù)進(jìn)一步增強(qiáng)其性能。如文獻(xiàn)［13］較早將集成學(xué)習(xí)的思想引入到度量學(xué)習(xí)中；文獻(xiàn)［14］中使用基于Boosting 的度量學(xué)習(xí)算法去計(jì)算按層次結(jié)構(gòu)組織的人臉數(shù)據(jù)；文獻(xiàn)［15］中提出采用多個(gè)基于視覺(jué)注意機(jī)制的學(xué)習(xí)者進(jìn)行集成；文獻(xiàn)［16］中建議將訓(xùn)練數(shù)據(jù)的標(biāo)簽隨機(jī)分組，并以此來(lái)集成多個(gè)相關(guān)的嵌入模型。

上述這些集成的方法主要關(guān)注訓(xùn)練過(guò)程的集成，并不是針對(duì)距離度量的集成，而且不能同時(shí)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)和弱學(xué)習(xí)者的端到端訓(xùn)練。本文采用Boosting 算法的思想，構(gòu)造多個(gè)三元組深度相對(duì)距離度量的級(jí)聯(lián)模型，每個(gè)相對(duì)距離對(duì)應(yīng)卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）全連接層中所劃分的單獨(dú)的一組，每一組對(duì)應(yīng)的全連接層代表一個(gè)弱分類(lèi)器，所有組共享CNN 的底層表示。在Boosting 框架中，不斷地更新訓(xùn)練樣本的權(quán)重，使得后續(xù)的相對(duì)距離度量更加關(guān)注那些難樣本上。為了有效評(píng)價(jià)三元組訓(xùn)練樣本的相近程度，本文對(duì)經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)映射的三元組訓(xùn)練樣本的相對(duì)距離進(jìn)行閾值化處理，并使用線性分段函數(shù)作為相對(duì)距離的評(píng)價(jià)函數(shù)。該評(píng)價(jià)函數(shù)會(huì)作為弱分類(lèi)器不斷加入到Boosting 框架中去，最終生成一個(gè)強(qiáng)分類(lèi)器。為了優(yōu)化弱分類(lèi)器和神經(jīng)網(wǎng)絡(luò)的參數(shù)，本文采用交替優(yōu)化的方法來(lái)獲得最優(yōu)值。相比經(jīng)典的基于三元組損失的距離度量方法，本文方法在深度神經(jīng)網(wǎng)絡(luò)上并沒(méi)有引入額外的參數(shù)，且在學(xué)習(xí)評(píng)價(jià)函數(shù)參數(shù)時(shí)所花費(fèi)的代價(jià)也并不太大。

1 基于Boosting的深度距離度量模型

讓X=[x1，x2，…，xN]表示N個(gè)挑選而成的三元組訓(xùn)練樣本。其中，第i個(gè)三元組訓(xùn)練樣本表示為，它對(duì)應(yīng)一個(gè)三元組標(biāo)簽yi∈{-1，+1}。是組成三元組訓(xùn)練樣本的三個(gè)訓(xùn)練樣本，稱(chēng)為錨點(diǎn)樣本。如果這三個(gè)訓(xùn)練樣本的類(lèi)別一樣，都屬于正例樣本，則yi=+1；如果只有的類(lèi)別一樣，都為正例樣本，而為負(fù)例樣本，則yi=-1。

本文使用多個(gè)神經(jīng)網(wǎng)絡(luò)，第i個(gè)三元組訓(xùn)練樣本xi=經(jīng)過(guò)所學(xué)習(xí)的第m個(gè)神經(jīng)網(wǎng)絡(luò)映射后的三元組為。根據(jù)Boosting 算法的思路，本文使用一組對(duì)應(yīng)多個(gè)神經(jīng)網(wǎng)絡(luò)的三元組訓(xùn)練樣本的相對(duì)距離弱分類(lèi)器去構(gòu)造一個(gè)強(qiáng)分類(lèi)器，如下式所示：

其中：M是弱分類(lèi)器的數(shù)量，φm是三個(gè)訓(xùn)練樣本經(jīng)過(guò)第m個(gè)神經(jīng)網(wǎng)絡(luò)映射的特征值之間兩兩組合的相對(duì)距離評(píng)價(jià)函數(shù)。為了評(píng)價(jià)三個(gè)訓(xùn)練樣本映射后的相對(duì)距離，使得相同類(lèi)別的三個(gè)訓(xùn)練樣本映射后的相對(duì)距離更為靠近，而不同類(lèi)別的三個(gè)訓(xùn)練樣本映射后的相對(duì)距離更為遠(yuǎn)離，本文使用了一個(gè)適應(yīng)能力更強(qiáng)的相對(duì)距離評(píng)價(jià)函數(shù)，其定義如下式所示：

在Boosting 算法中，每一次迭代都會(huì)產(chǎn)生一個(gè)新的弱分類(lèi)器并加入到強(qiáng)分類(lèi)器中。根據(jù)文獻(xiàn)［17］的介紹，一個(gè)弱分類(lèi)器添加到強(qiáng)分類(lèi)器的過(guò)程可以看作使下面的損失函數(shù)最小化的問(wèn)題：

上式可進(jìn)一步變?yōu)橄旅娴膬?yōu)化問(wèn)題：

2 優(yōu)化三元組損失的學(xué)習(xí)方法

在Boosting 算法中訓(xùn)練多個(gè)CNN 的代價(jià)太高，為了避免較大的計(jì)算開(kāi)銷(xiāo)，將CNN 的全連接層劃分為幾個(gè)不重疊的組，每個(gè)組代表一個(gè)弱分類(lèi)器，而所有的弱分類(lèi)器共享相同的底層表示，也就是將CNN 中連續(xù)的卷積層和池化層進(jìn)行共享。參考文獻(xiàn)［3］，本文采樣小批次數(shù)據(jù)，通過(guò)CNN 前向傳播，并在網(wǎng)絡(luò)的最后一層中組成三元組形式，最后根據(jù)損失函數(shù)反向傳播到網(wǎng)絡(luò)的全連接層。在本文實(shí)驗(yàn)中，參與對(duì)比的相關(guān)文獻(xiàn)也是采用此種方案。為了訓(xùn)練模型中的弱分類(lèi)器，本文參考文獻(xiàn)［18］的思路，采用交替優(yōu)化方法來(lái)學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)和距離評(píng)價(jià)函數(shù)的參數(shù)。

在第m次迭代，固定第m個(gè)深度神經(jīng)網(wǎng)絡(luò)全連接層參數(shù)的同時(shí)來(lái)研究式（4）的優(yōu)化問(wèn)題。為此，本文先利用三元組訓(xùn)練樣本的標(biāo)簽對(duì)其進(jìn)行拆解分析，如下式所示：

對(duì)拆解后的公式分別對(duì)αm和βm求偏導(dǎo)數(shù)并令偏導(dǎo)數(shù)為0，則可以得到這兩個(gè)參數(shù)的最優(yōu)值，如下式所示：

在每次迭代之后，訓(xùn)練樣本的權(quán)重被更新，如下式所示：

在訓(xùn)練樣本的權(quán)重被更新后，將所有訓(xùn)練樣本的權(quán)重進(jìn)行歸一化處理。經(jīng)過(guò)上面的分析，可知影響距離評(píng)價(jià)函數(shù)的參數(shù)實(shí)際上只與tm有關(guān)，其優(yōu)化值采用窮舉法就可以得到。于是，一個(gè)最優(yōu)的弱分類(lèi)器被找到并可被加入到強(qiáng)分類(lèi)器中去。而此時(shí)，被正確分類(lèi)的樣本會(huì)被賦予較低的權(quán)重，而被錯(cuò)誤分類(lèi)的樣本則被分配較高的權(quán)重，這就會(huì)使得后面的弱分類(lèi)器更加關(guān)注前面弱分類(lèi)器不能判別的樣本。

接著固定第m個(gè)距離評(píng)價(jià)函數(shù)參數(shù)αm、βm、tm的值后，再去優(yōu)化第m個(gè)深度神經(jīng)網(wǎng)絡(luò)的全連接層參數(shù)。本文使用三元組損失函數(shù)去訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，訓(xùn)練過(guò)程使用常規(guī)的反向傳播算法。具體來(lái)說(shuō)，在前向傳播中，對(duì)每個(gè)三元組訓(xùn)練樣本計(jì)算其映射后的兩兩組合的相對(duì)距離。而在反向傳播算法中，迭代地反向傳播三元組損失函數(shù)值去更新深度神經(jīng)網(wǎng)絡(luò)的參數(shù)。參考文獻(xiàn)［5］，使用經(jīng)典的三元組損失函數(shù)，這種損失函數(shù)會(huì)懲罰正三元組訓(xùn)練樣本的較大距離和負(fù)三元組訓(xùn)練樣本的較小距離。使用前面根據(jù)學(xué)習(xí)得到距離度量閾值tm作為三元組相對(duì)距離的距離間隔，于是得到下面的三元組損失函數(shù)：

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法的有效性，選取CUB-200-2011、Cars-196 和Standford Online Products（SOP）三個(gè)公開(kāi)可用的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并與當(dāng)前流行的深度距離方法（文獻(xiàn)［2-3，5，8，11-12，15-16，19-21］中的方法）在檢索任務(wù)上進(jìn)行了比較。

數(shù)據(jù)集CUB-200-2011 由200 種的鳥(niǎo)類(lèi)圖片構(gòu)成，使用前100 個(gè)類(lèi)別的5 864 幅圖像進(jìn)行訓(xùn)練，而剩余的100 個(gè)類(lèi)別的5 924 幅圖像用于測(cè)試；Cars-196 數(shù)據(jù)集包含196 種不同類(lèi)別的16 185 幅汽車(chē)圖像，使用前98 種不同類(lèi)別的8 054 幅圖像用于訓(xùn)練，而后98 種不同類(lèi)別的8 131 幅圖像用于測(cè)試；數(shù)據(jù)集SOP 包含大量產(chǎn)品圖片，使用11 318 個(gè)類(lèi)別的59 551 幅圖像用于訓(xùn)練，而其他11 316個(gè)類(lèi)別的60 502幅圖像用于測(cè)試。

為了評(píng)估本文方法在圖像檢索方面的性能，使用Recall@K來(lái)度量檢索效果。這個(gè)度量指標(biāo)是這樣計(jì)算的：首先，對(duì)于測(cè)試集中的每幅圖像，從剩余的測(cè)試集中檢索出K幅最相似的圖像，這個(gè)相似性由本文所提出的三元組距離度量來(lái)定義；然后，如果這K幅檢索到的圖像中有一個(gè)與查詢圖像具有相同的標(biāo)簽，則將召回值增加1；最后，最終的Recall@K值是召回值占所有測(cè)試圖像的百分比。在數(shù)據(jù)集CUB-200-2011 和Cars-196 上選擇K∈｛1，2，4，8，16，32｝來(lái)計(jì)算召回率，在數(shù)據(jù)集SOP上選擇K∈｛1，10，100，1 000｝來(lái)計(jì)算召回率。網(wǎng)絡(luò)結(jié)構(gòu)上主要參考文獻(xiàn)［2］中使用GoogLeNet 作為特征提取器，并使用TensorFlow 來(lái)實(shí)現(xiàn)本文方法。實(shí)驗(yàn)中將batch 的大小設(shè)置128，所有深度神經(jīng)網(wǎng)絡(luò)均使用隨機(jī)梯度下降算法進(jìn)行訓(xùn)練。

弱分類(lèi)器的數(shù)量對(duì)深度距離度量的效果有影響，為此，在CUB-200-2011、SOP 和Cars-196 這三個(gè)數(shù)據(jù)集上觀察弱分類(lèi)器數(shù)量對(duì)距離度量的影響，如圖1 所示。從圖1 可以看出，隨著弱分類(lèi)器數(shù)量的增加，Recall@1的值不斷增加，而后不斷下降。在Cars-196 數(shù)據(jù)集上，當(dāng)弱分類(lèi)的數(shù)量為4 時(shí)Recall@1的值達(dá)到頂峰，在SOP 和CUB-200-2011 這兩個(gè)數(shù)據(jù)集上，分別在弱分類(lèi)的數(shù)量為5 和6 時(shí)Recall@1 的值達(dá)到頂峰，這說(shuō)明在不同圖像數(shù)據(jù)集上進(jìn)行圖像檢索的難易程度是不同的，在后面與不同方法對(duì)比實(shí)驗(yàn)中也按照此方式設(shè)置。

圖1 弱分類(lèi)器數(shù)量對(duì)圖像檢索性能的影響Fig.1 Influence of the number of weak classifiers on performance of image retrieval

特征向量的大小也是影響深度距離度量中的一個(gè)重要因素，因此，在數(shù)據(jù)集Cars-196上進(jìn)行實(shí)驗(yàn)以觀察不同特征向量的大小對(duì)檢索精度的影響。文獻(xiàn)［19］中的實(shí)驗(yàn)針對(duì)特征向量大小從64 至1 024 的情況分析了它對(duì)檢索性能的影響，本文也進(jìn)行同樣的實(shí)驗(yàn)，并與文獻(xiàn)［19］中的方法進(jìn)行對(duì)比分析，實(shí)驗(yàn)結(jié)果如圖2所示。從圖2中可以看出，隨著特征向量大小的增加，檢索性能逐漸提高。當(dāng)特征向量的大小為256 時(shí)，本文方法的性能逐漸平穩(wěn)，在后面的實(shí)驗(yàn)中將特征向量的大小設(shè)置為此值；而且本文方法在不同特征向量大小上的檢索性能都要優(yōu)于文獻(xiàn)［19］方法。

圖2 不同大小的特征向量的大小對(duì)圖像檢索性能的影響Fig.2 Influence of feature vector size on performance of image retrieval

接下來(lái)在數(shù)據(jù)集Cars-196 上與文獻(xiàn)［6］方法比較了訓(xùn)練和測(cè)試的檢索性能。從圖3 中可以看出，在訓(xùn)練集和測(cè)試集上，本文方法的Recall@1 值之間的差距比文獻(xiàn)［6］方法的要小。這清楚地表明，本文方法并不傾向于導(dǎo)致過(guò)擬合。

圖3 不同時(shí)期數(shù)下訓(xùn)練和測(cè)試的圖像檢索性能Fig.3 Image retrieval performance of training and testing in different epochs

本文方法和文獻(xiàn)［3，5，11，19］中的方法在數(shù)據(jù)集Cars-196 上訓(xùn)練時(shí)的收斂速度的對(duì)比如圖4。從圖4 中可以看出，在最開(kāi)始40 個(gè)時(shí)期內(nèi)，本文方法的檢索性能就達(dá)到了最高值，比其他的方法快得多；并且，除了文獻(xiàn)［19］方法之外，其他方法都要100個(gè)時(shí)期以后開(kāi)始慢慢收斂。

圖4 不同方法的收斂速度對(duì)比Fig.4 Convergence rate comparison of different methods

最后，將本文與當(dāng)前流行的一些方法在圖像檢索任務(wù)上進(jìn)行了比較，結(jié)果如表1 所示。從數(shù)據(jù)集CUB-200-2011 和Cars-196 上的實(shí)驗(yàn)結(jié)果可以看出，本文方法優(yōu)于其他的對(duì)比方法，包括高階元組（文獻(xiàn)［3，11］）、角度損失（文獻(xiàn)［12］）和集成的方法（文獻(xiàn)［15-16］）；特別地，本文方法的Recall@1 值在極具挑戰(zhàn)性的CUB-200-2011 數(shù)據(jù)集上也取得了較好成績(jī)。在SOP數(shù)據(jù)集上，本文方法的表現(xiàn)也很出色。

表1 K取不同值時(shí)各方法在三個(gè)數(shù)據(jù)集上的Recall@K結(jié)果比較 單位：%Tab.1 Comparison of the Recall@K with different methods on three datasets when K takes different values unit：%

4 結(jié)語(yǔ)

為了提高深度距離度量的性能，本文提出了一種新的深度距離度量學(xué)習(xí)方法，該方法將距離度量和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)融入Boosting 算法中。使用線性分段函數(shù)評(píng)價(jià)通過(guò)神經(jīng)網(wǎng)絡(luò)映射的三元組訓(xùn)練樣本的相對(duì)距離，并將該評(píng)價(jià)函數(shù)作為Boosting 算法中的一個(gè)弱分類(lèi)器。通過(guò)在數(shù)據(jù)集Cars-196 上進(jìn)行訓(xùn)練和測(cè)試的結(jié)果，表明本文方法具有較好的泛化性能；同時(shí)，通過(guò)在CUB-200-2011、Cars-196和SOP 數(shù)據(jù)集上與其他方法進(jìn)行圖像檢索任務(wù)的比較，結(jié)果也表明本文方法的性能優(yōu)于對(duì)比方法。