融合深度特征的多示例學(xué)習(xí)陶俑圖像分類

溫 超,屈 健,李 展

(1.西北大學(xué) 藝術(shù)學(xué)院 710127，陜西 西安;2.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院， 陜西 西安 710127)

古代陶俑作為珍貴的文物和藝術(shù)品，具有重要的歷史、科學(xué)和藝術(shù)價(jià)值。近20年來(lái),隨著陜西秦兵馬俑二次發(fā)掘和漢唐墓葬考古等工作的進(jìn)展，利用各種數(shù)字采集方法獲取了大量陶俑圖像數(shù)據(jù)。同時(shí)，伴隨互聯(lián)網(wǎng)數(shù)字圖像資源的不斷豐富,目前在西北大學(xué)數(shù)字博物館中已經(jīng)擁有包括陶俑在內(nèi)的大量文物圖像[1],如圖1所示。

圖1 西北大學(xué)數(shù)字博物館中的陶俑圖像Fig.1 Pottery figurine from digital archaeology museum of Northwest University

近年來(lái),圖像理解技術(shù),如圖像分割、圖像檢索、圖像標(biāo)注、圖像分類等,已得到了廣泛的研究和應(yīng)用,但是，針對(duì)陶俑的相關(guān)圖像理解研究仍有待展開(kāi)。由于不同陶俑的形態(tài)(藝術(shù))特征各不相同,通過(guò)對(duì)大量不同年代陶俑圖像的分析發(fā)現(xiàn),陶俑文物圖像具有如下幾個(gè)特點(diǎn):①不同年代和職能陶俑具有較大的類內(nèi)差異,比如同樣都是兵俑圖像,秦代的兵俑與漢代的兵俑表現(xiàn)出完全不同的視覺(jué)特性;②陶俑圖像的局部區(qū)域如頭飾、面部、足部等特征,對(duì)于陶俑語(yǔ)義獲取起著重要的作用;③如果對(duì)陶俑圖像整體標(biāo)注語(yǔ)義信息,則陶俑圖像分類問(wèn)題就變成一個(gè)標(biāo)準(zhǔn)的多示例學(xué)習(xí)問(wèn)題,即把陶俑圖像看作是包,圖像區(qū)域作為包中的示例,我們只知道該陶俑圖像(包)包含特定區(qū)域特征(正示例),卻不知道哪個(gè)示例是正示例。多示例學(xué)習(xí)適于表達(dá)不完備標(biāo)記、歧義性問(wèn)題,并可有效降低標(biāo)注復(fù)雜度,因而受到了廣泛的關(guān)注,已應(yīng)用到如文本分類[2]、目標(biāo)跟蹤[3]、行人再識(shí)別[4]、計(jì)算機(jī)輔助醫(yī)學(xué)診斷[5]等諸多具有挑戰(zhàn)性的任務(wù)中。

基于陶俑圖像的自身特點(diǎn)并結(jié)合多示例學(xué)習(xí)的優(yōu)勢(shì),本文提出了一種結(jié)合深度特征與多示例學(xué)習(xí)的陶俑文物圖像分類方法。該方法首先對(duì)陶俑圖像進(jìn)行分割,從而獲取陶俑局部特征區(qū)域;之后提取局部區(qū)域的手工特征如尺度不變特征變換(scale invariant feature transform, SIFT)特征和陶俑形態(tài)特征以及基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)特征;然后，將特征分為兩部分,一部分是形態(tài)和深度特征,另一部分是SIFT特征,并通過(guò)多核融合多示例學(xué)習(xí)計(jì)算兩部分的相似性;最后，使用直推式支持向量機(jī)(transductive support vector machine, TSVM)進(jìn)行陶俑圖像分類。

本文的主要貢獻(xiàn)在于:①通過(guò)有效的陶俑圖像分割,獲取重要局部區(qū)域,提取出分割區(qū)域的手工特征(包括SIFT和形態(tài)特征)和深度學(xué)習(xí)CNN特征,帶來(lái)了更好的特征表現(xiàn)能力;②使用聯(lián)合字典學(xué)習(xí)獲取多示例學(xué)習(xí)的多“概念點(diǎn)”,并通過(guò)多核學(xué)習(xí)將手工特征與深度特征融合到多示例學(xué)習(xí)框架中,獲取了不錯(cuò)的分類效果。

1 多示例學(xué)習(xí)

多示例學(xué)習(xí)(multiple instance learning, MIL)作為和無(wú)監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)及強(qiáng)化學(xué)習(xí)并列的第4種學(xué)習(xí)框架,是由Dietterich在研究藥物活性預(yù)測(cè)問(wèn)題時(shí)首次提出[6]。在MIL中,正包內(nèi)存在至少一個(gè)正示例,而負(fù)包內(nèi)所有示例都為負(fù)。MIL算法需要解決正包弱標(biāo)記,以及由此引發(fā)的示例歧義性問(wèn)題。針對(duì)MIL問(wèn)題,近年來(lái)很多MIL算法被提出，跟據(jù)MIL算法的學(xué)習(xí)機(jī)制,可將其歸為3類:基于示例的MIL、基于包結(jié)構(gòu)的MIL和深度MIL方法。

基于示例的MIL算法認(rèn)為，正包標(biāo)記由包內(nèi)正示例決定[6-9]，而基于結(jié)構(gòu)的MIL算法則認(rèn)為包標(biāo)記由包內(nèi)所有示例共同作用[10-14]。這兩類方法中研究比較多的是一種被稱為尋找示例空間聚集點(diǎn)即“概念點(diǎn)”的方法,有影響力的“概念點(diǎn)”方法包括APR，DD，DD-SVM和MILES。APR[6]和DD[7]算法認(rèn)為正示例應(yīng)該具有相似的特征,因而在歐式空間內(nèi)存在聚集性,分別尋找矩形和橢圓形正示例稠密區(qū)域,這兩種方法獲取的是單“概念點(diǎn)”。而DD-SVM[12]和MILES[13]都尋找多“概念點(diǎn)”,兩種方法認(rèn)為,具有相同標(biāo)記的包,應(yīng)該具有相似的結(jié)構(gòu),示例特征也是相似的。鑒于多示例學(xué)習(xí)模型的成功,它的算法研究多被直接應(yīng)用到圖像分類。

隨著深度學(xué)習(xí)尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的成功[15],近年來(lái)，許多深度MIL算法被提出,并應(yīng)用于不同的圖像理解任務(wù)。例如,文獻(xiàn)[16]將示例或包信息輸入CNN網(wǎng)絡(luò),提出了深度監(jiān)督學(xué)習(xí)mi-Net和深度無(wú)監(jiān)督學(xué)習(xí)MI-Net兩種方法;文獻(xiàn)[17]在卷積神經(jīng)網(wǎng)絡(luò)中采用了注意力(Attention)機(jī)制,提出了基于注意力的MIL算法,在MUSK，MINIST 和Breast Cancer等數(shù)據(jù)集上取得了良好的性能;文獻(xiàn)[18]提出了一種基于深度MIL的端到端學(xué)習(xí)框架,該框架通過(guò)聯(lián)合光譜與空間信息融合進(jìn)行全色和多光譜圖像分類;另外,深度MIL也被用于齒痕舌圖像識(shí)別[19]和圖像自動(dòng)標(biāo)注[20]等。

2 本文的方法

本文提出的方法將陶俑圖像作為多示例包(Bag),圖像的局部區(qū)域作為示例(Instance)。具體方法分為5個(gè)步驟:

1)采用Normalized Cut對(duì)陶俑圖像進(jìn)行分割,獲取圖像的局部區(qū)域;

2)提取分割區(qū)域的陶俑形態(tài)特征和深度CNN特征以及尺度不變特征變換SIFT特征,其中，區(qū)域形態(tài)特征和CNN特征作為多示例包的示例特征,區(qū)域SIFT特征作為局部特征;

3)通過(guò)聯(lián)合字典學(xué)習(xí)將包內(nèi)的示例投影到字典所生成的特征向量(示例)空間,獲取多示例包的多概念點(diǎn);

4)使用多核學(xué)習(xí)融合多示例包和SIFT相似性;

5)采用TSVM完成陶俑圖像分類標(biāo)注。

2.1 陶俑圖像分割

陶俑圖像分割的目的是為了提取陶俑局部目標(biāo)區(qū)域。本文采用Normalized Cut(簡(jiǎn)稱NCut)算法[21]進(jìn)行陶俑圖像分割。作為一種基于圖譜理論的圖像分割方法,NCut可融合圖像的不同特征,其基本步驟如下:

1)對(duì)于給定的一幅圖像,NCut通過(guò)樣本集合建立無(wú)向加權(quán)圖G，用wij衡量邊的權(quán)重,

(1)

2)解出特征方程(D-W)y=λDy最小特征值和對(duì)應(yīng)的特征向量,其中W為權(quán)重矩陣,D稱為對(duì)角矩陣。

3)使用第二最小特征值對(duì)應(yīng)的特征向量進(jìn)行圖像分割。

4)判別圖像分割結(jié)果，決定是否需要再做分割，若需要，則返回步驟3)。

圖2給出了秦俑的分割效果圖，分割后的不同區(qū)域做了標(biāo)識(shí)。從圖2可以看到,陶俑的頭飾、面部、身體、足部、腿部及胳膊等這些重點(diǎn)區(qū)域可從分割結(jié)果中很快辨認(rèn)出來(lái),表明針對(duì)陶俑圖像NCut具有較好的分割效果。除了視覺(jué)評(píng)價(jià)之外,我們還選用分割圖像的區(qū)域內(nèi)一致性和區(qū)域間對(duì)比度作為客觀評(píng)價(jià)指標(biāo)。圖2分割圖像的區(qū)域內(nèi)一致性為0.962,區(qū)域間對(duì)比度為0.592,進(jìn)一步表明本文采用NCut分割是可行的。

需要指出的是,精確的對(duì)象(目標(biāo)區(qū)域)圖像分割始終是一個(gè)具有挑戰(zhàn)性的課題,然而本文算法并不完全依賴準(zhǔn)確的分割表現(xiàn)。這是因?yàn)槲覀冎荚谕ㄟ^(guò)新的多示例學(xué)習(xí)方法,將傳統(tǒng)手工特征與深度特征融合,從而達(dá)到良好的分類性能。

圖2 秦騎兵俑NCut分割效果圖Fig.2 The terracotta warrior image before and after NCut segmentation

2.2 區(qū)域特征提取

對(duì)于無(wú)論是單概念點(diǎn)還是多概念點(diǎn)的多示例學(xué)習(xí),特征提取在MIL圖像理解中都起著核心作用,因此,選擇合適的特征來(lái)表現(xiàn)圖像非常重要。針對(duì)陶俑圖像特點(diǎn),本文選擇尺度不變特征變換以及區(qū)域形態(tài)特征和CNN特征進(jìn)行圖像描述。

尺度不變特征變換(SIFT)[22]是由Lowe提出的圖像局部特征描述子,具有旋轉(zhuǎn)、尺度縮放、亮度變化的不變性,并對(duì)視角變化、仿射變換、噪聲也有強(qiáng)魯棒性。SIFT算法本質(zhì)是基于圖像特征尺度選擇思想,其主要步驟為:

1)在尺度空間尋找極值點(diǎn);

2)對(duì)極值點(diǎn)進(jìn)行過(guò)濾;

3)找出穩(wěn)定的特征點(diǎn);

4)在每個(gè)穩(wěn)定的特征點(diǎn)周圍提取圖像的局部特征描述，包括位置、尺度、旋轉(zhuǎn)不變量。

除了提取分割區(qū)域的SIFT特征,通過(guò)分析陶俑圖像特點(diǎn)與比較測(cè)試[23],采用傅里葉描述子與橢圓離心率表示陶俑區(qū)域形態(tài)特征。利用復(fù)平面中的有限點(diǎn)集,傅里葉描述子可以表達(dá)整個(gè)圖像的區(qū)域輪廓。鑒于輪廓曲線的起始點(diǎn)位置和曲線方向會(huì)影響傅里葉描述子,為了保證圖像的旋轉(zhuǎn)、平移和尺度不變性，采用式(2)對(duì)傅里葉描述子進(jìn)行歸一化。

FD(k)=

(2)

其中,第1位傅里葉描述子作為歸一化參數(shù)。實(shí)驗(yàn)表明,增加傅里葉描述子維數(shù)可以使得輪廓特征描述更加精確,但同時(shí)帶來(lái)更多的計(jì)算消耗。因此，對(duì)于陶俑圖像分割區(qū)域,將其統(tǒng)一縮放為256×256大小,并使用一個(gè)7維的傅里葉描述子,即F(0)(第1位)為歸一化參數(shù),F(1)到F(6)(第2到7位)進(jìn)行歸一化處理。在傅里葉描述子描述輪廓特征的基礎(chǔ)上,增加橢圓離心率e描述形狀特征,以反應(yīng)分割區(qū)域的長(zhǎng)寬比,并與傅里葉描述子組合形成一個(gè)8維的形態(tài)特征向量。

基于深度學(xué)習(xí)CNN的強(qiáng)大性能,在獲取以上傳統(tǒng)手工特征的基礎(chǔ)上,利用CNN提取陶俑圖像區(qū)域的全局特征,以進(jìn)一步提升特征表現(xiàn)能力。如圖3所示,陶俑圖像區(qū)域被輸入CNN網(wǎng)絡(luò),輸出一個(gè)二維矩陣,從而得到該區(qū)域一個(gè)定長(zhǎng)的多維特征向量。

圖3 秦騎兵俑頭飾區(qū)域CNN特征提取Fig.3 CNN feature extraction from headdress region of terracotta warrior

1)深度學(xué)習(xí)架構(gòu):文中采用經(jīng)過(guò)預(yù)訓(xùn)練的VGG-16。VGG-16共包含16個(gè)權(quán)重層,其中，13層為卷積層,其余3層為全連接層,第二個(gè)全連接層有4 096個(gè)單元,將其輸出結(jié)果作為特征。這樣可以為每個(gè)區(qū)域提取4 096維特征向量。為了使VGG-16適合我們的任務(wù),在網(wǎng)絡(luò)訓(xùn)練中,將最后的1 000路全連接層替換為2路全連接層(即是否為陶俑圖像區(qū)域),并使用SoftMax函數(shù)作為最終預(yù)測(cè)函數(shù)。

2)網(wǎng)絡(luò)訓(xùn)練:首先，在ILSVRC2012數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,然后，在分割的陶俑圖像區(qū)域上進(jìn)行微調(diào)?？紤]到進(jìn)行訓(xùn)練的區(qū)域圖像總共為6 300個(gè),不足以訓(xùn)練高性能的深度學(xué)習(xí)網(wǎng)絡(luò)。因此,將區(qū)域圖像的大小調(diào)整為256×256,并采用64×64固定大小子圖進(jìn)行隨機(jī)剪切和水平翻轉(zhuǎn),以增強(qiáng)訓(xùn)練數(shù)據(jù)。使用隨機(jī)梯度下降來(lái)微調(diào)該網(wǎng)絡(luò),單次訓(xùn)練樣本數(shù)為128。實(shí)驗(yàn)中,卷積核大小為{3*3, 5*5, 7*7},池化層分別選用最大池化和平均池化,學(xué)習(xí)速率大小為{0.001, 0.005, 0.000 1},動(dòng)量為{0.7, 0.8, 0.9},權(quán)重衰減為{0.001, 0.000 5, 0.005},將這些參數(shù)進(jìn)行組合實(shí)驗(yàn),選擇最優(yōu)的結(jié)果。最終選擇的參數(shù)為:學(xué)習(xí)速率為0.000 1,動(dòng)量為0.9,權(quán)重衰減為0.000 5,卷積核大小為3*3,池化層為最大池化。當(dāng)精度不再提高后,在36個(gè)訓(xùn)練周期停止訓(xùn)練。

2.3 多示例多概念點(diǎn)獲取

在MIL圖像預(yù)測(cè)任務(wù)中,每個(gè)包(圖像)含有數(shù)量不等的示例(特征向量),導(dǎo)致傳統(tǒng)監(jiān)督學(xué)習(xí)算法(如SVM等)無(wú)法直接用于求解MIL問(wèn)題。因此,需要將多示例包轉(zhuǎn)化成單個(gè)樣本,即每個(gè)多示例包都嵌入“概念點(diǎn)”生成的空間中,從而將多示例學(xué)習(xí)問(wèn)題轉(zhuǎn)化成標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)問(wèn)題。

在獲得陶俑圖像區(qū)域的人工特征(SIFT和形態(tài)特征)和深度學(xué)習(xí)CNN特征后,把這3個(gè)特征分為兩部分:第一部分為形態(tài)和CNN特征,第二部分為SIFT特征。由于SIFT特征具有集合特性且元素個(gè)數(shù)不同、位置互異,不能直接參與包相似性計(jì)算,因此,將第一部分的形態(tài)特征與CNN特征作為多示例學(xué)習(xí)包,并采用聯(lián)合字典學(xué)習(xí)[24]獲取多概念點(diǎn)。具體方法如下:

鑒于多示例學(xué)習(xí)的核心要是處理歧義性問(wèn)題,那么，這些概念點(diǎn)(基向量aij)間的距離應(yīng)該大于某個(gè)閾值δ,因此，在聯(lián)合字典學(xué)習(xí)模型的基礎(chǔ)上附加優(yōu)化約束,這樣，多示例學(xué)習(xí)的多概念點(diǎn)獲取模型就為

s.t. ‖aij-alm‖2≥δ,

i≠l,j=1,2，…,ni,m=1,2，…,nl。

(3)

2.4 特征融合

圖像相似性計(jì)算的核函數(shù)構(gòu)建一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。對(duì)于包含ni個(gè)分割區(qū)域的陶俑圖像Bi,xij是區(qū)域形態(tài)特征和CNN特征連接形成的示例特征,將Bi的所有示例xij排列在一起,投影到D中以每個(gè)列向量為基的向量空間,投影函數(shù)定義為

φ(Bi)=[s(Bi,d1),s(Bi,d2),…,s(Bi,dN)]。

(4)

針對(duì)SIFT相似性問(wèn)題,文獻(xiàn)[25]提出的基于多尺度思想的金字塔匹配核(pyramid matching kernel, PMK)已取得了巨大的成功。PMK采取多解析直方圖方法,將局部特征描述子投影到不同尺度直方圖,形成直方圖金字塔,計(jì)算不同局部特征子的重疊區(qū)域,最后通過(guò)權(quán)重組合方式構(gòu)造核函數(shù)?；赑MK方法計(jì)算速度快,且具有較高的特征識(shí)別率,本文使用金字塔核進(jìn)行陶俑SIFT特征相似性計(jì)算。

接下來(lái),將采用多核學(xué)習(xí)模型構(gòu)建一個(gè)融合SIFT特征與MIL包特征的新核函數(shù),從而平衡SIFT特征與形態(tài)和CNN特征對(duì)陶俑圖像相似性的影響。多核學(xué)習(xí)[26]的基本思路是:通過(guò)將多個(gè)核函數(shù)進(jìn)行正線性融合來(lái)構(gòu)造新的核函數(shù)K。

(5)

K(Bi,Bj)=αKRBF(φ(Bi),φ(Bj))+

(1-α)KPMK(ψ(Si),ψ(Sj))。

(6)

即實(shí)現(xiàn)了SIFT相似性與MIL包相似性的融合。

2.5 TSVM分類

考慮到直推式支持向量機(jī)(TSVM)能利用大量未標(biāo)記圖像來(lái)提高分類器的性能,本文采用TSVM訓(xùn)練分類器,實(shí)現(xiàn)陶俑圖像分類。TSVM分類的具體方法是:

(7)

(8)

使用該分類器進(jìn)行陶俑圖像分類。

3 實(shí)驗(yàn)結(jié)果與分析

分別在陶俑圖像集PFImage和標(biāo)準(zhǔn)MIL數(shù)據(jù)集(Musk, Elephant, Tiger Fox)上實(shí)驗(yàn),并與多個(gè)深度和非深度MIL方法比較,以驗(yàn)證本文方法的有效性。實(shí)驗(yàn)采用的TSVM分類器基于Libsvm工具包實(shí)現(xiàn),TSVM中需要指定λ,λ*和r這3個(gè)參數(shù),實(shí)驗(yàn)中,將r固定為0.5,λ=1,λ*參數(shù)在訓(xùn)練時(shí)從參數(shù)集λ*∈{0.01,0.1,1,10}中尋找其最優(yōu)值。

3.1 陶俑圖像分類實(shí)驗(yàn)

實(shí)驗(yàn)測(cè)試的陶俑圖像集PFImage來(lái)源于西北大學(xué)數(shù)字博物館中的文物圖像,圖4給出了PFImage的示例圖像。從秦俑、漢俑、魏晉南北朝俑、隋唐俑及其他俑共5類圖像中各選100幅構(gòu)建圖像集PFImage。實(shí)驗(yàn)中,每張?zhí)召笀D像被NCut預(yù)分割成多個(gè)區(qū)域(不考慮無(wú)意義區(qū)域,平均為10個(gè)區(qū)域),采用十交叉驗(yàn)證的方法驗(yàn)證分類的準(zhǔn)確度,即圖像中每類數(shù)據(jù)集分為10等份,依次使用其中的9份訓(xùn)練,剩余的1份測(cè)試。選用“一對(duì)一”的方式處理多類問(wèn)題。

圖4 測(cè)試圖像集PFImage中的陶俑圖像示例Fig.4 Sample images of pottery figurine from testing image set PFImage

將本文方法同DD[7]，DD-SVM[12]，MILES[13]及深度學(xué)習(xí)MIL算法Attention[17]和MI-Net with DS[16]比較,結(jié)果如圖5所示。對(duì)于Attention和 MI-Net with DS算法,只使用CNN來(lái)提取深度特征并訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò),對(duì)于DD，DD-SVM和MILES算法,采用與本文相同的方法提取SIFT特征。最終,通過(guò)多核學(xué)習(xí)融合SIFT特征、形態(tài)特征和CNN特征,并輸入相應(yīng)MIL算法進(jìn)行分類準(zhǔn)確度比較。從圖5可以看出,本文算法在陶俑圖像分類中獲得了最好的效果,不僅優(yōu)于DD，DD-SVM和MILES這些傳統(tǒng)MIL算法,與深度MIL算法Attention和 MI-Net with DS相比,準(zhǔn)確度也提升接近4%。本文的方法優(yōu)于傳統(tǒng)MIL算法的原因在于,該方法能夠更好地捕獲MIL多概念點(diǎn),并融合SIFT特征,從而更有效地表達(dá)圖像。同時(shí),相較Attention和 MI-Net with DS算法,本文的方法中，圖像的正負(fù)示例由手工特征和深度特征結(jié)合產(chǎn)生,因而更好地利用了這兩類特征。實(shí)驗(yàn)結(jié)果表明了融合深度特征的多示例學(xué)習(xí)陶俑圖像分類方法的有效性。

圖5 本文方法同其他MIL方法在陶俑圖像集PFImage上的分類結(jié)果比較Fig.5 The comparison results between our method and other MIL methods on PFImage

3.2 標(biāo)準(zhǔn)MIL數(shù)據(jù)集實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文方法的有效性和通用性,這里選用標(biāo)準(zhǔn)MIL數(shù)據(jù)集Musk，Elephant，Tiger和Fox測(cè)試其性能。Musk數(shù)據(jù)集是由Dietterich等在研究分子活性預(yù)測(cè)時(shí)提出的,它由Musk1和Musk2兩部分組成。Musk1包含47個(gè)正包和45個(gè)負(fù)包,Musk2包含39個(gè)正包和63個(gè)負(fù)包,其中Musk1中包括的示例數(shù)從2到40不等,Musk2包括的示例數(shù)則從1到1 044不等,特征向量維度為166。另外, 選擇Elephant，Tiger和Fox為3類圖像測(cè)試集,為了與其他MIL算法進(jìn)行比較，采用文獻(xiàn)[12]的方法將圖像分割成不同的區(qū)域,并提取其顏色、紋理和形狀組成手工特征。表1中列出了Musk1，Musk2，Elephant，Tiger和Fox數(shù)據(jù)集的信息。

表2給出了本文方法與MILES[13]，DD-SVM[12]，Attention[17]和MI-Net with DS[16]算法在標(biāo)準(zhǔn)MIL數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果。從表2中可以看到,本文的方法優(yōu)于深度學(xué)習(xí)算法Attention和 MI-Net with DS,與MILES和DD-SVM相比,在Musk1，Elephant，Tiger和Fox數(shù)據(jù)集上也都取得了最佳的分類表現(xiàn)。

表1 標(biāo)準(zhǔn)MIL數(shù)據(jù)集及其正負(fù)包、特征和示例信息Tab.1 Standard MIL datasets with information of positive and negative bags, features and instances

表2 本文方法與其他MIL算法在標(biāo)準(zhǔn)MIL數(shù)據(jù)集MUSK和圖像集上的實(shí)驗(yàn)結(jié)果

4 結(jié) 語(yǔ)

針對(duì)陶俑文物圖像的自動(dòng)分類,本文提出了一個(gè)新的融合深度特征的多示例學(xué)習(xí)方法。在充分了解陶俑圖像特點(diǎn)的情況下,本文首先利用NCut獲取陶俑局部區(qū)域,并提取圖像SIFT、形態(tài)和深度學(xué)習(xí)CNN特征;之后,使用聯(lián)合字典學(xué)習(xí)方法獲取多示例學(xué)習(xí)的“多概念”點(diǎn);最后，采用多核學(xué)習(xí)模型在多示例包相似計(jì)算中融入SIFT相似性,用TSVM進(jìn)行陶俑圖像分類。在陶俑圖像集和標(biāo)準(zhǔn)MIL數(shù)據(jù)集上的實(shí)驗(yàn)表明,本文算法相較文獻(xiàn)中提到的一些深度和非深度MIL算法是有優(yōu)勢(shì)的。今后的工作將對(duì)如何更準(zhǔn)確、有效地獲取圖像特征及基于多特征的聯(lián)合字典學(xué)習(xí)方法等作進(jìn)一步研究。