基于興趣點(diǎn)局部分布特征的圖像檢索研究

陳思聰

(江蘇聯(lián)合技術(shù)學(xué)院 蘇州旅游與財(cái)經(jīng)分院， 蘇州 215104)

0 引言

隨著圖像采集設(shè)備不斷發(fā)展，再加圖像采集技術(shù)的不斷成熟，人們可以很容易、輕松的采集相關(guān)的圖像，圖像存儲空間越來越大，圖像數(shù)量急劇上升，給圖像管理帶來了挑戰(zhàn)[1]。為了更好對大規(guī)模圖像進(jìn)行有效、高速管理，建立了許多圖像檢索系統(tǒng)。在圖像檢索系統(tǒng)中，圖像檢索方法的選擇和設(shè)計(jì)十分關(guān)鍵，直接影響人們搜索和找到圖像的速度以及正確率，因此圖像檢索方法的設(shè)計(jì)成為當(dāng)前圖像處理領(lǐng)域的一個(gè)重要內(nèi)容[2]。

由于圖像檢索具有十分重要的應(yīng)用價(jià)值，國內(nèi)和國外一些研究機(jī)構(gòu)進(jìn)行相應(yīng)的研究，圖像檢索研究可以劃分為兩個(gè)階段：小規(guī)模圖像檢索階段和海量圖像檢索階段[3]。小規(guī)模圖像檢索階段主要針對數(shù)量較少的圖像檢索問題，采用文本分類技術(shù)，將圖像檢索問題看作是一種文本檢索過程，通過提取檢索特征，并引入了一些標(biāo)注技術(shù)，檢索速度快，但檢索錯(cuò)誤率高，檢索結(jié)果不太穩(wěn)定[4]；海量圖像檢索方法屬于自動(dòng)檢索技術(shù)，主要根據(jù)圖像內(nèi)容進(jìn)行圖像檢索，圖像檢索速度得到了加快，圖像檢索效率高，克服了基于文本分類技術(shù)的圖像檢索方法缺陷，主要包括：基于聚類分析的圖像檢索方法、基于深度卷積網(wǎng)絡(luò)的圖像檢索方法、基于極限學(xué)習(xí)機(jī)的圖像檢索方法[5-7]，這些方法首先提取圖像特征，然后根據(jù)特征采用聚類分析算法、深度卷積神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機(jī)估計(jì)特征之間相似度，當(dāng)前主要特征：形狀特征、顏色特征等，這些特征屬于全局特征，它們只能描述圖像部分信息，圖像檢索效果有時(shí)好，有時(shí)壞，穩(wěn)定性不夠。近幾年，出現(xiàn)了采用局部特征進(jìn)行圖像檢索研究，主要有基于主成分分析的圖像檢索方法，基于Gabor特征的圖像檢索方法，基于尺度不變特征變換特征的圖像檢索方法，它們對圖像各個(gè)細(xì)節(jié)特征進(jìn)行描述，獲得了不錯(cuò)的圖像檢索效率[8,9]，在實(shí)際應(yīng)用中，這些特征也有一定的缺陷，如果：檢索過程耗時(shí)長，圖像檢索的實(shí)時(shí)性差等[10]。

針對當(dāng)前圖像檢索方法存在缺陷，為了提高圖像檢索正確率，設(shè)計(jì)了基于興趣點(diǎn)局部分布特征的圖像檢索方法，并在Matlab平臺上對圖像檢索方法的有效性和優(yōu)越性進(jìn)行了測試，測試結(jié)果表明，本文方法可以對圖像所包含信息進(jìn)行準(zhǔn)確描述，提高了圖像檢索正確率，減少了圖像檢索時(shí)間，可以幫助用戶快速、準(zhǔn)確找到真正需要的圖像。

1 基于興趣點(diǎn)局部分布特征的圖像檢索方法

1.1 圖像的預(yù)處理

由于采集原始圖像尺寸不一樣，清晰度不夠，以及可能包含一定的噪聲，使得圖像比較模糊，影響后圖像檢索效果，因此首先對原始圖像進(jìn)行預(yù)處理。首先對全部圖像的尺寸進(jìn)行歸一化處理，均縮放到相同尺寸，然后采用直方均衡圖像算法對圖像的灰度級別進(jìn)行增強(qiáng)處理，提高圖像的清晰度，最后采用傅里葉變換對圖像進(jìn)行去噪操作，從而得到預(yù)處理后的圖像。

1.2 提取興趣點(diǎn)局部分布特征

興趣點(diǎn)局部分布特征是一種局特征，對尺度變換、旋轉(zhuǎn)和仿射等具有較強(qiáng)的魯棒性，同時(shí)對光照變化不敏感，興趣點(diǎn)局部分布特征提取的步驟如下：

(1) 對圖像空間中的描述子進(jìn)行定位操作，搜索到圖像檢索的最好點(diǎn)，采用高斯差分金字塔對方向和尺度不變的興趣點(diǎn)進(jìn)行識別，得到有效地檢測樣本點(diǎn)。設(shè)圖像的尺度空間為L，其高斯核G和檢索圖像I(x,y)的卷積得到，σ表示尺度的參數(shù)，通過多次卷積操作，得到了具有不同尺度的高斯金字塔，具體如式(1)。

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

式中，*表示卷積操作。

為了有效提取特征點(diǎn)的位置，用相鄰尺度空間差的極大值作為候選點(diǎn)，從而到式(2)。

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)

(2)

式中，k表示尺度空間深度系數(shù)。

采用角點(diǎn)檢測方法去除一些無用的候選點(diǎn)，得到較優(yōu)候選點(diǎn)，將它們作為提取描述子的關(guān)鍵點(diǎn)。

(2) 每個(gè)關(guān)鍵點(diǎn)L(x,y)包含多個(gè)方向，而主方向是由關(guān)鍵點(diǎn)的梯度值m(x,y)和梯度幅值θ(x,y)決定，它們計(jì)算公式具體如式(3)、式(4)。

m(x,y)=

(3)

(4)

將梯度值和梯度幅值映射到單位直方圖中，采用累積最大值作為關(guān)鍵點(diǎn)的主方向，具體如1所示。

(3) 將關(guān)鍵點(diǎn)的鄰域劃為16個(gè)4×4的子區(qū)域，每一個(gè)子區(qū)域大小為16×16，將子區(qū)域映射另一單位直方圖內(nèi)，得到8個(gè)單位直方圖，共得到4×4×8=128個(gè)單位直方圖，將它們作為一個(gè)興趣點(diǎn)局部分布特征，該特征共包括了128維的向量，如圖2所示。

圖2 興趣點(diǎn)局部分布特征的生成過程

1.3 基于卷積神經(jīng)網(wǎng)絡(luò)的相似性度量模型

卷積神經(jīng)網(wǎng)絡(luò)通過模擬人的大腦神經(jīng)網(wǎng)絡(luò)工作過程，對一個(gè)問題的求解過程不斷逼近，其層次比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的層次要多，其主要功能層為：卷積層、匯合層、連接層，由于篇限有限，對卷積神經(jīng)網(wǎng)絡(luò)的工作原理不詳細(xì)闡述[11]。首先提取特征庫中的興趣點(diǎn)局部分布特征，并對圖像進(jìn)行人工標(biāo)記，建立圖像檢索庫，然后提取待檢索圖像的特征，并采用卷積神經(jīng)網(wǎng)絡(luò)建立圖像特征相似性度量模型，最后采用相似性度量模型對圖像檢索庫特征和待檢索了圖像的特征之間的相似性進(jìn)行計(jì)算，并根據(jù)相似性值得到圖像檢索結(jié)果。

1.4 基于興趣點(diǎn)局部分布特征的圖像檢索原理

基于興趣點(diǎn)局部分布特征的圖像檢索原理為：首先建立圖像檢索庫，采集待檢索圖像，并對圖像進(jìn)行預(yù)處理，然后提取待檢索的興趣點(diǎn)局部分布特征，最后卷積神經(jīng)網(wǎng)絡(luò)根據(jù)興趣點(diǎn)局部分布特征建立圖像檢索相似度度量模型，并判斷待檢索圖像的類別，具體如圖3所示。

圖3 基于興趣點(diǎn)局部分布特征的圖像檢索原理

2 圖像檢索方法的仿真測試

2.1 測試環(huán)境

為了分析基于興趣點(diǎn)局部分布特征的圖像檢索方法的性能，在Matlab 2018平臺進(jìn)行仿真實(shí)驗(yàn)，采用測試環(huán)境參數(shù)如表1所示。

2.2 圖像來源及對比方法

圖像取自 Caltech-256 圖像庫，共包含256 類圖像、30607幅圖像，每類圖像最少包括80幅圖像，部分類型的圖像示例如圖4所示。

為了使基于興趣點(diǎn)局部分布特征的圖像檢索結(jié)果具有可比性，選擇文獻(xiàn)[9]的圖像檢索方法，文獻(xiàn)[10]的圖像檢索方法進(jìn)行對比測試。

表1 測試環(huán)境參數(shù)設(shè)置

圖4 Caltech-256 圖像庫的部分示例

2.3 圖像檢索結(jié)果的主觀分析

對于待檢索圖像“水鳥”，選擇相似度最高10幅圖像作為檢索結(jié)果，3種圖像檢索結(jié)果如圖5所示。從圖5圖像結(jié)果可以清楚知道，對比方法出現(xiàn)了與“水鳥”相關(guān)的圖像檢索結(jié)果，而本文方法沒有出現(xiàn)與“水鳥”相關(guān)的圖像檢索結(jié)果，獲得了更優(yōu)的圖像檢索結(jié)果。

(a) 文獻(xiàn)[9]方法

(b) 文獻(xiàn)[1]方法

(c) 本文方法

2.4 圖像檢索結(jié)果的客觀分析

為了更加全面的分析圖像檢索結(jié)果的優(yōu)劣，采用圖像檢索正確率作為評價(jià)標(biāo)準(zhǔn)，選擇10種類型的圖像檢索結(jié)果作為實(shí)驗(yàn)結(jié)果，3種方法的圖像檢索正確率如表2所示。

表2 圖像檢索正確率(%)對比

從表2可以看出，本文方法的圖像檢索正確率的均值為96.95，文獻(xiàn)[8]的圖像檢索正確率的均值為93.59%，圖像檢索正確率的均值為94.26%，本文方法的圖像檢索正確最高，降低了圖像檢索的錯(cuò)誤率，獲得更理想的圖像檢索結(jié)果。

2.5 圖像檢索的效率分析

同樣選擇10種類型的圖像檢索結(jié)果作為實(shí)驗(yàn)結(jié)果描述，3種方法的圖像檢索時(shí)間(ms)如表3所示。

表3 圖像檢索時(shí)間(ms)對比

從表3可以看出，本文方法的圖像檢索時(shí)間的均值為3.23 ms，文獻(xiàn)[8]的圖像檢索時(shí)間的均值為4.90 ms，圖像檢索時(shí)間的均值為4.63 ms，本文方法的圖像檢索時(shí)間明顯縮短，提高了圖像檢索效率，可以適應(yīng)當(dāng)前圖像檢索向大規(guī)模方向發(fā)展的要求。

3 總結(jié)

圖像檢索一直圖像處理研究領(lǐng)域的一個(gè)重要方向，為了解決當(dāng)前圖像檢索效果差的難題，設(shè)計(jì)了基于興趣點(diǎn)局部分布特征的圖像檢索方法。首先提取圖像的興趣點(diǎn)局部分布特征，然后采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)構(gòu)建圖像檢索相似度度量模型，最后進(jìn)行了圖像檢索方法的性能驗(yàn)證性測試實(shí)驗(yàn)。本文方法的圖像檢索正確率超過95%，平均圖像檢索時(shí)間短，圖像檢索結(jié)果要優(yōu)于對照方法，具有廣泛的實(shí)際應(yīng)用效果。