• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于深度哈希的圖像檢索技術(shù)研究

    2023-05-17 03:17:00孫奇平
    電子技術(shù)與軟件工程 2023年5期
    關(guān)鍵詞:哈希檢索卷積

    孫奇平

    (漳州開放大學(xué) 福建省漳州市 363000)

    移動互聯(lián)時代,科學(xué)技術(shù)的發(fā)展日新月異,智能手機(jī)的普及、大數(shù)據(jù)的飛速發(fā)展、直播平臺的火熱、電商APP 的智能推薦……,各種多媒體數(shù)據(jù)讓人眼花繚亂?;趦?nèi)容的圖像檢索方法自推出以來有效提高了圖像的檢索效率,但是從原始圖像中提取出來的高維特征存儲量大、索引難等問題還有待解決,把哈希算法引入圖像檢索中,能提升檢索速度。對圖像底層特征的描述不足,影響了哈希算法檢索的準(zhǔn)確率,使用深度神經(jīng)網(wǎng)絡(luò)可以同時提取到圖像的底層特征和高層語義信息[1],兩種方法結(jié)合起來,能明顯獲得圖像檢索性能的提升,適用于大批量圖像的檢索。為此,本文在研究深度卷積神經(jīng)網(wǎng)絡(luò)的同時,把哈希算法結(jié)合起來,提出了一種基于深度哈希的圖像檢索方法。

    1 圖像檢索技術(shù)

    基于文本(以人工標(biāo)注圖像文本信息為主)和基于內(nèi)容(以圖像語義內(nèi)容為主)是圖像檢索技術(shù)的兩種類型[2]。在搜索引擎、內(nèi)容審核、醫(yī)療診斷、人臉識別、電子商務(wù)等諸多領(lǐng)域都能看到圖像檢索技術(shù)的運(yùn)用。

    1.1 基于內(nèi)容的圖像檢索

    基于內(nèi)容的圖像檢索技術(shù)有兩個關(guān)鍵點(diǎn)[3]:一個是圖像特征提取技術(shù),另一個是特征數(shù)據(jù)庫索引技術(shù)。其檢索過程大致如下:一是獲取預(yù)處理過的圖像庫中的圖像特征向量,并建立向量特征庫,二是處理查詢圖像,得到該圖像特征,三是利用索引技術(shù),計算查詢圖像與向量特征庫的距離,四是根據(jù)圖像相似性大小輸出查詢結(jié)果。顏色、紋理和形狀這三大圖像底層特征提取速度快,作為傳統(tǒng)的圖像特征提取方法其檢索準(zhǔn)確率有待提高。

    1.2 基于哈希的圖像檢索

    在圖像檢索中,把提取到的圖像高維特征利用哈希算法映射成低維的二進(jìn)制碼,其高層語義特征在漢明空間還得以保持[4],內(nèi)存占用減少了,同時檢索速度也提高了。傳統(tǒng)的哈希算法[5]可分為兩類:數(shù)據(jù)無關(guān)和數(shù)據(jù)相關(guān)。在哈希圖像檢索方法中局部敏感哈希(LSH)率先被提了出來,作為與數(shù)據(jù)無關(guān)的一種哈希算法,雖然解決了高維度的問題,但其檢索精度并不理想。為了提高圖像檢索精度,研究人員提出了與數(shù)據(jù)相關(guān)的檢索方法,并根據(jù)樣本是否存在標(biāo)注,把哈希算法分為三種:無監(jiān)督、半監(jiān)督和有監(jiān)督哈希算法[6]。

    1.3 基于深度哈希的圖像檢索

    1.3.1 深度學(xué)習(xí)

    深度學(xué)習(xí)又稱深度神經(jīng)網(wǎng)絡(luò),不同于人工提取圖像底層特征,深度學(xué)習(xí)通過模型自主學(xué)習(xí)圖像特征,使得圖像分類識別更加準(zhǔn)確和高效。有賴于深度學(xué)習(xí)的研究發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)在提取圖像的高層語義特征[7]才能更全面。在深度學(xué)習(xí)模型中,一批優(yōu)秀的模型例如AlexNet、VGGNet 等相繼被推出。其中,深度卷積神經(jīng)網(wǎng)絡(luò)VGGNet[8]于2014 年在ILSVRC 比賽中取得佳績,榮獲定位項目冠軍以及分類項目亞軍。在六種VGGNet結(jié)構(gòu)中,VGG16經(jīng)常被使用,其包含16個具有權(quán)重的層,即卷積層13 層(conv1_1—conv5_3),全連接3 層(FC6—FC8)。

    1.3.2 深度學(xué)習(xí)哈希

    傳統(tǒng)的哈希算法以檢索精度換取檢索速度,因其表達(dá)的圖像內(nèi)容和語義信息不完整,以致檢索的準(zhǔn)確率不高。在連續(xù)多年的PASCAL、VOC、ILSVRC 等國際計算機(jī)視覺大賽中,利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征都獲得巨大成功。最先提出結(jié)合哈希技術(shù)和深度學(xué)習(xí)的Salakhutdinov R 等人[9]采用的學(xué)習(xí)方法是無監(jiān)督的,樣本圖像的特征提取使用了多個受限玻爾茲曼機(jī)RBM。利用哈希技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)的功能,深度哈希算法[10]表達(dá)圖像特征時,通常先將圖像轉(zhuǎn)化為可編碼的二進(jìn)制,再通過有效的漢明距離來計算。

    2 本文圖像檢索方法

    本文在研究深度卷積神經(jīng)網(wǎng)絡(luò)VGG16 的同時,把有監(jiān)督哈希算法結(jié)合起來,提出了一種基于深度哈希的圖像檢索方法。

    2.1 模型描述

    本文方法在VGG16 模型的基礎(chǔ)上進(jìn)行相應(yīng)調(diào)整:模型中全連接層保留FC6 和FC7,去掉的FC8 用一個添加的哈希層替換,構(gòu)建哈希函數(shù)獲得哈希編碼,并對損失函數(shù)進(jìn)行優(yōu)化,以便得到更好的訓(xùn)練效果,圖像檢索框架如圖1 所示。

    圖1: 基于深度哈希的圖像檢索框架

    檢索過程主要包括模型訓(xùn)練和檢索圖像兩個階段:

    (1)模型訓(xùn)練階段:首先把輸入的圖像對特征向量使用VGG16 網(wǎng)絡(luò)模型提取出來,并進(jìn)行Dropout 操作,以避免過擬合。其次在添加的哈希層把提取到的圖像對特征向量映射成二進(jìn)制哈希編碼。然后在損失層對損失函數(shù)做優(yōu)化計算,保持哈希編碼相似性學(xué)習(xí)。最后網(wǎng)絡(luò)訓(xùn)練使用反向傳播算法,更新權(quán)值,微調(diào)模型初始化參數(shù)。

    (2)檢索圖像階段:首先在訓(xùn)練好的模型中輸入查詢圖像,獲得對應(yīng)哈希編碼,然后進(jìn)行哈希編碼相似性度量,最后再輸出檢索結(jié)果。

    2.2 問題定義

    2.3 哈希函數(shù)

    2.4 損失函數(shù)

    本文利用成對標(biāo)簽信息作為監(jiān)督,對哈希學(xué)習(xí)過程產(chǎn)生的誤差進(jìn)行約束,在損失層對損失函數(shù)做了優(yōu)化計算。給定一對哈希編碼hi和hj,可用公式

    2.5 模型參數(shù)優(yōu)化

    在深度學(xué)習(xí)中,使用的訓(xùn)練樣本需要足夠多才能保證參數(shù)的可用性。利用遷移學(xué)習(xí)[12]的方法,本文選擇的VGG16 模型已經(jīng)在大規(guī)模的ImageNet 圖像數(shù)據(jù)集上預(yù)訓(xùn)練過,其泛化能力已滿足要求,在提取數(shù)據(jù)集圖像特征時,對模型初始化參數(shù)進(jìn)行微調(diào)能更好地適應(yīng)本實(shí)驗(yàn)。綜合考慮實(shí)驗(yàn)條件,本文學(xué)習(xí)率的調(diào)整使用指數(shù)衰減法,其中指數(shù)衰減率設(shè)為0.9,經(jīng)過交叉驗(yàn)證,學(xué)習(xí)率調(diào)整為0.0001。因本實(shí)驗(yàn)用的兩個數(shù)據(jù)集規(guī)模相對較小,為減少過擬合風(fēng)險,迭代次數(shù)設(shè)為2000,批次大小設(shè)為128。經(jīng)過交叉驗(yàn)證,動量設(shè)為0.9,偏置參數(shù)設(shè)為0.1,全連接層Dropout 率設(shè)為0.5 效果最好。

    3 實(shí)驗(yàn)結(jié)果及分析

    3.1 實(shí)驗(yàn)數(shù)據(jù)集及性能評價指標(biāo)

    綜合考慮實(shí)驗(yàn)條件,CIFAR-10 數(shù)據(jù)集和NUSWIDE 數(shù)據(jù)集作為本文實(shí)驗(yàn)使用的圖像數(shù)據(jù)集。其中,包含60000 幅圖像的數(shù)據(jù)集CIFAR-10 是單標(biāo)簽的,分為10 個類別,每個類別各包含6000 幅圖像。NUSWIDE 是一個多標(biāo)簽網(wǎng)絡(luò)圖像數(shù)據(jù)集,包含來自網(wǎng)站的269648 幅圖像,本文使用21 個最常見標(biāo)簽的195834 幅圖像,每個類別不少于5000 幅圖像。在兩個數(shù)據(jù)集中,測試集由每個類別中隨機(jī)選取的100 幅圖組成,剩下的圖像組成檢索集,訓(xùn)練集再由檢索集中隨機(jī)選取的500幅圖組成。

    本文采用在哈希算法性能評價中常用的三個指標(biāo):平均檢索精度(mAP)、漢明半徑為2 的精度曲線(P@H=2)以及精度—召回率曲線(P-R)作為實(shí)驗(yàn)評價標(biāo)準(zhǔn)。

    3.2 實(shí)驗(yàn)比較及結(jié)果分析

    與本文方法進(jìn)行實(shí)驗(yàn)對比的是四種不同的哈希算法,其中傳統(tǒng)的哈希算法有兩種:局部敏感哈希(LSH)[13]和基于核的監(jiān)督哈希(KSH)[14],另外深度哈希算法也有兩種:卷積神經(jīng)網(wǎng)絡(luò)哈希(CNNH)[15]和深度神經(jīng)網(wǎng)絡(luò)哈希(DNNH)[16]。實(shí)驗(yàn)采用Tensorflow 框架[17],分別在12位、24 位、32 位和48 位哈希編碼長度下進(jìn)行。表1 給出了在四種不同哈希編碼長度下,五種不同哈希算法在數(shù)據(jù)集CIFAR-10 和NUS-WIDE 上的總體mAP 實(shí)驗(yàn)結(jié)果。其中,在CIFAR-10 上根據(jù)整個檢索集計算mAP,在NUS-WIDE 上根據(jù)返回的前5000 幅圖像計算mAP。

    作為多標(biāo)簽數(shù)據(jù)集,NUS-WIDE 中的每幅圖像使用的類標(biāo)簽信息至少一個以上,因此從表1 中可見,該數(shù)據(jù)集mAP 檢索結(jié)果總體上都高于使用單標(biāo)簽信息的數(shù)據(jù)集CIFAR-10。

    表1: 不同哈希算法在CIFAR-10 和NUS-WIDE 上不同哈希碼長度下的mAP

    為了進(jìn)一步驗(yàn)證本文算法的檢索性能,圖2 給出了在NUS-WIDE 上不同哈希碼長度下的精度曲線(P@H=2),圖3 給出了在NUS-WIDE 上哈希碼長度為48位時的精度—召回率(P-R)曲線。

    圖2: 在NUS-WIDE 上不同哈希碼長度下的精度曲線(P@H=2)

    圖3: 在NUS-WIDE 上哈希碼長度為48 位時的P-R 曲線

    對比實(shí)驗(yàn)結(jié)果表明,本文提出的檢索方法,無論是跟傳統(tǒng)的哈希算法:LSH、KSH 相比,還是跟深度哈希算法:CNNH、DNNH 相比,其檢索性能明顯優(yōu)于其他四種,檢索精度更高。

    4 結(jié)束語

    當(dāng)前大數(shù)據(jù)技術(shù)的發(fā)展方興未艾,在圖像檢索技術(shù)中,反映圖像高層語義的深度特征被廣泛運(yùn)用,利用深度學(xué)習(xí)技術(shù)和哈希算法的研究方法,能進(jìn)一步提高圖像的檢索效果。本文在VGG16 模型的基礎(chǔ)上,先進(jìn)行了改進(jìn)和微調(diào),再結(jié)合有監(jiān)督的哈希算法,提出了一種基于深度哈希的圖像檢索方法。在跟文中其他四種典型哈希算法進(jìn)行實(shí)驗(yàn)對比后,結(jié)果表明,本文所提方法檢索精度更高、總體性能更佳,具備一定的實(shí)用性。

    猜你喜歡
    哈希檢索卷積
    基于3D-Winograd的快速卷積算法設(shè)計及FPGA實(shí)現(xiàn)
    2019年第4-6期便捷檢索目錄
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    專利檢索中“語義”的表現(xiàn)
    專利代理(2016年1期)2016-05-17 06:14:36
    基于OpenCV與均值哈希算法的人臉相似識別系統(tǒng)
    基于維度分解的哈希多維快速流分類算法
    一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識別方法
    基于同態(tài)哈希函數(shù)的云數(shù)據(jù)完整性驗(yàn)證算法
    一種基于Bigram二級哈希的中文索引結(jié)構(gòu)
    邯郸县| 南和县| 广河县| 唐山市| 小金县| 修水县| 尚志市| 夏河县| 宜君县| 武川县| 文山县| 河津市| 铜梁县| 安徽省| 阿坝县| 务川| 太康县| 兴文县| 门头沟区| 南康市| 大荔县| 万荣县| 盘锦市| 桓台县| 南岸区| 永仁县| 门头沟区| 乌兰察布市| 西畴县| 玛纳斯县| 襄汾县| 鸡西市| 车致| 保德县| 额尔古纳市| 江阴市| 边坝县| 澄迈县| 吉林市| 金阳县| 凌源市|