基于改進(jìn)深度學(xué)習(xí)的海量多媒體圖像信息快速檢索研究

高 小 芳

(泉州信息工程學(xué)院，福建 泉州 362000)

在網(wǎng)絡(luò)海量信息中會存在一些有價(jià)值的信息，所以需要對這些信息進(jìn)行挖掘，以便后續(xù)分析與利用，這就是數(shù)據(jù)挖掘。但是在數(shù)據(jù)挖掘方法應(yīng)用過程中發(fā)現(xiàn)，傳統(tǒng)方法不能精準(zhǔn)、快速地獲取圖像中的有效信息，所以導(dǎo)致圖像信息獲取難度加大[1]。尤其是圖像中包含的信息眾多，很多重要信息被掩藏在干擾信息當(dāng)中，因此挖掘較為困難。在此背景下，如何實(shí)現(xiàn)對海量多媒體圖像信息的快速檢索是該領(lǐng)域研究的重點(diǎn)課題。

圖像檢索，簡單地說就是根據(jù)圖像特征從海量多媒體圖像中尋找到與之匹配的圖像。關(guān)于圖像檢索問題的研究很多學(xué)者在其著作中都進(jìn)行了分析和探討，總結(jié)起來大致分為以下3類：第一類是根據(jù)圖像內(nèi)容進(jìn)行檢索，主要是利用顏色、形狀、紋理等這些信息構(gòu)建特征向量，最后根據(jù)特征相似度量實(shí)現(xiàn)圖像檢索；第二類基于顏色特征的圖像檢索，主要是根據(jù)圖像的顏色特征將其與網(wǎng)絡(luò)圖像相似度進(jìn)行比較，獲得最終的檢索結(jié)果，并將前m個(gè)圖像作為檢索結(jié)果；第三類為基于深度特征的圖像檢索。這種方法利用卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行一層一層卷積、池化，得到一組特征向量，然后與對應(yīng)的索引庫進(jìn)行近似最近鄰查找，實(shí)現(xiàn)圖像檢索。

以上圖像檢索方法都是通過對比圖像單一特征來進(jìn)行圖像匹配檢索，圖像檢索精確率不高，因此本文以第三類圖像檢索方法為基礎(chǔ)，對其進(jìn)行改進(jìn)，提出一種基于改進(jìn)深度學(xué)習(xí)的海量多媒體圖像信息快速檢索方法。

1 多媒體圖像信息快速檢索方法

圖像與文字等其他數(shù)據(jù)形式不同，一幅圖像中包含了多種特征，若是只通過一種特征進(jìn)行圖像檢索，檢索精度不高，經(jīng)常出現(xiàn)漏檢或者錯(cuò)檢等問題[2]。為此，本文在對原有的深度學(xué)習(xí)進(jìn)行深入剖析后，提取圖像特征并對提取出來的特征進(jìn)行融合，通過利用多種特征進(jìn)行圖像檢索以提高圖像檢索的精度?；诟倪M(jìn)深度學(xué)習(xí)的多媒體圖像信息快速檢索方法框架如下圖1所示。

圖1 基于改進(jìn)深度學(xué)習(xí)的圖像檢索方法原理框架

1.1 圖像預(yù)處理

在進(jìn)行圖像檢索前，需要有一個(gè)預(yù)處理過程，以提高圖像質(zhì)量，便于更高層次的處理[3]。本研究中的圖像預(yù)處理包括圖像去噪和圖像增強(qiáng)兩部分。下面進(jìn)行具體分析。

1)圖像去噪

圖像去噪是指去除或者降低圖像中的干擾信息。目前常用的方法主要有均值濾波法和中值濾波法兩種[4]。前者主要對像素均值進(jìn)行計(jì)算，并利用該結(jié)果來替換原始像素，以此完成圖像去噪處理。以3*3窗口的均值濾波為例(圖2)。

圖2 3*3濾波窗口

其計(jì)算公式如下：

(1)

式中，P(x,y)為中點(diǎn)P的濾波值。其余5*5，9*9，...，(2n+1)*(2n+1)濾波窗口的計(jì)算與矩形窗口的相同[5]。

后者中值濾波法與均值濾波法的操作大致相同，只是不再是計(jì)算均值，而是計(jì)算濾波模板領(lǐng)域內(nèi)所有像素的中值，以中值代替模板內(nèi)中心點(diǎn)原始像素值[6]。計(jì)算

(2)

式中，q(x,y)為該模板內(nèi)中點(diǎn)P的濾波值。{x(i,j),(i,j)∈I}表示圖像灰度值，S代表濾波窗口。

上述兩種去噪方法針對的噪聲類型不同，前者針對高斯噪聲，后者針對椒鹽噪聲。為了能夠同時(shí)去除這兩種噪聲，通過引入局部閾值將噪聲類型分開，以此實(shí)現(xiàn)利用不同去噪方法去除噪聲[7]。

設(shè)x(i,j)為圖像(i,j)點(diǎn)處的像素值，則中值濾波處理后輸入為q(x,y)。定義l(i,j)=|x(i,j)-q(i,j)|， 即x(i,j)和q(i,j)的絕對差值。假設(shè)y1(i,j)和y2(i,j)為所取領(lǐng)域中和x(i,j)最接近的兩個(gè)點(diǎn)，令

a=|y1(i,j)-x(i,j)|

(3)

b=|y2(i,j)-x(i,j)|

(4)

(5)

根據(jù)以上分析，去噪方法的選擇規(guī)則如下：

(6)

式中，T1和T2為設(shè)定的局部閾值[8]。

2)圖像增強(qiáng)

圖像增強(qiáng)是指增強(qiáng)圖像清晰度，以凸顯圖像特征，豐富信息量。本文主要是通過直方圖均衡化來調(diào)整圖像灰度分布不均的問題，從而讓圖像的高低灰度都容易分辨出來[9]。直方圖均衡化具體流程如下：

步驟1：確定原始多媒體圖像。

步驟2：多媒體圖像灰度化處理。

步驟3：計(jì)算灰度圖像中所有像素的灰度級，記為rk,k=0,1,…,L-1，其中，L為灰度級。

步驟4：計(jì)算所有像素的灰度級的像素?cái)?shù)，記為nk。

步驟5：計(jì)算原始多媒體圖像直方圖。計(jì)算公式如下：

(7)

式中，Q(rk)表示像素總數(shù)中灰度級為rk的像素?cái)?shù)；n為圖像中所有像素的總數(shù)。

步驟6：根據(jù)上述步驟5計(jì)算結(jié)果，計(jì)算累積直方圖。計(jì)算公式如下：

(8)

步驟7：按照下述公式(9)取整。

(9)

步驟10：重新顯示圖像[10]。

1.2 多媒體圖像特征提取

基于上述預(yù)處理好的多媒體圖像，在本文利用深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多媒體圖像特征提取[11]。

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)方法中的一種，該網(wǎng)絡(luò)在卷積層所用的權(quán)重和偏置的參數(shù)較少，且具有平移不變性，因此將其用于多媒體圖像特征提取中，以期提升特征提取精度，為后續(xù)的多媒體圖像信息快速檢索奠定堅(jiān)實(shí)的基礎(chǔ)。

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示[12]。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1)卷積層

首先輸入圖像到卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中，然后使圖像進(jìn)入卷積層，卷積層中包括多個(gè)卷積核，利用這些卷積核對圖像的特征進(jìn)行提取[13]。卷積層操作如下：

(10)

式中，xi(r)和yj(r)分別是第i個(gè)輸入數(shù)據(jù)和第j個(gè)輸入數(shù)據(jù)，kij(r)是第i個(gè)輸入數(shù)據(jù)和第j個(gè)輸入數(shù)據(jù)之間的卷積核，*表示卷積。bj(r)是第j個(gè)輸出結(jié)果的偏差，f(·)表示激活函數(shù)，r表示共享權(quán)重的局部區(qū)域。

2)池化層

池化層在卷積神經(jīng)網(wǎng)絡(luò)中的作用是減少圖像中無價(jià)值的冗余信息，以提高計(jì)算效率，同時(shí)可以有效避免卷積神經(jīng)網(wǎng)絡(luò)發(fā)生過度擬合的問題[14]。簡而言之，就是使得提取出來的特征更為精簡化。

3)全連接層

全連接層在卷積神經(jīng)網(wǎng)絡(luò)中的作用將是卷積、池化得到的圖像特征向量平鋪成1個(gè)一維的向量，然后對特征進(jìn)行重新擬合，將局部的特征編碼為全局的特征向量。

經(jīng)過卷積層、池化層和全連接層之后，特征重新得到分類組合。最后送入到softmax分類器，在遵循一定的分類規(guī)則情況下，得到與特征匹配圖像類型，完成檢索。在這里對最后一步分類檢索不進(jìn)行具體分析[15]。

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)提取出來的特征普遍存在細(xì)節(jié)信息缺陷。為此，本章節(jié)通過多層特征圖融合的方法來進(jìn)行彌補(bǔ)，即設(shè)計(jì)一種多層多尺度的卷積神經(jīng)網(wǎng)絡(luò)。在該網(wǎng)絡(luò)中通過多層多尺度卷積層來提取一幅圖像中不同的圖像特征，如紋理、顏色、形狀等，然后對這些不同維度的特征進(jìn)行歸一化和白化處理，使得這些特征具有融合在一起的條件，然后再進(jìn)入合并層。在合并層中對不同特征進(jìn)行融合，最后通過求和池化層轉(zhuǎn)換成固定尺寸的特征圖譜。

1.3 多媒體圖像信息快速檢索

本文主要利用改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)提取到多媒體圖像特征，進(jìn)入到最后一層，softmax層，進(jìn)行類別的分類檢索。在這一層中主要以相似度作為分類規(guī)則，將提取的圖像特征與特征庫中的特征進(jìn)行對比，計(jì)算二者之間的相似度，相似度值越大，二者之間越相似，就越可能是所需要的圖像信息檢索結(jié)果。

設(shè)A、B代表兩張圖像，其中，A=(a1,a2，…，an)T,B=(b1,b2，…，bn)T。A、B兩張圖像之間的距離d(A,B)計(jì)算如下：

1)歐式距離

(11)

2)直方圖相交

(12)

3)余弦距離

(13)

式中，ai和bi分別表示A和B的特征向量的第i個(gè)維度,wi表示各維度的權(quán)重。

在此基礎(chǔ)上，利用相似度度量值對檢索結(jié)果進(jìn)行排序，獲取數(shù)據(jù)庫中圖像所蘊(yùn)含的信息，并將其作為多媒體圖像信息快速檢索結(jié)果。

2 仿真實(shí)驗(yàn)分析

現(xiàn)今網(wǎng)絡(luò)購物已經(jīng)代替了傳統(tǒng)的購物方式，是目前廣受歡迎的新型購物形式，人們通過購物App來尋找自己所需要的商品，不僅方便快捷，商品種類和價(jià)格也極具優(yōu)勢。然而與此同時(shí)，購物網(wǎng)站上用來展示商品的圖像數(shù)量龐大，消費(fèi)者往往需要大量的時(shí)間去篩選和比較，因此如何快速從海量的圖像中篩選出所需要商品信息成為一大難題。在本次仿真實(shí)驗(yàn)中，將所研究的基于改進(jìn)深度學(xué)習(xí)的海量多媒體圖像信息快速檢索方法應(yīng)用到商品搜索當(dāng)中，進(jìn)行仿真實(shí)驗(yàn)分析。

2.1 實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)樣本

仿真實(shí)驗(yàn)分析的實(shí)驗(yàn)環(huán)境見表1。在網(wǎng)絡(luò)購物中，服飾類商品是種類最多的，也是人們最常搜索的，因此本次仿真實(shí)驗(yàn)中就取服飾類商品圖像建立實(shí)驗(yàn)樣本集，見表2。

表1 實(shí)驗(yàn)環(huán)境

表2 實(shí)驗(yàn)樣本集

2.2 參數(shù)設(shè)置

表3為改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置情況。

表3 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

2.3 評價(jià)指標(biāo)

評價(jià)檢索方法最直接的方式是統(tǒng)計(jì)其檢索精度和檢索速度，若是可以在最短的時(shí)間內(nèi)完成最為準(zhǔn)確的圖像信息檢索，就認(rèn)為該檢索方法的檢索性能較高。

1)平均精度均值

本實(shí)驗(yàn)中以平均精度均值(MAP)作為檢索精度的驗(yàn)證指標(biāo)，其計(jì)算公式如下：

(14)

式中，M是樣本集中圖像的數(shù)量，APi是第i次檢索結(jié)果的平均精確度。

2)平均運(yùn)行時(shí)間

本實(shí)驗(yàn)中以平均運(yùn)行時(shí)間(AvgTime)作為檢索速度驗(yàn)證指標(biāo)，其計(jì)算公式如下：

(15)

式中，tm,k表示檢索第m個(gè)圖像的k個(gè)相關(guān)圖像的時(shí)間成本。

2.4 檢索性能統(tǒng)計(jì)結(jié)果

相同仿真實(shí)驗(yàn)條件下，利用不同的檢索方法對同一樣本集進(jìn)行檢索。檢索結(jié)果見表4。

表4 檢索性能統(tǒng)計(jì)結(jié)果

分析表4中的數(shù)據(jù)可知，所研究方法應(yīng)用下，圖像檢索MAP值更大，AvgTime值更小，由此證明所研究方法能在更短的時(shí)間內(nèi)準(zhǔn)確完成圖像信息檢索，檢索性能較好。

3 結(jié) 論

綜上所述，互聯(lián)網(wǎng)技術(shù)發(fā)展帶來了大數(shù)據(jù)的數(shù)量劇增，其中圖像信息占據(jù)了其中很大一部分，因此如何從海量的圖像信息中快速尋找到所需要的圖像成為一大難點(diǎn)。為此，本文提出一種基于改進(jìn)深度學(xué)習(xí)的海量多媒體圖像信息快速檢索方法，通過完善圖像特征提取來提高圖像檢索精度，最后將研究方法應(yīng)用到網(wǎng)絡(luò)購物搜索中，證明了該方法的檢索性能。然而，仿真實(shí)驗(yàn)分析中僅使用了幾萬張圖像作為實(shí)驗(yàn)數(shù)據(jù)集，而在實(shí)際情況中一個(gè)購物平臺上存在百萬級甚至更多的圖像，因此所研究的方法還需要升級和改進(jìn)，以滿足更多圖像信息檢索的需要。