一種基于視覺記憶的圖像特征提取及語義標注方法

劉義紅

摘要：該論文利用人類視覺記憶的工作機制和機理，提出一種基于視覺記憶的圖像特征提取和語義標注方法，旨在解決圖像特征提取和標注問題。這種方法首先利用圖像分割技術提取圖像目標區(qū)域特征，再運用隱馬爾可夫模型在圖像區(qū)域特征與標注詞、標注詞與標注詞之間建立聯(lián)系，現實圖像的自動標注。最后，在真實數據集上仿真實驗，結果表明該模型有效。

關鍵詞：視覺記憶；特征提??；語義標注；HMM

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2018）15-0176-04

An Image Feature Extracting and Semantic Tagging Method Based on Visual Memory

LIU Yi-hong

（College of Computer， Huainan Normal University， Huainan 232038， China）

Abstract： This paper proposes an image feature extracting and semantic tagging method by using the working mechanism of human visual memory. It aims at solving the problems in image feature extracting and semantic tagging. The method first uses the image segmentation technique to extract the image features of the target area， and then uses Hidden Markov Model to establish the relations between the features of image area and tagged words and between the tagged words themselves， and thus automatic tagging of the images is achieved. Finally， the simulation experiment on real data set shows that the model is simple and effective and can do semantic tagging automatically.

Key words： visual memory； feature extraction； semantic tagging； HMM

1 引言

隨著計算機云存儲技術和智能終端技術的飛速發(fā)展，越來越多的用戶喜歡將自己日常生活、學習過程中產生的數據分享到個人空間或保存到云端服務器上，其中很大一部分是圖像、視頻、音頻等多媒體數據，而且數據正呈指數級增長。若干年后，如何從這些海量數據中檢索出用戶重要的記憶信息，輔助用戶回憶，是一個非常有意義的課題。為解決個人云存儲中圖像的特征提取和標注問題，本文提出一種基于視覺記憶的圖像特征提取和語義標注方法。試圖通過人類視覺記憶的工作機制和機理，建立圖像低層視覺特征與高層語義，以及高層語義與語義之間存在的關聯(lián)，來圖理解像語義，從而實現圖像語義自動標注。該方法首先利用圖像分割技術將圖像的目標區(qū)域分割出來，建立目標區(qū)域特征與標注詞之間關聯(lián)；其次利用標注詞之間的共生關系，建立標注詞與標注詞之間的聯(lián)系；然后運用隱馬爾可夫模型（Hidden Markov Model，HMM）完成圖像標注工作。最后，在數據集上進行仿真實驗，結果顯示該模型有效，能夠較好地進行圖像語義自動標注。

2 視覺記憶過程

視覺記憶是人腦對視覺特征編碼、存儲和檢索的處理過程，是視覺系統(tǒng)中一種重要工作機制。心理學界普遍認為，人類的視覺記憶系統(tǒng)是由于感覺記憶、短時記憶和長時記憶三部分組成。文獻[1]給出了視覺記憶信息加工模型（圖1）。

根據該模型，外部信息對人的視覺器官刺激后，形成視覺痕跡首先進入到感覺記憶，感覺記憶包含的信息量大，保持時間非常短暫，很快就會消失，通常只有數秒，而且很容易被掩蓋或轉移。短時記憶是從感覺記憶中提取出來的非常有限的視覺特征，這些特征如果遇到與認知活動相關或具有特定的刺激就會受到注意，并重新編碼進入到一個容量有限、保持時間略長旳短時記憶系統(tǒng)中。短時記憶通常不受新信息加工處理的干擾，它若在沒有復述刺激的情況下，保持很短一段時間后就會喪失。但是若通過加工整合性的復述，便會進入到長時記憶中。長時記憶是人記住一個先前見過的、但又不在頭腦中持續(xù)激活的形象能力[2]。長時記憶是一個真正的信息庫，它有相當大的存儲容量和很高的信息保持能力，進入長時記憶儲存中的信息，相對而言是持久的、可呈現的。但是，當它們被干擾或強度削弱時，又會轉入到短時記憶。

具體而言，視覺記憶的形成分視覺特征編碼、存儲和檢索三個步驟完成。即視覺記憶系統(tǒng)首先通過人的眼睛采集視覺信息，其次，從這些視覺信息中提取并保存感興趣的目標特征，再次，將這些目標特征轉換為高層語義信息，構成語義信息庫。當人的視覺系統(tǒng)再次遇到類似目標時，則從視覺記憶中聯(lián)想出相應的語義，從而對該目標進行判斷和檢索，進而可以實現未知目標的語義標注。

綜上所述，本文正是基于視覺記憶的工作機制和機理，將視覺記憶系統(tǒng)引入到圖像處理中，模擬視覺記憶的過程，實現圖像的特征提取和語義標注。

3 基于視覺記憶的圖像語義標注模型

3.1 模型

本文描述的基于視覺記憶的圖像語義標注模型框架如圖2所示。它分為兩個階段：第一個階段為圖像特征提取過程，它利用文獻3中圖像分割算法，獲得圖像不同目標區(qū)域特征，再建立圖像區(qū)域特征與標注詞之間的關聯(lián)，并存入特征、語義庫。第二個階段為圖像自動標注過程，它通過語義標注器，得到圖像初始標注詞，再根據標注詞之間的共生關系獲得聯(lián)想語義，最終完成圖像標注，并存入特征、語義庫。

3.2 特征提取

我們采用文獻3算法對圖像進行進分割，獲得圖像不同目標區(qū)域，再利用圖像的顏色矩和區(qū)域不變矩等特性來提取圖像目標區(qū)域的底層視覺特征。

3.2.1顏色矩

顏色矩是由Stricker和Orengo[4，5]所提出的，用數學計算來描述顏色特征，提取顏色的低階矩能很好地表達顏色信息的分布。這里，我們通過計算一、二、三階矩，最終獲得9個分量（RGB，3個顏色分量，每個分量3個階矩）的圖像顏色特征值。其計算公式如下：

[μi=1Nj=1Ncij] （1）

[σi=1Nj=1N（cij-μi）212] （2）

[δi=1Nj=1N（cij-μi）313] （3）

其中，[cij]表示第j個象素的第i個顏色分量，N表示象素總數。

3.2.2區(qū)域不變矩

區(qū)域形狀[6，7]用七階不變矩描述，它具有良好的尺度、平移和旋轉不變等特性。這里，我們通過計算圖像區(qū)域形狀的七階不變矩，獲得7個分量的圖像區(qū)域形狀特征值。

假設一幅圖像用函數[f（x，y）]表示，若[f（x，y）]分段連續(xù)且在[xy]平面上的不全為零，則[f（x，y）]的各階矩存在。下面給出[j+k]階矩和中心矩計算公式。

3.3 語義標注方法

假如把一幅圖像的目標區(qū)域特征集，看成觀測序列，將標注詞集，看成狀態(tài)序列，這樣，我們可以用隱馬爾可夫（HMM）生成模型來刻畫圖像語義標注過程。其概率模型為：

3.3.1 參數的估計

定義6：（前向概率）給定隱馬爾可夫模型，定義到t時刻部分觀測序列為且狀態(tài)為的概率為前向概率，記為

3.3.2 語義標注算法

語義標注算法的思路是，給定一個測試圖像的區(qū)域特征序列（觀測序列），得到對應的標注序列（隱狀態(tài)序列），使該標注序列出現后驗概率最大。具體而言，就是求最大值對應的路徑問題。這里，我們采用動態(tài)規(guī)劃來求解最優(yōu)路徑，實現語義標注。

4 實驗分析

硬件環(huán)境：AMD A8-5600K 3.6GHz；內存16G。

軟件環(huán)境：操作系統(tǒng)Windows7，Matlab7.0。

實驗使用的圖像來源Corel圖像庫、Web搜索圖像、自己拍攝圖像，共1500張，圖像像素均設為100 ×75大小，每幅圖像含有標注詞1至3個，標注詞總數32個。采用五折交叉驗證的方法，將1500張圖像隨機分成五份，依次選擇一份作為測試圖像，剩余四份作為訓練圖像，分別進行獨立實驗，最后取五次實驗的均值。

本文采用準確率和查全率來衡量圖像標注的性能。準確率是指標注詞全部標注正確的樣本數與測試樣本總數之比，查全率是指標注詞全部標注正確的樣本數與至少有一個標注詞標注正確的樣本數之比。它們分別定義為：

式（16）（17）中，P表示準確率，R表示查全率，T表示標注詞全部標注正確樣本數，N表示測試樣本總數，M表示至少有一個標注詞標注正確的樣本數。

實驗時，為了提高HMM模型參數λ的學習效率，我們通過計算圖像特征對應的標注詞概率分布來初始化λ（Π0，A0，B0）。圖3給出了5張圖像標注的實驗結果示例，表明該方法能夠有效地進行圖像自動標注。表1展示了與經典圖像標注算法CMRM[8]，CRM[9]，MBRM[10]，GMM[11]在32個標注詞上的對比實驗結果，結果表明本文圖像標注方法的準確率和查全率均優(yōu)于其他算法，同時，也驗證了該方法具有較好的標注效果。

5 總結

通過對人類視覺記憶的工作機制和機理研究，本文提出了一種基于視覺記憶的圖像特征提取和語義標注方法，它既能夠較好地描述圖像低層視覺特征和高層語義之間的聯(lián)系，又融合了高層語義之間的內在聯(lián)系，具有較好的圖像語義自動標注效果。模型首先利用圖像分割技術將圖像目標區(qū)域分割出來，建立目標區(qū)域與標注詞之間關聯(lián)，再利用標注詞之間的共生關系，建立標注詞與標注詞之間的聯(lián)系，然后運用隱馬爾可夫模型實現圖像自動標注工作。最后，在真實數據集上仿真實驗，并與其他經典標注方法進行對比實驗，展示該模型的有效性。

參考文獻：

[1] Atkinson R.C.，Shiffrin R.M. Human memory： A proposed system and its control processes[J] . The psychology of learning and motivation， 1968（2）：89-195.

[2] Brady T.F.，Konkle T. A review of visual memory capacity： Beyond individual items and toward structured representations[J]. Journal of Vision， 2011，11（5）， 1-34.

[3] 劉義紅.一種改進的K-means聚類自然圖像分割算法設計與實現[J].淮南師范學院學報， 2018，20（108）：11-15.

[4] 韓丁，武佩.基于顏色矩的典型草原牧草特征提取與圖像識別[J].農業(yè)工程學報， 2016， 32（23）：168-173.

[5] 基于顏色矩的改進尺度不變特征變換的移動機器人定位算法[J].計量學報，2016，37（2）：118-122.

[6] Mehtre B M，Kankanhalli M S，Lee W.F. Shape measures forcontent based image retrieval：a comparison[J].Information Processing & Management，1997，33（3）：319-337.

[7] 李冰.顏色紋理形狀特征分層融合圖像檢索方法研究[J].西南師范大學學報（自然科學版），2017，42（1）：54-59.

[8] Jeon， Lavrenko V ，R. Automatic Image Annotation and Retrieval using Cross-Media Relevance Models[C].Proceedings of the 26th Annual international ACM SIGIR Conference on Research and Development in information Retrieval，Toronto，Canada，2003，119-126.

[9] Lavrenko V，Manmatha R，Jeon J. A Model for Learning the Semantics of Pictures[J].Nips， 2004： 553-560.

[10] Feng S. L.， Manmatha R.， Lavrenko V. Multiple Bernoulli relevance models for image and video annotation[C]. Computer Vision and Pattern Recognition， Proceedings of the 2004 IEEE Computer Society Conference on. IEEE，2010：1002-1009.

[11] Li J.F.， Shi J.H.， Zhang H.Z.， et al. Tongue Image Texture Segmentation Based on Gabor Filter Plus Normalized Cut[M] //Medical Biometrics. Springer Berlin Heidelberg，2010.