精細拓撲結(jié)構(gòu)表示與深度特征融合在多目標圖像檢索中的應用

劉 東，王生生

(1. 湘南學院 軟件與通信工程學院，郴州 423300；2. 吉林大學 a.符號計算與知識工程教育部重點實驗室; b.計算機科學與技術學院，長春 130012)

圖像視覺特征提取與表達是圖像檢索與分類的關鍵步驟，同時也是計算機視覺領域的重要研究方向[1]。歸納總結(jié)視覺特征研究發(fā)展歷程，可分為3個階段：底層視覺特征提取、中間層特征表達，以及最近流行的深度學習方法。1)底層視覺特征提取主要針對圖像形狀、紋理、顏色等信息進行刻畫，提取表征圖像外觀的視覺特征，如常用的尺度不變特征變換[2]、局部二值模式[3]等。底層視覺特征提取一般計算較簡單，但單獨使用時難以勝任復雜的計算機視覺任務。2)中間層特征表達是指對底層視覺特征進一步編碼和統(tǒng)計，以挖掘更具判別能力的深層特征表示，如經(jīng)典的視覺詞袋模型(BoVW, bag-of-visual-words)[4]。中間層特征表達在一定程度上可以彌補底層視覺特征的缺陷。3)深度學習方法作為一種倍受關注的數(shù)據(jù)驅(qū)動方法，其不需要手工參與設計，直接以圖像像素作為初始數(shù)據(jù)輸入，經(jīng)過多層網(wǎng)絡結(jié)構(gòu)，學習圖像的潛在深層特征。以卷積神經(jīng)網(wǎng)絡(CNN, convolution neural network)[5]為代表的深度學習方法，發(fā)展出一系列高效的網(wǎng)絡結(jié)構(gòu)，如AlexNet[5]、VGGNet[6]、ResNet[7]等，被用在高光譜圖像分類[8]、人體行為識別[9]與表情識別[10]等多個領域。CNN雖然在自然場景圖像分類中取得巨大成功，但仍然存在一些缺陷，如依賴海量樣本數(shù)據(jù)、可解釋性較差、難以推理、較難描述和理解圖像內(nèi)容模式的含義等，這使得CNN在處理小樣本和對語義特性要求較高的多目標圖像時面臨許多挑戰(zhàn)。

圖1 多目標圖像示例Fig. 1 The examples of multi-object images

空間關系建模作為一種實現(xiàn)圖像語義表達的重要手段，可有效增強視覺特征表達性能。相較于紋理、形狀、顏色等底層視覺特征，通過刻畫圖像基元之間的空間關系來識別圖像，更符合人類的視覺認知習慣?？臻g關系刻畫可有效跨越和縮小底層視覺特征到高層語義之間的“語義鴻溝”，在計算機視覺與模式識別領域具有重要的地位，尤其是對于醫(yī)學影像等多目標圖像識別具有至關重要的判別能力[11-12]。然而，現(xiàn)有工作研究的空間關系模型存在諸多缺陷，如描述目標簡單、基本關系數(shù)量有限、缺少有效的推理與相似性度量方法，難以滿足視覺特征表達的現(xiàn)實需求。表1總結(jié)了目前代表性的空間關系模型，其中RCC-8[13]等經(jīng)典空間關系模型僅有少數(shù)種空間關系；CRString[14]雖然具有完備的空間關系表示，但其目標僅針對凸區(qū)域；前期研究成果DTString[15]研究了簡單區(qū)域的完備拓撲空間關系表示，但其不適用于具有復雜區(qū)域的多目標圖像場景。如圖1所示，商標、醫(yī)學和目標分割后的場景圖像均為具有復雜區(qū)域空間關系的多目標圖像。

表1 代表性空間關系模型總結(jié)Table 1 Summary of representative topological relation models

針對上述空間關系描述簡單、圖像視覺特征表達不充分、語義信息缺失的問題，主要研究復雜圖像的空間關系建模與深度特征融合，提出一種能滿足視覺特征表達需求的空間關系模型來刻畫復雜區(qū)域的空間拓撲結(jié)構(gòu)，并與深度特征融合，應用于多目標圖像檢索，提高檢索性能，同時為增強深度學習可解釋性創(chuàng)造有利條件。主要貢獻包括：1)針對復雜區(qū)域表示，提出了一種新的精細拓撲結(jié)構(gòu)表示模型，不僅具有完備的拓撲關系描述性能，還提供了有效的拓撲不變量推理算法和拓撲結(jié)構(gòu)相似性度量方法；2)基于精細拓撲表示模型，提出了融合復雜空間關系特征和深度特征的多目標圖像檢索算法，取得優(yōu)于現(xiàn)有方法的性能。

1 精細拓撲結(jié)構(gòu)表示模型

提出一種新的精細拓撲結(jié)構(gòu)表示模型(DTSRM, detailed topological structure representation model)來刻畫多目標的復雜區(qū)域，主要包括精細拓撲結(jié)構(gòu)的表示、定性推理和相似性計算3個部分。這3個部分從理論到應用層層遞進。為便于介紹，首先給出一些通用符號說明，如表2所示。

1.1 精細拓撲結(jié)構(gòu)表示

首先逐步給出復雜區(qū)域的形式化定義。平面上同胚于圓盤的區(qū)域稱之為簡單區(qū)域，而帶洞的簡單區(qū)域則定義如下。

定義2(復雜區(qū)域) 設A為平面上的區(qū)域，若A由若干個簡單區(qū)域或帶洞的簡單區(qū)域組成，則稱A為復雜區(qū)域。

圖2展示了簡單區(qū)域、帶洞的簡單區(qū)域以及復雜區(qū)域的區(qū)別。給定一個有界的平面區(qū)域A，稱A為正成分，如圖2(b)中c0；Ae為負成分，且負成分可進一步劃分為兩種類型，一種是有界的，如圖2(b)中c1、c2、c3；一種是無界的，如w0。容易發(fā)現(xiàn)，一個區(qū)域至少包含一個正成分和一個負成分，且Ae有唯一一個無界的開放區(qū)域(即w0)。

圖2 簡單區(qū)域與復雜區(qū)域示意圖Fig. 2 The examples of simple regions and complex regions

基于上述定義，針對多目標復雜區(qū)域描述提出精細拓撲結(jié)構(gòu)表示模型DTSRM。如圖3(a)所示，在多目標復雜區(qū)域中，對于任意2個成分ai和aj之間有2種連接關系：1)強連接關系，若ai和aj閉包的交集包含至少一條曲線；2)弱連接關系，若ai和aj閉包的交集僅包含一個或多個離散點。

定義 3(精細拓撲結(jié)構(gòu)表示模型) 復雜區(qū)域A的精細拓撲結(jié)構(gòu)表示定義為一個四元組G={V,E1,E2,L}，其中V是A中所有成分的集合；E1表示成分之間強連接關系的集合，E2表示成分之間弱連接關系的集合，即rij∈E1和rij∈E2分別表示成分ai和aj之間存在強連接關系(即圖3中的有向邊)或者弱連接關系(即圖3中的無向邊)；L則表示每個成分的標簽，可根據(jù)需要由視覺特征描述后聚類得到。此外，在集合V中，唯一的根節(jié)點表示開放背景區(qū)域(即w0)，記根節(jié)點w0在第0層，w0的子節(jié)點c1、c2、c3在第1層，c1、c2、c3的子節(jié)點在第2層，以此類推，由此得到精細拓撲結(jié)構(gòu)表示模型為圖3所示。

圖3 精細拓撲結(jié)構(gòu)表示模型(DTSRM)Fig. 3 The detailed topological structure representation model (DTSRM)

下面通過一個直觀的例子闡述提出的DTSRM模型相比現(xiàn)有方法的優(yōu)勢。圖4展示了3種具有相似拓撲結(jié)構(gòu)的復雜區(qū)域，但是在局部細節(jié)上存在較大的差異。使用CRString[14]和DTString[15]模型無法對3種拓撲結(jié)構(gòu)進行區(qū)分，因其無法描述復雜區(qū)域。使用樹表示模型[16]無法將點連通區(qū)域分開，即將(a)和(b)視為同一種拓撲結(jié)構(gòu)；分層圖模型[17]則無法區(qū)分弱連接關系，即無法區(qū)分(a)和(c)2種情況。而提出的精細拓撲結(jié)構(gòu)表示模型綜合考慮了強連接和弱連接關系，能夠有效區(qū)分圖4中3種情況，實現(xiàn)了更精確和完備的拓撲結(jié)構(gòu)表達。值得說明的是，將DTSRM模型應用于多目標圖像刻畫時，考慮到像素采樣的誤差與粘連，弱連接關系中目標邊界交集的離散點可以根據(jù)需要抽象為若干個鄰域像素集合。

圖4 三種不同的拓撲結(jié)構(gòu)Fig. 4 Example of three different topological structures

實際上，DTSRM模型通過有效區(qū)分強連接與弱連接關系不僅有助于增強語義特性，對于描述醫(yī)學影像等尤其注重細節(jié)內(nèi)容差別的圖像具有重要的意義。如圖5所示的乳腺癌全掃描切片(來自2018 年international conference on image analysis and recognition組織的乳腺癌圖像分析大賽[18])，其中病理組織(背景區(qū)域)、良性(紅色區(qū)域)、原位癌病變區(qū)域(綠色部分)、浸潤性癌病變區(qū)域(藍色區(qū)域)彼此之間構(gòu)成復雜區(qū)域，并且區(qū)域之間體現(xiàn)出強連接關系和弱連接關系，對他們之間的空間組織形式與拓撲結(jié)構(gòu)進行表達，可有效協(xié)助醫(yī)生對癌細胞轉(zhuǎn)移進行分析與判斷。

圖5 乳腺癌圖像中的復雜區(qū)域Fig. 5 The complex region in breast cancer images

1.2 基于精細拓撲結(jié)構(gòu)表示模型的定性推理

1.2.1 洞判別推理

設復雜區(qū)域A以及它的精細拓撲結(jié)構(gòu)表示G={V,E1,E2,L}。實際上，如圖6所示，G可劃分為一個有向子圖G1={V,E1,L}和一個無向子圖G2={V,E2,L}構(gòu)成。

定理2 設c為A的非根節(jié)點，如果從G1中移除c將產(chǎn)生一個或多個連通子圖，這些子圖可以進一步劃分為兩種類型：1)唯一一個包含根節(jié)點的子圖w0;2)其他不包含根節(jié)點w0的子圖gi(c), 1≤i≤k，則gi(c)即是c的洞。

證明：從定理1可知，如果c存在洞bi，若從G1中移除c將使得bi與根節(jié)點是不連通的，則bi可看成等價的子圖gi(c)，即得證。

下面給出一個直觀的例子。在如圖6所示的復雜區(qū)域和它的精細拓撲結(jié)構(gòu)表示，只有c2節(jié)點存在洞b2，因為在G1中移除c2之后，b2單獨形成一個不包括根節(jié)點w0的子圖。

由上述定理1和定理2，可在O(n)時間復雜度內(nèi)(n為節(jié)點的數(shù)量)，直接從DTSRM表示模型中推導出每個子區(qū)域包含洞的數(shù)量，不需要額外的圖形或者幾何計算，從而大大地降低了計算復雜度，同時也提供了具有語義特性的拓撲不變量。

圖6 DTSRM模型可劃分為有向子圖和無向子圖表示 Fig. 6 DTSRM model divided into a directed sub-graph and a undirected sub-graph

1.2.2 環(huán)繞子區(qū)域推理

設復雜區(qū)域A以及它的拓撲結(jié)構(gòu)表示G={V,E1,E2,L}, 假定c為A的任意成分(子區(qū)域)，一個切實的問題是能否僅根據(jù)G就推導出c由哪些其他子區(qū)域環(huán)繞，以及如何確定環(huán)繞子區(qū)域的順序。這些信息不僅是拓撲不變的，而且對于基于知識表示的圖像重構(gòu)也具有重要意義。下面提出子區(qū)域推理來回答上述問題。

定理3 設c為G的節(jié)點，S(c)定義為如下集合：S(c)={vi?V|(c,vi)∈E1或(vi,c) ∈E1,1≤i≤k}，則S(c)為c的圍繞子區(qū)域集合。并且，如果每個vi∈S(c)恰恰形成E2中的回路R=(r1r2…rkr1)，則(r1r2…rkr1)即為c環(huán)繞的子區(qū)域序列。

證明：首先，設任意節(jié)點vi滿足：?vi∩?c包含一條簡單曲線，即vi和c是強連接的，則vi是c的子節(jié)點或者父節(jié)點，即(c,vi)∈E1或(vi,c)∈E1。由定義3易知，?c的每個線段分量只與其父節(jié)點或子節(jié)點存在交集，因此S(c)恰為c的圍繞子區(qū)域集合。再者，c的任意2個相鄰圍繞子區(qū)域必然存在弱連接關系(以一個點或多個點相連)，而模型在E2中恰恰描述了這種弱連接關系。因此，只需要在E2中找到關于S(c)中所有節(jié)點的回路(r1r2…rkr1)，即為c的環(huán)繞子區(qū)域的序列。特別的，如果S(c)中僅包括一個節(jié)點，意味著c是一個某個子區(qū)域的洞，被其父節(jié)點所環(huán)繞。

舉例如圖6所示，其中圖6(b)和圖6(c)分別為有向子圖G1={V,E1}和無向子圖G2={V,E2}。以計算b4的環(huán)繞子區(qū)域序列為例，由圖G1易知：S(b4)={c2,c3,c4,c5}，而S(b4)中的所有節(jié)點在G2中恰恰存在回路(c2c3c4c5c2)，因此(c2c3c4c5c2)即為b4的環(huán)繞子區(qū)域序列，在圖6(a)中可得到驗證。同理，可計算w0和c1分別被G2中回路(c2c5c4c3c1c2),(b1b3w0b1)所環(huán)繞，同時上述環(huán)路中的節(jié)點在G1中也分別是w0和c1的子節(jié)點或者父節(jié)點。

由上述幾個定理可以發(fā)現(xiàn)，所提出的精細拓撲結(jié)構(gòu)表示模型不僅能實現(xiàn)對拓撲結(jié)構(gòu)的精細刻畫，同時提供簡易有效的推理，使得拓撲不變量可以由表示模型直接推導得到，并可進一步應用于空間查詢與圖像視覺特征表達。

1.3 基于精細拓撲結(jié)構(gòu)表示模型的相似性度量

相似性度量是空間關系模型應用于視覺特征表達的重要基礎。由于精細圖表示模型G可劃分為一個有向圖G1={V,E1,L}和一個無向圖G2={V,E2,L}組成，分別對2個子圖進行相似性度量。

1.3.1 有向圖相似性度量

由于G1是有唯一根節(jié)點和層次信息的有向圖，因此G1亦可被看成類似樹的結(jié)構(gòu)。采用最大相似子樹來計算2個有向圖的相似度。首先，假設T1和T2是2個有向圖，其節(jié)點集合分別為V1和V2，如果存在U1?V1和U2?V2，對于任意雙射f:U1→U2，使得子圖U1和U2具有相同的鄰接關系，則稱該雙射為一個子圖同構(gòu)。接著，一旦獲得2個有向圖的子圖同構(gòu)f之后，即計算子圖同構(gòu)的相似度W

(1)

其中:φ(u,v)表示使用模糊形狀描述算子[19]計算2個節(jié)點(子區(qū)域)的形狀相似度。表3給出了2個同構(gòu)子圖相似度的計算方法，則2個T1和T2的所有子圖同構(gòu)中具有最大的相似度稱之為最大子圖同構(gòu)，其相似度定義為

(2)

表3 計算子圖相似度的算法Table 3 The algorithm of computing sub-graph similarity

1.3.2 無向圖相似性度量

考慮到在復雜圖像表示的實際應用中，目標區(qū)域間的弱連接關系圖G2是稀疏的，提取無向圖的圖譜特征作為相似度量方法。具體的，給定G2={V,E2}，首先計算其鄰接矩陣的n個特征值，并將其按絕對值大小排序，即得t=[λ1,λ2,…,λn]，λ1≥λ2≥…≥λn，為表征G2的圖譜特征。圖譜特征能較好的反應無向圖的特性，具有拓撲不變性，且計算較簡單。對于任意精細圖表示模型G和G′，獲取最大子圖同構(gòu)之后，相應的節(jié)點組成的2個無向圖即可計算其圖譜特征的歐氏距離來刻畫相似度，記為Su。

2 基于精細拓撲結(jié)構(gòu)表示與深度特征融合的圖像檢索

深度學習方法因其在場景圖像分類等任務中的優(yōu)異性能受到廣泛的關注。深度學習方法雖然能有效獲取深度特征，但其依賴于大量學習樣本，并且缺乏語義信息。而空間關系模型蘊含著大量的語義信息，與深度特征融合能夠充分利用兩者的優(yōu)勢，有望提升視覺特征的表達性能與可解釋性。

提出基于復雜空間關系特征與深度特征融合的多目標圖像檢索框架，如圖7所示。首先，給定查詢圖像I，使用提出的精細拓撲結(jié)構(gòu)表示模型刻畫I與檢索數(shù)據(jù)集中的樣本，獲取最大子圖同構(gòu)，分別計算有向子圖相似度Sg和無向子圖的相似度Su。接著，使用訓練好的卷積神經(jīng)網(wǎng)絡提取多目標圖像的第一個全連接層特征作為I的深度特征Fd，使用歐式距離計算任意2個圖像深度特征相似度，記為Sd。最終，任意2個多目標圖像的相似度定義為

S(Ii,Ij)=w1sg+w2su+w3sd，

(3)

其中：w1,w2,w3為權重系數(shù)。

圖7 基于精細拓撲結(jié)構(gòu)表示和深度特征融合的多目標圖像檢索框架Fig. 7 Multi-objet image retrieval framework based on DTSRM and deep feature fusion

3 實驗與結(jié)果分析

實驗采用多目標圖像數(shù)據(jù)集，該數(shù)據(jù)集一部分來自MPEG-7形狀數(shù)據(jù)集[21]，一部分來自商標數(shù)據(jù)集[22]，包括20個類別的多目標二值圖像，每個類別包含30～100不等的數(shù)據(jù)樣本。使用圖像檢索領域常用指標查準率(precision)和查全率 (recall)作為評價標準。實驗機器配置為：Intel Core i9-7900X CPU, NVIDIA TITAN XP GPU, 16 GB內(nèi)存，使用MATLAB 2019a及深度學習工具箱作為實驗平臺。分別構(gòu)建基于拓撲不變量的空間查詢、基于內(nèi)容的圖像檢索兩組實驗。

3.1 基于拓撲不變量的空間查詢實驗

在該實驗中，輸入“子區(qū)域數(shù)量”、“洞的數(shù)量”2組拓撲不變量，基于精細拓撲結(jié)構(gòu)表示模型及拓撲不變量推理算法，在數(shù)據(jù)集中查詢滿足條件的圖像。圖8給出了3組不同查詢條件下的檢索示意圖。

圖8 多目標圖像查詢示意圖Fig. 8 Examples of multi-objet image retrieval

從圖8的查詢結(jié)果可以發(fā)現(xiàn)，當查詢拓撲不變量較簡單時，檢索返回的圖像視覺差異較大；但隨著拓撲不變量越復雜，檢索返回的圖像不僅在在拓撲結(jié)構(gòu)上體現(xiàn)出拓撲同構(gòu)或者相似的結(jié)構(gòu)特性，在視覺上也具有更大的相似性。

值得說明的是，這種空間查詢方式主要為了驗證拓撲不變量及相關推理算法的性能，并未使用形狀、深度學習等其他特征。實驗結(jié)果表明，對于多目標圖像而言，當限定了多個拓撲不變量同時滿足條件查詢時，檢索出來的圖像之間已然具有一定的相似性，并攜帶著一定的語義特性。隨著查詢的拓撲不變量越復雜，檢索的結(jié)果在語義和視覺上越相似，這表明拓撲不變量蘊含著一定的判別能力。研究提出的精細拓撲結(jié)構(gòu)表示模型和推理算法，可以直接在表示模型的基礎上推導出拓撲不變量，而不需要繁復的圖像計算，這對于空間和語義查詢十分便利。

3.2 基于內(nèi)容的圖像檢索實驗

在該實驗中，輸入一個查詢圖像，在數(shù)據(jù)集中檢索相似圖像。

首先，對2種方法進行評估，一是單獨使用所提出的精細拓撲結(jié)構(gòu)表示模型和相似性度量方法，記為DTSRM，二是融合了深度特征的方法(如公式3)，其中CNN網(wǎng)絡結(jié)構(gòu)選用AlexNet[5]和VGGNet[6]，分別記為DTSRM +AlexNet和DTSRM+VGGNet。為了評估復雜空間關系特征與深度特征的融合權重系數(shù)對檢索結(jié)果的影響，計算不同權重系數(shù)下的平均查準率。即分別從每類數(shù)據(jù)集中隨機抽取10副圖像作為查詢圖像進行檢索，共執(zhí)行200次查詢，抽取前12張最相似的圖像計算平均查準率，表4展示了研究方法在不同權重系數(shù)下的平均查準率。

表4 研究方法在不同權重系數(shù)下的平均查準率(%)Table 4 The average precision of proposed method with different weight

由表3實驗結(jié)果表明，1)結(jié)合表征弱連接關系相似性權重(即w20時)的檢索精度要高于僅考慮強連接關系的檢索精度(即w2=0時)，這說明刻畫目標之間的弱連接關系是對精細拓撲結(jié)構(gòu)表達性能的完善。2)無論是在AlexNet還是VGGNet網(wǎng)絡結(jié)構(gòu)下，融合深度特征后的檢索精度有了進一步提高，這主要因為復雜空間關系特征與深度特征在表達多目標圖像中形成一種良好的互補。3)總體來說，復雜空間關系特征與深度特征的融合體現(xiàn)了一定的魯棒性，即不同的權重組合方式均較原有基礎有了較大提升，其中(w1=0.4，w2=0.2，w3=0.4)的權重組合取得最好的性能，被應用于后續(xù)實驗。

接著，分別對比了代表性手工設計特征方法HOGH[23]，IDSC[24], TRM[16], BCF[25]，以及深度特征學習方法AlexNet，VGGNet，它們的查全率和查準率曲線圖分別如圖9和圖10所示。圖11展示了5種對比方法的檢索結(jié)果示意圖，其中加框的檢索結(jié)果為返回的不同類別圖像。

圖9 與手工特征方法的查準率與查全率曲線對比圖Fig. 9 Recall-Precision curves comparison of the proposed method and handcrafted features

圖10 與深度學習方法的查準率與查全率曲線對比圖Fig. 10 Recall-Precision curves comparison of the proposed method and deep learning features

圖11 5種對比方法進行檢索的結(jié)果Fig. 11 The retrieval results of five compared methods

分析上述實驗結(jié)果，可以得到以下結(jié)論：1)由圖9可知，提出的精細空間表示模型DTSRM單獨使用時要優(yōu)于其他手工特征表達方法，如HOGH、TRM、IDSC等，這是因為所提出的模型具有完備的拓撲結(jié)構(gòu)描述性能，能有效的刻畫多目標的復雜空間關系特征，提供更具判別能力的視覺特征。2) 由圖10可知，無論是在AlexNet還是VGGNet網(wǎng)絡結(jié)構(gòu)下，DTSRM與深度特征融合后，均相比深度特征單獨使用時有了較大提升；此外由圖11可知，研究方法所檢索的結(jié)果具有更相似性的拓撲結(jié)構(gòu)，這是主要因為DTSRM模型攜帶了一定的語義信息，與深度特征形成良好的互補，非常適用于多目標圖像檢索。3)DTSRM+VGGNet獲得了最高的檢索精度，這可能得益于VGGNet更復雜的網(wǎng)絡結(jié)構(gòu)，并與復雜空間關系特征進行了較好地融合。

3.3 時間復雜度分析

圖像檢索主要包括特征提取、相似度計算兩個環(huán)節(jié)，其中特征提取分為有監(jiān)督特征提取和無監(jiān)督特征提取，如BCF方法需要訓練視覺詞袋模型、CNN方法需要利用訓練集進行fine-tuning，屬于有監(jiān)督特征提??；而其他的手工特征方法直接從單張圖像中提取特征，屬于無監(jiān)督特征提取。表5展示了不同對比方法在特征提取、相似度計算及模型訓練過程花費的平均時間。從中可以看出，DTSRM方法在特征提取階段花費時間最少，在相似度計算中涉及最大相似子圖計算問題，需要花費O(n2)時間復雜度，其中n為圖表示模型中的節(jié)點數(shù)，通常節(jié)點數(shù)小于30。因此，在無監(jiān)督多目標圖像檢索任務中，DTSRM單獨使用可取得較好的檢索效果；如果綜合考慮精度與時間復雜度，DTSRM與深度特征融合則是一種更好的選擇。

表5 對比方法的時間復雜度Table 5 The temporal complexity of the proposed method

4 結(jié) 語

主要研究了復雜多目標圖像的空間關系特征表示與深度特征融合問題，為增強圖像的視覺特征表達與語義特性提供了新的思路。首先提出了一種新的精細拓撲結(jié)構(gòu)模型，該模型最大創(chuàng)新之處在于它不僅具有完備的拓撲描述性能，還支持兩種重要拓撲不變量的推理，使得拓撲不變量可由知識表示直接推理而來。其次，設計了基于精細拓撲表示的相似性度量方法，并提出面向多目標圖像檢索的空間關系特征與深度特征的融合方法。實驗結(jié)果表明，所提出的方法在多目標圖像檢索中取得優(yōu)于傳統(tǒng)手工特征和目前流行的深度學習方法，并且對于不同參數(shù)選擇具有一定的魯棒性。在未來研究工作中，進一步考慮將研究方法擴展應用在醫(yī)學圖像分析與場景圖像分類中，挖掘具有語義特性的視覺特征。