自然場景下多區(qū)域特征融合的混合航拍圖像分割算法

楊 瑞，錢曉軍，孫振強(qiáng)，許 振

（南京師范大學(xué)計(jì)算機(jī)與電子信息學(xué)院，南京 210023）

0 引言

圖像分割在醫(yī)學(xué)、航拍等諸多領(lǐng)域得到了廣泛應(yīng)用。通過分割得到具有結(jié)構(gòu)化信息的區(qū)域是分析、理解圖像內(nèi)容的基礎(chǔ)工作。在圖像分割的發(fā)展過程中，分割算法隨著應(yīng)用場景的逐步復(fù)雜化而完善，但每種分割算法均未實(shí)現(xiàn)完全意義上的場景自適應(yīng)，算法性能的提升一般是針對(duì)特殊場景，基于相關(guān)領(lǐng)域已有研究改進(jìn)的結(jié)果。因此，某一類應(yīng)用場景數(shù)據(jù)集的公開對(duì)相應(yīng)算法在這方面性能的提升具有重大意義。

航拍圖像與地面拍攝圖像相比，具有現(xiàn)勢(shì)性更高、比例尺更大等特點(diǎn)，因此在環(huán)境監(jiān)測(cè)、國土資源整治監(jiān)控等工作中發(fā)揮著重要作用，但多斑點(diǎn)噪聲、高域內(nèi)異質(zhì)性使其分割難度更大。在當(dāng)前公開的圖像數(shù)據(jù)集中，大多數(shù)拍攝來自地面，具有研究意義的航拍圖像數(shù)據(jù)集很少，這種情形制約了圖像分割算法的進(jìn)一步改進(jìn)。數(shù)據(jù)集的標(biāo)注需要基于一定的行業(yè)經(jīng)驗(yàn)、專業(yè)知識(shí)，由某一領(lǐng)域?qū)＜覙?biāo)注出的數(shù)據(jù)集對(duì)相應(yīng)算法、模型在該領(lǐng)域的應(yīng)用具有指導(dǎo)意義。

航拍圖像分割作為地表圖像研究的基礎(chǔ)，近年來受到了該領(lǐng)域?qū)＜业年P(guān)注，在眾多航拍圖像分割算法中，大多數(shù)都是基于初始分割與區(qū)域合并的混合圖像分割框架設(shè)計(jì)的。分水嶺算法是形成初始分割區(qū)域的常用算法，該算法通過對(duì)圖像的邊緣強(qiáng)度圖作分水嶺變換實(shí)現(xiàn)圖像分割，但因其邊緣信息不易提取，導(dǎo)致形成的區(qū)域“誤分割”率較高。除了依據(jù)邊緣、區(qū)域、顏色信息，通過挖掘空間鄰域信息，實(shí)現(xiàn)圖像分割的馬爾可夫隨機(jī)場（Markov Random Field，MRF）也是較受關(guān)注的一種模型。結(jié)合相關(guān)研究，勢(shì)函數(shù)的改進(jìn)是這類模型的主要研究工作。依據(jù)勢(shì)函數(shù)對(duì)像素類別的劃分方式，這類模型可分為：硬分割、軟分割兩類。針對(duì)硬分割在相鄰區(qū)域相似度、標(biāo)號(hào)信息含混性較高時(shí)易造成信息丟失的不足，軟分割類模型被提出且應(yīng)用在多個(gè)領(lǐng)域。模糊馬爾可夫隨機(jī)場（Fuzzy Markov Random Field，F(xiàn)MRF）［1］、證 據(jù) 馬 爾 可 夫 隨 機(jī) 場（Evidential Markov Random Field，EMRF）［2］、層次馬爾可夫隨機(jī)場（Hierarchical Markov Random Field，HMRF）［3］是3種典型的軟分割模型。其中，F(xiàn)MRF的改進(jìn)點(diǎn)為：在MRF勢(shì)函數(shù)基礎(chǔ)上添加了模糊隸屬度函數(shù)，相關(guān)實(shí)驗(yàn)結(jié)果表明，基于FMRF的圖像分割相對(duì)基于MRF的效果有所提高。在進(jìn)一步的研究過程中，文獻(xiàn)［2］提出：像素標(biāo)號(hào)的不確定性更多是一種含混性而非模糊性，因此EMRF、HMRF被提出并應(yīng)用于醫(yī)學(xué)圖像分割，且經(jīng)過實(shí)驗(yàn)驗(yàn)證其分割性能均高于FMRF。每一類模型均有其適用場景范圍，EMRF、HMRF較適用于醫(yī)學(xué)圖像分割，但應(yīng)用于航拍圖像時(shí)，由于勢(shì)函數(shù)融入的區(qū)域信息較單一，因此效果不佳。

結(jié)合當(dāng)前區(qū)域合并算法相關(guān)研究分析，該算法包含三個(gè)要素：區(qū)域相似性度量、合并順序、合并停止時(shí)刻?，F(xiàn)有的區(qū)域相似性度量主要通過顏色、面積比、公共邊緣長度、邊緣相關(guān)度將鄰域差異性量化。制定合理的區(qū)域合并順序可提高合并的效率，但合并順序的形成最終仍依賴合并相似性度量結(jié)果。合并停止時(shí)刻即圖像全局內(nèi)最佳分割狀態(tài)的定義，最初的合并停止時(shí)刻是基于閾值的，該定義方式無法根據(jù)當(dāng)前合并結(jié)果自適應(yīng)更新閾值。當(dāng)前區(qū)域合并算法［4-12］中所運(yùn)用的合并停止時(shí)刻均在文獻(xiàn)［13］的定義方式基礎(chǔ)上作出了較小的改進(jìn)，這類定義方式以區(qū)域剩余率、區(qū)域色散度來描述合并狀態(tài)，因此不適合對(duì)域內(nèi)異質(zhì)性高的圖像作處理。由于算法研究時(shí)所針對(duì)場景復(fù)雜程度的限制，區(qū)域合并算法仍存在機(jī)制缺失，如關(guān)于合并區(qū)域?qū)蟮臉?biāo)號(hào)選擇機(jī)制的研究尚未受到關(guān)注。

針對(duì)河湖巡檢（river and lake inspection，rli）數(shù)據(jù)集的場景特點(diǎn)，本文對(duì)混合圖像分割框架內(nèi)的算法部件分別做了一定的改進(jìn)。在現(xiàn)有的MRF用于rli數(shù)據(jù)集出現(xiàn)迭代時(shí)間較長、像素標(biāo)號(hào)更新緩慢、局部區(qū)域超像素塊密集的現(xiàn)象無法改善時(shí)，本文提出了一種變量單位為像素塊、在勢(shì)函數(shù)中融入?yún)^(qū)域信息、可自適應(yīng)停止迭代的塊狀馬爾可夫隨機(jī)場（Block Markov Random Field，BMRF）。通過大量實(shí)驗(yàn)后的分析，本文從rli數(shù)據(jù)集中提取了一種特定場景，該場景可充分驗(yàn)證當(dāng)前區(qū)域合并算法存在機(jī)制缺失。在區(qū)域合并停止時(shí)刻的改進(jìn)方面，本文在色散度、區(qū)域剩余率的基礎(chǔ)上加入了以區(qū)域平衡度、區(qū)域邊緣差異度為自變量的函數(shù)權(quán)重函數(shù)系數(shù)，該定義方式提高了“過分割”區(qū)域的合并率。

本文提出的算法流程如圖1所示。

圖1 本文算法流程Fig.1 Flowchart of the proposed algorithm

本文主要的工作如下：1）公開了rli數(shù)據(jù)集：一種用于河湖異常物語義分割、識(shí)別的數(shù)據(jù)集，該數(shù)據(jù)集可在https：//aistudio.baidu.com/aistudio/datasetdetail/44071上獲得。2）提出一種塊狀單位、勢(shì)函數(shù)中融入像素塊邊緣相關(guān)度、可自適應(yīng)停止迭代的新型馬爾可夫模型。3）在rli數(shù)據(jù)集中挖掘出一種可充分體現(xiàn)當(dāng)前區(qū)域合并中缺少標(biāo)號(hào)選擇機(jī)制的特定場景（見圖3），并針對(duì)該場景形成了相應(yīng)的區(qū)域合并標(biāo)號(hào)選擇機(jī)制。4）結(jié)合rli數(shù)據(jù)集的特點(diǎn)形成了一種新合并停止時(shí)刻的定義方式，該方式通過加入?yún)^(qū)域平衡度、區(qū)域邊緣差異度形成函數(shù)權(quán)重系數(shù)，實(shí)現(xiàn)了區(qū)域剩余率、色散度項(xiàng)前權(quán)重的自適應(yīng)變化。

1 相關(guān)工作

1.1 基于馬爾可夫隨機(jī)場的圖像分割

基于MRF的圖像分割問題實(shí)質(zhì)是像素標(biāo)號(hào)的后驗(yàn)概率最大化問題［2］。由于MRF以貝葉斯理論為基礎(chǔ)，像素標(biāo)號(hào)最大化問題又可繼續(xù)轉(zhuǎn)化，最終成為像素標(biāo)號(hào)的條件概率與先驗(yàn)概率乘積最大化問題。在上述兩個(gè)因素中，條件概率服從高斯分布，先驗(yàn)概率則服從吉布斯分布。在現(xiàn)有的相關(guān)工作［1-3，14-15］中，大多數(shù)研究者均關(guān)注像素點(diǎn)的先驗(yàn)概率，特別是勢(shì)函數(shù)的研究上，因此下文主要對(duì)勢(shì)函數(shù)改進(jìn)的相關(guān)研究作回顧。

從像素標(biāo)號(hào)確定方式角度分析，基于MRF的圖像分割分為：硬分割、軟分割兩類。通過魯棒的高階勢(shì)函數(shù)［14］得到像素先驗(yàn)概率的方式屬于硬分割，這類方式在反映相鄰區(qū)域的邊緣關(guān)聯(lián)度、圖像局部特征、前景與背景的符合度上均有較大的優(yōu)勢(shì)，但用于處理區(qū)域交界高度相似、像素標(biāo)號(hào)不確定性較高的圖像時(shí)，易造成鄰域標(biāo)號(hào)信息丟失。根據(jù)相似度定義的勢(shì)函數(shù)屬于軟分割方式，在眾多軟分割MRF模型中，F(xiàn)MRF、EMRF、HMRF是較典型的三種，F(xiàn)MRF是其中最先被提出的，該模型利用模糊隸屬度函數(shù)得到當(dāng)前像素屬于各類標(biāo)號(hào)的概率，通過該模型處理過的圖像分割效果得到了提高。在發(fā)現(xiàn)含混性能比模糊性更好的描述像素類別后，EMRF、HMRF被提出代替FMRF且應(yīng)用于醫(yī)學(xué)圖像分割，這類模型以變量間的證據(jù)標(biāo)號(hào)距離作為系數(shù)，但是存在證據(jù)標(biāo)號(hào)距離對(duì)基團(tuán)中元素的相似性具有較高程度依賴等局限。

1.2 區(qū)域合并

區(qū)域相似性度量、合并過程、合并停止時(shí)刻是區(qū)域合并算法的重要組成部件。在這三個(gè)算法部件中，區(qū)域相似性的準(zhǔn)確度量是其余部件執(zhí)行的前提。形成高度符合圖像中實(shí)際域間、域內(nèi)狀態(tài)的相似性度量方式需：1）融合具有顯著區(qū)別性的區(qū)域特征；2）采用合理的度量方式。

文獻(xiàn)［4］制定了一種基于灰度、面積、空間三種基本區(qū)域特征的相似性度量方式，這類度量方式傾向于選擇區(qū)域灰度相近、面積差較大的鄰域產(chǎn)生合并。由于上述區(qū)域相似性度量因素均是低級(jí)特征，因此在處理一些復(fù)雜場景的圖像時(shí)，該相似性度量方式可能無法為有效的區(qū)域合并提供支持條件。增加特征數(shù)、變換已有的特征、采用合理的度量方式是現(xiàn)有區(qū)域相似性度量改進(jìn)工作的三個(gè)角度。從增加特征維數(shù)的角度回顧相關(guān)研究，紋理、空間、邊緣［5-8］信息常被提取作為相似性度量因素，但部分場景下，可直接有效區(qū)分域間、域內(nèi)關(guān)系的區(qū)域特征較少，增加特征數(shù)不是一種有效度量區(qū)域相似度的方式，在特征數(shù)有限的情況下，通過變換已有特征，使之符合圖像場景特點(diǎn)是一種解決途徑。在與區(qū)域特征變換相關(guān)的研究中，大多數(shù)工作都集中在顏色空間轉(zhuǎn)換上，如在使用紅綠藍(lán)顏色空間（Red-Green-Blue，RGB），視覺與顏色距離不成正比、顏色分布不均勻時(shí)，顏色-對(duì)立空間（CIELAB，Lab）常被用于替換RGB［6］；在需要滿足與人眼視覺保持較高一致性的要求時(shí)，色調(diào)-飽和-強(qiáng)度空間（Hue-Saturation-Intensity，HSI）又被用作替代其他類型的顏色空間［4，6］。充分利用可提取的區(qū)域信息后，選擇合理的距離度量方式對(duì)最終的相似度量化結(jié)果影響較大。文獻(xiàn)［9］選用了一種與相似度成正比的馬氏距離（Mahalanobis），文獻(xiàn)［10］與文獻(xiàn)［5，7，9］則分別針對(duì)非線性結(jié)構(gòu)、線性結(jié)構(gòu)采用了相對(duì)熵差異（Kullback-Leibler，KL）、巴氏距離（Bhattacharyya）。

合并過程即合并順序的確定，在完成區(qū)域相似性度量后，待合并區(qū)域?qū)π蛄行枰罁?jù)相似性度量結(jié)果來排列。逐層寬松的合并順序［11］、基于貝葉斯的合并過程［12］是兩種具有代表性的合并順序確定方式，前者合并效率較高，但在過寬松的合并條件下極易產(chǎn)生“過合并”現(xiàn)象；后者將待合并區(qū)域?qū)Φ倪x擇問題轉(zhuǎn)化為能量最小化問題，該方式保證了最終合并結(jié)果的穩(wěn)定性，但其時(shí)間、空間復(fù)雜度均較高。

區(qū)域合并停止時(shí)刻反映了當(dāng)前所形成的區(qū)域狀態(tài)與實(shí)際圖像中目標(biāo)物的一致度?，F(xiàn)有的合并停止時(shí)刻可分為：基于閾值［4］的與結(jié)合區(qū)域剩余率、區(qū)域色散度［13］所定義的兩類方式。其中，基于閾值的方式設(shè)置了一個(gè)全局閾值，當(dāng)所有區(qū)域?qū)Φ南嗨贫染∮谠撻撝档臅r(shí)刻即合并停止時(shí)刻，該方式無法根據(jù)區(qū)域狀態(tài)實(shí)現(xiàn)閾值自適應(yīng)更新；后者則融合圖像全局與局部區(qū)域信息形成一種根據(jù)圖像場景，實(shí)現(xiàn)自適應(yīng)區(qū)域合并停止的方式，該方式克服了基于閾值方式需要人為設(shè)置全局閾值的不足，但僅適用于區(qū)域內(nèi)顏色、紋理變化平緩的場景。

2 基于BMRF的圖像初始分割

現(xiàn)有的馬爾可夫隨機(jī)場應(yīng)用于rli數(shù)據(jù)集進(jìn)行的圖像分割，像素標(biāo)號(hào)更新效率不明顯，超像素塊密集的現(xiàn)象沒有得到改善，時(shí)間復(fù)雜度過高。針對(duì)上述問題，本文提出了一種以超像素塊為變量單位、通過融合多種區(qū)域信息形成迭代停止準(zhǔn)則的塊狀馬爾可夫隨機(jī)場。

2.1 變量單位與鄰域系統(tǒng)

1）CDIEi?CDi；

2）?x∈CDIEi，?y∈nh(x)∧y?CDi，nh(x)表示x的8鄰域集；

對(duì)于?CDi∈CD，其鄰域系統(tǒng)可由如下公式得到：

其中：NHi表示CDi的鄰域系統(tǒng)，滿足如1）、2）、3）所示的特性，若?C={CDi，CDj}滿足3）的特性，則稱C為基團(tuán)，其示意圖如圖2所示，IDi表示CDi的鄰域編號(hào)集，其計(jì)算方式可依據(jù)4）。

圖2 鄰域系統(tǒng)及基團(tuán)Fig.2 Neighborhood system and group

1）NHi?CD；

2）CDi?NHi；

3）?CDi，CDj∈CD，CDj∈NHi?CDi∈NHj；

其中：C_Did(l)表示獲取l所屬的連通域編號(hào)。

變量單位為區(qū)域級(jí)的圖像分割，其實(shí)質(zhì)是求取各區(qū)域最佳標(biāo)號(hào)的過程，因此可根據(jù)貝葉斯法則將圖像分割問題轉(zhuǎn)化為最大后驗(yàn)概率問題，即

其中：P(wc|gc)=P(wc)P(gc|wc)，由于P(gc)已給定，因此

最大后驗(yàn)概率問題可進(jìn)一步轉(zhuǎn)化為區(qū)域標(biāo)號(hào)先驗(yàn)概率(P(wc))與區(qū)域灰度條件概率(P(gc|wc))乘積最大化問題。

2.2 區(qū)域標(biāo)號(hào)先驗(yàn)概率

由于區(qū)域標(biāo)號(hào)具有馬爾可夫性，且相關(guān)研究表明MRF與Gibbs分布是等價(jià)關(guān)系，所以區(qū)域標(biāo)號(hào)先驗(yàn)概率可表示如下：

2.3 區(qū)域灰度條件概率

由于各區(qū)域的條件概率分布P(gc|wc）相互獨(dú)立，因此區(qū)域集的灰度條件概率的計(jì)算如式（7）所示：

2.4 能量函數(shù)

對(duì)PCD(gc|wc)取對(duì)數(shù)可形成如式（8）所示的條件概率能量函數(shù)：

對(duì)PCD(wc)取對(duì)數(shù)后，最大后驗(yàn)概率問題可進(jìn)一步轉(zhuǎn)化為如式（9）所示形式：

最大后驗(yàn)概率問題可轉(zhuǎn)化為能量函數(shù)最小化問題，其最終表示形式如式（10）所示：

2.5 迭代停止準(zhǔn)則

馬爾可夫隨機(jī)場是在最大迭代次數(shù)內(nèi)，依據(jù)變量的鄰域信息，對(duì)該變量的標(biāo)號(hào)進(jìn)行迭代更新。如果N設(shè)置得足夠大，當(dāng)?shù)_(dá)到一定次數(shù)后，每次的標(biāo)號(hào)更新結(jié)果會(huì)出現(xiàn)收斂，即局部性特征已不再支持該變量標(biāo)號(hào)更新。上述方式較常用，但為了達(dá)到迭代收斂而設(shè)置足夠大的迭代次數(shù)，這會(huì)極大浪費(fèi)計(jì)算資源。對(duì)此，下文提出了一種可自行停止迭代的準(zhǔn)則。

2.5.1 鄰域標(biāo)號(hào)平衡度

鄰域系統(tǒng)中各類標(biāo)號(hào)的數(shù)量差是影響當(dāng)前區(qū)域標(biāo)號(hào)的重要因素之一，鄰域系統(tǒng)中各類標(biāo)號(hào)的數(shù)量差越大表示鄰域標(biāo)號(hào)越不平衡，即當(dāng)前區(qū)域標(biāo)號(hào)更新的概率越大，因此下文定義了鄰域標(biāo)號(hào)平衡度作為迭代停止準(zhǔn)則中的一個(gè)因素，其具體計(jì)算如式（11）所示：

2.5.2 區(qū)域平衡度

若仍在迭代收斂時(shí)刻停止迭代，基于塊狀單位的馬爾可夫隨機(jī)場在處理高域內(nèi)異質(zhì)性、低域間同質(zhì)性、邊緣信息不完整的圖像時(shí)易產(chǎn)生“誤合并”。由于圖像面積一定，該“誤合并”會(huì)導(dǎo)致區(qū)域間的面積差距不斷擴(kuò)大，圖像中面積較小的目標(biāo)物將會(huì)誤合并到與其存在鄰接關(guān)系的較大目標(biāo)物中。對(duì)此，下文提出一種區(qū)域平衡度指標(biāo)在迭代過程中描述區(qū)域的面積、形狀。

鄰域標(biāo)號(hào)平衡度越低，區(qū)域標(biāo)號(hào)迭代越接近收斂狀態(tài)，但鄰域標(biāo)號(hào)平衡度最低時(shí)，區(qū)域平衡度可能不是最小的，這可能會(huì)導(dǎo)致原屬于不同目標(biāo)物的過分割區(qū)域產(chǎn)生“誤合并”。對(duì)此，兩者折中后，將min（R_b+N_b）作為迭代停止時(shí)刻。

3 融合局部標(biāo)號(hào)信息的自適應(yīng)區(qū)域合并

在高域內(nèi)異質(zhì)性、域間同質(zhì)性的圖像中，運(yùn)用現(xiàn)有的區(qū)域合并算法［11-19］無法產(chǎn)生符合圖像實(shí)際區(qū)域劃分場景的合并結(jié)果，且在如圖3所描述的特殊場景中，隨著合并次數(shù)的增多，目標(biāo)物的提取率反而在下降。針對(duì)上述分析，本文作出了以下兩點(diǎn)改進(jìn)：融合圖像局部非鄰域信息的區(qū)域標(biāo)號(hào)選擇機(jī)制、根據(jù)區(qū)域特征實(shí)現(xiàn)場景自適應(yīng)的合并停止時(shí)刻定義。

圖3 特定場景Fig.3 Specific scene

3.1 區(qū)域相似性度量

待合并的區(qū)域?qū)?yīng)滿足：1）互為鄰域關(guān)系；2）區(qū)域面積相差較大；3）區(qū)域顏色相似；4）一個(gè)區(qū)域?qū)⒘硗庖粋€(gè)包圍得更緊密；5）公共邊緣不明顯。根據(jù)上述描述，區(qū)域相似性度量定義如式（17）所示：

3.2 區(qū)域合并標(biāo)號(hào)選擇機(jī)制

通過rli數(shù)據(jù)集中的一類場景可驗(yàn)證：現(xiàn)有的區(qū)域合并算法中需要建立區(qū)域合并標(biāo)號(hào)選擇機(jī)制。針對(duì)文內(nèi)所述場景特點(diǎn)，相應(yīng)機(jī)制經(jīng)過大量的實(shí)驗(yàn)分析后初步得到建立。

從rli中發(fā)現(xiàn)的特定場景描述如下，假設(shè)存在區(qū)域②與其鄰域狀態(tài)滿足如下條件：1）對(duì)某一小區(qū)域塊③的邊緣關(guān)聯(lián)度接近1（小區(qū)域塊③被區(qū)域②包圍）；2）區(qū)域②的鄰域中存在一個(gè)面積大于區(qū)域②、標(biāo)號(hào)與區(qū)域③一致的區(qū)域①；3）區(qū)域③與區(qū)域①不存在鄰域關(guān)系。上述場景描述主要針對(duì)rli數(shù)據(jù)集中離散性較大的河湖異常物而制定的，如綠藻、油污、擴(kuò)散規(guī)模不大的重度污染，這三類漂浮在水面、形態(tài)分散不固定的漂浮物易形成中間空出一塊水域的狀態(tài)，這種區(qū)域狀態(tài)與特定場景是一致的。

針對(duì)上述場景，本文提出一種區(qū)域合并標(biāo)號(hào)選擇機(jī)制：

表1 非正常水域局部特征Tab.1 Some characteristics of abnormal waters

3.3 最佳區(qū)域合并狀態(tài)準(zhǔn)則

區(qū)域合并停止準(zhǔn)則是基于用最少的區(qū)域描述一幅圖像，且每個(gè)區(qū)域內(nèi)信息高度一致的思想制定的，該方式僅適用于域內(nèi)異質(zhì)性較低的圖像。本文從準(zhǔn)確描述圖像區(qū)域集中整體的區(qū)域邊緣、形狀信息形成如式（20）所示的定義：

其中：eij表示第i個(gè)區(qū)域和第j個(gè)區(qū)域邊緣相似度因素；邊緣跳躍度越大，區(qū)域界限越明顯，其計(jì)算如式（24）所示：

4 實(shí)驗(yàn)及結(jié)果分析

本文實(shí)驗(yàn)所用設(shè)備為i7-8700/64 GB/256 GB+2 TB HDD、GTX1080ti-11G顯卡的圖像工作站。實(shí)驗(yàn)平臺(tái)為Windows 10環(huán)境下的Visual Studio 2015+OpenCV 3.20。由于混合圖像分割算法是由多個(gè)算法部件構(gòu)成的一個(gè)整體，且本文對(duì)各算法部件均作出了一定的改進(jìn)。因此，對(duì)混合圖像分割算法的性能分析需從算法部件、算法整體角度分別做對(duì)比實(shí)驗(yàn)。

4.1 算法部件性能分析

本文混合圖像分割算法由BMRF、多信息融合的區(qū)域合并兩個(gè)算法部件組成。針對(duì)這兩個(gè)算法部件的改進(jìn)點(diǎn)，相應(yīng)的定性對(duì)比實(shí)驗(yàn)見4.1.2節(jié)和4.1.3節(jié)。本節(jié)實(shí)驗(yàn)所用圖像來自rli數(shù)據(jù)集，rli數(shù)據(jù)集信息見4.2.1節(jié)。

4.1.1 圖像預(yù)處理

該部分預(yù)處理主要包括兩項(xiàng)任務(wù)：1）確定圖像中目標(biāo)物數(shù)目；2）初始化圖像中的像素標(biāo)簽。這兩項(xiàng)任務(wù)可通過對(duì)比、分析不同聚類數(shù)下的像素聚類結(jié)果完成。任務(wù)1）為最佳聚類數(shù)，任務(wù)2）則對(duì)應(yīng)最佳聚類數(shù)下的聚類結(jié)果。在具體預(yù)處理實(shí)驗(yàn)操作中，聚類算法選用的是K-means，聚類指標(biāo)選用的是CPCQ（Contrast Pattern based Clustering Quality）［16］。不同聚類數(shù)下的CPCQ指標(biāo)如表2所示。由表2中數(shù)據(jù)可知，圖4（a）、圖4（c）的最佳聚類數(shù)均為4，聚類結(jié)果分別如圖4（b）、圖4（d）所示。

表2 不同聚類數(shù)下的CPCQ指標(biāo)Tab.2 CPCQ indicatorsunder different clusteringnumbers

4.1.2 基于BMRF與基于HMRF的圖像分割對(duì)比

圖5為使用BMRF與HMRF對(duì)圖4（b）、圖4（d）處理過程的迭代折線圖。圖5中點(diǎn)c(c′)、點(diǎn)a(a′)、點(diǎn)b(b′)分別表示圖4（b）（圖4（d））在BMRF迭代終止時(shí)刻、HMRF迭代終止時(shí)刻、BMRF迭代收斂時(shí)刻的狀態(tài)。與之相對(duì)應(yīng)，圖6（b）（圖6（g））、圖6（a）（圖6（f））、圖6（c）（圖6（h））分別為圖4（b）（圖4（d））在上述3點(diǎn)處所形成的初始分割結(jié)果，通過直接對(duì)比點(diǎn)b、點(diǎn)c（點(diǎn)b′、點(diǎn)c′）及定性對(duì)比點(diǎn)a、點(diǎn)c（點(diǎn)a′、點(diǎn)c′）處所形成的初始分割結(jié)果，驗(yàn)證BMRF相對(duì)傳統(tǒng)MRF的整體改進(jìn)、局部改進(jìn)——迭代停止準(zhǔn)則是否有效。

圖4 最佳聚類數(shù)下的分割結(jié)果Fig.4 Segmentation result under optimal clustering number

圖5基于BMRF、HMRF的迭代折線圖Fig.5 Iterative line chart based on BMRFand HMRF

通過對(duì)比圖6（b）與圖6（a）（圖6（g）與圖6（f））可發(fā)現(xiàn)：圖6（b）（圖6（g））中的小像素塊密集區(qū)域得到了平滑，分割結(jié)果受噪聲影響較小，目標(biāo)物的邊緣信息得到了較精確的提取。這主要由于BMRF以像素塊為變量單位，標(biāo)號(hào)更新效率高于HMRF，且BMRF針對(duì)rli數(shù)據(jù)集中的場景特點(diǎn)，在勢(shì)函數(shù)中融入了像素塊的邊緣差異度、邊緣相關(guān)度等因素使得目標(biāo)物相關(guān)特性得到了完好的保留。圖6（c）比圖6（b）（圖6（h）比圖6（g））的“誤分割”率高，誤分割主要體現(xiàn)在：多個(gè)存在空間鄰域關(guān)系的不同目標(biāo)物被誤分割為一個(gè)目標(biāo)物，這是由于迭代收斂時(shí)刻缺乏對(duì)圖像全局區(qū)域、局部鄰域最佳狀態(tài)的定義。

圖6 本文算法部件對(duì)比實(shí)驗(yàn)Fig.6 Comparison experiment of proposed algorithm component

4.1.3 合并停止時(shí)刻與最佳合并狀態(tài)的對(duì)比

通過上節(jié)實(shí)驗(yàn)處理后，圖6（b）、圖6（g）仍存在“過分割”現(xiàn)象。本節(jié)實(shí)驗(yàn)主要將過分割結(jié)果進(jìn)行區(qū)域合并。圖7為利用MIFRM、文獻(xiàn)［13］所提出的區(qū)域合并方式進(jìn)行區(qū)域合并的折線圖。折線圖中的點(diǎn)d、點(diǎn)e（點(diǎn)d′、點(diǎn)e′）分別對(duì)應(yīng)兩種方式下的合并停止時(shí)刻，在點(diǎn)d、點(diǎn)e（點(diǎn)d′、點(diǎn)e′）時(shí)刻所形成的合并結(jié)果分別如圖6（e）、圖6（d）（圖6（j）、圖6（i））所示。

圖7 不同合并停止方式的迭代折線圖Fig.7 Iterative line chart of different merging stopping methods

圖6（d）（圖6（i））的合并效果不佳，“過分割”現(xiàn)象沒得到有效解決，圖6（e）（圖6（j））的區(qū)域完整性高于圖6（d）（圖6（i）），合并所得結(jié)果與人工語義標(biāo)注的一致性更高。這主要由于在文獻(xiàn)［13］中，區(qū)域合并停止時(shí)刻的定義方式對(duì)域內(nèi)同質(zhì)性要求較高，不適用于rli數(shù)據(jù)集的場景，MIFRM則通過融入?yún)^(qū)域面積差異度、區(qū)域邊緣差異度形成函數(shù)權(quán)重系數(shù)，實(shí)現(xiàn)弱化色散度項(xiàng)對(duì)整體區(qū)域狀態(tài)定義的影響。

4.2 算法整體性能分析

本文采用了邊緣附著能力、重合率（Dice）、查全率（Recall）3類性能評(píng)價(jià)指標(biāo)度量算法分割結(jié)果與人工標(biāo)注的差異性，以實(shí)現(xiàn)對(duì)實(shí)驗(yàn)結(jié)果的評(píng)價(jià)。其中邊緣附著能力由邊緣 召 回 率（Boundary Recall，BR）、欠 分 割 誤 差（Undersegmentation Error，UE）、可 達(dá) 分 割 精 準(zhǔn) 度（Achievable Segmentation Accuracy，ASA）綜合體現(xiàn)，它是分割結(jié)果邊緣與人工標(biāo)注物體邊緣匹配度的反映，其具體定義方式見文獻(xiàn)［17］。其余兩類性能評(píng)價(jià)指標(biāo)的具體定義方式見文獻(xiàn)［18］。

4.2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)使用了三個(gè)數(shù)據(jù)集：VOC（Visual Object Classes）數(shù)據(jù)集［19］、CamVid（Cambridge-driving labeled Video database）數(shù)據(jù)集［20］和自建的rli數(shù)據(jù)集。VOC主要用于目標(biāo)分割、檢測(cè)、分類，該數(shù)據(jù)集共包括20類目標(biāo)物，2913張圖片，6929個(gè)物體，圖片分辨率為512×512。CamVid數(shù)據(jù)集是一種街道場景數(shù)據(jù)集，該數(shù)據(jù)集包括32類目標(biāo)物，圖像總數(shù)為701張，訓(xùn)練集、驗(yàn)證集、測(cè)試集的數(shù)目分別為367、101、233，圖片分辨率為960×720。rli是與多地水利部門合作，進(jìn)行河湖巡檢所得的航拍圖片后，再經(jīng)人工語義標(biāo)注所形成的數(shù)據(jù)集。該數(shù)據(jù)集包括河流、綠藻、水污染、廢棄船只、捕魚網(wǎng)、違規(guī)養(yǎng)殖、廢棄物堆積、違章建筑、違法種植等18大類目標(biāo)物的標(biāo)注，目前共計(jì)6 517張航拍圖像和6 517張標(biāo)記圖像，圖片大小為5 280×2 970。

4.2.2 定性對(duì)比實(shí)驗(yàn)

表3為基于多維特征融合的混合圖像分割算法（Multidimensional Feature fusion based Hybrid image Segmentation algorithm，MFHS）［21］、改進(jìn)的基于區(qū)域合并的FCM圖像分割算法（Improved FCM image segmentation algorithm based on Region Merging，IFRM）［22］、基于段間和邊界均質(zhì)性的混合圖像分割算法（Inter-segment and Boundary Homogeneities based Hybrid image Segmentation algorithm，IBHHS）［23］、基于多維色彩變換與一致性的混合圖像分割算法（Multi-dimensional Color transform and Consensus based Hybrid image Segmentation algorithm，MCCHS）［24］、基于多級(jí)區(qū)域信息融合的混合圖像分割算法（Multi-level Region Information fusion based Hybrid image Segmentation algorithm，MRIHS）在rli、VOC、CamVid三個(gè)數(shù)據(jù)集上的分割性能數(shù)據(jù)。

從表3的數(shù)據(jù)可觀察出如下內(nèi)容：MFHS算法的BR、ASA、Recall、Dice指標(biāo)在MFHS、IFRM、IBHHS、MCCHS中是最高的，而UE指標(biāo)是最低的。與上述4種算法相比，在rli數(shù)據(jù)集上，MRIHS的BR、UE、ASA、Recall、Dice指標(biāo)分別比MFHS算法提升了1.22個(gè)百分點(diǎn)、-1.19個(gè)百分點(diǎn)、1.51個(gè)百分點(diǎn)、0.41個(gè)百分點(diǎn)、1.59個(gè)百分點(diǎn)；在VOC數(shù)據(jù)集上，MRIHS的BR、UE、ASA、Recall、Dice指標(biāo)分別比MFHS算法提高了0.43個(gè)百分點(diǎn)、-0.65個(gè)百分點(diǎn)、0.35個(gè)百分點(diǎn)、1.59個(gè)百分點(diǎn)、0.84個(gè)百分點(diǎn)；在CamVid數(shù)據(jù)集上，MRIHS的Recall、Dice指標(biāo)分別比MFHS算法提高了1.11個(gè)百分點(diǎn)、2.48個(gè)百分點(diǎn)，BR、UE、ASA指標(biāo)分別比MFHS算法低0.82個(gè)百分點(diǎn)、-0.76個(gè)百分點(diǎn)、0.10個(gè)百分點(diǎn)，但是其BR、UE、ASA指標(biāo)均優(yōu)于IFRM算法、IBHHS算法、MCCHS算法；5種算法在rli數(shù)據(jù)集上的3類指標(biāo)均比在VOC數(shù)據(jù)集、CamVid數(shù)據(jù)集上低，其BR、UE、ASA、Recall、Dice指標(biāo)分別比在VOC數(shù)據(jù)集上低2.52～5.11個(gè)百分點(diǎn)、1.43～3.54個(gè)百分點(diǎn)、0.81～5.82個(gè)百分點(diǎn)、0.23～6.54個(gè)百分點(diǎn)、3.1～6.67個(gè)百分點(diǎn)，比在CamVid數(shù)據(jù)集上低0.4～2.44個(gè)百分點(diǎn)、1.55～3.5個(gè)百分點(diǎn)、0.05～4.61個(gè)百分點(diǎn)、3.59～11.68個(gè)百分點(diǎn)、5.07～7.34個(gè)百分點(diǎn)。

表3 不同算法在三個(gè)數(shù)據(jù)集上的分割性能對(duì)比 單位：%Tab.3 Segmentation performance comparison of different algorithms on three datasets unit：%

根據(jù)上述觀察內(nèi)容分析可得如下結(jié)論：MRIHS是5種算法中最適用于rli數(shù)據(jù)集、VOC數(shù)據(jù)集的，MFHS則最適用于提取CamVid數(shù)據(jù)集中圖像的邊緣信息；在3個(gè)數(shù)據(jù)集中，rli對(duì)5種算法在邊緣附著能力、Recall、Dice三類指標(biāo)提升的挑戰(zhàn)性最大。

5 結(jié)語

本文設(shè)計(jì)的混合圖像分割算法較適用于處理物體類型多、目標(biāo)物內(nèi)灰度變化劇烈的航拍圖像，其特點(diǎn)總結(jié)如下：1）利用層次聚類較準(zhǔn)確地確定初始簇中心以達(dá)到縮短圖像處理時(shí)間、為后續(xù)處理流程提供優(yōu)質(zhì)輸入數(shù)據(jù)的目的；2）將馬爾可夫隨機(jī)場中變量單位由“單個(gè)像素”改變?yōu)椤皡^(qū)域”，并用于改善局部圖像中超像素塊密集的情形，且以“單個(gè)像素”為單位比較，該改進(jìn)方法使圖像中像素標(biāo)號(hào)的更新速率加快；3）針對(duì)本文從rli數(shù)據(jù)集中發(fā)現(xiàn)的特殊場景，制定區(qū)域合并標(biāo)號(hào)選擇機(jī)制，有效提高了區(qū)域合并的質(zhì)量、效率，但該機(jī)制僅適用于文中提出的場景。為使該機(jī)制更具一般性，下一步將展開充分挖掘區(qū)域的鄰域信息，使圖像中的區(qū)域序列化，再利用循環(huán)神經(jīng)網(wǎng)絡(luò)能夠解決序列化問題的特點(diǎn)為區(qū)域合并標(biāo)號(hào)信息更新的選擇提供決策，形成機(jī)制的相關(guān)研究；4）最佳合并狀態(tài)的定義克服了區(qū)域合并停止準(zhǔn)則過偏向高度域內(nèi)一致性，而導(dǎo)致“欠合并”現(xiàn)象的弊端。