王怡 涂宇 羅斐 何美生
摘要:隨著人工智能技術(shù)和計(jì)算機(jī)視覺快速發(fā)展,圖像分割技術(shù)成為機(jī)器視覺中圖像處理過程需要解決的核心問題。彩色圖像比灰度圖像信息量多、易識別物體的優(yōu)點(diǎn),已經(jīng)成為研究熱點(diǎn)。本文對現(xiàn)有彩色圖像分割算法做了系統(tǒng)的綜述,分析了各自的優(yōu)缺點(diǎn),在結(jié)論部分對彩色圖像分割技術(shù)未來的發(fā)展方向做出了展望。
關(guān)鍵詞:色圖像分割;顏色特征;區(qū)域生長點(diǎn);分水嶺;神經(jīng)網(wǎng)絡(luò)
中圖分類號:TP311? ? ? 文獻(xiàn)標(biāo)識碼:A
文章編號:1009-3044(2020)23-0183-02
1 引言
近年來,機(jī)器視覺已經(jīng)廣泛應(yīng)用于我們生活中各個(gè)領(lǐng)域,圖像處理作為計(jì)算機(jī)視覺的基本問題。圖像處理又可以分為特征提取、圖像分割和語義劃分等。圖像分割的精度嚴(yán)重影響視覺識別的準(zhǔn)確度。目前,對于傳統(tǒng)的灰度圖像的分割原理比較簡單,這部分的研究成果比較成熟了,而對彩色圖像的分割,由于比較復(fù)雜,研究的卻比較少。
灰度圖像和彩色圖像最主要的區(qū)別,我們從圖像分割的原理來說,這主要是像素的空間維度不同,灰度圖像是一維亮度空間內(nèi) ,彩色圖像是三維顏色空間內(nèi)?;叶葓D像描述的知識物體的表面形狀難以識別,而三通道RGB彩色圖像可以準(zhǔn)確地描述物體真實(shí)性??偟膩碚f,我們對彩色圖像分割方法的研究是必要的。這篇綜述的主要目的是對圖像分割技術(shù)的現(xiàn)狀做一個(gè)系統(tǒng)的總結(jié),并且對未來有可能發(fā)展方向提出展望,給更多本領(lǐng)域的研究者一個(gè)參考。
2 彩色圖像分割方法
根據(jù)不同的分類標(biāo)準(zhǔn),彩色圖像分割有多種分類方法。例如根據(jù)顏色和空間特征進(jìn)行分類,我們可以將其分為有監(jiān)督和無監(jiān)督的分類問題。早期應(yīng)用于灰度圖像分割的方法也可以應(yīng)用到彩色圖像分割上,比如直方圖閾值法、自適應(yīng)模糊算法、人工神經(jīng)網(wǎng)絡(luò)算法等。目前,彩色圖像分割方法主要有基于區(qū)域的方法、直方圖閾值化、特征空間聚類、邊緣檢測、模糊技術(shù)、人工神經(jīng)網(wǎng)絡(luò)和基于物理模型的方法。以下我們將從上面這些方法展開論述。
2.1 基于區(qū)域的方法
2.1.1 區(qū)域增長、區(qū)域分裂、合并及其組合
區(qū)域生長的本質(zhì)是將幾乎相同的像素聚集在一起形成一個(gè)區(qū)域,區(qū)域分裂技術(shù)剛好是前者的逆過程,通常將種子區(qū)域劃分為四個(gè)矩形區(qū)域,然后根據(jù)像素相似度將每個(gè)矩形區(qū)域分解?,F(xiàn)有的研究一般將區(qū)域增長和區(qū)域劃分結(jié)合起來形成區(qū)域融合,形成更大的子區(qū)域。當(dāng)圖像部分具有相同的特征時(shí),這些方法的分割效果較好,且不會受到外部噪聲的干擾。生長順序和種子點(diǎn)的選擇對區(qū)域生長技術(shù)精度影響很大,區(qū)域分裂次數(shù)也會對邊界被破壞最終影響分割效果。所以區(qū)域合并可以改善兩種方法的缺點(diǎn)。
2.1.2 分水嶺分割方法
分水嶺分割方法是受地形地貌概念的啟發(fā),是圖像形態(tài)學(xué)的一種重要算法。在使用分水嶺分割圖像時(shí),我們首先進(jìn)行性特征提取,然后基于圖像的梯度信號,使用分水嶺算法找出興趣區(qū)域。興趣區(qū)域的提取對分水嶺算法來說是一大挑戰(zhàn)[1],如果選取不對導(dǎo)致圖像分割過多影響精度。因此,為了獲得有用的局部極值點(diǎn)來確定興趣區(qū)域,Shafarenko等人利用原有的圖像進(jìn)行對“偽”谷底進(jìn)行填充,采用形態(tài)“封閉”操作運(yùn)算[2]。Shiji等人基于對直方圖的“封閉”填充操作,對圖像進(jìn)行標(biāo)記,并選取現(xiàn)有圖像和原始圖像變化較小的區(qū)域[3]。Lezoray使用貝葉斯分類器在原始圖像中搜索標(biāo)記[1]。在分割初期,馬麗紅等人將圖像開閉濾波結(jié)果作為二值標(biāo)記進(jìn)行預(yù)處理,最后將計(jì)算結(jié)果輸入到微流域算法中。
2.1.3 基于隨機(jī)場的方法
馬爾可夫隨機(jī)場是圖像分割中應(yīng)用最廣泛的統(tǒng)計(jì)算法,其原理是將圖像中每個(gè)點(diǎn)的RGB值作為一個(gè)具有概率分布的隨機(jī)變量。根據(jù)統(tǒng)計(jì)原理可知,隨機(jī)場是指通過最大概率得到正確分割圖像的目標(biāo)組合;如果基于貝葉斯原理,則隨機(jī)場圖像分割就是利用最大后驗(yàn)概率分布。馬爾科夫隨機(jī)場圖像分割就是一種基于局部區(qū)域的分割方法Hammersley-Clifford定理,由其鄰域像素決定圖像中各點(diǎn)的取值?;隈R爾可夫隨機(jī)場的圖像分割過程包括粗分割和細(xì)分割兩個(gè)階段,一般的處理過程是用空間濾波器進(jìn)行粗分割,用馬爾可夫隨機(jī)場進(jìn)行精細(xì)分割。在圖像分割中,尺度空間濾波器負(fù)責(zé)提取細(xì)分階段所需的聚類數(shù)目和范圍,并對每個(gè)顏色分量進(jìn)行處理,得到粗分割圖像。
2.2 直方圖閾值化
直方圖閾值法最早應(yīng)用于灰度圖像分割,并且技術(shù)以經(jīng)比較成熟。彩色圖像與灰度圖像的區(qū)別在于彩色圖像是個(gè)三維顏色空間,因此,彩色圖像對應(yīng)的直方圖是一個(gè)三維數(shù)組,隨著維數(shù)的增加,其閾值的確定是一大挑戰(zhàn)。對此,Underwood提出了將三維空間向低維空間投影的方法來確定直方圖閾值,并對此進(jìn)行了相應(yīng)實(shí)驗(yàn),結(jié)果表明該方法是可行性的。Kurugollu等人提出了一種多頻譜彩色圖像分割方法,在分割開始時(shí)選取FRG、FRB和FGB作為頻譜子集,對頻譜子集進(jìn)行多閾值處理,然后利用融合算法合成頻譜子集的直方圖分割圖像。直方圖閾值法可有效免去不必要的先驗(yàn)信息,計(jì)算量小。然而,單色分割會導(dǎo)致區(qū)域丟失,使得復(fù)雜的圖像處理更加困難。
2.3 特征空間聚類
特征空間聚類算法是一種無須監(jiān)督的分割算法,這就免去了大量樣本造成計(jì)算量過大、成本過高的問題。它的原理比較簡單,主要是利用不斷地迭代來獲取圖像的特征值。我們現(xiàn)有的方法中,應(yīng)用廣泛的是K-均值、模糊C-均值。特征空間聚類方法的流程主要是通過聚類的有效性分析來確定聚類數(shù)目。彩色圖像分割采用顏色空間聚類方法相對于其他的方法來說充分利用了三個(gè)顏色空間的信息,所以更容易實(shí)現(xiàn)。特征空間聚類的方法雖然免去了訓(xùn)練圖像數(shù)據(jù)的煩瑣工作,但是初始參數(shù)、分類個(gè)數(shù)的確定仍然是一大難題,這種方法受噪聲的影響比較大。
2.4 邊緣檢測
現(xiàn)有的邊緣檢測技術(shù)有很多種,其中灰度邊緣檢測技術(shù)的應(yīng)用較多。它的基本原理基于彩色圖像的三維空間,利用均方根、求和、取最大絕對值等合并方法處理顏色分量來確定最終的結(jié)果。但是這種基于灰度邊緣檢測的算法不一定總是能得到準(zhǔn)確結(jié)果,基于梯度邊緣算子進(jìn)行邊緣檢測可能導(dǎo)致出現(xiàn)不同的方向。為了解決這個(gè)難題,Trahanias等人提出了向量場的概念,就是將彩色圖像視為一個(gè)有序的向量樣本,并根據(jù)這些樣本的線性組合幅度確定邊緣檢測算子。現(xiàn)有的研究中心還可以通過降維處理解決。邊緣檢測的優(yōu)點(diǎn)主要是分割效果不錯(cuò),在顯著區(qū)域比較顯眼時(shí),但是有時(shí)候邊緣檢測算子過大過小會造成分割質(zhì)量下降。
2.5 模糊技術(shù)
模糊概念在許多領(lǐng)域有著廣泛的應(yīng)用,在圖像分割技術(shù)中,模糊技術(shù)常被用來處理圖像分析和模式識別的不確定性。這種不確定性來自傳感器的輸出,并在數(shù)據(jù)傳輸過程中傳播。一般來說,可利用統(tǒng)計(jì)原理解決由隨機(jī)性引起的不確定性,而通過模糊集理論解決由模糊性引起的不確定性。模糊集主要包括三個(gè)部分:模糊測度、模糊集理論和模糊推理,它能更好地解決圖像分割中廣泛存在的不確定性問題,已成為圖像分割技術(shù)的主要發(fā)展方向。此外,Sugeno提出的模糊測度和模糊積分[11]模型,可作為模糊信息眾多屬性的聚合算子,能夠在圖像分割時(shí)保留大量的有用信息。模糊技術(shù)雖然具有解決傳感器產(chǎn)生的不確定帶來的負(fù)面影響,但是模糊運(yùn)算需要耗費(fèi)大量的計(jì)算時(shí)間。
2.6 人工神經(jīng)網(wǎng)絡(luò)
人工神經(jīng)網(wǎng)絡(luò)是一種仿生算法,具有非線性求解和并行運(yùn)算的優(yōu)點(diǎn)能夠很好地處理圖像分割問題。神經(jīng)網(wǎng)絡(luò)用于圖像分割主要有Hopfield神經(jīng)網(wǎng)絡(luò)、自組織網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)。Campadelli提出了基于Hopfield神經(jīng)網(wǎng)絡(luò)分割算法用于彩色圖像分割。傳統(tǒng)的自組織映射算法識別能力差,因此papamarkos等人在傳統(tǒng)算法的基礎(chǔ)上增加了三節(jié)點(diǎn)單層前饋網(wǎng)絡(luò),實(shí)現(xiàn)了主分量變換[13],并且利用神經(jīng)網(wǎng)絡(luò)訓(xùn)練的特征向量,得到顏色分量的協(xié)方差矩陣。反向BP神經(jīng)網(wǎng)絡(luò)普遍應(yīng)用于圖像分割中,如Leseure等人利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行彩色圖像分割,實(shí)驗(yàn)結(jié)果表示分割的效果比較好,能夠準(zhǔn)確處理圖像分析問題。神經(jīng)網(wǎng)絡(luò)算法在彩色圖像分割利用訓(xùn)練集分割圖像,并且效果比前面的方法都要精確。但是所需要的訓(xùn)練樣本數(shù)據(jù)很大,計(jì)算時(shí)間長,造成圖像識別的實(shí)時(shí)性會降低。
2.7 基于物理模型的方法
現(xiàn)有的彩色圖像分割方法是基于顏色相似性原則對區(qū)域進(jìn)行定義的,使用這種方式會出現(xiàn)光斑和陰影區(qū)域的彩色圖像難以分割的情況,使得目標(biāo)表面出現(xiàn)不均勻性,也就是說區(qū)域邊界與目標(biāo)邊界存在一定的差異性。雖然HSI在一定程度上解決了這一問題,但在低飽和度時(shí),色相可能會不穩(wěn)定。有學(xué)者提出了一些基于物理模型的分割方法來解決這一問題,并采用三維色彩空間建模。這種方法的建模簡單,但是約束條件太多,對外界環(huán)境要求比較高,故應(yīng)用范圍比較小,只針對一些特定的情況。
3 結(jié)論
本文討論了彩色圖像分割在圖像處理中的重要性,并對系統(tǒng)的綜述了現(xiàn)有基于區(qū)域的方法、直方圖閾值化、特征空間聚類、模糊技術(shù)、邊緣檢測、神經(jīng)網(wǎng)絡(luò)和基于物理模型研究現(xiàn)狀。這些方法都有其固有的缺點(diǎn),往往通過將這些分割圖像技術(shù)相結(jié)合進(jìn)行重構(gòu),相互借鑒,例如聚類和模糊方法相結(jié)合,出現(xiàn)了模糊聚類模糊方法來定義區(qū)域增長標(biāo)準(zhǔn),直方圖分析確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。根據(jù)現(xiàn)有的研究成果,彩色圖像分割技術(shù)并沒有形成一個(gè)系統(tǒng)的體系結(jié)構(gòu),單一的方法在現(xiàn)有的研究成果中都是針對特定的圖像進(jìn)行特定的應(yīng)用。換句話說,就是現(xiàn)有的研究分割方法無法適用于任何彩色圖像分割。從理論上來說,灰度圖像分割技術(shù)比較成熟,可以將其分割方法轉(zhuǎn)化為彩色圖像分割。但是,在實(shí)際應(yīng)用上還有許多問題需要解決,灰度圖像顏色空間是一維的,利用合并某種特定方法只適合處理單個(gè)顏色分量,而彩色圖像是三維的,當(dāng)顏色矢量被投影時(shí),其RGB信息會發(fā)散,導(dǎo)致信息丟失。所以,我們在未來的研究重點(diǎn)是怎樣把彩色信息看作整體進(jìn)行考慮。
近年來,模糊方法越來越受重視,被廣泛應(yīng)用于圖像分割領(lǐng)域,效果顯著。圖像識別方法雖然對圖像的不確定性進(jìn)行了一定的處理,但由于其對圖像的不確定性的處理需要一定的時(shí)間,因此對圖像進(jìn)行模糊處理是一種比較有效的方法。最重要的是,模糊推理技術(shù)還可以將決策擬人化。因此,隨著大數(shù)據(jù)和人工智能時(shí)代的到來,以及我們計(jì)算和處理水平的提高,模糊方法將能夠取得意想不到的效果。另外,由于光照的變化會影響成像目標(biāo)的表面顏色,而機(jī)器人視覺系統(tǒng)等應(yīng)用需要采用分割算法來消除光照的影響,因此基于顏色恒定性的分割算法也會越來越受到重視。
參考文獻(xiàn):
[1] Lezoray O,Cardot H.Cooperation of color pixel classification schemes and color watershed:a study for microscopic images[J].IEEE Transactions on Image Processing,2002,11(7):783-789.
[2] Shafarenko L,Petrou M,Kittler J.Automatic watershed segmentation of randomly textured color images[J].IEEE Transactions on Image Processing,1997,6(11):1530-1544.
[3] A.S J,Hamada N.Color image segmentation method using watershed algorithm and contour information[C]//Proceedings 1999 International Conference on Image Processing (Cat. 99CH36348). 24-28 Oct. 1999, Kobe, Japan. IEEE, 1999:305-309.
【通聯(lián)編輯:李雅琪】