張棟冰
(淮北師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 淮北 235000)
基于聚類-最小生成樹的瀝青路面裂縫檢測(cè)方法研究
張棟冰
(淮北師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 淮北 235000)
提出了一種基于聚類-最小生成樹的瀝青路面裂縫檢測(cè)方法。該方法中,首先采用Retinex模型對(duì)裂縫圖片進(jìn)行勻光預(yù)處理操作,以減小不同光照環(huán)境形成的圖像差異性,然后對(duì)勻光預(yù)處理圖片采用邊緣檢測(cè)和圖像分割來共同提取圖像中的裂縫區(qū)域,最后對(duì)裂縫提取圖像進(jìn)行聚類,并采用最小生成樹策略來進(jìn)行裂縫檢測(cè)。實(shí)驗(yàn)所用的圖片來源于實(shí)際交通路口拍攝獲得。實(shí)驗(yàn)結(jié)果表明,該方法能夠準(zhǔn)確、有效地對(duì)瀝青路面裂縫進(jìn)行判斷和檢測(cè),具有很好的實(shí)用價(jià)值。
裂縫檢測(cè);勻光處理;聚類;最小生成樹
隨著高速公路建設(shè)的快速發(fā)展,公路檢測(cè)與養(yǎng)護(hù)管理已成為我國公路建設(shè)領(lǐng)域的重要任務(wù)。裂縫作為評(píng)價(jià)路面質(zhì)量最重要的參數(shù)之一,是大部分病害的早期表現(xiàn)形式,直接影響到公路使用壽命和行車安全[1]。及早發(fā)現(xiàn)裂縫并進(jìn)行維護(hù)可以有效的避免路面的進(jìn)一步破損。隨著科學(xué)技術(shù)的不斷發(fā)展,傳感器技術(shù)、計(jì)算機(jī)視覺以及數(shù)字圖像處理技術(shù)被廣泛應(yīng)用于路面裂縫檢測(cè)領(lǐng)域,逐漸實(shí)現(xiàn)了路面裂縫檢測(cè)技術(shù)的自動(dòng)化或半自動(dòng)化。
目前的路面裂縫檢測(cè)根據(jù)技術(shù)路線的不同主要分為兩大類,第1類是采用激光和雷達(dá)來進(jìn)行檢測(cè)。比如:Laurent等[2]采用線激光對(duì)路面進(jìn)行照明和檢測(cè),能夠有效地提高檢測(cè)精度。Ranalli等[3]使用探地雷達(dá)技術(shù)來搭建路面檢測(cè)系統(tǒng),能夠有效地探測(cè)到光學(xué)方法無法探測(cè)到的裂縫深度。第2類方法為采用圖像處理和計(jì)算機(jī)視覺技術(shù)來進(jìn)行檢測(cè)。比如:Delagnes P等[4]提出了基于馬爾可夫隨機(jī)場(chǎng)的裂縫檢測(cè)方法,Chu[5]提出了一種細(xì)化并保留連接域的瀝青路面裂縫檢測(cè)方法,Marchewka[6]提出了基于局部特征的瀝青路面圖像處理方法。李清泉等[7]提出了一種基于形態(tài)學(xué)濾波和最小代價(jià)路徑搜索的裂隙提取算法。一年后,該作者又提出了一種基于最小生成樹的裂縫提取算法[8]。Salari E等[9]首先使用了遺傳算法來進(jìn)行裂縫圖像的檢測(cè)。同年,該作者又提出了結(jié)合三維信息來進(jìn)行檢測(cè)的方法[10]。
由于采用激光和雷達(dá)進(jìn)行路面裂縫檢測(cè)的成本較高,功率較大,因此當(dāng)前主要采用圖像處理和計(jì)算機(jī)視覺技術(shù)進(jìn)行路面裂縫檢測(cè)。然而,受公路表面的不規(guī)則、多紋理、多噪聲、裂縫信息細(xì)弱、圖像質(zhì)量難以控制等特性的影響,基于圖像處理的路面裂縫檢測(cè)技術(shù)對(duì)于路面修補(bǔ)、輪胎痕跡、光照不均等干擾因素較為敏感,檢測(cè)效果欠佳。本文在已有方法的基礎(chǔ)上,著重考慮復(fù)雜場(chǎng)景下算法的準(zhǔn)確性,提出了一種基于聚類-最小生成樹的路面裂縫檢測(cè)方法。
1.1 圖像預(yù)處理
考慮到瀝青路面上存在較多顆粒,裂縫與路面的區(qū)分性不是非常明顯,首先對(duì)圖像進(jìn)行預(yù)處理以增加裂縫與路面的對(duì)比度。本文首先對(duì)圖像進(jìn)行增強(qiáng)處理,圖像增強(qiáng)的方法有多種[11],本文根據(jù)裂縫的特征采用了Retinex模型來進(jìn)行增強(qiáng)。圖1中(a)是一張包含裂縫的路面圖像。受車轍的影響路面明暗相間明顯,光照不均勻分布嚴(yán)重,因此需要將圖像的各局部亮度調(diào)節(jié)到同一水平進(jìn)行勻光處理。因Retinex模型認(rèn)為圖像是由一個(gè)與光照無關(guān)的分量和一個(gè)光照分量組成,本文首先采用Retinex模型對(duì)圖像的光照分量進(jìn)行剔除,然后提出了一種自適應(yīng)灰度拉伸方法來增強(qiáng)裂縫的對(duì)比度。具體步驟如下:
1)在圖像中應(yīng)用高斯低通濾波,以獲取原始圖像中亮度分布的大致趨勢(shì)。
2)根據(jù)Retinex模型,按照式(1)計(jì)算差值圖像。
f′ (x,y)=k·abs(lg(f(x,y))-lg(G(x,y)))
(1)
其中f′(x,y)為差值圖像,f(x,y)為原始圖像,G(x,y)為經(jīng)過高斯濾波圖像,k是比例系數(shù),經(jīng)實(shí)驗(yàn)設(shè)定為0.1。該差值圖即為移除光照影響后的圖像。
3)對(duì)差值圖像進(jìn)行自適應(yīng)灰度拉伸處理。根據(jù)背景中不同亮度對(duì)圖像進(jìn)行拉伸,以保持全局的光照均勻。灰度拉伸公式如下
f″(x,y)=m·f′(x,y)+favg
(2)
(3)
經(jīng)過以上步驟,得到如圖1中(b)所示的勻光處理圖像。由圖可知,該圖像能夠有效地去除原始圖像中復(fù)雜的噪聲,而保留圖像中的裂縫。
圖1 勻光預(yù)處理圖像Fig.1 Dodging image
1.2 圖像裂縫提取
對(duì)原始裂縫圖像進(jìn)行勻光預(yù)處理操作后,接下來需對(duì)裂縫區(qū)域進(jìn)行提取。由圖1(b)可知,在勻光處理后的圖像中,裂縫與背景區(qū)域具有明顯的顏色差異。因此,本文首先對(duì)預(yù)處理圖像進(jìn)行分割。圖像分割通常是通過閾值將圖像轉(zhuǎn)化為二值圖像,常見的閾值求取方法有Otsu(大津)法,最大熵法,NiBlack法等。圖2給出了幾種不同分割方法的提取效果。由圖可知最大熵法能夠有效地去除非裂縫區(qū)域干擾,分割出的裂縫效果最好,而大津法對(duì)閾值的選取偏高,分割結(jié)果中出現(xiàn)大量噪聲,NiBlack法不僅未能提取出裂縫區(qū)域,反而將大量非裂縫區(qū)域提取出來,因此不適用于裂縫檢測(cè)。對(duì)比了幾種方法,本文選取了最大熵法作為裂縫分割方法。
由圖2(b)可知,最大熵法能夠有效地將路面裂縫提取出來。然而,在某些復(fù)雜的路面上,裂縫與路面的區(qū)分性不夠大,因此提取出來的裂縫可能是分裂離散的,為了最大程度地保障裂縫的完整性,本文對(duì)預(yù)處理圖像進(jìn)一步進(jìn)行邊緣提取操作,將邊緣提取圖像和最大熵法分割圖像進(jìn)行“或”操作,得到確定的裂縫提取圖像。常用的邊緣提取算子包括Sobel算子、Prewitt算子、Canny算子和Laplace算子等,由于路面裂縫基本呈水平或垂直分布,而Sobel算子能夠很好地將水平或垂直方向的邊緣進(jìn)行提取,因此本文選取了Sobel算子來進(jìn)行邊緣提取。令最大熵法分割圖像為S(x,y), 邊緣提取圖像為E(x,y),則最終確定的裂縫提取圖像C(x,y)如下式所示:
C(x,y)=S(x,y)∪E(x,y)
(4)
1.3 圖像裂縫檢測(cè)
因受場(chǎng)景的復(fù)雜性,所得到的裂縫提取圖像中的裂縫可能仍然呈分裂離散狀態(tài),同時(shí)可能會(huì)存在類裂縫噪聲。因此,接下來需要在裂縫提取圖像中準(zhǔn)確找出屬于裂縫的區(qū)域?;诹芽p呈細(xì)長且連貫狀態(tài)的事實(shí),本文提出了基于聚類的最小生成樹裂縫檢測(cè)方法。最小生成樹是一種圖結(jié)構(gòu),其通過構(gòu)建原圖的極小聯(lián)通子圖來保證連接所有節(jié)點(diǎn)的邊的總數(shù)最少,可以通過Kruskal算法或Prim算法求出該圖結(jié)構(gòu)。
對(duì)于裂縫提取圖像而言,若整個(gè)裂隙點(diǎn)所形成的集合被一個(gè)矩形所包含,通過該矩形內(nèi)所有邊緣點(diǎn)生成的最小生成樹中,裂隙點(diǎn)應(yīng)該處于樹的“主干”部分,即樹結(jié)構(gòu)中深度較大的點(diǎn)。本文通過構(gòu)建最小生成樹的方法進(jìn)行裂縫提取、檢測(cè),具體步驟如下:
1) 聚類[12]。本文可識(shí)別水平裂縫和縱向裂縫,識(shí)別水平裂縫時(shí),只考慮橫向聚類;識(shí)別縱向裂縫時(shí),只考慮縱向聚類。
橫向聚類時(shí),從裂縫提取圖像C(x,y)的左上頂點(diǎn)開始,依照從左至右,從上至下的順序進(jìn)行遍歷。若該點(diǎn)距離已知最近的邊緣點(diǎn)超過閾值,則為該點(diǎn)新建一個(gè)分類,重復(fù)這一過程,直到掃描結(jié)束。該算法流程圖如圖3所示。判斷當(dāng)前點(diǎn)是否屬于當(dāng)前類的依據(jù)是計(jì)算該點(diǎn)與當(dāng)前類的歐氏距離是否足夠小,若小于閾值則歸為當(dāng)前類,否則不為當(dāng)前類。這一過程結(jié)束后,所有橫向裂縫邊緣都會(huì)處在同一個(gè)類矩形內(nèi)。且,裂縫邊緣會(huì)在矩形的居中位置,矩形上下兩側(cè)則是統(tǒng)計(jì)數(shù)量基本相同的噪聲點(diǎn)??v向聚類時(shí),只需將圖像遍歷順序調(diào)整為從上至下從左至右即可。
2) 構(gòu)建最小生成樹。對(duì)于每一個(gè)聚類結(jié)果,將所有屬于該類的點(diǎn)組織成一棵最小生成樹[13],如式(5)所示,在一個(gè)給定的無向圖G=
w(t)=∑(u,v)∈tω(u,v)
(5)
其中,V表示頂點(diǎn)集合,E表示邊集合,(u,v)表示連接頂點(diǎn)u與頂點(diǎn)v的邊,ω(u,v)表示該邊的權(quán)重。
3)基于最小生成樹的裂縫檢測(cè)。首先從深度最小的點(diǎn),即處在生成樹最外圍的點(diǎn)開始,依次將這些點(diǎn)排除,并記錄深度。若某點(diǎn)在第1次排除過程中就被排除,令其深度為0;若第2次過程中被排除,則深度為1,以此類推每點(diǎn)深度。當(dāng)生成樹中只剩下唯一節(jié)點(diǎn)時(shí),從該節(jié)點(diǎn)的任意方向開始,尋找最鄰近且深度僅次于最大值的點(diǎn),加入生成樹集合中,重復(fù)該過程,得到裂縫的兩個(gè)生長端點(diǎn)。然后以兩個(gè)端點(diǎn)為中心,根據(jù)深度和距離依次挑選符合上述條件的點(diǎn)加入到生成樹集合中,直至深度為0。最后對(duì)該集合進(jìn)行篩選,逐次計(jì)算兩點(diǎn)間的距離和斜率,只有距離較近且斜率變化平穩(wěn)的邊緣才會(huì)被認(rèn)為是裂隙。圖4展示了基于該方法檢測(cè)出的裂縫和被排除的干擾點(diǎn)分布。
圖4 裂縫檢測(cè)結(jié)果示意圖Fig.4 Crack detection results
2.1 裂縫檢測(cè)方法有效性驗(yàn)證
為了驗(yàn)證本文提出的裂縫檢測(cè)方法有效性,在多個(gè)交通路口采集瀝青路面裂縫圖片進(jìn)行實(shí)驗(yàn),本文的實(shí)驗(yàn)平臺(tái)為VisualStudio2015,計(jì)算機(jī)配置為Intel(R)Core(TM)i5-3230M,主頻為2.60GHz,內(nèi)存為4.00GB。
本文首先對(duì)勻光預(yù)處理的有效性進(jìn)行驗(yàn)證。圖5(a)給出了一張實(shí)際采集的瀝青路面裂縫圖片,圖片表面嚴(yán)重光照不均,同時(shí)存在大量的椒鹽噪聲。圖5(b)為未經(jīng)過勻光預(yù)處理的裂縫提取圖片,由圖可知,圖片中的暗區(qū)域難以準(zhǔn)確提取,從而形成斷裂離散的裂縫區(qū)域,圖5(c)為經(jīng)過勻光預(yù)處理后的圖片,圖5(d)為圖5(c)的裂縫提取圖片,圖片中明暗相間的區(qū)域經(jīng)過勻光處理后具有光照一致性,從而能夠完整地提取出整個(gè)裂縫區(qū)域,驗(yàn)證了本文勻光預(yù)處理的有效性。
對(duì)原始圖片進(jìn)行勻光預(yù)處理之后,本文對(duì)裂縫檢測(cè)的有效性也進(jìn)行了驗(yàn)證。圖6給出了不同場(chǎng)景下路面裂縫檢測(cè)情況,圖6中(a)、(c)、(e)、(g)分別不同光照?qǐng)鼍跋碌脑紙D片,圖6中(b)、(d)、(f)、(h)分別為與之對(duì)應(yīng)的檢測(cè)出來的裂縫,裂縫越寬則檢測(cè)出來的線條越粗,由圖可知,本文方法對(duì)不同光照、不同路面環(huán)境下拍攝的裂縫圖片均能進(jìn)行較好的檢測(cè),能夠有效地應(yīng)對(duì)復(fù)雜環(huán)境下的裂縫檢測(cè),具有較好的魯棒性和準(zhǔn)確性。
3.2 裂縫檢測(cè)方法準(zhǔn)確性驗(yàn)證
為了驗(yàn)證本文裂縫檢測(cè)方法準(zhǔn)確性,在實(shí)際路口隨機(jī)拍攝平整路面、含有標(biāo)線的路面、污損路面、含有接縫的路面以及縱向裂縫路面、橫向裂縫路面和網(wǎng)狀裂縫路面,組成包含500張圖片的測(cè)試集,大約覆蓋10km的路面。本文選取了采用查全率(recall)和查準(zhǔn)率(precision)作為裂縫檢測(cè)的性能指標(biāo)和計(jì)量準(zhǔn)則。在實(shí)際的檢索過程中,若用S表示圖像庫中所有裂縫圖片集合,R表示檢索到的裂縫圖片集合,s表示檢索到的圖片集R中實(shí)際含有裂縫的圖片數(shù)目,u表示檢索到的圖片集R中實(shí)際沒有裂縫的圖片數(shù)目,v表示沒有檢索到的裂縫圖片數(shù)目,則查全率和查準(zhǔn)率可以表示為:
(6)
(7)
表1列出了對(duì)測(cè)試圖像的識(shí)別結(jié)果。由表可知,本文方法的平均檢測(cè)準(zhǔn)確率為96.9%,平均查全率為98.4%。分析數(shù)據(jù)可知,該方法對(duì)橫向裂縫的檢測(cè)最為準(zhǔn)確,檢測(cè)結(jié)果的準(zhǔn)確率達(dá)到98.8%,并且檢測(cè)結(jié)果也完全覆蓋了測(cè)試集。而受車轍等的干擾,縱向裂縫的檢測(cè)效果略次于橫向裂縫的檢測(cè)效果,查準(zhǔn)率為91.2%,查全率和橫向裂縫一樣能夠保持在100%的水平。對(duì)于分布較為復(fù)雜的網(wǎng)狀裂縫,只要能被檢測(cè),結(jié)果都是正確的,但有時(shí)網(wǎng)狀裂縫會(huì)被當(dāng)成橫向裂縫或縱向裂縫輸出。
圖5 勻光預(yù)處理有效性驗(yàn)證Fig.5 Validation of dodging algorithm
圖6 不同光照?qǐng)鼍跋铝芽p檢測(cè)有效性驗(yàn)證Fig.6 Validation of crack detection under different illumination conditions
識(shí)別結(jié)果樣本總數(shù)正確總數(shù)precision/%recall/%橫向裂縫858498.8100縱向裂縫343191.2100網(wǎng)狀裂縫101010083.3全體裂縫12912596.998.4
本文提出了一種基于聚類最小生成樹的瀝青路面裂縫檢測(cè)方法。該方法首先對(duì)采集的路面圖片采用Retinex模型進(jìn)行勻光預(yù)處理,以去除光照的影響,然后采用邊緣提取和閾值分割來提取裂縫區(qū)域,最后采用聚類和最小生成樹策略對(duì)裂縫進(jìn)行檢測(cè)。本文提出的算法能夠有效地應(yīng)對(duì)不同光照環(huán)境,對(duì)橫向裂縫、縱向裂縫和網(wǎng)狀裂縫均能進(jìn)行較好的檢測(cè)。實(shí)驗(yàn)結(jié)果證明了本文提出的算法能夠有效、準(zhǔn)確地進(jìn)行瀝青路面裂縫檢測(cè),具有很好的實(shí)用性。未來的工作將集中在極端惡劣環(huán)境下、不同拍攝角度和距離時(shí)的路面裂縫檢測(cè)準(zhǔn)確性,以得到更為精準(zhǔn)的檢測(cè)效果。
[1] 孫朝云, 趙海偉, 李偉,等. 基于雙相掃描檢測(cè)的路面三維裂縫識(shí)別方法[J]. 中國公路學(xué)報(bào), 2015, 28(2):26-32.SUNZY,ZHAOHW,LIW,etal. 3DPavementcrackidentificationmethodbasedondual-phasescanningdetection[J].ChinaJournalofHighwayandTransport, 2015, 28(2):26-32.
[2]LAURENTJ,TALLBOTM,DOUCETM.Roadsurfaceinspectionusinglaserscannersadaptedforthehighprecision3Dmeasurementsoflargeflatsurfaces[C]//InternationalConferenceonRecentAdvancesin3-DDigitalImagingandModeling.Ottawa:IEEE, 1997:303-310.
[3]RANALLID,SCOZZAFAVAM,TALLIMIM,etal.GPRsignalattenuationvs.depthondamagedflexibleroadpavements[C]//4thInternationalWorkshoponAdvancedGroundPenetratingRadar.AulaMagnaPartenope:IEEE, 2007:300-305.
[4]DELAGNESP,BARBAD.AMarkovrandomfieldforrectilinearstructureextractioninpavementdistressimageanalysis[C]//InternationalConferenceonImageProcessing.Washington:IEEE, 1995:446-449.
[5]CHUY.Algorithmstudyonthinningandkeepingconnectivityofbituminouspavementcrackimages[C]//InternationalConferenceofInformationScienceandManagementEngineering.Shanxi:IEEE, 2010:550-553.
[6]MARCHEWKAA.Crackdetectiononasphaltsurfaceimageusinglocalminimumanalysis[J].ImageProcessing&CommunicationsChallenges2, 2010, 84(2):353-359.
[7] 李清泉, 鄒勤, 毛慶洲. 基于最小代價(jià)路徑搜索的路面裂縫檢測(cè)[J]. 中國公路學(xué)報(bào), 2010,23(6):28-32.LIQQ,ZOUQ,MAOQZ.Pavementcrackdetectionbasedonminimumcostpathsearching[J].ChinaJournalofHighwayandTransport, 2010,23(6):28-32.
[8] 鄒勤, 李清泉, 毛慶洲, 等. 利用目標(biāo)點(diǎn)最小生成樹的路面裂縫檢測(cè)[J]. 武漢大學(xué)學(xué)報(bào), 2011,1(36):71-75.ZOUQ,LIQQ,MAOQZ,etal.TargetpointsMSTforpavementcrackdetection[J].GeomaticsandInformationScienceofWuhanUniversity, 2011,1(36):71-75.
[9]SALARIE,YUX.PavementdistressdetectionandclassificationusingaGeneticAlgorithm[C]∥AppliedImageryPatternRecognitionWorkshop(AIPR), 2011:1-5.
[10]SALARIE,BAOG.Automatedpavementdistressinspectionbasedon2Dand3Dinformation[C]//2011IEEEInternationalConferenceonElectro/InformationTechnology(EIT).Mankato:IEEE, 2011:1-4.
[11] 李率杰, 馮兆永. 基于自適應(yīng)TVp正則化圖像恢復(fù)方法[J]. 中山大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 55(5):8-13.LISJ,FENGZY.ImagerestorationmethodbasedonadaptiveTVpregularization[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2016, 55(5):8-13.
[12] 楊發(fā)權(quán), 李贊, 羅中良. 基于聚類與神經(jīng)網(wǎng)絡(luò)的無線通信聯(lián)合調(diào)制識(shí)別新方法[J]. 中山大學(xué)學(xué)報(bào)(自然科學(xué)版), 2015, 54(2):24-29.YANGFQ,LIZ,LUOZL.Anewspecificcombinationmethodofwirelesscommunicationmodulationrecognitionbasedonclusteringandneuralnetwork[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2015, 54(2):24-29.
[13] 王曉敏, 趙喜楊, 姚兵. 全邊增長網(wǎng)絡(luò)模型的生成樹[J]. 中山大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 55(1):48-53.WANGXM,ZHAOXY,YAOB.Spanningtreesoftotallyedge-growingnetworkmodels[J].ActaScientiarumNaturaliumUniversitatisSunyatseni, 2016, 55(1):48-53.
[14]BAOL,SONGY,YANGQ,etal.Treefiltering:efficientstructure-preservingsmoothingwithaminimumspanningtree[J].IEEETransactionsonImageProcessing, 2014, 23(2): 555-569.
Crackdetectionforbituminouspavementsbasedonclusterandminimumspanningtree
ZHANGDongbing
(SchoolofComputerScienceandTechnology,HuaibeiNormalUniversity,Huaibei235000,China)
A new crack detection method for bituminous pavements based on cluster and minimum spanning tree is proposed in this paper. Firstly, the Retinex model was used to dodging preprocessing for crack images, to reduce the difference of different lighting conditions, and then the edge detection and image segmentation technology was both used for extracting the crack area in the image, finally the clustering and minimum spanning tree technology was used for crack detection. The test images used in this study are captured from actual traffic intersections. The experimental results show that the method can accurately and effectively detect the crack for bituminous pavements, and can be applied on real traffic scene with considerable practical value.
crack detection; dodging algorithm; clustering technology; minimum spanning tree
10.13471/j.cnki.acta.snus.2017.04.012
2017-03-11 基金項(xiàng)目:安徽省高等學(xué)校自然科學(xué)研究項(xiàng)目(KJ2014B23);安徽省級(jí)質(zhì)量工程項(xiàng)目(2016jyxm0917)
張棟冰(1974年生),男;研究方向:算法優(yōu)化和圖像處理;E-mail:13965849201@139.com
TP
A
0529-6579(2017)04-0068-07
中山大學(xué)學(xué)報(bào)(自然科學(xué)版)(中英文)2017年4期