基于特征金字塔網(wǎng)絡(luò)的超大尺寸圖像裂縫識(shí)別檢測(cè)方法

舒江鵬，李俊，馬亥波，段元鋒，趙唯堅(jiān)

(浙江大學(xué) a.建筑工程學(xué)院；b.平衡建筑研究中心；c.浙江大學(xué)建筑設(shè)計(jì)研究院有限公司，杭州 310058)

裂縫作為橋梁早期損傷破壞的重要表征之一，及時(shí)發(fā)現(xiàn)并對(duì)其進(jìn)行檢測(cè)是橋梁維護(hù)工作中的重點(diǎn)[1]。常規(guī)的人工勘測(cè)不僅存在檢查盲區(qū)，同時(shí)也需要耗費(fèi)大量的人力物力，有時(shí)還存在安全隱患。隨著攝影、遙感、無(wú)人機(jī)等圖像采集技術(shù)的快速發(fā)展，基于數(shù)字圖像處理技術(shù)的裂縫檢測(cè)方法得到廣泛關(guān)注[2]。通過(guò)使用模糊多級(jí)中值濾波[3]、灰度矯正[4]、非下采樣輪廓波變換[5]等數(shù)字圖像處理技術(shù)去除裂縫圖像上的噪聲并優(yōu)化圖像質(zhì)量，裂縫的幾何特征和尺寸信息能夠被提取出來(lái)。在面對(duì)復(fù)雜光照、背景等外界因素時(shí)，傳統(tǒng)的數(shù)字圖像處理技術(shù)不能很好地消除干擾。張維峰等[6]綜合應(yīng)用了不同圖像處理算法開(kāi)發(fā)的適用于橋梁缺陷較遠(yuǎn)距離圖像的檢測(cè)分析軟件，在面對(duì)細(xì)小裂縫的檢測(cè)時(shí)也遇到了瓶頸。

隨著計(jì)算機(jī)領(lǐng)域深度學(xué)習(xí)的興起，橋梁裂縫圖像處理迎來(lái)了新的機(jī)遇和挑戰(zhàn)。眾多學(xué)者從實(shí)際情況出發(fā)，對(duì)數(shù)據(jù)方法、智能算法進(jìn)行改進(jìn)，提高了模型的分析能力，推動(dòng)了人工智能在橋梁檢測(cè)應(yīng)用中的提高[7]。比如，Zhang等[8]將深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network，DCNN)應(yīng)用到裂縫信息提取研究中，該算法展現(xiàn)出了比傳統(tǒng)方法更高的準(zhǔn)確度。Zhang等[9]提出網(wǎng)絡(luò)CrackNet，能夠?qū)崿F(xiàn)裂縫的自動(dòng)檢測(cè)提取。數(shù)據(jù)集作為數(shù)據(jù)驅(qū)動(dòng)型深度學(xué)習(xí)算法的核心組成部分，也得到了廣泛的關(guān)注。服務(wù)于像素級(jí)別下橋梁裂縫檢測(cè)任務(wù)的公開(kāi)數(shù)據(jù)集[10]包含了超過(guò)一萬(wàn)張的裂縫圖像樣本，但這些圖像的尺寸都只有256×256像素。包括其他的公開(kāi)數(shù)據(jù)集[11]，服務(wù)于裂縫檢測(cè)任務(wù)的裂縫圖像尺寸不超過(guò)500×500像素。在工程應(yīng)用中，使用高清相機(jī)或者無(wú)人機(jī)拍攝的圖像一般都會(huì)超過(guò)1 920×1 080(1 080 p)。一般認(rèn)為，4k UHD(3 840×2 160)作為新的工業(yè)標(biāo)準(zhǔn)，視為高分辨率(High-Resolution)；而超過(guò)這一尺寸則為超大尺寸，或者是超高分辨率(Very High-Resolution)[12]。一些超大尺寸的裂縫圖像甚至?xí)^(guò)4 096×3 112[13]。另外，這些公開(kāi)數(shù)據(jù)集中的圖像一般都是經(jīng)過(guò)挑選的小尺寸、裂縫特征明顯的圖像。在實(shí)際工程應(yīng)用中，高清相機(jī)拍攝獲取的裂縫圖像中的裂縫尺寸遠(yuǎn)小于公開(kāi)數(shù)據(jù)集或者試驗(yàn)條件下拍攝的裂縫。

由Lin等[14]首次提出的金字塔型深度學(xué)習(xí)網(wǎng)絡(luò)(FPN)表現(xiàn)出了強(qiáng)大的圖像分割能力，并贏得了COCO 2016挑戰(zhàn)。其網(wǎng)絡(luò)結(jié)構(gòu)突出體現(xiàn)了對(duì)小目標(biāo)檢測(cè)的優(yōu)勢(shì)。受Lin等工作的啟發(fā)，筆者提出一個(gè)基于特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)針對(duì)超大尺寸裂縫圖像的細(xì)長(zhǎng)裂縫檢測(cè)方法。在金字塔型的網(wǎng)絡(luò)架構(gòu)下，采用特征提取效率更高的Se_resnext50_32×4d[15]編碼器，區(qū)別于傳統(tǒng)的圖像分割網(wǎng)絡(luò)，將編碼器提取的不同層次(共4個(gè))特征圖分別進(jìn)行預(yù)測(cè)，不同分辨率的特征圖得以保留。對(duì)于細(xì)小裂縫，更大分辨率的特征圖能夠提供更精確的裂縫幾何特征，同時(shí)，較小分辨率的特征圖提供了更深層的語(yǔ)義信息，能夠優(yōu)化細(xì)小目標(biāo)的預(yù)測(cè)。不同尺寸裂縫特征圖最后通過(guò)一包含3×3卷積層的W運(yùn)算進(jìn)行疊加輸出統(tǒng)一尺寸的預(yù)測(cè)，避免產(chǎn)生混疊效應(yīng)。

該方法包括使用超大尺寸圖像的數(shù)據(jù)集構(gòu)建方法。針對(duì)細(xì)長(zhǎng)裂縫的檢測(cè)特征，創(chuàng)新性利用特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)具備的多層識(shí)別能力以及識(shí)別小目標(biāo)的優(yōu)勢(shì)，通過(guò)充分利用裂縫長(zhǎng)細(xì)幾何特征，實(shí)現(xiàn)了對(duì)超大尺寸裂縫圖像進(jìn)行像素級(jí)的裂縫檢測(cè)。

1 數(shù)據(jù)集構(gòu)建方法

數(shù)據(jù)集是基于深度學(xué)習(xí)的裂縫自動(dòng)檢測(cè)方法的核心之一。為了充分獲取裂縫細(xì)長(zhǎng)的幾何特征以及發(fā)揮深度學(xué)習(xí)網(wǎng)絡(luò)的特征提取能力，提出針對(duì)超大尺寸細(xì)長(zhǎng)裂縫圖像的數(shù)據(jù)集構(gòu)建方法。該數(shù)據(jù)集的構(gòu)建方法包括兩個(gè)關(guān)鍵部分：訓(xùn)練集與測(cè)試集。下文中將分別對(duì)訓(xùn)練集和測(cè)試集的處理、生成和構(gòu)建方法做詳細(xì)介紹。同時(shí)，來(lái)自International Project Competition for SHM (IPC-SHM 2020) ANCRiSST[13]的鋼箱梁數(shù)據(jù)集將按提出的數(shù)據(jù)集構(gòu)建方法進(jìn)行處理，以生成后續(xù)試驗(yàn)用的數(shù)據(jù)集。

該鋼箱梁數(shù)據(jù)集中包含120張高清相機(jī)拍攝的鋼箱梁表面細(xì)長(zhǎng)裂縫圖像，這些圖像為三通道RGB圖像，像素為3 264×4 928大小。除這些裂縫圖像外，數(shù)據(jù)集內(nèi)還包含每張裂縫圖像相對(duì)應(yīng)的標(biāo)記圖(label)。標(biāo)記圖由土木工程領(lǐng)域內(nèi)專(zhuān)家對(duì)裂縫圖像中的每一像素點(diǎn)進(jìn)行標(biāo)注分類(lèi)生成，例如將裂縫像素標(biāo)注為1，背景像素標(biāo)注為0進(jìn)行像素級(jí)別的區(qū)分。

在進(jìn)行處理前，鋼箱梁數(shù)據(jù)集中的120張圖像首先被隨機(jī)分出100張作為初始訓(xùn)練集，其余20張為初始測(cè)試集，命名為DS0。

將超大尺寸的圖像直接放入網(wǎng)絡(luò)中通常需要超大的計(jì)算機(jī)GPU運(yùn)算空間?？紤]到計(jì)算機(jī)性能的限制，較為簡(jiǎn)單直接的方法便是縮小圖像尺寸，減小運(yùn)算空間。傳統(tǒng)是使用方法的雙線性插值方法是在保證一定質(zhì)量條件下對(duì)圖像進(jìn)行縮放。

為了與數(shù)據(jù)集構(gòu)建方法相對(duì)比，試驗(yàn)中通過(guò)傳統(tǒng)的雙線性插值對(duì)圖像進(jìn)行縮放處理，構(gòu)建了兩個(gè)數(shù)據(jù)集。將原來(lái)的高分辨率圖像降采樣為1 600×2 400像素和2 112×3 168像素兩種規(guī)格。為討論方便，將圖像大小調(diào)整為1 600×2 400像素的訓(xùn)練集命名為DS1，將圖像大小調(diào)整為2 112×3 168像素的訓(xùn)練集命名為DS2，其具體參數(shù)見(jiàn)表1。對(duì)于驗(yàn)證及測(cè)試過(guò)程，仍然以原規(guī)格圖像作為驗(yàn)證和測(cè)試對(duì)象，但為了和訓(xùn)練過(guò)程相匹配，測(cè)試的裂縫圖像均根據(jù)雙線性插值方法調(diào)整為1 600×2 400像素和2 112×3 168像素大小。模型輸出預(yù)測(cè)結(jié)果(1 600×2 400像素和2 112×3 168像素)后，再利用雙線性插值恢復(fù)為3 264×4 928像素，與標(biāo)注圖像進(jìn)行比較。

表1 數(shù)據(jù)集

由于細(xì)小裂縫占裂縫背景極少，雙線性插值縮放之后，圖像中裂縫像素急劇減小，預(yù)測(cè)難度增加，預(yù)測(cè)準(zhǔn)確度降低?？紤]到部分裂縫即可提供足夠信息進(jìn)行識(shí)別，即可以拆分的幾何特性與特征金字塔網(wǎng)絡(luò)對(duì)小目標(biāo)識(shí)別的優(yōu)勢(shì)，相應(yīng)地提出了針對(duì)超大尺寸裂縫圖像通用的訓(xùn)練集和測(cè)試集處理方法。

1.1 訓(xùn)練集

針對(duì)實(shí)際工程拍攝中裂縫在圖像中分布不確定、長(zhǎng)細(xì)比例較大、裂縫像素占整體像素比例較低的特點(diǎn)，采用多個(gè)步驟對(duì)超大尺寸圖像進(jìn)行處理，以構(gòu)建訓(xùn)練集。

步驟1：獲得一張初始的超大尺寸裂縫圖像(假設(shè)其大小為h×w，其中，h為圖像的高、w為圖像的寬)，選取一大小為32m×32n(m、n為大于1的整數(shù))的固定拆分尺寸。該拆分尺寸的取值主要取決于計(jì)算資源。將初始圖像以數(shù)值0進(jìn)行邊緣擴(kuò)增(Padding)，將圖像統(tǒng)一為尺寸32m×32n的倍數(shù)。擴(kuò)增后的圖像大小為H×W。H、W的計(jì)算式為

(1)

(2)

步驟2：使用一個(gè)大小為32m×32n的滑窗，以行、列步長(zhǎng)為16m、16n像素大小對(duì)擴(kuò)充后的圖像進(jìn)行拆分。

步驟3：保留所有k張帶裂縫的拆分圖像，同時(shí)，為保證深度學(xué)習(xí)能夠充分獲得背景特征，學(xué)習(xí)背景信息；k張只包含背景的圖像也被隨機(jī)選取，進(jìn)入最終的訓(xùn)練集。最后，一張初始的超大尺寸裂縫圖像經(jīng)過(guò)上述操作共可生成2k張的32m×32n拆分子圖進(jìn)入深度學(xué)習(xí)訓(xùn)練集。對(duì)多張超大尺寸裂縫圖像進(jìn)行該構(gòu)建操作便可構(gòu)建出相應(yīng)的訓(xùn)練集。

對(duì)于試驗(yàn)用鋼箱梁數(shù)據(jù)集，考慮計(jì)算機(jī)的計(jì)算性能，選取m=15、n=20。首先將尺寸為3 264×4 928的圖像(如圖 1(a))填充為3 360×5 120，并置零，保證后續(xù)拆分時(shí)能夠覆蓋到圖像的邊緣，見(jiàn)圖1(b)，根據(jù)重疊分割的步驟2，設(shè)定滑窗大小為480×640對(duì)圖像以行/列240、320像素的步長(zhǎng)，得到拆分子圖，如圖1(c)所示。一些將子圖像包含0填充部分。利用所有的子圖像作為輸入需要大量的訓(xùn)練時(shí)間。因此，根據(jù)對(duì)應(yīng)的子標(biāo)簽，自動(dòng)篩選出包含裂紋損傷像素的1 923個(gè)子圖像，如圖2(a)所示，即k=1 923。這1 923張裂縫子圖像組成了一個(gè)訓(xùn)練集，命名為DS3，作為缺少背景圖像信息的數(shù)據(jù)集，與本方法進(jìn)行對(duì)比。其余的13 939個(gè)子圖像不包含屬于裂紋損傷的像素，只表示背景信息，如圖2(b)所示。在13 939個(gè)子圖像中隨機(jī)選取1 923張子圖像。1 923張裂縫子圖像和1 923張背景子圖像構(gòu)成一個(gè)訓(xùn)練集，命名為DS4，見(jiàn)表1，即為本方法提出的數(shù)據(jù)集構(gòu)建方法的最終結(jié)果。

圖1 訓(xùn)練圖像處理過(guò)程

圖2 代表性的拆分子圖像

1.2 測(cè)試集

在圖像測(cè)試方法上，同樣針對(duì)細(xì)長(zhǎng)裂縫的位置和幾何特征提出了新的超大尺寸細(xì)長(zhǎng)裂縫圖像的測(cè)試處理方法。該方法包含3個(gè)步驟：

1)輸入測(cè)試圖像(假設(shè)為h×w)，將圖像以0進(jìn)行擴(kuò)增，不同于訓(xùn)練集，為了保證邊緣像素能夠被后續(xù)拆分覆蓋，擴(kuò)增后尺寸H×W的計(jì)算式為

(3)

(4)

式中：m、n的取值同訓(xùn)練集中的取值。

2)使用32m×32n的滑窗以行、列步長(zhǎng)為32m、32n對(duì)測(cè)試圖像進(jìn)行第1次拆分，隨后將分割起點(diǎn)定位于圖內(nèi)的第16m行、第16n列像素，進(jìn)行第2次拆分。通過(guò)此方法，第1次拆分的4張相鄰圖像交點(diǎn)將成為第2次分割圖像的中心。針對(duì)裂縫的位置不確定性對(duì)分割圖像邊緣進(jìn)行多次覆蓋。將步驟2生成的一系列拆分圖一同輸入經(jīng)訓(xùn)練集訓(xùn)練后的特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)，獲得預(yù)測(cè)結(jié)果。

3)最后將該預(yù)測(cè)結(jié)果按照滑窗順序重新拼裝成為帶0增的圖像。去除0增區(qū)域后，便獲得與原測(cè)試圖像大小相同的裂縫預(yù)測(cè)圖。同時(shí)，由于預(yù)測(cè)圖中的每一個(gè)像素經(jīng)過(guò)二次分割擁有兩個(gè)預(yù)測(cè)值。本方法從較為安全的角度設(shè)定其中只要有一個(gè)預(yù)測(cè)判斷該像素為裂縫，該像素即可認(rèn)為為裂縫像素，保證盡可能多的裂縫像素被檢測(cè)識(shí)別。

在測(cè)試試驗(yàn)中，m、n的取值同訓(xùn)練中的取值，分別為15、20。其余處理按上述3個(gè)步驟進(jìn)行，與訓(xùn)練集雖然稍有差別，但較為相似。

2 特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)

特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network)的結(jié)構(gòu)大致可以分為編碼器(Encoder)、解碼器(Decoder)和組裝(Assembling)3個(gè)部分，如圖3所示。編碼器是卷積神經(jīng)網(wǎng)絡(luò)的前饋過(guò)程，用來(lái)提取不同階段的特征，并不斷降低特征圖分辨率。解碼器是自下而上的特征圖放大過(guò)程。通過(guò)上采樣，頂層特征圖和底層特征圖實(shí)現(xiàn)合并，豐富網(wǎng)絡(luò)獲取的語(yǔ)義信息。在融合完成后，網(wǎng)絡(luò)使用了3×3的卷積核對(duì)每一個(gè)融合結(jié)果并進(jìn)行卷積，目的是消除上采樣中的混疊效應(yīng)(Aliasing Effect)。最后，在組裝部分添加各個(gè)階段的特征圖獲取各層信息，這使得特征金字塔網(wǎng)絡(luò)擁有較強(qiáng)的語(yǔ)義信息獲取能力，同時(shí)也能夠滿足速度和內(nèi)存的要求。特征金字塔網(wǎng)絡(luò)的特別之處在于預(yù)測(cè)是在不同的特征層中獨(dú)立進(jìn)行的，有助于檢測(cè)不同尺寸的裂縫目標(biāo)，契合工程獲取裂縫圖像中裂縫大小不確定性的特點(diǎn)。

圖3 特征金字塔網(wǎng)絡(luò)的結(jié)構(gòu)

2.1 編碼器

編碼器是一個(gè)特征提取網(wǎng)絡(luò)，一般采用VGG[16]和ResNet[17]作為骨干。在本方法中，為了提高對(duì)裂縫的特征提取效果，采用Se_ResNeXt50_32×4d[15]為編碼器。它包括3個(gè)部分：ResNet，SE(Squeeze-and-Excitation)模塊和X模塊，使網(wǎng)絡(luò)更加深入、更快收斂和更易優(yōu)化。同時(shí)，該模型的參數(shù)少，復(fù)雜度低，適合裂縫檢測(cè)任務(wù)。SE模塊采用的是SENet[15]的一個(gè)計(jì)算單元。

壓縮(Squeeze)采用了一個(gè)全局平均池化層，獲取具有全局視野的特征圖。激勵(lì)(Excitation)利用了一個(gè)全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)壓縮后的結(jié)果進(jìn)行非線性變換，然后將其作為一個(gè)權(quán)重乘以輸入特征。SENet主要對(duì)通道之間的相關(guān)性進(jìn)行學(xué)習(xí)，減弱了對(duì)通道本身的關(guān)注，雖然稍微增加了計(jì)算量，但能夠?qū)崿F(xiàn)更好的分割效果。X模塊來(lái)自ResNeXt[18]，一個(gè)更優(yōu)版本的ResNet。ResNeXt的核心創(chuàng)新在于采用了聚合轉(zhuǎn)換(Aggregated Transformations)，用相同拓?fù)浣Y(jié)構(gòu)的并行堆疊取代原始的ResNet的3層卷積塊，提高了模型的準(zhǔn)確度，而不顯著增加參數(shù)量。同時(shí)，由于拓?fù)浣Y(jié)構(gòu)相同，超參數(shù)減少，模型也較原始的ResNet更易移植。ResNeXt50_32×4d從有50層網(wǎng)絡(luò)深度的ResNet50改進(jìn)而來(lái)。其中，32×4d代表的是32條路徑，每條路徑的通道數(shù)為4個(gè)。SE模塊嵌入到ReNext50_32×4d中，最終獲得Se_resnext50_32×4d。其預(yù)訓(xùn)練參數(shù)通過(guò)imagenet1000得到。

總的來(lái)說(shuō)，編碼器是一個(gè)以Se_resnext50_32×4d為骨干的自下而上裂縫特征提取網(wǎng)絡(luò)。在編碼器入口，將大小為裂縫圖像輸入(32m×32n)。后續(xù)中，每一個(gè)階段便是特征金字塔的一個(gè)層次。選取conv2、conv3、conv4和conv5層提取的特征為{C2, C3, C4, C5}，這是FPN網(wǎng)絡(luò)的4個(gè)層次。N是batch size，特征向量則分別為F2=(N, 256, 8m, 8n)，F(xiàn)3=(N, 512, 4m, 4n)，F(xiàn)4=(N,1 024, 2m, 2n)，F(xiàn)5=(N, 2048,m,n)。需要注意的是，由于F5是原圖的1/32大小，所以，拆分滑窗的長(zhǎng)度和寬度應(yīng)是32的倍數(shù)。

2.2 解碼器

解碼器是一個(gè)自上而下的放大裂縫特征圖的過(guò)程。P5=(N,256,m,n)是通過(guò)1×1卷積層直接從F5得到的。在接下來(lái)的操作中，通過(guò)插值算法將P5放大兩倍為(N,256,2m,2n)。F4經(jīng)過(guò)1×1卷積層，變成(N,256,2m,2n)。將上述兩個(gè)特征向量相加，得到P4=(N,256,2m,2n)。這些操作被稱(chēng)為跳躍連接(Skip Connection)，如圖4所示，繼續(xù)使用這些操作來(lái)獲取P4、P3和P2。跳躍連接的優(yōu)勢(shì)在于它既可以利用頂層的高級(jí)語(yǔ)義特征(有助于裂縫特征分類(lèi))，又可以利用底層的高分辨率信息(有助于裂縫特征定位)。

圖4 跳躍連接

2.3 組裝

組裝部分要求金字塔每一層輸出的特征圖具有相同尺寸大小，為了實(shí)現(xiàn)該目的，首先選擇包含3×3卷積層的W運(yùn)算，采用雙線性插值放大，如圖5所示。

圖5 W操作

P5執(zhí)行3次W操作后，H5=(N,128,8m,8n)。以此類(lèi)推，H4和H3分別進(jìn)行兩次和一次W操作。此外，H2不需要放大。然后直接將Hi(i=2～5)相加，得到一個(gè)向量(N,256,8m,8n)。該向量經(jīng)過(guò)3×3的卷積層和雙線性插值放大到原始裂紋圖像尺寸(N,1,32m,32n)。為了便于預(yù)測(cè)過(guò)程，通過(guò)將激活函數(shù)sigmoid的值改為0～1得到掩碼(N,1,480,640)。如果某點(diǎn)的值大于某一固定閾值，則預(yù)測(cè)該點(diǎn)為裂紋。在試驗(yàn)中，選擇0.5作為閾值。

3 試驗(yàn)

3.1 試驗(yàn)細(xì)節(jié)

所有試驗(yàn)均在Intel(R) Xeon(R) E5-2678 v3 @ 2.50 GHz、64.0 GB RAM和NVIDIA RTX2080TI、11.0 GB RAM的計(jì)算平臺(tái)上進(jìn)行。基于4個(gè)不同的訓(xùn)練集訓(xùn)練了4個(gè)基于特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)的預(yù)測(cè)模型。為了討論方便，用DS1和DS2訓(xùn)練獲得的特征金字塔網(wǎng)絡(luò)稱(chēng)為Model1和Model2，用DS3和DS4訓(xùn)練獲得的網(wǎng)絡(luò)稱(chēng)為Model3和Model4。

3.2 試驗(yàn)指標(biāo)

假設(shè)在標(biāo)簽和預(yù)測(cè)中均屬于裂縫的像素?cái)?shù)為I，在標(biāo)簽或預(yù)測(cè)中表示裂縫的像素?cái)?shù)為U，交并比(Intersection over Union IoU)是圖像分割任務(wù)常用的評(píng)價(jià)指標(biāo)，通過(guò)式(5)計(jì)算。

(5)

另一評(píng)價(jià)指標(biāo)Dice Loss不僅可以作為深度學(xué)習(xí)訓(xùn)練中的損失函數(shù)，也可以在一定程度上評(píng)價(jià)圖像分割的準(zhǔn)確度。假設(shè)在裂紋分割任務(wù)中X為圖像對(duì)應(yīng)的標(biāo)記，Y是裂縫預(yù)測(cè)，Dice Loss通過(guò)式(6)計(jì)算。

(6)

4 結(jié)果和討論

圖6為4個(gè)模型在一些典型測(cè)試圖像上的裂縫檢測(cè)結(jié)果，圖7為基于4個(gè)不同訓(xùn)練集測(cè)試中的評(píng)價(jià)指標(biāo)IoU和Dice Loss的對(duì)比。圖6中展示的IoU值通過(guò)單張預(yù)測(cè)圖片與對(duì)應(yīng)標(biāo)記計(jì)算得到，圖7中展示的IoU和Dice Loss測(cè)試指標(biāo)值為測(cè)試中所有圖片的預(yù)測(cè)同對(duì)應(yīng)標(biāo)記計(jì)算獲得的平均IoU和Dice Loss的值。從圖7可以看出，在IoU和Dice Loss方面，在測(cè)試圖像上，Model2比Model1出性能更好，Model2的IoU高于Model1，同時(shí)Model2的Dice Loss小于Model1。在分析了Model1和Model2的預(yù)測(cè)之后，發(fā)現(xiàn)一個(gè)值得注意的現(xiàn)象，如圖6所示，Model1和Model2的預(yù)測(cè)都忽略了測(cè)試圖像中的部分裂紋，導(dǎo)致預(yù)測(cè)中的裂紋長(zhǎng)度比標(biāo)簽中的短，在預(yù)測(cè)中丟失了部分裂紋。造成這種現(xiàn)象的原因之一是用于調(diào)整圖像形狀大小的雙線性插值算法，雙線性插值考慮已知像素值圍繞未知像素計(jì)算位置的最接近的2×2鄰域，然后取這4個(gè)像素的加權(quán)平均值來(lái)得到最終的插值值。調(diào)整大小的方法不是對(duì)測(cè)試圖像中的每個(gè)像素進(jìn)行預(yù)測(cè)，而是對(duì)像素的統(tǒng)計(jì)值進(jìn)行預(yù)測(cè)。一方面，Model1和Model2的預(yù)測(cè)不能在像素級(jí)上進(jìn)行精確預(yù)測(cè)，但另一方面，模型仍然可以指出裂縫的位置。根據(jù)Model1和Model2預(yù)測(cè)的裂紋位置，可以采用一些方法改進(jìn)裂紋預(yù)測(cè)，如利用擴(kuò)展閾值算法可以擴(kuò)展裂縫長(zhǎng)度。從圖7(a)可以看出，Model1的IoU僅比Model2的IoU小0.02，但DS1中的圖像大小幾乎是DS2的1/3。這表明，更大的圖像尺寸并不能在很大程度上改善預(yù)測(cè)，而作為輸入的大尺寸圖像卻需要大量的存儲(chǔ)和計(jì)算空間。當(dāng)需要縮放圖像以獲得一個(gè)新的訓(xùn)練集時(shí)，建議首先考慮計(jì)算效率，而不是圖像大小。

圖6 不同模型的預(yù)測(cè)結(jié)果(預(yù)測(cè)1代表Model1對(duì)裂縫的預(yù)測(cè)，其余類(lèi)似)

圖7 不同模型的測(cè)試指標(biāo)值

使用該方法構(gòu)建數(shù)據(jù)集時(shí)，測(cè)試中評(píng)價(jià)指標(biāo)IoU和Dice Loss都有了明顯提升。Model3和Model4的IoU分別為0.70和0.78。由于Model3只在裂紋子圖像(DS3)上進(jìn)行訓(xùn)練，因此忽略了一些背景信息。從圖6第3、第4行的預(yù)測(cè)結(jié)果可以看出，Model3錯(cuò)誤地將邊緣上的一些像素點(diǎn)預(yù)測(cè)為裂紋，鋼結(jié)構(gòu)的一些凹槽特征也被預(yù)測(cè)為裂紋。盡管Model3的預(yù)測(cè)不如Model4準(zhǔn)確，但Model3在結(jié)構(gòu)健康監(jiān)測(cè)中可以視為提供了較為安全的估計(jì)。從圖6第5行可以看出，使用Model3對(duì)結(jié)構(gòu)的主裂紋進(jìn)行了預(yù)測(cè)，并將一些可疑特征視為裂紋，保證不遺漏裂紋損傷。Model3的IoU雖然不是最好的，但在工程上具有理想的特性。經(jīng)過(guò)DS4的訓(xùn)練，Model4變得比Model3更加優(yōu)秀和準(zhǔn)確。Model4同時(shí)學(xué)習(xí)了背景信息和裂紋信息。在圖6中的預(yù)測(cè)4，Model4的性能最好，很好地處理了背景和溝槽的干擾。較高的精度意味著Model4可以為下一步的研究或測(cè)量提供精確的裂紋信息。在裂紋分割任務(wù)中，Model3和Model4的性能優(yōu)于Model1和Model2。對(duì)于基本訓(xùn)練集的圖像，該方法被證明是比直接調(diào)整超大尺寸圖像大小方法更好的解決方案。部分裂縫便可以提供足夠的檢測(cè)信息。因此，該方法是一種合適的針對(duì)超大尺寸細(xì)長(zhǎng)裂縫的處理方法。此外，該方法對(duì)圖像的分辨率沒(méi)有任何要求，適用于任意的高分辨率和低分辨率圖像。

5 結(jié)論

針對(duì)鋼箱梁內(nèi)部包含復(fù)雜背景和裂縫的超大尺寸圖像，提出了一種基于特征金字塔深度學(xué)習(xí)網(wǎng)絡(luò)的裂縫自動(dòng)檢測(cè)方法，并進(jìn)行了一系列對(duì)比試驗(yàn)。主要結(jié)論如下：

1)基于本方法構(gòu)建的訓(xùn)練集，特征金字塔網(wǎng)絡(luò)能夠在測(cè)試中對(duì)3 264×4 928像素的橋鋼箱梁表面裂縫圖像實(shí)現(xiàn)最大交并比(IoU)為0.78，最小Dice Loss為0.12，表現(xiàn)優(yōu)于將圖像進(jìn)行簡(jiǎn)單縮放構(gòu)建數(shù)據(jù)集訓(xùn)練的模型。

2)采用雙線性插值方法將超大尺寸圖像(3 264×4 928)縮放至1 600×2 400像素或2 112×3 168像素，將會(huì)導(dǎo)致部分裂縫信息丟失，降低裂縫檢測(cè)準(zhǔn)確度。建議采用本方法對(duì)超大尺寸裂縫圖像進(jìn)行拆分，拆分尺寸大小可設(shè)定為480×640。

3)部分裂縫可以為深度學(xué)習(xí)網(wǎng)絡(luò)提供足夠的特征信息。該方法適合于裂縫檢測(cè)任務(wù)，并且該方法對(duì)于裂縫圖像的具體分辨率沒(méi)有嚴(yán)格的要求，為今后的裂縫自動(dòng)檢測(cè)提供了一個(gè)較有潛力的解決方案。