基于塔式池化架構(gòu)的采掘工作面煤巖圖像識別方法

高 峰，殷 欣，劉泉聲，黃 興，伯 音，張全太，王心語

(1.武漢大學(xué) 土木建筑工程學(xué)院，湖北 武漢 430072；2.中國科學(xué)院武漢巖土力學(xué)研究所 巖土力學(xué)與工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430071)

我國煤炭資源豐富,在未來相當(dāng)長時期內(nèi)煤炭仍然是我國的主要能源[1-3]。預(yù)計(jì)2030年和2050年，煤炭占我國一次能源消費(fèi)比例仍將保持在50%和40%以上[4-5]。煤礦智能化是實(shí)現(xiàn)行業(yè)高質(zhì)量發(fā)展的核心技術(shù)支撐和必由之路，其中，煤巖界面的智能識別，是實(shí)現(xiàn)開采、掘進(jìn)智能化和無人化的關(guān)鍵技術(shù)之一。在綜采工作面，煤巖突變是導(dǎo)致井下開采難度增大、效率低下的重要原因[6]，對采煤工作面煤巖分布狀態(tài)的準(zhǔn)確判定是采煤機(jī)參數(shù)智能調(diào)節(jié)的必要前置條件；在巷道掘進(jìn)工作面，對掘進(jìn)工作面內(nèi)的煤巖分界線進(jìn)行快速且準(zhǔn)確的識別和定位，是實(shí)現(xiàn)智能化跟頂、跟底掘進(jìn)工藝的重要基礎(chǔ)。然而，受限于煤礦井下復(fù)雜的環(huán)境條件，如何在采煤和掘進(jìn)工作面內(nèi)實(shí)現(xiàn)高精度的煤巖識別，是煤礦行業(yè)內(nèi)遲遲未能得到有效解決的技術(shù)難題之一，極大制約了煤礦智能化的進(jìn)步與發(fā)展。

多年來，為解決煤-巖的分類與識別問題，國內(nèi)外研究人員從不同的專業(yè)領(lǐng)域提出了多種解決方案。楊恩等[7]根據(jù)煤巖樣本在近紅外波段反射光譜曲線上的差異性表現(xiàn)，在實(shí)驗(yàn)室條件下提出了基于聚類距離改進(jìn)型模糊C均值聚類(FCM)算法的典型煤巖反射光譜無監(jiān)督感知方法。張強(qiáng)等[8]采集了采煤機(jī)工作條件下截齒的振動加速度信號、振動頻譜圖、齒尖紅外閃溫值和溫度-頻數(shù)圖像，從截齒的振動信號和紅外熱像信號的角度對煤巖識別問題進(jìn)行了研究。田立勇等[9]以采煤機(jī)搖臂銷軸為研究對象，通過對銷軸應(yīng)變數(shù)據(jù)以數(shù)據(jù)融合的方法進(jìn)行處理，降低了識別誤差。李力等[10-11]利用煤與巖的聲阻抗差異以及相控陣技術(shù),提出了基于超聲相控陣的煤巖界面識別方法?？傮w來講，受煤礦井下開采過程中復(fù)雜環(huán)境因素(如粉塵、振動、淋水等)和傳感器性能制約，上述解決方案的技術(shù)成熟度較之現(xiàn)場部署應(yīng)用的需求仍有不小的進(jìn)步空間。

基于圖像的煤巖識別技術(shù)是解決煤巖識別問題的另一個重要研究方向，國內(nèi)外眾多學(xué)者在該方向取得了許多有意義的研究進(jìn)展。伍云霞等[12]在圖像特征提取中引入了局部約束的字典優(yōu)化模型，提高了支持向量機(jī)算法對煤巖圖像分類的識別率。黃蕾等[13]提出了一種基于變差函數(shù)和局部方差圖的煤巖紋理特征提取算法，實(shí)現(xiàn)了對局部二值模式丟失信息的再利用。近年來，以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)在世界范圍內(nèi)取得了快速的發(fā)展，包括圖像識別在內(nèi)的二維數(shù)據(jù)特征提取、回歸和分類問題在深度學(xué)習(xí)思想的有力推動下實(shí)現(xiàn)了巨大的進(jìn)步。王星等[14]基于對抗生成網(wǎng)絡(luò)，提出了Var-ConSinGAN模型，用以在數(shù)據(jù)庫容量有限的情況下擴(kuò)充煤-巖圖像數(shù)據(jù)集。司壘等[15]將用于醫(yī)學(xué)圖像分割的U-Net模型引入煤巖識別領(lǐng)域，并分別在實(shí)驗(yàn)室和井下綜采工作面現(xiàn)場對算法性能進(jìn)行了測試。然而，目前基于深度學(xué)習(xí)技術(shù)的煤巖圖像識別研究尚處于發(fā)展階段，在對條帶狀分布的小范圍夾矸檢測、煤-巖模糊邊緣輪廓(如炭化泥巖與煤層間的模糊分界線)識別、不同環(huán)境條件下的算法適用性等實(shí)際場景應(yīng)用中所面臨問題的應(yīng)對上仍存在眾多挑戰(zhàn)。

當(dāng)前應(yīng)用于煤巖識別的算法模型大多基于全卷積網(wǎng)絡(luò)(FCN)算法框架，并利用深度卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)化算法對于動態(tài)對象的理解能力[16]，但考慮到實(shí)際采煤和掘進(jìn)工作面內(nèi)的復(fù)雜環(huán)境，現(xiàn)有技術(shù)方案往往存在誤判的可能，如將淋水、暗光、存在閃光燈反光等綜合性不利條件下的沉積巖層錯誤的識別為煤層等。為進(jìn)一步解決復(fù)雜場景下基于圖像的煤巖識別問題，筆者將以塔式池化技術(shù)為核心，融合深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，構(gòu)建一種可表征全局先驗(yàn)信息的煤巖圖像分割模型(Coal-Rock Pyramid Network，CRPN)，通過塔式場景解析架構(gòu)，將難以獲取的全景信息特征嵌入到模型框架內(nèi)，實(shí)現(xiàn)像素級別的煤巖區(qū)域劃分。

1 基于塔式池化架構(gòu)的煤巖圖像分割網(wǎng)絡(luò)模型架構(gòu)設(shè)計(jì)

1.1 CRPN網(wǎng)絡(luò)模型整體架構(gòu)

在實(shí)際煤巖識別任務(wù)中，采煤工作面或掘進(jìn)工作面目標(biāo)區(qū)域內(nèi)的煤、巖分布將占據(jù)防爆相機(jī)所獲取圖像內(nèi)容的絕大部分空間。從生產(chǎn)實(shí)際的角度出發(fā)，一些過于細(xì)微的局部夾矸情況往往不會對具體工況造成實(shí)質(zhì)性影響。因此，相比于微小目標(biāo)的識別，面向采煤工作面和掘進(jìn)工作面的煤巖圖像識別技術(shù)應(yīng)更加注重對較大范圍目標(biāo)的識別準(zhǔn)確性。筆者從增強(qiáng)全局信息的角度出發(fā)，設(shè)計(jì)了一種基于塔式池化架構(gòu)的煤巖圖像分割網(wǎng)絡(luò)模型(Coal-Rock Pyramid Network，CRPN)，該模型的主要結(jié)構(gòu)如圖1所示。

圖1 CRPN模型主要結(jié)構(gòu)

CRPN模型可劃分為3個主要的計(jì)算流程：

(1)第1階段計(jì)算的主要目的是進(jìn)行特征提取，輸入圖像后，使用深度可分離卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建特征提取網(wǎng)絡(luò)，實(shí)現(xiàn)對輸入圖像的編碼。在深度可分離網(wǎng)絡(luò)中使用了空洞卷積和嵌入全局注意力機(jī)制的殘差卷積模塊，拓展感受野，強(qiáng)化有效特征。經(jīng)提取特征后，輸出尺寸為原圖1/8大小的特征圖，進(jìn)入下一階段計(jì)算。

(2)第2階段為基于塔式池化架構(gòu)的特征圖解碼計(jì)算，通過將池化計(jì)算嵌入塔式分解架構(gòu)，弱化了特征圖內(nèi)部不同區(qū)域之間關(guān)聯(lián)信息的損失，強(qiáng)化了全局信息影響。輸出的特征圖統(tǒng)一為相同的尺度和個數(shù)，經(jīng)上采樣計(jì)算后與輸入特征圖拼接，進(jìn)入下一階段計(jì)算。

(3)第3階段執(zhí)行網(wǎng)絡(luò)的預(yù)測輸出，將前2個階段計(jì)算后獲得的特征圖經(jīng)過多層卷積神經(jīng)網(wǎng)絡(luò)，重新映射到原始輸入煤巖圖像中的每一個像素點(diǎn)，實(shí)現(xiàn)像素級別的煤巖圖像識別預(yù)測。

筆者提出的CRPN模型的核心技術(shù)體現(xiàn)在4個方面：采用深度可分離卷積構(gòu)建的特征提取網(wǎng)絡(luò)、使用空洞卷積擴(kuò)大特征圖的感受野、嵌入全局注意力機(jī)制的殘差卷積模塊、基于空間塔式池化架構(gòu)的計(jì)算框架，上述4項(xiàng)核心技術(shù)將在下文進(jìn)行詳細(xì)介紹。

1.2 深度可分離卷積構(gòu)建特征提取網(wǎng)絡(luò)

在輸入圖像的編碼部分，筆者提出的CRPN算法采用了深度可分離卷積，以盡量可能小的計(jì)算量實(shí)現(xiàn)對原始輸入圖像煤、巖區(qū)域特征的準(zhǔn)確提取，提高算法的運(yùn)行效率。

標(biāo)準(zhǔn)卷積計(jì)算過程中，所有通道上的輸入特征圖都會同時進(jìn)行卷積計(jì)算(圖2)。深度可分離卷積與標(biāo)準(zhǔn)卷積計(jì)算的主要區(qū)別在于，將空間維度和通道維度的計(jì)算拆分成為2個子運(yùn)算，即深度卷積計(jì)算(圖3(a))和點(diǎn)向卷積計(jì)算(圖3(b))。

圖2 標(biāo)準(zhǔn)卷積計(jì)算流程

圖3 深度可分離卷積流程

深度卷積計(jì)算的卷積核與特征圖在通道維度上一一對應(yīng)，每個卷積核自身的通道數(shù)為1，計(jì)算后收集到了通道特征，也即深度特征。點(diǎn)向卷積計(jì)算的卷積核尺寸均為1×1，卷積核自身通道數(shù)與輸入特征圖通道數(shù)相同，數(shù)量與輸出特征圖通道數(shù)相同。點(diǎn)向卷積的計(jì)算相當(dāng)于尺寸為1×1的標(biāo)準(zhǔn)卷積計(jì)算，實(shí)現(xiàn)通道之間的特征融合。

將深度卷積計(jì)算和點(diǎn)向卷積計(jì)算結(jié)合，即構(gòu)成了深度可分離卷積的基本框架，假設(shè)輸入特征圖通道數(shù)為M，圖像高、寬尺寸分別為H，W，卷積核尺寸為k×k，輸出特征圖尺度不變，通道改變?yōu)镹，則深度可分離卷積的參數(shù)量PS和計(jì)算量QS分別由式(1),(2)計(jì)算。

PS=Mkk+NM×1×1

(1)

QS=MWHkk+NMWH×1×1

(2)

相對應(yīng)的標(biāo)準(zhǔn)卷積參數(shù)量PC和計(jì)算量QC由式(3),(4)計(jì)算。

PC=N×M×k×k

(3)

QC=N×M×W×H×k×k

(4)

深度可分離卷積的整體計(jì)算效果和標(biāo)準(zhǔn)卷積基本一致，但計(jì)算量和參數(shù)量會大幅減少。以一個輸入張量形式為12×12×4、輸出張量形式為12×12×2、卷積核尺寸為3×3的計(jì)算流程為例，標(biāo)準(zhǔn)卷積計(jì)算參數(shù)為72，計(jì)算量為10 368，而采用深度可分離卷積后，計(jì)算參數(shù)下降至44，計(jì)算量下降至6 336，降度達(dá)到40%。

在實(shí)際算法當(dāng)中，特征圖無論從尺度上還是通道數(shù)量上，都會更為龐雜。表1列舉了目前常用的特征提取網(wǎng)絡(luò)和筆者所提出CRPN特征提取網(wǎng)絡(luò)的參數(shù)量對比，可見采用深度可分離卷積技術(shù)后，減少的參數(shù)量達(dá)到108數(shù)量級，大幅增進(jìn)了算法的運(yùn)行效率。

表1 特征提取網(wǎng)絡(luò)參數(shù)規(guī)模對比

1.3 混合空洞卷積(HDC)擴(kuò)大特征圖感受野

針對應(yīng)用于現(xiàn)場的煤巖圖像識別任務(wù)，全局信息扮演著重要的作用，這一點(diǎn)已在前文中進(jìn)行了論述。落實(shí)到算法研發(fā)層面，則可表征為這樣的需求：應(yīng)當(dāng)在圖像特征提取的過程中盡量增大卷積運(yùn)算的感受野，同時盡量避免降低圖片的分辨率，且不引入額外的參數(shù)及計(jì)算量。為滿足這樣的需求，筆者對特征提取過程中的卷積運(yùn)算形式進(jìn)行了改進(jìn)，采用混合空洞卷積(HDC)技術(shù)[21]替代了標(biāo)準(zhǔn)卷積核，實(shí)現(xiàn)了卷積運(yùn)算感受野的有效拓展。

為增大感受野，在標(biāo)準(zhǔn)卷積運(yùn)算的框架內(nèi)，存在3種理論上可行的解決方案：增加卷積運(yùn)算步長、池化計(jì)算以及采用大尺寸卷積核，但這3種解決方案各有其弊端。卷積運(yùn)算步長的增加會導(dǎo)致特征圖分辨率降低，池化計(jì)算會導(dǎo)致特征信息損失，均不利于后續(xù)算法對目標(biāo)特征的劃分。如若選擇使用大尺寸卷積核，則會顯著增加參數(shù)規(guī)模和計(jì)算量。

而采用空洞卷積技術(shù)，則可以有效規(guī)避上述問題?？斩淳矸e技術(shù)可以形象地總結(jié)為：在輸入圖像的既有像素上，跳過(r-1)個像素點(diǎn)進(jìn)行卷積計(jì)算，或保持輸入圖像不變，在卷積核參數(shù)中插入(r-1)個0值權(quán)重，進(jìn)而達(dá)到擴(kuò)大卷積計(jì)算感受到的空間范圍的目的，其中r為空洞卷積的擴(kuò)張率。在標(biāo)準(zhǔn)卷積核的基礎(chǔ)上執(zhí)行了空洞卷積計(jì)算后，空洞卷積核的尺寸n可由下式計(jì)算：

n=k+(k-1)(r-1)

(5)

式中，k為計(jì)算前的標(biāo)準(zhǔn)卷積核尺寸。

此時，感受野由標(biāo)準(zhǔn)卷積的k×k個像素?cái)U(kuò)展到[k+(r-1)(k+1)]×[k+(r-1)(k+1)]的像素空間，輸出的特征圖高h(yuǎn)1、寬w1為

(6)

(7)

式中，p為填充值；S為步長。

一般情況下，空洞卷積計(jì)算過程中的擴(kuò)張率r是一個常數(shù)，這又帶來一個新的問題，即感受域不連續(xù)。井下采掘工作面煤巖賦存條件復(fù)雜，圖像數(shù)據(jù)中涵蓋大量細(xì)節(jié)信息，采樣點(diǎn)之間過大的離散性將導(dǎo)致細(xì)節(jié)特征無法得到有效提取。為避免上述不利條件，本論文采用了混合空洞卷積(HDC)技術(shù)，通過調(diào)整擴(kuò)張率r的方式，在保證感受野足夠大的前提條件下，避免了對小物體無法表征難題。

以標(biāo)準(zhǔn)卷積核尺寸為3×3的空洞卷積和混合空洞卷積計(jì)算為例進(jìn)行對比，如圖4所示。

圖4 空洞卷積與混合空洞卷積對比

圖4(a)為擴(kuò)張率r=2,2,2時的空洞卷積計(jì)算結(jié)果，圖4(b)為r=1,2,3時的混合空洞卷積計(jì)算結(jié)果。從對比中可以看出，當(dāng)層數(shù)增加時，空洞卷積采樣點(diǎn)變得極為稀疏，丟失了大量的局部信息，這種“網(wǎng)格效應(yīng)”無法保證信息之間的連續(xù)。而采用混合空洞卷積后，第1層保留了完整連續(xù)的3×3區(qū)域，后續(xù)2層通過擴(kuò)張率的調(diào)整，在感受野區(qū)域尺寸相同的條件下，保持了感受野內(nèi)部各采樣點(diǎn)之間的連貫，特征之間的相關(guān)性和局部細(xì)節(jié)特征得到了有效提取。

1.4 嵌入全局注意力機(jī)制的殘差卷積模塊

在基于卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的常規(guī)圖像識別算法模型中，何凱明等[22]提出的殘差卷積(Resnet)模塊是特征提取網(wǎng)絡(luò)設(shè)計(jì)中的常見結(jié)構(gòu)，其目的在于降低網(wǎng)絡(luò)層數(shù)帶來的梯度消失問題，進(jìn)而顯著強(qiáng)化算法模型的計(jì)算能力。常規(guī)的殘差卷積結(jié)構(gòu)如圖5所示，其中，F(xiàn)(x)為神經(jīng)網(wǎng)絡(luò)層加權(quán)求和函數(shù)。

圖5 殘差卷積結(jié)構(gòu)

殘差學(xué)習(xí)的主要技術(shù)手段體現(xiàn)在對模塊輸入、輸出信息的直接相加，這一處理方式從根本上改變了模塊內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)邏輯。在采用殘差卷積技術(shù)前，網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)結(jié)果直接體現(xiàn)為輸出信息，而采用殘差卷積技術(shù)后，內(nèi)部網(wǎng)絡(luò)學(xué)習(xí)的內(nèi)容轉(zhuǎn)變?yōu)檩斎?、輸出信息之間的改變量，進(jìn)而從根本上避免了梯度為0所帶來的困擾，使得后續(xù)的網(wǎng)絡(luò)結(jié)構(gòu)仍然可以接收到有效信息。

殘差卷積改變了網(wǎng)絡(luò)的學(xué)習(xí)邏輯，但沒有改變學(xué)習(xí)模式。殘差卷積的本質(zhì)仍是依賴卷積核所提供局部感受野上的有限信息進(jìn)行特征圖的提取與重構(gòu)，特征通道之間權(quán)重沒有加以區(qū)分，這會帶來一個問題，即全局無關(guān)的特性也可以自由地經(jīng)由網(wǎng)絡(luò)結(jié)構(gòu)向下傳遞，最終對特征信息的準(zhǔn)確性產(chǎn)生負(fù)面影響。

從仿生學(xué)的角度講，卷積神經(jīng)網(wǎng)絡(luò)的這一問題違背了人眼對圖像的感知過程。在井下采煤或掘進(jìn)工作面，人眼對煤壁夾矸情況的判識過程首先是對煤壁整體狀態(tài)進(jìn)行快速掃描，在獲得整體感知的基礎(chǔ)上，再被夾矸區(qū)域的異常狀態(tài)所吸引，繼而投入更高的注意力到夾矸區(qū)域，最后通過對細(xì)節(jié)信息的觀察確定煤巖分界線的具體位置。將這一過程加以提煉和抽象，其關(guān)鍵問題在于對全局注意力機(jī)制的準(zhǔn)確描述和有效表征?；诖?，筆者提出了嵌入注意力機(jī)制的殘差卷積模塊，其主要網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，其中，C為特征圖通道數(shù)。

圖6 嵌入注意力機(jī)制的殘差卷積模塊

模型的主要改進(jìn)點(diǎn)表現(xiàn)在原有經(jīng)典殘差卷積模塊的基礎(chǔ)上新增了一個網(wǎng)絡(luò)分支，用以專門計(jì)算特征通道維度的權(quán)重，在對擬輸出信息加權(quán)處理后再執(zhí)行殘差計(jì)算。新增網(wǎng)絡(luò)分支對注意力機(jī)制的表征分3個步驟實(shí)現(xiàn)：

步驟1：嵌入全局信息。通過式(8)進(jìn)行全局平均池化計(jì)算，將每個通道上的特征圖維度降為1。

(8)

式中,uc為各位置上的特征值；zc為最終的輸出結(jié)果。

該步驟意義在于從每個通道上對特征圖進(jìn)行壓縮，特征圖經(jīng)壓縮后由二維轉(zhuǎn)化為一個一維實(shí)數(shù)，該實(shí)數(shù)天然具備整張?zhí)卣鲌D空間上的全局感受野，體現(xiàn)了人眼對物體整體感知的過程。池化計(jì)算結(jié)束后，最終的輸出結(jié)果為與通道維度一致的一維向量，該向量表征了特征通道上相應(yīng)的全局信息。

步驟2：自適應(yīng)性重調(diào)。引入深度循環(huán)神經(jīng)網(wǎng)絡(luò)中的門控機(jī)制，通過Sigmod激活函數(shù)獲取各通道之間的權(quán)重因子。為了不加深整體模型的參數(shù)復(fù)雜度，筆者使用了2個由ReLU函數(shù)激活的線性全連接神經(jīng)網(wǎng)絡(luò)層對通道間的相關(guān)性進(jìn)行建模，ReLU函數(shù)表達(dá)式如式(9)所示。首先通過一個全連接網(wǎng)絡(luò)層將特征維度降低到輸入的1/a，此處的a為與通道數(shù)量相關(guān)的參數(shù)。經(jīng)ReLU函數(shù)激活后，再由一個全連接網(wǎng)絡(luò)層恢復(fù)原有維度。相對于直接用一個全連接網(wǎng)絡(luò)層處理的傳統(tǒng)處理方式，筆者所提出的方法一方面具備更強(qiáng)的非線性，可以更好地?cái)M合通道間復(fù)雜的相關(guān)性；另一方面也精簡了模型的參數(shù)量和計(jì)算復(fù)雜度。

ReLU(x)=max(0,x)

(9)

步驟3：特征通道加權(quán)。上一步計(jì)算結(jié)束后，經(jīng)Sigmoid函數(shù)輸出，Sigmoid函數(shù)表達(dá)式如式(10)所示。輸出向量維度仍與通道維度一致，該向量表征了通道的權(quán)值信息。通過對特征圖通道維度的加權(quán)處理，實(shí)現(xiàn)全局感知，最終通過殘差計(jì)算完成分支網(wǎng)絡(luò)的嵌入。

(10)

筆者所提出的嵌入注意力機(jī)制的殘差卷積模塊在完成其防止梯度消失本職任務(wù)基礎(chǔ)上，基于全局信息對每個通道進(jìn)行賦值，降低了全局無關(guān)特性對后續(xù)特征圖的不利影響，強(qiáng)化了有效特征，進(jìn)而提升整體算法的訓(xùn)練效率和準(zhǔn)確性。

1.5 基于空間塔式池化架構(gòu)的計(jì)算框架

塔式分解架構(gòu)是一種有效的信號處理技術(shù)，早在20世紀(jì)90年代，就有學(xué)者將其應(yīng)用在圖像等二維信號的離散小波變換處理任務(wù)中[23]，通過利用不同階數(shù)的方向微分算子作為基函數(shù)，獲取不同方向的細(xì)節(jié)特征，形成了以可控塔式分解等為代表的一系列技術(shù)成果[24-25]。進(jìn)入21世紀(jì)，塔式分解架構(gòu)又有了進(jìn)一步的發(fā)展，被應(yīng)用于SVM[26]、特征直方圖[27]等圖像識別領(lǐng)域。隨著近10 a年以來深度學(xué)習(xí)技術(shù)的快速發(fā)展，塔式分解架構(gòu)也被應(yīng)用于深度卷積神經(jīng)網(wǎng)絡(luò)模型中[28]。

常規(guī)的塔式池化架構(gòu)主要目的是用于消除全連接神經(jīng)網(wǎng)絡(luò)對于輸入特征圖大小的固定約束條件。傳統(tǒng)用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)一般可分為卷積網(wǎng)絡(luò)模塊和全連接網(wǎng)絡(luò)模塊，卷積網(wǎng)絡(luò)模塊的參數(shù)集中表征為卷積核，對于任意尺度特征圖的輸入和輸出均可表現(xiàn)出強(qiáng)大的適用性。而承擔(dān)最終輸出任務(wù)的全連接網(wǎng)絡(luò)模塊則對輸入特征圖尺寸極其敏感，其參數(shù)表征為神經(jīng)元之間連接的全部權(quán)重，輸入特征圖的尺寸直接決定了全連接網(wǎng)絡(luò)模塊的參數(shù)數(shù)量。為解決這一問題，一般的操作是在圖像預(yù)處理階段對圖像進(jìn)行縮放或截取，使輸入到模型中的初始圖像尺寸一致，但這樣粗放的預(yù)處理方式往往造成圖像的扭曲或信息損失，降低了識別效率。2015年，何凱明[29]提出了SPPNet，將塔式分解架構(gòu)與池化計(jì)算結(jié)合后引入卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將卷積層輸出的特征圖在不同尺度上進(jìn)行池化計(jì)算，再在各尺度上提取固定維度的特征，最后進(jìn)行特征拼接，以一個固定維度進(jìn)行輸出(圖7)。

圖7 SPPNet采用的塔式池化架構(gòu)

在這種將塔式分解架構(gòu)應(yīng)用于圖像分類任務(wù)的思想啟發(fā)下，筆者提出了適用于煤巖圖像分割任務(wù)的空間塔式池化架構(gòu)(圖11)。需要特別說明的是，筆者所引入的空間塔式池化架構(gòu)與SPPNet有著本質(zhì)的區(qū)別。SPPNet使用塔式架構(gòu)的主要目的是消除圖像分類任務(wù)中全連接網(wǎng)絡(luò)模塊對于輸入特征圖固定大小的約束，而筆者提出的CRPN中，主要目的是為了弱化特征圖內(nèi)部不同區(qū)域之間關(guān)聯(lián)信息的損失，以獲得更多的全局信息。筆者所采用的空間塔式池化架構(gòu)基本結(jié)構(gòu)如圖8所示。

圖8 CRPN采用的空間塔式池化架構(gòu)

筆者將塔式分解架構(gòu)與池化計(jì)算相結(jié)合，作為一種可表征特征圖全局先驗(yàn)信息的多級模塊，以涵蓋不同尺度、不同區(qū)域的信息特征，用于在特征提取網(wǎng)絡(luò)模塊之后實(shí)現(xiàn)全局場景的重構(gòu)。該架構(gòu)通過多層級同步進(jìn)行的計(jì)算流程實(shí)現(xiàn)了各類不同尺度特征的混合。第1層級計(jì)算流程是對輸入的特征層進(jìn)行全局平均池化計(jì)算，后面的各層級計(jì)算流程將輸入的同一個特征圖進(jìn)行區(qū)域劃分，并對劃分后的各區(qū)域分別進(jìn)行全局池化計(jì)算。不同層級的計(jì)算流程將輸出尺度不一的特征圖，通過一個大小為1×1的卷積核進(jìn)行降維，如果總層數(shù)為N，則各層級最終輸出的特征圖數(shù)量為輸入數(shù)量的1/N，以便最終拼接后與輸入特征圖個數(shù)保持一致。

經(jīng)降維計(jì)算后，各層級輸出的特征圖尺寸、數(shù)量均相同，統(tǒng)一使用雙線性差值法進(jìn)行上采樣計(jì)算，恢復(fù)到原始輸入特征圖大小。雙線性插值法計(jì)算過程如圖9所示，其中，R1，R2為雙線性插值中間過程變量。在已知Q11(x1,y1)，Q12(x1,y2),Q21(x2,y1) 以及Q22(x2,y2) 四點(diǎn)取值的條件下，在x，y雙向進(jìn)行線性插值，經(jīng)式(11)計(jì)算，求得未知點(diǎn)P處的取值f(x,y)，實(shí)現(xiàn)特征圖的上采樣重構(gòu)。

圖9 雙線性插值

(11)

各層級計(jì)算流程重構(gòu)后的特征圖尺度與輸入尺度相同，將所有重構(gòu)后的特征圖與原始輸入特征圖進(jìn)行特征拼接，作為空間塔式池化架構(gòu)最終的輸出。

空間塔式池化架構(gòu)的層級數(shù)量和各層級輸出特征圖的尺寸均可根據(jù)原始輸入圖像而自定義調(diào)整?？紤]到整體架構(gòu)對于區(qū)域特征的提取是通過不同尺度的池化核計(jì)算完成，因此各層級間采用的池化核尺寸應(yīng)保持合理的梯度。筆者用在CRPN算法中的空間塔式池化架構(gòu)包含4個層級，各層級池化核尺寸分別為1×1，2×2，3×3和6×6。

2 現(xiàn)場原位煤巖高清圖像數(shù)據(jù)庫

為保證算法在井下實(shí)際采煤、掘進(jìn)工況下現(xiàn)場應(yīng)用的可靠性，對煤礦井下薄煤層采煤工作面原位煤巖圖像進(jìn)行了信息采集。借助高感光度本安型單反數(shù)碼相機(jī)，在暗光條件下獲取了包含煤巖分布的高清圖像。經(jīng)過扭曲、縮放、翻轉(zhuǎn)、添加噪聲等圖像預(yù)處理方式，擴(kuò)充了訓(xùn)練樣本庫，使用Labelme軟件對圖像樣本進(jìn)行標(biāo)注，生成與訓(xùn)練樣本相對應(yīng)的標(biāo)注信息文件，完成數(shù)據(jù)庫的搭建。數(shù)據(jù)庫中含有6 400個有效樣本，可以滿足算法的訓(xùn)練、驗(yàn)證、測試要求。

2.1 原始數(shù)據(jù)采集

煤巖原始圖像數(shù)據(jù)采集自陜西省神木市某礦井薄煤層綜采工作面、陜西省咸陽市大佛寺煤礦掘進(jìn)工作面。圖像采集設(shè)備為高感光度本安型單反數(shù)碼相機(jī)，該相機(jī)可獲得感光度最大值為ISO40000，最高分辨率為6 240×4 160(2 600萬像素)，具備暗光條件下高清圖像的拍攝能力，高感光度本安型單反數(shù)碼相機(jī)詳細(xì)參數(shù)見表2。

表2 高感光度本安型單反相機(jī)參數(shù)

通過高感光度本安型單反數(shù)碼相機(jī)在薄煤層綜采工作面拍攝到的井下原位煤巖圖像如圖10所示。圖像拍攝點(diǎn)為煤巖分界線附近，主要分為4類圖像，即煤巖完整類(圖10(a))、裂隙陰影類(圖10(b))、暗光類(圖10(c))、暗光且有支護(hù)遮擋類(圖10(d))，基本反映了煤巖識別算法應(yīng)用過程中可能面對的煤巖分布常見環(huán)境條件，網(wǎng)絡(luò)模型訓(xùn)練數(shù)據(jù)庫圖像合計(jì)496張。

圖10 井下原位圖像

2.2 數(shù)據(jù)預(yù)處理方法

煤礦井下環(huán)境條件復(fù)雜，對圖像數(shù)據(jù)往往造成干擾，因此在模型的訓(xùn)練過程中，應(yīng)對訓(xùn)練集圖像進(jìn)行噪聲添加。同時，為防止算法在訓(xùn)練過程中因樣本數(shù)量過少出現(xiàn)過擬合，在圖像預(yù)處理過程中也需要對原始樣本集進(jìn)行數(shù)據(jù)擴(kuò)充。筆者主要采用數(shù)據(jù)處理手段有：添加噪聲、改變圖像特征和改變圖像形態(tài)。其中，添加噪聲方式包括高斯噪聲、椒鹽噪聲、泊松噪聲和均勻噪聲，改變圖像特征方式包括色溫和對比度的改變，改變圖像形態(tài)方式包括長寬扭曲和旋轉(zhuǎn)。經(jīng)預(yù)處理后的圖像統(tǒng)一尺寸為320 pix×212 pix，如圖11所示。

圖11 經(jīng)預(yù)處理后的圖像形態(tài)

2.3 煤巖圖像數(shù)據(jù)庫的建立

應(yīng)用于CRPN算法模型訓(xùn)練的完整數(shù)據(jù)庫，除樣本集圖像外還應(yīng)包括詳盡的標(biāo)注信息，在有監(jiān)督學(xué)習(xí)過程中提供正確的先驗(yàn)信息。筆者使用Lableme軟件完成對訓(xùn)練樣本的標(biāo)注及標(biāo)簽文件的生成工作。

在實(shí)際工況下，由于節(jié)理、裂隙的存在，可能出現(xiàn)光線遮擋，形成陰影區(qū)域，無法判斷煤巖條件。為更加緊密的貼合實(shí)際應(yīng)用環(huán)境，在數(shù)據(jù)標(biāo)注過程中，將圖像區(qū)域劃分為3類：煤、巖、陰影。標(biāo)注完成后，經(jīng)軟件處理，形成格式為24位圖的標(biāo)簽圖像，如圖12所示。

3 模型學(xué)習(xí)訓(xùn)練

3.1 訓(xùn)練環(huán)境

為提高計(jì)算效率，筆者利用GPU在執(zhí)行浮點(diǎn)運(yùn)算過程中可大批量并行的計(jì)算優(yōu)勢，通過CUDA調(diào)用GPU硬件，在GPU加速環(huán)境下對CRPN算法模型進(jìn)行訓(xùn)練。具體硬件、軟件環(huán)境見表3。

3.2 損失函數(shù)設(shè)計(jì)

筆者提出的CRPN算法是一種面向圖像的像素級分類算法，通過對煤巖圖像的編碼與解碼，判定圖像每個像素的所屬類別，繼而實(shí)現(xiàn)圖像煤、巖及陰影區(qū)域的分割。經(jīng)編碼與解碼后，CRPN算法會計(jì)算得到各像素點(diǎn)屬于各類別的分值，該分值經(jīng)過softmax函數(shù)轉(zhuǎn)化為最終的概率輸出，softmax函數(shù)表達(dá)式為

(12)

式中，xs為softmax函數(shù)輸入向量中的分量。

算法在完成訓(xùn)練前，其預(yù)測得到的類別概率值往往存在較大的偏差，需要通過損失函數(shù)計(jì)算數(shù)據(jù)庫內(nèi)對應(yīng)標(biāo)簽文件中真值與輸出概率值之間的錯誤程度，即損失值，該損失值即作為算法的整體優(yōu)化目標(biāo)。因此，損失函數(shù)在算法訓(xùn)練中扮演關(guān)鍵角色。本文選擇交叉熵?fù)p失函數(shù)J作為CRPN算法訓(xùn)練過程中的損失函數(shù)，其表達(dá)式為

(13)

其中，M1為類別的數(shù)量；c為類別序號；δc為對應(yīng)類別c的指示變量，當(dāng)算法分類正確時取1，否則取0；pc為對于觀測樣本屬于類別c的預(yù)測概率。一般情況下，對數(shù)以e為底。

訓(xùn)練優(yōu)化過程中，損失函數(shù)對算法模型中各神經(jīng)元權(quán)值求偏導(dǎo)，由鏈?zhǔn)椒▌t可拆分為3項(xiàng)偏導(dǎo)的乘積：

(14)

式中，sci為解碼后屬于類別i的得分；wj為第j個權(quán)值參數(shù)；pk為屬于類別k的輸出概率。

將3項(xiàng)分別計(jì)算后，可得到損失函數(shù)對權(quán)值參數(shù)求偏導(dǎo)的最終表達(dá)式為

(15)

由于CRPN算法面對的是分類問題，δi，δk為對應(yīng)類別i，k的指示變量，只有在分類正確時取1，其他類別均取0；xj為與權(quán)重wj對應(yīng)的輸入分量；σ為式(12)確定的概率輸出函數(shù)。因此，最終求得的梯度為

(16)

在使用優(yōu)化算法對參數(shù)更新的過程中，學(xué)習(xí)速度由學(xué)習(xí)率和梯度決定。學(xué)習(xí)率通常為提前設(shè)定的超參數(shù)，梯度由損失函數(shù)決定。由式(16)可知，梯度大小取決于xj和[σ(yi)-yi]，后者反映了模型的錯誤程度。錯誤程度越大，則求得偏導(dǎo)數(shù)值越高，模型學(xué)習(xí)速度越快。因此，使用交叉熵?fù)p失函數(shù)可以根據(jù)模型錯誤程度調(diào)控學(xué)習(xí)速率，很好地衡量了算法訓(xùn)練效果。

3.3 優(yōu)化算法設(shè)計(jì)

在通過損失函數(shù)將損失值確立為算法的整體優(yōu)化目標(biāo)后，訓(xùn)練的主要目標(biāo)即轉(zhuǎn)變?yōu)榻柚线m的優(yōu)化算法，參數(shù)不斷迭代更新，使損失值達(dá)到最小。常用的優(yōu)化算法有隨機(jī)梯度下降(SGD)[29]、自適應(yīng)矩估計(jì)(Adam)[30]等，不同的優(yōu)化算法之間各有利弊：SGD收斂較好，但計(jì)算速度慢；Adam算法計(jì)算效率高，但容易陷入局部最優(yōu)解。

為了兼顧訓(xùn)練效率和精度，筆者使用了由LIU Liyuan[31]于2019年提出的修正自適應(yīng)矩估計(jì)(Rectified Adam)優(yōu)化算法。該算法通過控制自適應(yīng)率的方差改進(jìn)了標(biāo)準(zhǔn)Adam算法的訓(xùn)練效果，兼有Adam和SGD兩者的優(yōu)點(diǎn)，既能保證收斂速度快，也不容易掉入局部最優(yōu)解，而且收斂結(jié)果對學(xué)習(xí)率的初始值非常不敏感。煤礦井下環(huán)境復(fù)雜，工作面獲取的圖像往往干擾較大，Rectified Adam算法魯棒性較高的特點(diǎn)適合用于煤巖圖像識別任務(wù)。其具體步驟如下

算法輸入?yún)?shù)為：步長st；衰減率α1,α2，用于計(jì)算移動均值和移動方差；初始參數(shù)θ0；損失函數(shù)Jt(θ)。

步驟1，將移動量的期望和方差初始化為μ0=0，σ0=0，計(jì)算出簡單移動平均值(SMA)的最大長度ρ∞：

(17)

步驟2，計(jì)算第t步時的梯度gt：

gt=ΔθJt(θt-1)

(18)

式中，θt-1為t-1時步的參數(shù)值。

步驟3，計(jì)算移動量的方差σt：

(19)

步驟4，計(jì)算移動量的期望μt：

μt=α1μt-1+(1-α1)gt

(20)

步驟5，計(jì)算移動偏差的修正εt：

(21)

步驟6，計(jì)算簡單移動平均值的最大值ρt：

(22)

步驟7，更新參數(shù)。如果ρ∞大于4，那么先計(jì)算移動量方差的修正值lt和方差修正范圍rt：

(23)

(24)

再使用自適應(yīng)性動量更新參數(shù)

θt=θt-1-strtεtlt

(25)

如果ρ∞≤4，則使用非自適應(yīng)動量更新參數(shù)

θt=θt-1-stεt

(26)

步驟8，判斷參數(shù)是否收斂，若收斂則結(jié)束計(jì)算，未收斂則重復(fù)步驟2～8。

筆者提出的CRPN網(wǎng)絡(luò)模型在Rectified Adam算法下進(jìn)行了50次迭代訓(xùn)練，訓(xùn)練過程中的正確率和損失值變化曲線如圖13所示。

圖13 模型訓(xùn)練效果

4 煤巖識別效果及驗(yàn)證

為驗(yàn)證和討論筆者提出的CRPN算法模型在井下工作面煤巖圖像識別任務(wù)中的應(yīng)用效果，選擇Segnet網(wǎng)絡(luò)、U-net網(wǎng)絡(luò)等常用圖像分割模型進(jìn)行對比分析。

4.1 主觀分析

現(xiàn)場原位煤巖圖像數(shù)據(jù)庫中用于測試的圖像數(shù)量合計(jì)600張，圖像尺寸統(tǒng)一為320 pix×212 pix。將筆者提出的CRPN模型與Segnet網(wǎng)絡(luò)模型、U-net網(wǎng)絡(luò)模型分別應(yīng)用于測試數(shù)據(jù)集，執(zhí)行煤巖圖像識別任務(wù)，特征提取網(wǎng)絡(luò)統(tǒng)一采用深度可分離網(wǎng)絡(luò)模型，各算法識別效果如圖14所示。

受篇幅所限，圖14中選擇8組典型識別結(jié)果進(jìn)行展示，由左至右分別為原始輸入圖像、CRPN-HDC(使用混合空洞卷積結(jié)構(gòu)的CRPN模型)識別效果、CRPN-DC(使用常規(guī)空洞卷積結(jié)構(gòu)的CRPN模型)識別效果、U-net識別效果、Segnet識別效果。為便于展示，識別結(jié)果統(tǒng)一采用原圖覆蓋，綠色區(qū)域?yàn)樗惴ㄗR別的煤壁區(qū)域，紅色區(qū)域?yàn)樗惴ㄗR別的巖壁區(qū)域，黑色區(qū)域?yàn)殛幱皡^(qū)域。

圖14可以看出，Segnet算法模型識別準(zhǔn)確性較低，甚至在一些圖像中出現(xiàn)了較大規(guī)模的識別錯誤。CRPN和U-net可以在無掛網(wǎng)支護(hù)遮擋的情況下有效區(qū)分出主要的煤、巖和陰影區(qū)域，但在有掛網(wǎng)支護(hù)遮擋時，U-net的煤巖識別顯著降低，而筆者提出的CRPN則保持了識別準(zhǔn)確性。此外，使用了混合空洞卷積的CRPN-HDC模型在細(xì)節(jié)處理上的判識效果更好，對煤巖分界線處的識別準(zhǔn)確性更高。

4.2 客觀分析

對各算法模型煤巖識別效果進(jìn)行定量的客觀分析，筆者采用了像素準(zhǔn)確度(PA)和交并比(IOU)作為主要評價指標(biāo)。

PA指標(biāo)表征圖像中正確預(yù)測分類的像素所占百分比，如圖15所示，圖15(a)為各像素的真實(shí)類別，圖15(b)為算法預(yù)測得到的像素分類，圖15(c)為各像素點(diǎn)的屬性，PA指標(biāo)的計(jì)算公式如式(27)所示。

圖15 PA指標(biāo)計(jì)算過程

(27)

式中，Tm為像素點(diǎn)屬于煤，且分類正確；Ty為該像素點(diǎn)屬于巖，且分類正確;Fm為該像素點(diǎn)本應(yīng)屬于煤，但分類錯誤；Fy為該像素點(diǎn)本應(yīng)屬于巖，但分類錯誤。

IOU指標(biāo)表征圖像中各像素真實(shí)類別與預(yù)測類別之間的重疊程度，通過像素真實(shí)值與預(yù)測值交集與并集之間的比值進(jìn)行計(jì)算：

(28)

式中，ti為屬于i類的像素總數(shù);nji為預(yù)測類別為j而實(shí)際類別為i的像素總數(shù);nii為預(yù)測正確的像素總數(shù)。

在現(xiàn)場原位煤巖圖像數(shù)據(jù)庫中的測試圖集上，使用PA指標(biāo)、IOU指標(biāo)和模型計(jì)算速度分別對CRPN-HDC模型、CRPN-DC模型、Unet模型和Segnet模型的煤巖識別結(jié)果進(jìn)行定量評估，評估結(jié)果見表4。

通過對表4，表5中評估結(jié)果分析可以發(fā)現(xiàn)，筆者提出的CRPN模型對于井下原位煤巖圖像的識別結(jié)果在PA和IOU指標(biāo)下分別取得了96.38%和91.67% 的平均分值，在參與對比的算法模型中表現(xiàn)最佳。由表6可知，CRPN模型單張圖像計(jì)算時間平均值為0.037 s，由于CRPN模型復(fù)雜度高于對比模型，因此在統(tǒng)一采用深度可分離網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)的條件下在參與對比的算法模型中計(jì)算時間最長，但其0.037 s 的平均識別時間對應(yīng)幀率為27.02 fps，高于井下防爆攝像設(shè)備25 fps的成像能力，故本模型具備現(xiàn)場應(yīng)用部署條件。

表4 PA評估得分

表5 IOU評估得分

表6 單張圖像計(jì)算速度

4.3 井下現(xiàn)場動態(tài)驗(yàn)證試驗(yàn)

在模型訓(xùn)練完成后，將訓(xùn)練好的CRPN算法模型應(yīng)用于含有煤巖分界線的井下現(xiàn)場視頻，進(jìn)行動態(tài)條件下的應(yīng)用測試。視頻拍攝自陜西省神木市某礦井薄煤層綜采工作面，采用高感光度本安型單反數(shù)碼相機(jī)拍攝，清晰度為1 080P高清視頻，視頻格式為MP4。將CPRN算法模型、U-net算法模型分別應(yīng)用于同一段視頻，對比展示應(yīng)用效果，如圖16所示。

當(dāng)視頻穩(wěn)定拍攝時，圖像清晰度高，CRPN模型和U-net模型均可以取得良好的識別效果(圖16(a)，16(b))。但當(dāng)相機(jī)移動、抖動、振動而造成視頻圖像模糊時，CPRN算法的識別準(zhǔn)確性顯著強(qiáng)于U-net模型(圖16(c),(d))。CRPN算法在預(yù)測過程中會關(guān)注到更多的全局信息，因此具備更強(qiáng)的魯棒性，更適合應(yīng)用于煤礦井下對采、掘工作面煤巖分布狀態(tài)的移動監(jiān)測。

圖16 不同網(wǎng)絡(luò)模型動態(tài)識別效果對比

5 結(jié) 論

(1)基于塔式池化架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)提出了一種新的煤巖圖像分割算法模型(CRPN)，該模型使用深度可分離卷積構(gòu)建了特征提取網(wǎng)絡(luò)，顯著降低了計(jì)算量。使用混合空洞卷積核替代標(biāo)準(zhǔn)卷積核，拓展了特征圖的感受野。在殘差卷積模塊中嵌入全局注意力機(jī)制，從全局信息的角度強(qiáng)化了有效特征。采用基于塔式池化架構(gòu)的計(jì)算框架，弱化了特征圖內(nèi)部不同區(qū)域之間關(guān)聯(lián)信息的損失，獲得了更多的全局信息。

(2)采集了薄煤層采煤工作面的煤巖圖像信息，構(gòu)建了煤礦井下原位煤巖高清圖像數(shù)據(jù)庫，涵蓋了煤巖完整類、裂隙陰影類、暗光類等圖像采集過程中可能面對的3類常見環(huán)境條件。經(jīng)過添加噪聲、改變圖像特征和形態(tài)等數(shù)據(jù)預(yù)處理和信息標(biāo)注，共形成6 400個有效樣本。

(3)提出了基于交叉熵?fù)p失函數(shù)和修正自適應(yīng)矩估計(jì)的模型訓(xùn)練優(yōu)化算法。使用PA和IOU指標(biāo)對訓(xùn)練后的CRPN模型煤巖識別效果進(jìn)行評估，分別取得了96.05%和91.54%的平均分值，優(yōu)于現(xiàn)有圖像分割模型。將訓(xùn)練后的CRPN模型應(yīng)用于工作面現(xiàn)場的動態(tài)視頻，結(jié)果表明在穩(wěn)定和抖動條件下均取得了良好的煤巖識別效果，驗(yàn)證了該方法的魯棒性和實(shí)用性。