采煤機(jī)截割部低照度圖像的邊緣檢測(cè)技術(shù)

賈澎濤，靳路偉,*，王 斌，郭風(fēng)景，李 娜

(1.西安科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，陜西 西安 710054；2.陜西建新煤化有限責(zé)任公司，陜西 黃陵 727300；3.陜西陜煤蒲白礦業(yè)有限公司，陜西 渭南 715517)

采煤機(jī)作為開采煤礦資源的關(guān)鍵設(shè)備之一，其設(shè)備健康狀態(tài)直接影響采煤效率及煤礦安全。采用視覺(jué)識(shí)別技術(shù)對(duì)采煤機(jī)截割部進(jìn)行軌跡識(shí)別以避免故障的發(fā)生是當(dāng)前研究的熱點(diǎn)。在采煤機(jī)的運(yùn)行過(guò)程中，由于礦井復(fù)雜的地質(zhì)條件，常常會(huì)導(dǎo)致采煤機(jī)截割部偏離預(yù)設(shè)軌跡而碰撞煤巖引發(fā)故障。通過(guò)對(duì)采煤機(jī)截割部進(jìn)行邊緣檢測(cè)，可以幫助識(shí)別其運(yùn)行軌跡，從而及時(shí)對(duì)其運(yùn)行軌跡進(jìn)行糾偏，提高采煤機(jī)運(yùn)行的安全性和可靠性。因此如何準(zhǔn)確地檢測(cè)采煤機(jī)截割部邊緣成為確保采煤機(jī)安全運(yùn)行的關(guān)鍵技術(shù)[1-2]，但是井下復(fù)雜的多塵、低照度環(huán)境，對(duì)采煤機(jī)的邊緣檢測(cè)提出了挑戰(zhàn)。

目前常用的邊緣檢測(cè)方法主要有整數(shù)階微分和分?jǐn)?shù)階微分方法，其中整數(shù)階微分又可以分為一階整數(shù)微分算子和二階整數(shù)微分算子。一階整數(shù)微分算子包括Roberts 算子、Prewitt 算子以及Sobel 算子等，二階整數(shù)微分算子包括Laplacian 算子、LOG 算子。但是常用的一階微分算子所檢測(cè)的邊緣往往較粗、不夠精細(xì)；二階整數(shù)微分算子雖然對(duì)梯度信息更加敏感，可以得到較細(xì)的邊緣，但同時(shí)也放大了噪聲信息。由于分?jǐn)?shù)階微分具有對(duì)噪聲不敏感且所提取邊緣較為精細(xì)的特點(diǎn)，逐漸成為了學(xué)者研究的熱點(diǎn)[3-7]。

分?jǐn)?shù)階微分是整數(shù)階微分的一種擴(kuò)展。為了提高整數(shù)階微分算子檢測(cè)精度，學(xué)者們陸續(xù)提出了基于Grünwald-Letnikov 的改進(jìn)分?jǐn)?shù)階微分算子[8]、與Otsu 閾值相結(jié)合的分?jǐn)?shù)階微分算子[9]、自適應(yīng)的分?jǐn)?shù)階算子[10]、與灰色理論相結(jié)合的分?jǐn)?shù)階微分算子[11]等，逐步地提高了圖像邊緣檢測(cè)的精度。但在對(duì)含噪、低光照?qǐng)D像進(jìn)行邊緣檢測(cè)時(shí)，上述這些方法提取的圖像邊緣信息效果較差。

為了提升分?jǐn)?shù)階微分算子的抗噪性和魯棒性[12-15]，學(xué)者們提出了高階Caputo-Fabrizio 分?jǐn)?shù)階微分掩膜算子[16]、彩色圖像分?jǐn)?shù)階微分算子[17]、改進(jìn)的分?jǐn)?shù)階Sobel 算子[18]等，在提升圖像對(duì)比度或抗噪性方面都有一定的效果，但仍存在邊緣缺失、細(xì)節(jié)模糊等問(wèn)題。因此，針對(duì)低照度條件下采煤機(jī)設(shè)備的邊緣檢測(cè)需求，提出了一種基于局部特征的分?jǐn)?shù)階微分圖像邊緣檢測(cè)Lif 算法，在有效提取圖像邊緣信息的同時(shí)能夠保留更多的紋理細(xì)節(jié)信息并較好地抑制圖像中的噪聲，為后期的采煤機(jī)截割部邊緣識(shí)別奠定了基礎(chǔ)。

1 基礎(chǔ)理論

分?jǐn)?shù)階微分可以對(duì)非整數(shù)階的導(dǎo)數(shù)進(jìn)行描述，其函數(shù)在局部區(qū)域內(nèi)呈現(xiàn)出連續(xù)但非光滑的特性。使用分?jǐn)?shù)階微分算子進(jìn)行邊緣檢測(cè)任務(wù)時(shí)，通過(guò)調(diào)整分?jǐn)?shù)階微分算子的參數(shù)，可以在圖像中捕捉不同尺度的邊緣信息，從而使提取的圖像邊緣更為精細(xì)、清晰且包含更多的紋理細(xì)節(jié)。

分?jǐn)?shù)階微分有3 種不同的定義方式：G-L 定義[19]、R-L 定義以及Caputo 定義[20]。G-L 定義相對(duì)其他的微分定義更為精確，因此成為最常用的一種非整型分?jǐn)?shù)階微分定義，G-L 分?jǐn)?shù)階微積分表達(dá)式為：

其中，伽馬函數(shù) Γ(n)為：

2 基于局部特征的分?jǐn)?shù)階微分算子構(gòu)造

2.1 算法思想

基于局部特征的分?jǐn)?shù)階微分圖像邊緣檢測(cè)Lif 算法的思想為：首先，按照分?jǐn)?shù)階微分的定義構(gòu)造相應(yīng)的微分掩膜算子。然后，根據(jù)Pascal 三角形理論推導(dǎo)出掩膜算子每個(gè)位置所對(duì)應(yīng)的權(quán)重系數(shù)，考慮到圖像中不同方向的邊緣信息，還將掩膜算子擴(kuò)展到0°、90°、45°、135° 4 個(gè)方向上，使所構(gòu)建的掩膜算子可以全面地捕捉圖像中的邊緣信息。最后，得到不同方向上的算子卷積結(jié)果后，對(duì)每個(gè)結(jié)果進(jìn)行基于局部信息的后處理操作，使算子可以根據(jù)局部信息自適應(yīng)地調(diào)整輸出像素值，從而在處理井下等低照度圖像時(shí)具備更強(qiáng)的抗噪性，并保留更多的紋理細(xì)節(jié)信息。

2.2 算法描述

在設(shè)計(jì)Lif 算法時(shí)，首先構(gòu)造相應(yīng)的分?jǐn)?shù)階微分掩膜算子并將其擴(kuò)展到不同的方向上。根據(jù)分?jǐn)?shù)階微分的定義，將其對(duì)應(yīng)的一元a階微分表達(dá)式擴(kuò)展到二維，得到二維分?jǐn)?shù)階微分的差分表達(dá)式，因此，0°方向左側(cè)上的表達(dá)式為：

根據(jù)以上條件可得0°方向右側(cè)上的表達(dá)式為：

因此，將式(3)及式(4)相加，可得0°方向上左右兩側(cè)的表達(dá)式為：

同理，將分?jǐn)?shù)階微分推廣到其余方向上，可得90°方向上左右兩側(cè)的表達(dá)式為：

45°方向上左右兩側(cè)的表達(dá)式為：

135°方向上左右兩側(cè)的表達(dá)式為：

根據(jù)以上表達(dá)式，可得到每個(gè)方向上的分?jǐn)?shù)階掩膜算子，以0°、90°方向上為例，如圖1、圖2 所示，其中，圖1、圖2 中掩膜算子相應(yīng)位置系數(shù)與上述表達(dá)式的系數(shù)一一對(duì)應(yīng)。

圖1 0°方向分?jǐn)?shù)階掩膜算子Fig.1 Fractional mask operator in the 0° direction

圖2 90°方向分?jǐn)?shù)階掩膜算子Fig.2 Fractional mask operator in the 90° direction

構(gòu)造分?jǐn)?shù)階微分掩膜算子之后，然后利用Pascal三角理論推導(dǎo)出掩膜算子各位置的相應(yīng)權(quán)重。平滑函數(shù)為：

對(duì)應(yīng)的差分函數(shù)為：

其中，函數(shù)：

根據(jù)上述平滑函數(shù)和差分函數(shù)可得相應(yīng)的最優(yōu)平滑算子和最優(yōu)差分算子，如圖3 所示，不同模板尺寸對(duì)應(yīng)不同的模板系數(shù)，所設(shè)計(jì)算法采用的模板尺寸為5×5。

圖3 最優(yōu)平滑算子以及最優(yōu)差分算子Fig.3 Optimal smoothing and difference operators

最終的微分模板相應(yīng)位置的權(quán)重推導(dǎo)公式為：

同樣以0°、90°方向?yàn)槔?，由?12)可得到相應(yīng)位置的模板系數(shù)如圖4 所示。

圖4 0°和90°方向的微分模板系數(shù)Fig.4 Differential template coefficients in 0° and 90° directions

將每個(gè)方向上的掩膜算子與相應(yīng)的模板系數(shù)相乘，可以得到對(duì)應(yīng)方向上的最終掩膜算子。其他方向的掩膜算子由0°、90°方向算子旋轉(zhuǎn)對(duì)應(yīng)角度得到，不同方向上構(gòu)造的分?jǐn)?shù)階掩膜算子如圖5 所示。

圖5 各方向分?jǐn)?shù)階掩膜算子Fig.5 Fractional mask operators in various directions

2.3 基于局部特征的自適應(yīng)后處理

在得到最終的掩膜算子后，用每一個(gè)掩膜算子模板的系數(shù)與輸入窗口的對(duì)應(yīng)的像素值進(jìn)行相乘，會(huì)得到輸入窗口在每一個(gè)方向上的微分結(jié)果，分別為：W1、W2、W3、W4；得到4 個(gè)不同的值后分別再對(duì)每個(gè)值進(jìn)行下列運(yùn)算，微分結(jié)果為：

其中，*代表卷積，分母的設(shè)計(jì)使算子根窗口的局部信息自適應(yīng)調(diào)整最后的輸出像素值，當(dāng)待檢測(cè)像素點(diǎn)位于圖像中較為平滑的區(qū)域時(shí)，分子近乎為0；而當(dāng)待檢測(cè)像素點(diǎn)位于圖像中的邊緣區(qū)域時(shí)，分母可以動(dòng)態(tài)地放大該像素點(diǎn)的輸出。最后分別引入兩個(gè)系數(shù)，∝使得算子可以對(duì)低照度圖像中的邊緣信息更加敏感，而Q則可以減小噪聲的影響。經(jīng)實(shí)驗(yàn)表明，參數(shù) ∝ 以及參數(shù)Q分別設(shè)置成3 和1 000 時(shí)效果最佳。

經(jīng)過(guò)如上運(yùn)算得到每個(gè)方向的輸出像素后，對(duì)這4 個(gè)不同方向的像素值取最大值，得到最終的像素值為：

3 實(shí)驗(yàn)及結(jié)果分析

為了檢驗(yàn)所提Lif 算法的有效性，分別從視覺(jué)效果分析和客觀指標(biāo)分析兩個(gè)方面進(jìn)行對(duì)比實(shí)驗(yàn)，所對(duì)比算法分別為：Sobel 算法、Laplacian 算法、Tiansi 算法、文獻(xiàn)[11]算法以及文獻(xiàn)[18]算法，實(shí)驗(yàn)環(huán)境為Python3.9。

3.1 實(shí)驗(yàn)數(shù)據(jù)

進(jìn)行對(duì)比實(shí)驗(yàn)時(shí)，實(shí)驗(yàn)數(shù)據(jù)來(lái)自于煤礦井下生產(chǎn)過(guò)程中的采煤機(jī)截割部設(shè)備監(jiān)測(cè)視頻，視頻時(shí)長(zhǎng)約為20 min。采煤機(jī)圖像如圖6 所示，圖像尺寸均為512×512 像素，其中，圖6a 與圖6b 分別為不同角度下采煤機(jī)截割部設(shè)備監(jiān)測(cè)視頻所提取的關(guān)鍵幀示例，圖6a 中包含較多的采煤機(jī)截割部細(xì)節(jié)紋理信息，且邊緣信息較為清晰，圖像質(zhì)量相對(duì)較好；圖6b 的圖像質(zhì)量較差，背景邊緣信息和目標(biāo)邊緣信息不容易區(qū)分。為了驗(yàn)證Lif 算法的有效性及泛化性，在圖6a 與質(zhì)量較差的圖6b上同時(shí)進(jìn)行對(duì)比實(shí)驗(yàn)。

圖6 低照度采煤機(jī)圖像Fig.6 Low illumination shearer images

3.2 實(shí)驗(yàn)步驟

實(shí)驗(yàn)整體步驟如圖7 所示。

圖7 基于局部特征的分?jǐn)?shù)階微分邊緣檢測(cè)算法流程Fig.7 Flowchart of fractional differentiation-based edge detection based on local features

步驟一，將原圖像轉(zhuǎn)換為相應(yīng)的灰度圖像。

步驟二，得到灰度圖像待處理的像素點(diǎn)信息后，將像素點(diǎn)所對(duì)應(yīng)的局部窗口分別與4 個(gè)不同方向上的分?jǐn)?shù)階微分掩膜算子進(jìn)行卷積微分操作。

步驟三，在每個(gè)方向上都進(jìn)行微分操作后，再分別進(jìn)行基于局部信息的自適應(yīng)后處理，獲得每個(gè)方向相應(yīng)的微分結(jié)果W1、W2、W3、W4。

步驟四，對(duì)步驟三中的微分結(jié)果值進(jìn)行相應(yīng)運(yùn)算，得到最終的像素結(jié)果R。

3.3 視覺(jué)效果及分析

經(jīng)各算法處理所得到的圖像邊緣分別如圖8、圖9所示。圖8a、圖9a 為經(jīng)過(guò)Sobel 算子處理后的結(jié)果；圖8b、圖9b 為經(jīng)過(guò)Laplacian 算子處理后的結(jié)果；圖8c、圖9c 為經(jīng)Tiansi 算子處理后的結(jié)果；圖8d、圖9d 為經(jīng)文獻(xiàn)[11]算法處理后的結(jié)果；圖8e、圖9e 為經(jīng)文獻(xiàn)[18]算法處理后的結(jié)果；圖8f、圖9f 為本文所提Lif 算法的處理結(jié)果。

圖8 圖像1 邊緣提取效果對(duì)比Fig.8 Comparison of Image 1 edge extraction effect

圖9 圖像2 邊緣提取效果對(duì)比Fig.9 Comparison of Image 2 edge extraction effect

分析圖8、圖9 的邊緣檢測(cè)結(jié)果可得知，使用Sobel 算子進(jìn)行邊緣檢測(cè)后，只檢測(cè)出了部分邊緣信息，并且丟失了大量圖像的細(xì)節(jié)，邊緣結(jié)果比較模糊；而Laplacian 算子的檢測(cè)結(jié)果相對(duì)其余算子相差很多，肉眼無(wú)法有效地識(shí)別邊緣信息；使用Tiansi 算子以及文獻(xiàn)[11]算法進(jìn)行邊緣檢測(cè)的結(jié)果雖然大致輪廓比較清晰，但是對(duì)于較暗、弱小的邊緣以及一些細(xì)節(jié)信息并未檢測(cè)出來(lái)；文獻(xiàn)[18]算法雖然檢測(cè)出了一些較暗、弱小邊緣并保留了部分細(xì)節(jié)紋理信息，但是邊緣較為模糊且不連續(xù)，保留的細(xì)節(jié)紋理信息也不夠完整；從圖8f、圖9f 中可以看出，經(jīng)Lif 算法處理得到的圖像邊緣細(xì)節(jié)特征豐富完善、整體輪廓清晰明亮，富有層次感，并且將原圖中較暗、弱小的邊緣較完整地檢測(cè)出來(lái)。

3.4 客觀指標(biāo)及分析

實(shí)驗(yàn)中使用信息熵(Entropy)、平均梯度(Average Gradient，AG)以及結(jié)構(gòu)相似度(SSIM)作為對(duì)上述兩幅圖像各種邊緣檢測(cè)結(jié)果圖的客觀評(píng)價(jià)指標(biāo)。Entropy 是圖像質(zhì)量評(píng)價(jià)的常用指標(biāo)，它從信息論的角度反映圖像信息豐富程度。通常情況下，圖像信息熵越大其信息量就越豐富，質(zhì)量越好；平均梯度AG 是指灰度變化率的平均值，反映了圖像的紋理變化情況以及清晰度，一般來(lái)說(shuō)平均梯度越大說(shuō)明圖像的質(zhì)量越好；SSIM 用來(lái)衡量?jī)煞鶊D像的相似度，SSIM 值越大則表示兩張圖像越相似，圖像處理的效果越好。

對(duì)比表1、表2 中的客觀指標(biāo)，本文Lif 算法在3 個(gè)客觀指標(biāo)的對(duì)比中都為最優(yōu)，且Entropy 以及AG指標(biāo)獲得了大幅度的提升，Entropy 指標(biāo)分別高于Sobel算法、Laplacian 算法、Tiansi 算法、文獻(xiàn)[11]及文獻(xiàn)[18]算法99%、190%、105%、43%、11%；在AG 指標(biāo)上分別高于上述算法429%、238%、76%、23%、23%；在SSIM指標(biāo)上分別高于上述算法56%、138%、89%、152%、6%，證明了本文所提Lif 算法的有效性。

表1 圖像1 指標(biāo)對(duì)比Table 1 Comparison of indexes for Image 1

表2 圖像2 指標(biāo)對(duì)比Table 2 Comparison of indexes for Image 2

4 結(jié)論

a.構(gòu)造了一種基于分?jǐn)?shù)階微分的邊緣檢測(cè)Lif 算法，使其既能保證邊緣輪廓清晰又能檢測(cè)出更多的細(xì)節(jié)紋理信息，解決了針對(duì)井下等低照度圖像進(jìn)行邊緣檢測(cè)時(shí)，檢測(cè)效果差、輪廓不清晰的問(wèn)題。

b.所提Lif 算法用圖像的局部信息對(duì)原始圖像的邊緣檢測(cè)結(jié)果進(jìn)行自適應(yīng)的后處理，實(shí)驗(yàn)結(jié)果表明，Lif 算法與常見的邊緣檢測(cè)算法相比，邊緣輪廓更加清晰明亮且細(xì)節(jié)特征豐富，同時(shí)客觀評(píng)價(jià)指標(biāo)也均獲得了較大的提升，因此，Lif 算法可以有效地進(jìn)行井下低照度圖像的邊緣檢測(cè)任務(wù)。

c.通過(guò)對(duì)井下等設(shè)備的邊緣檢測(cè)實(shí)踐顯示，Lif 算法的應(yīng)用可以有效地支持復(fù)雜環(huán)境下的設(shè)備檢測(cè)、軌跡識(shí)別等任務(wù)，提高了井下工作的安全性、效率和可靠性。此外，由于Lif 算法可以更準(zhǔn)確地捕捉圖像中的邊緣信息，因此對(duì)于常規(guī)環(huán)境下的邊緣檢測(cè)同樣具有適用性，能夠取得較好的檢測(cè)結(jié)果。

d.本文所提算法雖然獲得較好的檢測(cè)性能，但由于加入了基于局部信息的后處理操作，故計(jì)算量和占用內(nèi)存量也相應(yīng)增加。下一步將會(huì)在保證檢測(cè)性能的基礎(chǔ)上，開展減少運(yùn)算量以及占用內(nèi)存量的研究。

符號(hào)注釋：

a為分?jǐn)?shù)階階次，a＞0；G 為G-L 分?jǐn)?shù)階微分定義的縮寫；Gm為0°方向上的最優(yōu)平滑算子系數(shù)；Gn為90°方向上的最優(yōu)平滑算子系數(shù)；h為微分步長(zhǎng)；Hm為0°方向上的最優(yōu)差分算子系數(shù)；Hn為90°方向上的最優(yōu)差分算子系數(shù)；k為模板的尺寸；l 為左方向；m為多項(xiàng)式對(duì)應(yīng)的項(xiàng)數(shù)；n為多項(xiàng)表達(dá)式中對(duì)應(yīng)的項(xiàng)數(shù)；O0°、O90°為微分模板相應(yīng)位置權(quán)重；p為模板窗口各個(gè)點(diǎn)的位置；r 為右方向；R為算子最終輸出像素值；s為輸入灰度圖窗口；t為分?jǐn)?shù)階微分的上限；u為分?jǐn)?shù)階微分的下限；W為圖像窗口與掩膜算子的卷積結(jié)果；W1、W2、W3、W4分別為圖像窗口與4 個(gè)不同方向上掩膜算子的卷積結(jié)果；f(x,y)為二維圖像強(qiáng)度函數(shù)；(x,y)為圖像中相應(yīng)的位置；K(x,y)為組合數(shù)函數(shù)；ωi為每個(gè)方向上的掩膜算子；∝、Q均為調(diào)整參數(shù)。