基于熱成像技術(shù)和深度學(xué)習(xí)的煤矸石識(shí)別方法

曹珍貫，呂旻姝，張宗唐

（安徽理工大學(xué) 電氣與信息工程學(xué)院，淮南232001）

煤炭是我國(guó)的主要能源之一，由于矸石的熱值較低，當(dāng)煤與矸石混合時(shí)，會(huì)影響煤的熱值，降低煤的利用率，煤炭中的雜質(zhì)導(dǎo)致煤燃燒不充分，對(duì)環(huán)境造成污染［1］.煤和矸石的分離是采煤工業(yè)中極為重要的環(huán)節(jié)，傳統(tǒng)的采煤方法有干法選煤、濕法選煤和人工揀選等［2］.

采用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)煤矸石進(jìn)行識(shí)別具有顯著優(yōu)勢(shì)，逐漸成為當(dāng)前研究熱點(diǎn)，主要分為兩種方式：一種為基于傳統(tǒng)的機(jī)器學(xué)習(xí)算法對(duì)煤矸石進(jìn)行識(shí)別，例如在文獻(xiàn)［3-7］中學(xué)者們通過(guò)圖像采集系統(tǒng)采集煤矸石圖像數(shù)據(jù)集，通過(guò)圖像處理方法提取煤和矸石的顏色紋理等特征數(shù)據(jù)，結(jié)合支持向量機(jī)SVM或BP神經(jīng)網(wǎng)絡(luò)等訓(xùn)練模型分類器對(duì)煤矸石圖像進(jìn)行分類.文獻(xiàn)［3-7］需要對(duì)原始圖像進(jìn)行處理，特征提取過(guò)程需要人為參與，其過(guò)程較為復(fù)雜、提取特征較少、泛化能力較弱.針對(duì)這一問(wèn)題學(xué)者們提出了另一種基于深度學(xué)習(xí)算法的煤矸石識(shí)別方法，通過(guò)卷積計(jì)算，自動(dòng)提取煤矸石特征，降低了特征提取的復(fù)雜度，如文獻(xiàn)［8］和文獻(xiàn)［9］分別采用了改進(jìn)的LeNet-5卷積神經(jīng)網(wǎng)絡(luò)和深層卷積神經(jīng)網(wǎng)絡(luò)對(duì)煤和矸石進(jìn)行識(shí)別，有效地提高了煤矸石識(shí)別率.另一方面?zhèn)鹘y(tǒng)的圖像識(shí)別方法一般采用可見(jiàn)光圖像，容易受到光照、粉塵等環(huán)境因素的影響，且部分煤和矸石在灰度紋理等特征上區(qū)別不夠明顯，影響識(shí)別準(zhǔn)確率.

紅外熱成像技術(shù)是20世紀(jì)40年代逐漸發(fā)展起來(lái)的一項(xiàng)較為成熟的技術(shù)，具有穿透性強(qiáng)，受粉塵影響小、能耗小、不受光照影響等優(yōu)點(diǎn)，幾乎所有物體都會(huì)產(chǎn)生熱輻射，且不同物體具有不同的熱輻射能力［10］.

針對(duì)上述問(wèn)題，本文提出了一種基于熱成像技術(shù)和深度學(xué)習(xí)算法的煤矸石識(shí)別方法.在同一環(huán)境溫度下，根據(jù)煤、矸石的熱輻射能力不同，將橡膠傳送帶（背景）作為參考系，采用熱成像儀對(duì)煤矸石進(jìn)行熱成像圖像采集，AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)煤矸石熱成像圖像進(jìn)行訓(xùn)練和識(shí)別.

1 圖像采集和處理

1.1 煤矸石熱成像圖像采集

本文采用美國(guó)菲力爾公司的FLIR E50熱成像儀進(jìn)行數(shù)據(jù)采集，以橡膠傳送帶作為煤矸石圖像采集背景，模擬礦上作業(yè)環(huán)境.選取淮南礦區(qū)的煤矸石作為研究對(duì)象，選取經(jīng)過(guò)測(cè)試近200塊煤和矸石進(jìn)行數(shù)據(jù)采集.在數(shù)據(jù)采集前，將煤矸石樣本放置在同一環(huán)境溫度下12 h左右，確保實(shí)驗(yàn)前兩者在同一溫度環(huán)境下，防止兩者溫差對(duì)數(shù)據(jù)的干擾.本次數(shù)據(jù)采集的環(huán)境溫度在20℃左右，采集了250張煤的熱圖像和250矸石的熱圖像，通過(guò)熱成像技術(shù)將煤和矸石的熱輻射特性轉(zhuǎn)化為圖像特征可作為煤矸石識(shí)別的依據(jù)之一.

1.2 煤矸石圖像預(yù)處理

本文采用數(shù)據(jù)增強(qiáng)的方法增加訓(xùn)練數(shù)據(jù)樣本，對(duì)原始圖像進(jìn)行剪裁、旋轉(zhuǎn)、翻轉(zhuǎn)等操作，在不改變樣本標(biāo)簽的前提下將數(shù)據(jù)量提升至原來(lái)的10倍，煤和矸石圖像共5000張.如圖1所示，為原始圖像經(jīng)過(guò)處理后得到的圖像，分辨率統(tǒng)一為224×224.

圖1 預(yù)處理后的煤矸石熱成像圖像

2 基于Alexnet卷積神經(jīng)網(wǎng)絡(luò)的煤矸石識(shí)別原理及過(guò)程

2.1 煤矸石識(shí)別模型工作原理

AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型是由Alex Krizhevsky等人于2012年提出的一種經(jīng)典的學(xué)習(xí)模型，是基于AlexNet模型煤矸石識(shí)模型結(jié)構(gòu)示意圖，如圖2所示，它包含1個(gè)輸入層，5個(gè)卷積層和3個(gè)全連接層，其中前三層卷積層進(jìn)行了最大池化，將最后一層修改為2維向量輸出.

圖2 基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的煤矸石識(shí)別模型結(jié)構(gòu)示意圖

其中：輸入層輸入待處理圖像，卷積層包含多個(gè)卷積核，用來(lái)計(jì)算該層輸出的特征圖.每個(gè)特征圖由多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元的輸入通過(guò)卷積核與上一層特征圖的局部感受野相連接，卷積層的作用是自動(dòng)學(xué)習(xí)輸入圖像的特征［11］.池化層對(duì)上一層得到的卷積圖進(jìn)行降維，減少計(jì)算量.輸入圖像經(jīng)過(guò)卷積層和池化層后會(huì)輸出多組特征圖，全連接層將多組特征圖依次組合計(jì)算，采用softmax模型分類器得到圖像分類結(jié)果.最大軟輸出函數(shù)softmax由下式（1）確定：

將模型輸出轉(zhuǎn)化成合理的概率值，最后輸出概率值較大的類別就是模型對(duì)輸入圖像的判斷類別.

2.2 煤矸石識(shí)別模型的訓(xùn)練及識(shí)別過(guò)程

（1）數(shù)據(jù)處理與輸入

將預(yù)處理好的煤和矸石的熱成像圖像以7∶2∶1的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.將分好的圖像數(shù)據(jù)集轉(zhuǎn)化為tfrecord格式文件，將圖像數(shù)據(jù)轉(zhuǎn)化成二進(jìn)制數(shù)據(jù)，便于計(jì)算機(jī)對(duì)數(shù)據(jù)讀取.煤矸石內(nèi)部標(biāo)簽設(shè)置為：

（2）煤矸石識(shí)別模型的訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程是尋找模型最優(yōu)化參數(shù)的過(guò)程，采用梯度下降算法，最小化損失函數(shù)，并更新模型中的參數(shù).模型訓(xùn)練前，任意給定模型參數(shù)，將l張圖像樣本X=[x1,x2,…,xl]輸入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)卷積層、池化層、全連接層，得到輸出O=[o1,o2,…,ol]，與實(shí)際期望輸出Y=[y1,y2,…,yl]存在差值，X為輸入的圖像樣本數(shù)據(jù)，x為一組矩陣數(shù)據(jù)，包含圖像各個(gè)像素點(diǎn)信息.O為實(shí)際輸出，通過(guò)Softmax模型分類器，得到煤矸石類別概率值.煤矸石識(shí)別模型為二分類模型，對(duì)于煤矸石圖像樣本xi，卷積神經(jīng)網(wǎng)絡(luò)計(jì)算得到輸出oi，實(shí)際值為yi.

定義該樣本誤差為

其中k0代表煤類別，k1代表矸石類別，采用煤矸石圖像訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，計(jì)算模型損失函數(shù)E，本文設(shè)置batch_size=32，每訓(xùn)練一次，隨機(jī)選取32個(gè)圖像數(shù)據(jù)樣本計(jì)算模型總損失，得到損失函數(shù)

損失函數(shù)中包含兩個(gè)模型參數(shù)W=(ω,b)分別為模型權(quán)值和偏置，通過(guò)梯度下降算法更新模型參數(shù)，得

在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，通過(guò)反向傳播算法從模型最后一層逐層往前計(jì)算每一層的損失函數(shù)并更新模型參數(shù).

（3）煤矸石識(shí)別過(guò)程

將任意一張煤矸石圖像xi輸入訓(xùn)練好的煤矸石識(shí)別模型中，經(jīng)過(guò)卷積層、訓(xùn)練好的卷積核和輸入圖像進(jìn)行卷積運(yùn)算，自動(dòng)提取煤矸石圖像特征，采用池化層對(duì)數(shù)據(jù)降維，全連接層將多組特征圖進(jìn)行組合計(jì)算，得到高度提取的煤矸石圖像特征，采用Softmax模型分類器，得到一個(gè)二維概率輸出yi=[P0,P1]，P0+P1=1.其中P0,P1表示該煤矸石圖像為煤和矸石的概率，通過(guò)概率大小判斷煤和矸石的類別.

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證AlexNet神經(jīng)網(wǎng)絡(luò)模型在煤矸石識(shí)別中的識(shí)別效果，本文在內(nèi)含NVIDIA GeForce GTX 1050獨(dú)立顯卡的PC上進(jìn)行實(shí)驗(yàn)，采用Python3.5版本，TensorFlow深度學(xué)習(xí)架構(gòu)和Slim微調(diào)模型，在GPU上分別對(duì)LeNet、AlexNet、ResNet_50這三種模型進(jìn)行訓(xùn)練和測(cè)試.圖3表示LeNet、AlexNet、ResNet_50這三種模型的煤矸石驗(yàn)證集識(shí)別準(zhǔn)確率，每訓(xùn)練1000步，用驗(yàn)證集對(duì)這三個(gè)模型進(jìn)行煤矸石識(shí)別準(zhǔn)確率測(cè)試，可以看出LeNet卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)煤矸石識(shí)別的準(zhǔn)確度較低，而AlexNet和ResNet_50卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)煤矸石的識(shí)別效果較好，其中ResNet_50卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練初期的準(zhǔn)確率變化較大，相較于淺層網(wǎng)絡(luò)收斂速度較慢，AlexNet和LeNet模型簡(jiǎn)單，識(shí)別準(zhǔn)確率收斂速度較快.

圖3 三種煤矸石識(shí)別模型的驗(yàn)證集識(shí)別準(zhǔn)確率

表1 三種煤矸石識(shí)別模型性能比較

表1為三種煤矸石識(shí)別模型在訓(xùn)練結(jié)束后得到的數(shù)據(jù)，Total_loss為模型訓(xùn)練總損，V_Accuracy為驗(yàn)證集識(shí)別的準(zhǔn)確率，T_Accuracy為測(cè)試集識(shí)別準(zhǔn)確率.Steps/s表示每秒模型訓(xùn)練迭代次數(shù)，從表中可得AlexNet的識(shí)別準(zhǔn)確率最高，ResNet模型的識(shí)別準(zhǔn)確率略低于AlexNet，而LeNet識(shí)別效果不理想.由于ResNet_50模型復(fù)雜、參數(shù)多、收斂速度較慢，而LeNet模型簡(jiǎn)單、容易陷入欠擬合、識(shí)別準(zhǔn)確率低，綜合考慮采用AlexNet模型具有較好的效果.

為了進(jìn)一步驗(yàn)證煤矸石熱成像圖像在煤矸石識(shí)別應(yīng)用中的識(shí)別效果，在采用AlexNet模型的基礎(chǔ)上引入兩個(gè)可見(jiàn)光煤矸石圖像數(shù)據(jù)集與熱成像圖片進(jìn)行對(duì)比，如圖4所示，Optical image1是由FLIR E50熱成像儀拍攝，和上述熱成像圖像同時(shí)生成可見(jiàn)光圖像，其背景是橡膠傳送帶，和煤矸石區(qū)分不明顯，Optical image2是在光照條件良好，背景和煤矸石有明顯區(qū)分的環(huán)境中采集的煤矸石圖像.

圖4 煤矸石圖像樣本

如圖5所示為三種不同數(shù)據(jù)集的驗(yàn)證集識(shí)別準(zhǔn)確率.表2為訓(xùn)練40000步后模型測(cè)試結(jié)果.

圖5 不同圖像樣本的煤矸石識(shí)別模型驗(yàn)證集準(zhǔn)確率

表2 不同圖像樣本總損失、準(zhǔn)確率數(shù)據(jù)

由圖5和表2可知,采用熱成像煤矸石圖像訓(xùn)練煤矸石識(shí)別模型的準(zhǔn)確率高于可見(jiàn)光煤矸石圖像.以O(shè)ptical image1作為數(shù)據(jù)樣本訓(xùn)練的煤矸石識(shí)別模型測(cè)試集準(zhǔn)確率只有49.55%，說(shuō)明光照強(qiáng)度低、橡膠傳送帶和煤矸石顏色相似，導(dǎo)致煤矸石圖像輪廓和紋理的不清晰，難以對(duì)煤矸石進(jìn)行有效識(shí)別.以O(shè)ptical image2作為數(shù)據(jù)樣本訓(xùn)練的煤矸石識(shí)別模型測(cè)試集準(zhǔn)確率有90.20%，說(shuō)明可以采用可見(jiàn)光煤矸石圖像訓(xùn)練煤矸石識(shí)別模型用以區(qū)分煤和矸石，但是由于矸石和煤在形態(tài)和顏色上較為相似，可見(jiàn)光煤矸石圖像容易受到光照、背景等環(huán)境因素的影響.熱成像煤矸石圖片測(cè)試集識(shí)別準(zhǔn)確率為97.88%，識(shí)別準(zhǔn)確率高于可見(jiàn)光圖片，可以對(duì)煤矸石進(jìn)行有效識(shí)別.

4 結(jié)語(yǔ)

針對(duì)傳統(tǒng)的可見(jiàn)光煤矸石圖像特征提取難，煤矸石圖片質(zhì)量容易受光照、粉塵等環(huán)境因素的影響，本文提出了一種基于熱成像技術(shù)和深度學(xué)習(xí)算法的煤矸石識(shí)別方法，采用熱成像技術(shù)構(gòu)建煤矸石圖像數(shù)據(jù)集，結(jié)合深度學(xué)習(xí)AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型，能夠?qū)崿F(xiàn)煤矸石的準(zhǔn)確快速識(shí)別，準(zhǔn)確率達(dá)到97.88%.該方法不受光照環(huán)境的影響，安全可靠，不需要額外消耗能源，極大地提高了煤矸石分揀效率，降低了采煤成本.由于煤矸石的種類繁雜，不同環(huán)境溫度下的煤矸石具有不同的特征，盡可能多地?cái)U(kuò)充數(shù)據(jù)集以進(jìn)一步提高煤矸石識(shí)別模型的泛化能力是未來(lái)研究的方向.