基于語義分割的火車車廂位置檢測研究

盧進(jìn)南，單德興

（遼寧工程技術(shù)大學(xué)機(jī)械工程學(xué)院，遼寧阜新123000）

煤炭定量裝車站的溜槽是煤炭進(jìn)入火車車廂的關(guān)鍵部件，溜槽落煤點(diǎn)與提升點(diǎn)的準(zhǔn)確性決定了定量裝車站的裝車效果。目前，溜槽的落煤點(diǎn)與提升點(diǎn)是操作人員通過觀察車廂與溜槽之間的相對(duì)位置來進(jìn)行判斷的。然而，僅依靠人工判斷會(huì)影響準(zhǔn)確性，從而極大地影響煤炭定量裝車站的裝車效果。

本文擬采用基于語義分割的車廂上邊框圖像分割方法來檢測煤炭定量裝車站裝車過程中火車車廂的位置，為溜槽的落煤、提升以及完成裝車提供準(zhǔn)確的觸發(fā)信號(hào)?，F(xiàn)有的車廂上邊框圖像分割方法主要面臨以下幾個(gè)挑戰(zhàn)：1）圖像中車廂上邊框邊緣處細(xì)小特征較多且形狀不規(guī)則；2）圖像中不同類別之間尺寸差異較大；3）受光照因素影響，圖像中車廂上邊框顏色與背景顏色相似，導(dǎo)致輪廓不清晰；4）裝車過程中存在較多粉塵干擾，使圖像中存在較多噪聲。這些挑戰(zhàn)會(huì)對(duì)車廂上邊框圖像的分割產(chǎn)生一定影響，而圖像分割的準(zhǔn)確性與可靠性直接影響后續(xù)位置檢測的準(zhǔn)確性與可靠性。因此，在保證分割速度的前提下，使用合適的語義分割方法對(duì)提升車廂上邊框圖像的語義分割精度具有重要意義。

目前，語義分割方法［1-2］逐漸趨于成熟，許多語義分割網(wǎng)絡(luò)的框架是基于編碼器-解碼器結(jié)構(gòu)設(shè)計(jì)的，其主要區(qū)別在于不同框架的編碼器與解碼器使用了不同機(jī)制，但目的都是恢復(fù)編碼器降低圖像分辨率時(shí)丟失的信息。例如伯克利提出的FCN（fully convolutional networks，全卷積神經(jīng)網(wǎng)絡(luò)）［3］是在編碼器中使用池化層來逐漸縮減輸入數(shù)據(jù)的空間維度，在解碼器中通過反卷積將特征圖恢復(fù)到原圖尺寸，并且在不同深度層之間采用跳級(jí)鏈接結(jié)構(gòu)，以融合不同尺度的特征，實(shí)現(xiàn)像素級(jí)分類。在FCN的基礎(chǔ)上，SegNet［4］、U-Net［5］等相繼被提出，其語義分割效果均較好。此外，DeepLabv3+模型［6］通過將深度可分卷積應(yīng)用于空洞空間卷積池化金字塔模塊和編碼器-解碼器結(jié)構(gòu)來執(zhí)行語義分割任務(wù)，以獲取更多的邊界信息和特征信息，提升模型的語義分割效果。綜上可知，融合多尺度特征信息、減少空間信息與細(xì)節(jié)信息的丟失以及通過特定處理手段細(xì)化分割邊界是語義分割方法的主要研究思路。

在很多語義分割網(wǎng)絡(luò)中，常通過提取和融合多尺度特征來提升分割性能。由于圖像中類別尺度較多，不同尺寸的特征圖包含的語義信息和空間信息往往有所區(qū)別，采用融合多尺度特征的方式可以獲取全面的圖像特征信息，尤其是在提升對(duì)細(xì)小特征分割能力時(shí)具有較好的效果。常用語義分割網(wǎng)絡(luò)中低層特征的分辨率較高，包含較多位置和細(xì)節(jié)信息，但感受野較小且語義信息較弱；高層特征的語義信息較強(qiáng)，感受野較大，但分辨率較低，細(xì)節(jié)信息不豐富。FPN（feature pyramid networks，特征金字塔網(wǎng)絡(luò)）［7］通過將高層特征和低層特征進(jìn)行自上而下的側(cè)邊連接來獲得語義信息與空間信息豐富的多尺度特征圖，其在目標(biāo)檢測領(lǐng)域和圖像分割領(lǐng)域均具有很好的應(yīng)用效果。例如Kirillov等人［8-9］提出的全景分割（panoptic segmentation）網(wǎng)絡(luò)是在FPN的基礎(chǔ)上添加一個(gè)簡單的分支，結(jié)果表明其語義分割精度較高。

在計(jì)算機(jī)視覺領(lǐng)域，一些學(xué)者［10-12］常利用注意力機(jī)制獲取長距離信息，使得每一個(gè)像素都可以捕獲全局信息，從而識(shí)別有用信息和消除無關(guān)信息或冗余信息的影響，有效提升語義分割網(wǎng)絡(luò)的分割性能。例如Li等人［13］提出的期望最大化（expectation maximization，EM）注意力網(wǎng)絡(luò)通過EM算法迭代得到一組緊湊的數(shù)據(jù)基，并在這組數(shù)據(jù)基上運(yùn)行注意力機(jī)制，不僅極大地減少了注意力機(jī)制的運(yùn)算量，而且有效提升了語義分割網(wǎng)絡(luò)的區(qū)分能力和邊界分割精度。

基于此，筆者擬采用多尺度特征與注意力機(jī)制相結(jié)合的方式對(duì)車廂上邊框圖像進(jìn)行分割，提升其邊界的語義分割效果，以準(zhǔn)確檢測火車車廂位置。首先，通過FPN和ResNet101（residual network，殘差網(wǎng)絡(luò)）［14］提取并融合多尺度特征圖，并將得到的多尺度特征圖進(jìn)行拼接，得到一組分辨率較高、語義信息豐富的特征圖；然后，將得到的特征圖輸入基于EM算法的注意力機(jī)制模塊中，以過濾特征圖中的噪聲和保護(hù)前景對(duì)象的邊緣信息；接著，將原始特征圖與注意力機(jī)制模塊輸出的特征圖進(jìn)行融合，得到用于分類的特征圖；最后，對(duì)最終的特征圖進(jìn)行分類預(yù)測以得到語義分割結(jié)果，并將其用于火車車廂位置檢測。

1 火車車廂位置檢測模型設(shè)計(jì)

1.1 總體框架

基于語義分割的火車車廂位置檢測模型主要包括多尺度特征提取與融合模塊、注意力機(jī)制模塊、分類模塊和位置檢測模塊四部分，其總體框架如圖1所示。首先，在多尺度特征提取與融合模塊中，以FPN和ResNet101作為主干網(wǎng)絡(luò)，將FPN中P2至P5層的特征圖進(jìn)行自上而下的側(cè)邊連接，融合后的特征圖包含豐富的尺度信息、語義信息和細(xì)節(jié)信息。然后，將多尺度特征提取與融合模塊生成的具有較強(qiáng)語義信息與較高分辨率的特征圖輸入基于EM算法的注意力機(jī)制模塊中，產(chǎn)生多張注意力圖（attention maps）與多個(gè)數(shù)據(jù)基；基于注意力圖與數(shù)據(jù)基重新估計(jì)得到高維的、帶有全局性信息的特征圖，通過過濾圖像噪聲和保留邊緣信息來提高邊界的語義分割精度。接著，將通過重新估計(jì)得到的特征圖與原始特征圖融合后輸入分類模塊中，進(jìn)行像素級(jí)分類預(yù)測，得到最終的語義分割結(jié)果。最后，在位置檢測模塊中，對(duì)車廂上邊框圖像語義分割結(jié)果進(jìn)行分析計(jì)算，以獲取車廂位置信息。

圖1 基于語義分割的火車車廂位置檢測模型總體框架Fig.1 Overall framework of railway carriage position detection model based on semantic segmentation

1.2 多尺度特征提取與融合模塊

基于FPN構(gòu)建多尺度特征提取與融合模塊，其輸入是像素為1 024×384的車廂上邊框圖像，共含車廂上邊框（upper frame）、連接件（connector）、煤炭（coal）三種類別。

多尺度特征提取與融合模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。首先，對(duì)輸入圖像自下往上逐層進(jìn)行特征提取，在ResNet101最后一層輸出{X2，X3，X4，X5} ，輸出圖像的像素分別為原輸入圖像的1/4，1/8，1/16和1/32。然后，通過1×1卷積（Conv 1×1）來減少高層強(qiáng)語義特征圖的通道數(shù)量（此處將特征通道數(shù)量統(tǒng)一為256），并上采樣至前一層特征圖的像素，并與前一層高分辨率的特征圖進(jìn)行融合后得到新的特征圖，表示為{P2，P3，P4，P5} ，這既利用了高層特征圖的強(qiáng)語義信息，又利用了低層特征圖的高分辨率信息。接著，分別將P2至P5層的特征圖上采樣到原輸入圖像像素的1/4，并將通道數(shù)量減少至128。最后，將4個(gè)層級(jí)的特征圖進(jìn)行拼接得到Xp，其中每個(gè)上采樣階段均包括3×3卷積（Conv 3×3）、Group Norm、ReLU（激活函數(shù)）和2倍雙線性內(nèi)插值上采樣。多尺度特征提取與融合模塊通過融合高層的低分辨率、強(qiáng)語義信息特征圖和低層的高分辨率、弱語義信息特征圖，恢復(fù)了在編碼過程中因降低分辨率而丟失的信息，提高了多尺度目標(biāo)的語義分割精度。

圖2 多尺度特征提取與融合模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of multi-scale feature extraction and fusion module

1.3 注意力機(jī)制模塊

多尺度特征提取與融合模塊輸出的特征圖雖分辨率較高、語義信息較強(qiáng)，但仍存在噪聲和邊界模糊等問題，且在圖像融合過程中可能會(huì)出現(xiàn)一定的圖像混疊現(xiàn)象。本文通過引入基于EM算法的注意力機(jī)制［14］來提升多尺度特征提取與融合模塊輸出的特征圖的質(zhì)量，起到過濾圖像噪聲和保留邊緣信息的作用。

EM算法是一種常用的最大似然參數(shù)估計(jì)方法，可用于解決混合概率密度函數(shù)參數(shù)估計(jì)問題［15-18］。本文采用混合高斯模型作為EM算法學(xué)習(xí)的原型。基于EM算法的注意力機(jī)制由E步、M步組成，通過E步估計(jì)隱藏變量的期望值（即注意力圖）［18］，可表示為：

式中：aik表示第k個(gè)數(shù)據(jù)基對(duì)第i個(gè)像素的權(quán)責(zé)，共有K（K=32）個(gè)數(shù)據(jù)基；s(xi，mk)為點(diǎn)積模型，其中xi表示第i個(gè)像素對(duì)應(yīng)的觀測數(shù)據(jù)，mk表示第k個(gè)數(shù)據(jù)基（高斯參數(shù)）。

通過softmax函數(shù)來實(shí)現(xiàn)權(quán)責(zé)的迭代計(jì)算，其公式為：

式中：Xp表示輸入注意力機(jī)制模塊的特征圖；λ表示超參數(shù)，控制at的分布；t表示迭代次數(shù)，t=1，2，…，T。

通過M步來更新數(shù)據(jù)基mk，其中初始數(shù)據(jù)基通過隨機(jī)初始化產(chǎn)生，其余數(shù)據(jù)基根據(jù)分配的像素平均值進(jìn)行更新［12］，其公式為：

E步與M步交替執(zhí)行，直至mk與αik收斂，在本文訓(xùn)練過程中僅需3步就可達(dá)到近似收斂效果［14］。圖3為基于EM算法的注意力機(jī)制模塊生成的注意力圖。從標(biāo)記的幾幅注意力圖中可以看出，不同的數(shù)據(jù)基會(huì)收斂到特定的語義類別，以保持類間差異和縮小類內(nèi)差異，有助于提升車廂上邊框語義分割模型對(duì)細(xì)小特征與類別邊界的語義分割效果。

基于注意力圖與數(shù)據(jù)基重新估計(jì)得到新的特征圖，采用式（4）和式（5）將重新估計(jì)后得到的特征圖與原始特征圖進(jìn)行融合，以得到噪聲更少、邊緣信息更加豐富的特征圖。

式中：Xp'表示注意力機(jī)制模塊重新估計(jì)后得到的特征圖；aT表示T次迭代后最終的權(quán)責(zé)；mT表示T次迭代后的數(shù)據(jù)基；⊕表示逐像素點(diǎn)相加的融合方式；P表示注意力機(jī)制模塊輸出的特征圖。

基于EM算法的注意力機(jī)制模塊的FLOPs（floating-point operations per second，每秒浮點(diǎn)運(yùn)算次數(shù)）僅相當(dāng)于同樣輸入輸出大小的3×3卷積的1/3，因此并不會(huì)增加過多的計(jì)算量［13］。由于車廂上邊框圖像包含的類別較少，為了減少冗余數(shù)據(jù)，注意力機(jī)制模塊共生成32張注意力圖和32個(gè)數(shù)據(jù)基?；谶@些注意力圖和數(shù)據(jù)基重新估計(jì)得到新的特征圖，再將重新估計(jì)后得到的特征圖通過1×1卷積與Batch-Norm（批量歸一化）映射到原始特征圖殘差空間后進(jìn)行融合，最終輸出512張?jiān)肼暩?、邊緣信息更加豐富的特征圖。

1.4 分類模塊

分割圖像的目的是為圖像的每個(gè)像素分配一個(gè)離散標(biāo)簽，以將屬于同一類別的像素定義為同一標(biāo)簽［18］。車廂上邊框語義分割模型可將圖像中的前景對(duì)象（車廂上邊框、連接件、煤炭）與背景（地面、其他物體）進(jìn)行分離，并識(shí)別出每個(gè)前景對(duì)象所屬的類別。分類模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 分類模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of classification module

在分類模塊中，首先，使用3×3卷積操作將注意力機(jī)制模塊輸出的特征圖的通道數(shù)量由512降至256，再使用1×1卷積將特征圖的通道數(shù)量降至3；然后，通過4倍雙線性內(nèi)插值上采樣操作，使得三通道特征圖的像素與原輸入圖像一致；最后，對(duì)特征圖中的每一像素位置進(jìn)行通道維度最大化計(jì)算，最大化數(shù)值對(duì)應(yīng)的是該像素的類別。

1.5 位置檢測模塊

通過人工經(jīng)驗(yàn)判斷車廂位置的方式來控制溜槽升降的效率低且準(zhǔn)確性難以保證。本文利用位置檢測模塊來實(shí)現(xiàn)裝車過程中溜槽觸發(fā)時(shí)機(jī)控制，其檢測原理如圖5所示，當(dāng)車廂位于溜槽落煤點(diǎn)、溜槽提升點(diǎn)和裝車完成點(diǎn)三個(gè)位置時(shí)，溜槽會(huì)被觸發(fā)。

位置檢測模塊通過對(duì)車廂上邊框圖像語義分割結(jié)果進(jìn)行分析和計(jì)算，獲取圖像中各類別（車廂上邊框、連接件、煤炭）的信息、車廂上邊框與連接件的面積和及其占總面積的比例和車廂上邊框外接矩形高度，用于車廂位置檢測。其中，各類別的面積是根據(jù)像素計(jì)算的，應(yīng)用到實(shí)際工程中時(shí)，通過拍攝距離與相機(jī)參數(shù)換算得到車廂上邊框的尺寸信息［19］。

圖5 位置檢測模塊的檢測原理Fig.5 Detection principle of position detection moudle

在位置檢測模塊中，為區(qū)分顏色，將車廂上邊框圖像語義分割結(jié)果由RGB圖像轉(zhuǎn)換為HSV（hue，saturation，value，色調(diào)，飽和度，明度）圖像，每一種顏色代表一種類別，即黃色代表車廂上邊框（upper frame）、綠色代表連接件（connector）、紅色代表煤炭（coal）、黑色代表背景（background）。車廂位置的判斷流程如圖6所示，其中判斷依據(jù)為：1）車廂上邊框外接矩形高度H不小于設(shè)定閾值Hs；2）車廂上邊框與連接件的面積和At不小于設(shè)定閾值A(chǔ)；3）語義分割后的圖像中有連接件；4）車廂上邊框與連接件的面積和占總面積的比例Rt不小于設(shè)定閾值R。判斷依據(jù)的優(yōu)先級(jí)為：1）、2）、3）、4），當(dāng)滿足其中3個(gè)判斷依據(jù)時(shí)，車廂位置檢測模塊判斷出車廂到達(dá)的位置并將相應(yīng)信息傳輸至溜槽控制器，作為溜槽控制觸發(fā)信號(hào)。

圖6 火車車廂位置判斷流程Fig.6 Judgment process of railway carriage position

2 火車車廂位置檢測試驗(yàn)與結(jié)果分析

2.1 車廂上邊框圖像數(shù)據(jù)集建立

在不改變圖像類別的前提下，通過對(duì)原始圖像進(jìn)行上下與左右翻轉(zhuǎn)、亮度隨機(jī)變換和隨機(jī)剪裁等來增加圖像數(shù)據(jù)集的樣本量。車廂上邊框圖像屬于單圖多類別圖像，每張圖像需要分割的類別有3個(gè)，分別為車廂上邊框、連接件和煤炭。將連接件看作單獨(dú)類別的原因是連接件均出現(xiàn)在車廂兩端，可以作為位置檢測的一個(gè)判斷依據(jù)。車廂上邊框圖像的標(biāo)注結(jié)果如圖7（c）所示，圖7（b）中掩碼是指圖像語義分割中像素級(jí)的類別標(biāo)注，用于覆蓋預(yù)測單個(gè)通道，表示圖像中特定的類別區(qū)域。

對(duì)比圖7（a）和圖7（c）可知，車廂上邊框圖像中各類別的顏色與背景相似、不同類別間尺寸差異較大且細(xì)小特征較多，這給車廂上邊框圖像分割帶來較大困難。

圖7 車廂上邊框圖像的標(biāo)注結(jié)果Fig.7 Annotation results of carriage upper frame image

2.2 語義分割模型訓(xùn)練

在Ubuntu18.0系統(tǒng)中，使用Nvidia GTX 1080Ti顯卡對(duì)車廂上邊框語義分割模型進(jìn)行訓(xùn)練，設(shè)置迭代次數(shù)為40 000次，得到其損失函數(shù)值的變化曲線，如圖8所示。從圖8中可以看出，當(dāng)訓(xùn)練迭代約25 000次時(shí)，車廂上邊框語義分割模型的損失函數(shù)值趨于穩(wěn)定；在前2 000次迭代過程中，模型的損失函數(shù)值減小較快，而后逐漸趨于平緩；當(dāng)?shù)?0 000次時(shí)，模型的損失函數(shù)值基本收斂于0.3，在迭代35 000～40 000次時(shí)，模型的損失函數(shù)值穩(wěn)定在0.2附近且基本保持不變。由此可知，當(dāng)?shù)?0 000次后，車廂上邊框語義分割模型完成訓(xùn)練。

圖8 車廂上邊框語義分割模型的損失函數(shù)值變化曲線Fig.8 Change curve of loss function value of semantic segmentation model of carriage upper frame

2.3 評(píng)估指標(biāo)選擇

在物體位置檢測中，常用IoU（mean intersection over union，交并比）來表征真實(shí)像素區(qū)域和預(yù)測像素區(qū)域之間的相關(guān)度，IoU越高表示兩區(qū)域的相關(guān)度越高。由于本文車廂上邊框語義分割模型涉及3種類別，采用mIoU（mean intersection over union，均交并比）作為該模型的評(píng)估指標(biāo)，其計(jì)算式為：

式中：C表示類別數(shù)量；puu表示類別u被正確預(yù)測的像素?cái)?shù)量；puv(pvu)表示類別u(v)被預(yù)測為類別v(u)的像素?cái)?shù)量。

同時(shí)，采用mPA（mean pixel accuracy，平均像素精度）作為車廂上邊框語義分割模型的另一個(gè)評(píng)估指標(biāo)，其計(jì)算式如下：

2.4 測試結(jié)果分析

在測試集上對(duì)FPN語義分割模型（FPN Semantic）和引入注意力機(jī)制的FPN語義分割模型（FPN Semantic+Attention）進(jìn)行測試，2個(gè)語義分割模型在測試集上的測試效果如表1所示。從表1中可以看出，F(xiàn)PN Semantic+Attention的mIoU為81.21%，mPA為88.64%，相比于FPN Semantic提升了3.91%和7.44%。由此說明，F(xiàn)PN Semantic+Attention的分割性能比FPN Semantic的更好。

表1 不同語義分割模型的測試結(jié)果Table 1 Testresultsofdifferentsemantic segmentation models

基于不同語義分割模型的車廂上邊框圖像的語義分割測試結(jié)果如圖9所示。從圖9中可發(fā)現(xiàn)，2種語義分割模型對(duì)煤炭的分割效果都較好，這是因?yàn)槊禾康某叨却?、形狀比較規(guī)范，可以被準(zhǔn)確分割。但在車廂上邊框邊界處與含細(xì)小特征位置處，2種語義分割模型的分割效果存在較大差異，F(xiàn)PN Semantic對(duì)車廂上邊框轉(zhuǎn)角處細(xì)小特征及連接件和車廂上邊框邊界的分割不準(zhǔn)確，影響了車廂上邊框與連接件的面積和以及車廂上邊框外接矩形高度的計(jì)算精度，存在較大的誤差；而FPN Semantic+Attention對(duì)車廂與連接件相鄰位置的細(xì)小特征及車廂上邊框邊界的語義分割效果均較好，可準(zhǔn)確計(jì)算車廂上邊框與連接件的面積和以及車廂上邊框外接矩形高度。但是，F(xiàn)PN Semantic+Attention的語義分割性能仍有待提升，由于車廂與連接件相鄰位置的尺寸很小，該模型無法準(zhǔn)確分類，但由于該部分面積占車廂上邊框面積的比例較小，對(duì)車廂上邊框外接矩形高度的計(jì)算沒有直接影響。

2.5 現(xiàn)場試驗(yàn)分析

為了驗(yàn)證基于語義分割的火車車廂位置檢測模型的有效性，在煤炭定量裝車站工作現(xiàn)場進(jìn)行試驗(yàn)。圖像采集裝置的安裝情況如圖10所示，采用130萬像素的工業(yè)相機(jī)，其拍攝圖像的有效像素為1 280×1 024，鏡頭與火車車廂上邊框之間的垂直距離為3.15 m，使用相機(jī)的ROI（area of interest，興趣區(qū)域）功能將采集圖像的像素設(shè)為1 024×192。圖像中每一個(gè)像素對(duì)應(yīng)的實(shí)際物理尺寸與相機(jī)鏡頭參數(shù)、拍攝焦距以及鏡頭與車廂上邊框間距離等有關(guān)，需要通過尺寸標(biāo)定實(shí)驗(yàn)對(duì)其進(jìn)行標(biāo)定。以C70型火車車廂為實(shí)驗(yàn)對(duì)象，通過尺寸標(biāo)定實(shí)驗(yàn)得到車廂上邊框圖像的每個(gè)像素對(duì)應(yīng)的長度為3.125 mm，每一個(gè)像素塊對(duì)應(yīng)的面積為9.765 6 mm2。

圖9 基于不同語義分割模型的車廂上邊框圖像語義分割測試結(jié)果Fig.9 Semantic segmentation test results of carriage upper frame image based on different semantic segmentation models

圖10 圖像采集裝置安裝情況Fig.10 Installation status of image acquisition device

根據(jù)煤炭定量裝車站的裝車工藝和操作經(jīng)驗(yàn)，設(shè)定溜槽落煤點(diǎn)、溜槽提升點(diǎn)和裝車完成點(diǎn)三個(gè)位置的判斷依據(jù)所對(duì)應(yīng)的閾值和條件，如表2所示。表中“√”表示語義分割后的圖像中存在連接件。

利用訓(xùn)練好的車廂上邊框語義分割模型對(duì)工業(yè)相機(jī)實(shí)時(shí)采集的原始車廂上邊框圖像進(jìn)行語義分割。圖11為對(duì)煤炭定量裝車站裝車現(xiàn)場C70型火車車廂上邊框圖像的語義分割結(jié)果。

表2 火車車廂位置判斷依據(jù)設(shè)置Table 2 Judgment basis setting of railway carriage position

圖11 C70型火車車廂上邊框圖像語義分割結(jié)果Fig.11 Semantic segmentation results of upper frame image of C70 railway carriage

由圖11可知，本文構(gòu)建的車廂上邊框語義分割模型通過采用多尺度特征和引入注意力機(jī)制來提高對(duì)圖像的語義分割精度，但仍存在一定誤差，主要因素有2個(gè)：1）在語義分割過程中，模型不能對(duì)車廂上邊框轉(zhuǎn)角處細(xì)小特征進(jìn)行正確歸類；2）車廂上邊框圖像中的水泥地面與車廂上邊框的顏色十分接近，導(dǎo)致圖像邊界模糊，在一定程度上影響了圖像邊界的語義分割精度。

利用基于語義分割的火車車廂位置檢測模型連續(xù)對(duì)10節(jié)火車車廂進(jìn)行位置檢測。在煤炭定量裝車站裝車過程中，火車的行駛速度為0.2 m/s，車廂每行駛13.33 mm進(jìn)行一次位置檢測，即車廂位置檢測速度為15次/s。當(dāng)所得結(jié)果滿足判斷依據(jù)時(shí)，記錄原始的車廂上邊框圖像與相應(yīng)的語義分割結(jié)果。對(duì)滿足條件的圖像進(jìn)行統(tǒng)計(jì)分析，并計(jì)算檢測誤差，結(jié)果如圖12所示。由圖12可知，車廂上邊框與連接件的面積和的平均檢測精度為87.47%，最大誤差為75 234 mm2；車廂上邊框外接矩形高度的平均檢測精度為91.72%，最大誤差為32 mm。對(duì)比分析煤炭定量裝車站的裝車工藝要求和試驗(yàn)結(jié)果可知：基于語義分割的火車車廂位置檢測模型的檢測精度較高且穩(wěn)定性較強(qiáng)，檢測得到的車廂上邊框與連接件的面積和及車廂上邊框外接矩形高度與實(shí)際值之間的誤差在允許范圍內(nèi)。綜上所述，所提出的火車車廂位置檢測模型符合煤炭定量裝車站對(duì)車廂位置檢測精度的要求，可以為溜槽控制提供準(zhǔn)確的觸發(fā)信號(hào)。

圖12 基于語義分割的火車車廂位置檢測模型的檢測誤差Fig.12 Detection error of railway carriage position detection model based on semantic segmentation

3 結(jié) 論

本文針對(duì)火車車廂位置檢測展開研究，結(jié)合FPN和基于EM算法的注意力機(jī)制，構(gòu)建車廂上邊框語義分割模型，首次將語義分割模型應(yīng)用于火車車廂位置檢測。針對(duì)車廂上邊框圖像的特點(diǎn)，采用FPN和ResNet101提取并融合多尺度特征圖，之后將特征圖輸入到基于EM算法的注意力機(jī)制模塊，消除特征圖中的噪聲和保留邊緣信息，提高圖像邊界的語義分割精度。設(shè)計(jì)位置檢測模塊對(duì)語義分割結(jié)果進(jìn)行分析，提取車廂上邊框與連接件的面積和及其占總面積的比例和車廂上邊框外接矩形高度，將其作為車廂位置信息，為煤炭定量裝車站溜槽的升降提供準(zhǔn)確的觸發(fā)信號(hào)。結(jié)果表明，基于語義分割的火車車廂位置檢測模型的檢測精度滿足煤炭定量裝車站裝車過程中對(duì)車廂位置的檢測要求，具有較高的工程應(yīng)用價(jià)值，可為實(shí)現(xiàn)煤炭定量裝車系統(tǒng)的智能化提供參考。