基于深度學(xué)習(xí)圖像分割技術(shù)的小水電站生態(tài)基流識別方法研究

劉 偉，江 山，馬 天，肖 維，蘆宇軒

(1.長江信達(dá)軟件技術(shù)(武漢)有限責(zé)任公司，湖北?武漢?430010；2.國家大壩安全工程技術(shù)研究中心，湖北?武漢?430010)

0 引 言

生態(tài)基流監(jiān)測是小水電清理整改工作的重要任務(wù)[1]。由于規(guī)模較小、泄流設(shè)施簡陋、流量計安裝不便，而且較容易損壞；因此從視頻監(jiān)控角度對小水電生態(tài)基流泄放進(jìn)行監(jiān)管尤其重要。依據(jù)水利部《關(guān)于印發(fā)小水電站生態(tài)流量監(jiān)管平臺技術(shù)指導(dǎo)意見的通知》的要求，小水電視頻監(jiān)控應(yīng)每小時至少抓拍1張圖片。長江經(jīng)濟(jì)帶累計有2.5萬多座小水電站，全面建成視頻監(jiān)控系統(tǒng)每天約有60萬張生態(tài)基流泄放的圖像，海量的圖像需要審核，行業(yè)監(jiān)管面臨巨大挑戰(zhàn)。近幾年，神經(jīng)網(wǎng)絡(luò)迅猛發(fā)展，人工智能的方法給圖像識別領(lǐng)域注入了新鮮的活力。本文將基于深度學(xué)習(xí)算法的圖像分割技術(shù)引入到對生態(tài)基流的識別當(dāng)中，取得了相對于基于閾值、邊緣、區(qū)域等技術(shù)的傳統(tǒng)圖像分割識別方法明顯的優(yōu)勢，識別更加準(zhǔn)確、穩(wěn)定，適應(yīng)范圍更廣。

1 研究現(xiàn)狀

從視頻角度對生態(tài)基流的監(jiān)測，實質(zhì)上是對監(jiān)控畫面中水面區(qū)域的識別，區(qū)別于一般的目標(biāo)檢測，水面區(qū)域具有形態(tài)不固定的特性，以圖像語義分割技術(shù)為核心的識別方法對水面區(qū)域具有更好的識別效果。隨著深度學(xué)習(xí)技術(shù)的爆發(fā)、計算機計算能力的突飛猛進(jìn)，語義分割也迎來新的方法。

一類是基于候選區(qū)域的分割算法，該類算法首先生成大量候選框，并篩選出有效候選區(qū)域，然后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取每個候選區(qū)域的特征和語義信息，并結(jié)合分類器對候選區(qū)域進(jìn)行分類，最終得到分割結(jié)果。其中，候選區(qū)域的質(zhì)量直接影響CNN提取圖像特征的效果，以及分類器的分類精度。這類代表算法主要有RCNN[2]、SDS[3]、Mask_RCNN[4]等。

另一類是基于像素級別的分割算法，是直接從標(biāo)注數(shù)據(jù)中提取特征和語義信息，獲取輸入圖像的像素類別。該類方法不需要生成候選區(qū)域，直接為圖像中的像素進(jìn)行分類，采用端到端的訓(xùn)練方法，可以提取更加豐富的圖像特征。2015年Jonathan Long等人提出全卷積網(wǎng)絡(luò)FCN[5]，其將分類網(wǎng)絡(luò)由圖像級別推廣至像素級級別，并且實現(xiàn)了端到端的訓(xùn)練過程，開創(chuàng)了深度神經(jīng)網(wǎng)絡(luò)在圖像語義分割領(lǐng)域的應(yīng)用。

金華頻等人初步探索了圖像識別技術(shù)在小水電生態(tài)流量監(jiān)管中的應(yīng)用路線[6]。本文則基于深度學(xué)習(xí)的圖像分割方法對小水電生態(tài)流量的判定進(jìn)行定量的識別與分析。

2 方 法

2.1 數(shù)據(jù)集

從某縣30座小水電站收集、整理圖片2萬余張，包括晴天、陰天、雨天以及雪天等不同天氣的豐富場景。數(shù)據(jù)集標(biāo)簽參考主流圖像分割算法經(jīng)常采用的數(shù)據(jù)集，如Cityscapes、COCO，將背景分為以下5類：陸地、水面、建筑、天空、樹木。對于收集到的圖片，統(tǒng)一進(jìn)行白化、降噪，盡可能提高圖片質(zhì)量。使用標(biāo)注工具CVAT對數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注策略采用人工+模型預(yù)標(biāo)注方式。前期以人工標(biāo)注為主，標(biāo)注一定量的數(shù)據(jù)之后，開始訓(xùn)練模型，使模型具備一定的識別能力；然后轉(zhuǎn)為以模型標(biāo)注為主，人工標(biāo)注為輔，數(shù)據(jù)集中的圖片樣本均先使用模型進(jìn)行預(yù)標(biāo)注，然后進(jìn)行人工的確認(rèn)；以此節(jié)約人工耗時，提高標(biāo)注效率。

2.2 網(wǎng)絡(luò)模型

FCN網(wǎng)絡(luò)采用不含全連接層的全卷積網(wǎng)絡(luò)，并在網(wǎng)絡(luò)的最后使用上采樣恢復(fù)圖像尺寸，并且結(jié)合深層網(wǎng)絡(luò)的抽象信息與淺層網(wǎng)絡(luò)的精細(xì)特征，使得FCN網(wǎng)絡(luò)可以適應(yīng)任意輸入尺寸圖像，并能對圖像做出像素級別的精準(zhǔn)預(yù)測。基于AlexNet網(wǎng)絡(luò)改造為FCN網(wǎng)絡(luò)的結(jié)構(gòu)如下所示(見圖1)。

經(jīng)過不斷的卷積和池化以后，特征圖的尺寸越來越小，維度越來越高，其中最小的一層叫做Heatmap(熱力圖)，熱力圖就是最高維的特征圖。得到熱力圖之后進(jìn)行上采樣，把圖像放大到輸入圖像的大小，通過選取每個像素點在圖像各類別中的最大數(shù)值(概率)作為該像素的分類結(jié)果。于是便生成1張已經(jīng)分類好的圖片，逐個像素計算與圖像真值比對，計算分割誤差，通過反向傳播實現(xiàn)網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練好網(wǎng)絡(luò)權(quán)重后，再次進(jìn)行前向傳播即可實現(xiàn)圖像分割的推理過程。

基于VGG16網(wǎng)絡(luò)改造的FCN網(wǎng)絡(luò)跳級(Skip)結(jié)構(gòu)如下所示(見圖2)，同時采用反卷積的上采樣操作，實現(xiàn)圖像像素級的準(zhǔn)確識別。

對原圖像進(jìn)行第一輪卷積和池化之后，得到的特征圖為原始圖像的1/2；然后再進(jìn)行第二輪卷積和池化，特征圖的尺寸變?yōu)樵瓐D像的1/4；以此類推，然后進(jìn)行再進(jìn)行三輪卷積+池化的操作，得到尺寸為原圖1/32的特征圖。對1/32、1/16以及1/8尺寸的特征圖進(jìn)行逐級插值融合，并結(jié)合對應(yīng)倍數(shù)的反卷積上采樣操作，提取神經(jīng)網(wǎng)絡(luò)深層的高維抽象特征和淺層的細(xì)節(jié)信息，最后完成對原始圖像像素級的識別。

3 實 驗

3.1 實驗環(huán)境及參數(shù)

本文的模型訓(xùn)練及測試均在Detectron2平臺上進(jìn)行，Detectron2是繼Detectron目標(biāo)檢測平臺之后，F(xiàn)AIR(Facebook AI Research)開發(fā)的新一代分割研究的平臺；它基于Pytorch框架，以FCN基準(zhǔn)測試作為起點，集成了最先進(jìn)的目標(biāo)檢測算法。服務(wù)器安裝Ubuntu 18.04系統(tǒng)，并配備了1張NVIDIA Tesla V100顯卡。結(jié)合數(shù)據(jù)集特點及服務(wù)器性能，選擇超參數(shù)Batch Size為8，Iteration為5萬，Learning Rate為0.000 25。

3.2 評估標(biāo)準(zhǔn)

主要從圖像語義分割的準(zhǔn)確度對算法進(jìn)行評價，常用兩種評價方法：像素準(zhǔn)確率(Pixel Accuracy,PA)和交并比(Intersection Over Union,IoU)，其中IoU計算簡便且代表性強，是圖像語義分割評估最常用的指標(biāo)。

(1)PA像素準(zhǔn)確度

數(shù)據(jù)集中包含陸地、水面、建筑、天空、樹木共5種類型。模型的像素準(zhǔn)確度為圖中正確分類的像素數(shù)量與總像素數(shù)量的比例。

在進(jìn)行道床建設(shè)時，要保證材料符合相關(guān)的標(biāo)準(zhǔn)要求，加強道床施工的質(zhì)量控制，保證其具有較高標(biāo)準(zhǔn)的承載力，可以在較長時間承載地鐵的運行，有以下技術(shù)要點：①在道床施工中，要將預(yù)留縫隙與隧道結(jié)構(gòu)縫控制在統(tǒng)一平面上；②在搭設(shè)與拆除腳手架時要與鋼軌置離；③進(jìn)行混凝土澆筑時要適當(dāng)?shù)姆謱?，采用特殊的方法分臺階澆筑，保證其具有充足的承載力。

(2)IoU交并比

以IoU作為衡量預(yù)測目標(biāo)的位置偏差指標(biāo)，當(dāng)識別出的類型正確且IoU達(dá)到規(guī)定的閾值，則表明該識別結(jié)果正確。

3.3 實驗結(jié)果及分析

訓(xùn)練集、驗證集、測試集按照8∶1∶1的數(shù)量比例進(jìn)行劃分，在訓(xùn)練集和驗證集上調(diào)試出最佳訓(xùn)練參數(shù)后，把所有訓(xùn)練集和驗證集的樣本共同作為訓(xùn)練集，以最佳參數(shù)進(jìn)行訓(xùn)練，得到最終的模型，在測試集上測試模型性能。

根據(jù)各小水電站排口的特點，在排口下方設(shè)置判定區(qū)域，然后計算識別結(jié)果里判定區(qū)域內(nèi)水面面積與判定區(qū)域的面積比；當(dāng)面積比大于50%，則認(rèn)為該小水電站有泄放生態(tài)基流，判定為正常；否則認(rèn)為沒有泄放生態(tài)基流，判定為異常(見圖3)。

(a)雞鳴水電站生態(tài)基流識別正常示意圖

(b)普實水電站生態(tài)基流識別預(yù)警示意圖

圖3 識別結(jié)果示意

從以下兩個方面進(jìn)一步展開實驗研究：

(1) 樣本數(shù)量

數(shù)據(jù)集一共有20 962個樣本，預(yù)留10%的樣本作為測試集，即2 096個留作測試，在剩余的18 866個樣本中隨機抽取不同數(shù)量的樣本作為訓(xùn)練集和驗證集。不同訓(xùn)練樣本總量下，模型性能如下所示(見圖4)。

(2)對比實驗

對比測試了傳統(tǒng)圖像分割算法與FCN模型的性能(見表1)，詳細(xì)比較了各標(biāo)簽類別性能差異。所有輸入圖像在輸入模型之前均只做縮放和歸一化處理，不做其他任何預(yù)處理操作。

表1 深度學(xué)習(xí)方法與傳統(tǒng)圖像分割方法的性能對比

從實驗結(jié)果中可以清晰的看到：FCN模型在準(zhǔn)確率和召回率上的均顯著由于傳統(tǒng)基于區(qū)域的圖像分割方法，其中平均像素準(zhǔn)確度高28.18%，平均交并比提高21.5%。

基于區(qū)域的圖像分割方法，雖然計算簡單，但需要人工交互以獲得種子點。這種需要人工設(shè)計的特征模式泛化能力差，對圖像噪聲極為敏感，而圖像素材又復(fù)雜多樣，不僅場景豐富，而且由于圖像采集設(shè)備的不同，質(zhì)量差別較大，因此性能不佳?；谏窠?jīng)網(wǎng)絡(luò)的圖像分割方法能從數(shù)據(jù)集中學(xué)習(xí)并找到目標(biāo)更本質(zhì)的特征，像素準(zhǔn)確度和交并比顯著高于傳統(tǒng)方法。

3.4 應(yīng)用效果

本文構(gòu)建的深度學(xué)習(xí)預(yù)警方案成功運用于生態(tài)基流監(jiān)控系統(tǒng)，系統(tǒng)總計接入攝像頭30個，預(yù)置位30個，覆蓋縣內(nèi)所有在運行的小水電站，24 h不間斷進(jìn)行自動監(jiān)控。2020年第24周～27周總計報警30次，經(jīng)人工核對報警圖片及回放視頻，其中正確報警28次，預(yù)警準(zhǔn)確達(dá)93%(見圖5)。

基于深度學(xué)習(xí)圖像分割技術(shù)的生態(tài)基流監(jiān)測方法可顯著提升監(jiān)管效率，降低人員工作量，有效保障了下游生態(tài)環(huán)境用水。

4 結(jié) 論

基于深度學(xué)習(xí)的技術(shù)發(fā)展現(xiàn)階段處于井噴狀態(tài)，大量成熟的分割算法紛紛落地于各行各業(yè)的實際應(yīng)用場景。以FCN為代表的一系列優(yōu)秀算法對于小水電生態(tài)流量泄放監(jiān)控發(fā)揮了重要作用。

(1)構(gòu)建一套小水電站監(jiān)控數(shù)據(jù)集，對監(jiān)控場景進(jìn)行細(xì)粒度的分割標(biāo)注，包括陸地、水面、建筑、天空和樹木，為生態(tài)基流監(jiān)測提供基礎(chǔ)的結(jié)構(gòu)化數(shù)據(jù)支撐。

(2)訓(xùn)練數(shù)據(jù)量的提升能有效提高深度學(xué)習(xí)模型FCN的性能，最終達(dá)到82.8%的像素準(zhǔn)確度和71.3%的平均交并比。

(3)基于深度學(xué)習(xí)圖像分割的方法在識別性能上顯著優(yōu)于基于傳統(tǒng)圖像分割方法，平均像素準(zhǔn)確度高28.18%，平均交并比提高21.5%。

本文以FCN為基礎(chǔ)，構(gòu)建一套從視頻接入、算法推理、前端展示、預(yù)警消息推送的全流程預(yù)警方案，為生態(tài)基流監(jiān)控供了有力技術(shù)支撐，有效提升了水利監(jiān)管的自動化和智能化水平。