基于卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)控圖像水位識別

王述強，張 飛，艾小堅

（1. 信江饒河水文水資源監(jiān)測中心，江西 上饒，334000；2. 江西省水文監(jiān)測中心，江西 南昌，330002；3. 西安電子科技大學，陜西 西安，710071）

0 引言

水文監(jiān)測是許多國家非常重要的研究領(lǐng)域[1]，尤其是在河流區(qū)域較多的國家。河流在人類生活中起著至關(guān)重要的作用，也是洪水的源頭。雨季洪水頻發(fā)，造成大量經(jīng)濟損失和災害性疾病。據(jù)中國國家減災中心統(tǒng)計，洪水也是2020 年的主要災害，造成27 個省3200萬人受災。因此，準確、快速地開展河流水位檢測，迅速應對洪澇災害迫在眉睫。

本文引入卷積神經(jīng)網(wǎng)絡(luò)來檢測水尺和水尺上的印刷數(shù)字。然后，使用語義分割模型對水面上的水尺進行分割，得到準確的水位線。前者是目標檢測任務(wù)。本文采用改進的目標檢測模型FCOS[2]來檢測水尺和水尺編號。得到數(shù)值相關(guān)信息后，下一步就是檢測水位線。文章通過在水面以上劃分水尺來間接檢測水位線。為了實現(xiàn)這一點，本文采用了Deeplab-v3+[3]，它是一種高效的語義分割模型。為了提升模型邊緣計算和模型的對復雜水文場景的檢測能力，本文對FOCS 和Deeplabv3+加入了上下文融合語義模塊，分別將改進后的模型命名為FCOS-CA，Deeplab-CA。

1 研究方法

1.1 水尺及數(shù)字區(qū)域檢測模型

本文提出的模型主要是用邊緣計算的思想進行部署的。網(wǎng)絡(luò)需要在確保準確性的同時盡可能小。本文提出的FCOS-CA 模型使用ResNet-54 作為主干網(wǎng)絡(luò)。FCOS 使用五個不同尺度的特征圖進行進一步檢測。由于任務(wù)是單個目標檢測，因此這些不同尺度的特征圖是不必要的。模型只使用三個特征圖。回歸和分類的特征也減少到了3 個。采用上述修改后，本文提出的模型在檢測精度和模型大小之間達到了平衡。FCOS 的骨干網(wǎng)絡(luò)充分提取了原始圖像的語義特征。不同高度的特征圖層包含不同層次的語義信息，較低層次的特征包含豐富的圖像細節(jié)，較高層次的特征包含全局語義結(jié)構(gòu)信息[4，5]。因此，模型融合了相鄰層之間的特征圖，以充分保留源圖像中的語義信息?；谶@個想法，本文提出了上下文融合模塊。該模塊生成密集的像素級上下文信息，同時提高長連接路徑中特征編碼的效率。

1.2 水尺區(qū)域分割模型

基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割已經(jīng)達到了很高的水平[6，7]，在智慧水利上也有使用先例，從FPN 到Deeplab 系列模型，語義分割的性能不斷提升。未來水位識別模型需要在邊緣設(shè)備而不是計算機上運行，因此模型的大小是有限制的。所以使用ResNet54 作為Deeplab 的骨干網(wǎng)絡(luò)。骨干網(wǎng)絡(luò)的減少肯定會導致性能下降。為了緩解這個問題，對特征融合進行了改進?？紤]到水面以上和以下水尺的分割精度，通過使用上下文融合模塊改進了特征融合的方法，如圖1 所示。

圖1 特征融合示意圖

改進后的Deeplab 模型結(jié)構(gòu)如圖2 所示。

圖2 改進后的Deeplab 結(jié)構(gòu)圖

1.3 水位識別

1.3.1 水位線提取

Deeplab 分割的結(jié)果是一個多邊形區(qū)域。需要提出一種算法來根據(jù)多邊形計算水位的位置。首先計算該區(qū)域的最大包圍矩形。為方便起見，只計算垂直矩形框。矩形框的關(guān)鍵是計算左上角右下角坐標。使用該方法來計算這些坐標。水位線提取示意圖如圖3 所示。

圖3 水位線檢測示意圖

1.3.2 水位測量

FCOS 物體檢測的結(jié)果顯示了每個數(shù)字的像素坐標，可以計算每個數(shù)字之間的距離。水位線的分割結(jié)果顯示了水位線的像素高度，然后可以計算它與最近數(shù)字的距離。FCOS 模型的檢測結(jié)果是矩形框，理想情況下可以給每個圖一個矩形框。由于實際水尺背景復雜，F(xiàn)COS 模型的檢測精度無法達到100%，導致存在漏檢或誤檢的情況。需要利用刻度上數(shù)字的分布作為先驗信息，即水尺從下到上均勻分布數(shù)字0 到9，并對檢測結(jié)果進行處理，去除錯誤的檢測結(jié)果。

一個檢測矩形代表一個數(shù)字區(qū)域，矩形左上角和右下角的坐標是已知信息。數(shù)字矩形中心的坐標記為hx，其中x 表示數(shù)字個數(shù)，而兩個相鄰檢測數(shù)字之間的距離用dxy表示。由于每個數(shù)字是等距的，所以兩個相鄰數(shù)字之間的實際距離可以用下式表示

n 的值由數(shù)字之間的實際編號距離決定。如果模型只檢測到“8”和“2”兩個數(shù)字，則n 的值為6。任意一個數(shù)字的實際高度，即物理距離為5cm，相鄰兩個數(shù)字之間的實際物理距離為10cm，即每單位像素高度的實際物理距離。每單位像素高度的實際物理距離表示為：

檢測到的最小數(shù)x 的中心坐標高度為hmin，檢測到的水位線高度為hline，則實際水位值可通過以下方程計算：

2 研究結(jié)果

2.1 評價指標

本文描述的三個任務(wù)使用了不同的評估指標。對于水尺檢測任務(wù)，本質(zhì)上是一個物體檢測問題，指標為準確率、召回率和均值平均精度。對于水尺區(qū)域分割任務(wù)，為像素精度和平均交叉合并率。對于水位識別任務(wù)，選擇包括相對誤差和絕對誤差在內(nèi)的指標。

精確度和召回率這兩個指標由四個基礎(chǔ)指標組成，即TP、TN、FP 和FN。TP 表示正樣本被預測為正樣本。TN 表示負樣本被預測為負樣本。FP 表示負樣本被預測為正樣本。FN 表示預測為負樣本的正樣本。精度和召回率計算如下。

同時，為了綜合考慮這兩個指標的評價，可以用這兩個指標來繪制一條PR 曲線，即以準確率為縱坐標，召回率為橫坐標，然后是PR 曲線所包圍的面積，坐標軸可以作為新的測量值。對于單個目標，該指標稱為平均準確度。對于多個目標，每個類別的AP 平均值計算為mAP。

每像素累積（Per-pixel acc）是預測的準確像素數(shù)（在分割任務(wù)中分割準確的像素數(shù)）與總像素數(shù)之比。假設(shè)有n 個類別，預測為i 類像素的類像素數(shù)用TPi表示，預測為類別的i 類像素數(shù)用FNi表示。然后，Perpixel acc 的表達式如下式所示：

2.2 數(shù)據(jù)集

由于水尺圖像沒有公共數(shù)據(jù)集，本文只在我們的水尺數(shù)據(jù)集上對其進行訓練和評估。大部分水位數(shù)據(jù)來自江西婺源水文站。我們從該水文站的20 個監(jiān)測點收集了560 幅水尺圖像。此外，我們還從互聯(lián)網(wǎng)上下載獲得200 幅水尺圖像。還對圖像進行幾何變換以擴展數(shù)據(jù)集，包括翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、變形、縮放等。然后用12 類注釋量規(guī)和打印數(shù)字，并將原始圖像裁剪為小尺寸。因此，分別使用5.6K 和0.6K 圖像創(chuàng)建訓練和測試分割。數(shù)據(jù)集的采樣器如圖4 所示。

圖4 數(shù)據(jù)集樣本

2.3 實驗和分析

2.3.1 水尺及數(shù)字檢測

本文使用自制的水尺數(shù)據(jù)集對改進后的FCOS 模型進行訓練和測試，同時也選擇了SSD、YOLOv3 目標檢測模型作為對比模型。模型的測試結(jié)果如表1 所示。本文改進的模型表示為FCOS-CA。

表1 不同模型的檢測效果

從表1 可以看出，F(xiàn)COS-CA 在三個指標上的良好結(jié)果表明該模型能夠勝任水位檢測任務(wù)。

同時，本文還對水尺水位值識別中的7 個難點場景進行了測試，分別是：反射、風浪、逆光、水體透明度、夜間補光、臟污和日影。其中部分難點場景檢測結(jié)果如圖5 所示，效果較好。

圖5 水尺檢測情況

2.3.2 水尺區(qū)域分割

使用自制的水尺數(shù)據(jù)集對本文改進的Deeplabv3+語義分割模型進行訓練和測試，表示為Deeplab-CA。FCN 和UNET 分割模型也被選為比較模型。不同模型的測試結(jié)果見表2。在水尺區(qū)域分割的實驗結(jié)果中，將分割結(jié)果表示為淺綠色區(qū)域并疊加在原始圖像之上，同時降低原始水尺圖像的亮度以獲得更可觀的可視化測試結(jié)果。

表2 水尺區(qū)域分割模型性能對比

從表2 可以看出，在推理時間上，雖然Deeplab-CA模型稍慢，分別比UNET 和Deeplab-v3+慢0.02s 和0.04s，但都有不同程度的提升。Deeplab-CA 在三個指標上的良好結(jié)果表明，該模型能夠勝任水位線分割的任務(wù)。

同時，本文還對水尺水位值識別中的七個難點場景進行了測試，分別是：反射、風浪、逆光、水體透明度、夜間補光、臟污和太陽陰影。其中部分分割結(jié)果如圖6。

圖6 水尺分割結(jié)果

對于圖6 中的傾斜水尺，F(xiàn)OCS-CA 模型準確區(qū)分了水尺區(qū)域上下兩部分，也解決了“傾斜”帶來的干擾。

在水尺區(qū)域的分割指標方面，該模型實現(xiàn)了92%的像素分割準確率。從可視化分割結(jié)果來看，F(xiàn)OCS-CA 模型不僅在實際復雜場景中分割效果顯著，而且對實際場景中的七種特殊場景也取得了顯著的分割效果。

2.3.3 水位測量實驗

為了驗證水位值識別的有效性，本文采用的評價指標是比較人眼觀察到的水位線垂直高度與算法識別的水位線垂直高度的誤差。這里的高度是水尺刻度下的高度，即由尺身編號構(gòu)成的高度。水尺讀數(shù)示意圖如圖7。

圖7 水尺水位值讀數(shù)示意圖

每個字母E 與翻蓋E 的實際物理距離為5cm，字母E 的每個“十字”的物理寬度為1cm。每個數(shù)字的中心對應字母E 中間的一個“十字”中心的位置。兩個相鄰數(shù)字的中心之間有10 個“十字”。圖中水位值的讀數(shù)為5.0cm 或50.0cm，不帶單位表示標記相對于刻度底部的距離，帶單位表示相對于刻度底部的實際物理距離，水位值的實際水文場景也需要利用水尺安裝位置的高程信息進行計算，本文僅以水尺的相對標記距離作為水位值進行討論。首先，本文選取水尺數(shù)據(jù)集的測試集進行水位值識別實驗，測試結(jié)果見表3。識別結(jié)果按照絕對誤差分為若干范圍，統(tǒng)計每個范圍的樣本結(jié)果占所有樣本的比例。該統(tǒng)計結(jié)果表明：本文提出的水位識別算法取得了較好的效果。

表3 水尺測試集水位值識別統(tǒng)計結(jié)果

然后選取校園內(nèi)不同人工湖中背景干擾程度不同的六組位置進行測試，測試結(jié)果見表4。

表4 實際監(jiān)測點水尺水位測量結(jié)果

人工讀數(shù)由七名觀察員進行人眼觀察讀數(shù)。對七組水位值數(shù)據(jù)的每個監(jiān)測點水位圖像，去除最大值和最小值以減少個體偏差引入的誤差，最后取平均值作為水位圖像的水位值。表4 中算法識別值為本文通過算法識別的水位值。其中相對誤差為“+”表示算法讀數(shù)偏大，“-”表示偏小。

從校園人工湖實際監(jiān)測點的水位識別實驗可以看出，F(xiàn)OCS-CA 算法的識別效果與人工觀測結(jié)果非常接近，絕對誤差大部分在1cm 以內(nèi)，滿足水位觀測標準的要求。同時，本文測量了七種特殊復雜場景下水尺水位值的識別情況。測量結(jié)果見表5。

表5 七種特殊場景下的水位值識別結(jié)果統(tǒng)計

3 結(jié)語

為了解決真實水文場景中的水位識別問題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的水位識別組合方法。這種組合方法包括水位數(shù)字檢測模型、水位區(qū)域分割模型和水位線提取算法。實驗結(jié)果表明，文中提出的方法有效地解決了基于水位圖像的水位識別問題。目前的缺點是還不能將該方法應用于嵌入式AI 設(shè)備。未來，我們將探索解決問題的方法，提高該方法應用效率和識別準確率。