基于圖像處理的輪船吃水線計(jì)重系統(tǒng)的研究與實(shí)現(xiàn)

熊璐康 余 晟

（1.中國(guó)直升機(jī)設(shè)計(jì)研究所，江西景德鎮(zhèn) 333001；2.海裝武漢局駐南昌地區(qū)軍事代表室，江西南昌 333000）

0 引言

在現(xiàn)代化進(jìn)程中，中國(guó)的國(guó)際地位越來(lái)越高，成為世界第二大經(jīng)濟(jì)體，海上進(jìn)出口貿(mào)易增多，對(duì)于大型輪船的使用頻率越來(lái)越高。輪船的吃水線是評(píng)價(jià)輪船載重的重要指標(biāo)，吃水線計(jì)重是我國(guó)輪船運(yùn)輸行業(yè)運(yùn)用最廣泛的一種計(jì)重方式，我國(guó)大宗商品運(yùn)輸計(jì)重主要依靠吃水深度。在《進(jìn)出口商品重量鑒定規(guī)程》中，根據(jù)輪船的浮力公式，記錄輪船裝載之后的吃水線數(shù)值。并依據(jù)輪船的圖表，經(jīng)必要的校正，查算輪船排水量，結(jié)合輪船壓載水、淡水、燃油、船用物料及非貨物的重量測(cè)算，以確定裝載砂石重量的計(jì)重方法。該測(cè)量方法需要工作人員下到輪船的6 個(gè)吃水點(diǎn)，通過(guò)人眼目測(cè)的方法確定吃水線位置，并且要觀察當(dāng)時(shí)的水面情況，做好記錄，然后查詢輪船上的壓載水密度及水位、淡水儲(chǔ)量、燃油儲(chǔ)量、污水量等數(shù)據(jù)參數(shù)，在對(duì)照排水量表、校正表、水油艙計(jì)量表、靜水力曲線圖表等參數(shù)對(duì)比表后計(jì)算出輪船的載重量[1]。

在人工觀測(cè)的過(guò)程中，由于缺乏精密的測(cè)量?jī)x器，輪船載重量的確定受人的主觀因素影響比較明顯。輪船計(jì)重的大小涉及多方利益，對(duì)于輪船方和地方及國(guó)家稅務(wù)都是不公平的。由于各個(gè)采區(qū)的采砂監(jiān)管水域廣，涉及的輪船只比較多，調(diào)查取證困難，過(guò)度采砂對(duì)環(huán)境造成的傷害是不可逆的，因此輪船吃水線標(biāo)定輪船載重是水尺計(jì)重領(lǐng)域的一個(gè)重點(diǎn)難點(diǎn)問(wèn)題。提高吃水線計(jì)重的精準(zhǔn)度、客觀性，對(duì)保障吃水線測(cè)量人員的人身安全，加強(qiáng)環(huán)境保護(hù)，遏制違法采砂的行為有著重要意義。

1 吃水線檢測(cè)

基于圖像處理的輪船吃水深度檢測(cè)歸根結(jié)底是圖像的目標(biāo)檢測(cè)，主要檢測(cè)吃水線位置和吃水線位置所對(duì)應(yīng)的字符的位置。圖像的目標(biāo)檢測(cè)步驟，包括輸入圖片數(shù)據(jù)，灰度化、濾波、池化，邊緣檢測(cè)，吃水線粗定位，檢測(cè)出吃水線。

使用閾值分割法對(duì)輪船吃水線圖像進(jìn)行處理。在圖像分割中閾值分割法比較常用，主要是通過(guò)比較目標(biāo)與背景的差異，通過(guò)設(shè)置不同的閾值把圖像分為多個(gè)類型，從而實(shí)現(xiàn)目標(biāo)與背景的分離。過(guò)程如圖1 所示。

對(duì)于閾值分割：檢測(cè)圖像中每個(gè)像素點(diǎn)的像素值大小，判斷其是否滿足閾值要求，從而確定其屬于目標(biāo)區(qū)域還是其他區(qū)域，屬于目標(biāo)區(qū)域像素值置1，其他區(qū)域置0，得到一副二值圖像。用數(shù)學(xué)表達(dá)式來(lái)表示，則可設(shè)原始圖像f(x,y),T為閾值，閾值分割時(shí)則滿足下式：

灰度直方圖，是灰度圖像中不同像素點(diǎn)個(gè)數(shù)的統(tǒng)計(jì)圖，在圖像分割和圖像灰度變換等處理過(guò)程中起到重要的參考作用。從數(shù)學(xué)角度上看是一個(gè)與灰度值和該灰度值在圖像中出現(xiàn)的次數(shù)的數(shù)學(xué)函數(shù)，令x表示灰度值(一般0 ≤x≤255)，則f(x)表示當(dāng)x為特定灰度時(shí)，一幅圖像上灰度值為x的像素的數(shù)量，其中f(x)是一個(gè)離散的函數(shù)[2]。從圖形上來(lái)說(shuō)，灰度直方圖就是一個(gè)平面圖，橫坐標(biāo)表示不同的灰度級(jí)別，縱坐標(biāo)表示具有各個(gè)灰度值或者灰度級(jí)別的像素在圖像中出現(xiàn)的次數(shù)或者概率。

如圖2 所示，得到圖片經(jīng)明度公式計(jì)算后的灰度圖片直方圖（依次為圖像1、圖像2、圖像3 和圖像4）。

圖2 灰度直方圖

閾值法是最常見(jiàn)的區(qū)域分割算法，輪船吃水線圖像分為輪船的漆面區(qū)域和水面區(qū)域，圖片中從輪船的漆面到水面之間會(huì)發(fā)生像素的突變，在繪制灰度直方圖時(shí)，如圖2圖片會(huì)出現(xiàn)雙峰現(xiàn)象，如圖像1、圖像3、圖像4，（其中圖像1 的三峰現(xiàn)象是由于漆面有黑色和紅色導(dǎo)致的），基于圖像固定閾值的圖像分割方法對(duì)于灰度直方圖為雙峰的輪船吃水線圖片吃水線檢測(cè)效果最佳，取波谷的像素范圍為固定閾值，能清楚地檢測(cè)出輪船吃水線。之后再進(jìn)行霍夫直線檢測(cè)以確定吃水線在圖片中的位置，對(duì)于圖片，空間中的每一個(gè)像素點(diǎn)在圖片中是有固定坐標(biāo)位置的，確定圖片中直線兩個(gè)點(diǎn)(x1,y1)，(x2,y2)，根據(jù)公式k=(y1-y2)/(x1-y2)，b=y1-kx1，得到y(tǒng)=kx+b，確定直線函數(shù)方程。實(shí)驗(yàn)結(jié)果如圖3 所示。

圖3 閾值分割與霍夫直線檢測(cè)之后的照片

圖3 所示的紅線是經(jīng)霍夫檢測(cè)之后得到的直線，得到直線后程序會(huì)返回該直線首尾兩點(diǎn)的坐標(biāo)，通過(guò)坐標(biāo)確定直線的函數(shù)表達(dá)式以確定吃水線在圖片中的位置。結(jié)果如表1 所示。

表1 直線函數(shù)方程

2 字符檢測(cè)

光學(xué)字符識(shí)別涉及檢測(cè)圖像上的文本內(nèi)容，并將圖像轉(zhuǎn)換為計(jì)算機(jī)可以輕松理解的編碼文本。掃描和分析包含文本的圖像，以識(shí)別其中的字符。識(shí)別后，該字符將轉(zhuǎn)換為機(jī)器編碼的文本。

第一步字符目標(biāo)檢測(cè)：為了確定目標(biāo)在圖片中的位置，首先選擇吃水線圖像中的子圖像塊，然后通過(guò)目標(biāo)檢測(cè)識(shí)別算法檢測(cè)圖像中的子圖像塊，字符和子圖像塊的位置確定，在這些子圖像塊中，由字符識(shí)別算法返回的類別概率很高。所以需要單獨(dú)訓(xùn)練一個(gè)字符識(shí)別模型，此模型可以檢測(cè)圖像識(shí)別框中的9，但模型只能確定圖片中有9，無(wú)法確定其位置[3-6]。如圖4 所示。

圖4 字符目標(biāo)檢測(cè)

第二步字符定位：字符定位采用區(qū)域提議算法中的選擇搜索，使用顏色相似度原理，為圖像的每個(gè)通道計(jì)算25 箱直方圖，將它們連接在一起，獲得25×3=75 的最終描述符。任何兩個(gè)區(qū)域的顏色相似性通過(guò)直方圖相交距離來(lái)衡量。兩個(gè)區(qū)域的顏色相似度基于直方圖相交，可以計(jì)算為：

進(jìn)行紋理相似度匹配之后，使用OpenCV 和Python實(shí)現(xiàn)選擇性搜索，流程如圖5 所示。

圖5 選擇性搜索流程圖

首先輸入圖片的路徑，使用選擇性搜索算法，通常有兩個(gè)選擇“快速”和“質(zhì)量”，大多數(shù)情況下選擇快速方法。然后對(duì)圖片執(zhí)行“選擇性搜索”，找到區(qū)域提議的數(shù)量，得到輸出圖像，對(duì)于輸出圖像，只需通過(guò)嵌套循環(huán)，以100 個(gè)塊為單位循環(huán)區(qū)域建議（選擇性搜索將生成幾百到幾千個(gè)建議；將它們“分組”，以便更好地進(jìn)行可視化），提取由“選擇性搜索”生成的每個(gè)區(qū)域提案周圍的邊界框坐標(biāo)，并為每個(gè)區(qū)域提案繪制一個(gè)彩色矩形[7-8]。結(jié)果如圖6 所示。

圖6 選擇性搜索結(jié)果

然后對(duì)邊界框進(jìn)行回歸：給定預(yù)測(cè)的邊界框坐標(biāo)p=(px,py,pω,ph)（中心坐，標(biāo)寬度，高度）及其對(duì)應(yīng)的地面真實(shí)坐標(biāo)g=(gx,gy,gω,gh)，將回歸器配置為了解兩中心之間的尺度不變轉(zhuǎn)換以及寬度和高度之間的對(duì)數(shù)尺度轉(zhuǎn)換，將p作為輸入。

其預(yù)測(cè)坐標(biāo)示意圖如圖7 所示。

圖7 預(yù)測(cè)的和真實(shí)的邊界框之間的轉(zhuǎn)換

應(yīng)對(duì)這種變換的一個(gè)明顯的好處是，所有邊界框校正函數(shù)d i(p),i∈{x,y,ω,h}，都可以取[ -∞,+∞]之間的任何值。他們的學(xué)習(xí)目標(biāo)是：

標(biāo)準(zhǔn)回歸模型可以通過(guò)使用正則化使SSE 損失最小化的方法來(lái)解決問(wèn)題。

正則化項(xiàng)在這里很關(guān)鍵，R-CNN 通過(guò)交叉驗(yàn)證選擇最佳的λ。還值得注意的是，并非所有預(yù)測(cè)的邊界框都具有相應(yīng)的真值框。例如，如果沒(méi)有重疊，則運(yùn)行邊界框回歸是沒(méi)有意義的。在此，僅保留具有至少0.6 IoU 的真實(shí)框的預(yù)測(cè)框，以訓(xùn)練邊界框回歸模型。確定字符的邊框坐標(biāo)。

第三步字符識(shí)別：字符的邊界框確定好了之后，使用區(qū)域提議CNN（R-CNN）進(jìn)行對(duì)象檢測(cè)，R-CNN 為深度前饋神經(jīng)網(wǎng)絡(luò)，其包括三層，輸入層，隱藏層，和輸出層。如圖8 所示。

在前饋網(wǎng)絡(luò)中，信息僅在前向方向上從輸入層穿過(guò)隱藏層（如果存在），再到輸出層。該網(wǎng)絡(luò)中沒(méi)有循環(huán)。前饋神經(jīng)網(wǎng)絡(luò)有時(shí)被模糊地稱為多層感知器。第l層中的神經(jīng)元數(shù)量n[l]用下式表示，l層中神經(jīng)元的凈輸入、第l層中神經(jīng)元的激活、第l層中神經(jīng)元的權(quán)值分別可以用以下向量表示。

使用權(quán)重和輸入矢量來(lái)計(jì)算第l層中的神經(jīng)元激活，公式如下。

在前饋神經(jīng)網(wǎng)絡(luò)中，輸入信號(hào)在前向方向上從輸入層傳入隱藏層（如果存在），再到輸出層。該網(wǎng)絡(luò)中沒(méi)有反饋循環(huán)。前饋神經(jīng)網(wǎng)絡(luò)有時(shí)被模糊地稱為多層感知器。過(guò)程如圖9 所示。

圖9 R-CNN神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)流程

在R-CNN 中，每個(gè)邊界框由圖像分類器進(jìn)行獨(dú)立分類。有2000 個(gè)區(qū)域建議，圖像分類器為每個(gè)區(qū)域，建議計(jì)算了一個(gè)特征圖。由于檢測(cè)速度的不理想，提出了一種稱為Fast R-CNN 的方法，該方法大大加快了對(duì)象檢測(cè)的速度。想法是為整個(gè)圖像計(jì)算一個(gè)特征圖，而不是為2000 個(gè)區(qū)域提案計(jì)算2000 個(gè)特征圖。對(duì)于每個(gè)區(qū)域建議，感興趣區(qū)域（RoI）合并層從特征圖中提取固定長(zhǎng)度的特征向量。然后將每個(gè)特征向量用于：將區(qū)域分為以下類別之一，如目標(biāo)對(duì)象，背景和使用包圍盒回歸器提高原始包圍盒的精度[9]。

3 數(shù)據(jù)處理

水尺字符在圖片中呈一條直線數(shù)值排列，每個(gè)字符直接間隔為10cm 且每個(gè)字符的高度為10cm，在確定吃水線位置之后，可以確定字符下端與吃水線直接的位置距離。在圖像中假定字符高度為L(zhǎng)1，圖片中吃水線距離水線最近的字符下端位置為L(zhǎng)2，字符讀數(shù)為L(zhǎng)，則吃水線讀數(shù)為X=L-0.1L2/L1。如圖10 所示。

圖10 吃水深度計(jì)算示意圖

通過(guò)吃水線函數(shù)方程，和字符邊框坐標(biāo)可確定字符到吃水線的距離，取字符下邊框中點(diǎn)，計(jì)算該點(diǎn)到吃水線直線函數(shù)方程的距離L2，通過(guò)Fast R-CNN 前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練SVHN 數(shù)據(jù)集，采用PyTorch 的深度學(xué)習(xí)框架。其中PyTorch 是針對(duì)使用GPU 和CPU 進(jìn)行深度學(xué)習(xí)的優(yōu)化張量庫(kù)，可替代NumPy，并且可使用GPU 和其他加速器功能，自帶自動(dòng)微分庫(kù)，對(duì)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)有很大作用。SVHN 數(shù)據(jù)集是用于開(kāi)發(fā)機(jī)器學(xué)習(xí)和對(duì)象識(shí)別算法的真實(shí)圖像數(shù)據(jù)集，包含所有的印刷體數(shù)字，且剪裁較小。本文用SVHN 數(shù)據(jù)集訓(xùn)練Fast R-CNN 前饋神經(jīng)網(wǎng)絡(luò)模型。使用具有6 個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)[10-13]。

激活Fast R-CNN 前饋神經(jīng)網(wǎng)之后，模型針對(duì)分類和本地化的任務(wù)進(jìn)行了損失的優(yōu)化，總體損失函數(shù)為：

其中：

在將模型進(jìn)行損失平滑之后，使用PyTorch 框架實(shí)現(xiàn)Fast R-CNN。首先訓(xùn)練10 個(gè)較低的學(xué)習(xí)效率結(jié)果，如圖11 所示。

圖11 初始訓(xùn)練結(jié)果

準(zhǔn)確度大約為11%，準(zhǔn)確度較低，這是隨機(jī)初始化模型的期望結(jié)果，隨著最優(yōu)學(xué)習(xí)率速率范圍的擴(kuò)大，即采用非線性ReLU 函數(shù)，初始化模型之后首先采用非線性ReLU 函數(shù)激活神經(jīng)網(wǎng)絡(luò)，ReLU 是深度神經(jīng)網(wǎng)絡(luò)中非常流行的激活函數(shù)[14]，其定義如下。

盡管它看起來(lái)像線性函數(shù)，但其確實(shí)是非線性函數(shù)，其圖像和導(dǎo)數(shù)圖像如圖12 所示。

圖12 ReLU圖像與其導(dǎo)數(shù)圖像

在添加非線性函數(shù)ReLUs 之后，以學(xué)習(xí)率1e-1 進(jìn)行訓(xùn)練，進(jìn)一步提高準(zhǔn)確性。結(jié)果如圖13 所示。

圖13 最終訓(xùn)練結(jié)果

損失和準(zhǔn)確度的變換如圖14 所示，準(zhǔn)確率為96%左右，損失下降到0.25 左右，滿足準(zhǔn)確率不低于95%的要求。

圖14 準(zhǔn)確度和損失曲線

輸入第二部分中的四幅圖像，確定吃水線位置之后，檢測(cè)水尺字符數(shù)值，對(duì)比人工檢測(cè)結(jié)果與系統(tǒng)識(shí)別結(jié)果如表2 所示，偏差率為0.3%左右。

表2 檢測(cè)結(jié)果對(duì)比

4 結(jié)論

為解決在吃水線計(jì)重時(shí)人工觀測(cè)的主觀性問(wèn)題，采用基于圖像處理的輪船吃水線計(jì)量方法，采集吃水線位置水尺圖像，通過(guò)固定閾值分割和霍夫直線檢測(cè)的方法確定吃水在圖像中的位置（吃水線的函數(shù)關(guān)系），基于R-CNN前饋神經(jīng)網(wǎng)絡(luò)并利用PyTorch 框架的深度學(xué)習(xí)算法，識(shí)別水尺字符，使字符的識(shí)別率達(dá)到了96%，最終確定輪船的吃水深度，偏差率僅0.3%左右，完全達(dá)到行業(yè)標(biāo)準(zhǔn)。