基于YOLO 算法的魚(yú)群探測(cè)監(jiān)控系統(tǒng)

沈軍宇， 李林燕， 戴永良， 王 軍， 胡伏原

（1.蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州215009；2.蘇州經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院 信息技術(shù)學(xué)院，江蘇 蘇州215009；3.昆山市農(nóng)業(yè)信息中心，江蘇 蘇州215300）

實(shí)時(shí)高效的水下魚(yú)群探測(cè)對(duì)于海洋和湖泊中魚(yú)群活動(dòng)規(guī)律的監(jiān)測(cè)具有明顯的實(shí)際意義。 近年來(lái)，魚(yú)群檢測(cè)問(wèn)題引起了世界范圍內(nèi)學(xué)者的關(guān)注并取得了較大的發(fā)展。 ALIYU 等人[1]提出利用Chain Code 和Corners-Harris Stephen 算法分別提取出魚(yú)苗的形狀與區(qū)域位置，用于檢測(cè)單條魚(yú)或互相遮擋的魚(yú)群。 Le 等人[2]提出一種基于骨骼端點(diǎn)的骨骼提取算法，利用優(yōu)化Otsu 算法提高分割出魚(yú)群精度。Spampinato 等人[3]在連續(xù)的視頻幀中使用幀差法， 利用動(dòng)態(tài)背景更新算法和自適應(yīng)高斯混合模型提升實(shí)時(shí)視頻中魚(yú)群的檢測(cè)精度。筆者也基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法[4]，利用YOLO[5]算法進(jìn)行端到端訓(xùn)練，直接回歸得到目標(biāo)位置和類(lèi)別信息，極大地提升了實(shí)時(shí)視頻中魚(yú)群檢測(cè)的精度和速度。

顧婭娣等人[6]利用信息管理系統(tǒng)與WEB-GIS 技術(shù)結(jié)合，建設(shè)合肥市旅游管理信息化平臺(tái)，促進(jìn)旅游企業(yè)與公眾信息資源的快速獲取。余惠強(qiáng)等人[7]基于Web 軟件開(kāi)發(fā)技術(shù)搭建的青藏鐵路職工健康監(jiān)護(hù)系統(tǒng)，對(duì)高原病起到較好的預(yù)防與救治效果。 楊雪勇[8]針對(duì)報(bào)社人事特點(diǎn)，利用JAVA 語(yǔ)言開(kāi)發(fā)出一套人事信息管理系統(tǒng)，極大地提高人事管理的效率。 奚雪峰等人[9]以核電企業(yè)焊接工作流為應(yīng)用背景，基于UML 面向?qū)ο蠹夹g(shù)實(shí)現(xiàn)工作流管理系統(tǒng)的建模，包括用例模型、靜態(tài)模型和動(dòng)態(tài)模型，并在實(shí)際生產(chǎn)中產(chǎn)生極大的經(jīng)濟(jì)效益。張志敏等人[10]以及邵志文等人[11]設(shè)計(jì)的檢測(cè)管理系統(tǒng)，可以極大地提高數(shù)據(jù)的獲取與處理的時(shí)效性，輔助系統(tǒng)使用者做出更加合理的決策。

為了能夠?qū)崟r(shí)探測(cè)魚(yú)群的生活習(xí)性、尋求魚(yú)群的活動(dòng)規(guī)律，首先，利用YOLO 檢測(cè)算法對(duì)實(shí)時(shí)采集的水下監(jiān)控圖像做魚(yú)群檢測(cè)，相比傳統(tǒng)的魚(yú)群檢測(cè)算法，檢測(cè)精度可以提升20%以上，并且可以實(shí)現(xiàn)實(shí)時(shí)的魚(yú)群檢測(cè)；然后，結(jié)合C# 編程語(yǔ)言與.Net Framework 框架，將檢測(cè)結(jié)果在數(shù)據(jù)庫(kù)中存儲(chǔ)，方便軟件使用人員對(duì)視頻和圖像的檢測(cè)結(jié)果進(jìn)行查看；最后，根據(jù)歷史數(shù)據(jù)實(shí)現(xiàn)可視化圖表展示，并且根據(jù)水域覆蓋面積估算魚(yú)群分布密度。 因此，利用水下監(jiān)控與YOLO 算法構(gòu)建的實(shí)時(shí)魚(yú)群檢測(cè)系統(tǒng)，為漁業(yè)部門(mén)實(shí)時(shí)監(jiān)管與信息化結(jié)合提供強(qiáng)有力的依據(jù)。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)架構(gòu)

系統(tǒng)分?jǐn)?shù)據(jù)采集與控制、深度學(xué)習(xí)圖像處理以及軟件系統(tǒng)三個(gè)模塊，如圖1 所示。 數(shù)據(jù)采集與控制模塊利用水下高清監(jiān)控?cái)z像頭、補(bǔ)光燈、聲吶和云臺(tái)等硬件設(shè)備，采集監(jiān)控視頻數(shù)據(jù)并調(diào)整監(jiān)控補(bǔ)光與拍攝角度等參數(shù)，通過(guò)網(wǎng)絡(luò)通信與后臺(tái)管理功能模塊進(jìn)行數(shù)據(jù)交互。 深度學(xué)習(xí)圖像處理模塊利用訓(xùn)練好的YOLO 模型，對(duì)采集的監(jiān)控視頻進(jìn)行逐幀檢測(cè)并合成含檢測(cè)結(jié)果的新視頻，從而為軟件系統(tǒng)提供監(jiān)控預(yù)覽功能接口。后臺(tái)管理功能模塊包含監(jiān)控視頻預(yù)覽回放與監(jiān)控截圖記錄存儲(chǔ)，是整個(gè)系統(tǒng)數(shù)據(jù)存儲(chǔ)與應(yīng)用的核心，可以根據(jù)存儲(chǔ)記錄方便地進(jìn)行數(shù)據(jù)的查看與統(tǒng)計(jì)等操作。

1.2 業(yè)務(wù)流程

魚(yú)群檢測(cè)系統(tǒng)包含硬件設(shè)備控制功能、視頻預(yù)覽功能、視頻回放功能、數(shù)據(jù)查看功能、數(shù)據(jù)統(tǒng)計(jì)功能以及信息報(bào)告生成功能。 可以實(shí)現(xiàn)云臺(tái)轉(zhuǎn)動(dòng)方向和速度控制、補(bǔ)光強(qiáng)弱控制、聲吶強(qiáng)度大小控制等操作需求；實(shí)時(shí)監(jiān)控預(yù)覽以及歷史監(jiān)控視頻回放等視頻操作；抓圖時(shí)間信息查詢、抓圖詳細(xì)圖片展示、信息實(shí)時(shí)展示、當(dāng)前月份數(shù)據(jù)統(tǒng)計(jì)、當(dāng)年數(shù)據(jù)統(tǒng)計(jì)以及歷年數(shù)據(jù)統(tǒng)計(jì)等管理需求。 具體業(yè)務(wù)流程如圖2 所示。

圖1 系統(tǒng)架構(gòu)

圖2 監(jiān)控視頻處理流程

1.3 開(kāi)發(fā)環(huán)境

系統(tǒng)采用B/S 和C/S 混合開(kāi)發(fā)模式。 服務(wù)器操作系統(tǒng)為Windows Server 2008，IIS7.5 服務(wù)和SQL Server 2008R2 數(shù)據(jù)庫(kù)；客戶端包含支持IE8.0 以上瀏覽器的任何操作系統(tǒng)。目標(biāo)檢測(cè)模型采用Python 語(yǔ)言開(kāi)發(fā)，使用tensorflow 框架。Web 端與通信應(yīng)用程序采用C#語(yǔ)言開(kāi)發(fā)，使用.Net Framework 框架，使用VS2015 作為系統(tǒng)軟件開(kāi)發(fā)工具。

2 數(shù)據(jù)采集與處理

水下部分包括：攝像云臺(tái)、高清網(wǎng)絡(luò)攝像機(jī)、綠色LED 補(bǔ)光燈和聲吶傳感器等組成。

高清網(wǎng)絡(luò)攝像機(jī)負(fù)責(zé)區(qū)域攝像，畫(huà)面清晰度滿足1080 P 高清標(biāo)準(zhǔn)，攝像距離滿足60 m，焦距采取6 mm 到30 mm 可變焦距；綠色LED 補(bǔ)光燈功率60 W，水下補(bǔ)光范圍60 m；攝像云臺(tái)滿足2 軸可運(yùn)動(dòng)，方位360°，俯仰-45°～45°；聲吶傳感器滿足探測(cè)距離60 m，負(fù)責(zé)識(shí)別探測(cè)范圍內(nèi)的活動(dòng)魚(yú)群。 其他控制設(shè)備與攝像頭安裝在同一固定裝置上，通過(guò)電纜從水下與附近發(fā)電機(jī)相連接，同時(shí)通過(guò)光纜與水上數(shù)據(jù)傳輸模塊進(jìn)行視頻的實(shí)時(shí)傳輸。

數(shù)據(jù)傳輸模塊使用4G 網(wǎng)絡(luò)將水下視頻轉(zhuǎn)發(fā)到服務(wù)器， 此時(shí)監(jiān)控中心可以通過(guò)訪問(wèn)服務(wù)器實(shí)時(shí)預(yù)覽水下視頻，并且可以通過(guò)4G 網(wǎng)絡(luò)將控制中心發(fā)送的控制指令傳輸?shù)较鄳?yīng)的傳感器設(shè)備。

根據(jù)筆者以前的實(shí)驗(yàn)結(jié)果，基于YOLO 的魚(yú)群檢測(cè)可以達(dá)到90%以上的檢測(cè)精度，并保持30FPS 的檢測(cè)速度，比傳統(tǒng)魚(yú)群檢測(cè)方法有更好的檢測(cè)效果。

該系統(tǒng)采用基于YOLO 的魚(yú)群圖像檢測(cè)模型，實(shí)時(shí)處理由數(shù)據(jù)采集模塊傳輸?shù)囊曨l，如圖3 所示。 基于水下魚(yú)群圖像訓(xùn)練YOLO 模型，將輸入的每一幀圖像輸入到訓(xùn)練好的模型， 輸出檢測(cè)結(jié)果以及目標(biāo)數(shù)量。此時(shí)，獲取數(shù)據(jù)庫(kù)中存儲(chǔ)的每分鐘魚(yú)群數(shù)量閾值，判斷是否保存該幀圖像。圖像保存在服務(wù)器本地文件夾，并在數(shù)據(jù)庫(kù)中生成一條記錄。

圖3 魚(yú)群檢測(cè)原理圖

3 軟件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.1 數(shù)據(jù)庫(kù)設(shè)計(jì)

3.1.1 表設(shè)計(jì)

數(shù)據(jù)庫(kù)表按照多個(gè)屬性分開(kāi)管理監(jiān)控信息，包括監(jiān)控硬件及其他相關(guān)設(shè)備信息、監(jiān)控回放參數(shù)、監(jiān)控截圖存儲(chǔ)以及信息報(bào)告等數(shù)據(jù)表。具體表格字段設(shè)計(jì)如下：

監(jiān)控信息表：包含監(jiān)控設(shè)備涉及的各類(lèi)基礎(chǔ)屬性信息，見(jiàn)表1。

表1 監(jiān)控信息表

視頻截圖數(shù)據(jù)表： 根據(jù)視頻內(nèi)檢測(cè)到的目標(biāo)數(shù)量，結(jié)合預(yù)設(shè)的閾值參數(shù)，觸發(fā)截圖程序，采用ffmpeg開(kāi)源軟件對(duì)回放視頻進(jìn)行某個(gè)符合條件的時(shí)刻進(jìn)行截圖，保存的數(shù)據(jù)結(jié)構(gòu)見(jiàn)表2。

表2 截圖數(shù)據(jù)表

視頻回放數(shù)據(jù)表：用于存儲(chǔ)視頻回放參數(shù)，包括視頻回放地址以及回放時(shí)間點(diǎn)，可以按照時(shí)間條件對(duì)數(shù)據(jù)查找與篩選，數(shù)據(jù)結(jié)構(gòu)同表2 類(lèi)似。

信息報(bào)告數(shù)據(jù)表： 根據(jù)數(shù)據(jù)庫(kù)保存的數(shù)據(jù)信息，自動(dòng)生成報(bào)表，并可以有選擇的填寫(xiě)報(bào)告人（水產(chǎn)專家）的分析意見(jiàn)，報(bào)告的具體數(shù)據(jù)字段以及數(shù)據(jù)結(jié)構(gòu)見(jiàn)表3。

表3 信息報(bào)告數(shù)據(jù)表

3.1.2 表關(guān)系

各個(gè)表之間的關(guān)聯(lián)信息如圖4 所示，根據(jù)監(jiān)控的基礎(chǔ)信息進(jìn)而查找到相關(guān)聯(lián)的數(shù)據(jù)信息，然后可以按照當(dāng)日、月份、年份、年度進(jìn)行統(tǒng)計(jì)分析。

圖4 數(shù)據(jù)庫(kù)關(guān)系圖

3.2 網(wǎng)頁(yè)設(shè)計(jì)與實(shí)現(xiàn)

根據(jù)系統(tǒng)的功能需求與設(shè)計(jì)原理圖，魚(yú)群探測(cè)系統(tǒng)網(wǎng)頁(yè)端主要包含如圖5 所示的三大功能模塊。利用深度學(xué)習(xí)框架實(shí)時(shí)檢測(cè)水下視頻，當(dāng)某一幀目標(biāo)數(shù)量大于設(shè)置的閾值時(shí)候，從該節(jié)點(diǎn)保存視頻，利用ffmpeg 截取圖片存到服務(wù)器中， 并在數(shù)據(jù)庫(kù)相應(yīng)表格中產(chǎn)生一條記錄。 此時(shí)，網(wǎng)頁(yè)端可以查看歷史存儲(chǔ)記錄以及數(shù)據(jù)統(tǒng)計(jì)，系統(tǒng)使用人員也可以根據(jù)數(shù)據(jù)生成相應(yīng)的報(bào)告。

3.2.1 實(shí)時(shí)預(yù)覽與視頻回放

通過(guò)調(diào)用第三方平臺(tái)接口獲取播放參數(shù)，利用video.js 直接在網(wǎng)頁(yè)中實(shí)現(xiàn)實(shí)時(shí)預(yù)覽，并且可以隨時(shí)修改監(jiān)控參數(shù)，來(lái)調(diào)整實(shí)時(shí)視頻的顯示結(jié)果，包括攝像頭焦距、補(bǔ)光以及曝光等；通過(guò)調(diào)整云臺(tái)轉(zhuǎn)速調(diào)整監(jiān)控視角；通過(guò)設(shè)置每分鐘或者每10 分鐘魚(yú)群數(shù)量閾值可以動(dòng)態(tài)調(diào)整截取圖片和保存監(jiān)控視頻的條件。 具體如圖6 所示。

圖5 網(wǎng)頁(yè)功能結(jié)構(gòu)圖

圖6 實(shí)時(shí)預(yù)覽和監(jiān)控參數(shù)設(shè)置

通過(guò)查詢數(shù)據(jù)庫(kù)獲取回放視頻節(jié)點(diǎn)列表，可以支持查詢選定時(shí)間段數(shù)據(jù)， 并且顯示對(duì)應(yīng)時(shí)間段截圖，如圖7 所示。

圖7 視頻回放和截圖輪播

3.2.2 數(shù)據(jù)查詢統(tǒng)計(jì)

通過(guò)第三方接口取得的實(shí)時(shí)監(jiān)控視頻，在基于深度學(xué)習(xí)的目標(biāo)檢測(cè)框架下，較為準(zhǔn)確的檢測(cè)出每一幀圖像中目標(biāo)個(gè)數(shù)，通過(guò)預(yù)先設(shè)置的閾值，觸發(fā)保存監(jiān)控視頻和截圖的操作。 此時(shí)，圖片存儲(chǔ)到本地服務(wù)器上且在數(shù)據(jù)庫(kù)中生成一條記錄。 實(shí)時(shí)查看功能通過(guò)列表展示當(dāng)日截取的所有圖片數(shù)據(jù)并支持按照條件檢索；月度數(shù)據(jù)默認(rèn)柱狀圖顯示當(dāng)前月度截圖的所有數(shù)據(jù)，支持按照月度進(jìn)行查看并切換到表格查看每條數(shù)據(jù)的詳細(xì)信息，如圖8 所示；年度數(shù)據(jù)默認(rèn)柱狀圖顯示當(dāng)年所有數(shù)據(jù)，并可切換到表格詳情；歷年數(shù)據(jù)則默認(rèn)柱狀圖顯示所有年份的數(shù)據(jù)統(tǒng)計(jì)結(jié)果。 所有數(shù)據(jù)均支持?jǐn)?shù)據(jù)的導(dǎo)出功能。

3.2.3 信息報(bào)告生成

信息報(bào)告功能顯示以往生成的所有報(bào)告，并按照?qǐng)?bào)告的時(shí)間排序，包含報(bào)告的新增、編輯、查看詳情以及刪除等功能。 新增一個(gè)信息報(bào)告的時(shí)候，按照選定的信息報(bào)告類(lèi)型和年份，自動(dòng)統(tǒng)計(jì)當(dāng)年的數(shù)據(jù)并更新到頁(yè)面上，然后根據(jù)用戶填寫(xiě)的數(shù)據(jù)生成一條記錄存到數(shù)據(jù)庫(kù)中，如圖9所示。

圖8 月度數(shù)據(jù)信息查詢

4 結(jié)語(yǔ)

基于深度學(xué)習(xí)框架，構(gòu)建了一個(gè)實(shí)時(shí)的水下魚(yú)群檢測(cè)系統(tǒng)。 通過(guò)第三方平臺(tái)接口獲取水下監(jiān)控視頻，并結(jié)合深度學(xué)習(xí)目標(biāo)檢測(cè)方法，快速檢測(cè)實(shí)時(shí)視頻中目標(biāo)的數(shù)量，根據(jù)預(yù)先設(shè)置的閾值觸發(fā)截圖與保存視頻功能，并通過(guò)網(wǎng)頁(yè)編程技術(shù)實(shí)現(xiàn)數(shù)據(jù)的展示與應(yīng)用，從而實(shí)現(xiàn)魚(yú)群高效地檢測(cè)與跟蹤，為漁業(yè)部門(mén)實(shí)時(shí)監(jiān)管與信息化結(jié)合提供強(qiáng)有力的依據(jù)。在淀山湖水下魚(yú)群檢測(cè)應(yīng)用中，系統(tǒng)魯棒性強(qiáng)，對(duì)數(shù)據(jù)處理與存儲(chǔ)效率較高。