基于YOLOv3模型的金槍魚魚群特征識別初步研究

馬 碩，張 禹，王魯民，張 勛，金衛(wèi)國，王國來，常衛(wèi)東

(1 中國水產(chǎn)科學(xué)研究院東海水產(chǎn)研究所，上海 200090；2 上海開創(chuàng)遠洋漁業(yè)有限公司，上海 200082)

金槍魚圍網(wǎng)漁業(yè)是綜合技術(shù)集成度最高的大洋性漁業(yè)之一[1-2]。單船年產(chǎn)量達上萬噸，產(chǎn)值可達上億元人民幣，當(dāng)前中國批復(fù)的金槍魚圍網(wǎng)船共計30艘左右[3]，主要在中西太平洋作業(yè)，在遠洋漁業(yè)中占有重要地位。

長期以來，金槍魚圍網(wǎng)漁業(yè)的魚群搜索一直是船隊作業(yè)成本的最大支出之一，該階段需耗費大量時間、人力及燃油成本[4]。近年來，中西太平洋漁業(yè)管理組織針對金槍魚資源現(xiàn)狀，對圍網(wǎng)船實施更加嚴格的管理方法[5-9]，進一步增加了入漁成本，尋求高效的魚群搜索方法迫在眉睫。與此同時，基于圖像和視頻的智能識別、智能輔助分析技術(shù)發(fā)展迅速，在提高效率、降低人力成本等方面有獨特優(yōu)勢，應(yīng)用場景越來越廣[10 -14]。據(jù)悉，金槍魚圍網(wǎng)漁業(yè)魚群搜索方法主要依靠人工瞭望、雷達探測和直升機搜索等方式尋找魚群[15]。人工瞭望距離受限、人數(shù)多、效率低；直升機搜索成本高，而且安全性差。因此借助基于圖像和視頻的智能識別、智能輔助分析技術(shù)，采用無人機機載攝像設(shè)備開展魚群搜索是一可行的選擇[16-19]。

視覺是人類接觸世界最直接的方式，從圖像中提取到特征信息是十分重要的[20]。Harris等[21]提出了Harris角點檢測算法來提取圖像特征，開啟了圖像識別的研究領(lǐng)域。Krizhevsky等[22]在ImageNet[23]大規(guī)模視覺識別挑戰(zhàn)競賽上通過深層次卷積神經(jīng)網(wǎng)絡(luò)取得了當(dāng)時最佳的性能表現(xiàn)，由此開啟了計算機視覺領(lǐng)域的深度學(xué)習(xí)時代。具體到目標(biāo)檢測領(lǐng)域，從2013年R-CNN模型[24]開始，深度學(xué)習(xí)方法取得了迅猛發(fā)展，目前，深度學(xué)習(xí)方法已經(jīng)成為目標(biāo)檢測領(lǐng)域的主流解決方案[25]。

本研究利用無人機平臺搭載圖像識別技術(shù)來代替?zhèn)鹘y(tǒng)的魚群搜索方法，可幫助漁船更快更高效地尋找魚群。為驗證方法的可行性，基于YOLOv3算法建立識別模型，進行金槍魚魚群特征的識別研究。

1 材料與方法

1.1 影像素材來源

本研究所用的視頻數(shù)據(jù)是上海開創(chuàng)遠洋漁業(yè)有限公司圍網(wǎng)漁船在中西太平洋海域，拍攝的金槍魚魚群畫面，通過存儲設(shè)備將采集的數(shù)據(jù)存儲到硬盤中，共42 G金槍魚特征視頻資料，作為本次的研究對象。

1.2 模型方法

本研究使用的是開源計算機視覺工具Tegu，它是基于Python語言，在主流開源框架Keras與TensorFlow的基礎(chǔ)上，針對計算機視覺相關(guān)的應(yīng)用場景對上述開源框架進行了進一步的封裝，進一步降低了使用難度。該工具提供了一系列主流的計算機視覺相關(guān)模型的實現(xiàn)，本研究使用它提供的YOLOv3模型。

YOLO的全稱是You Only Look Once，即該模型是一個One-Stage模型[26]，它將R-CNN中的兩個階段合并為一個，只對圖像進行一次瀏覽就可以識別出圖中的物體類別和位置[27-28]。相比R-CNN，YOLO不再通過兩階段運算篩選出候選區(qū)，而是使用預(yù)定義的候選區(qū)，將目標(biāo)圖片切分為7×7=49個網(wǎng)格(Grid)，在此基礎(chǔ)上允許每一個網(wǎng)格預(yù)測出2個邊框(Bounding box，即包含某對象的矩形框)，模型在這些事先劃定的候選區(qū)內(nèi)找出真正的對象[29]。

圖1展示了YOLO模型的模型結(jié)構(gòu)——該模型包括24個卷積層，接受大小為448×448的輸入圖像，若實際圖像的大小不滿足這一尺寸，則應(yīng)當(dāng)縮放至該尺寸。模型的輸出是一個7×7×30大小的張量。由于YOLO將圖像切分為7×7大小的方格，因此這一張量可以被認為是針對每一個方格，都輸出一個30維的向量。這一向量包括以下信息：

圖1 YOLO模型結(jié)構(gòu)Fig.1 YOLO model structure

(1)針對20個對象的分類概率

如上文所屬，目標(biāo)檢測問題首先是一個分類問題——機器學(xué)習(xí)模型對于分類問題的輸出，通常是一個維度等于類別數(shù)的向量。向量的每一維度都代表一個對應(yīng)的類別，該維度的值表示當(dāng)前給定輸入對于該類別的評分。對于整個向量的所有維度，使用Softmax函數(shù)可以將所有評分轉(zhuǎn)化為加和為1的概率值：

YOLO支持最多20種類別，因此分類向量長度為20，概率最大的分類即為預(yù)測的類別。

(2)邊框位置

每一個方格內(nèi)需要給出2個邊框，每一個邊框需要用一個4維向量[x,y,w,h]表示——其中(x,y)為邊框中心點的坐標(biāo)，(w，h)為邊框的寬和高[30]。

(3)邊框的置信度

置信度越高，說明模型越可以確保輸出結(jié)果正確，計算公式如下：

本研究使用的YOLOv3模型是YOLO系列目標(biāo)檢測中的第3代，它使用多個logistic分類器代替Softmax可進行多標(biāo)簽分類，滿足研究的應(yīng)用條件。相對于其他的目標(biāo)檢測方法，它可以將一個單神經(jīng)網(wǎng)絡(luò)應(yīng)用于整張圖像，該網(wǎng)絡(luò)將圖像劃分為不同的區(qū)域，進而預(yù)測每一塊區(qū)域的邊界框和概率，這些邊界框會通過預(yù)測的概率加權(quán)，在獲得了所有的預(yù)測方框之后，模型將使用非極大值抑制技術(shù)，將預(yù)測方框組合成最終的預(yù)測結(jié)果。若兩個方框的預(yù)測分類相同，且IOU大于某一閾值(例如0.5)，則將兩個方框合并為一個，將置信度較小的方框刪除。最終的輸出結(jié)果如圖2所示，識別出的目標(biāo)用紅色方框標(biāo)出。

圖2 識別效果Fig.2 Recognition effect

1.3 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理包括視頻分割、圖像篩選、圖像裁剪和特征標(biāo)注4個步驟。首先將得到的金槍魚特征視頻進行切割，處理為逐幀的圖像，然后對圖像進行篩選，只選擇具有清晰的金槍魚魚群特征圖像，剔除無特征圖像，此外，YOLOv3模型輸入圖像需為矩形，本研究傳入數(shù)據(jù)時選擇像素為416×416的圖像，保證訓(xùn)練效果。

1.4 環(huán)境搭載

本研究使用開源的計算機視覺工具Tegu，該工具提供了一系列主流的計算機視覺相關(guān)模型，YOLOv3模型就是其中的一種。本模型訓(xùn)練選擇在一臺Linux服務(wù)器上，使用一塊GeForce GTX1080顯卡來完成。模型訓(xùn)練完成之后，使用訓(xùn)練好的模型文件即可在支持神經(jīng)網(wǎng)絡(luò)推斷功能的無人機機載計算機、或配置了支持CUDA的英偉達顯卡的Windows PC上完成識別任務(wù)。

1.5 識別準確率評估方法

選取數(shù)據(jù)集外的金槍魚魚群特征視頻進行模擬識別測試、并記錄正確識別和誤識別的時間長度，計算正確識別在整個識別時間的比重，作為模擬識別的準確率，并分析該模型識別金槍魚魚群的可行性。

2 識別模型分析與結(jié)果

2.1 數(shù)據(jù)集構(gòu)建

在金槍魚圍網(wǎng)捕撈過程中，搜索魚群是第一步。搜索方法主要是船員們站在高處通過望遠鏡瞭望尋找金槍魚魚群，少數(shù)大型圍網(wǎng)捕撈漁船配備載人直升機巡航搜索海面金槍魚魚群特征，包括流木、海鳥、跳躍群躍出海面而產(chǎn)生的浪花、浮水魚群因攝食海表生物而產(chǎn)生的白沫等。依據(jù)海面上魚群產(chǎn)生的浪花特征可以判斷出魚群的種類，尤其是浮水魚群的移動方向，為浮水魚群的捕撈提供重要依據(jù)。而這些金槍魚群產(chǎn)生的行為特征統(tǒng)稱為金槍魚魚群特征。根據(jù)這些特點將特征視頻按照3 s的間隔進行切片，得到10 000多張?zhí)卣鲌D片，將切片所得圖片進行篩選，篩選出來的圖片作為訓(xùn)練集數(shù)據(jù)，該數(shù)據(jù)集主要的魚群特征為浮水群特征，如圖3。

圖3 數(shù)據(jù)集圖片示例Fig.3 Example of dataset pictures

具體篩選的標(biāo)準如下：1)數(shù)據(jù)集中圖像所展示的特征必須清晰可見，區(qū)別于其他浪花；2)數(shù)據(jù)集中圖像均為實際環(huán)境拍攝，去除人為因素的影響；3)數(shù)據(jù)集中圖像質(zhì)量高，為后續(xù)的數(shù)據(jù)集構(gòu)建提供基礎(chǔ)。

2.2 模型訓(xùn)練

采集到的金槍魚魚群標(biāo)注圖像共663張(圖4)，因特征數(shù)據(jù)有限，文中僅針對浮水群特征進行研究。具體是使用Tegu提供的預(yù)訓(xùn)練模型文件，即使用遷移學(xué)習(xí)方法[31-32]，首先在公開的ImageNet大規(guī)模數(shù)據(jù)集上進行預(yù)訓(xùn)練，然后凍結(jié)大部分模型參數(shù)，使用采集到的標(biāo)注圖像進行微調(diào)訓(xùn)練來達到有效識別金槍魚漁情的目的。

圖4 標(biāo)注圖像Fig.4 Labelling images

模型訓(xùn)練是深度學(xué)習(xí)與遷移學(xué)習(xí)訓(xùn)練的核心部分。其主要任務(wù)是在開源計算機視覺工具Tegu框架下，使用從ImageNet訓(xùn)練完成后遷移過來的深度網(wǎng)絡(luò)模型，提高模型訓(xùn)練的效率。為了檢測模型訓(xùn)練效果，使用交叉驗證方法，將20%的數(shù)據(jù)劃為驗證集，剩余的數(shù)據(jù)作為訓(xùn)練集。每訓(xùn)練一輪(Epoch)之后，在驗證集上進行驗證。初始設(shè)置為連續(xù)訓(xùn)練20輪，觀察驗證集精度，訓(xùn)練17輪之后驗證集精度不再提高，故不再增加訓(xùn)練輪數(shù)，將模型參數(shù)保存到本地文件中。

圖5展示了驗證集損失隨訓(xùn)練輪數(shù)變化的曲線。該值表示估量模型的預(yù)測值和真實值的不一致程度，該值可以用于衡量模型在驗證集上的總體誤差大小。

圖5 驗證集損失曲線Fig.5 Validation Loss Curve

2.3 結(jié)果

本試驗使用兩段視頻流進行測試，具體測試方法是分別從訓(xùn)練集和驗證集篩選一段視頻進行模擬識別，其中訓(xùn)練集時長為172 s，誤識別時長為0 s，驗證集時長為226 s，誤識別時長為71 s。從模擬識別的結(jié)果來看，訓(xùn)練集的視頻內(nèi)容，識別準確率100%，說明在訓(xùn)練過程中，數(shù)據(jù)集的特征被完全識別，20輪訓(xùn)練已經(jīng)將模型識別精度達到最高。對驗證集的識別準確率為68.6%，表明該模型對研究特征的識別準確率為68.6%。在傳統(tǒng)的漁情預(yù)報中，預(yù)報模型大多都是漁場預(yù)報[33-36]，該模型直接識別金槍魚魚群，可以使預(yù)報更加精細化，具有實際的應(yīng)用意義。但從識別過程來看，誤識別發(fā)生的主要原因是數(shù)據(jù)集中的特征圖像不全面，浮水群產(chǎn)生的浪花在不同天氣、不同時間段的光照、不同角度都會影響其視覺特征，因此需要足夠的特征圖像來補充數(shù)據(jù)集。

3 討論

3.1 識別準確率的探討

經(jīng)查閱文獻，大多漁情預(yù)報精度在70%左右[37]，本研究模型識別準確率68.6%，具有實際的應(yīng)用價值。雖然本研究的識別精度略低，但當(dāng)前諸多漁情預(yù)報模型大多根據(jù)海域的環(huán)境因子和空間因子建立的，運用衛(wèi)星遙感技術(shù)獲取海洋環(huán)境數(shù)據(jù)，將漁場和海洋環(huán)境關(guān)系結(jié)合，分析金槍魚的適宜環(huán)境用于快速尋找作業(yè)漁場[34-37]，捕撈船依然需要在偌大的漁場尋找魚群，主要用于大尺度海域內(nèi)預(yù)報，本模型可在支持神經(jīng)網(wǎng)絡(luò)推斷功能的無人機機載計算機上完成識別任務(wù)，漁船可攜帶無人機和地面站設(shè)備出海，然后放飛無人機執(zhí)行搜索任務(wù)，無人機通過自己的攝像頭和機載計算機進行目標(biāo)檢測，是針對具體魚群的預(yù)報，更加精準化。

3.2 其他影響因素分析

由于在實際的預(yù)報中，天氣、光照等影響因素對金槍魚魚群的可視特征影響較大，因此為了減少單一使用某種因子在特征提取時，對預(yù)測結(jié)果產(chǎn)生影響，在特征采集時要對影響因子進行兼顧，盡可能全地采集不同天氣和光照下的金槍魚魚群特征。此外，特征采集的方式也是特征識別的關(guān)鍵，本研究在測試中出現(xiàn)將漁船造成的浪花誤識別為金槍魚白沫特征，是因為本次研究的特征數(shù)據(jù)是以船的視角進行拍攝，角度過于傾斜，導(dǎo)致拍攝的白沫特征與浪花特征差異不明顯，針對類似情況，對以后該研究的特征采集應(yīng)結(jié)合應(yīng)用場景，以無人機視角進行采集，調(diào)整采集魚群特征的角度，使魚群特征盡可能全方位展現(xiàn)在圖像中，使特征圖像占采集圖像的1/3。

本研究的金槍魚魚群特征類型單一、特征數(shù)據(jù)庫不夠充分也是識別準確率的影響因素之一。實際上金槍魚魚群特征包括流木、海鳥、跳躍群躍出海面而產(chǎn)生的浪花、浮水群因攝食海表生物而產(chǎn)生的白沫、魚群聚集使海面顏色加深等，而這些特征的采集需要長期的積累，經(jīng)過不斷采集數(shù)據(jù)特征進行補充訓(xùn)練。在后續(xù)的研究中，需每種特征累計至1 000張清晰圖片，保留少部分作為驗證集，其余部分進行補充訓(xùn)練，以進一步提高模型識別的精度和特征類型。

3.3 智能識別技術(shù)應(yīng)用拓展

基于YOLOv3模型的金槍魚魚群特征識別技術(shù)需要借助無人機平臺才能完成漁情搜索，隨著無人機技術(shù)的快速發(fā)展，運用無人機平臺進行目標(biāo)識別成為未來的一個應(yīng)用方向。今后還需要研究如何與無人機結(jié)合，形成一套金槍魚漁情搜索系統(tǒng)。從識別效果來看，模型自動框選識別目標(biāo)，具體應(yīng)用中，對于目標(biāo)識別的提示亦可使用其他方法，如信號警示燈、識別報警等，這對于漁業(yè)方面其他需求，亦可探索應(yīng)用，目前深水網(wǎng)箱養(yǎng)殖發(fā)展迅速，在大型網(wǎng)箱中均有實時監(jiān)控系統(tǒng)[38]，但對網(wǎng)箱內(nèi)養(yǎng)殖魚類狀態(tài)的智能識別，如魚類死亡或非正常狀態(tài)的智能識別報警、網(wǎng)箱狀態(tài)的智能識別與報警等[39-41]，今后可開展深入研究。

4 結(jié)論

基于YOLOv3模型的識別準確率為68.6%，通過綜合分析認為可以實現(xiàn)對金槍魚魚群特征的識別，為精細化漁情預(yù)報提供了一種全新思路。根據(jù)分析結(jié)果，需在海上獲取更多金槍魚魚群影像，擴充數(shù)據(jù)集，進行補充訓(xùn)練，進一步提高識別準確率，為在金槍魚圍網(wǎng)漁船海上實時識別金槍魚魚群的實際應(yīng)用提供技術(shù)支撐。

□