基于Faster R-CNN和圖像增強(qiáng)的水下魚類目標(biāo)檢測(cè)方法

袁紅春，張碩

(上海海洋大學(xué) 信息學(xué)院,上海 201306)

近年來，水下探測(cè)作業(yè)技術(shù)已成為海洋技術(shù)領(lǐng)域的研究熱點(diǎn)，要實(shí)現(xiàn)水下探測(cè)和作業(yè)，水下機(jī)器人必須能快速對(duì)水下環(huán)境中需要捕獲信息的目標(biāo)進(jìn)行精確識(shí)別和定位[1-4]。傳統(tǒng)方法中，人們依靠延繩釣探捕、拖網(wǎng)探捕等常用海洋捕撈技術(shù)進(jìn)行魚類密度及分布測(cè)算或利用相關(guān)性分析篩選出顯著影響魚類資源量的關(guān)鍵網(wǎng)格點(diǎn)建立模型進(jìn)行預(yù)測(cè)[5]。此外，海洋科學(xué)家也通過水下攝像機(jī)拍攝視頻錄像帶，然后通過人工標(biāo)注魚類分析漁情[6]。精確的漁情預(yù)測(cè)數(shù)據(jù)能夠解決目前多數(shù)漁業(yè)標(biāo)準(zhǔn)服務(wù)系統(tǒng)中缺少基于標(biāo)準(zhǔn)體系的漁業(yè)標(biāo)準(zhǔn)服務(wù)的問題，并能夠?yàn)闈O業(yè)標(biāo)準(zhǔn)修訂指南提供數(shù)據(jù)決策依據(jù)[7]。隨著水下拍攝技術(shù)的發(fā)展與相關(guān)設(shè)備的普及，水下拍攝在魚群監(jiān)測(cè)、魚類資源量預(yù)測(cè)等漁業(yè)方面的應(yīng)用日益廣泛。利用水下拍攝視頻圖像自動(dòng)處理，極大地節(jié)省了時(shí)間和成本[8]，但這項(xiàng)工作面臨著許多挑戰(zhàn)，如復(fù)雜的水下背景、變形、低對(duì)比度、低分辨率和光傳播細(xì)節(jié)不充分等因素，給魚類目標(biāo)檢測(cè)帶來了困難。因此，針對(duì)水下拍攝圖片中魚類目標(biāo)快速檢測(cè)方法的研究具有重要意義。

傳統(tǒng)機(jī)器學(xué)習(xí)方法是通過人工方法提取魚類特征，然后將特征輸入支持向量機(jī)、boosting等分類器進(jìn)行檢測(cè)分類。Rova等[9]提出一種基于模板匹配的可變形提取技術(shù)可用于魚類檢測(cè)；張志強(qiáng)等[10]提出一種一般化方法，將魚類圖像中各顏色分量和長(zhǎng)短軸之比作為魚類特征；姚潤(rùn)璐等[11]則從魚類圖像中分割出魚各部位的圖像模塊，然后提取關(guān)聯(lián)度更高的特征，但其提取過程非常復(fù)雜，需要人工制定魚類各部位的匹配規(guī)則，不適用于分析海量數(shù)據(jù)；Dalal等[12]提出HOG(Histogram of oriented gradients)特征具有較好的分類特性等。然而,上述人工方法提取到的魚類特征通常只適用于光照充足、清晰度高、背景環(huán)境對(duì)比度高的情景下，在水下較難產(chǎn)生作用。而且機(jī)器學(xué)習(xí)方法提取魚類特征是通過人類的先驗(yàn)知識(shí)實(shí)現(xiàn)的,挖掘特征的能力差,在檢測(cè)效果達(dá)到一定程度后無法隨數(shù)據(jù)量的擴(kuò)增而提高。

相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)方法在特征提取方面具有極大優(yōu)勢(shì)。近年來，深度卷積神經(jīng)網(wǎng)絡(luò)算法[13]的發(fā)展使目標(biāo)檢測(cè)的精度得到顯著提高，并能在無須任何先驗(yàn)知識(shí)下對(duì)數(shù)據(jù)本身特征進(jìn)行自我學(xué)習(xí)，自動(dòng)逐層提取，當(dāng)數(shù)據(jù)規(guī)模足夠大、網(wǎng)絡(luò)層數(shù)足夠深時(shí)能夠?qū)?shù)據(jù)深度挖掘, 提取出具有分辨力的高質(zhì)量特征。但深度學(xué)習(xí)需要數(shù)據(jù)支撐，在數(shù)據(jù)規(guī)模較小時(shí)很難提取出具有較強(qiáng)泛化能力的特征，而水下拍攝的魚類圖像數(shù)目少、拍攝成本高,數(shù)據(jù)量難以支撐訓(xùn)練網(wǎng)絡(luò)。通過遷移學(xué)習(xí)[14]可解決水下拍攝魚類圖像數(shù)據(jù)量不足的問題，即采用Faster R-CNN[15]算法,首先通過預(yù)訓(xùn)練模型對(duì)Open Images高清魚類數(shù)據(jù)集進(jìn)行一次遷移學(xué)習(xí)初步訓(xùn)練網(wǎng)絡(luò)，然后固定訓(xùn)練好的檢測(cè)模型的低3層卷積網(wǎng)絡(luò)參數(shù)，再用水下拍攝的小規(guī)模魚類數(shù)據(jù)集進(jìn)行二次遷移學(xué)習(xí)訓(xùn)練、微調(diào)網(wǎng)絡(luò)[16]，最后通過帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(qiáng)算法(Multi-Scale Retinex with Color Restoration,MSRCR)對(duì)水下拍攝的低清晰度、低對(duì)比度、低質(zhì)量圖像進(jìn)行處理以增大其與高清魚類圖像的相似性，使二次遷移學(xué)習(xí)高效進(jìn)行，從而得到能準(zhǔn)確檢測(cè)水下圖像中魚類目標(biāo)的網(wǎng)絡(luò)。為此，本研究提出了一種基于Faster R-CNN二次遷移學(xué)習(xí)和MSRCR算法的方法，用于水下低清晰度圖像中魚類目標(biāo)的快速檢測(cè)，旨在為深海探測(cè)作業(yè)與海底魚類等生物資源的監(jiān)測(cè)、保護(hù)、可持續(xù)開發(fā)等工程應(yīng)用提供參考。

1 Faster R-CNN目標(biāo)檢測(cè)模型與遷移學(xué)習(xí)

Faster R-CNN可看作“區(qū)域生成網(wǎng)絡(luò)Fast R-CNN[17]+RPN[18]”的系統(tǒng)，兩者相互協(xié)調(diào)對(duì)圖像中目標(biāo)進(jìn)行檢測(cè)。其最大創(chuàng)新在于增加目標(biāo)區(qū)域提取網(wǎng)絡(luò)RPN(region proposal network)，其本質(zhì)是基于滑窗的無類別目標(biāo)檢測(cè)器，通過錨點(diǎn)機(jī)制來生成候選框以替代選擇搜索、Edge Box等傳統(tǒng)方法,然后通過 CNN 來預(yù)測(cè)檢測(cè)目標(biāo)可能存在的區(qū)域,可極大地提升檢測(cè)框的生成速度。

RPN網(wǎng)絡(luò)采用端到端的訓(xùn)練方式，能夠輸出感興趣區(qū)域的邊框位置和可能存在目標(biāo)的概率值。在結(jié)構(gòu)上，F(xiàn)aster R-CNN將特征抽取、邊框回歸及分類都整合在一個(gè)網(wǎng)絡(luò)中，從而有效提高檢測(cè)精度和檢測(cè)效率，在檢測(cè)速度方面提升尤為明顯。如圖1所示，基于Faster R-CNN的魚類目標(biāo)檢測(cè)步驟如下:(1)將魚類圖像縮放后輸入到卷積層提取特征圖，然后將特征圖輸入后續(xù)的Fast R-CNN與RPN網(wǎng)絡(luò)中共享。(2)在特征圖傳入RPN后，使用滑窗生成特征向量，然后將特征向量輸入分類層和回歸層。(3)在分類層中，使用Softmax分類器執(zhí)行二分類任務(wù)，對(duì)錨點(diǎn)進(jìn)行前景或背景的判斷；在回歸層中，調(diào)整錨點(diǎn)邊框中心，擬合推算回歸得到候選框位置。(4)Fast R-CNN綜合候選框與特征圖的信息，判斷前景所屬類別，并生成最終魚類圖像檢測(cè)框的確切位置。

圖1 Faster R-CNN模型結(jié)構(gòu)Fig.1 Structure of the Faster R-CNN model

由于采用交替訓(xùn)練使兩個(gè)網(wǎng)絡(luò)卷積層實(shí)現(xiàn)了共享，使用Faster R-CNN極大地縮短了檢測(cè)時(shí)間的同時(shí)又提高了精度。依據(jù)其在ImageNet數(shù)據(jù)集的檢測(cè)結(jié)果能夠看出，到目前為止，F(xiàn)aster R-CNN依然是檢測(cè)精度與檢測(cè)速度綜合性能最高的算法，故本研究中采用Faster R-CNN算法，選用VGG16網(wǎng)絡(luò)[19]及ResNet101[20]網(wǎng)絡(luò)進(jìn)行魚類目標(biāo)檢測(cè)，實(shí)現(xiàn)水下拍攝圖像中魚類目標(biāo)的有效檢測(cè)。

為縮短訓(xùn)練時(shí)間和提高檢測(cè)精度，使用遷移學(xué)習(xí)的方法：用超大規(guī)模源域ImageNet數(shù)據(jù)集訓(xùn)練好的VGG16與ResNet101網(wǎng)絡(luò)參數(shù)用于初始化，然后利用目標(biāo)域數(shù)據(jù)集對(duì)參數(shù)微調(diào)。Faster R-CNN遷移學(xué)習(xí)訓(xùn)練具體步驟如下:

第一步：使用上述初始化好的參數(shù)來訓(xùn)練RPN網(wǎng)絡(luò)，然后生成感興趣區(qū)域。

第二步：對(duì)于第一步中得到的感興趣區(qū)域，利用ImageNet數(shù)據(jù)集初始化完畢的網(wǎng)絡(luò)進(jìn)行回歸訓(xùn)練和分類。由于此時(shí)RPN網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)各自獨(dú)立訓(xùn)練，故訓(xùn)練后各自對(duì)網(wǎng)絡(luò)參數(shù)的更新不同，兩個(gè)網(wǎng)絡(luò)參數(shù)不共享。

第三步：使用第二步生成的網(wǎng)絡(luò)參數(shù)來訓(xùn)練RPN網(wǎng)絡(luò)，此時(shí)只調(diào)優(yōu)RPN獨(dú)有的網(wǎng)絡(luò)層參數(shù)，并生成感興趣區(qū)域。

第四步：使用生成的感興趣區(qū)域訓(xùn)練網(wǎng)絡(luò)，然后進(jìn)行分類和回歸，期間固定卷積層共享的參數(shù)，最終實(shí)現(xiàn)目標(biāo)域Faster R-CNN檢測(cè)模型的訓(xùn)練。

2 基于MSRCR算法的水下拍攝圖像數(shù)據(jù)增強(qiáng)

獲取水下拍攝大規(guī)模魚類圖像比較困難，成本較高，現(xiàn)有的水下拍攝樣本量很難訓(xùn)練出符合要求的模型。在常規(guī)深度學(xué)習(xí)訓(xùn)練中，若數(shù)據(jù)量不足，通常方法是通過隨機(jī)裁剪、翻轉(zhuǎn)、亮度與對(duì)比度設(shè)置及顏色轉(zhuǎn)換等方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，雖然一定程度上能提高檢測(cè)精度，但是提高有限。借助數(shù)據(jù)量相對(duì)充足的Open Images高清魚類圖像,采用遷移學(xué)習(xí)的方法，利用水下拍攝的魚類圖像微調(diào)Open Images高清魚類目標(biāo)檢測(cè)網(wǎng)絡(luò),進(jìn)而實(shí)現(xiàn)對(duì)水下圖像中魚類目標(biāo)的檢測(cè)。遷移學(xué)習(xí)所連接的兩個(gè)目標(biāo)的相似程度越高,就越利于遷移學(xué)習(xí)的進(jìn)行。Open Images高清魚類圖像與水下拍攝魚類圖像最主要的差別在于光。與普通圖像不同，水下由于光隨距離和深度呈指數(shù)衰減，從而產(chǎn)生霧靄、水下介質(zhì)吸收光能、散射改變光的方向，故水下圖像對(duì)比度低、清晰度低、顏色褪色。提高兩者之間相似度的關(guān)鍵是處理光線條件及恢復(fù)水下顏色色彩,而MSRCR算法能夠減弱光線對(duì)圖像中物體的影響,恢復(fù)物體本來的清晰度、對(duì)比度、色彩、邊緣等信息。故本研究中使用MSRCR算法對(duì)水下拍攝魚類圖像增強(qiáng),增大其與Open Images高清魚類圖像的相似度。

MSRCR是對(duì)Retinex算法的極大改進(jìn)。依據(jù)Retinex理論，圖像可看作由入射光線和反射光線組成，數(shù)學(xué)表達(dá)式如下：

I(x,y)=L(x,y)×R(x,y)。

(1)

其中：I(x,y)為觀察者感知的物體圖像信息；L(x,y)為環(huán)境光的照度分量；R(x,y)為物體的反射分量。Retinex算法的核心思想是消去照射光線的影響，保留物體本身的反射屬性。對(duì)式(1)兩邊取對(duì)數(shù)，即可拋除入射光線的影響，從而得到目標(biāo)物體的原本面貌，關(guān)系式如下：

lg[R(x,y)]=lg[I(x,y)]-lg[L(x,y)]。

(2)

對(duì)于已獲取的一張圖像I(x,y)，計(jì)算圖像增強(qiáng)后的對(duì)應(yīng)R(x,y)，關(guān)鍵是獲取L(x,y)。Retinex理論提出L(x,y)能夠通過對(duì)圖像I(x,y)和一個(gè)高斯核的卷積進(jìn)行高斯模糊來近似表示，關(guān)系式如下：

R(x,y)=exp{lg[I(x,y)]-

lg[I(x,y)*G(x,y)]}。

(3)

其中：*為卷積；G(x,y)為高斯核。

然后將lg[R(x,y)]量化成0～255范圍之內(nèi)的像素值輸出。計(jì)算出lg[R(x,y)]的最小值與最大值,然后對(duì)每個(gè)lg[R(x,y)]值采用線性方式量化，計(jì)算公式如下：

R(x,y)={lg[R(x,y)]-lg[R(x,y)]min}/

{lg[R(x,y)]max-lg[R(x,y)]min}×

(255-0)。

(4)

為了獲得更好的增強(qiáng)效果，在其基礎(chǔ)上又衍生出多尺度視網(wǎng)膜增強(qiáng)算法MSR(Multi-Scale Retinex)，其優(yōu)點(diǎn)是能夠在保持圖像高保真度和對(duì)圖像的動(dòng)態(tài)范圍進(jìn)行壓縮的同時(shí)也能夠?qū)崿F(xiàn)色彩增強(qiáng)。MSR算法在計(jì)算lg[R(x,y)]時(shí)需要對(duì)輸入圖像進(jìn)行每個(gè)尺度的高斯模糊，得到模糊后的圖像Li(x,y)(下標(biāo)i表示尺度數(shù))，然后對(duì)每個(gè)尺度進(jìn)行累加計(jì)算，計(jì)算公式如下：

lg[R(x,y)]=lg[R(x,y)]+W(i)×

(lg[Ii(x,y)]-lg[Li(x,y)])。

(5)

其中：W(i)為每個(gè)尺度對(duì)應(yīng)的權(quán)重，各尺度權(quán)重之和為1，經(jīng)典取值為等權(quán)重。其他的計(jì)算步驟與單尺度相同。

MSRCR是對(duì)MSR結(jié)果做了色彩平衡、歸一化及增益和偏差線性加權(quán)，解決了MSR普遍存在的偏色問題。MSRCR算法，首先是計(jì)算出lg[R(x,y)]中R/G/B各通道數(shù)據(jù)的平均值(Mean)和均方差(Var)，設(shè)置動(dòng)態(tài)參數(shù)(Dynamic)，然后通過lg[R(x,y)max=Mean-Dynamic×Var和lg[R(x,y)max=Mean+Dynamic×Var計(jì)算各通道的最小和最大值，最后對(duì)lg[R(x,y)]的每一個(gè)值用式(4)進(jìn)行映射，通過判斷語(yǔ)句：if(R(x,y)>255)R(x,y)=255;else if(R(x,y)<0)R(x,y)=0做溢出判斷。經(jīng)上述處理，在水下拍攝圖像即可取得非常好的效果。

MSRCR不同尺度數(shù)對(duì)比試驗(yàn)結(jié)果(圖2)表明，尺度(scale)數(shù)對(duì)結(jié)果的影響不大，且在實(shí)際網(wǎng)絡(luò)模型檢測(cè)魚類圖像中精度差別甚微，但隨尺度數(shù)的增加，算法耗時(shí)將線性增加，為滿足魚類圖像快速檢測(cè)的需求，一般選取尺度數(shù)為3比較合適。

圖2 MSRCR尺度數(shù)對(duì)比試驗(yàn)圖Fig.2 Test diagram of MSRCR scale number comparison

MSRCR不同動(dòng)態(tài)參數(shù)對(duì)比試驗(yàn)結(jié)果(圖3)表明，動(dòng)態(tài)對(duì)比參數(shù)Dynamic取值越小，水下圖像增強(qiáng)后的對(duì)比度越強(qiáng)，當(dāng)其取值在2～3之間時(shí)能取得很自然的過渡效果，保持圖像的清晰度適度增強(qiáng)。對(duì)于最大尺度，針對(duì)水下拍攝魚類數(shù)據(jù)集，本試驗(yàn)中總結(jié)出取值以大于100為好。

圖3 MSRCR動(dòng)態(tài)參數(shù)對(duì)比試驗(yàn)圖Fig.3 Comparison test diagram of MSRCR dynamic parameters

3 一次遷移學(xué)習(xí)與對(duì)Open Images中高清魚類圖像檢測(cè)結(jié)果

3.1 高清魚類數(shù)據(jù)準(zhǔn)備

使用谷歌Open Images訓(xùn)練集中共計(jì)13 443張有單獨(dú)魚類邊界框的高清魚類圖片作為訓(xùn)練數(shù)據(jù),如圖4所示，像素尺寸為1920×1080,其中魚類種類多樣、背景復(fù)雜、對(duì)比度強(qiáng)、清晰度高。從Open Images的測(cè)試集選取500 張魚類測(cè)試圖片,共計(jì)2253個(gè)樣本作為測(cè)試集，并從訓(xùn)練集的圖片中隨機(jī)選取500張圖片作為交叉驗(yàn)證集。通過python腳本讀取Open Images中谷歌開源標(biāo)注好的邊界框信息,轉(zhuǎn)換成本研究中訓(xùn)練所需的數(shù)據(jù)格式。

圖4 Open Images數(shù)據(jù)集中帶有單獨(dú)魚類邊界框的高清魚類圖片F(xiàn)ig.4 High definition fish pictures with individual fish boundary frame in Open Images data set

3.2 Open Images高清魚類數(shù)據(jù)集檢測(cè)結(jié)果

利用超大規(guī)模ImageNet數(shù)據(jù)集訓(xùn)練好的VGG16、ResNet101網(wǎng)絡(luò)模型對(duì)網(wǎng)絡(luò)參數(shù)初始化, 并利用高清魚類數(shù)據(jù)集對(duì)網(wǎng)絡(luò)微調(diào),完成基于一次遷移學(xué)習(xí)的Open Images高清魚類目標(biāo)檢測(cè)。

試驗(yàn)環(huán)境配置參數(shù)如下：處理平臺(tái)為臺(tái)式計(jì)算機(jī)，CPU為AMD Ryzen Threadripper 1950X，CPU主頻3.4 GHz，動(dòng)態(tài)加速頻率4 GHz。GPU為NVIDIA GTX1080Ti，運(yùn)行環(huán)境為Windows 10(64位)系統(tǒng)，Python 3.6，TensorFlow 1.8.0。通過CUDA 9.0.176版并行計(jì)算架構(gòu)進(jìn)行加速運(yùn)算。采用mAP(mean average precision)檢測(cè)模型評(píng)估指標(biāo)，mAP是不同score閾值下準(zhǔn)確率-查全率曲線和坐標(biāo)軸圍成的面積，然后對(duì)各類別的面積值取平均值,這是目前應(yīng)用最廣泛、最合理、最穩(wěn)定的檢測(cè)模型評(píng)估指標(biāo)。利用交叉驗(yàn)證集的檢測(cè)結(jié)果對(duì)VGG16與ResNet101這兩種網(wǎng)絡(luò)進(jìn)行超參數(shù)分析與調(diào)優(yōu),擇取最優(yōu)超參數(shù)，最后通過測(cè)試集數(shù)據(jù)對(duì)網(wǎng)絡(luò)的檢測(cè)精度進(jìn)行無偏估計(jì),采用的評(píng)價(jià)指標(biāo)為查準(zhǔn)率、查全率和調(diào)和函數(shù)F1度量，以及每張圖像的平均檢測(cè)耗時(shí)。對(duì)于二分類問題，可將樣例根據(jù)其真實(shí)類別與學(xué)習(xí)器預(yù)測(cè)類別的組合劃分為真正例(true positive，TP)、假正例(false positive，F(xiàn)P)、真反例(true negative，TN)、假反例(false negative，F(xiàn)N)4種情形。查準(zhǔn)率(precision，P)又稱準(zhǔn)確率，是針對(duì)預(yù)測(cè)結(jié)果而言的，其表示預(yù)測(cè)為正的樣例中有多少是真正的正樣例，計(jì)算公式為P=TP/(TP+FP)。查全率(recall,R)又稱召回率，是針對(duì)原來樣本而言的，其表示樣本中的正例有多少被預(yù)測(cè)正確,計(jì)算公式為R=TP/(TP+FN)。F1度量是查準(zhǔn)率與查全率的調(diào)和平均數(shù)，其計(jì)算公式為F1=2×P×R/(P+R)。

檢測(cè)結(jié)果如表1所示,可以看出,ResNet101網(wǎng)絡(luò)的查準(zhǔn)率及查全率均高于VGG16網(wǎng)絡(luò),并且查全率與查準(zhǔn)率均高于90%, 同時(shí)ResNet101網(wǎng)絡(luò)相對(duì)于VGG16網(wǎng)絡(luò)檢測(cè)耗時(shí)更短，這是由于ResNet101引入殘差結(jié)構(gòu)，并且網(wǎng)絡(luò)深度遠(yuǎn)大于 VGG-16 網(wǎng)絡(luò)但參數(shù)空間較小。

表1 對(duì)Open Images高清魚類數(shù)據(jù)集的檢測(cè)結(jié)果

圖5為RestNet101網(wǎng)絡(luò)對(duì)高清魚類圖像的部分檢測(cè)結(jié)果,可以看出,該網(wǎng)絡(luò)模型能夠精確地識(shí)別出清晰度高、對(duì)比度強(qiáng)的魚類目標(biāo),并對(duì)光照、背景、陰影等因素具有一定程度的魯棒性,在海草遮蔽魚身及水底環(huán)境復(fù)雜的情況下亦可檢測(cè)到目標(biāo),但是當(dāng)目標(biāo)與背景顏色相近或者與背景環(huán)境對(duì)比不強(qiáng)時(shí)有可能發(fā)生較小的漏檢和誤檢。

圖5 高清魚類圖像識(shí)別結(jié)果Fig.5 Recognition results of high-definition fish image

4 二次遷移學(xué)習(xí)與水下低清晰度魚類圖像檢測(cè)結(jié)果

4.1 水下拍攝魚類圖像數(shù)據(jù)集準(zhǔn)備

由于目前還沒有較為完備的、公開的水下魚類數(shù)據(jù)集，因此，利用水下攝像機(jī)拍攝魚類圖片,共600張圖片,像素尺寸為 1000×600,場(chǎng)景主要是本文背景項(xiàng)目養(yǎng)殖基地。從中隨機(jī)選取100張，共計(jì)324個(gè)樣本，作為測(cè)試集；從剩余的圖片中隨機(jī)選取100張，共計(jì)433個(gè)樣本，作為交叉驗(yàn)證集；其余400張圖片，共計(jì)1838個(gè)樣本作為訓(xùn)練集。并對(duì)每幅圖片中的所有樣本統(tǒng)一歸為魚類目標(biāo)類別,用labelImg圖像標(biāo)注工具進(jìn)行人工標(biāo)注并制作成所需的xml格式，結(jié)果如圖6所示。

圖6 使用labelImg制作標(biāo)簽圖Fig.6 Using labelImg to create labels

4.2 二次遷移學(xué)習(xí)與圖像增強(qiáng)對(duì)檢測(cè)效果的影響

網(wǎng)絡(luò)模型的低層卷積層是用來提取識(shí)別目標(biāo)的紋理、色彩、邊緣等底層特征的,對(duì)于不同的數(shù)據(jù)集影響較小，一般預(yù)訓(xùn)練模型對(duì)底層特征的提取能力非常強(qiáng)，基于對(duì)圖像識(shí)別時(shí)提取底層特征通用的特點(diǎn)，在進(jìn)行參數(shù)遷移時(shí)會(huì)保留并固定低層卷積模塊結(jié)構(gòu)與參數(shù)，并將靠近分類層的高層卷積的模塊與結(jié)構(gòu)參數(shù)設(shè)置為可訓(xùn)練的狀態(tài)，然后將模型放入目標(biāo)域中進(jìn)行再訓(xùn)練，由于可訓(xùn)練參數(shù)繼承自源模型，因此，在進(jìn)行微調(diào)時(shí)無須從初始值開始梯度下降，一般經(jīng)過小幅調(diào)整后即可達(dá)到新的最優(yōu)值。針對(duì)已經(jīng)訓(xùn)練好的Open Images高清魚類目標(biāo)檢測(cè)模型固定前3層卷積網(wǎng)絡(luò)參數(shù),根據(jù)水下拍攝魚類數(shù)據(jù)集，僅對(duì)更高層次的網(wǎng)絡(luò)參數(shù)做微調(diào)，并觀察其在交叉驗(yàn)證集中的檢測(cè)效果,結(jié)果如表2所示。

從表2可以看出,相較于直接利用水下拍攝數(shù)據(jù)集進(jìn)行訓(xùn)練,進(jìn)行二次遷移學(xué)習(xí)后對(duì)魚類目標(biāo)檢測(cè)效果有較為明顯的提高,由于VGG16的網(wǎng)絡(luò)規(guī)模與層數(shù)相對(duì)較小，其包含的抽象信息較少，因此，在微調(diào)時(shí)權(quán)值更新數(shù)量相較總參數(shù)量占比重較大，對(duì)模型檢測(cè)能力的提升作用明顯。當(dāng)對(duì)數(shù)據(jù)采用簡(jiǎn)單的增強(qiáng)圖片明亮度方法將水下拍攝的魚類圖像亮度提高30%時(shí),對(duì)比不進(jìn)行圖像增強(qiáng)時(shí)，這兩種網(wǎng)絡(luò)模型均有提高,但是mAP提升并不大,因該算法沒有提高水下魚類圖像的清晰度，無法大幅提高遷移源域高清魚類圖像和目標(biāo)域水下低清晰度魚類圖像的相似度。而使用MSRCR算法進(jìn)行水下圖像增強(qiáng)后,二次遷移學(xué)習(xí)后的效果有了進(jìn)一步的提高,特別是在網(wǎng)絡(luò)規(guī)模更深的ResNet101網(wǎng)絡(luò)上檢測(cè)效果提升更加明顯。這是由于更深的網(wǎng)絡(luò)具有更多的網(wǎng)絡(luò)參數(shù),需求更大的數(shù)據(jù)量,圖像增強(qiáng)一定程度上是等效數(shù)據(jù)量的增大,并且在引入殘差結(jié)構(gòu)后解決了模型的退化問題，其映射對(duì)最終檢測(cè)輸出的變化更敏感，因此，ResNet101網(wǎng)絡(luò)檢測(cè)效果提升明顯。此外,由于遷移學(xué)習(xí)的本質(zhì)就是在原有網(wǎng)絡(luò)模型已有的基礎(chǔ)上做網(wǎng)絡(luò)層數(shù)的凍結(jié)及對(duì)參數(shù)更精細(xì)的調(diào)整,因此，降低學(xué)習(xí)率后能夠進(jìn)行更為精細(xì)的參數(shù)學(xué)習(xí)。本研究中，降低學(xué)習(xí)率至10-4后檢測(cè)效果有進(jìn)一步提高,其中VGG16網(wǎng)絡(luò)的mAP達(dá)到0.821,而更深的ResNet101網(wǎng)絡(luò)則能夠達(dá)到0.917。

表2 不同處理方法下水下拍攝魚類圖片檢測(cè)mAP結(jié)果

4.3 水下魚類圖像測(cè)試集檢測(cè)結(jié)果

為對(duì)VGG16和ResNet101兩種網(wǎng)絡(luò)的魚類檢測(cè)效果進(jìn)行無偏估計(jì),使用與魚類圖像訓(xùn)練集、驗(yàn)證集都互斥的測(cè)試集測(cè)試網(wǎng)絡(luò)。訓(xùn)練與測(cè)試時(shí)的參數(shù)設(shè)置及訓(xùn)練時(shí)間見表3,檢測(cè)結(jié)果見表4。

表3 網(wǎng)絡(luò)訓(xùn)練與檢測(cè)參數(shù)、方式、時(shí)間

表4 水下魚類圖像測(cè)試集檢測(cè)結(jié)果Tab.4 Detection results of underwater fish image test set

使用基于Haar-like特征的Adaboost傳統(tǒng)水下圖像魚類檢測(cè)方法[21]，在本文魚類監(jiān)測(cè)數(shù)據(jù)集中檢測(cè)準(zhǔn)確率僅為75%，其對(duì)于復(fù)雜水下環(huán)境有較差的魯棒性，而使用Faster R-CNN目標(biāo)檢測(cè)算法的兩種模型準(zhǔn)確率比Adaboost目標(biāo)檢測(cè)方法均提高了約20%。同時(shí)能夠看出,ResNet101網(wǎng)絡(luò)的查準(zhǔn)率和查全率均優(yōu)于VGG16網(wǎng)絡(luò)(表4),但由于網(wǎng)絡(luò)深度和結(jié)構(gòu)存在一定差別,特別是ResNet101引入了殘差結(jié)構(gòu)，能夠大幅加速訓(xùn)練與檢測(cè)。在使用一塊顯存為11 GB的NVIDIA GTX1080Ti顯卡預(yù)熱后，ResNet101網(wǎng)絡(luò)檢測(cè)一張圖片比VGG-16網(wǎng)絡(luò)要節(jié)省大約76 ms。但VGG16的功耗與內(nèi)存需求相對(duì)于ResNet101網(wǎng)絡(luò)較低，這與其較慢的推理時(shí)間相關(guān)，因此，如果對(duì)魚類圖像檢測(cè)精度的要求不高，在電池及硬件資源等設(shè)備有限制的情況下,可選擇VGG-16網(wǎng)絡(luò)。VGG-16網(wǎng)絡(luò)雖相對(duì)ResNet101網(wǎng)絡(luò)檢測(cè)耗時(shí)較長(zhǎng),但仍能滿足魚類圖像快速檢測(cè)的要求。

在輸出檢測(cè)結(jié)果前,網(wǎng)絡(luò)會(huì)依據(jù)score閾值進(jìn)行判斷，然后丟棄結(jié)果小于score閾值的目標(biāo),保留大于score閾值的目標(biāo)。如圖7所示，對(duì)于ResNet101網(wǎng)絡(luò),隨著score閾值的增加,查準(zhǔn)率基本是以線性方式增長(zhǎng)，而查全率先是一定程度的緩慢下滑,然后急劇下降；而對(duì)于F1度量而言,當(dāng)score閾值小于0.90時(shí)，F(xiàn)1度量隨著score閾值的增大先緩慢升高，然后又平穩(wěn)下降，幅度較?。坏?dāng)socre閾值大于0.90之后,查全率下降迅速，由于其查準(zhǔn)率始終保持在較高的水平,波動(dòng)幅度較小,所以此時(shí)查全率對(duì)F1度量影響較大,在score閾值為0.30時(shí),其值約為0.975。

圖7 不同score閾值對(duì)水下魚類圖像檢測(cè)結(jié)果的影響Fig.7 Effects of different score thresholds on the detection results of underwater fish images

圖8為ResNet101網(wǎng)絡(luò)最終的檢測(cè)結(jié)果,可以看出,對(duì)水下魚類圖像增強(qiáng)后的圖片檢測(cè)效果令人滿意,無論是在魚類游動(dòng)速度較快的情況下拍攝的帶有殘影的模糊魚類圖像,還是在水下環(huán)境對(duì)比度較差、魚類密集甚至重疊的情況下,ResNet101網(wǎng)絡(luò)均能夠較為精準(zhǔn)全面地檢測(cè)出魚類目標(biāo)。相較于傳統(tǒng)機(jī)器學(xué)習(xí)提取魚類特征的方法，本研究中所采用的Faster R-CNN方法無須人工設(shè)計(jì)魚類特征的提取規(guī)則，檢測(cè)網(wǎng)絡(luò)可以自動(dòng)挖掘出魚類信息,從中提取出高區(qū)分度、高聚類、低耦合的魚類特征。通過二次遷移學(xué)習(xí)的方法解決了水下魚類數(shù)據(jù)集不足的問題,網(wǎng)絡(luò)的查準(zhǔn)率與查全率也都得到了不同程度的提高,并且隨著以后水下魚類圖像數(shù)據(jù)的搜集與擴(kuò)充,該網(wǎng)絡(luò)依然能夠繼續(xù)提高檢測(cè)精度,傳統(tǒng)機(jī)器學(xué)習(xí)方法不具備的此優(yōu)點(diǎn)，這對(duì)水下魚類檢測(cè)具有重要意義。

圖8 ResNet101增強(qiáng)前(A)、增強(qiáng)后(B)水下拍攝魚類數(shù)據(jù)集的對(duì)比Fig.8 Comparison of underwater fish data sets before(A) and after(B) ResNet101 enhancement

5 結(jié)論

(1)本文中首先完成了ImageNet超大規(guī)模數(shù)據(jù)集到大規(guī)模Open Images中高清魚類數(shù)據(jù)集的一次遷移學(xué)習(xí),實(shí)現(xiàn)了對(duì)Open Images中高清魚類目標(biāo)的有效檢測(cè)。在VGG-16上的查全率、查準(zhǔn)率、F1度量及檢測(cè)耗時(shí)分別為0.948、0.852、0.897、183 ms,在ResNet101上則分別為0.959、0.911、0.934、108 ms。

(2)然后完成了大規(guī)模高清魚類數(shù)據(jù)集到小規(guī)模水下拍攝魚類數(shù)據(jù)集的二次遷移學(xué)習(xí),并對(duì)水下拍攝圖像使用MSRCR算法進(jìn)行數(shù)據(jù)增強(qiáng),以便二次遷移學(xué)習(xí)的高效進(jìn)行。在VGG-16上的查全率、查準(zhǔn)率、F1度量及檢測(cè)耗時(shí)分別為0.949 6、0.929 9、0.939 6、172 ms,在ResNet101上則分別為0.981 2、0.950 8、0.965 8、96 ms。

(3)在不同圖像增強(qiáng)算法對(duì)比上，Brightness增強(qiáng)算法在VGG16與ResNet101網(wǎng)絡(luò)的mAP分別為0.772、0.824，而MSRCR算法則分別是0.813、0.902，高下立判，MSRCR算法具有明顯優(yōu)勢(shì)。同時(shí)，進(jìn)行二次遷移學(xué)習(xí)后，相較于一次遷移學(xué)習(xí)，在VGG16與ResNet101兩種網(wǎng)絡(luò)的mAP結(jié)果上分別提升了0.056與0.012。

(4)不同score閾值對(duì)ResNet101網(wǎng)絡(luò)檢測(cè)魚類圖像結(jié)果影響較大,隨著score閾值增加,查準(zhǔn)率基本呈線性增長(zhǎng)，而查全率先輕微下滑再急劇下降。而對(duì)于F1度量而言,當(dāng)score閾值小于0.90時(shí)，對(duì)F1度量影響較小，但當(dāng)socre閾值大于0.90時(shí),對(duì)F1度量影響較大,在score閾值為0.30時(shí),其值約為0.975。

本研究表明,該網(wǎng)絡(luò)具有較高的檢測(cè)精度并可以滿足水下魚類目標(biāo)的快速檢測(cè)需求,具有較強(qiáng)的工程應(yīng)用參考價(jià)值。下一步的工作將在水下魚類成功檢測(cè)的基礎(chǔ)上，對(duì)水下魚類進(jìn)行分類識(shí)別，從而實(shí)現(xiàn)對(duì)水下魚類豐富度的檢測(cè)，繼續(xù)為海底魚類等生物資源的檢測(cè)、保護(hù)，以及可持續(xù)開發(fā)等方面提供一定的技術(shù)支持。