基于稠密光流和統(tǒng)計(jì)學(xué)的蝦苗活力檢測方法

薛江浩,陳 明,苗揚(yáng)揚(yáng),江靜粼,丁 寅

(1 上海海洋大學(xué)信息學(xué)院,上海 201306;2 上海市極棧信息科技有限公司,上海 201306)

南美白對蝦(Penaeusvannamei)是目前養(yǎng)殖產(chǎn)量最高的三大蝦類之一,在養(yǎng)殖過程中蝦苗的選取是關(guān)鍵的一步,苗種質(zhì)量的好壞直接影響到養(yǎng)殖生產(chǎn)的效益[1]。目前,在實(shí)際水產(chǎn)養(yǎng)殖中,蝦苗質(zhì)量檢測方法主要是依賴專業(yè)人員進(jìn)行感官評價,即通過觀察蝦苗的游動活力來判斷,但這種方法的評價結(jié)果容易受評價人員主觀影響[2]。有學(xué)者提出微生物法和化學(xué)法進(jìn)行水產(chǎn)品質(zhì)量評估,例如楊其彬等[3]通過進(jìn)行抗性試驗(yàn)和病毒檢測建立評估斑節(jié)對蝦蝦苗活力和質(zhì)量的標(biāo)準(zhǔn)。但此類方法均需要過多人為參與且檢測效果常無法兼顧快速和準(zhǔn)確,因此客觀準(zhǔn)確地實(shí)現(xiàn)蝦苗質(zhì)量檢測有重要的研究價值和現(xiàn)實(shí)意義。

隨著中國水產(chǎn)養(yǎng)殖業(yè)和計(jì)算機(jī)技術(shù)的發(fā)展,在水產(chǎn)養(yǎng)殖中應(yīng)用計(jì)算機(jī)技術(shù)的相關(guān)研究越來越多。如單佳楠等[4]通過多種機(jī)器學(xué)習(xí)方法建立金鯧魚質(zhì)量檢測模型,驗(yàn)證表明基于機(jī)器視覺技術(shù)的金鯧魚質(zhì)量預(yù)測模型可靠性高; Liu等[5]、Zhou等[6]提出了魚群聚集系數(shù)和魚群攝食搶食強(qiáng)度2個系數(shù)來量化魚群的聚集和搶食強(qiáng)度;張志強(qiáng)等[7-8]運(yùn)用機(jī)器視覺提取淡水魚的顏色和長短軸之比等特征來實(shí)現(xiàn)淡水魚分類;Duarte等[9]通過計(jì)算視頻的幀間差值來計(jì)算魚群的圖像處理活動系數(shù),該系數(shù)和人工觀測指標(biāo)有相關(guān)性。在蝦苗養(yǎng)殖領(lǐng)域,范松偉等[10]提出的蝦苗自動計(jì)數(shù)模型在均勻背光環(huán)境下能對一定密度的蝦苗自動計(jì)數(shù);Jonas等[11]引入偽彩色可視化技術(shù)快速獲取蝦的豐富度和空間分布的變化;劉子豪等[12]引入香農(nóng)信息論構(gòu)造不同蝦樣本的特征差異模型,建立了一個用于染病蝦識別的自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)在單個數(shù)據(jù)集上的識別精度為97.96%。上述研究主要是通過機(jī)器視覺或統(tǒng)計(jì)學(xué)等方法對魚蝦的運(yùn)動信息進(jìn)行建模,然后利用神經(jīng)網(wǎng)絡(luò)或算法做進(jìn)一步的分析和檢測。對蝦苗進(jìn)行質(zhì)量檢測,可以通過蝦苗的游動狀態(tài)來估計(jì)蝦苗的活力和品質(zhì),但對于蝦苗這種體積小、游動速度較快的多目標(biāo)跟蹤場景,對跟蹤的魯棒性和可靠性仍有較大的挑戰(zhàn)[13]。

光流法目前已經(jīng)被廣泛應(yīng)用于運(yùn)動目標(biāo)檢測與跟蹤的相關(guān)研究中,其本質(zhì)是計(jì)算兩個圖像之間的一個矢量場,即第一個圖像中目標(biāo)的像素如何移動以形成第二個圖像中的相同目標(biāo),主要用于序列圖像的運(yùn)動近似估計(jì)[14-15]。文獻(xiàn)[16-17]將光流法和其他運(yùn)動目標(biāo)檢測方法結(jié)合,從而提高特殊場景下的目標(biāo)檢測效果。Zhang等[18]提出一種新的光流神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略,目的是在低光照條件下依然可以保持光流估計(jì)的效果;Sana等[19]構(gòu)建了一種基于邊緣保護(hù)濾波器的光流法,對光流法存在的邊緣不明確問題有所改善;李泉成等[20]利用光流提取視頻的運(yùn)動特征對原圖像進(jìn)行光流增強(qiáng)從而提高氣體泄露檢測的精確率。高云等[21]在Res-net網(wǎng)絡(luò)中加入光流信息和注意力機(jī)制,從而增加梅花鹿攻擊行為的識別精度。文獻(xiàn)[22-23]使用光流法提取視頻中目標(biāo)的運(yùn)動特征,并采用不同方法對運(yùn)動特征進(jìn)行建模來實(shí)現(xiàn)魚群的行為檢測。上述研究主要是通過光流法提取視頻的光流信息作為行為特征,說明光流信息能較好地表征運(yùn)動目標(biāo)的行為信息。

本研究擬利用計(jì)算機(jī)視覺技術(shù),研究基于稠密光流和統(tǒng)計(jì)學(xué)運(yùn)動特征的蝦苗活力檢測方法。采集不同活力程度的蝦苗視頻,使用基于Python語言的圖像處理庫OpenCV將視頻轉(zhuǎn)為灰度視頻,同時將視頻分辨率壓縮至360×360像素以減少光流法的運(yùn)算量。利用Gunner Farneback(GF)稠密光流法從視頻中提取蝦苗幀間運(yùn)動特征,GF光流法計(jì)算所有像素點(diǎn)在相鄰幀間的偏移量,形成每個像素點(diǎn)的運(yùn)動矢量,包含幅值強(qiáng)度和相角角度兩個維度的行為信息,二者包含了蝦苗運(yùn)動的主要信息。在對每一幀幅值強(qiáng)度和相角角度統(tǒng)計(jì)分析的基礎(chǔ)上,應(yīng)用改進(jìn)后的信息熵(weighted information entropy,WIE)以及互信息(mutual information,MI)2種方法來對蝦苗進(jìn)行活力檢測。

1 材料與方法

1.1 試驗(yàn)材料

本研究試驗(yàn)對象為南美白對蝦蝦苗,試驗(yàn)數(shù)據(jù)采集于上海海洋大學(xué)濱海養(yǎng)殖基地,試驗(yàn)蝦苗長度約1～2 cm。南美白對蝦對環(huán)境變化適應(yīng)能力很強(qiáng),對高溫的忍受極限可達(dá)43.5 ℃,但對低溫的適應(yīng)能力較差,在水溫在18 ℃以下時,蝦苗基本停止攝食,水溫在9 ℃以下時,蝦苗開始昏迷甚至死亡[24]。因此,本研究將蝦苗活力分為“活力弱”“活力中”“活力強(qiáng)”3類,蝦苗活力分級及狀態(tài)如表1所示。

表1 蝦苗活力分級

為得到3種不同活力程度的蝦苗,準(zhǔn)備3個底面直徑30 cm、深40 cm的試驗(yàn)箱a、b、c。3個試驗(yàn)箱的水溫分別為24℃、16℃、8℃,試驗(yàn)中將同一批正常飼養(yǎng)的蝦苗(約50只)分為3組分別放入3個試驗(yàn)箱中飼養(yǎng)3 h,其間正常喂食。3 h后拍攝蝦苗的游動情況。

1.2 圖像采集系統(tǒng)

本研究所有的試驗(yàn)數(shù)據(jù)采集使用如圖1所示的計(jì)算機(jī)視覺系統(tǒng)。

圖1 計(jì)算機(jī)視覺系統(tǒng)

該系統(tǒng)包括3個試驗(yàn)箱、3個恒溫器、3臺高清攝像機(jī)和1臺計(jì)算機(jī)。恒溫器采用家庭魚缸恒溫機(jī)(冷暖一體),可以保證試驗(yàn)箱水溫變化不超過0.5℃,高清攝像機(jī)使用羅技C920高清攝像頭,視頻圖像分辨率為1 920×1 080像素,幀率為30幀/s,拍攝期間蝦苗光照環(huán)境不變。試驗(yàn)開始通過恒溫器將水溫恒定后放入蝦苗,在不同溫度下正常養(yǎng)殖3 h后,使用計(jì)算機(jī)控制攝像機(jī)開啟并使用羅技capture視頻錄制軟件進(jìn)行視頻采集,錄制時間超過1 min,檢測時截取其中連續(xù)30 s作為研究對象。所有視頻均采用俯拍視角,攝像機(jī)通過立桿固定于試驗(yàn)箱頂部中央,距水面0.5 m,保證拍攝視角水平及拍攝范圍覆蓋整個試驗(yàn)箱。

1.3 試驗(yàn)方案設(shè)計(jì)

為了避免試驗(yàn)的偶然性,本研究共進(jìn)行7組試驗(yàn),試驗(yàn)1#～4#組為實(shí)驗(yàn)組,每組試驗(yàn)條件相同,在不同溫度下飼養(yǎng)3 h后采集不同試驗(yàn)箱中蝦苗的游動視頻,每次試驗(yàn)選擇不同活力的蝦苗視頻的連續(xù)900幀(30 s)作為研究對象。試驗(yàn)5#～7#組為驗(yàn)證組,為了模擬實(shí)際生活中可能出現(xiàn)不同質(zhì)量的蝦苗混合在一起的情況以及驗(yàn)證2種方法的有效性,試驗(yàn)5#～7#組將不同活力的蝦苗進(jìn)行混合后再采集視頻,混合后的蝦苗總數(shù)基本保持不變。其中試驗(yàn)5#組的蝦苗為試驗(yàn)箱a和試驗(yàn)箱b中蝦苗1:1混合;試驗(yàn)6#組的蝦苗為試驗(yàn)箱b和試驗(yàn)箱c中蝦苗1:1混合;試驗(yàn)7#組的蝦苗為試驗(yàn)箱a和試驗(yàn)箱c中蝦苗1∶1混合。

2 蝦苗活力檢測算法

2.1 基于稠密光流法的蝦苗幀間運(yùn)動特征提取和分析

2.1.1 光流法提取幀間運(yùn)動特征

光流[25]是空間運(yùn)動物體在觀察成像平面上的像素運(yùn)動的瞬時速度,包含了物體表面結(jié)構(gòu)和動態(tài)行為的重要信息,是對真實(shí)運(yùn)動的近似估計(jì)。本研究使用經(jīng)典的GF稠密光流法提取蝦苗幀間運(yùn)動特征,該方法在圖像的全局范圍內(nèi)計(jì)算每個像素點(diǎn)在相鄰幀間的偏移量,形成光流位移場。運(yùn)動特征提取流程如圖2所示。

圖2 幀間運(yùn)動特征提取流程

由圖2可知,光流場中不同顏色表示像素點(diǎn)的相角角度,顏色亮度的高低表示幅值強(qiáng)度的大小,即某一幀的光流場反映了蝦苗瞬間的游動情況,因此通過對幅值強(qiáng)度和相角角度的統(tǒng)計(jì)學(xué)分析可以獲得不同活力蝦苗運(yùn)動特征的特點(diǎn)。

使用光流法提取蝦苗的幀間運(yùn)動特征建立在3個假設(shè)的基礎(chǔ)上:1)相鄰幀之間的亮度恒定,即同一蝦苗目標(biāo)的像素值在相鄰幀間不會發(fā)生變化;2)短距離運(yùn)動,即相鄰幀之間的時間足夠短,且蝦苗的運(yùn)動距離較小;3)空間一致性,即蝦苗像素點(diǎn)具有相同的運(yùn)動趨勢。

基于假設(shè)1),同一蝦苗目標(biāo)在相鄰幀中亮度保持不變,可建立式(1):

p(x,y,t)=p(x+x′,y+y′,t+t′)

(1)

式中:p(x,y,t)表示坐標(biāo)為(x,y)的像素點(diǎn)在t時刻的像素值;p(x,y,t)表示該像素點(diǎn)在t+t′時刻移動到p(x+x′,y+y′,t+t′)位置后的像素值。對式(1)進(jìn)行泰勒展開,推導(dǎo)出光流方程如式(2)所示:

pxu+pyv+pt=0

(2)

式中:px為像素值p對位置x的偏導(dǎo);py位像素值p對位置y的偏導(dǎo);pt為像素值p對時刻t的偏導(dǎo);u為光流沿x方向的運(yùn)動矢量;v為光流沿y方向的運(yùn)動矢量。

GF稠密光流法使用多項(xiàng)式展開的方法求解u和v,對每個像素的鄰域使用一個二次多項(xiàng)式來近似表達(dá),然后通過分析前后兩幀像素點(diǎn)的多項(xiàng)式展開系數(shù)估計(jì)2個方向的運(yùn)動矢量。這種方法具有較高的魯棒性和可靠性,滿足實(shí)際應(yīng)用的需求。

蝦苗像素點(diǎn)移動的幅值強(qiáng)度(pixels)和相角角度(°)計(jì)算如式(3)如式(4):

(3)

(4)

式中:mag為坐標(biāo)為(u,v)的像素點(diǎn)移動的幅值強(qiáng)度(pixels);ang為坐標(biāo)為(u,v)的像素點(diǎn)移動的相角角度(°),由此可以得到視頻中每一幀所有蝦苗像素點(diǎn)的運(yùn)動特征,包含幅值強(qiáng)度和相角角度2個運(yùn)動矢量。

2.1.2 運(yùn)動特征統(tǒng)計(jì)學(xué)分析

運(yùn)動特征統(tǒng)計(jì)學(xué)分析如圖3所示。

圖3 運(yùn)動特征統(tǒng)計(jì)學(xué)分析

Freeman等[26]最早在手語識別中使用直方圖的方法,直方圖可以對數(shù)據(jù)進(jìn)行初步分析,得到數(shù)據(jù)的分布情況。對不同活力蝦苗視頻某相鄰幀的幀間運(yùn)動特征進(jìn)行直方圖分析,將幅值強(qiáng)度和相角角度的取值范圍分為若干個區(qū)間,然后分別統(tǒng)計(jì)二者的值在各個區(qū)間出現(xiàn)的次數(shù)。如圖3a和3b分別為不同活力蝦苗視頻中某一幀的幅值強(qiáng)度和相角角度的統(tǒng)計(jì)直方圖,橫軸分別表示幅值強(qiáng)度和相角角度,縱軸表示不同值出現(xiàn)的頻率。圖3c所示為幅值強(qiáng)度和相角角度的聯(lián)合分布直方圖,橫軸表示幅值強(qiáng)度,縱軸表示相角角度。不同活力的蝦苗其視頻每一幀的幅值強(qiáng)度和相角角度的數(shù)值分布呈現(xiàn)不同的趨勢,且二者的相關(guān)性也有顯著差異。因此可以利用幀間運(yùn)動特征的這一特性來實(shí)現(xiàn)蝦苗的活力檢測,本研究提出基于WIE和MI的2種檢測方法。

為了避免統(tǒng)計(jì)維數(shù)過大,以及攝像機(jī)的微小晃動造成的噪聲影響,本研究通過拍攝沒有蝦苗時的試驗(yàn)箱視頻,計(jì)算此時提取到的幅值強(qiáng)度的最大值T1,即噪聲像素幅值強(qiáng)度的最大值,通過篩選幅值強(qiáng)度小于T1的像素點(diǎn)去除噪聲像素,經(jīng)過計(jì)算后T1的值為1.4 pixels。相角角度每隔3°進(jìn)行一次統(tǒng)計(jì),幅值強(qiáng)度每隔0.04 pixel進(jìn)行統(tǒng)計(jì)一次。

2.2 基于加權(quán)信息熵(WIE)的蝦苗活力檢測

1948年,Shannon首先在信息論中引入了熵(Entropy)的概念,把熵作為一個隨機(jī)事件的不確定性信息量的度量稱為信息熵(Information Entropy),可以用來描述任何一種體系或物質(zhì)運(yùn)動的混亂度和無序度[27]。

(5)

將信息熵引入對相鄰幀的幅值強(qiáng)度的統(tǒng)計(jì)分析,通過計(jì)算幅值強(qiáng)度的信息熵可以間接反映出蝦苗運(yùn)動速度混亂程度,以此來分析蝦苗的運(yùn)動狀況。但對于不同活力的蝦苗,按照原始計(jì)算方式得到的不同活力蝦苗的信息熵沒有明顯的區(qū)別,針對此問題,本研究提出一種加權(quán)信息熵(Weighted Information Entropy)用于對蝦苗的幅值強(qiáng)度進(jìn)行統(tǒng)計(jì)分析,公式為:

(6)

式中:xi為幅值強(qiáng)度的大小,p為幅值強(qiáng)度取值的概率。

因?yàn)榛盍^高的蝦苗對應(yīng)像素的幅值強(qiáng)度會更大,所以通過在計(jì)算中引入具體幅值強(qiáng)度的值,使活力不同的蝦苗的加權(quán)信息熵會有明顯區(qū)別。

本研究應(yīng)用加權(quán)信息熵Hw來進(jìn)行蝦苗的活力檢測。其中x為某一幀蝦苗運(yùn)動特征的幅值強(qiáng)度所構(gòu)成的隨機(jī)變量,其概率分布用p(x)表示,Hw表示某一幀光蝦苗幅值強(qiáng)度的加權(quán)信息熵。根據(jù)Hw的公式可知,活力越強(qiáng)的蝦苗其Hw越大。根據(jù)對同種活力的不同批次的蝦苗Hw指標(biāo)進(jìn)行分析,確定合理的指標(biāo)閾值,可以實(shí)現(xiàn)對蝦苗活力的檢測。

2.3 基于互信息(MI)的蝦苗活力檢測

互信息(Mutual Information)是信息論中的重要概念,用來衡量隨機(jī)變量之間的相關(guān)性。假設(shè)有2個離散型隨機(jī)變量X和Y,則互信息I(X,Y)可以定義為:

(7)

式中:p(x,y)為X和Y的聯(lián)合概率分布函數(shù);p(x)和p(y)分別為X和Y的邊緣概率函數(shù)。

根據(jù)上式可知:互信息的值越大,說明變量之間的相關(guān)性越強(qiáng),如果互信息為0,則說明2個變量相互獨(dú)立。本研究應(yīng)用互信息I(X,Y)來進(jìn)行蝦苗活力檢測。其中x和y分別為某一幀蝦苗運(yùn)動特征的幅值強(qiáng)度和相角角度所構(gòu)成的隨機(jī)變量,二者的概率分布分別用p(x)和p(y)表示,p(x,y)表示二者的聯(lián)合概率分布?；盍υ綇?qiáng)的蝦苗,其幅值強(qiáng)度和相角角度的相關(guān)性越強(qiáng),互信息MI值就越大。

3 結(jié)果與討論

3.1 結(jié)果分析

如圖4所示為試驗(yàn)1#～4#基于WIE和MI的蝦苗活力檢測結(jié)果。黑色實(shí)線為不同時刻的檢測值,2條虛線是區(qū)分3種不同活力蝦苗的閾值指標(biāo)。對于基于WIE的蝦苗活力檢測方法,本研究設(shè)定閾值為11.3和4.8;對于基于MI的活力檢測方法,本研究設(shè)定閾值為0.182和0.09。由圖4a可以看到,對于基于WIE的活力檢測方法,活力強(qiáng)的蝦苗WIE指標(biāo)基本保持在11.3以上;活力中的蝦苗WIE指標(biāo)基本保持在4.8～11.3之間;活力弱的蝦苗WIE指標(biāo)基本保持在4.8以下。因此將基于WIE的活力檢測方法的閾值設(shè)定為11.3和4.8時對不同活力的蝦苗有較高的區(qū)分度。由圖4b可以看到,對于基于MI的活力檢測方法,活力強(qiáng)的蝦苗MI指標(biāo)基本保持在0.182以上;活力中的蝦苗WIE指標(biāo)基本保持在0.09～0.182之間;活力弱的蝦苗MI指標(biāo)基本保持在0.09以下。因此將基于MI的活力檢測方法的閾值設(shè)定為0.182和0.09時對不同活力的蝦苗有較高的區(qū)分度。

圖4 試驗(yàn)1-4組的蝦苗活力檢測結(jié)果

表2給出了2種檢測方法的評價指標(biāo)數(shù)據(jù),精準(zhǔn)度表示算法預(yù)測的所有屬于該類別的樣本中預(yù)測正確的比例,召回率表示所有真實(shí)屬于該類別的樣本中被算法正確預(yù)測的比例。由表2可以看出,基于WIE的檢測方法對3種類別均有較好的效果,而基于MI的檢測方法則出現(xiàn)了較多誤檢。整體而言,2種檢測方法均能取得較好的試驗(yàn)效果。

表2 基于WIE和MI的蝦苗活力檢測方法

3.2 驗(yàn)證實(shí)驗(yàn)結(jié)果

如圖5所示為試驗(yàn)5#～7#的檢測結(jié)果,從圖中可以看出2種方法都在一定程度上體現(xiàn)出混合后蝦苗的整體活力情況。對于基于WIE的活力檢測方法,在試驗(yàn)5中蝦苗的WIE指標(biāo)基本都保持在4.8以上,部分超過11.3;在試驗(yàn)6中蝦苗的WIE指標(biāo)基本維持在4.8左右;在試驗(yàn)7中蝦苗的WIE指標(biāo)多數(shù)維持在4.8兩側(cè),少部分超過11.3。對于基于MI的活力檢測方法,在試驗(yàn)5中蝦苗的MI指標(biāo)保持在0.182;在試驗(yàn)6中蝦苗的MI指標(biāo)保持在0.09;在試驗(yàn)7中蝦苗的MI指標(biāo)基本分布在0.04～0.182之間。試驗(yàn)5#～7#組側(cè)面反映出2種檢測方法的有效性。

圖5 試驗(yàn)5～7組的蝦苗活力檢測結(jié)果

3.3 討論

對比魚類行為檢測[28-29],本研究的難點(diǎn)在于蝦苗目標(biāo)小且通體透明,游動敏捷,行為特征較魚類更難以捕捉;對比傳統(tǒng)運(yùn)動目標(biāo)跟蹤檢測[30],被跟蹤目標(biāo)的靜態(tài)特征多樣且明顯,而蝦苗靜態(tài)特征幾乎沒有,無法應(yīng)用現(xiàn)有的特征提取器,因此先檢測再跟蹤的方法難度較大。馮國富等[31]采用YOLOv4目標(biāo)檢測算法和DeepSort多目標(biāo)跟蹤算法記錄蝦苗應(yīng)激前后的相關(guān)特征值,使用單一顏色和紋理特征的算法準(zhǔn)確率為91.98%和96.56%。針對以上問題,本研究在光流法提取蝦苗的整體運(yùn)動特征基礎(chǔ)上進(jìn)行統(tǒng)計(jì)學(xué)分析,得到不同活力的蝦苗特征分布情況;對特征應(yīng)用加權(quán)信息熵和互信息,使得不同分布的特征計(jì)算結(jié)果有顯著差異。

4 結(jié)論

本研究基于計(jì)算機(jī)視覺技術(shù),設(shè)計(jì)了一種基于稠密光流和統(tǒng)計(jì)學(xué)特征的蝦苗活力檢測方法。本研究對光流信息進(jìn)行統(tǒng)計(jì)學(xué)分析后,首次將其與信息熵、互信息等信息論概念相結(jié)合,并創(chuàng)新性地改進(jìn)原始信息熵的計(jì)算方法使之能更好地表征蝦苗的運(yùn)動情況。改進(jìn)后的信息熵和互信息兩種檢測方法的精準(zhǔn)度都在98%以上,可以有效實(shí)現(xiàn)蝦苗活力檢測。蝦苗活力檢測方法是實(shí)現(xiàn)自動化蝦苗質(zhì)量檢測的關(guān)鍵之一,但由于蝦苗目標(biāo)小且近乎透明,所以該方法所需的檢測條件較為苛刻,仍需在后續(xù)的研究中對其進(jìn)行改進(jìn)以應(yīng)對真實(shí)的養(yǎng)殖環(huán)境。除此之外,也可以圍繞蝦苗質(zhì)量的其他評估指標(biāo),例如蝦苗腸道的干凈程度、肝胰臟的顏色等,提出蝦苗質(zhì)量評價方法,從而提升蝦苗養(yǎng)殖的信息化和數(shù)字化水平。

□