基于多特征融合相關(guān)濾波的運動奶牛目標(biāo)提取

秦立峰 張曉茜 董明星 岳 帥

(1.西北農(nóng)林科技大學(xué)機械與電子工程學(xué)院， 陜西楊凌 712100；2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點實驗室， 陜西楊凌 712100；3.陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點實驗室， 陜西楊凌 712100)

0 引言

奶牛目標(biāo)區(qū)域的精確提取是后續(xù)奶牛的跛行檢測[1-2]、呼吸檢測[3-4]、個體識別[5-6]以及行為識別[7-9]的基礎(chǔ)，對奶牛養(yǎng)殖業(yè)的發(fā)展有重要的意義[10]?；跈C器視覺和圖像處理、機器學(xué)習(xí)等智能化技術(shù)可幫助實現(xiàn)對奶牛目標(biāo)的精準提取[11-12]。然而，由于奶牛養(yǎng)殖場環(huán)境差異大、背景復(fù)雜，且奶牛活動姿態(tài)差異大，使得基于視覺方法的奶牛目標(biāo)提取精度有待提高。

傳統(tǒng)用于圖像或視頻中奶牛目標(biāo)提取的常用算法有邊緣檢測法[13]和背景建模法[14]，前者對于復(fù)雜背景以及相似的顏色干擾難以取得較高準確率，目標(biāo)范圍易存在較大誤差[15]；后者則對于背景依賴大，參數(shù)量往往較難估計，不同場景背景下的模型難以移植，且算法穩(wěn)定性受光照影響較大[16]。劉冬等[17]提出了一種動態(tài)的建模方法，基于GMM采用局部更新的策略和基于色度和亮度偏差的二分類算法對奶牛目標(biāo)進行實時檢測，平均模型復(fù)雜度比GMM降低了50.85%，前景誤檢率、背景誤檢率分別降低了19.50%和13.37%。宋懷波等[18]提出了一種無參核密度估計背景建模的方法，解決了現(xiàn)有的參數(shù)化模型實現(xiàn)奶牛目標(biāo)檢測方法的缺陷，算法平均前景正檢率為95.65%。但閾值選取上不能夠達到自適應(yīng)。ZHAO等[19]在背景減去法的基礎(chǔ)上融合幀差法并實時調(diào)整奶牛的RGB通道系數(shù)來進行運動奶牛的目標(biāo)檢測，目標(biāo)檢測精度為88.34%，但對環(huán)境變化比較敏感。近年來，深度學(xué)習(xí)方法在奶牛個體識別與檢測中得到廣泛研究，JIANG等[20]在YOLO v3的基礎(chǔ)上對奶牛關(guān)鍵部位進行了檢測，算法的平均檢準率達到93.73%，召回率為97.51%，檢測幀率為21 f/s，然而深度網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜、難以硬件實現(xiàn)，與實際應(yīng)用仍有一定距離。

相關(guān)濾波算法[21]廣泛應(yīng)用于目標(biāo)跟蹤領(lǐng)域，通過目標(biāo)模板訓(xùn)練相關(guān)濾波器對目標(biāo)的可能位置區(qū)域進行濾波，最大響應(yīng)位置即為目標(biāo)中心[22]。核相關(guān)濾波算法(Kernelized correlation filter, KCF)[23]已成為基本方法，它采用HOG特征，利用多通道模式；常用的高斯核、線性核和多項式核3種核函數(shù)中，高斯核精度高但速度低，線性核精度較差但速度高。尺度自適應(yīng)多特征融合相關(guān)濾波算法(Scale adaptive with multiple feature tracker, SAMF)[24]在KCF算法基礎(chǔ)上將CN特征、HOG特征和灰度特征串聯(lián)融合訓(xùn)練相關(guān)濾波器，并與預(yù)設(shè)的7種尺度進行匹配，可實現(xiàn)最佳位置和最佳尺度下目標(biāo)位置的實時預(yù)測。

綜上，基于邊緣檢測和背景建模的奶牛目標(biāo)提取對背景依賴較強，難以實現(xiàn)不同場景間的算法移植；深度學(xué)習(xí)網(wǎng)絡(luò)的實際應(yīng)用仍存在一定困難；而相關(guān)濾波器建模簡單，具有速度快、抗干擾能力強的特點，本文將相關(guān)濾波算法融入目標(biāo)提取基本框架，提出一種融合相關(guān)濾波和邊緣檢測的養(yǎng)殖場奶牛目標(biāo)提取算法CFED，進行奶牛目標(biāo)提取。該算法首先從視頻幀圖像中提取奶牛目標(biāo)顏色特征CN和HOG特征，分別訓(xùn)練相關(guān)濾波器，將各自的濾波器響應(yīng)圖進行融合，獲取準確的目標(biāo)范圍。利用目標(biāo)邊緣點鄰域特征生成方向可調(diào)的濾波器，在不同方向上卷積圖像得到多方向上的邊緣響應(yīng)。利用奶牛顏色特征在目標(biāo)范圍內(nèi)快速提取奶牛目標(biāo)，最后與邊緣檢測的結(jié)果圖像進行融合，實現(xiàn)奶牛目標(biāo)提取。

1 材料與方法

1.1 奶牛視頻材料獲取與標(biāo)記

試驗視頻于2017年5—7月于陜西省楊凌科元克隆股份有限公司的奶牛養(yǎng)殖場采集，拍攝對象為側(cè)面行走狀態(tài)下的荷斯坦奶牛。采用一臺SONY HDR-CX290E型攝像機固定拍攝，攝像機位于與奶牛垂直距離約3 m處。視頻格式為avi，幀速率為25 f/s，幀寬度為880像素，高度為720像素，碼率為2 000 kb/s。對于所選用的奶牛視頻段，先將其轉(zhuǎn)換成幀圖像，若首幀沒有奶牛出現(xiàn)，則忽略該幀，將出現(xiàn)奶牛的第1幀圖像作為視頻首幀，奶牛視頻幀圖像如圖1所示。利用Matlab中Ground Truth Labeler工具，手動逐幀標(biāo)記奶牛目標(biāo)位置，標(biāo)記結(jié)果如圖1b所示。標(biāo)記數(shù)據(jù)包含4個參數(shù)，分別為目標(biāo)跟蹤框左上角位置的行、列坐標(biāo)以及理想跟蹤框的長度和寬度。將每個幀圖像的標(biāo)記數(shù)據(jù)存入文件，作為算法評估的基礎(chǔ)。

由圖1a可見，養(yǎng)殖場實地拍攝的監(jiān)控視頻的背景十分復(fù)雜，有泥土、墻、磚、玻璃、欄桿等，且奶牛目標(biāo)受到不同程度的遮擋。試驗共采集了處于這樣復(fù)雜環(huán)境的9段視頻，均確保奶牛處于視頻中，考慮到雨霧天氣下及夜間監(jiān)測實際需求，采集的視頻中包含了晴天、雨天、夜間視頻，以用于驗證算法的穩(wěn)定性。視頻具體信息如表1所示。

表1 奶牛視頻信息Tab.1 Video information of cows

試驗平臺為Windows 10系統(tǒng)便攜式計算機，處理器為Intel(R) Core(TM) i5-9300HF，主頻為2.40 GHz，GPU為NVIDIA GeForce GTX 1660 Ti，內(nèi)存為16 GB，硬盤為1 TB。算法開發(fā)平臺是Matlab R2018b。

1.2 基于相關(guān)濾波算法的奶牛目標(biāo)定位

1.2.1總體技術(shù)路線

本研究技術(shù)路線如圖2所示。在離線狀態(tài)下，提取訓(xùn)練圖像的HOG特征和CN特征[25]，并預(yù)設(shè)尺度池，訓(xùn)練相關(guān)濾波器。在線的奶牛目標(biāo)提取分兩步，首先利用SAMF進行奶牛位置預(yù)測，獲取奶牛目標(biāo)候選區(qū)域框，并對原始圖像進行掩膜操作，得到候選框內(nèi)的原圖像；然后對候選區(qū)域圖像進行邊緣濾波和顏色閾值快速分割后，將二者結(jié)果相融合，最后利用形態(tài)學(xué)處理得到奶牛目標(biāo)區(qū)域。

1.2.2相關(guān)濾波進行目標(biāo)定位的基本原理

目標(biāo)解表示為

(1)

式中αi——最優(yōu)封閉解

利用循環(huán)矩陣的性質(zhì)，結(jié)合離散傅里葉變換(DFT)，得到核正則化最小二乘(Kernelized RLS，KRLS)的最優(yōu)解為

(2)

式中F——離散傅里葉變換函數(shù)

kxx——訓(xùn)練樣本的自相關(guān)核輸出向量

α——最小二乘最優(yōu)解

x——采樣的訓(xùn)練樣本

核函數(shù)使用高斯核。在新的一幀中，通過獲取候選窗口圖像塊z來檢測目標(biāo)的位置。則分類器的輸出響應(yīng)為

=F-1(kxz⊙α)

(3)

kxz——訓(xùn)練樣本與測試樣本的互相關(guān)核輸出向量

⊙——元素乘積運算符號

z——測試樣本

1.2.3SAMF尺度自適應(yīng)核相關(guān)濾波器

(1)奶牛特征提取

通過對目標(biāo)區(qū)域的梯度方向直方圖進行統(tǒng)計得到HOG特征，它反映了圖像局部的梯度方向，表征圖像邊緣和形狀信息，對目標(biāo)旋轉(zhuǎn)和尺度的變化不敏感，且不受圖像形變影響。CN特征是一種最為接近人眼視覺的特征，與灰度特征相比，CN特征更豐富地描述了目標(biāo)部分的位置信息。HOG特征和CN特征具有互補性，利用這兩個特征分別訓(xùn)練相關(guān)濾波器，二者的響應(yīng)加權(quán)組合可實現(xiàn)準確的目標(biāo)定位。

HOG特征提取過程為，先將原始圖像灰度化并進行Gamma校正，實現(xiàn)圖像對比度調(diào)節(jié)，并抑制噪聲。對圖像所有像素點，利用[-1 0 1]和[1 0 -1]T梯度算子分別對原圖像進行卷積，得到x和y方向上的梯度分量；再將圖像平均劃分成尺寸為4×4的子塊；將360°劃分為若干區(qū)間，根據(jù)像素點梯度方向差異，通過雙線性插值將其幅度累積到直方圖中，將小塊內(nèi)梯度直方圖進行統(tǒng)計得到每個小塊的特征描述子。每3×3個子塊組合成一個塊，將每個塊內(nèi)所有特征描述符串聯(lián)連接，即得到該塊的HOG特征。整個目標(biāo)區(qū)域的HOG特征由全部塊的HOG特征組合得到。

CN特征假定不同顏色名稱具有相等的先驗概率，通過對目標(biāo)像素進行非線性映射得到各個RGB值到11種顏色名稱的映射關(guān)系。這種映射可以表示為F：RGB→v，其中v是一個11維的向量，vi=P(ci|xRGB)是將RGB值xRGB分配給特定的顏色名稱ci的概率。區(qū)域(region)的顏色名稱描述符Kregion被定義為來自區(qū)域內(nèi)像素的概率分布的總和

(4)

式中N——區(qū)域內(nèi)的像素個數(shù)

(2)利用SAMF算法進行奶牛目標(biāo)定位

將當(dāng)前幀和上一幀的數(shù)據(jù)用線性疊加的方式結(jié)合來更新濾波器，以進行后續(xù)跟蹤。對濾波器T的更新公式為

(5)

μ——更新系數(shù)

本文中尺度池設(shè)置為{0.985，0.99，0.995，1.0，1.005，1.01，1.015}。在比較過程中同時對待選目標(biāo)進行這7種尺度計算，選擇響應(yīng)值最大者作為當(dāng)前幀的目標(biāo)尺度。

1.3 目標(biāo)框內(nèi)基于邊緣檢測的目標(biāo)精確提取

根據(jù)SAMF算法獲取的奶牛目標(biāo)區(qū)域框如圖3所示。后續(xù)只對此區(qū)域框內(nèi)像素進行處理，可減少大量背景干擾，提高算法整體效率。

由圖3可見，奶牛目標(biāo)框較準確地確定了奶牛目標(biāo)區(qū)域，表明基于相關(guān)濾波的目標(biāo)初提取效果較好。為了更精確地提取奶牛目標(biāo)，在候選區(qū)域內(nèi)利用方向可調(diào)濾波器檢測奶牛目標(biāo)邊緣，以進一步在候選區(qū)域內(nèi)準確定位奶牛位置。方向可調(diào)濾波器使用不同方向的模板對圖像進行卷積得到圖像的邊緣，具有靈活、快速的特點[26]。本文采用三階模板，其幅度系數(shù)ga、gb、gc、gd和角度系數(shù)ka、kb、kc、kd分別為

(6)

(7)

式中x、y——高斯函數(shù)求偏導(dǎo)的方向

θ——方向可調(diào)濾波器的方向輸入

通過不同方向上幅度系數(shù)和角度系數(shù)乘加運算產(chǎn)生最終模板，即

G=kaga+kbgb+kcgc+kdgd

(8)

式中G——線性組合后的最終模板

在0°～360°范圍內(nèi)，每隔30°生成一個模板，共13個模板；分別對圖像做卷積，將所有方向上卷積結(jié)果進行疊加得到邊緣檢測結(jié)果，再二值化后得到邊緣二值圖。對圖3所示奶牛候選區(qū)域進行邊緣提取的過程圖及結(jié)果如圖4所示。

方向可調(diào)濾波器提取出的奶牛圖像邊緣仍存在偽邊緣及噪聲。再使用顏色特征對圖像進行目標(biāo)提取，以消除噪聲和無效背景，并保留奶牛目標(biāo)。由于奶牛部位像素主要為黑色或白色，因此設(shè)置雙閾值Tw、Tb對像素點進行判定，判定規(guī)則為

(9)

式中bw(x,y)——分割后的圖像

I(x,y)——原圖像中的像素值

Tw——白色判定閾值

Tb——黑色判定閾值

對圖4所示的奶牛候選區(qū)域進行顏色分割的結(jié)果如圖5a所示。

1.4 濾波結(jié)果融合和形態(tài)學(xué)處理

將方向可調(diào)濾波器提取出的邊緣圖像與顏色特征分割出的目標(biāo)區(qū)域圖像疊加，如圖5b所示，可見奶牛目標(biāo)內(nèi)的偽邊緣線條以及部分空洞得到了填充，但是由于背景復(fù)雜，背景像素中有很多與目標(biāo)像素值相近的點，且目標(biāo)有一定遮擋，使得目標(biāo)提取結(jié)果仍有較大誤差，因此進一步采用數(shù)學(xué)形態(tài)學(xué)方法處理。

首先用尺寸為15像素×15像素的正方形結(jié)構(gòu)元素進行腐蝕，消除背景上的小目標(biāo)區(qū)域。對腐蝕過的圖像用30像素×30像素的正方形結(jié)構(gòu)元素進行膨脹處理，填充圖像內(nèi)部孔洞和邊緣處的小凹陷，并磨平目標(biāo)區(qū)域向外的尖角，使目標(biāo)區(qū)域連接成盡量大的連通區(qū)域，如圖5c所示。最后再用半徑為15像素的圓形結(jié)構(gòu)元素進行腐蝕，使其尺寸盡量匹配真實目標(biāo)的尺寸，目標(biāo)提取結(jié)果如圖5d所示。

2 評價指標(biāo)

選用重疊率和誤檢率進行目標(biāo)提取效果評價。將算法提取的目標(biāo)區(qū)域像素集合記為D，手動標(biāo)記的目標(biāo)像素集合記為A，則重疊率(Overlap rate，OR)計算式為

(10)

式中OR——重疊率

誤檢率分為假陽性率(False positive rate，fp)和假陰性率(False negative rate，fn)。fp是算法將背景像素誤判為目標(biāo)像素的個數(shù)與實際的全部背景像素個數(shù)的比值。fn是算法將目標(biāo)像素判斷為背景像素的個數(shù)與實際的全部背景像素個數(shù)的比值。記總像素數(shù)為N，真實奶牛目標(biāo)像素數(shù)為p，算法得到目標(biāo)像素數(shù)為a，算法正確提取的目標(biāo)像素數(shù)為t。m1=a-t，表示算法中誤把背景像素判斷為目標(biāo)的像素數(shù)；m2=p-t，表示算法誤把目標(biāo)判斷成背景的像素個數(shù)。則fp、fn計算公式分別為

(11)

(12)

通過3項指標(biāo)值的均方差σ分析算法的穩(wěn)定性。均方差越小，算法穩(wěn)定性越高。

3 試驗結(jié)果與分析

分別對9段視頻的圖像幀進行算法測試與評估，用Adobe Photoshop對試驗圖像手動分割出奶牛目標(biāo)，得到目標(biāo)二值圖作為真實值，用于評價指標(biāo)的計算。

對測試圖像進行目標(biāo)提取，計算提取結(jié)果的OR、fp、fn及樣本均方差，如表2所示。由表2可見，9段視頻的圖像幀奶牛目標(biāo)提取的平均重疊率為92.93%，平均假陽性率為5.07%，平均假陰性率為5.08%。OR、fp、fn的均方差分別為3.79%、0.91%、1.08%。該結(jié)果表明算法可準確對奶牛進行定位和目標(biāo)提取，且穩(wěn)定性較好。

表2 CFED算法提取奶牛目標(biāo)結(jié)果Tab.2 Cow target results extracted with CFED algorithm %

為了進一步考查CFED算法性能，本文將CFED與Otsu、K-means算法、幀間差分法和GMM[27-28]算法進行目標(biāo)提取結(jié)果對比。其中，幀間差分法利用視頻序列連續(xù)性、運動目標(biāo)在幀間變化明顯的特點，對連續(xù)幀通過差分運算，再經(jīng)灰度閾值判斷獲取目標(biāo)位置[29-31]。GMM通過對背景像素的分布建立混合高斯概率模型，并使用期望最大(EM)算法訓(xùn)練模型參數(shù)，最后對視頻中的像素進行最大似然判定。5種算法對9段視頻幀圖像提取的結(jié)果如表3所示。

表3 不同算法性能對比Tab.3 Performance comparison of different algorithms

由表3可見，CFED算法平均重疊率最高，比Otsu算法、K-means算法、幀間差分法、GMM分別高35.63、32.84、20.28、14.35個百分點，平均假陽性率和假陰性率最低。在運行時間上，CFED算法為0.70 s，速度較快且在不同視頻不同干擾下沒有受到影響，該結(jié)果表明所用算法具有較好的目標(biāo)提取效果，可為復(fù)雜奶牛場環(huán)境的奶牛目標(biāo)提取提供一定的參考。

4 討論

4.1 尺度變化對目標(biāo)提取的影響

如圖6所示，在奶牛尺度變化的視頻中，由于奶牛與攝像機距離變換而產(chǎn)生了尺度的變化，且其中還存在另一頭不完整的奶牛干擾，在此情況下SAMF所采用的尺度池方法，位置濾波與尺度濾波同時進行，實現(xiàn)目標(biāo)區(qū)域提取過程中的尺度自適應(yīng)，使得奶牛目標(biāo)提取在位置和尺度兩個方面同時達到最優(yōu)，較好地定位到了奶牛目標(biāo)位置，使得后續(xù)的提取操作更便于進行。平均重疊率、平均假陽性率、平均假陰性率分別為95.64%、5.10%、4.37%。

4.2 天氣情況對目標(biāo)提取的影響

圖7為雨天奶牛視頻幀圖像，可以看出算法仍可提取出主要奶牛目標(biāo)區(qū)域。幀圖像上的平均重疊率、平均假陽性率、平均假陰性率分別為92.19%、4.11%、5.12%，提取效果有所降低，這是因為雨水影響使得奶牛運動情況發(fā)生改變，且雨霧影響導(dǎo)致圖像質(zhì)量退化。

圖8為夜間奶牛視頻幀圖像提取結(jié)果。由于光照強度低，奶牛的體色與欄桿以及背景相似度增大，導(dǎo)致提取結(jié)果較多的目標(biāo)像素被認為是背景，OR、fp、fn的平均值分別為87.70%、6.39%、6.77%， CFED仍可將奶牛目標(biāo)提取出來，但總的來說，夜間指標(biāo)值相較于正常光照下偏低，說明光照強度對算法的影響較為顯著，下一步應(yīng)在這方面加以改進使得算法能夠很好地適應(yīng)夜間環(huán)境。

4.3 遮擋情況對目標(biāo)提取的影響

奶牛養(yǎng)殖環(huán)境復(fù)雜，欄桿的遮擋情況普遍，本文采集的9段視頻中有6段存在欄桿遮擋，導(dǎo)致最終提取到的奶牛目標(biāo)不完整。針對此情況，對圖像進行了孔洞填充和形態(tài)學(xué)操作，可以對奶牛目標(biāo)進行一定程度的填補。圖7和圖8都在欄桿的干擾下較為完整地提取了奶牛目標(biāo)。

另外室外環(huán)境下，飛鳥會對奶牛目標(biāo)造成部分遮擋干擾。若飛鳥未對奶牛目標(biāo)形成遮擋，算法在目標(biāo)定位階段將飛鳥作為背景排除；若飛鳥在奶牛目標(biāo)框內(nèi)對奶牛形成遮擋，算法通過多特征提取和形態(tài)學(xué)處理也能把飛鳥的影響降低。如圖9所示，第1行是受飛鳥干擾的3幀圖像，第2行是對應(yīng)的目標(biāo)提取結(jié)果。由該結(jié)果可見，飛鳥遮擋下奶牛目標(biāo)提取仍較完整，在該視頻幀上平均重疊率為94.80%；平均假陽性率、平均假陰性率分別為4.32%、4.28%。綜上所述，本文算法在遮擋干擾上具有較好的魯棒性。

4.4 交叉重疊對目標(biāo)提取的影響

在目標(biāo)提取問題中，同類對象間的交叉和重疊對特定目標(biāo)精確提取影響嚴重。這是由于同類對象具有相似特征，很難精確定位出重疊部分的對象邊緣。如圖10所示，圖像中兩頭奶牛交叉重疊，且存在一定程度的欄桿遮擋，前景奶牛(1號)的提取受到背景奶牛的嚴重干擾。

在目標(biāo)定位階段，算法將背景奶牛(2號)的不完全重疊部分剔除，如圖10b所示，為后續(xù)的目標(biāo)提取提供了便利，目標(biāo)提取結(jié)果如圖10c所示。由于重疊部分奶牛特征對目標(biāo)奶牛特征的提取造成嚴重的假陽性干擾，使圖像邊緣檢測產(chǎn)生較大誤差，使算法性能有所下降，在該視頻幀上平均重疊率為90.03%；平均假陽性率、平均假陰性率分別為6.06%、5.85%。目標(biāo)重疊部分邊緣的精準檢測將是下一步提升算法性能的關(guān)鍵研究內(nèi)容。

5 結(jié)論

(1)將相關(guān)濾波算法SAMF引入視頻幀奶牛目標(biāo)提取中，提出多特征融合相關(guān)濾波的奶牛目標(biāo)提取算法(CFED)。試驗結(jié)果表明，本文算法平均重疊率達到92.93%、假陰性率和假陽性率分別為5.07%和5.08%，相較于傳統(tǒng)的Otsu算法、K-means算法、幀間差分法和GMM，平均重疊率分別提高了35.63、32.84、20.28、14.35個百分點，表明CFED算法具有很好的目標(biāo)提取效果，為養(yǎng)殖場環(huán)境下的奶牛目標(biāo)精準提取提供了一種有效方法。

(2)本文算法具有很好的穩(wěn)定性，對遮擋、尺度變化、雨霧影響等復(fù)雜環(huán)境條件具有較好的適應(yīng)性。同時本文算法對單幀圖像的目標(biāo)提取時間為0.70 s，處理速度較快。