基于卷積Hopfield網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測(cè)模型

沈慧 王森妹

摘? 要：本文針對(duì)視頻圖像中顯著性檢測(cè)存儲(chǔ)量大、計(jì)算復(fù)雜等特點(diǎn)，提出了一種結(jié)合卷積的Hopfield神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。利用Hopfield網(wǎng)絡(luò)在序列圖像處理上的優(yōu)勢(shì)，處理視頻信息中的能更好地結(jié)合上下文關(guān)系和時(shí)序信息提取運(yùn)動(dòng)目標(biāo)的特征。將Hopfield的循環(huán)反饋與卷積結(jié)合起來(lái)，以在空間上更好地提取運(yùn)動(dòng)目標(biāo)。將傳統(tǒng)的Hopfield網(wǎng)絡(luò)的全連接轉(zhuǎn)換為局部連接的Hopfield網(wǎng)絡(luò)。用局部連接的HNN作為門控RNN的主要部分代替區(qū)域框，并與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)進(jìn)行顯著性檢測(cè)，然后結(jié)合到darknet框架下進(jìn)行視頻運(yùn)動(dòng)目標(biāo)檢測(cè)。在VIVD數(shù)據(jù)集下驗(yàn)證顯示，針對(duì)視頻中的運(yùn)動(dòng)目標(biāo)，在無(wú)須提前訓(xùn)練和標(biāo)記的情況下能獲得較好的檢測(cè)結(jié)果。

關(guān)鍵詞：局部連接;卷積Hopfield神經(jīng)網(wǎng)絡(luò);運(yùn)動(dòng)目標(biāo)檢測(cè);視頻圖像

中圖分類號(hào)：TP18;TP391.41 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）09-0074-04

0? 引? 言

在基于計(jì)算機(jī)視覺(jué)與攝像頭的物體檢測(cè)中，卷積神經(jīng)網(wǎng)絡(luò)是一種適合輸入信號(hào)為連續(xù)值的神經(jīng)網(wǎng)絡(luò)，本文擬采用局部連接的Hopfield神經(jīng)網(wǎng)絡(luò)（循環(huán)神經(jīng)網(wǎng)絡(luò)的一種）與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，針對(duì)視頻圖像中的目標(biāo)進(jìn)行提取與顯示，將空間結(jié)構(gòu)與時(shí)間流動(dòng)結(jié)合起來(lái)，較大速率下提取較為精確的顯著性目標(biāo)。其最大創(chuàng)新之處在于，改進(jìn)傳統(tǒng)的HNN與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，用深度學(xué)習(xí)的方法[1，2]做顯著性目標(biāo)檢測(cè)，結(jié)構(gòu)相對(duì)簡(jiǎn)單，檢測(cè)效果較好。將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像檢測(cè)，將神經(jīng)元的每個(gè)節(jié)點(diǎn)的模擬狀態(tài)值用來(lái)標(biāo)注每個(gè)像元的狀態(tài)，由領(lǐng)域的相關(guān)信息推出像元的值，確定空間上下文連續(xù)性，并結(jié)合數(shù)據(jù)的連續(xù)性獲得有領(lǐng)域影響并有自身反饋的信息，當(dāng)能量最小的時(shí)候得到最優(yōu)解。模擬HNN的收斂過(guò)程，用能量函數(shù)收斂到的最小化來(lái)表示最后穩(wěn)態(tài)標(biāo)記像元的變化大小，而結(jié)合了卷積的計(jì)算，將更能使目標(biāo)之間的差異顯示出來(lái)，從而能夠更好地提取特征。

1? 架構(gòu)

1.1? 局部連接的Hopfield網(wǎng)絡(luò)

Hopfield神經(jīng)網(wǎng)絡(luò)是有反饋的神經(jīng)網(wǎng)絡(luò)，由其輸出端反饋到輸入端并影響輸出，因此是一個(gè)動(dòng)態(tài)發(fā)展的過(guò)程，每次循環(huán)都要重新計(jì)算改變，若是收斂多次，迭代之后最終達(dá)到平衡輸出不變，而且僅當(dāng)輸出隨時(shí)間變化而不變時(shí)，網(wǎng)絡(luò)的能量才會(huì)不變。

本文提出的局部連接的Hopfield神經(jīng)網(wǎng)絡(luò)是基于傳統(tǒng)HNN將其全連接結(jié)構(gòu)變?yōu)榫植窟B接的結(jié)構(gòu)，舍棄距離當(dāng)前神經(jīng)元較遠(yuǎn)的反饋信息，比較符合人類視覺(jué)系統(tǒng)神經(jīng)元的信息傳遞隨著距離增大而逐步減弱的效果，并且相比較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)其計(jì)算量更小一些。對(duì)于一個(gè)神經(jīng)元，以其周圍八個(gè)神經(jīng)元為例，Hopfield的連接方式如圖1所示，我們所采用的局部連接的方式如圖2所示，即選擇性放棄距離其較遠(yuǎn)的信息。對(duì)于HNN而言，網(wǎng)絡(luò)的收斂性是保證其穩(wěn)定運(yùn)行的關(guān)鍵條件，因此對(duì)于局部連接的HNN我們需要證明其穩(wěn)定性，為了使計(jì)算和推導(dǎo)更簡(jiǎn)便，我們選擇對(duì)稱的結(jié)構(gòu)，下面通過(guò)推導(dǎo)來(lái)證明：

2? 實(shí)驗(yàn)

2.1? 運(yùn)動(dòng)目標(biāo)檢測(cè)模型構(gòu)建

基于Darknet網(wǎng)絡(luò)的YOLO[7]在實(shí)時(shí)目標(biāo)檢測(cè)中是很有優(yōu)勢(shì)的，但是檢測(cè)精度和對(duì)小目標(biāo)的檢測(cè)結(jié)果并不是很如意，雖然后續(xù)有YOLOv2和YOLOv3對(duì)其短板有所改進(jìn)，但是由于原理上的限制，其只對(duì)最后一層結(jié)果進(jìn)行檢測(cè)，因此在獲取細(xì)小目標(biāo)時(shí)效率不高，將本文提出的新單元與其結(jié)合，形成具有存儲(chǔ)信息的記憶單元，并且HNN的周圍神經(jīng)元能夠相互反饋，使空間信息的提取效率得到極大提高，相鄰幀間的信息補(bǔ)充時(shí)間上的信息傳遞，能獲得更全的信息，將其中conv層的濾波器轉(zhuǎn)換成本文的L-C C-HNN小單元，將其中所有的池化去除，在第一層中仍然保留32個(gè)3×3的卷積核，去掉池化層后，用局部連接的HNN代替，然后下一層保留64個(gè)3×3的卷積核，依然用局部連接的HNN代替池化，將下一層卷積（該層128個(gè)卷積核）之后的卷積層保留，再卷積之后再增加一個(gè)局部連接的HNN層。以輸入n×224×224的序列為例，有改動(dòng)的前幾層設(shè)置如表2所示：

使用Hopfield的存儲(chǔ)規(guī)則[8]，一個(gè)有N個(gè)單元的完全連接的網(wǎng)絡(luò)的容量只有0.15N的內(nèi)存，那么存儲(chǔ)權(quán)重的比特?cái)?shù)就是N2 log（2M+1），其中M代表連接的神經(jīng)元數(shù)量。對(duì)于一個(gè)同樣對(duì)稱的局部連接的Hopfield網(wǎng)絡(luò)，連接減少，有N個(gè)單元的局部連接，相應(yīng)權(quán)重矩陣成對(duì)角矩陣，參數(shù)少很多，在計(jì)算的時(shí)候運(yùn)算更快，效果更好。因此局部連接的HNN相當(dāng)于將單元減少，也可以看成將一個(gè)整體的HNN分化成較小單元的個(gè)體，每個(gè)個(gè)體有一定的關(guān)聯(lián)性，但是并不是像之前那樣密切相連，因此局部連接的所占內(nèi)存更少。

2.2? 卷積Hopfield神經(jīng)網(wǎng)絡(luò)用于目標(biāo)檢測(cè)

本文設(shè)置的局部連接的C-HNN應(yīng)用于Darknet網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)視頻目標(biāo)進(jìn)行檢測(cè)，設(shè)置的局部連接階數(shù)i=8，能量函數(shù)的值最終算的結(jié)果E=-2，網(wǎng)絡(luò)連接層數(shù)共19層，迭代次數(shù)初始控制在t=50。（在實(shí)際結(jié)果中迭代和輸出穩(wěn)定是共同控制的，二者以或的方式存在）在VIVD數(shù)據(jù)集中的檢測(cè)如表3所示。

首先通過(guò)閾值方法將檢測(cè)結(jié)果進(jìn)行二值化，因檢測(cè)過(guò)程中都是自動(dòng)迭代的，參數(shù)也能得到調(diào)整，實(shí)驗(yàn)結(jié)果只考慮準(zhǔn)確率和迭代次數(shù)。本文使用F-measure[9]測(cè)試方法評(píng)價(jià)算法的性能。因此，本文將L-C C-HNN作為新的卷積提取得到的特征為最后所得的特征圖譜，本文在得到像素的位置后，用候選框在原圖中標(biāo)出，得到本文的目標(biāo)檢測(cè)的結(jié)果。

對(duì)文中的部分結(jié)果展示如圖4所示，并定量通過(guò)F- measures值（表2）來(lái)分析檢驗(yàn)本文用來(lái)測(cè)試的方法。

本文的結(jié)構(gòu)在不同類中的檢測(cè)結(jié)果差異性比較明顯，但是效果整體上較同類方法并不遜色，并且本文提出的結(jié)構(gòu)方法可在測(cè)試集上直接訓(xùn)練，節(jié)省了很多時(shí)間，不需提前訓(xùn)練人工標(biāo)注，還是有一定優(yōu)勢(shì)的。

3? 結(jié)? 論

本文提出的結(jié)合卷積的局部連接的HNN在視頻運(yùn)動(dòng)目標(biāo)的檢測(cè)中能較好地結(jié)合上下文信息，并且利用仿生學(xué)將無(wú)監(jiān)督學(xué)習(xí)的方式用于網(wǎng)絡(luò)參數(shù)中權(quán)重的自適應(yīng)調(diào)節(jié)，對(duì)視頻序列中的運(yùn)動(dòng)目標(biāo)檢測(cè)有一定的效果，但是仍然有可改進(jìn)和提升的地方，主要體現(xiàn)在下面幾個(gè)方面：首先是能量函數(shù)的構(gòu)建對(duì)整個(gè)目標(biāo)檢測(cè)的框架構(gòu)建是一個(gè)很核心的內(nèi)容，在本文提出的方法中的能量函數(shù)是結(jié)合幾部分信息來(lái)構(gòu)成，但其實(shí)Hopfield神經(jīng)網(wǎng)絡(luò)是可以作為大的框架進(jìn)行目標(biāo)檢測(cè)的;其次是關(guān)于局部連接的方式的探討還有更多可提升的空間，可能結(jié)合不同的框架會(huì)有不同的連接范圍，在后續(xù)的研究中仍有很大的研究空間;最后是對(duì)于相關(guān)深層網(wǎng)絡(luò)[10]的改進(jìn)，希望將二值化卷積神經(jīng)網(wǎng)絡(luò)，比如BWN或者XNOR-Net[11]等在不損失精度的情況下壓縮數(shù)據(jù)，對(duì)提高運(yùn)算速度有較大意義。

參考文獻(xiàn)：

[1] Ren S，He K，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[C].International Conference on Neural Information Processing Systems.2015

[2] Lin Z，Yuan C.A Very Deep Sequences Learning Approach for Human Action Recognition[C].International Conference on Multimedia Modeling.Springer，Cham， 2016.

[3] Wang P，Li W，Gao Z，et al.Action Recognition from Depth Maps Using Deep Convolutional Neural Networks[J].IEEE Transactions on Human-Machine Systems，2016，46（4）：498-509.

[4] Scesa V，Henaff P，Ouezdou FB，et al.Onthe Analysis of Sigmoid Time Parameters for Dynamic Truncated BPTT Algorithm[C].International Joint Conference on Neural Networks.IEEE，2006.

[5] John J. Hopfield. Understanding Emergent Dynamics：Using a Collective Activity Coordinate of a Neural Network to Recognize Time-Varying Patterns[J].Neural Computation，2015：1-28.

[6] Pajares G.A Hopfield Neural Network for Image Change Detection[M].IEEE Press，2006.

[7] Redmon J，Divvala S，Girshick R，et al.You Only Look Once：Unified，Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE Computer Society，2016.

[8] GU F Q，HONG Z Z，SUN Y S. Boundary extraction based on stack filter，Hopfield neural network and self-organization neural network [C]// Machine Learning and Cybernetics，2003 International Conference on. S.l.：s.n.，2003：1084-1087.

[9] Narayana，Manjunath，Hanson，Allen，Learned-Miller，Erik. Coherent Motion Segmentation in Moving Camera Videos Using Optical Flow Orientations[C]. S.l.：s.n.，2013：1577-1584.

[10] Hu Y ，Chen Z，Chi Z，et al.Learning to detect saliency with deep structure[C].IEEE International Conference on Systems.IEEE，2016.

[11] Rastegari M，Ordonez V，Redmon J，et al.XNOR-Net：ImageNet Classification Using Binary Convolutional Neural Networks[C].European Conference on Computer Vision，2016.

作者簡(jiǎn)介：沈慧（1994-），女，漢族，河南人，碩士研究生，研究方向：視覺(jué)計(jì)算與圖像處理;通訊作者：王森妹（1995-），女，白族，云南人，碩士研究生，研究方向：視覺(jué)計(jì)算與圖像處理。