電子監(jiān)控部分遮擋目標(biāo)單模態(tài)自監(jiān)督信息挖掘技術(shù)

摘" 要： 針對(duì)電子監(jiān)控視頻中受遮擋目標(biāo)識(shí)別難度高的問(wèn)題，提出一種電子監(jiān)控部分遮擋目標(biāo)單模態(tài)自監(jiān)督信息挖掘技術(shù)。為了得到目標(biāo)的狀態(tài)信息，利用遮擋檢測(cè)方法判斷監(jiān)控視頻中是否存在部分遮擋目標(biāo)。當(dāng)監(jiān)控視頻存在部分遮擋目標(biāo)時(shí)，利用減法聚類方法進(jìn)行特定目標(biāo)的識(shí)別、跟蹤或描述，并提供更準(zhǔn)確和詳細(xì)的目標(biāo)特征信息。在此基礎(chǔ)上，將交叉熵?fù)p失函數(shù)與軟間隔三元組損失函數(shù)構(gòu)建的監(jiān)督遮擋目標(biāo)特征學(xué)習(xí)判別損失函數(shù)作為部分遮擋目標(biāo)信息挖掘的目標(biāo)函數(shù)，在每個(gè)批次的電子監(jiān)控樣本中，搜尋最小距離的負(fù)樣本對(duì)以及最大距離的正樣本對(duì)，并通過(guò)反向傳播優(yōu)化參數(shù)。由此輸入電子監(jiān)控圖像樣本，通過(guò)前向傳播輸出得到電子監(jiān)控部分遮擋目標(biāo)單模態(tài)自監(jiān)督信息挖掘結(jié)果。實(shí)驗(yàn)結(jié)果表明，所提出的技術(shù)可以有效挖掘電子監(jiān)控部分遮擋目標(biāo)，目標(biāo)挖掘的mAP值高于0.9，能夠?yàn)樘嵘O(jiān)控目標(biāo)識(shí)別精度提供可靠依據(jù)。

關(guān)鍵詞： 電子監(jiān)控； 遮擋檢測(cè)； 單模態(tài)自監(jiān)督； 信息挖掘； 交叉熵?fù)p失函數(shù)； 三元組損失函數(shù)

中圖分類號(hào)： TN911.23?34； TP391" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " 文章編號(hào)： 1004?373X（2024）10?0047?05

Single mode self supervised information mining technology for partially occluded

targets in electronic monitoring

Abstract： In allusion to the difficulty of identifying occlusive targets in electronic surveillance video， the single?mode self?supervised information mining technology for partially occlusive targets in electronic monitoring is researched. In order to obtain the state information of the target， the occlusion detection method is used to judge whether there is a partially occluded target in the surveillance video. When there are partially occluded targets in surveillance video， subtraction clustering method is used to identify， track or describe specific targets， and provide more accurate and detailed target feature information. On this basis， the supervised occlusion target feature learning discrimination loss function constructed by cross entropy loss function and soft interval triplet loss function is used as the objective function for partially occluded target information mining. In each batch of electronic monitoring samples， the minimum distance negative sample pair and the maximum distance positive sample pair are mined， and the parameters are optimized by the backpropagation. From this， the sample of electronic monitoring image is input， and the results of self?supervised information mining are obtained by means of the forward propagation. The experimental results show that this technology can effectively mine the partially occluded targets of electronic monitoring， and the mAP value of target mining is higher than 0.9， which can provide a reliable basis for improving the recognition accuracy of monitoring targets.

Keywords： electronic monitoring; occlusion detection; single?mode self?supervision; information mining;" cross entropy loss function; triplet loss funtion

0" 引" 言

電子監(jiān)控在實(shí)際應(yīng)用中，由于人體、樹(shù)木、車輛等遮擋物的存在[1]，監(jiān)控?cái)z像頭無(wú)法完全捕捉到目標(biāo)的完整圖像，從而難以進(jìn)行監(jiān)控視頻分析。如何有效地識(shí)別和分析部分遮擋目標(biāo)[2?3]，對(duì)于提高監(jiān)控視頻的應(yīng)用效果具有重要意義。

近年來(lái)，眾多學(xué)者針對(duì)監(jiān)控視頻目標(biāo)分析展開(kāi)研究。張志遠(yuǎn)等提出一種結(jié)合多注意力機(jī)制的自監(jiān)督目標(biāo)跟蹤方法，通過(guò)多注意力機(jī)制捕捉目標(biāo)細(xì)節(jié)和上下文信息，提高了目標(biāo)跟蹤的準(zhǔn)確性[4]。但是該方法對(duì)目標(biāo)初始化的依賴性較強(qiáng)，而初始化不準(zhǔn)確可能會(huì)導(dǎo)致目標(biāo)跟蹤失敗。張方方等將多特征自適應(yīng)融合方法應(yīng)用于目標(biāo)識(shí)別中，采用快速特征匹配和更新機(jī)制識(shí)別目標(biāo)[5]。但是該方法需要提取和融合多種特征，并實(shí)時(shí)匹配與更新特征，計(jì)算復(fù)雜度較高，對(duì)目標(biāo)檢測(cè)實(shí)時(shí)性存在影響。F. Saffre等將遺傳算法應(yīng)用于視頻監(jiān)控的自適應(yīng)調(diào)節(jié)中，該方法能夠根據(jù)環(huán)境變化自適應(yīng)調(diào)整參數(shù)或策略，確保監(jiān)控效果最佳化[6]。但是遺傳算法的性能高度依賴參數(shù)設(shè)置，如交叉率、變異率等，影響監(jiān)控調(diào)節(jié)效果。M. U. Sreeja等提出利用聚合深度卷積遞歸模型進(jìn)行監(jiān)控視頻的目標(biāo)檢測(cè)，該方法利用深度卷積網(wǎng)絡(luò)提取視頻特征，結(jié)合遞歸模型處理時(shí)序信息[7]。該方法處理大量視頻數(shù)據(jù)時(shí)更為高效，但是需要預(yù)設(shè)事件類別，對(duì)未知事件的檢測(cè)能力有限。

單模態(tài)自監(jiān)督是一種通過(guò)無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行自監(jiān)督學(xué)習(xí)的技術(shù)，用于處理單個(gè)模態(tài)的電子監(jiān)控?cái)?shù)據(jù)。利用該技術(shù)可以從無(wú)標(biāo)簽數(shù)據(jù)中學(xué)習(xí)有用的特征表示，實(shí)現(xiàn)目標(biāo)信息的有效挖掘，提高部分遮擋目標(biāo)的挖掘效果。基于此，本文提出一種電子監(jiān)控部分遮擋目標(biāo)單模態(tài)自監(jiān)督信息挖掘技術(shù)，利用單模態(tài)自監(jiān)督學(xué)習(xí)技術(shù)，從電子監(jiān)控視頻中挖掘有用信息，實(shí)現(xiàn)部分遮擋目標(biāo)的精準(zhǔn)挖掘。

1" 電子監(jiān)控部分遮擋目標(biāo)信息挖掘

1.1" 目標(biāo)遮擋部分判斷

監(jiān)控視頻中的目標(biāo)可能被其他物體或障礙物遮擋，導(dǎo)致部分目標(biāo)無(wú)法完整展示或識(shí)別，這會(huì)給目標(biāo)識(shí)別和跟蹤帶來(lái)困難，降低監(jiān)控系統(tǒng)的準(zhǔn)確率。通過(guò)目標(biāo)遮擋部分判斷，可以得到目標(biāo)的狀態(tài)信息，包括是否完整或者被遮擋的程度，這些信息可以用于目標(biāo)動(dòng)態(tài)的監(jiān)測(cè)與預(yù)測(cè)，提供更全面和準(zhǔn)確的目標(biāo)行為分析和檢測(cè)。因此，本文利用遮擋檢測(cè)方法，判斷電子監(jiān)控視頻可見(jiàn)光單模態(tài)圖像中是否存在部分遮擋目標(biāo)。

本文方法用[fx]表示電子監(jiān)控視頻可見(jiàn)光單模態(tài)圖像的檢測(cè)框區(qū)域內(nèi)目標(biāo)的概率分布；[posx]與[fmaxx]分別表示候選區(qū)域坐標(biāo)以及概率分布最大值，概率分布最大值目標(biāo)的位置用[posmaxx]表示；用[h]與[w]分別表示電子監(jiān)控視頻圖像樣本[x]的高與寬；[α]與[β]分別表示遮擋判斷閾值以及目標(biāo)面積因子。

在電子監(jiān)控視頻圖像樣本最大值位置[posmaxx]的鄰域中，搜尋符合[αfmaxx]條件的像素點(diǎn)，求取該像素點(diǎn)對(duì)應(yīng)的位置[posallx]。計(jì)算[posmaxx]與全部[posallx]之間歐氏距離的表達(dá)式如下：

[dis=posallx-posmaxx] （1）

利用變量[G]判斷電子監(jiān)控視頻中是否存在部分遮擋目標(biāo)，表達(dá)式如下：

通過(guò)公式（2）可知，當(dāng)[G=0]時(shí)，表示目標(biāo)受到部分遮擋；當(dāng)[G=1]時(shí)，表示目標(biāo)未受到遮擋。

通過(guò)電子目標(biāo)遮擋部分判斷有助于解決監(jiān)控系統(tǒng)中目標(biāo)遮擋問(wèn)題，提高目標(biāo)識(shí)別和跟蹤的準(zhǔn)確性，并為目標(biāo)的狀態(tài)監(jiān)測(cè)與預(yù)測(cè)提供更詳細(xì)的信息。

1.2" 部分遮擋目標(biāo)特征聚類

目標(biāo)在被部分遮擋時(shí)，目標(biāo)區(qū)域的特征相對(duì)較少或難以提取，這是因?yàn)椴糠终趽蹩赡軐?dǎo)致目標(biāo)特征的缺失、模糊或受干擾，使得對(duì)目標(biāo)的精確識(shí)別和特征描述變得更加困難。因此，在判定電子監(jiān)控視頻目標(biāo)存在部分遮擋時(shí)，利用減法聚類方法，更好地聚焦于部分遮擋目標(biāo)區(qū)域，從而提供更詳細(xì)的目標(biāo)特征分析。

設(shè)電子監(jiān)控視頻可見(jiàn)光單模態(tài)圖像[wjt]與[wit-1]分別表示監(jiān)控圖像的樣本權(quán)值以及聚類權(quán)值，將電子監(jiān)控部分遮擋目標(biāo)圖像的像素點(diǎn)設(shè)置為[N]，則單模態(tài)圖像的聚類中心表達(dá)式如下：

[C=Nμwjtwit-1]" " " " " "（3）

式中：[μ]表示部分遮擋目標(biāo)特征點(diǎn)屬于聚類中心的模糊隸屬度。

設(shè)部分遮擋目標(biāo)特征數(shù)據(jù)集為[X=x1，x2，…，xn]，利用單模態(tài)圖像的聚類中心[C]獲取特征密度指標(biāo)[Di]，表達(dá)式如下：

式中[ra]表示[X]的鄰域半徑。

考慮電子監(jiān)控視頻背景的復(fù)雜性[8]，對(duì)部分遮擋目標(biāo)特征密度指標(biāo)進(jìn)行修正，公式如下：

式中：[rb]表示顯著減少密度指標(biāo)函數(shù)的鄰域半徑；[DC]表示聚類中心的密度指標(biāo)。

在上述公式計(jì)算的基礎(chǔ)上，設(shè)[ε]為部分遮擋目標(biāo)的特征聚類閾值，[Dk-Di≥ε]時(shí)，表示遮擋目標(biāo)特征聚類效果較為一般；當(dāng)[Dk-Dilt;ε]時(shí)，表示電子監(jiān)控部分遮擋目標(biāo)特征的聚類效果較優(yōu)。這有助于進(jìn)行特定目標(biāo)的識(shí)別、跟蹤或描述，并提供更準(zhǔn)確和詳細(xì)的目標(biāo)特征信息。

1.3" 目標(biāo)的單模態(tài)自監(jiān)督信息挖掘

在部分遮擋情況下，目標(biāo)與遮擋部分之間可能存在邊界模糊的情況，特征聚類方法可能無(wú)法完全提取出遮擋目標(biāo)的特征，從而限制了對(duì)部分遮擋目標(biāo)的準(zhǔn)確描述和分析。

因此，本文基于電子監(jiān)控部分遮擋目標(biāo)特征挖掘聚類[9]，對(duì)電子監(jiān)控視頻單模態(tài)可見(jiàn)光圖像進(jìn)行遮擋目標(biāo)的單模態(tài)自監(jiān)督信息挖掘。用[yi]表示遮擋目標(biāo)信息挖掘的自監(jiān)督信號(hào)，利用自監(jiān)督信號(hào)學(xué)習(xí)所挖掘的電子監(jiān)控部分遮擋目標(biāo)特征[fi]，用[pi]表示目標(biāo)挖掘概率。將應(yīng)用于電子監(jiān)控部分遮擋目標(biāo)的單模態(tài)自監(jiān)督信息挖掘的自監(jiān)督特征學(xué)習(xí)判別損失函數(shù)表達(dá)式設(shè)置為[L=L1+L2]。其中，[L1]表示交叉熵?fù)p失函數(shù)，[L2]表示軟間隔三元組損失函數(shù)。

在單模態(tài)自監(jiān)督信息挖掘中[10]，交叉熵?fù)p失函數(shù)可以用來(lái)約束網(wǎng)絡(luò)輸出與目標(biāo)之間的匹配程度，使得學(xué)習(xí)到的特征在分類任務(wù)上具有良好的區(qū)分能力。交叉熵?fù)p失函數(shù)[L1]的表達(dá)式如下：

在單模態(tài)自監(jiān)督信息挖掘中，軟間隔三元組損失函數(shù)可以用于約束網(wǎng)絡(luò)將同一目標(biāo)的不同視角或時(shí)間段的特征樣本更近地靠攏，同時(shí)將與之不同的目標(biāo)的特征樣本推遠(yuǎn)，這有助于提高學(xué)習(xí)到的特征的區(qū)分性，使得目標(biāo)之間的差異更加明顯。軟間隔三元組損失函數(shù)[L2]的表達(dá)式如下：

[L2=1+expdisha，hp-disha，hn]" " "（7）

式中：[ha]、[hp]與[hn]表示電子監(jiān)控部分遮擋目標(biāo)特征三元組集合內(nèi)的錨點(diǎn)、正樣本、負(fù)樣本[11]；[dis]表示電子監(jiān)控部分遮擋目標(biāo)特征點(diǎn)之間的歐氏距離。

本文利用函數(shù)[1+exp?]將特征集內(nèi)正樣本與負(fù)樣本對(duì)之間的間隔進(jìn)行軟化處理。通過(guò)綜合使用交叉熵?fù)p失函數(shù)和軟間隔三元組損失函數(shù)，可以綜合考慮分類能力和特征之間的相似性關(guān)系，從而得到更具判別力和魯棒性的目標(biāo)特征表示。

在此基礎(chǔ)上，設(shè)置[L]為電子監(jiān)控部分遮擋目標(biāo)單模態(tài)自監(jiān)督信息挖掘的目標(biāo)函數(shù)。首先選取樣本挖掘方法作為電子監(jiān)控部分遮擋目標(biāo)特征三元組的采樣策略，在每個(gè)批次的電子監(jiān)控樣本中，搜尋最小距離的負(fù)樣本對(duì)以及最大距離的正樣本對(duì)[12?13]；然后使用采樣得到的樣本對(duì)作為訓(xùn)練數(shù)據(jù)，根據(jù)設(shè)定的損失函數(shù)[L1]和[L2]，在每個(gè)批次中計(jì)算損失，并通過(guò)反向傳播優(yōu)化參數(shù)；最后輸入電子監(jiān)控圖像樣本，通過(guò)前向傳播輸出得到電子監(jiān)控部分遮擋目標(biāo)單模態(tài)自監(jiān)督信息挖掘結(jié)果。

2" 實(shí)驗(yàn)分析

2.1" 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證所提出的技術(shù)挖掘電子監(jiān)控部分遮擋目標(biāo)的有效性，將其應(yīng)用于某市某小區(qū)的車輛安全管理平臺(tái)中。選取該車輛安全管理平臺(tái)采集的某停車場(chǎng)的車輛監(jiān)控信息作為研究對(duì)象，該車輛安全管理平臺(tái)選取華睿微品牌的4G6068電動(dòng)調(diào)焦攝像頭作為電子監(jiān)控抓拍設(shè)備。電子監(jiān)控設(shè)備的具體信息如表1所示。

采集的目標(biāo)存在部分遮擋的原始監(jiān)控圖像如圖1所示。

如圖1所示的監(jiān)控圖像分辨率為1 920×1 080，幀率為30 f/s。監(jiān)控視頻圖像中存在明顯的部分車輛目標(biāo)被樹(shù)木遮擋的情況，車輛目標(biāo)被樹(shù)木遮擋時(shí)，在車輛安全管理平臺(tái)的目標(biāo)檢測(cè)以及目標(biāo)跟蹤等應(yīng)用中，容易出現(xiàn)漏檢情況。

本文利用單模態(tài)自監(jiān)督信息挖掘技術(shù)挖掘電子監(jiān)控部分遮擋目標(biāo)，挖掘過(guò)程中的相關(guān)參數(shù)設(shè)置如表2所示。

根據(jù)上述設(shè)置得到的部分遮擋目標(biāo)信息挖掘結(jié)果如圖2所示。

由圖2實(shí)驗(yàn)結(jié)果可以看出，本文利用單模態(tài)自監(jiān)督信息挖掘技術(shù)，可以有效挖掘電子監(jiān)控部分遮擋目標(biāo)。單模態(tài)自監(jiān)督信息挖掘技術(shù)通過(guò)自監(jiān)督方式，學(xué)習(xí)單模態(tài)電子監(jiān)控視頻圖像的內(nèi)在表示，對(duì)于數(shù)據(jù)不平衡、特征選擇困難等情況，仍然具有較高的信息挖掘有效性。由此說(shuō)明，本文技術(shù)在電子監(jiān)控部分遮擋目標(biāo)挖掘任務(wù)中，可以取得良好的效果。

2.2" 結(jié)果與分析

采用本文技術(shù)判斷圖1的電子監(jiān)控視頻圖像中是否存在被遮擋的目標(biāo)，目標(biāo)遮擋判斷的響應(yīng)信號(hào)圖如圖3所示。

由圖3可以看出，采用本文技術(shù)判斷電子監(jiān)控視頻圖像中是否存在目標(biāo)被遮擋情況時(shí)，依據(jù)監(jiān)控視頻的響應(yīng)信號(hào)圖，具有較高的遮擋判斷有效性。對(duì)比分析圖2與圖3的實(shí)驗(yàn)結(jié)果，圖3的遮擋判斷響應(yīng)信號(hào)圖中，高響應(yīng)像素位置即遮擋判定位置，與圖2中的目標(biāo)被遮擋位置相符。圖3實(shí)驗(yàn)結(jié)果有效驗(yàn)證了本文技術(shù)判斷電子監(jiān)控遮擋目標(biāo)的有效性。

mAP（Mean Average Precision）是衡量數(shù)據(jù)挖掘技術(shù)的重要評(píng)價(jià)指標(biāo)，其更能夠反映挖掘技術(shù)的整體挖掘性能，更加綜合客觀。采用本文技術(shù)進(jìn)行單模態(tài)自監(jiān)督信息挖掘，不同電子監(jiān)控視頻圖像變換方式時(shí)的mAP值統(tǒng)計(jì)結(jié)果如圖4所示。

由圖4可知，采用本文技術(shù)對(duì)電子監(jiān)控部分遮擋目標(biāo)進(jìn)行單模態(tài)自監(jiān)督信息挖掘，不同電子監(jiān)控圖像變換方式時(shí)的mAP值均高于0.9。

圖4實(shí)驗(yàn)結(jié)果證明，本文技術(shù)適用于不同類型的復(fù)雜場(chǎng)景下電子監(jiān)控部分遮擋目標(biāo)的有效挖掘，可為提升監(jiān)控目標(biāo)識(shí)別準(zhǔn)確性與跟蹤精度提供可靠依據(jù)，具有較高的可行性。

3" 結(jié)" 論

為了提高電子監(jiān)控視頻中受遮擋目標(biāo)的識(shí)別準(zhǔn)確性，本文基于單模態(tài)自監(jiān)督學(xué)習(xí)進(jìn)行部分遮擋目標(biāo)的信息挖掘。實(shí)驗(yàn)結(jié)果表明，該技術(shù)能夠在目標(biāo)部分遮擋情況下精準(zhǔn)挖掘目標(biāo)，且具有較好的泛化能力，能夠在不同電子監(jiān)控監(jiān)控場(chǎng)景中應(yīng)用。所研究技術(shù)對(duì)于提高電子監(jiān)控視頻的應(yīng)用效果具有重要意義，有望在實(shí)際中得到廣泛應(yīng)用。

參考文獻(xiàn)

[1] 楊靜，張燦龍，李志欣，等.集成空間注意力和姿態(tài)估計(jì)的遮擋行人再辨識(shí)[J].計(jì)算機(jī)研究與發(fā)展，2022，59（7）：1522?1532.

[2] 姚英茂，姜曉燕.基于圖卷積網(wǎng)絡(luò)與自注意力圖池化的視頻行人重識(shí)別方法[J].計(jì)算機(jī)應(yīng)用，2023，43（3）：728?735.

[3] 劉小波，肖肖，王凌，等.基于無(wú)錨框的目標(biāo)檢測(cè)方法及其在復(fù)雜場(chǎng)景下的應(yīng)用進(jìn)展[J].自動(dòng)化學(xué)報(bào)，2023，49（7）：1369?1392.

[4] 張志遠(yuǎn)，楊帆.結(jié)合多注意力機(jī)制的自監(jiān)督目標(biāo)跟蹤[J].計(jì)算機(jī)工程與設(shè)計(jì)，2021，42（12）：3502?3509.

[5] 張方方，曹家暉，王海靜，等.基于多特征自適應(yīng)融合的抗遮擋目標(biāo)跟蹤算法[J].紅外技術(shù)，2023，45（2）：150?160.

[6] SAFFRE F， HILDMANN H. Adaptive behaviour for a self?organising video surveillance system using a genetic algorithm [J]. Algorithms， 2021， 14（3）： 74?77.

[7] SREEJA M U， KOVOOR B C. An aggregated deep convolutional recurrent model for event based surveillance video summarisation： a supervised approach [J]. IET computer vision， 2021， 15（4）： 297?311.

[8] 潘德倫，冀雋，張躍進(jìn).基于運(yùn)動(dòng)矢量空間編碼的視頻監(jiān)控動(dòng)態(tài)目標(biāo)檢測(cè)方法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2021，51（4）：1370?1374.

[9] 張平，關(guān)麗紅.基于概率統(tǒng)計(jì)的多維關(guān)聯(lián)數(shù)據(jù)動(dòng)態(tài)挖掘仿真[J].計(jì)算機(jī)仿真，2022，39（3）：402?406.

[10] 趙霖，趙滟，靳捷.基于局部注意力和位姿迭代優(yōu)化的自監(jiān)督單目深度估計(jì)算法[J].信號(hào)處理，2022，38（5）：1088?1097.

[11] 吳岸聰，林城梽，鄭偉詩(shī).面向跨模態(tài)行人重識(shí)別的單模態(tài)自監(jiān)督信息挖掘[J].中國(guó)圖象圖形學(xué)報(bào)，2022，27（10）：2843?2859.

[12] 陳亮，楊羽翼，張劍，等.基于特征增強(qiáng)與損失優(yōu)化的水下遮擋目標(biāo)檢測(cè)算法[J].探測(cè)與控制學(xué)報(bào)，2023，45（3）：109?115.

[13] 林正文，宋思瑜，范鈞瑋，等.改進(jìn)YOLOv5的光伏組件熱斑及遮擋小目標(biāo)檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2024，60（1）：84?95.