基于神經(jīng)網(wǎng)絡(luò)技術(shù)的違規(guī)視頻自動(dòng)識(shí)別關(guān)鍵技術(shù)

摘 要 以嚴(yán)重危害公共安全的暴恐視頻作為研究對(duì)象，針對(duì)音視頻檢測(cè)技術(shù)特點(diǎn)和難點(diǎn)，重點(diǎn)研究對(duì)視頻識(shí)別影響最大的視頻預(yù)處理環(huán)節(jié)，提出基于神經(jīng)網(wǎng)絡(luò)技術(shù)的視頻特征分類方法。

關(guān)鍵詞 違規(guī)視頻；預(yù)處理；神經(jīng)網(wǎng)絡(luò)；機(jī)器學(xué)習(xí)

中圖分類號(hào) G2 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 2096-0360（2018）05-0037-02

隨著網(wǎng)絡(luò)視聽產(chǎn)業(yè)的快速發(fā)展，人們可以利用互聯(lián)網(wǎng)通過多種渠道觀看網(wǎng)絡(luò)視聽節(jié)目。大量的視聽節(jié)目滿足著不同人不同的文化需求。但互聯(lián)網(wǎng)上的視聽節(jié)目良莠不齊，很多暴恐節(jié)目威脅社會(huì)穩(wěn)定，危害未成年人成長(zhǎng)和身心健康。及時(shí)發(fā)現(xiàn)并處置暴恐視聽節(jié)目是網(wǎng)絡(luò)視聽監(jiān)管的重要工作。然而，面對(duì)海量的視聽節(jié)目，單靠肉眼監(jiān)看、人工審核顯得杯水車薪，監(jiān)管效果也不理想。因此，研究利用人工智能技術(shù)自動(dòng)識(shí)別記錄暴恐視頻節(jié)目，解決人工監(jiān)看識(shí)別效率不高的現(xiàn)狀成為一項(xiàng)亟待解決的重要課題。

1 暴恐視頻檢測(cè)特點(diǎn)

目前，同視頻識(shí)別的其他方面例如淫穢色情節(jié)目識(shí)別、人臉識(shí)別相比，暴恐視頻識(shí)別研究相對(duì)較少。一般來講，主要通過圖像識(shí)別和音頻識(shí)別兩個(gè)方面來完成。

1）基于音頻的檢測(cè)方法。聲音被數(shù)字化后的音頻對(duì)判定視頻內(nèi)容有著重要參考。聲音可以看作N個(gè)正弦波頻譜的疊加。和視頻相比，音頻頻譜相對(duì)簡(jiǎn)單。音頻提取、計(jì)算和存儲(chǔ)相對(duì)容易。此外，音頻的生理特征也可以為識(shí)別提供幫助。一些暴恐視頻伴隨著特定的聲響。例如驚呼、狂叫、呼喊、哀嚎、爆炸和打斗聲等。還有一些暴恐視頻播放帶有明顯特征的背景音樂和旁白解說。這些聲音同正常視聽節(jié)目聲音存在明顯差異。我們可以通過比較特征音頻對(duì)待檢視頻做出初步判斷。比如利用隱含馬爾可夫模型理論（HMM）等統(tǒng)計(jì)學(xué)方法分類識(shí)別，通過Markov鏈以及每一狀態(tài)的記錄，生成概率密度函數(shù)。實(shí)現(xiàn)對(duì)視頻節(jié)目中槍聲、炮聲、爆炸聲的檢測(cè)分類。近些年，也有通過貝葉斯網(wǎng)絡(luò)分類識(shí)別的方案，盡管方法簡(jiǎn)單高效，但由于對(duì)音頻質(zhì)量要求相對(duì)較高，抗擾能力差等特點(diǎn)并不被普遍使用[1]。

2）基于視頻的檢測(cè)方法。基于視頻的檢測(cè)方法本質(zhì)上是對(duì)視頻數(shù)據(jù)中魯棒性較強(qiáng)的特征進(jìn)行分類檢測(cè)。包括視頻樣本取樣和自動(dòng)分類兩個(gè)方面。視頻檢測(cè)關(guān)鍵是視頻樣本特征的提取。一般分為基于局部特征區(qū)域和基于全局特征區(qū)域?；诰植刻卣鲄^(qū)域是通過找出視頻中時(shí)空趣味點(diǎn)（STIP），然后比較趣味點(diǎn)特征[2]?；谌痔卣鲄^(qū)域是利用形狀模型提取人物形狀，對(duì)人物動(dòng)作進(jìn)行估計(jì)，從而判斷人物行為的檢測(cè)方法。視頻分類是按照不同視頻特征進(jìn)行邏輯區(qū)分。因此視頻樣本特征選取是關(guān)鍵，直接關(guān)系視頻檢測(cè)的效果。好的樣本選取原則可以將不同類視頻良好隔離；具有相似特征的視頻則呈現(xiàn)緊密分布。

3）綜合應(yīng)用音視頻數(shù)據(jù)檢測(cè)。通用視頻檢測(cè)過程可分為視頻樣本特征提取、分類器和算法的選擇。通用模型如圖1。

在實(shí)際應(yīng)用中，綜合應(yīng)用音視頻數(shù)據(jù)檢測(cè)判定可以得到更為理想的效果。通過對(duì)燃燒火焰、沙漠瓦礫、槍支火藥和血液這些特有的畫面信息和哭喊、爆炸、特征音樂等標(biāo)記進(jìn)行綜合檢測(cè)識(shí)別。通過聯(lián)合訓(xùn)練的方法，構(gòu)成組合分類器實(shí)現(xiàn)對(duì)暴恐節(jié)目的精準(zhǔn)識(shí)別。

2 視頻特征提取預(yù)處理

為便于視頻特征提取以及分類器分類，待檢測(cè)視頻首先要經(jīng)過預(yù)處理。預(yù)處理是視頻識(shí)別的重要步驟。主要有關(guān)鍵幀截取、圖像增強(qiáng)、灰度變換與直方圖均衡和降噪處理等方式。一般通過計(jì)算機(jī)和硬件配合完成。

1）關(guān)鍵幀截取。視頻可以看作連續(xù)圖片的組合，當(dāng)圖片的變換速度超過人眼的視覺暫存時(shí)間后。人們看到就是一個(gè)連續(xù)的視頻節(jié)目，而非一張張圖片。關(guān)鍵幀截取可看作逆過程。主要有灰度顏色匹配法和直方圖相似性比較法?；诨叶阮伾０迤ヅ涞姆椒ㄔ砗?jiǎn)單，比較兩幀對(duì)應(yīng)點(diǎn)的灰度顏色數(shù)據(jù)的變化。缺點(diǎn)是當(dāng)畫面內(nèi)容變化速度較快時(shí)，差異值容易超過設(shè)定閾值，從而造成誤檢?；谥狈綀D的比較方法是目前常用的比較方法。該方法是將各幀之間的各個(gè)像素的灰度、亮度分為N個(gè)等級(jí)，再針對(duì)每個(gè)等級(jí)統(tǒng)計(jì)的像素?cái)?shù)做成直方圖，通過比較從而做出判斷。

2）圖像增強(qiáng)。圖像增強(qiáng)是視頻預(yù)處理的重要步驟。由于很多暴恐視頻圖像并不是在攝影棚完成。而圖像識(shí)別要求圖像清晰度必須超過識(shí)別閾值，關(guān)鍵特征才有可能被識(shí)別出來。圖像增強(qiáng)就是要有效提高視頻特征度，從而有利于提取特征參數(shù)，更有利于計(jì)算機(jī)處理識(shí)別?？梢赃@樣理解，圖像增強(qiáng)就是增加圖像清晰度，去除冗余信息，突出有效信息的過程。

3）灰度變換與直方圖均衡?；叶茸儞Q是指將圖像的整體或是局部的灰度范圍從（x，y）到（m，n）的轉(zhuǎn)換。目的是使圖像目標(biāo)細(xì)節(jié)更清晰?；叶茸儞Q提高畫面對(duì)比度而不改變畫面內(nèi)部的像素相對(duì)位置。直方圖表示視頻關(guān)鍵幀畫面素強(qiáng)度分布，它代表不同像素強(qiáng)度點(diǎn)的密度。直方圖均衡化可以理解為對(duì)圖像各像素灰度級(jí)的拓展，提高原值的動(dòng)態(tài)范圍。直方圖均衡化同樣可以增加圖像對(duì)比度，提高圖像清晰度。

4）視頻降噪處理。視頻和圖像在生產(chǎn)、傳遞和處理過程中不免會(huì)受到噪聲干擾。影響視頻和圖像質(zhì)量。這些噪聲降低了視頻的清晰度，表現(xiàn)為模糊、失真。視頻元件的高斯噪聲、圖像切割造成的數(shù)據(jù)損失、視頻高壓縮率壓縮都是產(chǎn)生噪聲的原因。噪聲降低關(guān)鍵幀關(guān)鍵特征的識(shí)別度，加大下一步處理的難度[3]。目前一般采用高斯濾波、均值濾波和雙邊濾波等方法過濾干擾。

3 暴恐視頻神經(jīng)網(wǎng)絡(luò)分類模型

視頻分類是依據(jù)待檢測(cè)視頻特征，判別視頻所屬分類的過程。是視頻識(shí)別的關(guān)鍵環(huán)節(jié)。有效選擇分類模型，并對(duì)模型參數(shù)進(jìn)行準(zhǔn)確設(shè)定則是關(guān)鍵中的關(guān)鍵。BP（BackPropagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)上是完成分類器兩端的映射聯(lián)系。數(shù)學(xué)理論已經(jīng)證明，三層以上神經(jīng)網(wǎng)絡(luò)可以高精度逼近非線性連續(xù)函數(shù)。BP神經(jīng)網(wǎng)具有非線性映射能力。這為利用BP神經(jīng)網(wǎng)絡(luò)解決復(fù)雜的視頻識(shí)別分類問題提供重要前提。BP神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)和容錯(cuò)能力也有利于分類模型的應(yīng)用。在訓(xùn)練基于BP神經(jīng)網(wǎng)絡(luò)分類器時(shí)，分類器可以自動(dòng)學(xué)習(xí)分類的“有效規(guī)則”，并自動(dòng)記憶學(xué)習(xí)結(jié)果，應(yīng)用到下一次的分類行為中去。此外，BP神經(jīng)網(wǎng)絡(luò)的個(gè)別神經(jīng)元受損后，不會(huì)對(duì)整個(gè)分類結(jié)果造成很大影響。在提取待檢測(cè)節(jié)目的音頻、視頻特征量后，我們要對(duì)不同類型數(shù)據(jù)進(jìn)行矢量化。大量音視頻特征矢量通過輸入端進(jìn)入分類器，輸出端則對(duì)應(yīng)視頻的判定分類。在通過大量樣本學(xué)習(xí)后，分類誤差控制在合理范圍以內(nèi)。對(duì)待檢視頻Vn進(jìn)行判斷，得到判斷結(jié)果Dn。如圖2所示。

要想達(dá)到理想的分類效果，必須讓神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行大量學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的分類能力，可以將輸入特征視頻經(jīng)過隱藏層通過非線性變換至新維度。從而簡(jiǎn)化問題，降低分析復(fù)雜性，進(jìn)而將特征視頻矢量逼近目標(biāo)分類。最后完成視頻識(shí)別的關(guān)鍵步驟。

4 結(jié)束語

恐怖主義是世界人民的公敵。隨著網(wǎng)絡(luò)視聽技術(shù)的普及，越來越多的暴恐視頻通過互聯(lián)網(wǎng)傳播，已經(jīng)嚴(yán)重危害了國(guó)家安全和社會(huì)穩(wěn)定。利用自動(dòng)識(shí)別技術(shù)對(duì)暴恐視頻進(jìn)行識(shí)別判定對(duì)于保障互聯(lián)網(wǎng)視頻內(nèi)容安全和凈化網(wǎng)絡(luò)環(huán)境具有重大意義。本文針對(duì)音視頻識(shí)別特點(diǎn)，重點(diǎn)研究了視頻預(yù)處理環(huán)節(jié)，進(jìn)而提出采用BP神經(jīng)網(wǎng)絡(luò)模型對(duì)視頻分類識(shí)別，達(dá)到自動(dòng)識(shí)別暴恐視頻的設(shè)計(jì)目的，并為利用人工智能技術(shù)解決視頻自動(dòng)識(shí)別問題提供了借鑒。

參考文獻(xiàn)

[1]王真.基于多顏色空間信息融合和AdaBoost算法的自適應(yīng)膚色建模研究[D].濟(jì)南：濟(jì)南大學(xué)，2012.

[2]詹劍鋒，明子鑒，王磊，等.海云計(jì)算實(shí)驗(yàn)系統(tǒng)研究[J].網(wǎng)絡(luò)新媒體技術(shù)，2012（6）：3-8.

[3]王洪志.基于靜態(tài)圖像的人臉檢測(cè)與識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2010.

作者簡(jiǎn)介：齊忠文，國(guó)家新聞出版廣電總局哈爾濱監(jiān)測(cè)臺(tái)。