電視視頻圖像幀檢測(cè)與識(shí)別技術(shù)的應(yīng)用實(shí)現(xiàn)

吳文標(biāo) 雷偉榮

【摘要】媒體行業(yè)競(jìng)爭(zhēng)力的加劇對(duì)廣播電視視頻播出質(zhì)量提出了更高要求，而要保證電視正常播出關(guān)鍵是加強(qiáng)圖像幀檢測(cè)與識(shí)別來促其播出質(zhì)量得到保障，便于第一時(shí)間發(fā)現(xiàn)黑場(chǎng)、靜幀等故障并通過系統(tǒng)提示作出準(zhǔn)確判斷。而本文則結(jié)合實(shí)際，對(duì)電視視頻圖像幀檢測(cè)以及識(shí)別技術(shù)的具體應(yīng)用展開簡(jiǎn)要論述，以供參考。

【關(guān)鍵詞】電視視頻圖像幀檢測(cè);識(shí)別技術(shù);應(yīng)用

中圖分類號(hào)：TN94 ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.03..016

隨著公眾生活水平的日漸提升以及自媒體的快速發(fā)展，以手機(jī)、電腦等為主的終端設(shè)備在各領(lǐng)域的應(yīng)用日漸廣泛成為了公眾信息獲取的主要途徑，在這種背景下廣播電視的發(fā)展也面臨了嚴(yán)峻挑戰(zhàn)，只有不斷提高電視視頻質(zhì)量才是競(jìng)爭(zhēng)力提升的根本所在。因數(shù)字電視與高清晰度電視的普及，頻道數(shù)量變多，安全播出已變成各級(jí)電視臺(tái)所面臨的重要任務(wù)之一。但若靠傳統(tǒng)人工檢測(cè)手段來進(jìn)行故障識(shí)別不但會(huì)增加值班人員勞動(dòng)強(qiáng)度，還無法及時(shí)快速將各類播出故障找出。故而要將人為因素所致的疏漏進(jìn)行克服，做好視頻黑場(chǎng)、靜幀等一系列故障的檢測(cè)與報(bào)警等已變成現(xiàn)今確保電視安全播出的關(guān)鍵。因此對(duì)電視視頻圖像幀檢測(cè)與識(shí)別技術(shù)的應(yīng)用展開探索很有必要。

1. 電視視頻圖像幀的檢測(cè)及識(shí)別技術(shù)

1.1 場(chǎng)景圖像的視頻圖像識(shí)別與監(jiān)測(cè)

針對(duì)場(chǎng)景圖像視頻播方故障的發(fā)生國家廣播電視總局通常會(huì)判定為播出事故，但無論哪種故障在出現(xiàn)后都會(huì)為電視臺(tái)的發(fā)展帶來極大影響。但通常情況下，各級(jí)電視臺(tái)都進(jìn)行了視頻圖像檢測(cè)軟件安裝專門用于進(jìn)行電視輸送信號(hào)監(jiān)測(cè)，明確有無存在違規(guī)播放或與視頻信號(hào)輸送要求不相符的情況，通過對(duì)整個(gè)電視視頻圖像畫面展開監(jiān)測(cè)與識(shí)別可發(fā)揮監(jiān)督功效，發(fā)現(xiàn)問題后可及時(shí)處理，從而保障電視輸送信號(hào)的正常性。而電視視頻圖像幀檢測(cè)以及識(shí)別實(shí)質(zhì)即對(duì)場(chǎng)景圖像展開判斷和處理，場(chǎng)景圖像視頻圖像監(jiān)測(cè)判斷方向相對(duì)固定，由于場(chǎng)景圖像特定場(chǎng)景種類較少，種類數(shù)量也呈現(xiàn)出固定集中形態(tài)，處理技術(shù)簡(jiǎn)單便利，所以故障檢測(cè)以及識(shí)別相對(duì)容易。

在場(chǎng)景圖像電視視頻圖像判定方面，若處于全幅、全屏電視視頻畫面均呈現(xiàn)出彩條或彩場(chǎng)，因該類電視視頻圖像相對(duì)特殊，波形顯示偏向于特定，故而基于視頻圖像波形圖展開判斷相對(duì)容易（具體見下圖1a、圖1b、圖1c所示）。此處僅對(duì)相對(duì)標(biāo)準(zhǔn)的全幅整屏彩條或彩場(chǎng)畫面圖像展開分析：

①站在電視視頻圖像層視角來看，彩色畫面圖像像素點(diǎn)像素值則屬于漸進(jìn)式疊加或遞減;

②站在彩條圖像視角來看，固定寬度的豎排像素塊區(qū)域像素值相同。

針對(duì)電視視頻圖像畫面靜幀現(xiàn)象而言，從圖像層展開判定，前后兩幀視頻圖像存在相同或類似像素點(diǎn)、像素值或圖像矩陣特征，數(shù)字圖像處理時(shí)主要通過幀差法來檢測(cè)運(yùn)動(dòng)物體，若視頻前后兩幀相鄰圖像差值比某一閥值高，即表明該視頻存在運(yùn)動(dòng)物體，并非靜幀畫面;相反的在幀差法的使用下如果前后幀相鄰圖像差值比某一閥值低，表明該視頻場(chǎng)景屬于靜幀畫面。

1.2 黑場(chǎng)故障圖像檢測(cè)與識(shí)別

黑場(chǎng)評(píng)估主要是分析視頻信號(hào)灰度圖像。對(duì)黑場(chǎng)故障圖像而言無論畫面凸顯出何種純色，通過灰度圖像分析均可成功檢測(cè)，同時(shí)灰度圖像一個(gè)像素的描述僅一個(gè)字節(jié)則能表達(dá)，不過真彩色畫面還需三個(gè)字節(jié)，故而僅進(jìn)行灰度圖像分析不但可使檢測(cè)占用的資源得到節(jié)省，還可使檢測(cè)速度大大提升。

純色畫面為黑場(chǎng)的典型特征，黑場(chǎng)檢測(cè)常用手段即逐像素點(diǎn)檢測(cè)，若像素值均一樣則表明已發(fā)生黑場(chǎng)故障，不過具體實(shí)踐時(shí)部分畸點(diǎn)的像素值存在差異，需根據(jù)情況判定為黑場(chǎng)圖像。基于圖像平滑視角分析最好選擇濾波法，不過站在算法效率與復(fù)雜性視角分析選擇濾波法不適宜，主要是把視頻圖像細(xì)分作若干小區(qū)域，將每個(gè)小區(qū)域內(nèi)點(diǎn)灰度值的和作特征值，把第一個(gè)小區(qū)域的特征值作標(biāo)準(zhǔn)模塊，分別和后續(xù)特征值展開匹配，若匹配不上代表不屬于黑場(chǎng)故障。用于進(jìn)行黑場(chǎng)檢測(cè)的算法流程具體見圖2：

該多畫面顯示報(bào)警系統(tǒng)里進(jìn)行闊值設(shè)置，若黑場(chǎng)圖像持續(xù)時(shí)間比設(shè)定闊值長(zhǎng)會(huì)觸發(fā)程序給出警報(bào)提示;若存在黑場(chǎng)持續(xù)時(shí)間并沒有達(dá)到闊值，可根據(jù)情況排除此時(shí)出現(xiàn)了黑場(chǎng)故障，原因即正常播出同樣可能會(huì)發(fā)生純色過渡畫面，需結(jié)合具體需求與經(jīng)驗(yàn)值進(jìn)行闊值選擇。

1.3 靜幀故障檢測(cè)與識(shí)別

同樣的畫面持續(xù)長(zhǎng)時(shí)間不變屬于靜幀故障的典型特征，故而靜幀故障則可通過比對(duì)相鄰兩幀圖像的方式進(jìn)行評(píng)估，靜幀時(shí)圖像內(nèi)容為信息豐富的正常畫面，若要將畫面內(nèi)容給予反映應(yīng)展開深入細(xì)致的評(píng)估，對(duì)黑場(chǎng)故障判斷的經(jīng)驗(yàn)進(jìn)行參考得知靜幀故障同樣可以灰度圖像的形式展開分析。

首先需把圖像細(xì)分作大量小區(qū)域，再依次取兩個(gè)特征展開判斷，其一為相鄰兩幀圖像相對(duì)的分割區(qū)域每個(gè)點(diǎn)的灰度差之和，該特征值將分割區(qū)域總體變化情況給予展現(xiàn);其二即每個(gè)點(diǎn)的灰度差絕對(duì)值之和，該特征值能夠?qū)蝹€(gè)點(diǎn)的變化給予反映，若第一個(gè)特征值不匹配，即表明相鄰兩幀圖像變化明顯，代表不屬于靜幀故障;否則可對(duì)第二個(gè)特征值展開判斷，若仍存在不匹配的情況，表明相鄰兩幀在分割區(qū)域大部分點(diǎn)上存在的改變明顯，同樣認(rèn)為不屬于靜幀故障，而判斷是否匹配則可通過闊值設(shè)定給予評(píng)估，若超過闊值表明不匹配，低于闊值表明匹配。

即便是電視正常播放也時(shí)常出現(xiàn)圖像緩慢改變的情況，該時(shí)段可能存在以上兩種特征值都符合即便不可主觀的將其評(píng)估為匹配，要使該現(xiàn)象得到解決，需重新作一次匹配判定。靜幀檢測(cè)算法具體流程見圖3所示。

2. 實(shí)現(xiàn)方法

2.1 運(yùn)行環(huán)境

因OPENCV（全稱Open Source Computer VisionLibrary）屬于由C語言實(shí)施的C函數(shù)與少量C++類組建的針對(duì)（開源、免費(fèi)）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，能夠在Windows、Linux與Mac OS操作系統(tǒng)得到運(yùn)行使用，它屬于功能強(qiáng)大且齊全的開源函數(shù)庫，并且具備MATLAB等多語言接口，能夠使圖像處理與計(jì)算機(jī)視覺等一系列通用算法得以實(shí)現(xiàn)，可為用戶供給更強(qiáng)大的機(jī)器視覺函數(shù)接口，大大提高運(yùn)行處理速度，增強(qiáng)電視視頻圖像幀檢測(cè)與識(shí)別便利性。以下則對(duì)基于WindowsXP/7系統(tǒng)的VC6.0+OPENCVI.O或VC++2010+OPENCV2.X環(huán)境展開運(yùn)行測(cè)試。

2.2 軟件設(shè)計(jì)以及軟件處理視覺效果

在Windows系統(tǒng)的使用下V C6.0中MFC供給了良好的界面設(shè)計(jì)與窗體設(shè)計(jì)，通過C++語言以及OPENCV函數(shù)的全面結(jié)合讓運(yùn)行編譯更加便利。MFC調(diào)試窗口進(jìn)行了界面化按鈕設(shè)計(jì)與C/C++語言代碼書寫設(shè)計(jì)環(huán)境創(chuàng)設(shè)，并且VC6.0+OPENCV均給予了接口配置設(shè)置，二者的有效結(jié)合保證了檢錯(cuò)糾錯(cuò)代碼檢查提示功能的實(shí)現(xiàn)。以下是基于VC6.0+OPENCV設(shè)計(jì)的針對(duì)電視播出視頻圖像畫面的檢測(cè)與識(shí)別的MFC調(diào)試窗口的視頻圖像處理軟件。

實(shí)時(shí)視頻流處理時(shí)需對(duì)軟件處理速度以及功能優(yōu)化展開全方位考量，保證處理速度在40ms以內(nèi)，即一幀播放時(shí)間視頻。通常電視視頻播放速度為25幀/秒，若超過40ms，當(dāng)前幀未處理規(guī)矩下一幀視頻圖像接踵而至，會(huì)出現(xiàn)運(yùn)算處理不到位的情況。不過在非實(shí)時(shí)視頻圖像處理方面在無相關(guān)要求，僅需對(duì)視頻每幀畫面給予全面處理即可。

測(cè)試視頻里臺(tái)標(biāo)模板大小固定并和所給的模板臺(tái)標(biāo)比較匹配，僅需選擇OPENCV工具庫中cvMatchTemplate函數(shù)算法即可，主要通過指定模板圖片和整幅視頻圖像比較，以模板圖片圖像平移滑動(dòng)遍歷整個(gè)待匹配圖像，與圖像重疊區(qū)域?qū)Ρ茸龀隽思t色標(biāo)記表明匹配成功，若未用紅色標(biāo)記表明未匹配成功。不過cvMatchTemplate函數(shù)算法僅對(duì)大小相對(duì)固定的臺(tái)標(biāo)與角標(biāo)才適宜，若存在大小比例縮小或放大的現(xiàn)象則不能成功進(jìn)行檢測(cè)與識(shí)別，而選擇函數(shù)算法cvMatchShapes更適宜，若把模板圖片圖像與待匹配的視頻圖像特征值展開比較則能夠明確最終匹配狀況。典型的即圖4里彩條圖片模板以及視頻播放里彩條圖像的比對(duì)匹配，圖像匹配區(qū)以紅色方框標(biāo)出，該函數(shù)算法的優(yōu)勢(shì)即能將視頻圖像里和模板圖片類似的形成在視頻圖像畫面里某個(gè)區(qū)域的匹配圖像塊給予檢索，但因圖像特征值比對(duì)存在誤報(bào)現(xiàn)象，故而必要情況下應(yīng)與其他函數(shù)算法聯(lián)合起來進(jìn)行視頻圖像識(shí)別，提高判斷準(zhǔn)確率。

3. 結(jié)語

現(xiàn)今常用的圖像處理技術(shù)主要為圖像匹配，但因技術(shù)的發(fā)展可用于圖像匹配的算法也不斷增加，此文里僅對(duì)兩個(gè)常用函數(shù)算法展開簡(jiǎn)要論述，但即便圖像識(shí)別技術(shù)日趨多元化，通過功能算法仍可將各類視頻故障進(jìn)行智能化識(shí)別，不過功能算法并非萬能的，在圖像故障排除中偶爾也可能會(huì)存在錯(cuò)誤，具體操作時(shí)應(yīng)根據(jù)情況實(shí)施相應(yīng)的調(diào)試，讓圖像鑒別功能更完整強(qiáng)大，為廣播電視臺(tái)相關(guān)工作人員工作的開展提供參考依據(jù)。

參考文獻(xiàn)：

[1]梁舒婷.電視視頻圖像幀的監(jiān)測(cè)與識(shí)別技術(shù)研究[J].科技傳播，2018（24）：75-76.

[2]韋偉軍，鐘堅(jiān).基于移動(dòng)偵測(cè)的廣播電視視頻靜幀報(bào)警系統(tǒng)[J].視聽，2018（04）：55-56.

[3]劉長(zhǎng)濤.電視視頻圖像幀的檢測(cè)與識(shí)別技術(shù)的實(shí)現(xiàn)研究[J].現(xiàn)代電視技術(shù)，2017（01）：100-103.

[4]孔祥魁.灰色關(guān)聯(lián)分析和支持向量機(jī)的運(yùn)動(dòng)視頻圖像分類研究[J].現(xiàn)代電子技術(shù)，2020（18）：128-131.

[5]梁舒婷.電視視頻圖像幀的監(jiān)測(cè)與識(shí)別技術(shù)研究[J].科技傳播，2018（24）：75-76.

[6]花逢春.電視視頻圖像幀的檢測(cè)與識(shí)別研究[J].科技創(chuàng)新與應(yīng)用，2017（18）：83.