智能識(shí)別視頻圖像質(zhì)量分析系統(tǒng)在平安城市的應(yīng)用

劉哲 李秀云 楊子鵬 董雪

摘要：近年來(lái)，視頻監(jiān)控技術(shù)在智能交通、安防監(jiān)控等各行各業(yè)得到了廣泛的應(yīng)用。隨著視頻監(jiān)控設(shè)備數(shù)量的急劇增加，其自身設(shè)備的故障維護(hù)和管理面臨越來(lái)越大的挑戰(zhàn)。以往采用人工巡檢的方式對(duì)監(jiān)控視頻設(shè)備的故障管理模式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)實(shí)的需求。針對(duì)視頻監(jiān)控設(shè)備檢測(cè)中的視頻質(zhì)量分析問題，本文設(shè)計(jì)并實(shí)現(xiàn)了一種視頻質(zhì)量實(shí)時(shí)檢測(cè)系統(tǒng)，包括圖像預(yù)處理、異常檢測(cè)、結(jié)果輸出、管理等四個(gè)模塊。其中圖像預(yù)處理模塊主要是對(duì)視頻圖像格式、分辨率等進(jìn)行處理；異常檢測(cè)模塊則是視頻常見異常的檢測(cè)算法實(shí)現(xiàn)部分；結(jié)果輸出模塊是對(duì)異常檢測(cè)結(jié)果的可視化顯示；管理模塊則是為用戶便于管理系統(tǒng)而設(shè)計(jì)的?測(cè)試結(jié)果表明該系統(tǒng)基本滿足視頻質(zhì)量實(shí)時(shí)檢測(cè)要求，不僅檢測(cè)異常精度高，而且系統(tǒng)性能穩(wěn)定。

關(guān)鍵詞：視頻質(zhì)量檢測(cè)；圖像質(zhì)量評(píng)價(jià)；清晰度異常；偏色

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.3969/j.issn.l003-6970.2017.08.044

本文著錄格式：劉哲，李秀云，楊子鵬，等.智能識(shí)別視頻圖像質(zhì)量分析系統(tǒng)在平安城市的應(yīng)用[J].軟件，2017，38（8）：220-225

引言

近年來(lái)，視頻監(jiān)控技術(shù)在智能交通、安防監(jiān)控等各行各業(yè)得到了廣泛的應(yīng)用。隨著視頻監(jiān)控設(shè)備數(shù)量的急劇增加，其自身設(shè)備的故障維護(hù)和管理面臨越來(lái)越大的挑戰(zhàn)。以往采用人工巡檢的方式對(duì)監(jiān)控視頻設(shè)備的故障管理模式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)實(shí)的需求。實(shí)現(xiàn)視頻監(jiān)控系統(tǒng)智能化自動(dòng)檢測(cè)具有十分重要的意義。本文重點(diǎn)研究的是視頻質(zhì)量檢測(cè)技術(shù)。即通過(guò)取得視頻流之后要實(shí)時(shí)地檢測(cè)出視頻圖像中是否存在亮度異常、信號(hào)缺失、噪點(diǎn)、雪花噪聲、清晰度異常以及偏色這六種視頻異常，然后將檢測(cè)結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中以便監(jiān)管人員進(jìn)行事后的檢索與查看，然后管理者從檢查結(jié)果中發(fā)現(xiàn)視頻監(jiān)控系統(tǒng)中的異常狀況，從而采取及時(shí)有效的措施對(duì)監(jiān)控系統(tǒng)進(jìn)行修復(fù)。本文的難點(diǎn)在于各種異常檢測(cè)的算法設(shè)計(jì)與實(shí)現(xiàn)，尤其是清晰度異常與偏色這兩個(gè)基本為圖像質(zhì)量奠定基調(diào)的異常的檢測(cè)。

1 系統(tǒng)總體設(shè)計(jì)

本文根據(jù)視頻質(zhì)量檢測(cè)的實(shí)際需求，對(duì)整個(gè)系統(tǒng)的框架進(jìn)行了設(shè)計(jì)，包括圖像預(yù)處理、異常檢測(cè)、結(jié)果輸出、管理等四個(gè)模塊。其中圖像預(yù)處理模塊主要是對(duì)視頻圖像格式、分辨率等進(jìn)行處理；異常檢測(cè)模塊則是視頻常見異常的檢測(cè)算法實(shí)現(xiàn)部分；結(jié)果輸出模塊是對(duì)異常檢測(cè)結(jié)果的可視化顯示；管理模塊則是為用戶便于管理系統(tǒng)而設(shè)計(jì)的。

2.1 系統(tǒng)總體框圖

根據(jù)系統(tǒng)所要完成的功能，本套視頻圖像質(zhì)量分析系統(tǒng)的結(jié)構(gòu)圖如圖1所示：

2.2 系統(tǒng)算法總體框圖

通過(guò)對(duì)系統(tǒng)需求分析，智能識(shí)別視頻圖像質(zhì)量分析系統(tǒng)主要可以分為四個(gè)部分：視頻圖像預(yù)處理、異常檢測(cè)、結(jié)果存儲(chǔ)和管理模塊。其中最為關(guān)鍵的模塊是異常檢測(cè)模塊。

視頻圖像預(yù)處理模塊是對(duì)截取到的視頻幀進(jìn)行格式、大小、存儲(chǔ)處理，以方便異常檢測(cè)模塊進(jìn)行質(zhì)量診斷；異常檢測(cè)模塊是本系統(tǒng)的核心所在，該模塊的功能是對(duì)所屬的監(jiān)控系統(tǒng)內(nèi)各路視頻流輪詢檢測(cè)，它集成了偏色、清晰度異常、噪點(diǎn)等干擾圖像質(zhì)量的因素的檢測(cè)算法；檢測(cè)結(jié)果存儲(chǔ)模塊的作用是將視頻質(zhì)量異常檢測(cè)結(jié)果包括發(fā)生哪種異常、是哪個(gè)位置的異常以及發(fā)生的時(shí)間等保存到數(shù)據(jù)庫(kù)中，以供維護(hù)人員事后查看檢測(cè)記錄；管理模塊主要是檢測(cè)系統(tǒng)進(jìn)行管理，包括用戶登錄、添加用戶和賬號(hào)管理等。

對(duì)異常的檢測(cè)是整個(gè)視頻質(zhì)量檢測(cè)系統(tǒng)的核心，它主要功能是檢測(cè)視頻畫面是否出現(xiàn)異常，并檢測(cè)判斷出是哪種異常以及返回量化后相應(yīng)的異常程度值。本文所開發(fā)的視頻質(zhì)量檢測(cè)系統(tǒng)主要檢測(cè)的異常種類包括：亮度異常、信號(hào)缺失、噪點(diǎn)、雪花噪聲、清晰度和偏色。本文對(duì)異常檢測(cè)，基本都是基于視頻圖像的空域特點(diǎn)，由相互獨(dú)立的數(shù)學(xué)算法完成。下面就是對(duì)系統(tǒng)中所包含的異常進(jìn)行詳細(xì)地介紹與分析，以及針對(duì)各種異常在空域的分布特征，然后采取合適的異常檢測(cè)算法構(gòu)建檢測(cè)函數(shù)，完成視頻圖像異常干擾的自動(dòng)化檢測(cè)。

3 算法模塊研究

3.1 亮度異常

當(dāng)視頻畫面出現(xiàn)亮度異常時(shí)，在視覺效果上表現(xiàn)為畫面全部、局部過(guò)亮或過(guò)暗，細(xì)節(jié)紋理不明晰，對(duì)比度相對(duì)較低。亮度異常破壞了畫面的美感，嚴(yán)重影響視頻的質(zhì)量。當(dāng)前對(duì)圖像亮度異常檢測(cè)算法主要包括灰度直方圖法與亮度均值法。對(duì)于灰度直方圖是根據(jù)亮度正常圖像的灰度級(jí)會(huì)占較多的灰度級(jí)，反之亮度異常的圖像的灰度級(jí)就會(huì)比較集中，從而用此來(lái)檢測(cè)亮度是否異常。而亮度均值法是計(jì)算整幅圖像的亮度平均值，然后與所設(shè)閾值進(jìn)行比較確定進(jìn)而判斷畫面是否亮度異常。故本文在亮度均值法的基礎(chǔ)上來(lái)檢測(cè)視頻的亮度異常。

本文對(duì)亮度異常的處理具體為：首先截取一幀視頻圖像作為待檢測(cè)幀，然后提取該幀圖像的亮度成分與事先設(shè)置好的閾值進(jìn)行比較從而得出亮度是否異常。大多情況下計(jì)算圖片亮度信息一般會(huì)選擇在YUV或者YCrCb空間，因?yàn)樗鼈兤渲械腨分量直接代表著亮度。但與上述的相比HSI模型更符合人類視覺特性，它完全可以反映人感知顏色、亮度的基本屬性。另外與其他顏色空間比較它更好的反映了“飽和度”和“亮度”作為兩個(gè)獨(dú)立參數(shù)的直覺觀念，并且在HSI空間模型中，I分量也可直接用于表征圖像的亮度情況，還有在HSI模型中可以充分、高效的使用多種計(jì)算機(jī)視覺圖像處理算法。所以人們一般使用HSI模型來(lái)模擬人類視覺系統(tǒng)處理圖像，而往往都能獲得更好的主觀效果。所以在本文的亮度異常檢測(cè)中，我選擇了HSI，只需計(jì)算圖像的I通道值即可得到圖片亮度分量值。提取圖片的亮度分量如下：

接著檢測(cè)亮度低于所設(shè)閾值T1的點(diǎn)的比例R1，然后結(jié)合I的值與閾值T3比較，如果滿足R1小于T1，或I小于T3則可判斷圖像亮度過(guò)暗。一樣地檢測(cè)亮度高于所設(shè)閾值T2的點(diǎn)的比例R2，然后結(jié)合I值與閾值T4比較，如果滿足R2大于T2或I大于T4則判定圖像亮度過(guò)亮。算法流程如圖3所示：

3.2 信號(hào)缺失

當(dāng)視頻出現(xiàn)無(wú)信號(hào)異常時(shí)，幀圖像會(huì)呈現(xiàn)出某種顏色的像素點(diǎn)在圖像中占絕大部分或者視頻畫面只有單一的某種顏色比如黑屏或者綠屏，稱為信號(hào)缺失。

如果系統(tǒng)沒有視頻信號(hào)，這對(duì)視頻監(jiān)控造成的不良后果可想而知。因此根據(jù)無(wú)信號(hào)的視頻畫面的黑屏、藍(lán)屏或者某種顏色占據(jù)整個(gè)畫面的絕大部分這一特征，而由實(shí)踐證明畫面比較單一的圖像的灰度值就會(huì)有規(guī)律可循，即同一幀視頻圖像中各個(gè)像素點(diǎn)之間灰度值的差別體現(xiàn)了該幀圖像發(fā)生變化是否劇烈。當(dāng)視頻畫面發(fā)生信號(hào)丟失時(shí)，提取到的視頻幀圖像里各個(gè)像素點(diǎn)之間的灰度值的差異必然很小，那么便可推斷出即它的灰度值均方差的也會(huì)偏小。故本文根據(jù)此特點(diǎn)采取以下算法對(duì)設(shè)備故障引起的信號(hào)缺失進(jìn)行檢測(cè)。

首先，從監(jiān)控視頻中截取一幀圖像，然后對(duì)這幀圖像各像素的灰度值進(jìn)行統(tǒng)計(jì)。算出它的灰度平均值與灰度均方差，如下式：

其中，H，W分別為幀圖像的高與寬，U為各個(gè)像素點(diǎn)灰度值的平均值，是圖像位置像素點(diǎn)的值，S是所有像素點(diǎn)灰度值的均方差。將S與事先設(shè)定好的閾值K（隨機(jī)取HxW幀視頻圖像計(jì)算它們的灰度均方差的均值乘以30%所得）進(jìn)行比較，當(dāng)3小于閾值K時(shí)，則可以認(rèn)為這幀圖像可能出現(xiàn)了信號(hào)缺失的異常。但考慮到監(jiān)控系統(tǒng)可能出現(xiàn)正常的短暫現(xiàn)黑屏現(xiàn)象，如果只做一步檢測(cè)可能導(dǎo)致誤判，為檢測(cè)的準(zhǔn)確度，我們?cè)谝欢〞r(shí)間內(nèi)又截取一幀圖像進(jìn)行檢測(cè)。如果兩次結(jié)果口的值都小于所設(shè)閾值，則基本上可以斷定該視頻確實(shí)發(fā)生了信號(hào)缺失。檢測(cè)算法流程圖如圖4所示。

3.3 噪聲檢測(cè)

視頻圖像噪聲是一種不可預(yù)測(cè)、損壞圖像質(zhì)量的隨機(jī)信號(hào)，它在圖像的采集、處理、傳輸?shù)雀鱾€(gè)環(huán)節(jié)都有可能出現(xiàn)。噪聲的種類繁多從產(chǎn)生的來(lái)源可分成：內(nèi)部與外部噪聲。內(nèi)部噪聲是指系統(tǒng)設(shè)備或者電路自身產(chǎn)生的噪聲，如電源噪聲；而外部噪聲是指導(dǎo)致系統(tǒng)產(chǎn)生噪聲的干擾來(lái)自外界，如電磁干擾。

3.3.1 噪點(diǎn)噪聲

視頻圖像噪點(diǎn)在空域上表現(xiàn)為該點(diǎn)與它鄰域周圍的像素點(diǎn)的灰度值區(qū)分很大，在視覺上的反映是有許多雜亂的斑點(diǎn)或亮或暗隨機(jī)地分布在圖像上，嚴(yán)重影響人的感知視覺。噪點(diǎn)不僅破壞了畫面的美觀，又嚴(yán)重阻礙了人們想從圖片中提取某些重要的信息，所以對(duì)視頻圖像準(zhǔn)確及時(shí)地檢測(cè)是否有噪點(diǎn)的存在意義非凡。本文根據(jù)像素點(diǎn)的鄰域信息來(lái)檢測(cè)監(jiān)控視頻中是否發(fā)生了噪點(diǎn)異常。具體的算法公式如下：

其中為噪點(diǎn)的向量和，而m則表示虛線邊框內(nèi)像素點(diǎn)包圍著的區(qū)域，代表著中心像素點(diǎn)的通道值，為中心像素點(diǎn)以外m區(qū)域內(nèi)的其它的像素點(diǎn)灰度值，由分析可知此時(shí)N取8。如果中心點(diǎn)為非邊緣點(diǎn)且fq（m）的結(jié)果大于我們所設(shè)的閾值，我就能夠判斷區(qū)域m的中心像素點(diǎn)O為噪聲點(diǎn)。而如果中心像素點(diǎn)是邊緣點(diǎn)，則經(jīng)過(guò)試驗(yàn)得知fq（m）計(jì)算出來(lái)的值要遠(yuǎn)小于事先設(shè)定的閾值。

3.3.2 雪花噪聲

目前，一般對(duì)視頻雪花噪聲檢測(cè)都是結(jié)合大量先驗(yàn)背景圖片技術(shù)作依托然后通過(guò)機(jī)器學(xué)習(xí)的方式來(lái)診斷的。然而經(jīng)過(guò)大量研究分析時(shí)，我們發(fā)現(xiàn)雪花噪聲有這些特性：紋理深，并且有規(guī)律可循，“閃爍點(diǎn)”像素灰度值劇烈變化。所以本文從像素灰度值人手，直接用數(shù)學(xué)的模型來(lái)檢測(cè)視頻中出現(xiàn)的雪花噪聲。

而本文檢測(cè)雪花噪聲的基本思想方法是：因?yàn)檎D像像素的灰度值變化一般都平緩，方差較小，而雪花的“閃爍點(diǎn)”像素灰度值劇烈變化，灰度值跳躍性大，計(jì)算方差也偏大，窗口鄰域也正是把圖像細(xì)分，不漏過(guò)可能的異常像素點(diǎn)。所以檢測(cè)雪花的思路是小窗口方差法。算法步驟具體如下：

①將截取到的彩色視頻幀圖像作灰度化處理；

②將灰度圖像的灰度級(jí)進(jìn)行壓縮，量化成16級(jí)，以減少系統(tǒng)的計(jì)算量；

③從視頻圖像左上角開始位置將它分成3x3子塊窗口，接著便計(jì)算該區(qū)域內(nèi)9個(gè)像素點(diǎn)灰度值的方差；

④窗口遍歷大小為MxN的整幅圖像，則得到個(gè)方差值；

⑤對(duì)個(gè)方差取均值T，與閾值Th比較；

⑥若則為“雪花屏”。

雪花噪聲檢測(cè)算法流程圖如圖5所示：

3.4 清晰度異常檢測(cè)算法

清晰度對(duì)于視頻圖像的重要性不言而喻，所以能快速、準(zhǔn)確地檢測(cè)視頻的清晰度是否異常是十分必要的。目前對(duì)圖像清晰度的評(píng)價(jià)方法通常在頻域和空間域進(jìn)行。頻域方法是分析圖像的成分頻率成分進(jìn)而評(píng)價(jià)圖像的清晰度，它的優(yōu)勢(shì)在于得出來(lái)的結(jié)果通常比空域的要準(zhǔn)確。不足之處是需要進(jìn)行各種復(fù)雜的變換，所以它的運(yùn)行效率相對(duì)低下；而空域主要通過(guò)邊緣檢測(cè)算子，根據(jù)圖像灰度、梯度差來(lái)表征圖像的清晰程度。這類方法計(jì)算簡(jiǎn)單，運(yùn)行速度快，但抗干擾性能相對(duì)較差，故往往會(huì)發(fā)生誤檢、漏檢等現(xiàn)象。

所以為彌補(bǔ)現(xiàn)有算法的不足，本文利用平方梯度法區(qū)分度較好的特點(diǎn)，用一種焦點(diǎn)窗口改進(jìn)的平均梯度算法來(lái)檢測(cè)視頻清晰度的異常。這種方法能克服計(jì)算量大的缺點(diǎn)，兼顧了準(zhǔn)確性和實(shí)時(shí)性。具體算法步驟如下：

（1）根據(jù)攝影藝術(shù)和美學(xué)理論中的三分法原則，我們將焦點(diǎn)區(qū)域的劃分為圖6所示，其中點(diǎn)O為圖像中心點(diǎn)，而點(diǎn)A，B，C和D到最近圖像邊界的距離為圖像高或?qū)挼?/3。

（2）計(jì)算大小為HxW圖像f（x，y）5個(gè)區(qū)域O，A，B，C，D的聚焦評(píng)價(jià)值。聚焦評(píng)價(jià)值計(jì)算公式如下：

其電與分別為圖像x及y方向的梯度值

之和，式子取3/2次方的目的是為了增強(qiáng)大梯度值的影響，以提高算法抗噪性。

其中M，N分別為O，A，B，C，D子塊圖像的高和寬。

（3）然后由下面公式得出圖像的整體聚焦評(píng)價(jià)值：

考慮-監(jiān)控圖像中心區(qū)域通常為有用或者是人們所感興趣區(qū)域，因此本文結(jié)合實(shí)驗(yàn)結(jié)果分析把kl取取0.15。

（4）接著計(jì)算該視頻圖像在Lab空間下的色差

值，如下式：

（5）最后便是結(jié)合聚焦評(píng)價(jià)值F與色差值SC作為清晰度評(píng)價(jià)函數(shù)，然后與閾值Thl、進(jìn)行比較，從而得出清晰與否的診斷。

清晰度異常檢測(cè)算法流程圖如圖7所示：

3.5 偏色檢測(cè)算法

成像儀器卻不具備顏色恒常性，它會(huì)受環(huán)境光照和成像設(shè)備的感光元器件感光系數(shù)的物理特性以及物體本身的反射特性等多種因素的影響，所以成像儀器拍攝到的圖像的色彩與物體表面真實(shí)色彩就會(huì)發(fā)生一定程度的偏差，這種顏色上的差異就叫偏色。要想正確檢測(cè)視頻圖像的偏色程度，首要的就是選擇合適的顏色處理空間。

一般情況下顯示器顯示的圖片是RGB顏色空間的，但RGB色彩空間具有不均勻性，所以偏色檢測(cè)中，我們選擇了1976年CIE規(guī)定的用于非自照明的顏色空間——CIELab。但由RGB色彩空間轉(zhuǎn)換到CIELab空間需要引入一個(gè)過(guò)渡的顏色空間XYZ，可以分為以下兩步：

① 將圖像從RBG色彩空間按公式轉(zhuǎn)換到過(guò)渡的色彩空間XYZ。

② M后從XYZ顏色空間按下式轉(zhuǎn)換到Lab顏色空間。

其中，f（x）為校正函數(shù)，其表達(dá)式為：

在比較了眾多偏色檢測(cè)算法后，結(jié)合本檢測(cè)系統(tǒng)的時(shí)實(shí)際情況，本文提出了一種新的偏色檢測(cè)算法一基于協(xié)方差相關(guān)函數(shù)的偏色檢測(cè)算法，利用相鄰兩幀圖像的顏色差異和相關(guān)性差異來(lái)檢測(cè)偏色干擾。具體算法步驟如下：

① 獲取檢測(cè)視頻的相鄰兩幀圖像；

② 從RGB空間轉(zhuǎn)換到Lab空間；

③ 計(jì)算對(duì)應(yīng)子塊色差方差的均值及協(xié)相關(guān)系數(shù)絕對(duì)值的均值；

④ 將兩者結(jié)果的比值進(jìn)行處理與所設(shè)閾值進(jìn)行比較從而判定是否偏色。

本模塊使用的子程序有：

4 結(jié)論

該系統(tǒng)能夠?qū)ΡO(jiān)控系統(tǒng)中視頻圖像出現(xiàn)的信號(hào)缺失、噪點(diǎn)、雪花、清晰度異常、亮度異常、偏色等常見畫面異常進(jìn)行準(zhǔn)確分析和判斷，重點(diǎn)介紹了信號(hào)缺失、噪點(diǎn)、雪花、清晰度異常、亮度異常、偏色這些常見異常的檢測(cè)算法，實(shí)現(xiàn)了視頻質(zhì)量實(shí)時(shí)檢測(cè)，是解決視頻圖像質(zhì)量分析的一種有效手段。