摘 要:在交通領(lǐng)域,隨著高速公路網(wǎng)監(jiān)控設(shè)備鋪設(shè)的日益完善,圖像的數(shù)據(jù)量顯著增加,僅靠目前的人工識(shí)別以獲取圖像內(nèi)存在的具體信息,不僅對(duì)于工作人員而言是較大的負(fù)擔(dān),同時(shí)也難以精確獲取圖像內(nèi)的有效信息。針對(duì)目前存在的現(xiàn)象,文中提出了一種針對(duì)高速公路視頻圖像的檢測(cè)算法。該算法基于無參考的評(píng)價(jià)方法和傳統(tǒng)的圖像處理,對(duì)黑屏、亮度異常、模糊等視頻圖像存在的主要問題進(jìn)行了異常檢測(cè)。實(shí)驗(yàn)表明,該算法對(duì)圖像模糊異常的識(shí)別率達(dá)96.4%,對(duì)黑屏的識(shí)別率達(dá)100%,對(duì)亮度異常的識(shí)別率達(dá)95%,且處理速度達(dá)到了30張/s,基本實(shí)現(xiàn)了對(duì)攝像頭獲取圖像進(jìn)行實(shí)時(shí)監(jiān)測(cè)的目標(biāo)。
關(guān)鍵詞:高速公路;視頻圖像;無參考評(píng)價(jià);圖像處理;異常檢測(cè);質(zhì)量檢測(cè)
中圖分類號(hào):TP312 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-1302(2024)06-00-05
0 引 言
隨著計(jì)算機(jī)性能的提高,視頻監(jiān)控技術(shù)日趨成熟,已被應(yīng)用在很多方面,如智慧城市建設(shè)、城市交通以及社區(qū)醫(yī)院等。大型監(jiān)控視頻系統(tǒng)需要大量攝像頭,如陜西省高速公路“云上高速”管理平臺(tái),與云端平臺(tái)有數(shù)據(jù)連通的攝像機(jī)有
1 083臺(tái),攝像機(jī)總數(shù)高達(dá)20 778臺(tái),且24小時(shí)不間斷工作。數(shù)量龐大的攝像機(jī)產(chǎn)生了大量數(shù)據(jù)圖像,為了分析圖像中的數(shù)據(jù)質(zhì)量,管理人員需要對(duì)視頻圖像內(nèi)容進(jìn)行辨別和篩選。若對(duì)視頻圖像進(jìn)行處理前視頻圖像質(zhì)量出現(xiàn)問題,將會(huì)影響后續(xù)操作。監(jiān)控視頻圖像出現(xiàn)質(zhì)量問題時(shí)無法得到準(zhǔn)確的視頻圖像信息,影響后續(xù)管理人員對(duì)圖像的分析和處理過程,極大影響監(jiān)控效果。
隨著攝像機(jī)的不斷普及與應(yīng)用,視頻圖像質(zhì)量異常檢測(cè)方法的研究引起了國(guó)內(nèi)外相關(guān)研究人員的極大關(guān)注。
20世紀(jì)90年代以來,圖像質(zhì)量的檢測(cè)應(yīng)用研究得到重視。最初,圖像質(zhì)量的檢測(cè)方法是基于人類視覺模型DMOS進(jìn)行考量,即為差異平均主觀評(píng)分的測(cè)量[1]。1996年,美國(guó)研究機(jī)構(gòu)ITS制定了視頻圖像質(zhì)量客觀化評(píng)估標(biāo)準(zhǔn)ANSITI,801.03[2-4]。2003年3月,日本、德國(guó)和美國(guó)等國(guó)家的一些研究機(jī)構(gòu)共提交了9個(gè)關(guān)于圖像質(zhì)量客觀評(píng)價(jià)模型標(biāo)準(zhǔn)的提
案[5],VQEG組織對(duì)這9個(gè)提案分別進(jìn)行客觀和主觀測(cè)試,制定了圖像質(zhì)量客觀評(píng)價(jià)模型標(biāo)準(zhǔn),常用的模型包括基于結(jié)構(gòu)相似度(SSIM)以及基于人類視覺系統(tǒng)(HVS)的評(píng)價(jià)模型等[6-7]。
在我國(guó),視頻圖像質(zhì)量檢測(cè)領(lǐng)域雖然起步較晚但發(fā)展迅速,清華大學(xué)、上海交通大學(xué)、北京郵電大學(xué)等高校均已開始圖像質(zhì)量檢測(cè)相關(guān)研究工作?;谌祟愐曈X模型DMOS對(duì)圖片、視頻進(jìn)行質(zhì)量檢測(cè),由于其視覺模型對(duì)于不同場(chǎng)景的圖片準(zhǔn)確率有所變化,且往往受觀察者主觀因素的影響,因而該模型逐漸被淘汰;為提出一種更為客觀、能夠針對(duì)多場(chǎng)景的圖像質(zhì)量評(píng)價(jià)體系,上海交通大學(xué)科研團(tuán)隊(duì)已于2006年研究出了無參考圖像質(zhì)量評(píng)估算法[8]。俞勝[9]等通過再模糊理論建立了一種無參考的圖像質(zhì)量評(píng)價(jià)算法,并通過提取圖像的局部特征和全局特征進(jìn)行圖像質(zhì)量評(píng)價(jià);竇思冬等[10]考慮到基于模糊核的評(píng)價(jià)方法不能區(qū)分模糊平滑區(qū)域和焦點(diǎn)平滑區(qū)域,進(jìn)而導(dǎo)致模糊圖像不易被檢測(cè)的問題,提出了一種將再模糊理論和相關(guān)系數(shù)相結(jié)合的模糊圖像檢測(cè)算法,該算法結(jié)合了兩種類型的模糊檢測(cè)算法特點(diǎn),改進(jìn)了模糊圖像的檢測(cè)準(zhǔn)確率。賈惠珍等[11]為了更加有效地評(píng)價(jià)模糊圖像的圖像質(zhì)量,提出一種基于梯度失真測(cè)度圖和顯著區(qū)域圖的無參考模糊圖像質(zhì)量評(píng)價(jià)方法,預(yù)測(cè)結(jié)果與人的主觀判斷具有較好的一致性,且計(jì)算復(fù)雜度較低。武利秀等[12]提出一種基于相位一致變換和卷積神經(jīng)網(wǎng)絡(luò)的無參考圖像質(zhì)量評(píng)價(jià)方法,預(yù)測(cè)的圖像質(zhì)量分和主觀質(zhì)量評(píng)分實(shí)現(xiàn)了很好的一致性。Liu R[13]、Xu G[14]、lang C[15]等人也基于機(jī)器學(xué)習(xí)、邊緣分析等理論提出了圖像質(zhì)量分析評(píng)價(jià)的方法。
盡管目前研究了多種方法對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià),且取得了較好的理論成果。但實(shí)際應(yīng)用中傳統(tǒng)的監(jiān)控視頻圖像質(zhì)量診斷仍以人工方式進(jìn)行。這種人工方法在大型監(jiān)控系統(tǒng)中需要耗費(fèi)大量的人力和物力,且人工評(píng)價(jià)方法受環(huán)境、心理狀態(tài)、自身認(rèn)知等因素的影響,會(huì)直接或間接導(dǎo)致評(píng)價(jià)結(jié)果不準(zhǔn)確,所以采取客觀方法來評(píng)價(jià)圖像質(zhì)量非常重要??紤]到在高速公路的視頻圖像中,出現(xiàn)圖像異常的情況較為少見且難以捕捉,因而圖片數(shù)量難以滿足機(jī)器學(xué)習(xí)所需的數(shù)據(jù)量,故采取傳統(tǒng)的圖像處理技術(shù)對(duì)視頻圖像進(jìn)行處理,以期得到更好的處理效果。
基于圖像處理技術(shù),針對(duì)高速公路攝像機(jī)可能存在的黑屏、亮度、模糊等異常,通過對(duì)圖像的基本特征進(jìn)行分析,建立一種對(duì)高速公路攝像頭圖像客觀高效的檢測(cè)算法,能夠?qū)崿F(xiàn)高速公路監(jiān)控視頻圖像質(zhì)量自動(dòng)檢測(cè),提升高速公路監(jiān)測(cè)、服務(wù)水平,降低高速公路管理人力成本的目標(biāo)。
1 圖像數(shù)據(jù)來源
本次實(shí)驗(yàn)數(shù)據(jù)均來源于高速公路實(shí)時(shí)監(jiān)控視頻圖像數(shù)據(jù),包括陜-G30(連霍高速-寶天段 K1194+970-上行方向)、陜-G3511(荷寶高速-旬鳳段 K813+040-下行方向)、陜-G5(京昆高速-漢寧段、西禹段 K891+650-下行方向)、陜-G85(銀昆高速-寶川段石窯壩隧道 K679+647-上行方向)等高速路段,將得到對(duì)應(yīng)的視頻圖像數(shù)據(jù)作為檢測(cè)數(shù)據(jù)集。
2 攝像頭獲取圖像質(zhì)量檢測(cè)方法
由于在實(shí)時(shí)視頻監(jiān)控系統(tǒng)中,監(jiān)控場(chǎng)景復(fù)雜多變,要得到可參考的圖像信號(hào)比較困難,而且視頻質(zhì)量異常形式多樣,不能使用同一種評(píng)價(jià)方法。因此研究采用無參考的客觀評(píng)價(jià)方法,針對(duì)不同的質(zhì)量異常選用不同的評(píng)價(jià)方法。對(duì)每一種質(zhì)量異常圖像,提取它們與正常圖像的特征差異,這些特征的提取可以通過時(shí)域、頻域、變換域完成。對(duì)提取的特征進(jìn)行評(píng)價(jià),判斷圖像的質(zhì)量異常類型及嚴(yán)重程度。
一般情況下,視頻監(jiān)控系統(tǒng)產(chǎn)生質(zhì)量異常的原因可以分為兩大類:內(nèi)部因素以及外部因素。內(nèi)部因素是指攝像元件或顯示設(shè)備自身的質(zhì)量問題以及傳輸線路的質(zhì)量問題;外部因素是指電磁干擾,如果在攝像元件附近、顯示屏幕附近或者傳輸線路周圍存在比較強(qiáng)的電磁干擾,那么最終顯示的圖像就會(huì)出現(xiàn)噪聲,亮度異常等。常見的質(zhì)量異常狀態(tài)包括:色偏、亮度異常、抖動(dòng)、信號(hào)缺失、條紋干擾、噪聲、遮擋等。本研究在假設(shè)所有事故可被攝像頭感知的前提下,主要解決外部元素引起的黑屏、亮度異常以及模糊異常等問題。
2.1 黑屏檢測(cè)
在視頻監(jiān)控系統(tǒng)中,無論是前端攝像機(jī)還是視頻傳輸線,一旦出現(xiàn)故障,接收端都可能無法接收到視頻信號(hào)。在監(jiān)控顯示器上一般表現(xiàn)為黑屏或者“無視頻信號(hào)”屏。其中,黑屏圖像、正常圖像如圖1所示。
當(dāng)監(jiān)控系統(tǒng)出現(xiàn)黑屏異常時(shí),屏幕顏色具有單一性?;谶@一特點(diǎn),可以從圖像像素分布特征檢測(cè)黑屏。將彩色圖像轉(zhuǎn)換成灰度直方圖后,再對(duì)其灰度直方圖進(jìn)行分析。其轉(zhuǎn)換原理是基于人眼對(duì)顏色的敏感度不同來計(jì)算圖像的灰度值。
灰度圖像只是一張單通道圖像,其中的每個(gè)像素值代表著對(duì)應(yīng)位置的灰度程度。因此,將彩色圖像轉(zhuǎn)換為灰度圖像需要對(duì)每個(gè)彩色像素進(jìn)行轉(zhuǎn)換。通過下式可以計(jì)算上述圖像各像素點(diǎn)的灰度值,并繪制其對(duì)應(yīng)直方圖,如圖2所示。
gray= 0.298 9×R+0.587 0×G+0.114 0×B" " " " " " " "(1)
式中:R、G、B分別代表該像素點(diǎn)的紅、綠、藍(lán)通道的值;gray代表轉(zhuǎn)換后的灰度值。
從單幀圖像的灰度值分析,低灰度值的黑像素率越高,圖像越暗。因此,將灰度值小于閾值的像素定義為黑像素點(diǎn),并根據(jù)圖像的黑像素率來判斷黑屏;考慮到實(shí)際圖像中往往出現(xiàn)白色字體用于介紹圖片的具體信息,因而在黑屏處理中,對(duì)像素點(diǎn)的灰度值與白色字體的灰度值進(jìn)行判斷,若確認(rèn)為白色字體,則該像素點(diǎn)不被記入像素點(diǎn)總數(shù)。黑屏檢測(cè)算法步驟如圖3所示。
2.2 亮度異常檢測(cè)
當(dāng)監(jiān)控視頻出現(xiàn)亮度異?,F(xiàn)象時(shí),一般表現(xiàn)為圖像過暗或者過亮,如圖4所示。造成該現(xiàn)象的原因有多種,如攝像頭故障、增益控制紊亂或照片條件異常等。但不論是哪種異常,都會(huì)使人的主觀感知受到影響,導(dǎo)致監(jiān)控人員觀察疲勞。不僅如此,亮度異常還會(huì)模糊圖像內(nèi)前景的邊界,減少圖片所包含的信息,降低了圖片的信息熵。
一般情況下,對(duì)彩色圖像的亮度檢測(cè)需要將圖像從RGB色彩空間轉(zhuǎn)換為HSV色彩空間,其中H代表圖像色彩,S代表圖像色彩的深淺,V代表圖像的亮度。其轉(zhuǎn)換步驟如下:
(1)分別對(duì)圖像的R、G、B三通道進(jìn)行歸一化處理;
(2)找出三通道中的最大值與最小值Cmax,Cmin,計(jì)算其差值delta;
(3)對(duì)H(色彩通道)的轉(zhuǎn)換遵循式(2):
(2)
對(duì)S(飽和度通道)的轉(zhuǎn)換遵循式(3):
(3)
對(duì)V(亮度通道)的轉(zhuǎn)換遵循式(4):
(4)
基于上述步驟,在圖像HSV色彩空間V通道的基礎(chǔ)上,通過滑動(dòng)窗口遍歷整幅圖像,并將每個(gè)窗口內(nèi)的平均亮度與高、低曝光閾值進(jìn)行比較,根據(jù)曝光率判斷圖像是否存在亮度異常。亮度異常檢測(cè)算法實(shí)現(xiàn)步驟如圖5所示。
2.3 模糊檢測(cè)
在數(shù)字視頻監(jiān)控系統(tǒng)中,攝像機(jī)參數(shù)、鏡頭焦距、編解碼器匹配程度、顯示器分辨率、線路老化等多方面原因會(huì)造成視頻圖像清晰度異常。當(dāng)視頻出現(xiàn)清晰度異常現(xiàn)象時(shí),圖像中的邊緣特征表現(xiàn)弱化,物體之間無明顯界限,十分模糊,如圖6所示。
一般而言,圖像越清晰,其前景邊緣越明顯,邊緣梯度值越大;相反,圖像越模糊,其前景邊緣也越模糊,邊緣梯度值越小。圖像梯度是一個(gè)二維向量,表示圖像中每個(gè)像素的變化方向和程度。梯度值的計(jì)算可以幫助我們分析圖像的紋理和邊緣信息,在計(jì)算機(jī)視覺、圖像處理和模式識(shí)別等領(lǐng)域有廣泛應(yīng)用。
一般來說,圖像梯度的計(jì)算有兩種方法:一種是使用領(lǐng)梯微積分法,即求解圖像的偏導(dǎo)數(shù);另一種是使用圖像卷積,即使用Sobel、Scharr或其他卷積核對(duì)圖像進(jìn)行卷積操作。
對(duì)于領(lǐng)梯微積分法,梯度值可以通過以下兩個(gè)公式計(jì)算:
(5)
(6)
式中:Gx表示圖像x方向的梯度值;Gy表示圖像y方向的梯度值;l為圖像強(qiáng)度函數(shù);x和y分別表示圖像的兩個(gè)維度。
本研究利用拉普拉斯算子(卷積核)求解圖像梯度值,其原理如下:
拉普拉斯算子是一個(gè)線性卷積核,它利用圖像的二階導(dǎo)數(shù)來計(jì)算圖像的梯度并獲取圖像的邊緣信息。拉普拉斯算子的卷積核通常是一個(gè)二維的Laplacian算子,以如下二維矩陣表示:
(7)
圖像梯度值的計(jì)算過程如下:
(1)將圖像與卷積核進(jìn)行卷積;
(2)計(jì)算每個(gè)像素的卷積值;
(3)根據(jù)卷積值計(jì)算圖像的梯度。
在此基礎(chǔ)上,利用Python中的CV庫對(duì)圖像進(jìn)行拉普拉斯梯度計(jì)算。當(dāng)圖像梯度值處于邊界閾值附近時(shí),可以對(duì)原圖像進(jìn)行銳化操作,若原圖像為清晰度正常的圖像,則其梯度值越大;若原圖像為清晰度異常的圖像,雖然梯度值會(huì)較原圖像有所增加,但兩者之間差值遠(yuǎn)小于正常圖像與其銳化圖像梯度之差。因此,通過分析圖像的梯度信息來實(shí)現(xiàn)圖像的清晰度異常檢測(cè)。清晰度異常檢測(cè)算法實(shí)現(xiàn)步驟如圖7所示。
3 圖像視頻質(zhì)量檢測(cè)實(shí)驗(yàn)結(jié)果
基于上述算法理論搭建對(duì)應(yīng)的算法模型,并對(duì)該數(shù)據(jù)集進(jìn)行檢測(cè),部分結(jié)果如圖8所示,得到對(duì)應(yīng)異常檢測(cè)的閾值見表1所列。
通過分析上述檢測(cè)結(jié)果可以得知,視頻異常檢測(cè)算法模型基本達(dá)到要求,但是在一些細(xì)節(jié)檢測(cè)上有些許誤差,比如在曝光度過低時(shí)會(huì)檢測(cè)為黑屏圖像以及在攝像頭周圍因客觀原因?qū)е氯鄙俟庠磿r(shí),夜間的視頻圖像往往會(huì)被誤認(rèn)為黑屏;當(dāng)客觀認(rèn)為存在局部曝光過高時(shí),系統(tǒng)檢測(cè)結(jié)果卻為曝光度正常。針對(duì)該現(xiàn)象,需要大量的圖像數(shù)據(jù),統(tǒng)計(jì)其閾值分布規(guī)律,最終確定符合高速公路監(jiān)控視頻質(zhì)量檢測(cè)的閾值。在時(shí)效性上,針對(duì)數(shù)據(jù)集中所需處理的視頻圖像,可以達(dá)到實(shí)時(shí)處理(即達(dá)到每秒處理30張,與視頻截取頻率30幀/s吻合),能夠滿足實(shí)際應(yīng)用需求。
基于現(xiàn)有數(shù)據(jù)集,綜合準(zhǔn)確率可以達(dá)到約97%,分析其實(shí)驗(yàn)圖像,發(fā)現(xiàn)異常圖像不僅包括黑屏、亮度異常以及模糊異常,還包括噪聲干擾、攝像機(jī)遮擋、灰屏以及圖像顯示尺寸異常等問題。由于算法模型僅針對(duì)圖像目標(biāo)異常進(jìn)行檢測(cè),當(dāng)出現(xiàn)其他異常時(shí)會(huì)導(dǎo)致檢測(cè)誤差,表現(xiàn)為算法模型魯棒性欠佳。針對(duì)其余非常見視頻圖像質(zhì)量問題,其算法可靠性較為有限。后續(xù)需要針對(duì)常見的視頻異常進(jìn)行總結(jié)歸納,并融合其檢測(cè)算法模型構(gòu)建完整的視頻質(zhì)量異常檢測(cè)系統(tǒng)。
4 結(jié) 語
本研究基于圖像處理技術(shù),通過對(duì)圖像質(zhì)量異常的分類以及檢測(cè)方法進(jìn)行分析,實(shí)現(xiàn)了高速公路監(jiān)控視頻圖像的異常檢測(cè),包括黑屏、亮度異常以及模糊異常的檢測(cè)。由實(shí)驗(yàn)結(jié)果可知,研究還存在些許不足,表現(xiàn)為高速公路監(jiān)控視頻圖像質(zhì)量檢測(cè)需要根據(jù)實(shí)際場(chǎng)景人為確定閾值范圍,導(dǎo)致識(shí)別結(jié)果產(chǎn)生誤差。通常來說,針對(duì)圖像問題,采用機(jī)器學(xué)習(xí)是行之有效的處理方法,但采用該方法需要大量的圖像數(shù)據(jù)集,而高速公路監(jiān)控?cái)z像頭故障為小概率事件,異常視頻圖像難以獲取??梢酝ㄟ^利用該研究的成果,對(duì)高速公路監(jiān)控視頻進(jìn)行實(shí)時(shí)檢測(cè)獲取所需圖像質(zhì)量異常數(shù)據(jù)集,為后續(xù)利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)高速公路監(jiān)控視頻質(zhì)量自動(dòng)檢測(cè)提供數(shù)據(jù)支持。
參考文獻(xiàn)
[1] YOU J Y,KORHONEN J,PERKIS A. Attention modeling for video quality assessment: Balancing global quality and local quality.Multimedia and Expo (ICME) [C]// 2010 IEEE International Conference on Publication Year:2010:914-919.
[2] STAELENS N,DE MEULENAERE J,CLAEYS M,et al. Subjective quality assessment of longer duration videosequences delivered over HTTP adaptive streaming to tablet devices broadcasting [J]. IEEE transactions,2014,60:707-714.
[3] CHEN G H,YANG C L,SHENG L X. Gradient-based structural similarity for image quality assessment [C]// IEEE International Conference on Image Processing,Oct. 2012:2929-2932.
[4] ITU-T Study Group9 Contribution COM 9-80-E,F(xiàn)inal report from the Video Quality Experts Group on tire validation of objective models of video quality assessment [Z]. 2010.
[5] ITU-T J.144,Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference t [Z]. 2009.
[6] SAKIC K,DUMIC E,GRGIC S. Crowdsourced subjective video quality assessment systems,signals and image processing(IWSSIP)" [C]// 2014 International Conference on Publication Year:2014:223-226.
[7] YOU J Y,KORHONEN J,PERKIS A,et al. Balancing attended and global stimuli in perceived video quality assessment multimedia [J]. IEEE transactions,2011,13(6):1269-1285.
[8]余燕飛,鄭烇,王嵩,等.基于空間域的圖像噪聲檢測(cè)技術(shù)[J].計(jì)算機(jī)應(yīng)用,2012,32(6):1552-1556.
[9]俞勝,張懷亮,彭玲,等.應(yīng)用再模糊理論的無參考圖像質(zhì)量評(píng)價(jià)算法[J].傳感器與微系統(tǒng),2021,40(8):140-143.
[10]竇思冬,朱玉全,林慶,等.基于模糊核和梯度分布的部分模糊圖像檢測(cè)[J]. 信息技術(shù),2018,42(9):147-151.
[11]賈惠珍,雷初聰,王同罕,等.基于梯度和顯著性的無參考模糊圖像質(zhì)量評(píng)價(jià)方法[J]. Journal of southeast university(english edition),2021,37(2):184-191.
[12]武利秀,桑慶兵.基于卷積神經(jīng)網(wǎng)絡(luò)的無參考混合失真圖像質(zhì)量評(píng)價(jià)[J].光學(xué)技術(shù),2018,44(5):555-561.
[13] LIU R,LI Z,JIA J. Image partial blur detection and classification [C]// 2008 IEEE Conference on Computer Vision and Pattern Recognition. IEEE,2008:1-8.
[14] XU G,QUAN Y,JI H. Estimating defocus blur via rank of local patches [C]// Proceedings of the IEEE International Conference on Computer Vision. 2017:5371-5379.
[15] LANG C,HOU C,SONG Z. Depth recovery and refinement from a single image using defocus cues [J]. Journal of modem optics,2015,62(6):204-211.