基于DSP的視頻圖像自適應(yīng)分類系統(tǒng)

金成昆，雷 翔，黃曉強，何小海

(四川大學電子信息學院圖像信息研究所，四川 成都 610064)

視覺信息是人類獲取外界信息的主要來源。近年來，隨著多媒體技術(shù)的快速發(fā)展，視頻圖像的應(yīng)用領(lǐng)域越來越廣，例如安保監(jiān)控、車場管理、醫(yī)用、軍事及民用等。而這些應(yīng)用常常需要全天候運行，拍攝環(huán)境復雜多變，常常因各種因素導致視頻圖像質(zhì)量不佳。特別是受噪聲、霧霾、低照度等因素影響時，很容易覆蓋視頻圖像蘊含的某些特征，造成對比度大幅下降，嚴重影響后續(xù)處理。而且長期觀看低質(zhì)量視頻會加重人眼負擔，造成視覺疲勞，甚至導致頭暈眼花，因此視頻增強技術(shù)應(yīng)運而生。

自20世紀末以來，對于視頻增強的需求越來越多，要求也越來越高，關(guān)于視頻圖像增強的算法也不斷涌現(xiàn)，并且大部分算法針對某些特定環(huán)境具有良好的增強效果[1－3]，但是缺少一種對各種環(huán)境增強效果都很好的算法。因此，針對視頻圖像的不同應(yīng)用環(huán)境，需要選擇不同算法對其進行處理。那么對于不同的視頻環(huán)境，如何快速分類就顯得尤為重要，然后根據(jù)視頻不同類型給予相應(yīng)的處理以達到自適應(yīng)視頻增強的目的。

本文以TI公司的一款高性能數(shù)字圖像處理器TMS320DM642為核心構(gòu)建系統(tǒng)的硬件平臺。根據(jù)低亮度圖像、噪聲圖像和霧霾圖像的統(tǒng)計特性和特征，進行模式分類。通過分別計算圖像的亮度均值、色飽和度均值、分塊后總體的平均目標個數(shù)和每個塊的目標個數(shù)標準差，從而實現(xiàn)了自動判斷視頻類型，自適應(yīng)地將視頻分為正常、低亮度、霧霾、噪聲、低亮度加噪聲這5種情況。

1 系統(tǒng)硬件設(shè)計

為了滿足系統(tǒng)對實時性和復雜算法的要求，采用TI公司的高性能多媒體處理DSP芯片TMS320DM642作為主處理器[4]，Altera公司的 Cyclone II FPGA 芯片 EP2C8Q208A做協(xié)處理器的主從架構(gòu)。該平臺處理器核心頻率配置720 MHz，每個時鐘周期可以同時處理8條指令，處理速度高達5760 MInstruction/s(兆指令/s)[5]。在外部存儲器總線接口(EMIF)上擴展了32 Mbyte的SDRAM和4 Mbyte的NOR Flash。除此之外，硬件平臺還包括了電源模塊、時鐘模塊、復位模塊、JTAG模塊、GPIO模塊等。系統(tǒng)硬件結(jié)構(gòu)框圖如圖1所示。

視頻圖像經(jīng)過攝像頭采集后，送到解碼器SAA7113進行A/D轉(zhuǎn)換，將攝像頭采集的模擬信號轉(zhuǎn)換為YCbCr為4∶2∶2格式的數(shù)字視頻信號。再通過DM642的VP0輸入口送到數(shù)據(jù)緩沖區(qū)，VP2口則配置為視頻輸出，與SAA7105編碼芯片相連接，將數(shù)字視頻信號進行D/A轉(zhuǎn)換成模擬信號再送到LCD顯示器進行顯示。SDRAM作為片內(nèi)存儲器的擴展，主要用作圖像處理前和處理后視頻幀的存儲，F(xiàn)lash則用于固化編譯后生成的可執(zhí)行文件，并引導系統(tǒng)的啟動。

圖1 系統(tǒng)硬件結(jié)構(gòu)框圖

2 視頻圖像自適應(yīng)分類算法

在實際應(yīng)用中，視頻圖像的拍攝環(huán)境與場景時常變化，這導致視頻圖像的質(zhì)量時好時壞。其中受噪聲、霧霾、低照度等影響的視頻圖像，其質(zhì)量一般比較差?，F(xiàn)有的視頻圖像增強方法有很多，并且針對某些特定的視頻背景采用相應(yīng)的增強算法可以取得良好的增強效果。因此，針對不同的視頻圖像實際背景，首先需判定視頻是否受某種或幾種干擾因素影響，屬于何種類型，然后進行相應(yīng)的處理。

針對視頻圖像，通過DM642硬件平臺采集后對需要進行判斷的視頻幀，先提取圖像的平均亮度、分塊后目標個數(shù)(二值圖像中灰度值為255且連通的一個區(qū)域為一個目標)、各塊總體平均目標個數(shù)和每塊目標個數(shù)標準差、色飽和度均值這些特征，然后基于這些統(tǒng)計特性分析判斷其降質(zhì)的原因，最后進行模式分類，從而實現(xiàn)視頻圖像的自適應(yīng)分類。判斷過程主要需要3個模塊:亮度判斷模塊、噪聲判斷模塊、霧霾判斷模塊。由于實際運行平臺的限制，過于復雜的算法將難以達到實時的要求，本文綜合考慮到實時性和準確性的要求采用如下原理進行判斷。

2.1 亮度判斷原理

視頻圖像質(zhì)量的好壞與其亮度值關(guān)系密切，過亮或者過暗都會損失圖像的有用信息。本文通過計算亮度均值來反映視頻圖像的亮度情況，計算公式為

式中:Gray(i，j)是圖像的亮度信息(可直接讀入視頻圖像的Y通道分量);M，N分別為圖像的高度和寬度;Avg代表圖像的亮度均值。

亮度判斷的基本思想是根據(jù)輸入視頻圖像的亮度均值A(chǔ)vg判斷其類型。如果Avg小于某個閾值，則判為是曝光不足或低亮度類型，需要進行亮度增強處理。如果Avg大于某個閾值，則判為是曝光過度或高亮度類型，需要進行降低亮度處理;否則判為亮度正常情況，不做亮度處理。

2.2 噪聲判斷原理

數(shù)字視頻圖像的噪聲主要來源于圖像的獲取和傳輸過程[6]。人們對于平坦區(qū)域噪聲的敏感度要遠遠大于邊緣區(qū)域的噪聲。對于視頻圖像的平坦區(qū)域，如果引入了噪聲，由噪聲引起的目標個數(shù)將急劇增多。因此，可通過分析圖像的目標個數(shù)來判斷視頻圖像是否受噪聲影響。

具體步驟如下:

1)對灰度圖像X進行Sobel邊緣檢測獲得邊緣梯度圖像G，Gx及Gy分別代表經(jīng)橫向及縱向邊緣檢測的圖像，公式為

2)對邊緣圖像采用OTSU自適應(yīng)閾值分割，將目標像素灰度值設(shè)為255，背景像素灰度值設(shè)為0，從而得到二值圖像。

3)將二值圖像分為3×3即9個小塊，統(tǒng)計每個塊的目標個數(shù)(灰度值為255，且連通的為一個目標)記為Ni。計算總體平均目標個數(shù)ObjectMeanNum以及每個塊的目標個數(shù)的標準差ObjectNumStdard，公式為

4)如果目標個數(shù)均值ObjectMeanNum大于某個閾值TNumMean，而且每個塊的目標個數(shù)的標準差ObjectNumStdard小于某個閾值TNumStad，則將視頻圖像判定為存在噪聲，需要進行降噪處理;否者視為無噪聲，不需要進行噪聲處理。

2.3 霧霾判斷原理

霧霾天氣的視頻圖像呈現(xiàn)出偏白色的現(xiàn)象，所以R，G，B這3個分量比較接近，也就是色飽和度比較小。因此本文提出一種基于視頻圖像色飽和度分量均值來判斷視頻是否受霧霾天氣影響的方案。

HSI模型是1915年美國色彩學家孟塞爾提出的，以色調(diào)(H)、色飽和度(S)和亮度強度(I)這3種基本特征量來感知顏色，它反映了人的視覺系統(tǒng)感知彩色的方式。HSI模型可從彩色圖像中提取出相互獨立的亮度信息和彩色信息，而一般的圖像或者視頻都是基于RGB(紅、綠、藍)模型，因此需要先進行顏色空間的轉(zhuǎn)換，公式為

式中:I和S分別為彩色圖像的亮度分量和色飽和度分量。對于霧霾天氣的視頻圖像，本文利用色飽和度均值對其進行判斷。霧霾天視頻圖像的色飽和度普遍較小，如果色飽和度均值小于某個閾值，則可確認為霧霾天類型;否則為非霧霾類型。

3 系統(tǒng)軟件設(shè)計

3.1 軟件開發(fā)工具

Code Composer Studio(CCS)是一種針對TI的DSP、微控制器和應(yīng)用處理器的集成開發(fā)環(huán)境，可完成軟件的編輯、編譯、調(diào)試、代碼性能測試和項目管理等工作[7]。為了簡化DSP軟件的設(shè)計過程，提高DSP軟件對復雜應(yīng)用的任務(wù)支持，TI公司設(shè)計開發(fā)了一種尺寸可裁剪的實時多任務(wù)嵌入式操作系統(tǒng)內(nèi)核即DSP/BIOS[8]，它包含時鐘模塊、硬件中斷模塊、軟件中斷模塊、任務(wù)模塊、信號量模塊、郵箱模塊、數(shù)據(jù)管道模塊、資源鎖模塊等。基于嵌入式操作系統(tǒng)DSP/BIOS的DSP程序，任務(wù)請求由DSP/BIOS通過線程和中斷優(yōu)先級來控制執(zhí)行，從而大大簡化了應(yīng)用程序的前期設(shè)計過程。除了利用BIOS提供的模塊進行復雜任務(wù)的軟件開發(fā)，還可以借助CCS分析工具高效調(diào)試應(yīng)用程序，了解程序代碼的存儲、開銷及執(zhí)行時間，或者圖形化顯示線程占用的CPU時間等。

3.2 基于DSP的軟件設(shè)計

基于上述DSP/BIOS實時操作系統(tǒng)的多線程框架，結(jié)合本文工作需求，軟件分兩個線程來實現(xiàn)。軟件設(shè)計結(jié)構(gòu)如圖2所示。系統(tǒng)上電工作后，應(yīng)用程序被BOOT引導程序從Flash中拷貝到SDRAM中開始執(zhí)行進行初始化。首先對內(nèi)部執(zhí)行環(huán)境初始化，包括DM642處理器相關(guān)模塊進行初始化、DSP/BIOS模塊的初始化、片級支持庫CSL的初始化以及緩存的初始化。然后開始對設(shè)備驅(qū)動進行初始化，主要是視頻采集設(shè)備，即DM642的VP口和SAA7113視頻編碼芯片，將VP0口配置為采集輸入口，其他視頻接口不用;將SAA7113的輸出圖像設(shè)置為8位YCbCr4∶2∶2格式。在完成初始化后，應(yīng)用程序開始循環(huán)執(zhí)行，采集線程和判斷線程在DSP/BIOS實時操作系統(tǒng)的調(diào)度下協(xié)同工作。

圖2 軟件設(shè)計結(jié)構(gòu)框圖

3.2.1 采集線程

本文采集線程的驅(qū)動采用了FVID模塊，F(xiàn)VID模塊為DSP/BIOS程序提供API函數(shù)，以實現(xiàn)視頻幀圖像的獲取和顯示。其流程如圖3所示。在線程初始化各參數(shù)后，調(diào)用FVID_create函數(shù)，創(chuàng)建采集通道;采集通道創(chuàng)建并初始化成功后，調(diào)用FVID_control發(fā)送命令使采集設(shè)備開始工作;利用FVID_alloc函數(shù)獲得緩存區(qū)，調(diào)用FVID_exchange更新圖像數(shù)據(jù)，并將更新的數(shù)據(jù)通過SCOM通信傳遞給判斷線程。最后判斷采集是否完成，并調(diào)用FVID_delete()釋放幀緩存。

圖3 采集線程流程圖

3.2.2 判斷線程

在實際應(yīng)用中，一般視頻圖像的場景都是運動可變的，其實際背景具有隨機性，因此對視頻圖像分類的結(jié)果需要不斷更新。如果更新時間過長，可能因為視頻背景快速變換導致分類結(jié)果更新不及時，影響后面的增強效果;而過短的更新時間會造成算法復雜度較高，不利于視頻實時處理。通過大量實驗，結(jié)合本文采用的硬件平臺的實際情況，本文采用每100幀判斷1次的方式。

當系統(tǒng)每采集到100幀圖像后，通過SCOM隊列通信啟動判斷線程。對采集到的視頻幀，先計算圖像的亮度均值、色飽和分量的統(tǒng)計均值、分塊后每個塊的目標個數(shù)、總體平均目標個數(shù)以及每個塊的目標個數(shù)標準差。得到這些統(tǒng)計特征后進入如圖4所示的判斷線程流程圖，確定視頻圖像受到某種或某幾種因素影響，屬于那種類型。判定完成后，等待下一次判斷線程的啟動。

圖4 判斷線程流程圖

4 實驗結(jié)果

針對不同實際背景的視頻圖像，結(jié)合本文算法得到如圖5所示的結(jié)果。

圖5 不同實際背景的視頻圖像

表1給出了不同實際背景的視頻圖像的亮度均值、色飽和分量的統(tǒng)計均值、分塊后每塊的平均目標個數(shù)和目標個數(shù)標準差，結(jié)合預(yù)先設(shè)定的閾值(亮度均值A(chǔ)vg＜60為低亮度圖像，色飽和度均值S_mean＜0.05為霧霾圖像，平均目標個數(shù)ObjectMeanStdard＞500且目標個數(shù)標準差ObjectNumStdard＜80為噪聲圖像)做出了判斷。

表1 視頻類型判斷結(jié)果

本文針對每個類型的不同場景進行了判斷結(jié)果準確率的測試，測試結(jié)果如表2所示。從表2可以看出，除噪聲判斷準確率稍微偏低，只有76%左右，霧霾天及低照度類型的判斷準確率都較高，分別達到了82%和96%。

表2 視頻類型判斷準確率

最后，將編譯好的可執(zhí)行文件燒寫到DSP的Flash中，通過上電自舉模式，由攝像頭采集的視頻圖像，經(jīng)過本系統(tǒng)能夠快速且較準確地自適應(yīng)判斷其類型，為后續(xù)的視頻圖像自適應(yīng)增強打下堅實基礎(chǔ)。分析實驗結(jié)果表明，本文基于DSP的視頻圖像自適應(yīng)分類系統(tǒng)具有一定的工程實用性。

5 小結(jié)

本文介紹了一種以高速定點DSP芯片DM642為核心的視頻圖像自適應(yīng)分類的軟硬件設(shè)計。實驗結(jié)果表明該系統(tǒng)實現(xiàn)了對視頻圖像類型快速且自適應(yīng)的分類判斷，為下一步實現(xiàn)圖像自適應(yīng)增強打下了堅實基礎(chǔ)。但是系統(tǒng)還存在不足，主要表現(xiàn)在對噪聲的判斷準確率較低，因此提高噪聲判斷準確率和實現(xiàn)圖像自適應(yīng)增強將是下一步工作目標。

[1]郭蕾，田松，許悅雷，等.一種小波自適應(yīng)比例萎縮去噪改進算法[J].電視技術(shù)，2012，36(11):27－29.

[2]郭珈，王孝通，胡程鵬，等.基于鄰域相似性的暗原色先驗圖像去霧方法[J].計算機應(yīng)用，2011，31(5):1224－1226.

[3]蔡利梅，錢建生，羅驅(qū)波，等.一種基于色彩保持的低照度圖像增強算法[J].計算機應(yīng)用與軟件，2009，26(3):226－243.

[4]Texas Instruments.2008 年第2 季度 DSP 選擇指南[M].[S.l.]:Texas Instrument Incorporated，2008.

[5]Texas Instruments.TMS320DM642 video/imaging fixed point digital Signal Processor[M].[S.l.]:Texas Instrument Incorporated，2007.

[6]武英，吳海勇.一種自適應(yīng)圖像去噪混合濾波方法[J].計算機工程與應(yīng)用，2010，45(7):168－170.

[7]Texas Instruments.TMS320C6000 code composer studio tutorial[M].[S.l.]:Texas Instrument Incorporated，2000.

[8]Texas Instruments.TI DSP/BIOS用戶手冊與驅(qū)動開發(fā)[M].北京:清華大學出版社，2007.