基于分層篩選方法的前景圖像去噪

高 智 林新棋，2 吳 鵬 李海濤

（1.福建師范大學數學與計算機科學學院，福州，350007；2.福建師范大學網絡安全與密碼技術福建省高校重點實驗室，福州，350007）

引 言

模式識別一般屬于人工智能的第一階段，是人工智能的基礎［1］。模式識別的基本步驟為：信息采集、預處理、特征提取與選擇、分類決策、分類器設計。通常以圖片的形式存在的視覺信息經過采集后，往往需要預處理才能夠用于后續(xù)特征提取與選擇等階段，所以以前景提取和去噪為主要內容的預處理則是模式識別的一個重要研究環(huán)節(jié)。

前景提取就是將圖像中的活動目標與背景分離的過程。幀間差分法、背景差分法、基于統(tǒng)計模型的方法和光流法是目前廣泛應用于前景提取的方法。光流法由于計算復雜度較大，不易適用于實時系統(tǒng)。幀間差分法、背景差分法和基于統(tǒng)計模型的方法已經有了較多成熟的發(fā)展［2-4］，但在這些算法提取的前景圖像中，經常會出現諸如圖1（a）圓圈內部所示的大面積的誤檢像素區(qū)域（稱之為噪聲）。即存在部分前景區(qū)域未能識別，或部分背景區(qū)域誤識別為前景的情況。另一方面，這些噪聲增加了后續(xù)提取特征的難度，甚至出現特征提取錯誤的現象，所以這些前景提取算法通常不能直接應用于模式識別的實時系統(tǒng)，必須經合適的去噪處理才能達到預處理的目的。

目前應用于去噪的方法主要是分為以形態(tài)學方法為基礎的去噪方法［3］和在圖像頻域內進行高頻能量濾波兩種類型［5-7］。形態(tài)學圖像處理是建立在數學形態(tài)學基礎之上的一種常用的圖像處理方法［8］。但其缺點是：（1）形態(tài)學處理本質上是一種二維卷積運算，當圖像維數較大的時候，尤其是用灰度形態(tài)學、模糊形態(tài)學等方法，計算復雜度較大，運行速度很慢，無法滿足實時處理系統(tǒng)；（2）為達到最佳的濾波效果，有時不得不需要結合圖像的拓撲特性選擇形態(tài)開、閉運算的復合方式；（3）經過多次復合方式處理后，前景目標形狀和大小會有較大變化。這種情況會使得后期提取的特征信息（大小、輪廓、曲率、特定部位等），出現失真現象，如圖1（b）所示。尤其在環(huán)境背景較為復雜的情況下，圖像的處理效果更差。在圖像頻域內進行高頻能量濾波的方法主要應用于諸如圖片美化等，細節(jié)方面的去噪處理，不滿足應用于將大面積噪聲濾除的前景圖像噪聲的要求。另外，通?，F實環(huán)境復雜性和實時系統(tǒng)硬件處理能力有限等因素也使得追求簡單有效的前景提取算法和去噪方法成為必要［9，10］。

綜上所述，本文以前景提取圖像序列為基礎，針對形態(tài)學的缺點，根據原始前景圖像中真實前景和噪聲像素空間分布特性及亮度的不同分布規(guī)律，提出一種搜索計算獨立分離塊面積和分層篩選的前景建模方法，利用提出的模型進一步細化前景圖像，刪除屬于背景噪聲的獨立分離塊，以提高前景圖像的準確度，而且盡可能保留前景圖像的形狀和大小。

1 確定前景與刪除背景噪聲

經過大量的實驗可知，前景圖像中真實前景區(qū)域和誤檢噪聲區(qū)域具有如下統(tǒng)計特點：（1）真實前景區(qū)域面積大，像素亮度均勻，變化較為規(guī)律；（2）誤檢的噪聲區(qū)域分布較為分散，且塊內像素亮度值方差較大，被誤檢的背景塊面積通常較小，且跟前景圖像區(qū)域面積相比有較大差別。如圖1所示?；诖?，本文首先將原始前景圖像進行單元塊分割，進而在單元塊的基礎之上通過前景圖像上由滿足閾值的單元塊構成的各獨立分離塊的面積的大小來進一步細化分離前景和噪聲。

圖1 前景圖像和形態(tài)學處理后的前景圖像Fig.1 Foreground image and morphological post-processing

1.1 單元塊分割前景圖像

單元塊是構成獨立分離塊的基本構成單元，也是確定前景與刪除背景噪聲的準備工作。將一張前景圖像視為原始圖像I，首先按照從左到右，從上到下劃分成x×y的像素塊陣列，每一個x×y塊即稱之為單元塊。每一個單元塊的名字由該塊在整個塊陣列中的行序號和列序號表示（（行號，列號）），如圖2所示。然后，對每一個單元塊賦予一個標簽，標簽內容包括該單元塊的名字和參數sum，其中sum表示單元塊中非零像素個數。

圖2 圖像I被劃分為m×n個單元塊Fig.2 The image Iis divided into m×n unit blocks

1.2 搜索和計算獨立分離塊面積

本文將由相互接壤的單元塊構成，區(qū)域內所有單元塊都滿足同一條件的獨立連續(xù)區(qū)域稱為獨立分離塊。如圖3中的s1，s2分別代表兩個獨立分離塊。一旦確定獨立分離塊后，本文就可以利用其面積大小來進一步細化篩選前景和背景。首先要搜索和計算整幅圖像上所有獨立分離塊的面積。本文主要通過搜索累積的方式找到一幅圖像中的所有獨立分離塊，并給每個獨立分離塊賦予自己相應的塊標簽。標簽記錄著屬于該獨立分離塊內各個單元塊的標簽和該獨立分離塊內單元塊的數量N。N越大則說明獨立分離塊面積越大。

圖3 獨立分離塊Fig.3 Independent separation block

搜索準則為：對于如圖2所示的原始圖I，搜索到包含的單元塊都滿足標簽sum≥k的所有獨立分離塊（s1s2…sn），并建立一個獨立分離塊查詢表存儲獨立分離塊的信息。為實現此準則，第一步，找到I中所有sum≥k的單元塊，將sum≤k的單元塊視為噪聲并被濾除，此步驟稱之為第一層篩選；第二步，找到由sum≥k的單元塊組成的各獨立分離塊，并記錄到獨立分離塊查詢表上。

第二步的具體操作步驟為：按照從左到右，從上到下的搜索遍歷方式，對每一個sum≥k的單元塊判斷其能否跟某一個或多個獨立分離塊查詢表內已經登記的獨立分離塊組成一個新的獨立分離塊。若滿足一個，如圖4所示的兩種情況之一，則只需將該獨立分離塊s的標簽值更新即可，更新方式如式（1）所示；若有多個，如圖5所示的情況，獨立分離塊查詢表的更新方式如式（2）所示；若某單元塊只滿足sum≥k，則新的獨立分離塊被創(chuàng)建如式（3）所示。每個獨立分離塊標簽內N值即為獨立分離塊的面積。

判斷能否跟某一個或多個獨立分離塊組成新的獨立分離塊的方法如下：判斷該單元塊周圍與之相鄰的左邊和上邊的四個鄰域單元塊，如圖6所示（本文用表示）是否存在于獨立分離塊查詢表中之前已登記過的獨立分離塊內。因為每一個單元塊周圍存在最多8塊與之相鄰的單元塊，加之前面采取的從左到右，從上到下的對整張圖像的掃描方式，所以只需判斷已掃描過的與之相鄰的左邊和上邊的4個鄰域單元塊即可，其余四塊還未掃描，無須考慮。

圖4 塊（i j）與已存在的獨立分離塊s形成新的獨立分離塊Fig.4 Unit block （ij）and the existing independent separation block s are formed into a new independent separation block

圖5 塊（i j）和s1，s2形成新的獨立分離塊Fig.5 Unit block（ij），s1and s2are formed into a new independent separation block

圖6 與塊（i j）相鄰的單元塊Fig.6 Adjacent unit blocks of（ij）

其中，s.N，s1.N和s2.N分別表示獨立分離塊s，s1和s2的標簽中N的值；s1和s2為可能存在的能與（ij）合并為新的獨立分離塊的兩個已登記獨立分離塊；si表示已存在于獨立分離塊查詢表內的任意一個獨立分離塊；表示單元塊（ij）左邊和上邊的4個鄰域單元塊；sum（ij）表示單元塊（ij）標簽中sum的值；k為閾值常數。

1.3 前景區(qū)域刪除噪聲

當掃描完整幅前景圖像中所有單元塊，且獨立分離塊查詢表更新完后，基于前面第1節(jié)所描述的前景區(qū)域和背景區(qū)域像素值分布特點，獨立分離塊查詢表中面積小于閾值A（本文中A的取值為查詢表中最大獨立分離塊面積的0.01）的獨立分離塊將視為噪聲區(qū)域而被濾除，此步驟稱為第二層篩選。至此，獨立分離塊查詢表中剩余的單元塊所包含的區(qū)域被確認為前景，最終將獨立分離塊查詢表輸出。分層篩選前景圖像的算法流程表如下所示。

2 實 驗

2.1 實驗準備

本文所用圖像序列是由SONY攝像機，型號為KDR-CX700E，分辨率為1 440＊1 080，在不同環(huán)境下拍攝的兩段視頻共1 000幀構成。本文還通過Photoshop等軟件將圖像序列中的前景人物人工提取作為實驗過程中的驗證標準。

2.2 基于不同前景提取方法的有效性驗證

從實驗后圖像處理結果來看，圖7中的（e，f）兩幅圖表明原始前景圖像中存在大量噪聲區(qū)域，而經過本文方法處理后（圖7（g，h）所示）該區(qū)域噪聲全部被消除。由此表明經本文方法處理后，原來存在的噪聲能夠有效地濾除。

因為在不同的環(huán)境下拍下的圖像序列，應用不同的前景提取方法提取前景結果存在較大不同，即不同的前景提取方法適用于不同的環(huán)境，所以為了度量不同方法處理后前景提取的質量，現定義準確率（A）來表示前景處理后實際屬于真實前景面積在提取總面積中的比重，具體如式（4）所示

圖7 前景圖像的殘余噪聲Fig.7 Residual noise of the foreground image

其中，f和g分別代表前景圖像中正確識別的前景區(qū)域的像素數目和前景圖像被識別出的所有像素數目。A的取值范圍為［0，1］，當A的值越大時，表明前景圖像中屬于真實前景圖像部分的面積占總識別面積的比重越大，即提取效果越好；反之，當A值越小時，表明前景圖像中屬于真實前景圖像部分的面積占總識別面積的比重越小，即提取效果不好。

圖8列出了實驗序列中50幀圖像分別經過兩種不同的前景圖像提取方法后未經本文處理和在其基礎上經過本文對他們處理后的準確率圖。圖中25～30幀的地方由于前景目標的動作行為在幀間變化較小，致使前景提取算法的性能降低，但經過本文提出的方法處理后，仍舊能去除大量噪聲。從圖8知，兩種提取前景圖像經處理后的準確率都有明顯的提高，基本達到了90%。由此，進一步說明本文提出的方法對于去噪和美化功能的有效性。

圖8 不同原始前景提取方法在經本文方法處理前后的檢準率對比圖Fig.8 Precision comparison chart of different original foreground after the proposed processing and before

2.3 基于形態(tài)學去噪方法的對比實驗

在模式識別的預處理階段，對于特征提取影響最大的兩個因素為：（1）前景人物形狀細節(jié)信息提取程度，（2）背景區(qū)域，尤其遠離前景區(qū)域內噪聲的消除程度。下面分別針對兩個因素與形態(tài)學方法做對比驗證。

2.3.1 前景人物形狀細節(jié)信息

形態(tài)學處理圖像的方法主要包括：腐蝕、膨脹、閉運算、開運算等。如前文所述，經過形態(tài)學方法處理后的前景圖像容易造成失真現象。例如圖9（b）所示，經形態(tài)學方法處理后人物的背部平滑線條已明顯變?yōu)殇彺绦偷恼劬€，且胳膊、頭部已明顯與身體融為一體。對于前景特征要求較為苛刻的特征提?。ㄈ纾禾崛∏熬叭宋镙喞?，提取頭部，提取胳膊和腿的位置等。）中，形態(tài)學處理方法顯然會對特征提取造成很大難度。圖9（c）為經過本文的方法處理后，能夠更完整地保留前景作為人物的必要信息。

圖9 前景圖像產生的形變Fig.9 The distortiom of foreground image

此處也引用準確率為指標對本文的方法與形態(tài)學方法作對比（如圖10所示），且只針對在實驗過程中形態(tài)學處理比較好的幾種處理方法（先腐蝕后膨脹1次，閉運算1次，開運算1次）給出結果對比。

由圖10（a）知，本文方法在基于混合高斯提取的前景圖像上的處理結果中有80%的圖片準確率高于腐蝕-膨脹1次后的結果，而本文方法在幀差法提取的前景圖像上的處理結果則100%高于腐蝕-膨脹1此后的結果。由圖10（b）知，本文方法在基于混合高斯提取的前景圖像上的處理結果中準確率分別高于開運算和閉運算的圖片占總數的86%和100%，而本文方法在幀差法提取的前景圖像上的處理結果中準確率分別高于開運算和閉運算的圖片占總數的100%和100%。注：圖中第25-30幀的地方由于前景人物的動作行為在前后幀間差別較小，致使前景提取算法性能降低。

圖10 本文方法與形態(tài)學處理后檢準對比圖Fig.10 Precision comparison chart about the proposed method and morphological processing

2.3.2 背景噪聲消除程度

為了衡量本文提出的方法與形態(tài)學及原始未經處理過的前景圖像在背景噪聲消除方面的質量，現定義噪聲減少系數ρ來衡量本文方法處理后噪聲消除的程度。ρ的定義如下

式中：f1表示經本文方法處理后的噪聲面積；f2表示經形態(tài)學方法處理后或原始前景圖像未經任何處理的噪聲面積；ρ在［0 1］范圍之內，ρ越接近0表明噪聲面積減少地越多，噪聲剩余量越少，反之當ρ越接近于1時，則表明噪聲面積減少的越少，噪聲剩余量越多。

如表1所示，本文方法處理后的噪聲面積較基于混合高斯模型和幀差法提取的原始前景圖像相比，噪聲面積平均減少到了原始的0.205 68倍。同時，相對于形態(tài)學的各種操作而言，本文方法處理后的噪聲面積分別平均是開運算的0.584 34倍，閉運算的0.143 86倍，腐蝕 -膨脹的0.659 53倍。

表1 本文方法與原始前景圖像和形態(tài)學處理后噪聲減少系數Table 1 Coefficient of noise reduction about the proposed method and morphological processing

2.3.3 計算復雜度

形態(tài)學圖像處理的時間復雜度由圖像的像素維數和結構元素而定，所以從理論上講，對于a×a的結構元素在n×n維的圖像上進行一次膨脹或腐蝕運算，其時間復雜度可以用O（a2n2）來表示［11］。

本文以單元塊為計算單元，時間復雜度主要跟塊標簽n值大于閾值的單元塊個數有關。但在實際情況中此n個單元塊中的絕大多數隸屬于個別幾個獨立分離塊（這幾個獨立分離塊屬于前景部分）。這說明在實際情況下其時間復雜度是接近于O（n）（此時n個單元塊搜索累積為一個獨立分離塊，即：此原始前景圖像中標簽值sum≥k的單元塊全部為于前景區(qū)域）。

3 結束語

本文在基于幀差法和基于統(tǒng)計模型方法提取的前景圖像的基礎上，提出一種分層篩選獨立分離塊的前景圖像去噪方法。實驗結果表明：經本文方法處理后的前景圖像基本上能夠保持前景目標形狀不變，同時最大限度地消除遠離前景區(qū)域的噪聲，較形態(tài)學處理方法有較大優(yōu)勢。由于現實環(huán)境存在極大的差異性，目前尚未有一種既能夠完美保持前景所有信息而又不引入噪聲的前景圖像提取方法。盡管本文提出一個前景圖像后期去噪處理方法，但是該方法尚未能真正達到實時處理的要求，因此，未來將在實時上做進一步的研究。

［1］邊肇祺，張學工.模式識別［M］.第2版.北京：清華大學出版社，2000：1-8.

Bian Zhaoqi，Zhang Xuegong.Pattern recognition［M］.2nd Edition.Beijing：Tsinghua University Press.2000：1-8.

［2］Wen-Kai Tsai，Ming-Hwa Sheu，Chung-Chi Lin.High-accuracy background model for real-time video foreground object detection［J］.Optical Engineering，2012，51（02）.027202.

［3］Kyungnam Kim，Thanarat H，Chalidabhongse David Harwood，et al.Real-time foreground-background segmentation using codebook model［J］.ELSEVIER，2005，11（3）：172-185.

［4］Hitesh Shah，Prakash Chokalingam. Automated stroke classification in tennis［J］.Springer Link，2007，4633：1128-1137.

［5］桑恩方，沈鄭燕，卞紅雨.形態(tài)小波域聲納圖像去噪算法［J］.數據采集與處理，2010，25（3）：324-329.

Sang Enfang，Shen Zhengyan，Bian Hongyu，et al.Sonar image denoising algorithm in morphological wavelet domain［J］.Journal of Data Acquisition and Processing，2010，25（3）：324-329.

［6］何勁，李宏偉，張群.一種自適應閾值曲波圖像去噪算法［J］.數據采集與處理，2010 25（3）：336-340.

He Jin，Li Hongwei，Zhang Qun.Curvelet transform algorithm with auto-adaptive threshold to image denoising［J］.Journal of Data Acquisition and Processing，2010，25（3）：336-340.

［7］許慰玲，沈民奮，楊金耀.基于DTCWT方向信息的超聲圖像斑點噪聲消除［J］.數據采集與處理，2011，26（6）：671-675.

Xu Weiling，Shen Minfen，Yang Jinyao.Speckle reduction for ultrasound image using edge directions in DTCWT domain［J］.Journal of Data Acquisition and Processing，2011，26（6）：671-675.

［8］Serra J，Image analysis and mathematical morphology，Part 2：Theoretical Advances［M］.London：Academic Press，1988.

［9］Zhang Haojun，Chang Yong，Li Fanming，et al.Real-time embedded implementation of foreground/background segmentation algorithm［J］.Infrared and Laser Engineering，2012，41（2）：523-530.

［10］Qian Huimin，Mao Yaobin，Wang Zhiquan.SVM-based abnormal activity detection for home care［C］//Intelligent Control and Automation，WCICA 2008 7th World Congress.Chongqing：［s.n.］，2008：3766-3771.

［11］楊琨，曾立波，王殿成.數學形態(tài)學腐蝕膨脹運算的快速算法［J］.計算機工程與應用，2005，41（34）：54-56.

Yang Kun，Zeng Libo，Wang Diancheng.A fast arithmetic for the erosion and dilation operations of mathematical morphology［J］.Computer Engineering and Applications，2005，41（34）：54-56.