改進(jìn)的完美反射法及其在視頻偏色校正中的應(yīng)用

孫 鵬 劉 磊 李 海 王方明 郭 勇 單大國

（1 中國刑事警察學(xué)院聲像資料檢驗(yàn)技術(shù)系 遼寧 沈陽 110035；2 遼寧網(wǎng)絡(luò)安全執(zhí)法協(xié)同創(chuàng)新中心 遼寧 沈陽 110035；3 四川警察學(xué)院刑事技術(shù)系 四川 瀘州 646000）

1 引言

視頻偵查技術(shù)根據(jù)視頻記錄的客觀事實(shí)，結(jié)合時間與空間的邏輯關(guān)系，鎖定案件相關(guān)的人、車、物，提取犯罪嫌疑目標(biāo)的體貌特征、行為特征與行動軌跡，為偵查工作指明方向，是案件偵破的重要手段之一[1-2]。尤其是近年各企事業(yè)單位監(jiān)控設(shè)備、私人攝像頭以及手機(jī)等視頻采集設(shè)備的廣泛應(yīng)用，擴(kuò)大了案件相關(guān)視頻的采集范圍，為視頻偵查工作的開展提供了極大的便利。然而，受到視頻設(shè)備型號、參數(shù)設(shè)置與采集方式的多樣性，以及視頻獲取環(huán)境光照條件變化的復(fù)雜性等因素的影響，視頻不可避免的會出現(xiàn)偏色、透視變形、曝光不足以及曝光過度等問題。如何充分利用現(xiàn)有的視頻、圖像處理技術(shù)解決上述問題，對提高視頻偵查工作的效率具有非常重要的意義。

視頻偏色是影響視頻偵查工作的主要問題，廣泛存在于各類涉案視頻之中，影響視頻偵查員對視頻所記錄的犯罪嫌疑目標(biāo)顏色特征的認(rèn)定。案發(fā)現(xiàn)場的光源變化、拍攝場景的遮擋以及拍攝設(shè)備型號、參數(shù)設(shè)置的差異都會導(dǎo)致同一物體在不同時刻、不同地點(diǎn)的視頻中具有不同的色彩特征。在基于視頻中人物衣著或車身顏色的犯罪嫌疑目標(biāo)追蹤過程中，由于上述問題的存在使得犯罪嫌疑目標(biāo)在不同的視頻中的色彩特征發(fā)生變化，識別度降低，可能導(dǎo)致犯罪嫌疑目標(biāo)的錯漏，貽誤案件偵破的最佳時機(jī)，甚至錯誤的偵查方向。與此同時，視頻中犯罪嫌疑目標(biāo)的自動檢測、識別以及跟蹤是視頻偵查技術(shù)的發(fā)展趨勢，而自動檢測等技術(shù)依賴于目標(biāo)物的顏色特征，故視頻的偏色問題也會影響自動檢測等技術(shù)在視頻偵查過程中的實(shí)戰(zhàn)應(yīng)用。綜上所述，為了實(shí)現(xiàn)跨攝像頭追蹤犯罪嫌疑目標(biāo)的標(biāo)準(zhǔn)化與自動化，需要對視頻進(jìn)行偏色的校正。

為了更好的解決視頻的偏色問題，本文針對視頻中白色點(diǎn)的色彩漂移現(xiàn)象，基于相機(jī)自動白平衡理論，改變了傳統(tǒng)的白點(diǎn)檢測法中白色區(qū)域的選取策略后，增加了類白色點(diǎn)的數(shù)量，從而提出了一種用于視頻偏色校正的改進(jìn)的完美反射法。仿真實(shí)驗(yàn)表明，該方法能夠有效處理不同類型的視頻偏色問題，進(jìn)一步豐富了視頻偵查的技術(shù)體系。

2 偏色校正方法

在視頻偵查工作中對涉案視頻進(jìn)行偏色處理，常規(guī)的做法是首先提取包含犯罪嫌疑目標(biāo)的視頻關(guān)鍵幀，然后，檢測視頻關(guān)鍵幀是否存在偏色問題，如果存在則計算偏色校正系數(shù)，最后使用偏色校正系數(shù)對偏色視頻進(jìn)行校正，實(shí)現(xiàn)對視頻中犯罪嫌疑目標(biāo)色彩特征的認(rèn)定?；叶仁澜绶ê屯昝婪瓷浞ㄊ莾深愔饕钠Ｕ椒?。其中，灰度世界法認(rèn)為色彩豐富、無偏色的圖像，其RGB三色通道均值接近18度灰，即RGB三色通道像素均值相同[3]。具體實(shí)現(xiàn)過程是依據(jù)上述統(tǒng)計規(guī)律，通過比較關(guān)鍵幀RGB三色通道像素均值，并對其進(jìn)行調(diào)整實(shí)現(xiàn)視頻的偏色校正?；叶仁澜绶ㄔ砗唵?，實(shí)用性強(qiáng)，但是對于具有大面積單一色塊的視頻校正效果差，甚至使得視頻顏色失真。徐曉昭等[4]針對灰度世界法的不足，提出了基于標(biāo)準(zhǔn)差加權(quán)以及基于圖像熵約束的改進(jìn)算法，這兩種改進(jìn)算法有效的增強(qiáng)了灰度世界法的魯棒性，拓寬了灰度世界法的適用范圍。

完美反射法根據(jù)圖像中白點(diǎn)反映光源色溫這一特性，通過比較圖像中白點(diǎn)RGB三色通道像素值，計算偏色校正系數(shù)。這種方法精度高，但是當(dāng)進(jìn)行實(shí)際的視頻偏色校正時，如果關(guān)鍵幀中不存在白點(diǎn)，或白點(diǎn)存在較嚴(yán)重的色彩漂移現(xiàn)象時，偏色校正的效果較差，另外，完美反射法使用圖像中亮度最大點(diǎn)作為白點(diǎn)，使得噪點(diǎn)與高光點(diǎn)嚴(yán)重影響偏色校正結(jié)果。本文針對完美反射法選取白點(diǎn)方法的不足，提出一種改進(jìn)的完美反射法，首先在視頻中提取關(guān)鍵幀，再在關(guān)鍵幀中使用文獻(xiàn)[5]的白點(diǎn)約束方程提取白色區(qū)域，使用白色區(qū)域像素點(diǎn)計算關(guān)鍵幀的參考白點(diǎn)，然后計算偏色校正系數(shù)，進(jìn)而對所有視頻內(nèi)所有圖像幀偏色進(jìn)行校正，還原視頻中目標(biāo)物的真實(shí)顏色。

3 本文算法

對具有單一穩(wěn)定光源場景下拍攝的視頻，認(rèn)為該視頻所有圖像幀的偏色特性相同，因此選取視頻中關(guān)鍵幀進(jìn)行偏色檢驗(yàn)及計算偏色校正系數(shù)，然后使用該校正系數(shù)對視頻中所有圖像幀進(jìn)行偏色校正，實(shí)現(xiàn)對視頻的偏色校正，其過程如圖1。

圖1 視頻偏色校正流程圖

3.1 視頻預(yù)處理

視頻的預(yù)處理主要包括關(guān)鍵幀提取、對關(guān)鍵幀進(jìn)行亮度調(diào)整以及濾波等。視頻的關(guān)鍵幀提取，即從視頻F(t)中提取與案件相關(guān)的一幀圖像fk(x,y)，可使用關(guān)鍵幀提取技術(shù)進(jìn)行處理，也可以根據(jù)需要人工選取，提取得到的關(guān)鍵幀顏色豐富，存在明顯白色區(qū)域最佳。對于曝光過度或者曝光不足的關(guān)鍵幀需要調(diào)整其亮度，將關(guān)鍵幀亮度調(diào)整到正常亮度范圍，增大物體間亮度反差并更適于人眼觀察，降低亮度對白點(diǎn)檢測精度的影響，提高偏色校正精度。

濾波包括均值濾波、中值濾波以及維納濾波方法等，主要用于抑制關(guān)鍵幀的噪聲，增加偏色校正準(zhǔn)確度。本文中使用的是均值濾波法，其濾波模板g及卷積公式如下：

其中，fk(x,y)為待預(yù)處理的關(guān)鍵幀，f'k(x,y)為經(jīng)均值濾波后的關(guān)鍵幀，通過原圖fk(x,y)與濾波模板g的卷積對圖像進(jìn)行濾波，得到濾波后的關(guān)鍵幀f'k(x,y)。

3.2 白點(diǎn)檢測

使用完美反射法進(jìn)行偏色校正的主要難點(diǎn)即在于白點(diǎn)檢測，由于拍攝內(nèi)容以及拍攝時的光照條件各異，不視頻中白點(diǎn)表現(xiàn)出不同特性，因此白點(diǎn)檢測的精度是影響偏色校正準(zhǔn)確度的重要因素。文獻(xiàn)[5]在Nakano[6]和Lee[7]等的研究基礎(chǔ)上，提出在YCbCr顏色空間中構(gòu)建白點(diǎn)約束模型。YCbCr顏色空間是YUV顏色空間經(jīng)過縮放和偏移得到的一種顏色空間，與YUV空間相對應(yīng)，其Y表示圖像亮度，Cb表示圖像的藍(lán)色偏量，Cr表示圖像的紅色偏量，是一種應(yīng)用十分廣泛的顏色空間，式(3)為RGB空間與YCbCr空間的轉(zhuǎn)換公式：

文獻(xiàn)[5]綜合分析利用圖像中亮度以及圖像紅藍(lán)兩通道的偏量，提出使用公式(3)作為圖像中白點(diǎn)的約束條件：

關(guān)鍵幀f'k(x,y)中滿足式（4）的所有像素點(diǎn)即為白色區(qū)域WP，該約束條件構(gòu)建一個Cb、Cr的六邊形，使得像素點(diǎn)具有更強(qiáng)的白色特征，還考慮到亮度Y與Cb、Cr之間的關(guān)聯(lián)性，進(jìn)一步提高白點(diǎn)選取的精度。當(dāng)亮度Y較小時，Cb與Cr控制較緊，使得陰影環(huán)境等光照不足條件下的白色平面參與到偏色估計；當(dāng)亮度Y較大時，Cb與Cr控制較松，得到受光污染的白色平面，提高偏色估計精度。其中為控制白點(diǎn)選取的閾值，當(dāng)值增大時，檢測出的白點(diǎn)精度更高，參與偏色檢驗(yàn)計算的點(diǎn)減少，最終檢驗(yàn)結(jié)果對高光點(diǎn)以及早點(diǎn)的魯棒性較低，偏色校正結(jié)果精度較差；當(dāng)減小時，檢測出的白點(diǎn)增多，甚至很多其他顏色的點(diǎn)也納入到白點(diǎn)范圍內(nèi)，足夠小時，關(guān)鍵幀中所有點(diǎn)均認(rèn)為是白點(diǎn)，此時的偏色檢驗(yàn)校正算法即為灰度世界法。

3.3 偏色校正系數(shù)計算

完美反射法使用關(guān)鍵幀中亮度最大的像素點(diǎn)作為白點(diǎn)，該方法受噪點(diǎn)以及高光點(diǎn)影響大，校正精度低，因此使用2.2中提取出的關(guān)鍵幀白色區(qū)域WP，使用該區(qū)域像素點(diǎn)計算關(guān)鍵幀的參考白點(diǎn)：

其中，RW、GW、BW分別為參考白點(diǎn)的RGB三色像素值，Ri、Gi、Bi是白色區(qū)域第i個像素點(diǎn)的像素值，N為白色區(qū)域像素點(diǎn)總數(shù)。通過計算白色區(qū)域RGB三色通道像素均值得到的參考白點(diǎn)，代表關(guān)鍵幀三色通道像素值的分布規(guī)律，對關(guān)鍵幀偏色特性的反應(yīng)更加準(zhǔn)確。

根據(jù)得到的參考白點(diǎn)，使用完美反射法計算偏色校正系數(shù)：

其中，公式(6)是通過參考白點(diǎn)的RGB三色像素值計算光源亮度Y，相較于直接使用Y=255，公式(6)得到的關(guān)鍵幀光源亮度，更接近視頻拍攝時使用的光照亮度，校正后得到的視頻中目標(biāo)物更接近真實(shí)顏色，同時避免校正后視頻中出現(xiàn)高光點(diǎn)以及曝光過度。公式(7)是根據(jù)參考白點(diǎn)的RGB三色通道像素值以及參考白點(diǎn)亮度值計算偏色校正增益，其中Rgain、Ggain、Bgain分別為視頻中所有圖像幀RGB三色通道的偏色校正系數(shù)。

3.4 視頻偏色校正

視頻由一系列圖像幀ft(x)組成，而在單一穩(wěn)定光源下拍攝的完整視頻，所有圖像幀ft(x)具有相同的偏色特性，因此視頻的偏色校正即是將視頻中所有圖像幀ft(x)使用3.3中得到的偏色校正系數(shù)進(jìn)行偏色校正，即可以完成視頻的偏色校正。

公式（8）為所有視頻中圖像幀的偏色校正方法，其中R、G、B分別為所有圖像幀校正前RGB三色通道像素值，R’、G’、B’為所有圖像幀偏色校正后的RGB三色通道像素值，通過對視頻F(t)中每一圖像幀RGB三色通道像素的偏色校正，最終得到偏色校正后的視頻F'(t)。

4 實(shí)驗(yàn)仿真

4.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)設(shè)備：聯(lián)想Y50p-70筆記本電腦，運(yùn)行環(huán)境為MATLAB R2015a，偏色校正程序?yàn)楦鶕?jù)本文算法編譯，視頻采集設(shè)備為華為P7，使用手機(jī)的模式1（牛仔模式）與模式2（恬淡模式）拍攝得到偏色視頻，使用模式3（正常模式）拍攝得到正常視頻。

4.2 實(shí)驗(yàn)結(jié)果與分析

圖2為在兩組實(shí)驗(yàn)中，將視頻關(guān)鍵幀偏色校正前后的效果圖，其中(a)為手機(jī)模式3拍攝視頻關(guān)鍵幀，(b)為使用手機(jī)模式1拍攝視頻關(guān)鍵幀，(c)為對圖(b)進(jìn)行偏色校正后的效果圖，(d)為使用手機(jī)2模式拍攝視頻的關(guān)鍵幀，(e)為對圖(d)進(jìn)行偏色校正后的效果圖。通過視覺觀察，經(jīng)過本文方法進(jìn)行偏色校正后的視頻關(guān)鍵幀與正常拍攝視頻關(guān)鍵幀顏色差異變小，目標(biāo)物的顏色更接近正常拍攝視頻中目標(biāo)物顏色。

圖2 視頻偏色校正前后效果比較

第一組實(shí)驗(yàn)中，在各圖中相同位置位置處取點(diǎn)，如圖2中p1、p2、p3、p4及p5點(diǎn)，使用文獻(xiàn)[4]中的方法對偏色效果進(jìn)行評價：

其中，Cb與Cr分別為所取點(diǎn)的藍(lán)色與紅色偏量，ΔE越大，則所取白點(diǎn)偏色越嚴(yán)重。

表 第一組實(shí)驗(yàn)ΔE比較

由表可知，正常拍攝時p1點(diǎn)的ΔE為1.39，即車身為白色，使用手機(jī)模式1與模式2拍攝的視頻中，使用p2與p4點(diǎn)計算得到的ΔE均大于1.39，尤其是手機(jī)模式1下拍攝的視頻偏色嚴(yán)重，ΔE為24.85。使用本文方法對視頻進(jìn)行偏色校正后，使用p3與p5點(diǎn)計算得到的ΔE相較于未校正前明顯降低，即本文算法能實(shí)現(xiàn)視頻的偏色校正。

5 結(jié)論

視頻偵查過程中，視頻的正確預(yù)處理能提高偵查效率，實(shí)現(xiàn)視頻偵查線索的快速反饋，幫助辦案民警及時掌握案件情況，把握最佳破案時機(jī)。本文的偏色校正方法能對視頻偏色進(jìn)行校正，還原目標(biāo)物顏色，對于目標(biāo)物的跟蹤具有十分重要的作用。但是本文方法仍然是對完美反射法的改進(jìn)與應(yīng)用，雖然通過約束條件將陰影下等亮度值較小的白色區(qū)域納入偏色計算范圍，但是對于特殊的無白色區(qū)域的視頻，仍無法進(jìn)行正確的偏色校正。視頻偵查過程中遇到的視頻偏色特性復(fù)雜，難以使用單一的偏色校正方法實(shí)現(xiàn)對視頻的處理，因此，掌握多種偏色校正方法，并根據(jù)視頻實(shí)際情況選擇偏色校正方法，能提高偏色校正的準(zhǔn)確率，有利于對視頻的合理利用。