圖像陰影去除對Mask R-CNN-識別效果提升的研究

韋　鑫，吳燕斌,2，方　逵，何　瀟

圖像陰影去除對Mask R-CNN-識別效果提升的研究

韋鑫1，吳燕斌1,2，方逵1，何瀟1

(1.湖南農(nóng)業(yè)大學(xué)，信息與智能科學(xué)學(xué)院，湖南 長沙 410128； 2.長沙商貿(mào)旅游職業(yè)技術(shù)學(xué)院 網(wǎng)絡(luò)中心，湖南 長沙 410000)

首先，針對西瓜葉片陰影，提出了基于YCbCr顏色空間的陰影去除方法；其次，建立三個不同的訓(xùn)練集：未去除陰影的西瓜葉片圖像訓(xùn)練集D1、陰影去除的西瓜葉片圖像訓(xùn)練集D2，一半未去除陰影一半陰影去除的西瓜葉片圖像訓(xùn)練集D3；最后，利用目標(biāo)分割算法Mask R-CNN訓(xùn)練出三個識別模型M1、M2和M3。實驗表明：模型M1的識別效果最低，模型M3適中，模型M2的識別效果最佳。

陰影檢測；陰影去除；Mask R-CNN；IOU；西瓜葉片

目前陰影檢測方法可以分為基于物理模型的方法、非物理模型的方法、基于本征圖像的方法以及基于機(jī)器學(xué)習(xí)的方法[1-4]?；趨^(qū)域重光照VICENTE提出了一種陰影去除方法[5]，該方法利用內(nèi)核最小二乘支持向量機(jī)（LSSVM）來分離陰影區(qū)域和非陰影區(qū)域，對于每一個光照陰影區(qū)域?qū)?，基于陰影和非陰影區(qū)域亮度值的直方圖匹配進(jìn)行區(qū)域補光，如果無法精準(zhǔn)分割陰影與非陰影區(qū)域，利用該方法得到的去除陰影圖像會存在一個明顯的邊界，其次該方法存在較高的誤檢率。SWAMIK[6]利用一對閃光燈和無閃光燈圖像進(jìn)行陰影檢測，并對陰影區(qū)域進(jìn)行恢復(fù)，該方法為室內(nèi)圖像陰影去除方法，但只對圖像本影進(jìn)行了去除。孫靜[9]等人等根據(jù)靜態(tài)室內(nèi)環(huán)境色調(diào)的特點結(jié)合靜態(tài)室內(nèi)圖像陰影的半陰影區(qū)域的特征來檢測陰影區(qū)域的邊緣，該方法給出了一套有效的陰影邊緣檢測方法，但未給出邊緣去除方案。以上研究表明，過去陰影去除方法誤檢率較高、半影區(qū)域未檢測到、存在較強(qiáng)的陰影去除邊界，結(jié)合西瓜葉片還存在病蟲害等與陰影特征相似的干擾信息。筆者從葉片與陰影的特征差異出發(fā)，在YcbCr顏色空間下，給出了陰影檢測算法、結(jié)合重光照原理實現(xiàn)了對陰影的去除，并在此基礎(chǔ)上給出了一套完整的陰影邊界去除方案，實現(xiàn)了半影與陰影邊界的去除。

1　YcbCr下的陰影檢測方法

1.1　傳統(tǒng)YcbCr的陰影去除方法

過去針對葉片的陰影檢測研究，大部分都是基于陰影的紋理特征、亮度、色彩信息為基礎(chǔ)對陰影區(qū)域進(jìn)行檢測。傳統(tǒng)的YcbCr顏色空間的陰影去除算法可以簡單的表示為圖1所示，傳統(tǒng)的陰影去除方法可以分簡化為六個部分，首先輸入原圖像，然后將圖像轉(zhuǎn)至YCbCr顏色空間，更具陰影亮度較低這一特性，在Y通道設(shè)定閾值，實現(xiàn)陰影區(qū)域的檢測，并基于檢測的二值圖像為掩碼，利用陰影去除的算法實現(xiàn)對陰影區(qū)域的陰影去除。

圖1　傳統(tǒng)YCbCr陰影去除方法的思路圖

1.2　改進(jìn)的YcbCr的陰影檢測方法

基于YCrCr空間下改進(jìn)的陰影檢測方法實現(xiàn)步驟可以表示為如下幾個步驟：

（1）將RGB原圖轉(zhuǎn)至YCbCr顏色空間[7]，得到Y(jié)CbCr顏色空間圖像。

（2）計算出區(qū)域能量U與邊界能量V，從而進(jìn)一步計算出總能量E，利用最大流/最小割分割算法最小化能量E，實現(xiàn)對圖像的前景與背景的分割[8]。

（3）利用設(shè)定的閾值對前景區(qū)域?qū)崿F(xiàn)本影檢測，然后對檢測后的二值圖像進(jìn)行形態(tài)學(xué)腐蝕操作[9]，并對檢測為非本影的像素點，移至背景區(qū)域進(jìn)一步進(jìn)行半影的檢測，對于半影檢測完的二值圖像進(jìn)行形態(tài)學(xué)膨脹操作[10]，緊接著利用半影閾值表達(dá)式T半影Y≤υY－σY檢測背景區(qū)域，并基于閾值表達(dá)式T影Y≤υ滑Y－σ滑Y迭代整幅圖像，實現(xiàn)對半影的檢測。并對檢測的陰影區(qū)域進(jìn)行二值化，得到初步的陰影檢測二值圖像。

（4）對檢測為本影的二值圖像實行形態(tài)學(xué)開運算操作，檢測為半影的二值圖像實行形態(tài)學(xué)閉運算操作。

（5）將本影檢測區(qū)域與半影檢測區(qū)域進(jìn)行二值圖像的合并，達(dá)到最終的陰影檢測圖像。

基于YCbCr顏色空間改進(jìn)的陰影檢測框架流程如圖2所示。

圖2　基于YCbCr顏色空間的改進(jìn)陰影檢測框架圖

2　陰影與陰影邊界的去除

根據(jù)計算機(jī)視覺原理[11]，一張圖片在像素處的圖像I()為光照與反射率的乘積，在RGB顏色空間可以表示為：

()=()()+()() （1）

其中()為直接照明，()為間接(環(huán)境)照明，()和()都3三維向量，()為反射率，是一個3維向量，每個向量對應(yīng)一個通道。如果綠蘿葉片遮擋了主光源，則會在像素處產(chǎn)生陰影，因此，像素處的反射強(qiáng)度為I()shadow=()()()，其中()為光照衰減系數(shù)，()=tcos，其中表示直接照明的光線與物體表面的夾角，t為直射光的衰減因子，目標(biāo)點在陽光區(qū)域，則t=1，即I()shadow=()()cos，如果目標(biāo)點完全在陰影區(qū)域，則t=0，即I()shadow=0。

陰影檢測過程提供了一個二值化的陰影掩碼（Mask），其中每個陰影像素都被賦值為1或0。在此Mask的基礎(chǔ)上，對每個陰影像素進(jìn)行重光照，即可得到無陰影圖像。結(jié)合近景圖像的特征，設(shè)原陰影像素的值為I()，則本論文的新的像素的I()shadow_free值計算公式為：

I()shadow_free=rI(i)+D（2）

其中=L/L，可以近似等于非陰影像素亮度與陰影像素亮度的比值，為陰影區(qū)域與非陰影區(qū)域光照強(qiáng)度的差值，為陰影區(qū)域與非陰影區(qū)域光照強(qiáng)度的差值。

根據(jù)西瓜葉片的顏色特征，并結(jié)合第二章的改進(jìn)YCbCr顏色空間的陰影檢測框架圖的基礎(chǔ)上，下面給出了一套陰影去除的流程圖：第一步，將以陰影檢測二值掩碼圖為基礎(chǔ)，對原圖的相對區(qū)域進(jìn)行重復(fù)光照，實現(xiàn)對陰影區(qū)域的陰影去除；第二步，對原圖的背景區(qū)域進(jìn)行陰影邊界檢測，利用Canny[12]邊緣檢測算法實現(xiàn)，并對檢測出的邊緣區(qū)域進(jìn)行重光照，并對背景區(qū)域進(jìn)行開運算操作；第三步，對整幅圖像的背景區(qū)域進(jìn)行第二步的迭代操作。根據(jù)實驗發(fā)現(xiàn)，為減少不必要的操作，迭代5次以后方可實現(xiàn)對邊界痕跡的去除，提出的陰影去除的框架如圖3所示。

圖3　陰影去除的框架圖

圖4為利用本文提出的陰影去除方法去除西瓜葉片流程圖，圖4(a)為西瓜葉片陰影原圖，圖4(b)為YCbCr顏色空間下的西瓜葉片陰影圖，圖4(c)為前景提取后的圖片，圖4(d)為本影檢測的二值掩碼圖，圖4(e)為半影檢測的二值掩碼圖，圖4(f)為陰影去除后的陰影圖像，圖4(g)為邊緣檢測后的二值掩碼圖像，圖4 (h)為陰影去除及陰影邊緣去除后的最終圖像。

圖4　陰影的檢測與去除流程圖

3　實驗結(jié)論

以不同的訓(xùn)練集為基礎(chǔ)建立三個模型M1、M2、M3，并使用測試集數(shù)據(jù)對模型M1、M2、M3進(jìn)行的識別效果的對比以及對實驗數(shù)據(jù)進(jìn)行分析，得出以下結(jié)論。

（1）從兩次測試（T1，T2）的TPR與IOU的對比中可以看出，去除測試集圖像中的陰影，對深度學(xué)習(xí)識別模型的識別效果與測試效果具有重大的影響。

（2）模型M2與模型M3的實驗數(shù)據(jù)的進(jìn)一步對比中，假設(shè)訓(xùn)練集的復(fù)雜度對識別效果的提高為p，陰影的干擾對識別效果的降低為q，那么從模型M2與模型M3的識別結(jié)果可以得出，p

（3）在總多試驗指標(biāo)中，識別模型M2的識別效果均表現(xiàn)為最佳，模型M1的識別效果最差，模型M3識別效果適中。結(jié)合建立模型M1、M3、M2所使用的訓(xùn)練集D1、D3、D2存在的差異，不難發(fā)現(xiàn)模型M1、M3、M2識別效果逐漸增加的原因在于訓(xùn)練集陰影去除的多少有關(guān)，所使用的訓(xùn)練集陰影去除較多，則建立的識別模型具有更好的識別效果。

（4）去除圖像中的陰影，能有效地提高深度學(xué)習(xí)算法Mask R-CNN對圖像特征的有效提取，完善識別模型的識別效果，并以去除陰影的圖像建立訓(xùn)練集，并以該訓(xùn)練集訓(xùn)練模型具有良好的識別效果。

[1] DONG Q，LIU Y，ZHAO Q，et al．Detecting soft shadows in a single outdoor image：From local edge-based models to global constraints[J]. Computers & Graphics，2014( 38)：310-319．

[2] WU T P，TANG C K．A Bayesian approach for shadow extraction from a single image[C]// IEEE International Conference on Computer Vision．IEEE，2005．

[3] HUANG W，KIM K Y，YANG Y，et al．Automatic Shadow Removal by Illuminance in HSV Color Space[J]．2015．

[4] 劉杰，謝明，朱瑩瑩．雙層SVM的陰影檢測與基于窗口融合的陰影恢復(fù)[J]．計算機(jī)工程與應(yīng)用，2017，5(12)：178-184．

[5] VICENTE T F Y，HOAI M，SAMARAS D．Leave-One-Out Kernel Optimization for Shadow Detection and Removal[J]．ieee trans pattern anal mach intell，2018 (99)：682-695．

[6] SWAMI K，KHANDELWAL G，VIJAYVARGIYA A，et al. A New Method of Flash Image Shadow Detection and Patch-based Correction of Shadow Regions[C]// International Conference on Image & Vision Computing New Zealand．IEEE，2015．

[7] 孫靜，田建東，唐延?xùn)|．靜態(tài)室內(nèi)圖像投影邊緣檢測方法研究[J]．儀器儀表學(xué)報，2010，31(S2)：28-31．

[8] KANG F，WANG C，LI J，et al．A Multiobjective Piglet Image Segmentation Method Based on an Improved Noninteractive GrabCut Algorithm[J]. Advances in multimedia，2018．

[9] 王寧，陳方，于博．基于形態(tài)學(xué)開運算的面向?qū)ο蠡绿崛》椒ㄑ芯縖J]．遙感技術(shù)與應(yīng)用，2018，33(3)：520-529．

[10]羅偉，馮亮，史桐林，等．基于形態(tài)學(xué)處理與模式識別的手部圖像分割[J]．現(xiàn)代電子技術(shù)，2015(12)：80-82．

[11]李東．計算機(jī)視覺技術(shù)在工業(yè)領(lǐng)域中的應(yīng)用[J]．電子技術(shù)與軟件工程，2017(16)：147-147．

[12]FENG Y，ZHANG J，WANG S．A new edge detection algorithm based on Canny idea[C]// International Conference on Materials Science，2017．

Research on Mask R-CNN recognition rate improvement by image shadow removal

WEI Xing1, WU Yabin1,2, FANG Kui1, HE Xaio1

(1.College of Information and Intelligence, Hunan Agricultural University, Changsha, Hunan 410128, China; 2.Network Security and Information Technology Center, Changsha Commerce Tourism College, Changsha, Hunan 410116, China)

A method of watermelon leaf shadow removal is proposed based on the YCbCr color space. Three different training sets were established. The training set D1 of the watermelon leaf image without shadow removal. The training set D2 of the watermelon leaf image with shadow removal. The training set D3 of the watermelon leaf image with half-shadow removal. The target segmentation algorithm Mask R-CNN is used to train three recognition models M1, M2 and M3. The experimental results show that M1 has the lowest recognition effect, model M3 has a moderate effect, and model M2has the best recognition effect.

shadow detection; shadow removal; Mask R-CNN; IOU; watermelon leaves

S126

A

2096–8736(2020)03–0041–04

湖南省重點研發(fā)項目（2017NK2381）。

韋鑫（1986-—），男，碩士研究生，研究方向為深度學(xué)習(xí)機(jī)器視覺。

方逵（1963—），男，博士，主要從事機(jī)器學(xué)習(xí)與智慧農(nóng)業(yè)研究。