基于圖像處理的番茄表面高光去除方法

阮子行，黃 勇，王 夢，史 強，張金玲

（1.新疆工程學院機電工程學院 烏魯木齊 830023；2.新疆農(nóng)業(yè)大學機電工程學院 烏魯木齊 830052）

新疆一直被稱為水果之鄉(xiāng)，種植的番茄等水果具有獨特的天然優(yōu)勢：晝夜溫差大并且晝長夜短，雨水較少，十分有利于番茄生長與抵抗病蟲害。獨特的環(huán)境氣候為大規(guī)模番茄種植、加工創(chuàng)造了有利的條件，番茄加工產(chǎn)業(yè)也是新疆獨特的“風景”[1]。由于現(xiàn)代機械自動化設(shè)備的快速發(fā)展，圖像處理技術(shù)早已應用在水果種植、采摘、加工等一系列過程中。將圖像處理技術(shù)應用在水果質(zhì)量分揀過程中[2-4]，代替?zhèn)鹘y(tǒng)的人工方式，可以更好地解放生產(chǎn)力，降低生產(chǎn)成本，并且避免人工長時間工作導致分揀質(zhì)量不一致而影響產(chǎn)品質(zhì)量的情況。圖像采集過程中，圖像質(zhì)量與環(huán)境有著密切的關(guān)系，特別是環(huán)境光照成為影響機器視覺應用成功的關(guān)鍵因素之一。

在生活中，由于環(huán)境光照不均勻，會使得番茄表面出現(xiàn)塊狀高光亮斑，高光會一定程度地掩蓋物體本身的顏色、紋理等視覺特征，可能會導致算法將高光的區(qū)域誤判成缺陷或其他特征，降低圖像識別、目標檢測以及場景判斷的精確度和魯棒性，給后期處理帶來無法忽視的阻礙。鄭利華等[5]在HSV空間修正高光區(qū)域，通過多項式修正V 值，直方圖修正H 值，低于閾值的S 分量在動態(tài)范圍內(nèi)壓縮，從而實現(xiàn)高光區(qū)域的消除，這是一種比較簡單常用的修正方式，效果也十分明顯。Yang 等[6]通過采集多視角的圖像，利用多張圖像合成的方式去除引起高光的鏡面反射分量。Feng 等[7]提出了一種基于固有分解和二色反射模型將不飽和像素與色散聯(lián)系起來的無監(jiān)督k-means 聚類方法來恢復不飽和高光。同時，設(shè)計了一種自適應方向方法以及高斯概率分布模型來恢復飽和高光。王祎璠等[8]通過顯著性模型，檢測物體上的高光區(qū)域，利用改進算法將高光圖像的鄰域和邊緣像素信息，對檢測出的高光區(qū)域進行修復。

筆者提出一種結(jié)合圖像分割、圖像濾波和圖像融合的高光去除方法。設(shè)計思路為首先分析高光特性，選擇合適的顏色空間提取番茄表面高光區(qū)域，其次使用圖像均值濾波的方式處理高光區(qū)域，最后將處理后的高光區(qū)域和原圖像中非高光區(qū)域進行圖像融合，研究結(jié)果可為番茄的檢測、識別相關(guān)算法提供一定的技術(shù)支持。

1 材料與方法

1.1 高光提取

1.1.1 高光性質(zhì) 根據(jù)雙色反射模型[9]，反射分為兩類，一類是為漫反射，如圖1 中左圖所示，當光線照射到不平整的物體表面時，光線會向著各個方向發(fā)射，光線均勻分散，不會出現(xiàn)局部光線過于強烈。另一類則是鏡面反射，如圖1 中右圖所示，當光線照射到平整的表面時，光線朝著一個方向傳播，就會一定程度導致光線過于強烈，出現(xiàn)高強度白色亮斑，稱之為高光。

圖1 漫反射（左）和鏡面反射（右）

1.1.2 試驗環(huán)境 筆者試驗所用的所有番茄樣本均采集于新疆烏魯木齊番茄市場，品種為里格爾87-5 和石番15 號，采用一加8 手機完全隨機采集3張番茄圖片并進行3 次重復試驗求平均值。試驗時間為2021 年7－9 月，試驗地點為新疆工程學院實驗室。所用試驗環(huán)境如下：電腦操作系統(tǒng)為64位Win10 家庭版，圖像處理軟件平臺采用Matlab2020a，圖像分析軟件采用Image-Pro Plus6.0，采用三星16 G 內(nèi)存、三星512 G 固態(tài)硬盤。

1.1.3 顏色空間選擇 顏色空間的選擇對精準分割出番茄表面的高光區(qū)域至關(guān)重要。圖2 中番茄表面出現(xiàn)的白色斑點則為高光亮斑。

圖2 番茄高光圖片展示

根據(jù)統(tǒng)計發(fā)現(xiàn)白色亮斑處亮度值高或飽和度低。選擇在RGB、HSV、HSI、YIQ 等常見顏色空間進行特征獲取，在RGB、HSV、HSI、YIQ 的顏色空間中，RGB 空間中圖像亮度信息是由R、G、B 值三者共同決定的，光線亮度變化對R、G、B 3 個值影響是顯著的[5]，無法將亮度信息從RGB 模型中單獨分離出來，所以在RGB 模型空間中完成高光去除，其算法的魯棒性也較差。

在HSV 空間、HSI 空間、YIQ 空間中，亮度參數(shù)獨立于顏色特征，在HSV 空間、HSI 空間中，顏色主要由色調(diào)參數(shù)H 決定，YIQ 空間中顏色由I（色彩從橙色到青色）、Q（色彩從紫色到黃綠色）參數(shù)共同決定。HSV 空間的飽和度S 和明度V，HSI 空間的飽和度S 和亮度I，以及YIQ 空間的亮度Y 分量都將決定亮度特征[10-11]。故將以上3 個空間作為高亮區(qū)提取的待選空間。在圖2 中截取局部高光區(qū)域，分析番茄表面高光與非高光區(qū)域的參數(shù)區(qū)別，選擇與高光更相近的青番茄果實區(qū)域為背景，更便于發(fā)現(xiàn)高光區(qū)域與背景的特征參數(shù)區(qū)別。

根據(jù)Image-pro plus 6.0 軟件獲得高亮區(qū)與背景在各個空間參數(shù)。由圖3 可以看出，在HSI 空間的飽和度S 和亮度I，HSV 空間的飽和度S 和明度V 以及YIQ 空間的Y 值在高光區(qū)與非高光區(qū)均有明顯的幅度變化，說明通過這些變量分割高光區(qū)與非高光區(qū)存在可行性。

圖3 番茄高光區(qū)各空間分量值分布

根據(jù)軟件統(tǒng)計可以得到圖2 中番茄的高亮區(qū)數(shù)據(jù)范圍，得到相對應的閾值，在HSV 空間中的V值分布在200～255，S 值分布在0～165，HSI 空間I值分布在165～255，S 值分布在0～165，YIQ 空間中的Y 值分布在195～255，通過3 個空間相關(guān)分量的閾值范圍將高光區(qū)分割出來。

使用分割函數(shù)將區(qū)域分割出，函數(shù)模型定義為：

式中T為各空間最優(yōu)閾值。

在這3 個不同的空間中進行試驗，試驗結(jié)果見圖4。通過3 個空間中的分量的閾值范圍，將高光區(qū)分割出來，圖像高光區(qū)被分割出后，高光區(qū)以亮度值0 賦予，此刻高光區(qū)域顯示為黑色，非高光區(qū)保持番茄原來的樣貌。如圖4 所示，高光區(qū)是一個非規(guī)則的區(qū)域。通過YIQ 空間中的Y 分量分割，很多高光區(qū)并未分割出來，而青果上出現(xiàn)部分過度分割的現(xiàn)象，整體效果不如HSV 空間和HSI 空間的雙閾值分割的效果。HSV 空間和HSI 空間進行分割的效果對比中，HSV 空間將更多的細微的高光區(qū)域分割出來，視覺效果相對更好。

圖4 番茄高光區(qū)對應HSV、HSI 和YIQ 空間處理效果

分別統(tǒng)計YIQ、HSI 和HSV 3 個空間分割出的高光區(qū)像素數(shù)目與手工標記出的像素數(shù)目并進行對比，取圖2（像素數(shù)4000×3008）得到對應統(tǒng)計數(shù)據(jù)（表1）。

表1 不同空間效果對比

通過MATLAB 計算出不同空間分割方法的像素數(shù)占比，由表1 可見，相對YIQ 空間和HSI 空間，在HSV 空間的錯檢率分別下降0.13%和0.01%，漏檢率也分別下降0.25% 和0.11%，高光像素的錯檢率和漏檢率都相對較低，說明選擇在HSV 空間分離高光分量的精確度更高。

1.2 高光去除

番茄外形主要為類似橢圓的形狀，凸起的弧面使得表面高光區(qū)域主要分布在相對靠近形狀的中心位置，且呈現(xiàn)狹長的形狀分布。由于一般圖像都具有局部連續(xù)性，這些都為均值濾波實現(xiàn)高光消除提供了前提。

如果把一個二維的數(shù)字圖像當作一個二維函數(shù)f（x，y），函數(shù)中x值和y值便是每個像素所在的空間位置坐標，故稱為空間域。在此空間實行的濾波稱之為空間域濾波。濾波的過程就是模板中心點在圖像f（x，y）中依次移動，當模板中心點與圖像f（x，y）的像素點（x，y）重合時，濾波器在此處進行數(shù)學邏輯計算[12]，計算邏輯是根據(jù)模板中的內(nèi)容，通過事先給定的函數(shù)關(guān)系R進行計算[13]，當模板采用3×3 的模板W時公式如下：

根據(jù)高光區(qū)的像素值由臨近非高光區(qū)像素值代替，實現(xiàn)高光消除為思路，為此采用均值模板進行掩膜濾波。均值模板要求參與決定新像素g（x，y）的所有領(lǐng)域的像素值的權(quán)重均為1，則在領(lǐng)域中每個像素的貢獻值都相同，即要保證整個模板系數(shù)相同并且系數(shù)和為1，故在計算后需要除以參與計算的像素數(shù)目[14]，使得新圖像的灰度值與原來圖像保持一致，這里采用一個（2K+1）×（2K+1）的正方形模板SE，模板公式如下：

其中，2K+1 表示濾波核的大小，K為正整數(shù)。

設(shè)定模板SE大小時，模板過小，會出現(xiàn)高光像素周圍不存在非高光像素的情況，則無法進行有效的全部消除高光；模板過大就會造成不必要的像素模糊。為了避免出現(xiàn)以上2 種情況，保證圖片的整體質(zhì)量，需要使得模板SE掩蓋在高光區(qū)時，模板僅存在較少的像素在非高光區(qū)，進行高光消除的同時圖像的模糊程度得到控制。

通過圖5 可見，均值模板濾波后的圖像與原圖像進行對比可以發(fā)現(xiàn)高光區(qū)域已經(jīng)被周圍非高光區(qū)填補，但是整個圖片高頻細節(jié)也隨之消失，使得整幅圖模糊不清。

圖5 均值濾波效果

1.3 融合算法

平均模板濾波也是一種減少和抑制噪聲的數(shù)字圖像處理手段，整幅圖進行濾波后會造成非高光區(qū)域的高頻率細節(jié)信息特征丟失，使得整體模糊不清。所以將圖片進行濾波，高光區(qū)域填補后，再次分割出高光區(qū)域如圖6-A 所示，該區(qū)域由周圍像素填充。濾波填充后高亮區(qū)域A 圖與原非高亮區(qū)域B 圖進行疊加融合，綜合2 幅輸入圖像的信息，與融合前的2 幅圖像相比，獲得更高質(zhì)量的輸出圖像，得到一張去除高光且保留非高光細節(jié)的圖像，如圖6-C 圖所示。

圖6 番茄高光區(qū)融合

2 結(jié)果與分析

2.1 高光消除的定性與定量分析

通過高光提取、高光消除和圖像融合實現(xiàn)番茄表面的高光消除。并以此方法進行3 組示例試驗，對比表面高光消除前后的效果，如圖7 所示。

圖7 中3 個示例中高光消除前后對比，可以看到通過該方法高光區(qū)域得到了明顯的去除，定性表明該方法在番茄表面具有較好的去除高光效果。圖8 依次為圖7 中的灰度值結(jié)果，可以看出，圖8-A即示例1 中處理前灰度值在210～250 之間的像素、圖8-B 即示例2 中處理前灰度值在180～250 之間的像素和圖8-C 即示例3 中處理前灰度值在170～250 之間的像素值在處理后均已消失。此范圍也就是高光區(qū)域所在范圍，由此可以定量證實該方法去除高光的可行性。

圖8 高光處理前后灰度值對比

2.2 圖片品質(zhì)分析

前兩組試驗是對多個番茄重疊集中的圖片進行分析，高光區(qū)呈現(xiàn)的形狀主要是零散的狹長光斑，高亮區(qū)相對不明顯。采用該試驗方法對單顆番茄進行試驗，結(jié)果如圖7-C 即示例3 所示，效果依舊明顯，番茄高亮區(qū)呈圓形，且高亮區(qū)數(shù)目較少但占整個番茄比重較大，目標背景存在枝葉的情況復雜。由處理前后的圖片對比可以看出高光區(qū)域被很好地消除，灰度直方圖也顯示高光區(qū)域被去除，說明該方法在此類情況下效果依舊較好。為進一步評價高光去除后的圖像品質(zhì)，在其中引入了峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）2 種全參考的圖像品質(zhì)評估指標。

峰值信噪比由于便于計算和理解被普遍使用，單位為dB。結(jié)構(gòu)相似性主要從圖像的亮度、對比度、像素結(jié)構(gòu)3 個角度來對比2 幅圖像的相似程度。筆者試驗中的3 幅圖的峰值信噪比值（PSNR）和結(jié)構(gòu)相似性（SSIM）統(tǒng)計結(jié)果如表2 所示。

表2 質(zhì)量評價指標數(shù)據(jù)

筆者的算法與其他算法的峰值信噪比值（PSNR）和結(jié)構(gòu)相似性（SSIM）對比結(jié)果如表3 所示。與參考文獻7 中的方法相比，筆者的算法對應的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）兩個指標相對參考文獻7 中方法有大幅度提高，可見筆者的方法在視覺上和圖像質(zhì)量數(shù)據(jù)分析上均具有良好的有效性。

表3 質(zhì)量評價指標數(shù)據(jù)對比

3 討論與結(jié)論

目前對番茄表面的高光消除的研究并不多，筆者提出一種基于顏色空間的番茄表面高光消除方法，該方法利用HSV 空間的S 和V 分量進行高光區(qū)域分割，利用均值濾波去除高光，并試驗證明該方法的可行性。鄭利華等[5]、王中任等[15]均通過在顏色空間進行直方圖均衡化和多項式調(diào)校，實現(xiàn)高光區(qū)域的消除，其優(yōu)勢是方法簡單效果明顯，但是控制的變量較多。Yang 等[6]通過多視角圖像合成的方式去除高光分量，在實際情況下多視角圖片通常不易采集。

李明悅[16]將高光稀疏性與帶有稀疏性約束的非負矩陣分解問題相結(jié)合，從而實現(xiàn)高光消除。Feng等[7]提出了一種基于固有分解和二色反射模型將不飽和像素與色散聯(lián)系起來的無監(jiān)督k-means 聚類方法。兩者均將高光問題轉(zhuǎn)為數(shù)學模型求解高光分量實現(xiàn)高光的消除，該方法相對較為復雜，不方便操作。王祎璠等[8]通過顯著性模型，對檢測出的高光區(qū)域進行修復。筆者的方法對顏色空間的閾值進行分割，不影響非高光區(qū)的信息特征，僅針對高光區(qū)域進行處理，對圖片整體信息影響較小。筆者的研究針對番茄表面高光的消除方法，相比其他方法更加簡單方便且實時性更強，但是當出現(xiàn)大面積高光時存在高光中心區(qū)域的像素值偏差較大的問題。該方法在單個番茄和多個番茄聚集高光面積較小的情況下都有較好的去高光效果，在番茄識別檢測領(lǐng)域具有一定的應用前景。