顏色空間直方圖相交法的竹條色差分類檢測系統(tǒng)研究*

阮承治，陳茜，陳旭，趙升云，孫月平，趙德安

(1. 武夷學(xué)院農(nóng)機(jī)智能控制與制造技術(shù)福建省高校重點(diǎn)實(shí)驗(yàn)室，福建武夷山，354300；2. 農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所，南京市，210014； 3. 福建省竹材工程技術(shù)研究中心，福建武夷山，354300； 4. 江蘇大學(xué)電氣信息工程學(xué)院，江蘇鎮(zhèn)江，212013)

0 引言

隨著社會和經(jīng)濟(jì)的發(fā)展，人民的生活水平和物質(zhì)需求越來越高，國內(nèi)外市場對于竹制品的消費(fèi)不斷加大[1-2]。據(jù)統(tǒng)計(jì)，2020年我國竹產(chǎn)業(yè)產(chǎn)值已達(dá)到3 084億元，竹制品在人類的生活中不可或缺[3]。竹制品加工過程中，為保證竹條色澤均勻一致性，竹條的揀選大部分仍采用人眼進(jìn)行顏色等級分類，這種方法勞動強(qiáng)度大、效率低，而且受主觀因素的影響，分類精度較低[4-5]。隨著電子信息及計(jì)算機(jī)技術(shù)的發(fā)展，機(jī)器視覺越來越廣泛應(yīng)用到竹加工的自動化與智能化領(lǐng)域，因此研究竹條色差分類圖像檢測系統(tǒng)具有重要意義[6]。

在國內(nèi)外相關(guān)學(xué)者的努力下，機(jī)器視覺在農(nóng)產(chǎn)品加工自動化與智能化中取得一定進(jìn)展。Bhargava等[7]利用圖像抓取及模糊C均值聚類分割識別分類蘋果等級及腐爛程度，該方法準(zhǔn)確率較高，可識別的蘋果種類較多，但算法運(yùn)行時間較長。Singh等[8]利用傅里葉變換和Legendre矩對竹的品種進(jìn)行分類，該方法主要針對鮮竹品種分類，對加工過程中的竹條未分類。在國內(nèi)方面，張昭等[9]通過數(shù)據(jù)挖掘算法對竹塊顏色進(jìn)行分類，但該算法需要建立模型運(yùn)行時間較長。徐信羅等[10]根據(jù)獲取的數(shù)碼相機(jī)高空圖像，采用Faster R-CNN目標(biāo)檢測算法對松材線蟲病受害木進(jìn)行識別與定位，該分類識別算法精度還可進(jìn)一步提升。盧秋芬[11]通過構(gòu)建竹條缺陷特征向量，并采用BP神經(jīng)網(wǎng)絡(luò)判斷和識別竹條缺陷，該方法在竹條色差分類檢測應(yīng)用準(zhǔn)確率較低。李建輝[12]使用機(jī)器視覺技術(shù)，設(shè)計(jì)了一種色差公式的竹條顏色分類方法，但該方法針對樣本類別色差較小時，誤判率較高。盡管以上研究取得可喜成果，然而針對竹條色差分類檢測圖像處理算法研究還是較少，且已有的相關(guān)研究實(shí)時性難以滿足系統(tǒng)要求，識別準(zhǔn)確率還需進(jìn)一步提高。

本研究是通過MATLAB圖像處理軟件進(jìn)行竹條色差分類檢測系統(tǒng)的設(shè)計(jì)。首先將竹加工過程所需要的標(biāo)準(zhǔn)竹條與樣本竹條讀入系統(tǒng)中，再將其進(jìn)行HSV顏色空間轉(zhuǎn)換，然后進(jìn)行圖像降噪預(yù)處理，并提取出樣本竹條不同顏色分量。同時，將HSV各顏色分量進(jìn)行非等間距量化，計(jì)算出相應(yīng)的特征矢量T降低維度，以得到竹條在HSV顏色空間中各分量的顏色相交直方圖，根據(jù)直方圖結(jié)果計(jì)算出對應(yīng)的相似度值，并判斷兩張竹條圖像是否存在色差。最后根據(jù)相似度值，可將所有樣本竹條進(jìn)行色差等級分類，最終可得到適用的色澤均勻的樣本竹條。

1 材料與方法

1.1 研究方法

為選取合適竹條進(jìn)行加工生產(chǎn)，本研究中的圖像處理系統(tǒng)首先將采集到的樣本竹條與標(biāo)準(zhǔn)竹條彩色圖像進(jìn)行由RGB顏色空間到HSV顏色空間的轉(zhuǎn)換，再經(jīng)過圖像的降噪預(yù)處理。其次，針對預(yù)處理后的樣本竹條與標(biāo)準(zhǔn)竹條，提取相應(yīng)的H、S、V不同顏色分量，并進(jìn)行非等間隔量化處理，求得樣本竹條與標(biāo)準(zhǔn)竹條各特征矢量T，并依據(jù)特征矢量T計(jì)算出相應(yīng)的顏色直方圖。最后通過直方圖相交法計(jì)算出兩者之間的相似度值，根據(jù)相似度值判斷樣本竹條與標(biāo)準(zhǔn)竹條之間的色差大小，依據(jù)相似度值進(jìn)行竹條色差等級分類，并最終選取出可進(jìn)行加工生產(chǎn)的無色差竹條。總體方案工作流程如圖1所示。

圖1 總體工作流程Fig. 1 Overall working flow chart

1.2 圖像采集

圖2為竹條色差分類檢測系統(tǒng)，該裝置主要由機(jī)械支撐底座、傳動機(jī)構(gòu)、被測竹條樣本、圖像采集裝置和工控機(jī)等構(gòu)成。為消除漫反射光影響，暗箱內(nèi)部和傳送機(jī)構(gòu)均采用白板背景，被檢竹條通過傳送帶傳輸至相機(jī)正下方圖像采集工位。圖像采集系統(tǒng)采用的彩色工業(yè)相機(jī)KBE-RT6200E/S，焦距3.9～85.8 mm，通光孔徑型號為F1.6-C，像面尺寸1/3，最近物距0.15 m，該相機(jī)通過USB 3.0接口與工控機(jī)進(jìn)行數(shù)據(jù)傳輸。

圖2 竹條色差分類檢測系統(tǒng)Fig. 2 Bamboo color difference classification detection system1.機(jī)械支撐 2.被檢竹條 3.定位傳感器 4.工控機(jī) 5.鏡頭 6.暗箱 7.人工光源 8.傳動機(jī)構(gòu)

處理與分析圖像的計(jì)算機(jī)處理器為Intel(R) Core(TM) i5-6500 CPU 3.20 GHz，RAM 8 GB，計(jì)算機(jī)操作系統(tǒng)為Microsoft Windows 7 旗艦版，計(jì)算機(jī)顯卡Intel(R) HD Graphics 530，采用的圖像處理軟件是Matlab R2014b。

通過該系統(tǒng)采集的圖像，選取其中11幅竹條原始彩色圖像進(jìn)行試驗(yàn)。圖3中從左至右依次為標(biāo)準(zhǔn)竹條圖像、編號1～10的樣本竹條。從左到右依次按照顏色由深到淺，與標(biāo)準(zhǔn)竹條色差由大到小進(jìn)行排列。

圖3 標(biāo)準(zhǔn)竹條與樣本竹條Fig. 3 Standard and sample bamboo strips

在后續(xù)的試驗(yàn)中是通過顏色空間直方圖相交法分別進(jìn)行1～10號樣本竹條圖像與標(biāo)準(zhǔn)竹條圖像之間的相似度計(jì)算，并進(jìn)行分類檢測。為客觀反映竹條色差真實(shí)情況以及建立相似度數(shù)值與色差等級之間關(guān)系，試驗(yàn)中將10張樣本竹條圖像與標(biāo)準(zhǔn)竹條圖像的相似度值進(jìn)行計(jì)算比較，從而判斷出相應(yīng)的色差等級，實(shí)現(xiàn)竹條色差分類等級檢測。

1.3 圖像降噪預(yù)處理

在采集竹條圖像的過程中常常會有夾雜著一些噪聲，這些噪聲往往對后續(xù)的圖像處理有著一定的影響。針對竹條圖像中的干擾信息以及無效信息，本研究中通過圖像降噪預(yù)處理的方法，最大程度還原信息有效區(qū)域，從而提高竹條圖像信息利用率，便于后續(xù)處理。

轉(zhuǎn)換的HSV顏色空間竹條圖像采用中值濾波降噪，結(jié)果顯示降噪后圖像細(xì)節(jié)部分有較好的處理效果，并保留了圖像邊緣細(xì)節(jié)信息以及較為豐富的紋理。因此，本研究中采用中值濾波對竹條圖像進(jìn)行降噪預(yù)處理。以10號樣本竹條為例，可得到HSV分量圖像中值濾波結(jié)果如圖4所示。

圖4 HSV分量圖像中值濾波結(jié)果Fig. 4 Median filtering result of HSV component image

1.4 顏色空間直方圖相交法

1.4.1 竹條顏色空間轉(zhuǎn)換

針對存在色差的竹條圖像的顏色空間選擇，RGB顏色空間存在均勻性、穩(wěn)定性差的問題，與人工分類檢測的結(jié)論存在較大誤差，因此要將RGB顏色空間轉(zhuǎn)換成更適用于竹條圖像色差分類檢測的HSV顏色空間[13-15]。

首先對RGB顏色空間進(jìn)行歸一化處理，再在HSV顏色空間中找到與之相對應(yīng)的H、S、V三個分量的點(diǎn)坐標(biāo)[16-17]。其轉(zhuǎn)換公式如式(1)～式(5)所示。

m=max(R,G,B)

(1)

n=min(R,G,B)

(2)

V=m

(3)

(4)

(5)

式中：R、G、B——顏色空間歸一化處理結(jié)果，取值范圍為[0,1]；

m——R，G和B分量中的最大值；

n——R，G和B分量中的最小值；

V——亮度，其取值范圍均為[0,1]；

S——飽和度，其取值范圍均為[0,1]；

H——角度的色相角，H∈[0,360)。

1.4.2 顏色直方圖

對竹條圖像進(jìn)行相似度判斷是將標(biāo)準(zhǔn)竹條與樣本竹條的顏色直方圖公共區(qū)域進(jìn)行對比。設(shè)一幅圖像包含M個像素，圖像的顏色空間被量化成為N個不同顏色。

pi=hi

(6)

式中：hi——第i種顏色在整幅圖像中具有的像素?cái)?shù)；

pi——H顏色直方圖。

顏色直方圖歸一化如式(7)所示。

(7)

式中：pi′——?dú)w一化后H顏色直方圖。

則直方圖分量相交的距離如式(8)所示。

(8)

式中：M(i)、N(i)——兩個含有k個BIN的直方圖的分量，其中i=1,2,3,…,k；

D(M,N)——直方圖分量相交的距離。

直方圖相交是指兩個直方圖在每個BIN中共同含有的像素個數(shù)，通過將所求像素個數(shù)與其中一個直方圖所包含的所有像素個數(shù)進(jìn)行求比來實(shí)現(xiàn)標(biāo)準(zhǔn)化，得以控制其值在[0,1]范圍內(nèi)[18]，如式(9)所示。

(9)

式中：D′(M,N)——?dú)w一化處理后的結(jié)果，其取值范圍為[0,1]。

1.4.3 直方圖相交法

將兩個圖像經(jīng)過RGB顏色空間轉(zhuǎn)換為HSV顏色空間后，直方圖矢量的維數(shù)較多，將采取量化的方式處理所采集到的圖片[9,19]。

將顏色空間中的H、S、V三個分量進(jìn)行非等間距量化，分別以8、3和3為間距，進(jìn)而再依據(jù)人眼對顏色的主觀認(rèn)知以及所處不同區(qū)間的顏色量化H、S、V三個分量。具體量化公式如式(10)～式(12)所示。

(10)

(11)

(12)

通過合成各顏色分量構(gòu)造一維特征矢量T，降低三個分量的維數(shù)，如式(13)所示，T的取值范圍為[0, 255]。

T=HQSQV+SQV+V

(13)

式中：QS——分量S的量化級數(shù)；

QV——分量V的量化級數(shù)。

假設(shè)標(biāo)準(zhǔn)竹條為E，根據(jù)式(14)可得新的一維顏色直方圖HE。

HE=size[find(T=i),1]

(14)

對T進(jìn)行歸一化處理后可將HE中的各個元素Ei的取值范圍轉(zhuǎn)變?yōu)閇0, 1]之間。

假設(shè)F為樣本竹條，通過同樣的方法得到F的顏色直方圖HF，可求得兩幅竹條圖像的相似值，最后進(jìn)行相應(yīng)的相似度判斷。該過程計(jì)算如式(15)所示。

(15)

式中：Sim(E,F)——標(biāo)準(zhǔn)竹條E和樣本竹條F的相似程度。

1.5 夾角余弦相識法

夾角余弦相似法是將兩幅圖像轉(zhuǎn)化成兩個向量的形式，然后再計(jì)算兩個向量的余弦值來判斷兩幅圖像是否相似的一種顏色分類檢測方法[20-22]。本研究中運(yùn)用該方法作為對比試驗(yàn)，其具體的檢測步驟如下。

首先系統(tǒng)讀入兩張采集的圖像A、B，通過一系列的降噪預(yù)處理以及圖像分割處理后，將處理后的圖像A、B分別轉(zhuǎn)換為灰度圖像直方圖。

然后再分別將圖像A、B的灰度直方圖劃分為64個區(qū)，這時的每個區(qū)域代表的是4個連續(xù)的灰度等級。

接著對每個區(qū)的4個值進(jìn)行求和運(yùn)算，這時會得到一個數(shù)據(jù)，如此進(jìn)行64次就會分別得到64個數(shù)據(jù)，此時圖像A的64個數(shù)據(jù)構(gòu)成該圖像的一個向量pi。

同樣的，圖像B的64個數(shù)據(jù)也構(gòu)成向量qi，即求兩幅圖像A、B的相似度轉(zhuǎn)換為求兩個向量pi和qi之間的余弦值大小來判定圖像之間的相似度大小。

因此，可用兩個向量的夾角余弦值來計(jì)算圖像相似度。通過以上分析可知，夾角余弦相似法中夾角越小，則相似度值越大，則表示兩個向量越相似，圖像所對應(yīng)的顏色色差越小。

2 結(jié)果與分析

2.1 試驗(yàn)結(jié)果

本研究中分別采用顏色空間的直方圖相交法和夾角余弦相似法兩種方法進(jìn)行竹條分類檢測對比試驗(yàn)。因文章篇幅有限，試驗(yàn)選取6號樣本竹條與10號樣本竹條為例，求得它們的H、S、V各分量相交直方圖，如圖5所示。

由第一種方法所得10個樣本竹條的相似度值如表1所示，由第二種方法所得10個樣本竹條的夾角余弦值以及余弦角如表2所示。

表1 樣本竹條相似度數(shù)值Tab. 1 Similarity values of sample bamboo strips

圖5 標(biāo)準(zhǔn)竹條與樣本竹條各顏色分量的相交直方圖

Fig. 5 Intersecting histogram of each color component of standard and sample bamboo strips

表2 樣本竹條與標(biāo)準(zhǔn)竹條之間余弦值Tab. 2 Cosine value between sample and standard bamboo

2.2 竹條分類檢測結(jié)果分析

在HSV顏色空間中，由圖5可以直觀得到10號樣本圖像與標(biāo)準(zhǔn)圖像的H、S、V三個分量相交直方圖中所包含的公共像素點(diǎn)明顯多于6號樣本圖像與標(biāo)準(zhǔn)圖像的H、S、V三個分量相交直方圖中所包含的公共像素點(diǎn)，因此可以得到10號樣本圖像與標(biāo)準(zhǔn)圖像之間的色差小于6號樣本圖像與標(biāo)準(zhǔn)圖像之間的色差。

通過HSV顏色空間的直方圖相交法，可計(jì)算出各樣本竹條與標(biāo)準(zhǔn)竹條之間的相似度，如表1所示。根據(jù)表1可以明顯得到，1號樣本竹條與標(biāo)準(zhǔn)竹條之間的相似度最小，10號樣本竹條與標(biāo)準(zhǔn)竹條之間的相似度最大。由此可以得到：在其他條件相同的情況下，樣本竹條與標(biāo)準(zhǔn)竹條之間相似度越大，則樣本竹條與標(biāo)準(zhǔn)竹條之間色差越小。

通過夾角余弦相似法可計(jì)算出各樣本圖像與標(biāo)準(zhǔn)圖像之間的夾角余弦值，并將余弦值轉(zhuǎn)換為余弦角，結(jié)果如表2所示。根據(jù)表2可以得到，1號樣本竹條與標(biāo)準(zhǔn)竹條之間的夾角余弦值最小，所轉(zhuǎn)換得到的余弦角最大；反之，10號樣本竹條與標(biāo)準(zhǔn)竹條之間的夾角余弦值最大，所轉(zhuǎn)換得到的余弦角最小。由此可以得到：在其他條件相同的情況下，樣本竹條與標(biāo)準(zhǔn)竹條之間夾角余弦值越大或余弦角越小，則樣本竹條與標(biāo)準(zhǔn)竹條越相似，色差越小。

但是由于竹條圖像灰度夾角余弦相似法是對兩個向量的長度做歸一化處理，該方法只考慮向量方向是否一致而不考慮向量的大小，若兩個向量方向一致，則將樣本竹條認(rèn)為是與標(biāo)準(zhǔn)竹條相似的，由此可知余弦相似度對特定值的絕對值大小不敏感[22]。同樣的，根據(jù)表2所得的樣本竹條7號與8號，夾角余弦測量結(jié)果具有一定的誤差，因此，在該研究中選用運(yùn)行速度更快、操作更方便、得到的結(jié)果較直觀準(zhǔn)確的HSV顏色空間的直方圖相交法進(jìn)行竹條色差分類檢測。

同時，通過多次試驗(yàn)顏色空間的直方圖相交法以及人工經(jīng)驗(yàn)的觀察，可以得到當(dāng)相似度為0.93以上或余弦角小于22°，肉眼無法察覺出其存在色差，所以當(dāng)兩個竹條之間的相似度為0.93以上或余弦角小于22°時，可以稱其樣本竹條與標(biāo)準(zhǔn)竹條不存在色差。同樣的，當(dāng)相似度值在0.93以下或余弦角大于22°的部分存在人眼可接受色差，由工廠工人挑選出的兩個竹條相似度為0.88以上或余弦角小于32°的竹條可歸于可接受范圍內(nèi)色差。故基于試驗(yàn)分類檢測結(jié)果將相似度值與余弦角進(jìn)行色差等級分類，結(jié)果如表3所示。

將竹條相似度與色差建立起相應(yīng)的關(guān)系，等級越低，相似度越低則色差越大[12]。對于一級色差，則代表樣本竹條與標(biāo)準(zhǔn)竹條之間不存在色差；對于二級竹條而言，則代表樣本竹條與標(biāo)準(zhǔn)竹條之間存在微小色差，屬于可接受色差范圍之內(nèi)；對于三級竹條而言，則代表樣本竹條與標(biāo)準(zhǔn)竹條之間存在較大的色差。

表3 相似度值量化色差等級Tab. 3 Similarity value quantization chromatic aberration grade

從人工經(jīng)驗(yàn)分類所得的3個不同等級的180個樣本竹條中隨機(jī)選取出90個樣本竹條進(jìn)行測試，每個等級選取30個樣本竹條。通過比較兩種方法的運(yùn)行速度，并將計(jì)算機(jī)分級和人工分級的比值作為識別正確率，試驗(yàn)結(jié)果如表4所示。

表4 分類檢測結(jié)果對比Tab. 4 Comparison of classification detection results

通過表4可以得到，對人工識別分類所得的一級、二級、三級竹條進(jìn)行直方圖相交法分類檢測可以得到其識別正確率分別為86.67%、93.33%、96.67%，其平均識別正確率為92.22%，平均運(yùn)行時間為536 ms。而通過夾角余弦相似法得到的識別正確率分別為80.00%、90.00%、93.33%，其平均識別正確率為87.78%，平均運(yùn)行時間為1 466 ms。相比夾角余弦相識法，平均識別正確率提高了4.44%，而平均運(yùn)行時間下降了63.44%。通過表4所得數(shù)據(jù)，可以明顯得到顏色空間直方圖相交法更適用于竹條色差分類的研究，運(yùn)行速度更快，并且識別正確率較高。

3 結(jié)論

竹加工過程中，采用人工對竹條進(jìn)行色差分類的方式工作強(qiáng)度大，而且工作效率和精度難以保障。因此，本研究提出一種HSV顏色空間直方圖的竹條色差分類檢測系統(tǒng)。該系統(tǒng)將帶有色差的竹條作為研究對象，通過采集顏色由深到淺的竹條進(jìn)行色差分類檢測，在同一光源下通過工業(yè)相機(jī)采集大小相同，位置相同的竹條，然后進(jìn)行HSV顏色空間轉(zhuǎn)換，再通過中值濾波對竹條圖像進(jìn)行預(yù)處理并提取不同顏色分量；再在HSV顏色空間中提取竹條圖像相關(guān)色彩特征數(shù)據(jù)，并得到HSV顏色空間中竹條各分量的顏色相交直方圖，同時計(jì)算出相應(yīng)的相似度值；通過比較其相似度值的大小，對竹條進(jìn)行色差分類并使其與色差等級建立一定的關(guān)系；最后，根據(jù)對處理后的竹條圖像進(jìn)行色差分類檢測試驗(yàn)。

試驗(yàn)結(jié)果表明，對一級、二級和三級竹條進(jìn)行色差分類檢測，采用本文方法識別正確率分別為86.67%、93.33%、96.67%，平均識別正確率為92.22%，平均運(yùn)行時間為536 ms。相比較夾角余弦相似法，平均識別正確率提高了4.44%，而平均運(yùn)行時間下降了63.44%。從試驗(yàn)結(jié)果看，本文方法相比較傳統(tǒng)夾角余弦相似法，在識別正確率及運(yùn)行時間上均有一定的優(yōu)勢，可為竹制品加工的自動化與智能化提供理論基礎(chǔ)與技術(shù)支持。