基于多層感知機(jī)的木材顏色分類

莊子龍，劉 英，沈鷺翔，丁奉龍，王爭光

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037)

1 木材顏色圖像處理的國內(nèi)外相關(guān)研究

木材具有很多優(yōu)良的性質(zhì)，如調(diào)濕特性、隔聲吸音特性、對熱和電的絕緣性等，使得木材在家具行業(yè)中有著廣泛的運用。木材表面的重要參數(shù)有木材的色彩和紋理，木材的顏色特征可以很好地描述木材的整體外觀特征，作為木材種類、等級分選的重要依據(jù)。目前對木材顏色進(jìn)行分類主要靠人工進(jìn)行，這種分選工作效率不高，需要工人豐富的經(jīng)驗，作業(yè)效率也容易受到工人狀態(tài)的影響，而通過圖像識別進(jìn)行木材的顏色分選可以大大提高木材顏色分選的效率和準(zhǔn)確性，滿足木材加工企業(yè)生產(chǎn)的需要。

國內(nèi)外利用機(jī)器視覺對木材進(jìn)行評估的研究很多。Yusof等[1]提出了Gabor濾波器從單個圖像生成多個處理后的圖像，以便通過神經(jīng)網(wǎng)絡(luò)提取和訓(xùn)練更多特征。Pramunendar等[2]使用自調(diào)整MLP分類器(AutoMLP)和支持向量機(jī)(SVM)進(jìn)行椰子木質(zhì)量分類的實驗工作。Francesco Bianconi等[3]通過實驗研究和比較各種顏色描述符、顏色空間的性能發(fā)現(xiàn)簡單而緊湊的顏色描述符與更復(fù)雜的特征一樣準(zhǔn)確。Yadav等提出了一種基于紋理特征的硬木樹種分類方法。Yadav等[4]集成了局部二值模式(local binary pattern，LBP)、局部配置模式(local configuration pattern，LCP)、局部相位向量化(local phase quantization，LPQ)和高斯圖像金字塔(GIP)，從而提高了分類精度。Barmpoutis等[5]把每張圖片看作一組多維信號，按照垂直方向和平行方向?qū)⒚繌垐D片按照圖片大小、通道數(shù)、尺寸分割成小塊，然后對每個小塊創(chuàng)建木材圖像的直方圖表示，創(chuàng)建出一個新的描述符即V-H描述符，并用SVM分類器進(jìn)行分類。Hu等[6]研究了基于ResNet18的深度學(xué)習(xí)策略將木材圖像調(diào)整為256×256像素，研究局部分類。通過四個數(shù)據(jù)集進(jìn)行了獨立測試，其中80%的數(shù)據(jù)用于訓(xùn)練，20%的數(shù)據(jù)用于測試，該方法對每個數(shù)據(jù)集的分類準(zhǔn)確度分別為98.16%、93.32%、96.64%和99.50%。當(dāng)系統(tǒng)在Nvidia GTX860 GPU上運行時，對木材圖像進(jìn)行分類的平均時間為0.003 s。刁智多[7]選取顏色特征和缺陷特征進(jìn)行融合得到最終的分選特征，然后采用人工魚群神經(jīng)網(wǎng)絡(luò)、FNN神經(jīng)網(wǎng)絡(luò)作為木材分選分類器，人工魚群神經(jīng)網(wǎng)絡(luò)分類器效果更好，準(zhǔn)確率達(dá)到95%，分類時間0.073 8 s，利用動態(tài)閾值分割，特征篩選和形態(tài)學(xué)處理識別圖片中的木板區(qū)域。李暉[8]構(gòu)建多層神經(jīng)網(wǎng)絡(luò)分類器完成分類任務(wù)，采用30×10的小尺寸模板和170×30的大尺寸模板進(jìn)行紋理提取，實測準(zhǔn)確率為 94.17%。李超等[9]在Lab顏色空間內(nèi)提取木材顏色低階矩特征，應(yīng)用紋理填充方法完成缺陷圖像的分割，應(yīng)用Contourlet 變換提取紋理特征，通過設(shè)計SVM 分類器完成顏色、缺陷和紋理分類。

目前，國內(nèi)外使用機(jī)器視覺對木材表面進(jìn)行無損檢測的研究很多，對于木材表面顏色檢測評估的方法也很多，但對木材的研究大多都是對不完整的木板圖片進(jìn)行分析。而對整塊木板的評估應(yīng)該立足于整體特征的評估，對木材片面的取樣會導(dǎo)致對木材質(zhì)量評估的不準(zhǔn)確甚至錯誤。本文通過滾動引導(dǎo)濾波算法(rolling guidance filter，RGF)對木材表面圖像進(jìn)行濾波，然后提取木材的低階矩作為特征向量，使用多層分類感知機(jī)(Multilayer Perceptr，MLP)對木材的顏色進(jìn)行監(jiān)督學(xué)習(xí)分類。

2 木材表面顏色算法

2.1 木材顏色分類的主要流程

目前對于木材表面的分類評估主要流程可以歸納為：①木材表面圖像的預(yù)處理，包括對圖片的增強(qiáng)、裁剪等；②預(yù)處理后木材表面圖像對圖片的色彩空間變換，然后提取顏色特征，如圖片的一階矩、二階矩；③設(shè)計選擇合適的分類器對木材進(jìn)行分類，可以采用支持向量機(jī)(SVM)、多層感知機(jī)(MLP)、K鄰近法(K-means)等。

2.2 木材圖像的預(yù)處理

由于采集到的圖像總會有噪聲且由于木材表面本身存在氣孔等產(chǎn)生微小的紋路，而這些微小的紋路對木材的評估是無效的，所以可以被視為噪點。對木材表面圖像進(jìn)行預(yù)處理需要對圖像上因圖像采集產(chǎn)生及本身微小紋路產(chǎn)生的噪點進(jìn)行抑制。

聯(lián)合雙邊濾波算法是一種綜合考慮不同點間的空間距離和像素插值信息的非線性濾波技術(shù)，聯(lián)合雙邊濾波算法將空間域的高斯濾波函數(shù)和顏色域的濾波函數(shù)結(jié)合，在平滑噪聲的同時保持圖像細(xì)小的顏色邊界信息完整。雙邊濾波算法可表示為：

(1)

進(jìn)一步可以寫成：

(2)

其中：

(3)

滾動引導(dǎo)濾波器是一種基于滾動引導(dǎo)，通過迭代實現(xiàn)并且能夠快速收斂的算法[10-11]。滾動引導(dǎo)濾波器首先通過高斯濾波對小結(jié)構(gòu)細(xì)節(jié)進(jìn)行過濾，將濾波后的圖像作為引導(dǎo)圖像，使用聯(lián)合雙邊濾波器(joint bilateral filter)進(jìn)行濾波，然后將濾波之后的圖片作為新的引導(dǎo)圖像，再使用聯(lián)合雙邊濾波器進(jìn)行濾波。

使用滾動引導(dǎo)濾波器迭代兩次后對木材表面局部圖像進(jìn)行濾波的結(jié)果如圖1所示，經(jīng)過滾動引導(dǎo)濾波兩次迭代后可以大大降低原圖像上的噪點。

圖1 滾動引導(dǎo)濾波器預(yù)處理木材局部圖像

對木材圖片進(jìn)行形態(tài)學(xué)操作后進(jìn)行邊緣檢測，裁剪木材圖片，去除木材黑邊，減少無關(guān)要素對圖像的影響，之后對圖片進(jìn)行上述的高斯濾波與滾動引導(dǎo)濾波，通過滾動引導(dǎo)濾波得到預(yù)處理后的圖像如圖2所示。

2.3 木材圖像顏色特征提取

木材表面的信息很多，對木材顏色特征的提取可以通過提取圖像的低階矩來實現(xiàn)，這一特征是基于圖像整體的特征，可以較好地評價整塊木材的整體水平。

由相機(jī)得到的圖片一般是RGB空間的圖像，RGB顏色空間直觀易懂但是三個分量高度相關(guān)而且均勻性差。CIELab顏色模型是一種基于人眼生理特征的模型，L通道表示明度，a通道的顏色是從紅色到深綠，b通道顏色是從藍(lán)色到黃色[12]。

圖2 經(jīng)過預(yù)處理后的木材圖像

由RGB顏色空間不能直接轉(zhuǎn)化為CIELab，需要借助XYZ顏色空間，先把RGB顏色空間轉(zhuǎn)化為XYZ空間后再轉(zhuǎn)化為Lab顏色空間，RGB轉(zhuǎn)化為XYZ空間方法如下：

(4)

之后再由XYZ顏色空間轉(zhuǎn)化為Lab顏色空間：

(5)

(6)

(7)

其中：

(8)

顏色矩是一種簡單有效的顏色特征表示方法，有一階矩(均值，mean)、二階矩(方差，variance)和三階矩(斜度，skewness)等[13]，圖片的顏色信息主要分布在低階矩中，所以使用一階矩、二階矩、三階矩就足以表達(dá)圖像的顏色分布，提取的特征向量維數(shù)低。

三個顏色矩的數(shù)學(xué)定義如下：

(9)

(10)

(11)

其中：pi，j為圖像在(i，j)處的像素值，μi為圖像的一階矩，σi為二階矩，si為三階矩。

為了更貼近人類的視覺感官，提高木材檢測的速度，通過對圖片提取R、G、B、L、a、b六個通道的顏色一階矩和二階矩，組成一個12維的特征向量來描述一張木材圖片的顏色特征。

2.4 木材表面顏色分類原理

多層感知機(jī)MLP也叫人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)，包含一個輸入層一個輸出層以及若干隱藏層，多層感知機(jī)中隱藏層與輸入層是全連接的，含有單層隱藏層的簡單人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 簡單人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè)輸入層的向量為x，選取h(x)為線性函數(shù)，則隱藏層為：

h=Wx+b

(12)

輸出層的向量y為：

y=f(h(x))=f(Wx+b)

(13)

其中：W是權(quán)重，也稱為連接系數(shù)；b是偏置，函數(shù)f多采用sigmoid函數(shù)或者tanh函數(shù)還有ReLU函數(shù)。如果隱藏層內(nèi)不止一層，則隱藏層的輸入為上一隱藏層的輸出。

3 基于人工神經(jīng)網(wǎng)絡(luò)的木材顏色分類

3.1 木材顏色分類

對木材顏色進(jìn)行分類需要綜合考慮木材的色彩和紋理的分布，需要提取圖像中表現(xiàn)顏色的特征值。本文采用的木材圖像源自加拿大DALSA線掃描相機(jī)掃描得到的圖像，該線狀相機(jī)分辨率為2 048×2，最高行頻為26 kHz，像素大小為7.04 μm×7.04 μm，像素位深為8 bits/12 bits。掃描得到的圖片尺寸為2 048×18 000，將收集到的杉木、松木木材樣本圖像按照顏色分為A、B、C三類。木材的色彩多由其木種決定：杉木為淺紅褐色，紅杉、紅松、核桃木為紅褐色，在RGB空間中紅褐色在(178，34，34)附近，黃褐色在(240，230，140)附近，在Lab空間中紅木木材顏色明度L*分布在27.52～48.22范圍內(nèi)，a*分布在2.35～16.42范圍內(nèi)，b*分布在1.62～24.19范圍內(nèi)[14]。

對木材圖像進(jìn)行通道分解后繪制出A、B兩類表面的RGB直方圖進(jìn)行對比，發(fā)現(xiàn)其在RGB三個通道上的像素分布差異很大，如圖4所示，所以使用RGB三通道的顏色對木材的分類有較好的效果。而所有木材RGB三通道的像素均值在歸一化后的RGB顏色空間內(nèi)近似在一條直線上，如圖5所示，樣本中木材的顏色分布近似滿足下式：

R+0.079G-0.735B-0.155=0

(14)

由此可見特定木材的顏色分布在一定范圍內(nèi)是穩(wěn)定的，因此對于木材顏色在RGB空間內(nèi)的研究是有意義的。在木材圖像顏色變化不是很大的樣本上，木材圖像像素的均值可以作為一個比較好的描述木材圖像整體顏色分布的特征。方差描述了圖像在顏色域上分布的均勻性，正常木材的顏色不會出現(xiàn)較大的變化，紋理是局部顏色值與整體顏色不同的區(qū)域，所以可在一定程度上表現(xiàn)紋理區(qū)域的大小以及紋理的深度，三階矩反映了圖像顏色分布的對稱性對于木材的顏色分類影響不大，而且計算三階矩會大大增加計算時間，所以只采用一階矩、二階矩來描述木材圖像的顏色特征。

圖4 A、B兩類木材RGB三通道顏色直方圖

圖5 木材圖像均值在RGB空間上的分布

3.2 隨機(jī)梯度下降

梯度下降算法是機(jī)器學(xué)習(xí)算法中求解最小值的一種重要算法，隨機(jī)梯度下降(stochastic gradient descent，SGD)是梯度下降算法的一個擴(kuò)展，其核心是梯度期望，從訓(xùn)練集中均勻抽取出一小批量樣本，當(dāng)訓(xùn)練集大小m增大時，小批量數(shù)目m′通常是固定的，損失函數(shù)L梯度的估計可以表示為：

金融產(chǎn)品在創(chuàng)新后，需要進(jìn)行推廣。首先，應(yīng)該由專業(yè)的推廣團(tuán)隊集中精力進(jìn)行推廣，促進(jìn)市場占有率。若沒有專業(yè)的推廣團(tuán)隊，可以與其他公司合作，讓更加專業(yè)的推廣人員進(jìn)行推廣[6]。

(15)

使用來自小批量的樣本，然后隨機(jī)梯度下降算法使用如下的梯度下降估計：

θ←θ-∈g

(16)

其中：∈是學(xué)習(xí)率。

在實踐中當(dāng)訓(xùn)練集大小增大時不會延長模型達(dá)到可能的最優(yōu)測試誤差時間，因此可以認(rèn)為使用隨機(jī)梯度下降算法訓(xùn)練模型的漸進(jìn)代價是關(guān)于數(shù)據(jù)集大小m函數(shù)的O(1)級別，所以在大的訓(xùn)練集中隨機(jī)梯度下降法比梯度下降法可以使損失函數(shù)更快達(dá)到最優(yōu)解。

3.3 交叉熵

機(jī)器學(xué)習(xí)算法中優(yōu)化的過程就是減小損失的過程，其中分類問題的損失可以使用交叉熵(Cross Entropy Loss)作為損失函數(shù)。相對熵(relative entropy)又稱為KL散度(Kullback-Leibler divergence)，其是兩個隨機(jī)分布之間距離的度量，記為DKL(p‖q)，定義為：

DKL(p‖q)=Ep[logp(x)-logq(x)]

=Hp(q)-H(p)

(17)

交叉熵也描述了兩個概率分布p(x)、q(x)之間的距離，交叉熵越小說明二者越相似，其定義為：

CEH(p，q)=Ep[-logq]

=H(p)+DKL(p‖q)

(18)

如果使用交叉熵作為模型的損失函數(shù)，則交叉熵越小，模型與實際數(shù)據(jù)的分布越接近。其中H(p)在p分布已知時為常量，所以最小化交叉熵就是最小化KL散度。

3.4 多層感知機(jī)(MLP)分類

較為復(fù)雜的多層感知機(jī)可以有若干層隱藏層，經(jīng)過實驗選定了如下結(jié)構(gòu)的MLP模型，其中每層隱藏層采用線性函數(shù)，輸入為對圖片提取的12維顏色矩特征向量，輸出木材分類為A、B、C三類的概率向量。其中激活函數(shù)使用ReLU函數(shù)激活，損失函數(shù)使用交叉熵，以0.000 5為SGD算法迭代過程中的學(xué)習(xí)步長，對損失函數(shù)求解最小值。多層感知機(jī)模型如圖6所示。

將采集得到的320張木材圖片經(jīng)過人工按色彩深淺分類后分別設(shè)置標(biāo)簽為A、B、C，選取A類23張、B類22張、C類35張共80張作為測試集，剩余A類60張、B類84張、C類96張共240張作為訓(xùn)練集進(jìn)行訓(xùn)練，訓(xùn)練集迭代200次后測試集的準(zhǔn)確率最終可以達(dá)到96.25%。訓(xùn)練集的損失函數(shù)圖像如圖7所示，訓(xùn)練集的損失函數(shù)在迭代25次左右可以達(dá)到最小值。

圖6 多層感知機(jī)模型

圖7 訓(xùn)練集損失函數(shù)

4 結(jié)論

隨著我國木材市場需求的不斷擴(kuò)大，受人們主觀因素以及勞動強(qiáng)度等因素的制約，人工對木材分類，準(zhǔn)確度和效率無法保證，難以滿足國內(nèi)的市場需求。針對該問題，本文采用python opencv軟件對木材表面進(jìn)行邊緣檢測、高斯濾波、滾動引導(dǎo)濾波等操作，通過圖像增強(qiáng)實現(xiàn)了木材表面圖像的去背景化，通過提取木材圖像RGB、Lab空間的低階顏色矩作為顏色特征，采用MLP多層分類感知機(jī)對圖像進(jìn)行分類。本算法采用320張無缺陷的木材圖像作為訓(xùn)練測試樣本，其中240張為訓(xùn)練集，80張為測試集，最高可以達(dá)到96.25%的準(zhǔn)確率，效果較好。在實際運用中對于較大圖片采取滾動引導(dǎo)濾波會大大增加處理時間，對于有缺陷木材的分類也會產(chǎn)生問題，還需后續(xù)深入研究。