基于改進殘差神經(jīng)網(wǎng)絡(luò)的木材識別算法*

宿恒碩 呂 軍 丁志平 唐彥杰 陳旭東 周 強 張哲宇 姚 青

(1. 浙江理工大學(xué)信息學(xué)院 杭州 310018； 2.張家港海關(guān) 張家港 215600； 3.杭州籜草科技有限公司 杭州 311500)

當(dāng)前，木材種類鑒定主要由專業(yè)人員在實驗室利用放大鏡和顯微鏡等儀器設(shè)備觀察木材的宏觀和微觀特征，與標(biāo)樣比對后確定木材類別(汪杭軍， 2013)。每種木材在生長過程中均形成獨特的宏觀和微觀結(jié)構(gòu)，但木材種類繁多，即使同一種木材，其宏觀和微觀結(jié)構(gòu)也因地點、氣候和營養(yǎng)等情況不同存在一定差異。種間相似及種內(nèi)差異現(xiàn)象增加了木材種類識別難度，加之我國木材貿(mào)易監(jiān)管一線精通木材分類知識的專家稀缺，木材或木制品交易頻繁，這種人工木材種類鑒定方法存在著專業(yè)性強、任務(wù)重、周期長和非實時性等問題，無法滿足木材監(jiān)管實時性和高效性需求，亟需一種快速準(zhǔn)確的木材種類鑒定方法。

隨著圖像處理技術(shù)的飛速發(fā)展與應(yīng)用，利用圖像進行木材種類識別成為近年來的研究熱點(張怡卓等， 2012)?；趫D像的木材種類識別方法可以概括為2類： 一類是傳統(tǒng)模式識別方法(Lewetal.， 2005； Touetal.， 2006； 2009a)，另一類是深度學(xué)習(xí)方法(Kwonetal.， 2017； Ravindranetal.， 2018； Oktariaetal.， 2019)。傳統(tǒng)模式識別方法首先對木材圖像進行預(yù)處理，然后提取與篩選木材圖像特征，再通過模式識別方法進行分類識別。用于木材識別的圖像特征主要包括灰度共生矩陣(白雪冰等， 2005； Touetal.， 2009b； Wangetal.， 2010)、顏色矩陣(白雪冰等， 2007)、小波變換提取的紋理特征(于海鵬等， 2007； 馬琳等， 2013； 戴維等， 2012； 郭德軍等， 2005； 王晗， 2008)和HOG局部特征(羅微， 2019； Sugiartoetal.， 2017； Nurthoharietal.， 2019)等。傳統(tǒng)模式識別方法中的圖像特征需要通過多次試驗篩選獲得，模型在測試集中一般能獲得較高識別率，但其魯棒性和泛化能力較差。深度學(xué)習(xí)方法具有自主學(xué)習(xí)、特征多樣性、準(zhǔn)確率高、模型魯棒性和泛化能力強等優(yōu)點(Paketal.， 2017)，近年來在圖像識別中獲得了成功應(yīng)用?；趫D像的深度學(xué)習(xí)方法主要是利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks， CNN)對木材圖像進行自主分布式特征提取，通過加深網(wǎng)絡(luò)層數(shù)對特征進行更抽象和概括性的表達，進而利用高階特征信息進行分類識別。Kwon等(2017)利用改進的 LeNet 網(wǎng)絡(luò)模型對 5 種韓國針葉軟木材的橫截面圖像進行種類鑒定，平均準(zhǔn)確率為99.3%。Ravindran等(2018)基于卷積神經(jīng)網(wǎng)絡(luò)模型對 10 種山梨科(Sorbaceae)新熱帶樹種木材橫截面圖像進行分類識別，不同屬、種木材平均識別率分別為97.5%和87.0%。Oktaria 等(2019)利用不同卷積神經(jīng)網(wǎng)絡(luò)模型識別印度尼西亞30種木材橫截面圖像，結(jié)果發(fā)現(xiàn)基于AlexNet模型的木材識別效果最佳，平均識別率達96.7%。上述研究大多針對實驗室環(huán)境下顯微鏡拍攝的木材圖像，涉及的木材種類偏少，相似木材種類識別率低，無法滿足便捷、快速、準(zhǔn)確識別木材的需求。

鑒于此，本研究針對傳統(tǒng)木材種類人工鑒定方法存在的專業(yè)性強、任務(wù)重、周期長和非實時性等問題，提出一種基于分塊梯度加權(quán)的木材種類識別模型，對32種橫截面相似的木材進行種類識別，以期提高木材監(jiān)管的實時性和高效性，為木材種類快速、準(zhǔn)確識別提供理論依據(jù)。

1 材料與方法

1.1 木材圖像數(shù)據(jù)集

利用外帶微距鏡頭的手機采集打磨過的木材橫截面圖像，32種木材共采集圖像8 975幅，圖像格式為.jpg，大小為 2 240×2 240 像素(圖1)。按照8∶1∶1比例隨機選擇圖像作為模型的訓(xùn)練集、驗證集和測試集。所有木材圖像源自張家港海關(guān)國家材種鑒定與木材檢疫重點實驗室，并經(jīng)過木材專家鑒定。

圖1 木材橫截面宏觀結(jié)構(gòu)(放大7倍)Fig. 1 Microstructure of wood cross section(amplification of 7 times)第 1 行依次為馬達加斯加鐵木豆、檀香紫檀、降香黃檀、愛里古夷蘇木、盧氏黑黃檀、阿那豆、巴里黃檀、黑核桃The first row is Swartzia madagascariensis, Pterocarpus santalinus, Dalbergia odorifera, Guibourtia ehie, Dalbergia louvelii, Anadenanthera spp., Dalbergia bariensis, Juglans spp.； 第 2 行依次為印度黃檀、猴子果、伯利茲黃檀、馬達加斯加黃檀、交趾黃檀、凱爾雜色豆、黃膽木、刺猬紫檀The second row is Dalbergia sissoo, Tieghemella spp., Dalbergia stevensonii, Dalbergia greveana, Dalbergia cochinchinensis, Baphia kirkii, Nauclea spp., Pterocarpus erinaceus； 第 3 行依次為相思木、卡雅楝、中美洲黃檀、龍腦香、大果紫檀、古夷蘇木、刀狀黑黃檀、阿摩楝The third row is Acacia spp., Khaya spp., Dalbergia granadillo, Dipterocarpus spp., Pterocarpus macrocarpus, Guibourtia spp., Dalbergia cultrata, Amoora spp.； 第 4 行依次為雨樹、奧氏黃檀、銀葉樹、染料紫檀、微凹黃檀、東非黑黃檀、螺穗木、紅蘇木The fourth row is Samanea saman, Dalbergia oliveri, Heritiera spp., Pterocarpus tinctorius, Dalbergia retusa, Dalbergia melanoxylon, Spirostachys africana, Baikiaea spp.

從圖 1 木材橫截面宏觀結(jié)構(gòu)可以看出，多數(shù)木材之間視覺差異小、相似度較高，其中盧氏黑黃檀、阿那豆、巴里黃檀、黑核桃、印度黃檀、猴子果、伯利茲黃檀、馬達加斯加黃檀、交趾黃檀、凱爾雜色豆、古夷蘇木大巴花、刀狀黑黃檀14種木材的紋理特征非常相似，在顏色特征上相思木、卡雅楝、中美洲黃檀、龍腦香、大果紫檀、古夷蘇木大巴花、刀狀黑黃檀、阿摩楝、雨樹、奧氏黃檀、銀葉樹和染料紫檀12種木材非常相似。

1.2 圖像預(yù)處理

1.2.1 顏色校正 木材橫截面圖像特征受外界光照和采集設(shè)備影響較大，本研究采用灰色世界法(Kwoketal.， 2011)對圖像進行顏色校正，通過R、G、B三通道灰度平均值計算增益系數(shù)，然后用各通道灰度值與對應(yīng)增益系數(shù)的乘積代替原始通道灰度值，消除由圖像采集設(shè)備和環(huán)境差異引起的偏色影響。

圖2 顏色校正前后的木材橫截面圖像Fig. 2 Wood cross section images before and after color correction

1.2.2 數(shù)據(jù)增強 為提高模型的魯棒性和泛化能力，采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和增添椒鹽噪聲的數(shù)據(jù)增強方法擴充樣本圖像，使每種木材圖像訓(xùn)練樣本量達600幅以上。不同數(shù)據(jù)增強方法見圖3。

1.2.3 圖像分塊 木材橫截面宏觀結(jié)構(gòu)自相似，為獲得更多的訓(xùn)練樣本和圖像特征，對圖像進行分塊處理。采用5×5、7×7和10×10分塊方法，一幅圖像分別可以獲得25、49和100幅子圖像。通過雙線性插值法將每幅分塊子圖像統(tǒng)一縮放至224×224像素。

1.3 改進殘差神經(jīng)網(wǎng)絡(luò)的木材種類識別模型

卷積神經(jīng)網(wǎng)絡(luò)(CNN)采用端到端方式自動學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，在圖像識別中表現(xiàn)出色。目前，應(yīng)用較多的CNN識別模型有VggNet16(Simonyanetal.， 2014)、GoogleNet(Szegedyetal.， 2015)、DenseNet(Huangetal.， 2017)、MobileNetv3(Howardetal.， 2019)、ResNet系列(Heetal.， 2016)等。其中，ResNet系列模型引入殘差結(jié)構(gòu)，隨著網(wǎng)絡(luò)層數(shù)加深，通過引用恒等映射能夠解決網(wǎng)絡(luò)退化問題； 同時，在反向傳播過程中始終保證梯度值大于0，能夠有效防止梯度消失。相比其他模型，ResNet系列模型在圖像識別中取得了較好識別效果，本研究選擇ResNet101作為特征提取網(wǎng)絡(luò)。

利用外帶微距鏡頭手機采集的木材橫截面圖像存在中間清楚、邊緣模糊和變形的問題，為了提高木材種類識別率，將ResNet101模型原有的Softmax分類層進行改進。從木材橫截面圖像邊緣到中心采用不同的梯度值(5×5分塊策略依次為0.8、0.9和1，7×7分塊策略依次為0.7、0.8、0.9和1，10×10分塊策略依次為0.6、0.7、0.8、0.9和1)作為不同子區(qū)域圖像分類得分的權(quán)重，旨在加大中心區(qū)域在整個木材橫截面圖像分類任務(wù)中的占比(圖4)。利用Softmax方法將各類加權(quán)得分轉(zhuǎn)換為最終概率值，概率值的加權(quán)轉(zhuǎn)換方法如下：

(1)

(2)

式(1)中：Z表示各子圖像分類得分值，n表示分塊的行數(shù)，m表示分塊的列數(shù)，S表示加權(quán)后的C維得分向量； 式(2)中：C表示木材總類別數(shù)，S(i)表示S中第i維的得分值，P(i)表示Softmax計算后第i類的概率值，Y表示最終概率值。

1.4 不同識別模型的比較與評價

為了評價木材識別模型的識別效果，選擇準(zhǔn)確率(accuracy)、召回率(recall)、平均準(zhǔn)確率 (average accuracy)和平均召回率(average recall)作為評價指標(biāo)：

(3)

(4)

(5)

(6)

式中：TP表示某種木材正確識別的數(shù)量； FP表示錯誤識別為某種木材的數(shù)量； FN表示某種木材錯誤識別為其他種類木材的數(shù)量；C表示木材種類數(shù)量。

為了評價不同特征提取網(wǎng)絡(luò)對木材的識別效果，采用原圖形式，在相同訓(xùn)練集、驗證集和測試集下，分別訓(xùn)練和測試VggNet16、GoogleNet、DenseNet、MobileNetv3、ResNet50、ResNet101和ResNet152深度學(xué)習(xí)模型。同時，將分塊與梯度加權(quán)策略應(yīng)用于ResNet101模型，測試不同模型對木材的識別效果。

1.5 模型運行環(huán)境及訓(xùn)練

所有模型訓(xùn)練與測試均在開源的 Caffe 深度學(xué)習(xí)框架下完成。主要硬件配置： CPU為AMD Ryzen 5 3600 6-Core Processor 3.60 GHz和NVIDIA GeForce GTX 1080Ti，主機內(nèi)存為16.00 GB 。

模型訓(xùn)練采用遷移學(xué)習(xí)(Panetal.， 2009)方式，首先利用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)模型對參數(shù)進行初始化，然后使用隨機初始化器對殘差網(wǎng)絡(luò)中全連接分類層的參數(shù)進行初始化。模型采用2個GPU并行訓(xùn)練，模型優(yōu)化策略選用梯度下降方法，權(quán)重正則化系數(shù)為0.000 1，動量設(shè)置為0.9，使用周期性衰減的學(xué)習(xí)率，初始化為0.1，每40 000次迭代衰減為1/10。

2 結(jié)果與分析

2.1 訓(xùn)練損失曲線分析

迭代次數(shù)是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的主要參數(shù)之一，將迭代過程中的損失值和準(zhǔn)確率繪制成損失曲線和準(zhǔn)確率曲線，用于評估訓(xùn)練過程中模型的學(xué)習(xí)狀態(tài)。圖5給出了木材橫截面ResNet101分類識別模型訓(xùn)練時的損失曲線和準(zhǔn)確率曲線，可以看出，隨著迭代次數(shù)增加，模型的損失曲線逐漸下降，準(zhǔn)確率曲線逐漸增加，當(dāng)?shù)?萬次時2條曲線趨于穩(wěn)定，表明模型已經(jīng)收斂，并獲得較好的精度。

圖5 ResNet101模型訓(xùn)練損失曲線和準(zhǔn)確率曲線Fig. 5 Training loss curve and accuracy curve of ResNet101 model

2.2 不同分類模型的效果比較與分析

用同一木材橫截面原圖訓(xùn)練集訓(xùn)練VggNet16、GoogleNet、DenseNet、MobileNetv3、ResNet50、ResNet101和 ResNet152共7個模型，并在同一測試集下測試32種木材，識別結(jié)果見表 1。其中，ResNet系列3個模型的平均準(zhǔn)確率和平均召回率均超過85%，在木材特征提取方面優(yōu)于其他模型； 在ResNet系列模型中，ResNet101的平均識別準(zhǔn)確率比ResNet50、ResNet152分別高4.2%和1.6%。因此，選擇ResNet101作為木材種類識別的基礎(chǔ)模型。

表1 不同模型的32種木材橫截面圖像的識別結(jié)果Tab.1 Identification results of cross-sectional images of 32 wood species on different models

2.3 不同分塊方法對木材圖像識別結(jié)果的影響

對木材橫截面圖像的原圖和經(jīng)5×5、7×7、10×10分塊的子圖像訓(xùn)練ResNet101模型，32種木材測試的識別準(zhǔn)確率結(jié)果見圖6 。

圖6 不同分塊方法的木材識別準(zhǔn)確率Fig. 6 Identification accuracies of different wood species by different image partitioning methods

從圖6可以看出，基于分塊的ResNet101模型，每種木材的識別準(zhǔn)確率和平均識別準(zhǔn)確率均優(yōu)于基于原圖的ResNet101模型，表明分塊梯度加權(quán)策略能夠有效提升木材識別準(zhǔn)確率，其中基于7×7 分塊的ResNet101模型得到的平均識別準(zhǔn)確率為96.5%，優(yōu)于5×5、10×10分塊的94.8%和95.3%?；谠瓐D的ResNet101模型識別準(zhǔn)確率始終維持在92%左右，這是因為將縮放后的原圖送入ResNet101網(wǎng)絡(luò)時損失了較多細節(jié)信息，而分塊后的圖像能夠保留更多圖像內(nèi)容。從分類結(jié)果穩(wěn)定性來看，對木材橫截面原圖和5 × 5分塊的識別結(jié)果波動較大，說明模型的魯棒性不好。因此，最終選擇7×7分塊策略。

2.4 分塊梯度加權(quán)方法對木材圖像識別結(jié)果的影響

圖像邊緣模糊和變形使木材橫截面圖像丟失很多有效信息，同時增加了圖像噪聲，從而影響木材識別結(jié)果?；诜謮K的ResNet101模型中每個分塊子圖像，如果賦予相同權(quán)值，對每幅圖像識別結(jié)果的貢獻是相同的，無法降低邊緣模糊和變形對圖像識別結(jié)果的影響。為了減少邊緣模糊和變形對識別的影響，提高木材圖像識別準(zhǔn)確率，對木材橫截面圖像邊緣到中心賦予不同梯度值作為不同子區(qū)域圖像分類得分的權(quán)重。不同ResNet101模型對木材的識別結(jié)果如表 2 所示。

表2 不同的ResNet101模型的木材識別結(jié)果Tab.2 Identification results of wood species on different ResNet101 models

從表2可以看出，基于分塊梯度加權(quán)方法的ResNet101模型平均識別率和平均召回率均高于基于原圖的ResNet101模型和基于分塊的ResNet101模型，平均準(zhǔn)確率分別提高6.7%和2.3%，平均召回率分別提高7.4%和2.8%，表明梯度加權(quán)方法能夠有效提高木材識別準(zhǔn)確率。

3 討論

我國是木材進口大國，也是瀕危野生動植物種國際貿(mào)易公約(CITES)締約國，對瀕危木材進出口有著嚴(yán)格的監(jiān)管(尹江蘋等， 2019)。隨著全球木材交易頻繁，而我國木材種類鑒定專家稀缺，依靠傳統(tǒng)人工鑒定方法難以滿足與日俱增的木材鑒定需求。

木材橫截面宏觀結(jié)構(gòu)是其細胞組織形狀和分布的一種體現(xiàn)，具有種的特異性，是專家識別木材種類的重要依據(jù)。隨著圖像處理和機器學(xué)習(xí)的發(fā)展和應(yīng)用，利用圖像自動識別木材種類成為研究熱點。由于木材種類較多，生長環(huán)境存在較大差異，不同木材的橫截面圖像呈現(xiàn)種間相似和種內(nèi)差異現(xiàn)象，利用手動設(shè)計分類特征的傳統(tǒng)模式識別方法已無法滿足實際應(yīng)用需求。針對相似度高的木材橫截面圖像，本研究提出的基于分塊梯度加權(quán)方法的改進ResNet101模型，能夠提取更加精細和抽象的特征，有利于木材橫截面圖像的精細分類，提高了木材識別準(zhǔn)確率，分塊梯度加權(quán)法增強了模型的魯棒性和泛化能力。

本研究僅對32種橫截面圖像相似的木材種類識別方法進行探索，在實際應(yīng)用中，木材種類繁多，應(yīng)收集更多種類和數(shù)量的木材圖像，增加木材識別種類并提高識別率。而且，由于外界環(huán)境、拍攝方式等不同，手機采集的樣本圖像存在較大差異，無法保證圖像的均勻性和相似性，可考慮開發(fā)穩(wěn)定的木材橫截面圖像采集工具。另外，本研究所使用的模型參數(shù)數(shù)量固定，下一步可在保證識別率的前提下對模型進行裁剪，使模型可以部署到本地嵌入式設(shè)備中，提高木材種類的識別速度和信息的安全性。

4 結(jié)論

隨著全球木材交易日益頻繁，快速、準(zhǔn)確地識別木材種類可以緩解木材鑒定專家稀缺和鑒定周期長的問題。以手機采集的木材橫截面圖像為研究對象，建立7個卷積神經(jīng)網(wǎng)絡(luò)模型，對32種相似的木材進行種類識別，結(jié)果表明，基于分塊梯度加權(quán)方法的ResNet101模型可用于木材種類識別，分塊梯度加權(quán)策略提高了木材識別準(zhǔn)確率，平均準(zhǔn)確率達98.8%。研究結(jié)果可為海關(guān)一線木材監(jiān)察人員提供一種快速便捷的木材初篩鑒定方法。