基于深度學(xué)習(xí)的四種闊葉材材種辨識研究＊

王 濤，楊霄霞，高宜生，葛浙東，劉曉平，周玉成

(1.山東建筑大學(xué)信息與電氣工程學(xué)院，山東 濟(jì)南 250101；2.山東建筑大學(xué)建筑城規(guī)學(xué)院)

0 引言

木材辨識技術(shù)廣泛應(yīng)用于材種鑒定、木質(zhì)家具檢驗(yàn)、木結(jié)構(gòu)古建筑保護(hù)領(lǐng)域[1]。傳統(tǒng)的木材辨識方法主要基于木材微觀結(jié)構(gòu)特征（顯微結(jié)構(gòu)參數(shù)）和宏觀結(jié)構(gòu)特征（顏色、氣味、紋理等）確定木材所屬科、屬、種。宏觀特征識別木材容易取樣和觀察，但準(zhǔn)確率較低[2]；微觀解剖特征辨識木材準(zhǔn)確性較高，但制作木材切片的周期較長，對檢測人員的專業(yè)水平要求較高。

圖像分割技術(shù)或傳統(tǒng)的機(jī)器學(xué)習(xí)對木材特征提取困難且復(fù)雜耗時，深度學(xué)習(xí)能自主學(xué)習(xí)木材特征，更準(zhǔn)確、高效地實(shí)現(xiàn)木材檢測[3-4]。近年來，計算機(jī)視覺技術(shù)應(yīng)用到木材辨識中，如木材檢測，效率高且成本低[5-6]。劉英等[7]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于木材缺陷檢測中，采用非下采樣剪切波變換預(yù)處理和線性迭代聚類方法對木材缺陷進(jìn)行分類，辨識準(zhǔn)確率為98.6%。劉嘉政[8]等提出的13 層樹種圖像識別模型，對訓(xùn)練集和測試集的識別正確率分別為96.78%、91.89%，在未參與訓(xùn)練的驗(yàn)證集上取得了96%的平均準(zhǔn)確率。KURDTHONGMEE[9]采用SSD MobileNet網(wǎng)絡(luò)自動檢測橡膠樹木材橫斷面圖像中的木材髓心，正確率為87.7%，性能優(yōu)于YOLOv3 目標(biāo)檢測網(wǎng)絡(luò)。HE 等[10]使用激光掃描儀從600 塊紅松和樟木中收集木材的節(jié)子、裂紋和霉斑缺陷圖像數(shù)據(jù)集，訓(xùn)練并驗(yàn)證改進(jìn)的DCNN 模型識別木材缺陷準(zhǔn)確率為99.13%，檢測用時1.12s。HU 等[11]用已標(biāo)記的木材缺陷、木材紋理和木材類別的四個木材圖像數(shù)據(jù)集訓(xùn)練ResNet18 深度學(xué)習(xí)網(wǎng)絡(luò)模型，實(shí)現(xiàn)木材缺陷識別與木材分級，準(zhǔn)確率最高達(dá)到99.5%。本文采用CT 技術(shù)采集多張闊葉材微觀圖像，基于YOLOv3 和SSD 對四種闊葉材導(dǎo)管圖像進(jìn)行分類識別，旨為闊葉材的材種辨識提供一種新的方法和依據(jù)。

1 材料與設(shè)備

本文闊葉材樣本分別為大果紫檀（Pterocarpusmacrocarpus）、刺猬紫檀（Pterocarpus erinaceus）、闊葉黃檀（Dalbergia latifolia）和絨毛黃檀（Dalbergia frutescens var.tomentosa），四種闊葉材分別取自緬甸、非洲、印尼、巴西。樣本規(guī)格為3mm×3mm×25mm，闊葉材CT 微觀圖像尺寸為512px×512px，CT 圖像的分辨率為2μm，每種闊葉材1000 張微觀圖像，其中800 張圖像作為訓(xùn)練集，200張圖像作為測試集。

選擇闊葉材微觀圖像有效區(qū)域，根據(jù)每個材種管孔的分布和排列特點(diǎn)，進(jìn)一步選擇闊葉材微觀特征，如表1 中紅、綠色矩形框所示。用LabelImg 軟件標(biāo)記特征后，根據(jù)類別賦予拉丁文名標(biāo)簽，生成的xml文件記錄微觀圖像長、寬、高等信息，再將合并的四種闊葉材訓(xùn)練集xml 文件轉(zhuǎn)換成VOC 數(shù)據(jù)集，用于YOLOv3和SSD訓(xùn)練網(wǎng)絡(luò)。

表1 四種闊葉材橫切面微觀結(jié)構(gòu)

本文使用德國布魯克公司生產(chǎn)的SkyScan1272 型顯微CT采集闊葉材微觀圖像，服務(wù)器安裝Windows10操作系統(tǒng)，使用NVIDIA Quadro RTX 8000顯卡，顯存48GB，基于Anaconda 開發(fā)環(huán)境建立TensorFlow 深度學(xué)習(xí)框架，并采用Python 開發(fā)語言編程，PyCharm編譯器調(diào)試。

2 方法

2.1 YOLOv3框架

YOLOv3可分為主干特征提取網(wǎng)絡(luò)和預(yù)卷積運(yùn)算兩部分。YOLOv3同時具備高檢測速率和高檢測精度的優(yōu)點(diǎn)，通過兩次上采樣完成多尺度檢測，降低顆粒度，改善檢測器對于小物體的檢測效果[12]。

YOLOv3 選擇Darknet53 作為主干特征提取網(wǎng)絡(luò)[13]，具體如圖1 所示。主干特征提取網(wǎng)絡(luò)的主要功能是提取目標(biāo)物體的特征，其實(shí)也就是不斷卷積的過程。然后對輸入的圖片不斷進(jìn)行下采樣的操作，將輸入圖片的高和寬不斷壓縮，將通道數(shù)不斷擴(kuò)張，從而獲得一堆特征層（可表示輸入進(jìn)來的圖片的特征）。并且使用殘差網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)容易優(yōu)化，能夠采用增加深度的方法提高準(zhǔn)確率。本文內(nèi)部的殘差塊使用了跳躍連接，緩解深度神經(jīng)網(wǎng)絡(luò)中由深度增加導(dǎo)致的梯度消失問題。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

然后，選取最后三個特征層，輸入到第二部分的預(yù)測卷操作，三個特征層的尺寸分別為(52,52,256)、(26,26,512)、(13,13,1024)。本文利用上述三個特征層構(gòu)建FPN 層，具體方式為將13×13×1024的特征層進(jìn)行五次卷積運(yùn)算，將得到的結(jié)果分別進(jìn)行兩種處理，一種是在二次卷積后進(jìn)行分類預(yù)測和回歸預(yù)測，另一種是在進(jìn)行上采樣后將特征層轉(zhuǎn)換為26×26×256，然后與26×26×512 的特征層堆疊對比，其過程與13×13×1024 特征層的卷積運(yùn)算方法相同。網(wǎng)絡(luò)結(jié)構(gòu)簡單，YOLO網(wǎng)絡(luò)的識別速度快，又因?yàn)闄z測是以整個圖像作為輸入，內(nèi)部數(shù)據(jù)的聯(lián)系相對緊密，這樣就可以降低對背景的錯誤識別概率，同時網(wǎng)絡(luò)的適應(yīng)性較好，在測試集與訓(xùn)練集內(nèi)的數(shù)據(jù)不完全相同時依然有較好的識別效果。

2.2 SSD基本框架

SSD[14]是一種One-stage目標(biāo)檢測算法，利用CNN提取特征后，采用不同尺度和長寬比的函數(shù)，對圖像不同位置進(jìn)行均勻密集抽樣，同時完成目標(biāo)檢測和分類。

本文將VGG16的FC6和FC7層轉(zhuǎn)化為卷積層，去掉所有的Dropout 層和FC8 層，增加Conv6、Conv7、Conv8 和Conv9，構(gòu)建的SSD框架是對VGG 網(wǎng)絡(luò)的修改，如圖2所示。

圖2 改進(jìn)的VGG網(wǎng)絡(luò)

2.3 精確度計算

四種闊葉材圖像的辨識正確率指標(biāo)分別為精確度（Precision）、召回率（Recall）、平均精度（Average Precision，AP）和 平均精度均值（mean Average Precision，mAP）。

TP（True Positive）——正類判定為正類的數(shù)量；

FP（False Positive）——負(fù)類判定為正類的數(shù)量；

FN（False Negative）——正類判定為負(fù)類的數(shù)量；

Precision——樣本中被正確判定為正例占預(yù)測為正例的比例；

Recall——樣本中被正確判定為正例占實(shí)際為正例的比例。

深度學(xué)習(xí)網(wǎng)絡(luò)框架，通常采用mAP作為精度檢測的指標(biāo)，即先計算每一種闊葉材的平均精度，然后再計算四種闊葉材平均精度的均值。

3 結(jié)果與分析

3.1 框架訓(xùn)練

YOLOv3 框架和SSD 框架均訓(xùn)練50 次，學(xué)習(xí)率設(shè)為0.0001，其中前者檢測用時為1.185s，后者檢測用時為0.608s。YOLOv3 和SSD 框架訓(xùn)練的損失曲線如圖3 所示，YOLOv3 框架的Loss 值在1.60 附近收斂，SSD框架的Loss 值在0.48 附近收斂，經(jīng)過25 次迭代后，YOLOv3、SSD 的損失函數(shù)曲線都逐漸收斂，并趨于平穩(wěn)，驗(yàn)證了數(shù)據(jù)集設(shè)置的合理性。

圖3 各框架訓(xùn)練損失

3.2 框架測試

四種闊葉材微觀結(jié)構(gòu)差異較大，如大果紫檀具有豐富的晶細(xì)胞，刺猬紫檀有單管孔和復(fù)管孔，單、復(fù)管孔較分散，闊葉黃檀具有直徑較小的單管孔，絨毛黃檀同時具有單管孔和復(fù)管孔。采用YOLOv3 和SSD框架，選取收斂后趨于平穩(wěn)的Loss 值識別四種闊葉材材種，評價指標(biāo)如表2 所示。大果紫檀的平均精度在兩種框架中是最高的，可知大果紫檀較其他三種闊葉材微觀結(jié)構(gòu)特征更易識別。相比較YOLOv3 框架，SSD框架對四種闊葉材的召回率較高且能夠從數(shù)據(jù)集中檢索更多的信息。

表2 各框架闊葉材辨識評價指標(biāo)

YOLOv3和SSD框架對四種闊葉材的辨識結(jié)果如表3所示。YOLOv3框架對四種闊葉材辨識的mAP為91.57%，檢測用時為1.185s。SSD 框架對四種闊葉材辨識的mAP 為91.17%，檢測用時為0.608s，兩者mAP數(shù)值相近，YOLOv3 比SSD 框架的mAP 略高，但SSD框架的檢測效率更高。

表3 各框架對四種闊葉材的辨識結(jié)果

闊葉材的管孔尺寸、形態(tài)、分布具有較大差異性，所以本文試驗(yàn)采集四種闊葉材圖像，大樣本可以保證闊葉材辨識的正確率，使YOLOv3 和SSD 框架得到四種闊葉材較好的辨識效果。YOLOv3的辨識結(jié)果得益于殘差網(wǎng)絡(luò)、反卷積和多特征層的思想，更好的提取闊葉材微觀圖像結(jié)構(gòu)特征，而SSD 網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，利用改進(jìn)的VGG 網(wǎng)絡(luò)提取特征，同樣得到優(yōu)秀的結(jié)果。SSD 框架物體分類與預(yù)測框的回歸同時進(jìn)行[15]，所以檢測速度快，但其正、負(fù)樣本（背景）極其不均衡，是一種均勻的密集采樣，導(dǎo)致訓(xùn)練困難。

4 結(jié)束語

本文選用的YOLOv3 和SSD 框架可實(shí)現(xiàn)四種闊葉材高效、準(zhǔn)確辨識，YOLOv3 框架辨識準(zhǔn)確率更高，而SSD 框架用時更短?？傮w而言，SSD 對四種闊葉材做到了更高效自動辨識，可以在保證辨識的正確率前提下能夠更快的處理樣本，提高了闊葉材的識辨識效率。

本文識別準(zhǔn)確率沒有達(dá)到100%，綜合分析與圖像特點(diǎn)有關(guān)。本文只對四種木材樣本進(jìn)行研究，闊葉材種類相對單一，但是每種闊葉材采集的樣本量較大，結(jié)果更具有適應(yīng)性，下一步將從提高樣本的多樣性入手，增加不同闊葉材材種的訓(xùn)練集，從而提高模型的抗干擾和泛化能力，使其更適應(yīng)于更多闊葉材材種的辨識。