基于CNN多標(biāo)簽分類的林區(qū)車牌識(shí)別研究

丁鍵 朱洪前

摘 ?要：林區(qū)一直是智能化設(shè)施比較薄弱的地區(qū)，我國(guó)林區(qū)每年都會(huì)發(fā)生大量偷盜現(xiàn)象，不法分子為了金錢利益盜伐木材、偷獵野生動(dòng)物，該現(xiàn)象暴露出林區(qū)存在治安防護(hù)不足的問題。為加強(qiáng)林區(qū)的治安防護(hù)，并針對(duì)常有大霧、灰塵飛揚(yáng)等復(fù)雜環(huán)境，提出了基于CNN多標(biāo)簽分類的林區(qū)車牌識(shí)別方法。此方法相比傳統(tǒng)方法免除了車牌字符分割的誤差累積，能夠克服大霧、灰塵、光線較暗等復(fù)雜環(huán)境影響，文章提出的方法在林區(qū)環(huán)境下車牌識(shí)別率達(dá)到81.57%。

關(guān)鍵詞：多標(biāo)簽分類;林區(qū)環(huán)境;車牌識(shí)別

中圖分類號(hào)：TP391.41;U495 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）12-0084-04

Abstract：The forest region has always been the area with weak intelligent facilities. Every year，a large number of thefts occur in Chinas forest region. Illegal elements illegally cut timber and poach wild animals for money interests，which exposed the problem of insufficient security protection in forest areas. In order to strengthen the protection of public security in forest areas，and in view of the complex environment such as fog and dust，a vehicle license plate recognition method based on CNN multi-label classification was proposed. Compared with the traditional method，this method avoids the error accumulation of license plate character segmentation and can overcome the complex environmental influences such as fog，dust and dark light. The license plate recognition rate of the proposed method in forest environment is 81.57%.

Keywords：multi-label classification;forest environment;license plate recognition

0 ?引 ?言

目前，工業(yè)是機(jī)器視覺應(yīng)用比重最大的領(lǐng)域，相對(duì)于人工視覺檢測(cè)，機(jī)器視覺檢測(cè)擁有效率高、精度高、檢測(cè)效果穩(wěn)定、方便信息集成等優(yōu)勢(shì)。隨著人工智能技術(shù)實(shí)現(xiàn)質(zhì)的突破，以及中國(guó)5G技術(shù)的領(lǐng)先研發(fā)，機(jī)器視覺算法的運(yùn)算能力和實(shí)際應(yīng)用的效率將大幅度提升，萬物互聯(lián)模式下，機(jī)器視覺應(yīng)用的領(lǐng)域?qū)⒈蝗嫱茝V，而這一切的飛速發(fā)展都離不開一線科研人員的努力。機(jī)器視覺技術(shù)應(yīng)用于林業(yè)領(lǐng)域在未來將成為必然的趨勢(shì)。

林區(qū)每年都會(huì)出現(xiàn)大量的偷盜現(xiàn)象。為了金錢交易，不法分子盜伐木材、捕殺販賣野生動(dòng)物，而公安系統(tǒng)有時(shí)還會(huì)接到涉林案件，不法分子利用林區(qū)的智能化管理比較薄弱，車輛的出入管理不完善，監(jiān)控還不夠智能化這些特點(diǎn)，鉆了不少空子。2003年非典的爆發(fā)就是野生果子貍攜帶的病毒引起的，2020年1月新型冠狀病毒在武漢爆發(fā)，席卷全國(guó)，中華菊頭蝠所帶的原生病毒與新冠病毒有90%以上的一致性。因此加強(qiáng)對(duì)野生動(dòng)物的監(jiān)管，增強(qiáng)林區(qū)車牌識(shí)別系統(tǒng)的研究迫在眉睫，全方位監(jiān)控并識(shí)別進(jìn)出車輛車牌號(hào)，這將大大提高林區(qū)防盜伐的能力，在疫情防控方面也能夠追本溯源，迅速掌握病毒的源頭。

林區(qū)環(huán)境復(fù)雜，常有大霧、泥土灰塵、樹木引起的光線昏暗等影響車牌識(shí)別的因素[1]。針對(duì)林區(qū)的復(fù)雜環(huán)境給車牌識(shí)別帶來的影響，中南林業(yè)科技大學(xué)朱洪前老師團(tuán)隊(duì)發(fā)起了林區(qū)環(huán)境下車牌識(shí)別研究項(xiàng)目，對(duì)此本文基于以上項(xiàng)目進(jìn)行了基于卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Networks，CNN）多標(biāo)簽分類的林區(qū)車牌識(shí)別研究。

本文的整體結(jié)構(gòu)如下：第一部分介紹制作林區(qū)車牌數(shù)據(jù)集，第二部分介紹林區(qū)車牌識(shí)別模型的效果，第三部分介紹傳統(tǒng)車牌識(shí)別方法的效果，第四部分為兩種方法效果的對(duì)比結(jié)論。

1 ?制作林區(qū)車牌數(shù)據(jù)集

圖1為精選的林區(qū)車牌圖片樣本。

結(jié)合項(xiàng)目要求，自行建立一個(gè)林區(qū)車牌數(shù)據(jù)集。訓(xùn)練集里面一共有3 300張220×70像素的車牌圖片，均為程序生成的虛擬車牌。中國(guó)的車牌一直是7個(gè)字符，包含了31個(gè)省份、24個(gè)大寫字母（去除O和I）以及10個(gè)數(shù)字。為了更真實(shí)的模擬實(shí)際車牌，車牌的背景為林區(qū)環(huán)境，且增加了畸變、傾斜、色差、明暗等噪聲[2]。

驗(yàn)證集一共100張圖片，全部為人工采集制作，統(tǒng)一大小為220×70像素。訓(xùn)練集和驗(yàn)證集統(tǒng)一采用7位數(shù)字標(biāo)簽進(jìn)行標(biāo)注，因有65類中文、英文、數(shù)字字符，故有65個(gè)數(shù)字標(biāo)簽。標(biāo)簽對(duì)應(yīng)如下：

{"京"： 0，"滬"： 1，"津"： 2，"渝"： 3，"冀"： 4，"晉"： 5，"蒙"： 6，"遼"： 7，"吉"： 8，"黑"： 9，"蘇"： 10，"浙"： 11，"皖"： 12，"閩"： 13，"贛"： 14，"魯"： 15，"豫"： 16，"鄂"： 17，"湘"： 18，"粵"： 19，"桂"： 20，"瓊"： 21，"川"： 22，"貴"： 23，"云"： 24，"藏"： 25，"陜"： 26，"甘"： 27，"青"： 28，"寧"： 29，"新"： 30，"0"： 31，"1"： 32，"2"： 33，"3"： 34，"4"： 35，"5"： 36，"6"： 37，"7"： 38，"8"： 39，"9"： 40，"A"： 41，"B"： 42，"C"： 43，"D"： 44，"E"： 45，"F"： 46，"G"： 47，"H"： 48，"J"： 49，"K"： 50，"L"： 51，"M"： 52，"N"： 53，"P"： 54，"Q"： 55，"R"： 56，"S"： 57，"T"： 58，"U"： 59，"V"： 60，"W"： 61，"X"： 62，"Y"： 63，"Z"： 64}

在制作數(shù)據(jù)集時(shí)，首先將圖片進(jìn)行灰度化處理，然后將圖片轉(zhuǎn)換成數(shù)組形式。為了便于計(jì)算機(jī)進(jìn)行計(jì)算，需要將圖片數(shù)據(jù)進(jìn)行歸一化處理。每個(gè)圖片的標(biāo)簽轉(zhuǎn)換成one-hot編碼形式，從而每個(gè)圖片的標(biāo)簽數(shù)據(jù)是7行65列的數(shù)組。

2 ?林區(qū)車牌識(shí)別模型介紹

2.1 ?網(wǎng)絡(luò)結(jié)構(gòu)

本文的車牌識(shí)別網(wǎng)絡(luò)模型主要是由可以提取若干特征的卷積層、池化層、全連接層，最后接以Softmax函數(shù)激活輸出來組成。整個(gè)網(wǎng)絡(luò)模型可以進(jìn)行端到端的訓(xùn)練[3]，避免了字符分割帶來的誤差影響。

林區(qū)車牌識(shí)別模型的目標(biāo)是為了提取車牌圖片中每個(gè)字符的特征，進(jìn)而識(shí)別出每個(gè)字符。將整個(gè)車牌圖片看作一圖多標(biāo)簽問題，避開了字符切割。整個(gè)模型原理圖如圖2所示，將車牌圖片數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過特征提取后，經(jīng)由7×65個(gè)全連接層，輸出為車牌數(shù)字標(biāo)簽，轉(zhuǎn)化后得到最終的車牌號(hào)碼。

2.2 ?損失函數(shù)和訓(xùn)練方法

在訓(xùn)練時(shí)，最終選定的Loss函數(shù)是categorical_crossentropy（交叉熵?fù)p失函數(shù)），此函數(shù)的引入，克服了均方差損失函數(shù)（MSE）因Sigmoid函數(shù)性質(zhì)導(dǎo)致權(quán)重w和偏置b更新緩慢的問題。

交叉熵是用來評(píng)估當(dāng)前模型訓(xùn)練得到的概率分布和真實(shí)分布的差異情況，描述的是實(shí)際輸出概率和期望輸出概率的差值，交叉熵的值越小，實(shí)際輸出與期望輸出就越近。

訓(xùn)練過程中，選擇Adam優(yōu)化器，學(xué)習(xí)率設(shè)為隨機(jī)，整個(gè)網(wǎng)絡(luò)一共訓(xùn)練6輪，每個(gè)batch_size設(shè)為64。對(duì)每一張圖片都進(jìn)行了批標(biāo)準(zhǔn)化和灰度化處理，shape大小為220×70元素的數(shù)組。

2.3 ?實(shí)驗(yàn)

整個(gè)網(wǎng)絡(luò)模型是用TensorFlow框架實(shí)現(xiàn)，計(jì)算過程實(shí)現(xiàn)了GPU加速。實(shí)驗(yàn)電腦的配置顯卡為NVIDIA GeForce GT 740M，顯存為2 GB。

2.4 ?實(shí)驗(yàn)結(jié)果

由于本實(shí)驗(yàn)的數(shù)據(jù)集是自行建立的，所以這里并沒有和其他的算法性能做對(duì)比。在自制的林區(qū)車牌數(shù)據(jù)上的車牌識(shí)別率達(dá)到了81.57%。驗(yàn)證集上得到的實(shí)驗(yàn)結(jié)果如表1和圖3所示。

3 ?傳統(tǒng)車牌識(shí)別方法

傳統(tǒng)的車牌識(shí)別方法，需要將檢測(cè)到的車牌進(jìn)行仿射變換以實(shí)現(xiàn)車牌的圖像矯正，然后將矯正后的車牌圖像進(jìn)行字符分割，最后使用模板匹配法或者ANN方法，實(shí)現(xiàn)字符識(shí)別得到車牌號(hào)，其流程圖如圖4、圖5所示。

在此過程中，圖像矯正和字符分割都會(huì)不可避免造成二次誤差，尤其在字符分割時(shí)，所調(diào)節(jié)的閾值只能在一定范圍內(nèi)準(zhǔn)確的分割字符，超出范圍則造成誤差，分割過多或過少，直接影響了字符識(shí)別的效果，在光線較暗、大霧、灰塵等復(fù)雜環(huán)境下分割出的字符表現(xiàn)較差[4]，如表2所示。

4 ?結(jié) ?論

本文提出了基于CNN多標(biāo)簽分類的林區(qū)車牌識(shí)別研究，實(shí)現(xiàn)了弱監(jiān)督的思想（即只標(biāo)注車牌的內(nèi)容信息），以往車牌識(shí)別任務(wù)中，數(shù)據(jù)集標(biāo)注的難度大，人力成本高，通過弱監(jiān)督，大大降低了車牌標(biāo)注的難度。雖然，訓(xùn)練集上準(zhǔn)確率比測(cè)試集高出許多，出現(xiàn)了過擬合現(xiàn)象，需要針對(duì)網(wǎng)絡(luò)模型改進(jìn)、調(diào)參，但是可以看到，基于CNN的多標(biāo)簽分類識(shí)別模型應(yīng)用于林區(qū)車牌識(shí)別具有很好的表現(xiàn)力，相比較傳統(tǒng)車牌識(shí)別方法，CNN特征提取能力完全可以克服林區(qū)復(fù)雜環(huán)境對(duì)車牌識(shí)別的影響。后期將逐步優(yōu)化模型，提升準(zhǔn)確率，為林區(qū)環(huán)境下的車牌識(shí)別做出積極貢獻(xiàn)。

參考文獻(xiàn)：

[1] 文章巖.霧霾環(huán)境下車牌定位 [J].時(shí)代汽車，2019（12）：18-20.

[2] 鄧嘉誠(chéng)，黃賀聲，楊林，等.車輛牌照識(shí)別技術(shù)現(xiàn)狀 [J].現(xiàn)代信息科技，2019，3（16）：78-83.

[3] SILVA S M，JUNG C R. License Plate Detection and Recognition in Unconstrained Scenarios [C]//European Conference on Computer Vision.Cham：Springer，2018：593-609.

[4] 曹正鳳，李少丁，王棟梁，等.基于深度學(xué)習(xí)的端到端車牌檢測(cè)識(shí)別系統(tǒng) [J].中國(guó)交通信息化，2018（9）：88-91.

作者簡(jiǎn)介：丁鍵（1995—），男，漢族，江蘇鹽城人，碩士，研究方向：機(jī)器視覺;通訊作者：朱洪前（1974—），男，漢族，湖南雙峰人，副教授，博士，研究方向：機(jī)器視覺。