基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)輸船舶分類識(shí)別方法

戚 超，王曉峰

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)輸船舶分類識(shí)別方法

戚 超，王曉峰

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

為了解決運(yùn)輸船的精細(xì)分類識(shí)別問題，針對(duì)在港口、航道拍攝的大量運(yùn)輸船圖像，將一個(gè)8層卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)結(jié)合起來，通過用運(yùn)輸船訓(xùn)練集對(duì)網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練，然后提取卷積神經(jīng)網(wǎng)絡(luò)第一個(gè)全連接層的特征，訓(xùn)練支持向量機(jī)后便可以對(duì)運(yùn)輸船進(jìn)行分類識(shí)別，最后與其他全連接層的特征進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，該方法能夠?qū)崿F(xiàn)運(yùn)輸船類型精細(xì)分類識(shí)別，平均檢測準(zhǔn)確率達(dá)到88.6%。

船舶識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；支持向量機(jī)

0 引言

近年來，隨著我國對(duì)外經(jīng)濟(jì)貿(mào)易的不斷增長，以及一帶一路和海上絲綢之路戰(zhàn)略的實(shí)施，海上交通日益繁忙，船舶數(shù)量、水域交通密度及危險(xiǎn)貨物的裝載不斷增加，港口的船舶出入頻繁，各種海上交通事故及海難時(shí)有發(fā)生。對(duì)船舶進(jìn)行有效的識(shí)別，不僅對(duì)船舶的安全駕駛和海上交通安全管理具有重要作用，并且可以將其技術(shù)應(yīng)用到VTS系統(tǒng)中，快速識(shí)別各種船只，有利于提高港口通航以及巡航救助的能力，對(duì)國家的海上安全也具有重大的應(yīng)用價(jià)值。

船舶識(shí)別一直是模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一。2014年蔣少峰等提出基于結(jié)構(gòu)特征的SAR商用船舶分類算法[1]，可對(duì)散貨船、集裝箱船和漁船進(jìn)行分類；隨著神經(jīng)網(wǎng)絡(luò)方法的興起，2015年梁錦雄用BP神經(jīng)網(wǎng)絡(luò)對(duì)航空母艦、驅(qū)逐艦、護(hù)衛(wèi)艦、客船、集裝箱船、油船這6類船舶的紅外圖像進(jìn)行識(shí)別[2]；2016年Katie Rainey設(shè)計(jì)了針對(duì)衛(wèi)星船舶圖像分類的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)，并達(dá)到一個(gè)較好的分類效果[3]。相比于SAR圖像和紅外圖像，數(shù)字圖像能夠提供更為豐富的視覺信息，2016年趙亮等人利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)字船舶圖像提取特征，然后融合HOG和HSV特征構(gòu)建船舶圖像特征，再用支持向量機(jī)(Support Vector Machine，SVM)方法對(duì)集裝箱船、客船、漁船、軍艦、帆船進(jìn)行分類[4]。

現(xiàn)有的這些研究雖然取得了較好的識(shí)別效果，但是其針對(duì)的主要是船舶形狀差異大、背景單一的船舶圖像庫。在現(xiàn)實(shí)港口、航道拍攝的大量運(yùn)輸船圖像，背景復(fù)雜、船體形狀差異較小以及拍攝角度造成相似度高，使得傳統(tǒng)的方法對(duì)船舶圖像進(jìn)行分類識(shí)別并不能得到較好的效果。如何有效提高這類船舶圖像識(shí)別的效果是目前船舶圖像識(shí)別研究的一個(gè)難點(diǎn)。

隨著深度卷積神經(jīng)網(wǎng)絡(luò)在圖像分類任務(wù)中取得突破性的進(jìn)展，吸引了許多學(xué)者和研究人員投入其中，其中賈楊清等人研究表明，利用ImageNet上分類訓(xùn)練好的深度CNN模型提取深度卷積激活特征[5](Deep Convolution Activation Feature，DeCAF)，結(jié)合不同的分類器在場景識(shí)別、鳥類識(shí)別等任務(wù)都取得了很好的效果，實(shí)驗(yàn)表明基于AlexNet[6]網(wǎng)絡(luò)的第六層全連接層(DeCAF6)的特征無論在鳥類識(shí)別、目標(biāo)識(shí)別任務(wù)中都表現(xiàn)出優(yōu)于其他層特征。為此，本文采用AlexNet網(wǎng)絡(luò)，引入深度卷積激活特征，針對(duì)具有復(fù)雜背景的運(yùn)輸船數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，然后提取該網(wǎng)絡(luò)的DeCAF6特征，結(jié)合SVM分類器，對(duì)集裝箱船、散裝貨船、油氣船三類相似程度高的運(yùn)輸船進(jìn)行精細(xì)分類識(shí)別。本文嘗試在卷積神經(jīng)網(wǎng)絡(luò)中尋找最好的特征表示層，結(jié)合SVM分類器，通過提取圖像的高級(jí)語義特征提高CNN對(duì)特征的分類能力。

1 識(shí)別方法描述

1.1主要思想

簡略地說，深度卷積神經(jīng)網(wǎng)絡(luò)的主要工作原理是利用卷積核、下采樣和池化的方法逐層、逐級(jí)地抽取待識(shí)別的圖像特征，在網(wǎng)絡(luò)輸出端對(duì)最終特征進(jìn)行分類處理。層數(shù)的選擇和特征提取密切相關(guān)且對(duì)分類效果影響極大，是運(yùn)用CNN進(jìn)行模式分類的關(guān)鍵問題之一。

本文所使用的深度卷積神經(jīng)網(wǎng)絡(luò)是基于AlexNet模型構(gòu)建的一個(gè)8層網(wǎng)絡(luò)結(jié)構(gòu)，通過在本文構(gòu)建的運(yùn)輸船數(shù)據(jù)集上訓(xùn)練，得到卷積神經(jīng)網(wǎng)絡(luò)全連接層的特征圖，提取深度卷積激活特征，用SVM分類器進(jìn)行分類。由于在該網(wǎng)絡(luò)結(jié)構(gòu)中總共有3個(gè)全連接層，選擇哪一層作為SVM分類器的輸入能得到更好的分類效果，根據(jù)賈楊清等人研究實(shí)驗(yàn)表明：處在卷積神經(jīng)網(wǎng)絡(luò)前面的卷積層的特征圖包含的語義有限，后面全連接層的特征圖是由底層到中層的卷積層局部特征激活得到的，包含的語義信息更豐富，DeCAF6特征無論在物體分類、識(shí)別，還是在細(xì)粒度物體分類中都表現(xiàn)出優(yōu)于其他層特征，因此本文采用深度卷積神經(jīng)網(wǎng)絡(luò)的DeCAF6層特征，將其用于SVM分類器的輸入端，以便獲得一個(gè)較好的分類效果。

本文的船舶識(shí)別系統(tǒng)結(jié)構(gòu)如圖1所示。在訓(xùn)練階段，首先利用自己創(chuàng)建的船舶圖像數(shù)據(jù)集對(duì)AlexNet模型進(jìn)行有監(jiān)督訓(xùn)練，待訓(xùn)練結(jié)束后，提取該網(wǎng)絡(luò)的第六層網(wǎng)絡(luò)特征應(yīng)用于SVM分類器進(jìn)行訓(xùn)練；測試階段，測試圖像經(jīng)過與訓(xùn)練階段相同的預(yù)處理、CNN特征提取，然后將所得的圖像特征作為訓(xùn)練階段已訓(xùn)練好的SVM分類器的輸入，其輸出就是船舶圖像的預(yù)測標(biāo)簽。

圖1 船舶識(shí)別系統(tǒng)結(jié)構(gòu)

1.2圖像預(yù)處理

CNN作為一種神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)是相對(duì)固定的，但是船舶圖像尺寸大小各異，因此需要對(duì)圖像進(jìn)行預(yù)處理，以便能夠使不同大小的圖像輸入到固定結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

預(yù)處理過程主要包括兩個(gè)步驟：

(1)將所有的船舶圖像的尺寸統(tǒng)一調(diào)整為CNN在訓(xùn)練時(shí)所設(shè)計(jì)的輸入大小。針對(duì)本文構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)輸入有3個(gè)通道，圖像大小縮放為227×227。

(2)去均值，即對(duì)圖像上的每個(gè)像素的值減去平均值，對(duì)于本文的RGB圖像，要分別處理RGB三個(gè)通道上的像素值。

1.3 CNN結(jié)構(gòu)設(shè)計(jì)

本文所使用的深度卷積神經(jīng)網(wǎng)絡(luò)是ImageNet平臺(tái)上的AlexNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)有5個(gè)卷積層、3個(gè)池化層和3個(gè)全連接層，從表1所給出的參數(shù)可知，由于船舶圖像的分辨率大小不一致，對(duì)圖片進(jìn)行預(yù)處理，在第一層卷積層中用96個(gè)不同的大小為11×11的卷積核對(duì)輸入層進(jìn)行卷積，滑動(dòng)窗口步長為4，得到第一層卷積層，之后對(duì)這層卷積層進(jìn)行線性偏移函數(shù)的轉(zhuǎn)置和池化操作，激活函數(shù)選用的是線性修正單元函數(shù)[7](Rectified Linear Unit, ReLU)。池化過程選擇重疊池化，對(duì)卷積層3×3的鄰域點(diǎn)中取最大值，滑動(dòng)窗口步長為2，最后再進(jìn)行局部響應(yīng)歸一化后得到第一層的特征圖，通過相同的操作就可以得到第二層的特征圖；第三、四層只有卷積和池化過程且參數(shù)都是一樣的；第五層卷積操作之后經(jīng)過線性偏移函數(shù)轉(zhuǎn)置再進(jìn)行池化操作，最終得到256個(gè)6×6的特征圖，緊接著的第六層是第一個(gè)全連接層，將第五層所得全部特征圖進(jìn)行連接得到4 096維的向量。通過相同的操作得到第七層特征向量，第八層是Softmax，輸出決策結(jié)果。

本文使用的局部響應(yīng)歸一化(Local Response Normalization, LRN)方法，能夠提升網(wǎng)絡(luò)的泛化能力。另外為了防止過擬合，在每個(gè)全連接層后面使用了“dropout”[8]的技術(shù)，使網(wǎng)絡(luò)學(xué)習(xí)到更為魯棒的特征。

1.4 CNN訓(xùn)練

本文用彩色的運(yùn)輸船圖像數(shù)據(jù)訓(xùn)練AlexNet模型，在已訓(xùn)練好的AlexNet模型的基礎(chǔ)上，再用運(yùn)輸船圖像庫的訓(xùn)練集對(duì)這個(gè)模型進(jìn)行再訓(xùn)練，通過觀察測試圖像集上的圖像精度判斷訓(xùn)練效果[9-10]。在開始訓(xùn)練前,模型每一層權(quán)值的初始化都要通過一個(gè)均值為0、均方差為0.01的高斯分布進(jìn)行初始化。

表1 本文深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練分為兩個(gè)階段：

(1)前向傳播階段。從圖像庫訓(xùn)練樣本集中抽取一個(gè)樣本(x,y),將x輸入到CNN網(wǎng)絡(luò)上，上一層的輸出就是當(dāng)前層的輸入，逐層傳遞下去，最后得到Softmax層的輸出y′。y′是一個(gè)3維的向量，其元素分別代表著x被分到給定類別的概率。

(2)后向傳播階段。比較Softmax層的輸出y′與給定樣本集的類別標(biāo)簽向量y的誤差，并使用最小化均方誤差代價(jià)函數(shù)的方法調(diào)整權(quán)值參數(shù)，其他層的誤差只能從輸出層向輸入層方向逐層后推得到。

通過這兩個(gè)階段的訓(xùn)練，可以得到該網(wǎng)絡(luò)所有層的權(quán)值參數(shù)，從而得到卷積神經(jīng)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)采用隨機(jī)梯度下降的方法，將批量尺寸設(shè)置為100，動(dòng)量系數(shù)為0.9，權(quán)值衰減系數(shù)為0.000 5，初始學(xué)習(xí)率為0.000 1，通過90次的循環(huán)訓(xùn)練便得到了卷積神經(jīng)網(wǎng)絡(luò)。

1.5 SVM訓(xùn)練

實(shí)驗(yàn)表明，用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)運(yùn)輸船圖像提取特征，由于SVM分類器對(duì)大數(shù)據(jù)高維特征的分類支持較好，而且研究表明SVM效果比模型中的Softmax分類器直接分類效果好很多，因此本文選擇SVM分類器，通過在運(yùn)輸船數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到卷積神經(jīng)網(wǎng)絡(luò)的模型，然后提取第六層的船舶圖像特征，結(jié)合訓(xùn)練集船舶圖像標(biāo)簽訓(xùn)練并得到一個(gè)SVM分類器。然后使用這個(gè)訓(xùn)練好的SVM分類器進(jìn)行船舶識(shí)別。

2 實(shí)驗(yàn)

2.1數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

本文所采用的運(yùn)輸船圖像庫是從中國海事網(wǎng)船舶圖像集中以及百度圖片、Google圖片中收集，分別收集了集裝箱船、油氣船、散裝貨船這3類船舶圖像，如圖2所示，這些運(yùn)輸船在拍攝角度不同、背景復(fù)雜以及船舶形狀差異小等因素下都造成船舶圖像區(qū)別難度高。本文實(shí)驗(yàn)船舶圖像總共3 000張，每類1 000張，隨機(jī)選取2 400張圖像作為訓(xùn)練集，600張作為測試集。

圖2 船舶圖像庫部分樣例(原圖為彩色)

實(shí)驗(yàn)全部在MATLAB2014a平臺(tái)上進(jìn)行，使用Matconvnet[11]和LibSVM這兩個(gè)第三方包，Matconvnet是專門為訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的使用MATLAB的第三方開源包，LibSVM是臺(tái)灣林智仁教授2001年開發(fā)的一套支持向量機(jī)的庫，可以快速、簡便地對(duì)數(shù)據(jù)做分類或回歸。

2.2實(shí)驗(yàn)結(jié)果及分析

本文采用8層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，有5個(gè)卷積層，如圖3所示，5個(gè)不同的卷積層對(duì)應(yīng)著不同的特征圖，將本文網(wǎng)絡(luò)結(jié)構(gòu)中前5個(gè)卷積層所得到的特征圖可視化。第一、二層卷積層學(xué)習(xí)到的基本是顏色、邊緣等低層特征，從第三層到第五層開始，特征的可解釋性變差，特征變得局部且稀疏。

圖3 不同卷積層得到的特征圖

表2給出了本文中不同方法對(duì)運(yùn)輸船的識(shí)別率，從表2給出的數(shù)據(jù)可知，使用傳統(tǒng)的8層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方法對(duì)運(yùn)輸船的識(shí)別效率達(dá)到83.33%，而使用卷積神經(jīng)網(wǎng)絡(luò)提取特征，將在第六層所提取的特征應(yīng)用到SVM分類器中，即DeCAF6+SVM方法達(dá)到88.66%的識(shí)別率，使用第七層的圖像特征對(duì)運(yùn)輸船的識(shí)別率達(dá)到84.17%，實(shí)驗(yàn)驗(yàn)證了本網(wǎng)絡(luò)第六層特征對(duì)運(yùn)輸船識(shí)別效率最好。從表2中數(shù)據(jù)可知，散裝貨船和油氣船的識(shí)別率相對(duì)較低，這是由于拍攝角度、運(yùn)輸船形狀相似的原因造成散裝貨船和油氣船不好區(qū)分，而且這兩個(gè)類型的運(yùn)輸船和集裝箱船相比，集裝箱船最明顯的特征是集裝箱，所以集裝箱船比其他兩種識(shí)別率高。為了驗(yàn)證本文方法的有效性，在本文數(shù)據(jù)集上又測試了趙亮等人所提出的船舶識(shí)別方法，將卷積神經(jīng)網(wǎng)絡(luò)提取的特征、HOG和HSV特征三者融合起來，從表2可以看出，其船舶識(shí)別方法的識(shí)別率只有85%，HOG和HSV特征并不能很好地區(qū)分運(yùn)輸船，文獻(xiàn)[4]所提出的方法主要是針對(duì)船舶形狀差異大的船舶類型，使用全局特征對(duì)運(yùn)輸船進(jìn)行精細(xì)分類效果不佳。而本文使用層次更深的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，旨在得到更有區(qū)別性的局部特征。

表2 運(yùn)輸船分類識(shí)別結(jié)果 (%)

復(fù)雜背景的運(yùn)輸船舶精細(xì)分類是一個(gè)具有挑戰(zhàn)性的問題，本文雖然取得了較好的分類效果，也存在一些不足：

(1)在圖像庫的建立方面，為使研究更加有實(shí)際意義和使用價(jià)值，應(yīng)進(jìn)行更多類別的實(shí)驗(yàn)，完善船舶圖像數(shù)據(jù)庫。

(2)在圖像特征選取方面，應(yīng)該進(jìn)一步研究具有辨別性的局部特征，與卷積神經(jīng)網(wǎng)絡(luò)提取的特征進(jìn)行融合，提高圖像識(shí)別的精度。

3 結(jié)論

本文通過基于AlexNet構(gòu)建的8層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)運(yùn)輸船圖像進(jìn)行訓(xùn)練，利用卷積神經(jīng)網(wǎng)絡(luò)能夠提供較好的局部特征，提取該網(wǎng)絡(luò)第六層的特征，通過SVM分類器進(jìn)行分類識(shí)別，很好地解決了這些由于拍攝角度、背景復(fù)雜以及船體形狀相似等原因造成識(shí)別難度大的運(yùn)輸船精細(xì)分類的問題，并最終達(dá)到平均識(shí)別率為88.6%。本文不僅驗(yàn)證了該方法在船舶類型精細(xì)分類具有較高的檢測準(zhǔn)確率，也說明了卷積神經(jīng)網(wǎng)絡(luò)在船舶識(shí)別具有較好的特征提取能力，同樣該方法對(duì)于實(shí)現(xiàn)船舶航行安全也具有重要意義。

[1] 蔣少峰, 王超, 吳樊,等. 基于結(jié)構(gòu)特征分析的COSMO-SkyMed圖像商用船舶分類算法[J]. 遙感技術(shù)與應(yīng)用, 2014, 29(4):607-615.

[2] 梁錦雄,王刻奇.基于BP神經(jīng)網(wǎng)絡(luò)的船艦?zāi)繕?biāo)識(shí)別分類[J].艦船科學(xué)技術(shù), 2015, 37(3):206-209.

[3] RAINEY K, REEDER J D, CORELLI A G. Convolution neural networks for ship type recognition[C]. SPIE Defense+Security, 2016,9844:09.

[4] 趙亮, 王曉峰, 袁逸濤. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的船舶識(shí)別方法研究[J]. 艦船科學(xué)技術(shù), 2016, 38(15):119-123.

[5] DONAHUE J, JIA Y, VINYALS O, et al. DeCAF: a deep convolutional activation feature for generic visual recognition[J]. Computer Science, 2013, 50(1):815-830.

[6] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems, Curran Associates Inc, 2012:1097-1105.

[7] NAIR V, HINTON G E. Rectified linear units improve restricted boltzmann machines[C]. International Conference on Machine Learning, 2015:807-814.

[8] HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012, 3(4): 212-223.

[9] RAZAVIAN A S, AZIZPOUR H, SULLIVAN J, et al. CNN features off the shelf: an astounding baseline for recognition[C]. CVPR2014, DeepVision Workshop, 2014:512-519.

[10] YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[J]. Eprint Arxiv, 2014, 27:3320-3328.

[11] VEDALDI A, LENC K. MatConvNet: Convolutional Neural Networks for MATLAB[J]. Eprint Arxiv, 2014:689-692.

Transport ships recognition method based on convolution neural networks

Qi Chao, Wang Xiaofeng

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

In order to solve the problems of the fine classification of transport ships, this article combined 8 layers convolution neural network and Support Vector Machine (SVM). Firstly introduced 8 layers convolution neural network structure, and it was obtained by supervised training with labeled training data, then extracted the feature of the first full connection layer of convolution neural network, after training SVM, the transport ships can be classified and identified. Finally, we compared the performance with other full connection layer. Experimental results show that the proposed method can realize fine classification of transport ships, and detection accuracy is 88.66% on average.

ship recognition; convolution neural network; support vector machine

TP391.41

：A

10.19358/j.issn.1674- 7720.2017.17.015

戚超，王曉峰.基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)輸船舶分類識(shí)別方法[J].微型機(jī)與應(yīng)用，2017,36(17)：52-55.

2017-03-11)

戚超(1992-)，男，碩士研究生，主要研究方向：圖像識(shí)別與深度學(xué)習(xí)。

王曉峰(1958-)，男,工學(xué)博士，教授，主要研究方向：人工智能、數(shù)據(jù)挖掘與深度學(xué)習(xí)。