基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)場助航燈故障診斷

姜 巍

(中國民航工程咨詢公司，北京 100621)

0 引言

機(jī)場助航燈光系統(tǒng)是機(jī)場視覺導(dǎo)航系統(tǒng)中重要構(gòu)成部分，對夜間與極端天氣條件下飛機(jī)的起飛、著陸和滑行起著至關(guān)重要的作用。根據(jù)國際民航組織文件附件第14條對導(dǎo)航設(shè)備平均光照強(qiáng)度的要求，如果平均光照強(qiáng)度不符合要求，需及時(shí)更換燈泡。但目前助航燈故障檢測主要采用人工目視檢測方法，該方法存在準(zhǔn)確度低及受主觀影響較大等弊端。 因此本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的助航燈故障診斷方法。

卷積神經(jīng)網(wǎng)絡(luò)是一種廣泛應(yīng)用于多個(gè)領(lǐng)域的深度神經(jīng)網(wǎng)絡(luò)，主要用于模式識別和圖像分類。Ahmad等[1-2]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉識別;潘翔等[3]應(yīng)用CNN 方法識別車牌字符，準(zhǔn)確度為98.9%;鄧柳和汪子杰[4]在車牌字符識別中應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)，識別準(zhǔn)確率達(dá)到97.8%以上;周明非等[5]應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)對高分辨衛(wèi)星圖像進(jìn)行分類，準(zhǔn)確率為99.5%;江璐等[6]將CNN用于指紋紋型分類，準(zhǔn)確度達(dá)到94.2%;朱錫祥、張晴晴、鐘林等[7-9]將神經(jīng)網(wǎng)絡(luò)與深度CNN應(yīng)用于語音識別。本文在助航燈故障診斷中引入卷積神經(jīng)網(wǎng)絡(luò)，以期實(shí)現(xiàn)對助航燈等光強(qiáng)圖的自動診斷和分類。該過程無需人為提取輸入圖像特征，可克服潛在的人為因素影響，提高故障診斷準(zhǔn)確性。

1 卷積神經(jīng)網(wǎng)絡(luò)

YanLecun等[10]于20世紀(jì)90年代末提出了卷積神經(jīng)網(wǎng)絡(luò)算法，并基于卷積神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)了一套用于識別支票數(shù)字的手寫數(shù)字識別系統(tǒng)。隨后卷積神經(jīng)網(wǎng)絡(luò)模型逐漸擴(kuò)展至其它領(lǐng)域，如物體檢測、人體運(yùn)動檢測。卷積神經(jīng)網(wǎng)絡(luò)具有共享權(quán)值、旋轉(zhuǎn)不變性等結(jié)構(gòu)特性，使其能夠從需要識別的圖片中提取足夠的圖片特征，適用于圖像識別與分類，但應(yīng)用于復(fù)雜圖像分類的效果并不理想，主要原因是硬件設(shè)備性能較差，導(dǎo)致神經(jīng)網(wǎng)絡(luò)訓(xùn)練異常緩慢，效率較低無法廣泛應(yīng)用。近年來，隨著電子技術(shù)、電腦硬件水平的飛速發(fā)展，卷積網(wǎng)絡(luò)也得到長足發(fā)展，且卷積神經(jīng)網(wǎng)絡(luò)在預(yù)處理過程中無須人工提取特征，從而避免了潛在的人為誤差，提高了系統(tǒng)識別準(zhǔn)確率。近年來，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于人臉識別[11-13]、字符識別[14-16]、圖像分類[17-22]、語音識別[23-25]等領(lǐng)域。

1.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是一種多層監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，首層為輸入層，中間層由交替成對出現(xiàn)的卷積層和池化層組成，層間提取的特征圖像素值遞減，但所含特征圖遞增，從而可提取詳盡的圖片特征信息；卷積神經(jīng)網(wǎng)絡(luò)后端的幾層為傳統(tǒng)全連接層，其功能與多層前饋神經(jīng)網(wǎng)絡(luò)類似。由卷積層和池化樣層提取的特征圖輸入全連接層，并在多個(gè)非線性映射之后產(chǎn)生特征向量，最終送往輸出層的分類器進(jìn)行分類。目前，根據(jù)任務(wù)的不同，輸出層分類器可以采用logistic回歸、softmax回歸,或是支持向量機(jī)等形式。圖1為卷積神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.2 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程可分為以下兩個(gè)階段：

第一階段為前向傳播：①神經(jīng)網(wǎng)絡(luò)訓(xùn)練前，初始化網(wǎng)絡(luò)參數(shù)，對網(wǎng)絡(luò)具體層數(shù)、卷積核大小、學(xué)習(xí)速率、迭代次數(shù)進(jìn)行選擇，并選擇訓(xùn)練樣本集和測試樣本集；②將樣本輸入網(wǎng)絡(luò)，對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到相應(yīng)的輸出結(jié)果。

第二階段為反向傳播：①計(jì)算網(wǎng)絡(luò)實(shí)際輸出與理論輸出的均方誤差；②反向傳播過程中，不斷優(yōu)化網(wǎng)絡(luò)閾值參數(shù)，通過梯度下降法，調(diào)整權(quán)值矩陣，更新網(wǎng)絡(luò)各節(jié)點(diǎn)權(quán)值和偏置，不斷迭代直到達(dá)到預(yù)先設(shè)定的迭代次數(shù)。

1.3 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法

卷積網(wǎng)絡(luò)訓(xùn)練中的具體算法如下:

l表示神經(jīng)網(wǎng)絡(luò)中任意層，則該層輸出為：

xl=f(il),il=klxl-1+bl

(1)

其中,il為l層(當(dāng)前層)的輸入,kl為l層特征圖的權(quán)值,xl-1為上一層的輸出,bl為當(dāng)前層的額外偏置(也稱基),f為神經(jīng)網(wǎng)絡(luò)激活函數(shù)，本文選用sigmoid函數(shù)作為網(wǎng)絡(luò)激活函數(shù)。

對上一層輸出的特征圖進(jìn)行卷積，通過激活函數(shù)，得到相應(yīng)特征圖。卷積層計(jì)算方式如式(2)所示。

(2)

在池化層中，對前一卷積層提取的特征圖進(jìn)行池化操作，池化后輸出的特征圖數(shù)量不變，計(jì)算方法為：

(3)

其中，用n表示卷積層和池化層間窗口大小，一般大小為2×2。Mj表示選擇輸入特征圖的集合。

激活函數(shù)sigmoid的具體函數(shù)形式為：

(4)

將識別率的數(shù)值作為評價(jià)網(wǎng)絡(luò)優(yōu)良的標(biāo)準(zhǔn)，識別率計(jì)算公式為：

(5)

2 卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)設(shè)計(jì)

本文基于LeNet-5模型進(jìn)行改進(jìn)優(yōu)化，具體改進(jìn)方法包括：sigmoid函數(shù)較LeNet-5中雙曲正切函數(shù)網(wǎng)絡(luò)擬合更快，因此被采用為本文神經(jīng)網(wǎng)絡(luò)的激勵函數(shù)。將原網(wǎng)絡(luò)中的C5層刪去，并將S4層采集的特征圖直接輸入全連接層，各層網(wǎng)絡(luò)中神經(jīng)元個(gè)數(shù)也相應(yīng)改變，最終網(wǎng)絡(luò)模型結(jié)構(gòu)見圖2。與原神經(jīng)網(wǎng)絡(luò)相比，改進(jìn)后的網(wǎng)絡(luò)中隱含層為5層。網(wǎng)絡(luò)中神經(jīng)元個(gè)數(shù)減少，訓(xùn)練參數(shù)大幅降低，從而網(wǎng)絡(luò)擬合所需時(shí)間也相應(yīng)減少。但改進(jìn)后的神經(jīng)網(wǎng)絡(luò)仍具備圖像位移、縮放不變性和良好魯棒性等優(yōu)點(diǎn)。

該網(wǎng)絡(luò)結(jié)構(gòu)中，輸入層的輸入為大小28×28的光強(qiáng)圖，其后為交替出現(xiàn)的卷積、池化層。圖中C1為卷積層，該層有6個(gè)大小為5×5的卷積核，對輸入圖像卷積后得到大小6張大小為24×24的特征圖。卷積得到的特征圖即為S2層(即池化層)的輸入，池化后特征圖個(gè)數(shù)不變，但輸出的特征圖大小為輸入的1/4。C3是第2個(gè)卷積層，S4是第2個(gè)池化層，最后與F5層以全連接的方式相連得到網(wǎng)絡(luò)輸出，輸出層中4個(gè)神經(jīng)元分別對應(yīng)助航燈4種狀態(tài)。改進(jìn)后的神經(jīng)網(wǎng)絡(luò)模型共有32 194個(gè)參數(shù)，在LeNet-5模型60 000個(gè)參數(shù)的基礎(chǔ)上減少了46%。

圖2 卷積網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文選擇正常、老化、燈絲熔斷、損壞的助航燈等光強(qiáng)圖作為訓(xùn)練和測試集樣本，樣本總數(shù)為7 000，圖像為RGB顏色模式。選取樣本集中20%的等光強(qiáng)圖作為測試樣本，其余作為訓(xùn)練樣本。將樣本集中等光強(qiáng)圖隨機(jī)輸入神經(jīng)網(wǎng)絡(luò)中，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。助航燈等光強(qiáng)圖部分樣本如圖3所示。

圖3 等光強(qiáng)圖樣本示例

3.2 實(shí)驗(yàn)結(jié)果分析

為保證實(shí)驗(yàn)客觀性及嚴(yán)謹(jǐn)性，將實(shí)驗(yàn)中采集的圖像打亂順序后隨機(jī)輸入神經(jīng)網(wǎng)絡(luò)中，對模型進(jìn)行訓(xùn)練和測試。網(wǎng)絡(luò)多次迭代后，得到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練、測試準(zhǔn)確率及誤差損失函數(shù)loss值，作為評價(jià)神經(jīng)網(wǎng)絡(luò)模型優(yōu)劣的標(biāo)準(zhǔn)。

在對神經(jīng)網(wǎng)絡(luò)訓(xùn)練前，將神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速率設(shè)置為0.01，總迭代次數(shù)設(shè)置為100。對采集的助航燈等光強(qiáng)圖集打亂順序，并選取其中的20%作為測試神經(jīng)網(wǎng)的圖片集。用識別準(zhǔn)確的張數(shù)/測試集總張數(shù)計(jì)算卷積網(wǎng)絡(luò)的測試準(zhǔn)確率。實(shí)驗(yàn)結(jié)果如圖4和圖5所示。

圖4 神經(jīng)網(wǎng)絡(luò)識別準(zhǔn)確率隨迭代次數(shù)變化趨勢

在上圖中紅色為訓(xùn)練準(zhǔn)確率變化曲線，藍(lán)色為測試準(zhǔn)確定率變化曲線。如圖4所示，網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率最大值為98.70%，測試準(zhǔn)確率最大值為94.84%?？梢钥闯錾窠?jīng)網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率和測試準(zhǔn)確率隨著網(wǎng)絡(luò)迭代次數(shù)的增加逐漸升高，說明該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇及設(shè)計(jì)合理，卷積核大小及移動步速、學(xué)習(xí)速率等參數(shù)正確。測試識別率最高為94.84%，說明網(wǎng)絡(luò)對圖像的特征提取較準(zhǔn)確，基本能夠滿足機(jī)場助航燈故障診斷。

圖5 神經(jīng)網(wǎng)絡(luò)損失函數(shù)loss隨迭代次數(shù)變化趨勢

圖5中的紅線為訓(xùn)練損失函數(shù)變化曲線，藍(lán)線為測試損失函數(shù)變化曲線，隨著迭代次數(shù)的增加，訓(xùn)練損失函數(shù)和測試損失函數(shù)先逐漸減少，隨后訓(xùn)練損失函數(shù)逐漸穩(wěn)定，而測試損失函數(shù)在測試準(zhǔn)確率達(dá)到94.84%后開始波動。結(jié)合測試準(zhǔn)確率圖像分析，測試準(zhǔn)確率在卷積網(wǎng)絡(luò)迭代到第80次時(shí)達(dá)到峰值，為94.84%，而后準(zhǔn)確率下降，說明此時(shí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成。

實(shí)驗(yàn)結(jié)果表明：深度卷積神經(jīng)網(wǎng)絡(luò)在助航燈故障診斷方面具有一定的實(shí)用價(jià)值，可作為助航燈故障診斷技術(shù)參考。本次實(shí)驗(yàn)只選取了一種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)分析，未來可考慮增加隱含層數(shù)或改變卷積核大小等參數(shù)進(jìn)行實(shí)驗(yàn)，研究各參數(shù)變化對網(wǎng)絡(luò)識別準(zhǔn)確率的影響。

4 結(jié)語

本文將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于助航燈故障診斷，將助航燈等光強(qiáng)圖片輸入到神經(jīng)網(wǎng)絡(luò)中對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。該過程由卷積網(wǎng)絡(luò)自動提取特征，消除了人為提取特征時(shí)可能存在的誤差，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)識別準(zhǔn)確率達(dá)到94.84%，說明基于卷積神經(jīng)網(wǎng)絡(luò)的助航燈故障診斷方法具有一定實(shí)用性。

基于LeNet-5模型結(jié)構(gòu)對卷積網(wǎng)絡(luò)層數(shù)結(jié)構(gòu)等參數(shù)進(jìn)行選擇，構(gòu)建用于助航燈故障診斷的卷積網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果中的誤差可能是助航燈圖片數(shù)較少所致。因此，在下一步研究中會增加助航燈等光強(qiáng)圖的數(shù)量，以期獲得更好的識別診斷效果。