基于深度學(xué)習(xí)PyTorch在“飛行安全”教學(xué)中的應(yīng)用與展望

蘆建輝，王 林，侯明鑫

（1.空軍航空大學(xué)，吉林 長春 130022；2.廣東海洋大學(xué) 機械與動力工程學(xué)院，廣東 湛江 524088）

引言

深度學(xué)習(xí)（Deep Learning）是學(xué)習(xí)輸入樣本的內(nèi)在規(guī)律，并且把規(guī)律從特殊推廣到一般。它的最終目標是讓機器能夠像人一樣產(chǎn)生“自我”意識并具有分析能力，如識別圖片的含義等?，F(xiàn)在流行的深度學(xué)習(xí)網(wǎng)絡(luò)可分為三大類：用于影像數(shù)據(jù)進行分析處理的卷積神經(jīng)網(wǎng)絡(luò)（CNN）[1，2]、用于文本分析或自然語言處理的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和用于數(shù)據(jù)生成或非監(jiān)督式學(xué)習(xí)應(yīng)用的生成對抗網(wǎng)絡(luò)（GAN）[3，4]。國內(nèi)的研究者將深度學(xué)習(xí)應(yīng)用到生活的方方面面，很多學(xué)科把深度學(xué)習(xí)滲透到課堂中，如火箭軍工程大學(xué)的王國亮把深度學(xué)習(xí)應(yīng)用到專業(yè)基礎(chǔ)課程“材料科學(xué)基礎(chǔ)”中，激發(fā)學(xué)生的創(chuàng)新思維和增強探索精神[5]；北京交通大學(xué)的李艷鳳把深度學(xué)習(xí)課程應(yīng)用到實驗教學(xué)中，加深了學(xué)生對課程的理解，增強了學(xué)生的高階思維能力[6]。谷歌、阿里巴巴、Facebook、騰訊和百度等國內(nèi)外互聯(lián)網(wǎng)巨頭都大力投資，不斷加快深度學(xué)習(xí)領(lǐng)域的研究步伐，由此，深度學(xué)習(xí)開始不斷應(yīng)用于語音識別、圖像處理、自然語言識別等領(lǐng)域[7-9]。

針對“飛行安全”教育教學(xué)中的特點，結(jié)合深度學(xué)習(xí)常用的PyTorch工具，從自然語言和影像數(shù)據(jù)分析處理兩個角度分別設(shè)計了深度學(xué)習(xí)在“飛行安全”教學(xué)中的應(yīng)用場景和基本思路，并且展望了未來深度學(xué)習(xí)技術(shù)在“飛行安全”教育教學(xué)中的發(fā)展趨勢。

一、深度學(xué)習(xí)框架

選擇一個合適的深度學(xué)習(xí)框架是非常重要的，因為一個合適的深度學(xué)習(xí)框架能起到事半功倍的作用[10]。在深度學(xué)習(xí)框架形成之前，研究者使用各種不同的方式達到他們的研究目的，需要寫大量的重復(fù)代碼，導(dǎo)致學(xué)習(xí)的門檻比較高，而且難以復(fù)現(xiàn)，影響了學(xué)習(xí)的積極性。為了解決這些阻礙深度學(xué)習(xí)發(fā)展的問題，越來越多的開發(fā)者就這些代碼寫成框架放在網(wǎng)上，方便研究者使用，現(xiàn)在最為流行的深度學(xué)習(xí)框架有PyTorch、Tensorflow、Caffe和PaddlePaddle。

1.PyTorch。PyTorch是一個開源的python工具庫，是在2017年由Facebook人工智能院基于Torch開發(fā)而來的深度學(xué)習(xí)框架；Torch是由卷積神經(jīng)網(wǎng)絡(luò)之父Yann LeCun領(lǐng)導(dǎo)開發(fā)的框架，于2014年開源，曾是Facebook和Twitter主推的一款開源深度學(xué)習(xí)框架，使用Python修改了很多內(nèi)容，使Pytorch更加靈活，同時支持動態(tài)圖，得到了更多研發(fā)人員的認可。PyTorch有利于研究開發(fā)人員快速生成模型，支持GPU，更易于搭建和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。

2.Tensorflow。Tensorflow是由谷歌開發(fā)的深度學(xué)習(xí)框架，是一個端到端平臺，學(xué)者或?qū)＜揖梢暂p松地構(gòu)建、試驗和部署模型。Tensorflow提供多個高級API（Application Programming Interface，應(yīng)用程序接口），用戶基于業(yè)務(wù)需求選擇適用的API或者自行定制API，將TensorFlow部署在CPU、GPU的服務(wù)器中，或應(yīng)用在移動設(shè)備中開展目標檢測等，并支持AdaGrad和Neuron Dropout等算法優(yōu)化[11，12]。

3.Caffe。Caffe由加州大學(xué)伯克利的博士賈揚清開發(fā)，全稱是Convolutional Architecture for Fast Feature Embedding，是一個清晰而高效的開源深度學(xué)習(xí)框架[13]，支持Python和Matlab接口，為研究者提供多種編程語言來開發(fā)算法，并由伯克利視覺中心（Berkeley Vision and Learning Center, BVLC）進行維護。

4.PaddlePaddle。PaddlePaddle是2016年百度研發(fā)的深度學(xué)習(xí)平臺，是國內(nèi)最早開源的一個功能較完備的深度學(xué)習(xí)平臺。PaddlePaddle具有全面的工業(yè)級應(yīng)用模型，涵蓋計算機視覺和自然語言處理等多個領(lǐng)域[11]，并開放多個領(lǐng)先的預(yù)訓(xùn)練中文模型，復(fù)現(xiàn)了多套有價值的算法模型。目前，PaddlePaddle已經(jīng)實現(xiàn)了API的穩(wěn)定和兼容性，形成完善的中英雙語使用文檔，簡潔高效、易學(xué)易用[14]。

深度學(xué)習(xí)框架降低了人工智能的門檻，研究者不需要從復(fù)雜的神經(jīng)網(wǎng)絡(luò)開始編代碼，可根據(jù)業(yè)務(wù)模型的需要，繼承框架中的模型進行修改，通過訓(xùn)練得到模型參數(shù)，也可以增加層次，或者選擇所需的分類器和優(yōu)化算法。以上深度學(xué)習(xí)框架提供了豐富的深度學(xué)習(xí)組件，用戶自定義研發(fā)新的算法，減少了重復(fù)的代碼量。經(jīng)對比發(fā)現(xiàn)，PyTorch框架包含了很多高級API，可以應(yīng)用在目標檢測、物體分類、語義分割等深度學(xué)習(xí)框架中。從工程實際的角度來講，通過PyTorch訓(xùn)練模型，生成權(quán)重文件后，既可以通過云端進行檢測，也可以嵌入邊緣設(shè)備中進行離線檢測[15]，近年來大部分項目采用在云中和邊緣同步部署檢測的混合方法，取得了較好的應(yīng)用效果。邊緣模型通過智能設(shè)備實時做出決策來解決深度云對末端檢測的不足，云中進行模型訓(xùn)練，處理進行長期分析和改進權(quán)重，如智能汽車就是利用車上的攝像頭和處理器進行實時計算，再把數(shù)據(jù)上傳到云端，對模型權(quán)重進行更新。以上算法框架對飛行安全工程和管理類學(xué)科教學(xué)都有典型應(yīng)用價值，例如機場利用攝像頭檢測跑道異物、監(jiān)測空中飛鳥等，均可利用邊緣設(shè)備進行智能自動檢測。

二、“飛行安全”教學(xué)特點

軍民航在多所高校開設(shè)“飛行安全”相關(guān)教學(xué)，包括多個飛行技術(shù)、工程技術(shù)和管理類專業(yè)，大部分是普通高等學(xué)校本科專業(yè)和任職教育專業(yè)，不同的任職崗位其設(shè)置的課程內(nèi)容不盡相同，但本質(zhì)均是保障飛行安全。飛行安全關(guān)乎人們的生命財產(chǎn)，影響著民航業(yè)的發(fā)展前景，更關(guān)乎國家的形象。飛機的安全起降、平安是每個人的希望。近年來，世界范圍內(nèi)民航安全事故頻發(fā)，但是航空運輸卻快速發(fā)展，飛行航線密度和擁擠度逐漸上升，飛行安全格外重要。隨著科技的快速發(fā)展，深度學(xué)習(xí)普遍應(yīng)用在各行各業(yè)，為預(yù)防和減少空難的發(fā)生，將深度學(xué)習(xí)應(yīng)用到飛行安全實踐中，為航空器飛行安全提供更多的保障。

“飛行安全”課程是一門典型的綜合多學(xué)科知識構(gòu)成的課程，不僅涉及“飛機飛行力學(xué)”“飛機結(jié)構(gòu)與系統(tǒng)”“空中領(lǐng)航”“航空動力裝置”“航空氣象”等航空理論相關(guān)課程知識，還涉及“飛行事故調(diào)查學(xué)”“航空生理心理學(xué)”“飛行中人的因素”“安全管理學(xué)”“應(yīng)急情況處置”等課程知識，因此，“飛行安全”課程不僅內(nèi)容豐富、綜合性強、應(yīng)用性突出，而且理論與實踐聯(lián)系緊密，這事實上與每一起飛行事故都涉及多種原因是一致的。在“飛行安全”教學(xué)中，通常采用理論教學(xué)、案例教學(xué)、模擬教學(xué)等方法。深度學(xué)習(xí)技術(shù)在“飛行安全”理論教學(xué)、工程技術(shù)教學(xué)、案例教學(xué)、模擬教學(xué)方面均有典型應(yīng)用價值。

三、深度學(xué)習(xí)在“飛行安全”教學(xué)中的應(yīng)用設(shè)計

1.RNN在“飛行安全”理論教學(xué)中的應(yīng)用設(shè)計?！帮w行安全”理論主要是基于事故致因、安全管理、安全技術(shù)等理論的形成的基礎(chǔ)理論，重點是用于分析飛行事故的致因因素及其作用過程，簡單地說就是回答“事故的致因因素是什么、是怎么發(fā)生的、為什么會發(fā)生”等基本問題。應(yīng)用自然語言處理的循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)對飛行不安全事件（一般涵蓋飛行事故、飛行事故征候等事件）調(diào)查報告等文件資料按照一定邏輯進行處理形成事件特征數(shù)據(jù)集，進而用于預(yù)防同類事件的再次發(fā)生。具體過程可分為三步：一是不安全事件特征標準化標識，將同類不安全事件的發(fā)生條件、發(fā)生時機、致因因素、發(fā)生過程、處置過程、產(chǎn)生后果等內(nèi)容進行標準化標識；二是生成事件特征數(shù)據(jù)集和模型，將歷史上同類原因或具有同一性特征的事件信息進行聚類，生成特征數(shù)據(jù)集，并經(jīng)過海量數(shù)據(jù)訓(xùn)練形成特征模型；三是基于特征數(shù)據(jù)集和模型對即將開展的飛行安全任務(wù)計劃中的參加人員、業(yè)務(wù)過程、協(xié)作關(guān)系、管理關(guān)系等構(gòu)成的任務(wù)描述進行自動化、智能化的特征比較，從而基于特征數(shù)據(jù)的深度學(xué)習(xí)得出富有實效的數(shù)據(jù)分析結(jié)論。

例如，某階段的任務(wù)是新飛行員起落航線理論教學(xué)和飛行訓(xùn)練，為保障該階段的飛行安全，必須準確識別該階段的主要風(fēng)險源、評估不同熟練度飛行員的風(fēng)險程度并提出精準的風(fēng)險預(yù)防控制措施。應(yīng)用RNN深度學(xué)習(xí)技術(shù)對該階段教學(xué)訓(xùn)練任務(wù)計劃與特征數(shù)據(jù)集，按照上述思路進行特征比較，基于特征相似度對任務(wù)、人員、業(yè)務(wù)過程、協(xié)作、管理并結(jié)合環(huán)境因素給出風(fēng)險識別參考列表清單，有助于任務(wù)管理者和執(zhí)行者開展風(fēng)險防控?；谏疃葘W(xué)習(xí)技術(shù)可以深挖安全風(fēng)險直接原因背后的隱性因素，尤其是部分人員由于理論學(xué)習(xí)的有效性不足形成的盲點會導(dǎo)致飛行訓(xùn)練中的風(fēng)險進一步放大，從而在飛行中出現(xiàn)應(yīng)急情況時難以分析其原因并控制處置措施。RNN在“飛行安全”理論教學(xué)中的應(yīng)用可為安全風(fēng)險識別提供特征比較客觀數(shù)據(jù)，提高“飛行安全”理論教學(xué)的針對性和有效性。

2.CNN在“飛行安全”工程技術(shù)教學(xué)和案例教學(xué)中的應(yīng)用設(shè)計?！帮w行安全”工程技術(shù)教學(xué)和案例教學(xué)均會使用到大量的圖片、影像等素材，這些圖片和影像的智能處理是提升教學(xué)質(zhì)量的重要方法?！帮w行安全”工程技術(shù)和案例教學(xué)典型的場景有飛鳥識別與鳥擊風(fēng)險評估、跑道異物識別與外來物撞擊風(fēng)險評估、座艙多維度視頻圖像處理與風(fēng)險識別、事故調(diào)查、事故仿真再現(xiàn)等，這些場景的數(shù)據(jù)來源多是攝像和圖像采集設(shè)備獲取的圖片或影像資料，這些資料均為自動攝錄采集，數(shù)據(jù)量巨大，風(fēng)險源表現(xiàn)在視場時間短暫且不敏感，人工識別判斷工作量巨大，亟須采用卷積神經(jīng)網(wǎng)絡(luò)進行智能化分析處理影像數(shù)據(jù)，基于圖像特征數(shù)據(jù)集自動識別異常情況并評估風(fēng)險情況。

例如，機場飛鳥自動智能識別與風(fēng)險評估，主要通過收集部署于機場及跑道周邊的攝像設(shè)備獲取的飛鳥照片和影像，識別飛鳥及其種屬和名稱，進行特征標注后，形成特征數(shù)據(jù)集（如飛鳥、跑道、飛機、房屋等數(shù)據(jù)集），構(gòu)建基于CNN的智能識別算法進行訓(xùn)練，形成權(quán)重文件，再部署到邊緣設(shè)備（攝像頭及圖像處理GPU等構(gòu)成的一體化設(shè)備）中，從而自動識別飛鳥特征并推算其來向、速度、高度等動態(tài)信息，進而自動形成機場鳥情記錄數(shù)據(jù)庫。在此基礎(chǔ)上，結(jié)合飛機任務(wù)計劃及其運動特征計算鳥機可能相撞的時間、軌跡、位置等信息，進而分析鳥機相撞風(fēng)險，可以實時輔助管制員和飛行員工作，提高飛行器防鳥擊的安全程度。另外，如果發(fā)生鳥擊航空器飛行事故，可基于以上影像數(shù)據(jù)和飛機座艙攝像設(shè)備記錄的影像設(shè)備，生成多維度鳥擊飛行事故發(fā)生實況的再現(xiàn)或復(fù)盤，有利于調(diào)查分析事故的詳細過程。以上基于CNN的影像數(shù)據(jù)智能自動分析對“飛行安全”工程技術(shù)教學(xué)和案例教學(xué)有重要意義，通過數(shù)據(jù)處理分析，教學(xué)對象不僅提升了安全數(shù)據(jù)分析的能力，同時學(xué)會了熟練使用CNN深度學(xué)習(xí)技術(shù)。業(yè)務(wù)需求與理論和技術(shù)的融合教學(xué)，對教學(xué)對象未來開展飛行安全工作具有明顯的促進作用。

另外，深度學(xué)習(xí)憑借循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)優(yōu)勢，實現(xiàn)了對飛行不同類型數(shù)據(jù)的智能化分析，具體表現(xiàn)為：（1）循環(huán)神經(jīng)網(wǎng)絡(luò)可以對飛行中的傳感器數(shù)據(jù)，如航向角、俯仰角、空速、過載等關(guān)鍵飛行數(shù)據(jù)進行智能化分析，通過對傳感器數(shù)據(jù)的趨勢預(yù)測，從而反映出飛行員駕駛的不良習(xí)慣和錯誤動作；（2）卷積神經(jīng)網(wǎng)絡(luò)可以對飛行中的圖像數(shù)據(jù)進行智能分析，比如通過飛行航跡的圖像分析，從而智能分析飛行員關(guān)鍵操作動作和飛機姿態(tài)，自動得出飛行員的關(guān)鍵動作改進措施；（3）高難飛行動作的飛行動力學(xué)仿真建模分析，同時利用RNN和CNN構(gòu)建智能算法對飛行操縱進行仿真，即結(jié)合多維飛行數(shù)據(jù)、航跡圖像、儀表圖像、座艙視景圖像進行關(guān)聯(lián)智能分析，從而實現(xiàn)對高難動作、超限動作的錯誤操縱等仿真分析，進一步提高飛行員的飛行訓(xùn)練效果。

四、結(jié)論與展望

本文介紹了深度學(xué)習(xí)的研究方向與應(yīng)用，闡述了當前具有影響力的開源深度學(xué)習(xí)開發(fā)工具，針對“飛行安全”教學(xué)的特點，設(shè)計了深度學(xué)習(xí)技術(shù)在“飛行安全”教學(xué)中的應(yīng)用場景，提出了深度學(xué)習(xí)技術(shù)在“飛行安全”教學(xué)中的應(yīng)用實例與方法，對促進深度學(xué)習(xí)技術(shù)在飛行安全領(lǐng)域的應(yīng)用具有明顯價值，同時，可以幫助學(xué)生獲得前沿深度學(xué)習(xí)技術(shù)，并與飛行安全業(yè)務(wù)知識相結(jié)合，以促進高素質(zhì)多學(xué)科交叉融合型人才的培養(yǎng)。