基于OpenVINO的飛機(jī)外表面檢查技術(shù)研究

邵欣桐 劉省賢

摘 ?要：飛機(jī)的繞機(jī)檢查是航線安全檢查中最為重要的一個(gè)環(huán)節(jié)，傳統(tǒng)的繞機(jī)檢查經(jīng)常遇到維修人員經(jīng)驗(yàn)不足、光線較暗、檢查位置過(guò)高、機(jī)體表面損傷不易發(fā)現(xiàn)等缺點(diǎn);針對(duì)航線繞機(jī)檢查這樣的特點(diǎn)提出了一種基于OpenVINO平臺(tái)的智能繞機(jī)檢查的方法，將機(jī)器視覺(jué)的概念引入到航線繞機(jī)檢查的工作中，針對(duì)飛機(jī)蒙皮損傷、感溫探頭堵塞、飛機(jī)機(jī)身表面有無(wú)油漬有較好的效果;在樣本的訓(xùn)練中，對(duì)現(xiàn)有的模型進(jìn)行了遷移學(xué)習(xí)，使得樣本的訓(xùn)練量大大減小，能夠快速準(zhǔn)確的發(fā)現(xiàn)飛機(jī)外表面檢查過(guò)程中出現(xiàn)相關(guān)問(wèn)題。

關(guān)鍵詞：機(jī)器視覺(jué);OpenVINO;遷移學(xué)習(xí);繞機(jī)檢查

中圖分類號(hào)：TP391.7 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2020）19-0161-03

Abstract： Aircraft winding inspection is the most important link in route safety inspection. Traditional winding inspection often encounters shortcomings such as inexperience of maintenance personnel， low light， high inspection position， and difficulty in finding surface damage on the aircraft. This feature of winding inspection presents a method of intelligent winding inspection based on the OpenVINO platform， which introduces the concept of machine vision into the work of route winding inspection， has a better effect aiming at aircraft skin damage， temperature probe clogging， and the presence or absence of grease on the surface of fuselage. In the sample training， apply transfer learning for the existing model， which greatly reduces the amount of training， and can quickly and accurately find related problems during the inspection of the outer surface of the aircraft.

Keywords： machine vision; OpenVINO; transfer learning; winding inspection

引言

繞機(jī)檢查是航線維護(hù)過(guò)程中的重要工作，以保證飛機(jī)的整體運(yùn)行狀態(tài)，確?？梢?jiàn)部件和設(shè)備安全可靠;由于繞機(jī)檢查發(fā)生在航線維護(hù)中，所以對(duì)其準(zhǔn)確性和效率有較高的要求，但由于繞機(jī)檢查自身的特點(diǎn)導(dǎo)致在維護(hù)的過(guò)程中經(jīng)常出現(xiàn)目視檢查視野較差、檢查高度過(guò)高、維護(hù)人員經(jīng)驗(yàn)不足以及任務(wù)時(shí)間較為緊張等問(wèn)題。因此我們?cè)O(shè)計(jì)這樣的一套系統(tǒng)，將機(jī)器視覺(jué)的概念引入到航線維護(hù)的過(guò)程中，通過(guò)無(wú)人機(jī)對(duì)繞機(jī)檢查的重點(diǎn)區(qū)域進(jìn)行圖像的實(shí)時(shí)采集，傳遞到電腦端;通過(guò)Intel提供的OpenVINO平臺(tái)對(duì)機(jī)體表面常見(jiàn)的問(wèn)題進(jìn)行智能分析和判斷，從而發(fā)現(xiàn)機(jī)體外表面出現(xiàn)的問(wèn)題，該系統(tǒng)不但使得航線維護(hù)人員工作量減輕，大大提高了現(xiàn)場(chǎng)診斷的準(zhǔn)確率，取得了較好的效果。

1 系統(tǒng)硬件平臺(tái)的搭建

機(jī)器視覺(jué)是指用攝像機(jī)和電腦代替人眼對(duì)目標(biāo)進(jìn)行辨識(shí)、跟蹤和測(cè)量等操作，進(jìn)一步做圖像處理，使其更利于人眼觀察或傳送儀器檢測(cè)圖像。目前機(jī)器視覺(jué)的平臺(tái)主要有：

（1）NVIDIA VisionWorks是計(jì)算機(jī)的軟件開(kāi)發(fā)包視覺(jué)（CV）和圖像處理。其實(shí)現(xiàn)并擴(kuò)展了Khronos OpenVX標(biāo)準(zhǔn)，并且針對(duì)支持CUDA的GPU和SOC進(jìn)行了優(yōu)化，從而使開(kāi)發(fā)人員能夠在可擴(kuò)展且靈活的平臺(tái)上實(shí)現(xiàn)CV應(yīng)用程序，主要應(yīng)用在自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)中，對(duì)系統(tǒng)的資源要求較高，所需硬件較為昂貴。

（2）Amazon Rekognition，其以在圖像和視頻中識(shí)別對(duì)象、人物、文本、場(chǎng)景和活動(dòng)，也可以檢測(cè)任何不適宜的內(nèi)容;提供高度精確的面孔分析和面孔搜索功能，但其不符合機(jī)務(wù)現(xiàn)場(chǎng)實(shí)時(shí)操作的需求。

（3）OpenVINO是英特爾基于自身現(xiàn)有的硬件平臺(tái)開(kāi)發(fā)的一種可以加快高性能計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)視覺(jué)應(yīng)用開(kāi)發(fā)速度工具套件，支持各種英特爾平臺(tái)的硬件加速器上進(jìn)行深度學(xué)習(xí)。支持在Windows與Linux系統(tǒng)，Python/C++語(yǔ)言，是目前能運(yùn)行在CPU上的最好的深度學(xué)習(xí)框架，功能強(qiáng)大，大大降低了部署成本，體驗(yàn)較好，適宜在航線維護(hù)的實(shí)時(shí)檢查分析中使用。

綜合上述觀點(diǎn)，考慮到飛機(jī)繞機(jī)檢查項(xiàng)目的確定性，可變度較低等因素;在視頻采集的過(guò)程中，我們通過(guò)無(wú)人機(jī)完成繞機(jī)過(guò)程中的實(shí)時(shí)圖像采集，將數(shù)據(jù)實(shí)時(shí)傳遞給我們的服務(wù)器端，我們選擇OpenVINO作為計(jì)算機(jī)視覺(jué)的開(kāi)發(fā)包完成對(duì)視頻中問(wèn)題部件的檢識(shí)別和檢測(cè)，如圖1所示。

2 系統(tǒng)軟件平臺(tái)技術(shù)研究

OpenVINO對(duì)系統(tǒng)的平臺(tái)要求相比于其他計(jì)算機(jī)視覺(jué)工具包相對(duì)較低，我們選取Windows平臺(tái)，處理器為第8代Intel ?Core處理器。

2.1 OpenVINO的部署和使用

OpenVINO目前包含有三個(gè)全新的API分別為：深度學(xué)習(xí)部署工具包、通用的深度學(xué)習(xí)推理工具包以及OpenCV和OpenVX的優(yōu)化功能;支持TensorFlow＼MXNet和Caffe。

OpenVINO的深度學(xué)習(xí)部署工具主要包括兩個(gè)部分，一個(gè)是模型優(yōu)化器，另一個(gè)是推理引擎。模型優(yōu)化器是由Python編寫(xiě)，推理引擎是一套C++函數(shù)庫(kù)及C++類。工作原理是對(duì)訓(xùn)練產(chǎn)生的網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，優(yōu)化結(jié)果轉(zhuǎn)換成中間表示文件，得到IR文件（XML文件和BIN文件），其中XML文件中包含優(yōu)化以后的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，BIN文件包含優(yōu)化之后的模型參數(shù)和模型變量;在實(shí)際應(yīng)用場(chǎng)景中使用推斷引擎測(cè)試生成的IR。然后在應(yīng)用程序中調(diào)用推斷引擎相應(yīng)接口，將生成的模型IR部署到實(shí)際環(huán)境中。

2.2 使用遷移學(xué)習(xí)完成樣本模型的訓(xùn)練

遷移學(xué)習(xí)也稱為歸納遷移、領(lǐng)域適配，其目標(biāo)是將某個(gè)領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識(shí)或模式應(yīng)用到不同的但相關(guān)的領(lǐng)域或問(wèn)題中。由于OpenVINO支持多種深度學(xué)習(xí)框架，諸如ONNX、TensorFlow、Caffe、Kaldi等，實(shí)際的項(xiàng)目中我們只需將其轉(zhuǎn)換為OpenVINO的XML/BIN模型即可。我們已經(jīng)獲取了通過(guò)TensorFlow訓(xùn)練的目標(biāo)模型，其提供了有關(guān)飛機(jī)、汽車(chē)部件級(jí)的識(shí)別工具包，我們只需要在其上對(duì)某型號(hào)飛機(jī)上特定的零件進(jìn)行遷移學(xué)習(xí)，就可以完成對(duì)特定機(jī)型的識(shí)別和故障檢測(cè)。

由于TensorFlow訓(xùn)練模型大多為卷積神經(jīng)網(wǎng)絡(luò)模型，其可以分為兩部分，前面的卷積層和后面的全連接層。卷積層的作用是圖片特征的提取，全連接層作用是特征的分類。我們的思路便是現(xiàn)有的網(wǎng)絡(luò)模型上，修改全連接層，保留卷積層。卷積層的參數(shù)使用的是別人已經(jīng)訓(xùn)練好的，全連接層的參數(shù)需要我們初始化并使用我們自己的數(shù)據(jù)來(lái)訓(xùn)練和學(xué)習(xí)，如圖3所示。

其代碼實(shí)現(xiàn)步驟為：

（1）首先進(jìn)行模型讀取和轉(zhuǎn)換

Conda create -n aircraftvino python=5.0;

//打開(kāi)conda控制臺(tái)，創(chuàng)建虛擬環(huán)境

Python C：＼OpenVINO＼openvino-2020.1;

// 模型轉(zhuǎn)換為BIN/XML文件

（2）對(duì)獲取的模型進(jìn)行遷移學(xué)習(xí)，由于我們的模型的功能是對(duì)飛機(jī)上的部件進(jìn)行分類，所以我們需要修改全連接層，只增加一個(gè)連續(xù)層。

bottleneck_input = tf.placeholder（）;

//定義新的神經(jīng)網(wǎng)絡(luò)輸入

With tf.name_scope（）;//定義全連接層

train_step=tf.GradientDescentOptimizer（）

//定義交叉熵?fù)p失函數(shù)

for i in range（STEPS）：

{ get_random_cached_bottlenecks（）;

//磁盤(pán)讀入的張量值作為輸入向量

sess.run（）;}//訓(xùn)練全連接層

（3）訓(xùn)練完成后，完成正確率測(cè)試

test_ground_truth = get_test_bottlenecks（）;

3 基于OpenVINO的繞機(jī)故障檢測(cè)系統(tǒng)的實(shí)現(xiàn)

3.1 系統(tǒng)對(duì)繞機(jī)檢查中飛機(jī)部件的識(shí)別

本系統(tǒng)通過(guò)無(wú)人機(jī)采集的視頻可以實(shí)時(shí)地傳遞給電腦端，完成飛機(jī)部件的識(shí)別，目前我們僅對(duì)繞機(jī)檢查中的關(guān)鍵部件進(jìn)行識(shí)別，如感溫探頭、飛機(jī)風(fēng)擋玻璃、皮托管雷達(dá)天線以及艙門(mén)等，如圖4。

3.2 系統(tǒng)對(duì)飛機(jī)繞機(jī)檢查中故障的發(fā)現(xiàn)

系統(tǒng)在繞機(jī)檢查中檢測(cè)到發(fā)動(dòng)機(jī)進(jìn)氣道內(nèi)側(cè)六點(diǎn)鐘位置螺栓處裂紋故障，經(jīng)現(xiàn)場(chǎng)確認(rèn)故障真實(shí)存在，如圖5。

4 結(jié)論

機(jī)器視覺(jué)技術(shù)的引入使得航線的工作更加智能化和簡(jiǎn)潔化，從以往更多依靠人的經(jīng)驗(yàn)判斷轉(zhuǎn)換為依靠機(jī)器的智能檢測(cè)。基于OpenVINO的飛機(jī)繞機(jī)輔助檢查系統(tǒng)可以實(shí)現(xiàn)特定的飛機(jī)部件的識(shí)別和故障檢測(cè)，在航線測(cè)試中，可以起到減輕維護(hù)人員工作量且提高其檢查效率的作用;目前該系統(tǒng)僅能針對(duì)特定的飛機(jī)及其相關(guān)部件的識(shí)別還處于系統(tǒng)的研發(fā)階段，并不能完全全部的繞機(jī)檢查工作，這也是該系統(tǒng)未來(lái)的研究方向。

參考文獻(xiàn)：

[1]Kay-Pong D. Yip， Byeong-Jik Cha， Omkar Paudel， et al. Ryanodine Receptor-1 Mediated Endoplasmic Reticulum - Mitochondrial Calcium Transfer in High-Grade Serous Ovarian Cancer Cells（HGSOC）[J].Biophysical Journal， 2020，118（3）.

[2]英特爾OpenVINO工具包為創(chuàng)新智能視覺(jué)提供更多可能[J].中國(guó)信息化，2018（08）：51.

[3]鄭遠(yuǎn)攀，李廣陽(yáng)，李曄.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（12）：20-36.

[4]W. R. Twink Allen， Sandra Wilsher. Historical Aspects Of Equine Embryo Transfer[J]. Journal of Equine Veterinary Science， 2020，89.

[5]Cook Diane， Feuz Kyle D. Transfer learning for activity recognition： a survey[J]. Knowledge and Information Systems， 2013，36（3）：537-556.

[6]Le Tianhao， Liu Chao， Yao Bin， et al. Application of Machine Learning to Hyperspectral Radiative Transfer Simulations[J]. ?Journal of Quantitative Spectroscopy and Radioactive Transfer， 2020（prepublish）.

[7]Pan， Sinno Jialin， and Qiang Yang. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering，22.10（2010）：1345-1359.