基于機(jī)器視覺的航空發(fā)動(dòng)機(jī)錯(cuò)漏裝檢測技術(shù)

■ 繆晨萱 宋迎軍 靳衛(wèi)兵 杜忠華 宋寶鑫/ 航發(fā)動(dòng)力 王展/ 西北工業(yè)大學(xué)

在航空發(fā)動(dòng)機(jī)組件及整機(jī)裝配完成后需要檢查各類零件的裝配狀態(tài)，以保證發(fā)動(dòng)機(jī)的裝配質(zhì)量符合工藝規(guī)范，基于機(jī)器視覺技術(shù)開展航空發(fā)動(dòng)機(jī)錯(cuò)漏裝檢測工作，有助于提升檢測效率和裝配質(zhì)量。

航空發(fā)動(dòng)機(jī)外觀零件數(shù)量眾多，采用人工檢查工作量大，過程耗費(fèi)時(shí)間長，不能滿足航空發(fā)動(dòng)機(jī)批量生產(chǎn)的需求。又由于航空發(fā)動(dòng)機(jī)結(jié)構(gòu)極為復(fù)雜，外部組件、附件之間遮擋關(guān)系較多，零件裝配形式多樣，現(xiàn)有的機(jī)器視覺檢測方案不能一次完成對航空發(fā)動(dòng)機(jī)所有外觀裝配的質(zhì)量檢測。本文提出的人機(jī)協(xié)同的航空發(fā)動(dòng)機(jī)外觀錯(cuò)漏裝視覺檢測方法，通過工業(yè)機(jī)器人夾持圖像采集單元實(shí)現(xiàn)航空發(fā)動(dòng)機(jī)外觀圖像采集，利用圖像識(shí)別方法進(jìn)行裝配質(zhì)量判定，通過人工復(fù)查實(shí)現(xiàn)錯(cuò)漏裝的人機(jī)協(xié)同判定。此方法可以采集、留存和追溯相關(guān)質(zhì)量記錄，是發(fā)動(dòng)機(jī)組件、整機(jī)裝配完成后進(jìn)行人工目視檢查的有效輔助和補(bǔ)充。

外觀錯(cuò)漏裝視覺檢測系統(tǒng)

航空發(fā)動(dòng)機(jī)外觀錯(cuò)漏裝視覺檢測系統(tǒng)分為硬件和軟件兩部分。硬件主要包含工業(yè)相機(jī)鏡頭、工業(yè)機(jī)器人、運(yùn)動(dòng)執(zhí)行機(jī)構(gòu)、光源和運(yùn)動(dòng)控制器等；軟件為航空發(fā)動(dòng)機(jī)錯(cuò)漏裝輔助檢測軟件（AEOIS）。

AEOIS以檢測任務(wù)規(guī)劃、檢測任務(wù)執(zhí)行、檢測結(jié)果復(fù)查三大功能模塊為核心，兼顧人機(jī)協(xié)同檢測過程所需的輔助功能，具體結(jié)構(gòu)如圖1所示。該軟件是航空發(fā)動(dòng)機(jī)裝配缺陷人工目視檢查過程的輔助工具，同時(shí)可以提供原始圖像質(zhì)量記錄。

圖1 AEOIS功能結(jié)構(gòu)

AEOIS通過三大功能模塊的協(xié)同工作完成裝配質(zhì)量檢測任務(wù)。檢測任務(wù)規(guī)劃模塊主要實(shí)現(xiàn)檢測任務(wù)定義和算子配置等任務(wù)；檢測任務(wù)執(zhí)行模塊運(yùn)行相應(yīng)的檢測規(guī)程，同時(shí)提供機(jī)器人、檢測相機(jī)、光源等外部設(shè)備的工況感知與狀況顯示功能；檢測結(jié)果復(fù)查模塊主要將結(jié)果進(jìn)行人工復(fù)核，同時(shí)根據(jù)需要導(dǎo)出該型號(hào)發(fā)動(dòng)機(jī)的質(zhì)量檢測報(bào)告。

在算子配置界面，可以查看拍攝的圖片、檢測對象清單、當(dāng)前檢測對象檢測項(xiàng)目列表。檢測人員可以手動(dòng)標(biāo)記檢測對象添加相應(yīng)的圖像判定算子，含有刪除標(biāo)記、設(shè)置變量別名、設(shè)定閾值、目視巡查模式等按鈕。機(jī)器人按指定程序運(yùn)行采集圖像，檢測任務(wù)執(zhí)行界面主要包含仿真視頻、檢測日志、檢測時(shí)間等項(xiàng)目。

在檢測任務(wù)執(zhí)行結(jié)束后會(huì)生成相應(yīng)的檢測結(jié)果，檢測結(jié)果復(fù)查模塊主要對檢測結(jié)果進(jìn)行逐條審核，必要時(shí)根據(jù)人工復(fù)查結(jié)果對算法判定結(jié)果進(jìn)行修正，同時(shí)更改算法判定參數(shù)。

基于人機(jī)協(xié)同的航空發(fā)動(dòng)機(jī)外觀缺陷檢測主要分為離線處理階段和在線檢測階段。離線處理階段主要完成外觀檢測視點(diǎn)的求解與機(jī)器人路徑規(guī)劃，同時(shí)制定檢測任務(wù)規(guī)劃并進(jìn)行離線仿真；在線檢測階段主要由上位機(jī)發(fā)出指令控制機(jī)器人沿規(guī)劃視點(diǎn)執(zhí)行圖像采集任務(wù)，經(jīng)AEOIS分析后給出判定結(jié)果，具體檢測工作流程如圖2所示。

圖2 人機(jī)協(xié)同航空發(fā)動(dòng)機(jī)錯(cuò)漏裝視覺檢測工作流程

典型裝配缺陷圖像識(shí)別方法

在航空發(fā)動(dòng)機(jī)外觀裝配檢測內(nèi)容項(xiàng)中，螺栓之間鎖緊絲由于裝配工藝復(fù)雜、安裝方式多樣，目前還沒有相關(guān)的圖像識(shí)別方法。通過分析螺栓和鎖緊絲的裝配工藝規(guī)范，針對該類典型裝配缺陷開展圖像識(shí)別方法研究，可以提高圖像識(shí)別效率。

鎖緊絲打法較為靈活，裝配方式不唯一，難以利用單一圖像識(shí)別方法進(jìn)行判定。針對該問題，根據(jù)裝配工藝技術(shù)要求制作了螺栓、鎖緊絲等鎖緊機(jī)構(gòu)的實(shí)際裝配樣例，從實(shí)際安裝過程出發(fā)分析零件裝配規(guī)范，選用與發(fā)動(dòng)機(jī)實(shí)際裝配中相同型號(hào)的螺栓及鎖緊絲，對所有正確和錯(cuò)誤的裝配方式進(jìn)行樣例制作，避免樣例圖像與實(shí)際工程應(yīng)用環(huán)境差異過大，能夠初步滿足實(shí)際工程應(yīng)用需求。圖3為制作的實(shí)際樣例圖像，其中包含了螺栓和鎖緊絲等鎖緊機(jī)構(gòu)的各種安裝方式，雙螺栓鎖緊機(jī)構(gòu)屬于四螺栓鎖緊機(jī)構(gòu)的一個(gè)子集。

圖3 裝配缺陷檢測圖像樣例

發(fā)動(dòng)機(jī)表面零件大多數(shù)為金屬材質(zhì)，光源打光后會(huì)出現(xiàn)漫反射與鏡面反射。為了保證圖像識(shí)別方法具有較好的魯棒性，在進(jìn)行圖像判定之前需要進(jìn)行預(yù)處理，來保證不同環(huán)境下圖像識(shí)別方法仍具有較高的可靠性。在圖像采集過程中發(fā)現(xiàn)，影響圖像質(zhì)量最重要的因素有兩個(gè)：一個(gè)是由于光照不均勻所產(chǎn)生的圖像陰影；另一個(gè)是由于零件表面反射所引起的光斑。針對上述兩種情況，在設(shè)計(jì)圖像識(shí)別方法之前必須進(jìn)行圖像陰影處理、圖像增強(qiáng)和圖像閾值分割的預(yù)處理。

錯(cuò)漏裝視覺檢測方法應(yīng)用

航空發(fā)動(dòng)機(jī)各單元體裝配過程中燃燒室零件種類數(shù)量最多、裝配工藝最為復(fù)雜，燃燒室組件各燃油噴嘴、燃油分管及總管之間遮擋關(guān)系極為復(fù)雜，搭建了檢測系統(tǒng)對燃燒室零件裝配開展錯(cuò)漏裝視覺檢測。

檢測系統(tǒng)由圖像采集單元、工業(yè)機(jī)器人、數(shù)控裝配轉(zhuǎn)臺(tái)、集成控制計(jì)算機(jī)和AEOIS組成，如圖4所示。圖像采集單元和光源安裝在工業(yè)機(jī)器人末端，經(jīng)AEOIS發(fā)出運(yùn)動(dòng)指令配合數(shù)控裝配轉(zhuǎn)臺(tái)實(shí)現(xiàn)燃燒室表面所有零件的圖像采集。

圖4 燃燒室錯(cuò)漏裝視覺檢測系統(tǒng)組成

短環(huán)形燃燒室錯(cuò)漏裝檢測裝置已經(jīng)部署于生產(chǎn)現(xiàn)場進(jìn)行實(shí)際應(yīng)用。對燃燒室管路保險(xiǎn)絲類（燃油分管保險(xiǎn)絲、兩半環(huán)燃油總管）和平面保險(xiǎn)絲類（燃油分管底座保險(xiǎn)絲、孔探儀保險(xiǎn)絲、堵蓋保險(xiǎn)絲、其他保險(xiǎn)絲）進(jìn)行漏裝缺陷檢測。

燃燒室共檢測平面保險(xiǎn)絲類點(diǎn)位2216個(gè)，其中實(shí)際保險(xiǎn)絲存在項(xiàng)1160個(gè)，實(shí)際保險(xiǎn)絲不存在項(xiàng)956個(gè)，漏裝缺陷檢出率為100%，保險(xiǎn)絲存在判定整體準(zhǔn)確率為99.6%；管路保險(xiǎn)絲點(diǎn)位506個(gè)，其中實(shí)際保險(xiǎn)絲存在項(xiàng)403個(gè)，實(shí)際保險(xiǎn)絲不存在項(xiàng)103個(gè)，漏裝缺陷檢出率為100%，保險(xiǎn)絲存在判定整體準(zhǔn)確率為99.6%。

系統(tǒng)在航空發(fā)動(dòng)機(jī)短環(huán)形燃燒室外觀檢測上的應(yīng)用取得了良好的效果。完成一個(gè)燃燒室檢測需要約10min，相比人工目視檢查速度提升50%。在正確率方面，漏裝缺陷檢出率可以達(dá)到100%。

結(jié)束語

基于機(jī)器視覺的航空發(fā)動(dòng)機(jī)錯(cuò)漏裝視覺檢測方案覆蓋了任務(wù)規(guī)劃、實(shí)時(shí)檢測、質(zhì)量數(shù)據(jù)分析的檢測全流程，并在實(shí)際生產(chǎn)中得到應(yīng)用驗(yàn)證，對航空發(fā)動(dòng)機(jī)裝配質(zhì)量的提升具有重要指導(dǎo)意義。