機器視覺虛擬仿真實驗教學(xué)系統(tǒng)開發(fā)

張望，王俊生，趙凱，林遠(yuǎn)海，陳彥彤，宋明珠

（大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連）

一 引言

《機器視覺》是計算機科學(xué)與技術(shù)、光電信息科學(xué)與工程、機械電子工程等相關(guān)專業(yè)的重要課程，該課程的教學(xué)內(nèi)容主要是對圖像進(jìn)行采集和處理，作為教學(xué)重點的圖像處理過程一般包括預(yù)處理、特征提取和目標(biāo)識別。利用機器視覺技術(shù)能夠?qū)崿F(xiàn)缺陷檢測、尺寸測量、視覺定位、模式識別等多種功能，其應(yīng)用領(lǐng)域包含了自動駕駛、虛擬現(xiàn)實、工業(yè)視覺、圖像解釋、人機交互、物體識別、智能安防、醫(yī)學(xué)影像分析等眾多與人們生產(chǎn)、生活密切相關(guān)的方面，已成為人工智能領(lǐng)域最具發(fā)展前景、發(fā)展最為快速的一個分支[1-3]。目前，谷歌、臉書、亞馬遜等國際互聯(lián)網(wǎng)巨頭掀起了機器視覺技術(shù)發(fā)展的浪潮，國內(nèi)也崛起了如商湯科技、大疆創(chuàng)新、格靈深瞳等諸多創(chuàng)業(yè)公司，對相關(guān)人才的需求與日俱增[4]。

隨著工業(yè)4.0時代的開啟，培養(yǎng)符合新工科背景的應(yīng)用型創(chuàng)新人才成為機器視覺相關(guān)專業(yè)的切實需要[5]。為滿足工程認(rèn)證標(biāo)準(zhǔn)的機器視覺實驗教學(xué)要求，大連海事大學(xué)與大連明佳智能裝備有限公司聯(lián)合研發(fā)了基于機器視覺的光電檢測創(chuàng)新實訓(xùn)平臺。該平臺以元件統(tǒng)計、細(xì)胞分類、形貌測量、車牌識別、掃碼支付等工業(yè)應(yīng)用為背景，抽象出藥丸的計數(shù)、紐扣的分類、幾何圖形的測量、數(shù)字符號的識別、條形碼和二維碼的分析等設(shè)計性實驗項目，并在三年的教學(xué)實踐過程中取得良好效果。同時，在教學(xué)過程中也發(fā)現(xiàn)了若干問題，其主要表現(xiàn)在學(xué)生無法應(yīng)對圖像中共存的多種干擾因素，而導(dǎo)致特征提取和目標(biāo)識別失敗，并且難以衡量各種干擾所導(dǎo)致的影響程度，而產(chǎn)生焦躁情緒和畏懼心理。為此，專業(yè)實驗中心組織中青年骨干教師開發(fā)了機器視覺虛擬仿真實驗教學(xué)系統(tǒng)，利用虛擬仿真技術(shù)在圖像中定量添加干擾，由淺入深地引導(dǎo)學(xué)生完成復(fù)雜的圖像處理任務(wù)。

二 虛擬仿真系統(tǒng)設(shè)計

機器視覺虛擬仿真實驗教學(xué)系統(tǒng)基于NI公司的LabVIEW軟件平臺開發(fā)，主要由視景仿真和成像仿真兩大部分構(gòu)成，如圖1所示。其中視景仿真提供了藥丸的計數(shù)、紐扣的分類、幾何圖形的測量、數(shù)字符號的識別、條形碼和二維碼的分析等多種具有實際工業(yè)應(yīng)用背景的原始視景圖像，成像仿真則可對視景圖像的曝光、顏色、模糊、噪聲、透視和旋轉(zhuǎn)等參數(shù)進(jìn)行定量調(diào)節(jié)，從而仿真工業(yè)應(yīng)用中可能存在的不同干擾因素影響。系統(tǒng)的后端則與MATLAB軟件相對接，保持其與機器視覺理論課程所使用圖像處理工具的一致性，便于學(xué)生運用理論課程所掌握的算法進(jìn)行圖像處理。

圖1 虛擬仿真系統(tǒng)的構(gòu)成

LabVIEW軟件平臺采用模塊化的圖形編程方式，提供功能豐富的視覺開發(fā)包（Vision Development Module），具備良好的第三方軟件和標(biāo)準(zhǔn)硬件設(shè)備兼容性，對機器視覺虛擬仿真實驗教學(xué)系統(tǒng)的開發(fā)帶來諸多便利。該系統(tǒng)的運作流程首先是根據(jù)實驗要求選擇合適的圖像輸入源，并通過設(shè)定篩選條件獲取原始視景圖像。然后調(diào)節(jié)成像仿真參數(shù)，得到附加有定量干擾因素影響的仿真圖像。進(jìn)而可在MATLAB軟件中進(jìn)行圖像處理算法的驗證，并將圖像處理結(jié)果反饋至仿真平臺，再根據(jù)對比結(jié)果改進(jìn)圖像處理算法或調(diào)整仿真參數(shù)。在這個過程中，通常可先選取簡單目標(biāo)并附加某一種干擾因素，然后逐漸增加目標(biāo)的復(fù)雜性和干擾因素的種類，循序漸進(jìn)地提升目標(biāo)識別的準(zhǔn)確性。

三 虛擬仿真功能實現(xiàn)

（一） 視景仿真

視景仿真的主要功能是根據(jù)設(shè)定的條件從輸入源中篩選出特定的原始視景圖像，如圖2所示。視景仿真提供了標(biāo)準(zhǔn)視景圖像數(shù)據(jù)庫和自定義圖像兩種輸入源，其中標(biāo)準(zhǔn)視景圖像數(shù)據(jù)庫是視景圖像的主要來源，涉及的內(nèi)容分別是藥丸的計數(shù)、紐扣的分類、幾何圖形的測量、數(shù)字符號的識別、條形碼和二維碼的分析。藥丸的計數(shù)來源于電子制造應(yīng)用中的元件統(tǒng)計，主要關(guān)注藥丸的位置和方向；紐扣的分類來源于微生物檢測應(yīng)用中的細(xì)胞分類，主要關(guān)注紐扣內(nèi)部的邊緣特征；幾何圖形的測量來源于機械制造中的零件加工，主要關(guān)注幾何形貌的測量；數(shù)字符號的識別來源于廣泛應(yīng)用的車牌辨識，主要關(guān)注模板匹配的運用；條形碼和二維碼的分析來源于方興未艾的掃碼支付，主要關(guān)注解碼算法的運用[6-8]。

圖2 視景仿真部分的人機交互界面

為充分展現(xiàn)不同視景內(nèi)容的圖像特征，標(biāo)準(zhǔn)視景圖像數(shù)據(jù)庫由405張實物圖像和135張SolidWorks建模生成的圖像構(gòu)成。由于實物圖像是在小型攝影棚中拍攝的正視圖像，圖像中含有的干擾因素基本可以忽略，并且相對于SolidWorks建模生成的圖像更為逼真，所以實驗教學(xué)中更受到學(xué)生的歡迎。在獲取視景圖像時，可通過數(shù)量、種類、位置和方向進(jìn)行篩選。較少的數(shù)量和種類對應(yīng)較簡單的位置和方向變化，圖像處理難度較低。隨著數(shù)量和種類的增加，位置和方向的變化將更加復(fù)雜，對圖像處理算法提出了更高要求，能夠與從簡到繁、從易到難的認(rèn)知和實踐規(guī)律相適應(yīng)。自定義圖像則可有效增強視景仿真圖像輸入的靈活性，既方便學(xué)生向虛擬仿真系統(tǒng)中引入不同內(nèi)容的圖像，也方便教師在考核學(xué)生算法效果時使用標(biāo)準(zhǔn)數(shù)據(jù)庫之外的圖像。

此外，秉持著以虛補實、虛實結(jié)合的原則，將視景仿真部分與實驗室原有的基于機器視覺的光電檢測創(chuàng)新實訓(xùn)平臺進(jìn)行了對接。借助于LabVIEW良好的硬件設(shè)備兼容性，實現(xiàn)了與創(chuàng)新實訓(xùn)平臺中位置傳感器的通訊，從而在待檢目標(biāo)到達(dá)視場的特定區(qū)域時，可截取創(chuàng)新實訓(xùn)平臺中USB攝像頭的圖像作為視景圖像輸入到虛擬仿真實驗教學(xué)系統(tǒng)中。這使得學(xué)生通過虛擬仿真系統(tǒng)驗證圖像處理算法后，能夠直接在創(chuàng)新實訓(xùn)平臺上測試其實際應(yīng)用效果。

（二） 成像仿真

成像仿真的主要功能是通過圖像變換來模擬工業(yè)應(yīng)用中可能存在的不同干擾因素影響，包含了曝光調(diào)節(jié)、顏色調(diào)節(jié)、模糊調(diào)節(jié)、噪聲調(diào)節(jié)、透視調(diào)節(jié)和旋轉(zhuǎn)調(diào)節(jié)幾個模塊，如圖3所示。其中曝光調(diào)節(jié)和顏色調(diào)節(jié)用以模擬工業(yè)應(yīng)用中環(huán)境光線變化對成像產(chǎn)生的影響；噪聲調(diào)節(jié)和模糊程度調(diào)節(jié)用以模擬灰塵和霧氣產(chǎn)生的影響；透視調(diào)節(jié)和旋轉(zhuǎn)調(diào)節(jié)則可模擬出攝像頭從不同角度拍攝時產(chǎn)生的變化[9-11]。

圖3 成像仿真部分的人機交互界面

曝光調(diào)節(jié)和顏色調(diào)節(jié)的本質(zhì)都是對圖像色彩表現(xiàn)的調(diào)節(jié)，可以使用LabVIEW中視覺開發(fā)包所提供的IMAQ ColorBCGLookup VI來實現(xiàn)。IMAQ ColorBCGLookup VI能夠分別調(diào)節(jié)彩色圖像中R（紅）、G（綠）、B（藍(lán)）三個顏色通道的亮度和對比度，當(dāng)同時改變?nèi)齻€通道的亮度時，圖像就會表現(xiàn)出整體亮度的改變，當(dāng)只改變單個通道的亮度時，圖像則會表現(xiàn)出偏色的效果[12]。同樣地，當(dāng)同時改變?nèi)齻€通道的對比度時，圖像的整體對比度便會隨之產(chǎn)生變化。在人機交互界面上將亮度和對比度的整體調(diào)節(jié)放在曝光調(diào)節(jié)模塊中，用以模擬光照強弱改變對圖像產(chǎn)生的影響，而將R、G、B通道單獨的亮度調(diào)節(jié)放在顏色調(diào)節(jié)模塊中，用以模擬使用不同光源時產(chǎn)生的偏色影響。

模糊調(diào)節(jié)是模擬霧氣對圖像產(chǎn)生的影響，噪聲調(diào)節(jié)是模擬灰塵對成像產(chǎn)生的影響，盡管二者都是模擬工業(yè)環(huán)境中不潔凈空氣造成的圖像質(zhì)量下降，但在仿真過程中的具體處理方法存在明顯區(qū)別[13]?？諝庵徐F氣對圖像產(chǎn)生的影響主要表現(xiàn)為模糊效果，同時也會伴隨亮度和對比度的降低[14]。圖像模糊效果可簡單地利用線性空間濾波來實現(xiàn)，LabVIEW視覺開發(fā)包中相應(yīng)地提供了IMAQ Convolute，如圖4所示。在調(diào)用IMAQ Convolute時，除了輸入圖像外還要輸入卷積矩陣和歸一化因子兩個重要參數(shù)，圖像源會與卷積矩陣進(jìn)行卷積運算來實現(xiàn)濾波，最后再除以歸一化因子。卷積矩陣通常應(yīng)為m*m（m取奇數(shù)）的形式，通過調(diào)整卷積矩陣的大小就可以相應(yīng)地改變圖像的模糊程度。

圖4 利用IMAQ Convolute調(diào)節(jié)模糊程度

空氣中呈顆粒狀的灰塵通常會在圖像上產(chǎn)生隨機分布的噪聲點，所以可通過添加椒鹽噪聲的方法來模擬，但LabVIEW視覺開發(fā)包中并沒有與之對應(yīng)的功能模塊可用。為了滿足執(zhí)行復(fù)雜數(shù)學(xué)運算的需求，LabVIEW提供了具有完整.m文件編譯器的MathScrip Node，可以處理大多數(shù)在MATLAB或兼容環(huán)境中創(chuàng)建的文本腳本，如圖5所示。首先將圖像源轉(zhuǎn)換為二維數(shù)組格式作為輸入，同時輸入噪聲密度控制參數(shù)a，然后在MathScrip Node中使用MATLAB處理圖像時常用的imniose函數(shù)添加噪聲，最后再將輸出的二維數(shù)組轉(zhuǎn)換為原來的圖像格式。

圖5 利用MathScrip Node添加椒鹽噪聲

透視調(diào)節(jié)和旋轉(zhuǎn)調(diào)節(jié)通常需要配合使用才能模擬出攝像頭從不同角度拍攝目標(biāo)時產(chǎn)生的變化效果，前者用于模擬近大遠(yuǎn)小的透視效果，后者用于模擬圖像的旋轉(zhuǎn)效果[15]。在工業(yè)環(huán)境中使用攝像頭拍攝時，通常難以保證使其正視目標(biāo)物，從而導(dǎo)致圖像中的目標(biāo)產(chǎn)生近大遠(yuǎn)小的透視效果。為了模擬這一效果，可以在正視圖像中取一個矩形，按照透視原理將其拉伸成一個不規(guī)則四邊形。然后利用不規(guī)則四邊形的四個頂點和原矩形的四個頂點位置關(guān)系求得一個變換矩陣，再把這個變換矩陣作用于原圖像的全部范圍上，即可得到預(yù)期的透視效果。對于這種相對復(fù)雜的變換，同樣需要使用MathScrip Node來實現(xiàn)。此外，在工業(yè)環(huán)境中安裝攝像頭時，無論是安裝位置的限制還是固有的安裝誤差，都會導(dǎo)致拍攝到的圖像產(chǎn)生一定的旋轉(zhuǎn)，可利用LabVIEW提供的IMAQ Rotate進(jìn)行模擬。

四 虛擬仿真結(jié)果輸出

通過在視景仿真中設(shè)定數(shù)量、種類、位置和方向條件，從輸入源中篩選出特定的原始視景圖像，再經(jīng)過成像仿真添加曝光、顏色、模糊、噪聲、透視和旋轉(zhuǎn)調(diào)節(jié)效果，最終得到了圖6所示的仿真圖像。此時，點擊圖3中的“結(jié)果輸出”按鈕，與圖像相關(guān)的視景仿真和成像仿真信息會顯示在“目標(biāo)特征參數(shù)”一欄中，并將仿真圖像結(jié)果輸出至特定的中轉(zhuǎn)用文件中，同時會有一條圖像更新信息通過虛擬串口發(fā)送至MATLAB軟件。隨后，學(xué)生便可在MATLAB軟件中對該圖像進(jìn)行處理，實踐機器視覺理論課中學(xué)到的各種算法。待所采用的圖像處理算法能夠獲得穩(wěn)定輸出后，還可以在其中加入串口通信功能。使MATLAB編寫的圖像處理程序能夠接收虛擬仿真系統(tǒng)發(fā)送圖像更新信息，進(jìn)而自動讀取中轉(zhuǎn)文件中的圖像并進(jìn)行處理，再將處理得到的數(shù)量、種類、位置和方向等目標(biāo)特征參數(shù)反饋給仿真系統(tǒng)。虛擬仿真系統(tǒng)則會對比輸出的目標(biāo)特征參數(shù)和反饋的目標(biāo)特征參數(shù)，并根據(jù)特征參數(shù)的復(fù)雜程度給出相應(yīng)評分，從而為考核學(xué)生編寫的圖像處理算法效能提供定量參考。

圖6 圖像在虛擬仿真系統(tǒng)中的變換

五 結(jié)語

為提高學(xué)生在機器視覺實驗中處理復(fù)雜圖像任務(wù)的成功率，專業(yè)實驗中心的多位教師合作開發(fā)了機器視覺虛擬仿真實驗教學(xué)系統(tǒng)。該系統(tǒng)涵蓋了5個具有工業(yè)背景的實驗項目，能夠提供3種輸入源和540張的標(biāo)準(zhǔn)視景圖像，可以定量調(diào)節(jié)圖像的曝光、顏色、模糊、噪聲、透視和旋轉(zhuǎn)參數(shù)，用來模擬工業(yè)應(yīng)用中可能存在的不同干擾因素影響。學(xué)生先通過包含簡單目標(biāo)和某一種干擾的圖像來熟悉處理過程，再針對繁雜目標(biāo)和多種干擾因素進(jìn)行不斷優(yōu)化，循序漸進(jìn)地提升目標(biāo)識別的準(zhǔn)確性和算法的適用性，從而完成復(fù)雜的機器視覺處理任務(wù)。此外，機器視覺虛擬仿真實驗教學(xué)系統(tǒng)有效保障了新冠疫情期間線上實驗教學(xué)的順利實施，后續(xù)工作將進(jìn)一步優(yōu)化其與基于機器視覺的光電檢測創(chuàng)新實訓(xùn)平臺的對接，為實現(xiàn)機器視覺實驗的線上線下混合式教學(xué)提供支撐。