基于自動(dòng)擬合標(biāo)注與圖像點(diǎn)線檢測(cè)的尺寸測(cè)量系統(tǒng)研究

葉 小 華

(黎明職業(yè)大學(xué)通識(shí)教育學(xué)院， 福建 泉州 362000)

越來越多的工業(yè)企業(yè)，出于對(duì)成本、效率的考慮，亟需通過導(dǎo)入自動(dòng)化的測(cè)量設(shè)備取代人力，從而達(dá)到降本增效的目的，而自動(dòng)化的測(cè)量設(shè)備被廣泛應(yīng)用在視覺引導(dǎo)、缺陷檢查、讀碼和尺寸測(cè)量等方面[1-2]。其中，尺寸測(cè)量被廣泛應(yīng)用于各個(gè)細(xì)分領(lǐng)域。過去，企業(yè)更多地是采用人眼去測(cè)量和記錄工件的尺寸。為了提高效率，市場(chǎng)上出現(xiàn)了人機(jī)交互式的測(cè)量軟件和測(cè)量設(shè)備，但大部分測(cè)量軟件和設(shè)備，還是需要人工現(xiàn)場(chǎng)確認(rèn)，并記錄下數(shù)據(jù)，這種模式很難推廣。因此需要基于圖像算法和軟件工程，開發(fā)出自動(dòng)化的測(cè)量系統(tǒng)，達(dá)到降低測(cè)量成本、提高測(cè)量效率和測(cè)量準(zhǔn)確度的目的。

在尺寸測(cè)量方面，國內(nèi)研究人員已經(jīng)取得了一定的研究成果，如王建新[3]提出的基于k-means的零件圖像分割方法，對(duì)于劃痕的偽邊緣，在矩形邊緣檢測(cè)區(qū)域內(nèi)利用輪廓法線信息，測(cè)量邊緣尺寸。該研究?jī)H考慮了圖像的邊緣特征，忽略了其他有效數(shù)據(jù)，使其測(cè)量精度有待提升。朱丹丹[4]提出的基于CCD獲取零件圖像，實(shí)現(xiàn)圓度測(cè)量，達(dá)到測(cè)量目的，但該研究未考慮軟件工程交互落地的問題，在實(shí)際項(xiàng)目中缺乏現(xiàn)場(chǎng)可操作性。陳家茜[5]提出的利用采集到的實(shí)物圖像，基于圖像分割技術(shù)，通過計(jì)算目標(biāo)面積進(jìn)行圖像測(cè)量。但是分割技術(shù)是依據(jù)經(jīng)驗(yàn)參數(shù)來完成的，而且未考慮算法與軟件系統(tǒng)兼容的問題，在定制化場(chǎng)景中，限制了算法測(cè)量的準(zhǔn)確度。

為了提高目標(biāo)尺寸的測(cè)量精度，通過結(jié)合自動(dòng)擬合標(biāo)注與圖像點(diǎn)線檢測(cè)，設(shè)計(jì)并實(shí)現(xiàn)了一套尺寸測(cè)量系統(tǒng)。該系統(tǒng)測(cè)量對(duì)象是電子器件或工件圖像，通過借助軟件技術(shù)，完成自動(dòng)化擬合標(biāo)注，從而獲得被測(cè)物的尺寸信息。研究主要解決2個(gè)問題：(1) 實(shí)現(xiàn)自動(dòng)擬合標(biāo)注，即鼠標(biāo)在工件目標(biāo)輪廓外圍畫標(biāo)注線，通過相應(yīng)的算法來尋找其邊緣，畫上去的線自動(dòng)貼著工件輪廓，從而精準(zhǔn)地定位工件輪廓，進(jìn)而測(cè)量出工件的尺寸信息；(2) 基于軟件工程，將測(cè)量工具進(jìn)行高度封裝，實(shí)現(xiàn)模塊化。

1 測(cè)量系統(tǒng)設(shè)計(jì)

圖像測(cè)量在實(shí)際應(yīng)用中，分為離線測(cè)量和在線測(cè)量。離線測(cè)量，由工作人員操作軟件，對(duì)工件圖像進(jìn)行精準(zhǔn)測(cè)量，耗時(shí)較長(zhǎng)；在線測(cè)量，不需要人員參與，耗時(shí)較短，但是存在測(cè)量誤差。此次研究的測(cè)量系統(tǒng)為離線測(cè)量，主要達(dá)到減少用時(shí)、提高測(cè)量精準(zhǔn)的目的。該系統(tǒng)需要先開發(fā)自動(dòng)擬合標(biāo)注，即人員操作鼠標(biāo)，鼠標(biāo)邊動(dòng)邊計(jì)算周邊信息和尋邊，定位在最近的邊緣，工作人員只需要沿著工件目標(biāo)的外輪廓走位，即可實(shí)現(xiàn)快速精準(zhǔn)地尋邊，達(dá)到自動(dòng)擬合標(biāo)注的目的。然后根據(jù)自動(dòng)擬合標(biāo)注的結(jié)果，進(jìn)行點(diǎn)線測(cè)量。針對(duì)測(cè)量系統(tǒng)中的關(guān)鍵步驟，設(shè)計(jì)如圖1所示的系統(tǒng)流程框架。本研究基于設(shè)備工業(yè)相機(jī)，完成工業(yè)缺陷圖像的采集。首先，采集工業(yè)領(lǐng)域待測(cè)圖像，開發(fā)基于自動(dòng)擬合標(biāo)注的檢測(cè)算子，完成前期圖像檢測(cè)。其次，基于人機(jī)交互方式，利用開發(fā)的距離測(cè)量工具對(duì)圖像進(jìn)行最終測(cè)量，從而完成系統(tǒng)性的測(cè)量作業(yè)。最后，基于QT框架下的C++語言，開發(fā)出軟件系統(tǒng)和視覺測(cè)量工具。圖2為待測(cè)量圖像，圖像中上部方框的外側(cè)距離為待測(cè)距離，后續(xù)用所設(shè)計(jì)的系統(tǒng)對(duì)其進(jìn)行測(cè)量和討論。

圖1 測(cè)量系統(tǒng)流程框架

圖2 待測(cè)量圖像

1.1 圖像自動(dòng)擬合標(biāo)注算法

標(biāo)注的目的是為了定位工件外觀輪廓，為后續(xù)的測(cè)量做準(zhǔn)備，標(biāo)注分為3種：全自動(dòng)標(biāo)注、半自動(dòng)標(biāo)注和純手動(dòng)標(biāo)注。半自動(dòng)標(biāo)注是基于一些參數(shù)的設(shè)置和調(diào)整，來達(dá)到標(biāo)注的目的，具有看圖調(diào)參數(shù)的功能，但難以快速推廣應(yīng)用。純手動(dòng)標(biāo)注，即雁過留痕的形式，鼠標(biāo)畫到哪，標(biāo)注線就畫到哪，沒有識(shí)別功能，完全依靠人眼和手的配合，具有很強(qiáng)的主觀性，很不穩(wěn)定。此次主要研究全自動(dòng)擬合標(biāo)注，涉及到的子算法主要有閾值分割和邊緣檢測(cè)。

閾值分割，目標(biāo)與背景的關(guān)系：

1=wa+wb

(1)

式中：wa是目標(biāo)像素比例；wb是背景像素比例。

在式(1)中，目標(biāo)灰度均值、背景灰度均值與整體灰度閾值的關(guān)系[6-7]：

u=ua×wa+ub×wb

(2)

式中：u是閾值；ua是目標(biāo)均值；ub是背景均值。

最后，計(jì)算方差最大值[8-9]：

g=wa×(u-ua)2+wb×(u-ub)2

(3)

式中：g是方差最大值。

在閾值分割基礎(chǔ)上，進(jìn)行Canny處理：

(4)

式中：G(x，y)為圖像邊緣梯度幅值；Gx為x方向梯度；Gy為y方向梯度[10]。

擬合校準(zhǔn)的本質(zhì)就是權(quán)值乘以輸入值加上偏移值。為了實(shí)時(shí)校準(zhǔn)擬合效果，設(shè)計(jì)系統(tǒng)采用嵌入校準(zhǔn)函數(shù)：tanh、ReLU，經(jīng)過實(shí)驗(yàn)驗(yàn)證，更適合此次研究中的擬合需求，各校準(zhǔn)函數(shù)為：

tanh=tanh(x)

(5)

ReLU=max(0，x)

(6)

式中：x為輸入值。

全自動(dòng)擬合標(biāo)注算法流程主要為：閾值分割、邊緣檢測(cè)、最近點(diǎn)確定、標(biāo)注擬合。先用閾值分割，分割出包含目標(biāo)輪廓在內(nèi)的二值圖，該圖存在一定量的雜質(zhì)和干擾。因此，引入邊緣檢測(cè)，對(duì)二值圖的目標(biāo)輪廓，作進(jìn)一步邊緣處理，得到目標(biāo)的邊，同時(shí)也排除了雜質(zhì)的干擾。在人機(jī)交互的鼠標(biāo)標(biāo)注過程中，鼠標(biāo)軌跡在不斷更新，以鼠標(biāo)所在坐標(biāo)為中心點(diǎn)，取256×256區(qū)域圖像進(jìn)行閾值分割和邊緣檢測(cè)處理，既達(dá)到了計(jì)算、分析、處理的目的，又達(dá)到了速度實(shí)時(shí)性要求。最近點(diǎn)確定，以邊緣檢測(cè)結(jié)果中距離鼠標(biāo)所在點(diǎn)最近的坐標(biāo)作為擬合的結(jié)果坐標(biāo)。在鼠標(biāo)移動(dòng)過程中，計(jì)算出來的點(diǎn)通過連線達(dá)到擬合的目的。

系統(tǒng)的全自動(dòng)擬合標(biāo)注采用特定標(biāo)準(zhǔn)差來初始化起始擬合位置，在擬合標(biāo)注過程中不斷調(diào)整。前期調(diào)研了3種實(shí)現(xiàn)語言，即C++、C #和Java，并進(jìn)行了實(shí)驗(yàn)，因?yàn)榭紤]到效率，本平臺(tái)軟件選擇用C++語言實(shí)現(xiàn)。全自動(dòng)擬合標(biāo)注框架如圖3所示。

圖3 全自動(dòng)擬合標(biāo)注框架圖

1.2 目標(biāo)尺寸測(cè)量

系統(tǒng)的圖像測(cè)量對(duì)象有很多，包括點(diǎn)到點(diǎn)、點(diǎn)到線、線到線，目標(biāo)輪廓內(nèi)、外側(cè)，這些都屬于距離測(cè)量。另外還有面積測(cè)量、角度測(cè)量、計(jì)數(shù)等等。限于文章篇幅，在此重點(diǎn)介紹距離測(cè)量工具。首先對(duì)目標(biāo)進(jìn)行校準(zhǔn)，用標(biāo)定板放在相機(jī)下面采集圖像，找到物理距離與圖像距離的關(guān)系、轉(zhuǎn)換比例等。在得到物理坐標(biāo)與圖像坐標(biāo)的對(duì)應(yīng)關(guān)系后，再進(jìn)行尺寸計(jì)算。結(jié)合上述自動(dòng)擬合標(biāo)注的輪廓信息，只需將距離測(cè)量工具放在工件上，通過調(diào)整測(cè)量工具，即可測(cè)量輪廓外側(cè)。為了提高測(cè)量精度，本系統(tǒng)對(duì)圖像作了很多測(cè)量前的預(yù)處理：頻域增強(qiáng)、空間域增強(qiáng)和直方圖增強(qiáng)。以直方圖增強(qiáng)為例，進(jìn)行直方圖均衡化：

(7)

式中：histo(k)為像素灰度值是k的像素個(gè)數(shù)；H、W分別為圖像的高、寬。

(8)

建立一個(gè)均衡化方程式[11]：

(9)

式(9)為累加直方圖模型，q值為：

(10)

進(jìn)行圖像矩陣化處理：

(11)

式中：O為輸出像素值；I為輸入像素值。

此次的尺寸測(cè)量主要為：邊到邊、點(diǎn)到邊和點(diǎn)到點(diǎn)。邊到邊，即尋取兩條邊上距離最近的兩個(gè)點(diǎn)之間的距離，即邊到邊的距離。點(diǎn)到邊，即尋取邊上距離點(diǎn)最近的一點(diǎn)，求兩點(diǎn)距離，即點(diǎn)到邊的距離。點(diǎn)到點(diǎn)較為簡(jiǎn)單，在此不予以贅述。

系統(tǒng)的圖像測(cè)量技術(shù)主要基于OpenCV和自主C++函數(shù)實(shí)現(xiàn)。首先，將圖像轉(zhuǎn)換為矩陣，將起始坐標(biāo)與終點(diǎn)坐標(biāo)進(jìn)行對(duì)比，對(duì)每個(gè)像素之間的差異進(jìn)行匯總，結(jié)合校準(zhǔn)得到的物理距離與圖像距離關(guān)系，完成尺寸的測(cè)量。如圖4所示，圖像中的目標(biāo)尺寸測(cè)量完成后，測(cè)量結(jié)果直接顯示在界面上，193即為像素個(gè)數(shù)。

圖4 待測(cè)量圖像的測(cè)量結(jié)果

2 實(shí)驗(yàn)與討論

本次實(shí)驗(yàn)是基于QT平臺(tái)下的C++開發(fā)實(shí)現(xiàn)的，對(duì)電腦配置沒有特殊要求，無需顯卡。為了突出設(shè)計(jì)系統(tǒng)的優(yōu)勢(shì)，將該系統(tǒng)對(duì)待測(cè)圖像的測(cè)量結(jié)果，分別與文獻(xiàn)[3]和文獻(xiàn)[4]中方法對(duì)待測(cè)量圖像的測(cè)量結(jié)果進(jìn)行了比對(duì)。

待測(cè)量的圖像如圖5a所示，待測(cè)量的目標(biāo)為中間區(qū)域的黑色芯片蓋，周邊背景較為復(fù)雜，為全自動(dòng)擬合標(biāo)注帶來了較大的干擾。此次設(shè)計(jì)的系統(tǒng)主要是耦合了全自動(dòng)擬合標(biāo)注、圖像點(diǎn)線檢測(cè)和軟件工程技術(shù)，具有較好的視覺界面，如圖5b所示，該界面簡(jiǎn)單實(shí)用，包含著大量的測(cè)量工具。3種測(cè)量方法的測(cè)量結(jié)果見圖6。文獻(xiàn)[3]中的基于k-means的零件圖像分割方法，對(duì)于劃痕的偽邊緣，在矩形邊緣檢測(cè)區(qū)域內(nèi)利用輪廓法線信息，測(cè)量邊緣尺寸，但其僅考慮了圖像的邊緣特征，忽略了其他有效數(shù)據(jù)，使其測(cè)量精度不高，如圖6a所示，算法標(biāo)注標(biāo)記的區(qū)域過大，不準(zhǔn)確。文獻(xiàn)[4] 中利用CCD獲取零件圖像，實(shí)現(xiàn)圓度測(cè)量，達(dá)到測(cè)量目的。但其采用的分割技術(shù)是借助經(jīng)驗(yàn)參數(shù)來完成的，而且其未考慮算法與軟件系統(tǒng)兼容的問題，在定制化場(chǎng)景中，限制了算法測(cè)量的測(cè)量準(zhǔn)確度，如圖6b所示，算法標(biāo)注標(biāo)記的區(qū)域不準(zhǔn)確。

圖5 待測(cè)量圖像和本文測(cè)量系統(tǒng)的軟件界面

如圖6c所示，本文技術(shù)能夠自動(dòng)擬合標(biāo)注目標(biāo)，整個(gè)標(biāo)注區(qū)域精確地圍繞著黑色芯片蓋，能夠準(zhǔn)確給出標(biāo)注輪廓線。

圖6 3種測(cè)量方法的測(cè)量結(jié)果

3 結(jié) 語

為了解決當(dāng)前圖像測(cè)量不準(zhǔn)確、不穩(wěn)定的問題，分別從自動(dòng)擬合標(biāo)注、軟件工程和系統(tǒng)集成等方面，結(jié)合圖像信息和算法算子，設(shè)計(jì)了一套健壯的圖像自動(dòng)測(cè)量系統(tǒng)。研究基于傳統(tǒng)圖像處理算法和軟件交互技術(shù)，對(duì)圖像目標(biāo)物邊緣、特定點(diǎn)位、點(diǎn)線距離、線間距離進(jìn)行精準(zhǔn)測(cè)量，提高了尺寸測(cè)量精度。下一步要解決的問題是將算法從較復(fù)雜場(chǎng)景遷移到復(fù)雜場(chǎng)景，同時(shí)保證算法的效率和精度。