機器視覺精密測量中的顯微光學聚焦

徐　征，陳聿夫，孫　謙，王曉東，周宗磊

(大連理工大學 微納米技術(shù)及系統(tǒng)遼寧省重點實驗室，遼寧 大連 116085)

?

機器視覺精密測量中的顯微光學聚焦

徐征，陳聿夫，孫謙，王曉東*，周宗磊

(大連理工大學 微納米技術(shù)及系統(tǒng)遼寧省重點實驗室，遼寧 大連 116085)

考慮顯微光學涉及的聚焦精度對機器視覺精密測量效果的影響，開展了顯微視覺環(huán)境下對圖像聚焦技術(shù)綜合定量評價的研究。建立了偏移率等系列性能指標，對13組清晰度函數(shù)在顯微視覺條件下的無偏性、單峰性、分辨力等進行了綜合評價，優(yōu)選出方差函數(shù)和Brenner函數(shù)分別用于粗聚焦和精聚焦階段的清晰度計算。建立了分步爬山搜索法，實現(xiàn)了顯微自動聚焦。與傳統(tǒng)爬山法相比，提出的方法聚焦時間顯著縮短，重復精度提高約24%。將建立的自動聚焦與圖像測量方法應用于某電液伺服閥銜鐵氣隙測量中，得到的測量均值與工具顯微鏡結(jié)果相近，而測量標準差可達1.9 μm，測量效率也顯著提高。最后對伺服閥加電條件下的氣隙動力學特性進行了測試，獲得了驅(qū)動電流-銜鐵氣隙之間的關(guān)系，為在線裝配/裝調(diào)提供了重要依據(jù)。

機器視覺；顯微成像；自動聚焦；微裝配；微機電系統(tǒng)；綜合定量評價

1　引　言

現(xiàn)代工業(yè)的快速發(fā)展對微傳感器和微執(zhí)行器的綜合性能提出了更高要求。目前，許多微傳感器和微執(zhí)行器的精密裝調(diào)工作仍依靠手工操作，導致裝配精度差和應力分布波動大等問題，影響了它們的服役穩(wěn)定性。以顯微視覺為導引，通過精密定位和微小夾持裝置將多個微零件精確組裝成系統(tǒng)的微裝配技術(shù)是解決上述問題的主要途徑，而在裝配-裝調(diào)之前，基于顯微視覺的在線測量是不可或缺的環(huán)節(jié)[1-3]。在短景深的顯微視覺下，光學聚焦對測量效果的影響顯著，離焦偏差會使精密工具誤動作，從而導致工具或零件的損壞等問題[4]。此外，受表面涂膠等工藝的影響，留給光學聚焦的時間窗很窄，手工聚焦難以滿足需求，亟待發(fā)展高效自動的顯微光學聚焦技術(shù)。

顯微自動聚焦技術(shù)通常基于圖像，要解決圖像清晰度計算和合焦面搜索兩個問題[5-6]。國內(nèi)外學者對此開展了大量研究。Li等以直徑為10 μm 左右的軸-孔裝配為應用對象，基于Sobel算子設(shè)計了先聚焦整體孔、再聚焦中心區(qū)的兩步搜索法，使注射針尖移動到合焦面，誤差小于0.5 μm[7]。Liu等設(shè)計了一種組合算法，先采用方差函數(shù)對微執(zhí)行器整體聚焦，再以四叉樹算法聚焦微執(zhí)行器的尖端[8]。Qiu等提出以Krisch邊緣算子卷積和評價粗聚焦清晰度、以圖像高頻成分比評價精聚焦清晰度的雙重算法，準確度達到±4 μm[9]。Bilen等以方差函數(shù)計算清晰度，選擇Fibonacci法作為搜索策略對微夾鉗聚焦，1倍鏡頭下的定位準確度可達2.7 μm[10]。

上述研究主要是將圖像聚焦技術(shù)作為不同應用的中間環(huán)節(jié)，缺乏對該技術(shù)在顯微視覺環(huán)境下的綜合定量評價。本文建立了偏移率等系列性能指標，對13組清晰度計算函數(shù)在顯微視覺條件下的無偏性、單峰性、分辨力進行定量評價，選出適用于粗/精聚焦的清晰度函數(shù)，并建立分步爬山搜索策略，實現(xiàn)顯微自動聚焦。以精密電液伺服閥銜鐵氣隙為對象，利用測距傳感器驗證聚焦搜索的重復性。最后，實現(xiàn)了銜鐵氣隙動力學特性的自動測量，獲得了驅(qū)動電流-銜鐵氣隙之間的關(guān)系，為其裝配/裝調(diào)提供可靠依據(jù)。

2　實驗裝置組成

本文所用的實驗裝置是為某企業(yè)開發(fā)的精密微裝調(diào)設(shè)備的一部分。如圖1所示，實驗裝置包括傳送微組件的2維精密滑臺(Y向和Z向滑臺，分辨力為2 μm)、用于聚焦的精密直線滑臺(X向滑臺，分辨力為2 μm)、顯微鏡(Navitar，2.0×)、攝像機(DH-SV2001，單像素為4.4 μm×4.4 μm)和環(huán)形光源組成。為了對比聚焦精度，在顯微成像單元旁加裝有激光測距位移傳感器(ZX2-LD50L，分辨力為1.5 μm)。

測試對象為某精密電液伺服閥的銜鐵區(qū)域(12 mm×4 mm)。如圖2所示，銜鐵與基體間的氣隙(0.34 mm)是決定流體控制精度的關(guān)鍵，對性能影響顯著。實際生產(chǎn)中，需要根據(jù)氣隙偏差進行銜鐵或墊片更換及緊定螺釘調(diào)節(jié)等裝調(diào)作業(yè)，使靜態(tài)氣隙更為均勻、加電時氣隙變化線性度更高。

圖1　顯微視覺單元的結(jié)構(gòu)組成

圖2　待測的伺服閥及其銜鐵氣隙結(jié)構(gòu)

系統(tǒng)的工作過程如下：首先由傳送滑臺將伺服閥組件傳送到操作區(qū)，再采集銜鐵區(qū)的圖像，并計算圖像清晰度，驅(qū)動滑臺搜索物面，待聚焦準確后測量微小特征，最后根據(jù)測量結(jié)果對組件進行裝配和裝調(diào)。

3　清晰度函數(shù)評價及搜索策略

3.1清晰度計算函數(shù)

本文采用梯度算子類函數(shù)、統(tǒng)計函數(shù)和圖像熵函數(shù)3類函數(shù)計算清晰度，并通過對比這3種函數(shù)的性能選出最佳函數(shù)。

(1)梯度算子類函數(shù)：Roberts算子及衍生函數(shù)(FRoberts、FRob-Energy)、Sobel算子及衍生函數(shù)(FSobel、FTenengrad、FSML)、Prewitt算子函數(shù)FPrewitt、梯度絕對值函數(shù)FSMD、梯度平方和函數(shù)FEOG、Laplace算子函數(shù)FLaplace以及Brenner算子函數(shù)FBrenner。

(2)統(tǒng)計函數(shù)：方差函數(shù)FVariance和自相關(guān)函數(shù)FVollaths。

(3)圖像熵函數(shù)FEntropy。合焦圖像與離焦圖像之比，熵函數(shù)多樣性大，即信息熵高。

3.2清晰度函數(shù)的特征參量

為了評價函數(shù)的聚焦特性，采用近焦區(qū)寬度Wclose和拐點到合焦點距DI-to-F為設(shè)計參量。首先引入近焦區(qū)與遠焦區(qū)的概念。如圖3所示，以FTenengrad為例，函數(shù)頂點處為合焦點。合焦點附近為近焦區(qū)，成像相對清晰，曲線陡峭。將成像模糊、曲線平緩的區(qū)域稱為遠焦區(qū)。遠焦區(qū)函數(shù)曲線可近似為與位置坐標軸平行的線段：

(1)Fi是在第i個圖像采樣位置處的函數(shù)歸一化計算值。臨界點(Xn，F(xiàn)n)到該線段的距離d=|Fn-b|，F(xiàn)n為臨界點處圖像清晰度的計算值，Xn即為臨界點采樣位置。當滿足d>α，α為閾值(取0.001)，同樣，從右到左可以獲取右臨界點的坐標。左、右臨界點的距離Wclose=|XR-XL|為近焦區(qū)寬度，XL，XR分別為左、右臨界點的采樣位置。粗聚焦步長應小于函數(shù)近焦區(qū)寬度。

圖3　Tenengrad函數(shù)特征分析

3.3清晰度函數(shù)的性能評價指標

在各清晰度函數(shù)的近焦區(qū)，函數(shù)的綜合性能指標評價設(shè)計如下：

(1)表達函數(shù)無偏性的最值點偏移率：

(2)

其中：Xmax為函數(shù)取最大值的點，X0為真實聚焦清晰點，δ為相鄰采樣點的物理間距，Wdof為鏡頭的景深(～20 μm)。偏移量反映函數(shù)是否滿足無偏性，若Roffset>1，則不滿足無偏性。

(2)函數(shù)清晰度比率為計算值變化的比值：

Ra=Fmax/Fmin，

(3)

其中Fmax，F(xiàn)min分別為函數(shù)的最大值和最小值。

(3)綜合衡量合焦點附近陡峭程度的參量為：

(4)

(4)以局部極大值點個數(shù)Np衡量抗干擾能力和單調(diào)性。在近焦區(qū)內(nèi)的局部極值點越少，搜索落入局部極值的可能性越小。

(5)清晰度的計算時間Tc。

3.4分步爬山法

為消除導軌回程誤差對聚焦精度的影響，本文改進了傳統(tǒng)爬山法，在清晰度函數(shù)2個特征參量的基礎(chǔ)上，建立了分步爬山法，減少往復搜索次數(shù)，搜索過程如圖4所示。搜索步驟如下：

(1)在粗聚焦階段，以大步長Sc(Sc

(2)以步長S1搜索清晰度函數(shù)的右臨界點。由臨界點計算公式，定義閾值因子：

ρ=d/b，

(5)

d，b的定義見式(1)。記錄兩相鄰采樣點的函數(shù)值F1和F2，計算相對變化率：

r′=r/F1，

(6)

(7)

其中δ為相鄰采樣點的間距。當r′>ρ，縮小步長，否則繼續(xù)搜索。

圖4　改進的分步爬山搜索法流程

(4)根據(jù)F函數(shù)值，以步長S3搜索合焦點，找到聚焦清晰平面所在的小區(qū)域，反向移動一個合焦點偏差估計距離。

4　實驗驗證與分析

4.1聚焦清晰度函數(shù)的綜合性能

圖5　各函數(shù)計算的圖像序列清晰度

利用3.3節(jié)中的評價指標對13組清晰度函數(shù)的計算結(jié)果(圖5)進行分析(表1)，結(jié)論如下：

(1)FVariance近焦區(qū)的寬度Wclose最大，為720 μm，其次是FTenengrad的Wclose為408 μm，其余函數(shù)的Wclose均遠小于方差函數(shù)。計算各函數(shù)的DI-to-F，除FVariance外，其余DI-to-F均在40～72 μm。FVariance在近焦區(qū)波動較大，而且沒有明顯的拐點。

(2)FVariance的無偏性Roffset為2.4，不滿足無偏性。此外，F(xiàn)Laplace和FPrewitt的Roffset是0.8，偏移量較大。其余均滿足無偏性。

(3)FTenengrad和FBrenner的清晰度比率較高，分別為10.06和9.43。

(4)FSML，F(xiàn)Tenengrad，F(xiàn)Rob-Energy，F(xiàn)Brenner，F(xiàn)EOG函數(shù)的陡峭度超過0.022，這意味著在精聚焦階段搜索過程中，其合焦面更易分辨。

(5)除FVariance外，各函數(shù)在近焦區(qū)均嚴格滿足單調(diào)性。但FEntropy，F(xiàn)Laplace，F(xiàn)SML等在各自的遠焦區(qū)不是嚴格單調(diào)遞增的。

(6)FEOG，F(xiàn)Rob-Energy，F(xiàn)Tenengrad函數(shù)的計算時間分別為42，43，46 ms，其它函數(shù)的計算時間不超過32 ms，原因是這3個函數(shù)的平方運算多，計算復雜度高。

綜上，方差函數(shù)的近焦區(qū)較寬，可設(shè)置較大的粗聚焦搜索步長，減少采樣次數(shù)，但無偏性較差，僅適合在粗聚焦階段使用。對精聚焦而言，F(xiàn)Tenengrad函數(shù)的無偏性、清晰度比率、單調(diào)性等均理想，但耗時較長；而FBrenner與FTenengrad的性能接近，因此選擇FBrenner函數(shù)在精聚焦階段計算清晰度。

表1　清晰度評價指標的計算結(jié)果

4.2聚焦搜索策略對比實驗

按圖4流程進行銜鐵氣隙聚焦實驗?？偹阉鞣秶s為8 mm，以方差函數(shù)計算粗聚焦階段的清晰度，步長Sc取為640 μm。在精聚焦階段，以Brenner函數(shù)和Tenengrad函數(shù)計算清晰度并進行比較，近焦區(qū)搜索步長S1約為Wclose/4；拐點搜索步S2

用測距傳感器測量傳感器到激光反射物面的距離，記錄聚焦位置到反射面的距離li，每組聚焦20次，以聚焦測量結(jié)果的標準差S衡量重復性(表2)。其中Tf為所耗費的時間。

表2　自動聚焦實驗結(jié)果

與傳統(tǒng)爬山法相比，分步爬山法往復運動次數(shù)少，從而抑制了滑臺回程誤差的影響，聚焦重復精度為4 μm，為鏡頭景深的1/5，重復精度提高約24%；同時縮短了聚焦時間。此外，Tenengrad函數(shù)的聚焦準確度相對更高，而Brenner函數(shù)的聚焦效率更高，也間接驗證了4.1節(jié)函數(shù)性能的分析結(jié)果。

4.3伺服閥氣隙的測試實驗

靜態(tài)氣隙尺寸測量的具體過程為：以上述算法對銜鐵和基體分別聚焦，提取兩者邊緣，其中一條邊緣以最小二乘法擬合直線，另一條邊緣等間隔取點計算到該直線的平均距離，再將其換算為實際氣隙值gi。用工具顯微鏡(STM6-F10)對同一氣隙測量多點求平均，并與gi進行對比。分析10組測量數(shù)據(jù)發(fā)現(xiàn)：本方法的測量值為358.8～365.1 μm，標準差為1.9 μm；而工具顯微鏡的測量值為352.2～368.4 μm，標準差為5.37 μm。二者均值的相對偏差為0.36%。本文中聚焦和測量均為自動化操作，測量一次耗時約40 s，而用工具顯微鏡則要手工對焦和取樣，耗時約2 min。

圖6　加電過程中伺服閥氣隙變化

加電狀態(tài)氣隙變化線性度是伺服閥的另一重要指標，本文結(jié)合上述算法測量加電(分辨率為1 mA)狀態(tài)下的氣隙變化，通過模板匹配法獲取變化量。由圖6可知，當電流為0時左氣隙比右氣隙大將近226 μm。加電過程中氣隙變化可分為3段，左右變化率也不相等。在區(qū)段2，左右兩側(cè)氣隙隨電流變化率的絕對值分別為25.2 μm/mA和25.7 μm/mA，氣隙位移變化明顯；在區(qū)段1，左右氣隙的變化率分別為2.8 μm/mA和2.6 μm/mA；而區(qū)段3的變化率分別為1.5 μm/mA和。上述結(jié)果為微裝配/裝調(diào)提供了實驗依據(jù)。

5　結(jié)　論

本文建立了偏移率等系列性能指標，對多種清晰度計算函數(shù)在顯微視覺條件下的無偏性、單峰性和分辨力進行了綜合評價。其中，方差函數(shù)的近焦區(qū)域較寬，搜索步長較大，但無偏性較差，適合在粗聚焦階段使用；而Tenengrad函數(shù)的無偏性、清晰度分辨力、單調(diào)性等性能均較理想，但計算時間偏長；Brenner函數(shù)的性能與Tenengrad函數(shù)接近，并且計算時間適中，適合在精聚焦階段計算清晰度。

在傳統(tǒng)爬山法的基礎(chǔ)上，結(jié)合清晰度函數(shù)的特征參量建立了分步爬山法。該方法減少了往復搜索次數(shù)，消除了滑臺回程誤差對聚焦精度的影響，提高了聚焦的重復性和效率。

利用自動聚焦算法測量伺服閥氣隙，并與工具顯微鏡的測量結(jié)果對比，相對偏差為0.36%，能滿足測量精度要求，而且顯著改善了測量效率。

[1]YE X， GAO J， ZHANG Z J，etal.. Robotic microassembly for meso-scale application [J].IndustrialRobot:AnInternationalJournal， 2015， 42(2): 142-148.

[2]WASON J D， WEN J T， GORMAN J J，etal.. Automated multiprobe microassembly using vision feedback [J].IEEETransactionsonRobotics， 2012， 28(5): 1090-1103.

[3]婁志峰，王曉東，由博，等. 精密微小組件壓裝技術(shù)及儀器[J]. 光學 精密工程，2015，23(6):1605-1611.

LOU ZH F， WANG X D， YOU B，etal.. Pressing-fitting technology and instrument for precision small parts [J].Opt.PrecisionEng.， 2015，23(6):1605-1611.(in Chinese)

[4]唐永龍，張之敬，張曉峰，等. 微裝配正交精確對準系統(tǒng)的設(shè)計[J]. 光學 精密工程，2012，20(7): 1542-1550.

TANG Y L， ZHANG ZH J， ZHANG X F，etal.. Design of precise alignment orthogonal system used in micro-assembly [J].Opt.PrecisionEng.， 2012，20(7):1542-1550.(in Chinese)

[5]周麗平，孫志峻，張泉. 顯微視覺系統(tǒng)的自動聚焦及控制[J]. 光學 精密工程，2013，21(3):807-812.ZHOU L P， SUN ZH J， ZHANG Q. Auto-focusing and control of micro-vision system [J].Opt.PrecisionEng.， 2013，21(3): 807-812.(in Chinese)

[6]MAIER A， NIEDERBRUCKER G， STENGER S，etal.. Efficient focus assessment for a computer vision-based Vickers hardness measurement system[J].SPFE， 2011， 8000(17)：477-526.

[7]LI F D， XU D， SHI Y L，etal.. Motion-based microscopic camera calibration and application on micro tube-hole insertion [J].OpticalEngineering， 2014， 53(5): 53103-53109.

[8]LIU J， GONG Z， TANG K，etal.. Locating end-effector tips in robotic micromanipulation [J].IEEETransactionsonRobotics， 2014， 30(1): 125-130.

[9]QIU Y R， LI Y H， CHEN Y X，etal.. Experiments on image processing for micro-assembly [J].AppliedMechanicsandMaterials， 2013， 333-335(1): 924-928.

[10]BILEN H， HOCAOGLU M A， UNEL M，etal.. Developing robust vision modules for microsystems applications [J].MachineVisionandApplications， 2012， 23(1): 25-42.

王曉東(1967-)，男，黑龍江哈爾濱人，教授，1989年于南京航空學院獲得學士學位，1992年于哈爾濱船舶工程學院獲得碩士學位，1995年于哈爾濱工業(yè)大學獲得博士學位，主要從事微裝配技術(shù)與系統(tǒng)、精密儀器等方面的研究。E-mail：xdwang@dlut.edu.cn

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Auto-focusing in optical microscopy for machine-vision-based precise measurement

XU Zheng， CHEN Yu-fu， SUN Qian， WANG Xiao-dong*， ZHOU Zong-lei(KeyLaboratoryforMicro/NanoTechnologyandSystemofLiaoningProvince，DalianUniversityofTechnology，Dalian116085，China)*Correspondingauthor，E-mail：xdwang@dlut.edu.cn

The auto-focusing precision of microscopy has great influence on the performance of machine-vision-based precise measurement. A comprehensively quantitative evaluation method on image auto-focusing technique in a microscopic vision environment was researched. Several kinds of evaluation indexes were proposed， and the unbiasedness， unimodality， spatial resolutionetc. of 13 groups sharpness functions were comprehensively evaluated in a microscopic vision condition. Then variance function and Brenner function were chosen to calculate the sharpness functions in coarse and fine focusing processes respectively. A modified Mountain Climbing Searching (MCS) algorithm was proposed to implement the micro-automatic focusing. As comparing to common MCS method， the modified method significantly improves the time consuming and increases the repeatability by about 24%. Finally， the developed auto-focusing algorithm was integrated into the system and was applied to the measurement of armature gap in a servo solenoid valve. The results show that the standard deviation of measurement is 1.9 μm， the precision is similar to that of the universal tool microscope， and the efficiency is significantly improved. Moreover， the system was also utilized for dynamic characteristic detection of gaps in the solenoid valve under the condition of power up， the relation between driving current and armature gap is obtained， which provides a reliable evidence for in-situ micro-assembly.

machine vision; microscopic imaging; auto-focusing; microassembly; Micro-electro-mechanical System(MEMS); comprehensively quantitative evaluation

2016-03-01；

2016-04-19.

國家科技重大專項基金資助項目(No.2013ZX04001091)

1004-924X(2016)09-2095-06

TP242.6；TH742.9

A

10.3788/OPE.20162409.2095

徐征(1973-)，男，河南鄭州人，博士，副研究員，1997年、2000年于吉林工業(yè)大學分別獲得學士和碩士學位，2004年于大連理工大學獲得博士學位，主要從事微納集成制造的研究。E-mail：xuzheng@dlut.edu.cn