顯微視覺技術(shù)在微細加工中的應(yīng)用

李麗宏，張明路，孫凌宇 ，張建華，魏 智

（1.河北工業(yè)大學(xué)機械工程學(xué)院，天津 300130；2.河北工程大學(xué)信息與電氣工程學(xué)院，河北 邯鄲 056038）

隨著微機電系統(tǒng)（MEMS）技術(shù)的不斷發(fā)展，機械電子產(chǎn)品的集成化和小型化使許多零部件的尺寸日趨微細化，從而帶動了微細加工技術(shù)的快速發(fā)展.在微細加工的各個環(huán)節(jié)中，由于操作工具或被操作對象的微小特性，為了控制微操作臺對目標進行操作，必須采用基于顯微鏡頭的圖像采集處理系統(tǒng)，即顯微視覺伺服控制技術(shù).顯微視覺已成為微操作、微加工獲取操作信息的最主要的技術(shù)手段之一[1-2].針對上述情況，在20世紀80年代，國內(nèi)外學(xué)者相繼開展了基于計算機視覺的宏/微雙驅(qū)動操作、加工技術(shù)的開發(fā)研究.1982年，由美國IBM公司研制成功的第1臺掃描隧道顯微鏡STM，除可對樣品表面形貌和物理性質(zhì)進行檢測外，還可用于對表面進行納米級微細加工.美國麻省理工學(xué)院采用計算機微視覺系統(tǒng)實現(xiàn)了微運動參數(shù)的實時檢測.德國Karlsruhe大學(xué)過程控制和機器人研究實驗室利用顯微平臺作為裝配平臺，采用視覺反饋，另用鼠標和操作桿來控制，完成半自動裝配過程.日本積極利用國外技術(shù)并結(jié)合自身優(yōu)勢，在基于顯微視覺的微細加工、微操作方面發(fā)展速度較快.哈爾濱工業(yè)大學(xué)對變倍顯微鏡下的目標識別、跟蹤和伺服控制技術(shù)進行了研究，為微細加工、微操作的半自動化和全自動打下了技術(shù)基礎(chǔ).華中科技大學(xué)利用顯微視覺技術(shù)構(gòu)建了三機械手協(xié)同控制的微裝配、微操作加工系統(tǒng)[3－8].采用顯微視覺技術(shù)為微細加工過程提供定性或定量評判，己經(jīng)成為微機械制造的重要檢測手段，顯微視覺檢測系統(tǒng)將給微細加工等技術(shù)帶來嶄新的技術(shù)飛躍.本課題在上述研究基礎(chǔ)上，擬研制一套面向微細加工的顯微視覺系統(tǒng).此系統(tǒng)同時結(jié)合力覺傳感器信息控制微細加工過程，能檢測與控制工具與加工工件之間的三維空間距離，完成微細加工操作過程，操作者可以通過用戶圖形界面對操作對象進行操作.這樣不僅提高了微細加工的質(zhì)量，而且也提高了微細加工的效率.

1 顯微視覺系統(tǒng)方案

顯微視覺硬件系統(tǒng)簡圖如圖1所示.

圖1 顯微系統(tǒng)簡圖Fig.1 Sketch of micro-vision system

該系統(tǒng)設(shè)計方案如下:

（1）此系統(tǒng)由CCD攝像機、圖像采集卡、適配器、步進馬達調(diào)焦臺、運動控制卡、光學(xué)顯微鏡、LED環(huán)型照明光源組成.

（2）操作現(xiàn)場經(jīng)顯微鏡、CCD攝像機采集圖像，輸入計算機中，計算機根據(jù)此圖像計算自動聚焦評價函數(shù)值，并得出步進馬達調(diào)焦臺驅(qū)動量，從而控制調(diào)焦臺運動量，依此采集到最清晰圖像.

（3）根據(jù)采集到的最清晰圖像，經(jīng)圖像去噪、圖像分割、目標識別等圖像處理技術(shù)，判斷刀具與加工工件之間的接觸情況.

（4）視覺與力覺混合控制加工操作過程.實驗平臺上有KISTLER力覺傳感器，在顯微視覺系統(tǒng)出現(xiàn)遮擋等情況，無法對目標位置進行精確測量而喪失了伺服控制能力的時候，可以借助微力覺傳感器來判斷刀具和工件間的接觸情況，進而實現(xiàn)精確定位.當(dāng)?shù)额^與加工工件距離較遠時，此過程由顯微視覺系統(tǒng)控制；當(dāng)?shù)额^與加工工件距離很近和接觸后，采用顯微視覺與微力覺混合控制策略，操作控制過程如圖2所示.

圖2 操作控制過程Fig.2 Process of operational control

2 自動聚焦技術(shù)

2.1 聚焦評價函數(shù)

系統(tǒng)處理的圖像是顯微圖像，因此，圖像在被放大的同時，噪聲也被放大了.針對噪聲也被放大的情況，不能采用一般的聚焦評價函數(shù)處理過程，必須采用改進的聚焦評價.在顯微圖像中有散粒噪聲和高斯噪聲2種類型的噪聲，用中值濾波方法對散粒噪聲進行處理，采用雙邊濾波處理方式對高斯噪聲進行降噪.為進一步降低噪聲的影響，采用分水嶺方法對圖像進行過分割，即把濾波后的圖像分成若干內(nèi)部連通并且具有一定灰度相似性的小區(qū)域塊，將小區(qū)域塊的灰度均值作為該區(qū)域內(nèi)像素的灰度值.這樣一方面可以讓每小區(qū)域塊自適應(yīng)地降低噪聲的影響，另一方面還能加強圖像的局部相關(guān)性.對含噪聲的圖像，區(qū)域均值更能反映圖像的真實灰度值，從而進一步抑制噪聲的影響.最后采用SML聚焦評價函數(shù)作為聚焦評判依據(jù)，SML聚焦評價函數(shù)是在空域聚焦函數(shù)中性能表現(xiàn)較好的聚焦函數(shù)，如式（1）所示.

為了驗證上述處理方法，本文采集了37幅從模糊到清晰再到模糊的圖像系列，即采集了37幅模糊→清晰→模糊的圖像序列.圖3（a）為圖像序列的第19幅圖像，對此顯微刀具圖像人為增加了強散粒噪聲，如圖 3（b）所示；圖 3（c）為濾波后圖像，因為噪聲太強，所以濾波后的圖像還是存在噪聲；對圖3（c）中的圖像進行分水嶺分割，分割圖像塊如圖3（d）所示；對圖3（d）中分割的每圖像塊，用其區(qū)域塊均值代替此區(qū)域塊內(nèi)的像素值，結(jié)果如圖 3（e）所示.對圖 3（e）中圖像利用SML函數(shù)進行聚焦評價函數(shù)的計算.

圖3 圖像處理Fig.3 Picture processing

如果按照常規(guī)處理，對濾波后的圖像序列（即圖3（c）圖像序列）直接進行SML聚焦評價函數(shù)處理，仿真曲線如圖4所示.

從圖4中可以看出，此處理過程不滿足聚焦評價函數(shù)的性能指標，即不滿足單調(diào)性、單峰性、評價函數(shù)峰值兩側(cè)的斜率絕對值比較大等指標要求，同時從圖中最大峰值得出最佳清晰圖像為第21幅圖像，與無強噪聲影響圖像得出的結(jié)果不一致，無強噪聲影響的結(jié)果為第20幅圖像是最清晰圖像，其仿真結(jié)果如圖5所示.因此，需對強噪聲圖像的評價函數(shù)進行改進，使其滿足評價函數(shù)性能指標，同時使其與無噪聲圖像序列仿真結(jié)果相一致.

改進自動聚焦處理過程如下:

教師不能夠忽視非智力因素的影響。以教師為主，將學(xué)生放在被動地位的傳統(tǒng)教育模式。這樣，學(xué)生只能通過反復(fù)記憶記住知識。而多媒體與教學(xué)相結(jié)合的話，憑借多媒體其信息技術(shù)的內(nèi)容和特點，能夠很大程度上提升學(xué)生的學(xué)習(xí)效率，對非智力因素的培養(yǎng)起到了很大的作用。

（1）讀取圖像，把彩色圖像轉(zhuǎn)換為灰度圖像；

圖4 強噪聲圖像序列仿真Fig.4 Simulation of image sequence with strong noise

圖5 無強噪聲圖像序列仿真Fig.5 Simulation of image sequence without strong noise

（2）采用中值濾波和雙邊濾波處理方法進行去噪；

（3）使用分水嶺算法對圖像進行過分割；

（4）對分水嶺分割后的圖像，提取每小區(qū)域的灰度均值，用此灰度均值代替各小區(qū)域內(nèi)像素的灰度值；

（5）在上述處理的基礎(chǔ)上，進行SML聚焦評價函數(shù)的自動聚焦.

按照上述步驟進行聚焦評價函數(shù)的計算，即對圖3（e）序列圖像進行仿真，仿真結(jié)果如圖6所示.

圖6 改進評價函數(shù)仿真Fig.6 Simulation of improved evaluation function

從圖6中可以看出，各方面性能指標明顯優(yōu)于圖4中常規(guī)處理方法；同時，從圖6中得出，最佳清晰圖像為第20幅圖像，與無強噪聲影響圖像序列得出的結(jié)果是一致的.從而驗證了此改進評價函數(shù)方法是有效的，精度接近于無強噪聲影響圖像的仿真結(jié)果.

2.2 搜索策略

將原有的數(shù)據(jù)點作為“基準數(shù)據(jù)”進行插值運算，估算出基準點之間其他點的函數(shù)值，可以得到離散函數(shù):

式中:t為插值密度，可以根據(jù)需要適當(dāng)設(shè)定.

得到一幀圖像并計算出FSML（x），在（2）式的離散函數(shù)值中順序查找，直至滿足:

可得:x ≈ i·t，鏡頭運動（i·t）距離即可聚焦.

以改進的SML評價函數(shù)為實驗數(shù)據(jù)點，同時以這些點作為插值基準樣點，選擇精度較高的三次樣條插值方法對聚焦實現(xiàn)曲線進行平滑處理.如果本聚焦系統(tǒng)的焦深用Z表示，插值密度用t表示，應(yīng)有t＜Z，但是若t過小，不但不能提高聚焦精度，反而會因為查找大量數(shù)據(jù)而降低聚焦速度，所以設(shè)定的t值一定要適中.

如無法用簡單的數(shù)學(xué)模型如多項式或高斯函數(shù)對聚焦曲線進行準確描述，插值法求離散函數(shù)F（x）不失為一種實現(xiàn)定位法的通用、實用而且有效的方式.

3 刀頭與加工工件的識別

為了監(jiān)測刀頭與工件之間的距離，首先需要把刀頭、工件從整幅圖像中分割出來，本系統(tǒng)采用改進的otsu閾值分割方法.把刀頭、工件從圖像中分割后，需要對刀頭和加工工件進行識別，識別方法可以有模板匹配、不變矩、廣義hough變換等識別理論方法.相對于模板匹配、廣義hough變換等識別方式，不變矩理論更加適用于顯微成像系統(tǒng).經(jīng)典的不變矩理論僅具有平移和旋轉(zhuǎn)不變性，不具有縮放不變性，所以需要對其進行改進，改進后的不變矩理論具有平移、旋轉(zhuǎn)和縮放不變性，因而相比于其他識別方法更加適用于顯微成像系統(tǒng).

Hu[10]提出的不變矩理論對于連續(xù)數(shù)據(jù)具有平移、旋轉(zhuǎn)和縮放不變性，但是對于離散數(shù)據(jù)只具有平移和旋轉(zhuǎn)不變性，不具有縮放不變性.而本系統(tǒng)采集到計算機中的圖像是離散數(shù)據(jù)，所以必須對不變矩進行修正；同時，為了計算速度快，不是讓目標區(qū)域的所有像素參與計算，而是對其進行邊緣檢測，對檢測后的圖像再進行矩計算.

設(shè) φ1、φ2、φ3、φ4、φ5、φ6、φ7為 Hu 提出的 7 個矩，對其進行修正，形成下面6個相對矩:

以圖3的刀具圖像為例，對此圖像進行平移、旋轉(zhuǎn)與縮放，計算公式（4）中的相對矩，以驗證其具有平移、旋轉(zhuǎn)、縮放不變性.在此，以計算 ψ1、ψ2、ψ3為例進行驗證，如表1所示，從而驗證了其具有平移、旋轉(zhuǎn)和縮放不變性.

表1 相對矩Tab.1 Relative invariant moment

對分割完畢的圖像進行相對矩計算，得出其特征值并與標準特征值進行比較，從而識別出刀具與工件，更有利于顯微操作，從而控制其操作精度.

4 結(jié)束語

本系統(tǒng)面向微細加工，在力覺傳感器的基礎(chǔ)上，加入顯微視覺系統(tǒng)，共同控制微小加工工件與微小刀具之間的距離，共同完成微細加工過程.針對顯微圖像在圖像放大的同時噪聲也放大的特點，采用了改進的聚焦評價函數(shù)處理方法，即對圖像進行中值和雙邊濾波后，采用分水嶺算法對圖像進行過分割，從而分割成多個小區(qū)域，并用每個區(qū)域內(nèi)的灰度均值代替此區(qū)域內(nèi)每個像素的灰度值，從而抑制噪聲的影響；再采用SML聚焦評價函數(shù)進行自動聚焦處理；在搜索方式上，為了避免回程間隙而損失定位精度，采用精度較高的三次樣條插值定位方法；采用相對邊界矩對目標進行識別，同時本顯微視覺系統(tǒng)結(jié)合力覺傳感器共同控制刀具與加工工件之間的三維距離，從而準確、快速、安全地完成微細操作控制過程.

[1]GEORGIEV Atanas，ALLEN Peter K，MEZOUAR Youcef.Microrobtic crystal mounting using computer vision[J].Pattern Recognition Letters，2007，20:199-206.

[2]宋 宇.面向微操作的微小型機器人視覺伺服技術(shù)研究[D].哈爾濱:哈爾濱工業(yè)大學(xué)，2007.

[3]鄭漢卿，王伯雄，余 超，等.基于自動調(diào)焦顯微視覺的MEMS運動測量技術(shù)[J].清華大學(xué)學(xué)報:自然科學(xué)版，2007，47（2）:177-180.

[4]吳建華.高效率的微器件自動裝配技術(shù)研究[D].合肥:中國科學(xué)技術(shù)大學(xué)，2007.

[5]孫 杰，袁躍輝，王傳永.數(shù)字圖像處理自動圖像聚焦算法的分析和比較[J].光學(xué)學(xué)報，2007，27（1）:35-39.

[6]TANSEL Ibrahim N，GRISSO Benjamin L，SINGH Gurjiwan.Wear estimation by testing the elastic behavior of tool surface[J].Internationa l Journal of Machine Tools&Manufacture，2011，51:745-752.

[7]TEYSSIEUX D，EUPHRASIE S，CRETIN B.MEMS in-plane motion/vibration measurement system based CCD camera[J].Measurement，2011，44:2205-2216.

[8]WANG H P，VASSEUR C，CHRISTOV N，et al.Vision servoing of robot systems using piecewise continuous controllers and observers[J].Mechanical Systems and Signal Processing，2012，33:132-141.

[9]宗光華，孫明磊，畢樹生，等.顯微視覺自動聚焦研究[J].光學(xué)學(xué)報，2005，25（9）:1225-1231.

[10]LI Lihong，JIA Dongli，CHEN Xiangguo，et al.A fast discrete invariant moment algorithm and its application on pattern recognition[C]//The 6th World Congress on Intelligent Control and Automation.Dalian:Institute of Electrical and Electronics Engineers，2006:9773-9777.