面向制造現(xiàn)場的產(chǎn)品質(zhì)量信息傳遞方法*

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213000）

1 引言

近年來，基于模型的設(shè)計(Model Based Definition,簡稱MBD)在制造業(yè)得到了廣泛的關(guān)注與青睞[1]，因此現(xiàn)在的產(chǎn)品制造現(xiàn)場通過一些便捷式移動設(shè)備來可視化產(chǎn)品的MBD模型上所攜帶的產(chǎn)品質(zhì)量信息(Product Manufacturing Information,簡稱 PMI)，以此來指導(dǎo)加工、質(zhì)檢等工作。但是，這種可視化方式要求操作人員將注意力沉浸到虛擬的環(huán)境中，導(dǎo)致其精神負(fù)擔(dān)較重;并且這種方式需要操作人員將注意力在零件的物理模型和數(shù)字模型之間進(jìn)行頻繁切換，效率較低。因此，如何實時、準(zhǔn)確、有效地將零件數(shù)字模型攜帶的PMI傳遞到零件制造現(xiàn)場，是提高產(chǎn)品檢測效率與質(zhì)量的一個亟需解決的問題。

增強現(xiàn)實(Augmented Reality，簡稱AR)是對真實環(huán)境的增強，將計算機生成的虛擬信息實時、準(zhǔn)確地疊加到真實場景當(dāng)中。其中基于無標(biāo)記的跟蹤技術(shù)在制造業(yè)得到了廣泛的運用[2-4]。Daewoon Kim[5]等提出了基于AR的將3D CAD數(shù)據(jù)增強到真實船模塊圖像中的方法，該方法通過使用基于3D模型的方法，選用點線特征組成矩形作為圖像特征，估計出初始姿態(tài)，但是該方法對于有著復(fù)雜結(jié)構(gòu)的產(chǎn)品的點線特征選擇存在問題；Marchand[6]等提出了基于2D-3D模型的視覺跟蹤方法，它通過估計三維模型的運動蹤跡來找到正確的轉(zhuǎn)換模型，將CAD模型疊加到圖像上，使姿勢估計誤差最小化，然而對于CAD模型上特征點的選擇是此法的一個難點。Stefan Hinterstoisser[7]等提出了一種梯度響應(yīng)圖的方法用于實時無紋理對象的檢測，該方法不需要耗時的訓(xùn)練階段，利用梯度響應(yīng)圖，使得其系統(tǒng)更加魯棒和能夠快速正確檢測目標(biāo)對象。

綜合考慮上述模型，提出一種面向制造現(xiàn)場的產(chǎn)品質(zhì)量信息傳遞方法，用以闡述以制造特征為載體的產(chǎn)品質(zhì)量信息提??；同時采集不同視角下目標(biāo)對象的場景圖像集，為場景圖像集與制造特征之間建立關(guān)聯(lián)關(guān)系；最后給出面向制造現(xiàn)場的AR框架，并以具體的零件對該方法進(jìn)行實驗驗證。

2 模板數(shù)據(jù)庫構(gòu)建

模板數(shù)據(jù)庫的構(gòu)建包括：提取目標(biāo)對象基于制造特征的產(chǎn)品質(zhì)量信息，生成在不同視角下目標(biāo)對象的場景圖像集，以及模板場景圖像集與制造特征的關(guān)聯(lián)關(guān)系。

2.1 產(chǎn)品質(zhì)量信息提取

在構(gòu)建MBD模型的過程中，產(chǎn)品質(zhì)量信息與三維CAD模型中的幾何元素(點、線、面)及制造特征相關(guān)聯(lián)[8]，而三維標(biāo)注依附于幾何元素，若干個幾何元素構(gòu)成一個制造特征。即制造特征通過幾何元素實現(xiàn)了與三維標(biāo)注的關(guān)聯(lián)。其模型表達(dá)式如下：

其中S(H)表示制造特征與產(chǎn)品質(zhì)量信息的關(guān)聯(lián)關(guān)系，H表示制造特征，Gj表示產(chǎn)品質(zhì)量信息關(guān)聯(lián)的幾何要素，包括幾何形面Gf、幾何區(qū)域Gr、邊Ge、點Gv等；Lk表示制造特征的標(biāo)注信息，包括尺寸Ld、公差Lt、表面粗糙度Lr、注釋Note等；表示幾何要素與標(biāo)注之間的映射關(guān)系，當(dāng)Lk依附于Gf時，或者Gf約束于 Lk時，mij等于 1，否則 mij等于 0。

2.2 場景圖像集生成

如圖1所示，利用一個虛擬的球面來生成2D圖像。這里，目標(biāo)對象的三維CAD模型放置于球心，球表面上的每一視角點代表著一個虛擬相機，此時可沿著球面進(jìn)行視角點采樣，來生成一定數(shù)量的目標(biāo)對象三維CAD模型圖像。

圖1 模板圖像生成模型

在圖像生成過程中，根據(jù)3個自由度(距離d，經(jīng)度φ，緯度φ)來確定虛擬相機在3D空間的位置。通過經(jīng)度和緯度可以確定虛擬相機的方向，之外再引入另一個自由度，即虛擬相機到3D模型的距離d。在這三個自由度下，虛擬相機在3D空間中的位置可被唯一確定。然后通過設(shè)定自由度參數(shù)的范圍，來確定視角點位置及采樣點數(shù)量，即虛擬相機的位置和模板圖像的數(shù)量也被確定，表示為其模型表達(dá)式如下：

2.3 場景圖像集與制造特征之間的關(guān)聯(lián)

在模板圖像生成過程中，構(gòu)建制造特征和模板圖像之間的映射關(guān)系，以實現(xiàn)操作人員從不同視角下對零件不同特征進(jìn)行檢測。假設(shè)某一時刻相機視角方向法向量為α，那么在該視角方向下模型中一些特征是不可見的。如果模型中所屬制造特征的面法向量為β，當(dāng)α和β同向，則此時刻此制造特征不在相機的視角范圍內(nèi)，即該模板圖像與此制造特征無關(guān)聯(lián)；同理，當(dāng)α與β反向時，二者關(guān)聯(lián)。具體的模型表達(dá)式如下：

其中P(H)表示制造特征與場景圖像的關(guān)聯(lián)關(guān)系，Ii表示第i幅模板圖像，Hj表示第j個特征，nij表示模板圖像Ii和制造特征Hj的關(guān)聯(lián)映射關(guān)系，向量a表示模板圖像Ii對應(yīng)的相機視角方向的法向量，向量b表示制造特征Hj所在面的法向量；當(dāng)nij=0時，模板圖像Ii和制造特征Hj無關(guān)聯(lián)關(guān)系，nij=1時，模板圖像Ii和制造特征Hj相關(guān)聯(lián)。

3 面向制造現(xiàn)場的AR構(gòu)建

如圖2所示為面向制造現(xiàn)場的產(chǎn)品質(zhì)量信息傳遞AR框架。由圖中可見，其創(chuàng)建過程為：首先，攝像頭捕捉真實場景信息，真實場景信息被轉(zhuǎn)換為圖像或視頻流；其次，再通過將模板數(shù)據(jù)庫中的模板場景圖像與捕捉到的制造現(xiàn)場圖像進(jìn)行匹配，匹配成功后，AR系統(tǒng)根據(jù)最相似的模板圖像在模板數(shù)據(jù)庫中查找相應(yīng)的注冊信息；最后，通過所獲得的攝像機的姿態(tài)，實現(xiàn)虛擬產(chǎn)品質(zhì)量信息與真實場景的虛實融合，并將虛實融合的視頻流輸出到顯示設(shè)備展現(xiàn)給用戶觀看。

圖2 面向制造現(xiàn)場的增強現(xiàn)實框架

3.1 制造現(xiàn)場圖像與模板圖像匹配

通過梯度響應(yīng)圖的方法進(jìn)行圖像匹配，利用公式(1)來計算模板圖像和制造現(xiàn)場圖像之間的匹配相似度：

其中ori(T,r)表示模板圖像位置r的梯度方向的弧度，同樣地，ori(I,c+r)表示制造現(xiàn)場圖像位置r移動了c個位置的梯度方向的弧度，P表示模板圖像所有特征的位置。

在圖像匹配的過程中，遍歷模板圖像集I，利用公式(1)來獲得匹配相似度集{εi}，并求得最大相似度設(shè)定一個匹配閾值λ，如果最大相似度小于匹配閾值，則不存在匹配，其原因包括用戶離開了場景或者攝像機離模型太遠(yuǎn)，這樣就需要重新獲取圖像。當(dāng)最大相似度大于或等于匹配閾值時，場景匹配成功，獲得最大相似度對應(yīng)的模板圖像ID，并根據(jù)匹配結(jié)果求得轉(zhuǎn)換矩陣M。

3.2 產(chǎn)品質(zhì)量信息傳遞過程

利用匹配階段獲得的最相似圖像ID，根據(jù)模板圖像和制造特征之間的關(guān)聯(lián)關(guān)系P(H)與制造特征和產(chǎn)品質(zhì)量信息之間的關(guān)聯(lián)關(guān)系S(H)，可從離線階段構(gòu)建的外部數(shù)據(jù)庫中讀取3D模型、產(chǎn)品質(zhì)量信息等數(shù)據(jù)。因此，產(chǎn)品質(zhì)量信息的傳遞過程可以表示為：

其中，{Hq}表示模板圖像ID所關(guān)聯(lián)的制造特征集合，q表示關(guān)聯(lián)的制造特征個數(shù)，PMI表示q個制造特征關(guān)聯(lián)的產(chǎn)品質(zhì)量信息。

3.3 虛實融合

增強現(xiàn)實系統(tǒng)的注冊過程是確定虛擬物體在真實場景中的正確位置的過程。首先需要知道攝像機與真實場景之間的位置關(guān)系，包括二者之間的相對位置和方向；然后根據(jù)此關(guān)系確定虛擬信息在真實世界中準(zhǔn)確的位置和方向；最后完成三維注冊。攝像機與真實場景之間的位置關(guān)系通過坐標(biāo)變換來描述，即攝像機坐標(biāo)系和世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。具體如公式(2)。

其中，TlC為產(chǎn)品質(zhì)量信息在攝像機坐標(biāo)系下的坐標(biāo)，TlW為產(chǎn)品質(zhì)量信息在世界坐標(biāo)系下的坐標(biāo)；M是4×4矩陣，為世界坐標(biāo)系到攝像機坐標(biāo)系的位姿轉(zhuǎn)換矩陣；R是3×3旋轉(zhuǎn)矩陣，表示攝像機在世界坐標(biāo)系下的方向；t是3×1的平移矩陣，表示攝像機在世界坐標(biāo)系下的位置。

4 實驗結(jié)果與分析

首先采集零件在各自場景中不同視角下的圖像集。圖像分辨率都是640×480，渲染的虛擬模型和零件的產(chǎn)品質(zhì)量信息采用商業(yè)CAD軟件完成，導(dǎo)出的三維模型的格式統(tǒng)一為OBJ格式。實驗參數(shù)設(shè)置為相機和零件的距離d是150mm～170mm；經(jīng)度φ是 0°～350°；緯度 φ 是 40°～80°；距離的間隔設(shè)置成10mm；經(jīng)度和緯度的間隔設(shè)置成10度。φ

圖3顯示了在四個不同的視角下，目標(biāo)零件處于復(fù)雜環(huán)境下尺寸信息疊加的效果，表明了在復(fù)雜環(huán)境下，依然能夠?qū)崿F(xiàn)產(chǎn)品質(zhì)量信息的準(zhǔn)確傳遞。圖3中同樣顯示了當(dāng)用手遮擋了目標(biāo)零件的一部分邊緣時，依然能夠準(zhǔn)確完成產(chǎn)品質(zhì)量信息的傳遞，說明系統(tǒng)具有良好的魯棒性。

圖3 零件不同視角下的跟蹤效果

圖3中(a)、(b)、(c)和(d)的左邊為整體的跟蹤注冊效果，確保是正確的疊加；然后隱藏虛擬模型，如圖3中(a)、(b)、(c)和(d)的右邊所示，實現(xiàn)顯示尺寸疊加效果。從圖中可以看出尺寸信息能夠正確疊加到目標(biāo)零件上，并且看起來非常直觀、清晰。

5 結(jié)束語

為實現(xiàn)一種面向制造現(xiàn)場的PMI傳遞方法,以制造特征為載體提取三維CAD模型的PMI,采集待測模型的模板圖像集，構(gòu)建了模板圖像與制造特征之間的關(guān)聯(lián)關(guān)系，并與實時獲取的場景圖像匹配。匹配成功后，根據(jù)建立的外部數(shù)據(jù)庫，實現(xiàn)了產(chǎn)品質(zhì)量信息的注冊。該方法適用于無紋理的零件，算法的魯棒性良好，可有效解決操作人員在實際產(chǎn)品檢測過程中效率低下的問題，滿足企業(yè)的應(yīng)用需求。