泛在環(huán)境下的協(xié)同設計技術研究及應用

魏威 王慶秀 劉冰 邊靜*

（1.山東山大華天軟件有限公司 山東省濟南市 250101）

（2.山東華天智能設計與數(shù)字化制造技術創(chuàng)新中心有限公司 山東省濟南市 250101）

隨著智能制造的不斷推進，以互聯(lián)網(wǎng)、云計算等為代表的新一代信息科技加速與工業(yè)軟件相互融合，研發(fā)設計系統(tǒng)在軟件架構和應用層面都在不斷衍變。其中，應用層面從C/S 應用逐步轉變?yōu)锽/S 及移動端應用，泛在環(huán)境下多用戶多終端的協(xié)同設計也變得尤為重要。

現(xiàn)代制造業(yè)存在分工更細致，質量體系更全面，交互頻率更高的特點。對于CAD 模型的設計往往需要進行大量的設計和評審討論，但傳統(tǒng)的會議模式受限于時間和地域條件，會出現(xiàn)評審成本高昂、評審過程復雜、交互不及時的問題；而網(wǎng)絡會議模式，使用三維CAD軟件進行演示，解決了時間和地域的限制，但往往是主持人演示，其他人員只能接受，參與感不強，使會議交流不順暢，評審質量較低。國內外學者圍繞協(xié)同設計的諸多問題進行了研究[1]，目前在一些深層次的技術問題上還有待深入研究。針對產品在線設計過程中的多終端高效瀏覽及實時協(xié)同評審的問題，本文提出了一種適用于多終端高效瀏覽與協(xié)同設計評審的系統(tǒng)，可極大地降低設計過程中的交互成本，提高交流效果，滿足用戶隨時隨地進行設計協(xié)同的需求，提升三維CAD 協(xié)同設計工作的效率。

1 泛在環(huán)境下的協(xié)同設計技術

泛在環(huán)境，是指人們可跨手機、PAD、電腦等不同終端以及Windows、安卓、蘋果等不同操作系統(tǒng)，隨時隨地進行交互交流的環(huán)境。

協(xié)同設計，是指為了完成某一設計目標，由兩個或兩個以上設計主體，通過一定的信息交換和相互協(xié)同機制，分別以不同的設計任務共同完成這一設計目標，是快速制造的重要方法和手段。目前傳統(tǒng)的協(xié)同方式中，網(wǎng)絡視頻會議系統(tǒng)對電腦的配置要求較高，同時需要安裝三維CAD 軟件，主持人演示模型時往往存在卡頓問題，每個參會人員不能即時查看自己關注的點，使評審會議不能順暢的開展，降低了設計評審的質量。針對多用戶之間三維數(shù)據(jù)交流和共享困難的問題，本文研究了泛在環(huán)境下的協(xié)同設計技術，提出了一種適用于多終端高效瀏覽與協(xié)同設計評審的系統(tǒng)。

1.1 系統(tǒng)架構

該協(xié)同設計系統(tǒng)通過研究復雜三維模型實時動態(tài)顯示及面向用戶體驗的建模過程人機交互等技術，形成集三維模型輕量化技術、三維操作協(xié)同、多種通訊方式以及多平臺技術等功能特點于一體的三維輕量可視化協(xié)同設計系統(tǒng)，支持各種主流CAD 數(shù)據(jù)的轉換，支持用戶深層次的專業(yè)開發(fā)，可滿足模型實時共享與傳遞、快速評審與交互等需求，使分布在不同地點、隸屬不同企業(yè)或部門的設計師不受地域、時間、設備的限制，隨時隨地的進行三維協(xié)同設計工作。

該協(xié)同設計系統(tǒng)主要分為三層結構，包括數(shù)據(jù)轉換層、基礎服務層、會議協(xié)同層。如圖1 所示，其中：

圖1： 協(xié)同設計架構圖

數(shù)據(jù)轉換層，主要實現(xiàn)異構CAD 數(shù)據(jù)的轉換和輕量化，并形成國產自主知識產權的輕量化格式文件(.SVLX)，用于上層的可視化瀏覽。多任務管理、配置管理、用戶管理等模塊允許同時進行多個模型的轉換，并以隊列服務的形式進行數(shù)據(jù)管理。CAD 數(shù)據(jù)轉換引擎（CAD Conver Core）、輕量化以及數(shù)據(jù)管理引擎（SVL DataManager），分別負責處理CAD 格式的解析和相關模型管理工作。

基礎服務層，主要實現(xiàn)三維可視化數(shù)據(jù)的管理和基礎功能支持。包括文檔管理、數(shù)據(jù)管理、數(shù)據(jù)安全服務、消息傳輸服務等業(yè)務功能，同時可分用戶、權限進行業(yè)務處理，并支持多樣化的選項配置。

會議協(xié)同層，主要實現(xiàn)模型的三維可視化瀏覽服務及會議協(xié)同相關服務。包括基本瀏覽、尺寸標注、批注、爆炸圖、動畫播放等模塊，并包含對于三維場景實體的顯示/隱藏、移動/復位等機制和輔助功能支持。同時，也提供了協(xié)同會議的會議管理及協(xié)同操作和音頻、視頻協(xié)同功能。

1.2 技術分析

針對產品在線設計過程中遠程設計交流成本高、交流效果差的問題，本文提出了一種適用于多終端瀏覽與協(xié)同設計評審的系統(tǒng)，滿足用戶進行在線實時設計交流的需求。該系統(tǒng)具備多終端高效瀏覽技術，為大眾用戶提供高質量高效的模型瀏覽，提高協(xié)同交互的效率；具備多終端協(xié)同評審技術，解決多用戶之間實時查看、批注模型及視頻交流等問題，為協(xié)同設計提供便捷工具。該系統(tǒng)是模型快速打開、高質量顯示、流暢瀏覽及批注、音頻、視頻交互需求于一體的輕量化協(xié)同設計系統(tǒng)，為多用戶設計交流提供軟件支撐。

1.2.1 多終端高效瀏覽技術

針對不同的三維瀏覽應用場景，研究多終端高效瀏覽技術，提供了Windows 版、國產移動操作系統(tǒng)版和Web 版產品，軟件架構圖如圖2 所示。

圖2： 多終端高效瀏覽架構

為確保在普通機器上也可以實現(xiàn)模型的快速、高效的瀏覽，該技術采取了多種性能優(yōu)化方案[2]，具體如下：

1.2.1.1 基于BVH 的場景劃分

利用BVH 表達空間結構，在轉換為BVH 樹的過程中，將邏輯的層次關系展平，顯示用的節(jié)點包含OpenGL 管理的VBO 頂點緩存, 放在一維的數(shù)組中，通過BVH 來索引。為了節(jié)省內存，幾何數(shù)據(jù)傳入顯示節(jié)點后，從場景圖中刪除。

1.2.1.2 場景剔除

利用BVH 進行視口剔除和小件剔除，可動態(tài)控制物體顯隱，減少顯卡負荷。

（1）視口剔除：視口剔除適合大場景瀏覽，在瀏覽模型局部細節(jié)時發(fā)揮作用。視口剔除將相機視錐體與BVH 結構作相交運算，可快速得到在視錐體內的物體索引，之后OpenGL 只會渲染這部分物體。

（2）小件剔除：小件剔除在相機拉遠時起作用，當物體包圍盒在屏幕上的投影小于指定像素值時，此物體不被渲染。BVH 會根據(jù)包圍盒大小對物體進行排序，從而可以快速進行小件剔除。

1.2.1.3 漸進顯示

將需要繪制的模型按照一定的策略進行劃分，放在對應的繪制隊列中，循環(huán)該隊列進行分塊繪制，在每次循環(huán)結束時獲取當前鼠標事件，捕捉到相關的事件后退出繪制隊列，對場景進行重新繪制。

1.2.1.4 優(yōu)化圖形管線

采用shader 動態(tài)管線繪制方式，改善渲染效果、提高顯示性能。將相同顏色面進行合并，不影響拾取和其它功能。

通過上述性能優(yōu)化方案，能夠滿足大裝配模型的快速打開、高質量顯示、流暢瀏覽及交互需求。

1.2.1.5 優(yōu)化移動端渲染性能

在移動操作系統(tǒng)中，對渲染引擎的業(yè)務邏輯進行優(yōu)化：

在圖形繪制階段，采用優(yōu)化的內核場景圖結構，根據(jù)不同數(shù)據(jù)模型狀態(tài)，針對性使用多線程、LOD、小件實時剔除、視景體剔除、VBO 等技術。同時使用基于移動端內核的性能測試工具來進行測試和調優(yōu)，保證繪制的效率和性能。

優(yōu)化3D 圖形顯示核心，實現(xiàn)多面片數(shù)據(jù)的讀取與顯示；支持VBO，充分利用GPU 設備性能；支持LOD，實現(xiàn)多面片數(shù)據(jù)的流暢顯示；支持小件剔除和視景體剔除技術，減少實際渲染三角面片數(shù)，提升顯示效率；提供對OpenGL ES2.0 的原生支持，最優(yōu)化使用系統(tǒng)圖形API。

1.2.1.6 兼容適配國產移動操作系統(tǒng)

通過將渲染內核針對國產操作系統(tǒng)進行交叉編譯，通過QT C++等技術移植業(yè)務層功能，并針對操作系統(tǒng)特點進行優(yōu)化改進，可實現(xiàn)在國產移動操作中運行該三維引擎，展示瀏覽三維模型。

1.2.2 多終端協(xié)同評審技術

針對上下游企業(yè)間的協(xié)同評審業(yè)務場景，研究多終端協(xié)同評審技術，研發(fā)了協(xié)同會議等協(xié)同評審功能[3]。用戶可在客戶端將三維模型處理為輕量化文件，去除模型中的關鍵設計信息，然后發(fā)起協(xié)同會議，從而進行設計評審會簽等相關工作[4]。設計評審的架構及業(yè)務流程，如圖3 所示。

圖3： 協(xié)同會議流程圖

1.2.3 命令流同步技術

針對多終端的操作協(xié)同數(shù)據(jù)同步操作，協(xié)同設計系統(tǒng)采用了命令流同步技術。通過將用戶的功能操作（如：旋轉、縮放、平移、批注、測量、爆炸、剖切等操作命令）轉換為命令流的方式，將命令流發(fā)送到服務器。服務器通過命令隊列以相應的策略組織命令流，同時保證命令的同步性。在多個用戶同時進行操作時，可保證操作按照正確的先后順序被執(zhí)行，并且同步到客戶終端，避免命令沖突和不一致的情況。

在命令隊列中，互斥鎖和多線程技術被用于確保線程安全和并發(fā)執(zhí)行命令。

首先，互斥鎖技術可避免多個線程同時修改同一個隊列?？赏ㄟ^在對隊列進行任何修改之前獲取互斥鎖，然后在修改完成后釋放鎖來實現(xiàn)。這樣，只有一個線程可以修改隊列，并且其他線程必須等待鎖被釋放后才能繼續(xù)執(zhí)行。

其次，多線程技術可用于并發(fā)執(zhí)行命令隊列中的命令?？梢允褂枚鄠€線程從隊列中獲取命令并執(zhí)行。在這種情況下，每個線程都需要獲取互斥鎖來避免多個線程同時訪問同一個隊列元素。此外，線程需要采用適當?shù)耐綑C制來確保每個命令都被正確執(zhí)行，并且不會發(fā)生競態(tài)條件或死鎖等問題。

例如，可以使用條件變量來同步線程執(zhí)行。線程可以在執(zhí)行命令之前等待條件變量，然后當隊列中有新的命令時，其他線程可以通過通知條件變量來喚醒等待的線程。這樣可以確保命令在正確的順序下被執(zhí)行，并且線程可以有效地利用多核CPU 的優(yōu)勢。

總之，命令流同步技術是協(xié)同設計中實現(xiàn)并發(fā)執(zhí)行命令的重要技術，可以提高系統(tǒng)的并發(fā)性和響應能力。

1.3 功能模塊

協(xié)同設計系統(tǒng)中具備基礎瀏覽功能、會議管理功能、多媒體會議功能和三維協(xié)同功能四大功能模塊：

1.3.1 基礎瀏覽功能

（1）基本三維操作：支持旋轉、縮放、平移操作。

（2）選擇操作：支持單選、取消選擇操作。

（3）裝配管理器：支持裝配BOM 節(jié)點的選擇，圖形區(qū)模型會高亮顯示；勾選/取消勾選BOM 節(jié)點，圖形區(qū)模型會執(zhí)行顯示/隱藏操作。

（4）復位：模型恢復到初始化顯示方位。

（5）基本視圖：支持主視圖、后視圖、左視圖、右視圖、仰視圖、俯視圖、軸測圖操作，可自由切換視圖方位。

（6）選擇移動：支持移動、旋轉和縮放零部件操作。

①移動：支持移動零部件位置，支持任意、沿平面、沿X 軸、沿Y 軸和沿Z 軸移動方式，可自定義移動距離。

②旋轉：支持旋轉零部件位置，支持任意、沿X 軸、沿Y 軸和沿Z 軸旋轉方式，可自定義旋轉角度。

③縮放：指定支持縮放零部件形狀，支持任意、沿平面、沿X 軸、沿Y 軸和沿Z 軸縮放方式，可自定義縮放長度。

（7）選擇復位：通過移動、旋轉、放大或縮小編輯操作使零部件發(fā)生位置或形狀變化，使用恢復命令使零部件恢復初始位置和大小。

（8）隱藏：可以隱藏指定零部件。

（9）批注：支持畫筆批注添加和刪除；支持手繪批注添加和刪除；支持文本批注添加、編輯和刪除；支持序號批注添加、編輯和刪除。分別以不同的形式展現(xiàn)。

（10）剖切：支持XY、YZ，XZ 剖面，可設置剖切方向，提供剖切面顯示/隱藏開關。

（11）爆炸：支持以模型中心炸開、沿X 軸方向炸開、沿Y 軸方向炸開方式，拖動調整炸開距離，可重新恢復初始位置。

（12）測量：支持尺寸和角度測量。

①尺寸測量：支持點點、點線、點面、線線、線面、面面的尺寸測量方式。

②角度測量：支持線線、線面、面面的角度測量方式。

（13）動畫：支持裝配仿真動畫的播放，可設置動畫開始播放、暫停播放、循環(huán)播放、播放速度自定義、自動漫游選項。

1.3.2 會議管理功能

（1）創(chuàng)建會議：主持人輸入會議主題和密碼（密碼可以不設置），可創(chuàng)建發(fā)起會議。

（2）加入會議：參會人員可加入已創(chuàng)建的會議，加入會議提供以下兩種方式：

①方式1：在會議列表選擇要加入的會議，加入會議；

②方式2：在會議號頁面，需輸入會議號、昵稱和密碼信息，加入會議。

（3）會議設置：可重新設置會議站點、昵稱、賬號和密碼用戶信息。

（4）退出會議：參會人員退出當前會議。

（5）會議信息：可查看會議主題、會議號、主持人和參會人員昵稱。

1.3.3 多媒體會議功能

（1）文本交流：在會議中可接收與發(fā)送文本消息，參會人員都可查看消息記錄。

（2）音頻交流：實時音頻交流，支持多人共同音頻，選中音頻按鈕即可進行語音交流。

（3）視頻交流：實現(xiàn)視頻交流，支持多人共同視頻，可設置音頻和視頻是否打開。

1.3.4 三維協(xié)同功能

（1）初始化場景：支持會議使用模型的推送、下載、打開和關閉，主持人使用模型會推送給各參會人員，讓所有參會人員的場景保持相同。

（2）操作指示：控制當前用戶對模型的操作是否進行協(xié)同。

（3）位置指示：控制是否顯示鼠標位置，可以同步顯示給其他參會人員。

（4）三維瀏覽：協(xié)同會議操作同時支持常用的三維瀏覽功能，如基本三維操作、選擇、移動、復位、視圖、批注等。

1.4 技術優(yōu)勢

該協(xié)同設計系統(tǒng)具備以下優(yōu)勢：

（1）應用三維輕量化技術，保留了原始模型的結構樹、幾何外形、顏色等重要信息，同時去除了原始模型中的關鍵設計信息，保證了模型信息的安全使用。

（2）相比于傳統(tǒng)的互聯(lián)網(wǎng)會議系統(tǒng)，三維模型交互操作的協(xié)同評審，更加直觀形象，能夠提高評審效率及質量。

（3）不受時間、地點等因素限制，用戶只要接入互聯(lián)網(wǎng)，就能以文字、語音、視頻、數(shù)據(jù)共享等多種方式即時溝通，提升三維CAD 協(xié)同設計工作的效率。

（4）該系統(tǒng)軟件安全可控，功能支持深度定制開發(fā)。

（5）減少設計師的出差次數(shù)，節(jié)省工作時間，降低差旅成本。

（6）支持多平臺應用，使用PC、移動設備均可參與協(xié)同會議討論。

2 協(xié)同設計技術在智能制造中的應用

通過協(xié)同設計系統(tǒng)進行在線用戶之間的設計分享與實時交流，支持在多終端設備上進行協(xié)同設計。下面以減速器的三維模型協(xié)同設計為例，展示多用戶通過初始化場景、文字、聲音、視頻及鼠標操作的方式進行遠程協(xié)同交流。

2.1 初始化場景

在會議中支持推送、下載、打開和關閉模型，主持人使用模型會推送給各參會人員，讓所有參會人員的場景保持相同。加入會議場景初始化前后的效果對比，如圖4 所示。

2.2 通過文字進行交流

在會議中可接收與發(fā)送文本消息，參會人員都可查看消息記錄，每個用戶發(fā)過來的信息會自動記錄。文字交流效果，如圖5 所示。

圖5： 文字交流

2.3 通過音頻進行交流

在會議中實現(xiàn)實時音頻交流，支持多人共同音頻，選中音頻按鈕，使用耳機麥克或電腦自帶音頻設備，即可進行語音交流。音頻交流效果，如圖6 所示。

圖6： 音頻交流

2.4 通過視頻進行交流

在會議中實現(xiàn)視頻交流，支持多人共同視頻，參會人員可自己設置音頻和視頻是否打開，點擊顯示框上的視頻圖標，打開后其他用戶才會看到視頻影像。視頻交流效果，如圖7 所示。

圖7： 視頻交流

2.5 通過鼠標操作進行交流

（1）操作指示：通過功能按鈕，可控制當前用戶對模型的操作是否進行協(xié)同。

①當按鈕抬起時，當前用戶對模型的操作不會同步到會議中，效果如圖8 所示。

圖8： 用戶和會議顯示狀態(tài)不同

②當按鈕按下時，當前用戶對模型的操作會同步到會議中，效果如圖9 所示。

圖9： 用戶和會議顯示狀態(tài)相同

（2）位置指示：通過功能按鈕，控制是否顯示當前用戶的鼠標位置，可以同步顯示給其他參會人員。當前用戶鼠標放置位置的前后顯示對照區(qū)別，如圖10 所示。

圖10： 顯示前后對照區(qū)別

①當按鈕抬起時，其他用戶不會看到當前用戶的鼠標放置位置；

②當按鈕按下時，其他用戶會看到當前用戶的放置位置。

3 結束語

本文通過研究協(xié)同設計技術，提出了一種適用于多終端高效瀏覽與協(xié)同設計評審的系統(tǒng)，提供多終端協(xié)同設計的實時交流工具，可極大降低設計過程中的交互成本，提高交流效果，滿足泛在環(huán)境下設計協(xié)同的需求，可廣泛應用于制造業(yè)企業(yè)，促進企業(yè)內部和產業(yè)鏈上下游協(xié)同效率提升，促進制造業(yè)提質升級。