面向復(fù)雜加工裝備的功能聚合與作業(yè)手勢交互設(shè)計(jì)

張富強(qiáng)，曾夏，白筠妍，趙睿英

面向復(fù)雜加工裝備的功能聚合與作業(yè)手勢交互設(shè)計(jì)

張富強(qiáng)a,b，曾夏a,b，白筠妍a,b，趙睿英a

（長安大學(xué) a.道路施工技術(shù)與裝備教育部重點(diǎn)實(shí)驗(yàn)室 b.智能制造系統(tǒng)研究所，西安 710064）

為了解決當(dāng)前復(fù)雜加工裝備人機(jī)交互過程中存在手勢和功能映射模糊、缺少規(guī)范等問題，研究將人機(jī)交互技術(shù)賦能復(fù)雜加工裝備的智能化升級(jí)。首先，采用譜系聚類法進(jìn)行復(fù)雜加工裝備的人機(jī)交互功能聚合，為手勢映射提供基礎(chǔ)；其次，基于手勢交互定義原則對作業(yè)手勢進(jìn)行規(guī)范性定義，完成手勢庫的設(shè)計(jì)；最后，根據(jù)作業(yè)場景進(jìn)行調(diào)整并完成人機(jī)交互功能與作業(yè)手勢的映射。通過聚類將40個(gè)子功能元聚合為16個(gè)二級(jí)功能和4個(gè)一級(jí)功能，依據(jù)手勢定義規(guī)則設(shè)計(jì)出一套動(dòng)、靜態(tài)結(jié)合的混合手勢庫，實(shí)現(xiàn)了人機(jī)交互功能映射。該研究為交互服務(wù)識(shí)別與計(jì)算提供基礎(chǔ)的理論支持，可方便、自然地對復(fù)雜加工裝備進(jìn)行遠(yuǎn)程操作與監(jiān)控。

復(fù)雜加工裝備；功能聚合；作業(yè)手勢定義；交互合計(jì)

工業(yè)5.0的提出及人工智能、虛擬現(xiàn)實(shí)、物聯(lián)網(wǎng)等新興技術(shù)快速發(fā)展，人本智造成為現(xiàn)代信息技術(shù)和先進(jìn)制造業(yè)深度融合的焦點(diǎn)，更加強(qiáng)調(diào)以人為本的生產(chǎn)環(huán)境[1-2]。周濟(jì)院士提到，面向新一代智能制造的人–信息–物理系統(tǒng)2.0（HCPS2.0）的關(guān)鍵核心技術(shù)包括人機(jī)協(xié)同與人機(jī)交互技術(shù)[3]。因此，面向復(fù)雜加工裝備的數(shù)字化、網(wǎng)絡(luò)化和智能化演變與發(fā)展需求，人機(jī)交互技術(shù)賦能復(fù)雜加工裝備的智能化升級(jí)是當(dāng)前的研究熱點(diǎn)問題之一，將人們的使用意圖轉(zhuǎn)換為機(jī)器可以理解并執(zhí)行具體操作的信息輸入，從而配合完成人們的需求?，F(xiàn)有人機(jī)交互過程缺乏針對性，對復(fù)雜加工裝備運(yùn)行過程中的各類功能分類不明晰，從而導(dǎo)致了手勢交互定義與交互功能無法形成規(guī)范的映射關(guān)系，使人機(jī)交互的流暢性和效率受到一定的影響。

當(dāng)前，國內(nèi)外關(guān)于復(fù)雜加工裝備的人機(jī)交互功能聚類的直接文獻(xiàn)較少，而復(fù)雜加工裝備的模塊化功能分析可為人機(jī)交互設(shè)計(jì)提供指導(dǎo)參考。產(chǎn)品模塊化設(shè)計(jì)是將產(chǎn)品根據(jù)特定規(guī)則分解成多個(gè)功能模塊，接著按照實(shí)際需求對分解完成的功能模塊進(jìn)行下一步應(yīng)用，從而再迅速達(dá)到應(yīng)用領(lǐng)域的目標(biāo)要求[4-5]，如功能模塊到結(jié)構(gòu)模塊的映射應(yīng)用，可以快速構(gòu)建出產(chǎn)品模型；功能模塊到人機(jī)交互模塊的映射，可以為人機(jī)交互的方式提供新思路。例如：Li等[6]基于模糊聚類分析對數(shù)控機(jī)床的模塊進(jìn)行劃分，并以Matlab為運(yùn)行環(huán)境，形成了數(shù)控機(jī)床的動(dòng)態(tài)聚類圖。董慶偉等[7]基于產(chǎn)品設(shè)計(jì)結(jié)構(gòu)理論對淬火機(jī)床功能部件進(jìn)行分析，采用聚類分析法完成模塊劃分。高羨明等[8]提出了基于譜系聚類的模塊劃分方法，對數(shù)控機(jī)床完成模塊劃分并對其功能模塊和結(jié)構(gòu)模塊進(jìn)行關(guān)系映射。王鵬家等[9]結(jié)合層次分析法和譜系聚類法對數(shù)控機(jī)床進(jìn)行模塊化分析，采用VB編程語言和Matlab軟件開發(fā)出一套輔助模塊劃分系統(tǒng)并證明其通用性及實(shí)用性。張海燕等[10]在變雙曲圓弧齒線圓柱齒輪的專用機(jī)床模塊化設(shè)計(jì)過程中，提出結(jié)合間隙統(tǒng)計(jì)和自組織神經(jīng)網(wǎng)絡(luò)映射的方法對其進(jìn)行聚類研究。

綜上所述，目前的模塊劃分方法大多是自下向上、基于底層子功能元的聚類方法，然而對結(jié)構(gòu)和功能復(fù)雜、功能元數(shù)量眾多的設(shè)備進(jìn)行模塊劃分時(shí)，上述方法存在處理過程復(fù)雜和計(jì)算量龐大等問題，人為進(jìn)行的相關(guān)度分析導(dǎo)致結(jié)果主觀因素占據(jù)過多，從而會(huì)造成結(jié)果存在差異。因此，對復(fù)雜加工裝備進(jìn)行模塊化分析，采用層次分析法進(jìn)行聚合，可以實(shí)現(xiàn)相關(guān)度分析客觀化、計(jì)算過程自動(dòng)化。

1 面向復(fù)雜加工裝備手勢交互的實(shí)現(xiàn)流程

手勢交互作為一種結(jié)合先進(jìn)感知技術(shù)和計(jì)算機(jī)模式識(shí)別技術(shù)的新型交互方式，為實(shí)現(xiàn)人機(jī)交互的高效自然性提供了良好的選擇。以復(fù)雜加工裝備為研究對象，進(jìn)行手勢識(shí)別交互設(shè)計(jì)。首先需要對復(fù)雜加工裝備的功能進(jìn)行分解；其次根據(jù)不同的功能對交互手勢庫進(jìn)行設(shè)計(jì)；最后對交互功能與作業(yè)手勢進(jìn)行映射，實(shí)現(xiàn)手勢與功能之間高質(zhì)量、不混淆對應(yīng)。整體的實(shí)現(xiàn)流程如圖1所示，其分為兩大塊，分別為復(fù)雜加工裝備的功能分解和手勢交互設(shè)計(jì)。在功能聚類層面，采用譜系聚類法對復(fù)雜加工裝備進(jìn)行模塊化的分析，其中選用層次分析法確定各功能元屬性之間的權(quán)重，從而構(gòu)造距離矩陣，得到劃分結(jié)果；在手勢交互設(shè)計(jì)層面，根據(jù)手勢定義規(guī)范對手勢庫進(jìn)行設(shè)計(jì)，設(shè)計(jì)過程基于手勢易于學(xué)習(xí)、安全有效、符合習(xí)慣、有包容性、交互反饋、系統(tǒng)引導(dǎo)性等特點(diǎn)。

圖1 整體實(shí)現(xiàn)流程

2 復(fù)雜加工裝備作業(yè)功能元的聚合方法

譜系聚類算法采用降維技術(shù)，更適用于高維數(shù)據(jù)聚類。由于復(fù)雜加工裝備功能豐富、類別多樣，使用譜聚類算法對其進(jìn)行分析是合適的選擇。同時(shí)，譜系聚類法可以計(jì)算出功能元素之間的相關(guān)矩陣，因此對解決復(fù)雜加工裝備的功能聚類問題非常有效。面向復(fù)雜加工裝備的功能模塊劃分方法流程，見圖2。

圖2 復(fù)雜加工裝備的功能模塊劃分流程

2.1 基于譜系聚類法的功能元聚合

譜系聚類法是一種基于層次結(jié)構(gòu)的聚類方法[11-12]。首先將復(fù)雜加工裝備的功能元分解出來；其次計(jì)算各功能元之間的距離，將距離最相近（即最相似）的聚合成一個(gè)小功能類；再將聚合的小功能類按其之間的相似性進(jìn)行再聚合；最后隨著各功能類之間相似性的逐漸減小，得到按相似性大小不同而聚合起來的一個(gè)譜系圖，聚合步驟包括：對復(fù)雜加工裝備的所有子功能進(jìn)行分解，形成獨(dú)立的子功能元；計(jì)算各個(gè)子功能元之間的相關(guān)性（通過層次分析法確定各相關(guān)準(zhǔn)則指標(biāo)的權(quán)重，從而計(jì)算出功能元之間的相關(guān)度）；計(jì)算各個(gè)功能元之間的相關(guān)矩陣和距離矩陣，對功能元進(jìn)行聚合得到譜系聚類圖，最終確定功能分類模塊。

2.2 基于層次分析法的權(quán)值計(jì)算

層次分析法通過專家等經(jīng)驗(yàn)來判斷各項(xiàng)準(zhǔn)則指標(biāo)的重要程度并且進(jìn)行量化，確定各個(gè)準(zhǔn)則指標(biāo)的權(quán)重系數(shù)。首先通過對復(fù)雜加工裝備的各個(gè)功能元相關(guān)性準(zhǔn)則指標(biāo)的重要性進(jìn)行比較和判斷，得到判斷矩陣；其次計(jì)算判斷矩陣的特征向量，并根據(jù)特征向量得到各個(gè)評價(jià)指標(biāo)的權(quán)重值；最后對判斷矩陣進(jìn)行一致性檢驗(yàn)，若其滿足一致性要求，則可視為合理的，反之則需對判斷矩陣進(jìn)行相應(yīng)修正，以確保得到合理的權(quán)重。具體的權(quán)重求解過程如下。

2.2.1 確定判斷矩陣

對每個(gè)層次中的因素，建立一個(gè)判斷矩陣，該矩陣描述了每個(gè)因素對其他因素的重要性和影響力，通常采用一定的評分標(biāo)準(zhǔn)進(jìn)行評價(jià)，其重要程度見表1。

表1 重要程度標(biāo)度

Tab.1 Scale of importance

且應(yīng)符合以下性質(zhì)：

2.2.2 計(jì)算權(quán)重向量與求解一致性

2）對一致性指標(biāo)進(jìn)行求解，計(jì)算公式如下：

3）檢驗(yàn)對應(yīng)的平均隨機(jī)一致性指標(biāo)。

取值見表2。

表2取值

Tab.2 Values of RI

4）計(jì)算出一致性比率值，進(jìn)而得到判斷矩陣是否需要進(jìn)行修正，計(jì)算公式如下：

2.3 相關(guān)矩陣和距離矩陣的計(jì)算

得到功能元之間的相關(guān)度后，計(jì)算相關(guān)矩陣和距離矩陣，相關(guān)矩陣表示如下：

相關(guān)矩陣與距離矩陣的轉(zhuǎn)換關(guān)系計(jì)算公式如下：

距離矩陣表示如下：

3 基于映射規(guī)則的作業(yè)手勢定義

3.1 作業(yè)手勢的定義和分類

手勢通過手指、手掌、手腕、手臂等部位的運(yùn)動(dòng)軌跡和具體形態(tài)來實(shí)現(xiàn)。根據(jù)手勢的運(yùn)動(dòng)特點(diǎn)，手勢可以分為靜態(tài)手勢和動(dòng)態(tài)手勢兩大類，見圖3。靜態(tài)手勢主要通過手部外形與輪廓形狀的不同來傳遞信息。動(dòng)態(tài)手勢是指在一定時(shí)間內(nèi)，手部的姿勢和位置產(chǎn)生位移變化。動(dòng)態(tài)手勢一般可以分為準(zhǔn)備、開始、執(zhí)行、結(jié)束、收回五個(gè)階段[13-14]。根據(jù)動(dòng)靜態(tài)手勢各自的特點(diǎn)，對應(yīng)所需實(shí)現(xiàn)的功能采用動(dòng)、靜態(tài)手勢結(jié)合的方式進(jìn)行作業(yè)手勢定義。

圖3 根據(jù)運(yùn)動(dòng)特點(diǎn)的手勢分類

Fig.3 Gesture classification based on motion characteristics

3.2 基于映射規(guī)則的作業(yè)手勢定義

在面向復(fù)雜加工裝備的手勢交互過程中，基于手勢設(shè)計(jì)的映射是將作業(yè)手勢與人機(jī)交互功能相關(guān)聯(lián)，在進(jìn)行兩者間的映射之前需要對作業(yè)手勢進(jìn)行定義[15]?？紤]到在復(fù)雜加工裝備實(shí)際工作中的結(jié)構(gòu)、功能、操作流程等多個(gè)方面，為確保交互設(shè)計(jì)的高效性、可靠性與安全性，參照Nielsen[16]的交互設(shè)計(jì)原則，可將復(fù)雜加工裝備手勢交互設(shè)計(jì)原則總結(jié)歸納為以下四項(xiàng)。

1）操作保證安全可靠，不會(huì)因誤操作等導(dǎo)致設(shè)備損壞或用戶受傷。手勢交互在設(shè)計(jì)和實(shí)現(xiàn)過程中應(yīng)該考慮到安全可靠性因素，比如允許手勢較大程度地模糊操作，對手勢交互系統(tǒng)進(jìn)行全面的風(fēng)險(xiǎn)評估與安全測試，確保其在各種情況下都能夠保持安全可靠性。

2）簡潔且易于學(xué)習(xí)。手勢交互設(shè)計(jì)應(yīng)簡潔明了、易于理解，以減少操作人員的學(xué)習(xí)和認(rèn)知負(fù)擔(dān)，確保操作人員可以輕松地理解和適應(yīng)手勢交互功能，從而提高交互效率和易用性。

3）具有用戶包容性。不同操作人員在交互過程中允許存在差異性，比如手掌形態(tài)和粗細(xì)等的差異性，這種差異不影響整體的交互行為。

4）動(dòng)作的差異性與連貫性。不同的交互行為的手勢設(shè)計(jì)要清楚區(qū)分，避免交互過程中互相影響和誤操作。同時(shí)手勢動(dòng)作具有連貫性，更加符合人體行為習(xí)慣。因此，復(fù)雜加工裝備在進(jìn)行手勢交互的過程中，應(yīng)該依照以上規(guī)則進(jìn)行手勢庫的設(shè)計(jì)，完成基于映射規(guī)則的作業(yè)手勢定義。

4 案例分析

4.1 復(fù)雜加工裝備交互功能分析

通過文獻(xiàn)調(diào)研得出操作人員與復(fù)雜加工裝備之間可用手勢進(jìn)行交互的功能匯總，為了完成后續(xù)功能的聚類，將人機(jī)交互功能進(jìn)行一級(jí)功能、二級(jí)功能和三級(jí)功能分解。分為視圖功能、加工功能、附屬功能、輔助功能4個(gè)一級(jí)功能，然后繼續(xù)進(jìn)行二級(jí)功能和三級(jí)功能分解，一級(jí)功能分解如圖4所示，二級(jí)和三級(jí)部分功能展示見圖5—6。

得到操作人員與復(fù)雜加工裝備的手勢交互的子功能元后，為了方便后續(xù)功能聚類的描述，對三級(jí)功能的各個(gè)功能元進(jìn)行編號(hào)，見表3。

圖4 一級(jí)功能分解

Fig.4 Decomposition of primary functions

圖5 部分二級(jí)功能分解

Fig.5 Decomposition of some secondary functions

圖6 部分三級(jí)功能展示

4.2 層次分析法的權(quán)重計(jì)算

為了計(jì)算出各個(gè)功能元之間的相關(guān)度，從而得到相關(guān)矩陣和距離矩陣，然后完成功能元的聚類，首先需要對相關(guān)的準(zhǔn)則指標(biāo)進(jìn)行權(quán)重計(jì)算。在對功能元進(jìn)行聚合時(shí)，著重要綜合考慮功能元之間的相關(guān)準(zhǔn)則指標(biāo)，其中包括功能、空間、動(dòng)力、信息、工藝五項(xiàng)準(zhǔn)則指標(biāo)。因此，如表1所示，此處選用層次分析法來構(gòu)造判斷矩陣，計(jì)算出功能相關(guān)度的各個(gè)權(quán)重。根據(jù)各項(xiàng)準(zhǔn)則指標(biāo)之間的重要性兩兩進(jìn)行比較與判斷，通過比較結(jié)果得到判斷矩陣。

根據(jù)計(jì)算可以得到不同屬性的權(quán)重值，各類屬性權(quán)重分布見圖7。

表3 三級(jí)功能元編號(hào)

Tab.3 Tertiary function element number

圖7 各類屬性權(quán)重分布

Fig.7 Weight distribution of various attributes

進(jìn)一步計(jì)算可以得到判斷矩陣的最大特征根：

計(jì)算一致性指標(biāo)=0.038 575，結(jié)合表2中的數(shù)據(jù)計(jì)算出=0.034<0.1，數(shù)據(jù)表明該判斷矩陣通過一致性檢驗(yàn)。

4.3 功能元譜系聚類及手勢定義

圖8 功能元的譜系聚類圖

Fig.8 Pedigree clustering diagram of function element

圖9 人機(jī)交互功能匯總

Fig.9 Summary of human-machine interaction functions

在此基礎(chǔ)上遵循手勢設(shè)計(jì)原則，考慮到手勢的易學(xué)習(xí)性和易操作性，基于人工交互功能到手勢之間的作業(yè)映射關(guān)系，設(shè)計(jì)出一套適用于復(fù)雜加工裝備的混合手勢操作實(shí)現(xiàn)人機(jī)交互，其中包含靜態(tài)手勢、動(dòng)態(tài)手勢、單手操作及雙手同時(shí)操作的手勢模型，見表4。

表4 功能到手勢映射

Tab.4 Mapping from function to gesture

表4是結(jié)合人機(jī)交互功能的聚合分類和手勢定義的準(zhǔn)則，并根據(jù)實(shí)際應(yīng)用的便利性進(jìn)行調(diào)整，完成兩者間的映射。面向?qū)ο笫菑?fù)雜加工裝備的孿生系統(tǒng)，包括人機(jī)交互界面的手勢交互和對孿生模型的交互控制。比如進(jìn)入界面后顯示4個(gè)一級(jí)功能，Hand_one、Hand_two、Hand_three、Hand_four分別對應(yīng)這4個(gè)一級(jí)功能選項(xiàng)并進(jìn)入到相應(yīng)界面，進(jìn)入到輔助界面后繼續(xù)通過Hand_one、Hand_two、Hand_three可以查看冷卻系統(tǒng)、清洗系統(tǒng)和潤滑系統(tǒng)。其他手勢定義與功能的映射交互與其類似。

5 結(jié)語

針對復(fù)雜加工裝備的人機(jī)交互規(guī)范程度低的問題，設(shè)計(jì)了交互功能模塊劃分的方案，提出采用譜系聚類法聚合并用層次分析法確定功能、空間、動(dòng)力、信息、工藝等準(zhǔn)則的相關(guān)權(quán)重，完成復(fù)雜加工裝備的人機(jī)交互功能聚合，將40個(gè)子功能元聚合為16個(gè)二級(jí)功能和4個(gè)一級(jí)功能。隨后選用作業(yè)手勢為人機(jī)交互的方式，完成對作業(yè)手勢的定義和與交互功能的逐一映射，其聚類結(jié)果可以全面地反映復(fù)雜加工裝備功能及其對應(yīng)手勢的關(guān)聯(lián)關(guān)系，提升了人機(jī)交互的規(guī)范性與針對性，為復(fù)雜加工裝備與新一代人機(jī)交互方式融合提供了基礎(chǔ)。下一步的研究工作，通過采用問卷調(diào)查方式來對作業(yè)操作功能和手勢的映射結(jié)果合理性進(jìn)行評價(jià)。

[1] 姚錫凡, 馬南峰, 張存吉, 等. 以人為本的智能制造：演進(jìn)與展望[J]. 機(jī)械工程學(xué)報(bào), 2022, 58(18): 2-15.YAO Xi-fan, MA Nan-feng, ZHANG Cun-ji, et al. Human-Centric Smart Manufacturing: Evolution and Outlook[J]. Journal of Mechanical Engineering, 2022, 58(18): 2-15.

[2] 孫效華, 張義文, 秦覺曉, 等. 人機(jī)智能協(xié)同研究綜述[J]. 包裝工程, 2020, 41(18): 1-11. SUN Xiao-hua, ZHANG Yi-wen, QIN Jue-xiao, et al. Review on Human-Intelligent System Collaboration[J]. Packaging Engineering, 2020, 41(18): 1-11.

[3] ZHOU Ji, ZHOU Yan-hong, WANG Bai-cun, et al. Human-Cyber-Physical Systems (HCPSS) in the Context of New-Generation Intelligent Manufacturing[J]. Engineering, 2019, 5(4): 624-636.

[4] ZHANG Hai-yan, HOU Li, LIANG Shuang, et al. Modular Configuration Design of a Special Machine Tool for Variable Hyperbolic Circular-Arc-Tooth-Trace Cylindricalgears[J]. Mechanical Sciences, 2022, 13(1): 55-65.

[5] YANG Mei, XIA Yi-min, JIA Lian-hui, et al. A Modular Design Method Based on TRIZ and AD and Its Application to Cutter Changing Robot[J]. Advances in Mechanical Engineering, 2021, 13(7): 1-18.

[6] LI Fei, LI Xu-dong, XIE Hua-long. Modular Design Research of Computer Numerical Control Machine Tools Oriented to Customer Requirements[J]. Advances in Mechanical Engineering, 2020, 12(4): 1-18.

[7] 董慶偉, 韓芳潔, 周群起, 等. 淬火機(jī)床的模塊化設(shè)計(jì)應(yīng)用研究[J]. 機(jī)床與液壓, 2021, 49(7): 62-66. DONG Qing-wei, HAN Fang-jie, ZHOU Qun-qi, et al. Modular Design and Application Research for Quenching Machine Tool[J]. Machine Tool & Hydraulics, 2021, 49(7): 62-66.

[8] 高羨明, 洪軍, 劉瑞萍, 等. 多準(zhǔn)則數(shù)控機(jī)床模塊譜系聚類的劃分方法研究[J]. 西安交通大學(xué)學(xué)報(bào), 2011, 45(5): 131-136. GAO Xian-ming, HONG Jun, LIU Rui-ping, et al. Numerical Control Machine Tool Module Partition with Multi-Criteria Pedigree Clustering Method[J]. Journal of Xi'an Jiaotong University, 2011, 45(5): 131-136.

[9] 王鵬家, 鞏亞東, 劉永賢, 等. 基于譜系聚類的數(shù)控機(jī)床模塊劃分系統(tǒng)[J]. 東北大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, 35(5): 739-742.WANG Peng-jia, GONG Ya-dong, LIU Yong-xian, et al. Module Division System of CNC Machine Tools Based on Hierarchical Clustering[J]. Journal of Northeastern University (Natural Science), 2014, 35(5): 739-742.

[10] 張海燕, 侯力, 羅嵐, 等. 變雙曲圓弧齒線圓柱齒輪專用機(jī)床的模塊化設(shè)計(jì)[J]. 機(jī)械工程學(xué)報(bào), 2021, 57(3): 77-86. ZHANG Hai-yan, HOU Li, LUO Lan, et al. Modular Design for Machine Tools of Variable Hyperbolic Circular-Arc-Tooth-Trace Cylindrical Gear[J]. Journal of Mechanical Engineering, 2021, 57(3): 77-86.

[11] RAN Xing-cheng, XI Yue, LU Yong-gang, et al. Comprehensive Survey on Hierarchical Clustering Algorithms and the Recent Developments[J]. Artificial Intelligence Review, 2022: 1-46.

[12] MUNSHI A. A Survey of Advances in Hierarchical Clustering Algorithms and Applications[J]. International Journal of Computer Science and Network Security, 2022, 22 (5): 17-24.

[13] 張維, 林澤一, 程堅(jiān), 等. 動(dòng)態(tài)手勢理解與交互綜述[J]. 軟件學(xué)報(bào), 2021, 32(10): 3051-3067. ZHANG Wei, LIN Ze-yi, CHENG Jian, et al. Survey of Dynamic Hand Gesture Understanding and Interaction[J]. Journal of Software, 2021, 32(10): 3051-3067.

[14] OLIVAS-PADILLA B E, GLUSHKOVA A, MANITSARIS S. Motion Capture Benchmark of Real Industrial Tasks and Traditional Crafts for Human Movement Analysis[J]. IEEE Access, 2023, 11: 40075-40092.

[15] WANG Bai-cun, ZHENG Pai, YIN Yue, et al. Toward Human-Centric Smart Manufacturing: A Human-Cyber- Physical Systems (HCPS) Perspective[J]. Journal of Manufacturing Systems, 2022, 63: 471-490.

Interaction Design of Function Aggregation and Operation Gesture for Complex Machining Equipment

ZHANG Fu-qianga,b, ZENG Xiaa,b, BAI Jun-yana,b, ZHAO Rui-yinga

(a. Key Laboratory of Road Construction Technology and Equipment of MOE b. Institute of Smart Manufacturing Systems Engineering, Chang'an University, Xi'an 710064, China)

The work aims to empower the intelligent upgrading of complex machining equipment with human-machine interaction technology, in order to solve the problems in the human-machine interaction process of complex machining equipment, such as blurred gesture and function mapping and lack of standards. Firstly, the hierarchical clustering method was used to aggregate the human-machine interaction functions of complex machining equipment, providing a foundation for gesture mapping. Next, the definition of operation gestures was standardized based on mapping rules, and the gesture library was designed. Finally, the mapping between human-machine interaction functions and operation gestures was adjusted and completed according to the operation situation. By clustering, 40 sub-functional elements were aggregated into 16 secondary functions and 4 primary functions, and a set of dynamic and static hybrid gesture library was designed based on gesture definition rules. This study provides basic theoretical support for interactive service recognition and computation, and can realize the convenient, natural and remote operation and monitoring of complex machining equipment.

complex machining equipment; function aggregation; operation gesture definition; interaction design

TH 165；TB472

A

1001-3563(2023)12-0060-08

10.19554/j.cnki.1001-3563.2023.12.006

2023–01–07

國家重點(diǎn)研發(fā)計(jì)劃（2021YFB3301702）；陜西省科技重大專項(xiàng)（2018zdzx01-01-01）

張富強(qiáng)（1984—），男，博士，副教授，主要研究方向?yàn)槊嫦蛉藱C(jī)交互的智能制造。

趙睿英（1985—），女，博士，副教授，主要研究方向?yàn)楣I(yè)機(jī)器人控制。

責(zé)任編輯：陳作