董元發(fā) 張文厲 肖人彬 田啟華 杜 軒
1.三峽大學(xué)機(jī)械與動(dòng)力學(xué)院,宜昌,443002 2.三峽大學(xué)智能制造創(chuàng)新技術(shù)中心,宜昌,4430023.華中科技大學(xué)人工智能與自動(dòng)化學(xué)院,武漢,430074
隨著機(jī)械、電子、信息、控制等學(xué)科的不斷發(fā)展和深度融合,現(xiàn)代機(jī)器自動(dòng)化程度不斷提高,開始逐步接管傳統(tǒng)由人完成的機(jī)械運(yùn)動(dòng)與執(zhí)行、傳感與監(jiān)測、信息處理和控制等職能,“機(jī)進(jìn)人退”趨勢明顯。特別是近年來,人工智能、情感計(jì)算、多模態(tài)交互等新興技術(shù)在產(chǎn)品開發(fā)中大量應(yīng)用,機(jī)電產(chǎn)品行為日趨復(fù)雜與多元化,已逐步在環(huán)境感知、邏輯推理、自主決策、人機(jī)交互等方面表現(xiàn)出不同程度的類人智能行為(簡稱“智能交互產(chǎn)品”),人機(jī)關(guān)系也隨之由傳統(tǒng)控制和被控制的“奴仆關(guān)系”向人機(jī)共生的“伙伴關(guān)系”發(fā)展[1-2]。2019年4月,《自然》雜志發(fā)表了一篇以“Machine behaviour”為題的綜述文章[3]?!皺C(jī)器行為學(xué)”作為一門重點(diǎn)關(guān)注智能交互產(chǎn)品行為的新興學(xué)科被正式提出。
智能交互產(chǎn)品在日常生活中隨處可見,大到民航客機(jī)、高檔數(shù)控機(jī)床、智能網(wǎng)聯(lián)汽車,小至服務(wù)機(jī)器人、智能音箱、智能手機(jī)等。智能交互產(chǎn)品在給人們帶來舒適和便捷的同時(shí),也深深地影響人們的生活方式,消費(fèi)者不再僅僅滿足于產(chǎn)品功能和造型,而是希望產(chǎn)品具有更加人性化、智能化的行為過程,以獲得更高品質(zhì)的交互體驗(yàn)[4]。這一轉(zhuǎn)變使得智能交互產(chǎn)品的創(chuàng)新設(shè)計(jì)需要同時(shí)處理好人、機(jī)、環(huán)境三個(gè)子系統(tǒng)間的關(guān)系。以汽車為例,為了順應(yīng)消費(fèi)者的需求,各大車企紛紛轉(zhuǎn)戰(zhàn)研發(fā)智能汽車,將設(shè)計(jì)重點(diǎn)轉(zhuǎn)移到以智能網(wǎng)聯(lián)為核心的汽車人機(jī)交互系統(tǒng)設(shè)計(jì)創(chuàng)新上,比如特斯拉的OTA 7.1系統(tǒng)增加了遙控召喚技術(shù)和自動(dòng)泊車技術(shù);寶馬概念座艙的懸浮屏幕在自動(dòng)駕駛模式下顯示不同內(nèi)容,通過攝像頭和超聲波捕捉人手的動(dòng)作實(shí)現(xiàn)手勢控制,并在沒有實(shí)際接觸的情況下給出壓力反饋;上汽股份有限公司率先與阿里巴巴公司合作,推出全新“斑馬系統(tǒng)”;蔚來汽車發(fā)布了“NOMI”人工智能伴侶系統(tǒng),通過持續(xù)學(xué)習(xí)用戶的習(xí)慣與興趣,根據(jù)不同使用場景來滿足乘車者的個(gè)性化需求。
受限于目前智能技術(shù)自身在通用性、穩(wěn)健性、安全性等方面的不成熟[5-6],智能交互產(chǎn)品極易因在意圖表達(dá)、信息處理、決策邏輯、交互時(shí)序、動(dòng)作強(qiáng)度等方面與用戶行為模式的不匹配而產(chǎn)生“行為沖突”[7],嚴(yán)重影響用戶的體驗(yàn),甚至引發(fā)安全事故。如前兩年的特斯拉撞人事件多是由于開啟自動(dòng)駕駛輔助系統(tǒng)后駕駛員放松警惕,突發(fā)狀況時(shí)系統(tǒng)錯(cuò)誤動(dòng)作或駕駛員未能及時(shí)接管導(dǎo)致了交通事故的發(fā)生,有研究表明L3級(jí)自動(dòng)駕駛中的人機(jī)共駕模式不僅未減輕駕駛疲勞,反而增加了用戶的認(rèn)知負(fù)擔(dān);2019年印尼獅航墜機(jī)事件中,波音737 MAX自動(dòng)防失速系統(tǒng)(MCAS)在迎角探測器出現(xiàn)故障得到錯(cuò)誤信號(hào)時(shí)強(qiáng)行壓低機(jī)頭,且未給出提醒,雖然飛行員多次試圖手動(dòng)拉起機(jī)頭挽救,但因無權(quán)限關(guān)閉MCAS最終沒能避免空難的發(fā)生。以上案例固然與智能交互產(chǎn)品本身的可靠性有關(guān),但其根源在于缺乏對(duì)新型人機(jī)關(guān)系下不同智能體的行為進(jìn)行統(tǒng)一建模與集成優(yōu)化,導(dǎo)致產(chǎn)生特定環(huán)境下智能體行為沖突引起的人機(jī)環(huán)境系統(tǒng)“紊亂”現(xiàn)象。
用戶與智能交互產(chǎn)品各自受不同的行為模式和行為機(jī)理支配,其交互過程本質(zhì)上是異構(gòu)復(fù)雜系統(tǒng)之間多領(lǐng)域行為的相互激勵(lì)與非線性耦合響應(yīng)過程,而“行為沖突”則主要源于各子系統(tǒng)動(dòng)態(tài)行為特性的匹配失衡,因此,消除“行為沖突”,提高智能產(chǎn)品交互體驗(yàn)的關(guān)鍵在于根據(jù)人機(jī)環(huán)境系統(tǒng)的耦合規(guī)律對(duì)智能交互產(chǎn)品的行為特性進(jìn)行精確調(diào)控與優(yōu)化設(shè)計(jì),而調(diào)控與優(yōu)化的關(guān)鍵在于構(gòu)建人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為的可計(jì)算、可仿真模型。設(shè)計(jì)環(huán)節(jié)可賦予產(chǎn)品“先天性”質(zhì)量特性,尤其是處于產(chǎn)品設(shè)計(jì)前端的創(chuàng)新設(shè)計(jì)的好壞直接決定了產(chǎn)品的最終交互特性與體驗(yàn)的好壞。對(duì)于涉及機(jī)械、電子、控制、軟件等多領(lǐng)域行為且與用戶高度共融的智能交互產(chǎn)品,如何在概念設(shè)計(jì)階段對(duì)人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為進(jìn)行統(tǒng)一建模與仿真分析,是實(shí)現(xiàn)智能交互產(chǎn)品行為特性的前饋調(diào)控和正向優(yōu)化設(shè)計(jì)的基礎(chǔ)。
模型驅(qū)動(dòng)的系統(tǒng)設(shè)計(jì)與優(yōu)化是當(dāng)前數(shù)字化設(shè)計(jì)和工業(yè)軟件技術(shù)的研究熱點(diǎn)和制高點(diǎn)。鑒于此,本文將智能交互產(chǎn)品擴(kuò)大到人機(jī)環(huán)境一體化系統(tǒng)的視域下,力圖從表征模型、建模語言/工具、模型驗(yàn)證、行為過程優(yōu)化等方面對(duì)人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程建模與優(yōu)化方法的研究進(jìn)展?fàn)顩r給出完整系統(tǒng)的綜述,并由此對(duì)目前存在的問題和局限性進(jìn)行分析,繼而展望其今后的研究重點(diǎn)和發(fā)展趨勢。
人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程建模是在概念設(shè)計(jì)階段對(duì)人和智能交互產(chǎn)品在特定環(huán)境下的多領(lǐng)域行為過程的描述與表征,是實(shí)現(xiàn)方案驗(yàn)證和系統(tǒng)優(yōu)化的基礎(chǔ)。如圖1所示,人機(jī)環(huán)境有各自的物理基礎(chǔ),并在不同行為模式的支配下形成多領(lǐng)域交互行為過程。本文按系統(tǒng)構(gòu)成從人的行為表征模型、智能交互產(chǎn)品的功能與行為表征模型和人機(jī)環(huán)境系統(tǒng)一體化表征模型三方面進(jìn)行闡述,其中狹義的環(huán)境行為主要受物理規(guī)律支配,實(shí)際建模過程中可轉(zhuǎn)換為人或智能交互產(chǎn)品行為過程的一部分,本文暫不作討論。
圖1 人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程示意圖
人的行為往往是人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程的起點(diǎn),人的失誤將影響整個(gè)系統(tǒng)的正常運(yùn)行。張力等[8]指出,人的行為形成因子、行為影響因子、失誤形成因子是人因失誤因素辨識(shí)的關(guān)鍵點(diǎn),提出了基于符合信息空間理論的人因失誤辨識(shí)多視圖法。人是否能充分發(fā)揮自身優(yōu)勢和機(jī)器協(xié)調(diào)配合,將直接影響人機(jī)系統(tǒng)的設(shè)計(jì)好壞,許錄平等[9]建立了一種任務(wù)分工模型使人機(jī)系統(tǒng)處于最佳狀態(tài)。在人機(jī)交互系統(tǒng)中,人的生理特征和心理特性不是恒定不變的,王澤申[10]提出人機(jī)系統(tǒng)在設(shè)計(jì)時(shí)必須考慮人的動(dòng)態(tài)變化特性。人機(jī)交互系統(tǒng)的設(shè)計(jì)要與人們的視覺、聽覺、觸覺和所使用的環(huán)境相適應(yīng),胡靜等[11]指出系統(tǒng)及時(shí)連續(xù)的反饋信息能夠減少人機(jī)沖突。
用戶行為模式和智能交互產(chǎn)品行為模式的不匹配是導(dǎo)致“人機(jī)沖突”的主要原因。近年來,為了更好地設(shè)計(jì)人機(jī)一體化系統(tǒng),學(xué)者們?cè)谌说男袨榻7矫骈_展了許多研究。針對(duì)用戶的感知、決策、操縱行為模式,馮樹民等[12]基于隱馬爾科夫模型(hidden Markov model,HMM)建立了駕駛?cè)烁囆袨榈摹案兄?決策-操縱”行為模型。針對(duì)用戶的意圖行為模式,黃秋菊等[13]、MOHAMMED等[14]、LIU等[15]、GAO[16]使用腦肌電信號(hào)對(duì)用戶行為意圖進(jìn)行研究,通過分析人的心理身體狀態(tài)來預(yù)判用戶行為。MAINPRICE等[17]、LIU等[18-19]、劉庭煜等[20]、ZHANG等[21]運(yùn)用圖像處理和機(jī)器視覺的知識(shí)來對(duì)用戶行為模式進(jìn)行建模和預(yù)測。唐立軍等[22]針對(duì)操作人員和巡檢機(jī)器人的交互過程,建立了基于貝葉斯網(wǎng)絡(luò)的操作意圖推理模型。針對(duì)用戶的決策行為模式,郭海兵等[23]針對(duì)車輛換道交互行為建立分層Logit模型,并利用效用理論優(yōu)化駕駛?cè)说臎Q策效用。
此外,何思俊等[24]系統(tǒng)綜述了近年來裝備駕駛界面在視覺工效評(píng)價(jià)、操縱舒適性評(píng)價(jià)和布局合理性評(píng)價(jià)方面的國內(nèi)外研究進(jìn)展,指出未來裝備駕駛界面評(píng)價(jià)研究可以圍繞自動(dòng)駕駛界面、虛擬現(xiàn)實(shí)評(píng)價(jià)技術(shù)和情感化評(píng)價(jià)技術(shù)展開。王瑞等[25]通過對(duì)用戶行為的分析,研究了界面交互過程中的高頻次行為、界面交互方式的系統(tǒng)平均響應(yīng)時(shí)間與學(xué)習(xí)掌握時(shí)間,歸納出不同人機(jī)界面交互方式的特點(diǎn),并提出了未來智能汽車界面的設(shè)計(jì)建議。LIN等[26]指出構(gòu)建智能機(jī)器的關(guān)鍵在于人機(jī)界面設(shè)計(jì)和人機(jī)協(xié)作問題,而人的狀態(tài)和行為建模是目前最大的挑戰(zhàn)。
智能交互產(chǎn)品與普通產(chǎn)品的區(qū)別在于其功能的實(shí)現(xiàn)往往離不開人的參與,且行為過程具有高度的不確定性和環(huán)境自適應(yīng)性。在創(chuàng)新設(shè)計(jì)階段,智能交互產(chǎn)品建模主要包括功能、行為、結(jié)構(gòu)及其關(guān)聯(lián)關(guān)系,功能和行為建模是實(shí)現(xiàn)方案驗(yàn)證的重要內(nèi)容。
1.2.1功能表征模型
功能建模是用戶需求的最直觀反映,是行為建模的基礎(chǔ),能夠讓用戶和設(shè)計(jì)師進(jìn)行有效的溝通交流,從而提高產(chǎn)品設(shè)計(jì)和需求的吻合度。功能表征模型主要有輸入/輸出轉(zhuǎn)化和語言表達(dá)兩種方式。
CHEN等[27]將功能分成流、期望功能以及功能知識(shí)三部分表示,提出了一種基于物理量屬性配置的多學(xué)科能量流和信號(hào)流表示方法,以結(jié)構(gòu)化形式對(duì)多學(xué)科領(lǐng)域的功能原理解進(jìn)行了表征。YUAN等[28]利用主流和輔助流的輸入輸出狀態(tài)變量轉(zhuǎn)換以及功能效應(yīng)對(duì)功能進(jìn)行表達(dá)。LIU等[29-30]用輸入輸出流表征產(chǎn)品功能,建立了功能單元模型,采用功能單元鏈表征概念設(shè)計(jì)結(jié)果,在此基礎(chǔ)上還采用基于深度優(yōu)先搜索算法生成功能單元圖來表征概念設(shè)計(jì)結(jié)果。袁琳等[31]針對(duì)基于簡單功能動(dòng)詞和流名詞的功能表示存在的語義模糊和二義性問題,提出了一種基于流的規(guī)范化功能建模語法。劉帥等[32]采用功能流和效應(yīng)鏈表征產(chǎn)品的功能原理解。曹悅等[33]將功能分成物理功能和軟件功能,為了使二者并行設(shè)計(jì),提出了一種結(jié)合基于流的物理功能表示和基于數(shù)據(jù)/控制流圖的軟件功能表示的混合功能表示法。
1.2.2行為表征模型
行為是一種動(dòng)態(tài)的過程,它反映的是實(shí)現(xiàn)功能的方法和途徑,是結(jié)構(gòu)實(shí)現(xiàn)功能的物理特征。機(jī)電產(chǎn)品行為包括連續(xù)行為、離散行為、混合行為,行為之間包括因果關(guān)系、時(shí)序關(guān)系、回路關(guān)系和狀態(tài)關(guān)系[34]。行為建模是對(duì)智能交互產(chǎn)品的輸入輸出流轉(zhuǎn)換與變換的具體方式進(jìn)行表示。
GOEL等[35]將行為表示為一系列的狀態(tài)變量以及它們之間的轉(zhuǎn)換關(guān)系,使用確定性有限狀態(tài)機(jī)對(duì)行為進(jìn)行建模。ROY等[36]在此基礎(chǔ)上認(rèn)為行為是功能在特定時(shí)間或一段時(shí)間內(nèi)的一系列參數(shù)值,并對(duì)狀態(tài)變量、因果關(guān)系和變量參考值等進(jìn)行描述來構(gòu)建行為表達(dá)模型。劉振宇等[37]、MEJIA-GUTIERREZ等[38]以系統(tǒng)工程為基礎(chǔ),利用虛擬樣機(jī)的仿真組件模型表達(dá)產(chǎn)品機(jī)構(gòu)的動(dòng)態(tài)行為知識(shí)。陳旭玲等[39]采用行為對(duì)象、端口、變量值構(gòu)建行為知識(shí)模型。GU等[40]提出了一種定量行為知識(shí)建模方法,將行為輸入到具體結(jié)構(gòu)所需的行為效應(yīng)和行為約束等各種類型的定量設(shè)計(jì)知識(shí)集成到實(shí)例中,并將其與功能和結(jié)構(gòu)參數(shù)知識(shí)關(guān)聯(lián)在一起。
人機(jī)環(huán)境系統(tǒng)[41-43]的最大特點(diǎn)是由于人類的深度介入而導(dǎo)致人機(jī)環(huán)境系統(tǒng)的動(dòng)力學(xué)特性發(fā)生了改變[44],因此,在人機(jī)環(huán)境系統(tǒng)的一體化建模方法研究中,除了對(duì)智能交互產(chǎn)品進(jìn)行建模外,還需要著重研究人類與智能交互產(chǎn)品產(chǎn)生物理耦合部分的模型[45]。
DEGANI[46]以波音B-757為例研究了人與復(fù)雜自動(dòng)化系統(tǒng)間的交互行為,基于有限狀態(tài)機(jī)模型提出了OFAN模型,用于分析改善自動(dòng)化武器中的人機(jī)沖突問題。孟慶強(qiáng)[47]建立了人機(jī)系統(tǒng)中人的傳遞函數(shù),指出人在操縱活動(dòng)中一般只能完成“二階微分”以下的操作。BRAGINSKY等[48]采用動(dòng)態(tài)邏輯模型表征操作員的決策過程,基于擴(kuò)展Petri網(wǎng)建立了操作者和工業(yè)控制系統(tǒng)軟硬件的仿真分析模型。通過分析人機(jī)系統(tǒng)中各個(gè)行為主體間的約束關(guān)系來獲得系統(tǒng)設(shè)計(jì)需求的認(rèn)知工作分析(cognitive work analysis,CWA)是人機(jī)系統(tǒng)設(shè)計(jì)的重要研究方法,??傻萚49]對(duì)認(rèn)知工作分析理論在復(fù)雜人機(jī)系統(tǒng)設(shè)計(jì)中的應(yīng)用進(jìn)行了綜述。安冬冬[50]針對(duì)人機(jī)物融合系統(tǒng)中人和環(huán)境的不確定性問題,提出了基于樸素貝葉斯的類人類行為和基于長短期記憶(long short-term memory,LSTM)循環(huán)神經(jīng)網(wǎng)絡(luò)的環(huán)境風(fēng)險(xiǎn)預(yù)測模型,建立了時(shí)空數(shù)據(jù)驅(qū)動(dòng)和模型驅(qū)動(dòng)相結(jié)合的形式化模型。方斌等[51]系統(tǒng)地綜述了緊耦合式物理人機(jī)系統(tǒng)的交互研究進(jìn)展,并從感知架構(gòu)、學(xué)習(xí)進(jìn)化、決策和控制等方面展望了該領(lǐng)域面臨的挑戰(zhàn)。
傳統(tǒng)機(jī)電產(chǎn)品概念設(shè)計(jì)原理解中,行為建模主要是描述實(shí)現(xiàn)功能的方法和途徑,解決功能向結(jié)構(gòu)的映射問題,這樣得到的行為過程是靜態(tài)的,沒有與智能交互產(chǎn)品的使用過程結(jié)合起來。事實(shí)上,智能交互產(chǎn)品在其服役過程中根據(jù)用戶特征和環(huán)境的不同具有一定的自主性、高度的環(huán)境自適應(yīng)性,也就是說,智能交互產(chǎn)品的行為過程模型必須是動(dòng)態(tài)的,必須與“人”、“環(huán)境”結(jié)合起來,而且應(yīng)將復(fù)雜的人機(jī)環(huán)境系統(tǒng)分解成最基本的“元行為”,以方便后期從“元行為”的層次對(duì)智能交互產(chǎn)品行為特性進(jìn)行調(diào)控和優(yōu)化。
現(xiàn)有關(guān)于產(chǎn)品本身的功能和行為過程建模成果較多,而關(guān)于人的行為過程以及人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程的建模還缺乏深入的研究,具體表現(xiàn)在:①智能交互產(chǎn)品在不同環(huán)境下和人的交互行為過程中具有一定的自主性、高度的環(huán)境自適應(yīng)性和不確定性,而現(xiàn)有研究主要以確定性行為過程為主,缺乏對(duì)不確定行為過程的建模與表征;②智能交互產(chǎn)品的用戶體驗(yàn)與用戶和使用情境高度相關(guān),而現(xiàn)有研究較少將三者的多領(lǐng)域交互行為過程納入統(tǒng)一的建??蚣?,導(dǎo)致后續(xù)難以對(duì)人機(jī)環(huán)境系統(tǒng)進(jìn)行集成優(yōu)化。
人機(jī)環(huán)境系統(tǒng)中涉及人、智能交互產(chǎn)品、環(huán)境三者之間的交互以及智能交互產(chǎn)品內(nèi)部子系統(tǒng)之間的交互。對(duì)于這樣一個(gè)復(fù)雜而動(dòng)態(tài)的系統(tǒng),使用統(tǒng)一的建模語言來呈現(xiàn)智能交互產(chǎn)品的多領(lǐng)域行為過程對(duì)整個(gè)設(shè)計(jì)過程是非常關(guān)鍵的。能夠有效融合多學(xué)科領(lǐng)域的可視化建模語言主要有系統(tǒng)建模語言(systems modeling language,SysML)、鍵合圖以及Petri網(wǎng)。三種建模語言的特點(diǎn)如表1所示。
表1 三種建模語言的特點(diǎn)
SysML是在統(tǒng)一建模語言(unified modeling language,UML)基礎(chǔ)上擴(kuò)展而來的一種系統(tǒng)建模語言[52],二者都是基于模型的系統(tǒng)工程(model-based systems engineering,MBSE)的建模語言,具有面向?qū)ο蟆胄问交?、?qiáng)擴(kuò)展性三個(gè)特點(diǎn)。面向?qū)ο笫且灶惡蛯?duì)象為系統(tǒng)的基本單元,使用繼承、封裝、關(guān)聯(lián)的思想實(shí)現(xiàn)仿真模型的模塊化,這一特點(diǎn)使基于UML/SysML建立的模型具有很強(qiáng)的可重用性,減少了系統(tǒng)設(shè)計(jì)的工作量。半形式化的特點(diǎn)使UML/SysML具有融合多領(lǐng)域建模的靈活性,而自帶的擴(kuò)展機(jī)制又能將半形式化語言擴(kuò)展成形式化語言,進(jìn)而為形式化驗(yàn)證做準(zhǔn)備,提高了系統(tǒng)設(shè)計(jì)的嚴(yán)密性。
基于SysML的建模已廣泛應(yīng)用于多領(lǐng)域復(fù)雜系統(tǒng)的建模,姜俊等[53]、HECHT[54]、陳斌[55]、ARTHUR等[56]、浦樂等[57]、MUHAMMAD等[58]、王保民等[59]、張賀等[60]將基于SysML的建模應(yīng)用于軍事作戰(zhàn)、航空飛機(jī)、空中導(dǎo)彈、機(jī)動(dòng)車輛、通信衛(wèi)星等復(fù)雜系統(tǒng)。為了更好地與模型驗(yàn)證結(jié)合起來,曹悅等[61]以計(jì)算樹邏輯、流變換、混合自動(dòng)機(jī)等為形式化基礎(chǔ),建立了基于SysML的系統(tǒng)功能和行為模型。劉玉生等[62]以系統(tǒng)建模語言SysML為基礎(chǔ),提出了支持模型驅(qū)動(dòng)多域復(fù)雜產(chǎn)品多層次設(shè)計(jì)與仿真信息集成框架,建立了基于SysML擴(kuò)展的核心集成信息模型,以支持系統(tǒng)設(shè)計(jì)與仿真集成及不同層次設(shè)計(jì)過程的信息集成。CAO等[63]基于SysML提出了融合物理和控制系統(tǒng)動(dòng)態(tài)特征的統(tǒng)一行為建模語言,并將采用該建模語言表征的行為模型映射到多種系統(tǒng)仿真平臺(tái),以實(shí)現(xiàn)系統(tǒng)設(shè)計(jì)模型的自動(dòng)仿真。
鍵合圖是一種基于功率流的物理過程、便于統(tǒng)一處理多種能量范疇工程系統(tǒng)的圖形化建模語言[64],能夠在真實(shí)的物理系統(tǒng)和系統(tǒng)數(shù)學(xué)模型之間建立起橋梁,適合融合多學(xué)科領(lǐng)域的復(fù)雜系統(tǒng)的建模與仿真分析。
基于鍵合圖的建模是將所研究的對(duì)象看作能量系統(tǒng),CHHABRA等[65]結(jié)合矢量鍵合圖和方塊圖表示多學(xué)科系統(tǒng)中的能量和信息的流動(dòng)關(guān)系,并以能量、熵和敏捷性為準(zhǔn)則構(gòu)建鍵合圖模型。MESHRAM等[66]基于能量的流動(dòng)特性,采用鍵合圖方法對(duì)多能域動(dòng)態(tài)物理系統(tǒng)進(jìn)行了模型開發(fā)和分析,并驗(yàn)證了變壓器系統(tǒng)的穩(wěn)定性和性能情況。鍵合圖能夠?qū)Χ嗄苡蝰詈舷到y(tǒng)進(jìn)行描述,王中雙等[67]、王艾倫等[68]、梁崗等[69]運(yùn)用狀態(tài)方程描述各原件的物理特性、能量傳遞、輸入輸出關(guān)系,有效地分析了多能域間的耦合問題。鍵合圖能對(duì)復(fù)雜機(jī)電系統(tǒng)各原件間的相互作用和能量流動(dòng)進(jìn)行描述,為基于模型的診斷方法提供了依據(jù),郁明等[70]、王芳等[71]、MKADARA等[72]、趙佳彬等[73]基于鍵合圖對(duì)復(fù)雜機(jī)電系統(tǒng)建立了故障診斷模型。
Petri網(wǎng)是一種以信息流為主導(dǎo)對(duì)離散并行系統(tǒng)進(jìn)行直觀圖形表示的形式化方法,對(duì)動(dòng)態(tài)系統(tǒng)有很強(qiáng)的建模能力,并且可以直接搭配相應(yīng)的驗(yàn)證工具進(jìn)行模型驗(yàn)證。
ARAZ等[74]針對(duì)機(jī)電系統(tǒng)概念設(shè)計(jì)階段如何表征設(shè)計(jì)概念的問題,提出一種基于離散事件系統(tǒng)編程語言和Petri網(wǎng)的機(jī)電系統(tǒng)行為表征和仿真方法。針對(duì)多領(lǐng)域復(fù)雜系統(tǒng)間沖突難以分析和確定的問題,趙芮凱等[75]提出一種Petri網(wǎng)和TRIZ相結(jié)合的方法對(duì)復(fù)雜系統(tǒng)間的沖突進(jìn)行了全面準(zhǔn)確的確定和解決。李曄等[76]建立了一種信息物理融合系統(tǒng)體系結(jié)構(gòu)模型,該體系結(jié)構(gòu)模型利用面向?qū)ο驪etri網(wǎng)形象地、無歧義地刻畫系統(tǒng)的整體和個(gè)體特性,描述系統(tǒng)的靜態(tài)和動(dòng)態(tài)語義,同時(shí)可利用Petri網(wǎng)的數(shù)學(xué)分析方法和支持工具對(duì)系統(tǒng)進(jìn)行模擬、分析和驗(yàn)證。崔文巖等[77]建立了基于層次Petri網(wǎng)的信息物理融合系統(tǒng)安全分析模型,并給出了描述攻防博弈策略的博弈網(wǎng)模型。余嘉偉[78]為對(duì)信息物理融合系統(tǒng)(cyber-physical system,CPS)同時(shí)進(jìn)行定性、定量與能耗分析,將傳統(tǒng)Petri網(wǎng)擴(kuò)展為面向?qū)ο髲V義隨機(jī)Petri網(wǎng)與面向?qū)ο竽芎腜etri網(wǎng),并作為新的CPS形式化模型。王璇等[79]為了提高機(jī)器人的穩(wěn)定性和可靠性,采用Petri網(wǎng)模塊化(PNB)的設(shè)計(jì)方法對(duì)機(jī)器人任務(wù)執(zhí)行系統(tǒng)進(jìn)行分塊功能建模,根據(jù)各功能之間的關(guān)系,將對(duì)應(yīng)的PNB構(gòu)建成一個(gè)完整的Petri網(wǎng)任務(wù)執(zhí)行系統(tǒng),降低了Petri網(wǎng)系統(tǒng)模型的復(fù)雜程度。
SysML、鍵合圖、Petri網(wǎng)三種建模語言都具備表征智能交互產(chǎn)品確定性行為過程的能力,但對(duì)人機(jī)環(huán)境系統(tǒng)中多領(lǐng)域耦合、不確定行為過程的建模能力略顯不足。SysML是一種面向?qū)ο蟮陌胄问交Z言,具有一定的靈活性,利用其擴(kuò)展功能能夠有效地對(duì)特定產(chǎn)品進(jìn)行可重用設(shè)計(jì),便于產(chǎn)品的更新迭代,但它一般無法直接使用一種圖形來表達(dá)所有設(shè)計(jì)信息,往往需要通過幾種圖的疊加來全面反映產(chǎn)品設(shè)計(jì),這使其在轉(zhuǎn)化為形式化模型時(shí),需要考慮多種類型圖與形式化驗(yàn)證器模型之間的映射關(guān)系。鍵合圖是一種能夠統(tǒng)一處理多種能量系統(tǒng)的建模方法,微分因果關(guān)系和系統(tǒng)方程的推導(dǎo)是這種建模方式的關(guān)鍵,因此對(duì)多領(lǐng)域知識(shí)的專業(yè)素養(yǎng)能力要求較高。Petri網(wǎng)是一種對(duì)離散動(dòng)態(tài)的系統(tǒng)進(jìn)行統(tǒng)一建模的形式化語言,主要由庫所和變遷構(gòu)成,能夠很好地對(duì)離散行為進(jìn)行建模,但是對(duì)于連續(xù)行為和混合行為的設(shè)計(jì)不是最佳選擇。
從人機(jī)環(huán)境系統(tǒng)的視角對(duì)智能交互產(chǎn)品多領(lǐng)域行為過程模型進(jìn)行自動(dòng)校驗(yàn),能夠在設(shè)計(jì)早期發(fā)現(xiàn)系統(tǒng)設(shè)計(jì)缺陷,從而有效地提高系統(tǒng)設(shè)計(jì)質(zhì)量、降低系統(tǒng)開發(fā)成本。形式化驗(yàn)證和仿真驗(yàn)證都是有效的驗(yàn)證方法。
形式化方法能夠在早期發(fā)現(xiàn)系統(tǒng)中的不一致、歧義、不完全和錯(cuò)誤等問題,是一種行之有效的減少設(shè)計(jì)錯(cuò)誤、提高系統(tǒng)可信性的重要途徑。但形式化模型輸入語言所建立的模型存在可讀性差、理解難度大等缺陷,因此,一般使用可視化的建模工具進(jìn)行建模,然后轉(zhuǎn)換為形式化模型進(jìn)行驗(yàn)證,轉(zhuǎn)換過程中的映射方法成為了學(xué)者們的研究點(diǎn)。
劉博等[80]采用結(jié)構(gòu)分析和設(shè)計(jì)語言(architecture analysis and design language,AADL)建立系統(tǒng)的行為模型,提出了一種使用形式化驗(yàn)證工具NuSMV來驗(yàn)證AADL模型行為的方法。曹悅等[61]對(duì)系統(tǒng)工程標(biāo)準(zhǔn)建模語言SysML進(jìn)行擴(kuò)展,提出了一套形式化系統(tǒng)模型驗(yàn)證方法。周玉平[81]建立了UML的類圖和狀態(tài)圖到NuSMV的映射規(guī)則,并將建立的故障模型與NuSMV模型進(jìn)行融合,以實(shí)現(xiàn)對(duì)列控系統(tǒng)進(jìn)行安全分析。李宛倩等[82]構(gòu)建了從SysML的核心模型元素到AltaRica3.0模型的轉(zhuǎn)換規(guī)則,對(duì)系統(tǒng)進(jìn)行了安全分析。鄧劉夢等[83]給SysML中的塊定義圖和狀態(tài)機(jī)圖到NuSMV的轉(zhuǎn)換設(shè)計(jì)了一套轉(zhuǎn)換規(guī)則??挛目〉萚84]、HUANG等[85]提出了一種將SysML活動(dòng)圖轉(zhuǎn)換為Petri網(wǎng)模型的機(jī)制,并利用Petri網(wǎng)驗(yàn)證工具對(duì)轉(zhuǎn)換后的模型進(jìn)行仿真驗(yàn)證,實(shí)現(xiàn)了系統(tǒng)設(shè)計(jì)的自動(dòng)驗(yàn)證。張琛等[86]將對(duì)象狀態(tài)機(jī)圖轉(zhuǎn)換為Promela模型,并將系統(tǒng)交互性質(zhì)轉(zhuǎn)換為命題投影時(shí)序邏輯公式,通過Spin模型檢測器有效地檢測出了系統(tǒng)模型是否滿足系統(tǒng)期望的交互行為。楊培林等[87]利用概率行為樹對(duì)機(jī)電系統(tǒng)進(jìn)行了形式化建模,并通過概率模型檢測對(duì)機(jī)電系統(tǒng)進(jìn)行了形式化驗(yàn)證。
仿真方法能夠?qū)μ囟ǖ膱鼍斑M(jìn)行可視化驗(yàn)證,定量評(píng)價(jià)模型好壞。但是,仿真是一種非形式化的驗(yàn)證方法,僅能對(duì)有限的場景進(jìn)行驗(yàn)證,無法捕獲一些未測試到的使用場景所導(dǎo)致的系統(tǒng)失效。目前使用較多的多物理域系統(tǒng)仿真驗(yàn)證方法主要基于Modelica和Unity3D。
Modelica是一種面向?qū)ο蟆⒒诜匠痰?、支持?duì)復(fù)雜異構(gòu)系統(tǒng)的連續(xù)、離散以及混合行為進(jìn)行建模仿真的方法。王春曉等[88]基于Modelica建立了數(shù)控機(jī)床的多領(lǐng)域模型,并結(jié)合通信技術(shù)實(shí)現(xiàn)了模型與控制器之間的信息交互。宋研等[89]基于Modelica實(shí)現(xiàn)了對(duì)載人航天器的建模仿真,減少了精度損失。OHTOMI[90]使用Modelica建立和仿真了將人的感性模型和機(jī)電產(chǎn)品的物理模型相融合的模型,實(shí)現(xiàn)了人機(jī)系統(tǒng)的定量評(píng)價(jià)。張政[91]、周書華等[92]、FU等[93]分析了SysML與多領(lǐng)域仿真建模語言Modelica之間的映射關(guān)系,實(shí)現(xiàn)了SysML系統(tǒng)設(shè)計(jì)模型與Modelica系統(tǒng)仿真模型之間的自動(dòng)轉(zhuǎn)換。Unity3D是虛擬現(xiàn)實(shí)技術(shù)的主要建模仿真工具,能夠模擬出在視覺、聽覺、觸覺等方面與真實(shí)世界相近的場景,可用于對(duì)系統(tǒng)設(shè)計(jì)的驗(yàn)證。黃培德[94]基于Unity3D搭建了虛擬裝配系統(tǒng),并結(jié)合交互設(shè)備對(duì)人機(jī)協(xié)作裝配場景進(jìn)行了驗(yàn)證。李經(jīng)緯[95]使用Unity3D實(shí)現(xiàn)了人和虛擬汽車展示系統(tǒng)的交互設(shè)計(jì),通過給用戶帶來強(qiáng)烈的感官體驗(yàn)來對(duì)系統(tǒng)進(jìn)行迭代優(yōu)化。馬丹[96]、張靜[97]采用Unity3D實(shí)現(xiàn)了基于用戶體驗(yàn)的虛擬現(xiàn)實(shí)交互設(shè)計(jì)。
對(duì)人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為進(jìn)行表征、建模和驗(yàn)證的最終目的是對(duì)行為過程進(jìn)行優(yōu)化。行為可靠性、交互時(shí)序匹配性、交互模態(tài)均衡性是影響人機(jī)環(huán)境行為契合度的三大關(guān)鍵行為特性,也是人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程優(yōu)化的重點(diǎn)。
圍繞人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程優(yōu)化,國內(nèi)外針對(duì)不同對(duì)象提出了許多優(yōu)化策略和方法。OKUDA等[98]在連續(xù)/離散混合動(dòng)力系統(tǒng)的基礎(chǔ)上考慮人類行為模型,提出了一種新的人機(jī)協(xié)同定位切換輔助控制器的設(shè)計(jì)策略。KOBAYASHI等[99]考慮人類隨機(jī)行為,提出了一種用于交互機(jī)器人控制和認(rèn)知過程的設(shè)計(jì)框架,采用該框架時(shí),通常傾向于通過集成許多if-then規(guī)則來設(shè)計(jì)的任務(wù),可以從最短時(shí)間最優(yōu)控制的角度,在狀態(tài)估計(jì)和優(yōu)化框架中以系統(tǒng)的方式設(shè)計(jì)。王亮等[100]將有限長度的預(yù)見信息作為系統(tǒng)的固有狀態(tài)加以增廣利用,并且對(duì)于操縱者的延時(shí)特性,將其作為操縱者“存儲(chǔ)”的“意識(shí)狀態(tài)”進(jìn)行增廣,提出了基于最優(yōu)預(yù)見控制理論的操控信息通道人機(jī)耦合優(yōu)化方法。王朝暉等[101]將博弈機(jī)制與Agent技術(shù)思想相結(jié)合,從多目標(biāo)優(yōu)化的角度開展人體自適應(yīng)行為仿真研究,提出了一種基于動(dòng)態(tài)博弈機(jī)制的虛擬人作業(yè)姿態(tài)自主優(yōu)化方法。SUN等[102]提出了一種將用戶行為和產(chǎn)品行為數(shù)據(jù)整合為設(shè)計(jì)任務(wù)的行為設(shè)計(jì)方法,通過定義用戶和產(chǎn)品需要完成的任務(wù),幫助設(shè)計(jì)者在設(shè)計(jì)階段通過考慮使用條件和需求來優(yōu)化產(chǎn)品性能。劉世豪等[103]結(jié)合人機(jī)工程學(xué)建立了數(shù)控機(jī)床的“人-機(jī)-環(huán)境”交互作用機(jī)制,并將數(shù)控機(jī)床人機(jī)工程設(shè)計(jì)準(zhǔn)則和耦合仿生設(shè)計(jì)技術(shù)有機(jī)結(jié)合,考慮數(shù)控機(jī)床各性能之間的相互影響及耦合機(jī)制,提出了一種數(shù)控機(jī)床多目標(biāo)協(xié)同優(yōu)化設(shè)計(jì)方法。HUANG等[104]利用強(qiáng)化學(xué)習(xí)方法在線學(xué)習(xí)敏感因子以適應(yīng)交互過程的動(dòng)態(tài)變化,提出了一種自適應(yīng)靈敏度放大控制策略,實(shí)驗(yàn)結(jié)果表明,該策略可以有效減小飛行員與外骨骼機(jī)器人之間的交互力。MYUNGHEE等[105]采用貝葉斯優(yōu)化方法快速識(shí)別接近最優(yōu)的控制參數(shù),通過優(yōu)化穿戴外骨骼和電動(dòng)假肢被試的步行頻率來實(shí)現(xiàn)代謝成本的最小化,并提出了一種基于實(shí)時(shí)生理測量自動(dòng)調(diào)整控制參數(shù)的人在回路優(yōu)化方法,實(shí)驗(yàn)結(jié)果表明,該方法較現(xiàn)有基于梯度下降的方法具有更快的收斂速度和更低的能量消耗。張俊磊等[106]通過建立物質(zhì)-場模型來分析人、機(jī)、環(huán)境耦合中存在的問題,并借助標(biāo)準(zhǔn)解指導(dǎo)解決人、機(jī)、環(huán)境三者耦合效應(yīng)中出現(xiàn)的作用不足、有害作用等問題。李敬業(yè)等[107]為提高人機(jī)混雜環(huán)境中移動(dòng)機(jī)器人的自主巡檢效率,通過分析人類的社會(huì)行為規(guī)則,結(jié)合機(jī)器人的運(yùn)動(dòng)特性,建立了移動(dòng)機(jī)器人系統(tǒng)的數(shù)學(xué)模型,將人機(jī)距離、人的行為模式和人與機(jī)器人間的相對(duì)速度參數(shù)進(jìn)行了模糊化處理,并提出了一種基于模糊邏輯理論的避障方法。黃玲等[108]結(jié)合深度學(xué)習(xí)方法,對(duì)換車道影響因素進(jìn)行了分析,構(gòu)建了人機(jī)合作駕駛下基于長短期記憶神經(jīng)網(wǎng)絡(luò)的無人駕駛車輛換道行為模型,并引入道路橫向偏移量信息,以均方差為損失函數(shù)優(yōu)化了行為模型的精度和遷移性。姚湘等[109]基于產(chǎn)品架構(gòu)設(shè)計(jì)的符號(hào)學(xué)方法(semiotic approach to product architecture design,SAPAD),完成了行為-意義-對(duì)象三個(gè)維度之間的映射分析,得到了產(chǎn)品在整個(gè)使用過程中的關(guān)鍵部件和用戶內(nèi)心潛在需求;再以人機(jī)工程學(xué)原理和方法為依據(jù),提出了基于用戶需求的產(chǎn)品人機(jī)設(shè)計(jì)原則,為產(chǎn)品的人機(jī)優(yōu)化設(shè)計(jì)提供了一種新思路。王文東等[110]以人機(jī)交互力為耦合方式,建立了基于牛頓-歐拉法的人機(jī)耦合模型,完成了人機(jī)耦合動(dòng)力學(xué)模擬分析,并基于迭代學(xué)習(xí)控制理論提出了外骨骼康復(fù)機(jī)械臂的閉環(huán)PD迭代學(xué)習(xí)控制方法,試驗(yàn)結(jié)果表明,所提出的迭代學(xué)習(xí)控制算法可以提高上肢外骨骼康復(fù)訓(xùn)練重復(fù)性運(yùn)動(dòng)的控制精度,進(jìn)而提高人機(jī)交互性能。
從現(xiàn)有文獻(xiàn)來看,目前有關(guān)人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為優(yōu)化的研究主要以詳細(xì)設(shè)計(jì)后期的功能和性能為主,較少或沒有從人機(jī)環(huán)境系統(tǒng)的角度優(yōu)化智能交互產(chǎn)品的行為特性。智能交互產(chǎn)品是一個(gè)包括機(jī)械、電氣、控制、信息、認(rèn)知等多個(gè)學(xué)科在內(nèi)的復(fù)雜系統(tǒng),具有高維、強(qiáng)非線性、多過程與多界面耦合的特點(diǎn),傳統(tǒng)設(shè)計(jì)過程往往是先設(shè)計(jì)好機(jī)械部分,然后設(shè)計(jì)其電子與控制等其他部分,期間設(shè)計(jì)遵循端到端的集成方式,在各個(gè)子系統(tǒng)均設(shè)計(jì)好后進(jìn)行復(fù)雜產(chǎn)品系統(tǒng)的總裝。由于產(chǎn)品的設(shè)計(jì)初期缺乏在系統(tǒng)層面對(duì)產(chǎn)品進(jìn)行整體全面的系統(tǒng)設(shè)計(jì),因此原本功能良好的各個(gè)子系統(tǒng)很可能產(chǎn)生沖突,致使整個(gè)復(fù)雜機(jī)電產(chǎn)品系統(tǒng)功能失效,更為嚴(yán)重的后果是,此類設(shè)計(jì)缺乏無法通過后期的詳細(xì)設(shè)計(jì)或加工來彌補(bǔ)。由此可知,智能交互產(chǎn)品的行為特性調(diào)控與優(yōu)化必須從概念設(shè)計(jì)階段開始就賦予產(chǎn)品優(yōu)良的“先天性”行為特性。另一方面,雖然現(xiàn)有概念設(shè)計(jì)階段也大量采用了逐步求精、迭代優(yōu)化的策略,但多半仍以產(chǎn)品本身的功能、性能、成本、質(zhì)量等靜態(tài)特性為優(yōu)化目標(biāo),即使有少量關(guān)注智能交互產(chǎn)品動(dòng)態(tài)行為特性的研究,也只是采用用戶畫像和情境模擬等方式定性分析用戶使用智能交互產(chǎn)品的過程,缺少適用于概念設(shè)計(jì)階段的模糊/定量仿真優(yōu)化方法和工具。
從國內(nèi)外的研究現(xiàn)狀來看,對(duì)智能交互產(chǎn)品本身功能與行為的建模和驗(yàn)證相對(duì)成熟,但受限于概念設(shè)計(jì)階段設(shè)計(jì)信息的模糊性、不確定性和多學(xué)科性,且人機(jī)環(huán)境系統(tǒng)耦合規(guī)律和機(jī)理不明,目前關(guān)于人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程建模與優(yōu)化方法的研究仍然存在“三多三少”的現(xiàn)象,即:①對(duì)傳統(tǒng)機(jī)電產(chǎn)品確定性行為過程研究多,對(duì)智能交互產(chǎn)品不確定性行為過程研究少;②對(duì)產(chǎn)品本身的行為建模與仿真研究多,對(duì)人機(jī)環(huán)境多領(lǐng)域行為統(tǒng)一建模與仿真研究少;③對(duì)詳細(xì)設(shè)計(jì)階段的產(chǎn)品功能和性能優(yōu)化研究多,對(duì)概念設(shè)計(jì)階段的人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程優(yōu)化研究少。根據(jù)目前研究現(xiàn)狀、行業(yè)發(fā)展趨勢和產(chǎn)品設(shè)計(jì)需求,未來可重點(diǎn)圍繞以下關(guān)鍵科學(xué)問題開展研究。
(1)人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為耦合規(guī)律與調(diào)控機(jī)制。人機(jī)環(huán)境系統(tǒng)既包括機(jī)械、電子、控制、信息等物理域的混合行為過程,又包括認(rèn)知心理域的多感官通道信息融合與決策行為過程,用戶與智能交互產(chǎn)品的交互過程本質(zhì)上是異構(gòu)復(fù)雜系統(tǒng)之間多領(lǐng)域行為過程的相互激勵(lì)與非線性耦合響應(yīng)過程。消解行為沖突、提高智能交互產(chǎn)品用戶體驗(yàn)的關(guān)鍵在于設(shè)計(jì)階段賦予智能交互產(chǎn)品與人和環(huán)境高度相容的行為特性,而產(chǎn)品行為特性調(diào)控與優(yōu)化的前提則是先厘清人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為間的耦合規(guī)律,建立人機(jī)環(huán)境廣義傳遞函數(shù)。另外,耦合意味著在對(duì)產(chǎn)品行為特性進(jìn)行調(diào)控時(shí)必須對(duì)調(diào)控對(duì)象和調(diào)控參數(shù)進(jìn)行“權(quán)衡”,需要通過逆向解耦建立相應(yīng)的調(diào)控機(jī)制,為行為特性優(yōu)化提供方向。
(2)不完備信息下的人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程模糊仿真機(jī)制。概念設(shè)計(jì)階段的設(shè)計(jì)信息具有模糊性、不確定性和多學(xué)科性,因此設(shè)計(jì)早期的人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程模型必然也包含大量的模糊信息。仿真是探索人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為耦合規(guī)律和行為過程模型驗(yàn)證的主要手段,需要在傳統(tǒng)定性和定量仿真技術(shù)的基礎(chǔ)之上,通過引入模糊集、模糊關(guān)系及模糊運(yùn)算,提高對(duì)與行為相關(guān)模糊設(shè)計(jì)信息的建模能力,建立不完備信息下的人機(jī)環(huán)境系統(tǒng)多領(lǐng)域行為過程模糊仿真機(jī)制,以解決系統(tǒng)仿真中的模糊不確定性問題。