基于多模態(tài)的智能穿戴設(shè)備功耗控制系統(tǒng)研究設(shè)計(jì)

馬振宇 趙娟

(廣州英碼信息科技有限公司,廣東廣州 510663)

0 引言

穿戴移動(dòng)式動(dòng)態(tài)心肺監(jiān)測儀用于心臟疾高危病人的日常居家監(jiān)測,能夠預(yù)防心臟猝死等疾病。目前,醫(yī)院普遍使用的心電、心音設(shè)備為12導(dǎo)聯(lián)動(dòng)態(tài)檢測儀(holter),功能單一,在同一時(shí)間段,采集用戶的心電信號或者心音信號,不能綜合監(jiān)測用戶的多個(gè)信號從而集中判斷并發(fā)情況。Hotler的功耗比較大,體積也很大,一般只能待機(jī)1～2天。因?yàn)樾呐K的部分病癥從檢測到異常到猝死只有10分鐘,必須連續(xù)采集心電心音的數(shù)據(jù)才能及時(shí)預(yù)警急救。Holter需要把數(shù)據(jù)傳輸?shù)胶笈_服務(wù)器計(jì)算心電監(jiān)測,計(jì)算滯后嚴(yán)重,不能滿足心肺的實(shí)時(shí)計(jì)算和全天候即時(shí)預(yù)警的需求。

在對體積嚴(yán)格的穿戴移動(dòng)式人工智能應(yīng)用的場合,能效(能效=算力/功耗)是衡量系統(tǒng)的最重要指標(biāo)。人工智能邊緣計(jì)算芯片最重要的資源是算力,最消耗功耗的場景也是在進(jìn)行人工智能推理計(jì)算的時(shí)候,僅僅只是芯片本身控制功耗或者開關(guān)外圍電路不能有效控制功耗,需要系統(tǒng)的角度對計(jì)算資源進(jìn)行控制才能達(dá)到能效最優(yōu)。

參考文獻(xiàn)[1]介紹了多模態(tài)控制的方法,給本文的功耗控制提供了理論基礎(chǔ)和思路啟發(fā)。文獻(xiàn)[2]提出的多模態(tài)人工智能方法,也啟發(fā)了本文的人工智能算法的模態(tài)控制。文獻(xiàn)[2]介紹了低功耗AI芯片的體系架構(gòu),為功耗控制策略提供了硬件基礎(chǔ),如圖1所示。

圖1 穿戴式人工智能動(dòng)態(tài)心肺監(jiān)測儀示意圖Fig.1 Schematic diagram of a wearable artificial intelligence dynamic heart and lung monitor

1 穿戴式人工智能動(dòng)態(tài)心肺監(jiān)測儀硬件設(shè)計(jì)

本設(shè)備的硬件框架圖如圖2。主要由多模態(tài)信號采集模塊、AI數(shù)據(jù)處理模塊、電源管理、電池、人機(jī)操作接口、無線通信模塊、語音模塊組成。

圖2 硬件框圖Fig.2 Hardware block diagram

(1)多模態(tài)信號采集模塊集成了十二導(dǎo)聯(lián)心電信號采集,胸阻抗信號采集,同時(shí)可以采集心、肺音信號和血氧信號。

(2)數(shù)據(jù)處理和主控制模塊。數(shù)據(jù)處理模塊采用FPGA和低功耗SOC芯片相結(jié)合的架構(gòu);FPGA內(nèi)部具有數(shù)萬個(gè)邏輯單元和乘加器,通過選擇合適的架構(gòu),設(shè)計(jì)成并行計(jì)算的人工智能數(shù)據(jù)處理單元及硬件加速器,單芯片處理能效率最高可以達(dá)到1TOPS/W以上,計(jì)算能力強(qiáng)大,可快速對心肺信號處理和人工智能算法推理,實(shí)時(shí)對心肺功能的異常預(yù)警和干預(yù)。

2 穿戴式人工智能動(dòng)態(tài)心肺監(jiān)測儀軟件設(shè)計(jì)

2.1 軟件設(shè)計(jì)框圖

軟件系統(tǒng)架構(gòu)如圖3所示分為三層,主要有主控制單元和運(yùn)算單元兩個(gè)主要的功能模塊,硬件載體分別是SOC控制單元和SOC計(jì)算單元及FPGA芯片:

圖3 人工智能邊緣計(jì)算模型流程Fig.3 Artificial intelligence edge computing model process

(1)主控制單元:運(yùn)行在SOC控制芯片上,基于FreeT TOS之類的輕量級實(shí)時(shí)嵌入式操作系統(tǒng)做多模態(tài)任務(wù)控制和計(jì)算數(shù)據(jù)調(diào)度,實(shí)現(xiàn)系統(tǒng)的功耗和并行運(yùn)算的最優(yōu)控制。

(2)運(yùn)算單元:有兩部分,一部分運(yùn)行在低功耗SOC的神經(jīng)網(wǎng)絡(luò)模塊里,主要做實(shí)時(shí)性要求比較高的12導(dǎo)聯(lián)ECG計(jì)算;另一部分運(yùn)行在FP G A高性能人工智能運(yùn)算模塊里,主要運(yùn)行心、肺音和其他實(shí)時(shí)性要求不高但數(shù)據(jù)量比較大的信號的計(jì)算。

2.2 人工智能邊緣計(jì)算模型

設(shè)備的人工智能邊緣計(jì)算模型流程如圖4所示。因?yàn)楸驹O(shè)備主要是針對心肺信號,系統(tǒng)采用的是輕量化的GRU或者LSTM模型。

圖4 多模態(tài)控制框圖Fig.4 Multi-modal control block diagram

表1表示對本實(shí)施例的心音監(jiān)測部分的計(jì)算模型在輕量化后對系統(tǒng)的計(jì)算資源的評估,因?yàn)樵诒驹O(shè)備的多模態(tài)數(shù)據(jù)輸入中,心音是計(jì)算量最大的部分,但是對實(shí)時(shí)性要求不高,需用用計(jì)算能力強(qiáng)的芯片進(jìn)行計(jì)算。而多導(dǎo)聯(lián)心電信號的特性是實(shí)時(shí)性要求高,需要連續(xù)計(jì)算,但是波形不復(fù)雜,采樣頻率低,比較適合低功耗、計(jì)算能力一般的多路計(jì)算資源進(jìn)行計(jì)算。

表1 邊緣計(jì)算模型參數(shù)Tab.1 Edge computing model parameters

3 多模態(tài)功耗控制設(shè)計(jì)

3.1 多模態(tài)功耗控制思路

因?yàn)楸驹O(shè)備的輸入是多模態(tài)的數(shù)據(jù)輸入源,但是對于心肺監(jiān)測的應(yīng)用而言,并不需要每次都啟動(dòng)所有的計(jì)算資源進(jìn)行計(jì)算。比如心房顫動(dòng),只需要12導(dǎo)聯(lián)的心電波形即可,并不需要心音檢測;而心力衰竭需要心音檢測,但是6個(gè)導(dǎo)聯(lián)的心電波形即可。因此,我們可以根據(jù)應(yīng)用端的模型的需求,調(diào)配計(jì)算資源的使用,從而達(dá)到優(yōu)化系統(tǒng)功耗的目的。系統(tǒng)的計(jì)算資源就包括芯片級別的SOC和FPGA。再往下一個(gè)層級就是兩個(gè)芯片內(nèi)部的各個(gè)計(jì)算模塊,他們可以分別單獨(dú)控制。同時(shí)芯片的計(jì)算主頻和電壓也是影響功耗的重要因素,所以也是本方法的控制對象。系統(tǒng)的計(jì)算資源就包括芯片級別的SOC和FPGA。再往下一個(gè)層級就是兩個(gè)芯片內(nèi)部的各個(gè)計(jì)算模塊,他們可以分別單獨(dú)控制。同時(shí)芯片的計(jì)算主頻和電壓也是影響功耗的重要因素,所以也是本方法的控制對象,如表2所示。

表2 穿戴式設(shè)備的計(jì)算資源與功耗控制層級Tab.2 Computing resources and power consumption control levels of wearable devices

基于以上分析,這個(gè)多模態(tài)功耗控制的基本思路是根據(jù)系統(tǒng)運(yùn)行的需求或者狀態(tài)采用不同調(diào)度策略的控制方式,即根據(jù)系統(tǒng)的實(shí)際運(yùn)行狀態(tài),不同運(yùn)行條件下調(diào)度最合適的資源,實(shí)現(xiàn)系統(tǒng)計(jì)算及時(shí)性和功耗消耗結(jié)合后的能效最高。

3.2 多模態(tài)控制設(shè)計(jì)實(shí)現(xiàn)

多模態(tài)控制框圖如圖5所示,這個(gè)方法是采用閉環(huán)控制,首先獲取應(yīng)用模型的計(jì)算資源需求和完成時(shí)間要求,然后通過多模態(tài)控制決策計(jì)算,得到最優(yōu)的計(jì)算資源調(diào)度。進(jìn)入到系統(tǒng)后實(shí)際運(yùn)行,同時(shí)通過監(jiān)測系統(tǒng)的實(shí)際功耗及計(jì)算結(jié)果評估。以功率最低為控制指標(biāo),將模擬時(shí)間和實(shí)際時(shí)間反饋到多模態(tài)控制決策計(jì)算進(jìn)行持續(xù)優(yōu)化,得到最佳完成時(shí)間和最佳硬件資源。

4 實(shí)驗(yàn)結(jié)果

表3是不同計(jì)算資源對應(yīng)的運(yùn)算速度和功耗。結(jié)果表明基于同一個(gè)應(yīng)用模型,投入不同的計(jì)算資源,產(chǎn)生的能效比不一樣。比如第1行和第2行,投入同樣的8核cluster,主頻從175Mhz降低到15.4Mhz,降低了11.4倍,但是功耗從70mW降低到3.7mW,功耗降低了18.9倍。證明在速度滿足的情況下,通過降低主頻可以實(shí)現(xiàn)功耗最低。

表3 不同計(jì)算資源對應(yīng)的運(yùn)算速度和功耗Tab.3 Computational speed and power consumption corresponding to different computing resources

5 結(jié)語

本文研發(fā)的方法通過優(yōu)化設(shè)備里最消耗功耗的人工智能推理計(jì)算模塊的使用,能夠使計(jì)算資源能效最優(yōu),為設(shè)計(jì)開發(fā)出能夠長時(shí)間監(jiān)測心臟狀態(tài)并及時(shí)預(yù)警突發(fā)性心臟疾病的設(shè)備提供技術(shù)基礎(chǔ),具有很高的科技含量和良好的社會(huì)意義。