基于AI 的家用跌倒監(jiān)控系統(tǒng)＊

陳 棋，陳漢力，陰愛英

（福州大學(xué)至誠(chéng)學(xué)院，福建 福州 350002）

在中國(guó)，跌倒是65 歲以上獨(dú)居老人因傷害死亡的首位原因。2015 年全國(guó)1%人口抽樣調(diào)查數(shù)據(jù)顯示，中國(guó)65 歲及以上人口已達(dá)到1 437.4 萬(wàn)人，占總?cè)丝诘?0.47%。據(jù)預(yù)測(cè)，中國(guó)65 歲及以上人口2025 年將達(dá)到2.09 億人，超過(guò)總?cè)丝诘?4%[1]。對(duì)于普通老人而言，身體的各項(xiàng)機(jī)能指標(biāo)會(huì)隨著年齡的增長(zhǎng)逐漸下降，對(duì)于外界的抵抗能力變?nèi)酰さ挂院?，往往無(wú)法進(jìn)行自救，也無(wú)法向外界呼救，這會(huì)對(duì)老人的生命安全造成極大的威脅。因此，如果有一種低成本且有效的方法，幫助獨(dú)居老人在發(fā)生意外時(shí)能夠及時(shí)被外界所知曉、及時(shí)被救助就具有非常重要的研究意義和現(xiàn)實(shí)意義。

近年來(lái)，隨著智能家居概念的興起，智能攝像頭在家庭安防方面扮演著非常重要的角色。目前市面上的智能攝像頭種類很多，但是都有著很高的局限性。有的項(xiàng)目只通過(guò)視頻的方式，方便用戶查看家中情況，但是無(wú)法對(duì)老人跌倒的情況進(jìn)行快速預(yù)警。本文開發(fā)了一套運(yùn)行在固定場(chǎng)景下的老人跌倒識(shí)別系統(tǒng)，當(dāng)?shù)拱l(fā)生時(shí)，及時(shí)提醒用戶進(jìn)行查看，以便后續(xù)送醫(yī)等。

1 技術(shù)方案

本項(xiàng)目利用樹莓派開發(fā)板、外置攝像頭、蜂鳴器等設(shè)計(jì)了跌倒檢測(cè)與家中警報(bào)部分。在跌倒檢測(cè)部分采用了YOLO 算法的預(yù)訓(xùn)練模型所訓(xùn)練出的模型進(jìn)行跌倒識(shí)別。

服務(wù)端主要負(fù)責(zé)識(shí)別視頻圖像，當(dāng)?shù)拱l(fā)生時(shí)，記錄相關(guān)信息，保存跌倒時(shí)的圖片?？蛻舳薃PP 負(fù)責(zé)與用戶交互，并且呈現(xiàn)相關(guān)的信息。系統(tǒng)的概要設(shè)計(jì)如圖1 所示。

圖1 系統(tǒng)概要設(shè)計(jì)圖

1.1 跌倒檢測(cè)

跌倒檢測(cè)作為人體姿態(tài)識(shí)別應(yīng)用中的一個(gè)重要分支吸引了很多科研機(jī)構(gòu)的關(guān)注，目前國(guó)內(nèi)外在跌倒檢測(cè)上的研究根據(jù)獲取數(shù)據(jù)方式的不同及檢測(cè)方法上的不同，大體上可分為以下3 類：①使用可穿戴式設(shè)備，基于慣性傳感器、三軸加速度傳感器等傳感器獲取數(shù)據(jù)；②使用外圍設(shè)備，基于鋪設(shè)在地面的壓力傳感器等來(lái)獲取數(shù)據(jù)；③使用視頻來(lái)進(jìn)行跌倒檢測(cè)，基于計(jì)算機(jī)視覺方式來(lái)獲取數(shù)據(jù)。

1.1.1 可穿戴式設(shè)備

可穿戴式設(shè)備一般是以某種方式將設(shè)備固定在身體部位上，通常在腰部、膝蓋等部位進(jìn)行固定，也有固定在衣物上的。這類設(shè)備通過(guò)設(shè)備內(nèi)部的慣性傳感器、三軸加速度傳感器及陀螺儀等來(lái)收集當(dāng)前的狀態(tài)信息，計(jì)算人體不同方向上的速度與加速度來(lái)判斷當(dāng)前人體是否處在跌倒?fàn)顟B(tài)。

2009 年，LI 等[2]使用陀螺儀和加速度衍生的姿勢(shì)信息進(jìn)行跌倒預(yù)測(cè)；2014 年，WU[3]使用智能手機(jī)來(lái)進(jìn)行跌倒檢測(cè)?？纱┐魇皆O(shè)備收集數(shù)據(jù)的優(yōu)點(diǎn)是數(shù)據(jù)精確，但是這類設(shè)備需要固定在身體上的某個(gè)地方，有可能會(huì)對(duì)跌倒的人員造成二次傷害，并且需要時(shí)刻佩戴設(shè)備，遺忘佩戴則會(huì)導(dǎo)致無(wú)法檢測(cè)。

1.1.2 外圍設(shè)備

外圍設(shè)備主要是在人們居住的環(huán)境中安裝多個(gè)相應(yīng)傳感器來(lái)收集數(shù)據(jù)，再綜合多個(gè)傳感器的數(shù)據(jù)，最后得到人們的活動(dòng)信息。

2010 年，ARIANI 等[4]提出了一種基于雙壓力傳感器的新型跌倒監(jiān)測(cè)報(bào)警系統(tǒng)；2020 年，馮偉等[5]提出了一種衛(wèi)生間無(wú)穿戴跌倒報(bào)警檢測(cè)系統(tǒng)。

外圍設(shè)備收集數(shù)據(jù)的優(yōu)點(diǎn)是不需要佩戴，不會(huì)有二次傷害，使用方式簡(jiǎn)單，但這類設(shè)備極大地受限于需要檢測(cè)的場(chǎng)地大小，檢測(cè)場(chǎng)地面積增大的同時(shí)，往往也需要鋪設(shè)更多的傳感器。

1.1.3 計(jì)算機(jī)視覺

基于計(jì)算機(jī)視覺的跌倒檢測(cè)是基于計(jì)算機(jī)視覺的行為分析中的一個(gè)重要分支。這種檢測(cè)方式通常是通過(guò)攝像頭采集需要檢測(cè)的場(chǎng)景信息，并使用圖像處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)提取出場(chǎng)景內(nèi)的人體特征，根據(jù)這些特征來(lái)判斷場(chǎng)景內(nèi)人們的活動(dòng)狀態(tài)，即是否跌倒。

2016 年，ABDELHEDI 等[6]開發(fā)了一種基于老年人健康監(jiān)測(cè)的基于兩個(gè)閾值的跌倒檢測(cè)算法；2021 年，SHU 等[7]使用8 個(gè)攝像頭構(gòu)造了一個(gè)跌倒檢測(cè)系統(tǒng)。這種方式收集數(shù)據(jù)的優(yōu)點(diǎn)是基本不受場(chǎng)地限制，在攝像頭所能拍攝到的位置都能進(jìn)行數(shù)據(jù)采集；并且不需要檢測(cè)人員佩戴其他的輔助設(shè)備，所以也不會(huì)有二次傷害這種情況發(fā)生。

1.2 YOLO 算法

YOLO 是一種基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法，指只需要瀏覽一次就可以識(shí)別出圖片中物體的類別和位置[7]。

YOLOv5 在圖像輸入時(shí)對(duì)圖像進(jìn)行了Mоsаiс 數(shù)據(jù)增強(qiáng)操作與自適應(yīng)縮放操作。在輸出端，YOLOv5 使用GIOU_Lоss 作為Bоunding bох 的損失函數(shù)并且在進(jìn)行非最大值抑制時(shí)使用了加權(quán)非最大值抑制，對(duì)圖像中的重疊目標(biāo)有著較好的檢測(cè)效果[8]。

1.3 硬件平臺(tái)及相關(guān)技術(shù)

本文選擇Rаsрbеrry Pi 作為服務(wù)端的硬件支持。Rаsрbеrry Pi 是一款A(yù)RM 架構(gòu)的小型計(jì)算機(jī)，中文名為樹莓派。樹莓派提供了CSI 排線接口、RJ45 網(wǎng)口以及通用USB 接口等接口。樹莓派體積小、功耗開銷低，是服務(wù)端硬件方面的理想選擇[9-10]。

1.4 研究?jī)?nèi)容

本文主要介紹并開發(fā)了一套運(yùn)行在固定場(chǎng)景下的老人跌倒識(shí)別系統(tǒng)。該系統(tǒng)使用樹莓派的攝像頭對(duì)室內(nèi)場(chǎng)景進(jìn)行實(shí)時(shí)監(jiān)控，當(dāng)攝像頭檢測(cè)到有人跌倒時(shí)，將跌倒信息提取出來(lái)，發(fā)送到系統(tǒng)的服務(wù)端，此時(shí)可以通過(guò)APP 查看有關(guān)老人最近一次跌倒的信息。該系統(tǒng)可以實(shí)現(xiàn)對(duì)固定區(qū)域的無(wú)人值守的監(jiān)控，能夠取得良好的檢測(cè)效果。

本文在樹莓派的型號(hào)方面選擇了4B+型號(hào)，這一款型號(hào)的樹莓派搭載了64 位1.5 GHz 的四核處理器，并且使用了基于CSI 接口的單目攝像頭。完整的實(shí)驗(yàn)平臺(tái)如圖2 所示。

圖2 已連接攝像頭的樹莓派

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)總體流程

使用OреnCV 來(lái)獲取攝像頭視頻流，然后用YOLO算法所訓(xùn)練出的模型對(duì)每幀進(jìn)行跌倒識(shí)別。當(dāng)檢測(cè)到老人跌倒時(shí)，蜂鳴器發(fā)出警報(bào)，樹莓派對(duì)跌倒的幀進(jìn)行截圖保存，并將圖片發(fā)送到本項(xiàng)目的阿里云OSS 存儲(chǔ)中，以及將跌倒發(fā)生時(shí)的相關(guān)信息發(fā)送到本項(xiàng)目的服務(wù)端，存儲(chǔ)在服務(wù)端的數(shù)據(jù)庫(kù)中，最后向用戶及緊急聯(lián)系人發(fā)送相關(guān)預(yù)警短信。

2.2 數(shù)據(jù)集簡(jiǎn)述與模型準(zhǔn)備

本項(xiàng)目所使用的跌倒數(shù)據(jù)集是百度аistudiо 上由作者Niki_173 制作的開源數(shù)據(jù)集，跌倒檢測(cè)數(shù)據(jù)集為Fаll dеtесtiоn Dаtаsе（httрs://аistudiо.bаidu.соm/аistudiо/dаtаsеtdеtаil/94809）。

在模型的選擇上，考慮到樹莓派的性能限制，選擇了YOLO 算法中的yоl(xiāng)о5n 預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，yоl(xiāng)о5n 預(yù)訓(xùn)練模型相對(duì)于YOLO 算法的其他預(yù)訓(xùn)練模型來(lái)說(shuō)，在體量上更為輕量化，識(shí)別的速度也相對(duì)更快。

2.3 客戶端設(shè)計(jì)

本文所提到的系統(tǒng)客戶端為手機(jī)APP，該客戶端基于uni-арр 框架開發(fā)。本系統(tǒng)結(jié)合需求與功能設(shè)計(jì)，秉持輕量快捷的特點(diǎn)，以簡(jiǎn)約直觀為目標(biāo)，將主要頁(yè)面分為以下3 個(gè)：①首頁(yè)。主要展示最新的跌倒信息和跌倒圖片。②歷史信息頁(yè)面。主要展示用戶最新10次跌倒的時(shí)間。③我的。顯示用戶的個(gè)人信息、添加緊急聯(lián)系人的入口，用戶可以通過(guò)點(diǎn)擊此頁(yè)面中的添加緊急聯(lián)系人一欄并且輸入緊急聯(lián)系人的信息來(lái)增加緊急聯(lián)系人。

3 實(shí)驗(yàn)結(jié)果與分析

將樹莓派固定在某個(gè)位置后，由測(cè)試人員模擬跌倒情況，當(dāng)樹莓派檢測(cè)到跌倒后，向用戶及緊急聯(lián)系人發(fā)送預(yù)警短信，并且蜂鳴器發(fā)出警報(bào)聲。用戶短信和緊急聯(lián)系人短信分別如圖3、圖4 所示。

圖3 用戶短信

圖4 緊急聯(lián)系人短信

在客戶端APP 首頁(yè)上可以看到最新一次跌倒的狀態(tài)，如圖5 所示。

圖5 客戶端APP 首頁(yè)

對(duì)樹莓派跌倒識(shí)別及信息查看進(jìn)行了測(cè)試，發(fā)現(xiàn)該系統(tǒng)可以識(shí)別到跌倒的發(fā)生，向服務(wù)端發(fā)送相關(guān)的跌到信息及向用戶與緊急聯(lián)系人發(fā)送預(yù)警短信。

4 結(jié)論

在中國(guó)，人們的平均壽命在不斷增長(zhǎng)，獨(dú)居老人也日益增多。跌倒是65 歲以上獨(dú)居老人受到意外傷害后而死亡的主要原因。隨著智能家居概念的興起，智能攝像頭在家庭安防這一方面扮演著重要的角色。本項(xiàng)目所設(shè)計(jì)的跌倒檢測(cè)系統(tǒng)可以在無(wú)人值守的環(huán)境下應(yīng)用在留守老人、兒童這類人群中，可查看客戶端信息，方便用戶隨時(shí)瀏覽，當(dāng)?shù)拱l(fā)生時(shí)，為救護(hù)人員進(jìn)行判斷提供幫助。