基于人工智能的嬰兒睡眠監(jiān)控系統(tǒng)

陳馨瑤 程進 鄒小平 姜超 鄔潤杰 廖晶晶

北京信息科技大學北京市傳感器重點實驗室，北京100101

0 前言

隨著二胎以及三胎政策的全面開放，少兒撫養(yǎng)比急增，嬰兒看護本就是一件長期并且需要付出大量時間精力的事情?，F(xiàn)今，在父母們需要同時兼顧家庭和工作的情況下，嬰兒看護輔助逐漸成為了社會的關注熱點和重要需求。傳統(tǒng)的看護輔助以月嫂為主，但月嫂看護水平參差不齊且價格昂貴，隨著現(xiàn)代化的發(fā)展，嬰兒監(jiān)控系統(tǒng)逐漸走入人們的視線中。相較于體征監(jiān)測、哭聲提醒[1-2]等寶寶監(jiān)控系統(tǒng)，遠程視頻監(jiān)控系統(tǒng)更加直觀。然而，僅僅遠程視頻監(jiān)控也并不能滿足人們的需求，父母們不可能一直看著監(jiān)控，但孩子的安全隱患卻是無時不有、無處不在。2009年，佘達綸等人[3]發(fā)明的嬰兒睡眠監(jiān)控系統(tǒng)利用圖像識別技術實現(xiàn)了對嬰兒是否清醒的判斷，用以提醒家長們寶寶醒了，只是該系統(tǒng)功能較單一且沒有對于安全問題的識別；2012年，蔣亞明等人[4]設計了基于OpenCV的嵌入式視頻監(jiān)控系統(tǒng)，該系統(tǒng)通過圖像識別實現(xiàn)了對寶寶的運動監(jiān)測，但是該系統(tǒng)并沒有對寶寶不同狀態(tài)的區(qū)分與提醒。本系統(tǒng)通過圖像識別技術實現(xiàn)了對嬰兒睡眠過程中的吐奶、張嘴睡覺、口鼻被遮擋問題的實時監(jiān)控，并且在識別到異常狀況時第一時間通知父母，使得家長們能及時知曉寶寶的情況并做出處理。本系統(tǒng)主要對以下幾個問題進行監(jiān)控：

（1）張嘴睡覺[5]的問題：有一種病癥為兒童阻塞性睡眠呼吸暫停、低通氣綜合征，這一疾病患兒會有張嘴呼吸的表現(xiàn)，即會引起寶寶習慣性張嘴睡覺。如果該癥狀沒有得到及時的治療，不僅會影響兒童的生長發(fā)育，還將帶來因為長期缺氧引起的心血管方面的疾病，甚至會導致由于大腦缺氧造成學習及神經(jīng)認知能力產(chǎn)生缺陷；

（2）吐奶問題：寶寶吐奶之后，奶水若流到耳朵里，不及時處理會導致中耳炎。另外，如果吐奶后被嗆到，不僅會由于嗆到中耳腔內引起中耳炎，還會引起窒息、咳嗽，甚至可能危及生命；

（3）口鼻遮擋問題：寶寶口鼻被遮擋會增加寶寶吸入二氧化碳過多以及過熱的風險，這樣不僅會導致缺氧窒息，還會引起嬰兒猝死綜合征。

1 系統(tǒng)設計

1.1 系統(tǒng)構成

此系統(tǒng)構成示意圖如圖1所示，系統(tǒng)硬件由微型電腦（樹莓派）、樹莓派適配攝像頭和電源3部分構成。其中，樹莓派為主要的控制模塊；樹莓派適配的攝像頭為信息采集模塊，實時采集嬰兒的圖片，再將信息傳輸進樹莓派的運行系統(tǒng)中進行軟件識別與處理；電源通過用樹莓派適配的usb轉mini接口的數(shù)據(jù)線來進行供電。當系統(tǒng)識別到嬰兒的異常情況時，會通過手機微信小程序給家長發(fā)送消息。該系統(tǒng)結構簡單，其實物是由3D打印的外殼封裝的樹莓派與攝像頭，如圖2所示，整個外殼為長方體，尺寸為12 cm×13.5 cm×5 cm。

1.2 工作原理

本系統(tǒng)主要運用了OpenCV[6]庫的人臉檢測和器官識別，以及Dlib[7]庫的人臉特征檢測。其中，OpenCV是一個開源的跨平臺計算機視覺和機器學習軟件庫，它可以運行在多種操作系統(tǒng)上，并且提供了多種語言接口。本系統(tǒng)在樹莓派上搭載了Raspberry Pi OS（Linux發(fā)行版）操作系統(tǒng)，又運用了python語言進行OpenCV等庫的調用以及軟件編寫。

本系統(tǒng)在視頻流中逐幀檢測人臉，判斷嬰兒的睡眠狀態(tài)，在檢測到異常后，解除視頻流對攝像頭的占用，拍取異常情況的照片，再申請企業(yè)微信應用程序接口（Application Programming Interface，API）[8]，通過微信小程序向家長推送寶寶睡眠狀態(tài)的照片以及文字提醒消息。主要的檢測有：口鼻是否被異物遮擋、寶寶是否有吐奶現(xiàn)象、是否睜眼以及是否在睡覺時張嘴。檢測到人臉之后，首先，判斷能否檢測到口鼻，從而判斷口鼻是否被異物遮擋；其次，通過裁剪出的口部圖片中白色像素點占比判斷是否大于預設值0.05，從而判斷寶寶是否吐奶；然后，通過比較眼睛長寬比是否大于預設值0.2，從而判斷寶寶是否睜眼睡醒；最后，通過判斷口部長寬比是否大于0.4，從而判斷寶寶是否在睡覺時張嘴。系統(tǒng)工作流程圖如圖3所示。

1.3 系統(tǒng)的場景應用

首先，該系統(tǒng)需要利用支架安裝在嬰兒床正上方，保證能拍到嬰兒的臉部，在寶寶睡覺時打開樹莓派的開關，程序開始運行且攝像頭開始監(jiān)控。當寶寶口鼻被異物遮擋時，微信上就會收到 “寶寶口鼻擋住了！”的消息及寶寶此時的照片，這樣家長可以在提示下及時幫寶寶移除異物；如果寶寶吐奶，微信上就會收到“寶寶吐奶了！”的消息及寶寶此時的照片，這樣家長可以在提示下及時幫寶寶清理；如果寶寶睜眼了，微信上就會收到 “寶寶醒了！”的消息及寶寶此時的照片，這樣家長可以在提示下及時關注寶寶動態(tài)；如果寶寶在睡覺過程中張開了嘴巴，微信上就會收到 “寶寶睡覺張嘴！”的消息及寶寶此時的照片。

2 系統(tǒng)功能的實現(xiàn)與驗證

在系統(tǒng)工作過程中，主要是利用嬰兒的圖片來模擬嬰兒的狀態(tài)，系統(tǒng)工作實物圖如圖4所示。

首先接通系統(tǒng)電源，攝像頭開始工作，緊接著分別對系統(tǒng)識別嬰兒4種狀態(tài)的功能進行驗證：

（1）嬰兒口鼻被遮擋：先將嬰兒正常睡覺的圖片放置到攝像頭前，然后切換到嬰兒口鼻被遮擋的圖片，觀察手機微信小程序中是否會收到信息提示以及其對異常情況的判斷是否準確，準確判斷下的信息提示如圖5（a）所示；

（2）嬰兒吐奶：先將嬰兒正常睡覺的圖片放置到攝像頭前，然后切換到嬰兒吐奶的圖片，觀察手機微信小程序中是否會收到信息提示以及其對異常情況的判斷是否準確，準確判斷下的信息提示如圖5（b）所示；

（3）嬰兒睡醒：先將嬰兒正常睡覺的圖片放置到攝像頭前，然后切換到嬰兒睜眼的圖片，觀察手機微信小程序中是否會收到信息提示以及其對異常情況的判斷是否準確，準確判斷下的信息提示如圖5（c）所示；

（4）嬰兒睡覺張嘴：先將嬰兒正常睡覺的圖片放置到攝像頭前，然后切換到嬰兒睡覺張嘴的圖片，觀察手機微信小程序中是否會收到信息提示以及其對異常情況的判斷是否準確，準確判斷下的信息提示如圖5（d）所示。

經(jīng)過驗證，當嬰兒臉部正對著攝像頭時，該系統(tǒng)對于口鼻是否被異物遮擋、是否睜眼以及是否在睡覺時張嘴的判斷均準確；而對于是否吐奶的判斷不太穩(wěn)定，同一張圖片的情況下白色像素的占比數(shù)據(jù)存在波動。

3 系統(tǒng)特點

（1）本系統(tǒng)針對3種嬰兒睡眠異常狀況進行識別與提醒：吐奶問題、口鼻被遮擋問題、張嘴睡覺問題，極大地降低了嬰兒睡眠期間的危險系數(shù)，且嬰兒醒了也會有提醒；

（2）本系統(tǒng)通過微信小程序發(fā)送嬰兒異常狀況的照片與文字提醒，不需要另外下載軟件，簡化了人機交互的流程；

（3）本系統(tǒng)的控制模塊是微型電腦——樹莓派，樹莓派功能強大，使得之后的功能擴展成為可能，并且整個系統(tǒng)輕便小巧，很適合在家里安裝使用。

4 結束語

隨著“二胎”和“三胎”政策的落地，母嬰市場需求將持續(xù)增長，看護輔助系統(tǒng)的市場亟待發(fā)展，同時，老齡化的加劇和生育年齡的延遲，嬰幼兒的看護任務逐漸加重。老人們無力幫忙看護孩子，父母們又需要兼顧家庭和工作，如何切實地降低看護工作的強度和減少看護時間是看護輔助系統(tǒng)的開發(fā)基點。本系統(tǒng)區(qū)別于其他如體征監(jiān)測、遠程、哭聲監(jiān)控等系統(tǒng)，該系統(tǒng)通過對監(jiān)控視頻流圖像的識別，實現(xiàn)了對寶寶吐奶以及睡覺張嘴等安全問題針對性的監(jiān)控，并且能通過微信小程序對不同異常情況向家長發(fā)出相應的提醒，以便家長及時采取干預措施。目前，該系統(tǒng)對于吐奶問題的識別不是非常準確，嬰兒正臉偏離攝像頭的程度與各種情況識別率之間的關系也尚不明確，接下來會從提高吐奶問題識別率與增加系統(tǒng)對嬰兒臉部未正對攝像頭情況的識別兩個方面對系統(tǒng)進行優(yōu)化。