基于機器視覺的智能寵物喂食機設計

摘 要：為解決目前寵物喂食機定時投喂功能易造成食物變質(zhì)或污染的問題，設計了一款智能寵物喂食機。該喂食機以Hi3861V100和Hi3516DV300為主控芯片，YOLOv2和ResNet-18為目標檢測和分類算法，當有寵物在喂食機前等待時，可智能識別寵物類型并投喂食物。該設計可根據(jù)寵物當天的進食量智能調(diào)節(jié)次日出糧量，在投喂時播放主人聲音、放松性音樂引導寵物進食，并具備喂食異常警報、寵物丟失警報等功能。經(jīng)過測試，該喂食機在識別不同品種寵物方面均有較高的準確率，喂食模塊各功能均達到了設計要求，工作穩(wěn)定可靠，具有一定的市場應用價值。

關(guān)鍵詞：寵物喂食；神經(jīng)網(wǎng)絡；寵物識別；Hi3861V100；Hi3516DV300；YOLOv2

中圖分類號：TP391.41 文獻標識碼：A 文章編號：2095-1302（2024）08-0-05

DOI：10.16667/j.issn.2095-1302.2024.08.028

0 引 言

隨著人們生活質(zhì)量的提高，寵物成為了越來越多家庭的成員，飼養(yǎng)寵物也成為越來越多家庭生活中的一部分。然而，許多飼養(yǎng)者因工作繁忙，生活壓力大，對寵物規(guī)律喂食成為一大難題。智能寵物喂食機這一產(chǎn)品的出現(xiàn)為這一問題提供了解決方案。目前市場上已經(jīng)有許多智能寵物喂食機[1]，根據(jù)各個網(wǎng)購平臺的銷售數(shù)據(jù)，市場上的智能寵物喂食機普遍具備定時定量投喂、語音引導進食、網(wǎng)絡遠程監(jiān)控喂食等功能[2]。但在實際使用中，仍存在一些問題，如定時定量投喂這一功能，若寵物未及時進食，投喂的食物在環(huán)境中放置過久很容易變質(zhì)或受污染，從而導致食物浪費甚至危害寵物的健康。

綜上所述，為解決目前智能寵物喂食方面存在的問題，基于機器視覺設計了智能寵物喂食機，當識別到寵物在喂食機前等待時再出糧，并在喂食過程中播放音樂引導寵物進食，根據(jù)寵物的進食量智能修改第二天的投喂量，且該喂食機具備異常報警功能，從而解決了寵物飼養(yǎng)者的后顧之憂[3]。

1 總體框架

本設計的總體框架如圖1所示。

寵物喂食機采用Hi3516DV300作為檢測模塊的主控芯片，將訓練好的貓狗識別系統(tǒng)和貓狗分類模型部署到開發(fā)板中，攝像頭采集視頻圖像傳輸?shù)桨鍍?nèi)處理并進行AI推理，將識別結(jié)果標注在屏幕上，通過串口將結(jié)果傳輸至Hi3861V100，若檢測到貓狗停留則投喂，并播放音頻引導寵物進食。采用Hi3861V100作為投喂模塊的主控芯片，控制各外設工作，使用HX711重力傳感器檢測出糧重量，SG90舵機控制出糧口開啟與關(guān)閉。引入RTC時鐘模塊，記錄寵物的進食次數(shù)及食物重量，根據(jù)算法智能調(diào)整第二天的投喂量，監(jiān)控喂食機是否發(fā)生投喂異常、寵物是否失蹤等。用戶可通過雙擊按鍵或APP手動投喂。使用OLED屏顯示每日喂食量及儲糧盒剩余糧食重量。

2 硬件設計

2.1 檢測模塊微控制單元

檢測模塊使用的微控制單元為Hi3516DV300芯片，其內(nèi)核Cortex-A7是ARM公司推出的基于ARMv7-A架構(gòu)的高能效處理器。Hi3516DV300為專業(yè)型Smart IP Camera SoC，集成了新一代ISP、H.265視頻壓縮編碼器和高性能NNIE引擎，可滿足用戶基于深度學習的計算機視覺開發(fā)、算法開發(fā)需求，在低碼率、高畫質(zhì)、智能處理和分析、低功耗等方面引領(lǐng)行業(yè)水平。Hi3516DV300可用于安防、抓拍、識別、車載應用等場景，用戶可基于OpenHarmony系統(tǒng)開發(fā)[4]。

2.2 投喂模塊微控制單元

投喂模塊使用的微控制單元為Hi3861V100芯片，這是一款高度集成的2.4 GHz SoC WiFi芯片，集成了IEEE 802.11b/g/n基帶和RF電路。RF電路包括功率放大器PA、低噪聲放大器LNA、RF balun、天線開關(guān)以及電源管理等模塊，其最大工作頻率為160 MHz，F(xiàn)LASH為程序存儲器，擁有SRAM靜態(tài)隨機存取存儲器，支持IPv4/IPv6網(wǎng)口和CoAP/MQTT/HTTP/JSON基礎(chǔ)組件，可通過開放操作系統(tǒng)Huawei LiteOS進行開發(fā)[5]。

2.3 稱重傳感器

使用HX711模塊精確檢測投喂食物重量，當達到目標重量后控制舵機關(guān)閉并記錄寵物進食量。

壓力傳感器采用電阻應變式橋式電路[6]，當應變式電阻受到外來力量的作用時會發(fā)生拉伸形變，從而改變電阻率，電阻應變式橋式電路將電阻變化值轉(zhuǎn)換為電壓值，輸出到

A/D轉(zhuǎn)換器中。

HX711是一款專為高精度稱重傳感器而設計的24位A/D

轉(zhuǎn)換器芯片，其具有集成度高、響應速度快、抗干擾性強等優(yōu)點。HX711芯片可單獨完成對壓力信號的處理及A/D轉(zhuǎn)換，Hi3861V100控制HX711讀取此時的A/D值，并通過線性方程的轉(zhuǎn)換獲得此時物體的精確重量。HX711模塊電路如圖2所示。

2.4 RTC時鐘模塊

設計通過引入RTC時鐘模塊DS1307增強IoT應用開發(fā)，根據(jù)I2C通信協(xié)議獲得精確的時間數(shù)據(jù)[7]，從而實現(xiàn)喂食異常警報、寵物失蹤警報、智能修改喂食計劃等功能。

3 軟件設計

3.1 AI算法設計

識別貓狗分兩步：貓狗檢測和貓狗分類。在貓狗檢測中，選用YOLOv2算法模型，該模型檢測速度快，能較快得到結(jié)果并將檢測框內(nèi)的圖像送入分類網(wǎng)進行分類。貓狗分類選用ResNet-18算法模型，該模型通過對特征層進行多次卷積提取大量特征信息，從而對貓狗圖片進行分類。

YOLOv2檢測網(wǎng)絡模型[8]如圖3所示，它的主體部分采用DarkNet-19網(wǎng)絡結(jié)構(gòu)。YOLOv2相比YOLOv1，在每個卷積層后添加了BN層[9]，加快了收斂速度，移除了DarkNet-19的最后一層卷積層、全局平均池化層和SoftMax層，將其修改為檢測模型，預測邊框引入Anchor機制[10]，提高了網(wǎng)絡的檢測速度。

ResNet網(wǎng)絡[11]由許多殘差塊構(gòu)成，殘差塊結(jié)構(gòu)如圖4所示。輸入多次卷積后，結(jié)果與輸入相加，充分利用不同特征層間的信息，有效解決了梯度消失或梯度爆炸問題，使得分類準確率大大提高。因為貓狗特征較明顯，卷積提取特征更為容易，且過深的網(wǎng)絡可能有過擬合的情況發(fā)生，故本設計采用ResNet-18網(wǎng)絡，其由17個卷積層和1個全連接層構(gòu)成，用于對貓狗的精確分類。

3.2 AI算法應用

將YOLOv2檢測出的目標圖像作為ResNet-18模型的輸入，由ResNet-18模型確定貓狗種類，實現(xiàn)精確檢測貓狗并對其進行分類的目的。需要訓練出2個神經(jīng)網(wǎng)絡模型并部署到板端。模型訓練流程如圖5所示。

分類網(wǎng)和檢測網(wǎng)的訓練過程如下。

（1）數(shù)據(jù)集制作

分類網(wǎng)的數(shù)據(jù)集制作分為3類：貓、狗和背景，各約一萬張；檢測網(wǎng)的數(shù)據(jù)集采用Labelme進行標注得到JSON文件，再由開源代碼將JSON文件轉(zhuǎn)化為txt文件，編寫Python腳本將txt文件去零化，將4個坐標為0的值置為1，緩解訓練時內(nèi)存緊張的問題，再編寫Python代碼將數(shù)據(jù)集作歸一化處理。

（2）算法模型設計

分類網(wǎng)采用經(jīng)典CNN神經(jīng)網(wǎng)絡模型ResNet-18，檢測網(wǎng)采用DarkNet深度學習框架的YOLOv2算法。

（3）模型訓練

上傳數(shù)據(jù)集至訓練服務器，導入訓練所需工程代碼，選擇訓練環(huán)境并配置訓練集進行訓練，得到Pytorch模型以及DarkNet模型。

（4）模型轉(zhuǎn)換

由于NNIE僅支持Caffe框架且使用開源代碼，故在Linux環(huán)境中完成Pytorch2Caffe及DarkNet2Caffe的轉(zhuǎn)換。

（5）模型量化及仿真

在RuyiStudio端完成對模型的量化，得到可部署到Hi3516DV300板端的wk文件[12]。

（6）板端推理及可視化

將模型部署到Hi3516DV300中，使用多張貓狗圖片進行推理驗證，根據(jù)串口輸出結(jié)果和MIPI屏所標注的識別結(jié)果進行調(diào)試驗證。

3.3 檢測模塊軟件設計

本設計在Hi3516DV300 SDK基礎(chǔ)上開發(fā)，利用海思媒體處理平臺完成信息處理，在媒體通路的基礎(chǔ)上通過捕獲VPSS幀進行預處理操作，并送至NNIE推理，結(jié)合AI CPU算子得到AI Flag，即得到貓狗檢測結(jié)果及分類結(jié)果，將視頻顯示在MIPI屏中并對目標畫框進行處理[13]。得到檢測結(jié)果的同時通過串口將結(jié)果發(fā)送至投喂模塊。Hi3861V100對接收的報文解包后，通過增加2個標志位實現(xiàn)連續(xù)8次識別貓或狗后執(zhí)行投喂操作，有效解決了識別誤差帶來的影響。媒體通路結(jié)構(gòu)與軟件設計方案如圖6、圖7所示。

3.4 投喂模塊軟件設計

文中設計了3種投喂方式供用戶選擇，分別是：喂食機智能喂食、用戶雙擊按鍵喂食、用戶手機APP遠程喂食。

喂食機智能喂食：需要檢測模塊連續(xù)識別到貓狗8次后，投喂模塊才會出糧。

用戶雙擊按鍵喂食：RTC時鐘模塊結(jié)合按鍵模塊，每秒清空一次按鍵標志計數(shù)位，當計數(shù)達到2時控制舵機旋轉(zhuǎn)進行投喂，防止誤觸。

用戶手機APP遠程喂食：Hi3861V100作為AP熱點，利用手機APP實現(xiàn)遠程控制設備投喂。

舵機模塊采用2個SG90舵機驅(qū)動貓狗糧儲物盒開關(guān)，通過輸出PWM實現(xiàn)舵機的45°轉(zhuǎn)動。

OLED顯示模塊通過I2C協(xié)議顯示貓狗糧儲糧盒的糧食重量與貓狗每日進食量。

重力傳感器稱重模塊采用2個HX711模塊，Hi3861V100發(fā)送A/D轉(zhuǎn)換數(shù)據(jù)，取8個值的平均值為重量數(shù)據(jù)，保證稱重靈敏度的同時減小誤差。

RTC時鐘模塊引入了DS1307模塊以增強IoT模塊的應用開發(fā)。

投喂檢測流程如下：

（1）每秒清空一次按鍵標志計數(shù)位，計數(shù)位達到2時控制舵機旋轉(zhuǎn)實現(xiàn)雙擊控制，防止誤觸；

（2）每5 s清一次OLED屏緩解OLED屏畫面的殘影

問題；

（3）每天計算寵物進食量并在第二天根據(jù)前一天的進食量改變當天的投喂方案，適應寵物因成長及其他因素帶來的食量變化；

（4）驅(qū)動舵機開始投喂后8 s未檢測到舵機關(guān)閉則發(fā)送數(shù)據(jù)到Hi3516DV300進行異常投喂警報，有效解決堵糧、空糧的投喂異常問題；

（5）一天未識別到寵物則發(fā)送數(shù)據(jù)到Hi3516進行語音

警報。

智能修改喂食方案如下：每天將前一天寵物總的進食量除以3得到新一天的單次喂食量。其中，總喂食量等于當天投喂次數(shù)乘以當天每次喂食量后減去剩余量的值，更改喂食量后重置喂食計數(shù)位。

投喂模塊的軟件設計方案如圖8所示。

4 測試驗證

為測試本智能寵物喂食機的性能，使用不同品種的貓狗照片多次測試AI識別準確度；對IoT模塊進行多次測試，檢查各模塊工作情況。貓狗識別如圖9、圖10所示。取100次

測試結(jié)果的平均值作為最終的性能指標，具體數(shù)值見表1～

表3所列。

5 結(jié) 語

由于工作或?qū)W習等原因，人們不能時刻陪伴在寵物身邊，寵物的喂食難題困擾著飼養(yǎng)者。目前，市場上寵物喂食機功能雖然完備，但仍有許多功能需改善。此次設計的智能寵物喂食機針對目前產(chǎn)品存在的缺點進行改進，實現(xiàn)了智能識別寵物并自動投喂的功能，極大減少了食物的浪費，較好地保障了寵物的飲食健康。該設備具備異常情況報警、智能修改每日投喂量、語音引導寵物進食等功能，此外，還提供了多種喂食方式供用戶選擇。本設計具有操作簡單、體積小、人性化、擴展性強、識別準確等特點，在智能寵物產(chǎn)品領(lǐng)域具有一定應用價值。

注：本文通訊作者為曾思明。

參考文獻

[1]俞悅，王韜.智能化寵物自動喂食機的設計[J].科技資訊，2015，13（29）：206.

[2]魏忠強.智能化的家養(yǎng)寵物喂食器設計要點探討[J].新型工業(yè)化，2022，12（4）：18-21.

[3]楊慶.以情感需求為導向的智能寵物貓喂食器設計研究[D].青島：青島大學，2020.

[4]趙秀良.基于海思平臺的人臉檢測方法研究[D].遼寧：遼寧石油化工大學，2021.

[5]郭德財，彭石林.基于海思芯片與鴻蒙操作系統(tǒng)的智慧灌溉系統(tǒng)設計[J].單片機與嵌入式系統(tǒng)應用，2022，22（3）：11-15.

[6]梁芳芳.基于HX711多功能的智能電子秤的設計[J].工程技術(shù)研究，2021，6（15）：136-140.

[7]章英永，姚文斌.時鐘芯片DS1307在人造板尺寸在線檢測系統(tǒng)中的應用[J].科技咨詢導報，2007，4（5）：180-181.

[8] REDMON J，F(xiàn)ARHADI A. YOLO9000：better，faster，stronger [C]// IEEE Conference on Computer Visionamp;Pattern Recognition. Honolulu，HI，USA：IEEE，2017：6517-6525.

[9] IOFFE S，SZEGEDY C. Batch normalization：accelerating deep network training by reducing internal covariate shift [C]// International Conference on Machine Learning. Lille， France：ACM，2015：448-456.

[10] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks [J]. Advances in neural information processing systems，2015，28：91-99.

[11] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA：IEEE，2016：770-778.

[12]錢宇騁，朱太云，曹旭航，等.基于Hi3559A的變電站人員闖入智能檢測系統(tǒng)[J].電網(wǎng)技術(shù)，2021，45（10）：4181-4188.

[13]顧洋. 基于海思Hi35系列平臺的工件檢測系統(tǒng)設計[D].上海：華東師范大學，2022.

收稿日期：2023-08-13 修回日期：2023-09-20

基金項目：國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目（202211845086）

作者簡介：曾 浩（2002—），男，研究方向為微電子科學與工程。

曾思明（1981—），男，博士，講師，研究方向為光電子材料與器件。

楊佳佳（2001—），女，研究方向為信息工程。