楊潔亮 彭召旺 郭奕豐
(上海儀電數(shù)字技術(shù)股份有限公司 上海市 200233)
社會發(fā)展進入智能化、網(wǎng)聯(lián)化、數(shù)據(jù)化、信息化時代?!盎ヂ?lián)網(wǎng)+”、人工智能(Artificial Intelligence,AI)、“智能+”分別于2015年、2017年、2019年首次被寫入政府工作報告。2018年開始上海連年舉辦世界人工智能大會(World Artificial Intelligence Conference,WAIC),在大的發(fā)展環(huán)境下,各行各業(yè)都在轉(zhuǎn)型升級、賦能;AI作為當前最活躍的科技創(chuàng)新領(lǐng)域,已逐漸滲透進社會的各個領(lǐng)域。
新世紀以來,國家實施《科技創(chuàng)安》工程,使企業(yè)和住宅小區(qū)《安全與安寧》是其中最重要的一項內(nèi)容[1]。在“安防+AI”發(fā)展大趨勢下,AI等前沿技術(shù)與產(chǎn)業(yè)應(yīng)用不斷融合、加深,安防產(chǎn)業(yè)進入智能化廣泛應(yīng)用的新階段[2]。借助智能化安防技術(shù)、以科技構(gòu)建智能化安全防范設(shè)施,變“人防”為“技防”,通過安防管理平臺加強社區(qū)級安防管理水平,全天候、全方位解決最后一公里問題,對住宅小區(qū)、園區(qū)、企業(yè)、學校、醫(yī)院等社會基層單元進行有效安全防范管理,具有重要現(xiàn)實意義[3]。
產(chǎn)品定位是服務(wù)于智慧城市社區(qū)級安防管理,目標是配合社區(qū)級出入口、重點區(qū)域安裝的網(wǎng)絡(luò)攝像頭(Internet Protocol Camera,IPC)、網(wǎng)絡(luò)視頻錄像機(Network Video Recorder,NVR),實現(xiàn)出入口監(jiān)控及控制,對預設(shè)人群進行跟蹤監(jiān)測及安防預警[4,5]。產(chǎn)品化設(shè)計有別于純粹的技術(shù)開發(fā),須以節(jié)約資源、控制成本、經(jīng)濟實用、性能滿足使用需求為根本。本方案優(yōu)先利用社區(qū)范圍內(nèi)已部署的攝像頭,選擇高性能AI芯片設(shè)計邊緣計算終端[6],并采用深度學習算法實現(xiàn)無感目標識別,通過對來自網(wǎng)絡(luò)攝像頭的視頻圖像進行結(jié)構(gòu)化分析和預處理,與后臺管理平臺進行交互,最終將社區(qū)級結(jié)構(gòu)化事件傳遞給更高一級智慧城市數(shù)據(jù)云端平臺,提高社區(qū)級的安防管理的便捷性和有效性。
如圖1所示,整體架構(gòu)包括系統(tǒng)硬件、系統(tǒng)軟件、應(yīng)用軟件,所構(gòu)建邊緣計算終端(AI網(wǎng)關(guān))與管理平臺相結(jié)合,采用終端采集、終端識別,管理平臺可視化管理的運行模式。
圖1:產(chǎn)品整體架構(gòu)
社區(qū)級AI安防系統(tǒng)遵循“感知-計算-控制-統(tǒng)計”的管理邏輯,基于目標識別,從視頻/圖像捕獲、目標識別監(jiān)測、到后方平臺管理,形成一個完整的閉環(huán)系統(tǒng)。
2.1.1 優(yōu)先選用已部署的IPC
社區(qū)級安防終端產(chǎn)品的核心是目標識別,監(jiān)測目標需借助攝像頭,在智慧城市的建設(shè)過程中,已安裝部署大量IPC,應(yīng)優(yōu)先選用已部署的IPC。但這些IPC通常并不具備AI算力,無法對所拍攝視頻進行結(jié)構(gòu)化分析;雖然攝像頭廠商有具備AI能力的智能攝像頭,但直接替換海量的存量相機,經(jīng)濟上不太現(xiàn)實,可通過部署AI計算設(shè)備對視頻圖像進行分析,實現(xiàn)對普通IPC的AI賦能。這樣,一方面能夠充分利用已有資源,降低部署成本,另一方面也符合“安防+AI”的智能化需求。根據(jù)情況,也可以增設(shè)IPC或者NVR。
2.1.2 選擇邊緣部署
在AI科技領(lǐng)域,深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)在圖像識別分析、自然語言處理(Natural Language Processing, NLP)等方向得到了創(chuàng)新型應(yīng)用[7]。由于參數(shù)多,深度學習模型的訓練與推理對運算能力要求較高,所以,業(yè)界普遍歡迎具備良好并行運算能力的圖形處理器(Graphics Processing Unit,GPU)芯片以及專用的AI芯片;但大算力、高功耗(200W以上)、高價格的高端GPU產(chǎn)品更適合于算力集中式部署,且集中式部署對于視頻圖像分析而言存在較高的傳輸成本。與集中式部署相對的邊緣部署,因靠近攝像頭視頻圖像源,可大幅度降低傳輸成本,進而降低系統(tǒng)的整體成本,所以,選擇邊緣計算部署。
2.1.3 選擇適配型嵌入式終端
通常的目標識別算法,特別是深度神經(jīng)網(wǎng)絡(luò)框架,都是面向板卡GPU、部署在專用機架服務(wù)器上,其特點是并行計算能力快,適合十萬甚至百萬級大型目標庫的訓練、識別,但不足之處是價格昂貴、能耗高、體積大。對于小區(qū)級(人臉目標庫容量通常在數(shù)千人到幾萬),這類方案性價比太低,不實用。比較理想的實現(xiàn)關(guān)鍵技術(shù)的方案是將成熟的人臉識別算法或框架向嵌入式終端適配移植、測試優(yōu)化,如使用GPU廠商專有API移植,或按標準接口OpenCL移植。
作為一家廣電終端產(chǎn)品制造商,與市面主流芯片廠商建立有廣泛、深入的合作關(guān)系,在邊緣計算方面有著多種技術(shù)嘗試和積累。所設(shè)計的邊緣計算終端(AI網(wǎng)關(guān))見圖2所示,產(chǎn)品基于ARM架構(gòu)無風扇AIoT終端設(shè)備,搭載人工智能嵌入式平臺,搭載四核ARM處理器,支持4K@60fps,8路1080p@30fps,內(nèi)置WiFi、4G模塊及豐富的連接接口,運行Android 8.0及Linux BSP軟件包,支持同時解碼4路H.264視頻流。所用多核處理器支持互聯(lián)計算以及用于計算機視覺、人工智能和沉浸式多媒體的強大而節(jié)能的處理,適合下一代物聯(lián)網(wǎng)應(yīng)用,如虛擬現(xiàn)實、智能零售、工業(yè)物聯(lián)網(wǎng)、機器人等,功耗低(<6w)、體積小,非常適合小型尺寸和各種創(chuàng)新的智能IoT應(yīng)用。
圖2:AI邊緣計算終端
該終端發(fā)揮人臉抓拍分析機的功能,集成安防監(jiān)測的控制模塊,實際應(yīng)用時,根據(jù)具體用處,可有不同的展現(xiàn)形式,比如門禁控制終端、出入口人員往來檢測終端等。
AI邊緣計算終端發(fā)揮人臉識別終端作用,重點軟件邏輯描述如下。
2.3.1 人體距離探測及環(huán)境亮度感測
人臉識別終端產(chǎn)品的核心是人臉識別[8],為保證其必要、有效及節(jié)能地工作,采用人體距離檢測技術(shù)、環(huán)境光線感測技術(shù),如圖3所示為其工作裝置。
圖3:人體距離探測及環(huán)境亮度感測裝置
人體距離探測包括電源裝置、紅外線距離傳感器、距離感應(yīng)控制器、IPC或者NVR。紅外線距離傳感器檢測是否有人接近,距離感應(yīng)控制器內(nèi)置感應(yīng)芯片處理器,當距離感應(yīng)控制器判斷有人體接近時,開啟IPC或者NVR,進而系統(tǒng)從IPC或者NVR獲得人臉靜、動態(tài)圖像。紅外探頭具有開關(guān)裝置,距離感應(yīng)芯片被配置為能夠向開關(guān)裝置發(fā)送開關(guān)信號,以控制對應(yīng)紅外探頭的開啟和關(guān)閉。距離感應(yīng)控制器檢測到有人靠近才開啟攝像頭,有利于延長攝像頭壽命,特別是低成本的消費級攝像頭。
環(huán)境亮度感測包括電源裝置、環(huán)境亮度傳感器、光線感應(yīng)控制器、光線補償照明燈。環(huán)境亮度傳感器若檢測到亮度不夠,光線感應(yīng)控制器判斷會影響到IPC或者NVR的視頻圖像效果時,光線感應(yīng)控制器打開光線補償照明燈,對環(huán)境光線進行增益。IPC或者NVR若采用紅外線原理,此時,可免用環(huán)境亮度感測。
電源裝置給系統(tǒng)供電,向每個紅外線距離傳感器提供0.5~2A的額定工作電流,紅外線距離傳感器的個數(shù)根據(jù)需要彼此獨立設(shè)定;項目采用 GPIO擴展電路控制執(zhí)行機構(gòu)的開關(guān)信號;感應(yīng)的人體距離閾值、環(huán)境亮度閾值通過標定進行合理選擇,也可以采用分級閾值,不同閾值匹配不同的執(zhí)行控制策略。
2.3.2 終端軟件開發(fā)
終端軟件開發(fā)包含嵌入式集成開發(fā)以及與管理平臺間交互部分的軟件設(shè)計。終端本地設(shè)置有數(shù)據(jù)庫,滿足所負責區(qū)域的人臉結(jié)構(gòu)化數(shù)據(jù)存儲、所識別人臉數(shù)據(jù)計算和比對、訪問交互所產(chǎn)生數(shù)據(jù)的緩沖和存儲、軟件升級等的空間需求。終端的日常運行包括系統(tǒng)維護、固件升級、狀態(tài)監(jiān)測等終端管理功能,這些功能是實現(xiàn)可商用、可運維的必須基礎(chǔ)功能。
終端人臉識別處理器基于嵌入式SoC芯片而開發(fā),在芯片合作廠商支持下,以SoC芯片SDK(軟件開發(fā)工具Software Development Kit)包為基礎(chǔ)完成了嵌入式神經(jīng)網(wǎng)絡(luò)算法(NNS)、框架的適配移植,利用嵌入式內(nèi)置的并行計算硬件單元(DSP、GPU、NPU)執(zhí)行神經(jīng)網(wǎng)絡(luò)的測試訓練與推斷運算。終端軟件架構(gòu)如圖4所示。
圖4:終端軟件架構(gòu)
終端(網(wǎng)關(guān))一方面直接訪問IPC,另一方面與管理平臺間直接對接、交互,交互部分的開發(fā)語言為:C/C++,Java,Python,Linux shell script。設(shè)備終端與管理平臺間主要開發(fā)的功能清單如圖5所示。
圖5:終端與管理平臺間交互功能清單
2.3.3 陌生人識別與處理
對于人臉識別系統(tǒng)而言,若檢測到的人臉未注冊、登記,則無法識別出、匹配到所對應(yīng)的已注冊已登記人臉及身份信息,則視為陌生人。通常,陌生人在數(shù)據(jù)庫內(nèi)缺少唯一標識信息,難以進行歷史軌跡查詢與回溯。為實現(xiàn)陌生人的查詢回溯,在檢測到陌生人臉時,自動生成陌生人人臉標識號、人臉特征值并注冊到陌生人數(shù)據(jù)庫。每次檢測到新的人臉時,都會使用陌生人臉庫進行識別,判斷是否已經(jīng)在陌生人數(shù)據(jù)庫中注冊。若是,則寫入歷史記錄;若否,則按新的陌生人臉注冊到陌生人數(shù)據(jù)庫??紤]到陌生人的數(shù)量多,為確保系統(tǒng)性能,定期清理超過一定時限(如4周)的陌生人數(shù)據(jù)。
安防監(jiān)控管理平臺是應(yīng)用端軟件平臺,作為服務(wù)端,其在AI智能化應(yīng)用中擔當技術(shù)管理指揮官角色,是管理終端識別設(shè)備并展示數(shù)據(jù)的綜合管理后臺。搭建語言為Go Lang、HTML5+JavaScript(Vue、jQuery等框架)、MariaDB SQL數(shù)據(jù)庫、Redis緩存數(shù)據(jù)庫。主要有圖6所示功能模塊:登錄認證模塊、小區(qū)模塊、住戶模塊、設(shè)備人臉庫查詢、報表中心、系統(tǒng)設(shè)置、硬件對接服務(wù)等。
圖6:管理平臺主要功能清單
該管理平臺內(nèi)主要包含如下功能:
(1)系統(tǒng)管理:用戶/角色權(quán)限分配及管理;
(2)人員管理:居民人員信息、人員照片、樓棟信息,網(wǎng)關(guān)和數(shù)字攝像頭的管理,包含添加、修改、刪除、查詢等基本功能;入庫居民的分類標簽設(shè)置;
(3)日常運行:入庫居民的運動軌跡查詢,針對歷史記錄進行一鍵回放;支持對于特殊標簽的短信推送;實時數(shù)據(jù)可視化展示;歷史數(shù)據(jù)的數(shù)據(jù)可視化分析,人臉識別結(jié)果查詢;支持報警信息的分類及查詢;
(4)設(shè)備管理:設(shè)備配置;設(shè)備運行狀態(tài)監(jiān)控;設(shè)備的版本更新及遠程維護。
將IPC/NVR、AI邊緣計算終端(AI網(wǎng)關(guān))、安防監(jiān)控管理平臺、交換機、(近端/遠端)服務(wù)器接入同一個網(wǎng)絡(luò)環(huán)境,并進行網(wǎng)絡(luò)配置,即可完成一個社區(qū)級安防系統(tǒng)的網(wǎng)絡(luò)構(gòu)建,圖7所示即為網(wǎng)絡(luò)拓撲圖。
圖7:產(chǎn)品網(wǎng)絡(luò)拓撲圖
一個終端(AI網(wǎng)關(guān))可接入4路攝像頭,布局時根據(jù)實際情況靈活部署;AI安防監(jiān)控管理平臺是一個后端管理平臺,與終端(AI網(wǎng)關(guān))之間通過交換機進行交互,該平臺具有社區(qū)級數(shù)據(jù)處理功能;服務(wù)器是所謂的“云端”,可以是近端或者遠端服務(wù)器,近端布置在社區(qū)級、遠端例如是智慧城市數(shù)據(jù)平臺。管理平臺承擔日常運維管理功能,對終端(AI網(wǎng)關(guān))進行運維管理,包括軟件升級、狀態(tài)監(jiān)測,也可對攝像頭進行設(shè)備管理、狀態(tài)監(jiān)測;終端(網(wǎng)關(guān))能夠根據(jù)需求將數(shù)據(jù)上報給更上層的“云端”,以用于其進行大數(shù)據(jù)分析、規(guī)劃決策支持;進一步,社區(qū)級安防系統(tǒng)在終端的感知層與智慧城市運行平臺之間發(fā)揮承上啟下作用,將感知層上報的視頻結(jié)構(gòu)化數(shù)據(jù)根據(jù)業(yè)務(wù)策略加工、過濾后轉(zhuǎn)發(fā)給智慧城市高一級數(shù)據(jù)運行平臺。
截至目前,項目在某社區(qū)部署完成并開展了為期四個月的試運行。試運行期間,設(shè)備運轉(zhuǎn)正常。4臺AI網(wǎng)關(guān)共接入16個前端攝像頭,累計抓取1925220條數(shù)據(jù),每個網(wǎng)關(guān)抓取數(shù)據(jù)條數(shù)如表1所示,整套系統(tǒng)運行狀態(tài)良好穩(wěn)定。
表1:人臉網(wǎng)關(guān)抓取數(shù)據(jù)條數(shù)
同時,對單日連續(xù)24小時的實測數(shù)據(jù)進行了匯總,從識別總數(shù)、重復識別數(shù)、錯誤識別數(shù)、有效識別數(shù)、錯誤率、識別準確率維度,與其他產(chǎn)品的實測數(shù)據(jù)進行對比,如表2所示,本產(chǎn)品識別準確率達99.38%,效果顯著,性能優(yōu)異。
表2:與某平臺的實測數(shù)據(jù)對比
試運行后,又在某社區(qū)進行了實際部署,作為無感電子圍欄,用于記錄、報告特定高齡老人行動軌跡。圖8為安防系統(tǒng)的部分運行圖,8a為管理平臺的實時數(shù)據(jù)展示界面,8b為人臉比對數(shù)據(jù)界面。
圖8:社區(qū)級安防系統(tǒng)運行圖
通過采用攝像頭、人臉識別、邊緣計算終端、管理平臺、聯(lián)網(wǎng)技術(shù)共同打造社區(qū)級感知體系,實現(xiàn)立體防控、協(xié)同處置與智能決策,賦能安防管理,具有低成本、低功耗、高性能的特點。
(1)率先服務(wù)于老舊小區(qū),通過技術(shù)改造對原有數(shù)字攝像頭進行AI賦能,大大降低成本支出;
(2)人臉識別的結(jié)構(gòu)化數(shù)據(jù)可持久存儲于服務(wù)器,一鍵即可調(diào)取視頻回放、查看人臉比對情況,不必投入大量人力查看取證,降低人員成本;
(3)可開展數(shù)據(jù)分析,展示居民管理、樓棟管理、設(shè)備管理的數(shù)據(jù)分析結(jié)果,便于制定并提供安全策略服務(wù),提升社區(qū)整體服務(wù)質(zhì)量;
(4)能夠根據(jù)用戶需求設(shè)計個性化細分方案,挖掘更多場景,解決安全防范問題,提升客戶管理化應(yīng)用價值;
(5)對可疑人員、或者兒童、老人等關(guān)懷人群,可提供定向監(jiān)控服務(wù),通過信息化技術(shù)手段第一時間將數(shù)據(jù)同步給管理人員或者監(jiān)護對象家屬,有助于事件即時響應(yīng);
(6)未來延伸擴展,支持并滿足上層智慧城市遠程監(jiān)視管理需求。數(shù)據(jù)上報更上層的智慧城市數(shù)據(jù)平臺,助其進行大數(shù)據(jù)分析、規(guī)劃決策;或者相關(guān)數(shù)據(jù)與公安數(shù)據(jù)庫對接,為城市智能化安防提供新管道。