智能攝像頭白盒化技術(shù)方案研究

［李四維 林?。?/p>

1 智能攝像頭發(fā)展概況

國內(nèi)視頻監(jiān)控市場呈家庭化、民用化的發(fā)展趨勢。目前，家用智能攝像頭產(chǎn)品銷量以線上為主，據(jù)BCI 數(shù)據(jù)監(jiān)測，智能攝像頭市場過去2～3 年快速增長，現(xiàn)已達(dá)到平穩(wěn)發(fā)展階段；預(yù)計(jì)2021 年線上市場將較小幅度增長，如圖1 所示，銷量將達(dá)到1 070 萬部。

圖1 國內(nèi)智能攝像頭線上銷量數(shù)據(jù)

攝像頭品牌主要分為傳統(tǒng)監(jiān)控品牌和互聯(lián)網(wǎng)品牌，其中互聯(lián)網(wǎng)品牌中小米和360 占據(jù)較大的市場份額，而傳統(tǒng)品牌中如海康威視和大華等在原有業(yè)務(wù)的基礎(chǔ)上也加入智能領(lǐng)域，分別推出了螢石和樂橙等專注于智能攝像方面的產(chǎn)品。小米以低價銷售為策略，占據(jù)大部分低價格帶市場，螢石則更注重高端化市場。

2 智能攝像頭結(jié)構(gòu)

智能攝像頭的內(nèi)部主要是在傳統(tǒng)攝像頭的基礎(chǔ)上增加了數(shù)字化處理、數(shù)字視頻壓縮以及網(wǎng)絡(luò)接入功能，即將數(shù)字化的視頻信號轉(zhuǎn)換成符合網(wǎng)絡(luò)傳輸協(xié)議（如TCP/IP協(xié)議）的數(shù)據(jù)流，以便送到網(wǎng)上傳輸。能夠捕獲影像并直接通過IP 網(wǎng)絡(luò)進(jìn)行傳輸，從而使授權(quán)用戶能夠通過標(biāo)準(zhǔn)的基于IP的網(wǎng)絡(luò)基礎(chǔ)構(gòu)架，在本地或者遠(yuǎn)程地點(diǎn)實(shí)現(xiàn)觀看、存儲和管理視頻數(shù)據(jù)，或者監(jiān)聽該攝像機(jī)內(nèi)置麥克風(fēng)采集的現(xiàn)場聲音。從而，傳感器與處理能力比普通攝像頭要求更高，硬件能力更強(qiáng)。

2.1 硬件結(jié)構(gòu)

常見的智能攝像頭硬件結(jié)構(gòu)如圖2 所示，由前后蓋、PCB 板、鏡頭、紅外補(bǔ)光燈等組成，PCB 板上器件包括芯片、無線模塊、電源IC、電池、傳感器（PIR 人體感應(yīng)器）等。攝像頭中最重要的是芯片部分，分別為處理芯片和成像傳感器。

2.2 芯片

IPC SoC 芯片集成ISP 技術(shù)和視頻編解碼技術(shù)，具備高壓縮比的視頻編解碼技術(shù)的IPC SoC 芯片將逐步占領(lǐng)市場。主要廠家包括海思、德州儀器、安霸、MStar、國科微、富瀚微、升邁等，可以提供支持H.264/H.265 的IPC SoC，其中H.264/H.265 分4 種畫質(zhì)，分別是基本畫質(zhì)、進(jìn)階畫質(zhì)、主流畫質(zhì)、高級畫質(zhì)。

成像傳感器是將光信號轉(zhuǎn)化為電信號的裝置，是攝像頭中最為重要的部件之一，分為CCD 和CMOS 兩大類。相比于CCD，CMOS 雖然成像質(zhì)量不如CCD，但是CMOS 因?yàn)楹碾姷?、體積小、重量輕、集成度高、價格低迅速占領(lǐng)市場，目前除專業(yè)攝像機(jī)，大部分帶有攝像頭設(shè)備使用的都是CMOS。

3 智能攝像頭關(guān)鍵技術(shù)

智能攝像頭的構(gòu)成與技術(shù)相對穩(wěn)定和成熟，且實(shí)現(xiàn)智能攝像頭的監(jiān)控功能需要軟硬件的密切配合。智能攝像頭的關(guān)鍵技術(shù)包括紅外熱成像、圖像傳感技術(shù)、視頻處理技術(shù)、流媒體技術(shù)。

（1）紅外熱成像，利用紅外線的成像技術(shù)來探測夜間目標(biāo)，通過光電轉(zhuǎn)換將目標(biāo)物體的溫度分布圖像轉(zhuǎn)換成視頻圖像，可實(shí)現(xiàn)夜間和能見度低場景下的監(jiān)控，完成防煙霧、防火監(jiān)控，識別隱藏目標(biāo)和偽裝目標(biāo)。

（2）圖像傳感技術(shù)，利用感光二極管進(jìn)行光電轉(zhuǎn)換，將圖像轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)，監(jiān)控攝像頭的畫面?zhèn)鞲袕腃CD向CMOS 轉(zhuǎn)變，CMOS 探頭的集成度更高，成本更低。

（3）視頻處理技術(shù)，視頻處理分析功能通過人工智能技術(shù)實(shí)現(xiàn)圖像以及圖像描述建立映射關(guān)系，從而進(jìn)行圖像分析處理，減少降低人工勞動，實(shí)現(xiàn)運(yùn)動目標(biāo)跟蹤、運(yùn)動目標(biāo)分類、運(yùn)動目標(biāo)行為分析。

（4）流媒體技術(shù)，將音視頻文件經(jīng)過壓縮處理,存儲在網(wǎng)絡(luò)服務(wù)器上,通過網(wǎng)絡(luò)采用流式傳輸技術(shù)分段傳送，客戶端將起始幾秒的數(shù)據(jù)先下載到本地的緩沖區(qū)中，即開始播放，后面收到的數(shù)據(jù)會不斷輸入到緩沖區(qū),實(shí)現(xiàn)即時收看。優(yōu)點(diǎn)在于用戶不需要花費(fèi)很長時間將多媒體數(shù)據(jù)全部下載至本地后才能播放。

人工智能、深度學(xué)習(xí)等技術(shù)持續(xù)引入至智能攝像頭，可實(shí)現(xiàn)自定義區(qū)域偵測、人形跟蹤、聲音跟蹤等功能，但目前智能攝像頭具備AI 能力占比低。隨著人工智能與傳統(tǒng)監(jiān)控系統(tǒng)的加速融合，傳統(tǒng)的攝像頭正被賦予新的功能與任務(wù)。

4 攝像頭前端智能化挑戰(zhàn)

（1）環(huán)境約束性強(qiáng)，極端環(huán)境下成像質(zhì)量惡化。智能攝像頭應(yīng)用場景越來越多時，會遇到強(qiáng)光、反射光、玻璃，或者室內(nèi)照門口的情況，出現(xiàn)易反光、發(fā)白的情況影響監(jiān)控畫面效果，除了調(diào)整攝像頭角度外，普通智能攝像大多不具備這種處理復(fù)雜光線的能力。

（2）數(shù)據(jù)利用率低。隨著安防行業(yè)走向高清化與智能化的時代，視頻數(shù)據(jù)呈指數(shù)性增長。采集視圖數(shù)據(jù)無法充分解析，復(fù)雜場景無法有效識別，可用性不足。利用結(jié)構(gòu)化、聚類、大數(shù)據(jù)挖掘、深度學(xué)習(xí)等先進(jìn)技術(shù)對超大規(guī)模視頻圖片資源進(jìn)行綜合數(shù)據(jù)治理，實(shí)現(xiàn)從海量視頻數(shù)據(jù)中匯聚歸檔，簡歷標(biāo)準(zhǔn)化的數(shù)據(jù)管理體系。

（3）場景碎片化，應(yīng)用場景長尾化。用戶需求個性化，安防市場呈現(xiàn)出“長尾特征”，由于產(chǎn)品種類型號多、需求零散等，智能攝像頭市場碎片化的形態(tài)存在已久。智能化時代到來后，安防行業(yè)內(nèi)涌現(xiàn)出很多AI 感知智能需求的機(jī)會，此前未被滿足的客戶需求有了實(shí)現(xiàn)的可能，市場空間進(jìn)一步打開，但碎片化這一特征仍然存在，導(dǎo)致安防企業(yè)在市場競爭中很難集中發(fā)力。

5 智能攝像頭白盒化技術(shù)方案

“白盒化”的概念最早在服務(wù)器、交換機(jī)等IT 領(lǐng)域出現(xiàn)。為了更好地應(yīng)對日益增長的新業(yè)務(wù)需求，智能攝像頭需要一個更加靈活、更加開放、更加智能的解決方案。通過白盒化技術(shù)方案實(shí)現(xiàn)軟硬分離?？梢詭淼撵`活度提高是未來網(wǎng)絡(luò)架構(gòu)的發(fā)展趨勢，隨著通用硬件的進(jìn)一步發(fā)展，白盒化設(shè)備的成本和功耗可能進(jìn)一步降低。如圖3 所示，智能攝像頭白盒化方案匯聚AI 算法及增強(qiáng)網(wǎng)管功能，AI 算法轉(zhuǎn)換及打包發(fā)布，設(shè)備及應(yīng)用健康與安全監(jiān)控。采用標(biāo)準(zhǔn)化硬件接口，統(tǒng)一系統(tǒng)及IPC 接口，支持不同型號終端，支持不同芯片平臺。

圖3 智能攝像頭白盒技術(shù)方案系統(tǒng)架構(gòu)

通過AI 算法商城打造開放的合作產(chǎn)業(yè)鏈，豐富AI應(yīng)用，形成可持續(xù)運(yùn)營的產(chǎn)品體系。具體方式包括：第一是開放商城與架構(gòu)，實(shí)現(xiàn)算法公司和第三方開發(fā)者外部算法的移植，通過許可（license）或業(yè)務(wù)分成方式運(yùn)營；第二是算法轉(zhuǎn)換與移植，支持采用本地環(huán)境和訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)模型AI 框架；第三是實(shí)機(jī)/虛擬機(jī)調(diào)試，實(shí)機(jī)加載算法進(jìn)行實(shí)際環(huán)境測試和調(diào)整參數(shù)與虛擬機(jī)調(diào)試，通過云平臺模擬攝像頭算力，導(dǎo)入訓(xùn)練集測試和調(diào)整參數(shù)；第四是打包發(fā)布人臉識別、人形檢測、寵物檢測等算法到算法商城；按設(shè)備需求加載家庭室內(nèi)、門鈴貓眼、平安農(nóng)村等應(yīng)用場景。

運(yùn)營方、算法公司、第三方開發(fā)者可通過在算法商城發(fā)布算法，實(shí)現(xiàn)商城利潤分成，具體的發(fā)布流程如圖4所示。

圖4 AI 算法商城架構(gòu)

6 智能攝像頭發(fā)展趨勢

6.1 軟件定義攝像機(jī)帶給行業(yè)新顛覆

相較于傳統(tǒng)攝像機(jī)因軟硬件綁定而產(chǎn)生的應(yīng)用局限性，采用智能算法與硬件底座分離的設(shè)計(jì)理念，在硬件底座算力充足的情況，通過對攝像機(jī)前端算法的不斷在線迭代實(shí)現(xiàn)一次硬件投資、全生命周期內(nèi)算法可持續(xù)。從架構(gòu)上，“靈活、開放、敏于管理”的攝像機(jī)是軟件定義攝像機(jī)架構(gòu)是一個軟件系統(tǒng)的骨架，要改變的就是傳統(tǒng)的一體化架構(gòu)，打造一個靈活的、開放的、便于管理的軟件體系。

6.2 芯片、產(chǎn)品功能AI 化

傳統(tǒng)的智能監(jiān)控設(shè)備通常是在硬件上增加一顆CPU芯片-DSP、ARM 或者FPGA，負(fù)責(zé)完成攝像機(jī)內(nèi)部智能分析算法的運(yùn)算，能滿足當(dāng)前的需求，但卻限制了后期攝像機(jī)的升級空間。隨著城市場景日益復(fù)雜，對于人、車、物的分析深度和廣度要求也越來越高，提升單算法的精度，以及多細(xì)分場景下的智能算法并行已經(jīng)提上日程，算力瓶頸問題開始突顯。專業(yè)的AI 芯片算力高，最大功耗低，擁有極致性能低功耗，是最為理想的前端智能芯片。智能攝像頭逐漸步入智能階段，將持續(xù)引入人工智能如：自定義區(qū)域偵測、人形跟蹤、聲音跟蹤等。開放的OS，全景感知，開放架構(gòu)，多維感知。

6.3 廠商打造產(chǎn)業(yè)生態(tài)聯(lián)盟，生態(tài)逐步豐富

多數(shù)廠商推出的智能攝像頭為單品，單一地為攝像頭連接上互聯(lián)網(wǎng)監(jiān)控功能，部分廠商通過產(chǎn)品打造完整和全面的智能家居生態(tài)鏈平臺，使其在平臺化、生態(tài)鏈化發(fā)展方面形成新的格局，是智能攝像頭在發(fā)展過程將面臨的趨勢。