基于深度學(xué)習(xí)的無(wú)人機(jī)視頻采集系統(tǒng)設(shè)計(jì)

楊潤(rùn)豐 黎裕平 王曦 李銘釗

（1.東莞職業(yè)技術(shù)學(xué)院電子與電氣工程學(xué)院 廣東省東莞市 523808）

（2.蘇州天瞳威視電子科技有限公司 江蘇省蘇州市 215000 3.中電數(shù)據(jù)服務(wù)有限公司 北京市 100191）

深度學(xué)習(xí)技術(shù)是近年來(lái)人工智能領(lǐng)域取得的最重要的突破之一，在當(dāng)今計(jì)算機(jī)視覺(jué)領(lǐng)域獲得了巨大的成功，各種基于深度學(xué)習(xí)技術(shù)的應(yīng)用層出不窮。由于深度學(xué)習(xí)所需計(jì)算資源龐大，硬件要求高導(dǎo)致現(xiàn)今的深度學(xué)習(xí)技術(shù)在云端提供應(yīng)用服務(wù)，對(duì)于實(shí)時(shí)性要求極高的無(wú)人機(jī)來(lái)說(shuō)顯然不能接受。利用深度學(xué)習(xí)技術(shù)在無(wú)人機(jī)中進(jìn)行前景檢測(cè)和物體識(shí)別，需要通過(guò)搭載優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)，以定制化的嵌入式平臺(tái)設(shè)計(jì)保證精度的同時(shí)降低計(jì)算復(fù)雜度，達(dá)到實(shí)時(shí)處理的需求[1-2]。為了適用于深度學(xué)習(xí)技術(shù)，給深度學(xué)習(xí)提供大量可靠的視覺(jué)數(shù)據(jù)，所設(shè)計(jì)的無(wú)人機(jī)機(jī)載視頻采集系統(tǒng)需要快速、準(zhǔn)確地在小型化的嵌入式系統(tǒng)下完成視覺(jué)處理任務(wù)，實(shí)現(xiàn)無(wú)人機(jī)更有效的前景檢測(cè)功能。

1 系統(tǒng)平臺(tái)總體概述

無(wú)人機(jī)前景檢測(cè)嵌入式平臺(tái)包括視頻采集系統(tǒng)、視頻處理系統(tǒng)、機(jī)載通訊系統(tǒng)、數(shù)據(jù)采集分析存儲(chǔ)系統(tǒng)，如圖1 所示。視頻采集系統(tǒng)基于機(jī)器視覺(jué)的設(shè)計(jì)，解決分辨率低，動(dòng)態(tài)范圍低，成像質(zhì)量差，數(shù)據(jù)不能無(wú)損傳輸?shù)葐?wèn)題。對(duì)視頻處理采用FPGA+CPU+GPU 的設(shè)計(jì)架構(gòu)，以多進(jìn)程計(jì)算實(shí)現(xiàn)多節(jié)點(diǎn)間的通信和數(shù)據(jù)傳輸，通過(guò)多線程計(jì)算實(shí)現(xiàn)共享內(nèi)存多核系統(tǒng)的并行計(jì)算[3]，對(duì)核心圖像處理算法采用矢量化編程提高其在協(xié)處理器的計(jì)算速度，保證定位與識(shí)別精度并能降低計(jì)算復(fù)雜度，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)處理。數(shù)據(jù)采集分析存儲(chǔ)系統(tǒng)將原始視頻數(shù)據(jù)輸出到機(jī)載計(jì)算機(jī)，對(duì)原始視頻進(jìn)行編碼壓縮存儲(chǔ)和對(duì)視頻數(shù)據(jù)結(jié)構(gòu)化分析，保證系統(tǒng)高速運(yùn)行下采集到可靠的視頻圖像數(shù)據(jù)。

2 視頻采集系統(tǒng)

機(jī)載視頻采集系統(tǒng)可分為三個(gè)模塊：光學(xué)模塊，電子電路模塊和結(jié)構(gòu)模塊。該系統(tǒng)工作原理是平行光線通過(guò)光學(xué)模塊投影到電子電路模塊的傳感器上，電子電路模塊中的傳感器與圖像處理器相互配合，進(jìn)行一系列處理后產(chǎn)生信息數(shù)據(jù)和傳送。結(jié)構(gòu)系統(tǒng)主要是為上述兩系統(tǒng)提供固定裝置，用于保護(hù)和后期安裝等。

2.1 光學(xué)模塊

對(duì)于光學(xué)模塊，主要是光學(xué)成像鏡頭的選型，本設(shè)計(jì)采用Sunny 公司生產(chǎn)的4083A 車(chē)載鏡頭。該鏡頭搭配圖像傳感器的視場(chǎng)角是水平52°，垂直43°，對(duì)角70°，如圖2 所示。該視場(chǎng)角是一個(gè)較為折中的方案，在盡可能減少上下左右盲區(qū)的同時(shí)提供遠(yuǎn)處更大的成像[4]。該鏡頭光圈為F1.6，在低照度環(huán)境能獲得更多的進(jìn)光量，同時(shí)該鏡頭采用的是700nm 紅外截止片，能讓部分紅外光透過(guò)，在不嚴(yán)重影響畫(huà)面色彩的情況下能獲取到更多特征。通過(guò)這些配置后，經(jīng)過(guò)深度學(xué)習(xí)模型訓(xùn)練的識(shí)別率會(huì)更高。

圖1：無(wú)人機(jī)前景檢測(cè)嵌入式平臺(tái)架構(gòu)

2.2 電子電路模塊

相比工業(yè)用和家用環(huán)境，機(jī)載環(huán)境遠(yuǎn)比前兩者復(fù)雜惡劣，如行駛環(huán)境溫度有可能達(dá)-40℃-85℃；無(wú)人機(jī)在運(yùn)動(dòng)過(guò)程中，會(huì)遭遇非常多的震動(dòng)和沖擊，機(jī)載電磁環(huán)境也會(huì)異常復(fù)雜多變[5]?；谏鲜龅那闆r，選擇車(chē)規(guī)級(jí)、宇航級(jí)元器件作為設(shè)計(jì)選型的前提條件。

對(duì)于機(jī)載圖像傳感器，其工作環(huán)境決定了它與一般的圖像傳感器存在著較大的功能差異。面對(duì)全天候的工作環(huán)境，圖像傳感器最具挑戰(zhàn)的是黑夜，要求在低照度環(huán)境下能正常工作。無(wú)人機(jī)行駛的環(huán)境通常復(fù)雜多變和光線變化強(qiáng)烈，對(duì)機(jī)載圖像傳感器要求具有極高的動(dòng)態(tài)范圍[4]。另外，工作環(huán)境溫度變化大要求機(jī)載圖像傳感器能在高溫和低溫下能正常工作。本設(shè)計(jì)采用OmniVison 公司生產(chǎn)具有AEC-Q100 認(rèn)證的傳感器OV10640，工作溫度-40℃到+105℃，動(dòng)態(tài)范圍達(dá)120dB。

對(duì)于圖像處理器，本設(shè)計(jì)采用OmniVison 公司生產(chǎn)的OV490圖像處理器，該器件也通過(guò)AEC-Q100 認(rèn)證，同樣能夠在-40℃到+105℃的環(huán)境中工作。該器件在單芯片上實(shí)現(xiàn)鏡頭陰影校正、自動(dòng)白平衡、壞點(diǎn)祛除、去噪、幀內(nèi)混合、HDR 增益、色調(diào)映射、顏色插值、自動(dòng)曝光等功能，利用其圖像處理固件可簡(jiǎn)化視覺(jué)控制器對(duì)原始圖像數(shù)據(jù)的處理。

對(duì)于串行器，本設(shè)計(jì)采用Maxim Integrated 公司生產(chǎn)的MAX96705，該器件也通過(guò)AEC-Q100 認(rèn)證并且能夠在-40℃到+115℃的環(huán)境中工作。串行器的作用是將成像系統(tǒng)產(chǎn)生的并行數(shù)據(jù)轉(zhuǎn)換成串行數(shù)據(jù)通過(guò)雙絞線或同軸電纜傳送到處理器。對(duì)于一般成像系統(tǒng)，串行器并不是必要器件，例如OV490 可以直接通過(guò)數(shù)字視頻端口（Digital Video Port-DVP）或者M(jìn)IPI CSI-2 接口（Mobile Industry Processor Interface-MIPI，CMOS Sensor Interface- CSI）將數(shù)據(jù)傳輸?shù)教幚砥?，但這兩種數(shù)據(jù)傳輸方式都有數(shù)據(jù)線多，抗干擾能力差，傳輸距離短等致命缺點(diǎn)。本設(shè)計(jì)采用50Ω 同軸電纜作為傳輸介質(zhì)，使用高通濾波器和低通濾波器的組合將高頻信號(hào)和直流電源在同一根同軸電纜同時(shí)實(shí)現(xiàn)信號(hào)與電力的傳輸，大大減少通信電纜線束數(shù)量，如圖3 所示。

圖2：視場(chǎng)角示意圖

圖3：電源與信號(hào)分離電路

視頻采集電路結(jié)構(gòu)如圖4 所示。傳感器OV10640 為數(shù)據(jù)生產(chǎn)者，其產(chǎn)生大量的原始Bayer 數(shù)據(jù)通過(guò)MIPI CSI-2 傳輸給圖像處理器OV490，OV490 對(duì)數(shù)據(jù)進(jìn)行處理和分析后，通過(guò)I2C 總線對(duì)OV10640 進(jìn)行曝光、白平衡等參數(shù)的調(diào)節(jié)，形成一個(gè)閉環(huán)系統(tǒng)。處理后的數(shù)據(jù)通過(guò)DVP 接口傳輸?shù)郊忍囟嗝襟w串行鏈路（GMSL）串行器MAX96705，此串行器將數(shù)據(jù)按照GMSL 協(xié)議形成串行數(shù)據(jù)包，最后通過(guò)同軸電纜發(fā)送到處理器。攝像頭內(nèi)器件的電源來(lái)自于從同軸電纜里分離出來(lái)的直流電，但該電源因?yàn)殡妷哼^(guò)高而無(wú)法直接為其它器件供電，需要各級(jí)直流變直流（DC-DC）和低壓差線性穩(wěn)壓器（LDO）變換到合適的供電電壓。

圖4：視頻采集電路結(jié)構(gòu)圖

2.3 結(jié)構(gòu)模塊

機(jī)載攝像頭安裝在艙外，采用前殼后殼全封閉結(jié)構(gòu)，前殼與后殼之間采用橡膠圈密封，實(shí)現(xiàn)IP67 的防護(hù)等級(jí)[6]。材料采用AL-6061 鋁合金材質(zhì)，能提供比塑料材質(zhì)更加堅(jiān)固的防護(hù)，并且能有效屏蔽各種頻段的電磁干擾，為攝像頭內(nèi)部電子電路提供純凈的電磁工作環(huán)境。前殼上使用M12×0.5 的螺紋開(kāi)孔，用于鏡頭的固定。整體結(jié)構(gòu)如圖5 所示。

3 實(shí)驗(yàn)與分析

為了對(duì)比不同場(chǎng)景的視頻圖像數(shù)據(jù)，視頻采集系統(tǒng)實(shí)驗(yàn)裝置安裝在車(chē)輛中，通過(guò)在不同場(chǎng)地和不同時(shí)間的行駛進(jìn)行視頻圖像采集，攝像頭安裝在車(chē)后實(shí)景拍攝獲取的視頻圖像數(shù)據(jù)采用H264 編碼、10Mbps 碼率、25fps 幀率的MP4 格式存儲(chǔ)，靜態(tài)數(shù)據(jù)通過(guò)VLC 播放器從視頻文件中截取。攝像頭安裝位置為車(chē)的前擋風(fēng)玻璃內(nèi)側(cè)時(shí)，攝像頭必須搭配對(duì)應(yīng)的工裝防止前檔反射車(chē)內(nèi)物品，攝像頭光軸必須平行于地平線。攝像頭與錄制控制器之間的連線采用LMR-100同軸電纜，長(zhǎng)度為8m。具體場(chǎng)景視頻圖像數(shù)據(jù)的采集和分析如下：

（1）白天和夜晚同一距離的紅綠燈場(chǎng)景，如圖6 所示。白天紅綠燈箭頭清晰可分辨，晚上紅綠燈箭頭方向無(wú)法分辨。其原因是曝光值過(guò)高，動(dòng)態(tài)范圍不夠。

（2）白天和夜晚的城市快速路場(chǎng)景，如圖7 所示。在白天和夜晚均可分辨車(chē)體、標(biāo)識(shí)牌和車(chē)道線。

（3）夜晚對(duì)向近光燈與遠(yuǎn)光燈場(chǎng)景，如圖8 所示。在對(duì)向近光燈照射下，可以分辨出車(chē)體、車(chē)道線等物體。在遠(yuǎn)光燈照射下，基本無(wú)法分辨任何物體。其原因是攝像頭動(dòng)態(tài)范圍不夠。

（4）不同型號(hào)鏡頭（Sunny4083 與Sunny4108）在同一距離的紅綠燈場(chǎng)景，如圖9 所示。Sunny4083 的視野寬，但難以分辨遠(yuǎn)處紅綠燈，Sunny4108 的視野窄，但可以分辨遠(yuǎn)處紅綠燈。兩者配合使用可以減少盲區(qū)，提高遠(yuǎn)處物體的識(shí)別率。

（5）隧道出入口場(chǎng)景，如圖10 所示。在隧道入口和出口均可同時(shí)分辨隧道內(nèi)和隧道外的車(chē)道線和車(chē)體。

圖5：機(jī)載攝像頭結(jié)構(gòu)

（6）夜間城市快速路無(wú)路燈場(chǎng)景，如圖11 所示。夜晚快速路無(wú)路燈場(chǎng)景下可分辨車(chē)道線和車(chē)體。

（7）夜間市區(qū)道路場(chǎng)景，如圖12 所示。夜晚市區(qū)道路場(chǎng)景下可分辨車(chē)體、車(chē)道線與行人。

（8）地下停車(chē)場(chǎng)場(chǎng)景，如圖13 所示。地下停車(chē)場(chǎng)場(chǎng)景下可分辨標(biāo)識(shí)牌、車(chē)道線與車(chē)體。

另外，對(duì)水平52°與水平28°鏡頭進(jìn)行視野對(duì)比，如圖14 所示，水平52°鏡頭能采集到寬廣的場(chǎng)景視野。在使用同一規(guī)格攝像頭時(shí)，對(duì)關(guān)閉高動(dòng)態(tài)范圍圖像（High-Dynamic Range，HDR）與開(kāi)啟HDR 的效果進(jìn)行比較，如圖15 所示，開(kāi)啟HDR 時(shí)所采集的圖片更明亮，物體輪廓更清晰。

4 結(jié)論

無(wú)人機(jī)行駛環(huán)境復(fù)雜多變，場(chǎng)景的檢測(cè)和物體的識(shí)別有助于輔助無(wú)人機(jī)的行駛。本項(xiàng)目設(shè)計(jì)的無(wú)人機(jī)機(jī)載視頻采集系統(tǒng)作為視覺(jué)前端能應(yīng)對(duì)各種復(fù)雜場(chǎng)景和不同類型的光污染、視頻采集系統(tǒng)電路的各種頻段的電磁干擾、圖像數(shù)據(jù)傳輸穩(wěn)定性等問(wèn)題。使基于深度學(xué)習(xí)的嵌入式無(wú)人機(jī)定制化系統(tǒng)達(dá)到實(shí)時(shí)穩(wěn)定運(yùn)行的需求，實(shí)現(xiàn)更有效的前景檢測(cè)功能。

圖6：白天和夜晚紅綠燈場(chǎng)景

圖7：白天和夜晚城市快速路場(chǎng)

圖8：夜晚對(duì)向近光燈與遠(yuǎn)光燈場(chǎng)景

圖9：Sunny4083 與Sunny4108 紅綠燈場(chǎng)景

圖10：隧道入口和出口場(chǎng)景

圖11：夜晚快速路無(wú)路燈場(chǎng)景

圖12：夜晚市區(qū)道路場(chǎng)景

圖13：地下停車(chē)場(chǎng)場(chǎng)景

圖14：水平52°與水平28°鏡頭視野對(duì)比

圖15：同款攝像頭關(guān)閉HDR 與開(kāi)啟HDR 效果對(duì)比