基于SoC的無(wú)人機(jī)航測(cè)視頻信息疊加設(shè)計(jì)與實(shí)現(xiàn)

(海軍航空大學(xué)青島校區(qū) 航空電子工程與指揮系，山東 青島 266041)

0 引言

菲涅爾透鏡光學(xué)助降系統(tǒng)(FLOLS)是基本的目視助降設(shè)備，是目前國(guó)際通用的著艦引導(dǎo)基本手段，其性能是決定航母編隊(duì)?wèi)?zhàn)斗力的關(guān)鍵[1]。為定量評(píng)估助降系統(tǒng)性能的關(guān)鍵指標(biāo)參數(shù)，提高著艦的安全性，降低事故率，需對(duì)光學(xué)助降裝置進(jìn)行定期標(biāo)校。文獻(xiàn)[2]通過有人直升機(jī)加裝差分GPS、高清攝像頭及視頻記錄器等，實(shí)現(xiàn)光學(xué)助降裝置的動(dòng)態(tài)標(biāo)校。通過有人飛機(jī)進(jìn)行相關(guān)作業(yè)時(shí)，存在空域協(xié)調(diào)難度大、周期長(zhǎng)，加裝專業(yè)設(shè)備過程繁瑣且存在安全隱患等不足，難以滿足日益增長(zhǎng)及多樣化的航測(cè)需求。隨著科學(xué)技術(shù)的發(fā)展，無(wú)人機(jī)以其機(jī)動(dòng)性好、生存能力強(qiáng)、費(fèi)用低廉、安全系數(shù)高、可重復(fù)利用等優(yōu)勢(shì)成為各類標(biāo)校任務(wù)的專用平臺(tái)[3-4]，可為光學(xué)助降裝置的日常定期校飛提供了一種全新的技術(shù)途徑和專用裝備。

在上述基于有人直升機(jī)或無(wú)人機(jī)的標(biāo)校系統(tǒng)中，標(biāo)校平臺(tái)沿下滑道按預(yù)定航線飛行時(shí)，確定航測(cè)相機(jī)成像畫面中光學(xué)助降裝置的瞄準(zhǔn)燈組和基準(zhǔn)燈在同一直線的精確時(shí)刻，進(jìn)而確定標(biāo)校平臺(tái)自身的瞬時(shí)空間位置是非常關(guān)鍵的工作。為獲取無(wú)人機(jī)航測(cè)平臺(tái)拍照瞬時(shí)的空間位置，首先需要獲取航測(cè)相機(jī)曝光成像瞬間的精確時(shí)間。通常有以下3種方法：

一是利用航測(cè)相機(jī)(一般為單反數(shù)碼相機(jī))閃光燈輸出的熱靴信號(hào)實(shí)現(xiàn)與機(jī)載GPS定位模塊輸出信息的同步；二是從航測(cè)相機(jī)內(nèi)CMOS或者CCD圖像傳感器芯片處直接獲取相機(jī)曝光瞬間的脈沖同步信號(hào)，由專用微處理器接收幀同步脈沖信號(hào)和解析GPS信息，由曝光脈沖同步信號(hào)觸發(fā)微處理器外部中斷，在中斷程序中接收并處理GPS模塊輸出的PPS秒同步信號(hào)及NMEA0183GPRMC語(yǔ)句中的時(shí)間信息，利用內(nèi)部定時(shí)器功能進(jìn)一步提取得到曝光時(shí)刻的精確時(shí)間；三是利用OSD(On Screen Display)芯片完成視頻幀和GPS信息的疊加，包括專用OSD芯片和嵌入在SoC芯片中的OSD IP核兩種形式。上述3種方法中，第一種方法的時(shí)間精度僅受相機(jī)快門曝光時(shí)間的影響，有較高的時(shí)間精度，且相機(jī)可選擇貨架產(chǎn)品進(jìn)行二次開發(fā)，可靠性高，成本低，通常需要定制專業(yè)的穩(wěn)定云臺(tái)和相機(jī)控制電路，主要用于大地測(cè)繪領(lǐng)域，一般工作在連拍模式下，無(wú)法進(jìn)行長(zhǎng)時(shí)間攝錄，且照片和時(shí)間戳信息通常分別存儲(chǔ)在相機(jī)和相應(yīng)的時(shí)間記錄裝置中，事后匹配工作量大，不利于數(shù)據(jù)的實(shí)時(shí)處理；第二種方法精度較高，在剔除系統(tǒng)級(jí)誤差后可達(dá)到微秒級(jí)同步，但是涉及專用相機(jī)的定制，涉及前端圖像傳感器的時(shí)序驅(qū)動(dòng)及高速數(shù)據(jù)緩存，對(duì)設(shè)計(jì)者的要求較高，技術(shù)復(fù)雜且成本高。第三種方法采用專用OSD芯片可實(shí)現(xiàn)視頻流和GPS時(shí)間、位置和姿態(tài)等信息的直接疊加，但是需要專門的硬件和軟件設(shè)計(jì)，系統(tǒng)集成度較低，尤其是視頻碼流在輸入到OSD芯片之前已經(jīng)經(jīng)過編碼壓縮，編碼耗時(shí)與主控芯片性能有關(guān)，在幾毫秒到幾十毫秒之間不等。如采用帶有OSD功能的SoC芯片，則不需要額外的硬件設(shè)計(jì)，集成度較高，只需要調(diào)用OSD功能的相關(guān)API接口，且可以在視頻幀編碼壓縮之前進(jìn)行信息疊加，大大提高了時(shí)間同步的精度。

為獲取光學(xué)助降系統(tǒng)無(wú)人機(jī)標(biāo)校平臺(tái)航測(cè)相機(jī)瞬時(shí)成像的精確時(shí)間，實(shí)現(xiàn)視頻幀和機(jī)載GPS模塊輸出信息的同步，進(jìn)而確定曝光時(shí)刻航測(cè)相機(jī)鏡頭投影中心的精確位置和姿態(tài)信息。根據(jù)無(wú)人機(jī)標(biāo)校系統(tǒng)的工作流程和整體需求，本文設(shè)計(jì)了一種基于SoC的無(wú)人機(jī)航測(cè)視頻信息疊加方法，充分利用SoC內(nèi)的嵌入式ARM核和媒體處理平臺(tái)資源，實(shí)現(xiàn)無(wú)人機(jī)航測(cè)視頻流的實(shí)時(shí)采集、預(yù)處理、信息疊加和編碼壓縮，具有集成度高、功耗低和開發(fā)靈活等優(yōu)點(diǎn)。

1 無(wú)人機(jī)標(biāo)校系統(tǒng)組成及標(biāo)校方法

菲涅爾透鏡光學(xué)助降系統(tǒng)設(shè)在航空母艦中部左弦的一個(gè)平臺(tái)，以盡可能使透鏡發(fā)射的光束不受航空母艦搖擺的影響，其指示燈組件如圖1所示。該助降系統(tǒng)發(fā)出的相對(duì)海平面保持一定傾斜角的 5 層光波束，每層下滑光波束都對(duì)應(yīng)著一條光學(xué)下滑道[5]。

圖1 菲涅爾光學(xué)助降系統(tǒng)指示燈組件示意圖

圖2中，陰影部分表示下滑基準(zhǔn)光波束，也稱理想下滑道，理想下滑道基準(zhǔn)角為4°。符號(hào)H、H、OK、L、L表示飛機(jī)相對(duì)于理想下滑道的位置，分別表示高、稍高、正好、稍低、低。

圖2 菲涅爾光學(xué)助降系統(tǒng)下滑光波束示意圖

基于無(wú)人機(jī)平臺(tái)的校飛系統(tǒng)包括機(jī)載系統(tǒng)和地面顯控端兩部分，如圖3所示。其中無(wú)人機(jī)機(jī)載端包括無(wú)人機(jī)平臺(tái)，高清航測(cè)相機(jī)(含云臺(tái))、視頻記錄及處理模塊、GPS/IMU模塊和圖傳電臺(tái)及天線等設(shè)備；地面顯控端包括無(wú)人機(jī)地面站、差分GPS基準(zhǔn)站，圖傳電臺(tái)及天線等。無(wú)人機(jī)攜帶任務(wù)載荷按規(guī)劃的航路沿光學(xué)下滑道飛行，通過穩(wěn)定云臺(tái)實(shí)現(xiàn)航測(cè)相機(jī)的穩(wěn)定拍攝，避免出現(xiàn)圖像晃動(dòng)、抖動(dòng)問題?；赟oC芯片的視頻記錄與處理模塊通過HDMI接口實(shí)時(shí)接收、處理前端航測(cè)相機(jī)的視頻流，同步接收GPS/IMU模塊輸出的PPS秒脈沖和時(shí)間、位置、姿態(tài)等信息，利用SoC內(nèi)的OSD功能模塊完成上述信息與單幀視頻的疊加，完成信息疊加后進(jìn)一步進(jìn)行視頻碼流的編碼壓縮，一路視頻本地存儲(chǔ)，另一路視頻通過圖傳實(shí)時(shí)傳輸至地面站，便于地面飛手操控?zé)o人機(jī)調(diào)整其高度及姿態(tài)。地面顯控端實(shí)時(shí)顯示視頻以及無(wú)人機(jī)的位置、姿態(tài)和飛控信息，地面無(wú)人機(jī)操控飛手根據(jù)目標(biāo)在畫面中的情況，及時(shí)調(diào)整無(wú)人機(jī)的高度和姿態(tài)。

圖3 無(wú)人機(jī)校飛平臺(tái)組成示意圖

以陸基光學(xué)助降系統(tǒng)標(biāo)校為例，標(biāo)校流程如下：無(wú)人機(jī)搭載任務(wù)載荷在跑道的中心延長(zhǎng)線上起飛，根據(jù)無(wú)人機(jī)平臺(tái)距離菲涅爾燈組的水平距離Hr確定理想飛行高度Hv，如水平距離Hr為1 000 m時(shí)，高度約為70 m。在地面顯控端根據(jù)圖傳實(shí)時(shí)傳輸?shù)母咔鍞z錄系統(tǒng)傳輸畫面，調(diào)整無(wú)人機(jī)的位置高度和姿態(tài)。在不同水平距離處對(duì)應(yīng)的理想高度懸停連續(xù)攝錄。菲涅爾光學(xué)助降系統(tǒng)指示燈組件示意圖如圖1所示，若圖中“肉球”在綠色基準(zhǔn)燈的上方，表明此刻飛機(jī)飛高了，需要降低無(wú)人機(jī)的高度。無(wú)人機(jī)平臺(tái)在光學(xué)下滑道上下往返連續(xù)拍攝，事后選擇“肉球”與基準(zhǔn)燈在一條線上的視頻幀，提取單幀視頻對(duì)應(yīng)的時(shí)間、位置和姿態(tài)信息，進(jìn)而確定視頻幀成像時(shí)刻航測(cè)相機(jī)投影中心的精確空間位置。最后，通過坐標(biāo)轉(zhuǎn)換，將無(wú)人機(jī)航測(cè)相機(jī)投影中心處的GPS坐標(biāo)變換到以菲涅爾燈焦點(diǎn)為原點(diǎn)的站心坐標(biāo)系，計(jì)算當(dāng)前時(shí)刻的下滑角，根據(jù)各燈光分層張角計(jì)算燈組的總張角。

2 無(wú)人機(jī)視頻信息疊加模塊硬件組成

無(wú)人機(jī)標(biāo)校平臺(tái)機(jī)載端視頻記錄及處理模塊以海思SoC芯片Hi3520D為核心，完成航測(cè)相機(jī)輸出視頻流的采集、預(yù)處理、OSD疊加、編碼壓縮、與GPS/IMU模塊的數(shù)據(jù)通信以及系統(tǒng)控制等功能。Hi3520D是一款基于ARM Cortex A9處理器內(nèi)核以及視頻硬件加速引擎的高性能通信媒體處理器，是針對(duì)多路NVR產(chǎn)品開發(fā)的專業(yè)SoC芯片，可實(shí)現(xiàn)HDMI+VGA 1080P@60fps同源輸出+2路CVBS輸出，集成了OSD和H.264編解碼IP核且提供了豐富的外圍接口，主頻可以達(dá)到660 MHz，可滿足HDMI+VGA1080P@60fps實(shí)時(shí)編碼同源輸出[6]。

機(jī)載端視頻處理平臺(tái)組成示意圖如圖3所示?；贖i3520D的視頻信息疊加硬件平臺(tái)包括電源模塊、存儲(chǔ)器模塊、視頻模塊和其他接口模塊。電源模塊從底部引入DC12V和DC5V，通過電源轉(zhuǎn)換芯片后給不同功能供電。存儲(chǔ)器模塊包括4片16bit的DDR內(nèi)存，每片512 MB，共計(jì)2 GB。Flash部分為一片32MB的SPI NOR Flash。視頻處理模塊接口包括一個(gè)輸入HDMI接口，用于從航測(cè)相機(jī)接收原始視頻流數(shù)據(jù)，一個(gè)輸出的RJ45以太網(wǎng)接口，速率支持10Mbit/s或100Mbit/s，用于連接無(wú)線圖傳模塊。其他接口包括兩個(gè)標(biāo)準(zhǔn)的RS232串口，紅外IR、RS485接口等，其中RS232串口可支持1200～115200 bit/s波特率的收發(fā)，分別用于控制云臺(tái)和接收GPS/IMU模塊的時(shí)間、姿態(tài)和位置等信息。GPS/IMU模塊選用諾瓦泰SPAN-IGM-A1一體式MEMS組合導(dǎo)航系統(tǒng)，該模塊具有體積小、重量輕和性能高等優(yōu)點(diǎn)，通過特有的緊耦合技術(shù)，融合各傳感器原始測(cè)量數(shù)據(jù)，可以輸出包括位置、姿態(tài)、速度、高程、角速度和加速度等導(dǎo)航狀態(tài)信息，其中IMU和INS定位數(shù)據(jù)更新率高達(dá)200 Hz，支持USB、RS232和CAN等多種接口，本方案中選用RS232接口和Hi3520D連接。

圖4 機(jī)載端視頻處理平臺(tái)組成示意圖

3 無(wú)人機(jī)視頻信息疊加的實(shí)現(xiàn)

由標(biāo)校方法及流程可知，確定無(wú)人機(jī)平臺(tái)航測(cè)相機(jī)拍照瞬間的精確位置是光學(xué)助降裝置光學(xué)下滑道指示角度測(cè)量的關(guān)鍵，實(shí)現(xiàn)航測(cè)相機(jī)曝光時(shí)間與GPS/IMU的同步是關(guān)鍵工作之一。海思SOC芯片內(nèi)包括ARM核和媒體處理平臺(tái)(MPP，Media Process Platform)兩部分，其中ARM核心處理器的主要功能是完成與外設(shè)的通信及控制，ARM核外圍接口豐富，通常支持實(shí)時(shí)時(shí)鐘RTC、串口UART、IIC接口、SPI接口、SDIO接口、USB接口和網(wǎng)絡(luò)接口，媒體處理平臺(tái)包括音、視頻處理相關(guān)的驅(qū)動(dòng)，并向應(yīng)用層提供封裝好的API接口，可以控制硬件層芯片實(shí)現(xiàn)相應(yīng)功能。MPP對(duì)應(yīng)用層屏蔽了硬件芯片的底層處理細(xì)節(jié)，支持應(yīng)用軟件快速開發(fā)多種軟件功能。

本方案中，基于海思Hi3520D芯片的視頻信息疊加使用海思提供的媒體處理平臺(tái)MPP[7]實(shí)現(xiàn)視頻流的預(yù)處理、OSD疊加、H.264編碼等功能，通過平臺(tái)提供的MPI接口完成相關(guān)功能。MPP內(nèi)部視頻碼流處理流程如圖5所示。

圖5 MPP內(nèi)部碼流處理流程

MPP內(nèi)部功能主要可分為：視頻輸入(VI)、視頻處理子系統(tǒng)(VPSS)和視頻編碼(VENC)等功能子模塊。VI接口模塊，作為視頻接口(如HDMI)的輸出接收端，將原始視頻數(shù)據(jù)導(dǎo)入到媒體處理平臺(tái)存入到指定的內(nèi)場(chǎng)區(qū)域。視頻采集模塊VI采集的視頻首先輸入到視頻物理通道，然后送入到視頻處理子系統(tǒng)VPSS對(duì)圖像進(jìn)行統(tǒng)一預(yù)處理，如去燥、縮放和銳化等，視頻數(shù)據(jù)在VPSS處理完成后進(jìn)入VENC子模塊，在VENC中進(jìn)行H.264壓縮編碼。

無(wú)人機(jī)航測(cè)視頻信息疊加流程如圖6所示，主要工作包括初始化媒體處理平臺(tái)、啟動(dòng)視頻處理子系統(tǒng)、開啟視頻編碼器，最后打開視頻輸出通道。

圖6 視頻信息疊加流程圖

各功能模塊工作流程如下：

1)系統(tǒng)初始化，包括系統(tǒng)時(shí)鐘的初始化、GPIO口的初始化和主線程的狀態(tài)設(shè)置；

2)視頻信息疊加線程初始化，等待采集模塊配置完成，主要包括配置視頻的高度、寬度、是否隔行、幀率等信息的配置。同時(shí)初始化MPP系統(tǒng)為后續(xù)模塊提供開發(fā)平臺(tái)并初始化MPP視頻緩存池，同時(shí)創(chuàng)建視頻緩存池；

3)視頻流送入到VI通道，完成視頻物理通道的參數(shù)配置和綁定，確保輸入視頻和通道屬性的一致；

4)完成視頻流通道綁定后，分別進(jìn)行VPSS模塊和VENC的參數(shù)配置，本平臺(tái)將編碼器碼流類型設(shè)置為H.264，編碼器幀率控制方式設(shè)置為CBR模式；

5)若相關(guān)子模塊均配置成功，則從公共視頻緩存池?cái)?shù)據(jù)流中按視頻幀獲取視頻碼流，當(dāng)檢測(cè)到幀同步頭標(biāo)志時(shí)，調(diào)用OSD子程序，同時(shí)從串口緩存中讀取GPS/IMU模塊發(fā)送的最新時(shí)間、位置、姿態(tài)等信息，進(jìn)行視頻信息疊加；

6)完成OSD信息疊加后，VENC模塊調(diào)用API接口，根據(jù)H264協(xié)議對(duì)疊加信息后的視頻流進(jìn)行編碼壓縮；

7)VENC編碼模塊完成H264編碼后，編碼模塊釋放內(nèi)存，同時(shí)Linux系統(tǒng)下的碼流接收線程對(duì)編碼后的視頻流分兩條路徑進(jìn)行處理，將主碼流保存在機(jī)載端存儲(chǔ)器中，次碼流送入到網(wǎng)絡(luò)接口經(jīng)圖傳發(fā)送至地面顯控端。

4 整機(jī)調(diào)試與性能分析

各功能模塊調(diào)試成功后，按照無(wú)人機(jī)標(biāo)校系統(tǒng)方案整合，進(jìn)行聯(lián)合調(diào)試。視頻流分辨率配置1080P@30fps，GPS/IMU模塊的數(shù)據(jù)輸出率為100 Hz，串口速率配置為115200 bit/s。圖7為視頻信息疊加效果圖，本硬件設(shè)計(jì)通過樣機(jī)驗(yàn)證，可實(shí)現(xiàn)對(duì)視頻流的實(shí)時(shí)接收、處理和信息疊加。除GPS/IMU模塊輸出的信息外還包括相應(yīng)的飛控信息，便于飛手掌控?zé)o人機(jī)的狀態(tài)信息。驗(yàn)證效果表明，圖像清晰流暢，運(yùn)行穩(wěn)定無(wú)卡頓現(xiàn)象，單幀視頻圖像上能疊加毫秒級(jí)的時(shí)間信息。

圖7 視頻疊加效果圖

由于GPS/IMU模塊輸出信息與視頻幀未能完全同步，在進(jìn)行信息疊加時(shí)會(huì)有一定的時(shí)間誤差，如圖8所示。影響視頻幀與GPS/IMU模塊輸出信息的同步精度主要有兩方面因素：一是GPS/IMU模塊的數(shù)據(jù)輸出率為100 Hz，疊加時(shí)時(shí)間不確定度為20 ms，；二是商用Linux系統(tǒng)為非實(shí)時(shí)系統(tǒng)，涉及線程切換時(shí)會(huì)有一定的延時(shí)。文獻(xiàn)[8]運(yùn)用相關(guān)工具對(duì)切換時(shí)間進(jìn)行統(tǒng)計(jì)，標(biāo)準(zhǔn)Linux內(nèi)核峰值達(dá)到500 μs，最高甚至達(dá)到9166 μs。綜合上述兩類誤差，其時(shí)間同步誤差最高可達(dá)30 ms，均值在15 ms左右?？紤]到實(shí)際標(biāo)校時(shí)選用多旋翼無(wú)人機(jī)，在懸停拍攝時(shí)，無(wú)人機(jī)懸停速度較低，通常在1m/s內(nèi)，由于時(shí)間不確定造成的定位誤差在1～2 cm，滿足標(biāo)校系統(tǒng)精度需求。

圖8 GPS/IMU模塊輸出信息與視頻同步誤差示意圖

5 結(jié)語(yǔ)

無(wú)人機(jī)平臺(tái)應(yīng)用于光學(xué)助降系統(tǒng)光學(xué)下滑道標(biāo)校時(shí)，需要獲取無(wú)人機(jī)標(biāo)校平臺(tái)航測(cè)相機(jī)瞬時(shí)成像的精確時(shí)間，進(jìn)而確定對(duì)應(yīng)時(shí)刻的航測(cè)相機(jī)成像中心位置的精確位置和姿態(tài)信息。本文在梳理航測(cè)相機(jī)視頻幀和GPS信息同步方法的基礎(chǔ)上，提出了一種基于SoC的無(wú)人機(jī)視頻信息疊加方法。充分利用SoC內(nèi)的嵌入式ARM核和媒體處理平臺(tái)資源，具有開發(fā)靈活、功耗低和集成度高等優(yōu)點(diǎn)。