基于ARM11的高清網(wǎng)絡(luò)實(shí)時(shí)監(jiān)控系統(tǒng)

劉偉杰 李博

摘 要： 針對(duì)高清遠(yuǎn)程監(jiān)控帶來傳輸帶寬增加的壓力和時(shí)延、保存監(jiān)控視頻的周期短的問題，設(shè)計(jì)一種基于ARM11的高清網(wǎng)絡(luò)實(shí)時(shí)監(jiān)控系統(tǒng)。采用USB攝像頭基于V4L2接口采集圖像，結(jié)合H.265視頻編解碼技術(shù)，以RTP協(xié)議打包封裝H.265視頻碼流經(jīng)網(wǎng)絡(luò)傳輸?shù)絎eb服務(wù)器，利用CGI，JavaScript技術(shù)實(shí)現(xiàn)多種智能終端登錄瀏覽器顯示監(jiān)控畫面，在此基礎(chǔ)上實(shí)現(xiàn)在LCD終端實(shí)時(shí)顯示監(jiān)控畫面。經(jīng)測(cè)試，該監(jiān)控系統(tǒng)畫面清晰無抖動(dòng)，網(wǎng)絡(luò)延時(shí)在500 ms以內(nèi)，視頻壓縮比在130左右，滿足高清視頻監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)。

關(guān)鍵詞： ARM11; V4L2接口; 網(wǎng)絡(luò)實(shí)時(shí)監(jiān)控; RTP協(xié)議; Web服務(wù)器; LCD終端

中圖分類號(hào)： TN949.197?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）12?0047?05

Abstract： In allusion to the problems of pressure and delay caused by transmission bandwidth increase， and short period of stored monitoring videos in high?definition remote monitoring， a real?time monitoring system for high?definition network based on ARM11 is designed. The USB camera is used to collect images on the basis of V4L2 interface. By combining with the H.265 video codec technology， the H.265 video code streams are packaged and encapsulated by using the RTP protocol， and transmitted to the Web server via network. The CGI and JavaScript technologies are used to realize multiple intelligent terminals′ login onto the browser for the display of monitoring screen， and on the basis of which， the real?time display of monitoring screen on the LCD terminal can be realized. The test results show that the monitoring system has clear images without any jitter， network delay within 500 ms， and video compression ratio of about 130， which can meet the storage requirement of monitoring data for high?definition videos.

Keywords： ARM11; V4L2 interface; network real?time monitoring; RTP protocol; Web server; LCD terminal

隨著安全性意識(shí)逐漸提高，安防監(jiān)控在公共安全、交通安全和工業(yè)生產(chǎn)等各個(gè)方面起到至關(guān)重要的作用，傳統(tǒng)的本地模擬監(jiān)控已經(jīng)無法滿足重要領(lǐng)域的大范圍、遠(yuǎn)距離監(jiān)控的需求，網(wǎng)絡(luò)視頻監(jiān)控以其不受地區(qū)、時(shí)間限制，在授權(quán)的情況下可以隨時(shí)按需監(jiān)控，實(shí)現(xiàn)即插即用即看，使用方式相當(dāng)便捷，已經(jīng)成為監(jiān)控發(fā)展的新趨勢(shì)。目前網(wǎng)絡(luò)監(jiān)控高清已經(jīng)成為主流，視頻編碼方面已經(jīng)由應(yīng)用廣泛H.264標(biāo)準(zhǔn)發(fā)展到最新H.265標(biāo)準(zhǔn)，H.265標(biāo)準(zhǔn)是繼承H.264的架構(gòu)并且采用了多種編碼的新技術(shù)，相比H.264編解碼技術(shù)H.265能夠更好地支持高清視頻;同樣質(zhì)量的圖像，H265比H.264有20%～40%的碼流節(jié)省并且壓縮視頻占用空間是后者的1/3～1/2，而且增加了更多的并行機(jī)制和網(wǎng)絡(luò)傳輸機(jī)制，為高清視頻實(shí)時(shí)傳輸和實(shí)時(shí)瀏覽提供便捷。

伴隨著網(wǎng)絡(luò)監(jiān)控系統(tǒng)的到來，對(duì)監(jiān)控系統(tǒng)的要求也不斷提高，要求實(shí)時(shí)可靠、經(jīng)濟(jì)實(shí)用、方便靈活。而嵌入式系統(tǒng)的特點(diǎn)恰好滿足以上要求，嵌入式網(wǎng)絡(luò)監(jiān)控系統(tǒng)應(yīng)運(yùn)而生。本文在嵌入式系統(tǒng)中移植Web boa服務(wù)器，搭建網(wǎng)絡(luò)監(jiān)控系統(tǒng)應(yīng)用平臺(tái)，應(yīng)用H.265編碼技術(shù)和RTP網(wǎng)絡(luò)協(xié)議實(shí)現(xiàn)視頻的采集、編碼、發(fā)送和實(shí)時(shí)顯示功能。

1 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

1.1 硬件系統(tǒng)設(shè)計(jì)

本文采用飛凌公司推出的OK6410開發(fā)板作為實(shí)時(shí)視頻監(jiān)控終端。OK6410開發(fā)板是以三星公司生產(chǎn)的S3C6410微處理器，ARM1176JZF?S為內(nèi)核，主頻533 MHz/667 MHz，具有64/32位的內(nèi)部總線，由AXI/AHB/APB總線構(gòu)成，集成了好多硬件加速器，非常適合音/視頻、2D圖形、顯示運(yùn)算等運(yùn)用[1]。S3C6410具有優(yōu)化的外部存儲(chǔ)器接口，256 MB的NOR FLASH，保證程序快速運(yùn)行，2 GB的NAND FLASH用于啟動(dòng)代碼、內(nèi)核代碼、根文件系統(tǒng)和用戶程序。開發(fā)板包含多種硬件外設(shè)，包括USB攝像頭接口、24位真彩色LCD控制器、SD卡插座等。硬件系統(tǒng)設(shè)計(jì)結(jié)構(gòu)圖如圖1所示。

1.2 軟件系統(tǒng)設(shè)計(jì)

OK6410從S3C6410為主控芯片，基于Linux?2.6.30操作系統(tǒng)，系統(tǒng)軟件主要是U?boot，zImage和根文件系統(tǒng)，配置內(nèi)核相關(guān)驅(qū)動(dòng)和網(wǎng)絡(luò)協(xié)議，移植ARM端X265和Web boa應(yīng)用軟件。應(yīng)用軟件部分采用多線程編程，包括視頻采集線程、LCD終端顯示線程、視頻壓縮存儲(chǔ)線程、網(wǎng)絡(luò)傳輸線程。應(yīng)用軟件結(jié)構(gòu)框圖如圖2所示。

1.2.1 圖像采集線程

V4L2[2]是Linux內(nèi)核中關(guān)于視頻設(shè)備的驅(qū)動(dòng)模塊，它為針對(duì)視頻設(shè)備的應(yīng)用程序提供了一系列的API[3]。V4L2的驅(qū)動(dòng)程序調(diào)用流程如圖3所示。

在Linux中，視頻設(shè)備是設(shè)備文件，可以像訪問普通文件對(duì)其進(jìn)行讀/寫，驅(qū)動(dòng)程序在/dev/video*目錄下，關(guān)鍵代碼部分如下[4]。

1） 打開攝像頭設(shè)備，調(diào)用函數(shù)fd=open（"/dev/video0"，O_RDWR）第一個(gè)參數(shù)是視頻設(shè)備在/dev/目錄下的設(shè)備名，視頻設(shè)備以非阻塞方式打開。

2） 檢查視頻設(shè)備支持的標(biāo)準(zhǔn)，調(diào)用ioctl（fd，VIDIOC_QUERYSTD，&std）檢測(cè)到的視頻設(shè)備支持屬性保存到std結(jié)構(gòu)中[5]。

1.2.4 網(wǎng)絡(luò)傳輸線程

基于視頻監(jiān)控的實(shí)時(shí)行要求，網(wǎng)絡(luò)傳輸機(jī)制選擇實(shí)時(shí)傳輸協(xié)議RTP/RTCP。RTP協(xié)議負(fù)責(zé)傳輸具有實(shí)時(shí)特性的音視頻文件，其是一個(gè)應(yīng)用層程序，既可以工作在TCP協(xié)議上又可以工作在UDP協(xié)議上。相對(duì)TCP協(xié)議，UDP協(xié)議傳輸時(shí)延更低并且具有更小的網(wǎng)絡(luò)開銷，選擇RTP/UDP協(xié)議格式進(jìn)行視頻碼流傳輸。RTCP協(xié)議是實(shí)時(shí)傳輸控制協(xié)議，用于實(shí)時(shí)監(jiān)控傳輸數(shù)據(jù)，為系統(tǒng)提供擁塞和流控制。RTP協(xié)議的組成框架在RFC3550中有詳細(xì)介紹，每個(gè)RTP數(shù)據(jù)包由固定包頭和荷載兩部分組成。包頭由固定的12個(gè)字節(jié)構(gòu)成，荷載就是音視頻流。H.265的基本流結(jié)構(gòu)分為二層，包括視頻編碼層（VCL）和網(wǎng)絡(luò)適配層（NAL）。VCL為被壓縮視頻序列，VCL數(shù)據(jù)要封裝NAL中才能用來傳輸和存儲(chǔ)。H.265標(biāo)準(zhǔn)指出，當(dāng)數(shù)據(jù)流存儲(chǔ)在介質(zhì)上時(shí)，在每個(gè)NALU上添加起始碼：0x00000001，用來指示一個(gè)NALU的起始結(jié)束。結(jié)合RTP協(xié)議和H.265的基本流結(jié)構(gòu)，RTP傳輸H.265視頻碼流，最新的RF3894提供了傳輸H.265媒體流RTP打包的方法。在H.265視頻碼流中剝離出每個(gè)NALU，在每個(gè)NALU頭前添加RTP包頭，添加NALU的數(shù)據(jù)包到荷載，通過UDP協(xié)議網(wǎng)絡(luò)傳輸。根據(jù)RF3894標(biāo)準(zhǔn)，本文算法流程見圖5。

2 實(shí)驗(yàn)結(jié)果與測(cè)試

2.1 系統(tǒng)測(cè)試

Web boa服務(wù)器主要對(duì)網(wǎng)上信息瀏覽提供服務(wù)，支持多端訪問。嵌入式boa服務(wù)器支持多HTTP連接，同時(shí)能夠進(jìn)行遠(yuǎn)程管理和維護(hù)，還能提供公關(guān)網(wǎng)管接口（CGI）?？蛻舳送ㄟ^HTTP協(xié)議遠(yuǎn)程訪問boa服務(wù)器;服務(wù)器通過訪問請(qǐng)求判斷后，運(yùn)行相應(yīng)CGI程序，將數(shù)據(jù)上傳客戶端，方便信息交互。實(shí)驗(yàn)測(cè)試平臺(tái)采用OK6410開發(fā)板。系統(tǒng)啟動(dòng)初始化完成，NFS模式啟動(dòng)內(nèi)核，開啟攝像頭，設(shè)置采集分辨（1 280×720），運(yùn)行程序?？稍贚CD終端看到監(jiān)控畫面，如圖6所示。同時(shí)瀏覽器通過服務(wù)器IP地址訪問服務(wù)器，客戶端通過JavaScript技術(shù)將VLC播放器加載到網(wǎng)頁中，客戶端點(diǎn)擊播放，服務(wù)器根據(jù)客戶端請(qǐng)求運(yùn)行CGI程序（網(wǎng)絡(luò)傳輸線程），可在VLC播放器看到監(jiān)控畫面，如圖7所示，圖像質(zhì)量清晰，無抖動(dòng)。

2.2 動(dòng)態(tài)視頻測(cè)試

動(dòng)態(tài)圖像測(cè)試采用手機(jī)端精準(zhǔn)計(jì)時(shí)器軟件，啟動(dòng)攝像頭采集秒表時(shí)間，LCD終端顯示圖像如圖8所示，網(wǎng)頁客戶端顯示畫面如圖9所示，可以觀察到監(jiān)控畫面清晰無抖動(dòng)，對(duì)比手機(jī)終端計(jì)時(shí)器時(shí)間變化可得到網(wǎng)絡(luò)延遲在500 ms以內(nèi)。

2.3 視頻壓縮比

本次實(shí)驗(yàn)視頻采集的時(shí)間為5 min，視頻的輸入格式為PAL，幀率為25 f/s，分辨率為1 280×720。計(jì)算后可知：未壓縮的數(shù)據(jù)量為11 203.5 MB。硬盤中壓縮后的文件的大小為86.18 MB，可以計(jì)算得出壓縮比為130.4。

3 結(jié) 語

本文涉及以ARM11為處理器，Linux為操作系統(tǒng)的嵌入式實(shí)時(shí)監(jiān)控系統(tǒng)，重點(diǎn)闡述了V4L2接口，H.265視頻編碼，RTP協(xié)議打包封裝。H.265視頻碼流通過網(wǎng)絡(luò)傳輸Web服務(wù)器在瀏覽器加載VLC播放器，實(shí)現(xiàn)了視頻播放，解決了高清網(wǎng)絡(luò)監(jiān)控傳輸帶寬的壓力和網(wǎng)絡(luò)延遲。同時(shí)采用LCD終端直接顯示監(jiān)控畫面，降低了應(yīng)用成本。實(shí)驗(yàn)結(jié)論證明，該系統(tǒng)監(jiān)控的實(shí)時(shí)性良好，畫質(zhì)清晰無抖動(dòng)，符合設(shè)計(jì)的預(yù)期要求，對(duì)安防監(jiān)控有一定的借鑒作用。

參考文獻(xiàn)

[1] 成敏，謝杉杉，徐強(qiáng)，等.基于Android的音視頻同步交互系統(tǒng)[J].吉林大學(xué)學(xué)報(bào)，2016，34（4）：507?514.

CHENG Min， XIE Shanshan， XU Qiang， et al. Audio and video synchronous system based on Android [J]. Journal of Jilin University， 2016， 34（4）： 507?514.

[2] 陳曉偉，孟利民.基于B/S架構(gòu)的視頻監(jiān)控音視頻模塊的設(shè)計(jì)[J].電聲技術(shù)，2014，38（6）：77?80.

CHEN Xiaowei， MENG Limin. Design of client software of the video monitor based on B/S structure [J]. Audio engineering， 2014， 38（6）： 77?80.

[3] 王莉，周偉.基于ARM的嵌入式Web服務(wù)器設(shè)計(jì)[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（14）：90?93.

WANG Li， ZHOU Wei. Design of embedded Web server based on ARM [J]. Computer engineering and applications， 2012， 48（14）： 90?93.

[4] 許剛.基于ARM11的嵌入式視頻采集監(jiān)控系統(tǒng)設(shè)計(jì)[J].測(cè)控技術(shù)，2013，32（12）：37?40.

XU Gang. Design of an embedded video capturing system based on ARM11 [J]. Measurement & control technology， 2013， 32（12）： 37?40.

[5] 胡江濤.安防工程中音視頻監(jiān)控系統(tǒng)的優(yōu)勢(shì)與應(yīng)用[J].自動(dòng)化與儀器儀表，2017（8）：131?132.

HU Jiangtao. Advantages and applications of audio and video monitoring system in security engineering [J]. Automation & instrumentation， 2017（8）： 131?132.

[6] 廖志川，俞子榮，陳黎娟.基于ARM的移動(dòng)視頻監(jiān)控終端設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2012，35（10）：9?11.

LIAO Zhichuan， YU Zirong， CHEN Lijuan. Design of mobile video monitoring terminal based on ARM [J]. Modern electronics technique， 2012， 35（10）： 9?11.

[7] 史凱，雒江濤，張治中.基于RTP的h.264無線視頻傳輸和Qos控制[J].微計(jì)算機(jī)信息，2009，25（6）：162?164.

SHI Kai， QI Jiangtao， ZHANG Zhizhong. Transmission of H.264 video over wireless networks based on RTP and QoS control [J]. Microcomputer information， 2009， 25（6）： 162?164.

[8] 戎玲，游寒旭.數(shù)字視頻對(duì)講系統(tǒng)的全程唇音同步測(cè)試方法[J].電視技術(shù)，2017，41（6）：143?146.

RONG Ling， YOU Hanxu. Lip sync test method for IP video intercom system [J]. Video engineering， 2017， 41（6）： 143?146.

[9] 王開宇.基于C#的數(shù)據(jù)與視頻監(jiān)控系統(tǒng)上位機(jī)軟件設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2017，40（10）：62?64.

WANG Kaiyu. Design of C#?based PC software for data and video monitoring [J]. Modern electronics technique， 2017， 40（10）： 62?64.

[10] 陳嵐，鮑可進(jìn).基于S3C6410和3G的無線視頻傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].無線通信技術(shù)，2014，23（2）：42?46.

CHEN Lan， BAO Kejin. Design and implementation of wireless video transmission system based on S3C6410 and 3G [J]. Wireless communication technology， 2014， 23（2）： 42?46.