基于Linphone的海思H.264硬件編碼器移植

劉文亮，夏克文，華　中

(1.河北工業(yè)大學 信息工程學院，天津 300130；2.天津鉑創(chuàng)國茂電子科技發(fā)展有限公司，天津 300384)

?

基于Linphone的海思H.264硬件編碼器移植

劉文亮1，夏克文1，華中2

(1.河北工業(yè)大學 信息工程學院，天津 300130；2.天津鉑創(chuàng)國茂電子科技發(fā)展有限公司，天津 300384)

為了縮短H.264編碼時間、提高H.264編碼效率，提出基于AndroidLinphone的Hi3716MV400H.264硬件編碼器移植。對硬件編碼器的移植方法進行詳細說明，包括搭建Linphone開發(fā)環(huán)境、添加Hi3716MV400H.264硬件編碼庫、編寫H.264硬件編碼函數(shù)。經程序測試，移植了海思H.264硬件編碼器的Linphone能夠在Hi3716MV400機頂盒進行正常的視頻通信，并且減少CPU資源占用，降低Linphone視頻通話死機頻率。

Hi3716MV400；H.264硬件編碼器；AndroidLinphone

隨著智能手機與智能機頂盒等終端設備的普及，VoIP(VoiceoverInternetProtocol)技術研發(fā)的產品得到了越來越多用戶的青睞，如何使視頻通話更流暢、更清晰也成為各芯片廠商和軟件開發(fā)公司研究的焦點[1]。Android是2007年谷歌開發(fā)的一款基于Linux平臺的開放操作系統(tǒng)，其開發(fā)的第三方軟件完全免費，由于搭載Android系統(tǒng)的智能手機和平板設備占有的大量用戶市場[2]，因此，Android應用的開發(fā)在市場的份額越來越大，研究在Android平臺上的VoIP技術具有很大應用價值[3]。Linphone就是一款基于Android開發(fā)的VoIP軟件，能夠進行H.264視頻編解碼，但是Linphone的H.264軟件編碼器占用較多CPU資源，存在視頻畫面顯示卡頓、不流暢以及死機問題，本文采用華為海思Hi3716MV400機頂盒作為硬件平臺，移植Hi3716MV400硬件H.264編碼器到AndroidLinphone，提高了H.264編碼速率，減少了處理器資源的占用，取得了較好的效果。

1　硬件系統(tǒng)設計

海思Hi3716芯片方案是由國產品牌海思自主研發(fā)的一種芯片方案，具體型號有三種，分別是Hi3716M、Hi3716H以及Hi3716C，本文采用的就是搭載在銀河安卓高清機頂盒的Hi3716MV400芯片。該芯片采用ARM公司的CortexA9架構處理器，主頻率800MHz，浮點運算速率達到1 500MI/s，集成高性能GPU，支持OpenGLES2.0/1.1/1.0OpenVG1.1，內置NEON，高速處理能力可以滿足未來業(yè)務需求[4-5]，集成高性能2D/3D加速引擎，可為客戶提供流暢的人機交互界面和豐富游戲體驗。支持MPEG2/H.264/AVS+/VP6/VP8等多種格式的高清視頻解碼和H.264編碼，可以滿足多媒體播放、轉碼、可視通信的要求。內置2路以太網和2路USB接口，提供靈活的連接方案。

Hi3716MV400機頂盒使用12V直流電壓供電，1GbyteDDR3內存，1GbyteNANDFlash，提供10組GPIO接口，提供單個LED和KeyPAD控制接口，單個IR接收處理器，外擴單路USB口用于高清攝像頭數(shù)據(jù)傳入，提供RS-232調試串口用于程序的燒寫、打印信息的輸出與命令調試，最大支持100MbitRJ-45網口數(shù)據(jù)傳輸[6]。為圖像輸出提供高清晰度多媒體接口HDMI，模擬視頻接口支持1路CVBS接口、1路YPrPb接口，輸出接口可以選擇配置，提供LineOut接口輸出到音頻設備，提供高頻頭。機頂盒系統(tǒng)硬件結構如圖1所示。

圖1　基于ARM的無線嵌入式Web服務器系統(tǒng)結構圖

2　Linphone Android開發(fā)環(huán)境搭建

Linphone為開發(fā)人員提供了Android版本的源碼，生成apk需要使用NDK工具，以及Androidsdk和相關的adt插件、apt安裝工具。統(tǒng)計所需工具包如表1所示。

表1Linphone開發(fā)工具包

工具列表工具包文件安裝方式NDK工具android-ndk-r9-linux-x86_64.tar.bz2解壓使用AndroidLinuxSDKandroid-sdk_r21.1-linux.tgz解壓使用AndroidLinux開發(fā)插件包adt-bundle-linux-x86-20130219.zip解壓使用autoconfautoconf.debapt-getinstallautomakeautomake.debapt-getinstalllibtoollibtool.debapt-getinstallpkg-configpkg-config.debapt-getinstallant1.8ant1.8.debapt-getinstall

在64位Ubuntu10.04系統(tǒng)安裝了上述源碼包之后，解壓Linphone源碼包、進入Linphone的主目錄，輸入如下命令編譯Linphone：

#makeBUILD_X264=1BUILD_AMRNB=0BUILD_AMRWB=0BUILD_GPLV3_ZRTP=0BUILD_SILK=0BUILD_G729=1BUILD_TUNNEL=0BUILD_WEBRTC_AECM=1USE_JAVAH=1BUILD_FOR_X86=0

“BUILD_X264=1”添加視頻X264編碼的支持；“BUILD_G729=1”添加對音頻G729編碼的支持，“BUILD_WEBRTC_AECM=1”編譯回音消除，“BUILD_FOR_X86=0”不編譯X86架構的liblinphone庫?！癇UILD_AMRNB=0”與“BUILD_AMRWB=0”表示不編譯amrnb和amrwb編譯碼器。

編譯完成后會在linphone的bin目錄下生成linphone-debug.apk文件，通過adbinstall命令將apk安裝到Hi3716MV400Android機頂盒，按照向導配置完賬號、音視頻參數(shù)即可使用Linphone。

3　Linphone分析

3.1Linphone視頻數(shù)據(jù)處理

可視電話軟件Linphone支持多種平臺(Android，iOS，WindowsPhone8，Linux)，支持H.264，VP8，MPEG-4視頻軟件編解碼，為用戶開發(fā)提供API函數(shù)。Linphone主要依賴的3個軟件開發(fā)包均支持用戶的二次開發(fā)：Mediastreamer2，處理音視頻流的SDK，是音視頻工作的引擎，具有音視頻編碼，聲卡資源訪問，視頻捕獲與顯示，回聲消除的功能。oRTP，支持RTP以及RFC3550協(xié)議的C語言開發(fā)庫，為基于RTP協(xié)議傳輸語音和視頻數(shù)據(jù)提供保障。belle-sip，是Linphone的新版belleSIP協(xié)議棧，純C語言編寫的SIP(RFC3261)實現(xiàn)，belle-sip提供面向對象的接口函數(shù)，是一種在UDP、TCP、TLS等網絡層上層的用戶代理[7]。

以Mediastreamer2為核心開發(fā)的Linphone，其各種操作都是通過MSFilter(多個MSFilter組成Graph)實現(xiàn)的，Mediastreamer2的總體邏輯關系非常簡單，它利用函數(shù)指針將若干MSFilter組合起來，通過線程來調度這些MSFilter上的函數(shù)指針[8]。圖2就是由Linphone工作時視頻MSFilter之間數(shù)據(jù)傳遞的模塊圖。其中source用來獲得來自攝像頭的視頻數(shù)據(jù);pixconv用來處理視頻格式;tee用于分流，一部分到output直接顯示(當前視頻預覽功能)，另一部分輸出后通過編碼與rtp發(fā)送，被另一端Linphone接收并顯示。其中視頻encoderMSFilter主要有H.264、MPEG4和VP8三種。

圖2　MSFilter組成模塊圖

Linphone的video_stream_start函數(shù)詳細實現(xiàn)了圖2所示的Graph，并描述了各個MSFilter之間的關系。另外，video_stream_start函數(shù)通過檢測視頻流的VideoStreamRecvOnly標志，判斷是否組建接受視頻流數(shù)據(jù)的Graph，該Graph主要包括：decoderMSFilter,rtprecvMSFilter,displayMSFilter,pixconvMSFilter。video_stream_start是在Linphone打電話時后臺調用視頻流線程開始執(zhí)行，同樣音頻流也有相應的Graph，具體實現(xiàn)在audio_stream_start函數(shù)，通過調用音頻流線程開始數(shù)據(jù)傳遞。

3.2Linphone H.264 MSFilter

Linphone的H.264軟件編碼MSFilter源碼在msx264.c文件，H.264MSFilter的編寫同樣符合Mediastreamer2擴展開發(fā)標準，主要由兩部分構成，即編碼結構體EncData和編碼函數(shù)x264_enc_desc。EncData存放H.264軟件編碼的相關屬性操作，編碼函數(shù)包括enc_init，enc_preprocess，enc_process等等。EncData結構體成員參數(shù)需要使用enc_init()初始化。EncData結構體成員及其功能如表2所示。

表2EncData結構體成員

結構體成員參數(shù)功能x264_t*encx264_param_tparamsH.264編碼器句柄H.264編碼器的屬性參數(shù)vsize;bitrate;fps;mode;Rfc3984Contex*packer;keyframe_intVideoStarterstartergenerate_keyframe分辨率,比特率,幀率,編碼模式rfc3984協(xié)議包容器關鍵幀數(shù)目關鍵幀時間記錄關鍵幀標志

初始化完成后運行H.264的軟件編碼預處理函數(shù)enc_preprocess()和處理函數(shù)enc_process()，兩者分別完成如下功能：

enc_preprocess()，H.264編碼的預處理函數(shù)，新建一個rfc3984容器包，rfc3984_set_mode()設置當前包的模式為0，rfc3984_enable_stap_a()設置當前包為非單時間聚合包。創(chuàng)建x264_param_t指針變量params，初始化該編碼參數(shù)，調用apply_bitrate()并將params各參數(shù)應用到H.264編碼器，使用x264_encoder_open()打開該編碼器。

enc_process()，通過while循環(huán)，利用ms_queue_get()不斷從MSFilter的input緩沖隊列中獲取視頻的幀圖像數(shù)據(jù)，執(zhí)行ms_yuv_buf_init_from_mblk()將接受的數(shù)據(jù)轉換成yuv格式，再將yuv格式數(shù)據(jù)轉化為x264_picture_t，準備在發(fā)送初始幀數(shù)據(jù)2s或者4s之后發(fā)送I幀，x264_encoder_encode()將輸入的x264_picture_t型數(shù)據(jù)轉碼成x264_nal_t型編碼數(shù)據(jù)，x264_nals_to_msgb()將視頻數(shù)據(jù)依次放入到mblk_t類型變量的隊列中，使用rfc3984_pack()對編碼后的數(shù)據(jù)進行RTP打包傳給rtpsendMSFilter。

4　H.264硬件編碼器移植

4.1sample_venc程序的改進

Hi3716MV400的H.264硬件編碼模塊為VENC(VideoEncoder)，VENC模塊對接收前端模塊或客戶發(fā)送的視頻、圖形數(shù)據(jù)，通過做幀率控制、碼率控制、幀間預測、幀內預測、變換、量化等協(xié)議/算法處理，按照客戶需求的輸出幀率、目標碼率、分辨率等生成碼流返回給客戶使用。

VENC視頻數(shù)據(jù)推送支持綁定模式和外部用戶送幀模式，其中綁定模式需要前級模塊(VI)自動將待編碼數(shù)據(jù)送入VENC，而外部用戶送幀模式需要用戶態(tài)線程一直給VENC送幀編碼，用戶需要自行循環(huán)調用HI_UNF_VENC_QueueFrame()和HI_UNF_VENC_DequeueFrame()來給編碼器送幀并回收編碼完成的幀數(shù)據(jù)，保存或者網絡傳輸。

VENC例程sample_venc采用用戶送幀模式讀取yuv文件，進行H.264硬件轉碼之后保存成.h264文件。但在可視電話實時H.264編碼中，需要不斷地從已經分配好的內存空間讀取yuv數(shù)據(jù)，進行H.264硬件轉碼之后將轉碼后的數(shù)據(jù)保存在一段分配了空間的內存區(qū)域以便其他函數(shù)對編碼后的數(shù)據(jù)進行處理，于是修改sample_venc.c的源程序，編寫函數(shù)HI_S32venc(HI_U8*yuv，nal_s*nal)。程序流程圖如圖3所示。

執(zhí)行函數(shù)HI_SYS_Init()對模塊進行初始化，通過HI_UNF_VENC_GetDefaultAttr()獲取編碼通道默認屬性stVeAttr，設置stVeAttr的各個成員變量，包括編碼協(xié)議類型、編碼輸出寬度和高度、輸入幀率、目標碼率和目標幀率、圖像組長度，根據(jù)HI_ADP_VENC_Create

圖3venc程序流程圖

(stVeAttr)創(chuàng)建VENC通道，執(zhí)行HI_ADP_VENC_Start()開始硬件轉碼，新建線程SampleSendFrameRoutine讀取數(shù)據(jù)并進行硬件轉碼，新建線程SampleVencRoutine獲取硬件編碼后的數(shù)據(jù)。最后等待兩個線程的結束與執(zhí)行系統(tǒng)去初始化操作。

線程SampleVencRoutine的說明：使用HI_UNF_VENC_AcquireStream()獲取視頻編碼碼流，將碼流數(shù)據(jù)保存在pArgs→out_nal→nal_data開始的pArgs→out_nal→nals_size長空間中，然后使用HI_UNF_VENC_ReleaseStream()釋放視頻編碼碼流。

線程SampleSendFrameRoutine的說明：為變量u32TmpData分配空間用于保存輸入硬件編碼器的數(shù)據(jù)，通過stFrameinfo設置幀信息屬性參數(shù)，將u32TmpData與stFrameinfo的stVideoFrameAddr成員關聯(lián)，將輸入的視頻幀數(shù)據(jù)從YUV422格式轉換為YUV420格式，通過HI_UNF_VENC_QueueFrame()向編碼器送幀，HI_UNF_VENC_DequeueFrame()向編碼器索取還幀，完成整個H.264硬件編碼的流程。

海思H.264硬件編碼函數(shù)為HI_S32venc(HI_U8*yuv，nal_s*nal)，輸入參數(shù)為HI_U8*yuv，輸出參數(shù)為HI_U8*nal，函數(shù)返回值類型為HI_S32，其中yuv為YUV420P數(shù)據(jù)，分別保存在AVFrame類型變量的data[0]、data[1]和data[2]中，nal_s結構體聲明如下：

typedefstruct_nal_s{

HI_U8*nal_data；//naldata

HI_S32nal_num；//everynalnum

HI_S32nals_size；//nalstotal

}nal_s；

其中，nal_data為進行H.264硬件編碼后存儲數(shù)據(jù)的首地址，nal_num為nals的個數(shù)，nals_size為H.264硬件編碼后數(shù)據(jù)總量。

4.2硬件編碼模塊venc使用

Linphone的H.264軟件編碼函數(shù)為msx264.c文件的x264_encoder_encode()，因此可以直接將其替換為函數(shù)venc()。在enc_process()中利用avcodec_get_frame_defaults()獲取幀數(shù)據(jù)到pict(AVFrame類型)，通過avpicture_fill()填充數(shù)據(jù)，將x264_encoder_encode()替換為硬件編碼函數(shù)venc()，修改x264_nals_to_msgb()函數(shù)，計算轉碼后的H.264數(shù)據(jù)nals個數(shù)，跳過nals頭起始碼“00 00 00 01”或者“00 00 01”，將有效的幀數(shù)據(jù)通過ms_queue_put()放到MSFilter的隊列中，之后依次通過SETBITRATEMSFilter和ADDFMTPMSFilter進行數(shù)據(jù)傳遞。

x264_nals_to_msgb未修改之前的格式如下：

staticvoidx264_nals_to_msgb(x264_nal_t*xnals，intnum_nals，MSQueue*nalus)

xnals用于存儲H.264編碼后的數(shù)據(jù)，num_nals表示nals的個數(shù)，nalus用于MSQueue隊列傳遞數(shù)據(jù)。

修改之后的x264_nals_to_msgb函數(shù)如下：

staticvoidx264_nals_to_msgb(nal_s*xnals，MSQueue*nalus)

xnals同樣用于存儲H.264編碼后的數(shù)據(jù)，同時存儲nals的個數(shù)和數(shù)據(jù)總量，nalus用于MSQueue隊別傳遞數(shù)據(jù)。但是函數(shù)的具體實現(xiàn)發(fā)生改變。由于在實際的H.264數(shù)據(jù)幀中往往幀前帶有00 00 00 01分隔符，所以程序首先檢測00 00 00 01標志字，移動m→b_wptr指針跳過四位標志字，直接指向H.264幀數(shù)據(jù)，最后通過ms_queue_put將數(shù)據(jù)放到nalus。實際上修改后的x264_nals_to_msgb()函數(shù)將能夠自動計算nals的個數(shù)。

4.3Linphone添加venc模塊支持

若使Linphone能夠支持Hi3716MV400SDK的開發(fā)例程sample_venc以及改進的編碼函數(shù)venc，需要將sample_venc依賴的頭文件和庫文件分別拷貝到NDK的include和lib文件夾，修改Linphone各個模塊編譯的Android.mk文件，利用NDK重新編譯并生成apk。修改的內容分為以下3個步驟：

1)修改submoduleslinphoneuildandroid目錄下的Android-no-neon.mk、Android.mk以及Common.mk，修改submoduleslinphonemediastreamer2uildandroid目錄下的Android.mk，分別在上述4個文件中添加對海思庫的支持，通過標志字LOCAL_LDLIBS指定附加的系統(tǒng)庫文件，添加的內容如下：

LOCAL_LDLIBS+=-llog-ldl-lcutils-lhi_common-lhi_msp-lhi_sample_common

2)在AndroidLinphone源碼的根目錄執(zhí)行第2節(jié)編譯命令，生成apk。需要注意的是每次修改c源碼均需要輸入編譯命令重新生成apk進行安裝與調試。

5　測試與結果

本測試系統(tǒng)由SIP服務器miniSipServer和2個Linphone可視電話終端組成(Windows版Linphone和移植H.264硬件編碼器Android版Linphone)。miniSipServer是一款采用標準SIP協(xié)議的軟件，能接入各種采用SIP協(xié)議的軟終端，為搭建局域網可視電話通信系統(tǒng)，以miniSipServer作為主SIP軟件，2個Linphone分別經過miniSipServer的SIP控制進行RTP流的傳輸。

局域網內視頻通話的各項參數(shù)測試結果：視頻通話采用H.264圖像編碼格式，碼率300kbit/s左右，幀速率17f/s(幀/秒)，上傳圖像速度400kbit/s，下載速度100kbit/s，圖像分辨率CIF(352×288)，本地顯示分辨率為(352×288)，語音編碼格式為GSM，編碼速率25kbit/s左右。測試結果表明視頻傳輸與視頻顯示各項參數(shù)達到了預期的效果。2個可視電話客戶端在局域網內的視頻截圖如圖4和圖5所示。

圖4　機頂盒Linphone視頻畫面(截圖)

圖5　Windows版Linphone視頻畫面(截圖)

測試Linphone視頻通話方式分為局域網內通話和互聯(lián)網遠程通話，局域網內直接運行miniSipServer充當SIP服務器進行音視頻數(shù)據(jù)傳輸(需要在miniSipServer建立2個SIP賬號，兩個客戶端分別用賬號登錄)，互聯(lián)網則采用Linphone內部的SIP服務器進行通信(需要2個客戶端分別在Linphone官網注冊linphone.orgSIP賬號，客戶端登錄)。測試結果表明，移植了H.264硬件編碼的機頂盒在局域網或者互聯(lián)網下占用的CPU資源均較少，且使用率波動較小，比較穩(wěn)定。表3是對移植H.264硬件編碼器的機頂盒畫面情況、CPU資源占用、死機次數(shù)的統(tǒng)計情況。

表3不同網絡條件下參數(shù)對比

網絡環(huán)境畫面情況CPU資源使用率/%視頻通話中死機頻率局域網、H.264軟件編碼局域網、H.264硬件編碼清晰、流暢清晰、流暢5.84.7～5.03/501/50互聯(lián)網、H.264軟件編碼互聯(lián)網、H.264硬件編碼清晰、有卡頓清晰、有卡頓6.0～9.05.6～7.76/501/50

6　結束語

本文介紹了基于Hi3716MV400的高清多媒體處理芯片，在Ubuntu10.04搭建AndroidLinphone開發(fā)環(huán)境，實現(xiàn)Hi3716MV400H.264硬件編碼函數(shù)venc在AndroidLinphone的移植，移植完成后對Linphone進行視頻通信實驗。實驗結果表明，移植了H.264硬件編碼器的Linphone系統(tǒng)能夠實時、清晰地進行視頻通話并顯示，而且相比軟件H.264軟件編碼占用CPU資源更少，更穩(wěn)定。但是在視頻畫面?zhèn)鬏斔俾?、視頻分辨率的設置方面仍然有待提高，視頻畫面有卡頓的問題也需要解決。

[1]賀丹丹，施展.基于Android的VoIP系統(tǒng)的設計與實現(xiàn)[J].現(xiàn)代電子技術，2011，34(6)：28-31.

[2]邵長彬，張重陽，鄭世寶.基于Android的可視IP電話多媒體終端設計與實現(xiàn)[J].電視技術，2011， 35(6)：62-65.

[3]楊瑞.基于協(xié)議棧數(shù)字機頂盒VoIP終端的設計與實現(xiàn)[J].電視技術，2011，35(23)：71-74.

[4]張寶柱，范自來.基于海思Hi3716C平臺的安卓DVB—T2機頂盒設計方案研究[J].有線電視技術， 2014，1(2)： 46-48.

[5]趙宇峰.基于嵌入式Linux的實時視頻通信的實現(xiàn)[J].電視技術，2012，36(19)：189-192.

[6]王東東.基于Hi3716C的Android機頂盒軟件設計與實現(xiàn)[D].天津：天津大學，2012.

[7]趙明.基于SIP的軍事車載VOIP語音終端軟件的設計與實現(xiàn)[J].火力與指揮控制，2014，39(z1)： 113-115.

[8]沙愛軍，沈衛(wèi)康，毛其林.基于LINPHONE的嵌入式VoIP終端實現(xiàn)[J].信息通信，2013(8)：77-79.

劉文亮(1990— )，碩士生，主研智能信息處理；

夏克文(1965— )，博士生導師，主要研究方向為智能信息處理，壓縮感知，半定規(guī)劃，支持向量機；

華中(1970— )，博士，主要研究方向為微電子與固體電子學。

責任編輯：閆雯雯

HisiliconH.264hardwareencodertransplantationbasedonLinphone

LIUWenliang，XIAKewen，HUAZhong

(1.School of Information Engineering， Hebei University of Technology， Tianjin 300130，China；2.Tianjin Botro Electronical Science and Tech. Co.， Ltd.， Tianjin 300384，China)

InordertoshortenH.264encodingtimeandimproveencodingefficiency，anideaabouttranslatingHi3716MV400H.264hardwareencodertoAndroidLinphonecomeup.Inthispaper，thetransplantationmethodofthehardwareencoderisdescribedindetailwhichincludesbuildingLinphonedevelopmentenvironment，addingH.264hardwareencodinglibrary，correctingH.264hardwareencodingfunction.ExperimentaltestsshowthattheLinphonecancommunicatewithanotherclientnormallyinHi3716MV400STB，makingthevideocommunicationoccupieslessCPUresourcesandcrashesrarely.

Hi3716MV400；H.264hardwareencoder；AndroidLinphone

TN915；TP393

ADOI：10.16280/j.videoe.2016.08.025

河北省引進留學人員基金項目(C2012003038)

2015-10-19

文獻引用格式：劉文亮，夏克文，華中. 基于Linphone的海思H.264硬件編碼器移植[J].電視技術，2016，40(8)：126-131.

LIUWL，XIAKW，HUAZ.HisiliconH.264hardwareencodertransplantationbasedonLinphone[J].Videoengineering，2016，40(8)：126-131.