柯 磊,龐 龍
(1.攀枝花學(xué)院 交通與汽車工程學(xué)院,四川 攀枝花 617000;2.中國傳媒大學(xué) 信息工程學(xué)院,北京 100024)
經(jīng)過多年發(fā)展,我國已經(jīng)建立了初具規(guī)模的廣播電視信號實(shí)時監(jiān)測系統(tǒng),對于準(zhǔn)確掌握全國廣播電視安全播出情況起到了至關(guān)重要的作用[1-2]。隨著廣播電視政府主管部門對播出秩序與宣傳工作的進(jìn)一步加強(qiáng)管理,如何實(shí)現(xiàn)廣播電視節(jié)目內(nèi)容與頻道的高效鑒別成為廣播電視監(jiān)測工作者需要迫切解決的問題[3-4]。此外,除了傳統(tǒng)的電視節(jié)目,多種媒體平臺節(jié)目的出現(xiàn)也對全媒體監(jiān)播提出了需求。
針對這個問題,本文創(chuàng)新性地研究出了一種集模擬信號采集、存儲和傳輸為一體的播出監(jiān)控設(shè)備——模擬抽幀器,為全媒體監(jiān)播系統(tǒng)的建立做出了貢獻(xiàn)。模擬抽幀器是以搭載Linux操作系統(tǒng)的ARM處理器S3C2440A為主體,配合JPEG2000編碼芯片ADV212、協(xié)處理器FPGA芯片EP3C25等器件搭建而成的硬件設(shè)備。模擬抽幀器以循環(huán)抽幀,響應(yīng)調(diào)度的方式實(shí)現(xiàn)了對全媒體監(jiān)播系統(tǒng)中模擬信號部分的多模式、多任務(wù)監(jiān)播。
“全媒體監(jiān)播”可以理解為以電視信號監(jiān)播為主,在經(jīng)過簡單設(shè)備改進(jìn)和網(wǎng)絡(luò)升級后可以實(shí)現(xiàn)對互聯(lián)網(wǎng)、手機(jī)等多種平臺視頻信息的監(jiān)播。全媒體監(jiān)播系統(tǒng)對平臺和設(shè)備的通用性與靈活性要求很高,能夠適應(yīng)不同平臺,不同制式的視頻節(jié)目[5-6]。
如圖1所示,全媒體監(jiān)播系統(tǒng)自下而上分為4個部分:
圖1 全媒體監(jiān)播系統(tǒng)結(jié)構(gòu)示意圖
1)數(shù)據(jù)采集系統(tǒng)主要由針對模擬信號的模擬抽幀器和針對數(shù)字信號的數(shù)字抽幀器組成。配置于電視、互聯(lián)網(wǎng)、手機(jī)前端,針對視頻節(jié)目進(jìn)行數(shù)據(jù)采集、壓縮,最終以圖片形式存儲于硬盤中。每幀圖片有對應(yīng)的城市代碼、頻道信息、時間信息、壓縮質(zhì)量等屬性。數(shù)據(jù)采集系統(tǒng)能夠通過IP網(wǎng)絡(luò)與上層的網(wǎng)絡(luò)傳輸系統(tǒng)和調(diào)度控制系統(tǒng)進(jìn)行交互,響應(yīng)控制指令進(jìn)行數(shù)據(jù)的采集和回傳。
2)網(wǎng)絡(luò)傳輸系統(tǒng)主要由網(wǎng)絡(luò)傳輸服務(wù)器、數(shù)據(jù)中心服務(wù)器和數(shù)據(jù)庫組成。網(wǎng)絡(luò)傳輸系統(tǒng)有二級結(jié)構(gòu),下層是網(wǎng)絡(luò)傳輸服務(wù)器,負(fù)責(zé)幀數(shù)據(jù)的回傳和抽幀器的控制,上層是數(shù)據(jù)庫和數(shù)據(jù)中心服務(wù)器,負(fù)責(zé)數(shù)據(jù)的匯總。
3)調(diào)度配置系統(tǒng)主要由2臺高性能服務(wù)器組成,分別作為調(diào)度控制和配置控制節(jié)點(diǎn)使用。調(diào)度控制通過訪問數(shù)據(jù)中心的網(wǎng)絡(luò)服務(wù)器信息,找到抽幀器連接的網(wǎng)絡(luò)服務(wù)器節(jié)點(diǎn)并發(fā)送實(shí)時數(shù)據(jù)回傳調(diào)度指令,通過網(wǎng)絡(luò)服務(wù)器轉(zhuǎn)發(fā)指令,將抽幀器上傳的數(shù)據(jù)回傳給調(diào)度控制節(jié)點(diǎn)。配置控制以同樣的方式連接網(wǎng)絡(luò)服務(wù)器,使用網(wǎng)絡(luò)服務(wù)器中轉(zhuǎn)配置指令。
4)數(shù)據(jù)分析系統(tǒng)主要由數(shù)據(jù)庫和控制分析系統(tǒng)組成,負(fù)責(zé)對采集到的數(shù)據(jù)進(jìn)行圖像比對、水印比對、人工識別和數(shù)據(jù)挖掘等進(jìn)一步處理,從而提煉出有價值的信息。這種分析和挖掘是基于客戶需求的,能夠?qū)⒆罱K的數(shù)據(jù)以表格、柱狀圖、餅圖、曲線圖、報表等客戶要求的形式呈現(xiàn)出來。
本文主要研究的對象是全媒體監(jiān)播系統(tǒng)中模擬抽幀器的優(yōu)化設(shè)計(jì)及產(chǎn)品實(shí)現(xiàn),作為全媒體視頻監(jiān)播系統(tǒng)中的底層設(shè)備,其功能實(shí)現(xiàn)和穩(wěn)定性關(guān)系到整個監(jiān)播系統(tǒng)的正常工作,因此具有十分重要的意義。
模擬抽幀器應(yīng)該實(shí)現(xiàn)對播出前端的視頻節(jié)目進(jìn)行數(shù)據(jù)采集、壓縮、存儲和上傳的功能,對其要求具體來說有以下4個方面:
1)循環(huán)抽取。抽幀器能夠配置在有線電視終端,對各路頻道播放的節(jié)目進(jìn)行圖像采集和壓縮。圖像采集包括對整幅圖像(全屏圖)和圖像中臺標(biāo)區(qū)域(臺標(biāo)圖)的采集,圖像壓縮是指針對某一頻道的圖像信號,選擇奇場或偶場圖像進(jìn)行壓縮。
2)本地存儲。抽幀器能夠?qū)嚎s好的圖像文件存儲到本地的硬盤中,圖像文件中應(yīng)該額外加入產(chǎn)生該圖像的抽幀器的城市代碼、頻點(diǎn)信息和時間信息(精確到毫秒)。
3)遠(yuǎn)程控制。抽幀器能夠接收、解析和響應(yīng)網(wǎng)絡(luò)服務(wù)器發(fā)送或轉(zhuǎn)發(fā)的調(diào)度指令,完成本機(jī)的工作模式、工作時間、監(jiān)控頻道等參數(shù)的設(shè)定,并根據(jù)接收的配置參數(shù)進(jìn)行穩(wěn)定抽圖和圖像回傳。
4)應(yīng)急響應(yīng)。抽幀器能夠響應(yīng)網(wǎng)絡(luò)服務(wù)器轉(zhuǎn)發(fā)的應(yīng)急指令,并做出工作模式的緊急調(diào)整,實(shí)現(xiàn)對頻道節(jié)目的實(shí)時監(jiān)控。應(yīng)急模式結(jié)束后,抽幀器能恢復(fù)到原有的工作模式繼續(xù)工作。除了實(shí)現(xiàn)上述功能以外,抽幀器還要達(dá)到以下的技術(shù)指標(biāo):
(1)抽幀頻率。抽幀頻率是指抽幀器每秒采集的圖像幀的數(shù)目,頻率越高,抽幀器的處理速度越快,設(shè)備的實(shí)時監(jiān)控性能越好。這里規(guī)定抽幀器的抽幀頻率不低于10 f/s(幀/秒)。
(2)存儲能力??紤]到監(jiān)播的時效性和節(jié)目播放的特點(diǎn),每臺抽幀器應(yīng)至少能夠存儲7天共168 h的圖像數(shù)據(jù)。
如圖2所示,假設(shè)抽幀器有n路模擬信號輸入,則數(shù)據(jù)采集模塊的輸入為n路模擬電視信號或模擬視頻信號,輸出為1路數(shù)字視頻信號。對于“n選1”的方法,筆者采用了多路視頻間插復(fù)用的技術(shù)。
從通道1信號某一場的起始位置開始統(tǒng)計(jì),很好理解此時通道1產(chǎn)生的圖像數(shù)據(jù)P1可以被捕捉和輸出。我們假設(shè)一場圖像的時長為t,那么設(shè)備選中通道1的時長為t1=t。當(dāng)通道1信號捕捉完畢后,設(shè)備自動切換到通道2進(jìn)行信號捕捉,此時通道1利用這個時間間隙進(jìn)行頻道切換操作,通道1將進(jìn)入不穩(wěn)定狀態(tài)。當(dāng)通道2被選定時,其中的信號可能并沒有位于圖像場的起始位置,此時需要等待一段時間直到捕捉到圖像場的起始位置,然后開始通道2的圖像數(shù)據(jù)輸出,設(shè)備選中通道1的時長為t2>t。當(dāng)通道2信號捕捉完畢后,設(shè)備自動切換到通道3進(jìn)行信號捕捉,此時通道2利用這個時間間隙進(jìn)行頻道切換操作,通道2將進(jìn)入不穩(wěn)定狀態(tài)。以此類推,當(dāng)通道n完成圖像數(shù)據(jù)的輸出后,信號將切換到通道1進(jìn)行新一輪的數(shù)據(jù)采集,此時通道1已經(jīng)利用設(shè)備對其他n-1路信號捕捉的時間完成了頻道切換。
圖2 多路視頻通道抽取的工作原理
事實(shí)上,與每一場圖像的時長相比,頻道的切換需要花費(fèi)的時間更多,尤其是對于模擬電視信號,當(dāng)圖像質(zhì)量較差時,頻道切換時間甚至可能是一場圖像時長的十幾倍。所以采用這樣間插復(fù)用的方式之后,換臺操作本身基本不會影響到抽取效率。在通道數(shù)目,即n值的選擇上,n太大則成本太高;n太小則不能保證抽取效率。綜合考慮這些因素,最終n取為4。在后面的驗(yàn)證部分,通過試驗(yàn)結(jié)果證明了通道數(shù)選取的合理性。
根據(jù)任務(wù)及要求,對抽幀器設(shè)備做如圖3所示的方案設(shè)計(jì),該方案中抽幀器包含數(shù)據(jù)采集模塊、數(shù)據(jù)壓縮模塊、核心處理器、數(shù)據(jù)存儲模塊、網(wǎng)絡(luò)傳輸模塊和人機(jī)交互模塊共6個核心模塊。
圖3 抽幀器方案設(shè)計(jì)示意圖
抽幀器各模塊的功能及接口參數(shù)如下:
1)數(shù)據(jù)采集模塊:如果輸入為模擬電視信號,則對輸入信號進(jìn)行中頻變換,轉(zhuǎn)化為CVBS信號后進(jìn)行模數(shù)轉(zhuǎn)換產(chǎn)生數(shù)字視頻信號輸出;如果輸入為模擬視頻信號,則直接進(jìn)行模數(shù)轉(zhuǎn)換產(chǎn)生數(shù)字視頻信號輸出。由于技術(shù)指標(biāo)中要求抽幀速度不低于10 f/s,因此必要時采用多路信號源輸入并引入間插復(fù)用機(jī)制保證最終產(chǎn)生單路穩(wěn)定的數(shù)字視頻信號。
2)數(shù)據(jù)壓縮模塊:負(fù)責(zé)將輸入的數(shù)字視頻信號按場抽取并壓縮編碼為固定格式的圖像。圖像壓縮可選用JPEG或JPEG2000等靜態(tài)圖像壓縮算法,也可采用MPEG,H.264等活動圖像壓縮算法,并把待壓縮圖像作為非預(yù)測幀進(jìn)行編碼。由于要求輸出的圖像不是完整的一幀,因此該模塊應(yīng)該支持對定制視頻格式的處理,同時可以對壓縮率、圖像輸出格式、圖像輸出區(qū)域進(jìn)行控制,較靈活地實(shí)現(xiàn)視頻流到圖像幀的轉(zhuǎn)變。
3)核心處理器:核心處理器是整個設(shè)備的大腦,總體控制和協(xié)調(diào)各模塊的工作。一方面它能夠接收上層的配置信息對抽幀器的工作模式進(jìn)行配置,接收上層的調(diào)度指令將圖像數(shù)據(jù)讀取并回傳;另一方面它能控制將圖像數(shù)據(jù)存儲到本地的存儲設(shè)備中,同時對存儲設(shè)備進(jìn)行基本的增刪改查操作,實(shí)現(xiàn)其容量預(yù)警、扇區(qū)避讓等功能。除此之外,還負(fù)責(zé)根據(jù)工作模式和工作狀態(tài)的不同,向人機(jī)交互模塊發(fā)相應(yīng)指令進(jìn)行控制和響應(yīng)。
4)數(shù)據(jù)存儲模塊:主要負(fù)責(zé)圖像數(shù)據(jù)的本地存儲,在核心處理器的控制下實(shí)現(xiàn)對本地文件的增刪改查。技術(shù)指標(biāo)中規(guī)定該模塊需要保證至少7天148 h的數(shù)據(jù)存儲量。
5)網(wǎng)絡(luò)傳輸模塊
功能描述:主要負(fù)責(zé)抽幀器設(shè)備與上層設(shè)備的交互。一方面接收上層設(shè)備發(fā)送的配置信息和調(diào)度指令,交給核心處理器響應(yīng);另一方面在核心處理器的控制下將本地的圖像數(shù)據(jù)傳送至上層設(shè)備。另外負(fù)責(zé)訪問NTP服務(wù)器完成抽幀器的網(wǎng)絡(luò)校時。
6)人機(jī)交互模塊:包含指示燈、液晶屏、按鍵等人機(jī)交互控件,便于人們控制和調(diào)試抽幀器。
設(shè)備的信號處理板由以下3個主要的功能模塊組成:數(shù)據(jù)采集模塊、處理器模塊、壓縮/存儲模塊。
1)在數(shù)據(jù)采集模塊中,模擬高頻頭FQ1216能夠從有線電視網(wǎng)絡(luò)中接收電視信號,進(jìn)行頻點(diǎn)選擇和降頻后輸出CVBS信號。經(jīng)過模數(shù)轉(zhuǎn)換芯片TVP5154轉(zhuǎn)換成數(shù)字信號,最后經(jīng)過四選一的操作輸出單路數(shù)字視頻信號。
2)作為主處理器,ARM處理器S3C2440A需要管理、協(xié)調(diào)系統(tǒng)各模塊的工作,負(fù)責(zé)配置指令的接收和圖像數(shù)據(jù)的傳輸。同時,F(xiàn)PGA協(xié)處理器EP3C25能夠提供足夠的邏輯單元、內(nèi)部存儲器、時鐘管理器等,協(xié)助主處理器完成系統(tǒng)功能的實(shí)現(xiàn),增加了設(shè)計(jì)的靈活性。
3)由于抽幀器要求能夠獲得某幀圖像中奇場或偶場的圖像數(shù)據(jù),因此在數(shù)據(jù)采集模塊中標(biāo)準(zhǔn)的數(shù)字視頻流會進(jìn)行拆分和重新組合,形成包含行場同步信號的場視頻流,顯然這是一種用戶定制的非標(biāo)準(zhǔn)視頻格式,需要數(shù)據(jù)壓縮模塊提供相應(yīng)的接口來進(jìn)行處理和壓縮。正是基于這一點(diǎn)需求,筆者使用ADV212編碼芯片對輸出的圖像進(jìn)行進(jìn)一步的壓縮處理。
在本地存儲方面,選擇希捷公司的SATA串口硬盤ST9500420AS作為抽幀器圖像數(shù)據(jù)的主要存儲設(shè)備,存儲空間500 Gbyte,轉(zhuǎn)速7 200轉(zhuǎn)/秒,緩存16 Mbyte,完全可以滿足抽幀器讀寫和存儲的要求,抽幀器的硬件實(shí)現(xiàn)框圖及成果如圖4~圖5所示。
圖4 抽幀器的硬件平臺實(shí)現(xiàn)框圖
圖5 抽幀器的硬件平臺實(shí)現(xiàn)結(jié)果
閉環(huán)功能的測試,即針對抽幀器功能的測試,這些功能與上層設(shè)備的干預(yù)無關(guān),只與抽幀器自己的工作狀態(tài)有關(guān)。抽幀器的閉環(huán)測試是抽幀器設(shè)備穩(wěn)定工作的基本保障,站在全媒體監(jiān)播系統(tǒng)的角度來說,這也是整個系統(tǒng)穩(wěn)定運(yùn)行的保障。根據(jù)抽幀器的功能要求,閉環(huán)測試主要包括抽幀測試和存儲測試兩個方面。
抽幀測試主要包括對臺標(biāo)圖的抽取和對全屏圖的抽取,二者的區(qū)別在于圖像的大小和區(qū)域不同。如圖6所示為臺標(biāo)圖的示例,圖像大小為230×74,圖像格式為JPEG2000。
圖6 臺標(biāo)圖抽取結(jié)果示例
如圖7所示為全屏圖的示例,圖像大小為718×289,圖像格式為JPEG2000。全屏圖一般為某幀圖像中的奇場或偶場,是每個頻道內(nèi)容的直接體現(xiàn),也是監(jiān)播系統(tǒng)中主要分析和處理的對象之一。通過對抽幀器進(jìn)行的全屏圖和臺標(biāo)圖的抽取功能測試,事實(shí)證明抽幀器能夠進(jìn)行流暢的圖像抽取工作。
圖7 全屏圖抽取結(jié)果示例
聯(lián)調(diào)功能是抽幀器和上層設(shè)備交互的測試。根據(jù)抽幀器的工作模式可以分為常規(guī)模式下圖像抽取與回傳和應(yīng)急模式下圖像抽取與回傳。
1)常規(guī)模式下圖像的抽取與回傳
常規(guī)模式下,抽幀器根據(jù)配置文件可能工作于兩種狀態(tài)下:邊抽邊傳和定時抽取定時回傳。需要注意的是,常規(guī)模式下無論哪一種工作狀態(tài),抽幀器始終與網(wǎng)絡(luò)服務(wù)器進(jìn)行交互。
邊抽邊傳是指抽幀器每抽取一幅圖像,就回傳一幅圖像,同時將圖像保留至本地硬盤中做備份,7天之后刪除。這種方式的優(yōu)勢在于實(shí)時性好,上層設(shè)備可以實(shí)時地對抽回的圖像進(jìn)行分析和處理,并調(diào)整抽幀器的工作狀態(tài)。這種工作狀態(tài)往往適用于對一些直播型節(jié)目的監(jiān)控,作為常規(guī)模式的主要工作狀態(tài)。
定時抽取定時回傳是指抽幀器以24小時為周期,在一定時間段內(nèi)抽取圖像存至本地,在另一時間段內(nèi)將圖像回傳至上層設(shè)備,本地保存的圖像7天之后刪除。這種方式能夠很好地利用凌晨的網(wǎng)絡(luò)空閑期進(jìn)行圖像上傳,適用于工作時間網(wǎng)絡(luò)擁塞嚴(yán)重的場景,缺點(diǎn)是時效性不強(qiáng)。通過對兩種狀態(tài)下的抽幀器工作進(jìn)行了功能性測試,結(jié)果證明抽幀器能穩(wěn)定地在上述兩種工作狀態(tài)下工作。
2)應(yīng)急模式下圖像的抽取與回傳
應(yīng)急模式是指抽幀器接到臨時的調(diào)度指令,打斷原有的工作狀態(tài)執(zhí)行新的監(jiān)控任務(wù)。應(yīng)急模式的發(fā)起者是調(diào)度中心,響應(yīng)應(yīng)急指令的抽幀器需要實(shí)時地將圖像回傳至調(diào)度中心進(jìn)行監(jiān)看。這種模式適用于有人舉報播放非法節(jié)目時的應(yīng)急處理,能夠在第一時間采集會舉報對象的節(jié)目信息。發(fā)起應(yīng)急模式的調(diào)度中心界面如圖8所示,圖中調(diào)度中心正在窗口2對ID號為1120的模擬抽幀器進(jìn)行實(shí)時監(jiān)控,監(jiān)控頻道為CCTV1。
圖8 應(yīng)急模式下抽取結(jié)果示例(截圖)
1)抽幀頻率的測試
為了測試抽幀器的實(shí)際抽幀頻率,在應(yīng)用程序中添加了定時器,并按表1中的內(nèi)容進(jìn)行測試。輸入為4路模擬電視信號,信號質(zhì)量較好。
表1 抽幀速度測試結(jié)果
從表1中可以看出,在抽幀器工作30 min后,各種工作模式下的抽幀速度趨于穩(wěn)定。其中閉環(huán)測試的全屏圖抽取模式和聯(lián)調(diào)測試的定時抽取定時回傳模式工作情況類似,都是由抽幀器抽取圖像存至本地,在這種情況下,抽幀器的抽幀速率可以達(dá)到10.2 f/s;而聯(lián)調(diào)測試的邊抽邊傳模式和應(yīng)急模式工作情況類似,需要抽幀器完成圖像抽取、存儲和回傳的功能,此時由于和上層設(shè)備存在數(shù)據(jù)包的交互,抽幀速度基本控制在每2秒抽1幀。
這里需要說明的是,抽幀器的抽幀速度和模擬信號的質(zhì)量有關(guān),當(dāng)信號非常好時,閉環(huán)測試下的全屏圖抽取平均速度可以達(dá)到接近11 f/s,但是當(dāng)信號十分差時,全屏圖抽取平均速度可能降到6 f/s左右。為保證信號質(zhì)量,在設(shè)計(jì)抽幀器設(shè)備時加入20 dB增益的信號放大器。經(jīng)過測試證明,抽幀器的性能和功能均達(dá)到技術(shù)要求。
2)存儲量評估
抽幀器平均每幅圖的大小約為40 kbyte,那么抽幀器7天內(nèi)產(chǎn)生的平均數(shù)據(jù)量為:(50 kbyte/幅×10幅/秒×86 400秒/天)×7天,約為288.4 Gbyte,抽幀器的硬盤容量為500 Gbyte,完全具備存儲抽幀器7天內(nèi)采集數(shù)據(jù)的能力。
我國目前已經(jīng)建立了中央、省、市、縣的四級節(jié)目播出體系,而針對這種體系所建立的監(jiān)播系統(tǒng)卻只能涵蓋到中央、省、市三級,對于縣級的監(jiān)播一直處于空白。已有的監(jiān)播系統(tǒng)采取的是“舉報回看”的方式,會導(dǎo)致監(jiān)播的滯后性。針對這些問題,本文提出了一整套循環(huán)抽幀和遠(yuǎn)程調(diào)度監(jiān)播的方法,成功研制了硬件設(shè)備即抽幀器,實(shí)現(xiàn)了對監(jiān)播數(shù)據(jù)的高效采集和快速響應(yīng)和回傳,為我國建立新的監(jiān)播體系做出了有益的探索。
[1] 黃忠寶.實(shí)用電視監(jiān)播系統(tǒng)[J].電視技術(shù),2001,25(8):77-79.
[2] 王新舸,羅志強(qiáng).代表幀及其提取方法[J].電視技術(shù),2010,34(10):26-28.
[3] 陳秀新,賈克斌,鄧智玭.融合時序特征和關(guān)鍵幀的視頻檢索方法[J].電視技術(shù),2011,35(3):21-24.
[4] 呂晨,溫淑鴻.基于I幀數(shù)據(jù)采集的廣電監(jiān)播系統(tǒng)關(guān)鍵技術(shù)[J].電視技術(shù),2012,36(18):79-81.
[5] 龍清.基于顏色特征的電視圖像檢索[J].電視技術(shù),2012,36(8):68-71.
[6] 王海濤,馬建倉.廣播電視監(jiān)播系統(tǒng)簡介[J].電聲技術(shù),2007(12):73-76.