高性能計算在廣播電視廣告監(jiān)管應(yīng)用研究

方成圓

【摘要】 高性能計算在快速數(shù)據(jù)處理和海量數(shù)據(jù)高速分析方面的特點與監(jiān)管業(yè)務(wù)的信息化發(fā)展相契合，更容易實現(xiàn)大時間和地域跨度的及時監(jiān)管和及時處理。本文詳細介紹了高性能計算在廣播電視廣告監(jiān)管方面的應(yīng)用。

【關(guān)鍵字】 計算機集群 海量數(shù)據(jù) 資源利用 交互效率

一.引言

高性能計算（High performance computing，縮寫HPC，也稱“超算”）【1】通常指多處理器集群或多臺計算機集群計算的系統(tǒng)和環(huán)境，通過軟件系統(tǒng)和硬件環(huán)境的完美配合實現(xiàn)在單位機房面積內(nèi)運算效能最大化的系統(tǒng)。高性能計算分很多類型，包括通過高性能網(wǎng)絡(luò)互聯(lián)的通用計算機集群系統(tǒng)或?qū)Ｓ糜嬎銠C集群到天河之類的巨型機系統(tǒng)，系統(tǒng)運算核心從十幾顆到上萬顆不等。

隨著信息技術(shù)發(fā)展，高性能計算已經(jīng)不單指大規(guī)模通用CPU或重核CPU集群計算系統(tǒng)，基于GPU集群和X86服務(wù)器集群的高性能計算系統(tǒng)也日趨成熟。通過高速網(wǎng)絡(luò)連接，用戶可以根據(jù)業(yè)務(wù)需要搭建規(guī)模不一，價格相對低廉的超算系統(tǒng)提升單位機房面積綜合計算效能。高性能計算應(yīng)用領(lǐng)域非常廣泛，傳統(tǒng)的應(yīng)用領(lǐng)域包括：量子化學(xué)、分子模擬、氣象預(yù)報、天氣研究、油氣勘探、流體力學(xué)、結(jié)構(gòu)力學(xué)、核反應(yīng)等。隨著經(jīng)濟發(fā)展和社會進步，人們需要更深入、更精細和更大規(guī)模的對研究對象進行分析和計算模擬，高性能計算成為在發(fā)現(xiàn)新現(xiàn)象、認(rèn)識科學(xué)規(guī)律、進行工程設(shè)計中不可替代的手段。應(yīng)用范圍從傳統(tǒng)領(lǐng)域不斷擴大到資源環(huán)境、航空航天、新材料、新能源、醫(yī)療衛(wèi)生、金融、文化產(chǎn)業(yè)等經(jīng)濟和社會發(fā)展的眾多領(lǐng)域。

在海量數(shù)據(jù)大規(guī)模分析應(yīng)用系統(tǒng)中，在每天PB級的數(shù)據(jù)承載壓力下，由于節(jié)省了大量的硬件設(shè)備和配套資源高性能計算系統(tǒng)是一個合適的選擇。中國是人口大國，社會基礎(chǔ)信息量極大，大量高性能計算已經(jīng)應(yīng)用在重要部門的海量信息融合性監(jiān)管和分析系統(tǒng)中，隨著國家信息化管理要求的不斷提高，高性能計算對推動各級管理部門的信息自動化、智能化、融合化發(fā)展起著決定性作用。

二.高性能計算主要技術(shù)特點

相對于傳統(tǒng)應(yīng)用系統(tǒng)，高性能計算系統(tǒng)主要解決了：提高系統(tǒng)資源的利用率和加快運算節(jié)點間的交互效率。

運行在單臺X86平臺上的傳統(tǒng)應(yīng)用系統(tǒng)屬于多線程串行工作模式，即系統(tǒng)按照標(biāo)準(zhǔn)的系統(tǒng)資源分配原則將任務(wù)分配到不同的物理核，將不同物理核的計算結(jié)果保存在內(nèi)存或硬盤。傳統(tǒng)環(huán)境下的應(yīng)用服務(wù)器的平均資源利用率通常不超過30%。

云計算很好地解決了快速部署和硬件資源共享，可以大幅減少云平臺的資源浪費，將不同節(jié)點的處理器、內(nèi)存、存儲等資源統(tǒng)一分配的網(wǎng)格計算技術(shù)，以及為了減少落盤次數(shù)發(fā)展起來的內(nèi)存運算技術(shù)（即所有計算結(jié)果和交互數(shù)據(jù)都存放在內(nèi)存中）都是為了最大限度提升系統(tǒng)整體效能。

并行計算是高性能計算的一種，通常我們也把運算能力較強的定制化服務(wù)器稱為HPC（High performance computer），隨著應(yīng)用需求的發(fā)展，目前我們所描述的HPC（High performance computing）系統(tǒng)已經(jīng)不單單指一臺定制化設(shè)備，而是通過高速網(wǎng)絡(luò)連接起來的多服務(wù)器機群和底層資源控制系統(tǒng)之間的完美組合。

圖1顯示了一標(biāo)準(zhǔn)化網(wǎng)狀HPC系統(tǒng)。在網(wǎng)狀網(wǎng)絡(luò)拓?fù)渲?，該結(jié)構(gòu)支持通過縮短網(wǎng)絡(luò)節(jié)點之間的物理和邏輯距離來加快跨主機的通信，而控制服務(wù)器通過任務(wù)和運算服務(wù)器資源的狀況進行統(tǒng)籌安排，先進的底層控制技術(shù)可以按照CPU時鐘來分配每個物理核在不同的時間段完成指定的任務(wù)。典型HPC環(huán)境中的任務(wù)執(zhí)行，有兩個模型：單指令/多數(shù)據(jù)（SIMD）和多指令/多數(shù)據(jù) （MIMD）【2】。以視聽節(jié)目數(shù)據(jù)分析HPC系統(tǒng)為例，由于系統(tǒng)要進行視聽節(jié)目的轉(zhuǎn)碼、元數(shù)據(jù)提取、拆幀、圖像內(nèi)容分析、語音內(nèi)容分析等，但同時又需要多路視頻實時并發(fā)，實際上是一個典型的MIMD系統(tǒng)。

對于數(shù)據(jù)運算復(fù)雜、數(shù)據(jù)總量大的系統(tǒng)來說，HPC因為單位資源效率的數(shù)倍甚至數(shù)十倍提高，可以大幅降低硬件投入成本、機房建設(shè)成本和維護成本，滿足信息化快速發(fā)展需求。

由于對系統(tǒng)底層資源控制技術(shù)研究的不斷深入和高速網(wǎng)絡(luò)的發(fā)展，利用通用服務(wù)器構(gòu)建HPC系統(tǒng)已經(jīng)日趨成熟，用戶可以根據(jù)信息處理需求定制化不同規(guī)模的HPC系統(tǒng)。HPC相對于巨型機來說，更加實用、部署靈活、價格低廉，相對于云計算來說，運算更快、空間更小、節(jié)能環(huán)保。

三.廣播電視廣告監(jiān)管的現(xiàn)狀

當(dāng)前，電臺電視臺播放虛假醫(yī)藥廣告問題比較突出，屢禁不止。這些虛假廣告既損害了人民群眾的切身利益，也嚴(yán)重影響了廣播電視媒體的形象。國家新聞出版廣電總局先后下發(fā)了《關(guān)于做好養(yǎng)生類節(jié)目制作播出工作的通知》、《關(guān)于進一步加強醫(yī)療養(yǎng)生類節(jié)目和醫(yī)藥廣告播出管理的通知》等行業(yè)法規(guī)。堅持以宣傳普及疾病預(yù)防、控制、治療和養(yǎng)生保健等科學(xué)知識為主體內(nèi)容，堅持真實、科學(xué)、權(quán)威、實用的原則，不得夸大夸張或虛假宣傳、誤導(dǎo)受眾。做好醫(yī)療養(yǎng)生類節(jié)目和醫(yī)藥廣告播出對于宣傳國家醫(yī)藥衛(wèi)生政策，傳播醫(yī)學(xué)科學(xué)知識，引導(dǎo)民眾增強健康意識、養(yǎng)成健康生活方式，促進醫(yī)患和諧，為健康中國創(chuàng)造良好氛圍，培育厚田沃土，具有十分重要的意義。

一方面要求各級新聞出版廣電播出機構(gòu)自覺遵守、執(zhí)行，落實《通知》精神，開展自查自糾、認(rèn)真整改；另一方面應(yīng)依據(jù)法律法規(guī)對近千套的有線電視節(jié)目實現(xiàn)廣告節(jié)目的實現(xiàn)有效的監(jiān)聽監(jiān)看及研判。前者是相信廣播電視播出機構(gòu)具有自覺性，后者是實現(xiàn)管理的必要監(jiān)督手段。

如何利用新技術(shù)來實現(xiàn)對海量節(jié)目內(nèi)容的排查、定位、數(shù)據(jù)統(tǒng)計是擺在監(jiān)管面前的問題。但是由于目前監(jiān)管技術(shù)手段較為單一，需要借助于新技術(shù)手段利用機器協(xié)助人工達到對已知違規(guī)內(nèi)容實時發(fā)現(xiàn)、快速檢索、快速取證等功能，還需要借助機器學(xué)習(xí)技術(shù)能夠自動發(fā)現(xiàn)有明顯違規(guī)現(xiàn)象的違規(guī)廣告內(nèi)容。

四.高性能計算在廣播電視廣告監(jiān)管應(yīng)用研究

國內(nèi)的電視節(jié)目信號有數(shù)千路，要實現(xiàn)在全國電視網(wǎng)絡(luò)中做到自動、快速發(fā)現(xiàn)違規(guī)廣告內(nèi)容需要解決如下三個問題：

快速數(shù)據(jù)處理能力：電視節(jié)目數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，相對于結(jié)構(gòu)化數(shù)據(jù)庫，數(shù)據(jù)量比較大，滿足數(shù)千路數(shù)據(jù)的實時處理需要耗費大量的系統(tǒng)資源，傳統(tǒng)的多線程串行系統(tǒng)設(shè)計思路需要數(shù)以千計的設(shè)備才能將所有電視信號進行深度內(nèi)容分析。

海量數(shù)據(jù)高速分析能力：視聽節(jié)目數(shù)據(jù)在結(jié)構(gòu)化之后，數(shù)據(jù)量非常大，100路數(shù)據(jù)1年的結(jié)構(gòu)化數(shù)據(jù)總條目就可以達到30多億條，在違規(guī)廣告監(jiān)管中如果需要大時間和地域跨度做分析，系統(tǒng)分析的綜合效率需要大幅提升，才能滿足監(jiān)管業(yè)務(wù)的時效性要求。

信息標(biāo)準(zhǔn)化：數(shù)據(jù)處理、數(shù)據(jù)分析、違規(guī)節(jié)目庫、違規(guī)分類分級等都需要對信息資源進行標(biāo)準(zhǔn)化管理。比如將所有違規(guī)樣本和視聽節(jié)目的內(nèi)容屬性按照統(tǒng)一標(biāo)準(zhǔn)進行分析，所提取的內(nèi)容屬性滿足內(nèi)容檢索要求，即通過現(xiàn)有樣本可以與實時信號流進行圖像和聲音的內(nèi)容比對而實現(xiàn)對相似節(jié)目實時發(fā)現(xiàn)，或者可以從海量數(shù)據(jù)資源中快速篩選出與違規(guī)樣本相似的歷史節(jié)目數(shù)據(jù)。只有實現(xiàn)了信息標(biāo)準(zhǔn)化之后，監(jiān)管信息系統(tǒng)才能明確相對穩(wěn)定的技術(shù)方向，保證系統(tǒng)業(yè)務(wù)的持續(xù)發(fā)展。

在解決這三個問題中，高性能計算在快速數(shù)據(jù)處理和海量數(shù)據(jù)高速分析方面可以大幅提供系統(tǒng)性能的同時可以節(jié)省大量的硬件資源，相對較少的環(huán)境空間需求和設(shè)備需求可以加速監(jiān)管業(yè)務(wù)的信息化發(fā)展。同時在日益緊迫的違規(guī)廣告監(jiān)管中，更容易實現(xiàn)大時間和地域跨度的及時監(jiān)管和及時處理。

資源?；椭悄芊治鱿到y(tǒng)是目前國家新聞出版廣電總局正在進行系統(tǒng)實驗的一個應(yīng)用平臺，在該平臺中很好的解決了上述問題，并提出了自動化、高融和監(jiān)管設(shè)計思路，通過一次粒化、自適應(yīng)分析系統(tǒng)總體設(shè)計，可以滿足日常和突發(fā)監(jiān)管業(yè)務(wù)需求。

在下述的資源粒化與智能分析平臺介紹中，系統(tǒng)在數(shù)據(jù)加工、管理、分析、應(yīng)用等不同環(huán)節(jié)，在信息高度標(biāo)準(zhǔn)化的前提下，結(jié)合行業(yè)知識充分利用信息之間的關(guān)聯(lián)關(guān)系形成可被機器認(rèn)知的知識化信息資源體系，從而可以承載智能分析、自主學(xué)習(xí)等智能應(yīng)用系統(tǒng)。

五.資源?；c智能分析平臺

資源粒化與智能分析總體架構(gòu)

空間資源?；菏菍臻g資源的知識化屬性提取過程；多源粒化適應(yīng)性體系結(jié)構(gòu)：是指由用戶自主對各類業(yè)務(wù)資源（含信息、知識、過程等）進行知識化屬性提取，并可實時、簡便地進行相應(yīng)調(diào)整；雙空間構(gòu)造技術(shù)：具體在軟件系統(tǒng)設(shè)計、開發(fā)過程中，將硬件環(huán)境與軟件結(jié)構(gòu)、模型算法、控制反饋等方面進行統(tǒng)一的規(guī)劃、集成，達到高效、低耗、自適應(yīng)穩(wěn)定工作的目的。

主要技術(shù)構(gòu)成

列式數(shù)據(jù)庫：是大數(shù)據(jù)平臺中結(jié)構(gòu)化/元數(shù)據(jù)管理的基礎(chǔ)部件；文字智能引擎：針對多語言文字內(nèi)容，基于信息論、概率論的數(shù)學(xué)模型，提供各種處理、分析、關(guān)聯(lián)、聚類等功能；視頻智能引擎：針對幀圖像中顏色、紋理和形狀等特征建立其高維度空間的數(shù)學(xué)模型，實現(xiàn)鏡頭、關(guān)鍵幀、視頻摘要、幀圖像索引、相似查詢與分析；音頻智能引擎：針對音頻信號，基于多種數(shù)學(xué)模型與方法，提供編解碼、語種識別、聲紋識別、語音識別（語音轉(zhuǎn)文字）、音頻短語識別等功能；流式數(shù)據(jù)處理引擎：將內(nèi)存處理、事務(wù)、歷史數(shù)據(jù)與流式分析相結(jié)合，對臨界點進行實時計算，達到每秒百萬條信息量的分析效率，處理遲延毫秒級；超算結(jié)構(gòu)：基于x86聚合技術(shù)架構(gòu)，支持向量計算AVX和多處理器并行計算。

資源?；菏疽鈭D

資源?；汉椭悄芊治黾憾疾捎昧烁咝阅苓\算集群架構(gòu)，系統(tǒng)將實時流經(jīng)過轉(zhuǎn)碼、分鏡頭和拆幀等數(shù)據(jù)歸一化處理后，還要做元數(shù)據(jù)屬性和傳播屬性提取、圖像內(nèi)容分析及屬性提取、聲音內(nèi)容分析及屬性提取、語音轉(zhuǎn)文字等工作并將結(jié)果數(shù)據(jù)入庫。因為采用了HPC集群架構(gòu)，系統(tǒng)可以將任務(wù)分配到不同系統(tǒng)單元的時間窗口上，從數(shù)據(jù)流進入到產(chǎn)生結(jié)果數(shù)據(jù)之前始終不落盤，并且每個計算資源都按照計算任務(wù)的復(fù)雜程度安排了合理的時間窗，從而保證計算資源最大化利用，數(shù)倍以上的提升了系統(tǒng)的綜合效率。

在圖3所示的硬件環(huán)境下，具有以下功能：100路節(jié)目轉(zhuǎn)碼、鏡頭分拆、關(guān)鍵幀、圖像內(nèi)容結(jié)構(gòu)化、元數(shù)據(jù)提取、語音轉(zhuǎn)文字等屬性提取并實時入庫。其中鏡頭及關(guān)鍵幀提取能夠?qū)崟r提取100路鏡頭及關(guān)鍵幀；語音轉(zhuǎn)文字能夠?qū)?00路節(jié)目實時進行中、英文語音轉(zhuǎn)文字，新聞類節(jié)目準(zhǔn)確率90%以上。

通過對原始視頻的資源?；幚?，形成以元數(shù)據(jù)、關(guān)鍵幀、圖像特征屬性（臺標(biāo)、人物、物品、場景、標(biāo)識、紋理、字幕等）、聲音屬性（聲紋、語音、語種、語音轉(zhuǎn)文字）、關(guān)鍵字等構(gòu)成的結(jié)構(gòu)化數(shù)據(jù)，通過系統(tǒng)學(xué)習(xí)在列式數(shù)據(jù)庫中形成特定的關(guān)聯(lián)性數(shù)據(jù)，即知識型數(shù)據(jù)引擎，在分析層中可以通過任意屬性組合快速、準(zhǔn)確定位原始視頻文件。

在違規(guī)廣告監(jiān)管業(yè)務(wù)中，我們可以通過關(guān)鍵字、圖像特征和聲紋快速找到相似的廣告信息，在以廣告片斷為樣本的檢索實驗中，違規(guī)節(jié)目的篩選和攔截率甚至可以接近100%。以目前比較經(jīng)常出現(xiàn)的虛假廣告為例，一些虛假廣告主采取多種手段躲避廣播電視監(jiān)管，先是以節(jié)目形式播出廣告，從節(jié)目包裝、節(jié)目名稱到節(jié)目形式都是一部專題片，比如：某衛(wèi)視播出的《走進科學(xué)之解讀白癜風(fēng)》和《走進科學(xué)之解密甲狀腺》，實際播出的是違規(guī)醫(yī)療廣告，一旦被國家新聞出版廣電總局叫停后，它會在地方有線頻道播出。在實驗中，我們將違規(guī)視頻放入違規(guī)樣本庫，系統(tǒng)對34家上星衛(wèi)視節(jié)目進行布控，看看在此廣告被叫停后是否還有別的頻道播出此廣告。系統(tǒng)能夠準(zhǔn)確找到同樣節(jié)目在個別臺播出，同樣，我們也可以按照“白癜風(fēng)”、“甲狀腺”、“王克珍”等關(guān)鍵字檢索是否還有類似內(nèi)容播出。

通過實驗，我們發(fā)現(xiàn)利用資源?；椭悄芊治鱿到y(tǒng)，在違規(guī)廣告監(jiān)管中系統(tǒng)可以提供如下手段實現(xiàn)違規(guī)廣告監(jiān)管：

（1）將違規(guī)廣告作為樣本，在電視節(jié)目流上進行實時攔截，時效性為秒級，相同節(jié)目內(nèi)容攔截率100%，可以進行多樣本同時攔截。

（2）按照特定的違規(guī)廣告樣本，在歷史節(jié)目中進行查詢，根據(jù)資源庫的大小，效率從十幾秒到數(shù)分鐘不等，相同節(jié)目內(nèi)容準(zhǔn)確率接近100%。

（3）根據(jù)違規(guī)廣告特點，通過機器學(xué)習(xí)將聲紋、人像和關(guān)鍵字等進行相似節(jié)目檢索和攔截，系統(tǒng)根據(jù)內(nèi)容相近程度提供結(jié)果，人工甄別后可確定新的違規(guī)樣本，維護進樣本庫后可按照第1種方式自動攔截，提高準(zhǔn)確率。

六.結(jié)束語

隨著新一代信息技術(shù)在各行各業(yè)的大量應(yīng)用，面對海量內(nèi)容數(shù)據(jù)，智能、高效的信息化技術(shù)手段應(yīng)用在廣告監(jiān)管業(yè)務(wù)上是必然趨勢，為了保證系統(tǒng)資源被最大限度利用，在數(shù)據(jù)集中處理和分析系統(tǒng)中應(yīng)用超算架構(gòu)搭建數(shù)據(jù)中心是非常適合的。隨著技術(shù)發(fā)展，超算架構(gòu)可以采用通用X86平臺實現(xiàn)數(shù)倍甚至數(shù)十倍性能的提升，建設(shè)和維護成本大幅下降，已經(jīng)成為新信息化應(yīng)用系統(tǒng)核心。

國家新聞出版廣電總局監(jiān)管業(yè)務(wù)對新型內(nèi)容監(jiān)管系統(tǒng)的需求越來越迫切，就廣告監(jiān)管業(yè)務(wù)來說，搭建新型廣告監(jiān)管系統(tǒng)需要大量的運算資源，而超算架構(gòu)可以利用成熟技術(shù)，減少機房面積和環(huán)境資源，能夠及早實現(xiàn)更大規(guī)模、更智能、自動化更高的全國廣告及其它視聽節(jié)目內(nèi)容監(jiān)管體系。B&P;

參考文獻

【1】https：//baike.baidu.com/item/高性能計算/329249

【2】《并行處理基本原理》，作者：（美）Harry F.Jordan，翻譯：遲利華，出版：清華大學(xué)出版社2004年出版