媒體行業(yè)數(shù)據(jù)中臺建設方案研究

王慕維

新華通訊社大數(shù)據(jù)中心 北京 100803

1 數(shù)據(jù)中臺背景

數(shù)據(jù)中臺的概念是阿里巴巴首次提出的，是應對像“雙十一”這樣的業(yè)務高峰，應對大規(guī)模數(shù)據(jù)的線性可擴展問題，應對復雜業(yè)務系統(tǒng)的解耦問題的綜合性解決方案，也稱為“大中臺、小前臺”戰(zhàn)略[1]。數(shù)據(jù)中臺是一套基于數(shù)據(jù)與服務實現(xiàn)的業(yè)務支撐體系，本身并沒有什么新的技術或內容，主要包含兩樣東西，一個是數(shù)據(jù)，另一個是服務。

數(shù)據(jù)中臺主要實現(xiàn)數(shù)據(jù)接入、管理、共享與應用，從整體上統(tǒng)一數(shù)據(jù)架構，打破信息孤島，解決數(shù)據(jù)冗余、不一致等問題。與傳統(tǒng)數(shù)據(jù)倉庫不同，數(shù)據(jù)中臺記錄了企業(yè)業(yè)務全過程數(shù)據(jù)，大到企業(yè)戰(zhàn)略實施過程數(shù)據(jù)，小到個人操作記錄。數(shù)據(jù)中臺將業(yè)務發(fā)展的全流程進行數(shù)據(jù)化并整合，以數(shù)據(jù)鏈打通生產和傳播。另一方面，實現(xiàn)數(shù)據(jù)的靈活訪問，基于數(shù)據(jù)資源目錄和數(shù)據(jù)服務滿足不同類型、規(guī)模用戶對數(shù)據(jù)資源的需求。例如，為新媒體編輯生產數(shù)據(jù)新聞、數(shù)據(jù)專題、短視頻新聞等提供數(shù)據(jù)與技術支持；利用全業(yè)務數(shù)據(jù)特性，靈活的統(tǒng)計、計算服務，為企業(yè)決策提供更多幫助。

數(shù)據(jù)中臺提供三類服務：依賴接口的服務、依賴工具的服務和依賴數(shù)據(jù)的服務。數(shù)據(jù)中臺原則上只提供通用的服務接口，主要解決業(yè)務上的共性需求，以API（接口）形式支持前臺應用，提升對業(yè)務需求的響應效率。通過系統(tǒng)中不同服務組件的配置、組合和流程搭建滿足不同的業(yè)態(tài)模式，實現(xiàn)業(yè)務的創(chuàng)新。例如，為新聞客戶端添加推薦服務，為采編系統(tǒng)提供文本糾錯服務和自動標引服務，在傳播分析中添加水軍檢查服務等。

2 媒體行業(yè)數(shù)據(jù)中臺建設目標

媒體行業(yè)數(shù)據(jù)中臺是一個承接技術，引領業(yè)務，涵蓋數(shù)據(jù)資產、數(shù)據(jù)治理、數(shù)據(jù)模型、垂直數(shù)據(jù)中心、全域數(shù)據(jù)中心、數(shù)據(jù)服務等多個層次的技術平臺[2]。數(shù)據(jù)中臺匯聚稿件資源，整合報道資源，構建媒體統(tǒng)一數(shù)據(jù)平臺，形成“數(shù)據(jù)整合、能力共享、應用創(chuàng)新”的大數(shù)據(jù)體系。數(shù)據(jù)中臺構建統(tǒng)一的數(shù)據(jù)標準與數(shù)據(jù)資源管理體系，為業(yè)務方提供統(tǒng)一的基礎數(shù)據(jù)服務。為了提升大數(shù)據(jù)智能分析能力，數(shù)據(jù)中臺引入智能分析服務，提供滿足業(yè)務需要的各類公共性智能分析應用服務。總之，媒體行業(yè)數(shù)據(jù)中臺的整體建設目標為構建數(shù)據(jù)平臺、沉淀共享服務、提高服務重用率、賦予業(yè)務快速創(chuàng)新能力，實現(xiàn)面向媒體行業(yè)打造平臺化、數(shù)據(jù)化、智能化、服務化、工具化的“中央廚房”式融媒體數(shù)據(jù)中臺。

3 媒體行業(yè)數(shù)據(jù)中臺建設思路

媒體行業(yè)數(shù)據(jù)中臺的建設，從功能上說，包括構建數(shù)據(jù)平臺和能力平臺。其中，數(shù)據(jù)平臺的本質是將數(shù)據(jù)資產化，能力平臺的本質是將流程自動化、將應用場景化。

數(shù)據(jù)平臺作為整個中臺技術體系的核心，涵蓋了數(shù)據(jù)資產、數(shù)據(jù)治理、數(shù)據(jù)模型、垂直數(shù)據(jù)中心、全域數(shù)據(jù)中心、數(shù)據(jù)服務等多個層次。實現(xiàn)稿件數(shù)據(jù)、產品數(shù)據(jù)、運營數(shù)據(jù)、行為數(shù)據(jù)，以及外部互聯(lián)網資源等各類數(shù)據(jù)資源有效匯聚與管理，建設統(tǒng)一的數(shù)據(jù)標準與數(shù)據(jù)資源管理體系，提供業(yè)務方統(tǒng)一的基礎數(shù)據(jù)服務。

數(shù)據(jù)平臺底層采用先進的大數(shù)據(jù)平臺“Hadoop+全文檢索+分布式文件系統(tǒng)”混合存儲架構，實現(xiàn)文本、稿件、圖片、音視頻等資源的高效存儲和使用；采用更加有效的數(shù)據(jù)資產管理，對數(shù)據(jù)按照垂直數(shù)據(jù)、公共數(shù)據(jù)和萃取數(shù)據(jù)等進行分層管理；采用“容器云+微服務”平臺架構，實現(xiàn)服務的快速開發(fā)與編排、彈性伸縮、動態(tài)更新，以及更加完善的權限認證、服務審計、計費、運營等能力；加強數(shù)據(jù)開放共享能力，將數(shù)據(jù)通過API、文件等方式開放給外部系統(tǒng)，實現(xiàn)數(shù)據(jù)交換與共享；采用更加豐富的大數(shù)據(jù)中間件，提供大數(shù)據(jù)計算服務、大數(shù)據(jù)研發(fā)套件、數(shù)據(jù)分析及可視化能力；同時以數(shù)據(jù)多樣性的全域思想為指導，采集、引入全業(yè)務（采編、供稿等）、多終端（PC、H5、App等）、多形態(tài)（自身業(yè)務系統(tǒng)、三方購買、互聯(lián)網采集抓?。┑臄?shù)據(jù)，實現(xiàn)全媒體數(shù)據(jù)資源的有效利用與融合。

此外，數(shù)據(jù)平臺直接面向業(yè)務方提供實時、離線、流式等多種計算與分析能力，業(yè)務方可以在數(shù)據(jù)平臺上自助獲取數(shù)據(jù)，進行數(shù)據(jù)處理、數(shù)據(jù)探索、數(shù)據(jù)挖掘、分析鉆取、多維分析、自助化報表、數(shù)據(jù)分享等，快速響應業(yè)務開發(fā)需求。

能力平臺是一個用來構建業(yè)務應用的基礎設施平臺，對業(yè)務系統(tǒng)所需的功能模塊提供了分布分層的構建能力和服務全生命周期管理功能，實現(xiàn)各個業(yè)務領域基礎性、場景性、通用性的 AI 能力沉淀，加強模型復用、組合創(chuàng)新、規(guī)?；?，最終實現(xiàn)降本增效和快速響應業(yè)務方的需求。

能力平臺提供各類公共性智能分析應用服務，例如中文語義處理、智能推薦、圖像識別、語音識別等服務。能力平臺統(tǒng)一管理各類數(shù)據(jù)應用服務，提供標準化的服務接口方式和數(shù)據(jù)輸入輸出格式。

能力平臺利用各種基礎數(shù)據(jù)服務和智能服務，提供可復用的公共功能模塊，同時通過梳理各業(yè)務系統(tǒng)共性的功能與模塊，并進行剝離與重新封裝，豐富能力平臺的公共模塊資源。上層應用可以基于公共模塊快速封裝業(yè)務產品，降低業(yè)務系統(tǒng)的定制化開發(fā)成本，快速響應用戶需求迭代。

數(shù)據(jù)平臺和能力平臺兩者是相互依存、承前啟后的關系。數(shù)據(jù)平臺融合各類數(shù)據(jù)，實現(xiàn)數(shù)據(jù)分類治理。同時數(shù)據(jù)平臺提供基礎數(shù)據(jù)服務（全文檢索、數(shù)據(jù)訂閱等服務），并將基礎數(shù)據(jù)服務注冊到能力平臺。能力平臺依托數(shù)據(jù)平臺提供的數(shù)據(jù)和分析工具集，加速 AI 相關服務的開發(fā)和復用，提供各種智能服務（自然語言處理、智能推薦等）來應對前臺業(yè)務需求。

4 媒體行業(yè)數(shù)據(jù)中臺總體設計

依照媒體行業(yè)數(shù)據(jù)中臺建設思路，筆者設計了一套媒體行業(yè)數(shù)據(jù)中臺整體技術架構。如圖1所示，媒體行業(yè)數(shù)據(jù)中臺可以分為數(shù)據(jù)支撐層、能力支撐層兩層。

圖1 媒體數(shù)據(jù)中臺架構設計圖

4.1 數(shù)據(jù)支撐層

數(shù)據(jù)支撐層對接各類媒體資源后臺，存儲采編發(fā)系統(tǒng)生產的稿件資源，匯集采集的媒體網站數(shù)據(jù)、數(shù)字報數(shù)據(jù)、客戶端數(shù)據(jù)、社交平臺數(shù)據(jù)等互聯(lián)網采集數(shù)據(jù)，匯集各個業(yè)務系統(tǒng)生成的行為數(shù)據(jù)、交易數(shù)據(jù)、日志數(shù)據(jù)，形成統(tǒng)一的數(shù)據(jù)資源池，供上層業(yè)務系統(tǒng)使用。

整個數(shù)據(jù)支撐層包含大數(shù)據(jù)平臺、容器云平臺、基礎應用平臺、數(shù)據(jù)采集分發(fā)系統(tǒng)、資源管理系統(tǒng)、數(shù)據(jù)開發(fā)分析系統(tǒng)等“三平臺三系統(tǒng)”體系。通過大數(shù)據(jù)平臺、容器云平臺、基礎應用平臺實現(xiàn)底層基礎設施環(huán)境的統(tǒng)一。大數(shù)據(jù)平臺提供大數(shù)據(jù)存儲和計算能力，基于大數(shù)據(jù)平臺進行海量多源異構數(shù)據(jù)的存儲與計算；容器云平臺提供應用的快速部署、彈性伸縮和應用環(huán)境資源動態(tài)調整等能力；基礎應用平臺提供應用所需要的基礎運行環(huán)境，包括JDK、Tomcat、Nginx等組件，常規(guī)應用可以直接在基礎應用平臺上進行服務的部署與發(fā)布。

數(shù)據(jù)采集分發(fā)系統(tǒng)涵蓋數(shù)據(jù)采集、存儲、加工、管理等數(shù)據(jù)生命全周期流程，數(shù)據(jù)采集分發(fā)系統(tǒng)采集各業(yè)務線數(shù)據(jù)，進行標準化、規(guī)范化，將接入的數(shù)據(jù)永久性存儲到中央數(shù)據(jù)庫中，同時把業(yè)務系統(tǒng)所需要的數(shù)據(jù)以多種形式分發(fā)給它們。中央數(shù)據(jù)庫的數(shù)據(jù)類型多且繁雜，需要資源管理系統(tǒng)對中央數(shù)據(jù)庫的資源進行有效的管理。資源管理系統(tǒng)提供元數(shù)據(jù)管理、分類體系管理、內容編輯、資源權限管理等功能，實現(xiàn)中央數(shù)據(jù)庫全方位、立體化管理。通過資源管理系統(tǒng)，實現(xiàn)中央數(shù)據(jù)庫數(shù)據(jù)分層存儲，匯集到中央數(shù)據(jù)庫的數(shù)據(jù)經過標準化后形成原始庫；然后通過數(shù)據(jù)分類和融合，形成不同的業(yè)務庫；中央數(shù)據(jù)庫可以根據(jù)業(yè)務需求生成相關主題庫，對各種圖片、文稿、音視頻進行有效整合，實現(xiàn)資源的融合，豐富相關主題的維度。數(shù)據(jù)開發(fā)分析系統(tǒng)為數(shù)據(jù)開發(fā)人員提供相應的開發(fā)環(huán)境，開發(fā)人員可以申請業(yè)務所需的數(shù)據(jù)資源權限，然后進行快速的數(shù)據(jù)協(xié)同開發(fā)工作，快速產出所需業(yè)務數(shù)據(jù)。

4.2 能力支撐層

能力支撐層主要包括能力資源池和服務資源池兩大重要組成部分。能力資源池提供基礎的業(yè)務分析與智能分析能力。業(yè)務分析主要提供和業(yè)務相關的分析能力，包括新聞圖譜分析、輿情分析、專題分析、傳播分析等內容；智能分析主要提供通用的人工智能相關的分析能力，包括文本分析、圖像識別、個性化推薦、智能檢索等內容。通過這些能力來加強數(shù)據(jù)中臺整體信息智能分析水平，提升大數(shù)據(jù)分析能力，提供業(yè)務需要的各類公共性智能分析應用服務。

數(shù)據(jù)能力、分析能力以微服務的形式封裝成統(tǒng)一口徑的API服務接口對外提供數(shù)據(jù)服務，形成服務資源池。服務資源池的核心為服務管理平臺，匯入服務資源池的服務需要注冊到服務管理平臺，經過授權后對外提供數(shù)據(jù)服務。服務管理平臺提供服務的注冊、發(fā)布、審批、監(jiān)控、權限控制，流量限制等功能，提供服務一體化管理頁面，包括服務的上線、下線設置，保證服務的平滑上下線；支持服務實例的權重分配，根據(jù)服務實例負載情況進行服務的調用分配；提供應用配置的集中化管理，支持配置文件的版本管理和回滾，以及數(shù)據(jù)庫配置、網關路由配置、流量控制配置等常用配置的實時修改和熱更新。

5 結束語

媒體行業(yè)數(shù)據(jù)中臺由多個平臺和系統(tǒng)進行相關支撐與配合，共同構成，形成采集、存儲、數(shù)據(jù)能力、分析能力、服務能力、發(fā)布能力的整套數(shù)據(jù)處理流程。媒體行業(yè)數(shù)據(jù)中臺的出現(xiàn)徹底解決媒體行業(yè)信息資源整合的業(yè)務痛點，為媒體機構提供豐富的數(shù)據(jù)和智能服務，賦能傳統(tǒng)媒體轉型。作為大數(shù)據(jù)和媒體行業(yè)深度融合的產物，筆者相信媒體行業(yè)數(shù)據(jù)中臺將會在媒體內容生產，驅動媒體智能化轉型方面發(fā)揮重要作用。