基于大數(shù)據(jù)的全國煤炭交易數(shù)據(jù)分析平臺研究與實現(xiàn)

中國電力傳媒集團有限公司 闞守輝

早在二十世紀(jì)90 年代初，我國就已經(jīng)開始了煤炭交易市場（中心）的探索。在我國一些煤炭資源豐富的地區(qū)、主要的煤炭消費城市以及煤炭運輸中轉(zhuǎn)站，相繼出現(xiàn)了區(qū)域性的煤炭交易中心，如上海、天津、秦皇島、東北（大連）、北京、太原、內(nèi)蒙古等地形式不同的交易市場陸續(xù)建成開業(yè)。此外，還有多家煤炭交易市場在籌建之中。然而，目前的煤炭信息主要屬于行業(yè)性、區(qū)域性的，分散在各交易市場和行業(yè)組織之中，相互之間信息不透明，更無法形成完整、準(zhǔn)確的全國性信息。從國家層面來看，相關(guān)管理部門需要收集各地市場的交易數(shù)據(jù)，但數(shù)據(jù)的實時性、準(zhǔn)確性、完整性達不到預(yù)期，也就無法更好地對全國范圍的煤炭市場交易情況作出預(yù)判、預(yù)警、預(yù)知及宏觀調(diào)控。對于參與到煤炭交易過程中的生產(chǎn)商、采購商、經(jīng)銷商等相關(guān)主體，也只能根據(jù)在不同市場的參與度，部分了解區(qū)域范圍內(nèi)的行情、價格、趨勢等，無法對全國范圍內(nèi)的煤炭交易情況作出一個宏觀的判斷。

為了順利完成國家能源局提出的“服務(wù)能源企業(yè)科學(xué)發(fā)展，服務(wù)能源行業(yè)健康發(fā)展，服務(wù)國家能源安全發(fā)展、科學(xué)發(fā)展、可持續(xù)發(fā)展”的工作任務(wù)，中國電力傳媒集團積極探索研究煤炭與電力行業(yè)的新業(yè)務(wù)市場，提升服務(wù)政府、行業(yè)、企業(yè)的能力，提升在能源領(lǐng)域的影響力、權(quán)威性和競爭力，以構(gòu)建現(xiàn)代文化企業(yè)為核心目標(biāo)，發(fā)揮自身電力行業(yè)龍頭媒體運營者的優(yōu)勢，整合內(nèi)外部各方面的力量，籌建全國煤炭交易數(shù)據(jù)分析平臺。

建設(shè)目標(biāo)

依托互聯(lián)網(wǎng)+行業(yè)創(chuàng)新思維、大數(shù)據(jù)思維，建設(shè)集數(shù)據(jù)采集、數(shù)據(jù)融合、數(shù)據(jù)處理為一體的，采用成熟平臺+開源組件的大數(shù)據(jù)平臺。全國煤炭交易數(shù)據(jù)分析平臺的主要功能是以互聯(lián)網(wǎng)絡(luò)為載體和渠道，通過建立和應(yīng)用互聯(lián)網(wǎng)+煤炭（能源）數(shù)據(jù)信息新模式，對分散在全國各地、不同體制的煤炭交易市場的交易數(shù)據(jù)進行鏈接和采集，對收集到的相關(guān)數(shù)據(jù)進行分類、聚類、一致與差異性分析與統(tǒng)計，結(jié)合地理信息系統(tǒng)對數(shù)據(jù)進行可視化轉(zhuǎn)換觀測，對采集大數(shù)據(jù)進行挖掘和分析，從而提煉出數(shù)據(jù)的價值，為國家能源局及時掌握煤炭交易情況、開展行業(yè)調(diào)研、進行戰(zhàn)略決策提供數(shù)據(jù)支持，為電力企業(yè)科學(xué)用煤、降低煤耗、減少排放提供更加全面的市場選擇，為煤炭生產(chǎn)、物流企業(yè)科學(xué)安排生產(chǎn)、調(diào)度運力提供準(zhǔn)確信息。

技術(shù)路線

為滿足全國煤炭交易數(shù)據(jù)分析平臺系統(tǒng)項目的建設(shè)目標(biāo)要求，保障系統(tǒng)的先進性，確保系統(tǒng)運行的穩(wěn)定可靠，系統(tǒng)架構(gòu)的設(shè)計需要滿足高性能、高可用、可擴展、低耦合高內(nèi)聚、前端動靜分離要求，選擇主流、成熟、穩(wěn)定的技術(shù)或組件。關(guān)鍵開發(fā)軟件選型見表1。

平臺系統(tǒng)設(shè)計

平臺軟件架構(gòu)設(shè)計

平臺軟件架構(gòu)設(shè)計如圖1 所示。

在系統(tǒng)軟件架構(gòu)設(shè)計方面，主要包含以下幾方面內(nèi)容。

業(yè)務(wù)運營支撐系統(tǒng)：由平臺廣告管理系統(tǒng)、統(tǒng)一平臺會員管理系統(tǒng)、統(tǒng)一平臺權(quán)限管理系統(tǒng)、媒體文件管理系統(tǒng)及數(shù)據(jù)采集中心接口系統(tǒng)組成。以上各子系統(tǒng)完成平臺基礎(chǔ)數(shù)據(jù)的收集管理、對外交易中心數(shù)據(jù)的采集管理和存儲，以及大數(shù)據(jù)挖掘后產(chǎn)生的統(tǒng)計、分析數(shù)據(jù)指數(shù)、圖表、報表、報告等支撐數(shù)據(jù)體系。

應(yīng)用服務(wù)子系統(tǒng)：由會員管理系統(tǒng)、煤炭交易數(shù)據(jù)管理、煤炭行業(yè)信息發(fā)布管理系統(tǒng)、多媒體內(nèi)容管理系統(tǒng)、數(shù)據(jù)挖掘信息報告及商業(yè)咨詢服務(wù)管理子系統(tǒng)組成，提供對外的流程管理、數(shù)據(jù)管理、安全管理等多方面的業(yè)務(wù)管理過程。

接入管理子系統(tǒng)：提供多種方式的對外的接入數(shù)據(jù)管理入口，對外提供系統(tǒng)處理后的煤炭交易實時數(shù)據(jù)發(fā)布內(nèi)容、煤炭行業(yè)信息新聞發(fā)布內(nèi)容、煤炭行業(yè)數(shù)據(jù)挖掘統(tǒng)計分析行情內(nèi)容、煤炭行業(yè)指數(shù)數(shù)據(jù)發(fā)布內(nèi)容等，通過多種接口方式提供包括HTTP、JOSN、XML 及網(wǎng)站方式發(fā)布內(nèi)容。

表1 關(guān)鍵開發(fā)軟件選型

圖1 平臺軟件總體架構(gòu)

圖2 系統(tǒng)硬件體系機構(gòu)設(shè)計

客戶端應(yīng)用子系統(tǒng)：由于移動互聯(lián)網(wǎng)的發(fā)展，本子系統(tǒng)完成提供移動互聯(lián)網(wǎng)數(shù)據(jù)信息發(fā)布的終端展示應(yīng)用，包括多操作系統(tǒng)的客戶端應(yīng)用程序，同時根據(jù)移動終端自身的特性，更深入使用移動終端硬件功能，結(jié)合終端硬件的一些特殊功能，為用戶提供良好的用戶體驗和UI 設(shè)計等，加入適合移動互聯(lián)應(yīng)用的活躍元素。

平臺硬件架構(gòu)設(shè)計

平臺硬件架構(gòu)設(shè)計包含虛擬化服務(wù)器區(qū)、大數(shù)據(jù)服務(wù)器區(qū)、存儲及備份設(shè)備區(qū)和網(wǎng)絡(luò)及安全設(shè)備區(qū)四部分。其中，虛擬化服務(wù)器區(qū)部署平臺Web 應(yīng)用、移動應(yīng)用、關(guān)系數(shù)據(jù)庫、核心應(yīng)用等軟件服務(wù)；大數(shù)據(jù)服務(wù)器區(qū)部署支撐平臺系統(tǒng)的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)檢索等功能。如圖2 所示。

圖3 平臺網(wǎng)站首頁

圖4 采購價格指數(shù)查詢頁面

1.虛擬化服務(wù)器區(qū)。

該區(qū)充分考慮私有云虛擬化環(huán)境的可用性設(shè)計，在網(wǎng)絡(luò)層面和存儲層面分別利用了虛擬化搭建內(nèi)置的網(wǎng)絡(luò)冗余和存儲多路徑控制確保高可用。在服務(wù)器高可用性上，利用虛擬化軟件內(nèi)置的功能應(yīng)對本地站點多種虛擬機應(yīng)用計劃內(nèi)和計劃外意外停機的問題。

2.大數(shù)據(jù)服務(wù)器區(qū)。

為滿足大數(shù)據(jù)平臺軟件的部署，根據(jù)管理節(jié)點和計算節(jié)點的內(nèi)存使用及大數(shù)據(jù)平臺管理組件安裝所需硬盤空間，該區(qū)配置了10 臺不同參數(shù)的X86架構(gòu)機架式服務(wù)器。

3.數(shù)據(jù)存儲及備份設(shè)備區(qū)。

該區(qū)部署共享存儲設(shè)備和備份設(shè)備，其中存儲設(shè)備利用光纖連接到光纖交換機，滿足不少于10TB 的存儲容量；備份平臺需滿足IT 系統(tǒng)復(fù)雜性和兼容性需求，支持針對操作系統(tǒng)、數(shù)據(jù)庫應(yīng)用、虛擬化環(huán)境、數(shù)據(jù)加密、壓縮、重復(fù)數(shù)據(jù)刪除、自動備份管理等功能。備份介質(zhì)裸容量應(yīng)滿足可保存數(shù)據(jù)的多副本。

4.網(wǎng)絡(luò)及安全設(shè)備區(qū)。

該區(qū)根據(jù)網(wǎng)絡(luò)安全等級保護要求，進行了網(wǎng)絡(luò)安全等級保護三級系統(tǒng)設(shè)計，并通過了測評。

平臺系統(tǒng)實現(xiàn)

該平臺歷時一年多完成第一期建設(shè)，系統(tǒng)運行界面如圖3、圖4 所示。

結(jié)束語

本文分析了全國煤炭信息交易的現(xiàn)狀，并從項目建設(shè)單位的具體需求出發(fā)，利用新媒體、大數(shù)據(jù)、虛擬化、數(shù)據(jù)挖掘等技術(shù)，設(shè)計了全國煤炭交易數(shù)據(jù)分析平臺。目前，該平臺一期已上線，為國家能源局、煤炭(能源)企業(yè)、研究機構(gòu)，以及相關(guān)協(xié)會、社會人士、專家等提供高效的煤炭交易服務(wù)、物流服務(wù)、信息服務(wù)、數(shù)據(jù)分析服務(wù)和方便的煤炭物流金融服務(wù)。