集團型企業(yè)數(shù)據(jù)采集交換系統(tǒng)的設計與實踐

金鑫 于英濤

[摘 ? ?要] 文章以一個典型的集團型企業(yè)為例，介紹了數(shù)據(jù)采集的方案設計及工程實踐。結合集團與下屬單位的特點，進行完整的技術體系設計，明確了重點數(shù)據(jù)處理過程，支持全面數(shù)據(jù)采集的實現(xiàn)。

[關鍵詞] 數(shù)字采集;數(shù)據(jù)處理過程;企業(yè)管理

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 23. 051

[中圖分類號] F270.7 ? ?[文獻標識碼] ?A ? ? ?[文章編號] ?1673 - 0194（2020）23- 0123- 03

1 ? ? ?項目背景

集團型企業(yè)是以一個實力雄厚的大型企業(yè)為核心，以產(chǎn)權聯(lián)結為主要紐帶， 并以產(chǎn)品、技術、經(jīng)濟、契約等多種紐帶，把多個企業(yè)、事業(yè)單位聯(lián)結在一起，具有多層次結構的以母子公司為主體的多法人經(jīng)濟聯(lián)合體。集團型企業(yè)具有金字塔式垂直分層的組織結構，一般有一個能起主導作用的核心，這個核心可以是一個從事生產(chǎn)經(jīng)營的法人企業(yè)，也可以是一個專門從事經(jīng)營的法人企業(yè)，也可以是一個具有管理職能的機構，處于集團型企業(yè)的管理頂端，負責管控下屬單位的治理結構、角色定位與職責、資源管控方式、績效管理體系等。集團型企業(yè)在市場競爭中對于優(yōu)化資源配置和分散風險具有無可比擬的優(yōu)越性。每個下屬單位又是相對完整獨立的經(jīng)營企業(yè)法人，接受集團的各項管理，又要獨立開展業(yè)務。

數(shù)據(jù)采集是支持集團化管理的利器。數(shù)據(jù)采集又稱數(shù)據(jù)獲取，是利用一種裝置，從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個接口。數(shù)據(jù)采集的方法一般包括軟件接口方式、客戶端采集、網(wǎng)絡爬蟲、開放數(shù)據(jù)方式等。其中，軟件接口方式數(shù)據(jù)可靠性與價值較高，但可擴展性有局限;客戶端采集兼容性較強，但采集數(shù)據(jù)的實時性有一定限制;網(wǎng)絡爬蟲支持自動抓取互聯(lián)網(wǎng)的程序或腳本，但容易受反爬機制影響;開發(fā)數(shù)據(jù)庫方式簡單直接，但安全性方面有局限。多種數(shù)據(jù)采集方式各有優(yōu)勢，應用場景也不相同。如何有效地與集團型企業(yè)管理特點結合，適應實際情況，實現(xiàn)有效采集，成為集團型企業(yè)信息化建設中的關鍵問題。

某集團型企業(yè)為了加強集團管控能力，在信息化建設方面加大力度，構建了較為完善的基礎設施，具備了集團與各下屬單位之間的網(wǎng)絡聯(lián)通條件，能夠?qū)崿F(xiàn)信息的無障礙傳輸。各下屬單位建設了主營業(yè)務的支撐系統(tǒng)，能夠支撐本單位業(yè)務的數(shù)字化開展。為了進一步加強宏觀管控，構建集團一體化的數(shù)據(jù)采集體系需求迫切。

2 ? ? ?系統(tǒng)設計方案

2.1 ? 集團端設計

集團端處于管理頂端，是數(shù)據(jù)采集的中樞，結合戰(zhàn)略導向開展數(shù)據(jù)采集，構建統(tǒng)一的數(shù)據(jù)采集交換系統(tǒng)對各下屬單位提供全面的數(shù)據(jù)采集交換服務，主要采用軟件接口方式進行數(shù)據(jù)采集，具體包括：統(tǒng)一接收服務、統(tǒng)一驗證服務、統(tǒng)一解析服務、安全傳輸組件、統(tǒng)一存儲服務和統(tǒng)一安全審計服務，并將上報數(shù)據(jù)中的元數(shù)據(jù)寫入統(tǒng)一數(shù)據(jù)存儲庫，如圖1所示。

（1）統(tǒng)一接收服務：面向各下屬單位提供數(shù)據(jù)接收的接口服務，各單位的前置服務區(qū)將通過該接口向集團前置匯聚服務區(qū)提供數(shù)據(jù)。同時，該服務提供狀態(tài)反饋，數(shù)據(jù)傳輸狀態(tài)的及時返回，并針對傳輸失敗數(shù)據(jù)進行及時的消息提醒。

（2）統(tǒng)一驗證服務：提供數(shù)據(jù)的格式驗證、狀態(tài)校驗、完整性校驗等服務，確保上報數(shù)據(jù)符合要求、完整準確。

（3）統(tǒng)一解析服務：提供數(shù)據(jù)的解析服務，解析數(shù)據(jù)包中的元數(shù)據(jù)、受控屬性和版式文件，對上報數(shù)據(jù)包進行拆包，還原其中的元數(shù)據(jù)、版式文件等內(nèi)容。

（4）統(tǒng)一存儲服務：提供數(shù)據(jù)的存儲服務，將解析出的元數(shù)據(jù)寫入到集團，將版式文件存儲到數(shù)據(jù)存儲服務中，數(shù)據(jù)存儲服務可以為磁盤路徑、FTP、NFS、NAS、SAN等多種文件存儲服務中。由各下屬單位數(shù)據(jù)加密存儲，未被授權的用戶或系統(tǒng)管理員也無法獲取數(shù)據(jù)內(nèi)容。

（5）統(tǒng)一安全審計服務：對數(shù)據(jù)進行詳細的日志記錄，記錄數(shù)據(jù)來源、數(shù)據(jù)用途、受控等級、受控范圍、受控期限等內(nèi)容，通過管理平臺提供統(tǒng)計分析、操作追蹤等服務。

（6）管理平臺：提供前置匯聚服務區(qū)的配置和管理維護，統(tǒng)一配置各下屬單位前置匯聚服務區(qū)接入信息，配置接入安全策略，防止非授權單位獲得接入服務，確保訪問前置匯聚服務區(qū)的服務器是可信服務器。

（7）安全傳輸組件：具體支撐數(shù)據(jù)的接收服務，并確保上傳數(shù)據(jù)與各下屬單位前置服務區(qū)上報數(shù)據(jù)狀態(tài)一致。主要包含兩個部分：

①同步隊列：根據(jù)統(tǒng)一策略配置的定時器服務可以設置向各下屬單位前置服務區(qū)傳送接收數(shù)據(jù)，并建立數(shù)據(jù)同步隊列。

②同步-阻塞服務：根據(jù)統(tǒng)一策略配置的文件，對各下屬單位前置服務區(qū)建立狀態(tài)反饋服務，確保上傳數(shù)據(jù)的狀態(tài)一致，只有集團前置匯聚服務區(qū)反饋了數(shù)據(jù)上傳成功的狀態(tài)，各下屬單位的前置服務區(qū)才能設置本地狀態(tài)數(shù)據(jù)上傳成功，否則只能重新上傳數(shù)據(jù)。

（8）統(tǒng)一策略控制：在采集數(shù)據(jù)之前，需對采集的數(shù)據(jù)制訂模板和元數(shù)據(jù)標準，并將相關模板及元數(shù)據(jù)標準下發(fā)至各下屬單位，各單位按照統(tǒng)一的模板和數(shù)據(jù)標準進行數(shù)據(jù)填裝即可。同時統(tǒng)一策略控制，在今后業(yè)務需求發(fā)生變更時，可根據(jù)變更后的模板，自動將模板下發(fā)至各單位，并主動進行數(shù)據(jù)抓取，確保業(yè)務采集頻率變化后，能實現(xiàn)智能快速的數(shù)據(jù)獲取。

（9）申請審批服務：面向各下屬單位前置服務區(qū)提供上報數(shù)據(jù)修改、刪除操作的申請審批服務，確保修改、刪除操作的集團審批，數(shù)據(jù)受控。前置匯聚服務區(qū)提供審批流程配置引擎，可快速建立上報數(shù)據(jù)修改、刪除操作申請審批體系。審批流程配置引擎提供：定義多級審批流程，支持多人審批;可根據(jù)部門、受控等級創(chuàng)建多種審批流向;支持代理審批，審批處理人員可委托他人代為處理審批事宜;流程監(jiān)控可實時呈現(xiàn)每個流程當前處理情況;提供申請審批消息通知。