基于區(qū)塊鏈的紡織機數據分析平臺設計

呼 陽,陳 干

(西安工程大學 計算機科學學院,陜西 西安710600)

0 引言

隨著大數據時代的到來,紡織企業(yè)已經認識到數據是企業(yè)的戰(zhàn)略資產,如何從海量數據中挖掘價值,洞察數據規(guī)律,支撐企業(yè)實時、精準、敏捷的決策,已成為當下企業(yè)迫切的業(yè)務需求,在此需求下,大量紡織機數據分析工具層出不窮,產品逐步趨于成熟與同質化[1]。通過接口通信、數據監(jiān)測、數據預處理、數據存儲構建的高爐生產數據分析平臺[2],優(yōu)點是在一定程度上解決了數據分析的“信息孤島”,缺點是通用性差,成本高;借助大數據技術與業(yè)務相結合設計的煤礦安全生產大數據分析平臺[3],優(yōu)點是降低了成本,提高了擴展性,缺點是分析鏈條的割裂導致分析效率不夠高效。因此,紡織企業(yè)也迫切需要一個可以覆蓋數據接入、處理、建模、可視化的數據分析全過程的數據分析平臺。

區(qū)塊鏈技術[4]指通過去中心化集體維護一個可靠數據庫的技術,區(qū)塊鏈技術利用非對稱加密技術實現區(qū)塊數據的存儲,利用共識機制實現數據的更新,區(qū)塊鏈維護了一個按時間順序將數據塊組合成類似鏈表的數據結構,具有無中心、共同參與、不可篡改、非對稱加密的匿名安全性等特性。

在紡織機數據分析平臺架構中引入區(qū)塊鏈技術,利用區(qū)塊鏈的分布式共享賬本將數據分析四個過程的數據進行共享傳遞,借助區(qū)塊鏈的不可篡改性確保在數據分析全過程中的數據安全并且可追溯,解決了數據分析過程中因分析鏈條割裂而造成分析效率下降的問題,同時增強了對業(yè)務需求響應的及時性。

1 平臺整體架構

紡織機數據分析平臺利用區(qū)塊鏈技術去中心化的分布式共享賬本,提供數據分析全過程的數據存儲和訪問服務,區(qū)塊鏈技術對數據分析平臺所有接入的數據按照時間順序用非對稱加密算法進行加密,將加密數據存入數據塊,并將數據塊按照先后順序鏈接成區(qū)塊鏈,保證區(qū)塊鏈數據的不可篡改性,可有效實現數據價值追溯性。因此,基于區(qū)塊鏈的數據分析平臺為數據分析的四個過程提供統(tǒng)一的安全可靠的共享數據賬本,保證了數據的真實性和不可篡改性[5]?；趨^(qū)塊鏈的紡織機數據分析平臺總體架構如圖1所示。

1.1 區(qū)塊鏈網絡

網絡內的每臺服務器節(jié)點上的共享賬本保存著數據分析全過程中的數據信息,該信息包含外部接入數據、處理后數據、建模數據、結果發(fā)布等。利用編寫的智能合約來約束外界對公共賬簿的數據訪問,借助區(qū)塊鏈的共識機制保證網絡內每臺服務器節(jié)點數據一致性。

1.2 接口層

紡織機數據分析平臺對區(qū)塊鏈中業(yè)務調用接口的一種封裝,成為SDK工具包,SDK中數據分析平臺調用區(qū)塊鏈查詢業(yè)務的2類方法。

1.3 數據驗證中心

存儲數據的所有者的公私鑰對,對交互數據進行加密解密,其中所有者的私鑰由專門的加密節(jié)點設備進行創(chuàng)建與保存,并不提供查詢功能。數據驗證中心提供了兩類接口,一是對數據所有者公私鑰對初始化的接口,二是對數據解密的接口,最后將數據所有者的公鑰和簽名在區(qū)塊鏈網絡內進行廣播。當外部調用解密接口時,由加密節(jié)點對傳入的加密數據進行解密,返回解密結果。

1.4 數據分析業(yè)務系統(tǒng)

紡織機數據分析的數據接入、處理、建模、結果發(fā)布等各業(yè)務系統(tǒng)借助SDK調用區(qū)塊鏈的共享賬簿的接口進行數據的查詢與存儲,SDK所提供的接口包括接入查詢與提交、處理數據結果的查詢與提交、建模數據的存儲與查詢、發(fā)布結果數據的存儲與查詢等。

1.5 管理應用層

管理應用層包含區(qū)塊鏈網絡管理、資源文件目錄和權限管理、業(yè)務查詢管理三部分。

圖1 區(qū)塊鏈紡織機數據分析平臺

2 紡織機數據分析共享數據流程

2.1 數據提交

借助SDK提供的接口實現數據提交。提交過程中,數據驗證中心參與對數據所有者公私鑰的發(fā)放,以增加數據的安全性,通過區(qū)塊鏈的共享賬本實現數據的共享。以數據分析建模階段的數據提交為例,如圖2所示,具體過程為:

(1)數據分析各階段按照業(yè)務標準打包業(yè)務數據,并制定對外共享的數據和權限。

(2)調用SDK提供的建模數據提交接口方法,提交數據所有者和封裝的業(yè)務數據。

(3)SDK接收到數據后,先在服務器節(jié)點上查詢是否有數據所有者的公鑰。若有,用該公鑰加密業(yè)務數據;否則,調用數據驗證中心的公私鑰接口獲取公鑰。

(4)系統(tǒng)的認證授權(CA)使用自身的私鑰對封裝的業(yè)務數據和數據者進行數字簽名。

(5)SDK調用自身建模數據提交接口進行提交數據,數據驗證中心對業(yè)務數據進行簽名驗證,驗證成功后將業(yè)務數據進行保存。

圖2 數據提交流程

2.2 數據查詢

紡織機數據分析共享平臺的查詢也是通過SDK提供的查詢接口實現對業(yè)務數據的查詢,SDK將查詢數據發(fā)送給數據驗證中心進行解密,同時驗證該數據的訪問權限,然后根據訪問權限返回數據結果。以數據分析建模過程的數據查詢?yōu)槔?如圖3所示,具體過程為:

(1)外部調用SDK的數據查詢接口并傳入參數,具體參數包含數據所有者和查詢選擇項等信息。

(2)SDK借助系統(tǒng)的認證授權管理CA對訪問請求進行私鑰簽名。

(3)SDK調用服務器節(jié)點上查詢接口進行查詢,服務器節(jié)點驗證簽名,驗證通過,返回加密的查詢結果。

(4)SDK返回各加密查詢結果統(tǒng)一發(fā)送給數據驗證中心進行解密,從而得到解密的建模數據。

(5)SDK返回解密后的建模數據。

圖3 數據查詢流程圖

3 關鍵技術

3.1 區(qū)塊鏈

區(qū)塊鏈技術[6]是一種共享的分布式數據庫技術,具備去中心化、集體維護、多方監(jiān)督、不可纂改等特性,區(qū)塊鏈將信息按照時間順序封裝成數據塊,并將數據塊按先后順序組合成鏈表結構,利用共識機制保證區(qū)塊鏈網絡內所有的節(jié)點數據一致,通過智能合約來控制數據訪問的權限。

3.2 智能合約

智能合約概念最先被Nick Szabo博士[7]提出,被認為是以數字形式定義的能夠自動執(zhí)行條款的合同。在區(qū)塊鏈領域,智能合約是定義資產并且可以用于修改資產的事務指令的軟件,它制定了執(zhí)行讀取或修改鍵值對以及其他狀態(tài)數據庫信息操作的規(guī)則[8]。智能合約通過一個事務請求來執(zhí)行對賬本的當前狀態(tài)數據庫操作。

3.3 共識機制

區(qū)塊鏈共識機制[9]可使網絡內各節(jié)點的數據賬簿保持一致,是區(qū)塊鏈節(jié)點協(xié)同一致工作的核心。平臺采用拜占庭容錯[10](Practical Byzantine Fault Tolerance,PBFT)共識算法實現其共識過程。在區(qū)塊鏈網絡內,利用工作量證明選出主節(jié)點,其余節(jié)點為從節(jié)點,之后執(zhí)行共識過程。具體步驟為:

(1)主節(jié)點將一段時間的數據封裝成一個數據區(qū)塊,然后將該數據區(qū)塊、數據區(qū)塊哈希值、主節(jié)點的數字簽名發(fā)送給從節(jié)點進行審計。

(2)從節(jié)點接收到主節(jié)發(fā)送的數據后,對其合法性進行驗證,將審計結果和自身數字簽名發(fā)送給其他從節(jié)點。

(3)從節(jié)點收到其他從節(jié)點的審計結果,將自身驗證結果、收到的全部審計結果、所有審計結果對比的最終結果、自身的數字簽名返回給主節(jié)點。

(4)主節(jié)點匯總所有從節(jié)點返回的審計結果。如果所有的驗證結果都表示當前數據塊合法,主節(jié)點將當前數據區(qū)塊、對應的數字簽名、從節(jié)點證書列表發(fā)送給全部從節(jié)點,保證網絡內節(jié)點數據一致。

(5)若存在從節(jié)點不同意審計結果,主節(jié)點將數據塊重新發(fā)送給這些從節(jié)點再次審計,若仍然有部分從節(jié)點反對審計結果,則按少數服從多數原則審計。

4 系統(tǒng)功能

4.1 紡織機數據源信息共享

數據源為后續(xù)的數據分析提供基礎的數據支撐,數據可從文件、數據庫、第三方平臺獲取。在數據分析共享平臺建立統(tǒng)一的數據源庫,避免了相同數據多次導入,提高了數據分析過程中數據接入的效率。

4.2 數據預處理結果共享

數據預處理是為下一階段數據建模提供基礎數據,包括數據源的選取、數據字段的過濾、數據類型的轉換、數據列的隱藏等。在數據分析共享平臺建立統(tǒng)一的數據預處理結果庫,為后續(xù)分析數據提供直接的質量數據。

4.3 建模數據共享

建模數據主要根據業(yè)務需求進行模型構建,滿足不同的場景應用,數據從預處理數據中獲取。在數據分析共享平臺建立建模數據庫,方便不同場景相同業(yè)務使用同一模型,提高了數據分析的能力。

4.4 成果數據共享

將已完成的分析結果及時共享,以此來提高業(yè)務工作的效率,在數據分析共享平臺建立統(tǒng)一的成果數據庫,所有的用戶都可以及時看到對應業(yè)務的分析結果。

5 系統(tǒng)測試及分析

系統(tǒng)利用5臺相同型號的服務器搭建分布式測試環(huán)境,每臺服務器的基本硬件配置為:Intel八核3.80GHz CPU,16G內存,Cent Os6.5操作系統(tǒng)。在同一局域網中并且相同的共識機制環(huán)境下測試,排除網絡帶寬對測試結果的影響。

系統(tǒng)測試的主要目標是觀察數據源的平均重復率和數據預處理結果重復率對數據分析效率的影響。數據源平均重復率指多次數據分析中數據源相同的數據分析次數占總分析次數的比率;數據預處理結果重復率指多次數據分析中需要相同預處理結果的分析次數占總分析次數的比率。計算公式為:

數據源平均重復率=數據源重復的次數/總分析次數 (1)

預處理數據重復率=與處理數據重復次數/總分析次數 (2)

圖4為測試時數據源重復率與預處理數據重復率及數據分析效率的關系。

通過測試結果可以看出,隨著數據源重復率和預處理數據重復率的增加,數據分析的效率也隨之增加。當數據源有重復時,第一次分析需要數據接入的步驟,之后每次分析就可免去過程,直接使用數據源;當預處理數據有重復時,第一次分析前面的數據接入、數據預處理正常執(zhí)行,之后每次分析都可以直接使用之前的預處理書,所以大大提高了數據分析的效率。

從表1可以看出,區(qū)塊鏈數據分析平臺能達到數據分析的基本功能和性能要求,同時可以跨系統(tǒng)交互,從而保證數據分析鏈的完整性,同時也能夠做到對業(yè)務決策的及時響應。

圖4 數據源和預處理數據重復率對數據分析的影響

表1 區(qū)塊鏈數據分析平臺與傳統(tǒng)數據分析平臺性能對比

6 結語

針對數據分析各階段的數據傳遞不及時而造成的數據分析鏈割裂問題,研究設計了基于區(qū)塊鏈的數據分析平臺。利用區(qū)塊鏈的分布式公共賬本,實現對數據分析全過程數據的全局共享;借助區(qū)塊鏈的不可纂改特性實現數據分析的可追溯性。系統(tǒng)測試結果表明區(qū)塊鏈數據分析平臺進行多次數據分析時,數據分析效率大大提高。平臺采用PBFT共識算法實現共識過程,使分析平臺的容錯能力為區(qū)塊鏈網絡內節(jié)點數量1/3。在今后的工作中,可考慮進一步改進區(qū)塊鏈的共識機制,使區(qū)塊鏈數據分析共享平臺達到更高的容錯能力。