異構(gòu)環(huán)境下分布式數(shù)據(jù)共享機制的研究

譚海軍

摘要：隨著信息時代的來臨，數(shù)據(jù)共享變得愈加重要。特別是在分布式產(chǎn)品信息的采集與可視化集成平臺中，異構(gòu)數(shù)據(jù)表現(xiàn)形式更為復雜。由于異構(gòu)環(huán)境下不同數(shù)據(jù)管理系統(tǒng)的差異，數(shù)據(jù)共享變得更加困難。為此，文章對當前異構(gòu)環(huán)境下數(shù)據(jù)共享機制的研究現(xiàn)狀進行簡要梳理，首先介紹數(shù)據(jù)共享的原理及基本框架，其次介紹了幾種典型的數(shù)據(jù)共享機制，最后討論了異構(gòu)環(huán)境下分布式數(shù)據(jù)共享機制在各領(lǐng)域的應(yīng)用。此外，文章還探討了一種基于區(qū)塊鏈的數(shù)據(jù)共享交互模型并對未來的數(shù)據(jù)共享的研究方向提出了展望。

關(guān)鍵詞：異構(gòu)環(huán)境；數(shù)據(jù)共享；數(shù)據(jù)匹配；信息交換

中圖分類號：TP392; TP14? 文獻標志碼：A

0 引言

異構(gòu)環(huán)境指的是由不同硬件、操作系統(tǒng)、編程語言和數(shù)據(jù)存儲系統(tǒng)構(gòu)成的分布式系統(tǒng)［1］。在這樣的環(huán)境下，數(shù)據(jù)共享面臨著諸多挑戰(zhàn)，如數(shù)據(jù)格式不兼容、數(shù)據(jù)安全性難以保障等問題。因此，數(shù)據(jù)共享的機制對于實現(xiàn)分布式系統(tǒng)的協(xié)同工作具有重要意義。為解決這些問題，研究者們提出許多數(shù)據(jù)共享機制，包括數(shù)據(jù)中介、數(shù)據(jù)整合、數(shù)據(jù)轉(zhuǎn)換等方法［2］。本文將分析和比較不同的數(shù)據(jù)共享機制，在此基礎(chǔ)上提出一種基于區(qū)塊鏈的數(shù)據(jù)共享模型，以期為解決異構(gòu)環(huán)境下的數(shù)據(jù)共享問題提供幫助。

1 數(shù)據(jù)共享的簡介

1.1 數(shù)據(jù)共享

數(shù)據(jù)共享的過程從邏輯上由數(shù)據(jù)存儲中心、數(shù)據(jù)交換中心、數(shù)據(jù)管理中心和應(yīng)用服務(wù)中心組成。

數(shù)據(jù)存儲中心包括多尺度基礎(chǔ)空間數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫和專題數(shù)據(jù)庫等，其目的是為實現(xiàn)實時數(shù)據(jù)、歷史數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、空間數(shù)據(jù)等數(shù)據(jù)的統(tǒng)一存儲和管理。數(shù)據(jù)交換中心提供橫向與同級虛擬數(shù)據(jù)中心的數(shù)據(jù)共享交換接口以及縱向與上/下級虛擬數(shù)據(jù)中心的數(shù)據(jù)交換接口，由中間層與數(shù)據(jù)庫進行數(shù)據(jù)交換。數(shù)據(jù)管理中心負責數(shù)據(jù)庫的安全性、完整性、備份與恢復、并發(fā)控制、版本管理等功能，保障數(shù)據(jù)庫的穩(wěn)定性和可靠性。應(yīng)用服務(wù)中心是應(yīng)用系統(tǒng)與數(shù)據(jù)存儲中心和其他中間件之間的接口，由中間件和方法構(gòu)成的中間層，為應(yīng)用系統(tǒng)提供服務(wù)和支持網(wǎng)絡(luò)分布計算。

1.2 數(shù)據(jù)共享存在的問題

數(shù)據(jù)安全和隱私問題。數(shù)據(jù)共享涉及數(shù)據(jù)的公開和共享，因此需要考慮數(shù)據(jù)安全和隱私問題。如何保證數(shù)據(jù)在共享過程中不會被泄露、篡改或丟失，是數(shù)據(jù)共享面臨的重要問題。

數(shù)據(jù)質(zhì)量和可靠性問題。共享數(shù)據(jù)的質(zhì)量和價值直接影響數(shù)據(jù)共享的效果。如果數(shù)據(jù)質(zhì)量不高或者存在錯誤或遺漏，可能會導致數(shù)據(jù)共享的效果受到影響。

數(shù)據(jù)共享權(quán)限和管理問題。數(shù)據(jù)共享需要保證數(shù)據(jù)的保密性和權(quán)限管理，只有授權(quán)用戶才能訪問共享數(shù)據(jù)，否則會導致數(shù)據(jù)泄露和濫用。

數(shù)據(jù)共享協(xié)議和流程問題。數(shù)據(jù)共享需要制定合適的協(xié)議和流程，以確保數(shù)據(jù)的規(guī)范和高效共享。例如：制定數(shù)據(jù)共享的規(guī)則和標準，確定數(shù)據(jù)共享的時間表和流程等。

數(shù)據(jù)共享的應(yīng)用場景和限制問題。數(shù)據(jù)共享的應(yīng)用場景和限制需要考慮，例如：數(shù)據(jù)共享的時間、地域、類型、權(quán)限等。如何在有限的資源和條件下實現(xiàn)數(shù)據(jù)共享，是數(shù)據(jù)共享面臨的重要問題。

2 數(shù)據(jù)共享機制

2.1 數(shù)據(jù)虛擬化

數(shù)據(jù)虛擬化可以將異構(gòu)環(huán)境中的各種數(shù)據(jù)存儲系統(tǒng)虛擬化，統(tǒng)一進行管理和存儲。數(shù)據(jù)虛擬化的原理是通過在中間層創(chuàng)建虛擬視圖（Virtual View）來訪問數(shù)據(jù)源。數(shù)據(jù)虛擬化的優(yōu)點是將不同數(shù)據(jù)源中的數(shù)據(jù)整合成一個邏輯視圖，提高數(shù)據(jù)整合的靈活性和? 效率，并且減少物理數(shù)據(jù)復制帶來的數(shù)據(jù)不一致問題。此外，通過使用虛擬化技術(shù)，可以動態(tài)訪問數(shù)據(jù)源，更好地適應(yīng)數(shù)據(jù)變化并支持大型數(shù)據(jù)管理任務(wù)的需求。

2.2 ETL工具

ETL工具可以將數(shù)據(jù)從異構(gòu)的數(shù)據(jù)存儲系統(tǒng)中進行抽取、轉(zhuǎn)換和加載，使得數(shù)據(jù)能夠在不同的系統(tǒng)之間進行共享。ETL工具作為一種數(shù)據(jù)管理和處理工具，它的重要作用在于實現(xiàn)數(shù)據(jù)共享、保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)可用性以及提供便于查詢、分析和報告的數(shù)據(jù)分析種子。ETL工具可以解決數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)同步和數(shù)據(jù)加速等問題，幫助用戶高效地管理和利用數(shù)據(jù)。

2.3 參與式網(wǎng)格計算

基于大規(guī)模分布式系統(tǒng)的框架，提供異構(gòu)環(huán)境下的資源共享和計算能力，支持多種應(yīng)用。參與式網(wǎng)格計算的核心原理是將計算任務(wù)分割成多個小任務(wù)，再將這些小任務(wù)分散到Internet上的許多個人計算機上，然后通過特定的分布式計算模型，把這些小任務(wù)的結(jié)果聚集，最終得到結(jié)果。這種模式可以利用大量的閑散計算能力，從而實現(xiàn)較快和高效的計算。

3 分布式數(shù)據(jù)共享機制的應(yīng)用

3.1 多云存儲

多個異構(gòu)云存儲環(huán)境下，設(shè)計安全的數(shù)據(jù)共享解決方案已成為熱點研究話題。多云存儲是一個異構(gòu)環(huán)境，不同的提供商或私有化云，數(shù)據(jù)存儲在不同的云平臺上。為實現(xiàn)數(shù)據(jù)的跨云存儲和分享，需要一種安全的分布式數(shù)據(jù)共享機制。余宇勁等［3］提出了一種BFT（拜占庭容錯）共識算法，該算法確保在多個云平臺上的數(shù)據(jù)共享時，不同云平臺之間可靠和安全地共享和存儲數(shù)據(jù)。

3.2 移動邊緣計算

移動邊緣計算是一種新型的計算模式，它所涉及的計算任務(wù)主要發(fā)生在網(wǎng)絡(luò)邊緣，而不是在傳統(tǒng)的數(shù)據(jù)中心內(nèi)部。分布式數(shù)據(jù)共享機制是實現(xiàn)移動邊緣計算的重要技術(shù)之一。它可以將數(shù)據(jù)分散存儲在多個邊緣設(shè)備上，然后通過協(xié)調(diào)和共享機制，實現(xiàn)對數(shù)據(jù)的高效訪問和共享。王欣怡［4］提出一種基于區(qū)塊鏈技術(shù)的數(shù)據(jù)共享機制，旨在解決移動邊緣計算下數(shù)據(jù)共享存在的一些挑戰(zhàn)問題。該方案使用區(qū)塊鏈來存儲和管理數(shù)據(jù)，在區(qū)塊鏈上記錄每個數(shù)據(jù)塊的hash值，保證數(shù)據(jù)的完整性和可追溯性。同時，使用智能合約來實現(xiàn)訪問控制和共享策略的管理。

3.3 供應(yīng)鏈管理

分布式數(shù)據(jù)共享機制可以應(yīng)用于供應(yīng)鏈管理中，使用該機制可以分散存儲大量數(shù)據(jù)并確保數(shù)據(jù)的安全性和隱私保護。此外，該機制還可以保證數(shù)據(jù)的一致性和可靠性，優(yōu)化網(wǎng)絡(luò)帶寬和延遲，并使用協(xié)調(diào)和共享機制實現(xiàn)高效數(shù)據(jù)共享和協(xié)同管理。這能夠幫助企業(yè)實現(xiàn)高效的信息共享和協(xié)同管理，提高供應(yīng)鏈管理效率。孫曉涵［5］提出了基于分布式數(shù)據(jù)共享架構(gòu)的管理方案，這些方案將數(shù)據(jù)分散存儲在多個節(jié)點上，并使用區(qū)塊鏈技術(shù)來確保數(shù)據(jù)的安全性和不可篡改性。同時，使用智能合約來控制數(shù)據(jù)訪問和共享。

3.4 醫(yī)療保健

分布式數(shù)據(jù)共享機制可以應(yīng)用在醫(yī)療保健領(lǐng)域，使用該機制可幫助醫(yī)療機構(gòu)實現(xiàn)數(shù)據(jù)的共享、協(xié)同管理及Workflow的自動化。此外，還可以保護患者隱私，促進數(shù)據(jù)安全。這能夠提高醫(yī)療保健服務(wù)的效率和質(zhì)量，促進患者的醫(yī)療保健體驗。拜亞萌等［6］提出了一種分布式數(shù)據(jù)共享框架，其中數(shù)據(jù)分散存儲在多個節(jié)點上，并使用分布式哈希表實現(xiàn)高效數(shù)據(jù)查詢和訪問，同時采用加密技術(shù)保護患者數(shù)據(jù)的隱私不受侵犯。該方案可以幫助醫(yī)療保健機構(gòu)實現(xiàn)高效的數(shù)據(jù)共享，同時更好地保障患者的隱私。

4 基于區(qū)塊鏈的數(shù)據(jù)共享模型

區(qū)塊鏈技術(shù)的優(yōu)勢在于其強大的災(zāi)備能力和數(shù)據(jù)防篡改機制，這意味著數(shù)據(jù)不會丟失或被修改。共享數(shù)據(jù)的交易會被記錄在區(qū)塊鏈的側(cè)鏈上，而且共享數(shù)據(jù)存儲和交易的結(jié)構(gòu)是不同的，因此上傳時不會出現(xiàn)上鏈錯誤。最終結(jié)果是，數(shù)據(jù)所有者存儲和管理數(shù)據(jù)，即誰的數(shù)據(jù)誰控制。數(shù)據(jù)只能被許可的訪問者訪問，其他任何第三方無法獲取數(shù)據(jù)。

本文介紹一種基于區(qū)塊鏈的數(shù)據(jù)共享交互模型，消除了第三方網(wǎng)絡(luò)服務(wù)器的參與，解決了數(shù)據(jù)信任問題。該模型通過透明記賬的方式，確保數(shù)據(jù)供需雙方能夠以靈活、可靠的方式進行交互。為方便數(shù)據(jù)管理，將數(shù)據(jù)提供者劃分為兩個角色：數(shù)據(jù)源和數(shù)據(jù)所有者，表1具體列出了這些角色的劃分。

基于區(qū)塊鏈的數(shù)據(jù)共享交互模型如圖1所示。

（1）將原始信息進行處理后，得到相關(guān)信息RT，RT由共享數(shù)據(jù)關(guān)鍵詞、完整數(shù)據(jù)的訪問路徑 DAP（可以是 URL、URI 或其他訪問路徑）、數(shù)據(jù)所有者的公鑰地址組成。

（2）數(shù)據(jù)所有者將RT在區(qū)塊鏈上發(fā)布，RT以Data的形式存儲。同時，ST被存儲在分布式哈希表中，ST由數(shù)據(jù)關(guān)鍵詞、數(shù)據(jù)訪問路徑的哈希值以及數(shù)據(jù)所有者的公鑰地址組成。

（3）數(shù)據(jù)請求者通過分布式哈希表檢索到所需的共享數(shù)據(jù)信息，并獲取到數(shù)據(jù)所有者的公鑰地址。

（4）數(shù)據(jù)請求者根據(jù)數(shù)據(jù)所有者的公鑰地址向區(qū)塊鏈網(wǎng)絡(luò)發(fā)送請求QT，QT由共享數(shù)據(jù)的哈希值以及數(shù)據(jù)所有者的地址組成。

（5）數(shù)據(jù)請求者通過身份驗證后，獲得Autho List（能夠?qū)?shù)據(jù)請求者進行身份驗證）的授權(quán)，可以訪問區(qū)塊鏈上的存儲信息Data。

（6）數(shù)據(jù)請求者使用解密后的Data中的路徑信息，訪問數(shù)據(jù)源，完成數(shù)據(jù)共享交互。

5 結(jié)語

總之，異構(gòu)環(huán)境下的分布式數(shù)據(jù)共享機制可以幫助解決跨平臺、跨系統(tǒng)的數(shù)據(jù)共享問題?，F(xiàn)有的異構(gòu)環(huán)境下的分布式數(shù)據(jù)共享機制存在著許多不足，例如：數(shù)據(jù)格式不一致，跨平臺、跨系統(tǒng)的數(shù)據(jù)傳輸速度? 較慢，難以確保數(shù)據(jù)的安全性等。未來改進方向可以包括：數(shù)據(jù)格式標準化、改進數(shù)據(jù)傳輸協(xié)議以提高傳輸速度，推出更可靠和高效的數(shù)據(jù)加密技術(shù)以保障數(shù)據(jù)安全，使用智能合約和區(qū)塊鏈等技術(shù)實現(xiàn)數(shù)據(jù)共享和協(xié)議管理。

參考文獻

［1］YAO X， HAN X， DU X， et al. A Lightweight Multicast Authentication Mechanism for Small Scale IoT Applications［J］. IEEE Sensors Journal， 2013（10）：3693-3701.

［2］ZHU H， LIN X， SHI M ， et al. PPAB： A Privacy-Preserving Authentication and Billing Architecture for Metropolitan Area Sharing Networks［J］. IEEE Transactions on Vehicular Technology， 2009（5）：2529-2543.

［3］余宇勁，凌捷.基于多云存儲的Android密鑰管理技術(shù)［J］.計算機應(yīng)用與軟件，2020（9）：286-290.

［4］王欣怡.面向邊緣計算的智能電網(wǎng)數(shù)據(jù)安全共享研究［D］.南昌：華東交通大學，2022.

［5］孫曉涵.基于數(shù)據(jù)共享模式的供應(yīng)鏈成本管理研究［D］.成都：西南財經(jīng)大學，2022.

［6］拜亞萌，鄧小飛.融合區(qū)塊鏈和云存儲的醫(yī)療數(shù)據(jù)安全存儲和共享模型［J］.焦作大學學報，2023（1）：75-79.

（編輯 王永超）

Research on distributed data sharing mechanism in heterogeneous environments

Tan? Haijun

（Information Center of Yangtze Normal University， Chongqing 408100， China）

Abstract：? With the advent of the information age， data sharing has become increasingly important. In the integrated platform for collecting and visualizing distributed product information， heterogeneous data representation is more complex .However， due to the differences among different data management systems in a heterogeneous environment， data sharing becomes more difficult. Therefore， this paper briefly summarizes the current research status of data sharing mechanisms in heterogeneous environments， first introducing the principles and basic framework of data sharing mechanisms， then introducing several typical data sharing mechanisms， and finally focusing on the application of distributed data sharing mechanisms in various fields under heterogeneous environments. In addition， the paper also discusses the problems of distributed data sharing mechanisms in heterogeneous environments and proposes prospects for future research directions.

Key words： heterogeneous environment; data sharing; data matching; information exchange