基于B/S架構的海量空間數(shù)據(jù)并行上傳方法研究

摘要：傳統(tǒng)海量空間數(shù)據(jù)并行上傳方法直接對空間數(shù)據(jù)上傳系數(shù)指標進行計算，未對空間數(shù)據(jù)進行劃分，造成上傳效率低。文章提出基于B/S架構的海量空間數(shù)據(jù)并行上傳方法。對空間數(shù)據(jù)進行劃分，根據(jù)劃分結果計算空間數(shù)據(jù)上傳系數(shù)指標，從而進行空間數(shù)據(jù)預處理，基于B/S架構空間數(shù)據(jù)上傳流程實現(xiàn)海量空間數(shù)據(jù)并行上傳，并設計對比實驗。實驗結果表明，該研究方法具有更高的上傳效率，更具有應用價值。

關鍵詞：B/S架構；海量空間數(shù)據(jù)；方法研究；并行上傳方法

doi：10.3969/J.ISSN.1672-7274.2024.01.001

中圖分類號：G 642，TP 3? ? ? ? ? ? 文獻標志碼：A? ? ? ? ? ? 文章編碼：1672-7274（2024）01-000-04

Research on Parallel Uploading Method of Massive Spatial Data Based on BS Architecture

LIU Chunwei

（National Supercomputing Tianjin Center， Tianjin 300457， China）

Abstract： The traditional parallel upload method for massive spatial data directly calculates the spatial data upload coefficient index without partitioning the spatial data， resulting in low upload efficiency in traditional methods. Propose a parallel upload method for massive spatial data based on BS architecture. Divide spatial data， calculate spatial data upload coefficient indicators based on the partition results， and preprocess spatial data. Based on the B/S architecture spatial data upload process， achieve parallel upload of massive spatial data. Design comparative experiments， and the experimental results show that this research method has higher upload efficiency and practical application value.

Key words： BS architecture; massive spatial data; method research; parallel upload method

移動互聯(lián)網(wǎng)發(fā)展的趨勢和特點要求其能夠為人們提供更及時、更多樣的服務^[1]。只有當服務能夠快速響應時，才能獲得良好的客戶感知。中國電信的數(shù)據(jù)目前分布在不同省份的IT系統(tǒng)中^[2]，為了提供統(tǒng)一的外部服務，應首先使用單一平臺和省級接口收集數(shù)據(jù)，然后提供外部服務^[3]。由于這一選擇過程長、時間短，因此將各省的大數(shù)據(jù)集中到單一的國家數(shù)據(jù)平臺，然后通過單一平臺提供外部服務^[4]。這是一種有效而快速的方法，為了集中保存數(shù)據(jù)，每個省份都需要將數(shù)據(jù)上傳到集成平臺上^[5]。大多數(shù)數(shù)據(jù)都有一個非常重要的加載過程和方法選擇。為了上傳數(shù)據(jù)，應該快速刪除舊數(shù)據(jù)，并寫入新數(shù)據(jù)^[6]。由于連接的時間限制，應避免數(shù)據(jù)庫操作耗時?？梢允褂瞄_發(fā)周期短、獨立于用戶平臺的基于B/S架構的管理系統(tǒng)，其具有易于實現(xiàn)交互式應用程序的優(yōu)點。這種類型的管理系統(tǒng)主要用于信息交換、各種數(shù)據(jù)報告等。這些數(shù)據(jù)的存儲和更新頻率在實際工作中相對較高，一些周期較長的部門需要更改一些重要數(shù)據(jù)。在創(chuàng)建系統(tǒng)時，便制定了在線數(shù)據(jù)維護程序，如今，Excel電子表格軟件已被納入所有現(xiàn)代辦公室中，我們希望在正確提供Excel數(shù)據(jù)的基礎上，能有一個直接將Excel數(shù)據(jù)導入數(shù)據(jù)庫的中間橋梁^[7]。本文提出基于B/S架構的海量空間數(shù)據(jù)并行上傳方法，可以將空間數(shù)據(jù)上傳到數(shù)據(jù)庫中。B/S體系結構具有靈活性和可變特性，在實際項目開發(fā)中，B/S體系架構可用于數(shù)據(jù)處理。為確保在數(shù)據(jù)處理過程中數(shù)據(jù)的準確性，保證在一些相對復雜的指令分析后數(shù)據(jù)的系統(tǒng)性和完整性，更好地實現(xiàn)日常業(yè)務監(jiān)控和輔助的影響，應分析和審查加載和存儲大型空間數(shù)據(jù)所產(chǎn)生的各種問題，在B/S架構的基礎上，建立一個大型數(shù)據(jù)服務系統(tǒng)，并對系統(tǒng)進行運行性能驗證，保證獲取的處理結果可靠和穩(wěn)定，從而實現(xiàn)智能化運行。

1? ?基于B/S架構的海量空間數(shù)據(jù)并行上傳方法設計

1.1 空間數(shù)據(jù)劃分

空間數(shù)據(jù)劃分應注意兩點：首先在空間數(shù)據(jù)劃分過程中保持鄰域特征；其次在劃分過程中反映存儲單元之間的活動差異，以平衡數(shù)據(jù)的負擔。近似地將空間數(shù)據(jù)分布的代表性方法用于空間數(shù)據(jù)的分布，用于在相同大小的網(wǎng)絡中的數(shù)據(jù)分布。根據(jù)某些規(guī)則對每條網(wǎng)絡數(shù)據(jù)進行編碼，用于在一定程度上保持空間接近性以及用于將空間數(shù)據(jù)大小減小為一維空間的表示。由于希爾伯特曲線是按空間的線性階填充的，并且符合不同階希爾伯特網(wǎng)絡之間的平方分離規(guī)則，因此可以基于平方根的子網(wǎng)格進行分層分離編碼，以獲得下一個希爾伯特子網(wǎng)絡編碼級別，這種方式可以解決劃分整個空間的需要，從而獲得良好的劃分效果。在分析上述B/S架構并行規(guī)劃模型和空間數(shù)據(jù)劃分思想的基礎上，在B/S架構平行規(guī)劃模型的基礎上采用希爾伯特曲線層次劃分方法和臨界值極限，確保劃分后空間數(shù)據(jù)的鄰近性以及在多個存儲設備上的均衡劃分，空間數(shù)據(jù)劃分算法流程如圖1所示。

在本研究中，針對空間數(shù)據(jù)的數(shù)據(jù)調整的通信采取強度調制/直接檢測（IM/DD）方式。該等效模型的信道基帶如下：

式中，時間離散為t；接收成像數(shù)據(jù)入射角為n（t）；數(shù)據(jù)上傳速率為y（t）；收端數(shù)據(jù)接的視場角為τ；信道的脈沖響應函數(shù)為h（t）；直流增益信道為x（t）；數(shù)據(jù)接收端的響應速率為R?；趫D1中的空間數(shù)據(jù)上傳流程，通過獲得多邊傳播效應和DC提取參數(shù)調整數(shù)據(jù)上傳方法。根據(jù)式（1）所示等效模型以及脈沖響應函數(shù)，式（1）還可以表示無線信道的多路分布影響，假定信道的最小延遲時間為t₀，如式（2）所示：

式中，視場角為F。信道DC的增加與數(shù)據(jù)捕獲功能、傳輸、數(shù)據(jù)傳輸距離等有關，假設參數(shù)直流增益為Ψ，最大時數(shù)據(jù)傳輸速率的輻射角為Φ，信號截取時間為d²，有效數(shù)據(jù)傳輸面積為A，則基帶信號H（0）表示為

式中，玻耳茲曼常數(shù)為d；通信信道數(shù)據(jù)上傳增益函數(shù)為cos^m（Φ）；輸出功率為T（Ψ）；朗伯體階數(shù)為m。從公式（1）至式（3），獲取到空間數(shù)據(jù)的頂部通信的信道參數(shù)。由于通道具有固定特性，因此通道通常被認為屬于準靜態(tài)。

基于希爾伯特曲線的分布層次所提出的空間數(shù)據(jù)分布思想：根據(jù)空間數(shù)據(jù)對象的數(shù)量n確定Hilberth（希爾百特）曲線的初始順序m和子網(wǎng)絡層次結構的中斷階數(shù)M，并將整個空間范圍除以2×2。Hilberth編碼由空間對象組成，累積每個空間對象原始編碼的數(shù)據(jù)量K。如果數(shù)據(jù)總量超過存儲單元的平均存儲量V，則以相同方式劃分第四個子網(wǎng)。計算下一級網(wǎng)絡希爾伯特編碼，直到給定相應數(shù)量的空間對象存儲節(jié)點或子網(wǎng)絡層次結構的層次分解數(shù)量，隨即停止子網(wǎng)絡的層次劃分。這不僅確保了空間數(shù)據(jù)的接近性，而且大致平衡了劃分后的數(shù)據(jù)量。使用的公式如下：

在使用平衡的數(shù)據(jù)劃分方法的前提下，節(jié)點之間的負載應該是平衡的，以反映節(jié)點之間活動的差異。在空間數(shù)據(jù)劃分過程中，使用單位容量檢測方法來確定每個存儲單位容量的臨界值p_low和p_high，計算兩個值的公式為

式中，S_i為第i個單元的物理地址范圍，通過確定每個單元的資源（例如100GB單元，300GB單元）的標準權重W_i來確定，并且該值的確定與物理單元的量k有關，k∈[0，1]。

1.2 計算空間數(shù)據(jù)上傳系數(shù)指標

根據(jù)上述公式計算空間數(shù)據(jù)上傳系數(shù)指標。在數(shù)據(jù)收集過程中，由于存在能量場干擾信號傳輸，影響數(shù)據(jù)接收的效果，所以必須計算其系數(shù)。能量場產(chǎn)生的干擾信號通過傳輸數(shù)據(jù)被限制在系統(tǒng)帶寬內(nèi)。帶寬為B，假設系統(tǒng)熱力學溫度（K）為T，則功率計算公式為

式中，數(shù)據(jù)接收端和數(shù)據(jù)輸出端之間的距離為k，即k=1.38×10^-23J/K。由于輸出和輸入之間存在不連接的信號和噪聲關系，系統(tǒng)需要根據(jù)系統(tǒng)加載的文件來計算系數(shù)。假設光學透鏡接收機的透過率用Nout來表示；輸出信號功率用Sout來表示，用Nin來表示輸入功率，用Sin為系統(tǒng)輸入信號功率，則系統(tǒng)上傳文件產(chǎn)生的系數(shù)N為

式中，輸入端的信噪比為Sin/Nin，輸出端的信噪比為Sout/Nout。加載過程包括數(shù)據(jù)傳輸、空間區(qū)域異常反應監(jiān)測?？梢允褂檬M制顯示，即：

從式（10）可以看出，內(nèi)部和外部系數(shù)越低，影響因素也越低，對數(shù)據(jù)加載的影響越小。上傳數(shù)據(jù)時，內(nèi)部和外部系數(shù)越大，數(shù)據(jù)發(fā)布時產(chǎn)生的系數(shù)指標越小，數(shù)據(jù)管理時產(chǎn)生的系數(shù)指標越大。

1.3 基于B/S架構實現(xiàn)海量空間數(shù)據(jù)并行上傳

在分析B/S架構海量空間數(shù)據(jù)并行上傳時，基于B/S架構的并行空間數(shù)據(jù)劃分算法主要分為以下幾個階段：數(shù)據(jù)集共享，數(shù)據(jù)預處理，空間數(shù)據(jù)劃分。

圖2顯示了基于B/S架構空間數(shù)據(jù)上傳流程。在上述計算空間數(shù)據(jù)上傳系數(shù)指標的基礎上，進行空間數(shù)據(jù)預處理，從而實現(xiàn)基于B/S架構的空間數(shù)據(jù)的并行上傳。

2? ?實驗論證

系統(tǒng)測試主要分析和檢驗B/S架構下海量空間數(shù)據(jù)并行上傳方法實際應用效果。為了比較最終測試結果的穩(wěn)定性和可靠性，本文將傳統(tǒng)方法1和傳統(tǒng)方法2作為測試對照組，在同一環(huán)境下上傳海量空間數(shù)據(jù)，并對最終結果進行分析。

2.1 實驗準備

平臺電壓范圍為3 V至5 V，ADC核心方案為連接到PCIExpress連接器并連接到電源的5 V USB接口芯片。在確認芯片是否穩(wěn)定時，使用示波器進行處理。應進行通道信號調整、ADC采集調整和FPGA緩沖區(qū)測量平臺。根據(jù)其在B/S架構框架內(nèi)的可信度要求和標準，制定數(shù)據(jù)服務計劃，規(guī)定針對單實施指令的響應反饋時間在0.2秒至0.5秒。指定服務的基本性能參數(shù)，如表1所示。

通過表1可以完成對指令指標數(shù)值的設定與分析。對指令數(shù)據(jù)調整后，建立起穩(wěn)定的測試環(huán)境。檢查測試設備和平臺運行是否穩(wěn)定，并確保沒有外部因素影響最終測試結果。確認無誤后，開始測試系統(tǒng)。準備300個空間數(shù)據(jù)信息，并在其中配置多個監(jiān)控單元。每個監(jiān)測單元是獨立的，在實際應用中應引入指令關聯(lián)。此外還需要計算單元之間的差異，具體如式（11）所示。

式中，執(zhí)行誤差為a²；核心執(zhí)行距離為u；監(jiān)測節(jié)點數(shù)量為a；執(zhí)行比為θ₁；單元處理差值為Y。通過上述計算結果，可以獲得單元處理差異。進一步分析和驗證數(shù)據(jù)上傳響應時間和測試結果，如表2所示。

2.2 對比實驗

根據(jù)表2所示測試結果可知，本文方法服務響應時間相對較短，與傳統(tǒng)方法1和傳統(tǒng)方法2相對比，分別平均減少1.23 s和2.39 s，這表明本文所述方法具有更高的上傳效率，更具有應用價值。

3? ?結束語

在大數(shù)據(jù)信息技術的發(fā)展過程中，海量數(shù)據(jù)的收集和應用是一種發(fā)展趨勢。本文提出了一種基于B/S架構的空間數(shù)據(jù)上傳方法，使數(shù)據(jù)和空間信息更精細完整，對海量數(shù)據(jù)的上傳、數(shù)據(jù)加載過程以及讀寫過程的提出了合理的技術建議。

參考文獻

[1] 葉志堅，江志鋼，胡發(fā)國，等．基于BS架構的電液定位絞車遠程監(jiān)控系統(tǒng)的設計與實現(xiàn)[J]．黑龍江科學，2023，14（6）：76-78.

[2] 鄭斌，李小勇，閆迷軍，等．一種基于BS架構的車載嵌入式系統(tǒng)維護軟件的設計與實現(xiàn)[J]．鐵道機車車輛，2020，40（5）：40-43.

[3] 高國慶，李光亞，張超，等．文物信息系統(tǒng)數(shù)據(jù)管理方法研究[J]．工業(yè)控制計算機，2023，36（3）：110-112.

[4] 林躍茂，鄒超，張偉仁，等．基于BS架構的大數(shù)據(jù)服務平臺設計[J]．無線互聯(lián)科技，2022，19（24）：95-97.

[5] 苑曉晴，劉春波，陳俊豪，等．高速旋轉機械運行監(jiān)測數(shù)據(jù)上傳方法研究[J]．機電工程，2023，40（3）：377-383.

[6] 李涵秋，魏達，朱建啟，等．一種“北斗”導航星座數(shù)據(jù)上注的動態(tài)鏈路樹路由方法[J]．電訊技術，2021，61（12）：1521-1525.

[7] 辛鳳陽，王忠鑫，田鳳亮，等．基于BS架構的露天礦連續(xù)工藝一體化管控平臺設計與實現(xiàn)[J]．金屬礦山，2021（12）：177-182.

作者簡介：劉春偉（1987-），男，漢族，河北唐山人，工程師，碩士研究生，研究方向為B/S架構應用開發(fā)，并行計算。