基于大數(shù)據(jù)的通信勘察管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

莫 勇，錢(qián)權(quán)智，陳 浩

（1.重慶郵電大學(xué)通信與信息工程學(xué)院，重慶 400065；2.重慶郵電大學(xué)通信新技術(shù)應(yīng)用研究中心，重慶 400065；3.重慶信科設(shè)計(jì)有限公司，重慶 401121）

0 引言

在通信工程項(xiàng)目的建設(shè)中，勘察工作是非常重要的前端環(huán)節(jié)，它進(jìn)展的順利程度和勘察的全面性將影響到項(xiàng)目建設(shè)的最終效果和質(zhì)量，同時(shí)效率低下、復(fù)勘率居高不下還將導(dǎo)致通信項(xiàng)目建設(shè)成本的增加，因此勘察工作對(duì)于整個(gè)項(xiàng)目的推動(dòng)和設(shè)計(jì)有著非凡的意義。而且在通信項(xiàng)目中，勘察工作既要求勘察人員又快又好的完成，講究質(zhì)量和速度的同時(shí)，還要考慮節(jié)省人力開(kāi)支，降低項(xiàng)目成本，這些需求也就表明著需要信息化、標(biāo)準(zhǔn)化加入整個(gè)勘察工作中。在傳統(tǒng)通信勘察工作中，現(xiàn)場(chǎng)勘察往往需要勘察人員更強(qiáng)的責(zé)任心和主觀性，現(xiàn)場(chǎng)勘察人員對(duì)于項(xiàng)目的掌握情況以及自身的經(jīng)驗(yàn)在多數(shù)情況下影響著現(xiàn)場(chǎng)勘察的進(jìn)度和效果。但隨著通信建設(shè)單位的要求越來(lái)越高，現(xiàn)場(chǎng)勘察人員的任務(wù)越來(lái)越重，不光是現(xiàn)場(chǎng)數(shù)據(jù)的紙質(zhì)記錄和后期的錄入，還有現(xiàn)場(chǎng)拍攝照片的后期整理和標(biāo)注，這些工作都需要花費(fèi)勘察人員大量的精力。這些狀況使得傳統(tǒng)通信勘察工作極其不規(guī)范和效率低下。因此要提高通信勘察工作中的質(zhì)量、效率和成本，需要對(duì)通信勘察工作中的數(shù)據(jù)進(jìn)行信息化的處理，并進(jìn)行規(guī)范的存儲(chǔ)。

基于上述原因，為了進(jìn)一步提升通信勘察設(shè)計(jì)工作的效率，破解通信勘察發(fā)展難題，推動(dòng)企業(yè)勘察全面整改，提高企業(yè)的勘察信息化水平，本文主要針對(duì)如何打造實(shí)現(xiàn)基于大數(shù)據(jù)的通信勘察管理系統(tǒng)問(wèn)題進(jìn)行研究，通過(guò)對(duì)本文的研究，相較于傳統(tǒng)通信勘察的方式方法，具有非常大的現(xiàn)實(shí)意義。

1 相關(guān)技術(shù)

本系統(tǒng)選擇使用大數(shù)據(jù)倉(cāng)庫(kù)工具Hive、支持分布式架構(gòu)通信的RPC 協(xié)議進(jìn)行遠(yuǎn)程服務(wù)器之間的調(diào)用、使用LINQ、Ado.net Entity Framework，便于語(yǔ)言集成查詢和大數(shù)據(jù)訪問(wèn)。

Hive 的核心工作就是把SQL 語(yǔ)句轉(zhuǎn)換成MR 程序，它可以管理和查詢PB 級(jí)別的分布式數(shù)據(jù)：也可以很容易把原來(lái)構(gòu)建在關(guān)系數(shù)據(jù)庫(kù)上的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用程序移植到Hadoop 平臺(tái)上，并提供完整的SQL 查詢功能；可以將SQL 轉(zhuǎn)換為MapReduce 任務(wù)，然后運(yùn)行，通過(guò)自己的SQL 查詢及分析需要的內(nèi)容，Hive 是為大數(shù)據(jù)批量處理而生的，也便于處理大規(guī)模上傳的勘察數(shù)據(jù)，提高了傳統(tǒng)數(shù)據(jù)庫(kù)在在高并發(fā)處理方面的能力。

LINQ 是.NET 3.5中新增的一種技術(shù)，LINQ 在ASP.NET 應(yīng)用程序中可用做數(shù)據(jù)庫(kù)組件的一部分，其組成分為三大部分：LINQ to XML、LINQ to ADO.NET、LINQ to Objects。使用LINQ技術(shù)可以操作或者查詢所有存儲(chǔ)形式的數(shù)據(jù)，例如：關(guān)系（關(guān)系數(shù)據(jù)庫(kù)、ADO.NET 數(shù)據(jù)集等）、XML、對(duì)象（集合、數(shù)組、字符串等）。

2 系統(tǒng)實(shí)現(xiàn)

基于大數(shù)據(jù)的通信勘察管理系統(tǒng)主要分兩端：Web 管理端、手機(jī)移動(dòng)端。在Web 管理端，可實(shí)現(xiàn)質(zhì)量抽查、查詢、勘察管理、模板管理、文件庫(kù)管理、組織架構(gòu)等功能，在手機(jī)移動(dòng)端，勘察人員可利用手機(jī)App 實(shí)現(xiàn)現(xiàn)場(chǎng)勘察打點(diǎn)、信息填寫(xiě)、任務(wù)搶單、任務(wù)查詢、團(tuán)隊(duì)查詢等功能。而管理人員可利用手機(jī)App 對(duì)勘察人員提交的勘察任務(wù)進(jìn)行快速審查。

2.1 Web 管理端功能實(shí)現(xiàn)

基于大數(shù)據(jù)的通信勘察管理系統(tǒng)Web 管理端依靠B/S 而搭建，服務(wù)器操作系統(tǒng)采用Windows Server，服務(wù)器數(shù)據(jù)庫(kù)采用Microsoft SQL Server，Web 管理端能夠從項(xiàng)目策劃、過(guò)程控制、成果形成到項(xiàng)目結(jié)束的基礎(chǔ)管控服務(wù)，每個(gè)流程節(jié)點(diǎn)設(shè)置了提示信息，這將加快勘察流程流轉(zhuǎn)的速度，并且對(duì)整個(gè)流程都進(jìn)行了詳細(xì)的數(shù)據(jù)記錄，包括項(xiàng)目所產(chǎn)生的文件、表單、圖片等，相比于傳統(tǒng)勘察模式，本系統(tǒng)規(guī)范了文件存儲(chǔ)的方式，提高了后期文件整理的效率。借助相關(guān)功能模塊，企業(yè)管理層能隨時(shí)掌握每一個(gè)勘察項(xiàng)目進(jìn)度，隨時(shí)掌握每一個(gè)人手中的任務(wù)情況，并通過(guò)大數(shù)據(jù)分析，得到團(tuán)隊(duì)完成任務(wù)的通過(guò)情況、勘察人員勘察能力情況、企業(yè)勘察項(xiàng)目的分布情況等，從而幫助企業(yè)管理者進(jìn)行生產(chǎn)管理，也方便部門(mén)之間、員工之間更好地銜接配合工作。

（1）個(gè)人中心：登錄基于大數(shù)據(jù)的通信勘察管理系統(tǒng)后，直接展示個(gè)人中心功能界面，個(gè)人中心界面中可查看團(tuán)隊(duì)未完任務(wù)、我的未完任務(wù)、待審核任務(wù)、未搶任務(wù)、退回任務(wù)，點(diǎn)擊相應(yīng)的模板可以查看相關(guān)任務(wù)的狀態(tài)情況。

（2）勘察管理：該模塊可進(jìn)行口頭委托、招投標(biāo)等多種方式立項(xiàng)、登記和錄入項(xiàng)目基本數(shù)據(jù)信息及附件文件，建立項(xiàng)目臺(tái)帳。

（3）文件庫(kù)管理：該功能模塊能夠深度挖掘多元多維數(shù)據(jù)之間的關(guān)聯(lián)性，并且便于生成和查找項(xiàng)目成果性文件，從而提高效率。

（4）組織架構(gòu)：該功能模塊實(shí)現(xiàn)系統(tǒng)人員維護(hù)（包括系統(tǒng)人員信息的錄入、崗位設(shè)置、系統(tǒng)人員賬號(hào)停用）、項(xiàng)目組的創(chuàng)建、合作單位信息維護(hù)等功能。

（5）系統(tǒng)管理：該功能模塊主要提供基礎(chǔ)流程配置、人員權(quán)限分配以及系統(tǒng)日志，基礎(chǔ)流程可以動(dòng)態(tài)增加、刪除流程的環(huán)節(jié)；系統(tǒng)人員權(quán)限的分配可以根據(jù)特定角色規(guī)模配置，也可以為一個(gè)人單獨(dú)定制權(quán)限。

2.2 手機(jī)移動(dòng)端功能實(shí)現(xiàn)

手機(jī)移動(dòng)端采用Android 操作系統(tǒng)，基于java 語(yǔ)言進(jìn)行開(kāi)發(fā)，通過(guò)移動(dòng)網(wǎng)絡(luò)進(jìn)行信息交互和數(shù)據(jù)共享，具備側(cè)邊欄、首頁(yè)兩大模塊功能。

（1）側(cè)邊欄：該功能模塊可實(shí)現(xiàn)項(xiàng)目信息查詢、任務(wù)審批、查看我的團(tuán)隊(duì)信息、查看未完成的待辦工作、查看所有的任務(wù)列表、查看需要搶單的推送任務(wù)、查詢?cè)O(shè)備材料以及現(xiàn)場(chǎng)拍照功能，其中項(xiàng)目信息查詢可根據(jù)數(shù)據(jù)的維度實(shí)時(shí)查詢檢索公司授權(quán)的項(xiàng)目信息，包括檢索項(xiàng)目的進(jìn)度情況、人員安排情況，還可以查看項(xiàng)目各任務(wù)的實(shí)際開(kāi)始日期、實(shí)際完成日期、計(jì)劃開(kāi)始日期、計(jì)劃完成日期、流程人員等數(shù)據(jù)信息；任務(wù)審批可幫助項(xiàng)目經(jīng)理利用手機(jī)App進(jìn)行任務(wù)審核；待辦工作可便于勘察人員快捷查詢需要處理的勘察任務(wù)；推送任務(wù)便于勘察人員及時(shí)發(fā)現(xiàn)需要爭(zhēng)搶的任務(wù)，設(shè)備材料便于勘察人員現(xiàn)場(chǎng)查看需要用到的設(shè)備信息，提高勘察質(zhì)量；拍照是利于現(xiàn)場(chǎng)勘察人員遇到特殊情況而及時(shí)采集信息。

（2）App 首頁(yè)：App 首頁(yè)主要展示和勘察人員有關(guān)的任務(wù)信息，包括待提交的任務(wù)、退回的任務(wù)以及可搶單的任務(wù)，這有利于勘察人員直觀、及時(shí)的查看和處理需要處理的任務(wù)，點(diǎn)擊具體的任務(wù)，然后顯示項(xiàng)目經(jīng)理編制策劃的模板，然后根據(jù)提示信息在手機(jī)中填寫(xiě)相關(guān)內(nèi)容，包括上傳的照片、地圖上記錄的信息，在現(xiàn)場(chǎng)勘察時(shí)還可以選擇離線模式，避免勘察人員到無(wú)線信號(hào)還未覆蓋的區(qū)域無(wú)法勘察。

3 系統(tǒng)測(cè)試

3.1 功能測(cè)試

功能測(cè)試包括頁(yè)面加載測(cè)試、權(quán)限和身份測(cè)試、信息查詢是否正確和完整、功能操作測(cè)試、業(yè)務(wù)流轉(zhuǎn)是否能夠正常處理等等。

頁(yè)面加載：登錄系統(tǒng)后，依次測(cè)試系統(tǒng)的每個(gè)頁(yè)面，查看頁(yè)面是否顯示錯(cuò)誤或者存在不能加載的現(xiàn)象。

權(quán)限和身份驗(yàn)證：首先用合法用戶和非合法用戶分別登錄，查看登錄結(jié)果，如果是合法用戶登錄系統(tǒng)后，則查看用戶權(quán)限分配與預(yù)先設(shè)定權(quán)限是否匹配，如果是非法用戶，不讓其登錄系統(tǒng)，并給予提示。

信息查詢：在各個(gè)信息查詢頁(yè)面，從不同維度、時(shí)間進(jìn)行信息查詢，查看是否能正確檢索得到信息、信息是否完整或者存在不能加載的現(xiàn)象。

功能操作：在測(cè)試業(yè)務(wù)的同時(shí)伴隨著功能操作的測(cè)試，主要是測(cè)試功能能否正常操作，能否起到作用。

業(yè)務(wù)流轉(zhuǎn)：首先用項(xiàng)目經(jīng)理的角色登錄系統(tǒng)，然后依次組建自己的團(tuán)隊(duì)、制作勘察模板、項(xiàng)目登記、項(xiàng)目分解、勘察人員勘察、質(zhì)量審核、項(xiàng)目收尾生成勘察報(bào)告，查看業(yè)務(wù)流轉(zhuǎn)是否正常。

3.2 壓力測(cè)試

此次測(cè)試是針對(duì)基于大數(shù)據(jù)的通信勘察管理系統(tǒng)進(jìn)行壓力測(cè)試，壓測(cè)主要提取用戶最常使用的頁(yè)面進(jìn)行壓測(cè)：待提交任務(wù)列表、待提交任務(wù)id 列表、搶單列表、回退任務(wù)列表、發(fā)現(xiàn)表單列表進(jìn)行壓測(cè)，壓力測(cè)試?yán)胊pache 的開(kāi)源測(cè)試工具JMeter，通過(guò)JMeter 錄制badboy 腳本生成http 的請(qǐng)求，并經(jīng)過(guò)http 的Post 協(xié)議發(fā)送訪問(wèn)請(qǐng)求，然后收集服務(wù)器響應(yīng)的速度、服務(wù)器資源耗用情況。啟動(dòng)JMeter 后，對(duì)以上頁(yè)面進(jìn)行壓力測(cè)試，按照100、500、1000、2000個(gè)線程進(jìn)行測(cè)試，即模擬這些數(shù)目的用戶并發(fā)；Ramp-up period（inseconds）的值設(shè)為1（即1s 啟動(dòng)100、500、1000、2000并發(fā)訪問(wèn)），并發(fā)持續(xù)運(yùn)行為10分鐘，測(cè)試指標(biāo)提取如下：

表1 測(cè)試指標(biāo)

通過(guò)分析壓力測(cè)試的結(jié)果，得知系統(tǒng)能夠在高并發(fā)的情況下依然正常處理業(yè)務(wù)，論證了此次系統(tǒng)設(shè)計(jì)合理，能夠滿足未來(lái)大數(shù)據(jù)高并發(fā)的需求。

4 結(jié)束語(yǔ)

本文所設(shè)計(jì)的基于大數(shù)據(jù)的通信勘察管理系統(tǒng)完成了對(duì)通信勘察項(xiàng)目從項(xiàng)目立項(xiàng)、模板制作、項(xiàng)目策劃、任務(wù)分解、任務(wù)審核、生成勘察報(bào)告全過(guò)程的管控，尤其是模板制作，打破了原來(lái)的局限性，可根據(jù)項(xiàng)目的特性有針對(duì)性的制作模板，這樣既增加了系統(tǒng)的靈活性和適用性，也對(duì)提升勘察項(xiàng)目的質(zhì)量有很大的幫助作用。同時(shí)系統(tǒng)采用大數(shù)據(jù)分析技術(shù)，可分析挖掘勘察項(xiàng)目某個(gè)環(huán)節(jié)出現(xiàn)的問(wèn)題，幫助管理者及時(shí)制定措施，提升項(xiàng)目管理水平。未來(lái)可在當(dāng)前研究的基礎(chǔ)上，將虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)相結(jié)合，實(shí)現(xiàn)VR 勘察，進(jìn)一步提高效率和減少人力消耗，從而改變傳統(tǒng)通信勘察模式。