基于自動化信息收集管理系統(tǒng)的研究及應用

丘美景，王倩桃，熊筠野

（廣東電網(wǎng)有限責任公司梅州供電局，梅州 514000）

隨著辦公軟件的普及，越來越多管理人員使用EXCEL表格對下級單位進行資料搜集，由于大多數(shù)下發(fā)搜集的管理人員處于一對多的關(guān)系，搜集上來的資料隨業(yè)務的增加而成倍增長，越來越多的EXCEL反饋表格（有些還有N個版本）使管理人員匯總時容易疲勞、出錯。

該系統(tǒng)是針對上述痛點進行設(shè)計的一套軟件，意在解決管理人員在資料搜集過程中存在的各種痛點（防止資料誤刪、誤改、誤增、誤操作等），從而提升業(yè)務能力和管理水平。系統(tǒng)將搜集的資料以任務的方式進行下發(fā)，功能模塊包括任務下發(fā)、任務跟蹤、任務提醒、任務處理等功能，支持線上線下操作功能，簡單實用。同時通過系統(tǒng)數(shù)據(jù)進行圖形化進行大屏展示，任務情況一目了然，極大地提升管理水平，管理逐步形成信息化、自動化。

1 概述

用戶信息采集系統(tǒng)出現(xiàn)較早，是基于Web信息采集系統(tǒng)，其類型主要分為以下幾種：

（1）Web信息采集。Web信息采集作為一種應用最為廣泛的信息采集方式，信息采集主要是經(jīng)根節(jié)點至關(guān)聯(lián)的子節(jié)點，并對所有的鏈接節(jié)點進行采集，直到采集完畢為止。

（2）主題信息采集。根據(jù)采集主題的約定，對與主題相關(guān)的數(shù)據(jù)進行采集，并可以通過多種數(shù)據(jù)文本來描述主題。

（3）增量式的信息采集。在數(shù)據(jù)采集時，需要在靜止的頁面下不斷更新Web頁面，只需要對部分頁面數(shù)據(jù)進行更新，這樣會節(jié)省大量的采集時間，且能夠提升信息采集效率。

（4）個性化的信息采集。在信息采集時，我們可以結(jié)合用戶的需求進行信息采集，這樣可以滿足不同用戶的使用需求。

（5）分布式的信息采集。在信息采集時，我們可以設(shè)置不同的采集節(jié)點，利用信息的協(xié)同性進行采集，并將采集數(shù)據(jù)進行合并，此采集方式具有性能好、速度快等優(yōu)點，能夠有效提升采集服務質(zhì)量，確保采集的協(xié)調(diào)性。

2 總體需求分析

2.1 技術(shù)原理

本文實現(xiàn)基于自動化信息收集管理系統(tǒng)總體需求分析，包括系統(tǒng)功能和性能分析。在系統(tǒng)架構(gòu)模式上，采用了B/S設(shè)計模式，有利于減少系統(tǒng)維護的工作量，降低系統(tǒng)開發(fā)成本。其系統(tǒng)的技術(shù)原理如下：

該系統(tǒng)采用B/S架構(gòu)，HTML、JS、JAVA等開發(fā)語言，Mysql數(shù)據(jù)庫用于存儲數(shù)據(jù)；因當前這種開發(fā)技術(shù)已成熟，系統(tǒng)操作較為簡單，故我們可以根據(jù)用戶的需求，構(gòu)建自動化信息收集管理系統(tǒng)，并對系統(tǒng)功能結(jié)構(gòu)進行劃分。在系統(tǒng)功能結(jié)構(gòu)設(shè)計時，其結(jié)構(gòu)功能主要分為以下幾種：信息采集功能、加工功能、統(tǒng)計分析功能、系統(tǒng)管理功能和參數(shù)設(shè)置功能。其中，系統(tǒng)管理功能主要由用戶管理、系統(tǒng)操作管理、角色管理、訪問權(quán)限管理等幾個部分組成。

2.2 系統(tǒng)研究內(nèi)容

自動化信息收集管理系統(tǒng)的應用，其應用內(nèi)容主要包括以下幾個方面：一是自動化信息收集管理系統(tǒng)開發(fā)技術(shù)，主要包括：技術(shù)架構(gòu)、功能設(shè)計、開發(fā)平臺介紹等；二是系統(tǒng)總體需求分析與設(shè)計；三是開發(fā)自動化信息收集管理系統(tǒng)的功能模塊。

2.3 非功能性需求分析

根據(jù)非功能性需求分析，其需求如下：在界面設(shè)計需求上，自動化信息收集管理系統(tǒng)設(shè)計界面滿足總體需求，使信息采集更快速，體驗更豐富，界面更友好；在功能擴展要求上，自動化信息收集管理系統(tǒng)采用了擴展功能，對系統(tǒng)進行升級，在系統(tǒng)維護時，采用遠程更新方式。

3 系統(tǒng)設(shè)計

（1）該系統(tǒng)采用B/S架構(gòu)，并采用HTML、JS的開發(fā)語言和Mysql數(shù)據(jù)庫，用于存儲數(shù)據(jù)。

（2）安全設(shè)計方面，既保證數(shù)據(jù)安全又保證服務安全；數(shù)據(jù)方面采用HTTPS加密，消息內(nèi)容加密、Token校驗、防SQL注入、非常用登錄地址郵件提醒和同一用戶操作頻率的監(jiān)控等安全技術(shù)手段；服務安全方面采用nginx反向代理。

（3）使用Nginx做反向代理提高服務吞吐量、便于服務器分布擴展、安全；nginx作為代理可以滿足大量客戶端的同時請求并均衡的分發(fā)到相應服務的實例，同時避免了服務器ip和端口直接與外網(wǎng)聯(lián)通從而達到防止攻擊的效果。

（4）服務端采用微服務進行項目設(shè)計與開發(fā)以達到業(yè)務解耦的效果（即高內(nèi)聚低耦合）使復雜的業(yè)務模塊化便于擴展和維護。

（5）在微服務的基礎(chǔ)上實現(xiàn)分布式部署提高系統(tǒng)的容錯性（一個服務的癱瘓并不會讓整個系統(tǒng)癱瘓，用戶使用的功能均正常）、動態(tài)增加和減少服務實例。

（6）服務實現(xiàn)兩套對外接口便于系統(tǒng)之間的對接，一是RESTFUL風格方便已有非微服務業(yè)務程序調(diào)用（即：可以方便其他有相同或類似業(yè)務需求的人員使用）；二是rpc（遠程服務接口過程調(diào)用）風格便于微服務業(yè)務擴展及相互之間高效率的數(shù)據(jù)交互。

（7）預警體系，對服務內(nèi)出現(xiàn)的報錯、接口請求超時、數(shù)據(jù)庫請求超時等各種異常增加一套預警系統(tǒng)實時監(jiān)控及發(fā)送郵件到相關(guān)負責人。

（8）服務部署，mysql采用多主多從的集群方式部署，根據(jù)業(yè)務需求對數(shù)據(jù)進行定時備份；微服務均使用多實例部署以達到7*24小時不停機保證高可用。

（9）使用成熟開源的分布式任務調(diào)度架構(gòu)xxl-job（可實現(xiàn)瀏覽器界面操作，簡單，方便，功能強大），以滿足一些調(diào)度業(yè)務需求。

4 技術(shù)關(guān)鍵點及創(chuàng)新點

（1）技術(shù)關(guān)鍵點。①將人工下發(fā)任務方式進行信息化，系統(tǒng)自動匯總查重，消除人工誤操作的風險；②將業(yè)務信息修改提供數(shù)據(jù)級審計，提高數(shù)據(jù)準確性及可追溯性。

（2）創(chuàng)新點。①改變原有資料搜集方式，由系統(tǒng)統(tǒng)一下發(fā)，業(yè)務高效、準確；②減少人工匯總時間，提高工作效率；③對于資料搜集的數(shù)據(jù)進行流程變更把控，提高數(shù)據(jù)準確性及可追溯性。

5 結(jié)束語

本文實現(xiàn)對自動化信息收集管理系統(tǒng)的設(shè)計與實現(xiàn)工作，得到了以下幾點結(jié)論：

（1）實現(xiàn)系統(tǒng)的需求分析和系統(tǒng)文檔設(shè)計。

（2）實現(xiàn)系統(tǒng)功能的優(yōu)化與完善，并適當增加系統(tǒng)其他功能。

（3）與通過郵件或紙質(zhì)形式搜集資料的辦公方式相比，該系統(tǒng)將該流程進行信息化，大大縮減了人力物力。

（3）系統(tǒng)會自動進行重復數(shù)據(jù)刪除、匯總，消除了人工EXCEL表格匯總誤操作。

（4）實現(xiàn)對自動化信息收集管理系統(tǒng)的數(shù)據(jù)操作的審計。

（5）此系統(tǒng)是針對普遍管理人員工作方式的痛點，提高工作效率及準確性，消除人工誤操作，具備通用性及推廣性。