新冠疫情數(shù)據(jù)可視化平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

李澤沁 鞏如悅 宋秉鍵

摘? 要：新型冠狀病毒感染疫情數(shù)據(jù)高效率利用一直是值得研究的問題，到目前為止，還沒有一個(gè)完美的可視化工具能滿足醫(yī)療學(xué)科對疫情的要求。文章基于Django網(wǎng)絡(luò)框架，借助ECharts完成疫情數(shù)據(jù)可視化處理和界面的交互功能，通過爬蟲獲取疫情數(shù)據(jù)并建立數(shù)據(jù)庫，完成網(wǎng)頁端可視化界面多元化疫情數(shù)據(jù)展示的構(gòu)建，可視化內(nèi)容涵蓋各省市的確診數(shù)、死亡數(shù)等，疫情數(shù)據(jù)可視化平臺(tái)的搭建為廣大人民群眾和醫(yī)療從事人員了解疫情提供技術(shù)支持。

關(guān)鍵詞：信息采集與過濾；網(wǎng)絡(luò)信息抽取；新型冠狀病毒；可視化

中圖分類號(hào)：TP311；TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2023）09-0157-05

Abstract： The efficient utilization of novel coronavirus pneumonia epidemic situation data has always been a problem worth studying. So far， there has been no perfect visualization tool that can meet the requirements of medical disciplines for the epidemic situation. This paper is based on Django network framework， completes the visualization processing of epidemic situation data and the interactive function of the interface with the help of ECharts， obtains epidemic situation data via crawler and establishes a database， and forms the construction of a diversified epidemic situation data display in the visual interface on the web terminal. The visualization contents cover the number of confirmed cases and deaths in various provinces and cities. The establishment of the epidemic situation data visualization platform provides technical support for the broad masses of people and medical practitioners to gain an insight into the epidemic situation.

Keywords： information collection and filtering; web information extraction; novel coronavirus; visualization

0? 引? 言

新型冠狀病毒感染（Corona Virus Disease 2019， COVID-19）自2019年末爆發(fā)以來，在全世界范圍內(nèi)快速蔓延。截至本文寫就之時(shí)，國內(nèi)疫情雖得到有效控制，但局部地區(qū)仍出現(xiàn)疫情反彈現(xiàn)象，政府官網(wǎng)、主流媒體等實(shí)時(shí)公布疫情動(dòng)態(tài)，疫情數(shù)據(jù)、全民輿情關(guān)注等信息每天更新。因信息更新速度快、周期短，海量的疫情數(shù)據(jù)如雨后春筍般涌現(xiàn)，信息數(shù)據(jù)驟然劇增，這些數(shù)據(jù)只有被合理解讀與展示，才能將數(shù)據(jù)利用最大化。因此，全國各地為了科學(xué)化地管理新冠疫情數(shù)據(jù)，不斷推出各種數(shù)據(jù)管理平臺(tái)，但都存在疫情數(shù)據(jù)散亂、模塊獨(dú)立、集成度低等問題。針對上述問題，本文提出利用爬蟲技術(shù)實(shí)現(xiàn)對新冠疫情數(shù)據(jù)的爬取和可視化展示，方便人民群眾和科研醫(yī)務(wù)人員更好地了解新冠疫情實(shí)時(shí)動(dòng)態(tài)，并為預(yù)測疫情的發(fā)展趨勢提供參考。

1? 疫情可視化平臺(tái)研究

1.1? 系統(tǒng)結(jié)構(gòu)框架設(shè)計(jì)

在傳染病毒和大量人口流動(dòng)雙重條件影響下，新冠疫情防控面臨重大挑戰(zhàn)，人類社會(huì)受到前所未有的健康挑戰(zhàn)，應(yīng)用數(shù)據(jù)分析等方法成為防控疫情的一項(xiàng)重大工作。本系統(tǒng)的設(shè)計(jì)目的在于將散亂無序、數(shù)據(jù)量龐大的疫情數(shù)據(jù)以高效、可視化的方式展現(xiàn)出來。疫情數(shù)據(jù)的收集以每日更新的疫情數(shù)據(jù)為主，字段含省累計(jì)確診數(shù)、省累計(jì)死亡數(shù)、省累計(jì)治愈數(shù)、省累計(jì)疑似病例數(shù)、市累計(jì)確診數(shù)、市累計(jì)死亡數(shù)、市累計(jì)治愈數(shù)、市累計(jì)疑似病例數(shù)，數(shù)據(jù)搜索設(shè)計(jì)可通過搜索定位框查看全國各省市的疫情數(shù)據(jù)。本系統(tǒng)設(shè)計(jì)的主體思想以Django作為服務(wù)器框架，選定特定URL發(fā)送Requests請求，獲取清洗出初始數(shù)據(jù)，將數(shù)據(jù)儲(chǔ)存到MySQL數(shù)據(jù)庫完成初步工作，在結(jié)合了ECharts、Scrapy等工具從而實(shí)現(xiàn)疫情可視化平臺(tái)的設(shè)計(jì)。各模塊相互協(xié)同工作對數(shù)據(jù)進(jìn)行深度統(tǒng)計(jì)，在探索新冠疫情發(fā)展趨勢層面有著重大意義。本文可視化平臺(tái)的構(gòu)建由四大模塊組成，分別為：數(shù)據(jù)采集、數(shù)據(jù)篩選、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)可視化，如圖1所示。

1.2? 數(shù)據(jù)采集

國家衛(wèi)生健康委員會(huì)網(wǎng)站會(huì)發(fā)布當(dāng)日各省（自治區(qū)、直轄市）的疫情通報(bào)情況[1]，需要獲取上述網(wǎng)頁中不同省市的新增確診病例、新增疑似病例、新增出院病例、新增死亡病例及統(tǒng)計(jì)出以上四項(xiàng)累計(jì)報(bào)告病例。數(shù)據(jù)采集的方法使用Scrapy框架對網(wǎng)頁數(shù)據(jù)進(jìn)行爬取，選擇MySQL數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的存儲(chǔ)[2]。網(wǎng)絡(luò)爬蟲模塊：向Web服務(wù)器發(fā)送HTTP請求，通過選取初始URL策略，對網(wǎng)頁發(fā)送爬取請求，獲取相應(yīng)的數(shù)據(jù)存儲(chǔ)到文本文檔中，同時(shí)，規(guī)定爬取的時(shí)間規(guī)則。獲取疫情數(shù)據(jù)的技術(shù)路線，也可通過丁香醫(yī)生或騰訊網(wǎng)、阿里健康等網(wǎng)站的API地址獲取開源的疫情數(shù)據(jù)源。實(shí)驗(yàn)系統(tǒng)采用Pthon 3.10為編程語言，以Chrome瀏覽器為例，發(fā)出請求，同時(shí)查看瀏覽器的user-agent，使用Requests請求時(shí)，設(shè)置user-agent偽裝瀏覽器，由于字符串格式不方便數(shù)據(jù)進(jìn)行分析，在網(wǎng)頁預(yù)覽中發(fā)現(xiàn)數(shù)據(jù)為類似字典的JSON格式，JSON數(shù)據(jù)標(biāo)準(zhǔn)化；解析JSON數(shù)據(jù)；以xls格式輸出到本地，建立不同數(shù)據(jù)的列表元素名稱，如表1所示。

1.3? 數(shù)據(jù)清洗

在信息爬取階段會(huì)面臨著數(shù)據(jù)冗雜等問題，數(shù)據(jù)清洗廣泛應(yīng)用在大數(shù)據(jù)之中，數(shù)據(jù)清洗旨在識(shí)別和糾正數(shù)據(jù)中的噪聲，以盡量減少數(shù)據(jù)噪點(diǎn)對數(shù)據(jù)分析結(jié)果的影響。數(shù)據(jù)中的噪點(diǎn)主要包括不完整的數(shù)據(jù)、冗余數(shù)據(jù)、沖突數(shù)據(jù)和錯(cuò)誤數(shù)據(jù)[3]。抓取疫情數(shù)據(jù)并處理篩選數(shù)據(jù)的工作中，存在省市疫情數(shù)據(jù)時(shí)間維度上的雜亂，造成數(shù)據(jù)分析上的噪點(diǎn)，因此需要單獨(dú)處理各屬性疫情數(shù)據(jù)進(jìn)行數(shù)據(jù)聚類，分詞識(shí)別等嘗試性融合，形成一個(gè)每次可以處理的全部屬性，然后僅運(yùn)行一輪即可處理各元組全部屬性的問題[4]。

1.4? 疫情數(shù)據(jù)可視化

ECharts是百度開源的數(shù)據(jù)可視化圖表庫，PyEcharts是一款將Python與ECharts結(jié)合的強(qiáng)大的數(shù)據(jù)可視化工具，借著良好的交互性，精巧的圖表設(shè)計(jì)，得到了眾多開發(fā)者的認(rèn)可。Python在所有編程語言里面，代碼量最低，非常易于讀寫，遇到問題時(shí)，程序員可以把更多的注意力放在問題本身上，而不用花費(fèi)太多精力在程序語言、語法上。從海量數(shù)據(jù)中尋找規(guī)律是非常困難的，通過對疫情數(shù)據(jù)分析和可視化處理，得益于直觀的圖表，可以大大降低理解數(shù)據(jù)的難度，幫助人們更快地理解數(shù)據(jù)[5，6]。如圖2所示，本文通過折線圖、柱狀圖、地圖等形式對疫情數(shù)據(jù)進(jìn)行可視化處理，實(shí)驗(yàn)所采用的開發(fā)工具及相應(yīng)擴(kuò)展庫的版本為Python 3.10、PyEcharts 1.7.1，使用Py-Charm 2022.1.1作為語言編輯器，PyEcharts可視化的步驟可以分為：導(dǎo)入數(shù)據(jù)包；準(zhǔn)備數(shù)據(jù)庫；生成圖表；對圖表進(jìn)行處理，繪制折線圖、熱力圖以及柱狀圖。

蘇格蘭工程師、政治經(jīng)濟(jì)學(xué)家威廉·普萊費(fèi)爾最先在《The Commercial and Political Atlas》和《The Statistical Breviary》中使用了折線圖、條形圖和餅狀圖等圖表表達(dá)方式用于傳達(dá)復(fù)雜的經(jīng)濟(jì)數(shù)據(jù)[7]。折線圖在數(shù)據(jù)統(tǒng)計(jì)中廣泛應(yīng)用，在統(tǒng)計(jì)疫情數(shù)據(jù)在省/市疫情動(dòng)態(tài)和時(shí)間維度關(guān)系上有利于展示信息的波動(dòng)情況，折線圖還可以應(yīng)用在分析疫情數(shù)據(jù)治愈率/病死率/重癥率等在時(shí)間序列上的規(guī)律特征，有助于揭示疫情的拐點(diǎn)。柱形圖常常應(yīng)用于不同類別事物的具體事件數(shù)據(jù)對比，可以幫助數(shù)據(jù)閱讀者快速對比數(shù)據(jù)的大小規(guī)律，疫情數(shù)據(jù)可視化處理過程中可通過柱形圖表對立城市/省/全國/海外疫情數(shù)據(jù)進(jìn)行多維度對比。熱力圖采用顏色深度來顯示該區(qū)域的數(shù)值，直觀地展示了國內(nèi)外疫情的增長趨勢，可用于分析疫情的空間傳播，控制傳染源。詞云用于對出現(xiàn)頻率較高的“關(guān)鍵詞”予以視覺上的突出，可對疫情數(shù)據(jù)中的關(guān)鍵字按照出現(xiàn)次數(shù)進(jìn)行展示。

2? 疫情可視化平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

2.1? 系統(tǒng)總體框架

本系統(tǒng)采用四層架構(gòu)設(shè)計(jì)模式，具體可分為應(yīng)用前端、服務(wù)終端、數(shù)據(jù)庫、運(yùn)行基礎(chǔ)，如圖3所示，主要實(shí)現(xiàn)疫情數(shù)據(jù)的爬取和疫情數(shù)據(jù)的分析并可視化兩大主要功能。運(yùn)行基礎(chǔ)是系統(tǒng)的硬件設(shè)備和軟件系統(tǒng)的集成基礎(chǔ)支持，通過獲取的疫情數(shù)據(jù)資源儲(chǔ)存至已經(jīng)建立的MySQL數(shù)據(jù)庫中，基于系統(tǒng)的需求，完成后端的數(shù)據(jù)提取與封裝。Django是一個(gè)用Python語言編寫的開源Web開發(fā)框架，可以快速地實(shí)現(xiàn)網(wǎng)站的快速開發(fā)和維護(hù)，因其語言的兼容性和使用的靈活性受到廣泛的關(guān)注。本系統(tǒng)的服務(wù)層利用Django搭建網(wǎng)頁框架平臺(tái)，Ajax技術(shù)實(shí)現(xiàn)前后端的交互[8]，在ECharts中豐富多樣化的可視化圖庫支持下實(shí)現(xiàn)全國各個(gè)疫情數(shù)據(jù)資源的可視化。

2.2? 系統(tǒng)需求分析

用于增強(qiáng)認(rèn)知所采用的計(jì)算機(jī)輔助抽象數(shù)據(jù)，其直觀的表達(dá)方法能夠?yàn)閿?shù)據(jù)觀察者理解信息提供便利。疫情數(shù)據(jù)可視化是指通過數(shù)據(jù)分析與可視化設(shè)計(jì)等手段把疫情信息直觀易懂地展現(xiàn)在大眾面前，需要根據(jù)需求對可視化設(shè)計(jì)進(jìn)行優(yōu)化[9]。綜合考慮新冠疫情相關(guān)數(shù)據(jù)可視化設(shè)計(jì)的問題，在搜集已有互聯(lián)網(wǎng)平臺(tái)上發(fā)布的優(yōu)秀可視化案例并進(jìn)行對比分析的基礎(chǔ)上，重點(diǎn)對新冠疫情數(shù)據(jù)的內(nèi)容信息、呈現(xiàn)形式以及交互形式等方面進(jìn)行可視化可用性分析。計(jì)算機(jī)性能與數(shù)據(jù)存儲(chǔ)瘋狂而令人難以置信的發(fā)展正改變著科學(xué)，知識(shí)、監(jiān)控、自由、讀寫能力、藝術(shù)等一切可被表達(dá)成數(shù)據(jù)或者基于這些表達(dá)的事物，大數(shù)據(jù)正影響人們未來的生活[10]。百度、丁香醫(yī)生和網(wǎng)易等互聯(lián)網(wǎng)公司紛紛發(fā)布了各自專屬的疫情數(shù)據(jù)可視化平臺(tái)。如圖4所示[11-13]，疫情伊始這些平臺(tái)就扮演了重要角色，給民眾和醫(yī)護(hù)人員帶來了言簡意賅的數(shù)據(jù)理解。大數(shù)據(jù)具有數(shù)據(jù)規(guī)模龐大（Volume）、種類繁多（Variety）、更新迅速（Velocity）3個(gè)典型特點(diǎn)[14，15]，依據(jù)以上理論基礎(chǔ)，本文搭建了一個(gè)輕量級(jí)的疫情數(shù)據(jù)可視化平臺(tái)，該平臺(tái)可高效快捷地對系統(tǒng)海量疫情信息進(jìn)行快速集成和圖表可視化處理，其中系統(tǒng)數(shù)據(jù)處理能力涵蓋了基本的數(shù)據(jù)收集模塊，優(yōu)化數(shù)據(jù)分析能力，提升數(shù)據(jù)使用者對可視化圖表的交互體驗(yàn)。

2.3? 系統(tǒng)功能設(shè)計(jì)與實(shí)現(xiàn)

2.3.1? 全國疫情數(shù)據(jù)可視化

全國疫情數(shù)據(jù)追蹤可視化方式通過熱力地圖加以顏色區(qū)分展示出來，通過數(shù)據(jù)綁定可實(shí)現(xiàn)移動(dòng)鼠標(biāo)到指定省份會(huì)顯示各省疫情數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的多層次展示。如圖5所示，除湖北省外浙江省的確診人數(shù)最多，其次為河南，為了使可視化效果更佳，在前端設(shè)計(jì)上加入鼠標(biāo)懸停發(fā)生事件的功能，當(dāng)鼠標(biāo)懸停到特定省份板塊上會(huì)彈出浮動(dòng)框顯示本省份的確診、新增、死亡等疫情數(shù)據(jù)，豐富界面功能，數(shù)據(jù)來自國家衛(wèi)生健康委員會(huì)官方網(wǎng)站[1]。

2.3.2? 各省疫情數(shù)據(jù)可視化

各個(gè)省疫情數(shù)據(jù)可視化方式通過熱力地圖的形式展示，在全國熱力地圖的基礎(chǔ)上加上數(shù)據(jù)下鉆的功能模塊。顯示效果如圖6所示，下鉆可以理解成增加維度的層次，從而可以由粗粒度到細(xì)粒度來觀察數(shù)據(jù)，對熱力地圖情況分析時(shí)，可以沿著層次維度更細(xì)粒度的觀察數(shù)據(jù)，在可視化領(lǐng)域中廣泛應(yīng)用。數(shù)據(jù)下鉆的實(shí)現(xiàn)思路是獲取鼠標(biāo)點(diǎn)擊的參數(shù)跳轉(zhuǎn)至指定的JSON，本實(shí)驗(yàn)中定義兩層數(shù)據(jù)維度，數(shù)據(jù)下鉆到省級(jí)熱力地圖直觀地展示了疫情的增長趨勢，可用于分析疫情的區(qū)域空間的傳播。

2.3.3? 各市級(jí)疫情數(shù)據(jù)可視化

市級(jí)疫情數(shù)據(jù)可通過折線圖統(tǒng)計(jì)方式可視化，日期時(shí)間為橫軸，累計(jì)疫情數(shù)據(jù)為縱軸，渲染效果如圖7所示。折線圖統(tǒng)計(jì)的方式主要包括累計(jì)確診、累計(jì)死亡、疑似人數(shù)、治愈人數(shù)，從圖可以看出2020年2月14日附近武漢市累計(jì)確診人數(shù)劇增，折線圖統(tǒng)計(jì)方式有利于快速判斷疫情發(fā)展趨勢，數(shù)據(jù)來自國家衛(wèi)生健康委員會(huì)官方網(wǎng)站[1]。

3? 結(jié)? 論

圖表可視化數(shù)據(jù)已經(jīng)成為人們?nèi)粘Ｉ钪欣斫庑畔⒌闹匾緩?，?shù)據(jù)量的急劇變化，加快了計(jì)算機(jī)科學(xué)技術(shù)對大數(shù)據(jù)處理方法的發(fā)展，從而更加高效、直接地對大規(guī)模數(shù)據(jù)流進(jìn)行快速的數(shù)學(xué)模型構(gòu)建、數(shù)據(jù)分析、圖表繪制效率。新型冠狀病毒可視化系統(tǒng)有效地應(yīng)對大規(guī)模數(shù)據(jù)難以短時(shí)間規(guī)劃構(gòu)建等問題，在用戶應(yīng)用層面，方便人們隨時(shí)進(jìn)行對疫情數(shù)據(jù)的查看，根據(jù)每日疫情數(shù)據(jù)呈現(xiàn)的結(jié)果也可推斷出我國疫情的控制情況以及預(yù)測出疫情未來的發(fā)展趨勢。通過可視化系統(tǒng)及時(shí)準(zhǔn)確評估疫情傳播、根據(jù)每日疫情情況了解疫情實(shí)時(shí)形勢，分析疫情發(fā)展趨勢、防控措施有著重要意義。

參考文獻(xiàn)：

[1] 中華人民共和國國家衛(wèi)生健康委員會(huì).疫情通報(bào) [EB/OL].（2022-07-01）[2022-07-01].http：//www.nhc.gov.cn/xcs/yqtb/list_gzbd.shtml.

[2] 王君，馬樂榮.新冠肺炎疫情信息累積更新采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [J].延安大學(xué)學(xué)報(bào)：自然科學(xué)版，2021，40（2）：96-99.

[3] 郝爽，李國良，馮建華，等.結(jié)構(gòu)化數(shù)據(jù)清洗技術(shù)綜述 [J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2018，58（12）：1037-1050.

[4] 楊東華，李寧寧，王宏志，等.基于任務(wù)合并的并行大數(shù)據(jù)清洗過程優(yōu)化 [J].計(jì)算機(jī)學(xué)報(bào)，2016，39（1）：97-108.

[5] 裴丹丹.基于ECharts的數(shù)據(jù)可視化實(shí)現(xiàn) [D].北京：北京郵電大學(xué)，2018.

[6] 王竟儼，侯彥東.基于PyEcharts的第三次農(nóng)業(yè)普查數(shù)據(jù)可視化分析 [J].河南科學(xué)，2021，39（4）：517-523.

[7] 陳小巧.西方信息圖表的崛起 [J].設(shè)計(jì)，2015（10）：132-133.

[8] 李相霏，韓珂.基于Flask框架的疫情數(shù)據(jù)可視化分析 [J].計(jì)算機(jī)時(shí)代，2021（12）：60-63+68.

[9] 鞏如悅.基于本體的蘋果病蟲害垂直搜索引擎研發(fā) [D].咸陽：西北農(nóng)林科技大學(xué)，2017.

[10] DOCTOROW C. Big Data： Welcome to the Petacentre [J].Nature，2008，455（7209）：16-21.

[11] 網(wǎng)易新聞.肺炎疫情實(shí)時(shí)動(dòng)態(tài) [EB/OL].（2022-06-26）[2022-06-26].https：//wp.m.163.com/163/page/news/virus_report/index.html.

[12] 丁香醫(yī)生.疫情實(shí)時(shí)動(dòng)態(tài) [EB/OL].（2022-06-26）[2022-06-26].https：//ncov.dxy.cn/ncovh5/view/pneumonia.

[13] 百度.疫情實(shí)時(shí)大數(shù)據(jù)報(bào)告 [EB/OL].（2022-6-26）[2022-06-26].https：//motion.baidu.com/activity/yiqing_predict/main.

[14] MCAFEE A，BRYNJOLFSSON E. Bigdata： The Management Revolution [J].Harvard Business Review，2012，90（10）：60-68+128.

[15] 沈恩亞.大數(shù)據(jù)可視化技術(shù)及應(yīng)用 [J].科技導(dǎo)報(bào)，2020，38（3）：68-83.

作者簡介：李澤沁（2001—），男，漢族，廣東湛江人，本科在讀，研究方向：電子信息工程；鞏如悅（1990—），女，漢族，山東濱州人，助教，碩士研究生，研究方向：智能信息化；宋秉鍵（2000—），男，漢族，廣東湛江人，本科在讀，研究方向：人工智能。