互聯(lián)網(wǎng)位置大數(shù)據(jù)空間可視化研究與應(yīng)用

吳秀蕓，王海江，梁寒冬

（1.寧波市測(cè)繪和遙感技術(shù)研究院，浙江 寧波 315042）

當(dāng)前，地理信息產(chǎn)業(yè)正面臨著以互聯(lián)網(wǎng)、大數(shù)據(jù)為依托的信息化多業(yè)共生、融合發(fā)展模式，GIS技術(shù)擁抱大數(shù)據(jù)已成為熱潮[1]，正在重構(gòu)地理信息的產(chǎn)業(yè)鏈條。寧波市作為全國(guó)首批系統(tǒng)開(kāi)展智慧城市建設(shè)的城市，發(fā)展大數(shù)據(jù)基礎(chǔ)扎實(shí)、前景廣闊。近年來(lái)，寧波市政府頻頻出招，積極推動(dòng)大數(shù)據(jù)落地。2016年10月寧波市人民政府發(fā)布的《關(guān)于推進(jìn)大數(shù)據(jù)發(fā)展的實(shí)施意見(jiàn)》提出，到2020年將寧波打造成為國(guó)家級(jí)城市大數(shù)據(jù)產(chǎn)業(yè)基地。2016年12月寧波市政府與百度公司簽訂戰(zhàn)略合作備忘錄，決定以“全國(guó)首個(gè)試點(diǎn)示范”的高標(biāo)準(zhǔn)共建百度云智·寧波大數(shù)據(jù)產(chǎn)業(yè)基地。2020年5月寧波與阿里巴巴（中國(guó)）有限公司簽署全面合作框架協(xié)議，建立寧波阿里中心，將圍繞五大領(lǐng)域開(kāi)展一系列合作，推進(jìn)智慧城市、智能經(jīng)濟(jì)和大數(shù)據(jù)產(chǎn)業(yè)融合發(fā)展。

互聯(lián)網(wǎng)大數(shù)據(jù)作為用戶覆蓋最廣、信息最豐富的大數(shù)據(jù)，包含了人類群體的時(shí)空活動(dòng)特征，能有效展現(xiàn)城市人口流動(dòng)的軌跡和時(shí)空聚集狀態(tài)；通過(guò)一定的空間可視化表達(dá)處理，可直觀描述城市中人群的分布狀況，較好地彌補(bǔ)傳統(tǒng)靜態(tài)地理數(shù)據(jù)的局限性，具有重要的研究意義和應(yīng)用價(jià)值。

1 數(shù)據(jù)源分析與處理

互聯(lián)網(wǎng)位置大數(shù)據(jù)的樣本量大、數(shù)據(jù)客觀全面、采樣不會(huì)有很明顯的傾向性，且具有較強(qiáng)的時(shí)空連續(xù)性，可觀測(cè)到用戶出行的整個(gè)過(guò)程，是任何其他數(shù)據(jù)源無(wú)法實(shí)現(xiàn)的。阿里巴巴作為目前國(guó)內(nèi)最大的互聯(lián)網(wǎng)公司，占據(jù)了80%的智能手機(jī)用戶，每日定位和路徑規(guī)劃請(qǐng)求達(dá)到了千億級(jí)，通過(guò)在不同環(huán)境場(chǎng)景下對(duì)GPS定位、IP定位、基站定位、WiFi定位4種定位數(shù)據(jù)的選擇與組合，實(shí)現(xiàn)用戶位置信息的記錄和跟蹤，形成用戶定位軌跡數(shù)據(jù)；依托阿里系產(chǎn)品（如高德地圖、天貓、淘寶、餓了嗎等）和高德地圖獨(dú)有的人地關(guān)系數(shù)據(jù)，按照不同維度對(duì)用戶線上行為數(shù)據(jù)進(jìn)行標(biāo)記、排序、提取，并與用戶手機(jī)ID進(jìn)行關(guān)聯(lián)，形成用戶畫(huà)像信息。本文利用從阿里云特定接口解析處理并濾除用戶屬性后的加密手機(jī)信號(hào)數(shù)據(jù)，不會(huì)涉及個(gè)人隱私信息。在進(jìn)行研究工作之前，需對(duì)這些數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、清洗降噪等預(yù)處理，并將手機(jī)定位數(shù)據(jù)映射到地理空間位置，從而完整、客觀地還原手機(jī)用戶的出行鏈軌跡，最終挖掘得到人口空間分布與活動(dòng)特征信息。

1.1 數(shù)據(jù)預(yù)處理

由于原始的互聯(lián)網(wǎng)位置大數(shù)據(jù)是以JSON格式存儲(chǔ)的，時(shí)間、位置均沒(méi)有單位的存儲(chǔ)，數(shù)據(jù)冗余度高，因此首先需按照數(shù)據(jù)內(nèi)容分別建立數(shù)據(jù)字典，將其統(tǒng)一轉(zhuǎn)換至Postgre SQL數(shù)據(jù)庫(kù)中。此外，由于受到傳輸干擾、信號(hào)彈跳、漂移等原因，基于互聯(lián)網(wǎng)采集的定位軌跡大數(shù)據(jù)會(huì)產(chǎn)生大量無(wú)效且錯(cuò)誤的數(shù)據(jù)，導(dǎo)致原始數(shù)據(jù)不能真實(shí)反映用戶的出行軌跡[2]，因此需對(duì)原始數(shù)據(jù)進(jìn)行清洗，識(shí)別并清除錯(cuò)誤無(wú)效的數(shù)據(jù)。對(duì)于用戶ID數(shù)據(jù)缺失的情況，可通過(guò)上下文信息進(jìn)行補(bǔ)全，濾除時(shí)間連續(xù)、坐標(biāo)偏移卻很大的數(shù)據(jù)，抽稀同一個(gè)空間位置出現(xiàn)的一系列密集點(diǎn)，完成互聯(lián)網(wǎng)位置大數(shù)據(jù)的標(biāo)準(zhǔn)化、格式化清洗入庫(kù)。

1.2 地理空間關(guān)聯(lián)

互聯(lián)網(wǎng)大數(shù)據(jù)原始數(shù)據(jù)除時(shí)間屬性有序外，其空間位置和空間語(yǔ)義均高度無(wú)序，無(wú)法直接進(jìn)行出行統(tǒng)計(jì)分析，需進(jìn)行地理空間關(guān)聯(lián)，以實(shí)現(xiàn)大數(shù)據(jù)地圖的可視化展示。本文結(jié)合已有的電子地圖、地名地址等要素矢量數(shù)據(jù)，將互聯(lián)網(wǎng)大數(shù)據(jù)的位置信息與地理網(wǎng)格（包括區(qū)縣、鄉(xiāng)鎮(zhèn)街道、社區(qū)村、基層網(wǎng)格等各級(jí)行政區(qū)劃信息）進(jìn)行多級(jí)綁定關(guān)聯(lián)，建立語(yǔ)義信息與地理空間的索引字典，并基于時(shí)間戳對(duì)其進(jìn)行時(shí)間聚類，得到具備空間屬性的用戶出行大數(shù)據(jù)時(shí)間序列；再以月、周、天、小時(shí)、分等不同時(shí)間段為單位，根據(jù)各類數(shù)據(jù)的時(shí)間戳分別進(jìn)行時(shí)間聚類，并以公安、政法等人口調(diào)查數(shù)據(jù)為母體，根據(jù)樣本與母體的數(shù)量差異計(jì)算擴(kuò)樣系數(shù)，從手機(jī)用戶群體有效擴(kuò)樣至總體人口（包括持手機(jī)人群與無(wú)手機(jī)人群）；最終構(gòu)建出具有空間屬性的以時(shí)段為單位的位置大數(shù)據(jù)集合。

1.3 出行特征提取

在地理空間關(guān)聯(lián)的基礎(chǔ)上，提取出行特征，構(gòu)建完整的出行鏈。出行鏈?zhǔn)侵赣脩魪钠瘘c(diǎn)出發(fā)至目的地的位移過(guò)程中所經(jīng)過(guò)的空間位置序列[3]。判斷同一用戶相鄰兩次出行記錄是否為單次出行行為，需要最小間隔距離和最短間隔時(shí)間兩個(gè)閾值。函數(shù)模型為：

其具體思路為：首先將用戶出行軌跡按照時(shí)間序列進(jìn)行排序；然后判斷相鄰點(diǎn)之間的距離，若大于給定閾值，則初步判定為一個(gè)有效出行點(diǎn)，加入停留點(diǎn)預(yù)選序列；再判斷預(yù)選序列中相鄰點(diǎn)之間的時(shí)間間隔，若大于時(shí)間間隔閾值，則標(biāo)記為停留點(diǎn)，以此類推直至遍歷完整個(gè)數(shù)據(jù)集，如圖1所示。

圖1 出行鏈?zhǔn)疽鈭D

通過(guò)大量數(shù)據(jù)反復(fù)驗(yàn)證得出，相鄰點(diǎn)之間的時(shí)間閾值約為5 min，相鄰間隔距離為10 m，即認(rèn)為這是一次有效的出行鏈，反之則認(rèn)為是該用戶兩次不同的出行行為。在出行鏈集的基礎(chǔ)上，以一段較長(zhǎng)時(shí)期（1年）的人口活動(dòng)情況訓(xùn)練識(shí)別夜間居住地（home）和白天工作地（work），具體策略為：連續(xù)1年對(duì)定位設(shè)備進(jìn)行跟蹤，當(dāng)在某個(gè)位置反復(fù)出現(xiàn)，且時(shí)間集中在9:00-19:00時(shí)，判定該位置為工作地；反之，若時(shí)間集中在20:00之后，且周末時(shí)間大多出現(xiàn)在該位置，則判定為居住地，最終得到完整的出行鏈信息。出行鏈集的每條數(shù)據(jù)均具備地理坐標(biāo)、起始網(wǎng)絡(luò)編號(hào)、終點(diǎn)網(wǎng)絡(luò)編號(hào)、耗時(shí)、距離、時(shí)間分區(qū)、是否為居住地、是否為工作地等屬性。

2 大數(shù)據(jù)地理空間可視化

大數(shù)據(jù)地理空間可視化是用地圖結(jié)合統(tǒng)計(jì)圖表的方式對(duì)大數(shù)據(jù)進(jìn)行可視化表達(dá)，不僅很好地解決了大數(shù)據(jù)的空間位置表達(dá)問(wèn)題，而且初步實(shí)現(xiàn)了大數(shù)據(jù)的分析利用，直觀展示出大數(shù)據(jù)的內(nèi)在含義。目前的海量空間數(shù)據(jù)可視化應(yīng)用大多數(shù)是通過(guò)專業(yè)GIS軟件平臺(tái)構(gòu)建、可視化函數(shù)庫(kù)開(kāi)發(fā)工具搭建以及基于地圖組件的二次定制開(kāi)發(fā)。這些方式在一定程度上加快了可視化應(yīng)用的搭建效率，但仍具有較高的操作入口門(mén)檻，且缺少?gòu)?fù)用性，很難再次移植使用，對(duì)于海量多維大數(shù)據(jù)也缺少動(dòng)態(tài)關(guān)聯(lián)表達(dá)[4]。

本文以HTML+CSS+Javascript語(yǔ)言為主體，以PostgreSQL為互聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)，以Vue為整個(gè)模塊化組件工具與界面框架，以GeoServer為空間數(shù)據(jù)分析的后臺(tái)服務(wù)器，采用開(kāi)源WebGIS框架Leaflet作為地圖的展示容器[5]，集成DataV和ECharts，利用Node.js實(shí)現(xiàn)前后端分離，最終構(gòu)建了面向互聯(lián)網(wǎng)大數(shù)據(jù)的地圖可視化開(kāi)發(fā)與應(yīng)用框架。整個(gè)框架設(shè)計(jì)如圖2所示。

圖2 大數(shù)據(jù)可視化框架圖

1）數(shù)據(jù)層。該層利用PostgreSQL的拓展插件PostGIS存儲(chǔ)JSON格式的互聯(lián)網(wǎng)大數(shù)據(jù)，將互聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化清洗后，導(dǎo)入PostGIS中完成數(shù)據(jù)的存儲(chǔ)和地理關(guān)聯(lián)。

2）邏輯服務(wù)層。該層利用Tomcat服務(wù)器安裝GeoServer.war包實(shí)現(xiàn)GeoServer的部署。GeoServer可添加數(shù)據(jù)鏈接到PostGIS，將PostGIS作為數(shù)據(jù)源進(jìn)行服務(wù)發(fā)布。該層負(fù)責(zé)數(shù)據(jù)的發(fā)布與分析工作，在Web服務(wù)器部分，Tomcat服務(wù)器負(fù)責(zé)接收用戶在網(wǎng)頁(yè)端的單擊或其他類型的操作事件，并將其得到的請(qǐng)求事件與其內(nèi)部進(jìn)行特定主機(jī)的地址匹配，匹配完成后將請(qǐng)求轉(zhuǎn)發(fā)給GIS服務(wù)器GeoServer；在邏輯服務(wù)層部分，GeoServer服務(wù)器接收到Tomcat服務(wù)器發(fā)來(lái)的請(qǐng)求后，對(duì)其需求的服務(wù)類型進(jìn)行解析，從中得到請(qǐng)求者需要的GIS服務(wù)內(nèi)容，并將其回傳給Tomcat服務(wù)器，完成整個(gè)服務(wù)的請(qǐng)求過(guò)程。整個(gè)過(guò)程通過(guò)Node.js完成前后端的分離。

3）前端表現(xiàn)層。該層主要由界面框架Vue、UI框架Element UI、Leaflet、DataV、ECharts組成，在Leaflet框架下實(shí)現(xiàn)基本地圖操作，利用Leaflet開(kāi)發(fā)框架 中 的Map類、Maker類、Tile Layer類、Popup類、Control類 以 及Heat Laye類 的Leaflet.markercluster插件、Leaflet-meaure插 件，并 集成DataV和ECharts圖表可視化功能，對(duì)需要重復(fù)利用的代碼進(jìn)行模塊化組織，即將常用的地圖瀏覽（放大、縮小、平移）、地圖標(biāo)記、地圖瓦片加載、圖層控制、彈窗等功能分為不同的組件模塊，封裝形成一系列通用的大數(shù)據(jù)個(gè)性化標(biāo)準(zhǔn)套件。

4）展示應(yīng)用層。該層為地圖展示界面，主要載體為Web瀏覽器，支持IE、Chrome、Firefox等主流瀏覽器。通過(guò)以地圖為核心的圖表可視化要素的聯(lián)動(dòng)，以氣泡圖、熱力圖、燈光圖、動(dòng)圖、散點(diǎn)圖、流場(chǎng)圖、柱狀圖、餅圖、樹(shù)圖等可視化形式展示大量的點(diǎn)、線、面數(shù)據(jù)，形成面向大數(shù)據(jù)展示與開(kāi)發(fā)應(yīng)用的新型可視化地圖引擎，能兼容當(dāng)前絕大多數(shù)已有的可視化框架，支持跨平臺(tái)跨終端顯示，支持自定義個(gè)性化配置組件、多維數(shù)據(jù)綁定關(guān)聯(lián)和秒級(jí)動(dòng)態(tài)渲染，滿足海量數(shù)據(jù)的動(dòng)態(tài)接入和實(shí)時(shí)展示，可幫助各行業(yè)用戶快速搭建個(gè)性化的空間可視化系統(tǒng)。

3 典型應(yīng)用成果

目前，該框架已先后在城市空間規(guī)劃、智慧港區(qū)管理、森林火險(xiǎn)預(yù)警、新冠疫情防控等領(lǐng)域進(jìn)行了初步應(yīng)用，為政府提供了基于大數(shù)據(jù)視角的決策依據(jù)，促進(jìn)了城市的精細(xì)化、智慧化管理。

3.1 城市空間規(guī)劃

基于可視化框架，利用互聯(lián)網(wǎng)大數(shù)據(jù)有效分析了寧波市人口時(shí)空分布情況，研究了各板塊職住通勤狀態(tài)，為城市發(fā)展策略的制定和城市規(guī)劃的編制、評(píng)估提供了更合理、科學(xué)的方法體系[6]。工作日一天中全市人口活動(dòng)變化情況如圖3所示，直觀展示了城市人口熱力分布隨時(shí)間推移變化的情況，對(duì)比了不同時(shí)段的人口熱力活躍度；再結(jié)合周邊POI公共設(shè)施信息，可為寧波空間規(guī)劃設(shè)計(jì)與活力提升提供參考。寧波市各區(qū)縣通勤聯(lián)系情況如圖4所示，通過(guò)統(tǒng)計(jì)各區(qū)域職住比、通勤空間、通勤距離等數(shù)據(jù)，對(duì)各區(qū)縣之間的通勤關(guān)系進(jìn)行了客觀評(píng)價(jià)，直觀反映了各分區(qū)之間的相互聯(lián)系，可為區(qū)域協(xié)調(diào)規(guī)劃發(fā)展提供可靠依據(jù)[7]。

圖3 城市活力分析研究（工作日）

圖4 全市通勤統(tǒng)計(jì)

3.2 智慧港區(qū)管理

基于可視化框架，利用動(dòng)態(tài)位置大數(shù)據(jù)監(jiān)測(cè)港區(qū)客流情況，統(tǒng)計(jì)工作日、節(jié)假日分小時(shí)和時(shí)段的客流量、歷史客流人數(shù)（圖5），為港區(qū)管理決策、戰(zhàn)略發(fā)展、公共服務(wù)、應(yīng)急指揮、旅游統(tǒng)計(jì)提供大數(shù)據(jù)支撐，推動(dòng)港區(qū)智慧化管理。

圖5 月均客流統(tǒng)計(jì)

3.3 森林火險(xiǎn)預(yù)警

基于可視化框架，利用動(dòng)態(tài)位置大數(shù)據(jù)實(shí)時(shí)監(jiān)控森林火災(zāi)高發(fā)期、高發(fā)區(qū)附近的人口分布情況和區(qū)域密度，對(duì)寧波市歷史火災(zāi)多發(fā)區(qū)、旅游風(fēng)景區(qū)、墓區(qū)、游步道等重要區(qū)域或地段人流進(jìn)行實(shí)時(shí)監(jiān)控，重點(diǎn)監(jiān)控周末、十一、元旦、清明等法定節(jié)假日的人流情況，實(shí)現(xiàn)對(duì)森林火災(zāi)更有針對(duì)性的預(yù)防，為森林防火工作部署和領(lǐng)導(dǎo)決策提供有效依據(jù)。

3.4 新冠疫情防控

在新冠疫情發(fā)生后，利用人口流動(dòng)遷徙大數(shù)據(jù)分析展示全國(guó)其他主要城市，尤其是高風(fēng)險(xiǎn)地區(qū)人口遷入寧波市的情況，連續(xù)跟蹤每日各地入甬人口規(guī)模變化趨勢(shì)，幫助預(yù)判疫情傳播趨勢(shì)，為疫情防控、復(fù)工復(fù)產(chǎn)、精準(zhǔn)施策提供輔助支撐[8]，推動(dòng)衛(wèi)生安全等公共領(lǐng)域的常態(tài)化數(shù)據(jù)監(jiān)測(cè)，提升城市對(duì)大型公共安全突發(fā)事件的響應(yīng)能力。

4 結(jié)語(yǔ)

本文詳細(xì)介紹了動(dòng)態(tài)位置大數(shù)據(jù)清洗擴(kuò)樣、地理關(guān)聯(lián)、特征提取等關(guān)鍵技術(shù)，設(shè)計(jì)并開(kāi)發(fā)了以地圖為核心要素的大數(shù)據(jù)空間可視化框架，闡述了該框架在城市規(guī)劃、森林防火、疫情防控等多個(gè)領(lǐng)域的應(yīng)用示范。作為一次運(yùn)用互聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行地理信息應(yīng)用的嘗試和探索，在研究方法和對(duì)大數(shù)據(jù)的處理上尚有諸多不成熟之處，在后續(xù)工作中將繼續(xù)深化研究，以期為其他同類大數(shù)據(jù)研究和應(yīng)用提供參考。