群智感知環(huán)境中基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)模型 *

張安冉，廖祎瑋，趙國(guó)生，王 健

(1.哈爾濱師范大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院,黑龍江 哈爾濱 150025;2.哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江 哈爾濱 150080)

1 引言

移動(dòng)群智感知MCS(Mobile Crowd Sensing)是在參與感知和眾包等概念的基礎(chǔ)上發(fā)展而來(lái)的，劉云浩教授在2012年率先提出群智感知計(jì)算的概念[1]。MCS作為一種大規(guī)模獲取數(shù)據(jù)的全新感知模式，已經(jīng)應(yīng)用于解決包括街邊停車(chē)管理[2]、交通狀況檢測(cè)[3]和環(huán)境污染監(jiān)測(cè)[4]等多種問(wèn)題。但是，在用戶(hù)分布稀疏的情況下進(jìn)行任務(wù)分配時(shí)，可能會(huì)出現(xiàn)任務(wù)所在區(qū)域的用戶(hù)數(shù)量覆蓋不足的問(wèn)題，導(dǎo)致不能有效進(jìn)行感知任務(wù)的分配。因此，用戶(hù)未來(lái)時(shí)刻位置的預(yù)測(cè)對(duì)于群智感知應(yīng)用極其重要。若能對(duì)用戶(hù)位置進(jìn)行精準(zhǔn)的預(yù)測(cè)，則可以幫助平臺(tái)快速判斷在任務(wù)地點(diǎn)最有可能出現(xiàn)的用戶(hù)，以此來(lái)避免因用戶(hù)分布稀疏所造成的任務(wù)分配失敗問(wèn)題。

隨著群智感知應(yīng)用的深入，群智感知系統(tǒng)中關(guān)于用戶(hù)位置預(yù)測(cè)的問(wèn)題也得到了進(jìn)一步重視[5]。目前在基于位置預(yù)測(cè)的群智感知任務(wù)中，應(yīng)用最普遍的是馬爾可夫模型。景瑤等人[6]提出一種針對(duì)移動(dòng)性目標(biāo)追蹤的預(yù)測(cè)方法MPRE(Movement PREdiction)，根據(jù)用戶(hù)的歷史軌跡，利用馬爾可夫模型對(duì)目標(biāo)下一位置進(jìn)行評(píng)估，并在此基礎(chǔ)上分別提出了以人為中心和以任務(wù)為中心的2種智能算法對(duì)任務(wù)進(jìn)行最佳分配，實(shí)現(xiàn)了對(duì)感知數(shù)據(jù)的實(shí)時(shí)獲取。Yang等人[7]將馬爾可夫模型作為核心技術(shù)，根據(jù)用戶(hù)的歷史行為軌跡，提出了一種基于興趣點(diǎn)的移動(dòng)性預(yù)測(cè)模型，用來(lái)獲取用戶(hù)可以完成任務(wù)的可能性。Wang等人[8]提出了一種基于預(yù)測(cè)的逆向拍賣(mài)激勵(lì)機(jī)制，使用Semi-Markov模型預(yù)測(cè)下一刻的用戶(hù)位置，根據(jù)預(yù)測(cè)位置選擇具有最小移動(dòng)距離和競(jìng)標(biāo)價(jià)格的獲勝者。

用戶(hù)的位置序列是一個(gè)時(shí)間序列，用戶(hù)每一時(shí)刻的位置都與他過(guò)去時(shí)刻和未來(lái)時(shí)刻的位置存在密切聯(lián)系。在位置序列數(shù)據(jù)緊密連續(xù)的情況下，馬爾可夫模型通常更適合用來(lái)處理時(shí)空數(shù)據(jù)，但是當(dāng)數(shù)據(jù)中所包含的位置點(diǎn)稀疏時(shí)，馬爾可夫模型在預(yù)測(cè)精度方面的表現(xiàn)則不佳。另外，馬爾可夫過(guò)程只考慮當(dāng)前的位置狀態(tài)，并不受其歷史位置狀態(tài)的影響。近年來(lái)，許多學(xué)者和研究人員為解決位置預(yù)測(cè)等問(wèn)題對(duì)人類(lèi)的移動(dòng)模式展開(kāi)了研究，發(fā)現(xiàn)人類(lèi)的行動(dòng)位置可以被有效預(yù)測(cè)[9]?；诖私Y(jié)論，學(xué)者們針對(duì)位置的預(yù)測(cè)問(wèn)題又提出了一些不同的解決方案。其中有學(xué)者充分利用卡爾曼濾波[10]和高斯模型[11,12]進(jìn)行位置預(yù)測(cè)；Luan等人[13]提出一種名為XGBoost的基于樹(shù)的位置預(yù)測(cè)模型來(lái)預(yù)測(cè)目標(biāo)將要訪(fǎng)問(wèn)的下一位置；張震等人[14]提出了一種新型任務(wù)分配算法，并根據(jù)初始任務(wù)通過(guò)貝葉斯推理對(duì)用戶(hù)活動(dòng)的下一位置進(jìn)行評(píng)估，消除了由于用戶(hù)位置的可變性對(duì)數(shù)據(jù)實(shí)時(shí)性造成的負(fù)面影響；Xiao等人[15]利用支持向量機(jī)SVM(Support Vector Machine)回歸來(lái)實(shí)現(xiàn)位置和軌跡預(yù)測(cè)，降低了計(jì)算復(fù)雜度，克服了維數(shù)災(zāi)難的問(wèn)題。Jeong等人[16]采用深度神經(jīng)網(wǎng)絡(luò)DNN(Deep Neural Networks)進(jìn)行位置預(yù)測(cè)，并用仿真實(shí)驗(yàn)證明了其有效性。但是，DNN無(wú)法對(duì)具有時(shí)序性的數(shù)據(jù)進(jìn)行建模，使得預(yù)測(cè)結(jié)果達(dá)不到較高的精度。Choi等人[17]將循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)應(yīng)用于預(yù)測(cè)位置中的下一地點(diǎn)。RNN可看作在時(shí)間維度進(jìn)行傳遞的深度神經(jīng)網(wǎng)絡(luò)，對(duì)于序列數(shù)據(jù)建模非常有效。但是，在學(xué)習(xí)過(guò)程中因?yàn)榭紤]失效的歷史信息會(huì)導(dǎo)致梯度消失或梯度爆炸問(wèn)題，使模型預(yù)測(cè)精度下降。

用戶(hù)的位置序列具有時(shí)序性，每個(gè)時(shí)刻的位置與其前后位置密切相關(guān)，因此針對(duì)群智感知中現(xiàn)有方法存在的問(wèn)題，本文提出了一種基于門(mén)控循環(huán)單元GRU(Gated Recurrent Unit)的用戶(hù)位置預(yù)測(cè)模型。首先分析對(duì)比了各種神經(jīng)網(wǎng)絡(luò)算法應(yīng)用于用戶(hù)位置預(yù)測(cè)的可行性，根據(jù)對(duì)用戶(hù)位置時(shí)間序列的分析，搭建了基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)模型。利用均方誤差MSE(Mean Squared Error)等作為評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)網(wǎng)絡(luò)模型參數(shù)中的迭代次數(shù)和批次大小進(jìn)行調(diào)優(yōu)；并根據(jù)交叉熵代價(jià)函數(shù)選取了Adam優(yōu)化器。最后對(duì)所提模型進(jìn)行了仿真對(duì)比分析。

2 基于位置預(yù)測(cè)的群智感知系統(tǒng)模型

對(duì)于群智感知系統(tǒng)，位置預(yù)測(cè)可以極大提高任務(wù)的分配效率。在基于位置的群智感知應(yīng)用中，時(shí)常會(huì)出現(xiàn)某些時(shí)刻用戶(hù)數(shù)目無(wú)法充分覆蓋感知區(qū)域的現(xiàn)象(當(dāng)下時(shí)刻位于任務(wù)地點(diǎn)的用戶(hù)數(shù)目稀少或幾乎沒(méi)有，達(dá)不到任務(wù)完成所需數(shù)量)，對(duì)任務(wù)完成產(chǎn)生負(fù)面影響。因此，可通過(guò)位置預(yù)測(cè)為群智感知系統(tǒng)提供用戶(hù)現(xiàn)在及將來(lái)時(shí)刻位置，并配合相關(guān)激勵(lì)機(jī)制，增加參與者數(shù)量，保證感知任務(wù)順利完成。圖1為本文提出的系統(tǒng)模型，感知服務(wù)平臺(tái)根據(jù)預(yù)測(cè)的用戶(hù)未來(lái)時(shí)刻位置進(jìn)行任務(wù)分配，其中請(qǐng)求服務(wù)的一方稱(chēng)為任務(wù)請(qǐng)求者，被感知服務(wù)平臺(tái)鎖定為執(zhí)行任務(wù)的備選者稱(chēng)為用戶(hù)。

Figure 1 Model of the crowd sensing system圖1 群智感知系統(tǒng)模型

如圖1系統(tǒng)模型所示，平臺(tái)對(duì)任務(wù)備選者的未來(lái)時(shí)刻位置進(jìn)行預(yù)測(cè)，然后將其與發(fā)布的任務(wù)信息進(jìn)行匹配，最后通知被選定的用戶(hù)并給出任務(wù)執(zhí)行的下一步指示,確保有效執(zhí)行任務(wù)。用戶(hù)向平臺(tái)提供包括GPS位置坐標(biāo)和時(shí)間戳等自身信息，用一個(gè)6元組表示：ID是用戶(hù)的標(biāo)識(shí)符，x、y、v和e分別代表用戶(hù)在t時(shí)刻的經(jīng)度、緯度、速度和所在路段。突發(fā)緊急任務(wù)的情況下，感知平臺(tái)利用用戶(hù)的歷史位置數(shù)據(jù)立即對(duì)用戶(hù)未來(lái)位置進(jìn)行預(yù)判，并根據(jù)接收到的任務(wù)的時(shí)間和位置等信息分配任務(wù)。分配完成后，平臺(tái)會(huì)通知所選用戶(hù)。用戶(hù)根據(jù)任務(wù)指令在一定時(shí)間內(nèi)到達(dá)指定的任務(wù)位置，并利用現(xiàn)有設(shè)備采集信息，經(jīng)過(guò)簡(jiǎn)單的處理和計(jì)算，將數(shù)據(jù)上傳至服務(wù)平臺(tái)，完成此次任務(wù)。

3 基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)算法

通過(guò)對(duì)人類(lèi)運(yùn)動(dòng)軌跡的研究發(fā)現(xiàn)，人類(lèi)的出行活動(dòng)存在著較高的重復(fù)性，會(huì)在固定的時(shí)間段內(nèi)，在相對(duì)固定的地點(diǎn)進(jìn)行一些日?；顒?dòng)[9]。因此，本文提出了一種基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)算法，利用對(duì)用戶(hù)的歷史出行位置時(shí)間序列模型的研究，預(yù)測(cè)用戶(hù)將來(lái)某個(gè)時(shí)刻可能到達(dá)的地點(diǎn)；同時(shí)，利用Adam算法對(duì)GRU網(wǎng)絡(luò)進(jìn)行優(yōu)化，使得預(yù)測(cè)結(jié)果更加準(zhǔn)確。

3.1 GRU網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于用戶(hù)歷史出行位置的時(shí)間序列的分析要求算法具備記憶功能，能夠記錄用戶(hù)歷史位置數(shù)據(jù)特征。作為神經(jīng)網(wǎng)絡(luò)的RNN、長(zhǎng)短期記憶LSTM(Long Short-Term Memory)網(wǎng)絡(luò)和GRU都具有記憶功能，適用于處理時(shí)間序列。相較于普通的神經(jīng)網(wǎng)絡(luò)RNN增加了一個(gè)循環(huán)機(jī)制，將上一個(gè)隱含層的輸出結(jié)果作為條件加入當(dāng)前隱含層的結(jié)果判斷。如圖2所示，對(duì)于一個(gè)標(biāo)準(zhǔn)的RNN模型，其輸入序列為x={x1,x2,x3,…,xn}，通過(guò)模型計(jì)算可得到隱含層的序列h={h1,h2,h3,…,hn}和輸出序列y={y1,y2,y3,…,yn},其中x、h、y均為向量，分別代表輸入層、隱含層及輸出層的值，U、V、W分別是輸入層到隱含層、隱含層到輸出層和隱含層內(nèi)的權(quán)重矩陣。

Figure 2 RNN time line expansion圖2 RNN時(shí)間線(xiàn)展開(kāi)圖

具體公式如式(1)和式(2)所示：

ht=tanh(Wx*xt+Wh*ht-1+b)

(1)

yt=Softmax(Wsht)

(2)

其中，tanh、Softmax是激活函數(shù)，Wx、Wh、Ws分別為輸入層、隱含層和輸出層的權(quán)重，b為偏置。ht、ht-1分別是t和t-1時(shí)刻隱含層的值，yt是t時(shí)刻的輸出值，都為向量。

用戶(hù)未來(lái)時(shí)刻位置的預(yù)測(cè)依賴(lài)于對(duì)用戶(hù)歷史位置時(shí)間序列的分析，時(shí)間序列越長(zhǎng)，記錄的用戶(hù)歷史運(yùn)動(dòng)軌跡數(shù)據(jù)越多，預(yù)測(cè)精度相應(yīng)也會(huì)越高。但是，RNN的記憶能力相對(duì)有限，信息積累到一定時(shí)間長(zhǎng)度時(shí)，初始的信息便會(huì)消失，無(wú)法解決長(zhǎng)期依賴(lài)的問(wèn)題。相較于RNN，LSTM引入了門(mén)(Gate)的概念，通過(guò)輸入門(mén)、輸出門(mén)、遺忘門(mén)來(lái)選擇或遺忘數(shù)據(jù)特征，實(shí)現(xiàn)了序列數(shù)據(jù)的長(zhǎng)距離依賴(lài)，解決了RNN的梯度消失問(wèn)題。GRU在LSTM網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了改進(jìn)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，它只包含更新門(mén)和重置門(mén)，去掉了單獨(dú)的存儲(chǔ)單元，使用隱藏狀態(tài)傳遞數(shù)據(jù)特征。

Figure 3 GRU unit structure圖3 GRU單元結(jié)構(gòu)

GRU單元的更新可分為如下幾個(gè)步驟(其中xt和ht分別代表t時(shí)刻的輸入和輸出數(shù)據(jù))：

zt=σ(Wxzxt+Whzht-1)

(3)

rt=σ(Wxrxt+Whrht-1)

(4)

(5)

其中，⊙表示Hadamard乘積。

(6)

3.2 基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)模型

用戶(hù)在現(xiàn)實(shí)生活中的運(yùn)動(dòng)都會(huì)受到路網(wǎng)條件的限制，因此在構(gòu)建用戶(hù)運(yùn)動(dòng)模型時(shí)考慮路網(wǎng)因素具有重要意義。將路網(wǎng)結(jié)構(gòu)定義為一個(gè)有向圖Q=〈S,E〉，S與E分別表示節(jié)點(diǎn)與邊的集合。其中每個(gè)節(jié)點(diǎn)si(si∈S)對(duì)應(yīng)路網(wǎng)中的交叉路口，每條邊e=(si,sj)(si,sj∈S,e∈E)表示2個(gè)路口si與sj之間的路段，且表示方向?yàn)橛晒?jié)點(diǎn)si朝向節(jié)點(diǎn)sj。每個(gè)節(jié)點(diǎn)si(si∈S)都分別對(duì)應(yīng)著一個(gè)經(jīng)緯度坐標(biāo)點(diǎn)p={x,y}，如圖4所示。

Figure 4 Road network structure圖4 路網(wǎng)結(jié)構(gòu)

用戶(hù)位置預(yù)測(cè)問(wèn)題實(shí)際上是一種利用GRU網(wǎng)絡(luò)的回歸性問(wèn)題。此模型中的網(wǎng)絡(luò)輸入為用戶(hù)的歷史位置特征和當(dāng)前位置特征，網(wǎng)絡(luò)輸出為用戶(hù)在未來(lái)某一時(shí)刻的位置特征數(shù)據(jù)。通過(guò)預(yù)測(cè)值與真實(shí)值的誤差對(duì)比來(lái)訓(xùn)練網(wǎng)絡(luò)，以此建立用戶(hù)位置的歷史特征數(shù)據(jù)與未來(lái)特征數(shù)據(jù)之間的函數(shù)關(guān)系，實(shí)現(xiàn)對(duì)用戶(hù)未來(lái)位置特征的評(píng)估。針對(duì)單個(gè)用戶(hù)在GRU模型的數(shù)據(jù)輸入軌跡特征可表示為：

(7)

根據(jù)用戶(hù)歷史軌跡坐標(biāo)p映射到圖Q中邊上的位置li，那么用戶(hù)的軌跡實(shí)際上是一系列位置li按時(shí)間緯度進(jìn)行排列的時(shí)間序列，位置點(diǎn)集合可表示為L(zhǎng)oca=〈l1,l2,…,li〉。li表示用戶(hù)位置中的第i個(gè)位置點(diǎn)，其可表示為li=〈xi,yi,vi,ti,ei〉，其中，xi，yi，vi，ti，ei分別代表用戶(hù)在第i個(gè)位置點(diǎn)時(shí)的經(jīng)度、緯度、速度、時(shí)間以及對(duì)應(yīng)圖Q中的所在路段。對(duì)GRU模型的輸入而言，位置的時(shí)間序列表示為Xt=[lix,liy,lit,liv,lie]，用戶(hù)位置表示為X=[X1,X2,X3,…,Xt]。為了實(shí)現(xiàn)用戶(hù)位置的預(yù)測(cè)，本文將連續(xù)前k個(gè)時(shí)刻的用戶(hù)位置數(shù)據(jù)X(t-k+1),…,X(t-1)和X(t)作為GRU模型的輸入，t+1時(shí)刻的用戶(hù)位置X(t+1)作為模型輸出，用戶(hù)位置預(yù)測(cè)模型的表達(dá)式如式(8)所示：

X(t+1)=f({X(t-k+1),…,X(t-1),X(t)})

(8)

為加快梯度下降中求取最優(yōu)解的速率并減少預(yù)測(cè)誤差，將模型的輸入數(shù)據(jù)進(jìn)行歸一操作，使數(shù)據(jù)的取值統(tǒng)一于[0,1]。采用離差標(biāo)準(zhǔn)化(Min-Max Normalization)進(jìn)行歸一化，轉(zhuǎn)換公式如式 (9)所示：

(9)

其中，Xmax為樣本數(shù)據(jù)中的最大值，Xmin為樣本數(shù)據(jù)中的最小值，X代表初始訓(xùn)練數(shù)據(jù)，X*代表歸一后的數(shù)據(jù)。歸一化處理可以有效地避免數(shù)據(jù)數(shù)量級(jí)和取值范圍不同的影響。利用GRU網(wǎng)絡(luò)對(duì)用戶(hù)位置進(jìn)行預(yù)測(cè)后的結(jié)果所處量級(jí)依舊在[0,1]，無(wú)法直接判斷與真實(shí)值之間的誤差，因此需要對(duì)結(jié)果按式(10)進(jìn)行反歸一化處理，即式(9)的逆運(yùn)算，才能得到實(shí)際的預(yù)測(cè)結(jié)果y。

y=X*(Xmax-Xmin)+Xmin

(10)

算法1基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)算法

輸入：用戶(hù)位置序列Xposition,待預(yù)測(cè)用戶(hù)位置序列Xtext。

輸出：用戶(hù)下一時(shí)刻的位置Xresult。

BEGIN

構(gòu)建訓(xùn)練數(shù)據(jù)集，輸入連續(xù)k個(gè)時(shí)刻X(t-k+1),…,X(t-1),X(t)的位置特征數(shù)據(jù);

通過(guò)式(9)對(duì)輸入數(shù)據(jù)進(jìn)行歸一化處理；

訓(xùn)練集合Xposition中的每條數(shù)據(jù)，并保存訓(xùn)練結(jié)果{data}；

將訓(xùn)練數(shù)據(jù){data}輸入GRU網(wǎng)絡(luò);

計(jì)算誤差函數(shù)，并利用Adam算法更新GRU參數(shù)，得到最佳GRU網(wǎng)絡(luò)模型;

將待預(yù)測(cè)用戶(hù)位置序列Xtext輸入訓(xùn)練完成的GRU網(wǎng)絡(luò)模型;

根據(jù)式(8)得到用戶(hù)下一時(shí)刻的位置Xresult;

END

由算法1可以看出，用戶(hù)位置預(yù)測(cè)算法包括訓(xùn)練和預(yù)測(cè)2部分。在訓(xùn)練階段，將子軌跡數(shù)據(jù)進(jìn)行歸一化處理之后，對(duì)于每一條歷史軌跡序列,取前k個(gè)時(shí)刻的軌跡點(diǎn)作為子序列加入到訓(xùn)練數(shù)據(jù)集中，將第t+1時(shí)刻軌跡點(diǎn)作為預(yù)測(cè)目的點(diǎn)，加入到目標(biāo)數(shù)據(jù)集中，利用訓(xùn)練集對(duì)GRU網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，并采用Adam算法對(duì)模型參數(shù)進(jìn)行優(yōu)化。最終利用GRU網(wǎng)絡(luò)模型得到所需要的下一時(shí)刻位置點(diǎn)，并對(duì)所得結(jié)果進(jìn)行反歸一化處理，得到預(yù)測(cè)結(jié)果。

3.3 Adam優(yōu)化算法

為了加快權(quán)值矩陣的訓(xùn)練，本文采用Adam算法作為預(yù)測(cè)用戶(hù)位置的GRU網(wǎng)絡(luò)的梯度訓(xùn)練算法。該算法把AdaGrad (Adaptive Gradient Algorithm)算法[18]和RMSProp (Root Mean Square Prop)算法[19]的優(yōu)點(diǎn)結(jié)合起來(lái)，提高了參數(shù)更新和梯度更新計(jì)算的效率，減少了內(nèi)存使用，而且能夠解決梯度稀疏或梯度噪聲大的問(wèn)題。如算法2所示：

算法2Adam優(yōu)化算法

輸入：全局學(xué)習(xí)率η(默認(rèn)值為0.9);矩估計(jì)的指數(shù)衰減速率：β1，β2∈[0,1)(一般分別取0.9和0.999);用于數(shù)值穩(wěn)定的小常數(shù)δ(默認(rèn)值為10-8);初始參數(shù)W0。

初始化一階和二階矩變量m0=0，v0=0;

初始化時(shí)間步t=0;

whileWt沒(méi)有收斂do

計(jì)算梯度：gt←▽J(Wt-1)(J為代價(jià)函數(shù)，得到隨機(jī)目標(biāo)在時(shí)間步長(zhǎng)t處的梯度);

更新時(shí)間步t;

更新有偏一階矩估計(jì)：mt←β1mt-1+(1-β1)gt;

更新參數(shù)：Wt+1←Wt+Δw;

endwhile

4 仿真實(shí)驗(yàn)

為了驗(yàn)證GRU網(wǎng)絡(luò)在群智感知中對(duì)于用戶(hù)位置預(yù)測(cè)的有效性，本文實(shí)驗(yàn)基于深度學(xué)習(xí)框TensorFlow 2.0版本的上層框架Keras，構(gòu)建了基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)模型。為了優(yōu)化模型，提高模型的預(yù)測(cè)精度，通過(guò)模型自身對(duì)比實(shí)驗(yàn)尋找最優(yōu)參數(shù)。在相同實(shí)驗(yàn)環(huán)境下，通過(guò)與RNN和LSTM模型的對(duì)比，來(lái)驗(yàn)證基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)模型的有效性。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

車(chē)輛的出行數(shù)據(jù)不僅記錄了車(chē)輛的行車(chē)位置，還蘊(yùn)藏著居民的出行規(guī)律[9]。因此，本文實(shí)驗(yàn)采用來(lái)自于實(shí)際路網(wǎng)數(shù)據(jù)收集的城市區(qū)域車(chē)輛行駛的GPS位置信息[20]。實(shí)驗(yàn)采用市內(nèi)車(chē)輛在2014年7月31日至8月12日的部分有效出行數(shù)據(jù)，并將路段信息進(jìn)行標(biāo)號(hào)，使路段e1,e2,…,em分別對(duì)應(yīng)為序號(hào)1,2,…,m。這些數(shù)據(jù)很好地反映了當(dāng)前城市區(qū)域內(nèi)車(chē)輛行駛的位置、時(shí)間等信息，可以作為本文的實(shí)驗(yàn)數(shù)據(jù)使用。表1所示為車(chē)輛位置的部分GPS數(shù)據(jù)。

Table 1 Segment of vehicle trajectory data set

在實(shí)驗(yàn)部分為了使GRU預(yù)測(cè)模型更具有說(shuō)服力，將數(shù)據(jù)集劃分為65%訓(xùn)練集和35%測(cè)試集，同時(shí)為了驗(yàn)證本文模型的精度設(shè)置了5%驗(yàn)證集。

4.2 實(shí)驗(yàn)內(nèi)容

為了更好地評(píng)價(jià)、分析和預(yù)測(cè)結(jié)果，本文采用MSE、平均絕對(duì)誤差MAE(Mean Absolute Error)和平均絕對(duì)百分誤差MAPE(Mean Absolute Percentage Error)作為評(píng)價(jià)標(biāo)準(zhǔn)。MSE的數(shù)學(xué)表達(dá)如式(11)所示，這里用作網(wǎng)絡(luò)預(yù)測(cè)模型的loss值，loss值的大小代表著位置預(yù)測(cè)模型的預(yù)測(cè)精度。MAE和MAPE的數(shù)學(xué)表達(dá)分別如式(12)和式(13)所示，2種誤差指標(biāo)為0%時(shí)表示模型完美，大于100%則表示模型劣質(zhì)。

(11)

(12)

(13)

4.2.1 模型參數(shù)分析

適合的參數(shù)可以?xún)?yōu)化網(wǎng)絡(luò)模型的性能，因此實(shí)驗(yàn)針對(duì)迭代次數(shù)epoch、批次大小batchsize2個(gè)參數(shù)進(jìn)行對(duì)比分析。將均方誤差作為評(píng)價(jià)指標(biāo)，對(duì)上述樣本進(jìn)行不同參數(shù)值的訓(xùn)練學(xué)習(xí)，部分結(jié)果如表2所示。

Table 2 MSE for different parameters

如表2所示，實(shí)驗(yàn)中總計(jì)數(shù)據(jù)量為6 428條，通過(guò)比較最終確定epoch=500，batch_size=128時(shí)均方誤差最小，結(jié)果為2.49E-05。說(shuō)明在當(dāng)前參數(shù)配置下的GRU網(wǎng)絡(luò)模型表現(xiàn)出最好的預(yù)測(cè)能力與精度。

為了實(shí)現(xiàn)模型的最優(yōu)化，使得用戶(hù)位置預(yù)測(cè)結(jié)果的誤差盡可能小，要選擇合適的優(yōu)化器來(lái)尋找網(wǎng)絡(luò)合適的參數(shù)。Adam算法與RMSProp算法都可以對(duì)GRU網(wǎng)絡(luò)的參數(shù)更新和梯度更新進(jìn)行優(yōu)化，在相同的實(shí)驗(yàn)環(huán)境下進(jìn)行對(duì)比，圖5為分別采用2種優(yōu)化算法的訓(xùn)練效果。

Figure 5 Optimizer training results圖5 優(yōu)化器訓(xùn)練結(jié)果

如圖5所示，2條線(xiàn)分別代表基于GRU的用戶(hù)預(yù)測(cè)模型中訓(xùn)練損失loss的變化。RMSProp和Adam優(yōu)化器在第1次訓(xùn)練時(shí)達(dá)到的loss值分別為0.018和0.012，此時(shí)模型所表現(xiàn)的精度不夠。繼續(xù)訓(xùn)練可以看到使用Adam算法的loss值在第13次訓(xùn)練時(shí)迅速下降到了1.95E-04，并且很快收斂，在相同的時(shí)間段內(nèi)RMSProp的表現(xiàn)稍遜色一些。從整體效果來(lái)看，在2種優(yōu)化算法作用下，訓(xùn)練損失loss值都處于下降收斂的趨勢(shì)，但是Adam算法的優(yōu)化效果明顯比RMSProp好，更適用于本文實(shí)驗(yàn)規(guī)模數(shù)據(jù)和參數(shù)訓(xùn)練場(chǎng)景，所以最終選取Adam優(yōu)化器完成基于GRU的用戶(hù)位置預(yù)測(cè)模型的訓(xùn)練。

4.2.2 模型質(zhì)量分析

通過(guò)上述對(duì)用戶(hù)位置預(yù)測(cè)模型的參數(shù)尋優(yōu)調(diào)整后，其訓(xùn)練后的MAPE結(jié)果如圖6所示，實(shí)線(xiàn)代表基于GRU用戶(hù)預(yù)測(cè)模型中MAPE值的變化。MAPE是作為當(dāng)前訓(xùn)練得到的模型好壞的一個(gè)“可視化”指標(biāo)。開(kāi)始訓(xùn)練時(shí)MAPE值達(dá)到了255%，說(shuō)明此時(shí)所訓(xùn)練的模型不夠成熟。但是，伴隨迭代次數(shù)的不斷增加，MAPE值也隨之減小，并最終降至6.11%,趨于穩(wěn)定，經(jīng)驗(yàn)證與之對(duì)應(yīng)的測(cè)試集誤差也在減小，說(shuō)明經(jīng)過(guò)參數(shù)優(yōu)化后的基于GRU的用戶(hù)預(yù)測(cè)模型效果良好。

Figure 6 MAPE value of the model圖6 模型的MAPE值

4.2.3 用戶(hù)位置預(yù)測(cè)效果

為了更清晰地表達(dá)預(yù)測(cè)位置的精度，在此分析了預(yù)測(cè)位置與實(shí)際位置的誤差。根據(jù)確定的GRU最佳迭代次數(shù)、批次大小以及優(yōu)化器選型，將3個(gè)時(shí)刻的用戶(hù)位置數(shù)據(jù)作為初始輸入，預(yù)測(cè)接下來(lái)的4個(gè)點(diǎn)的用戶(hù)位置，得到的預(yù)測(cè)位置與實(shí)際位置的誤差結(jié)果如圖7所示。

Figure 7 User location prediction圖7 用戶(hù)位置預(yù)測(cè)

從圖7中可看出，預(yù)測(cè)位置(黑色折線(xiàn)4個(gè)點(diǎn))與實(shí)際位置(灰色折線(xiàn))近乎重疊。同時(shí)輸出的路段信息根據(jù)本文所定義的路網(wǎng)結(jié)構(gòu)可判斷用戶(hù)的移動(dòng)方向，按照式(14)，利用前一時(shí)刻t的位置以及預(yù)測(cè)得到的速度和方向推測(cè)下一時(shí)刻t+1位置，所得結(jié)果與圖7的一致，說(shuō)明模型的預(yù)測(cè)精度較高，可以滿(mǎn)足群智感知系統(tǒng)要求。

pt+1=pt±vt

(14)

4.3 實(shí)驗(yàn)結(jié)果

分別使用GRU模型、LSTM模型和RNN模型對(duì)樣本進(jìn)行訓(xùn)練，在輸入的測(cè)試數(shù)據(jù)及歷史時(shí)刻的用戶(hù)位置特征(數(shù)據(jù)格式如式(7)所示)完全相同的情況下，以遞歸方式進(jìn)行連續(xù)預(yù)測(cè)，得到預(yù)測(cè)模型對(duì)于訓(xùn)練集和測(cè)試集的擬合精度，如表3和表4所示。

Table 3 Training results of different models

Table 4 Test results of different models

由表3可知，GRU與LSTM較RNN而言，訓(xùn)練時(shí)間長(zhǎng)，約為RNN的2倍，但預(yù)測(cè)誤差小，其內(nèi)部原因在于這2種模型作為深度遞歸網(wǎng)絡(luò)，具有聯(lián)想記憶功能和遺忘機(jī)制，網(wǎng)絡(luò)進(jìn)化時(shí)間較長(zhǎng)。同時(shí)，GRU由于參數(shù)少，結(jié)構(gòu)較LSTM更加簡(jiǎn)化，所以擁有更快的訓(xùn)練速度，訓(xùn)練時(shí)間比LSTM節(jié)省8.3%，并且GRU的MSE和MAPE分別比LSTM的低18.0%和1.1%。同時(shí)，在表4所示的測(cè)試集結(jié)果中，GRU的MSE和MAE分別比LSTM的低33.3%和58.2%。

5 結(jié)束語(yǔ)

本文針對(duì)在群智感知環(huán)境中用戶(hù)位置預(yù)測(cè)的精度問(wèn)題，并根據(jù)位置數(shù)據(jù)可變性大、非線(xiàn)性強(qiáng)的特點(diǎn)，將門(mén)控循環(huán)單元引入到用戶(hù)位置預(yù)測(cè)中。模型引入了Adam優(yōu)化算法迭代更新GRU網(wǎng)絡(luò)權(quán)重，有效地提高了GRU網(wǎng)絡(luò)預(yù)測(cè)的精度及優(yōu)化效率。同時(shí)，使用均方誤差作為選擇參數(shù)的評(píng)價(jià)指標(biāo)，平均絕對(duì)誤差和平均絕對(duì)百分誤差分別作為測(cè)試結(jié)果和判斷調(diào)試后模型優(yōu)劣的評(píng)價(jià)標(biāo)準(zhǔn)。將RNN、LSTM和所提的GRU網(wǎng)絡(luò)模型進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)3個(gè)模型的訓(xùn)練時(shí)間及預(yù)測(cè)精度進(jìn)行了定量研究。仿真實(shí)驗(yàn)表明，本文提出的基于GRU網(wǎng)絡(luò)的用戶(hù)位置預(yù)測(cè)算法的預(yù)測(cè)精度高于經(jīng)典的RNN和LSTM算法，可以為群智感知系統(tǒng)提供用戶(hù)未來(lái)時(shí)刻的準(zhǔn)確位置，進(jìn)而有效地進(jìn)行任務(wù)分配工作，提高群智感知系統(tǒng)效率。本文研究的最終目的是通過(guò)對(duì)用戶(hù)位置的準(zhǔn)確預(yù)測(cè)來(lái)實(shí)現(xiàn)任務(wù)及時(shí)有效的分配，所以下一步研究的重點(diǎn)是在已知用戶(hù)未來(lái)位置的基礎(chǔ)上提高感知任務(wù)的完成效率。