面向豬舍環(huán)境的數(shù)據(jù)流預(yù)測方法

曹振麗

摘要：在傳感器獲取的實時數(shù)據(jù)流應(yīng)用中，對數(shù)據(jù)流的實時預(yù)測不同于一般的時間序列數(shù)據(jù)，針對不僅須要考慮到資源受限的情況，數(shù)據(jù)項不能多次查找重復(fù)遍歷，還要求算法能滿足自適應(yīng)地在線實時處理、滿足用戶的誤差等要求問題，提出一種基于時間粒度的自適應(yīng)調(diào)整灰色模型的數(shù)據(jù)流預(yù)測方法，引入時間粒度的概念，將未來數(shù)據(jù)流的實時預(yù)測分為粗粒度預(yù)測和細粒度預(yù)測2種，分別采用基于灰色一階模型和基于灰色二階模型進行預(yù)測對比。結(jié)果表明，隨著滑動窗口更新周期的增大，預(yù)測的成功率反而下降；隨著采樣頻率的變大，預(yù)測成功率降低；隨著未來數(shù)據(jù)窗口寬度的增加，預(yù)測的平均相對誤差增大，基于二階灰色模型對近期的數(shù)據(jù)預(yù)測比較準(zhǔn)確，滿足了系統(tǒng)的需求。

關(guān)鍵詞：時間粒度；數(shù)據(jù)流；預(yù)測方法；滑動窗口；采樣頻率

中圖分類號： TP274+.2文獻標(biāo)志碼： A

文章編號：1002-1302（2017）09-0198-04

目前，智慧農(nóng)業(yè)、精準(zhǔn)農(nóng)業(yè)下傳感器采集到的數(shù)據(jù)流都是與時間屬性密切相關(guān)的時間序列數(shù)據(jù)流，數(shù)據(jù)流是一系列快速、按時間先后順序到達的數(shù)據(jù)項組成的有序序列集合。由于數(shù)據(jù)流的持續(xù)性、高速性，隨著時間的流逝，理論上數(shù)據(jù)流的數(shù)據(jù)量可以達到無限大，而數(shù)據(jù)流實時處理的要求又使系統(tǒng)不能進行開銷巨大的磁盤存取，另外，系統(tǒng)存儲空間具有有限性，這些都導(dǎo)致無法保存整個數(shù)據(jù)流，因而數(shù)據(jù)流中的數(shù)據(jù)項只能被讀取1次，一旦被處理過，將不能再次重現(xiàn)。也就是說，數(shù)據(jù)流中的數(shù)據(jù)不再是從內(nèi)存和磁盤中隨機訪問讀取的數(shù)據(jù)，數(shù)據(jù)流中只有部分?jǐn)?shù)據(jù)能被系統(tǒng)保存，并隨著新數(shù)據(jù)的到來而不斷地進行更新，數(shù)據(jù)流系統(tǒng)在大多數(shù)情況下無法處理全部的數(shù)據(jù)。很多情形下，人們?yōu)闈M足數(shù)據(jù)流實時性的要求，只需得到一定誤差范圍內(nèi)的近似結(jié)果即可，這就導(dǎo)致預(yù)測的結(jié)果并不總是盡如人意。

在我國，張晗等采用基于小波分解的方法，將非平穩(wěn)的網(wǎng)絡(luò)流量時間序列分解為平穩(wěn)的流量時間序列，最終建立預(yù)測模型[1]，但該研究過多地關(guān)注預(yù)測結(jié)構(gòu)的準(zhǔn)確性，未考慮時空復(fù)雜度的問題，并非真正意義上的數(shù)據(jù)流預(yù)測。孫占全等采用基于分層抽樣與k均值聚類相結(jié)合的方法進行抽樣，實現(xiàn)了基于支持向量機與抽樣相結(jié)合的交通流預(yù)測[2]，但該方法實際上用的是靜態(tài)數(shù)據(jù)，并不是針對動態(tài)數(shù)據(jù)流，因此能否用于數(shù)據(jù)流的實時預(yù)測有待驗證。在國外，Telec等利用神經(jīng)網(wǎng)絡(luò)預(yù)測數(shù)據(jù)流來分析其變化趨勢[3]；Wakabayashi等提出了一個新的時間序列預(yù)測技術(shù)，使用增量式的隱馬爾科夫模型在線訓(xùn)練方法對數(shù)據(jù)流進行預(yù)測[4]；Mimran等研究了具有多個滑動窗口的數(shù)據(jù)流挖掘的連續(xù)預(yù)測[5]；Bosnic等研究了如何提高數(shù)據(jù)流預(yù)測的準(zhǔn)確率和可解釋性[6]。

綜上所述，由于數(shù)據(jù)流的來源眾多，很多數(shù)據(jù)流的變化過程隨時間的變化呈現(xiàn)出非單調(diào)的有擺動的特征，再加上人們對監(jiān)測到的數(shù)據(jù)流的最終需求不同，因此，到目前為止沒有一種通用的數(shù)據(jù)流預(yù)測模型。目前已有的一些研究采用對數(shù)據(jù)流中數(shù)據(jù)的瞬時值進行預(yù)警調(diào)控，這就會出現(xiàn)一種弊端，當(dāng)某一時刻的數(shù)據(jù)值為噪聲值時，這種瞬時值操作處理方式會直接導(dǎo)致監(jiān)測與控制系統(tǒng)出現(xiàn)錯誤操作，從而引起其他環(huán)境參數(shù)的變化，給畜禽養(yǎng)殖帶來影響。因此，在實際應(yīng)用中，應(yīng)根據(jù)需求進行相關(guān)的設(shè)計和分析，開展數(shù)據(jù)流上的專用預(yù)測模型的研究，動態(tài)實時高效地實現(xiàn)對數(shù)據(jù)流的預(yù)測。

在豬舍中安放多個傳感器，通過無線傳感網(wǎng)絡(luò)采集數(shù)據(jù)流，設(shè)定一定的采樣頻率，對豬舍的溫度、濕度、二氧化碳濃度、氨氣濃度、光照等進行相應(yīng)的監(jiān)測，由于環(huán)境的變化，會導(dǎo)致畜禽產(chǎn)生各種應(yīng)激反應(yīng)，甚至?xí)l(fā)各種疾病，給用戶造成巨大的經(jīng)濟損失。因此，在對畜禽養(yǎng)殖環(huán)境狀況的數(shù)據(jù)流監(jiān)測的同時進行實時預(yù)測，從而進行相關(guān)調(diào)控，使豬在適宜的環(huán)境中生長。試驗通過設(shè)計相應(yīng)的預(yù)測處理模型來對傳感器所感知的數(shù)據(jù)流的未來發(fā)展趨勢進行實時預(yù)測，不僅有利于人們準(zhǔn)確可靠地了解監(jiān)測對象的狀況，而且對于人們深入了解監(jiān)測對象的內(nèi)在規(guī)律及時采取相應(yīng)的措施具有積極的意義。

本研究引入時間粒度的概念，對于未來數(shù)據(jù)窗口的長度w與滑動窗口的更新周期Δt間的關(guān)系分為細粒度、粗粒度2種情況進行討論，并設(shè)計了基于灰色一階模型GM（1，1）、灰色二階模型GM（2，1）的數(shù)據(jù)流預(yù)測算法進行了對比預(yù)測與分析，達到了預(yù)期的要求。

1算法設(shè)計

源源不斷的數(shù)據(jù)流首先到達基于時間的滑動窗口，設(shè)置滑動窗口的更新周期為Δt，每隔Δt時間，滑動窗口進行更新，將該窗口內(nèi)的數(shù)據(jù)移到位于內(nèi)存的數(shù)據(jù)緩沖區(qū)中，滑動窗口繼續(xù)接收新數(shù)據(jù)。在系統(tǒng)中共有m個緩沖區(qū)，編號分別為緩沖區(qū)1、緩沖區(qū)2、…、緩沖區(qū)m，該緩沖區(qū)以循環(huán)隊列的方式進行存儲。

滑動窗口中的數(shù)據(jù)按照緩沖區(qū)編號由小到大進入，緩沖區(qū)的編號越大，表示存儲的數(shù)據(jù)離現(xiàn)在時刻越近，數(shù)據(jù)越新?；瑒哟翱谥性M的個數(shù)一定，隨著采樣頻率的變化，滑動窗口的更新周期也隨之變化，由于數(shù)據(jù)緩沖區(qū)的大小有限，因此，隨著新數(shù)據(jù)的不斷到來，當(dāng)緩沖區(qū)中的數(shù)據(jù)存滿后，每隔一定的周期，數(shù)據(jù)緩沖區(qū)中離現(xiàn)在最久遠的數(shù)據(jù)會被最先移出。預(yù)測查詢處理器對用戶注冊的預(yù)測進行查詢，并將預(yù)測查詢的結(jié)果實時返回給系統(tǒng)。

為了提高系統(tǒng)的處理效率，數(shù)據(jù)緩沖區(qū)以循環(huán)隊列的方式進行數(shù)據(jù)的存儲，從而降低系統(tǒng)更新開銷；在滑動窗口部分采用了鏈?zhǔn)娇芍貙懘翱诩夹g(shù)，當(dāng)窗口已滿時，要移入的數(shù)據(jù)直接覆蓋原來的數(shù)據(jù)，從而窗口內(nèi)數(shù)據(jù)不必移動。

設(shè)數(shù)據(jù)流的開始時間、當(dāng)前時間分別為t1、t2，且t2>t1，區(qū)間[t1，t2]上包含有n個為滑動窗口，記為window1，window2，…，windown，其中n= t2-t1Δt ，n為整數(shù)，Δt為滑動窗口的更新周期。在第k個數(shù)據(jù)緩沖區(qū)中存放的是第n-m+k個時間間隔的滑動窗口中的數(shù)據(jù)，其中k=1，2，…，m，表示數(shù)據(jù)緩沖區(qū)中緩沖區(qū)的個數(shù)。

由于不同的時間段，人們的關(guān)注點會有所不同，例如在當(dāng)前的24 h內(nèi)人們關(guān)心的是某個小時環(huán)境因子的狀態(tài)，而在某個小時內(nèi)，人們可能關(guān)注的是某分鐘內(nèi)的變化情況，甚至在某分鐘內(nèi)，人們可能關(guān)注的是某秒的變化，這些問題反映到時間上與人們關(guān)注的時間粒度[7]有關(guān)系。

文獻[7]中引入了時間粒度這一概念，將時間域劃分為離散時間域、連續(xù)時間域，下面給出兩者的相關(guān)定義，T表示時間間隔的一個子集，其中T≠φ。

當(dāng)一個時間域是由無窮時間間隔組成的集合，且有ts，te∈T，ts

當(dāng)一個時間域中除了第1個元素沒有直接前驅(qū)元素、最后一個元素沒有直接后繼元素外，其他元素都有直接前驅(qū)元素、直接后繼元素，則稱該時間域為離散時間域。

從時間域的定義可以看出，在粒度空間中，每個較小的時間粒度經(jīng)過一定周期的時間間隔可以組成較大的時間粒度。從時間粒度的角度分析，預(yù)測時間的跨度會對預(yù)測的準(zhǔn)確率造成一定的影響，因此須要根據(jù)預(yù)測的時間跨度采取自適應(yīng)調(diào)整策略。

對數(shù)據(jù)流中數(shù)據(jù)值的實時預(yù)測需要一種既能反映個體特征，又能反映總體趨勢的預(yù)測方法。本研究采用自適應(yīng)基于灰色模型[8]的數(shù)據(jù)流預(yù)測算法，針對時間序列數(shù)據(jù)流中的數(shù)據(jù)進行粗粒度或細粒度預(yù)測，即數(shù)據(jù)流中某一時刻的值不僅僅與該數(shù)據(jù)流前一時刻或是后一時刻的取值有一定的內(nèi)在關(guān)系，還與整個屬性的周期性變化存在相關(guān)性。

1.1時間粒度劃分

對于未來數(shù)據(jù)窗口的長度w與滑動窗口的更新周期Δt間的關(guān)系分如下2種情況進行討論。當(dāng)w<Δt，說明時間粒度相對比較小，采用細粒度進行預(yù)測；當(dāng)w≥Δt，說明時間跨度相對比較大，采用粗粒度進行預(yù)測。所謂的粗粒度和細粒度都是相對而言的，只是表示對于預(yù)測的時間跨度取相同的量化級別。

未來數(shù)據(jù)窗口的長度w=q×Δt，利用緩沖區(qū)中的數(shù)據(jù)建立預(yù)測方程，從而預(yù)測未來包含q個Δt數(shù)據(jù)窗口上該屬性的屬性值。

（1）w≤Δt時，細粒度預(yù)測處理如下：

對于m個緩沖區(qū)，每個緩沖區(qū)中隨機抽取總體樣本的r個數(shù)據(jù)，對于標(biāo)號為1的緩沖區(qū)的r個樣本點，記為X11，X12，X13，…，X1r，依次類推，對于標(biāo)號為m的緩沖區(qū)的r個樣本點，記為Xm1，Xm2，Xm3，…，Xmr；將每個緩沖區(qū)的r個樣本點按照時間先后順序依次排列，分別記為X（0）（1）=X11，X（0）（2）=X12，…，X（0）（r）=X1r，X（0）（r+1）=X21，…，X（0）（mr）=Xmr，該mr個序列值構(gòu)成灰色預(yù)測模型的初始序列X（0）。

（2）當(dāng)w>Δt，粗粒度預(yù)測處理如下：

對于m個緩沖區(qū)，每個緩沖區(qū)中隨機抽取總體樣本的r個數(shù)據(jù)，對于標(biāo)號為1的緩沖區(qū)的r個樣本點，記為X11，X12，X13，…，X1r，依次類推，對于標(biāo)號為m的緩沖區(qū)的r個樣本點，記為Xm1，Xm2，Xm3，…，Xmr。

將每個緩沖區(qū)的r個樣本點求平均，分別記為X（0）（1）= 1r ∑ rs=1 ，X（0）（2）= 1r ∑ rs=1 2s，…，X（0）（m）= 1r ∑ rs=1 ，該m個平均值按照時間先后順序構(gòu)成灰色預(yù)測模型的初始序列X。

1.2預(yù)測算法

本研究提出的預(yù)測算法如下：

DataStreamPredictiveAlgorithm（ ）

輸入：當(dāng)前m個緩沖區(qū)中，每個緩沖區(qū)中抽取的r個樣本數(shù)據(jù)。

輸出：未來數(shù)據(jù)窗口上的值；（1）for緩沖區(qū)編號1到m；（2）{每個緩沖區(qū)中抽取r個樣本數(shù)據(jù)；（3）if w≤Δt；（4）細粒度計算序列X（0）；（5）else粗粒度計算序列X（0）}；（6）灰色模型預(yù)測；（7）計算出預(yù)測值，計算平均相對誤差MRE；（8）if平均相對誤差≤給定誤差；（9）預(yù)測成功，return yk；（10）else預(yù)測失敗，計數(shù)器count=count+1；（11）if count=設(shè)定閾值；（12）{待到新數(shù)據(jù)到達，覆蓋最老的緩沖區(qū)中數(shù)據(jù)；（13）使用最新的m個緩沖區(qū)中的數(shù)據(jù)樣本構(gòu)造新的序列；（14）調(diào)用DataStreamPredictiveAlgorithm（ ）}。

在算法的第6步，可以分別采用灰色一階模型GM（1，1）及灰色二階模型GM（2，1）進行預(yù)測、對比；yk代表未來數(shù)據(jù)窗口上第k個滑動周期的預(yù)測值。

2實現(xiàn)

氣體傳感器的主要性能參數(shù)有靈敏度、響應(yīng)時間、穩(wěn)定性、量程、精度等，試驗中所用到的氨氣傳感器是加拿大原裝進口的，其采樣頻率默認(rèn)為5 s，用戶可在1～60 s之間進行設(shè)置。二氧化碳傳感器、硫化氫傳感器、二氧化硫傳感器采用的是由加拿大原裝進口的BW五合一氣體檢測儀，可同時測量二氧化碳、硫化氫、二氧化硫氣體，各個傳感器參數(shù)指標(biāo)如表1所示。

采用2臺配置為運行Windows 7、具有Intel Core i7處理器、8 G內(nèi)存的計算機，一臺計算機將采集到的數(shù)據(jù)以數(shù)據(jù)流的形式進行發(fā)送，另一臺計算機接收數(shù)據(jù)流并執(zhí)行相應(yīng)的預(yù)測算法。

算法中的幾個主要參數(shù)如未來數(shù)據(jù)窗口的長度w=q×Δt，滑動窗口的更新周期Δt、數(shù)據(jù)流的采樣頻率f對本研究的預(yù)測準(zhǔn)確率都有一定的影響，其中q為未來數(shù)據(jù)窗口寬度。同時，為了對預(yù)測結(jié)果的準(zhǔn)確度更好地進行評價和比較，給出如下評價指標(biāo)。

（1）預(yù)測算法的成功率（PSR）：

公式（1）中，預(yù)測成功定義為：

設(shè)定公式（2）中的系統(tǒng)誤差需求為1%。

（2）預(yù)測的平均相對誤差（MRE）：

式中：k為自然數(shù)，yk代表未來數(shù)據(jù)窗口第k個滑動周期的真實值，y′k代表未來數(shù)據(jù)窗口上第k個滑動周期的預(yù)測值。平均相對誤差MRE反映了預(yù)測數(shù)據(jù)偏離真實值的程度，MRE值越小，表示預(yù)測精度越高。

3試驗評估

分別采用基于時間粒度的灰色一階模型GM（1，1）及灰色二階模型GM（2，1）自適應(yīng)調(diào)整預(yù)測算法進行預(yù)測，試驗過程和結(jié)果如下。

3.1考察數(shù)據(jù)采樣頻率與預(yù)測成功率的關(guān)系

設(shè)置滑動窗口的更新周期設(shè)為60 s，數(shù)據(jù)緩沖區(qū)為10個，數(shù)據(jù)的采樣頻率分別設(shè)置為10、15、20、30、60個/min，分別采用基于灰色二階模型GM（2，1）、基于灰色一階模型 GM（1，1） 計算預(yù)測成功率與采樣頻率的關(guān)系，圖1、圖2對應(yīng)的未來數(shù)據(jù)窗口的長度分別為60、600 s，從圖1、圖2可以看出，數(shù)據(jù)的采樣頻率變大時，預(yù)測的成功率先下降，達到一定階段后變化較平穩(wěn)，總體來看預(yù)測的成功率呈現(xiàn)下降趨勢。這是因為隨著采樣頻率的變大，滑動窗口的更新周期變小，開始階段的曲線說明采樣頻率設(shè)置得比較理想，采樣頻率稍作增大，對預(yù)測的成功率產(chǎn)生影響，當(dāng)采樣頻率增大到一定數(shù)值時，噪聲到了一定程度對于預(yù)測的成功率影響不大，所以預(yù)測成功率下降的趨勢比較平緩。通過對比發(fā)現(xiàn)，其他參數(shù)相同的情況下，每種算法在圖1的細粒度預(yù)測比對應(yīng)的圖2的粗粒度預(yù)測的成功率高。

3.2考察滑動窗口的更新周期對預(yù)測成功率的影響

數(shù)據(jù)緩沖區(qū)為10個，數(shù)據(jù)的采樣頻率設(shè)置為12個/min，分別采用基于灰色二階模型GM（2，1）、基于灰色一階模型GM（1，1）計算預(yù)測成功率與滑動窗口的更新周期間關(guān)系，圖3、圖4對應(yīng)的未來數(shù)據(jù)窗口的長度分別為60、600 s，在滑動窗口的更新周期為20 s時，預(yù)測成功率較低，這是由于氣體傳感器本身的惰性所造成的，隨著滑動窗口更新周期的變大，預(yù)測的成功率逐漸上升，到滑動窗口的更新周期為40 s時，預(yù)測成功率較高，當(dāng)滑動窗口更新周期為60 s時，基于細粒度的灰色二階模型預(yù)測的成功率最高，達到83%；此后，隨著滑動窗口更新周期的增大，預(yù)測的成功率反而下降，這是因為滑動窗口的更新周期過大，難免會掩蓋中間過程的數(shù)據(jù)波動，導(dǎo)致預(yù)測的成功率降低。通過對比發(fā)現(xiàn)，其他參數(shù)相同的情況下，每種算法在圖3的細粒度預(yù)測比對應(yīng)的圖4的粗粒度的預(yù)測的成功率高。

3.3考察未來數(shù)據(jù)窗口的寬度與平均相對誤差的影響

如圖5所示，當(dāng)采樣頻率為0.2個/s、滑動窗口的更新周期為60 s時，隨著未來數(shù)據(jù)窗口寬度q的增加，未來數(shù)據(jù)窗口的長度w=q×Δt也相應(yīng)增大，基于灰色一階模型GM（1，1）及基于灰色二階模型GM（2，1）預(yù)測的平均相對誤差都是增大的[JP3]趨勢，這是因為用估計出來的值再去估計后面的數(shù)據(jù)，中間經(jīng)過多次誤差累計，誤差不斷累積遞增，導(dǎo)致預(yù)測的準(zhǔn)確率降低。

從圖5中可以看出，基于灰色二階模型GM（2，1）預(yù)測的平均相對誤差要小于基于灰色一階模型GM（1，1），即基于灰色二階模型GM（2，1）預(yù)測的準(zhǔn)確度要高于基于灰色一階模型GM（1，1），這與相關(guān)文獻的理論研究結(jié)果是一致的，即灰色一階模型GM（1，1）適用于指數(shù)增長規(guī)律變化的領(lǐng)域，灰色二階模型GM（1，1），既能反映出系統(tǒng)周期性變化的規(guī)律，又能反映出系統(tǒng)的趨勢變化特征[9]，[JP3]在振蕩的或非單調(diào)變化的動態(tài)過程中GM（2，1）預(yù)測的精確度優(yōu)于GM（1，1）模型[10]。GM（2，1） 方法對近期的數(shù)據(jù)預(yù)測比較準(zhǔn)確，達到試驗預(yù)期的需求。

4結(jié)論

本研究針對數(shù)據(jù)流的實時預(yù)測、在線處理，引入時間粒度的概念，將未來數(shù)據(jù)流的實時預(yù)測分為粗粒度預(yù)測和細粒度預(yù)測2種，采用灰色一階模型、二階模型分別進行預(yù)測。試驗結(jié)果表明，隨著滑動窗口更新周期的增大，預(yù)測的成功率反而下降；隨著采樣頻率的變大，預(yù)測成功率降低；隨著未來數(shù)據(jù)窗口寬度的增加，預(yù)測的平均相對誤差增大，但基于時間粒度的灰色二階模型對近期的數(shù)據(jù)預(yù)測比較準(zhǔn)確，可以滿足系統(tǒng)的需求。

參考文獻：

[1]張晗，王霞. 基于小波分解的網(wǎng)絡(luò)流量時間序列建模與預(yù)測[J]. 計算機應(yīng)用研究，2012，29（8）：3134-3136.

[2]孫占全，劉威，朱效民. 大規(guī)模交通流預(yù)測方法研究[J]. 交通運輸系統(tǒng)工程與信息，2013，13（3）：121-125.

[3]Telec Z，Lasota T，Trawiński B，et al. An analysis of change trends by prediction from a data stream using neural networks[M]//Flexible Query Answering Systems. Berlin Heidelberg：Springer，2013：589-600.

[4]Wakabayashi K，Miura T. Data stream prediction using incremental hidden markov models[M]//Data Warehousing and Knowledge Discovery. Berlin Heidelberg：Springer，2009：63-74.

[5]Mimran O，Even A. Data stream mining with multiple sliding Windows for continuous predictio[C]//Proceedings 22 nd European Conference on Information Systems. Tel Aviv，2014：54-59.

[6]Bosnic Z， Demar J，Kepret G，et al. Enhancing data stream predictions with reliability estimators and explanation[J]. Engineering Applications of Artificial Intelligence，2014（34）：178-192.

[7]Bettini C，Dyreson C E，Evans W S，et al. A glossary of time granularity concepts[J]. Lecture Notes in Computer Science，1997（1399）：406-413.

[8]劉思峰，楊英杰，吳利豐. 灰色系統(tǒng)理論及其應(yīng)用[M]. 開封：河南大學(xué)出版社，1991：12-20.

[9]王端民，張蓮生. 灰色二階預(yù)測模型建模方法的改進[J]. 空軍工程大學(xué)學(xué)報（自然科學(xué)版），2000，1（3）：23-26.

[10]陶鑫，文鴻雁，何美琳. 灰色二階預(yù)測模型在變形監(jiān)測中的應(yīng)用[J]. 測繪科學(xué)，2014，39（6）：135-137.