海-島感知物聯網關鍵技術研究

崔振東，鄭　亮，桂福坤，趙　晟

（1.浙江海洋學院數理信息學院，浙江舟山　316022；2.浙江省海洋大數據挖掘與應用重點實驗室，浙江舟山　316022；3.浙江海洋學院海洋科學與技術學院，浙江舟山　316022）

·研究簡報·

海-島感知物聯網關鍵技術研究

崔振東1，2，鄭亮1，桂福坤3，趙晟3

（1.浙江海洋學院數理信息學院，浙江舟山316022；2.浙江省海洋大數據挖掘與應用重點實驗室，浙江舟山316022；3.浙江海洋學院海洋科學與技術學院，浙江舟山316022）

海洋經濟的快速發(fā)展對海洋生態(tài)和環(huán)境產生了一系列影響，以信息化手段促進海洋經濟良性發(fā)展，并加強生態(tài)環(huán)境保護具有良好的社會效益和廣闊的應用前景。針對近海、潮間帶、海島、臨海陸地環(huán)境和生態(tài)的監(jiān)測和評價越來越強烈的需求，基于物聯網和大數據技術，提出了層次型的海-島感知物聯網系統(tǒng)架構，構建了適用于海-島監(jiān)控和評價的存儲體系和ETL-MR數據分析模型，并進一步通過有代表性的監(jiān)測和評價結果，證明了本文所提出的海-島感知物聯網的可行性和有效性。

物聯網；大數據；ETL-MR模型；評價模型

物聯網是基于信息感知、智能定位、高效傳輸、海量存儲、知識發(fā)現、綜合服務等技術，實現無所不在的、按需進行的信息交流網絡體系。物聯網為當今社會的生產生活提供智能服務［1］，建立無所不在的泛在網［2］。物聯網則實現了信息空間與物理空間的融合，將一切事物數字化、網絡化，并通過新的服務模式使各種信息技術融入社會行為，是信息化在人類社會綜合應用達到的更高境界［3］.

物聯網在學術研究、商業(yè)推廣和生產生活中都受到了廣泛關注，并在多個行業(yè)中得到了應用推廣。物聯網應用于三江源的生態(tài)環(huán)境監(jiān)測，實現了監(jiān)測目標信息的實時獲取和可視化［4］。物聯網應用于遠程農田信息監(jiān)控，實現了遠程控制、數據訪問和可視化［5］。物聯網應用于“菜籃子”工程，建立了北京設施農業(yè)的物聯網應用模式［6］。物聯網實現了實時監(jiān)控的灘涂作業(yè)人員定位系統(tǒng)，提高灘涂工作安全保障［7］。物聯網技術應用于食品藥品監(jiān)管領域，形成了高效協(xié)調的電子監(jiān)管平臺［8］。

當前海洋經濟生產總值占GDP比重將近10%，其健康良性地發(fā)展對于提升經濟的質量和效益，提高國民經濟綜合競爭力，加快經濟發(fā)展方式的轉變具有重大戰(zhàn)略意義［9］。建立近海、海陸交界帶、海島的生態(tài)、環(huán)境、水文、氣象等的監(jiān)測和感知系統(tǒng)，全方位監(jiān)測和感知海洋開發(fā)和利用對海島環(huán)境和生態(tài)的影響，是海洋經濟科學、良性、健康發(fā)展的基礎和保障，能夠切實增強海洋經濟發(fā)展中的防災、減災能力，推進海洋經濟綠色發(fā)展。物聯網技術為海島監(jiān)測體系的建立提供了強有力的支持。

本文基于物聯網和大數據技術，研究了海島感知物聯網的系統(tǒng)架構，搭建了一個海島感知物聯網系統(tǒng)平臺，并基于該平臺開展了淺海、潮間帶、海島環(huán)境和生態(tài)系統(tǒng)的時空數據采集，并基于所采集的感知數據開展了海島健康狀況評價研究。論文結構如下：第1節(jié)，介紹了物聯網技術與海洋經濟發(fā)展的環(huán)境壓力，分析了建立海-島感知物聯網的必要性和可行性；第2節(jié)，提出了4層的海島感知物聯網系統(tǒng)架構，并深入分析了各個層次的功能；第3節(jié)，介紹了物聯網平臺的存儲結構和ETL-MR數據分析模型，并展示了一些感知數據及數據處理結果；第4節(jié)，對本文的研究工作進行了總結，對以后的研究工作進行了展望。

1　海-島感知物聯網的系統(tǒng)架構

圖1　海-島感知物聯網架構圖Fig.1　Architecture of IOT for Sea-Island Monitoring and Evaluation

海-島感知物聯網集成了信息感知、高效傳輸、海量存儲、知識發(fā)現、綜合服務等技術，實現對近海、潮間帶、海島的實時監(jiān)測和感知。

1.1海-島感知物聯網架構

本文基于層次化、模塊化的思想，設計了四層架構的海-島感知物聯網系統(tǒng)，分別為物聯網感知層、數據傳輸層、大數據業(yè)務層和物聯網應用層。該系統(tǒng)架構如圖1所示。

1.2海-島感知物聯網的感知層

物聯網感知層是集成物理感知、圖像識別、紅外感應、激光掃描、衛(wèi)星定位等信息傳感設備，按相應的協(xié)議，把海、島、陸、航的時空特征轉化為數字信息，通過網絡連接起來，并進行信息交換和通信，實現智能化識別、定位、跟蹤、監(jiān)控和管理的功能。

近海海水的監(jiān)測近海水體中的溶解氧、溫度、鹽度、pH、流速、濁度、葉綠素含量等指標，主要通過近海水域中的固定、移動傳感器，科考船船載傳感器等實現；潮間帶是被海水覆蓋交替的地帶，對潮間帶的監(jiān)測主要包括溫度、鹽度、生物多樣性、棲息密度、主要重金屬含量等；海島的監(jiān)測主要是針對浙東沿海眾多島嶼中有代表性的島嶼進行生態(tài)、環(huán)境、氣候等的監(jiān)測；航的則是指近海海域港航活動相關的監(jiān)測活動，主要基于AIS、海事衛(wèi)星等設備，監(jiān)測漁船、商船、游船等的時空活動、實時定位，并為之提供信息服務。

圖2　物聯網感知層和數據傳輸層組成Fig.2　Transport Layer of IOT for Sea-Island Monitoring and Evaluation

海島感知物聯網具有信息采集點分散、信息種類多、數據量龐大、結果處理復雜等特點。Zigbee具有低速、低耗電、低成本、支持大量網絡節(jié)點、支持多種網絡拓撲、低復雜度、快速、可靠、安全等特點。適宜于構建低復雜度、低成本、低功耗、低速率的雙向無線連接網絡。近海數據采集主要依靠基于Zigbee技術，基于漂浮于水面或者放置于較淺水下的傳感器，組建無線傳感器網絡來實現。潮間帶監(jiān)測主要基于有線局域網并輔以WIFI技術，實現潮間帶環(huán)境和生態(tài)特征的監(jiān)測。主要包括土壤溫度、潮間帶生物數量和多樣性、主要重金屬指標等內容。島、陸監(jiān)測主要是監(jiān)測島、臨海陸上淡水、生物、植被、土壤中的各項指標，用于衡量島、陸上的人類生活生產活動對環(huán)境的影響。近海航運信息的監(jiān)控和獲取，主要基于AIS實現，用于分析近海船舶的活動和増變規(guī)律，并預測航運對海島生態(tài)和環(huán)境的多重影響作用。AIS由岸基設施和船載設備共同組成，是集網絡技術、現代通訊技術、計算機技術、電子信息顯示技術為一體的數字助航系統(tǒng)和設備。

1.3海-島感知物聯網的傳輸層

物聯網傳輸層主要通過北斗通訊、移動3G和4G網絡、海事衛(wèi)星等通信方式實現，多樣性的傳輸形式能夠把分散于多個地理位置的感知網絡集成到物聯網平臺上。目前逐漸走向成熟的移動3G、4G技術實現了無線通信和多媒體通信緊密結合，支持高速數據傳輸的蜂窩移動通信技術，是通信業(yè)和計算機工業(yè)相融合的產物［10］。隨著3G、4G網絡帶寬的增加，傳輸速率的提高和可靠性的提升，使其成為構建海-島物聯網傳輸層的一種重要手段。北斗衛(wèi)星［11］網絡正在快速構建并逐漸完善，基于北斗通訊的海洋監(jiān)測［12］、氣象觀測［13］、漁業(yè)監(jiān)管［14］、通信導航［15］等在海洋開發(fā)和權益維護等相關領域得到了越來越廣泛地應用，這為海-島物聯網建設提供了另外一種重要的數據傳輸技術支撐。海事衛(wèi)星作為中繼站的船舶無線電通信系統(tǒng)，以及船舶自動識別系統(tǒng)AIS也為物聯網的建設提供重要的支持。

1.4云存儲與大數據業(yè)務邏輯層

隨著海洋經濟的深入發(fā)展，海-島生態(tài)環(huán)境監(jiān)控的需求、監(jiān)測精度和頻度要求越來越高，監(jiān)控數據急劇增長；海、島、陸等的遙感、測繪、數字化表示、重構等工作的開展，對存儲空間的需求飛速增加；同時，航運信息化建設也逐漸從近海向遠洋、向海陸聯運等縱深發(fā)展，航行密度和頻率也急劇增加，由此而產生的數據隨著時間的增長而導致爆炸式地擴張。搭建海-島感知物聯網平臺，著眼于構建大數據的存儲體系，并研究針對大數據的知識發(fā)現方法是當前研究所急需解決的問題。

大數據業(yè)務層主要實現兩個功能：大數據存儲和知識發(fā)現，最終目的建立海、島、陸、航監(jiān)測和信息化物聯網大數據服務中心。海-島物聯網平臺的建立需要保證多級存儲的實現。在各個傳感器網絡單元，都保留原始數據的存儲備份，并通過數據傳輸層，把經過初步抽取和轉換的數據上傳到大數據業(yè)務層。存儲中心采用集中存儲和分散歸類存儲并行的存儲模式，集中存儲建立集群式數據中心，以彈性、混合、模塊化為設計理念，致力于為教學科研、監(jiān)督監(jiān)管、行政決策、生產服務等提供必要支持，構建集可用性、安全性、靈活性、擴展性與TCO的物聯網基礎設施。

1.5物聯網應用層

物聯網應用層基于感知層的原始數據、大數據層轉換數據和知識發(fā)現結果，并執(zhí)行相應的處理，為物聯網各級用戶提供應用服務。應用層從功能上可以分為：科研服務模塊、監(jiān)督監(jiān)管模塊、養(yǎng)殖服務模塊、捕撈服務模塊、公共服務模塊、和可定制服務模塊等。

海-島感知物聯網的建設對于特定的需求而言，所提供的數據分析和知識發(fā)現結果并不一定能夠滿足具體的專業(yè)要求，原始數據接口的有條件接入，能夠為多學科相互協(xié)作提供便利和支持。數據的積累能夠為漁業(yè)、海監(jiān)、海事、航運、環(huán)保等監(jiān)管部門提供準確的數據，為監(jiān)管執(zhí)法和政策制定提供科學依據。作為公益性服務平臺，將為海產養(yǎng)殖、漁業(yè)捕撈、環(huán)境保護、災難救助、風險預警等提供信息服務。隨著近海漁業(yè)的逐漸衰竭，海水養(yǎng)殖業(yè)逐漸成為了海產的重要來源，海洋環(huán)境和生態(tài)監(jiān)控能夠為海產精細養(yǎng)殖提供精確可靠的技術指標，并能夠根據長期積累的數據發(fā)現知識，指導海產養(yǎng)殖和捕撈的高效開展。根據長期的監(jiān)測數據，運用知識發(fā)現方法，對未來環(huán)境、生態(tài)變化趨勢進行預測和預警，指導海洋生產趨利避害，服務海洋經濟良性健康發(fā)展?？啥ㄖ品漳K則為平臺的商業(yè)化推廣奠定基礎，為養(yǎng)殖、捕撈、規(guī)劃、近海工程設計和建設等相關企事業(yè)單位提供可定制的物聯網服務。

2　海-島感知數據存儲和處理

2.1數據存儲層次和ETL-MR模型

海-島感知物聯網的數據存儲采取分散與集中結合、存儲與挖掘并重的思路開展建設。海島監(jiān)測數據獲取中大部分指標都是實時不間斷監(jiān)測，且檢測數據數目龐大。為了獲取盡可能準確且詳盡的海量數據，傳統(tǒng)的ETL工具和方法顯得無能為力，主要原因是數據格式轉換和不確定傳輸的開銷太大，在性能上不能適應海量數據的采集需求。谷歌MapReduce［16］是基于集群的體系結構，用于處理密集型數據的并行計算范式，核心思想是“分而治之”：即把對大規(guī)模數據集的操作，分發(fā)給多個節(jié)點。MapReduce由map和reduce兩個數據處理函數構成，以鍵/值對的形式形成map和reduce兩個作業(yè)的輸入和輸出［16-17］。

圖3　物聯網數據存儲層次與ETL-MR模型Fig.3　Data Storage of IOT for Sea-Island Monitoring and Evaluation and ETL-MR Model

針對海-島感知物聯網平臺大數據的特征和存儲結構，本文提出了基于ETL和MapReduce的復合數據處理模型ETL-MR。圖3為海-島感知物聯網數據存儲層次與ETL-MR模型的邏輯圖。

ETS-MR模型中包括：提?。‥xtract）、轉換（Transfer）、加載（Load）、映射（Map）和歸約（Reduce）五個數據處理過程。其中ETL過程主要在物聯網感知層和數據傳輸層完成，MR過程則在大數據業(yè)務層完成。數據存儲包括物聯網感知本地存儲、大數據全局分塊存儲和知識全局存儲。其中在ETL過程中，本地數據庫設立緩存數據庫；MR過程中，全局數據庫提供數據緩存空間為MR的實現提供支持。

物聯網感知層的本地數據庫主要實現原始數據的存儲。例如，水體監(jiān)測原始數據的獲取是通過傳感器測定導電性、熱敏度、光譜分析、透明度等手段獲取流體中的pH值、微生物、重金屬、葉綠素等環(huán)境生態(tài)相關檢測數據，以及部分需借助于人工分析的數據，如部分微量元素指標的獲取。影響海島生態(tài)和環(huán)境的指標復雜多樣，且沒有統(tǒng)一的衡量方法。通過數據提取和轉換，并加以初步地歸類處理，形成規(guī)則相對一致的數據表示。這些數據會隨著時間的增長而快速擴張，且伴隨著應用需求的增多其復雜程度會逐步提升，因此感知層數據提取（Extract）和轉換（Transfer）是物聯網自治性的必然要求。最后通過加載（Load）把數據上傳至物聯網大數據中心。大數據業(yè)務層則依據"分而治之"的思想，實現密集型數據的并行處理，完成面向不同需求用戶的數據挖掘工作，并將知識發(fā)現結果存儲于大數據中心。

2.2海-島監(jiān)測和評價結果

圖4為基于本平臺所獲取的東海某島近岸海水部分監(jiān)測指標在15 d的變化情況。

海-島健康監(jiān)測與評價問題涉及面較為復雜，需要綜合考慮近岸海水、潮間帶、海島上的多種生態(tài)和環(huán)境因素。本文以三個區(qū)域近79種指標建立了一個評價模型，用于衡量海島生態(tài)環(huán)境隨時間的變化情況。利用該評價模型，基于所搭建的海-島感知物聯網平臺，對東海某島8個月的綜合生態(tài)健康指數評價，其結果如圖5所示。

圖4　東海某島近海實時觀測數據Fig.4　Real-time Data of Nearby an Island in East China Sea

圖5　東海某海島8個月綜合生態(tài)指數變化情況Fig.5　Health Variation of an Island in East China Sea

3　結束語

本文首先分析了基于現代信息技術建設海-島感知物聯網的重要意義；接下來提出了四層的海-島感知物聯網系統(tǒng)架構，分別為物聯網感知層、數據傳輸層、大數據業(yè)務層和物聯網應用層；在此基礎上，深入研究了基于ETL-MR的海島監(jiān)控和評價數據綜合處理關鍵技術，并通過一些有代表性的監(jiān)測結果和評價結果，證明了本文所提出的海島感知物聯網架構合理，所設計的數據處理模型實用有效。

［1］顧晶晶，陳松燦，莊毅.基于無線傳感器網絡拓撲結構的物聯網定位模型［J］.計算機學報，2010，33（9）:1 548-1 556.

［2］朱洪波，楊龍祥，于全.物聯網的技術思想與應用策略研究［J］.通信學報，2010，31（11）:2-9.

［3］孫其博，劉杰，黎羴，等.物聯網：概念、架構與關鍵技術研究綜述［J］.北京郵電大學學報，2010，33（3）:1-9.

［4］田立勤，林闖，張琪，等.物聯網監(jiān)測拓撲可靠性設計與優(yōu)化分析［J］.軟件學報，2014，25（8）:1 625-1 639.

［5］李雪剛，黃夢醒，朱東海.基于物聯網技術的遠程農田監(jiān)控系統(tǒng)設計［J］.計算機工程，2012，38（11）:20-23.

［6］閻曉軍，王維瑞，梁建平.北京市設施農業(yè)物聯網應用模式構建［J］.農業(yè)工程學報，2012，28（4）:149-154.

［7］黃冬梅，王元珠，張明華.基于物聯網中間件技術的灘涂人員定位系統(tǒng)［J］.計算機工程，2012，38（17）:5-8.

［8］李征，馬永濤，劉開華.基于物聯網的環(huán)境情景感知系統(tǒng)設計與實現［J］.計算機工程，2012，38（17）:1-4.

［9］全國海洋經濟發(fā)展“十二五”規(guī)劃［EB/OL］.2014-12-08.http://www.gov.cn/zwgk/2013-01/17/content_2314162.htm

［10］趙海闊，趙宇杰，石蕊.3G技術綜述［J］.甘肅高師學報，2010，15（5）:49-52.

［11］李文慶，付曉，王文彥，等.北斗二代衛(wèi)星導航系統(tǒng)在海洋資料浮標監(jiān)控與管理中的應用 ［J］.山東科學，2012，25（6）: 21-26.

［12］彭偉，徐俊臣，杜玉杰，等.基于北斗系統(tǒng)的海洋環(huán)境監(jiān)測數據傳輸系統(tǒng)設計［J］.海洋技術，2009，28（3）:13-15.

［13］倪晨華，杜敏.氣象觀測浮標短信查詢及報警系統(tǒng)設計［J］.海洋技術，2012，31（1）:10-13.

［14］胡剛，馬昕，范秋燕.北斗衛(wèi)星導航系統(tǒng)在海洋漁業(yè)上的應用［J］.漁業(yè)現代化，2010（1）:60-62.

［15］高齊生，彭國均，魏武財.北斗衛(wèi)星系統(tǒng)在我國南海航海保障中的應用［J］.中國海事，2013，10（10）:15-17.

［16］DEAN J，GHEMAWAT S.MapReduce:Simplified Data Processing on Large Clusters［Z］.OSDI，2004:137-149.

［17］WHITE T.Hadoop:The Definitive Guide，Second Edition［Z］.Copyright 2011 Tome White，978-1-449-38973-4.

Design and Implementation of Internet of Things for Sea-Island Monitoring and Evaluation

CUI Zhen-dong1，2，ZHENG Liang1，GUI Fu-kui3，et al
（1.School of Mathematics，Physics&Information Science，Zhejiang Ocean University，Zhoushan316022；2.Key Laboratory of Oceanographic Big Data Mining&Application of Zhejiang Province，Zhoushan316022；School of Ocean Information Technology，Zhejiang Ocean University，Zhoushan316022，China）

With the rapid development of the Ocean Economic，the environmental and ecological protection of sea，islands，and land received more and more attention.Based on the technology of Internet of things and big data，a four-layer monitoring and evaluation architecture was presented in this paper，which includes the sensors perceptual layer，transport layer，data processing layer and application layer.A hybrid algorithm model combined ETL and MapReduce was proposed for data processing.At last，some typical monitoring and evaluation results show that the architecture is suite for the sea-island monitoring and evaluation，and the data processing model is effective.

internet of things；big data；ETL-MR model；evaluation model

TN929.5

A

1008-830X（2015）02-0204-05

2015-01-02

科技部支撐計劃-海島生態(tài)系統(tǒng)監(jiān)測及保護關鍵技術研究與示范（2012BAB16B02）；國家星火計劃（2012GA700193；2013GA700258）；海洋科學浙江省重中之重學科開放課題（20140101）；浙江省科技廳公益基金（2015C33082）；浙江省新苗計劃（2015R411033）資助

崔振東（1975-），男，河南新鄉(xiāng)人，博士，副教授，研究方向：大數據、工程數值模擬.E-mail:cuizd@zjou.edu.cn