上海市海量遙感影像管理與共享服務(wù)云平臺建設(shè)與應(yīng)用研究

路志越，毛煒青（上海市測繪院，上海 200063）

?

上海市海量遙感影像管理與共享服務(wù)云平臺建設(shè)與應(yīng)用研究

路志越，毛煒青
（上海市測繪院，上海 200063）

摘 要：針對傳統(tǒng)海量遙感影像數(shù)據(jù)管理和共享面臨的問題，研究了包括鑲嵌數(shù)據(jù)集的管理模式、動態(tài)鑲嵌、實時處理和服務(wù)共享等的鑲嵌數(shù)據(jù)集技術(shù)，并據(jù)此提出了多時段大規(guī)模遙感影像數(shù)據(jù)共享服務(wù)解決方案，建立了上海市遙感影像管理與共享云服務(wù)平臺?；诖似脚_提供的數(shù)據(jù)服務(wù)，建立了利用原始航空遙感影像數(shù)據(jù)進(jìn)行在線分析的應(yīng)用系統(tǒng)，為遙感影像數(shù)據(jù)更好地應(yīng)用于實際工作中提供了新途徑。

關(guān)鍵詞：遙感影像；數(shù)據(jù)管理；共享服務(wù)；鑲嵌數(shù)據(jù)集；云服務(wù)平臺

電子郵箱: zhiyuelu283@hotmail.com

聯(lián)系電話: 021-62549550×8142

隨著航空航天事業(yè)的飛速發(fā)展，城市遙感影像的數(shù)據(jù)規(guī)模呈爆炸式膨脹［1］。以上海為例，已經(jīng)存儲和管理了自1948 年以來，不同時態(tài)航空、航天遙感影像30多期，已經(jīng)完成數(shù)字正射影像（Digital Orthophoto Map，DOM）制作近10 期，完成處理并存儲不同時態(tài)航天遙感影像十多期，數(shù)據(jù)總量已達(dá)數(shù)十個TB。面對如此豐富的影像資源，如何能夠更好地對其加以管理和應(yīng)用，成為當(dāng)前迫切需要解決的問題。

目前，在這些海量影像數(shù)據(jù)大集中的情況下，遙感影像數(shù)據(jù)的管理與服務(wù)面臨著如下主要問題：一是缺乏規(guī)范有序的組織模式，造成不同專題的數(shù)據(jù)源相對封閉獨立，難以管理和集成應(yīng)用，更難以滿足各類業(yè)務(wù)系統(tǒng)對多源影像高效、快速調(diào)用的應(yīng)用需求；二是在數(shù)據(jù)存儲方面，沒有建立有效的存儲體系，一方面造成大量數(shù)據(jù)冗余；三是影像數(shù)據(jù)的應(yīng)用往往局限在各自的監(jiān)測專題和應(yīng)用系統(tǒng)中，沒有發(fā)揮多項監(jiān)測工程影像數(shù)據(jù)的集成效益、數(shù)據(jù)互補效應(yīng)和多時相對比效應(yīng)，更難以高效應(yīng)對災(zāi)害應(yīng)急、重大工程協(xié)同調(diào)度等工作對多源影像數(shù)據(jù)的臨時性和隨機性需求［2，3］。

針對以上問題，以上海市航空遙感影像資源為基礎(chǔ)，我們提出了一套完整的航空影像管理與應(yīng)用解決方案，并建立了上海市遙感影像管理與共享服務(wù)云平臺?；谄脚_提供的數(shù)據(jù)服務(wù)，還實現(xiàn)了遙感影像的在線分析應(yīng)用。

圖1　平臺總體架構(gòu)Fig.1 General structure of the platform

1 平臺總體架構(gòu)設(shè)計

影像數(shù)據(jù)管理和共享服務(wù)平臺的總體架構(gòu)如圖1所示。

其中重要的組成部分可以分為：

（1）數(shù)據(jù)層——影像數(shù)據(jù)訪問支持

系統(tǒng)對于影像數(shù)據(jù)的訪問支持包含兩個層面。第一個層面是不同格式數(shù)據(jù)訪問。系統(tǒng)支持商業(yè)影像格式的成果影像數(shù)據(jù)訪問，例如TIFF、GRID、IMG等。第二個層面是不同類型數(shù)據(jù)訪問。系統(tǒng)支持不同類型的原始影像數(shù)據(jù)訪問和處理，例如CIR、RGB、RGBN、ECW等。

（2）業(yè)務(wù)層——C/S架構(gòu)的多源遙感影像數(shù)據(jù)管理系統(tǒng)

系統(tǒng)基于ArcMap開發(fā)，影像管理選用先進(jìn)而專業(yè)的影像管理模型——鑲嵌數(shù)據(jù)集（Mosaic Dataset），并配以一套完善的影像更新和維護(hù)工具，簡化并自動化了海量影像的入庫管理和更新維護(hù)。影像庫管理工具中的動態(tài)鑲嵌和實時處理技術(shù)，不僅能夠達(dá)到自動化批處理的目的，同時加快了構(gòu)建海量影像庫的速度，節(jié)約了處理時間，減小了數(shù)據(jù)冗余。

（3）服務(wù)層——影像數(shù)據(jù)服務(wù)共享

服務(wù)層使用ArcGIS Server + Image Server Extension向應(yīng)用層系統(tǒng)提供空間服務(wù)。ArcGIS Server是功能強大的基于服務(wù)器的GIS產(chǎn)品，用于構(gòu)建集中管理的、支持多用戶的、具備高級GIS功能的企業(yè)級GIS應(yīng)用與服務(wù)。Image Server Extension為ArcGIS Server的擴展模塊，它支持在服務(wù)端對大規(guī)模影像進(jìn)行動態(tài)鑲嵌和實時處理，并且能夠訪問影像的全部信息內(nèi)容（像元值、元數(shù)據(jù)等）。鑲嵌數(shù)據(jù)集通過ArcGIS Server可以發(fā)布為影像服務(wù)，供用戶在線使用。

（4）應(yīng)用層——B/S架構(gòu)的多源遙感影像共享服務(wù)系統(tǒng)

應(yīng)用層構(gòu)建B/S架構(gòu)的富客戶端應(yīng)用程序。多源遙感影像共享服務(wù)系統(tǒng)主要面向數(shù)據(jù)管理部門內(nèi)部人員和外網(wǎng)用戶使用的B/S系統(tǒng)。按照用戶權(quán)限，為用戶提供空間數(shù)據(jù)和屬性數(shù)據(jù)的聯(lián)合查詢、在線影像顯示和瀏覽、多時態(tài)回放和對比分析、影像下載和共享等能力，為高級遙感影像分析提供支撐。

2 平臺關(guān)鍵技術(shù)

2.1 基于內(nèi)存數(shù)據(jù)庫實現(xiàn)海量數(shù)據(jù)的實時處理

內(nèi)存數(shù)據(jù)庫，就是將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫，具備數(shù)據(jù)庫的基本功能。相對于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要高出幾個數(shù)量級，將數(shù)據(jù)保存在內(nèi)存中相比從磁盤上訪問能夠極大地提高應(yīng)用的性能。

內(nèi)存數(shù)據(jù)庫所處理的數(shù)據(jù)通常是“短暫”的，即有一定的有效時間，過時則有新的數(shù)據(jù)產(chǎn)生，而當(dāng)前的決策推導(dǎo)變成無效。所以，本課題建議采用內(nèi)存數(shù)據(jù)庫和傳統(tǒng)數(shù)據(jù)庫相結(jié)合，用內(nèi)存數(shù)據(jù)庫來處理實時性的監(jiān)控數(shù)據(jù)和服務(wù)訪問數(shù)據(jù)，進(jìn)行數(shù)據(jù)的分析和告警，然后分析處理后的數(shù)據(jù)存入到傳統(tǒng)數(shù)據(jù)庫保存。

2.2 基于REST架構(gòu)的Web服務(wù)

REST代表性狀態(tài)傳輸（Representational State Transfer），在Web領(lǐng)域已經(jīng)得到了廣泛的接受，是基于SOAP 和Web服務(wù)描述語言（Web Services Description Language，WSDL）的Web服務(wù)的更為簡單的替代方法。REST定義了一組體系架構(gòu)原則，根據(jù)這些原則設(shè)計以系統(tǒng)資源為中心的Web服務(wù)，包括使用不同語言編寫的客戶端如何通過HTTP處理和傳輸資源狀態(tài)。

基于REST的Web服務(wù)的遵循四個基本設(shè)計原則：顯式地使用HTTP方法；無狀態(tài)；公開目錄結(jié)構(gòu)式的URI；傳輸XML、JavaScript Object Notation（JSON），或同時傳輸這兩者。

通過基于REST的系統(tǒng)接口是一種靈活的方法，可以為不同種類的應(yīng)用程序提供以標(biāo)準(zhǔn)方式格式化的數(shù)據(jù)。它可以幫助滿足集成需求（這對于構(gòu)建可在其中容易地組合（Mashup）數(shù)據(jù)的系統(tǒng)非常關(guān)鍵），并幫助將基于REST的基本服務(wù)集擴展或構(gòu)建為更大的集合。

2.3 影像的存儲與管理模型

為了能夠更好地對海量的遙感影像數(shù)據(jù)特別是原始航片數(shù)據(jù)進(jìn)行有效的存儲與管理，我們采用了鑲嵌數(shù)據(jù)集作為影像的存儲模型。鑲嵌數(shù)據(jù)集集成了柵格目錄（Raster Catalog）、柵格數(shù)據(jù)集（Raster Dataset）和ArcGIS Image Extension for Server的最佳功能。

鑲嵌數(shù)據(jù)集使用“文件+數(shù)據(jù)庫”的存儲和管理方式，是管理大規(guī)模影像的理想模型。影像入庫時，只會在空間數(shù)據(jù)庫中建立影像索引，不會拷貝或改變原有的影像數(shù)據(jù)，原有影像文件仍然存儲在文件系統(tǒng)中或是空間數(shù)據(jù)庫中。通過先進(jìn)的影像處理技術(shù)，鑲嵌數(shù)據(jù)集即能夠通過目錄視圖輕松的編目管理大規(guī)模影像，又能夠通過鑲嵌視圖進(jìn)行可視化和分析［4～9］。鑲嵌影像的兩種不同視圖如圖2所示。

圖2　鑲嵌數(shù)據(jù)集的目錄視圖和鑲嵌視圖Fig.2 Catalog and mosaic view of the dataset

基于這種數(shù)據(jù)管理模型，平臺采用了影像動態(tài)鑲嵌技術(shù)，用以保證大規(guī)模影像的快速訪問。影像動態(tài)鑲嵌技術(shù)是鑲嵌數(shù)據(jù)集的高級特性之一。得益于影像動態(tài)鑲嵌技術(shù)，通過鑲嵌數(shù)據(jù)集編目管理的大規(guī)模影像數(shù)據(jù)，可以像預(yù)先鑲嵌好的影像一樣進(jìn)行可視化和分析。影像動態(tài)鑲嵌的過程如圖3所示。

圖3　動態(tài)鑲嵌過程Fig.3 Process of dynamic mosaic

3 平臺成果及應(yīng)用實例

3.1 平臺成果

基于以上技術(shù)手段，我們建立了上海市遙感影像管理與共享云服務(wù)平臺，用以快速有效地管理上海市多時段大規(guī)模的航空航天遙感影像數(shù)據(jù)，并為相關(guān)用戶提供影像數(shù)據(jù)服務(wù)。平臺后端數(shù)據(jù)管理層系統(tǒng)主要基于ArcMap構(gòu)建，采用C/S架構(gòu)模式，緊密結(jié)合業(yè)務(wù)流程，便于管理人員實現(xiàn)和現(xiàn)有ArcGIS業(yè)務(wù)流程的結(jié)合。

數(shù)據(jù)管理功能包括本地數(shù)據(jù)庫建立、數(shù)據(jù)導(dǎo)入、本地數(shù)據(jù)庫導(dǎo)入系統(tǒng)數(shù)據(jù)庫、元數(shù)據(jù)屬性編輯、原始航片外方位元素編輯、數(shù)據(jù)統(tǒng)計等功能（圖4），以實現(xiàn)常規(guī)遙感影像庫的使用和管理。

圖4　數(shù)據(jù)管理入庫C/S系統(tǒng)界面圖Fig.4 Interface of the C/S system for data management

前端的多源遙感影像共享服務(wù)平臺主要面向相關(guān)部門與用戶使用，根據(jù)按照用戶權(quán)限，為其提供影像數(shù)據(jù)和元數(shù)據(jù)的聯(lián)合查詢、在線影像顯示和瀏覽、多時態(tài)回放和對比分析、影像下載和共享等能力（圖5、圖6），為高級遙感影像分析提供支撐。

3.2 應(yīng)用實例

基于開發(fā)的影像管理平臺，通過動態(tài)的調(diào)用平臺發(fā)布的影像數(shù)據(jù)服務(wù)，我們利用原始航空遙感影像建立了在線影像變化檢測分析系統(tǒng)，通過結(jié)合影像的在線分析技術(shù)，用以輔助土地規(guī)劃管理部門實現(xiàn)快速的土地變化發(fā)現(xiàn)與監(jiān)管［10，11］。系統(tǒng)能夠充分發(fā)揮原始影像豐富的信息量這一特點，結(jié)合后臺的ENVI分析引擎，通過自定參數(shù)和預(yù)設(shè)模型，可以對硬化地表、城市水體、城市綠地、建筑物等重要地物變化情況進(jìn)行快速的在線分析［12，13］。系統(tǒng)界面如圖7所示。

圖5　數(shù)據(jù)共享服務(wù)平臺界面圖Fig.5 Interface of the sharing platform for data service

圖6　數(shù)據(jù)共享服務(wù)平臺影像查詢展示Fig.6 Instance of the image query in the platform

圖7　遙感影像在線分析系統(tǒng)Fig.7 Online image analysis system

4 結(jié)語

本課題重點針對上海市多年豐富的遙感影像數(shù)據(jù)，拋棄了傳統(tǒng)的影像管理模式和單機工作站處理方式，以云服務(wù)的模式提供服務(wù)，不僅對影像成果數(shù)據(jù)進(jìn)行了有序管理，而且通過自動化建模的手段，將一張張純圖片格式的原始影像與空三等相應(yīng)的信息進(jìn)行自動化、流程化的關(guān)聯(lián)，最終這些原始影像在不損失任何信息的情況下，會通過數(shù)據(jù)庫被有效地組織和管理起來。基于此，我們建立了上海市遙感影像管理與共享云服務(wù)平臺，并延伸開發(fā)出了遙感影像在線分析系統(tǒng)，為更好地將海量的遙感影像數(shù)據(jù)管起來、用起來，做出了新的嘗試和探索。

參考文獻(xiàn)（References）

［1］董杰，黃炎，董平，等.基于鑲嵌數(shù)據(jù)集的大規(guī)模遙感影像管理研究［J］.紅外，2012，33（10）:30-32.Dong J， Huang Y， Dong P， et al.Research on management of large quantities of image data based on mosaic dataset［J］.Infrared，2012，33（10）:30-32.

［2］呂雪峰，程承旗，龔健雅，等.海量遙感數(shù)據(jù)存儲管理技術(shù)綜述［J］.中國科學(xué):技術(shù)科學(xué)，2011，41（12）:1561-1573.Lü X F， Cheng C Q， Gong J Y， et al.Review of data storage and management technologies for massive remote sensing data［J］.Scientia Sinica （Technologica）， 2011，41（12）:1561-1573.

［3］王密，龔健雅，李德仁.大型無縫影像數(shù)據(jù)庫管理系統(tǒng)的設(shè)計與實現(xiàn)［J］.武漢大學(xué)學(xué)報（信息科學(xué)版），2003，28（3）:294-300.Wang M， Gong J Y， Li D R.Design and implementation of largescale image database management system［J］.Geomatics and Information Science of Wuhan University， 2003，28（3）:294-300.

［4］Stoney W E.ASPRS guide to land imaging satellites［EB/OL］.http://www.asprs.org/news/satellites.2006.

［5］Guo W， Gong J Y， Jiang WS， et a1.OpenRS-cloud：a remote sensing image processing platform based on cloud computing environment［J］.Scientia Sinica Technological Sciences，2010，53（S1）:221-230.

［6］張涵斐，黃忠紅，孟永軍.海量遙感影像的存儲與快速調(diào)度顯示方法［J］.測繪與空間地理信息，2011，34（3）:36-40.Zhang H F， Huang Z H， Meng Y J.Mass remote sensing image storage and rapid scheduling display method［J］.Geomatics & Spatial Information Technology， 2011，34（3）:36-40.

［7］章孝燦，黃智才，陳剛，等.海量遙感圖像快速顯示技術(shù)［J］.中國圖像圖形學(xué)報，2004，10（10）:1021-1026.Zhang X C， Huang Z C， Chen G.Rapid display technique of massive remote sensing image［J］.Journal of Image and Graphics，2004，10（10）:1021-1026.

［8］李宗華，彭明軍.基于關(guān)系數(shù)據(jù)庫技術(shù)的遙感影像數(shù)據(jù)建庫研究［J］.武漢大學(xué)學(xué)報（信息科學(xué)版），2005，30（2）:166-169.Li Z H， Peng M J.Remote sensing image database based on RDBMS［J］.Geomatics and Information Science of Wuhan University， 2005，30（2）:166-169.

［9］陳能成，龔健雅，朱欣焰，等.多級緩沖提升海量影像數(shù)據(jù)在線服務(wù)質(zhì)量［J］.測繪通報，2007，（6）:19-22.Chen N C， Gong J Y， Zhu X Y， et al.Multi-cache improving the quality of large volume image data on-line service［J］.Bulletin of Surveying and Mapping， 2007，（6）:19-22.

［10］趙峰.上海地理信息公共服務(wù)平臺及在智慧城市中的應(yīng)用［J］.上海國土資源，2013，34（3）:63-65.Zhao F.Shanghai geographic information public service platform and its application in a smart city［J］.Shanghai Land & Resources，2013，34（3）:63-65.

［11］宋唯，劉利鋒，龔?fù)?規(guī)劃和國土資源綜合信息監(jiān)管平臺關(guān)鍵技術(shù)研究與應(yīng)用［J］.上海國土資源，2015，36（4）:52-54.Song W， Liu L F， Gong W， et al.Research and application of key technologies in planning a comprehensive information monitoring platform for land resources［J］.Shanghai Land & Resources，2015，36（4）:52-54.

［12］王履華，孫在宏，曾微波，等.省級國土資源海量遙感影像數(shù)據(jù)管理技術(shù)研究［J］.中國土地科學(xué)，2013，27（7）:69-73.Wang L H， Sun Z H， Zeng W B， et al.Research on the management technologies of massive remote sensing image of provincial land and resources［J］.China Land Sciences， 2013，27（7）:69-73.

［13］吳洪橋，張敬波，何維，等.多源影像數(shù)據(jù)集成管理與應(yīng)用的技術(shù)框架研究［J］.國土資源信息化，2013，（5）:3-7.Wu H Q， Zhang J B， He W， et al.Studies on the technical framework on behalf of the management and application integration in the image of multi source data［J］.Land and Resources Informatization， 2013，（5）:3-7.

Research on the construction and application of a management and sharing platform for large quantities of remote sensing image data in Shanghai

LU Zhi-Yue， MAO Wei-Qing
（Shanghai Surveying and Mapping Institute， Shanghai 200063， China）

Abstract:The problems regarding the original strategy for managing and sharing remote sensing image data were summarized in this study.Issues with the mosaic-dataset technology including the dataset management mode， the dynamic mosaic， real-time processing， and service sharing were discussed.A solution was proposed to construct a management and sharing platform for the large quantities of remote sensing image data in Shanghai.The data services provided by the platform assist with the construction of an online image analysis system consisting of the original aero-image data..

Key words:remote sensing image； data management； sharing service； mosaic dataset； cloud service platform

中圖分類號：P208.2

文獻(xiàn)標(biāo)志碼：A

文章編號：2095-1329（2016）02-0096-04

doi:10.3969/j.issn.2095-1329.2016.02.022

收稿日期:2015-12-07

修訂日期:2016-02-19

作者簡介:路志越（1985-），男，博士，工程師，主要從事地理信息系統(tǒng)研究與應(yīng)用.

基金項目:國家測繪地理信息局現(xiàn)代工程測量重點實驗室開放基金課題（TJES1508）