海量遙感影像數(shù)據(jù)管理的實(shí)踐探析

蘇逸平/浙江省測(cè)繪資料檔案館

測(cè)繪地理信息是重要的國家信息資源，事關(guān)國家戰(zhàn)略安全和核心利益[1]。隨著測(cè)繪信息化的不斷深入和智慧城市、地理國情監(jiān)測(cè)等重大項(xiàng)目的全面展開，數(shù)字測(cè)繪資料檔案館在服務(wù)國計(jì)民生的過程中發(fā)揮著越來越重要的作用。遙感影像是指記錄各種地物電磁波大小的膠片或照片，主要分為航空影像和衛(wèi)星影像。遙感影像是測(cè)繪地理信息的重要基礎(chǔ)數(shù)據(jù)，也是地理信息服務(wù)的重要載體[2]。近年來，隨著測(cè)繪地理信息產(chǎn)業(yè)的高速發(fā)展、高分辨率衛(wèi)星以及數(shù)碼航攝、無人機(jī)航攝等對(duì)地觀測(cè)技術(shù)的逐步應(yīng)用，遙感影像的獲取周期逐漸縮短、影像更新的頻率日漸加快且分辨率越來越高，影像數(shù)據(jù)量更是呈幾何級(jí)數(shù)迅速增加，影像數(shù)據(jù)規(guī)模已進(jìn)入大數(shù)據(jù)時(shí)代[3]。在浙江，急速膨脹的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超出了該省測(cè)繪資料檔案館成果網(wǎng)服務(wù)器的存儲(chǔ)空間，并給數(shù)據(jù)存儲(chǔ)備份、查詢檢索等日常管理工作帶來了嚴(yán)峻挑戰(zhàn)。此外，館藏?cái)?shù)據(jù)安全也面臨著巨大壓力。為此，筆者探討了海量遙感影像數(shù)據(jù)管理的技術(shù)支撐，包括元數(shù)據(jù)庫、空間數(shù)據(jù)庫和影像壓縮；同時(shí)討論了數(shù)據(jù)安全管理的若干要素，涉及存儲(chǔ)載體、數(shù)據(jù)備份和計(jì)算機(jī)系統(tǒng)。

1 遙感影像數(shù)據(jù)的保管現(xiàn)狀

以浙江省測(cè)繪資料檔案館為例，省測(cè)繪資料檔案館的遙感影像數(shù)據(jù)包括航空影像數(shù)據(jù)和衛(wèi)星影像數(shù)據(jù)，截至2018年底，館藏遙感影像數(shù)據(jù)量達(dá)350TB，且將以每年50TB以上的速度增長。

其中航空影像包括模擬航片和數(shù)碼航片，色彩包括黑白、真彩色和彩紅，數(shù)據(jù)格式分ECW、TIFF、JPG三種；模擬航片分辨率可達(dá)1米以上，數(shù)碼航片分辨率最高超過0.2米；黑白航片單片數(shù)據(jù)量約30MB，彩色航片單片數(shù)據(jù)量最高超過300MB。截至2018年底，館藏航空影像數(shù)據(jù)總量約335TB。

衛(wèi)星影像數(shù)據(jù)種類達(dá)20多種，包括KEYHOLE系列、TM、SPOT4、SPOT5、中巴、福衛(wèi)、印度P5、P6、ALOS、資源衛(wèi)星系列、高分系列、天繪系列、IK0NOS、QUICKBIRD、GEOEYE、WORLDVIEW系列等；類型包括全色影像、多光譜影像；數(shù)據(jù)格式包括TIFF、GeoTIFF、DAT、JPG等。不同傳感器影像的分辨率存在差異，并且影像波段組合也各不相同。截至2018年底，館藏衛(wèi)星影像數(shù)據(jù)總量約15TB。

2 遙感影像數(shù)據(jù)管理的技術(shù)支撐

海量遙感影像數(shù)據(jù)的管理，主要采用構(gòu)建元數(shù)據(jù)庫及空間數(shù)據(jù)庫的方式，以元數(shù)據(jù)庫為影像目錄、空間數(shù)據(jù)庫為影像空間索引，并通過檔案綜合管理系統(tǒng)開展數(shù)據(jù)歸檔、查詢檢索以及分發(fā)統(tǒng)計(jì)等工作。

2.1 元數(shù)據(jù)庫

遙感影像元數(shù)據(jù)是描述遙感影像的空間位置、空間分辨率、空間參考、獲取時(shí)間、影像質(zhì)量等信息的屬性數(shù)據(jù)，其內(nèi)容主要包括遙感數(shù)據(jù)的基本信息、空間位置信息、姿態(tài)信息、數(shù)學(xué)基礎(chǔ)、質(zhì)量信息和管理信息等[4][5]。將元數(shù)據(jù)信息進(jìn)行分類和規(guī)劃，確定各元數(shù)據(jù)項(xiàng)的類型和長度，并按照統(tǒng)一的元數(shù)據(jù)結(jié)構(gòu)建立相應(yīng)的元數(shù)據(jù)庫。元數(shù)據(jù)庫包括航空影像元數(shù)據(jù)庫和衛(wèi)星影像元數(shù)據(jù)庫。

2.2 空間數(shù)據(jù)庫

空間數(shù)據(jù)庫由影像索引圖、影像快視圖和背景電子底圖構(gòu)成。影像索引圖分為影像中心點(diǎn)索引圖和影像外接多邊形索引圖，主要通過GNSS衛(wèi)星導(dǎo)航定位、影像匹配、影像糾正等定位技術(shù)進(jìn)行獲取。影像快視圖是原始遙感影像的縮略圖，主要是通過影像重采樣技術(shù)降低原始影像分辨率的方式進(jìn)行獲取的。鑒于原始遙感影像數(shù)據(jù)量大、磁盤陣列價(jià)格昂貴、服務(wù)器存儲(chǔ)空間有限、數(shù)據(jù)的管理難度不斷攀升等多種因素，使用影像快視圖構(gòu)建空間數(shù)據(jù)庫并進(jìn)行在線存儲(chǔ)是一種較為合理的方式。背景電子底圖包括矢量電子地圖和地形圖圖幅接合表，矢量電子地圖包含各級(jí)行政區(qū)劃、交通、水系、地名等要素?cái)?shù)據(jù)，地形圖圖幅結(jié)合表包含各級(jí)比例尺標(biāo)準(zhǔn)分幅圖幅結(jié)合表。

利用影像定位技術(shù)自動(dòng)生成影像索引圖，并進(jìn)行影像快視圖的動(dòng)態(tài)鑲嵌；通過疊加各類背景電子底圖數(shù)據(jù)如各比例尺地形圖結(jié)合圖、行政區(qū)劃要素?cái)?shù)據(jù)、道路要素?cái)?shù)據(jù)、水系要素?cái)?shù)據(jù)、地名要素?cái)?shù)據(jù)等，并結(jié)合影像元數(shù)據(jù)庫，實(shí)現(xiàn)對(duì)遙感影像的快速查詢檢索，且瀏覽查詢結(jié)果無需調(diào)用原始數(shù)據(jù)，這樣大大提高了影像數(shù)據(jù)管理及分發(fā)統(tǒng)計(jì)的工作效率。

2.3 影像壓縮

原始遙感影像數(shù)據(jù)量龐大，為了充分保障數(shù)據(jù)安全，需要進(jìn)行多重?cái)?shù)據(jù)備份，因此對(duì)數(shù)據(jù)存儲(chǔ)空間的需求極大。為減少影像數(shù)據(jù)的存儲(chǔ)空間、降低存儲(chǔ)成本，對(duì)影像進(jìn)行數(shù)據(jù)壓縮十分必要。影像壓縮指在基本不損害原始影像質(zhì)量（像素、分辨率、色彩）的前提下，采用技術(shù)手段降低影像的數(shù)據(jù)量，以節(jié)省存儲(chǔ)空間。影像壓縮采用ERMapper公司的增強(qiáng)壓縮小波（ECW）技術(shù)；數(shù)據(jù)壓縮比方面，灰度影像采用10:1、彩色影像采用25:1，壓縮后影像質(zhì)量保持不變；數(shù)據(jù)量方面，灰度影像約為壓縮前的1/7、彩色影像約為壓縮前的1/25。

3 數(shù)據(jù)安全的保障要點(diǎn)

數(shù)據(jù)管理的首要任務(wù)是保障數(shù)據(jù)的安全，數(shù)據(jù)安全的保障要點(diǎn)包括存儲(chǔ)載體、數(shù)據(jù)備份、計(jì)算機(jī)系統(tǒng)。

一是存儲(chǔ)載體。數(shù)據(jù)存儲(chǔ)離不開存儲(chǔ)載體，因此數(shù)據(jù)安全的核心問題是如何確保存儲(chǔ)載體的安全。《電子文件歸檔與管理規(guī)范》（GB/T18894—2002）推薦采用的存儲(chǔ)載體按優(yōu)先順序依次為：只讀光盤、一次寫光盤、磁帶、可擦寫光盤、硬盤等；不允許用軟磁盤作為歸檔文件長期保存的載體[6]。由于遙感影像數(shù)據(jù)量巨大，單個(gè)歸檔項(xiàng)目數(shù)據(jù)量動(dòng)輒幾TB甚至數(shù)十TB，綜合考慮各類數(shù)字存儲(chǔ)載體的容量、價(jià)格水平以及在實(shí)際工作中使用的便利程度等多種因素，建議存儲(chǔ)載體以硬盤為主、磁帶為輔。

存儲(chǔ)載體的安全因素主要包括：（1）數(shù)據(jù)長期可讀取。存儲(chǔ)載體都需要相應(yīng)的驅(qū)動(dòng)器進(jìn)行讀取，一旦脫離驅(qū)動(dòng)器，就不能檢測(cè)到能否正確讀取數(shù)據(jù)。以硬盤為例，目前主流硬盤均采用SATA接口，數(shù)據(jù)傳輸使用USB數(shù)據(jù)線，而早期的硬盤采用IDE接口，數(shù)據(jù)傳輸使用的PATA40針型數(shù)據(jù)線已被淘汰多年，使用IDE硬盤存儲(chǔ)的數(shù)據(jù)面臨著無法讀取的境地。因此，必須定期進(jìn)行讀取測(cè)試并進(jìn)行必要的軟硬件升級(jí)。（2）存儲(chǔ)期限。盡管理論上磁帶、硬磁盤等存儲(chǔ)載體在適宜的存放環(huán)境下可以長期存儲(chǔ)數(shù)據(jù)，然而以硬磁盤為例，其大規(guī)模商用的歷史不超過20年[7]，并未經(jīng)歷過真正意義上的時(shí)間考驗(yàn)。因此必須定期檢查存儲(chǔ)載體，發(fā)現(xiàn)異常及時(shí)進(jìn)行數(shù)據(jù)轉(zhuǎn)存。（3）存儲(chǔ)環(huán)境。存儲(chǔ)載體容易遭受存儲(chǔ)環(huán)境的影響，如磁場(chǎng)、陽光、高溫、潮濕等，都有可能造成存儲(chǔ)載體的損毀，因此為存儲(chǔ)載體營造一個(gè)良好的存儲(chǔ)環(huán)境顯得尤為重要。要將載體存放至防磁柜，環(huán)境溫度應(yīng)控制在17℃—20℃、相對(duì)濕度應(yīng)控制在35%—45%[8]。

二是數(shù)據(jù)備份。按照《信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》（GB/T 20988—2007）[9]，采取本地和異地相結(jié)合的數(shù)據(jù)備份手段，充分保障數(shù)據(jù)的安全性，最大程度地降低病毒攻擊、人為破壞或自然災(zāi)害等突發(fā)事件所造成的損失。由于數(shù)據(jù)量巨大，從性價(jià)比方面考慮，本地和異地均采用離線備份（冷備份）的方式。

三是計(jì)算機(jī)系統(tǒng)。數(shù)據(jù)的管理、存儲(chǔ)、查詢統(tǒng)計(jì)以及傳輸?shù)入x不開計(jì)算機(jī)系統(tǒng)的支撐，計(jì)算機(jī)系統(tǒng)的安全性是數(shù)據(jù)長期保存的重要因素[10]。計(jì)算機(jī)系統(tǒng)的安全因素主要包括：（1）軟件環(huán)境。遙感影像的數(shù)據(jù)格式多種多樣，數(shù)據(jù)讀取依賴于特定的系統(tǒng)軟件、支撐軟件和應(yīng)用軟件。因此，軟件環(huán)境必須與數(shù)據(jù)保持“兼容”。（2）病毒防護(hù)。數(shù)據(jù)流通過程中，應(yīng)及時(shí)進(jìn)行病毒查殺。（3）訪問權(quán)限。通過設(shè)置權(quán)限、身份驗(yàn)證等方式，防止人為誤操作。（4）網(wǎng)絡(luò)控制。確保數(shù)據(jù)存儲(chǔ)網(wǎng)絡(luò)與互聯(lián)網(wǎng)物理隔離，設(shè)置防火墻進(jìn)行管理，及時(shí)掃描網(wǎng)絡(luò)漏洞并安裝系統(tǒng)補(bǔ)丁，防止非法入侵。

4 結(jié)語

新時(shí)代，測(cè)繪地理信息檔案管理部門要切實(shí)做好數(shù)據(jù)管理工作，充分發(fā)揮數(shù)據(jù)的基礎(chǔ)性和戰(zhàn)略性作用。此外，還要認(rèn)識(shí)到適當(dāng)控制數(shù)據(jù)來源對(duì)于數(shù)據(jù)管理工作也很重要。在深化供給側(cè)結(jié)構(gòu)性改革的背景下，影像數(shù)據(jù)采集乃至測(cè)繪地理信息數(shù)據(jù)生產(chǎn)應(yīng)適度轉(zhuǎn)變思路，以需求為指引，按照邊際平衡規(guī)律合理利用資源，減少無效投入、避免重復(fù)投入，逐步減少對(duì)財(cái)政投入的依賴，為加快推進(jìn)測(cè)繪地理信息事業(yè)轉(zhuǎn)型升級(jí)、服務(wù)政府?dāng)?shù)字化轉(zhuǎn)型及保障經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展提供數(shù)據(jù)支撐。