數(shù)字壓縮技術(shù)在改善空間數(shù)據(jù)網(wǎng)絡(luò)傳輸?shù)难芯?/h1>

2013-09-22 10:30:20王剛

城市勘測(cè)訂閱 2013年6期 收藏

關(guān)鍵詞：壓縮比矢量客戶端

王剛

(1.天津市測(cè)繪院，天津 300381; 2.天津金宇信息技術(shù)有限公司，天津 300384)

1 引言

隨著網(wǎng)絡(luò)軟硬件技術(shù)的不斷發(fā)展與應(yīng)用，互聯(lián)網(wǎng)的傳輸效率得到了很大的提高，人們?nèi)粘５膶W(xué)習(xí)、生活和工作也與之緊密聯(lián)系在一起，通過(guò)它全世界范圍內(nèi)各個(gè)計(jì)算機(jī)就可以完成信息的通訊與交換，網(wǎng)絡(luò)信息的交換實(shí)質(zhì)上就是數(shù)據(jù)的網(wǎng)絡(luò)傳輸，雖然現(xiàn)在網(wǎng)絡(luò)速度有了很大的改善，但仍無(wú)法滿足現(xiàn)在應(yīng)用的需要，GIS應(yīng)用方面也不例外，在當(dāng)前WebGIS應(yīng)用領(lǐng)域，同樣也面臨著空間數(shù)據(jù)高效率傳輸?shù)膯?wèn)題。一般而言，網(wǎng)絡(luò)數(shù)據(jù)傳輸所耗費(fèi)時(shí)間取決于兩個(gè)方面，一方面網(wǎng)絡(luò)帶寬大小;另外一方面就是數(shù)據(jù)量的大小。對(duì)于前者主要取決于網(wǎng)絡(luò)通訊基礎(chǔ)設(shè)施建設(shè)方面的內(nèi)容，在此不作具體深入的探討。

當(dāng)前，金字塔模型下的地圖瓦片技術(shù)的應(yīng)用較好地減少了地圖數(shù)據(jù)網(wǎng)絡(luò)傳輸冗余性問(wèn)題，這種技術(shù)通過(guò)將地圖按照一定規(guī)則輸出成固定大小的圖片，服務(wù)器端根據(jù)客戶端用戶地圖窗口的大小，將該區(qū)域包含的地圖圖片塊傳輸?shù)娇蛻舳瞬@示出來(lái)。這種按需傳輸?shù)乃枷霚p少了傳輸?shù)貓D數(shù)據(jù)量，大大地縮短了地圖傳輸與等待的時(shí)間，這也使得WebGIS在各個(gè)行業(yè)和部門(mén)中的應(yīng)用越來(lái)越廣泛。但隨著應(yīng)用的不斷深入，我們也面臨著傳輸?shù)臄?shù)據(jù)量問(wèn)題，具體而言就是如何通過(guò)壓縮來(lái)減少傳輸中地圖圖片塊和矢量數(shù)據(jù)的數(shù)據(jù)量。

本文主要探討的是在WebGIS應(yīng)用中，基于一定的網(wǎng)絡(luò)環(huán)境下如何對(duì)空間數(shù)據(jù)進(jìn)行合理的組織與壓縮，從而大大提高空間數(shù)據(jù)的傳輸效率，改善GIS應(yīng)用的用戶體驗(yàn)。

2 WebGIS應(yīng)用系統(tǒng)結(jié)構(gòu)

當(dāng)前，WebGIS應(yīng)用系統(tǒng)從應(yīng)用角度上可以由客戶端層、服務(wù)器端層(WebGIS服務(wù)器層和GIS應(yīng)用服務(wù)器層)以及數(shù)據(jù)存儲(chǔ)層(空間數(shù)據(jù)存儲(chǔ))等多層結(jié)構(gòu)組成。其中客戶端層主要有兩種方式，一種是瀏覽器，另外一種就是GIS軟件開(kāi)發(fā)商提供的客戶端軟件。服務(wù)器端層則主要是指WebGIS功能模塊的服務(wù)接口，既可以根據(jù)用戶需求開(kāi)發(fā)，也可以借助專(zhuān)業(yè)的GIS例如ArcGIS Server來(lái)部署相關(guān)的服務(wù)。數(shù)據(jù)存儲(chǔ)層顧名思義就是地圖瓦片數(shù)據(jù)和矢量數(shù)據(jù)集存儲(chǔ)的數(shù)據(jù)庫(kù)，其結(jié)構(gòu)圖如圖1所示。

圖1 WebGIS應(yīng)用系統(tǒng)結(jié)構(gòu)圖

3 地圖瓦片的壓縮策略

眾所周知，傳統(tǒng)的GIS系統(tǒng)在地圖圖形表現(xiàn)方面遠(yuǎn)不如采用地圖制圖技術(shù)所表達(dá)的效果，盡管制圖和GIS研究者共同致力于解決這一問(wèn)題，但由于空間數(shù)據(jù)的多樣性、復(fù)雜性以及動(dòng)態(tài)性，使得很多問(wèn)題無(wú)法通過(guò)現(xiàn)有的技術(shù)去解決，同時(shí)GIS在網(wǎng)絡(luò)應(yīng)用中也面臨著傳輸效率差的問(wèn)題，隨著圖像分塊網(wǎng)絡(luò)傳輸技的成熟和多級(jí)影像金字塔模型［3］應(yīng)用，地圖瓦片技術(shù)逐步成為當(dāng)前實(shí)現(xiàn)WebGIS應(yīng)用的主流技術(shù)。

圖2 多級(jí)影像金字塔模型圖

如圖2中，地圖瓦片技術(shù)其實(shí)就是依照一定比例尺間隔將地圖按照一定大小(一般256×256)輸出成地圖圖片，例如上圖中第0層輸出成4張256×256大小圖片，第1層則為16張……，這樣形成了不同比例尺下數(shù)目眾多的地圖圖片。盡管相比原始數(shù)據(jù)而言，單個(gè)地圖圖片尺寸較小，一般都在50 K以內(nèi)，但對(duì)于客戶端以多個(gè)地圖圖片下載并拼接而成的WebGIS應(yīng)用，同時(shí)調(diào)用的圖片數(shù)過(guò)多也增加了傳輸?shù)臄?shù)據(jù)量，因此我們有必要對(duì)單個(gè)地圖圖片數(shù)據(jù)進(jìn)行壓縮處理，減少其文件大小。地圖圖片文件的尺寸主要與圖片的格式、冗余信息以及壓縮比等因素有關(guān)，本人在論文［5］中從圖片效果、大小等通過(guò)實(shí)驗(yàn)分析了GIF、JPG、PNG三種文件格式，總結(jié)出對(duì)于矢量地圖圖片應(yīng)該選用PNG格式，而對(duì)于影像等色彩豐富的采用JPG文件格式，從而保證一定圖片顯示效果下使得文件尺寸較小。在此基礎(chǔ)上我們還需對(duì)PNG、JPG文件再進(jìn)行壓縮處理。

3.1 無(wú)損壓縮剔除冗余數(shù)據(jù)

對(duì)于PNG文件采取的壓縮策略就是剔除冗余信息數(shù)據(jù)，分析PNG文件格式我們知道PNG數(shù)據(jù)塊(Chunk)由關(guān)鍵數(shù)據(jù)塊(critical chunk)和輔助數(shù)據(jù)塊(ancillary chunks)兩部分組成，其中關(guān)鍵數(shù)據(jù)塊定義了 4個(gè)標(biāo)準(zhǔn)數(shù)據(jù)塊(IHDR，PLTE，IDAT，IEND)，這是每個(gè)PNG文件所必須包含的。輔助塊主要由bKGD、cHRM、gAMA、hIST、iCCP、iTXt、pHYs、sBIT、sPLT、sRGB、tEXt、tIME、tRNS、zTXt塊組成，這些塊是可選的，但是一般PNG文件生成軟件中都會(huì)生成這些可選塊數(shù)據(jù)，因此我們需要通過(guò)對(duì)單個(gè)PNG文件進(jìn)行剔除可選塊處理，通過(guò)無(wú)損壓縮的方式來(lái)減少文件尺寸。

3.2 圖像數(shù)據(jù)有損壓縮

對(duì)于以JPG格式存儲(chǔ)的影像地圖瓦片，由于JPG本身就是一種有損壓縮的圖片文件格式，文件本身也不像PNG文件那樣存在可選塊數(shù)據(jù)，因此我們只能采用算法對(duì)其進(jìn)行有損壓縮，在圖片表現(xiàn)效果和文件大小方面找出一個(gè)最佳的壓縮比平衡點(diǎn)。

4 矢量數(shù)據(jù)壓縮策略

在網(wǎng)絡(luò)地理信息系統(tǒng)應(yīng)用中，矢量數(shù)據(jù)的傳輸不再采取傳統(tǒng)上將整個(gè)矢量文件全部傳輸?shù)娇蛻舳撕箫@示，而是采取按照地圖顯示的范圍，向服務(wù)器發(fā)送區(qū)域內(nèi)數(shù)據(jù)請(qǐng)求，服務(wù)器端通過(guò)計(jì)算后將相應(yīng)的數(shù)據(jù)傳輸?shù)娇蛻舳?，傳輸?shù)膬?nèi)容主要是坐標(biāo)和屬性信息，數(shù)據(jù)的格式也不在采取二進(jìn)制格式，而是采用數(shù)字或者加密后的字符串格式，其原因在于減少數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性，縮短客戶端數(shù)據(jù)處理時(shí)間，提高應(yīng)用的效率。

對(duì)于采用數(shù)字或加密后字符串格式，結(jié)合當(dāng)前互聯(lián)網(wǎng)上搭建的WebGIS系統(tǒng)，我們可以歸納為兩類(lèi)，一類(lèi)是自定義的字符串格式，另外一類(lèi)是采用JSON或者GeoJSON格式。其中后面提到JSON是JavaScript對(duì)象表示法，GeoJSON是從JSON發(fā)展起來(lái)的，是一種地理數(shù)據(jù)的描述格式，可以描述的對(duì)象包括:幾何體，要素和要素集，這兩個(gè)已逐步成為數(shù)據(jù)傳輸、交換、共享的規(guī)范。為了減少矢量數(shù)據(jù)的數(shù)據(jù)量，我們主要采用數(shù)據(jù)文件壓縮和傳輸中數(shù)據(jù)壓縮。

4.1 相對(duì)坐標(biāo)的數(shù)據(jù)文件壓縮法［1］

為將空間對(duì)象的坐標(biāo)轉(zhuǎn)換為整數(shù)，需要將空間數(shù)據(jù)小數(shù)點(diǎn)后部分變?yōu)檎麛?shù)，同時(shí)為減少存儲(chǔ)量，采用取一個(gè)數(shù)據(jù)密集區(qū)中心為原點(diǎn)，進(jìn)行偏移轉(zhuǎn)換，再在此基礎(chǔ)上進(jìn)行壓縮。如圖3所示:

圖3 坐標(biāo)數(shù)據(jù)轉(zhuǎn)換與壓縮過(guò)程圖

文中采用整數(shù)壓縮轉(zhuǎn)換算法，所運(yùn)用的全部都是移位或比較運(yùn)算，這兩種處理是計(jì)算機(jī)運(yùn)算速度最快的，因此完全可以保證壓縮的速度。采用這種方法的優(yōu)點(diǎn)是只需記錄一個(gè)原點(diǎn)的原始坐標(biāo)，其余點(diǎn)都可用相對(duì)坐標(biāo)表示，節(jié)省了存儲(chǔ)空間，缺點(diǎn)是由于幾何數(shù)據(jù)點(diǎn)、線、多邊形的存儲(chǔ)方式不同，進(jìn)行偏移量轉(zhuǎn)換時(shí)中心點(diǎn)的選取原則不明確。

4.2 GZip網(wǎng)絡(luò)壓縮傳輸法

GZip 源于 Jean－loup Gailly和 Mark Adler創(chuàng)建［6］，最初主要針對(duì)UNIX系統(tǒng)中的文件進(jìn)行壓縮，后來(lái)逐步推廣到其他應(yīng)用領(lǐng)域，這種編碼是建立在HTTP協(xié)議上的一種用以改進(jìn)Web應(yīng)用性能的網(wǎng)絡(luò)壓縮傳輸技術(shù)，它實(shí)際是LZ77編碼和Huffman編碼的一個(gè)組合體，其壓縮思想為:針對(duì)要壓縮的文件，先運(yùn)用LZ77算法的一個(gè)變種來(lái)對(duì)文件進(jìn)行壓縮處理，對(duì)于處理后的結(jié)果再用Huffman編碼處理，實(shí)際上在進(jìn)行Humffman編碼時(shí)，GZip壓縮機(jī)制會(huì)根據(jù)文件實(shí)際情況，動(dòng)態(tài)地選擇靜態(tài)Huffman編碼或者動(dòng)態(tài)Huffman編碼。

針對(duì)網(wǎng)頁(yè)內(nèi)容是由大量重復(fù)字符組成的這一特點(diǎn)，研究者通過(guò)建立GZip編碼壓縮機(jī)制［7］來(lái)壓縮網(wǎng)頁(yè)中相關(guān)內(nèi)容，避免重復(fù)數(shù)據(jù)的傳輸，減少數(shù)據(jù)的傳輸。基于HTTP協(xié)議上的GZip編碼可以分為壓縮過(guò)程和解壓過(guò)程兩部分，這兩個(gè)過(guò)程分別是由服務(wù)器端軟件和客戶端軟件來(lái)完成，其中前者可以通過(guò)服務(wù)器GZip壓縮模塊配置來(lái)實(shí)現(xiàn)，至于后者，諸如瀏覽器IE系列6及以上、Firefox等都內(nèi)置GZip自動(dòng)解壓功能，也就是說(shuō)，在服務(wù)器上的網(wǎng)頁(yè)，傳輸之前先使用Gzip壓縮，再傳輸給客戶端，客戶端接收之后，由瀏覽器解壓顯示，雖然這樣稍微占用了一些服務(wù)器和客戶端的CPU，但是換來(lái)的是更高的帶寬利用率。其壓縮傳輸流程圖如圖4所示:

5 實(shí)驗(yàn)與分析

結(jié)合天地圖天津節(jié)點(diǎn)實(shí)際建設(shè)需要，我們從地圖瓦片和矢量數(shù)據(jù)壓縮兩方面展開(kāi)了相關(guān)的試驗(yàn)。

圖4 GZIP壓縮傳輸流程圖

5.1 地圖瓦片壓縮實(shí)驗(yàn)

在地圖瓦片壓縮實(shí)驗(yàn)中，我們對(duì)于PNG格式的地圖瓦片采用上述的壓縮策略進(jìn)行，對(duì)于JPG格式的圖片，考慮到是有損壓縮，壓縮前后圖像效果主要通過(guò)人視覺(jué)觀察打分統(tǒng)計(jì)從而獲取采用的壓縮比，在這里對(duì)于影像圖片，推薦采用60%～75%的壓縮比進(jìn)行壓縮。

PNG文件壓縮，對(duì)于天地圖天津節(jié)點(diǎn)輸出的矢量地圖圖片，采取統(tǒng)計(jì)不同大小范圍內(nèi)圖片塊壓縮前后的文件的平均大小，進(jìn)而求的該范圍內(nèi)的平均壓縮比。

實(shí)驗(yàn)統(tǒng)計(jì)的結(jié)果如表1所示。

PNG文件壓縮實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)表 表1

根據(jù)上面統(tǒng)計(jì)表生成的PNG壓縮比走向曲線圖如圖5所示。

從圖5壓縮比走勢(shì)圖中，我們可以看出，采取本文提到的方法對(duì)于 10 KB以下的PNG文件，可以達(dá)到50%的壓縮比，對(duì)于30 KB以內(nèi)的文件可以減少至少三分之一的尺寸，從而將使壓縮后的PNG文件大小控制在20 KB以內(nèi)。

圖5 PNG壓縮比走向曲線圖

5.2 矢量數(shù)據(jù)GZip壓縮實(shí)驗(yàn)

在GZip實(shí)驗(yàn)中，我們建立了基于Apache2.11和PHP5.2.9環(huán)境下的GZip服務(wù)器環(huán)境，網(wǎng)絡(luò)傳輸?shù)氖噶繑?shù)據(jù)采用分塊形式組織，實(shí)驗(yàn)中按照不同大小范圍內(nèi)的矢量數(shù)據(jù)通過(guò)GZip網(wǎng)絡(luò)壓縮傳輸后大小的變化，每個(gè)范圍測(cè)試1000次，并計(jì)算出該范圍的平均壓縮比。

實(shí)驗(yàn)統(tǒng)計(jì)的結(jié)果表如表2所示:

矢量數(shù)據(jù)GZip網(wǎng)絡(luò)壓縮實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)表 表2

根據(jù)上面統(tǒng)計(jì)表生成的GZip網(wǎng)絡(luò)壓縮比走向曲 線圖如圖6所示:

從表2和圖6中我們可以發(fā)現(xiàn)GZip對(duì)文本格式的基于數(shù)字組成的矢量坐標(biāo)系統(tǒng)具有較大的壓縮比，盡管實(shí)時(shí)壓縮需要占用少量服務(wù)器的CPU進(jìn)行運(yùn)算，實(shí)際上這種影響是相當(dāng)小的，因此，我們可以將這種網(wǎng)絡(luò)壓縮傳輸與WebGIS實(shí)際應(yīng)用結(jié)合起來(lái)。

圖6 GZip網(wǎng)絡(luò)壓縮比走向曲線圖

6 結(jié)論

在天地圖天津節(jié)點(diǎn)建設(shè)中，圍繞著如何減少網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，加快網(wǎng)絡(luò)傳輸速度這一問(wèn)題我們開(kāi)展了大量的實(shí)驗(yàn)，并在實(shí)際應(yīng)用中得出如下結(jié)論:①剔除PNG地圖圖片冗余信息，在0 kB～30 kB以內(nèi)的文件，可以減少約30%～80%的文件尺寸，大大提高服務(wù)器的網(wǎng)絡(luò)傳輸效率。②在服務(wù)器端和客戶端，借助于GZip網(wǎng)絡(luò)壓縮技術(shù)能在網(wǎng)絡(luò)傳輸前，動(dòng)態(tài)地大幅度壓縮以字符串存儲(chǔ)的矢量數(shù)據(jù)，可以提高網(wǎng)路傳輸?shù)男省?/p>

最后，本文需要指出的是，在當(dāng)前的互聯(lián)網(wǎng)環(huán)境中，我們需要從服務(wù)器端和客戶端兩方面考慮如何提高數(shù)據(jù)傳輸效率，需要結(jié)合WebGIS實(shí)際應(yīng)用中數(shù)據(jù)的特點(diǎn)，將并行運(yùn)算、數(shù)據(jù)壓縮、網(wǎng)絡(luò)分布式技術(shù)等融入在一起，才能大大地改善用戶的體驗(yàn)效果。

［1］李青元，劉曉東，曹代勇.WebGIS矢量空間數(shù)據(jù)壓縮方法探討［J］.中國(guó)圖像圖形學(xué)報(bào)，2001，6(12):1225～1229.

［2］王凈，江剛武.無(wú)拓?fù)涫噶繑?shù)據(jù)快速壓縮算法的研究與實(shí)現(xiàn)［J］.測(cè)繪學(xué)報(bào)，2003，32(2):173～177.

［3］朱欣焰.面向網(wǎng)絡(luò)的海量影像空間數(shù)據(jù)在線分發(fā)技術(shù)［J］.武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2003，28(3):288～293.

［4］李羅文，單甘霖.地圖圖像數(shù)據(jù)壓縮的設(shè)計(jì)與實(shí)現(xiàn)［J］.系統(tǒng)工程與電子技術(shù)，1997，(3):62～64.

［5］王剛.顧及要素特征的層次增量分塊矢量數(shù)據(jù)組織與高效網(wǎng)絡(luò)傳輸研究［D］.武漢:武漢大學(xué)博士學(xué)位論文，2011.

［6］王平，朱雪梅.計(jì)算機(jī)互聯(lián)網(wǎng)絡(luò)中的數(shù)據(jù)壓縮技術(shù)應(yīng)用［J］.計(jì)算機(jī)工程.2002，28(12):153～154.

［7］宋剛，蔣孟奇，張?jiān)迫?基于共享存儲(chǔ)和GZip的并行壓縮算法研究［J］.計(jì)算機(jī)工程與設(shè)計(jì).2009，4.

猜你喜歡

壓縮比矢量客戶端

矢量三角形法的應(yīng)用

中學(xué)生數(shù)理化·高一版(2021年11期)2021-09-05 12:21:24

質(zhì)量比改變壓縮比的辛烷值測(cè)定機(jī)

軟件(2020年3期)2020-04-20 01:45:24

縣級(jí)臺(tái)在突發(fā)事件報(bào)道中如何應(yīng)用手機(jī)客戶端

傳媒評(píng)論(2018年4期)2018-06-27 08:20:24

孵化垂直頻道：新聞客戶端新策略

傳媒評(píng)論(2018年4期)2018-06-27 08:20:16

基于Vanconnect的智能家居瘦客戶端的設(shè)計(jì)與實(shí)現(xiàn)

電子測(cè)試(2018年10期)2018-06-26 05:53:34

基于矢量最優(yōu)估計(jì)的穩(wěn)健測(cè)向方法

現(xiàn)代防御技術(shù)(2016年1期)2016-06-01 12:13:28

三角形法則在動(dòng)態(tài)平衡問(wèn)題中的應(yīng)用

新高考·高一物理(2016年1期)2016-03-05 22:47:39

低溫廢氣再循環(huán)及低壓縮比對(duì)降低歐6柴油機(jī)氮氧化物排放的影響

汽車(chē)與新動(dòng)力(2014年6期)2014-02-27 12:10:55

高幾何壓縮比活塞的燃燒室形狀探討

汽車(chē)與新動(dòng)力(2014年5期)2014-02-27 12:10:42

采用兩級(jí)可變壓縮比系統(tǒng)提高車(chē)用汽油機(jī)的效率

汽車(chē)與新動(dòng)力(2014年4期)2014-02-27 12:10:36

城市勘測(cè)2013年6期

城市勘測(cè)的其它文章

基于時(shí)序植被指數(shù)數(shù)據(jù)的地表覆蓋聚類(lèi)分析研究

基于多時(shí)相遙感影像的城市演變分析

沈陽(yáng)市地名地址數(shù)據(jù)采集與建庫(kù)

大比例尺地形圖圖式符號(hào)表達(dá)的探討

基于AutoCAD Map3D和FME圖庫(kù)一體化在地圖制圖職業(yè)技能競(jìng)賽中的應(yīng)用

城市井蓋智能化管理方法綜述