基于預(yù)測和JPEG2000的紅外圖像無損壓縮方法

楊 雪，陳凡勝

?

基于預(yù)測和JPEG2000的紅外圖像無損壓縮方法

楊 雪，陳凡勝

（中國科學(xué)院上海技術(shù)物理研究所，上海 200083）

為了解決空間遙感凝視型探測器獲取的數(shù)據(jù)量巨大的問題，研究了紅外圖像的無損壓縮。經(jīng)比較，JPEG2000國際標(biāo)準壓縮算法具有較好的壓縮性能且有相應(yīng)的ASIC（Application Specific Integrated Circuit）芯片易于系統(tǒng)實現(xiàn)。本文對連續(xù)的紅外圖像序列的空間和時間相關(guān)性進行了分析，以此為基礎(chǔ)提出了一種基于預(yù)測和JPEG2000算法相結(jié)合的無損壓縮方案，并以ASIC和FPGA為平臺實現(xiàn)了一個復(fù)雜度低、性能高的實時無損壓縮系統(tǒng)。對不同復(fù)雜程度的源圖像進行的壓縮實驗表明，該系統(tǒng)能夠?qū)崿F(xiàn)連續(xù)紅外圖像平均無損壓縮比4.516，與JPEG2000標(biāo)準算法相比，無損壓縮比提高了59%以上。

紅外圖像；空間相關(guān)性；時間相關(guān)性；線性預(yù)測；JPEG2000；無損壓縮

0 引言

非制冷紅外焦平面陣列（IRFPA）是紅外探測系統(tǒng)獲取紅外圖像信息的核心光電器件，隨著應(yīng)用領(lǐng)域的擴大以及半導(dǎo)體工藝的提升，IRFPA正朝著大陣列規(guī)模、高轉(zhuǎn)換精度、高幀頻探測的方向發(fā)展[1]。這些發(fā)展都帶來了同一個問題——探測產(chǎn)生的數(shù)據(jù)量急劇增長。由于衛(wèi)星存儲容量和傳輸帶寬有限，紅外圖像壓縮技術(shù)成為紅外探測應(yīng)用中的關(guān)鍵技術(shù)。在空間紅外弱小目標(biāo)探測應(yīng)用中，要求傳輸過程中完全保留圖像信息以免損失的信息對后續(xù)目標(biāo)檢測和圖像處理造成影響，所以需要進行無損壓縮。

基本的圖像無損壓縮方法有3種：去除圖像統(tǒng)計冗余的熵編碼算法、去除像素間冗余信息的預(yù)測壓縮算法和去除圖像全局相關(guān)性的變換編碼算法。第一代圖像編碼方法是基于Shannon信息論的熵編碼，代表方法包括Huffman編碼、算術(shù)編碼、Lempel-Ziv字典編碼等，這類方法壓縮效率有限，壓縮比普遍不高；隨后，人們認識到圖像像素之間有一定相關(guān)性，可以通過預(yù)測的方法去除信息冗余，提出了以差分脈碼調(diào)制（DPCM）為代表的各種預(yù)測編碼方法，靜態(tài)圖像無損壓縮新標(biāo)準JPEG-LS[2]就是采用基于上下文預(yù)測編碼的思想，這類方法硬件實現(xiàn)容易，壓縮比相對較高，但適用范圍較窄；20世紀90年代，小波變換被用于圖像編碼領(lǐng)域，它通過將圖像信號分解成不同空間分辨率、不同頻率特征和方向特征的子圖像，有效地去除了圖像的全局相關(guān)性[3]。1996年，Sweldens提出的小波提升方案，實現(xiàn)從整數(shù)到整數(shù)的小波變換[4]，被目前公認的具有最好壓縮性能的JPEG2000[5]標(biāo)準算法納入到核心無損壓縮框架中，這類方法的壓縮比相對最高，算法相對復(fù)雜。還有一些新型壓縮算法，例如基于矢量量化[6]、分形理論[7]以及人工神經(jīng)網(wǎng)絡(luò)理論[8]等壓縮方法，復(fù)雜度太高，很少用于紅外圖像壓縮。

1 紅外圖像特性分析

為了深入認識連續(xù)紅外圖像[9]的相關(guān)性，本文用高德紅外相機在外灘對著江面上緩慢行駛的游輪進行拍攝，對其中45幀連續(xù)的圖像進行了分析。圖像尺寸為256×320，采樣精度為14bit，用16bit存儲，原圖像大小為160KB。下面我們來看看它的相關(guān)性。

1.1 空間相關(guān)性分析

空間相關(guān)性是指圖像內(nèi)某像素與相鄰像素間的相似性，用自相關(guān)系數(shù)來衡量，定義式為：

式中：(1,)為圖像像素水平垂直方向的間距；(,)是圖像灰度函數(shù)；(,)為空間坐標(biāo)；為圖像尺寸；f為圖像灰度的平均值，即：

取不同的、值的組合，得到不同空間位置像素之間的相關(guān)性大小(,)。對45幅連續(xù)的紅外圖像，分別計算＝0、＝1（左右相鄰）、＝0、＝1（上下相鄰）和＝＝1（45°角）的自相關(guān)系數(shù)以及＝＝1, 2, 4（相同方向不同間距）的自相關(guān)系數(shù)，結(jié)果分別如圖1所示。

圖1 自相關(guān)性系數(shù)曲線

由圖1(a)可知，相鄰像素相關(guān)性較高，都在0.9以上，左右相鄰的像素的相關(guān)性最高，這是由于我們的探測器在垂直方向上有比較大的非均勻性。由圖1(b)可知，隨著像素之間距離變大，自相關(guān)系數(shù)快速減小。由此可知，紅外圖像具有較強的空間相關(guān)性，其中左右相鄰的像素之間的相關(guān)性最大，像素間的間距越大，相關(guān)性越小。

1.2 時間相關(guān)性分析

連續(xù)的幀序列像素間的相關(guān)性（也稱時間相關(guān)性）是指兩幀圖像在同一空間位置上的像素間的相似性，用互相關(guān)系數(shù)來衡量，定義式為：

用同樣的思路，我們對緩慢進站的列車、天空中緩慢移動的云以及樓頂飛過的飛機等連續(xù)紅外圖像做了相關(guān)性分析。得到統(tǒng)一的結(jié)論：單幀圖像具有較強的空間相關(guān)性，其中左右相鄰的像素之間的相關(guān)性最強；連續(xù)幀序列具有極強的時間相關(guān)性，互相關(guān)系數(shù)都在0.9以上。

2 紅外圖像無損壓縮系統(tǒng)

經(jīng)比較分析，同時綜合考慮實際應(yīng)用的需求，本設(shè)計采用西安電子科技大學(xué)開發(fā)的一款高速圖像壓縮ASIC芯片（雅芯天圖）與Xilinx公司的VIRTEX-5系列的FPGA來實現(xiàn)圖像壓縮系統(tǒng)。系統(tǒng)框圖如圖3所示。

圖2 互相關(guān)系數(shù)曲線

圖3 壓縮系統(tǒng)框架

數(shù)據(jù)采集板對相機拍攝的圖像按照一定的格式打包并通過LVDS接口送到轉(zhuǎn)接板，在轉(zhuǎn)接板中將數(shù)據(jù)解包緩存于SDRAM中，對要壓縮的圖像進行預(yù)測去相關(guān)并將預(yù)測殘差轉(zhuǎn)化成壓縮芯片要求的數(shù)據(jù)格式，通過LVDS接口（LVDS25電平，最高傳輸速率達200MHz）送到壓縮板經(jīng)雅芯天圖芯片壓縮，壓縮碼流經(jīng)LVDS接口送回轉(zhuǎn)接板再通過RS422串口送到PC機通過解壓縮軟件解壓重構(gòu)圖像，同時PC機還可以通過USB對壓縮芯片進行配置。

2.1 設(shè)計預(yù)測器

預(yù)測器去相關(guān)的基本思想是建立在圖像具有一定相關(guān)性的基礎(chǔ)之上，選擇相關(guān)像素對當(dāng)前像素進行預(yù)測，然后用真實值減去預(yù)測值得到數(shù)據(jù)量較小的預(yù)測殘差可以實現(xiàn)壓縮。預(yù)測器的性能越好，預(yù)測值越接近真實值，預(yù)測殘差就越小，壓縮效果也越好。無損壓縮中，預(yù)測編碼是去除圖像相關(guān)性的重要手段，常用的預(yù)測器主要有線性預(yù)測器和非線性預(yù)測器兩種。非線性預(yù)測器可以將圖像分成小塊，根據(jù)鄰域像素模板的平坦程度設(shè)計不同的預(yù)測函數(shù)，因而其預(yù)測效果比線性預(yù)測器好，但算法復(fù)雜度也相對較高。本系統(tǒng)可以通過對轉(zhuǎn)接板上的FPGA編程來設(shè)計預(yù)測器，對圖像進行預(yù)測去相關(guān)。項目要求壓縮系統(tǒng)的整體算法復(fù)雜度低，因此我們選用線性預(yù)測器?？紤]到系統(tǒng)的普適性，并結(jié)合前面對圖像相關(guān)性的分析，針對圖像的空間相關(guān)性和時間相關(guān)性，我們設(shè)計了兩個簡單的預(yù)測器。對于第一幀參考圖像，我們進行幀內(nèi)預(yù)測。由于圖像左右相鄰的像素之間相關(guān)性最大，以第一列為參考，之后每一個像素用它左邊的像素來預(yù)測。圖像的幀間預(yù)測最簡單的方法是直接用當(dāng)前幀的像素灰度值減去前一幀圖像的灰度值，即選擇前一幀圖像對應(yīng)位置的灰度值作為當(dāng)前處理幀的預(yù)測值，該方法也稱為幀間差分編碼。本項目的紅外弱小目標(biāo)圖像中，目標(biāo)的運動量很小并且空間細節(jié)少，所以幀間差分編碼的效率很高。因此對于相鄰幀的圖像，我們以第一幀為參考，之后每一幀圖像的像灰度值直接用前一幀同一空間位置上的灰度值來預(yù)測。用實際圖像的灰度值減去預(yù)測值得到預(yù)測誤差。對以上預(yù)測誤差進行了分布統(tǒng)計，如圖4所示，圖4(a)是幀內(nèi)預(yù)測誤差分布情況，圖4(b)是幀間預(yù)測誤差分布情況。

圖4 預(yù)測誤差的分布

可以看出，預(yù)測誤差以0為中心對稱分布。原圖像的灰度值范圍是（3, 2155），幀內(nèi)預(yù)測誤差的絕對值范圍是（0, 659），幀間預(yù)測誤差的絕對值范圍是（0, 189），灰度值的動態(tài)范圍大大降低。

由于我們的專用壓縮芯片只支持無符號數(shù)輸入，所以對得到的誤差值需要將負數(shù)映射為正數(shù)，我們對預(yù)測殘差進行直流平移，即將誤差值整體加上一個值，使最小值變?yōu)?。

2.2 高速圖像壓縮芯片

雅芯天圖是西電面向航天遙感應(yīng)用開發(fā)的一款基于JPEG2000國際標(biāo)準壓縮算法的專用壓縮芯片，主要功能是完成高速圖像數(shù)據(jù)的實時壓縮編碼處理。它支持四級9/7或5/3小波變換，支持的圖像像素位深為8～16bit，支持從無損到有損任意碼率的壓縮。相比于ADI公司的具有較好性能的圖像壓縮芯片ADV212，該芯片的數(shù)據(jù)處理能力（120MSPS）提高了近兩倍（ADV212最高數(shù)據(jù)處理能力為65MSPS[10]）。圖5為雅芯天圖芯片的接口關(guān)系，通過配置接口，將芯片工作所需各個參數(shù)傳輸給芯片內(nèi)部的壓縮模塊，實現(xiàn)圖像的壓縮。

圖5 專用壓縮芯片的內(nèi)部接口關(guān)系

2.3 JPEG2000算法

JPEG2000作為新一代靜止圖像壓縮標(biāo)準，2000年，由國際標(biāo)準化組織（ISO）和國家電信聯(lián)盟（ITU）正式出臺。其杰出的圖像編碼性能和眾多吸引人的特性使其被廣泛應(yīng)用于移動通信，醫(yī)學(xué)圖像，衛(wèi)星遙感等多個領(lǐng)域。圖6為JPEG2000編碼的基本結(jié)構(gòu)。

編碼器假定輸入數(shù)據(jù)有一個標(biāo)準的動態(tài)范圍，并且以零為中心，預(yù)處理過程就是讓這個假設(shè)能夠?qū)崿F(xiàn)。預(yù)處理主要是將源圖像劃分為較小的矩形區(qū)域，稱為拼接塊，作為獨立的圖像用于壓縮。目的是為了降低壓縮過程所需的內(nèi)存資源。降低量級可以使樣本的動態(tài)范圍基本關(guān)于零對稱，使在進行離散小波變換后的系數(shù)的動態(tài)范圍不會過大，有利于編碼[11]。比如一個像素位深為的無符號灰度圖像，其輸出動態(tài)范圍是[0, 2－1]，如果將每一個像素值減去2－1，就能得到動態(tài)范圍以零為中心的標(biāo)準動態(tài)范圍。對每個拼接塊做離散小波變換，變換的目的是去除圖像的全局相關(guān)性，有利于后面的編碼從而大幅提高壓縮效率。為了實現(xiàn)無損壓縮，小波變換選用可逆的整數(shù)-整數(shù)的5/3變換。變換后的系數(shù)不能進行量化，所以無損模式?jīng)]有量化操作。為了對小波變換后的系數(shù)進行編碼，這里采用優(yōu)化截斷嵌入塊編碼（EBCOT）[12]。第一級編碼按照位平面編碼的次序經(jīng)過三個通道進行基于上下文的自適應(yīng)二進制算術(shù)編碼。第二級編碼即分層打包形成碼流，壓縮后的碼流結(jié)構(gòu)和JPEG標(biāo)準大體上一致。

2.4 實驗結(jié)果分析

為了說明本方案的壓縮效果，我們對不同復(fù)雜度的連續(xù)紅外圖像采用直接通過專用壓縮芯片壓縮和基于預(yù)測和JPEG2000相結(jié)合的方法壓縮，比較壓縮效果如表1所示。從表1可知，對于不同復(fù)雜度的紅外圖像，本文提出的壓縮方案均比直接用JPEG2000算法的壓縮比高，壓縮比最高可達7.2094。相比于單純用JPEG2000壓縮算法，本方案能有效提高壓縮比59%倍以上。

表1 兩種壓縮方案的比較

通過線性預(yù)測有效去除了圖像像素之間的相關(guān)性，對獲得的殘差圖像進行JPEG2000壓縮，壓縮效果得到了很大的提高。對于實際紅外圖像序列，選擇第一幀圖像為參考圖像進行幀內(nèi)預(yù)測，其后每一幀以前一幀為參考進行幀間預(yù)測。為了控制壓縮的出錯率，將每15幀圖像作為一組，即第16幀圖像作為新的第一幀參考圖像重復(fù)上述預(yù)測，如此循環(huán)，可以實現(xiàn)較好的壓縮效果，滿足實際工程的應(yīng)用要求。

圖6 JPEG2000算法基本框圖

3 紅外圖像重構(gòu)

為了方便后續(xù)對原圖像進行處理和分析，我們需要對采集的壓縮碼流進行解壓縮。本系統(tǒng)是在PC機上用與雅芯天圖壓縮芯片配套的解壓縮軟件來實現(xiàn)圖像的解壓縮。解壓縮是壓縮的逆過程，如圖7所示。

圖7 解壓縮過程

3.1 JPEG2000解碼

本實驗是將壓縮碼流傳送到PC機端，用與專用高速圖像壓縮芯片配套的解壓縮軟件對碼流進行解壓縮，得到解碼后的殘差圖像來重構(gòu)原圖像。由于殘差圖像進行平移處理之后才進行JPEG2000壓縮，所以解碼出來的殘差圖像要減去一個平移量。這個平移量我們會通過轉(zhuǎn)接板送到PC端。

3.2 線性逆預(yù)測

由于專用高速壓縮芯片支持有損，無損和直通三種壓縮模式。為了實現(xiàn)逆預(yù)測，我們需要將第一幀參考圖像的第一列像素值通過直通模式發(fā)送到解壓端，結(jié)合第一幀殘差圖像我們可以還原第一幀參考圖像，再通過其他殘差圖像可以依次重構(gòu)其他的圖像。

理論上，無損壓縮是完全無失真的壓縮，重構(gòu)圖像應(yīng)該跟原始圖像完全一樣。為了準確驗證重構(gòu)效果，以原始圖像和重構(gòu)圖像之間的均方誤差（MSE）作為評價指標(biāo)。MSE的定義式如下：

分別計算每一幀重構(gòu)圖像和原始圖像間均方誤差，結(jié)果都為0，說明該系統(tǒng)實現(xiàn)的壓縮過程確實是無損壓縮。

4 結(jié)論

紅外圖像壓縮是紅外探測應(yīng)用中的關(guān)鍵技術(shù)。為滿足項目對壓縮系統(tǒng)小體積、高性能、低復(fù)雜度的要求，提出用FPGA＋ASIC作為硬件平臺來搭建無損壓縮系統(tǒng)，在兼顧系統(tǒng)低復(fù)雜度的情況下采用集成了性能較好的JPEG2000算法的高速圖像壓縮芯片，為提高系統(tǒng)壓縮性能提供了基礎(chǔ)。針對紅外圖像序列有很強相關(guān)性的特點，提出了基于預(yù)測和JPEG2000相結(jié)合的無損壓縮方案，并在硬件平臺上取得了較好的壓縮效果。實驗結(jié)果表明：與JPEG2000壓縮方法相比，本文提出的基于預(yù)測和JPEG2000相結(jié)合的紅外圖像無損壓縮方法利用簡單的線性預(yù)測去除紅外圖像的空間和時間相關(guān)性，使壓縮比提高了59%以上。在其他紅外探測應(yīng)用中，根據(jù)獲取的紅外圖像的相關(guān)性特性，可以設(shè)計相對復(fù)雜、更有針對性的預(yù)測器對圖像進行預(yù)測去相關(guān)，這樣可以取得更好的壓縮效果。

[1] BLACK S H, SESSLER T, GORDON E, et al. Un-cooled detector development at Raytheon[C]//,,, 2011, 8012: 80121A-80121A-12.

[2] GERA Y, WANG Z, SIMON S, et al. Fast and context-free lossless image compression algorithm based on JPEG-LS[C]//(DCC),, 2012: 396-396.

[3] 孫韶杰. 基于EBCOT的圖像壓縮系統(tǒng)及感興趣區(qū)域編碼技術(shù)的研究與實現(xiàn)[D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2006.

SUN Shao-jin. The Research and Implementation of Image Compression System based on EBCOT and ROI Coding Technology [D]. Changsha: National University of Defense Technology, 2006.

[4] SWELDENS W. The lifting scheme: a construction of second generation wavelets[J]., 1998, 29(2): 511-546.

[5] TAUBMAN D, MARCELLIN M.2000:,[M]. Springer Science & Business Media, 2012.

[6] 喻言. 基于塊自適應(yīng)殘差矢量量化的SAR圖像壓縮[J]. 系統(tǒng)仿真學(xué)報, 2014(8): 029.

YU Yan, SAR Image compression based on block adaptive residual vector quantization[J]., 2014(8): 029.

[7] 郭蕾, 李東輝, 繆志甫. 結(jié)合壓縮感知理論的快速分形編碼[J]. 計算機工程與設(shè)計, 2012, 33(9): 3494-3497.

GUO Lei, LI Dong-hui, LIAO Zhi-pu. Fractal coding combine with compress sensing [J]., 2012, 33(9): 3494-3497.

[8] 武妍, 萬偉. 基于遺傳算法設(shè)計和訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的方法[J]. 紅外與毫米波學(xué)報, 2007, 26(1): 65-68.

WU Yan, WAN Wei, Method on design and training of artificial neural network based on genetic algorithm[J]., 2007, 26(1): 65-68.

[9] 周強, 白廷柱, 劉明奇, 等. 基于可見光圖像的近紅外場景仿真[J].紅外技術(shù), 2015, 37(1): 11-15.

ZHOU Qiang, BAI Ting-zhu, LIU Ming-qi, et al. Near infrared scene simulation based on visual image[J]., 2015, 37(1): 11-15.

[10] FAN X, HU B, LI Z, et al. Real-time compression system research based on DMD hadamard transform spectrometer[J]., 2010, 7: 297-303.

[11] 高勇, 尹琦, 李存華. JPEG2000 編碼方案和結(jié)構(gòu)劃分研究[J]. 計算機與信息技術(shù), 2007, 12: 16.

GAO Yong, YIN Qi, LI Cun-hua, Study of JPEG2000 coding scheme and structure division[J]., 2007, 12: 16.

[12] LIAN C J, CHEN K F, CHEN H H, et al. Analysis and architecture design of block-coding engine for EBCOT in JPEG 2000[J]., 2003, 13(3): 219-230.

Lossless Compression of Infrared Image Based on Prediction and JPEG2000

YANG Xue，CHEN Fansheng

(Shanghai Institute of Technical Physics, Chinese Academy of Science, Shanghai 200083, China)

Among the various IR image compression methods, the standard compression algorithm JPEG2000 has better compression effect. A new compression scheme based on prediction and JPEG2000 is presented by analyzing the correlation of continuous IR image sequences. A low-complexity, high-performance, real-time compression system is realized based on FPGA and ASIC. The experimental results show that the average lossless compression ratio of continuous IR image sequences is 4.516, which is improved by more than 59% compared with JPEG2000.

infrared image，spatial correlation，inter-frame correlation，linear prediction，JPEG2000，lossless compression

TN216，V443＋.1

A

1001-8891(2016)02-0144-05

2015-10-22；

2015-11-23.

楊雪（1991-），女，湖北武漢人，碩士研究生，主要研究方向為空間大面陣紅外探測數(shù)據(jù)的壓縮。E-mail：angelayx@mail.ustc.edu.cn。

陳凡勝（1978-），男，山東鄒城人，研究員，主要研究方向空間紅外弱小目標(biāo)探測。E-mail：cfs@mail.sitp.ac.cn。

國家863項目（2015AA7031089D）。