面向圖像集復合質(zhì)量的壓縮采樣分配算法

李康達，劉 浩，王 冰，孫曉帆，張鑫生

東華大學 信息科學與技術學院，上海 201620

1 引言

近年來，隨著新型無人機的迅速發(fā)展，航拍成像技術受到了日益廣泛的關注?；跓o人機的航拍圖像具有目標變化快、圖像細節(jié)豐富、資源消耗大等特點。傳統(tǒng)的航拍圖像處理系統(tǒng)通常基于奈奎斯特采樣定律，以至少兩倍于信號最高頻率的速率進行采樣，然后通過JPEG或JPEG2000等編碼器實現(xiàn)有效的壓縮存儲。近期的研究表明，壓縮感知（Compressive Sensing，CS）理論[1-3]突破了奈奎斯特采樣定律[4]的局限，以欠奈奎斯特速率采樣的CS測量值仍然可以有效恢復，大大降低了圖像采集成本，為航拍圖像的處理提供了新的選擇。

根據(jù)CS理論，若原始信號是稀疏的，則能夠在采樣的同時對信號進行壓縮，且只需要少量的測量值就能對信號進行高概率的無失真重構(gòu)。如果原始信號X在變換域是K階稀疏的，那么就可以構(gòu)造一個與變換基ΨN×N不相關的測量矩陣 ΦM×N={φ1,φ2,…,φM}T，對信號X進行線性測量，方式如下：Y=ΦX=ΦΨs=θs，其中Y（長度M）是信號X（長度N,M＜＜N）通過測量獲得的測量值，將η=M/N定義為采樣率，θM×N=Φ×Ψ稱為觀測矩陣。對于所得的測量值，只要測量矩陣滿足約束等距性（Restricted Isometry Property，RIP）條件[5]，則最少只需通過K lg(N/K)個測量值可將N維信號的K個最大值穩(wěn)定地重建出來，即根據(jù)求解l1范數(shù)約束最優(yōu)化問題，由測量值Y和觀測矩陣反推出原始信號X的估計值，再通過OMP（Orthogonal Matching Pursuit）、GPSR（Gradient Projection for Sparse Reconstruction）等重構(gòu)算法精確地恢復原始信號。從上述過程可以看出，壓縮感知系統(tǒng)的測量端比較簡單，重構(gòu)端則較為復雜，這樣的特性契合航拍成像分析的需求。因此如何將壓縮感知與航拍系統(tǒng)結(jié)合起來是一個新興的課題。面向航拍成像的CS應用也面臨著挑戰(zhàn)，當處理大尺寸圖像時，測量矩陣的存儲就需要巨大的內(nèi)存，且解碼時間也會隨著圖像尺寸的增加呈現(xiàn)冪指數(shù)的增長。為了解決此類問題，Candes等人[6]提出了分塊壓縮感知（Block Compressive Sensing，BCS）框架：對原始圖像分塊進行測量，并構(gòu)造相同的測量矩陣對圖像塊進行單獨測量及聯(lián)合重構(gòu)。因為圖像塊的尺寸比較小，所以可以解決內(nèi)存消耗大以及計算復雜度高等問題。

一些學者在分塊測量方面對BCS算法進行了改進。Zhu等人在文獻[7]中提出了基于聯(lián)合重建加權(quán)的BCS算法，首先用一個較低的采樣率去預恢復圖像，根據(jù)預恢復后圖像的統(tǒng)計參數(shù)，再對圖像塊進行采樣率的自適應分配，重新進行壓縮感知編碼，最終提高圖像質(zhì)量。Wang等人在文獻[8]中設計了一種基于紋理特征的塊分割圖像采樣算法，首先提取圖像塊的紋理信息，在此基礎上將圖像劃分為平滑塊和紋理塊，并以此分配采樣率以提高圖像的整體質(zhì)量。進一步地，李然等人[9]提出在保證圖像質(zhì)量的前提下，利用隨機測量矩陣的統(tǒng)計特性，將圖像塊方差計算由像素域轉(zhuǎn)移到測量域中進行，避免了在采集端對原始圖像的依賴。此外，Zheng等人[10]提出了一種基于邊緣檢測的自適應塊壓縮感知算法，利用分塊壓縮感知的特性，根據(jù)塊紋理梯度來分配采樣率，在圖像塊復雜度差別較大的情況下具有一定優(yōu)勢。Sun等人在文獻[11]中，利用每個像素與其8連通區(qū)域的最大梯度，測量像素的紋理變化，然后根據(jù)紋理變化分布進行采樣率的自適應分配，在低速率采樣狀態(tài)下較好地抑制了失真。

上述BCS算法沒有考慮如何在不同圖像之間進行測量資源的分配。現(xiàn)有的測量機制主要利用在一幅圖像內(nèi)各分塊的空域相關性，而不同圖像之間缺少這種相關性，因此難以提升圖像集的整體重構(gòu)質(zhì)量。在獲取航拍圖像集時，現(xiàn)有系統(tǒng)通常只使用固定的平均采樣率對目標圖像進行拍攝，這樣獲得的圖像集常常由于不同圖像的質(zhì)量差距較大，無法符合后續(xù)的應用需求。Wang等人[12]提出了基于塊類型的壓縮采樣（Type-based Compressive Sampling，TCS）算法，其核心思想可以從塊層次推廣到圖像層次：先將圖像分成三種類型，再為各類型的圖像設定固定比例的采樣率。實際上，采樣率自適應的思想除了用于提高單幅圖像的成像質(zhì)量外，在其他圖像處理領域也有應用。文獻[13]將自適應采樣算法應用于單探測器毫米波合成孔徑成像，與傳統(tǒng)算法相比，具有收斂速度快，生成目標可靠等特點。

綜上所述，采樣率分配的思想運用到圖像集這一層面上也具有實際意義。為了評估航拍圖像集的整體重構(gòu)質(zhì)量，本文首先建立了一個圖像集復合質(zhì)量的評價指標，并提出了一個基于圖像方差模型的壓縮采樣分配（Variation-based Sampling Allocation，VSA）算法，使航拍圖像集的整體重構(gòu)質(zhì)量得到普遍提升。

2 圖像集的復合質(zhì)量

每個航拍圖像集通常需要執(zhí)行特定的目標識別任務，宜將圖像集的所有圖像進行整體考慮。根據(jù)航拍圖像集的通用需求，首先應明確如何評估一個圖像集的整體重構(gòu)質(zhì)量。在圖像處理中，峰值信噪比（Peak Signal to Noise Ratio，PSNR）一般用來評價經(jīng)過處理后的圖像質(zhì)量。在航拍圖像集中，對于多幅圖像的不同PSNR，并不適合直接進行平均運算，需要進行一定的擴展。對于同一圖像集，為了便于后續(xù)的整體處理，本文強調(diào)兩種圖像質(zhì)量的疊加：第一種是平均失真“PSNRa”，用于測量同一個圖像集中所有圖像的平均質(zhì)量；第二種是最差圖像質(zhì)量“PSNRm”，用于測量一個圖像集中質(zhì)量最差的圖像。若圖像集中總共有I幅圖像，將各個圖像設定成統(tǒng)一的大小，MSEi表示第i幅原始圖像與其重構(gòu)圖像之間的均方誤差。圖像集的均方誤差表示為：

其中，n為表示像素點的比特位數(shù)；PNSR(i)表示第i幅原始圖像與其重構(gòu)圖像之間的峰值信噪比。在本文中，圖像集的最差圖像質(zhì)量“PSNRm”定義如下：

為了保證所有圖像的平均質(zhì)量，需要增加PSNRa，以提高資源的利用效率[14]；為了讓質(zhì)量最差的圖像也能夠得到一定的資源，需要提高PSNRm，以提高資源利用的公平性[15]。在有限的采樣資源約束下，PSNRa高但PSNRm低，或者PSNRa低但PSNRm高，都不適合后續(xù)的目標識別任務，有必要對兩種質(zhì)量進行加權(quán)平均。作為PSNRa和PSNRm的一個線性組合，圖像集的復合質(zhì)量“Ph”定義如下：

其中，加權(quán)因子“λ∈[0,1]”表示PSNRa分量的相對重要性。為了兼顧采樣資源使用的效率和公平，PSNRa和PSNRm應具有類似的重要性。雖然λ的合理選擇是開放性的，實用的策略是將加權(quán)因子設置為一個固定值。由于PSNRa和PSNRm具有一個類似的量級，一般而言，“λ=0.5”是一個簡單而合理的折衷點。假定η是每個測量集的平均采樣率，總的采樣資源等于各采樣率的總和，即“I×η”。該優(yōu)化問題是如何尋求總采樣資源的分配策略，最大程度地增加復合質(zhì)量Ph。若η(i)表示第i幅圖像的采樣率，上述優(yōu)化問題可以表述為：

下面將研究如何在一個圖像集中為不同的圖像合理地分配采樣率，從而找出能使復合質(zhì)量Ph最大化的分配策略，即。

3 現(xiàn)有算法分析

在對圖像集的每幅圖像逐一進行壓縮感知編碼時，傳統(tǒng)方法一般會采用一個固定的平均采樣率η，本文將其命名為Baseline算法，即：

假設X1,X2,…,Xi,…,XI表示圖像集中的不同圖像，Baseline算法的基本流程如圖1所示。

圖1 Baseline算法的流程圖

基于無人機的航拍圖像具有目標變化快的特點，那么同一個圖像集中就容易產(chǎn)生信息量差距較大的圖像，此時若使用Baseline算法，對所有圖像采取相同采樣率，就容易使獲得的圖像在重構(gòu)之后質(zhì)量相差較大，使得部分質(zhì)量太低的圖像無法使用，造成圖像集的整體重構(gòu)質(zhì)量較低。

為改善上述問題，引言中提到的TCS算法可以將一個圖像集的圖像分成三類，對不同類型的圖像分配固定的采樣率。在保持總采樣率不變的前提下，為了提高整體圖像的恢復質(zhì)量，圖像集中相對較平滑的圖像只需要分配較低的采樣率就能較好地恢復，而紋理圖像由于包含的細節(jié)較多，需要較高的測量率才能滿足要求，其余的圖像則分配一個相對中等的采樣率。在實驗過程中發(fā)現(xiàn)，若單純按照TCS算法對圖像進行壓縮采樣，重構(gòu)圖像集的復合質(zhì)量并未得到明顯的提升。實際上，一個圖像集中的圖像可以看作一種在某個區(qū)間內(nèi)的隨機變量，而TCS算法只將圖像類型限定在三種，造成過于粗糙的采樣資源分配結(jié)果。

4 基于圖像方差模型的壓縮采樣分配

本文通過實驗發(fā)現(xiàn)圖像的復雜程度與圖像方差之間呈現(xiàn)一定的線性關系，VSA算法可以用于解決采樣率分配過大或過小的問題。若將圖像集中的圖像按照相對復雜程度進行更加均勻的劃分，則可以更加有效地提升圖像集的復合質(zhì)量。若pj表示圖像像素 j,N表示圖像尺寸，VSA算法的圖像方差模型采用如下公式計算某一圖像i的相對復雜度：

式中，Di表示圖像集中當前采樣圖像i的方差。Dmin和Dmax由預測量過程獲得，在進行壓縮采樣之前，預先從圖像集中隨機選取I′=10幅圖像組成預測量圖像集，分別計算其中各個圖像方差。Dmin表示預測量圖像集中圖像的最小方差；Dmax表示預測量圖像集中圖像的最大方差；β是為了將圖像集方差信息映射成圖像復雜程度的一個參數(shù)，其值通過預測量圖像集獲得：

其中，D′i表示預測量圖像集中圖像的方差；δi表示當前圖像i在圖像集中的相對復雜程度。再根據(jù)如下的壓縮采樣分配算法為圖像集的不同圖像分配相應的采樣率：

其中，η是平均采樣率。為了防止較大的誤差以及補償誤差能量，此處引入了系數(shù)α，對不同圖像集，系數(shù)需要根據(jù)相應的預測量圖像集進行確定。整個VSA算法的運行過程如圖2所示。

圖2 VSA算法的流程圖

采樣率的改變，實際上是對測量矩陣的大小進行了調(diào)整[16]，在測量矩陣中原本的 M=N×η，經(jīng)過VSA算法調(diào)整為新的測量矩陣，M'=N×η'，即壓縮采樣過程可以通過如下公式進行描述：

后續(xù)實驗將表明，采用VSA算法重構(gòu)的航拍圖像集能夠獲得更高的復合質(zhì)量。

5 實驗結(jié)果與分析

為了測試所提VSA算法的性能，在BCS框架下，本文分別采用Baseline、TCS、VSA算法對航拍圖像進行壓縮感知編碼，并采用圖像集復合質(zhì)量的評估準則對整體圖像質(zhì)量進行比較分析。待測的航拍圖像選自NWPURESISC45圖像數(shù)據(jù)庫[17]，該數(shù)據(jù)庫包含的圖像集高達45個，根據(jù)拍攝圖像的主體對象進行圖像集的劃分。BCS框架的分塊尺寸選取性能較為均衡的32×32像素，稀疏變換基選取目前在圖像重構(gòu)上性能較優(yōu)的雙樹復小波變換基（DDWT），測量矩陣采用高斯隨機矩陣，恢復時均采用通用的平滑蘭德韋伯投影算法[18]，由于測量矩陣的隨機性，對每種采樣率重復實驗5次，取平均值作為最終的實驗結(jié)果。實驗仿真的硬件平臺為主頻3.3 GHz的Intel i5 CPU，軟件平臺為64位的Windows 7操作系統(tǒng)和Matlab 2016b仿真軟件。

5.1 模型參數(shù)的確定

實驗在NWPU-RESISC45圖像數(shù)據(jù)庫中選取了Bridge、Island和Forest三個航拍圖像集作為待測圖像集，每個圖像集內(nèi)包含700幅大小統(tǒng)一為256×256的圖像，本文使用這三個圖像集來測試所提VSA算法的性能，評測指標是重構(gòu)圖像集的復合質(zhì)量Ph。算法首先確定模型參數(shù)，α通常應小于0.8，以防止測量率的溢出。實驗隨機選取各個圖像集中的10幅圖像進行預測量，獲得不同α參數(shù)對于VSA算法性能的影響，如表1～表3所示。

表1 Bridge圖像集不同α參數(shù)的復合質(zhì)量P h對比

表2 Island圖像集不同α參數(shù)的復合質(zhì)量P h對比

表3 Forest圖像集不同α參數(shù)的復合質(zhì)量P h對比

從上述表中可以得出，Bridge和Forest圖像集中α取0.1時可以得到最佳的圖像集復合質(zhì)量，而對Island來說，α取0.7時獲得最佳的圖像集復合質(zhì)量。VSA算法針對相應航拍圖像集的模型參數(shù)結(jié)果如表4所示。

表4 VSA算法的模型參數(shù)

5.2 不同算法的性能比較

實驗選取Bridge、Island和Forest航拍圖像集作為待測圖像集，性能指標是重構(gòu)圖像集的復合質(zhì)量Ph，采用上文所述的三種測量分配算法進行實驗，結(jié)果如表5所示。從表中可以看出，與固定采樣率的Baseline算法相比，TCS算法和VSA算法在不同平均采樣率下均獲得了一定的質(zhì)量提升。由于VSA算法分配采樣率時采用了更加精細的圖像分類策略，能更好地針對圖像集的特征調(diào)整采樣率，與TCS算法相比，其復合質(zhì)量Ph進一步增加了0.1～0.4 dB，獲得了實驗中最佳的算法性能。

表5 不同算法的復合質(zhì)量P h對比

圖3 不同算法的PSNR m（Bridge圖像集）

圖4 不同算法的PSNR m（Island圖像集）

圖5 不同算法的PSNR m（Forest圖像集）

圖6 不同算法的PSNR a（Bridge圖像集）

圖7 不同算法的PSNR a（Island圖像集）

圖8 不同算法的PSNR a（Forest圖像集）

圖3 ～圖8展示了Baseline、TCS、VSA算法對于三個測試圖像集的PSNRm、PNSRa隨平均采樣率變化的情況。從圖中可以看到，在不同的平均采樣率下，PSNRm、PNSRa均獲得了不同程度的提升，結(jié)合表5，說明所提算法通過更加精細的壓縮測量分配策略，在提升復合質(zhì)量Ph的基礎上，也提升了性能指標PSNRm、PNSRa的值。

6 結(jié)論

本文針對航拍圖像集的壓縮采樣分配算法進行了研究，首先提出了圖像集復合質(zhì)量的評價標準，通過實驗建立了基于圖像方差模型的壓縮采樣分配算法，并與傳統(tǒng)算法進行了對比。實驗表明，相比于傳統(tǒng)算法，所提算法通過為圖像集中的不同圖像分配相應的采樣率，能夠更有效地提升航拍圖像集的整體重構(gòu)質(zhì)量，具有一定的應用價值。