基于稀疏分解和預(yù)濾波處理的機(jī)載SAR圖像超分辨率重建

王 昕，崔 燁，宋曉眾

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

作為一種經(jīng)典的二維高分辨率遙感測繪成像系統(tǒng)，合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）［1］在過去幾十年得到了迅速的發(fā)展和應(yīng)用。 SAR 圖像分辨率的高低會(huì)直接影響后續(xù)目標(biāo)檢測、識(shí)別以及分類等處理的性能。 因此，改善系統(tǒng)成像分辨率一直是該領(lǐng)域的重要研究方向之一。 低分辨率的圖像經(jīng)過系列處理得到高分辨率圖像的過程也即超分辨率重建的過程。 結(jié)合圖像的去噪算法［2－3］，可以廣泛應(yīng)用在衛(wèi)星成像、目標(biāo)檢測等多個(gè)領(lǐng)域。 近年來，隨著對(duì)機(jī)器學(xué)習(xí)技術(shù)的深入研究，光學(xué)圖像的超分辨率重建性能得到了改善。 2014 年，Dong 等［4－5］學(xué)者首次在光學(xué)圖像的超分辨率處理任務(wù)中使用深度學(xué)習(xí)的方法，提出了以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）為根基的超分辨率網(wǎng)絡(luò)架構(gòu)（Super-Resolution CNN，SRCNN），實(shí)現(xiàn)了新的突破。 后續(xù)更多基于深度學(xué)習(xí)的框架被提出，殘差結(jié)構(gòu)［6－7］、密集連接［8］、跳躍連接等結(jié)構(gòu)被加入到網(wǎng)絡(luò)框架中，使超分辨率重建結(jié)果得到了大幅提升。 但是，上述深度學(xué)習(xí)訓(xùn)練模型直接應(yīng)用于實(shí)際雷達(dá)圖像的超分辨率處理時(shí)效果并不好。

此外，也有學(xué)者在SAR 圖像處理領(lǐng)域應(yīng)用這些針對(duì)光學(xué)圖像處理的超分辨率算法。 其中，文獻(xiàn)［9－10］應(yīng)用生成對(duì)抗模型的超分辨率網(wǎng)絡(luò)架構(gòu)（Super-Resolution Generative Adversarial Network，SRGAN）對(duì)Terra-SAR 圖像進(jìn)行超分辨率重建結(jié)果。文獻(xiàn)［11－12］結(jié)合極化信息設(shè)計(jì)實(shí)現(xiàn)了全極化復(fù)數(shù)SAR 圖像的超分辨率重建。 然而，這些研究需要構(gòu)建大量的雷達(dá)遙感圖像進(jìn)行訓(xùn)練，無法處理相干斑噪聲以及模糊核不匹配造成的重建性能下降。

針對(duì)上述問題，本文提出了一種基于預(yù)濾波處理的SAR 圖像超分辨率重建流程。 其中，對(duì)現(xiàn)有超分辨率機(jī)器學(xué)習(xí)模型重建SAR 圖像效果不理想的原因進(jìn)行了分析，研究了相干斑噪聲、加性噪聲以及模糊核不匹配對(duì)重建性能的影響。 然后，基于圖像稀疏分解以及模糊核校正實(shí)現(xiàn)了實(shí)測低分辨率SAR 圖像的預(yù)濾波處理，使其適用于已有的光學(xué)圖像超分模型，改善圖像重建性能同時(shí)實(shí)現(xiàn)相干斑抑制。

1 雷達(dá)圖像模型

雷達(dá)發(fā)射線性調(diào)頻脈沖信號(hào)［13］，接收經(jīng)系統(tǒng)函數(shù)和后向散射系數(shù)作用后的回波信號(hào)，并對(duì)信號(hào)處理后得到SAR 圖像。 雷達(dá)圖像本質(zhì)上是被照射場景目標(biāo)的距離投影，圖像中包含的信息是地面目標(biāo)對(duì)雷達(dá)波束的反射信息。

當(dāng)線性調(diào)頻信號(hào)作為發(fā)射信號(hào)時(shí)，回波信號(hào)可表示為

其中，t代表距離向的時(shí)間，又稱為快時(shí)間，γ為方位向上的時(shí)間，也稱為慢時(shí)間，c代表光速，調(diào)頻斜率由Kp表示，散射系數(shù)由σ表示。

對(duì)以上回波信號(hào)進(jìn)行成像處理，可以得到SAR圖像為

其中，Wr和Wa分別距離向和方位向窗函數(shù)。 由式（2）可以發(fā)現(xiàn)，SAR 復(fù)數(shù)圖像可以視為理想高分辨率回波信號(hào)二維頻譜經(jīng)過加窗處理后得到。 對(duì)典型的低分辨率SAR 圖像，其距離和方位向窗函數(shù)對(duì)應(yīng)的窗長度變窄，使得圖像分辨率下降，相干斑噪聲更加嚴(yán)重。 這與傳統(tǒng)光學(xué)圖像的低分辨率處理模型存在較大的差異，其低分辨率光學(xué)圖像通常表示為

其中，Il和Ih分別表示低分辨率和高分辨率光學(xué)圖像，k為下采樣模糊核，?表示卷積操作。 與式（2）不同，式（3）中的光學(xué)圖像信息為實(shí)數(shù)數(shù)據(jù)，不包含相位信息，模糊核也通常視為雙三次方插值核。 現(xiàn)有光學(xué)超分辨率訓(xùn)練數(shù)據(jù)中，通常認(rèn)為光學(xué)圖像下采樣后分辨率隨之下降，但是不存在噪聲增加的情況或者圖像中不存在噪聲。

2 基于字典稀疏表示和預(yù)濾波處理的超分辨率重建

現(xiàn)有SAR 圖像超分辨率網(wǎng)絡(luò)架構(gòu)通常直接利用光學(xué)圖像深度學(xué)習(xí)的訓(xùn)練模型。 然而，實(shí)際SAR圖像通常經(jīng)過相干處理方法得到，相干斑和噪聲嚴(yán)重，與訓(xùn)練的光學(xué)圖像之間存在較大的差別。 此外，隨著分辨率的降低，SAR 圖像相干斑變得更為明顯，與通過光學(xué)圖像幅度上等比例減少像素點(diǎn)的下采樣操作得到的訓(xùn)練數(shù)據(jù)之間存在信噪比上的差異。 為了實(shí)現(xiàn)真實(shí)SAR 低分辨率圖像的超分辨率重建處理，本節(jié)對(duì)圖像進(jìn)行了分解，去除相干斑噪聲，針對(duì)SAR 圖像提出了基于預(yù)濾波處理的超分辨率重建方法。

2．1 基于多尺度聯(lián)合字典的圖像稀疏分解

在成像原理方面，SAR 圖像和光學(xué)圖像存在本質(zhì)的差異，SAR 圖像中所包含的信息是地面目標(biāo)對(duì)雷達(dá)波束的反映［13－14］。 而自然光學(xué)圖像是通過光譜的形式展現(xiàn)對(duì)地面目標(biāo)能量的反映，兩類圖中的噪聲、色調(diào)等都有差別，在視覺效果上，自然光學(xué)圖像更為平滑。 因SAR 圖像成像機(jī)理的原因，受相干斑干擾嚴(yán)重，而且包含振幅信息的程度遠(yuǎn)低于光學(xué)圖像，導(dǎo)致低分辨率SAR 圖像的質(zhì)量更差。

SAR 圖像中的相干斑噪聲為乘性噪聲，與原始圖像信號(hào)為相乘關(guān)系，在圖像上呈現(xiàn)為一種黑白點(diǎn)狀相間存在的顆粒狀紋理，受相干斑噪聲干擾的圖像一般被建模為

其中，像素點(diǎn)坐標(biāo)為（x，y），觀測到的含噪圖像為f，噪聲為μ，理想的信號(hào)為z，?符號(hào)表示信號(hào)間的相乘運(yùn)算。

SAR 圖像中包含不同類型目標(biāo)的反射信息以及相干斑噪聲。 通常，相干斑噪聲對(duì)超分重建的影響較大。 在進(jìn)行濾波處理時(shí)，設(shè)定越大的濾波窗口，去除相干斑的能力就越強(qiáng)，但同時(shí)對(duì)圖像邊緣細(xì)節(jié)的保留能力就越差。 為了更好地保持抑制相干斑與保留邊緣細(xì)節(jié)信息，本節(jié)擬基于多尺度字典實(shí)現(xiàn)SAR 圖像的分解。 其中，字典設(shè)計(jì)了不同尺寸的窗口大小，以實(shí)現(xiàn)將圖像分解得到結(jié)構(gòu)和相干斑噪聲信息的目的。 其中，定義多尺度過完備字典D， 對(duì)SAR 圖像取對(duì)數(shù)，然后構(gòu)建系列最優(yōu)化函數(shù)

2．2 預(yù)濾波

當(dāng)下大多數(shù)基于機(jī)器學(xué)習(xí)進(jìn)行超分辨率處理的網(wǎng)絡(luò)，對(duì)輸入圖像下采樣的方式較為敏感，一般都是針對(duì)自然光學(xué)圖像進(jìn)行處理，訓(xùn)練和驗(yàn)證采用的數(shù)據(jù)都為光學(xué)圖像，而且在訓(xùn)練網(wǎng)絡(luò)時(shí)采用的高低分辨率圖像數(shù)據(jù)中，低分辨率圖像都是通過固定的雙三次插值等比例去除像素點(diǎn)的下采樣方式由高分辨率圖像生成，導(dǎo)致網(wǎng)絡(luò)模型更適合處理通過同樣下采樣方式得到的低分辨率圖像的重建任務(wù)。

校正濾波器［15］是一種輕量級(jí)的直接作用在低分辨率圖像上的濾波方法，作為超分辨率重建的前置操作，其主要目的是校正網(wǎng)絡(luò)輸入的低分辨率圖像的下采樣內(nèi)核，使其更接近于通過雙三次插值降采樣得到的低分辨率圖像，從而使低分辨率圖像更適合重建網(wǎng)絡(luò)的處理。 采用校正濾波作為重建前的預(yù)處理操作，相對(duì)于將算法更換為SAR 圖像數(shù)據(jù)庫對(duì)網(wǎng)絡(luò)模型進(jìn)行重新訓(xùn)練的方法更為簡單，避免了相干斑噪聲的進(jìn)一步放大。 在整個(gè)低分辨率SAR圖像超分辨率重構(gòu)的流程中應(yīng)用校正濾波，可以實(shí)現(xiàn)在重建圖像的同時(shí)削弱相干斑噪聲的目的。 然而，實(shí)際低分辨率SAR 圖像為復(fù)數(shù)數(shù)據(jù)，系統(tǒng)模糊函數(shù)與插值模糊核有所區(qū)別，不能直接應(yīng)用上述校正處理。 因此，擬構(gòu)建復(fù)數(shù)卷積神經(jīng)網(wǎng)絡(luò)（CNN）實(shí)現(xiàn)圖像稀疏分解后強(qiáng)散射和結(jié)構(gòu)信息分量的校正和超分辨率處理。

單圖像超分辨率的模型可以描述為

其中，x∈Rn代表潛在的HR 圖像，y∈Rm代表觀測到的低分辨率圖像，k∈Rd（d?n） 為模糊核，?表示線性卷積算子，↓α代表采樣因子為α的下采樣操作。 式（6）還可以更簡潔地表示為

其中，S?表示從Rn→Rm的一個(gè)線性算子，它表示整個(gè)下采樣的操作過程，即對(duì)圖像模糊處理再采樣的組合。

校正濾波器的核心思想是修改觀測到的低分辨率圖像y ＝S?x，y代表通過任意降采樣過程獲得的低分辨率圖像，目的是使y更接近由R?x表示的理想低分辨率圖像ybicubic，ybicubic表示通過下采樣降質(zhì)操作得到的低分辨率圖像，主要是通過等比例減少像素點(diǎn)的雙三次插值方法得到的，與后續(xù)采用的超分辨率網(wǎng)絡(luò)更匹配，R?表示雙三次核的下采樣算子，R表示Rm→Rn，代表上采樣算子，則假設(shè)信號(hào)x可以由R（R?R）－1算子從樣本R?x中完整恢復(fù)出來，公式表示為

H表示Rm→Rm，為校正算子，設(shè)y ＝S?x，，當(dāng)下述條件成立時(shí)

此時(shí)當(dāng)H ＝（S?R）－1時(shí)，可證明假設(shè)成立

然而，實(shí)際低分辨率圖像的降采樣內(nèi)核通常未知，需要從已知的低分辨率圖像y中估計(jì)出降采樣內(nèi)核k和校正濾波器h。 因此在降采樣內(nèi)核未知的情況下，將k設(shè)定為式（11，12）目標(biāo)函數(shù)的極小值。

其中， ‖‖Hub代表Huber 損失， ‖mcen·k‖1和‖k‖1為正則化項(xiàng)，其中‖mcen·k‖1保證k密度集中，‖k‖1保證k的稀疏性；α為比例因子。 式（11）中包含兩個(gè)未知變量，分別為圖像模糊核以及真實(shí)高分辨率圖像，其中兩個(gè)算子H和S?均取決于降采樣內(nèi)核k。 為同時(shí)實(shí)現(xiàn)模糊核的校正和超分辨率處理， 可以采用復(fù)數(shù)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）［16］來對(duì)分解后圖像的信息分量進(jìn)行處理。

初始輸入時(shí)，設(shè)定模糊核為插值模糊核，并估計(jì)H為含校正濾波器h的卷積

應(yīng)用校正濾波器的超分辨率圖像可以表示為

在復(fù)數(shù)CNN 中，將kbicub作為k的初始值，初始迭代次數(shù)設(shè)置為250 次，在每次迭代中，都可以得到下采樣內(nèi)核k的估計(jì)值，將估計(jì)的模糊核用于計(jì)算校正濾波器h和超分重建操作得到高分辨率圖像的真實(shí)估計(jì)值，如圖1 所示。

圖1 基于預(yù)處理的SAR 圖像超分辨率流程圖

3 仿真實(shí)驗(yàn)

對(duì)超分辨率重建流程效果的評(píng)定，本文采用實(shí)測數(shù)據(jù)進(jìn)行對(duì)比驗(yàn)證。 實(shí)測數(shù)據(jù)來源于AFRL 實(shí)驗(yàn)室的 SAR 圖像。 該實(shí)驗(yàn)基于的硬件平臺(tái)為3.20 GHz CPU 和16 GB RAM 的計(jì)算機(jī)，軟件平臺(tái)為64 位Windows10 操作系統(tǒng)和Matlab R2018b 仿真軟件。 本文將主觀的視覺評(píng)價(jià)指標(biāo)與客觀PSNR 評(píng)價(jià)指標(biāo)相結(jié)合進(jìn)行結(jié)果評(píng)價(jià)。 PSNR 指標(biāo)是對(duì)超分辨率重建效果進(jìn)行評(píng)價(jià)的最常見指標(biāo)，是基于重建結(jié)果和參考圖像的像素點(diǎn)誤差進(jìn)行評(píng)估的，PSNR 值越大，則代表重建圖像與參考圖像之間像素點(diǎn)的差距越小，即網(wǎng)絡(luò)重建結(jié)果在像素方面更接近真實(shí)高分辨率圖像。

對(duì)于通過機(jī)器學(xué)習(xí)方式來實(shí)現(xiàn)圖像重建的超分辨率網(wǎng)絡(luò)， 本文采用光學(xué)圖像處理領(lǐng)域的LapSRN［17－18］網(wǎng)絡(luò)及DBPN 網(wǎng)絡(luò)對(duì)所提出的超分辨率預(yù)濾波流程進(jìn)行驗(yàn)證。 采用直線航跡機(jī)載SAR降采樣2 倍時(shí)的低分辨率圖像作為超分辨率流程的輸入。

值得強(qiáng)調(diào)的是，從實(shí)際角度考慮，SAR 低分辨率圖像對(duì)應(yīng)的頻譜帶寬更低，與光學(xué)圖像的降采樣操作有所區(qū)別。 本文通過高分辨率SAR 數(shù)據(jù)頻域?yàn)V波處理生成低分辨率圖像，更加貼近于現(xiàn)實(shí)的情況。 其中，高分辨率SAR 復(fù)數(shù)圖像通過傅里葉變換被變換到頻域進(jìn)行加窗的操作降低帶寬，再通過反變換得到低分辨率圖像。 由于雷達(dá)系統(tǒng)分辨率與回波數(shù)據(jù)的距離和方位向帶寬有關(guān)，上述操作獲取的低分辨率圖像與實(shí)際低分辨率圖像更相符。 隨著分辨率的降低，雷達(dá)圖像更加模糊，相干斑噪聲的影響也更為明顯。 與光學(xué)圖像在幅度域等比例減少像素點(diǎn)的降采樣操作獲得的圖像相比較，SAR 圖像中的信噪比更小。 幅度域降采樣方式得到的低分辨率SAR 圖像如圖2（a）和圖2（b）所示，本文采用的低分辨率SAR 圖像如圖2（c）和圖2（d）所示。

圖2 低分辨率圖像

圖3 和圖4 分別為進(jìn)行GammaMap 濾波處理后的低分辨率圖像以及進(jìn)行GammaMap 濾波后再校正濾波的低分辨率SAR 圖像，可以發(fā)現(xiàn)校正之后，圖像細(xì)節(jié)更加清晰，并且通過校正操作后，圖像的相干斑噪聲并沒有被再次放大。 圖5 為真實(shí)高分辨率SAR 圖像，圖6 和圖7 分別為低分辨率SAR 圖像直接進(jìn)行LapSRN 網(wǎng)絡(luò)重建以及經(jīng)過本文預(yù)濾波處理流程后進(jìn)行LapSRN 的重建結(jié)果，圖8 和圖9 分別為低分辨率SAR 圖像直接進(jìn)行DBPN 網(wǎng)絡(luò)重建以及經(jīng)過本文預(yù)濾波處理流程后進(jìn)行DBPN 的重建結(jié)果，從圖6 與圖7 以及圖8 與圖9 的對(duì)比中可以看出，通過預(yù)濾波處理后的重建結(jié)果更為平滑，且相干斑噪聲被抑制，圖像中的細(xì)節(jié)信息也有被完整保留，目標(biāo)的邊緣更加聚焦，更為清晰，驗(yàn)證了本文針對(duì)SAR 圖像預(yù)濾波重建流程的有效性。 表1 在客觀評(píng)價(jià)指標(biāo)上也展現(xiàn)了本文方法的積極效果，通過本文提出的超分辨率流程處理后，相較于直接通過網(wǎng)絡(luò)處理SAR 低分辨率圖像，PSNR 指標(biāo)大約提升2.4 dB。

表1 PSRN 指標(biāo)

圖3 稀疏分解去相干斑結(jié)果圖

圖4 盲校正結(jié)果圖

圖5 高分辨率圖像

圖6 低分辨率圖像直接LapSRN 重建結(jié)果

圖7 低分辨率圖像預(yù)濾波處理后LapSRN 重建結(jié)果

圖8 低分辨率圖像直接DBPN 重建結(jié)果

圖9 低分辨率圖像預(yù)濾波處理后DBPN 重建結(jié)果

4 結(jié)束語

針對(duì)SAR 低分辨率圖像，本文提出了一種基于預(yù)濾波處理的超分辨率重建流程，通過對(duì)SAR 低分辨率圖像進(jìn)行去相干斑和校正內(nèi)核的預(yù)濾波處理，可以提高SAR 低分辨率圖像通過超分辨率網(wǎng)絡(luò)重建后的質(zhì)量，并且在處理流程中做到了對(duì)相干斑噪聲的抑制。 實(shí)驗(yàn)結(jié)果從主觀視覺角度和客觀評(píng)價(jià)指標(biāo)上分析證明了該處理流程的有效性，為SAR 圖像的超分辨率重建提供了新的思路。