遙感解譯在影像質(zhì)量檢查中的應(yīng)用

摘 要：亞米級(jí)衛(wèi)星影像為“實(shí)景三維成都”建設(shè)項(xiàng)目中地形級(jí)實(shí)景三維的數(shù)據(jù)基礎(chǔ)，多個(gè)部門共享、共用，因此對(duì)其質(zhì)量嚴(yán)格把控十分重要。采用人工目視方式對(duì)單景影像（約576 km2）進(jìn)行外觀符合性檢查，時(shí)間約為1 h。以2023年11月成都市域亞米級(jí)衛(wèi)星影像為例，將SegFormer網(wǎng)絡(luò)模型內(nèi)嵌在遙感AI解譯監(jiān)測(cè)系統(tǒng)中，對(duì)成都市域衛(wèi)星影像中的不良區(qū)域進(jìn)行快速識(shí)別，其平均分類精度達(dá)到81.0%，單景影像提取時(shí)間約為15 min，該系統(tǒng)為成都市域衛(wèi)星影像質(zhì)量檢查工作的高效實(shí)施提供有力支撐。

關(guān)鍵詞：衛(wèi)星影像；質(zhì)量檢查；影像外觀符合性；遙感解譯；SegFormer

中圖分類號(hào)：P 23" " " " " " 文獻(xiàn)標(biāo)志碼：A

隨著遙感和深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在遙感影像特征的自動(dòng)化提取中廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)模型過(guò)分關(guān)注局部特征，忽略整體信息，因此Dosovitskiy提出多層Transformer結(jié)構(gòu)的Vit模型，在影像識(shí)別中結(jié)合了整體信息。SegFormer網(wǎng)絡(luò)模型將Transformer編碼器與輕量級(jí)解碼器相結(jié)合，避免由于位置編碼改變導(dǎo)致模型性能下降。牛玉珩[1]、楊靖怡[2]在農(nóng)業(yè)、醫(yī)學(xué)等領(lǐng)域進(jìn)行研究。本文將SegFormer網(wǎng)絡(luò)模型內(nèi)嵌于遙感AI解譯監(jiān)測(cè)系統(tǒng)中，提取目標(biāo)圖斑。將該系統(tǒng)應(yīng)用于成都市域衛(wèi)星影像中，對(duì)不良區(qū)域進(jìn)行識(shí)別，當(dāng)檢測(cè)影像外觀時(shí)范圍大、效率高，符合檢驗(yàn)要求，縮短影像質(zhì)量檢驗(yàn)周期，減輕影像檢查工作強(qiáng)度。

1 研究區(qū)介紹

成都市地處四川盆地西部的岷江中游地段、青藏高原東緣，位于東經(jīng)102°54'～104°53'，北緯30°05'～31°26'，境內(nèi)地勢(shì)平坦，河網(wǎng)縱橫，東界龍泉山脈，西靠邛崍山。成都市屬于平原亞熱帶季風(fēng)性濕潤(rùn)氣候，雨熱同期，四季分明。大部分地區(qū)常年云霧天氣多，日照時(shí)間少，空氣濕度大。

2 數(shù)據(jù)源及預(yù)處理

本次試驗(yàn)數(shù)據(jù)為2023年10月成都市BJ3和BJ2影像，其空間分辨率為0.5 m～0.8 m，共6景。對(duì)其進(jìn)行遙感影像預(yù)處理，為使模型適用于不同類型不良區(qū)域（云霧、陰影、高亮和色彩溢出），選取相對(duì)集中區(qū)域作為樣本。云霧、陰影區(qū)域普遍面積較大，高亮、色彩溢出區(qū)域普遍面積較小，如果將其構(gòu)建為1個(gè)樣本庫(kù)，那么由于樣本庫(kù)數(shù)量失衡，高亮、色彩溢出影像精度會(huì)降低，因此分別構(gòu)建2個(gè)樣本庫(kù)。樣本庫(kù)一為高亮、色彩溢出的單要素樣本，樣本庫(kù)二為云霧、陰影的雙要素樣本，如圖1所示。樣本庫(kù)一共選取110個(gè)區(qū)域遙感影像，并將其劃分為413個(gè)512 ppi×512 ppi的樣本。高亮、色彩溢出區(qū)域面積較小，為避免模型過(guò)擬合，對(duì)其進(jìn)行隨機(jī)縮放、翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作，將其樣本數(shù)擴(kuò)充至826個(gè)。樣本庫(kù)二共選取17個(gè)區(qū)域遙感影像，將其劃分為793個(gè)512 ppi×512 ppi的樣本。

3 研究方法

3.1 研究流程

遙感AI解譯監(jiān)測(cè)系統(tǒng)集樣本庫(kù)構(gòu)建、模型訓(xùn)練、精度評(píng)估和影像自動(dòng)解譯等功能于一體。對(duì)衛(wèi)星影像（分辨率為0.5 m～

0.8 m）中的感興趣（不良）區(qū)域進(jìn)行人工標(biāo)注，得到與影像數(shù)據(jù)相對(duì)應(yīng)的標(biāo)注矢量數(shù)據(jù)，并將其裁剪為512 ppi×512 ppi，完成樣本庫(kù)構(gòu)建。將樣本庫(kù)一和樣本庫(kù)二分別按照7∶2∶1的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。將訓(xùn)練集輸入基于語(yǔ)義分割的SegFormer網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，根據(jù)樣本數(shù)據(jù)集情況調(diào)整學(xué)習(xí)率、訓(xùn)練批次、樣本數(shù)和優(yōu)化方法等超參數(shù)，將網(wǎng)絡(luò)模型提取的不良區(qū)域與驗(yàn)證集進(jìn)行比較。根據(jù)模型在訓(xùn)練過(guò)程中反饋的Loss損失、訓(xùn)練精度等信息重新調(diào)整模型結(jié)構(gòu)、參數(shù)，再次進(jìn)行訓(xùn)練，最終獲得精度最佳的模型。調(diào)動(dòng)訓(xùn)練階段得到的深度學(xué)習(xí)算法模型，對(duì)檢測(cè)的遙感影像進(jìn)行不良區(qū)域提取。

3.2 基于語(yǔ)義分割的SegFormer網(wǎng)絡(luò)模型

SegFormer網(wǎng)絡(luò)模型由2個(gè)模塊組成。1）分層Transformers編碼器，可產(chǎn)生高分辨率粗特征和低分辨率細(xì)特征。2）輕量級(jí)的A11-MLP解碼器，可融合多層次特征并預(yù)測(cè)語(yǔ)義分割掩碼，使模型魯棒性、準(zhǔn)確性更高。SegFormer網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示。

3.2.1 分級(jí)Transformer編碼器

SegFormer采用Mix Transformer（MiT）編碼器，該編碼器由4個(gè)Transformer塊組成，每個(gè)Transformer塊包括高效自注意力機(jī)制（Efficient Self-Attention）、圖像重疊塊融合（Overlapped Patch Merging）和混合前饋網(wǎng)絡(luò)（Mix-FFN）結(jié)構(gòu)3個(gè)部分。

3.2.1.1 分層特征表示

基于原始分辨率為H×W×3的圖像進(jìn)行塊處理（Transformer block），得到1個(gè)多層次化的特征圖Fi，其分辨率為××Ci，C為通道數(shù)，i∈{1，2，3，4}。

3.2.1.2 圖像重疊塊融合（Overlapped Patch Merging）

基于1個(gè)圖像塊（image patch），將2×2×Ci的圖像塊轉(zhuǎn)為1×1×Ci+1的向量，獲得層次圖。再將層次特征F1（××C1）收縮為F2（××C2）。如果采用非重疊的圖像塊或特征塊，就無(wú)法保證塊周圍的局部連續(xù)性，因此須進(jìn)行圖形重疊塊融合。定義K（塊大?。（2個(gè)相鄰塊之間的步幅）和P（填充大?。?。在本試驗(yàn)中，設(shè)置K=7，S=4，P=3以及K=3，S=2，P=1，將重疊的塊合并，產(chǎn)生與非重疊過(guò)程大小相同的特征。

3.2.1.3 高效自注意力（Efficient Self-Attention）

在高效自注意力機(jī)制中，編碼器主要的計(jì)算瓶頸是自注意力層，其復(fù)雜度為O（N2）。注意力層根據(jù)Q（查詢）、K（鍵）和V（值）3個(gè)參數(shù)進(jìn)行計(jì)算，Q、K和V都包括同樣的維度N×C，序列長(zhǎng)度為N=H×W，Softmax為歸一化指數(shù)函數(shù)，KT為K的轉(zhuǎn)置，dhead為Q、K矩陣的列數(shù)，自注意力為attention（），計(jì)算過(guò)程如公式（1）所示。

（1）

式中：為更適應(yīng)分辨率較大的圖像，Reshape（，C·R）（K）將K變形為×（C·R），Linear（C·R，C）（）將輸入通道數(shù)為C·R變?yōu)檩敵鐾ǖ罃?shù)為C的線性層，×C為K的輸出維度。自注意力的復(fù)雜度從O（N2）降為O（），R為[64，16，4，1]，如公式（2）、公式（3）所示。

=Reshape（，C·R）（K）" " " （2）

K =Linear（C·R，C）（）" " " " " （3）

3.2.1.4 混合前饋網(wǎng)絡(luò)（Mix-FFN）

將利用高效自注意力機(jī)制獲得的結(jié)果輸入Mix-FFN模塊中，Mix-FFN在前饋網(wǎng)絡(luò)（FFN）中直接使用3×3卷積來(lái)傳遞位置信息，避免在訓(xùn)練過(guò)程中以零填充導(dǎo)致缺失位置泄露，運(yùn)用深度卷積減少參數(shù)，提升計(jì)算效率，xin為高效自注意模塊的輸出特征，Conv為卷積，GELU為激活函數(shù)，如公式（4）所示。

Xout=MLP（GELU（Conv3×3（MLP（xin））））+xin " " " " " " （4）

將Mix-FFN模塊輸出特征xout進(jìn)行重疊塊合并，保證像素塊周圍的連續(xù)性。

3.2.2 輕量級(jí)解碼器

SegFormer只有一個(gè)多層感知器（MLP）組成的輕量級(jí)解碼器，與傳統(tǒng)的CNN編碼器相比，模型的分層Transformer編碼器有效感受野更大。

輕量級(jí)解碼器利用MLP層統(tǒng)一不同層特征Fi的通道維度，再將特征上采樣至1/4分辨率，完成拼接，MLP層融合堆疊，得到特征，利用另一個(gè)MLP解碼器的融合特征預(yù)測(cè)具有H/4×W/4×Ncls 分辨率的分割掩膜M，Ncls為分類個(gè)數(shù)，Linear（Ci，C） 為以Ci和C作為輸入和輸出向量維數(shù)的線性層。計(jì)算過(guò)程如公式（5）～公式（8）所示。

=Linear（Ci，C）（Fi），i" " "（5）

（6）

F=Linera（4C，C）（Contact（）） i" （7）

M=Linear（C，Ncls）（F）" nbsp; " " " " " " " " " " " "（8）

4 結(jié)果與分析

本試驗(yàn)基于遙感AI解譯監(jiān)測(cè)系統(tǒng)對(duì)2023年10月成都市影像的云霧、陰影、高亮和色彩溢出等不良區(qū)域進(jìn)行提取，單景遙感影像（面積約為567 km2）解譯僅需15 min，效率遠(yuǎn)高于人工目視判讀。經(jīng)多次超參數(shù)調(diào)整測(cè)試，每間隔50次迭代進(jìn)行一次評(píng)估，最終確定迭代次數(shù)為6 800，批大小為4，當(dāng)學(xué)習(xí)率為0.001時(shí)得到準(zhǔn)確率最高的模型。測(cè)試數(shù)據(jù)整體精度較高，各類型不良區(qū)域分類精度見表1，模型的平均準(zhǔn)確率為81.00%，平均召回率為81.05%。

高亮、色彩溢出精度相對(duì)較低，為76.44%，整體漏檢情況較少，存在少量誤檢情況，局部區(qū)域高亮、色彩溢出解譯情況如圖3所示。在采樣過(guò)程中須將高亮及其周圍色彩溢出區(qū)域全部采集為樣本，該類不良區(qū)域特征邊界并不清晰，因此模型將色彩飽和度較高區(qū)域識(shí)別為不良區(qū)域，導(dǎo)致其精度受限。云霧、陰影的精度分別為85.01%和81.55%，漏檢、錯(cuò)檢情況較少，局部區(qū)域云霧、陰影解譯情況如圖4所示。陰影區(qū)域和水體區(qū)域色調(diào)較暗，較難區(qū)分其邊界，但是圖4（d）模型能夠準(zhǔn)確識(shí)別陰影區(qū)域。不良區(qū)域具有范圍大、邊界不規(guī)則等特點(diǎn)，存在小面積碎斑，經(jīng)批處理后能夠滿足助影像外觀符合性檢查的要求，與目視檢查相比效率更高。

5 結(jié)語(yǔ)

以前通常采用抽查方式檢查衛(wèi)星影像質(zhì)量，采用目視方法檢查影像外觀符合性，因此不僅難以掌握樣本外影像外觀符合性的質(zhì)量情況，還會(huì)耗費(fèi)大量人力資源。為解決衛(wèi)星影像質(zhì)量檢查難題，本文基于遙感AI解譯監(jiān)測(cè)系統(tǒng)對(duì)成都市典型特征不良區(qū)域（云霧、陰影、高亮和色彩溢出）進(jìn)行識(shí)別，不良區(qū)域圖斑提取的總體精度為81.0%，解譯時(shí)間為15 min。試驗(yàn)結(jié)果表明基于SegFormer模型的遙感解譯系統(tǒng)能夠?qū)W習(xí)局部和整體特征，解譯準(zhǔn)確性較高，模型遷移性能較好。SegFormer網(wǎng)絡(luò)模型在影像不良區(qū)域中中識(shí)別效果良好，云霧、陰影以及高亮區(qū)域邊界不清晰，導(dǎo)致模型精度受限，因此針對(duì)邊緣的精確識(shí)別以及較小識(shí)別目標(biāo)的識(shí)別精度仍然有待提升。

參考文獻(xiàn)

[1]牛玉珩，李永可，陳燕紅，等.基于改進(jìn)SegFormer模型的棉田地表殘膜圖像分割方法[J].計(jì)算機(jī)與現(xiàn)代化，2023（7）：93-98.

[2]楊靖怡，李芳，康曉東，等.基于SegFormer的超聲影像圖像分割[J].計(jì)算機(jī)科學(xué)，2023，50（增刊1）：414-419.