基于MPI和MapReduce混合編程的高分三號多模數(shù)據(jù)分布式并行轉(zhuǎn)換算法

摘要：我國高分三號形成三星陸海雷達(dá)衛(wèi)星星座。為了提升PolSARpro極化SAR圖像處理的開源軟件在高分三號數(shù)據(jù)轉(zhuǎn)換環(huán)節(jié)的處理能力，提出了基于OpenMP、MapReduce和MPI并按照PolSARpro軟件的數(shù)據(jù)格式要求進行分布式并行轉(zhuǎn)換處理算法，將不同成像模式下的多極化數(shù)據(jù)實現(xiàn)快速定標(biāo)和格式轉(zhuǎn)換，并且通過KingMapV10.0GIS平臺實現(xiàn)了算法并在實際數(shù)據(jù)中進行測試，驗證了算法的高效性、可靠性、易擴展性和正確性。

關(guān)鍵詞：高分三號合成孔徑雷達(dá)定標(biāo)消息傳遞接口分布式并行計算

中圖法分類號：P237

DistributedParallelConversionAlgorithmofGF-3Multi-ModeDataBasedonMPIandMapReduceHybridProgramming

ZHANGRuming1*CAIJianying2WANGXihang1LIUZili2OUYANGBo2

1.HulunbeirBigDataCenter，Hulunbeir，InnerMongoliaAutonomousRegion，021000China;2.HulunbeirSmartCityDevelopmentResearchInstitute，Hulunbeir，InnerMongoliaAutonomousRegion，021000China

Abstract：China’sGF-3isformedaland-searadarsatelliteconstellationof3satellites.InordertoimprovetheprocessingcapabilityofPolSARproopensourcesoftwareforpolarimetricSARimageinthedataconversionstageofGF-3，thispaperproposesadistributedparallelconversionalgorithmaccordingtothedataformatrequirementsofitssoftwarebasedonOpenMP，MapReduceandMPI，whichcanquicklycalibrateandconvertGF-3muti-polarizationofdifferentimagingmodesdataintobinformat.ThealgorithmisimplementedonGISplatformofKingMapV10.0andtestedinrealdata，whichverifiestheefficiency，feasibility，extendibilityandcorrectnessofthealgorithm.

KeyWords：GF-3;SAR;Calibration;Messagepassinginterface;DistributedandParallelComputing

2022年4月7日，中國陸海監(jiān)測監(jiān)視迎來“三星組網(wǎng)”時代[1]，支撐合成孔徑雷達(dá)衛(wèi)星的多極化數(shù)據(jù)進行業(yè)務(wù)化應(yīng)用。高分三號具有12種工作模式，能夠?qū)崿F(xiàn)全天時、全天候的陸地和海洋監(jiān)視監(jiān)測，有力支撐我國防災(zāi)減災(zāi)應(yīng)急、海洋資源開發(fā)和陸地環(huán)境監(jiān)測[2-4]。PolSARpro是一款著名的開源軟件[5]，已經(jīng)具備高分三號數(shù)據(jù)的導(dǎo)入及處理能力，然而轉(zhuǎn)換效率比較低。為了提升該軟件處理高分三號數(shù)據(jù)格式轉(zhuǎn)換能力，陳云等人[6-8]給出了較高效的分布式并行轉(zhuǎn)換算法，但并未給出多種成像模式下的定標(biāo)轉(zhuǎn)換。另外，陳云[9]采用QTConcurrent并行框架實現(xiàn)，雖有更好的性能表現(xiàn)，但未實現(xiàn)分布式并行計算。遙感事微信公眾號[10]給出了多種成像模式下的全極化、雙極化數(shù)據(jù)等定標(biāo)處理，但未實現(xiàn)更高效的分布式并行轉(zhuǎn)換。因此，本文提出了針對高分三號多模數(shù)據(jù)的分布式并行轉(zhuǎn)換處理方法，先通過推導(dǎo)簡化得到中間參數(shù)，接著給出分布式混合編程并行計算過程，再通過全極化條帶I數(shù)據(jù)和精細(xì)條帶II等實際數(shù)據(jù)，驗證算法的高效性、可靠性、易擴展性和正確性，最后通過性能對比分析，表明本文方法可以高效的處理多模式多極化高分三號數(shù)據(jù)。

1算法原理

本文主要針對高分三號L1A產(chǎn)品數(shù)據(jù)進行格式轉(zhuǎn)換處理。由GF-3衛(wèi)星SARL1A級數(shù)據(jù)獲取后向散射系數(shù)的定標(biāo)公式[11]如下。

公式（1）中：是單位為dB的后向散射系數(shù)；在L1A影像中，，是1A級產(chǎn)品實部，是1A級產(chǎn)品虛部，是影像量化前的最大值，在元數(shù)據(jù)文件中字段獲取。CalibrationConst是影像的雷達(dá)散射的定標(biāo)系數(shù)，在元數(shù)據(jù)文件中CalibrationConst字段獲取。

按PolSARpro軟件的數(shù)據(jù)格式要求，以及根據(jù)陳云等人[6]的簡化推導(dǎo)過程，記：

記linear形式的實部后向散射系數(shù)：，其中是單位為dB的實部后向散射系數(shù)。

記linear形式的虛部后向散射系數(shù)：，其中是單位為dB的虛部后向散射系數(shù)。

那么得到如下2個中間轉(zhuǎn)換公式。

具體算法流程設(shè)計詳情見下文所述。

2算法設(shè)計

本文算法內(nèi)層并行處理過程將采用OpenMP，中間層并行處理過程利用QtConcurrent并行計算框架，外層分布式并行處理過程依托MPI協(xié)議來混合編程實現(xiàn)。具體分布式并行處理流程如下。

（1）首先初始化MPI環(huán)境，在MPI進程內(nèi)利用MPI_Comm_size函數(shù)來生成分布式并行計算環(huán)境的通信域的進程總數(shù)M。

（2）每個MPI進程采用MPI_Comm_rank函數(shù)獲取通信域中的ID序號。將使用該序號來給其分配待處理的高分三號數(shù)據(jù)集。

（3）MPI調(diào)度進程獲取所有待處理高分三號GF3_TaskList數(shù)據(jù)任務(wù)列表。

（4）MPI調(diào)度進程從GF3_TaskList列表中獲取高分三號GF3_DataList數(shù)據(jù)集，利用MPI通信協(xié)議，調(diào)用MPI_Isend函數(shù)把該數(shù)據(jù)列表發(fā)送給對應(yīng)的MPI處理進程。

（5）對應(yīng)的MPI處理進程通過調(diào)用MPI_Irecv函數(shù)接收到高分三號GF3_DataList數(shù)據(jù)集后，中間層采用QtConcurrent并行框架來實現(xiàn)多景高分三號影像數(shù)據(jù)的處理，而輸入?yún)?shù)則是高分三號GF3_DataList數(shù)據(jù)列表，以及每景高分三號數(shù)據(jù)的多模多極化Convert并行轉(zhuǎn)換函數(shù)。

（6）在Convert并行轉(zhuǎn)換函數(shù)中，最內(nèi)層擴展對不同成像模式的數(shù)據(jù)處理，對多極化數(shù)據(jù)采用OpenMP并行處理機制，如雙極化或全極化數(shù)據(jù)等。

（7）最后調(diào)用QFuture的waitForFinished函數(shù)等待方法，直到每個MPI進程都處理完成該進程中所有高分三號數(shù)據(jù)為止。

（8）MPI處理進程每當(dāng)處理完成后，進行調(diào)用MPI_Isend函數(shù)時把處理結(jié)束后的信息返回到MPI調(diào)度進程。

（9）重復(fù)上述由步驟（4）到步驟（8）的過程，每個循環(huán)并行處理至多M景高分三號數(shù)據(jù)，直到處理完成所有高分三號數(shù)據(jù)。

特別需要注意：全極化方式數(shù)據(jù)轉(zhuǎn)換輸出結(jié)果為PolSARpro的S2矩陣格式，而雙極化方式數(shù)據(jù)轉(zhuǎn)換輸出結(jié)果為PolSARpro的RawBinary格式。

3算法實例

基于KingMapV10.0GIS平臺進行驗證，通過C/C++語言來編程實現(xiàn)。平臺運行真實環(huán)境如下。

電腦配置如下：操作系統(tǒng)為Win11專業(yè)版；LPDDR4x內(nèi)存大小為16.0GB，3733MHz；CPU型號為11代英特爾酷睿i5-11300H@3.10GHz，四核，8線程；內(nèi)置M.2接口固態(tài)硬盤，大小為512GB；外置Type-C接口移動固態(tài)硬盤，大小為2TB；英特爾Iris（R）Xe集成顯卡，顯存為128M。

為了便于對比測試，不妨在上述電腦上虛擬出兩臺基本相同配置的虛擬機，每臺虛擬機具體參數(shù)如下：操作系統(tǒng)為Win7旗艦版；LPDDR4x內(nèi)存大小為6.0GB；CPU型號為11thGenIntel（R）Core（TM）i5-11300H@3.10GHz，3核；硬盤存儲容量為150GB；集成顯卡。

算法程序以2景高分三號全極化條帶I數(shù)據(jù)和2景精細(xì)條帶II數(shù)據(jù)（數(shù)據(jù)清單如表1所示）進行轉(zhuǎn)換，經(jīng)驗證本文算法轉(zhuǎn)換后的全極化條帶I數(shù)據(jù)結(jié)果與PolSARpro軟件生成的結(jié)果一致，精細(xì)條帶II運行結(jié)果與《高分三號衛(wèi)星地面系統(tǒng)用戶手冊》中結(jié)果一致，表明算法真實可靠。本文算法針對不同成像模式下的多極化方式數(shù)據(jù)定標(biāo)轉(zhuǎn)換性能結(jié)果如表2所示。

運行效率分析：采用同樣配置的雙機環(huán)境下，本文基于MS-MPI、MapReduce和OpenMP混合編程方法處理4景高分三號數(shù)據(jù)，虛擬機1處理2景精細(xì)條帶II雙極化方式數(shù)據(jù)共耗時約183.51s；虛擬機2處理2景全極化條帶I全極化方式數(shù)據(jù)共耗時約9.641s。從中可以看出，本文算法對不同成像模式下的多種極化方式高分三號數(shù)據(jù)進行了支持；同時，不同成像模式下的數(shù)據(jù)大小不同，轉(zhuǎn)換時間差異較大，性能相差約為19.0倍。隨著高分?jǐn)?shù)據(jù)量大小的增長，定標(biāo)轉(zhuǎn)換預(yù)處理時間也隨著明顯增長。因此，針對數(shù)據(jù)存在偏斜問題，有待進一步實現(xiàn)分布式環(huán)境下每臺服務(wù)器的負(fù)載均衡。

本文算法對于分布式環(huán)境下多種成像模式下的并行式處理高分三號多時相影像數(shù)據(jù)集時將更有優(yōu)勢。

4結(jié)語

本文利用高分三號簡化推導(dǎo)公式進行計算，并提出了基于OpenMP、MapReduce和MPI高分三號多成像模式多極化方式數(shù)據(jù)分布式并行轉(zhuǎn)換算法。該算法基于KingMapV10.0GIS平臺上采用C/C++編程實現(xiàn)并進行了實際數(shù)據(jù)測試，驗證了算法的高效性、可靠性、易擴展性和正確性。當(dāng)然，本文還有不足的地方，即存在數(shù)據(jù)偏斜問題，有待均衡化處理，留待后續(xù)解決。

參考文獻(xiàn)

[1]張蕾.數(shù)說“太空全能神探”[EB/OL].（2022-04-08）[2024-03-05].https：//news.gmw.cn/2022-04/08/content_35642673.htm.

[2]張慶君.高分三號衛(wèi)星總體設(shè)計與關(guān)鍵技術(shù)[J].測繪學(xué)報，2017，46（3）：269-277.

[3]國家國防科技工業(yè)局重大專項工程中心，國家航天局對地觀測與數(shù)據(jù)中心.2018中國高分衛(wèi)星應(yīng)用國家報告（標(biāo)準(zhǔn)規(guī)范卷）[M].北京：國防科工局重大專項工程中心，2018.

[4]國家國防科技工業(yè)局重大專項工程中心，國家航天局對地觀測與數(shù)據(jù)中心.2018中國高分衛(wèi)星應(yīng)用國家報告（共性產(chǎn)品卷）[M].北京：國防科工局重大專項工程中心，2018.

[5]ESA.PolSARpro[EB/OL].（2024-03-05）[2024-03-05].https：//earth.esa.int/web/polsarpro/home.

[6]陳云，鞠佳衡，林偉木，等.一種高分三號復(fù)數(shù)散射矩陣數(shù)據(jù)快速轉(zhuǎn)換算法[J].測繪與空間地理信息，2022，45（3）：50-52.

[7]陳云.基于OpenMP的高分三號數(shù)據(jù)并行轉(zhuǎn)換算法[J].測繪與空間地理信息，2022，45（6）：85-86，91，95.

[8]陳云.基于MPI和OpenMP混合編程的高分三號數(shù)據(jù)分布式并行轉(zhuǎn)換算法[J].測繪與空間地理信息，2024，47（2）：43-45，49.

[9]陳云.基于MapReduce的VCT3.0多圖層面間接線并行構(gòu)建算法[J].測繪地理信息，2022，47（3）：157-160.

[10]遙感事微信公眾號.高分3號數(shù)據(jù)處理之PolSARpro[EB/OL].（2017-05-02）[2024-03-06].https：//mp.weixin.qq.com/s/zQH3lWOCUyuXSwwQ5_wWBA.

[11]國防科工局重大專項工程中心，中國資源衛(wèi)星應(yīng)用中心.高分三號衛(wèi)星地面系統(tǒng)用戶手冊[Z].北京：中國資源衛(wèi)星應(yīng)用中心，2017：1-39.