空間光學(xué)遙感器多維關(guān)聯(lián)分析指標(biāo)推薦方法

尚志鳴 文高進(jìn) 李辰 王洪民

（北京空間機(jī)電研究所，北京 100094）

0 引言

數(shù)據(jù)挖掘是在“數(shù)據(jù)中挖掘知識(shí)”[1]，從海量的數(shù)據(jù)里提取出有用的信息和知識(shí)，并利用這些知識(shí)進(jìn)行預(yù)測(cè)和決策，找出隱藏在數(shù)據(jù)中不能靠直覺(jué)發(fā)現(xiàn)的規(guī)則、模式、規(guī)律[2]。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的主要任務(wù)之一，它尋找數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)與派生關(guān)系，反映一個(gè)事務(wù)與其他事務(wù)之間存在的依賴(lài)或者關(guān)聯(lián)的知識(shí)。

光學(xué)對(duì)地遙感觀測(cè)載荷任務(wù)復(fù)雜、探測(cè)對(duì)象多樣、參數(shù)眾多[3-4]。面向任務(wù)的載荷設(shè)計(jì)具備多目標(biāo)、多變量、多約束的特點(diǎn)。傳統(tǒng)上，載荷技術(shù)指標(biāo)的選擇與設(shè)計(jì)決策由專(zhuān)家在先驗(yàn)知識(shí)支撐下，針對(duì)遙感應(yīng)用目標(biāo)開(kāi)展需求分析、仿真計(jì)算[5]，并借鑒參考其他先進(jìn)遙感載荷確定。然而遙感應(yīng)用目標(biāo)多樣，監(jiān)測(cè)機(jī)理各不相同，分析仿真過(guò)程非常復(fù)雜，借鑒參考對(duì)象的選擇也具有一定的主觀性，對(duì)設(shè)計(jì)人員的技術(shù)水平與知識(shí)儲(chǔ)備有很高的要求[6-10]。

隨著空間光學(xué)遙感載荷技術(shù)的快速發(fā)展，積累了豐富的技術(shù)指標(biāo)參數(shù)與載荷應(yīng)用方向數(shù)據(jù)。在此基礎(chǔ)上，針對(duì)遙感任務(wù)多目標(biāo)與遙感技術(shù)參數(shù)多約束導(dǎo)致的面向遙感應(yīng)用方向的指標(biāo)設(shè)計(jì)難題，從數(shù)據(jù)自身出發(fā)，開(kāi)展空間光學(xué)遙感器應(yīng)用方向與技術(shù)指標(biāo)參數(shù)間的關(guān)聯(lián)規(guī)則挖掘，尋找遙感應(yīng)用方向與遙感載荷技術(shù)指標(biāo)間潛在的且具有規(guī)律性的依賴(lài)或派生關(guān)系。由此，全面、充分地利用既往光學(xué)遙感載荷設(shè)計(jì)經(jīng)驗(yàn)，將借鑒參考其他遙感載荷的過(guò)程客觀化、定量化，實(shí)現(xiàn)面向遙感任務(wù)的指標(biāo)自動(dòng)推薦，為空間光學(xué)遙感載荷的指標(biāo)設(shè)計(jì)提供一種新的視角。

1 關(guān)聯(lián)規(guī)則挖掘

關(guān)聯(lián)規(guī)則挖掘的主要任務(wù)是探索事物間的關(guān)聯(lián)模式，其最著名的應(yīng)用是對(duì)超市“購(gòu)物籃”分析，探索客戶(hù)購(gòu)買(mǎi)行為模式，在商業(yè)與科學(xué)領(lǐng)域獲得了廣泛應(yīng)用[11-16]。

其內(nèi)涵如下：假定與分析任務(wù)相關(guān)的事務(wù)數(shù)據(jù)庫(kù)D為事務(wù)T的集合，即D={T1，T2，…，Tn}；事務(wù)T則為項(xiàng)i集合的子集，即T?{i1，i2，…，in}。設(shè)A、B分別為一個(gè)項(xiàng)集，且為某事務(wù)T的子集，互相無(wú)交叉項(xiàng)目，即A?T，B?T，且A∩B=φ，則A?B構(gòu)成一個(gè)關(guān)聯(lián)規(guī)則，其中A為輸入?yún)?shù)，B為由參數(shù)A確定的結(jié)果，規(guī)則表示由輸入的前因A導(dǎo)致結(jié)果B的派生關(guān)系。滿(mǎn)足給定的評(píng)價(jià)指標(biāo)，足夠可信的關(guān)聯(lián)規(guī)則A?B，被稱(chēng)為強(qiáng)關(guān)聯(lián)規(guī)則。

面向遙感應(yīng)用的遙感器技術(shù)指標(biāo)推薦，其本質(zhì)是根據(jù)輸入的遙感應(yīng)用方向，確定和預(yù)測(cè)應(yīng)該設(shè)計(jì)和選用的技術(shù)指標(biāo)，這與關(guān)聯(lián)規(guī)則的形式一致。因此，將遙感應(yīng)用方向作為A，遙感器技術(shù)指標(biāo)參數(shù)作為B，挖掘它們間的強(qiáng)關(guān)聯(lián)規(guī)則A?B。其挖掘成果就是針對(duì)不同遙感應(yīng)用方向的遙感器技術(shù)指標(biāo)推薦成果。

1.1 Apriori算法

Agrawal等提出的Apriori算法[17-18]是應(yīng)用最為廣泛的關(guān)聯(lián)規(guī)則挖掘算法，在挖掘和識(shí)別關(guān)聯(lián)規(guī)則的工作中具有很大的影響力[19]。

Apriori算法首先在目標(biāo)事務(wù)庫(kù)D中檢索出現(xiàn)頻率高于設(shè)定閾值的頻繁項(xiàng)集；再在得到的頻繁項(xiàng)集中尋找滿(mǎn)足要求的關(guān)聯(lián)規(guī)則。其頻繁項(xiàng)集檢索采用逐層、迭代的搜索方式，從低階頻繁項(xiàng)集到高階頻繁項(xiàng)集逐步搜索，并利用頻繁項(xiàng)目集的任一子集全部為頻繁項(xiàng)目集的特性，對(duì)候選集進(jìn)行剪枝，提升了計(jì)算效率。

具體步驟[20]包括：1）遍歷目標(biāo)事務(wù)庫(kù)D，找出其中 1階頻繁項(xiàng)集L1；2）將k-1階頻繁項(xiàng)集Lk-1（k≥2）采用自身連接生成k階候選項(xiàng)目集Gk；3）對(duì)k階候選項(xiàng)目集Gk進(jìn)行剪枝，假設(shè)Gk-1是Gk的任意一個(gè)k-1階子集，若Gk?Lk-1，則Gk?Lk，即候選集Gk肯定不是頻繁集，將其從候選集中刪除；4）循環(huán)執(zhí)行步驟 2)、步驟 3)，直至不能得到更高階的頻繁項(xiàng)目集。最后選用關(guān)聯(lián)規(guī)則篩選指標(biāo)從頻繁項(xiàng)集L中提取滿(mǎn)足條件的關(guān)聯(lián)規(guī)則，挖掘過(guò)程結(jié)束。

1.2 關(guān)聯(lián)規(guī)則評(píng)價(jià)指標(biāo)

使用支持度、置信度、提升度[21-22]作為關(guān)聯(lián)規(guī)則的評(píng)價(jià)指標(biāo)。支持度用于決策項(xiàng)集是否頻繁，置信度、提升度則用于從頻繁項(xiàng)集中提取足夠可信的規(guī)則。同時(shí)滿(mǎn)足事先設(shè)定的最小支持度、最小置信度、最小提升度閾值的規(guī)則就是可信的強(qiáng)關(guān)聯(lián)規(guī)則。

1）支持度s，描述同時(shí)包含A和B的事務(wù)在事務(wù)數(shù)據(jù)庫(kù)D的所有事務(wù)中所占的比例，即

其中P表示概率。支持度說(shuō)明了規(guī)則在整個(gè)數(shù)據(jù)庫(kù)中出現(xiàn)的頻繁程度，如頻繁程度過(guò)低，則表明這條規(guī)則受數(shù)據(jù)采樣等偶然因素影響較大，并不具備實(shí)際價(jià)值。

2）置信度c，表示當(dāng)A發(fā)生時(shí)，B發(fā)生的條件概率，即

它等于同時(shí)包含A和B的事務(wù)在所有包含A的事務(wù)中所占的比例，即

置信度代表了規(guī)則（出現(xiàn)A則應(yīng)該出現(xiàn)B）的可信程度。

3）提升度l，表示同時(shí)包含A和B的事務(wù)在所有包含A的事務(wù)中所占的比例與包含B的事務(wù)的比例的比值，即

由于遙感應(yīng)用方向與載荷參數(shù)間多目標(biāo)、多約束的關(guān)系，單臺(tái)載荷往往既可同時(shí)服務(wù)多個(gè)遙感應(yīng)用方向，又具備多種遙感設(shè)計(jì)參數(shù)。這些參數(shù)與應(yīng)用方向出現(xiàn)于同一個(gè)載荷，容易計(jì)算出較高的置信度，但是它們事實(shí)上并非全部正向相關(guān)，單純使用置信度指標(biāo)會(huì)導(dǎo)致錯(cuò)誤的結(jié)論。因此引入提升度指標(biāo)判定強(qiáng)關(guān)聯(lián)規(guī)則。

提升度沒(méi)有單位，其意義在于，描述了事件A發(fā)生，對(duì)B出現(xiàn)的概率有什么樣的影響，如果提升度l=1，那么說(shuō)明事件A和事件B沒(méi)有關(guān)聯(lián)；如果l＜1，說(shuō)明事件A和事件B是互斥的；如果l＞1，則代表事件A和事件B是有關(guān)聯(lián)的。本文使用提升度l＞3作為強(qiáng)關(guān)聯(lián)規(guī)則的篩選條件。

2 面向遙感應(yīng)用的空間光學(xué)遙感載荷指標(biāo)關(guān)聯(lián)規(guī)則挖掘

以譜段參數(shù)設(shè)計(jì)為例，研究面向遙感應(yīng)用的空間光學(xué)遙感載荷技術(shù)指標(biāo)關(guān)聯(lián)規(guī)則挖掘方法，實(shí)現(xiàn)面向具體遙感應(yīng)用方向的技術(shù)指標(biāo)自動(dòng)推薦功能。

2.1 事務(wù)數(shù)據(jù)庫(kù)構(gòu)建

以單個(gè)光學(xué)遙感載荷為單元，合并其光學(xué)遙感載荷的光譜參數(shù)與應(yīng)用方向數(shù)據(jù)，作為一條事務(wù)。設(shè)事務(wù)數(shù)據(jù)庫(kù)D中載荷數(shù)量為N，則事務(wù)數(shù)據(jù)庫(kù)D由各個(gè)載荷對(duì)應(yīng)的事務(wù)Ti（i=1，2，…，N）組成。

單條遙感載荷事務(wù)T為同時(shí)包含多個(gè)遙感應(yīng)用方向與多個(gè)譜段參數(shù)的多維數(shù)據(jù)集。其中每一個(gè)遙感應(yīng)用方向或譜段參數(shù)，均應(yīng)作為一個(gè)項(xiàng)目ik。如某載荷有3個(gè)光譜，同時(shí)可應(yīng)用于2個(gè)應(yīng)用方向，則以該載荷可形成1條事務(wù)，Ti= {is1,is2,is3,im1,im2}。因?yàn)槊總€(gè)載荷所具有的譜段數(shù)量與應(yīng)用方向數(shù)量并不相同，所以在事務(wù)數(shù)據(jù)庫(kù)D中，每條事務(wù)的長(zhǎng)度也并不一致。

按照上述方式，搜集國(guó)內(nèi)外空間光學(xué)遙感載荷譜段設(shè)計(jì)參數(shù)與遙感應(yīng)用方向數(shù)據(jù)。涉及的光學(xué)遙感載荷涵蓋全色、多光譜、高光譜、紅外等多個(gè)類(lèi)別，共計(jì)588種。其光譜參數(shù)與應(yīng)用方向數(shù)據(jù)來(lái)自世界氣象組織OSCAR網(wǎng)站與eoportal網(wǎng)站公開(kāi)數(shù)據(jù)[23-24]，其中光譜參數(shù)包含各載荷譜段中心波長(zhǎng)；遙感應(yīng)用方向涵蓋大氣、陸地、海洋等遙感應(yīng)用領(lǐng)域，細(xì)分至如植被指數(shù)、土地利用、海洋葉綠素含量等具體監(jiān)測(cè)目標(biāo)。將每條載荷數(shù)據(jù)轉(zhuǎn)化為單條事務(wù)Ti（i=1，2，…，N），由所有事務(wù)構(gòu)成事務(wù)集D={T1，T2，…，Tn}。

事務(wù)數(shù)據(jù)庫(kù)具體形式如表1所示，可見(jiàn)數(shù)據(jù)庫(kù)由N條事物組成，每條事物則包含某載荷的譜段中心波長(zhǎng)與應(yīng)用方向信息。

表1 事務(wù)數(shù)據(jù)庫(kù)示例Tab.1 An example of the transaction database

2.2 關(guān)聯(lián)規(guī)則提取

依據(jù)關(guān)聯(lián)規(guī)則篩選指標(biāo)，設(shè)定最小支持度為5%、最小置信度為50%、最小提升度為3。采用Apriori關(guān)聯(lián)分析算法對(duì)事務(wù)數(shù)據(jù)庫(kù)D={T1，T2，…，TN}開(kāi)展挖掘，獲取其頻繁項(xiàng)目集與強(qiáng)關(guān)聯(lián)規(guī)則。

2.3 關(guān)聯(lián)規(guī)則優(yōu)化

Apriori算法將所有滿(mǎn)足關(guān)聯(lián)規(guī)則篩選指標(biāo)的規(guī)則視為強(qiáng)關(guān)聯(lián)并提取出來(lái)。然而，并非所有的強(qiáng)關(guān)聯(lián)規(guī)則都有意義。本文在Apriori算法的基礎(chǔ)上，對(duì)強(qiáng)關(guān)聯(lián)規(guī)則提取成果進(jìn)行兩點(diǎn)優(yōu)化：

1）在獲取的全部關(guān)聯(lián)規(guī)則中，僅選取載荷應(yīng)用方向與其光譜參數(shù)之間的關(guān)聯(lián)規(guī)則進(jìn)行分析。其中，重點(diǎn)提取由遙感應(yīng)用方向得出光譜參數(shù)的關(guān)聯(lián)規(guī)則，即面向某具體遙感應(yīng)用方向，可以推薦選用的譜段設(shè)計(jì)；其次提取由光譜參數(shù)得出遙感應(yīng)用的規(guī)則，即如果光學(xué)遙感載荷具有某些譜段，則可以推斷其應(yīng)用于哪些遙感任務(wù)。

2）較低維關(guān)聯(lián)規(guī)則是較高維關(guān)聯(lián)規(guī)則總的概括，較高維是較低維的深入[25]。在低維強(qiáng)關(guān)聯(lián)規(guī)則基礎(chǔ)上增加條件得到的高維度規(guī)則，隨著維度的提升，其置信度會(huì)逐漸增高，但更高的維度意味著得出結(jié)論的條件更為苛刻，規(guī)則的實(shí)際應(yīng)用價(jià)值下降。因此將提取強(qiáng)關(guān)聯(lián)規(guī)則的維度限制在五維以下。同時(shí)，針對(duì)100%置信度的關(guān)聯(lián)規(guī)則，不再尋求更高維度的規(guī)則。

3 挖掘成果分析

3.1 強(qiáng)關(guān)聯(lián)規(guī)則

對(duì)光學(xué)遙感載荷事務(wù)數(shù)據(jù)庫(kù)中的588種空間光學(xué)遙感載荷事務(wù)數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘，得到滿(mǎn)足設(shè)定的最小置信度、最小支持度、最小提升度閾值的強(qiáng)關(guān)聯(lián)規(guī)則，并對(duì)挖掘成果進(jìn)行優(yōu)化。

最終得到由遙感應(yīng)用方向確定光譜參數(shù)的強(qiáng)關(guān)聯(lián)規(guī)則8 243條，其中二維規(guī)則15條，三維規(guī)則304條，四維規(guī)則1 827條，五維規(guī)則6 097條。依據(jù)各個(gè)規(guī)則對(duì)應(yīng)的不同遙感應(yīng)用方向，將其劃分為大氣、海洋、陸地與交叉應(yīng)用共計(jì)四個(gè)應(yīng)用類(lèi)別。

由于挖掘到的關(guān)聯(lián)規(guī)則較多，難以全部顯示。針對(duì)二維關(guān)聯(lián)規(guī)則與三維關(guān)聯(lián)規(guī)則，僅選取各個(gè)應(yīng)用類(lèi)別中支持度最高的強(qiáng)關(guān)聯(lián)規(guī)則，以及與該規(guī)則擁有同樣遙感應(yīng)用方向的強(qiáng)關(guān)聯(lián)規(guī)則展示。

二維關(guān)聯(lián)規(guī)則如表2所示。其中強(qiáng)關(guān)聯(lián)規(guī)則列中，符號(hào)“?”左側(cè)為遙感應(yīng)用方向，右側(cè)為推薦譜段的中心波長(zhǎng)。根據(jù)提取的強(qiáng)關(guān)聯(lián)規(guī)則，輸入具體遙感應(yīng)用方向后即可確定譜段中心波長(zhǎng)參數(shù)結(jié)果。

表2 二維關(guān)聯(lián)規(guī)則舉例Tab.2 An example of two dimension association rules

三維關(guān)聯(lián)規(guī)則如表3所示。其中邏輯符號(hào)“∧”是“合取”，代表“并且”關(guān)系。當(dāng)“∧”連接的遙感應(yīng)用方向被同時(shí)輸入時(shí)，可以確定符號(hào)“?”右側(cè)的譜段中心波長(zhǎng)參數(shù)。

表3 三維關(guān)聯(lián)規(guī)則舉例Tab.3 An example of three-dimensional association rules

隨著新遙感應(yīng)用方向的加入，規(guī)則的維度提升，其置信度也相應(yīng)提升，符合條件的規(guī)則數(shù)目相應(yīng)增加。為在有限的篇幅中盡量豐富的展示挖掘到的關(guān)聯(lián)規(guī)則面貌，針對(duì)四維關(guān)聯(lián)規(guī)則與五維度關(guān)聯(lián)規(guī)則，僅列舉與二維、三維規(guī)則差異較大的規(guī)則樣本。

四維及五維關(guān)聯(lián)規(guī)則如表4所示。

表4 四維及五維關(guān)聯(lián)規(guī)則舉例Tab.4 Examples of four and five dimension association rules

同時(shí)，提取了189條由光譜指標(biāo)確定遙感應(yīng)用方向的強(qiáng)關(guān)聯(lián)規(guī)則，其中二維關(guān)聯(lián)規(guī)則63條，三維關(guān)聯(lián)規(guī)則123條，部分規(guī)則如表5所示。

表5 由光譜指標(biāo)推導(dǎo)遙感應(yīng)用的關(guān)聯(lián)規(guī)則舉例Tab.5 Examples of deriving association rules for remote sensing application from spectral index

3.2 關(guān)聯(lián)規(guī)則分析

挖掘到的關(guān)聯(lián)規(guī)則分為由遙感應(yīng)用方向確定光譜參數(shù)的關(guān)聯(lián)規(guī)則與由光譜參數(shù)確定其遙感應(yīng)用方向的關(guān)聯(lián)規(guī)則兩類(lèi)。

1）由遙感應(yīng)用方向A確定光譜參數(shù)B或參數(shù)集Bi（i=1，2，…，M）（M為光譜指標(biāo)參數(shù)集的維度）的規(guī)則，如置信度c、支持度s、提升度l滿(mǎn)足算法閾值要求，代表設(shè)計(jì)面向遙感應(yīng)用方向A的空間光學(xué)載荷時(shí)，推薦使用Bi（i=1，2，…，M）指標(biāo)參數(shù)集。以表 3為例，設(shè)計(jì)面向海洋葉綠素濃度反演的遙感載荷，推薦使用中心波長(zhǎng)為 490nm，412nm與 443nm的光譜譜段進(jìn)行觀測(cè)，推薦的置信度均達(dá)到了70%以上，這一結(jié)論與先驗(yàn)知識(shí)相符合[26]。

由表2～3可以發(fā)現(xiàn)，設(shè)計(jì)面向海洋葉綠素濃度、海洋有機(jī)物、海洋擴(kuò)散衰減系數(shù)等多個(gè)海洋遙感應(yīng)用方向的遙感載荷時(shí)，均推薦使用中心波長(zhǎng)為412nm，443nm，490nm的光譜譜段，具有較高的置信度與提升度。這意味著在海洋遙感領(lǐng)域，國(guó)內(nèi)外空間光學(xué)載荷研制機(jī)構(gòu)的譜段選擇較為一致，在今后的海洋水色遙感載荷研制中可以參考。

由表2～4可以發(fā)現(xiàn)，在二維、三維關(guān)聯(lián)規(guī)則中，有較多的獨(dú)立應(yīng)用類(lèi)別對(duì)應(yīng)特定譜段的規(guī)則，而隨著維度增長(zhǎng)，規(guī)則所屬的應(yīng)用類(lèi)別出現(xiàn)交叉。這意味著空間光學(xué)遙感載荷可以突破其原有應(yīng)用類(lèi)別限制，在更廣泛的遙感任務(wù)中發(fā)揮作用，譬如針對(duì)火災(zāi)監(jiān)測(cè)，可以通過(guò)關(guān)聯(lián)分析搜索所有具備火災(zāi)監(jiān)測(cè)能力的遙感譜段，再統(tǒng)籌調(diào)度包含該譜段的各領(lǐng)域空間遙感載荷投入監(jiān)測(cè)，從而提升遙感載荷的復(fù)用程度，提升空間遙感應(yīng)急反應(yīng)能力。

2）由光譜技術(shù)指標(biāo)B（或指標(biāo)集Bi（i=1，2，…，M））確定遙感應(yīng)用方向A的關(guān)聯(lián)規(guī)則，置信度c、支持度s、提升度l滿(mǎn)足算法閾值要求，代表具備技術(shù)指標(biāo)Bi（i=1，2，…，M）的遙感載荷，可服務(wù)于遙感應(yīng)用方向A。如表5所示，如遙感載荷具有10 800nm和12 000nm譜段，則可知其有100%的置信度可服務(wù)于綜合水汽含量、云頂高度、云頂溫度監(jiān)測(cè)等遙感應(yīng)用方向。這樣，對(duì)某型空間光學(xué)載荷，可以通過(guò)它的譜段設(shè)計(jì)，推斷其有潛力的應(yīng)用方向。

4 結(jié)束語(yǔ)

文章以面向遙感應(yīng)用的光譜譜段參數(shù)自動(dòng)推薦為例，提出了基于關(guān)聯(lián)分析的空間光學(xué)遙感器指標(biāo)自動(dòng)推薦方法。方法針對(duì)遙感載荷技術(shù)指標(biāo)與遙感應(yīng)用方向數(shù)據(jù)的特點(diǎn)，構(gòu)建空間光學(xué)遙感載荷事務(wù)數(shù)據(jù)庫(kù)，應(yīng)用Apriori算法進(jìn)行關(guān)聯(lián)規(guī)則挖掘，確定所挖掘規(guī)則的評(píng)價(jià)篩選指標(biāo)，并對(duì)挖掘到的規(guī)則結(jié)果優(yōu)化。最終得到了一批遙感應(yīng)用方向與光譜譜段參數(shù)間有意義的規(guī)則，并加以分析。

在相應(yīng)數(shù)據(jù)支持下，方法也可挖掘遙感應(yīng)用方向與載荷其他技術(shù)指標(biāo)（如輻射分辨率等）間的關(guān)聯(lián)關(guān)系，為面向遙感任務(wù)的遙感載荷指標(biāo)設(shè)計(jì)這一多目標(biāo)、多約束問(wèn)題提供一種新的解決思路。與傳統(tǒng)依賴(lài)專(zhuān)家知識(shí)的設(shè)計(jì)方法相比，該方法沒(méi)有明晰的物理推導(dǎo)過(guò)程，但卻具備定量化的可信度評(píng)價(jià)機(jī)制，其研究成果可為遙感載荷指標(biāo)體系設(shè)計(jì)提供有益的參考。