基于監(jiān)督學習的Takagi Sugeno Kang模糊系統(tǒng)圖像融合方法研究

李 奕 吳小俊

?

基于監(jiān)督學習的Takagi Sugeno Kang模糊系統(tǒng)圖像融合方法研究

李 奕①②吳小俊*①

①(江南大學物聯(lián)網(wǎng)工程學院 無錫 214122)②(青島大學國際教育合作學院 青島 266071)

該文針對圖像融合領域內難于對先驗知識加以利用的問題提出一種新的有監(jiān)督學習的Takagi Sugeno Kang (TSK)模糊系統(tǒng)圖像融合方法。該方法通過引入TSK模糊系統(tǒng)構建標準圖像融合圖像庫進行學習，將學習準則記錄下來形成融合模型，并指導新的圖像融合過程。不同于傳統(tǒng)方法，該方法可以有效地避免模型參數(shù)擇優(yōu)的難題，在融合圖像質量和適用范圍方面表現(xiàn)出一定的優(yōu)勢。從單一類型圖像融合和多種類型圖像融合兩個角度進行了實驗研究，實驗結果說明該方法的有效性。

圖像融合；監(jiān)督學習；Takagi Sugeno Kang(TSK)模糊系統(tǒng)

1 引言

上述神經網(wǎng)絡方面的圖像融合方法雖然在某種類型或某些類型的圖像融合中表現(xiàn)出一定的有效性，但采用的還均是無監(jiān)督學習技術，都依然面臨著不能充分利用成功融合的經驗并用于指導新的圖像融合工作之問題。針對此問題，本文將機器學習領域著名的有監(jiān)督學習模型，即模糊系統(tǒng)引入圖像融合過程中，這樣通過對目前已成功融合的結果建立起圖像學習庫來進行模型學習，得到適宜于圖像融合的模糊系統(tǒng)模型，利用得到的模型對新圖像完成融合，從而達到可以提高新圖像融合效率和準確性的目的。

2 TSK(Takagi Sugeno Kang)模糊系統(tǒng)

2.1 監(jiān)督學習智能建模方法

2.2 TSK模糊系統(tǒng)

模糊系統(tǒng)[16,17]作為智能計算領域內一個重要的研究分支，其依靠自身獨特的可解釋性以及強大的學習能力，被廣泛地應用于各個領域內。由于TSK模型輸出的簡潔性，以及其所對應的訓練過程通?？赊D化為線性回歸問題或二次規(guī)劃問題來求解，這使得該模型較之于其它模型而言訓練過程更為快速、有效。本文即針對TSK模型進行圖像融合的探討。

其中

3 TSK模糊系統(tǒng)圖像融合方法

3.1 方法框架

TSK模糊圖像融合方法分為圖像庫構建、學習算法選擇和規(guī)則參數(shù)學習、融合模型生成與圖像融合實現(xiàn)幾部分。核心部分具體又可分為兩個模塊，即模型訓練模塊和模型測試模塊，如圖1所示。訓練部分主要通過采用不同的TSK模糊系統(tǒng)學習算法，基于融合圖像學習庫中圖像進行參數(shù)學習，并將得到的最終模糊規(guī)則記錄下來形成TSK模糊系統(tǒng)圖像融合模型。測試部分主要是采用該融合模型針對新的待融合圖像完成融合測試，并得到最終的融合結果。

3.2 實現(xiàn)過程

本節(jié)基于3.1節(jié)的TSK模糊系統(tǒng)圖像融合框架，研究具體的TSK模糊系統(tǒng)圖像融合算法實現(xiàn)，主要包含如下兩個部分：(1)融合圖像訓練數(shù)據(jù)集的構造；(2)基于融合圖像數(shù)據(jù)集和ANFIS學習方法的TSK模糊系統(tǒng)訓練。

3.2.1訓練數(shù)據(jù)集的構造 根據(jù)不同的具體情況，本文在構造訓練圖像數(shù)據(jù)集時設計了特定類型訓練集和不限定類型訓練集兩種情況，分別進行討論。具體描述如下。

(1)特定類型圖像融合訓練數(shù)據(jù)集的構造。對于特定類型圖像，以醫(yī)學X射線斷層掃描(CT)，磁共振成像(MRI)為例，可以根據(jù)若干結構相似度高于0.9的可用CT, MRI圖像及其對應融合后所得圖像來構造訓練數(shù)據(jù)集。此類數(shù)據(jù)集訓練模型對此類測試圖像的融合是非常有針對性的，可以期望得到很好的融合效果。但對于其它類型的測試圖像效果則不夠理想，即缺少通用性。

圖1 TSK模糊系統(tǒng)圖像融合模型的訓練和測試模塊

(2)不限定類型圖像融合訓練數(shù)據(jù)集的構造。為了提高所訓練模型的通用性，需要給模型提供一個多樣性的圖像訓練數(shù)據(jù)集。該問題是有監(jiān)督學習圖像融合研究領域的難題，以往的研究中很少有涉及，本文進行了如下嘗試。選擇幾組結構相似度高于0.8的多聚焦、少量醫(yī)學圖像等來構造一個多樣性圖像訓練數(shù)據(jù)集。此類數(shù)據(jù)集訓練所得模型將有較好的通用性，但對于特定類型的圖像，其效果較之對應的特定類型圖像數(shù)據(jù)集訓練所得模型將會變差。這一點在實驗部分亦得到了驗證。

3.2.2 TSK訓練算法 基于給定的圖像數(shù)據(jù)集，可采用不同的方法對TSK模糊系統(tǒng)學習得到最終用于圖像融合的模糊系統(tǒng)模型。目前的TSK模糊系統(tǒng)學習算法有如擴展TSK方法STSK(Scalable TSK)[16]等多種。根據(jù)本文的圖像數(shù)據(jù)集的特點，我們采用自適應神經模糊推理系統(tǒng)(Adaptive Neural Fuzzy Inference System, ANFIS)算法來訓練所需的TSK模糊系統(tǒng)圖像融合模型。針對其它模糊學習方法應用到圖像融合領域的研究將是我們繼續(xù)深入的問題。本部分對ANFIS學習訓練過程做簡要介紹。ANFIS 學習過程分為前件學習過程和后件學習過程。先假設前件參數(shù)已知，通過前件輸出來確定后件學習中的參數(shù)；然后再以得到的后件學習參數(shù)以及相應后件學習結果來計算前件參數(shù)，這樣交替反復進行，直到滿足迭代終止條件為止。具體學習過程如表1所示。

圖2訓練集學習過程

表1 ANFIS學習過程

3.3 TSK模糊系統(tǒng)圖像融合算法及分析

根據(jù)前面分析，本節(jié)給出基于ANFIS的TSK模糊系統(tǒng)圖像融合模型的具體實現(xiàn)算法(簡稱ANFIS-Fusion)，算法描述如表2所示。

表2 ANFIS-Fusion算法步驟

本文提出的ANFIS模糊系統(tǒng)圖像融合方法，主要分為ANFIS模糊系統(tǒng)訓練集構造、學習階段及模型產生、圖像融合測試及反饋階段和融合圖像生成4部分工作。其核心ANFIS模糊系統(tǒng)學習階段根據(jù)學習圖像庫中的多組圖像進行學習，以標準圖像作為逼近目標，并經迭代學習得到最終模糊推理規(guī)則。第3個階段的工作是根據(jù)學習模型完成融合過程，得到融合圖像，并將該融合經驗逐步補充訓練過程，以增強ANFIS模糊系統(tǒng)學習能力。本文提出了一種有監(jiān)督圖像融合學習過程，可以較好地利用之前的融合經驗指導新的圖像融合過程，避免融合過程單次化和融合經驗的浪費，較好地提高了融合性能。

4 仿真實驗及分析

本節(jié)選擇在圖像融合領域廣泛存在的醫(yī)學圖像、多聚焦圖像上進行實驗研究，與經典融合方法PCNN, Gradient, FSD, Laplacian, DWT, PCA進行比較，并對實驗結果、性能進行了深入分析，本節(jié)所采用的指標見表3所示。

表3指標計算方法

指 標計算方法 Q0[18] QE[18] QW[18] QAB/F[18]

4.1 特定類型學習圖像融合實驗

特定類型學習圖像融合實驗旨在構造單種類型圖像的學習圖像庫，通過學習過程形成融合模型來指導學習圖像庫中該類型圖像融合工作。實驗中選取圖像尺寸為256×256的兩幅醫(yī)學‘CT’圖像進行實驗，實驗結果見圖3和表4。

4.2 無限定類型學習圖像融合實驗

無限定類型學習圖像融合實驗旨在構造不限定單種類型圖像的學習圖像庫，通過學習過程形成融合模型來指導學習圖像庫中某類型圖像融合工作。多聚焦圖像是圖像融合領域中具有代表性的幾大類型圖像之一，在該類型圖像上的實驗效果在一定程度上可以說明方法的有效性。本文嘗試通過構造由經典的多聚焦圖像、醫(yī)學圖像等多種類型圖像組成的學習圖像庫，并由形成的學習模型指導多聚焦圖像的融合。實驗中選取分別為左、右聚焦的兩幅‘Book’圖像，結果見圖4和表5。

表4 ‘CT’圖像實驗數(shù)據(jù)比較

表5 ‘Book’圖像實驗數(shù)據(jù)比較

圖3‘CT’圖像實驗結果

4.3 分析

本節(jié)從視覺清晰度和客觀評價指標兩個角度對上述實驗結果進行比較和分析。

首先，從視覺清晰度的角度上進行分析，無論是特定類型圖像融合還是無限定類型圖像融合，采用本文方法融合得到的圖像均較之于其它方法更加清晰，能夠較好地反映圖像中主要因素的信息。

其次，從客觀評價上，在‘CT’圖像上：特定類型圖像融合實驗結果在Q0, QE, QW, QAB/F方面顯示出一定優(yōu)勢，說明本文方法具有一定的有效性。對于不限定圖像類型實驗結果，在Q0, QW, QAB/F方面表示突出，在QE方面接近于PCA。但在相同的實驗環(huán)境下采用特定類型融合模型得到的實驗結果比不限定類型融合模型得到的實驗結果在Q0, QE, QW, QAB/F幾方面均有所提高，這一點說明特定類型圖像融合模型在融合準確性上可以達到相對更高的水平，這與我們的經驗相一致。在無限定類型圖像學習融合實驗‘Book’圖像上，QW, QAB/F等方面表現(xiàn)較突出。但Q0, QE方面差于PCA。另外，本文方法融合的結果在圖像灰度的特征信息方面并不十分滿意，主要原因在于構建融合模型時沒有突出此類重點信息，在該方面如何引入特征信息、區(qū)域信息等內容來構建訓練數(shù)據(jù)集，較好地提高融合圖像的性能，將是我們擬進一步探討的問題。

無論是針對特定類型的醫(yī)學圖像融合實驗結果還是針對無限定類型圖像學習融合實驗結果，本文方法在QW, QAB/F等方面均表現(xiàn)突出，說明通過新方法融合得到的圖像能夠盡量多地包含原圖像中有價值的信息。從視覺上來看，融合結果清晰度較好，能夠較好地保持圖像中的關鍵信息。

5 結束語

針對圖像融合領域中先前融合經驗不能積累用于指導新的融合過程之不足，本文提出了一種新的有監(jiān)督TSK模糊系統(tǒng)圖像融合方法。這種方法通過ANFIS模糊系統(tǒng)訓練算法基于已有圖像學習庫中的圖像進行參數(shù)學習，建立TSK模糊系統(tǒng)圖像融合模型，以指導完成新的圖像融合過程。實驗結果表明本文方法具有以下特點：(1)采用有監(jiān)督的學習模式，可以充分利用之前成功的融合經驗來指導新的融合過程，較好地提高融合性能；(2)可以對完整圖像集中的部分可公開的圖像進行學習，來指導其他圖像的融合過程，有效地保護不能公開的隱私圖像。另外，采用其它類型的模糊系統(tǒng)實現(xiàn)圖像融合也是值得探討的工作，未來的工作中我們將對上述問題做進一步深入研究。

圖4 ‘Book’圖像實驗結果

[1] McAlpin D and Meyer F J. Multi-sensor data fusion for remote sensing of post-eruptive deformation and depositional features at Redoubt Volcano[J]., 2013, 259: 414-423.

[2] Kong W W, Lei Y J, Lei Y,.. Image fusion technique based on non-subsampled contourlet transform and adaptive unit-fast-linking pulse-coupled neural network[J]., 2011, 5(2): 113-121.

[3] Geng P, Zheng X, Zhang Z G,.. Multifocus image fusion with PCNN in shearlet domain[J]., 2012, 4(15): 2283-2290.

[4] Lindblad T and Kinser J M. Image Processing Using Pulse-coupled Neural Networks[M]. New York: Springer Berlin Heidelberg, 2013: 1.

[5] Chai Y, Li H F, and Qu J F. Image fusion scheme using a novel dual-channel PCNN in lifting stationary wavelet domain[J]., 2010, 283(19): 3591-3602.

[6] Qu X B, Yan J W, Xiao H Z,.. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[7] Huang W and Jing Z L. Multi-focus image fusion using pulse coupled neural network[J]., 2007, 28(9): 1123-1132.

[8] Wang Z B, Ma Y D, and Gu J. Multi-focus image fusion using PCNN[J]., 2010, 43(6): 2003-2016.

[9] Luo X Q and Wu X J. Medical image fusion based on pulse coupled neural networks and multi-feature fuzzy clustering[J]., 2012, 5(12A): 878-883.

[10] Li Z F, Chai Y, and Zhong Y P. Multifocus image fusion scheme using features motivated a novel M-channel PCNN in lifting stationary wavelet domain[J]., 2012, 8(4): 1531-1543.

[11] Jiang H and Tian Y F. Fuzzy image fusion based on modified self-generating neural network[J]., 2011, 38(7): 8515-8523.

[12] Zhang Z L, Sun S H, and Zheng F C. Image fusion based on median filters and SOFM neural networks: a three-step scheme[J]., 2001, 81(6): 1325-1330.

[13] Zhang D G, Li C, Wang D,.. A new method of image data fusion based on FNN[C]. Natural Computation(ICNC), Yantai, China, 2010, 7: 3729-3733.

[14] 王士同. 神經模糊系統(tǒng)及其應用[M]. 北京: 北京航空航天大學出版社, 1998: 1-3.Wang S T. Neural Fuzzy System and Their Application[M]. Beijing: Publishing House of Beijing Aeronautical University, 1998: 1-3.

[15] 王士同. 模糊系統(tǒng), 模糊神經網(wǎng)絡及應用程序設計[M]. 上海:上?？茖W技術文獻出版社, 1998: 1-2.

Wang S T. Fuzzy System, Fuzzy Neural Networks and Their Programming[M]. Shanghai: Press of Shanghai Science and Technology, 1998: 1-2.

[16] Deng Z H, Choi K S, Chung F L,.. Scalable TSK fuzzy modeling for very large datasets using minimal-enclosing-ball approximation[J]., 2011, 19(2): 210-226.

[17] 蔣亦樟, 鄧趙紅, 王士同. 0階L2型TSK遷移學習模糊系統(tǒng)[J].電子學報, 2013, 41(5): 897-904.

Jiang Y Z, Deng Z H, and Wang S T. 0 Order L2 norm Takagi Sugeno Kang type transfer learning fuzzy system[J]., 2013, 41(5): 897-904.

[18] Yin H T, Li S T, and Fang L Y. Simultaneous image fusion and super-resolution using sparse representation[J]., 2013, 14(3): 229-240.

李 奕： 女，1979年生，博士生，講師，研究方向為圖像融合.

吳小?。?男，1967年生，教授，博士生導師，主要從事模式識別、圖像處理等的研究.

A Novel Image Fusion Method Using the Takagi Sugeno Kang Fuzzy System Based on Supervised Learning

Li Yi①②Wu Xiao-jun①

①(,,214122,)②(,,266071,)

A novel image fusion method based on supervised intelligent learning is proposed in order to overcome the difficulty in the use of priori knowledge in image fusion. In this study, the images database for supervised learning is first constructed，then the model parameters trained with the available training datasets are used for the Takagi Sugeno Kang (TSK) fuzzy system model. Different from the classical method that needs to manage the different parameters setting manually, the proposed method can effectively preclude the problem in the optimal parameters setting. Meanwhile, some advantages are displayed in the fusion image quality and adaptation. The experimental studies on different types of images, both single and multi, also show the effectiveness of the method.

Image fusion; Supervised learning; Takagi Sugeno Kang (TSK) fuzzy system

TP391

A

1009-5896(2014)05-1126-07

10.3724/SP.J.1146.2013.00400

吳小俊 xiaojun--_wu-_jnu@163.com

2013-03-28收到，2014-01-23改回

國家自然科學基金(60973094, 61103128, 61373055)和教育部科技研究重大項目(311024)資助課題