多尺度分解雙尋優(yōu)策略SPCNN的果園蘋果異源圖像融合模型

劉立群，顧任遠，周煜博，火久元

多尺度分解雙尋優(yōu)策略SPCNN的果園蘋果異源圖像融合模型

劉立群1，顧任遠1，周煜博1，火久元2

（1. 甘肅農(nóng)業(yè)大學信息科學技術(shù)學院，蘭州 730070； 2. 蘭州交通大學電子與信息工程學院，蘭州 730070）

針對單一的自然場景圖像信息不能滿足準確識別果實和精準定位目標的要求，提出一種多尺度分解雙尋優(yōu)策略簡化脈沖耦合神經(jīng)網(wǎng)絡（Simplified Pulse Coupled Neural Network, SPCNN）的飛行時間（Time of Flight，ToF）與可見光果園蘋果圖像融合模型。對SPCNN模型引入帶參數(shù)優(yōu)化的雙尋優(yōu)策略，對非下采樣輪廓波變換（Nonsubsampled Contourlet Transform, NSCT）融合規(guī)則進行改進。模型包括配準模塊、編碼區(qū)、多尺度分解模塊、單目標SPCNN融合模型、多目標SPCNN融合模型、解碼區(qū)。模型改進了SPCNN模型的參數(shù)優(yōu)化方式以及迭代次數(shù)，模型自適應點火次數(shù)較低，在3～7次左右，具有點火次數(shù)低、自適應分割、效率高的優(yōu)點。中光15:00時段點火識別成功率達到了100.00%，點火分割時間達到最低91.91s。與其他融合模型比較，模型在強光12:00、中光15:00、弱光18:20、19:00時段融合圖像識別成功率達到100.00%；融合時間低于SPCNN模型，達到最低92.68 s。模型識別精度最優(yōu)達到了100.00%，融合耗時最低達到了92.68 s，模型大小較SPCNN低一個數(shù)量級，可補充和完善圖像層次融合理論和方法。

圖像識別；模型；非下采樣輪廓變換；簡化脈沖耦合神經(jīng)網(wǎng)絡；異源圖像融合模型；單目標策略；多目標策略

0 引 言

蘋果自動采摘中，準確識別出蘋果果實對蘋果目標的精準定位尤為重要[1]。單一的自然場景圖像采集信息已經(jīng)不能滿足準確識別果實和精準定位目標的要求，異源圖像融合（Image Fusion, IF）技術(shù)應運而生[2]。不同類型傳感器采集的圖像數(shù)據(jù)特性不盡相同，其中深度傳感器成像系統(tǒng)采用飛行時間（Time of Flight, ToF）技術(shù)，通過（850±30）nm近紅外光的飛行時間來完成距離計算，已作為可見光相機的有益補充，應用在農(nóng)業(yè)、醫(yī)療、質(zhì)檢、視覺等領(lǐng)域，具有廣泛的應用前景和研究價值[3]。楊勇等用卷積自編碼融合網(wǎng)絡針對紅外與可見光圖像進行融合[4]，結(jié)果優(yōu)于其他主流融合方法，但僅適用于紅外熱度信息豐富的圖像融合領(lǐng)域。在自然場景果園條件下，果樹、果實本身不具備紅外熱度感應特性，ToF深度傳感器成像系統(tǒng)具備發(fā)射近紅外光并通過光線發(fā)射和反射時間差計算果實距離、產(chǎn)生深度（即距離）信息的條件[5]，因此適用于構(gòu)建本文異源視覺系統(tǒng)。學者們針對ToF深度傳感器成像系統(tǒng)采集的深度信息進行了一系列應用研究[6-7]，利用ToF深度傳感器與可見光相機構(gòu)建異源視覺系統(tǒng)是可行且必要的，深度圖像在融合研究應用中提供了必要的補充信息。

像素級變換域融合模型是目前研究的熱點，其中非下采樣輪廓波變換（Nonsubsampled Contourlet Transform, NSCT）是一種靈活的多尺度、多方向、平移不變的變換域融合模型分解方法，NSCT變換由非下采樣塔式濾波器組（Nonsubsampled Pyramid Filter Bank, NSP）和非下采樣方向濾波器組（Nonsubsampled Directional Filter Bank, NSDFB）兩部分組成[8]。利用NSCT提取源圖像的特征，可以為融合圖像提供更豐富的細節(jié)信息[8]。部分學者嘗試將小波變換應用于圖像融合領(lǐng)域[9]，但由于離散小波變換（Discrete Wavelet Transform, DWT）僅能分解出有限方向的細節(jié)信息，融合結(jié)果仍然不夠理想[10]。部分學者將多尺度變換、卷積神經(jīng)網(wǎng)絡引入，相繼提出了輪廓波圖像融合模型[11-12]、深度卷積神經(jīng)網(wǎng)絡多聚焦圖像融合模型[13]、多序列深度特征融合模型[14]、變分融合模型[15]。楊風暴等[16-17]提出DWT、NSCT和改進主成分分析（Principal Components Analysis, PCA）的多算法協(xié)同組合融合模型。與曲線波和剪切波相比，NSCT能夠充分融合源圖像信息，融合圖像具有較好的相關(guān)系數(shù)和信息熵，曲線波和剪切波在尋找邊緣和輪廓方面具有很好的效果[10,16-17]。但是自然場景下，過多邊緣信息并不能用于提取更有效的果實圖像?，F(xiàn)有融合模型具有各自應用領(lǐng)域的局限性，無法自適應擴展到本研究自然場景果園圖像中。因此，曲線波和剪切波更適合醫(yī)學等圖像等背景簡單、更需要提取輪廓的圖像，NSCT更適用于本項目自然場景采集的圖像融合。

簡化脈沖耦合神經(jīng)網(wǎng)絡（Simplified Pulse Coupled Neural Network, SPCNN）[18]模型是模擬大腦皮層視覺神經(jīng)細胞活動建立的神經(jīng)網(wǎng)絡模型，因具有聚集性點亮分割機制，常被用于圖像融合領(lǐng)域，具有參數(shù)少、模型簡單、參數(shù)受限于人工經(jīng)驗設(shè)置等特點，研究中常被視為多目標參數(shù)優(yōu)化問題。在圖像融合的多目標優(yōu)化領(lǐng)域中，基于優(yōu)化理論的自適應算法，站在一個更客觀的角度去審視圖像融合過程，做出最為科學嚴謹?shù)呐袛?，大大提升了融合圖像的可靠性[19]。目前有學者將量子粒子群優(yōu)化算法[20]、灰狼優(yōu)化算法[21]、混合蛙跳算法[22]、蟻群算法[23]等應用于SPCNN圖像融合的多目標參數(shù)求解中，建立了圖像處理優(yōu)化模型，提出了有效的評價指標，取得了較好的效果。

本文針對尚未形成公認的、系統(tǒng)的圖像融合理論方法，提出一種多尺度分解雙尋優(yōu)策略SPCNN的ToF與可見光果園蘋果圖像融合模型。模型在自然場景果園蘋果圖像融合方面，有效提高ToF與可見光圖像融合質(zhì)量，對補充和完善圖像層次融合理論和方法具有重要意義。

1 多尺度分解的異源圖像融合模型構(gòu)建

本文在SPCNN基礎(chǔ)上改進，提出多尺度分解雙尋優(yōu)策略SPCNN的ToF與可見光果園蘋果圖像融合模型對異源視覺系統(tǒng)采集的圖像進行融合。

其中，SPCNN表達式如式（1）～式（5）所示[18]。但仍存在參數(shù)經(jīng)驗設(shè)定、不能自適應終止、易出現(xiàn)過分割的缺陷，尚需進一步改進。

式中I是神經(jīng)元外部刺激，由輸入圖像的灰度值表示；F()是反饋輸入域，L()是鏈接輸入域；W,kl表示鏈接系數(shù)；表示鏈接強度，決定耦合鏈接通道權(quán)重大?。?i>U()為模型內(nèi)部狀態(tài)信號；表示當前點火次數(shù)；θ為神經(jīng)元的動態(tài)閾值，V、V為動態(tài)閾值放大系數(shù)，控制神經(jīng)元激活后增加的門限閾值；α和α分別決定了鏈接通道反饋項和動態(tài)閾值的衰減速度；Y()為當前神經(jīng)元的脈沖輸出，是內(nèi)部活動項與動態(tài)閾值在脈沖發(fā)生器中進行比較后輸出的響應結(jié)果。當滿足U()>θ()時，就會達成點火條件輸出Y()=1。

本文模型具體包括單目標SPCNN融合模型（Single Target SPCNN fusion model, ST-SPCNN）和多目標SPCNN融合模型（Multi-Target SPCNN fusion model, MT-SPCNN）兩個模塊。利用ToF深度相機與可見光相機構(gòu)建異源視覺系統(tǒng)，采用變換域NSCT對異源圖像進行多尺度多方向分解，將SPCNN模型參數(shù)優(yōu)化問題看作多目標優(yōu)化問題，采用改進人工蜂群（Artificial Bee Colony, ABC）[24]算法對ST-SPCNN模型和MT-SPCNN模型進行雙尋優(yōu)策略參數(shù)優(yōu)化，包括單目標優(yōu)化參數(shù)策略和多目標參數(shù)優(yōu)化策略，最后利用優(yōu)化后的SPCNN模型融合異源圖像。

1.1 模型結(jié)構(gòu)

多尺度分解的異源圖像融合模型結(jié)構(gòu)如圖1所示，包括配準模塊、編碼區(qū)、多尺度分解模塊、ST-SPCNN、MT-SPCNN、解碼區(qū)。其中，輸入原圖像分別為異源視覺系統(tǒng)ToF強度圖像、置信圖像和對應的可見光圖像，配準模塊用于兩幅圖像的像素級精準配準，編碼區(qū)用于對SPCNN模型的參數(shù)進行編碼，待優(yōu)化使用；多尺度分解模塊由NSCT分解模塊組成，配準后圖像分別經(jīng)過NSP多尺度變換以及NSDFB多方向分解模塊，將分解出的高頻和低頻圖像，分別通過ST-SPCNN模型、MT-SPCNN模型不同的融合規(guī)則進行融合，將編碼區(qū)編碼的四個參數(shù)向量分別作為單目標人工蜂群算法以及多目標優(yōu)化算法的初始種群，采用改進的人工蜂群策略對參數(shù)進行自適應的尋優(yōu)。融合后，經(jīng)過NSCT逆變換，融合成一幅圖像，最后通過解碼區(qū)對每一個二進制向量解碼為實數(shù)參數(shù)。

1.1.1 配準模塊

1）異源視覺系統(tǒng)的標定

本文采用相機標定法[25]，7×8棋盤的標定板對異源視覺系統(tǒng)進行標定，棋盤上的網(wǎng)格為22 mm×22 mm，使用MATLAB攝像機標定工具箱對雙目攝像機進行標定。標定時可見光圖像是參考圖像，ToF圖像是浮動圖像，用彩色相機去標定ToF相機。計算得出圖像坐標與世界坐標系的對應關(guān)系，其中ToF相機相對于彩色相機參考坐標系的、、方向的偏移量是一維向量[108.678 15.695 3.800]，單位mm。通過以上操作對異源視覺系統(tǒng)完成相機標定操作。

2）異源圖像的配準

本文使用外極線約束用于雙目圖像的立體校正，以形成共面配準。然后將尺度不變特征變換（Scale-Invariant Feature Transform, SIFT）算法[26]應用于校正后的雙目圖像，實現(xiàn)立體匹配。最后，使用隨機抽樣一致（Random Sample Consensus, RANSAC）[27]算法消除失配，提高精度。

1.1.2 編碼區(qū)

SPCNN模型具有參數(shù)不能根據(jù)圖像信息自適應設(shè)定、嚴重依賴人工參數(shù)設(shè)置的缺陷。編碼區(qū)針對SPCNN模型輸入鏈接通道反饋項α、鏈接強度、動態(tài)閾值衰減因子α以及動態(tài)閾值放大系數(shù)V四個參數(shù)進行編碼，每一個參數(shù)對應于編碼區(qū)的一個維度的向量，構(gòu)成以下形式矩陣，如（6）式所示。其中維度為4，每個參數(shù)對應向量采用八位二進制編碼。

注：NSP代表NSCT變換中非下采樣塔式濾波器組；NSDFB代表NSCT變換中非下采樣方向濾波器組；NSCT為非下采樣輪廓波變換。

Note: NSP represents nonsubsampled pyramid filter bank in NSCT transform; NSDFB represents nonsubsampled directional filter bank in NSCT transform; NSCT represents nonsubsampled contourlet transform.

圖1 多尺度分解的異源圖像融合模型

Fig.1 Multi-scale decomposition of heterogeneous image fusion model

1.1.3 多尺度分解模塊

氟喹諾酮類,抗菌作用佳,但相比其他類型,價格較貴,在泌尿系統(tǒng)病原體誘發(fā)的感染及相關(guān)病菌中作用明顯。然而此類抗菌藥會對體內(nèi)DNA有效合成造成影響,孕婦一般不建議使用,對于兒童,也盡量避免使用,因其可能對兒童的成長及發(fā)育造成不良影響[2]。對此,關(guān)于氟喹諾酮類抗菌藥,臨床應用時需注意適用對象。

持這種理論的人，主要認為應區(qū)別對待“專門用于執(zhí)行專利方法的產(chǎn)品”、“專門用于制造專利商品的零部件或設(shè)備”和“專利產(chǎn)品”、“依據(jù)專利方法直接獲得的產(chǎn)品”。這些論者一般都認可權(quán)利用盡規(guī)則適用于后兩者，而對于前兩者，最多適用默示許可規(guī)則。

經(jīng)過配準的兩幅圖像，經(jīng)過多尺度NSCT分解模塊。對圖像進行NSP變換，通過nsc級變換后，會生成一個低頻子帶圖像和nsc個高頻子帶圖像，共nsc+1個和原圖像大小相等的子帶圖像。對分解出的高頻子帶進行q級NSDFB方向分解，可以得到2q個方向子帶圖像。即對原圖像進行NSCT變換，其中NSP變換是nsc級，NSDFB變換是q級，就可以得到1個低頻子帶圖像和nsc個高頻子帶圖像，每個高頻子帶又包含2q個方向的子帶圖像，即共個不同方向高頻子帶圖像。

3D打印技術(shù)采用增材方式實現(xiàn)制造，在一定程度上能夠顛覆傳統(tǒng)的減材加工技術(shù)。因為它不受設(shè)計零件的復雜度影響，所以現(xiàn)代產(chǎn)品設(shè)計的思維模式需要改變?；诖耍瑸檫m應新時代對3D打印技術(shù)專業(yè)人才的市場需求，開展3D打印技術(shù)人才培養(yǎng)的課程體系建設(shè)具有一定的探索意義。

本文采用圖1所示的NSCT多尺度分解，其中nsc級q個方向的參數(shù)選擇，nsc和q的值均不宜過大也不宜過小，nsc過大，則導致分解出的高、低頻子帶數(shù)增多，影響后期融合效率，nsc過小，導致分解層數(shù)過少，影響融合效果；q過大，導致高頻細節(jié)信息被劃分太細膩，丟失重要的紋理信息，q過小，細節(jié)信息未被細分，不利于提供融合質(zhì)量。因此，本文對兩幅圖像分別進行3級8方向分解。圖1中，nsc=3，q=3，對原圖像進行3級NSP多尺度分解，對高頻子帶進行3級NSDFB方向分解，最終得到了1個低頻子帶圖像和3個高頻子帶圖像，每個高頻子帶又包含8個方向的子帶圖像，共24個不同方向高頻子帶圖像。

1.1.4 單目標SPCNN融合模型

對于施工面接縫處的防滲透技術(shù)施工主要是對施工材料的處理過程，也分兩種情況，一種情況是使用鋼板膩子，在處理鋼板膩子是要在其接縫處形成止水帶這樣就可以使接縫處得到密封，若無法使用鋼板膩子，就使用遇水膨脹橡膠，用遇水膨脹橡膠對接縫進行填充，填充前要按一定標準處理好接縫的橫截面，這樣也能起到防滲漏作用，在進行此項目施工時必須要做好測試，確保遇水膨脹橡膠能夠起到相應的作用。

經(jīng)過多尺度分解后的圖像，變?yōu)楦哳l和低頻，采用單目標SPCNN融合規(guī)則分別對高頻和低頻圖像進行融合。由于SPCNN模型參數(shù)由人工經(jīng)驗手動設(shè)定，無法與分割圖像自適應匹配，存在將灰度一致性區(qū)域點亮誤分割的現(xiàn)象。針對ToF圖像果實目標在局部通常表現(xiàn)為整體灰度顯著，結(jié)合ToF圖像自身特性對SPCNN模型參數(shù)進行尋優(yōu)，會得到自適應參數(shù)，提高融合質(zhì)量。這里采用改進的單目標人工蜂群算法優(yōu)化SPCNN參數(shù)，將編碼區(qū)編碼的四個參數(shù)向量作為單目標人工蜂群算法的初始種群，采用改進的人工蜂群策略對參數(shù)進行自適應的尋優(yōu)。

人工蜂群算法是模擬群體蜜蜂特性提出的一種群體智能優(yōu)化算法，是一種典型的全局尋優(yōu)算法。蟻群算法具有收斂速度慢和易陷入局部最優(yōu)的缺點。模擬退火算法存在收斂速度慢、性能與初始參數(shù)敏感等缺點。遺傳算法的局部搜索能力較差，導致單純的遺傳算法比較費時，在進化后期搜索效率較低。禁忌搜索算法具有局部開發(fā)能力強、全局開發(fā)能力弱的缺點。粒子群算法收斂速度快但容易陷入局部最優(yōu)解；而人工蜂群算法具有全局尋優(yōu)能力強、參數(shù)少、精度高、魯棒性強的優(yōu)點，適于本研究中的參數(shù)優(yōu)化策略。ABC算法中，雇傭蜂、觀察蜂更新食物源信息策略具有單一性及隨機性的缺陷，使得算法存在早熟、收斂停滯等問題，為了加速人工蜂群算法收斂速度，將ABC算法尋優(yōu)策略進行改進。

1）雇傭蜂更新策略

隨機生成NP個食物源信息，一次食物更新進化中，在蜂群中隨機選擇一個雇傭蜂所依附的食物源Xk=(xk1,xk2,…,xkd)，找出此次更新中的全局最優(yōu)食物源記為Xg=(xg1,xg2,…,xgd)，在d維空間中，對食物源信息空間庫中每個食物源Xk=(xk1,xk2,…,xkd)隨機選擇第j維分量xij通過以下雇傭蜂更新策略進行進化，如式（7）所示，得到一個新的食物源。其中，i,k∈[1,2,…,t],i≠k, j∈[1,2,…,d], r∈[?1,1]。

（7）

2）觀察蜂更新策略

一次食物更新進化中，找出此次更新中的全局最優(yōu)食物源作為觀察蜂所依附的食物源，記為Xg=(xg1,xg2,…,xgd)，對雇傭蜂更新策略進化得到的食物源在d維空間中隨機選擇第j維分量，通過以下觀察蜂更新策略進行進化，如式（8）所示，得到另一個新的食物源。

（8）

3）單目標函數(shù)計算方法

B4、C1(有人員死亡)、C2(有人員死亡)、C3、D1(有人員死亡)、D2區(qū)域為較大風險區(qū)域. 風險水平在一定有條件下可接受，可能導致事故發(fā)生，造成人員傷害、財產(chǎn)損失，必須實施有效的風險控制措施；

圖像融合質(zhì)量采用相關(guān)系數(shù)（Correlation Coefficient，CC）、交叉熵（Cross Entropy, CE）、熵（Entropy, E）、互信息（Mutual Information, MI）共4個評價指標進行評價。由于圖像融合后的質(zhì)量需要4個評價指標共同衡量，四個評價指標在圖像融合質(zhì)量評價中起的作用相當，因此，對于單目標尋優(yōu)問題，采取權(quán)重相加、權(quán)重相等的方式計算單目標函數(shù)，公式如（9）所示。其中，各指標對應的權(quán)重ωi=0.25，i=1,…,4。

（9）

4）SPCNN融合規(guī)則

經(jīng)過分解的高頻和低頻圖像，需要通過SPCNN融合規(guī)則進行融合。其中，SPCNN的參數(shù)鏈接域的鏈接系數(shù)Wij,kl采用n×n，n=5的矩陣，其中n代表Wij,kl與周圍相鄰神經(jīng)元（k,l）的神經(jīng)元個數(shù)，這里n=5代表當前神經(jīng)元與周圍5×5神經(jīng)元相鄰進行鏈接，如式（10）所示。

（10）

低頻圖像通過選取3×3區(qū)域，求解對應區(qū)域的方差σ，融合規(guī)則如式（11）所示。其中，代表融合后的低頻分量，代表ToF圖像的低頻分量，代表可見光（Red Green and Blue, RGB）圖像的低頻分量。

（11）

高頻圖像通過選取3×3區(qū)域，求解對應區(qū)域的區(qū)域能量（Regional Energy, RE），融合規(guī)則如式（12）所示。代表融合后的高頻分量，代表ToF圖像的高頻分量，代表RGB圖像的高頻分量。

（12）

1.1.5 多目標SPCNN融合模型

從控制理論的角度講，異源圖像融合本質(zhì)上可以看作是將多幅圖像組合為一幅圖像的信息尋優(yōu)過程。由于圖像融合效果的評價指標具有多樣性，各種指標之間關(guān)系復雜甚至相互矛盾，因此這種尋優(yōu)過程可以采用多目標優(yōu)化問題（Multi-Objective Optimization Problems, MOOP）[29]的理論來解決。

在ST-SPCNN模型中，將4個圖像融合質(zhì)量評價函數(shù)進行了加權(quán)求和的方式，忽略了4個評價指標的多樣性。可以把這種尋優(yōu)過程理解為多目標優(yōu)化問題，含有多個目標函數(shù)，求解時存在多個相互沖突的目標，某個目標的改善可能引起其他目標性能的降低，需要在各個目標之間權(quán)衡協(xié)調(diào)，使所有的目標盡可能達到最優(yōu)[28]，最終得到一個帕雷托最優(yōu)解集，又稱Pareto最優(yōu)解集。

1）多目標密集度構(gòu)造方法

在多目標優(yōu)化問題中，個體的優(yōu)劣是通過支配關(guān)系和密集信息來判斷的。為保證Pareto最優(yōu)解之間的分布不過于密集，本文采用一種新的網(wǎng)格構(gòu)造方法對Pareto最優(yōu)解集密集度進行衡量，如式（13）～（14）所示。式中，lowi和uperi分別表示網(wǎng)格的最小和最大邊界值，α表示網(wǎng)格擴張系數(shù)，α=0.1表示網(wǎng)絡的邊界值可以在一定范圍內(nèi)動態(tài)調(diào)整，Target表示目標函數(shù)的數(shù)量，Target=4代表多目標優(yōu)化問題有四個目標函數(shù)CC，CE，E，MI。因此，對于最優(yōu)解集中的每一個維度，在非支配解集合中找到它的最大以及最小值。適當放大最大值與最小值之間的區(qū)間，以防止非支配解落在網(wǎng)格的邊界上。

（13）

（14）

i=1, …, Target, Target=4, α=0.1

2）多目標刪除選擇概率構(gòu)造方法

構(gòu)造非支配解集時，需要一定的概率隨機刪除多余的非支配解，以便滿足最優(yōu)解集密集度要求，本文采用一種新的刪除選擇概率方法，使用非支配解同維度網(wǎng)格索引gridW之間距離的L1誤差進行度量，公式如（15）所示。

（15）

3）多目標函數(shù)計算方法

為解決圖像融合質(zhì)量評價函數(shù)多樣性的問題，采用單目標中雇傭蜂、觀察蜂更新策略，使用新的網(wǎng)格構(gòu)造方法解集Pareto最優(yōu)解集密集度問題，采用網(wǎng)格索引距離的L1誤差作為非支配解選擇刪除概率，同時選擇上述四個圖像融合質(zhì)量評價函數(shù)，形成四個目標的多目標優(yōu)化問題，公式如（16）所示。

（16）

1.1.6 解碼區(qū)

利用多尺度SPCNN融合規(guī)則對兩幅圖像融合后，經(jīng)過NSCT逆變換，融合成一幅圖像，經(jīng)過目標函數(shù)的對比，迭代更新后得到融合圖像，此時，對改進SPCNN模型輸入鏈接通道反饋項αL、鏈接強度β、動態(tài)閾值衰減因子αθ以及動態(tài)閾值放大系數(shù)Vθ四個參數(shù)進行二進制解碼，將每一個二進制向量對應轉(zhuǎn)換成實數(shù)參數(shù)。

1.2 模型運行流程

模型運行流程是：將編碼區(qū)編碼的四個參數(shù)向量作為單目標人工蜂群算法的初始種群，采用改進的人工蜂群算法單目標優(yōu)化參數(shù)策略和多目標參數(shù)優(yōu)化策略對參數(shù)進行自適應的尋優(yōu)。SPCNN模型因迭代終止條件通常人工手動設(shè)置為較大次數(shù)，具有不能自適應終止的缺陷。將雙尋優(yōu)策略目標函數(shù)作為SPCNN模型的迭代終止條件，加快了SPCNN模型點火分割的速度。SPCNN改進模型融合流程見圖2所示。具體流程是：配準后圖像經(jīng)過圖1的NSP、NSDFB多尺度分解模塊，分解出高頻和低頻圖像作為ST-SPCNN模型、MT-SPCNN模型的反饋輸入域Fij(n)的輸入，圖像中每一個像素點與SPCNN中每一個神經(jīng)元對應。神經(jīng)元通過鏈接系數(shù)Wij,kl與周圍相鄰神經(jīng)元(k,l)的上一次脈沖輸出Ykl(n?1)耦合，將編碼區(qū)中鏈接通道反饋項αL、鏈接強度β、動態(tài)閾值衰減因子αθ以及動態(tài)閾值放大系數(shù)Vθ四個參數(shù)矩陣作為人工蜂群算法的初始種群，分別采用改進的人工蜂群算法單目標優(yōu)化參數(shù)策略和多目標參數(shù)優(yōu)化策略對參數(shù)進行自適應的尋優(yōu)，將雙尋優(yōu)策略目標函數(shù)作為SPCNN模型的迭代終止條件，達成點火條件時輸出Yij(n)=1，輸出點火分割結(jié)果，完成一次點火過程。

注：Fij(n)代表ToF或可見光圖像經(jīng)NSCT分解后的高頻或低頻分量灰度值；Lij(n)代表鏈接輸入域；αL代表鏈接通道反饋項；β代表鏈接強度；αθ代表動態(tài)閾值衰減因子；Vθ代表動態(tài)閾值放大系數(shù)；Ykl(n?1)代表上一次點(k,l)處的脈沖輸出；Wij,kl表示與周圍相鄰神經(jīng)元的鏈接系數(shù)；(1+βLij)表示通過鏈接強度β將輸入域Lij(n)結(jié)合；Uij(n)為模型內(nèi)部狀態(tài)信號；Yij(n)為當前神經(jīng)元的脈沖輸出；δ代表SPCNN模型的迭代終止條件。 Note: Fij(n) represents the gray value of high-frequency or low-frequency components of ToF or visible image after NSCT decomposition; Lij(n) represents the link input field; αL represents link channel feedback item; β represents link strength; αθ represents dynamic threshold attenuation factor; Vθ represents dynamic threshold amplification factor; Ykl(n?1) represents the pulse output at the last point (k,l); Wij,klrepresent the link coefficient with surrounding adjacent neurons; (1+βLij) indicates the strength through the link β Combine the input domain Lij(n); Uij(n) is the internal state signal of the model; Yij(n) is the pulse output of the current neuron; δ represents the iteration termination condition of SPCNN model. 圖2 多尺度分解的異源圖像融合模型運行流程 Fig.2 Multi-scale decomposition of heterogeneous image fusion model operation process

1.3 模型評價指標

1.3.1 雙尋優(yōu)策略SPCNN點火分割評價指標

倒伏對小麥子粒產(chǎn)量的影響情況見表2。由表2可知，4對調(diào)查樣本倒伏小麥子粒產(chǎn)量均降低，降幅為 5.72%～22.19%。 倒伏小麥平均產(chǎn)量為 5 846.63 kg／hm2，未倒伏小麥平均產(chǎn)量為 6 707.25 kg／hm2，倒伏致小麥減產(chǎn) 860.62 kg／hm2，減產(chǎn)幅度為 12.83%。

試驗采用原始SPCNN模型[18]，本文ST-SPCNN模型、MT-SPCNN模型測試模型的點火分割性能。分別采用點火次數(shù)、分割效果、以及參數(shù)尋優(yōu)結(jié)果進行評價。定義識別成功率RSuccess和漏識率RMiss兩個指標對分割效果進行評價，兩個指標定義表達式為（17）～（18）式。其中Nm為模型分割識別出的總目標數(shù)，Nf為人工目視識別的果實數(shù)量。為保證分割完整性，視分割出的一個完整無空洞的為一個目標果實，人工目視中忽略遮擋2/3果實、半個果實。

（17）

（18）

1.3.2 圖像融合評價指標

試驗選擇六種模型，包括NSCT模型[8]、基于NSCT的紅外和可見光圖像融合模型（Fusion method for infrared and visible light images based on NSCT, ImNSCT）[29]、DWT模型[10]、原始SPCNN模型[18]和本文ST-SPCNN模型、MT-SPCNN模型對異源視覺系統(tǒng)圖像融合性能進行對比測試。圖像融合質(zhì)量采用（Average Gradient, AG）、相關(guān)系數(shù)CC、交叉熵CE、熵E、互信息MI、空間頻率（Spatial Frequency, SF）等評價指標[30]進行評價。其中CE值越小代表融合圖像質(zhì)量越好，其他評價指標值越大代表融合圖像質(zhì)量越好。融合圖像的識別成功率RSuccess和漏識率RMiss兩個評價指標延用式（17）～（18）表達式。模型復雜度用時間復雜度和空間復雜度兩個指標進行評價，分別衡量模型運行時間效率以及模型所占內(nèi)存大小。

1.4 模型數(shù)據(jù)獲取

本文建立異源視覺系統(tǒng)，采用德國Basler公司生產(chǎn)的ToF工業(yè)深度相機與佳能公司生產(chǎn)的彩色相機。ToF相機能輸出四種類型的圖像，包括ToF強度圖（ToF Intensity Image, ToF_intensity），ToF深度圖（ToF Range Data, ToF_range），ToF置信圖（ToF Confidence Map, ToF_confidence）以及ToF點云圖（ToF Point Cloud Image, ToF_points）[31]。自然場景中的采集地點位于甘肅省天水市秦州區(qū)果樹研究所試驗基地。蘋果樣品的品種是天旺一號。利用異源視覺系統(tǒng)采集10:00－19:00不同光照條件下ToF強度圖像、深度圖像、置信圖像和彩色圖像各1 000余幅。

立體綠化的形式有很多，屋頂花園是其中的一種。屋頂花園的實質(zhì)就是在建筑物的頂端構(gòu)建花木、花池、架棚等，從而形成一定的觀賞景觀。對屋頂花園進行構(gòu)建時，首先，了解場地情況，結(jié)合地面小型花園的布局與設(shè)計，合理設(shè)計攀援植物。其次，在設(shè)計屋頂花園的過程中也要綜合考慮屋頂?shù)姆浪团潘畻l件以及屋頂?shù)某兄啬芰?，并對植物品種進行科學的選擇與搭配。目前在植物的選取上，人們大多選擇一些喜光、耐寒等生命力強的淺根系植物。例如雞冠花、月季、爬山虎、月季等。植物種植可以采用盆栽的形式，避免植物根系生長時破壞屋頂。最后，在對屋頂花園進行裝飾時，要注意層次與色彩的合理搭配，有效提高其觀賞效果[1]。

從果園自然場景中采集的異源圖像中選擇6組數(shù)據(jù)作為樣本，包括強光12:00、13:00、中光15:00、16:00以及弱光18:20、19:00六個不同時間段的ToF強度圖像、置信圖像和對應的可見光圖像共18幅進行試驗。分別設(shè)計點火分割試驗和圖像融合試驗對提出的融合模型進行性能測試。

2 結(jié)果與分析

2.1 雙尋優(yōu)策略SPCNN點火分割試驗結(jié)果分析

2.1.1 改進SPCNN點火分割結(jié)果分析

以ToF置信圖像與可見光圖像為例，在強光13:00 、中光15:00 和弱光18:20 條件下的低頻分量點火分割效果見表1所示。

表1 改進SPCNN點火分割效果 Table 1 Ignition segmentation effect of improved Simplified Pulse Coupled Neural Network (SPCNN) 光照條件Illumination condition模型Model點火次數(shù)Ignition times分割目標數(shù)Target numberNm目視果實數(shù)Visual fruit numberNf識別成功率Recognition success rateRSuccess/%漏識率Missed recognition rateRMiss/%分割時間Segmentation runtime/s 強光13:00Strong sunlight 13:00SPCNN 503560.0040.00122.01 ST-SPCNN 54580.0020.0091.91 MT-SPCNN 34580.0020.0092.01 中光15:00Medium sunlight 15:00SPCNN 504757.1442.86121.28 ST-SPCNN 677100.00093.32 MT-SPCNN 56785.7114.2996.01 弱光18:20Weak sunlight 18:20SPCNN 503560.0040.00115.18 ST-SPCNN 74580.0020.0094.12 MT-SPCNN 64580.0020.0093.64

結(jié)果顯示，SPCNN模型不能自主停止迭代，完全依靠人工經(jīng)驗設(shè)置。依據(jù)經(jīng)驗值，迭代次數(shù)一般設(shè)置在50～500次之間，具有點火次數(shù)長、點火次數(shù)固定、不具有自適應性的缺陷。表1表明，隨著點火次數(shù)增加，SPCNN模型將屬于同灰度的果實區(qū)域都分割出來，點火次數(shù)增加到50次時，果實內(nèi)部分割出現(xiàn)空洞，出現(xiàn)過分割，不利于提高融合質(zhì)量。本文提出的ST-SPCNN及MT-SPCNN模型具有自適應點火機制，在點火分割迭代次數(shù)滿足雙尋優(yōu)策略目標函數(shù)條件時，停止迭代，加快了SPCNN模型點火分割的速度。同時，表1結(jié)果表明，SPCNN模型點火次數(shù)設(shè)置為固定次數(shù)50次，在13:00 強光、15:00 中光以及18:20 弱光3個時段的分割結(jié)果中均不同程度出現(xiàn)過分割現(xiàn)象，這表明固定經(jīng)驗的點火次數(shù)對分割結(jié)果不利。ST-SPCNN模型在3個時段的自適應點火次數(shù)分別為5、6、7次，MT-SPCNN模型自適應點火次數(shù)分別為3、5、6次，二者自適應點火次數(shù)均較低，在3～7次左右，遠低于SPCNN模型固定迭代次數(shù)。而且，點火圖具有果實分割清晰、無空洞、無過分割的優(yōu)點。本文模型識別成功率皆高于SPCNN模型結(jié)果，在13:00 強光、15:00 中光以及18:20 弱光3個時段ST-SPCNN模型和MT-SPCNN模型對置信圖的識別成功率均達到80.00%以上，且15:00 中光時段達到了100.00%。分割時間受點火次數(shù)影響，提出的模型分割時間皆低于SPCNN模型，最低達到91.91 s。

2.1.2 改進SPCNN模型參數(shù)分割結(jié)果分析

SPCNN模型4個參數(shù)人工手動設(shè)定值分別為。取多目標策略的非支配解集中的4個解作為解集合。其中強光13:00 條件下的尋優(yōu)結(jié)果見表2所示。

SPCNN模型4個參數(shù)是通過人工手動設(shè)定，具有參數(shù)固定、經(jīng)驗取值的缺陷。表2結(jié)果顯示，ST-SPCNN模型參數(shù)尋優(yōu)簡單，運行時間為91.91 s，低于MT-SPCNN模型運行時間92.01 s。MT-SPCNN模型參數(shù)尋優(yōu)后具有多個非支配解，表2是選取Pareto最優(yōu)解集中4個非支配解作為結(jié)果，參數(shù)彼此之間均符合尋優(yōu)要求。SPCNN模型運行時間完全依賴于固定迭代次數(shù)的人工設(shè)置。雙尋優(yōu)策略尋優(yōu)依賴于NSCT分解、參數(shù)尋優(yōu)時間以及雙尋優(yōu)策略SPCNN模型融合時間，但是由于自適應迭代次數(shù)，使得改進后SPCNN模型點火次數(shù)大大減少，提高了效率，在點火幾次的情況下就可以達到快速自適應分割，提高了融合效率。

表2 強光下改進SPCNN參數(shù)尋優(yōu)結(jié)果 Table 2 Parameter optimization results of improved SPCNN under condition of sunlight with strong ST-SPCNN模型強度+可見光圖像Intensity + visible image of ST-SPCNNST-SPCNN模型置信+可見光圖像Confidence + visible image of ST-SPCNNMT-SPCNN模型強度+可見光圖像Intensity + visible image of MT-SPCNNMT-SPCNN模型置信+可見光圖像Confidence + visible image of MT-SPCNN αLβαθVθ分割時間/sαLβαθVθ分割時間/sαLβαθVθ分割時間/sαLβαθVθ分割時間/s 0.090.570.6854.6591.110.390.800.7537.7391.910.870.510.9463.7791.190.540.720.5299.3792.01 0.670.690.0625.470.400.440.3676.35 0.780.670.0160.210.190.130.699.38 0.420.460.7732.240.390.670.7452.00

注：αL代表鏈接通道反饋項；β代表鏈接強度；αθ代表動態(tài)閾值衰減因子；Vθ代表動態(tài)閾值放大系數(shù)。MT-SPCNN模型以4個非支配解為例。

Note: αL represents link channel feedback item; β represents link strength; αθ represents dynamic threshold attenuation factor; Vθ represents dynamic threshold amplification factor. Taking four non dominated solutions as examples for MT-SPCNN model.

2.2 圖像融合試驗結(jié)果分析

各時段融合效果比較見表3所示，各時段識別成功率均達到80.00%以上。其中強光12:00 、中光15:00 時段強度圖、置信圖與可見光融合圖像識別成功率達到100%，弱光18:20 時段強度圖、19:00 時段置信圖的融合圖像識別成功率達到100.00%。本文提出的融合模型融合時間低于SPCNN模型，強光12:00 時段強度圖、置信圖融合時間分別是92.68和93.69 s，達到最低。表4六種融合模型的質(zhì)量評價指標顯示，對于弱光18:20 時段，除相關(guān)系數(shù)CC（RGB）低于SPCNN模型0.95、互信息MI（RGB）低于SPCNN模型5.73以外，ST-SPCNN模型平均梯度AG值為12.03、相關(guān)系數(shù)CC（ToF）值為0.85、互信息MI（ToF）值為1.00，MT-SPCNN模型熵E值為7.30、空間頻率SF值為23.80，融合指標值均為最大，MT-SPCNN模型交叉熵CE值為0.38，值最小。以上數(shù)據(jù)說明本文提出的模型圖像融合質(zhì)量高于其他模型。

表3 6種融合模型融合效果比較 Table 3 Comparison of fusion effects of six fusion models 光照條件Illumination condition時間Time模型Model融合圖像總目標數(shù)Total number of fused images Nm目視果實數(shù)Visual fruit numberNf識別成功率Recognition success rateRSuccess/%漏識率Missed recognition rateRMiss/%融合時間Fusion runtime/s 強度+可見光置信+可見光強度+可見光置信+可見光強度+可見光置信+可見光強度+可見光置信+可見光強度+可見光置信+可見光 強光Sunlight with strong12:00NSCT223366.6766.6733.3333.3353.8652.79 ImNSCT223366.6766.6733.3333.3354.3053.81 DWT223366.6766.6733.3333.331.211.01 SPCNN113333.3333.3366.6766.67121.61116.20 ST-SPCNN3333100.00100.000.000.0093.7893.83 MT-SPCNN3333100.00100.000.000.0092.6893.69 13:00NSCT335560.0060.0040.0040.0052.8652.73 ImNSCT335560.0060.0040.0040.0053.8553.96 DWT335560.0060.0040.0040.001.031.03 SPCNN235540.0060.0060.0040.00115.77122.01 ST-SPCNN445580.0080.0020.0020.0094.0091.91 MT-SPCNN445580.0080.0020.0020.0094.1792.01 中光Sunlight with medium、15:00NSCT447757.1457.1442.8642.8652.8452.79 ImNSCT457757.1471.4342.8628.5754.0853.78 DWT447757.1457.1442.8642.861.021.02 SPCNN447757.1457.1442.8642.86122.77121.28 ST-SPCNN7777100.00100.000.000.0095.2893.32 MT-SPCNN677785.71100.0014.290.0095.4596.01 16:00NSCT446666.6766.6733.3333.3352.7352.95 ImNSCT446666.6766.6733.3333.3353.8053.72 DWT446666.6766.6733.3333.331.041.03 SPCNN336650.0050.0050.0050.00122.34121.78 ST-SPCNN556683.3383.3316.6716.6796.0393.50 MT-SPCNN556683.3383.3316.6716.6795.9495.83 弱光Sunlight with weak18:20NSCT445580.0080.0020.0020.0052.9753.35 ImNSCT435580.0060.0020.0040.0053.7653.82 DWT445580.0080.0020.0020.001.021.02 SPCNN335560.0060.0040.0040.00121.02115.18 ST-SPCNN5455100.0080.000.0020.0093.9494.12 MT-SPCNN5455100.0080.000.0020.0094.0193.64 19:00NSCT557771.4371.4328.5728.5752.7752.68 ImNSCT557771.4371.4328.5728.5753.6353.66 DWT557771.4371.4328.5728.571.041.01 SPCNN457757.1471.4342.8628.57116.84122.94 ST-SPCNN677785.71100.0014.290.0093.3496.81 MT-SPCNN677785.71100.0014.290.0096.7495.14

表4 6種融合模型融合質(zhì)量評價指標比較 Table 4 Comparison of fusion quality evaluation indicators of six fusion models 指標IndexNSCTImNSCTDWTSPCNNST-SPCNNMT-SPCNN 強度+可見光圖像置信+可見光圖像強度+可見光圖像置信+可見光圖像強度+可見光圖像置信+可見光圖像強度+可見光圖像置信+可見光圖像強度+可見光圖像置信+可見光圖像強度+可見光圖像置信+可見光圖像 AG10.109.2911.026.547.698.139.8011.5112.0311.6611.9611.92 CC(ToF)0.480.490.580.720.660.650.180.040.500.850.820.81 CC(RGB)0.840.750.750.500.750.650.840.950.720.200.420.24 CE1.922.610.683.060.791.990.902.340.492.830.382.66 E6.726.506.876.226.836.756.767.107.107.027.307.06 MI(ToF)0.370.340.470.600.590.560.910.660.401.000.930.91 MI(RGB)1.340.990.950.491.291.443.665.731.140.360.570.33 SF20.2719.6720.6114.7515.3617.0819.9922.0622.8623.4522.6723.80

注：AG代表融合圖像平均梯度；CC(ToF)代表ToF圖像與融合圖像之間的相關(guān)系數(shù)；CC(RGB)代表RGB圖像與融合圖像之間的相關(guān)系數(shù)；CE代表ToF圖像、RGB圖像與融合圖像之間的總交叉熵；E代表融合圖像的熵；MI(ToF)代表ToF圖像與融合圖像之間的互信息；MI(RGB)代表RGB圖像與融合圖像之間的互信息；SF代表融合圖像的空間頻率。其中CE值越小代表融合圖像質(zhì)量越好，其他評價指標值越大代表融合圖像質(zhì)量越好。

Note: AG represents the average gradient of the fused image; CC(ToF) represents the correlation coefficient between ToF image and fused image; CC(RGB) represents the correlation coefficient between RGB image and fused image; CE represents the total cross entropy between ToF image, RGB image and fused image; E represents the entropy of the fused image; MI(TOF) represents the mutual information between the ToF image and the fused image, MI(RGB) represents the mutual information between the RGB image and the fused image; SF represents the spatial frequency of the fused image. Among them, the smaller CE value means the better quality of the fused image, and the larger the value of other evaluation indicators means the better quality of the fused image.

模型復雜度比較見表5所示。ST-SPCNN及MT-SPCNN模型在時間復雜度上比其他模型分別多出單目標參數(shù)尋優(yōu)時間O(maxCycle×NP×limit+ maxCycle×NP)和多目標參數(shù)尋優(yōu)時間O(maxCycle×(NP×limit×Rep×Rep+ Rep×Target×nGrid+Rep×Rep×Target+NP×Target))?？臻g復雜度比其他模型分別多出參數(shù)尋優(yōu)存儲空間O(NP×d)和O(NP×d×Target+Rep×d×Target+Target×nGrid)。實例分析可知，本文模型時間復雜度比NSCT模型多一個數(shù)量級，比SPCNN模型低一個數(shù)量級，在空間復雜度上與之對等不變。

表5 6種融合模型復雜度比較 Table 5 Complexity comparison of six fusion models 模型Model時間復雜度Time complexity時間復雜度實例Time complexity instance空間復雜度Spatial complexity空間復雜度實例Spatial complexity instance NSCTO(M·N+nsc·2q)307 224O(M·N+nsc·2q)307 224 ImNSCTO(M2·N2+nsc·2q·M·N)94 379 212 800O(M·N+nsc·2q)307 224 DWTO(M·N)307 200O(M·N)307 200 SPCNNO(n·n+iteration·M·N)15 360 025O(M·N)307 200 ST-SPCNNO(maxCycle·NP·limit+maxCycle·NP+n·n+iteration·M·N)1 843 285O(NP·d+M·N)307 212 MT-SPCNNO(maxCycle·(NP·limit·Rep·Rep+Rep·Target·nGrid+Rep·Rep·Target+NP·Target+n·n+iteration·M·N)1 872 085O(NP·d·Target+Rep·d·Target+Target·nGrid+M·N)307 596

注：nsc代表NSCT分解級數(shù)；q代表NSCT分解方向數(shù)；M、N代表輸入高低頻子帶圖像的長度和寬度；iteration代表點火次數(shù)；n代表鏈接系數(shù)Wij,kl與周圍相鄰神經(jīng)元(k,l)的神經(jīng)元個數(shù)；NP代表食物源信息；d代表空間維度；maxCycle代表ABC算法最大迭代次數(shù)；limit代表食物源的停滯最大次數(shù)；Rep表示非支配解的數(shù)量；nGrid表示劃分的網(wǎng)格的數(shù)量，Target表示目標函數(shù)的數(shù)量。試驗中，nsc=3，q=3，M =640，N=480，iteration=50(SPCNN)，iteration=6(本文模型)，n=5，NP=3，d=4，maxCycle=5，limit=3，Rep=20，nGrid=7，Target=4。

Note: nscrepresents the number of NSCT decomposition levels; q represents the number of NSCT decomposition directions; M and N represents the length and width of the input high and low frequency subband image; iteration represents the number of ignition; n represents the number of neurons between the link coefficient Wij,kl and the surrounding adjacent neurons (k,l); NP stands for food source information; d represents the spatial dimension; maxCycle represents the maximum number of iterations of ABC algorithm; limit represents the maximum number of stagnation of food sources; Rep represents the number of nondominated solutions; nGrid represents the number of divided grids; Targetrepresents the number of objective functions. In the experiment, nsc=3, q=3, M =640, N=480, iteration=50(SPCNN) , iteration=6(proposed model in this paper), n=5, NP=3, d=4, maxCycle=5, limit=3, Rep=20, nGrid=7, Target=4.

3 結(jié) 論

本文提出一種多尺度分解雙尋優(yōu)策略簡化脈沖耦合神經(jīng)網(wǎng)絡的飛行時間與可見光果園蘋果圖像融合模型。模型通過雙分支融合策略，分別利用多尺度分解單目標簡化脈沖耦合神經(jīng)網(wǎng)絡融合模型、多尺度分解多目標簡化脈沖耦合神經(jīng)網(wǎng)絡融合模型進行融合。

賈承造：全球天然氣貿(mào)易非?；钴S。2017年，全球天然氣貿(mào)易量為1.13萬億立方米，與2016年同比增長5.9%。國際上LNG貿(mào)易空前活躍及參與LNG國際貿(mào)易的國家明顯增多，亞太地區(qū)是主要的輸入國。2017年上半年，國際LNG供應相對寬松，下半年受我國“煤改氣”、韓國棄核棄煤等能源政策的影響，LNG需求超過預期，快速增長，國際天然氣市場出現(xiàn)了時段性的供需緊張。同時，國際油價上漲還導致了天然氣價格的整體上漲。但從中長期來看，全世界天然氣市場仍是總體供大于求的態(tài)勢，使天然氣價格不會出現(xiàn)暴漲暴跌。

1）提出的多尺度分解單目標簡化脈沖耦合神經(jīng)網(wǎng)絡融合模型以及多尺度分解多目標簡化脈沖耦合神經(jīng)網(wǎng)絡融合模型具有自適應點火機制，在點火分割迭代次數(shù)滿足雙尋優(yōu)策略目標函數(shù)條件時，停止迭代，加快了簡化脈沖耦合神經(jīng)網(wǎng)絡模型點火分割的速度。同時，相較于簡化脈沖耦合神經(jīng)網(wǎng)絡模型固定較大迭代次數(shù)，模型自適應點火次數(shù)較低，在3～7次左右，點火圖果實分割清晰、無空洞、無過分割。

2）多尺度分解的飛行時間與可見光異源圖像融合模型動態(tài)優(yōu)化簡化脈沖耦合神經(jīng)網(wǎng)絡模型參數(shù)，具有自適應迭代次數(shù)，使得改進后簡化脈沖耦合神經(jīng)網(wǎng)絡模型點火次數(shù)大大減少，提高了效率，在點火幾次的情況下就可以達到快速自適應分割，提高了融合效率。中光15:00時段點火識別成功率達到了100.00%，點火分割時間達到最低91.91 s。

3）與其他融合模型相比，本文提出的融合模型各時段識別成功率均達到80.00%以上。其中強光12:00、中光15:00、弱光18:20、19:00時段融合圖像識別成功率達到100.00%；融合時間低于簡化脈沖耦合神經(jīng)網(wǎng)絡模型，達到最低92.68 s。提出模型在弱光18:20時段平均梯度值為12.03、相關(guān)系數(shù)（飛行時間）值為0.85、互信息（飛行時間）值為1.00、熵值為7.30、空間頻率值為23.80，融合指標值均為最大，總交叉熵值為0.38，值最小。模型時空復雜度與簡化脈沖耦合神經(jīng)網(wǎng)絡模型相差不大。

本文提出的融合模型在多尺度分解單目標簡化脈沖耦合神經(jīng)網(wǎng)絡融合模型的優(yōu)化策略、多尺度分解多目標簡化脈沖耦合神經(jīng)網(wǎng)絡融合模型的帕雷托最優(yōu)解集的構(gòu)造方法、以及融合策略上均可進一步深入研究，優(yōu)化策略尚存在尋找全局最優(yōu)食物源的冗余操作，增加了一定的時間復雜度，此外，本文模型在強光照條件下融合指標表現(xiàn)不佳，在今后的研究中，可以融合別的群體智能優(yōu)化算法思想進行改進和提升，對強光照條件下的融合質(zhì)量有待進一步提升。此外，今后還將利用深度學習方法對果園場景異源圖像融合模型進一步研究和探索，以提高圖像融合的實時性和批量性。

[參 考 文 獻]

[1] 賈偉寬，趙德安，劉曉洋，等. 機器人采摘蘋果果實的K-means和GA-RBF-LMS神經(jīng)網(wǎng)絡識別[J]. 農(nóng)業(yè)工程學報，2015，31(18)：175-183.

Jia Weikuan, Zhao De’an, Liu Xiaoyang, et al. Apple recognition based on K-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(18): 175-183. (in Chinese with English abstract)

[2] Cheng B, Jin L, Li G. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]. Neurocomputing, 2018, 310: 135-147.

[3] Wang X, Lin T, Jiang X, et al. Reliable fusion of ToF and stereo data based on joint depth filter[J]. Journal of Visual Communication and Image Representation, 2021, 74: 103006.

[4] 楊勇，劉家祥，黃淑英，等. 卷積自編碼融合網(wǎng)絡的紅外可見光圖像融合[J]. 小型微型計算機系統(tǒng)，2019，40(12)：2673-2680.

Yang Yong, Liu Jiaxiang, Huang Shuying, et al. Convolutional auto-encoding fusion network for infrared and visible image fusion[J]. Journal of Chinese Computer Systems, 2019, 40(12): 2673-2680. (in Chinese with English abstract)

[5] 任恒樂，徐方，邸霈，等. 基于深度相機的移動機器人自主跟隨技術(shù)[J]. 計算機工程與設(shè)計，2020，41(2)：562-566.

Ren Hengle, Xu Fang, Di Pei, et al. Autonomous following technology of mobile robot based on depth camera[J]. Computer Engineering and Design, 2020, 41(2): 562-566. (in Chinese with English abstract)

[6] Panigrahy C, Seal A, Mahato N K. MRI and SPECT image fusion using a weighted parameter adaptive dual channel PCNN[J]. IEEE Signal Processing Letters, 2020, 27: 690-694.

[7] Okorie A, Makrogiannis S. Region-based image registration for remote sensing imagery[J]. Computer Vision and Image Understanding, 2019, 189: 102825.

[8] Da C A L, Zhou J P, Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.

[9] Thierry R, Lucien W. The wavelet transform for the analysis of remotely sensed images[J].International Journal of Remote Sensing, 1993, 14(3): 615-619.

[10] Chao R, Zhang K, Li Y. An image fusion algorithm using wavelet transform[J]. Acta Electronica Sinica, 2004, 5: 750-753.

[11] Shah V P, Younan N H, King R L. An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets[J]. IEEE Transactions on Geoscience & Remote Sensing, 2008, 46(5): 1323-1335.

[12] Zhang J, Ma W, Wu Y, et al. Multimodal remote sensing image registration based on image transfer and local features[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(8): 1210-1214.

[13] Yu L, Xun C, Hu P, et al. Multi-focus image fusion with a deep convolutional neural network[J].Information Fusion, 2017, 36: 191-207.

[14] Tang F, Liang S, Zhong T, et al. Postoperative glioma segmentation in CT image using deep feature fusion model guided by multi-sequence MRIs[J]. European Radiology, 2020, 30(7): 823-832.

[15] Ying Z, Xiaoqun Z. Variational bimodal image fusion with data-driven tight frame[J]. Information Fusion, 2020, 55: 164-172.

[16] 楊風暴，董安冉，張雷，等. DWT、NSCT和改進PCA協(xié)同組合紅外偏振圖像融合[J]. 紅外技術(shù)，2017，39(3)：201-208.

Yang Fengbao, Dong Anran, Zhang Lei, et al. Infrared polarization image fusion using the synergistic combination of DWT, NSCT and improved PCA[J]. Infrared Technology, 2017, 39(3): 201-208. (in Chinese with English abstract)

[17] Feng B Y , Anran D , Lei Z , et al. Infrared polarization image fusion based on combination of NSST and improved PCA[J]. Journal of Measurement Science and Instrument, 2016, 7(2): 176-184.

[18] Yang Z, Ma Y, Lian J, et al. Saliency motivated improved simplified PCNN model for object segmentation[J]. Neurocomputing, 2018, 275: 2179-2190.

[19] 王佺，聶仁燦，周冬明，等. 多目標粒子群優(yōu)化PCNN參數(shù)的圖像融合算法[J]. 中國圖象圖形學報，2016，21(10)：1298-1306.

Wang Quan, Nie Rencan, Zhou Dongming, et al. Image fusion algorithm using PCNN model parameters of multi-objective particle swarm optimization[J]. Journal of Image and Graphics, 2016, 21(10): 1295-1306. (in Chinese with English abstract)

[20] Zhu M, Chen C, Wu X. Infrared and visible image fusion using improved QPSO-PCNN algorithm [C]//2018 8th International Conference on Electronics Information and Emergency Communication (ICEIEC). Beijing: IEEE, 2018: 52-58.

[21] Wang X, Li Z, Kang H, et al. Medical image segmentation using PCNN based on multi-feature grey wolf optimizer bionic algorithm [J]. Journal of Bionic Engineering, 2021, 18(3): 711-720.

[22] Huang C, Tian G, Lan Y, et al. A new pulse coupled neural network (PCNN) for brain medical image fusion empowered by shuffled frog leaping algorithm[J]. Frontiers in neuroscience, 2019, 13: 210.

[23] Dharini S, Jain S. A novel metaheuristic optimal feature selection framework for object detection with improved detection accuracy based on pulse-coupled neural network[J]. Soft Computing, 2021: 1-13.

[24] Karaboga D. An idea based on honey bee swarm for numerical optimization[R]. Kayseri: Erciyes University, 2005.

[25] Zhang Z. A flexible new technique for camera calibration[R]. Washington State: Microsoft Research, 1998.

[26] Lowe D G. Distinctive image features from scale-inavariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[27] Leng C, Zhang H, Li B, et al. Local feature descriptor for image matching: A survey[J]. IEEE Access. 2018, 7: 6424-6434.

[28] Deb K. Multi-objective Optimization Using Evolutionary Algorithms[M]. Chichester: John Wiley & Sons, 2001.

[29] Zhang J L, Zhao E. Fusion method for infrared and visible light images based on NSCT[J]. Laser & Infrared, 2013, 43(3): 320-323.

[30] 楊艷春，李嬌，王陽萍. 圖像融合質(zhì)量評價方法研究綜述[J]. 計算機科學與探索，2018，12(7)：1021-1035.

Yang Yanchun, Li Jiao, Wang Yangping. Review of image fusion quality evaluation methods[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(7): 1021-1035. (in Chinese with English abstract)

[31] Temer A M. Basler ToF camera user’s manual[EB/OL]. (2018-04-09)[2022-02-17]. https://www.baslerweb.com/cn/sales- support/downloads/document-downloads/basler-tof-camera- users-manual/.

Heterologous image fusion with multi-scale decomposition and dual optimization SPCNN in an apple orchard

Liu Liqun1, Gu Renyuan1, Zhou Yubo1,Huo Jiuyuan2

(1. College of Information Science and Technology, Gansu Agricultural University, Lanzhou 730070, China; 2.School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

Abstract: Heterologous image fusion has been widely used to integrate multiple images into one. The fused imagesalso present a higher definition, more significant edge intensity, and more information than the source image. There are different characteristics of image data collected by the various types of sensors. Among them, the depth sensor imaging used the Time of Flight (ToF) to realizethe distance calculation using the ToF near-infrared light. The beneficial supplement has been commonly used for the visible light camera.The broad application can also be expected in the agriculture, medical treatment, quality inspection, and vision fields. However, the image acquisition of a single natural scene cannot fully meet the requirements forrapid and accurate identification of the fruits and positioning targets.The image fusion can be extended to the heterologous vision system using multi-objective optimization, particularly in the field of natural scenes. In this study, a multi-scale decomposition and dual optimization strategy was proposed to simplify the ToF and visible-light image fusion in an apple orchardusing the Simplified Pulse Coupled Neural Network (SPCNN). A double strategy with parameter optimization was introduced into the SPCNN model for the fusion of Nonsubsampled Contourlet Transform (NSCT). The model included the registration module, coding area, multi-scale decomposition module, single target SPCNN fusion model, multi-target SPCNN fusion model, and decoding area. The heterologous vision system was also used to accurately register the ToF and visible light images. Four parameters of SPCNN model were encoded, including the link channel feedback term, link strength, dynamic threshold attenuation factor, and dynamic threshold amplification factor. The NSCT was used to decompose the image at multiple scales. The fusion rules in the SPCNN model were adopted with the improved artificial bee colony algorithmand double optimization, including the single- and multi-objective parameter optimization. Each binary vector was converted into the real parameters using the decoding area.The objective function of the double optimization was used as the iteration termination of the SPCNN model. Finally, the heterogeneous image fusion was implemented after the multi-scale inverse transformation. There was improved parameter optimization and iteration times of SPCNN model. The adaptive ignition times of the model were relatively low (about 3-7 times),indicating low ignition times, adaptive segmentation, and high efficiency. The success rate of ignition recognition reached 100.00%, and the minimum duration of ignition division reached 91.91 s at 15:00. Specifically, the success rate of fusion image recognition also reached 100.00% under different periods, including strong,medium, and weak light at 12:00, 15:00, 18:20, and 19:00, compared with the rest fusion models. The fusion time was much lower than that of SPCNN model, with a minimum of 92.68 s. The four fusion indexes were the largest in the weak light period of 18:20, including the average gradient, correlation coefficient, mutual information, entropy, and spatial frequency. The proposed model presented an excellent performance in accuracy, time-consuming, and model size. The finding can provide a supplement to the image hierarchical fusion.

Keywords: image recognition; models; Nonsubsampled Contourlet Transform; Simplified Pulse Coupled Neural Network; heterologous image fusion model; single objective strategy; multi-objective strategy

doi：10.11975/j.issn.1002-6819.2022.17.017

中圖分類號：TP301

文獻標志碼：A

文章編號：1002-6819(2022)-17-0158-10

劉立群，顧任遠，周煜博，等. 多尺度分解雙尋優(yōu)策略SPCNN的果園蘋果異源圖像融合模型[J]. 農(nóng)業(yè)工程學報，2022，38(17)：158-167.doi：10.11975/j.issn.1002-6819.2022.17.017 http://www.tcsae.org

Liu Liqun, Gu Renyuan, Zhou Yubo, et al. Heterologous image fusion with multi-scale decomposition and dual optimization SPCNN in an apple orchard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 158-167. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.017 http://www.tcsae.org

收稿日期：2022-02-17

修訂日期：2022-07-20

基金項目：甘肅農(nóng)業(yè)大學青年導師基金資助項目（GAU-QDFC-2020-08）；甘肅省科技計劃項目（20JR5RA032）

作者簡介：劉立群，副教授，研究方向為計算機技術(shù)在農(nóng)業(yè)工程中的應用。Email：llqhjy@126.com。