基于深度學(xué)習(xí)的雙光譜目標(biāo)自動(dòng)識(shí)別方法

劉洵，梅宇航，王赫，王嘉城，薛彥涵

1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津，300387；2.天津工業(yè)大學(xué)物理學(xué)院，天津，300387；3.天津工業(yè)大學(xué)軟件學(xué)院，天津，300387

0 引言

目前，各國科研學(xué)者對(duì)自動(dòng)目標(biāo)識(shí)別系統(tǒng)的算法研究越發(fā)深入，不僅會(huì)改善原本提出的應(yīng)用算法，還會(huì)根據(jù)實(shí)踐累積經(jīng)驗(yàn)提出全新內(nèi)容。特別是在引入相關(guān)領(lǐng)域的研究成果后，既加快了自動(dòng)目標(biāo)識(shí)別技術(shù)的發(fā)展速度，又在改進(jìn)算法后提升了目標(biāo)識(shí)別提取的精確度和實(shí)施性。但從整體發(fā)展的角度來看，自動(dòng)目標(biāo)識(shí)別技術(shù)的研究也存在一定的局限性，某類目標(biāo)研究的識(shí)別效果雖然在實(shí)驗(yàn)期間十分優(yōu)異，但在實(shí)際應(yīng)用中會(huì)受到不可預(yù)知的環(huán)境條件影響，增加圖像識(shí)別和提取的難度。其中，圖像分割作為圖像處理領(lǐng)域中的重難點(diǎn)，在分割之后要進(jìn)行特征提取、目標(biāo)識(shí)別等操作，因此圖像分割質(zhì)量直接影響整體識(shí)別跟蹤效果。雖然從圖像分割技術(shù)發(fā)展至今，各國科研學(xué)者提出了多種方法，但并沒有哪一種可以適用于所有圖像。通常情況下，圖像分割方法都會(huì)根據(jù)圖像和目標(biāo)進(jìn)行調(diào)整，因此現(xiàn)階段各國學(xué)者更加注重尋找統(tǒng)一的方法分割所有圖像。本文主要探討以深度學(xué)習(xí)為核心的雙光譜目標(biāo)自動(dòng)識(shí)別方法，一方面著重介紹了深度學(xué)習(xí)和識(shí)別架構(gòu)圖，另一方面從實(shí)踐應(yīng)用角度分析了未來雙光譜目標(biāo)自動(dòng)識(shí)別方法的發(fā)展方向。

1 目前雙光譜成像探測技術(shù)的研究分析

1.1 國內(nèi)外研究現(xiàn)狀

由于多光譜成像探測技術(shù)可以在掌握多個(gè)特征光譜波段后，對(duì)目標(biāo)場景進(jìn)行成像探測，不僅能完成以往不斷圖像探測無法處理的問題，還可以提升目標(biāo)提取和識(shí)別的精確度[1]。雖然多光譜成像探測技術(shù)相比超光譜成像探測技術(shù)，有效控制了工作期間的波段數(shù)量，無法進(jìn)行目標(biāo)種類的精確識(shí)別，但可以在特定觀測場景中，對(duì)比分析強(qiáng)度差異過大的波段，也可以提升目標(biāo)背景的性價(jià)比，優(yōu)化實(shí)際探索的技術(shù)性能。在電子技術(shù)革新發(fā)展中，各國科研學(xué)者研制出了多種多光譜相機(jī)，比如說將高速電耦合器件看作是圖像傳感器，將大容量集成電路儲(chǔ)存芯片看作核心，亦或是利用面陣互補(bǔ)的金屬氧化物半導(dǎo)體等，都可以在實(shí)現(xiàn)信息數(shù)字化的基礎(chǔ)上，獲取更加精確的瞬時(shí)信息。我國在研發(fā)光譜相機(jī)時(shí)，主要運(yùn)用了CCD感光器件，由于實(shí)際速度過低，無法同時(shí)滿足高端市場需求，因此整體水平有待提升。

1.2 雙光譜相機(jī)系統(tǒng)介紹

在構(gòu)建雙光譜相機(jī)系統(tǒng)時(shí)，可以利用傳感器（CMOS）、數(shù)據(jù)處理（DSP）、數(shù)據(jù)儲(chǔ)存器（SDRAM）來構(gòu)建整體系統(tǒng)，其中相機(jī)系統(tǒng)在獲取入射光信號(hào)之后，會(huì)將其轉(zhuǎn)變成后續(xù)電路所需的數(shù)字信號(hào)，而傳感器中集成了A/D功能，所以可以直接輸出數(shù)字信號(hào)，簡化外圍電路的設(shè)計(jì)結(jié)構(gòu)。數(shù)據(jù)處理模塊會(huì)將DSP看作系統(tǒng)的核心內(nèi)容，主要用來有效控制芯片，幫助相機(jī)系統(tǒng)和其他部件協(xié)調(diào)運(yùn)行。同時(shí)，數(shù)據(jù)儲(chǔ)存器不僅會(huì)將相關(guān)信息直接上傳到計(jì)算機(jī)平臺(tái)，還會(huì)與圖像處理軟件共同處理有關(guān)圖像。

根據(jù)圖1所示的系統(tǒng)結(jié)構(gòu)圖可知，其具備以下特征：一方面，在經(jīng)過分割處理之后，會(huì)得到包括兩個(gè)蒲端的特點(diǎn)光譜圖像，不僅對(duì)比明顯，而且成像同步，能解決以往光譜成像儀無法真正成像的技術(shù)問題。同時(shí)，圖像畸變過小，可以便于后續(xù)光譜圖像的融合處理；另一方面，這一系統(tǒng)選用ARM作為自身的數(shù)據(jù)處理芯片，不僅能解決傳統(tǒng)功能消耗過多、整體體積過大等問題，還可以提升系統(tǒng)運(yùn)行的效率[2]。同時(shí)，在設(shè)計(jì)期間優(yōu)先選擇功能消耗過低的元器件，能有效控制系統(tǒng)電壓和工作頻率，在軟件設(shè)計(jì)期間，依據(jù)數(shù)據(jù)終端方式進(jìn)行處理，系統(tǒng)在初始化之后會(huì)直接進(jìn)入低功能消耗狀態(tài)，一直到外部信號(hào)中斷才會(huì)轉(zhuǎn)變成節(jié)電狀態(tài)，在任務(wù)結(jié)束之后會(huì)再次轉(zhuǎn)變成休眠狀態(tài)。

圖1 雙光譜相機(jī)系統(tǒng)的結(jié)構(gòu)圖

1.3 設(shè)計(jì)實(shí)現(xiàn)

（1）優(yōu)化機(jī)身。由于多光譜相機(jī)必須要具備較為寬闊的波譜范圍，所以要清除CCD之前的低通濾片和紅外截止濾鏡片，并利用口徑適宜的全透鏡替代，最終按照規(guī)范技術(shù)要求，科學(xué)調(diào)整相機(jī)的焦距。完成這一優(yōu)化設(shè)計(jì)，雙光譜相機(jī)系統(tǒng)的波普范圍可以上升到350nm到1050nm之間，能滿足近紅外波段成像、可見光全波段等方面的技術(shù)需求。

（2）雙通道鏡頭。本文研究利用雙高斯鏡頭的結(jié)構(gòu)形式來構(gòu)建單一的通道鏡頭，其中初期結(jié)構(gòu)參數(shù)要依據(jù)國內(nèi)外技術(shù)研究成果進(jìn)行設(shè)計(jì)，并充分研究高級(jí)相差求解初始結(jié)構(gòu)參數(shù)方法。通常來講，雙高斯鏡頭作為一種具有對(duì)稱性的結(jié)構(gòu)器件，在設(shè)計(jì)應(yīng)用時(shí)要重點(diǎn)思考位置色差、球差、像散等參數(shù)。

（3）系統(tǒng)電路。本文研究系統(tǒng)中的圖像傳感器需要提供充足電源驅(qū)動(dòng)才能正常工作，其中外部包含了數(shù)據(jù)處理模塊、數(shù)據(jù)儲(chǔ)存和傳輸模塊、位置傳感器模塊等，請(qǐng)每個(gè)模塊都具備單一的供電電源[3]。由于沒有全面連接所有模塊的供電線路，所以在設(shè)計(jì)時(shí)要充分考慮圖像傳感器的供電要求，比如說，為外部相機(jī)提供12V電源，而GPS系統(tǒng)要從主板中提供5V電源。

2 深度學(xué)習(xí)算法分析

這系統(tǒng)利用機(jī)器學(xué)習(xí)技術(shù)優(yōu)化多光譜光場成像系統(tǒng)，并依據(jù)液晶復(fù)合微透鏡陣列的電控變焦特征，來獲取這一場景下的清晰光場圖像，最終依據(jù)相機(jī)光譜靈敏度的相關(guān)知識(shí)，以深度神經(jīng)網(wǎng)絡(luò)為核心對(duì)光譜圖像實(shí)現(xiàn)雙光譜重新建構(gòu)，這樣不僅能提升光譜的分辨率集體精確度，還可以獲取多維度信息，這對(duì)現(xiàn)代生物醫(yī)學(xué)、遙感成像等領(lǐng)域發(fā)展具有積極影響。因此，在實(shí)現(xiàn)雙光譜目標(biāo)自動(dòng)識(shí)別時(shí)，要重點(diǎn)研究深度學(xué)習(xí)算法。

2.1 卷積神經(jīng)網(wǎng)絡(luò)

簡單來講，深度學(xué)習(xí)是以深度神經(jīng)網(wǎng)絡(luò)為核心的應(yīng)用算法，其中包含多個(gè)隱含層，既可以逼近復(fù)雜函數(shù)，又可以計(jì)算復(fù)雜特征。卷積神經(jīng)網(wǎng)絡(luò)作為這一算法的核心內(nèi)容，主要分為以下內(nèi)容。

（1）卷基層。卷積作為數(shù)學(xué)分析的重要工具，其本質(zhì)是運(yùn)用卷積核的參數(shù)提取輸入數(shù)據(jù)，并學(xué)習(xí)魯棒性更高的特征，最終依據(jù)矩陣點(diǎn)乘運(yùn)算和求和運(yùn)算獲取結(jié)果。具體運(yùn)算公式如下所示：

（2）激活函數(shù)。如果神經(jīng)網(wǎng)絡(luò)只是利用線性卷積運(yùn)算進(jìn)行堆疊，那么很難構(gòu)成復(fù)雜的表達(dá)空間，也無法獲取高語義信息。因此，要在其中添加非線性映射，也就是激活函數(shù)。這一內(nèi)容不僅影響著神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的信號(hào)計(jì)算和梯度參數(shù)，還可以畢竟多樣化的非線性函數(shù)，穩(wěn)步提升神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。

（3）池化層。在卷積網(wǎng)絡(luò)中，一般會(huì)在卷積層之間增加磁化層，主要用來控制特征圖的參數(shù)數(shù)量，提升時(shí)間計(jì)算速度。根據(jù)如圖2所示的池化方式分析顯示，最常見的方法分為兩種，一種是指最大池化，需要計(jì)算池化窗口類內(nèi)的最大數(shù)值；另一種是指平均池化，需要計(jì)算池化窗口內(nèi)元素的平均數(shù)值。兩種方法的最大特征在于保障深度大小維持不變，在正確處理多通道輸入數(shù)據(jù)時(shí)，池化層要對(duì)所有通道進(jìn)行分別池化，以此確保池化層的輸入和輸出通道具有一致性。

圖2 池化方式

（4）批量歸一化層。在深度網(wǎng)絡(luò)逐步加深時(shí)，淺層參數(shù)的微弱變化會(huì)經(jīng)過多層線性變化和激活函數(shù)的影響變大，這樣在不斷調(diào)整深層網(wǎng)絡(luò)時(shí)很難收斂模型。而批量歸一化處理是依據(jù)小批量均值和方差來改變數(shù)據(jù)分布，以此在保障中間輸出穩(wěn)定的基礎(chǔ)上，避免參數(shù)陷入飽和區(qū)域。

2.2 SSD目標(biāo)檢測識(shí)別模型

SSD算法模型包含兩大特征，一方面體提取了不同尺度的特征圖進(jìn)行檢測，大尺寸特征圖可以完成小目標(biāo)檢測，而小尺度特征圖能用于大目標(biāo)檢測；另一方面為SSD提供了不一樣尺寸和長寬比的先驗(yàn)框進(jìn)行檢驗(yàn)。這類算法運(yùn)用VGG16作為基礎(chǔ)網(wǎng)絡(luò)，在有效改善中將預(yù)處理后的大小固定在300×300的三通道數(shù)據(jù)中，并經(jīng)過VGG16網(wǎng)通道前13個(gè)卷積，將末端的兩處全連接層改變成常規(guī)的卷積層，由此提取2個(gè)特征圖，之后進(jìn)一步延伸了4個(gè)卷積模塊提取4個(gè)特征[4]。這樣經(jīng)過處理之后，可以構(gòu)成6個(gè)不同尺度不同通道數(shù)量的特征圖，最深處可以構(gòu)成大小是1×1的特征圖，且具有不同的尺度和感受，能用于檢測不同尺度的物體。

結(jié)合圖2分析發(fā)現(xiàn)，VGG16作為基礎(chǔ)網(wǎng)絡(luò)，和圖像特征提取有緊密聯(lián)系。利用VGG Net對(duì)傳統(tǒng)意義上的卷積網(wǎng)絡(luò)進(jìn)行改善，可以基于更小的卷積核和多層網(wǎng)絡(luò)結(jié)構(gòu)強(qiáng)化網(wǎng)絡(luò)非線性表達(dá)水平，有助于控制網(wǎng)絡(luò)參數(shù)。而在VGG網(wǎng)絡(luò)后增添額外的卷基層，可以在逐步減少特征圖的同時(shí)，提升算法的應(yīng)用效率。

2.3 目標(biāo)識(shí)別評(píng)價(jià)體系

在目標(biāo)檢測期間對(duì)整個(gè)模型進(jìn)行評(píng)估，需要利用多種類型的平均精度進(jìn)行分析。在檢測工作中，依據(jù)統(tǒng)計(jì)模型對(duì)各類識(shí)別情況進(jìn)行分析，因?yàn)閳D像中包含背景和目標(biāo)物體，所以預(yù)測框架會(huì)出現(xiàn)正確或錯(cuò)誤結(jié)果，相應(yīng)的評(píng)測結(jié)果也會(huì)出現(xiàn)四種樣本：①正確檢測框T P，②指錯(cuò)誤檢測框F P，③漏檢框F N，④正確背景T N。對(duì)預(yù)測框而言，會(huì)正確計(jì)算其和原始圖像中的所有真實(shí)標(biāo)簽框進(jìn)行判斷。其中召回率（Recall）的計(jì)算公式如下所示，其是指目前檢測出正樣本的數(shù)量占所有真實(shí)正樣本的比例：

而準(zhǔn)確率（Precision）是指模型中所有預(yù)測正樣本為真實(shí)樣本的概率，具體公式如下所示：

3 基于深度學(xué)習(xí)的雙光譜光場成像系統(tǒng)分析

本文研究在整合相機(jī)光譜靈敏度相關(guān)知識(shí)的基礎(chǔ)上，利用深度神經(jīng)網(wǎng)絡(luò)對(duì)光場圖像進(jìn)行雙光譜重建，這樣不僅能提升技術(shù)精度，還可以準(zhǔn)確獲取這一場景下的相關(guān)信息。根據(jù)圖3所示的系統(tǒng)框架圖分析可知，整體系統(tǒng)的操作步驟分為以下幾點(diǎn)。

圖3 系統(tǒng)框架圖

（1）利用聚合物穩(wěn)定液晶、主透鏡、CCD相機(jī)耦合構(gòu)建光場相機(jī)，并利用這一內(nèi)容對(duì)等待檢測物體進(jìn)行成像，就可以獲取光場圖像。在實(shí)踐操作中，要將等待檢測物體、主透鏡、CCD相機(jī)等放在同一光軸上；在給液晶器件加載電壓之后，通過科學(xué)調(diào)整電壓就能在CCD相機(jī)處獲取清晰的圖像；聚合物分散液晶薄膜的初始驅(qū)動(dòng)電壓是12Vrms，外加電壓的改變范圍要控制在10Vrms到14Vrms之間，經(jīng)過多次調(diào)整外加壓力，選擇更為清晰的光場圖像。

（2）利用非周期性算法獲取采集到的光場圖像的子視角圖，將這一圖像利用像素拼接算法合并成一張二維mv格式的光場圖像。

（3）掌握多光譜數(shù)據(jù)集合。在下載公開數(shù)據(jù)庫獲取相關(guān)數(shù)據(jù)集合后，其中不僅包含數(shù)據(jù)圖像，還有對(duì)應(yīng)的二維圖像。在這一數(shù)據(jù)庫中，其提供的文件數(shù)據(jù)都是按照10nm為增量，在400nm到700nm之間，縮減采樣到31個(gè)光譜通道。所對(duì)應(yīng)的二維圖像會(huì)依據(jù)通用濾波器響應(yīng)函數(shù)，將雙光譜數(shù)據(jù)映射成二維圖像[5]。

（4）構(gòu)建雙光譜重建網(wǎng)絡(luò)。這一建構(gòu)要以卷積神經(jīng)網(wǎng)絡(luò)為核心，設(shè)計(jì)一個(gè)將相機(jī)光譜靈敏度函數(shù)集中到重建的全過程中，這樣不僅能更好完成建設(shè)，還可以精細(xì)約束二維圖像和光譜圖像，提升整體操作的精確度。

（5）運(yùn)用多光譜圖像數(shù)據(jù)集合訓(xùn)練重新構(gòu)建的網(wǎng)絡(luò)，就可以得到相應(yīng)的訓(xùn)練模型。將實(shí)踐操作獲取的數(shù)據(jù)集合中的光譜圖像文件和對(duì)應(yīng)的二維圖像，輸入的構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型中，訓(xùn)練300個(gè)周期，就可以獲取訓(xùn)練之后的重建模型[6]。

（6）運(yùn)用多光譜重建網(wǎng)絡(luò)獲取的訓(xùn)練模型，對(duì)光譜圖像進(jìn)行重新建構(gòu)，可以將一張二維格式的光場圖像輸入的已經(jīng)訓(xùn)練好的模型中，最終可以得到400nm到700nm，步長時(shí)10nm的.mat文件數(shù)據(jù)，其中包含31個(gè)段波的圖像，且每個(gè)段波圖像都具備光場和光譜信息[7]。

根據(jù)上文研究的成像系統(tǒng)，提出以深度學(xué)習(xí)為核心的多光譜光場成像方法，具體內(nèi)容涉及以下幾點(diǎn)：①采集模塊，主要用來獲取清晰明確的光場圖像；②合成模塊，主要用來提取光場圖像的子視角圖，并依據(jù)像素拼接算法構(gòu)成一張圖像；③數(shù)據(jù)集合模塊，主要用來獲取訓(xùn)練集合，并明確二維光場圖像和對(duì)應(yīng)的波段光譜圖像；④構(gòu)建模塊，主要用來利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建多光譜重建網(wǎng)絡(luò)，在明確光場圖像和光譜圖像差異的基礎(chǔ)上，將計(jì)算機(jī)光譜靈敏度函數(shù)都集中到損失計(jì)算中；⑤訓(xùn)練模塊，主要在輸入光場圖像后，輸出所對(duì)應(yīng)的光譜圖像，主要用來重構(gòu)網(wǎng)絡(luò)；⑥重建模塊，會(huì)將光場圖像輸入到已經(jīng)訓(xùn)練好的模型當(dāng)中，得到具備光場和光譜信息的波段光譜圖像。

4 結(jié)語

綜上所述，在現(xiàn)代科技技術(shù)革新發(fā)展中，各國科研學(xué)者在重視雙光譜目標(biāo)自動(dòng)識(shí)別技術(shù)研究工作的同時(shí)，開始基于深度學(xué)習(xí)算法進(jìn)行實(shí)證研究，最終結(jié)果顯示其不僅能轉(zhuǎn)變傳統(tǒng)圖像探測和識(shí)別模式，還可以在實(shí)踐探究中發(fā)掘更多技術(shù)經(jīng)驗(yàn)。因此，在進(jìn)入知識(shí)經(jīng)濟(jì)時(shí)代后，既要加強(qiáng)專業(yè)技術(shù)人才的培養(yǎng)力度，積極學(xué)習(xí)借鑒國內(nèi)外先進(jìn)的研究成果，合理運(yùn)用現(xiàn)代技術(shù)軟件進(jìn)行實(shí)證分析，又要轉(zhuǎn)變傳統(tǒng)技術(shù)研究方向，系統(tǒng)整理現(xiàn)有技術(shù)研究成果，基于技術(shù)革新發(fā)展方向，提出更多有價(jià)值的研究課題。同時(shí)，還要結(jié)合各領(lǐng)域應(yīng)用要求，分析現(xiàn)有雙光譜目標(biāo)自動(dòng)識(shí)別技術(shù)的功能和特征，不斷優(yōu)化實(shí)踐系統(tǒng)運(yùn)行面臨的問題，加強(qiáng)整體監(jiān)測管理力度，這樣不僅能為技術(shù)研究提供有效依據(jù)，還可以進(jìn)一步提升現(xiàn)代自動(dòng)目標(biāo)識(shí)別技術(shù)水平。