深度學(xué)習(xí)在超聲檢測缺陷識別中的應(yīng)用與發(fā)展?

李 萍 宋 波 毛 捷 廉國選

(1中國科學(xué)院聲學(xué)研究所 聲場聲信息國家重點(diǎn)實(shí)驗(yàn)室 北京 100190)

(2中國科學(xué)院大學(xué) 北京 100049)

0 引言

超聲檢測是一種應(yīng)用范圍較廣的無損檢測方法[1]，對缺陷進(jìn)行定性和定量分析是超聲檢測的關(guān)鍵內(nèi)容。僅通過超聲檢測信號對缺陷進(jìn)行人工識別，魯棒性差，長時間的檢測強(qiáng)度可能會引起缺陷的漏判錯判，準(zhǔn)確率受到限制。超聲檢測原始結(jié)果多用A掃信號表示[2]，隨著陣列檢測技術(shù)的發(fā)展，超聲檢測結(jié)果也越來越多地通過圖像表示，如掃描超聲成像、相控陣成像、超聲CT、合成孔徑聚焦技術(shù)(Synthetic aperture focusing technique SAFT)成像等。相應(yīng)的，基于長期以來對超聲缺陷自動判別的發(fā)展需要，借鑒于模式識別中深度學(xué)習(xí)(Deep learning)的應(yīng)用，即通過搭建多層的網(wǎng)絡(luò)結(jié)構(gòu)來建立輸入與輸出的關(guān)系，得到識別的結(jié)果，發(fā)展了很多方法用于超聲檢測缺陷識別。由最初的超聲檢測A掃波形做信號處理提取特征，通過淺層神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，到現(xiàn)在嘗試直接使用深度學(xué)習(xí)模型處理超聲檢測圖像得到識別結(jié)果。

深度學(xué)習(xí)用于缺陷識別的主要步驟為將原始數(shù)據(jù)處理為適用的范圍，再提取特征來表征信號，最后將不同特征信號進(jìn)行分類[3]。深度學(xué)習(xí)從早期的淺層神經(jīng)網(wǎng)絡(luò)發(fā)展到了深層神經(jīng)網(wǎng)絡(luò)也就是深度學(xué)習(xí)，而相比于手動提取低層次的特征，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)能自動提取信號的深層次特征[4]。

本文綜述了深度學(xué)習(xí)在超聲檢測缺陷識別中的應(yīng)用，包括從早期淺層神經(jīng)網(wǎng)絡(luò)的應(yīng)用到如今深度學(xué)習(xí)的使用，探討了基于CNN框架的深度學(xué)習(xí)方法在超聲檢測圖像識別存在的問題，并歸納了其可行的應(yīng)對策略。

1 深度學(xué)習(xí)的發(fā)展

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個分支，意在建立能模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，通過構(gòu)建多隱藏層模型對海量數(shù)據(jù)進(jìn)行訓(xùn)練。在深度學(xué)習(xí)之前，發(fā)展了淺層神經(jīng)網(wǎng)絡(luò)，隨著計(jì)算機(jī)輔助能力的提升，多層網(wǎng)絡(luò)的理論研究加強(qiáng)，逐漸發(fā)展成為深層神經(jīng)網(wǎng)絡(luò)，也就是深度學(xué)習(xí)。

1.1 淺層神經(jīng)網(wǎng)絡(luò)

早期神經(jīng)網(wǎng)絡(luò)模型在1943年提出[5]，提供輸入后，使用線性加權(quán)和來模擬變換，然后經(jīng)過一個閾值函數(shù)得到0或1的結(jié)果，具有若干個輸入和一個輸出的模型。最早期是手動設(shè)置權(quán)重，1958年提出單層感知機(jī)模型，是首個根據(jù)樣本數(shù)據(jù)來學(xué)習(xí)權(quán)重的模型，但其只能解決線性可分問題。1986年提出反向傳播(Back propagation,BP)算法及多層感知機(jī)(Multilayer perceptron,MLP)。BP算法降低了訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需要的時間，多層感知機(jī)在輸入和輸出層之間加入隱藏層，且在單個神經(jīng)元中的線性加權(quán)和后引入了激活函數(shù)，帶來非線性變換，解決非線性問題。只使用一層隱藏層稱為淺層神經(jīng)網(wǎng)絡(luò)，淺層神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代末迎來了發(fā)展高峰期。

90年代末，其他淺層機(jī)器學(xué)習(xí)算法相繼提出，有突破性的進(jìn)展，如支持向量機(jī)(Support vector machine,SVM)、線性回歸、決策樹等，這些方法在理論分析和應(yīng)用都獲得了成功[6]。深層神經(jīng)網(wǎng)絡(luò)[7]也就是深度學(xué)習(xí)主要指具有多層變換對復(fù)雜性數(shù)據(jù)建模算法的神經(jīng)網(wǎng)絡(luò)，多層網(wǎng)絡(luò)對輸入信號提取不同的特征，相比于淺層，其表征能力更強(qiáng)，但其多層的變換理論分析較難，訓(xùn)練需要很多經(jīng)驗(yàn)和技巧，在當(dāng)時的計(jì)算性能下很難訓(xùn)練深層的神經(jīng)網(wǎng)絡(luò)，而且當(dāng)時的數(shù)據(jù)量相對較小，不能滿足深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的需求，因此淺層神經(jīng)網(wǎng)絡(luò)在向深層神經(jīng)網(wǎng)絡(luò)發(fā)展時比較緩慢。

1.2 深層神經(jīng)網(wǎng)絡(luò)——深度學(xué)習(xí)

隨著計(jì)算機(jī)性能的提高以及云計(jì)算、GPU的出現(xiàn)，計(jì)算量已經(jīng)不再是問題。隨著互聯(lián)網(wǎng)的發(fā)展，通過網(wǎng)上保存數(shù)據(jù)、共享數(shù)據(jù)，使得獲取海量數(shù)據(jù)不再困難。2006年，機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Hinton等[4]在學(xué)術(shù)刊物《Neural Computation》上的一篇文章，開啟了學(xué)術(shù)界和工業(yè)界的深層神經(jīng)網(wǎng)絡(luò)也就是深度學(xué)習(xí)浪潮，深度學(xué)習(xí)理論研究漸入佳境，且在應(yīng)用領(lǐng)域顯示出巨大潛力。在2012年迎來了歷史性突破后，深度學(xué)習(xí)已經(jīng)擴(kuò)展到機(jī)器學(xué)習(xí)的所有領(lǐng)域。

深層神經(jīng)網(wǎng)絡(luò)通過組合低級特征形成抽象的高級特征，以表征數(shù)據(jù)的分布式特征[7]，最典型的模型有遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent neural networks,RNN)、長短期記憶網(wǎng)絡(luò)(Long short-term memory,LSTM)/門控遞歸單元網(wǎng)絡(luò)(Gated recurrent unit,GRU)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、深度置信網(wǎng)絡(luò)(Deep belief networks,DBN)，這些模型廣泛用于各種領(lǐng)域，表1列出了它們的典型應(yīng)用。

表1 深度學(xué)習(xí)的典型模型Table 1 The typical models of deep learning

其中，CNN模型多用于圖像識別，通過卷積操作、參數(shù)共享、多個卷積核、池化降采樣以及多層卷積提取圖像的局部特征得到全局特征。圖1為最早的卷積網(wǎng)絡(luò)LeNet-5[8]，它有3個卷積層、2個池化降采樣層、1個全連接層和1個輸出層。卷積層是卷積核與上一層圖像逐一進(jìn)行卷積計(jì)算得到，其作用是提取圖像的特征，不同卷積核能得到圖像在不同映射下的特征。池化降采樣層對圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理量同時保留有用的信息，從而減少訓(xùn)練參數(shù)。全連接層出現(xiàn)在最后，對特征做加權(quán)和，將提取的特征映射到輸出的樣本空間，起到分類的作用，連接到輸出層，得到圖像識別的結(jié)果。

隨后出現(xiàn)了基于CNN的不同卷積網(wǎng)絡(luò)架構(gòu)，如AlexNet、VGG、GoogleNet、ResNet、DenseNet等。CNN架構(gòu)在朝著網(wǎng)絡(luò)更深、分類結(jié)果更準(zhǔn)確發(fā)展，也朝著網(wǎng)絡(luò)更簡化更靈活的訓(xùn)練努力，目的是得到更好的特征表示且減少計(jì)算復(fù)雜度。

圖1 LeNet-5,卷積神經(jīng)網(wǎng)絡(luò)Fig.1 LeNet-5,a convolutional neural network

2 淺層神經(jīng)網(wǎng)絡(luò)用于超聲檢測缺陷識別

超聲檢測數(shù)據(jù)自動化分析的創(chuàng)新性工作始于20世紀(jì)70年代末，Rose等[9?10]提出選取超聲信號傅里葉變換特征使用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行分類的可行性，1986年，Burch等[11]驗(yàn)證了時域信號峰值、幅度比等作為特征使用神經(jīng)網(wǎng)絡(luò)可用于對焊接件的缺陷進(jìn)行分類。

1991年，Thomsen等[12]針對復(fù)合材料玻璃鋼制作中存在的幾種缺陷，利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對其缺陷的判別。1993年，Lorenz等[13]將鋼板中得到的回波信號在時域加窗后進(jìn)行傅里葉變換，再在空間域進(jìn)行傅里葉變換作為輸入，利用BP算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)后可以利用這一神經(jīng)網(wǎng)絡(luò)對鋼板未知類型缺陷進(jìn)行識別。

90年代末，陳彥華等[14]分別以缺陷回波去卷積和自適應(yīng)濾波求得缺陷特征響應(yīng)作為特征量，又驗(yàn)證了在給定條件下，用回波幅度值也能實(shí)現(xiàn)缺陷類型和大小的評價(jià)。劉鎮(zhèn)清等[15]提出對粗晶奧氏體不銹鋼的檢測信號做傅里葉變換、Wigner變換、譜分析等處理，提取其特征，輸入到神經(jīng)網(wǎng)絡(luò)，而后改進(jìn)了BP算法，修正學(xué)習(xí)率，識別缺陷有無準(zhǔn)確率接近90%。

20世紀(jì)初，Simone等[16]使用離散Gabor變換、小波變換及小波聚類算法對焊接件的超聲檢測信號進(jìn)行特征提取，并輸入到神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，結(jié)果表明小波聚類算法對焊接件的缺陷分類效果最佳；盧超等[17]用此方法對高溫合金棒材的平底孔、橫孔等人工缺陷進(jìn)行識別，準(zhǔn)確率達(dá)96.4%。2005年，Veiga等[18]對超聲自動檢測系統(tǒng)得到的超聲波衍射時差法(Time of flight diffraction,TOFD)缺陷使用神經(jīng)網(wǎng)絡(luò)信號進(jìn)行缺陷分類，節(jié)省了在線檢測的處理時間，也保證了準(zhǔn)確率。

在當(dāng)時的情況下，超聲檢測主要是基于反射回波的時域信息進(jìn)行缺陷識別，而神經(jīng)網(wǎng)絡(luò)相比于人工判定方法有很大的優(yōu)勢，一是檢測效率高；二是神經(jīng)網(wǎng)絡(luò)具有高度容錯性，信噪比較差的情況下也能使用；三是神經(jīng)網(wǎng)絡(luò)適用于關(guān)系無法用確定的表達(dá)式表示的情況；四是神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，可以離線用于識別未知缺陷。

而當(dāng)時用于超聲檢測缺陷識別的神經(jīng)網(wǎng)絡(luò)也存在以下問題：網(wǎng)絡(luò)訓(xùn)練時間長；靠經(jīng)驗(yàn)選擇來選取神經(jīng)元；選取特征量時，需要用典型缺陷的模型，根據(jù)理論和實(shí)驗(yàn)確定能反映缺陷特征的量。因此提出了很多信號處理方法用于提取缺陷特征。隨著神經(jīng)網(wǎng)絡(luò)進(jìn)入低潮期，發(fā)展了很多其他機(jī)器學(xué)習(xí)方法用于超聲檢測缺陷識別，如最常用的支持向量機(jī)方法。

3 深度學(xué)習(xí)用于超聲檢測缺陷識別

3.1 基于深度學(xué)習(xí)的超聲檢測缺陷識別

深度學(xué)習(xí)在2006年掀起浪潮并在2012年取得突破性進(jìn)展后廣泛應(yīng)用于各個領(lǐng)域，在超聲檢測缺陷識別上，同樣也有大量的應(yīng)用。

2011年，Sambath等[19]選取回波信號小波表示后的12個系數(shù)作為信號的特征，如平均值、方差、能量、幅度等，輸入到含兩個隱藏層的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練識別4類缺陷，準(zhǔn)確率達(dá)到94%。Wang等[20?21]對深度學(xué)習(xí)用于超聲檢測進(jìn)行了研究，基于現(xiàn)場可編程門陣列(Field-programmable gate array,FPGA)硬件平臺搭建了用于超聲目標(biāo)檢測的系統(tǒng)，先后提出基于時域處理、分頻處理方法提取信號特征量，設(shè)計(jì)了含3個隱藏層的神經(jīng)網(wǎng)絡(luò)，分頻處理后訓(xùn)練得到99.1%的準(zhǔn)確率遠(yuǎn)高于時域處理結(jié)果。

施成龍等[22]將采取的A掃信號進(jìn)行小波包分析，提取其缺陷回波信號的能量分布特征，輸入到多隱層深度信念網(wǎng)絡(luò)，缺陷識別率提高到了98.33%。Meng等[3]提出基于CNN的深度學(xué)習(xí)框架對碳纖維聚合物缺陷分類，選用小波包系數(shù)作為CNN的輸入，分類準(zhǔn)確率達(dá)到99.87%。

3.2 深度學(xué)習(xí)在檢測圖像識別的發(fā)展

隨著深度學(xué)習(xí)在圖像的智能識別和理解上取得顯著進(jìn)展，在目標(biāo)檢測方面，開始使用深度學(xué)習(xí)方法。將其引入到超聲檢測缺陷識別中，可以免去復(fù)雜的手工特征提取步驟，在這方面，醫(yī)學(xué)影像識別與射線圖像缺陷識別的相關(guān)工作值得借鑒。

在醫(yī)學(xué)影像識別領(lǐng)域，深度學(xué)習(xí)方法已經(jīng)廣泛并成熟應(yīng)用于醫(yī)學(xué)圖像識別、檢測和分割等。如采用CNN自動提取特征，對乳腺癌、結(jié)腸癌等疾病進(jìn)行分類[23?24]，利用三維CNN框架在CT序列中檢測肺結(jié)節(jié)[25]，采用基于圖像塊的CNN算法從X光血管造影圖像中提取血管達(dá)到血管分割目的[26]等眾多應(yīng)用。而已公開的醫(yī)學(xué)圖像數(shù)據(jù)庫[27]和醫(yī)學(xué)圖像挑戰(zhàn)賽數(shù)據(jù)集[28]使得深度學(xué)習(xí)方法在醫(yī)學(xué)上得到了很好的訓(xùn)練和驗(yàn)證，其結(jié)果越來越可靠。

在射線工業(yè)檢測中，2014年，余永維等[29]提出一種基于深度學(xué)習(xí)的射線圖像缺陷識別方法，提出不同于傳統(tǒng)“人工特征提取+機(jī)器學(xué)習(xí)”的方法，采用深度學(xué)習(xí)網(wǎng)絡(luò)，使可疑區(qū)域的像素灰度信號直接通過網(wǎng)絡(luò)模型，卷積神經(jīng)網(wǎng)絡(luò)提取其可疑缺陷區(qū)域的特征實(shí)現(xiàn)識別，為視覺缺陷檢測領(lǐng)域提供了新的思路和方法。顏偉鑫等[30]提出采用Faster R-CNN網(wǎng)絡(luò)模型對工件射線圖像進(jìn)行缺陷區(qū)域檢測，通過實(shí)驗(yàn)對比驗(yàn)證了該網(wǎng)絡(luò)結(jié)構(gòu)模型性能優(yōu)于傳統(tǒng)的方法。

超聲成像技術(shù)不斷發(fā)展，其成像質(zhì)量也在不斷改進(jìn)，越來越多的用超聲圖像來表征缺陷檢測結(jié)果。結(jié)合以上方法，在超聲檢測領(lǐng)域，2017年，鄭志遠(yuǎn)[31]深入分析了焊縫各類典型缺陷的超聲TOFD-D掃描成像圖的特征，根據(jù)分析得到的特征設(shè)計(jì)了基于Faster R-CNN算法的缺陷自動識別分類網(wǎng)絡(luò)，通過改變實(shí)驗(yàn)參數(shù)獲得更多的樣本對網(wǎng)絡(luò)進(jìn)行自動識別試驗(yàn)，分析了該方法應(yīng)用于超聲TOFD-D成像的可行性、準(zhǔn)確性及效率。Khumaidi等[32]提出圖像處理方法對焊接件缺陷進(jìn)行識別，采集了焊接件4類缺陷的超聲檢測圖像作為輸入，該文獻(xiàn)使用的CNN模型如圖2所示。使用CNN實(shí)現(xiàn)特征提取和分類的功能，卷積層的卷積核函數(shù)使用的是高斯核函數(shù)，能減少提取圖像過程中丟失的原圖像主要信息，也能減少干擾或噪聲的出現(xiàn)，其分類給出了95.83%的準(zhǔn)確率。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[32]Fig.2 CNN Architecture

超聲檢測圖像并沒有統(tǒng)一的特征量來表征，而CNN通過圖像卷積能自動尋找特征。上述例子表明，在數(shù)據(jù)量不大且通過一個簡單的CNN網(wǎng)絡(luò)，便能達(dá)到一定的準(zhǔn)確率，可見深度學(xué)習(xí)中的CNN方法在超聲檢測圖像識別方面具有很大潛力。在提高檢測效率和保證判別準(zhǔn)確率方面，將深度學(xué)習(xí)算法與超聲檢測圖像識別結(jié)合有相當(dāng)大的意義。

4 深度學(xué)習(xí)用于超聲檢測缺陷識別面臨的問題和應(yīng)對策略

基于CNN框架的深度學(xué)習(xí)通過訓(xùn)練提取數(shù)據(jù)的特征，實(shí)現(xiàn)其識別功能，在自然圖像處理中展示了卓越的性能，將其應(yīng)用到超聲檢測圖像識別領(lǐng)域具有很大的潛力，但仍有很大挑戰(zhàn)性。

4.1 面臨的問題

主要表現(xiàn)在以下幾個方面：

(1)傳統(tǒng)圖像識別分類，自然圖像建立了超大規(guī)模的樣本數(shù)據(jù)集，如MNIST、CIFAR、ImageNet，在醫(yī)學(xué)圖像上，也在逐步建立起數(shù)據(jù)庫。而在超聲檢測中，獲取大規(guī)模的樣本數(shù)據(jù)集非常困難，因?yàn)槠浞N類多、差異大，且不同行業(yè)之間是獨(dú)立的，因此，可用的標(biāo)注數(shù)據(jù)規(guī)模相對很小。

(2)大多超聲檢測圖像只有信號的強(qiáng)度值，特別是信噪比較低的情況，缺陷和干擾區(qū)別不明顯，有時候還因?yàn)槿毕莶町惗上癫煌?，因此，超聲缺陷識別分析比較困難。

(3)超聲檢測不同的成像方法反映工件內(nèi)部的不同信息，各有優(yōu)缺點(diǎn)，通常會使用多種不同的成像方法來確定結(jié)果，許多圖像處理的深度學(xué)習(xí)算法不能直接用于超聲檢測缺陷分析。

4.2 應(yīng)對策略

為了提高缺陷特征表示能力和分類準(zhǔn)確率，應(yīng)對以上問題，可以考慮如下應(yīng)對策略。

4.2.1 遷移學(xué)習(xí)

CNN的主要潛力在于能夠在多層抽象中提取具區(qū)分性的特征，CNN是監(jiān)督學(xué)習(xí)模型，從零開始訓(xùn)練CNN是一大挑戰(zhàn)。CNN需要大量標(biāo)記的訓(xùn)練樣本數(shù)據(jù)，而超聲檢測領(lǐng)域并沒有大型的缺陷標(biāo)記樣本庫。針對這一問題，可以采用遷移學(xué)習(xí)方法，遷移學(xué)習(xí)作為使用其他領(lǐng)域的數(shù)據(jù)集以監(jiān)督方式預(yù)訓(xùn)練CNN網(wǎng)絡(luò)，再使用超聲檢測數(shù)據(jù)來微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò)作為超聲缺陷的分類器。

醫(yī)學(xué)圖像識別研究發(fā)現(xiàn)，用ImageNet自然圖像訓(xùn)練得到的CNN模型可用于醫(yī)學(xué)圖像識別[33]，可使用預(yù)先訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行超聲檢測缺陷識別。將預(yù)訓(xùn)練CNN作為監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)初始值，利用超聲檢測有限的標(biāo)注數(shù)據(jù)集對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，調(diào)整網(wǎng)絡(luò)中的幾個或全部層。Tajbakhsh等[34]分析表明深層網(wǎng)絡(luò)進(jìn)行微調(diào)性能有所提高，且訓(xùn)練集規(guī)模減少時，使用微調(diào)網(wǎng)絡(luò)的重要性提高了。

4.2.2 網(wǎng)絡(luò)泛化及結(jié)合圖像空間連續(xù)信息

由于超聲檢測受現(xiàn)場條件影響大，雖然監(jiān)督學(xué)習(xí)在使用標(biāo)準(zhǔn)化成像的有限實(shí)驗(yàn)中表現(xiàn)出很大的潛力，但在稍微不同的條件下獲取的新圖像，性能可能會不一樣。因此適當(dāng)使用深度學(xué)習(xí)通用的數(shù)據(jù)處理方式如規(guī)范化、正則化、Dropout層以提高網(wǎng)絡(luò)的泛化能力，減少過擬合[35]。

超聲檢測圖像模糊，缺陷顯示微弱且形式多樣，在特征提取階段，可先進(jìn)行圖像像素點(diǎn)索引，利用區(qū)域中央和周邊的差值來進(jìn)行圖像分割，得到可疑的區(qū)域[36]，而在超聲檢測成像過程中會帶來噪聲，可采用缺陷區(qū)域動態(tài)跟蹤來識別缺陷和區(qū)分噪聲信號，通過處理該圖像空間連續(xù)信息來檢查和所得可疑區(qū)域是否匹配，以消除噪聲影響和誤檢，而不同圖像之間缺陷是否匹配可以以深度學(xué)習(xí)特征矢量的相似度來判別，即為該特征矢量之間的歐式距離。若可疑缺陷區(qū)域兩兩匹配，可判斷為同一個區(qū)域且存在缺陷。

4.2.3 多圖像信息融合及三維圖像處理

當(dāng)缺陷需要用多個成像方法得到不同的檢測圖像或者三維成像結(jié)果來表征時，可采用多處理流CNN方法、三維CNN方法、多個網(wǎng)絡(luò)模型結(jié)合使用等方法進(jìn)行超聲檢測圖像識別。

多處理流或多通道流CNN方法取缺陷多個成像結(jié)果[37]或三維圖像轉(zhuǎn)換成多個視角的二維圖像[38]作為輸入，整合多個通道缺陷信息，提高缺陷準(zhǔn)確率，最后在全連接層合并這些特征，得到最終分類結(jié)果。三維CNN借助三維卷積提取特征，可以處理超聲檢測三維成像結(jié)果，該方法分類準(zhǔn)確率更高，但計(jì)算效率較低[39]。多個網(wǎng)絡(luò)模型的疊加如RNN和CNN結(jié)合使用[40]，RNN網(wǎng)絡(luò)模型對序列信號提取不同時刻的關(guān)聯(lián)度，CNN網(wǎng)絡(luò)模型主要對單張圖片進(jìn)行特征提取，可以對超聲檢測三維立體成像結(jié)果進(jìn)行識別。

5 討論和結(jié)論

綜上所述，深度學(xué)習(xí)具有自動地從數(shù)據(jù)中學(xué)習(xí)深層次特征的能力，已應(yīng)用于圖像分析的多個研究領(lǐng)域。在大多數(shù)文獻(xiàn)中，使用深度學(xué)習(xí)相關(guān)的方法都表現(xiàn)出高性能，而云計(jì)算和多GPU高性能并行計(jì)算技術(shù)的發(fā)展，深度學(xué)習(xí)可以從大數(shù)據(jù)中學(xué)習(xí)深層特征。從現(xiàn)有文獻(xiàn)梳理中可看出，目前代表領(lǐng)先水平的深度學(xué)習(xí)用于圖像識別的方法大多是基于CNN的框架。

超聲檢測直接使用基于CNN框架的深度學(xué)習(xí)方法對檢測圖像進(jìn)行識別的研究還較少，獲得用于訓(xùn)練的標(biāo)注數(shù)據(jù)是深度學(xué)習(xí)方法應(yīng)用于超聲檢測圖像識別的一大挑戰(zhàn)。在目前已標(biāo)記訓(xùn)練數(shù)據(jù)有限情況下，充分利用超聲檢測中的非標(biāo)注圖像，通過遷移學(xué)習(xí)，并結(jié)合圖像三維信息，使用多個網(wǎng)絡(luò)模型，達(dá)到泛化的目的，使其具有通用性將成為超聲檢測缺陷識別的一個重要發(fā)展方向。

上述挑戰(zhàn)為超聲檢測缺陷識別領(lǐng)域提供了機(jī)會，通過深度學(xué)習(xí)算法的不斷改進(jìn)，借助高性能并行計(jì)算技術(shù)和日益改善的超聲檢測成像質(zhì)量與不斷增長的檢測數(shù)據(jù)標(biāo)記樣本集，基于深度學(xué)習(xí)的超聲檢測圖像識別將大有所為。