基于LSTM與注意力結(jié)構(gòu)的肺結(jié)節(jié)多特征抽取方法

深度學(xué)習(xí)方法在計(jì)算機(jī)視覺領(lǐng)域顯示出了巨大的潛力.相比于傳統(tǒng)的圖像處理或機(jī)器學(xué)習(xí)算法，深度模型在圖像分類、語義分割和實(shí)例分割上都具有更加優(yōu)秀的表現(xiàn).傳統(tǒng)的深度模型只針對單一任務(wù)進(jìn)行構(gòu)建，易于訓(xùn)練擬合.然而，實(shí)際場景中的大部分問題都由多個(gè)任務(wù)組成，如實(shí)例分割問題融合了語義分割以及圖像分類任務(wù)，而目標(biāo)檢測問題融合了圖像分類與位置坐標(biāo)回歸任務(wù).若使用獨(dú)立模型進(jìn)行訓(xùn)練，多個(gè)模型之間訓(xùn)練過程復(fù)雜，各個(gè)任務(wù)之間的相關(guān)性也并未納入考量使得模型的性能與效率較差，而多任務(wù)形式的模型構(gòu)建能夠很好地解決這些問題.多任務(wù)模型是一種單輸入多輸出的網(wǎng)絡(luò)結(jié)構(gòu)，旨在對多個(gè)任務(wù)進(jìn)行聯(lián)合參數(shù)學(xué)習(xí)，進(jìn)而充分挖掘任務(wù)之間的相關(guān)性信息.同樣的，模型也需要對各個(gè)任務(wù)的差異性特征具有較好的適應(yīng)能力.

針對結(jié)節(jié)的計(jì)算機(jī)斷層掃描 (CT) 影像特征抽取，需要采用多任務(wù)結(jié)構(gòu)進(jìn)行模型構(gòu)建.作為肺癌的早期表現(xiàn)形式，肺結(jié)節(jié)的良惡性判定是應(yīng)對肺癌威脅的關(guān)鍵.在CT影像特征上，結(jié)節(jié)病灶的形狀、邊緣和內(nèi)部特征對結(jié)節(jié)良惡性具有很高的相關(guān)性，一些細(xì)微的差別便會(huì)導(dǎo)致結(jié)節(jié)病理上截然不同的診斷，這對影像科醫(yī)生來說是一個(gè)巨大的挑戰(zhàn).本文根據(jù)北美放射協(xié)會(huì) (RSNA)所提出的結(jié)構(gòu)化報(bào)告標(biāo)準(zhǔn)將結(jié)節(jié)形態(tài)特征分為3大類別，分別為形狀特征、邊緣特征和內(nèi)部特征，準(zhǔn)確地對這些結(jié)節(jié)特征進(jìn)行分類需要構(gòu)建高泛化性與魯棒性的多任務(wù)模型結(jié)構(gòu).為了解決這些問題，本文在多任務(wù)模型中引入了基于注意力機(jī)制的特征抽取結(jié)構(gòu)與基于長短期記憶(LSTM)網(wǎng)絡(luò)的時(shí)序分類器結(jié)構(gòu).

作為我國歷史上在南方地區(qū)定都的唯一一個(gè)漢族王朝政權(quán)，宋代時(shí)期，因內(nèi)憂外患局勢，矛盾問題突出，采取多方面措施保證社會(huì)環(huán)境安定，如與外族政權(quán)簽訂和議，這些均要求國內(nèi)有較大的財(cái)富。同時(shí)，在靖康之變影響下，宋朝王室南渡，于江南定都，原因在于當(dāng)時(shí)江南環(huán)境較為安逸。也正因這種政治中心南移變化，引起經(jīng)濟(jì)上的變動(dòng)，王朝將所有精力致力于江南一帶的經(jīng)濟(jì)發(fā)展中。另外，由當(dāng)時(shí)宋朝政治環(huán)境看，并不主張著力北伐，許多史料中均有記載，宋朝對其統(tǒng)治區(qū)域內(nèi)的經(jīng)濟(jì)發(fā)展高度重視，自宋高宗趙構(gòu)開始便有這種表現(xiàn)。由此可見，政治中心的遷移以及政治環(huán)境變化，是導(dǎo)致經(jīng)濟(jì)中心南移的重要原因。

傳統(tǒng)的多任務(wù)結(jié)構(gòu)將卷積神經(jīng)網(wǎng)絡(luò) (CNN) 作為其圖像特征編碼器，通過軟/硬參數(shù)共享的形式進(jìn)行分類器的訓(xùn)練.本文在傳統(tǒng)多任務(wù)模型中引入了基于注意力機(jī)制的中間結(jié)構(gòu).該結(jié)構(gòu)能夠融合各時(shí)刻的特征信息，并通過非線性激活函數(shù)提取當(dāng)前時(shí)刻的圖像注意力特征.在分類器的設(shè)計(jì)上，本文使用基于長短時(shí)記憶網(wǎng)絡(luò)的時(shí)序結(jié)構(gòu)進(jìn)行構(gòu)建，LSTM結(jié)構(gòu)能夠有效地傳遞各時(shí)刻的特征參數(shù)，并解決長、短時(shí)間依賴問題.為了進(jìn)一步提升模型的分類效果，使用雙通道輸入結(jié)構(gòu)，即結(jié)節(jié)CT影像輸入與結(jié)節(jié)掩模影像輸入，輪廓信息的引入顯著提升了模型對相關(guān)特征的分類效果.由CNN編碼器、注意力機(jī)制以及LSTM時(shí)序分類器所組成的多任務(wù)模型能夠有效地解決結(jié)節(jié)多特征分類問題.

綜上所述，本文的貢獻(xiàn)主要為以下幾點(diǎn)：

(1) 提出一種新的多任務(wù)特征抽取結(jié)構(gòu)，不同于傳統(tǒng)的參數(shù)共享或多模型結(jié)構(gòu)，該結(jié)構(gòu)通過基于注意力機(jī)制的中間結(jié)構(gòu)進(jìn)行特征融合，融合產(chǎn)生的注意力向量能夠有效地提高當(dāng)前任務(wù)特征的提取效果.

(2) 將基于LSTM結(jié)構(gòu)的時(shí)序模型引入多任務(wù)分類中，時(shí)序分類器在各個(gè)時(shí)刻都能夠較好地進(jìn)行特征篩選，并提升任務(wù)間共享特征的傳遞效率.

《國家中長期教育改革與發(fā)展規(guī)劃綱要（2010—2020年）》指出要大力推進(jìn)高等學(xué)校創(chuàng)業(yè)教育工作。國務(wù)院辦公廳2015年出臺(tái)的《關(guān)于深化高等學(xué)校創(chuàng)新創(chuàng)業(yè)教育改革的實(shí)施意見》中也明確要求：“把深化高校創(chuàng)新創(chuàng)業(yè)教育改革作為推進(jìn)高等教育綜合改革的突破口，樹立先進(jìn)的創(chuàng)新創(chuàng)業(yè)教育理念?！泵鎸医逃l(fā)展戰(zhàn)略部署和經(jīng)濟(jì)社會(huì)發(fā)展的新需求，創(chuàng)新創(chuàng)業(yè)教育已經(jīng)成為高等教育發(fā)展的新趨勢和新潮流，如何培養(yǎng)創(chuàng)新型人才，已成為高等院校的重要任務(wù)[1]。

(3) 將結(jié)節(jié)CT圖像與掩模圖像作為多模型任務(wù)的輸入，雙通道輸入結(jié)構(gòu)能有效提升部分結(jié)節(jié)特征的分類效果.

1 相關(guān)工作

多任務(wù)分類模型試圖取得優(yōu)秀的多特征抽取效果，這對模型結(jié)構(gòu)的設(shè)計(jì)要求較高.在以往的多任務(wù)分類研究中，采用的模型結(jié)構(gòu)大致分為3種：共享底層的模型結(jié)構(gòu)、正則化約束結(jié)構(gòu)和多專家混合結(jié)構(gòu).

1.1 共享底層結(jié)構(gòu)

=tanh()⊙

1.2 正則化約束結(jié)構(gòu)

1.3 多專家混合結(jié)構(gòu)

通常的多專家混合(MoE)結(jié)構(gòu)由門控結(jié)構(gòu)與多個(gè)專家子模型構(gòu)成.文獻(xiàn)[18]將單專家多門控混和(OMoE)模型結(jié)構(gòu)嵌入到深層神經(jīng)網(wǎng)絡(luò) (DNN) 中.該方法能夠用來構(gòu)建巨大的DNN模型，在語言建模與機(jī)器翻譯等多任務(wù)工作中取得了優(yōu)異效果.文獻(xiàn)[19]將單一門控結(jié)構(gòu)進(jìn)一步升級，提出多門控的混合專家(MMoE)模型，該模型在OMoE模型的基礎(chǔ)上增加了門控單元的數(shù)量，增加的門控單元能夠?qū)Ω鱾€(gè)任務(wù)之間的關(guān)系進(jìn)行建模.在計(jì)算機(jī)視覺領(lǐng)域，文獻(xiàn)[20]使用3類不同的模型結(jié)構(gòu)進(jìn)行多任務(wù)特征學(xué)習(xí)，分別為堆疊式的去噪自動(dòng)編碼器 (SDAE)，CNN結(jié)構(gòu)以及手動(dòng)設(shè)置的圖像特征，如Haar角點(diǎn)特征、HoG特征等.融合后的圖像特征通過隨機(jī)森林分類實(shí)現(xiàn)多任務(wù)輸出.該算法表明，不同結(jié)構(gòu)的特征提取模型能夠提高算法魯棒性，但是由于模型較為復(fù)雜，所以存在訓(xùn)練難度較大的問題.不同于自然語言處理問題，視覺領(lǐng)域中的圖像編碼模型往往更為重要，加之模型的任務(wù)數(shù)量相對較少，因此如何構(gòu)建高效、泛化能力強(qiáng)的特征提取方法是多專家混合結(jié)構(gòu)研究的重點(diǎn).

2 方法

本文提出的基于注意力機(jī)制與LSTM結(jié)構(gòu)的多任務(wù)模型能夠?qū)Y(jié)節(jié)的各項(xiàng)特征進(jìn)行有效分類.卷積神經(jīng)網(wǎng)絡(luò)作為高效的圖像特征提取手段被用作圖像編碼器.不同深度、不同結(jié)構(gòu)的CNN模型可以通過其強(qiáng)大的特征理解能力對圖像進(jìn)行初步編碼.在傳統(tǒng)的圖像多任務(wù)分類中，由于任務(wù)數(shù)量一般不超過5個(gè)，所以使用共享圖像編碼器的方式能夠獲取較好的效果.但是，結(jié)構(gòu)化報(bào)告所需的圖像特征信息往往超過5個(gè)，由簡單的多層感知器 (MLP) 構(gòu)成的分類器易造成模型退化問題，模型的編碼輸出需要通過特征變化來獲取分類所需的解碼特征.對于單輸入多輸出的多任務(wù)模型，在每一個(gè)分類任務(wù)中自適應(yīng)地進(jìn)行特征抽取能夠在提高分類性能的同時(shí)降低模型的過擬合風(fēng)險(xiǎn).在分類輸出階段，使用更加有效的輸出方式能夠更好地保護(hù)各階段共享特征.因此，本文在多任務(wù)模型中引入了基于注意力機(jī)制的中間結(jié)構(gòu)與基于LSTM結(jié)構(gòu)的分類器，其算法結(jié)構(gòu)如圖1所示.其中：AVG為平均操作；,分別為不同時(shí)刻下LSTM結(jié)構(gòu)的隱層信息與細(xì)胞信息；ATT為基于注意力機(jī)制的中間結(jié)構(gòu).由于結(jié)節(jié)的邊緣特征與形狀特征易受其周邊結(jié)構(gòu)的影響，本文將分割后的結(jié)節(jié)掩模圖像作為模型輸入之一.掩模為像素值為0或1的二值化圖像，本文中將結(jié)節(jié)區(qū)域標(biāo)記為1而背景區(qū)域標(biāo)記為0.

2.1 基于注意力機(jī)制的模型中間結(jié)構(gòu)

（118）南亞異萼苔Heteroscyphus zollingeri（Gottsche.） Schiffn.余夏君等（2018）

(1)

(2)

(3)

圖3展示了3種不同的多任務(wù)結(jié)構(gòu)，其中：模型為時(shí)刻編碼器與中間注意力結(jié)構(gòu)的模型狀態(tài).圖3(a)為傳統(tǒng)的共享權(quán)值多任務(wù)結(jié)構(gòu)；圖3(b) 為OMoE結(jié)構(gòu)，由此發(fā)展而來的MMoE模型加入了多門控結(jié)構(gòu)，即鍵-值融合結(jié)構(gòu)；圖3(c) 結(jié)構(gòu)為本文所提出的單模型時(shí)序結(jié)構(gòu)，此結(jié)構(gòu)將鍵-值融合結(jié)構(gòu)從控制各模型連接強(qiáng)度轉(zhuǎn)變?yōu)榭刂泼恳粋€(gè)中間結(jié)構(gòu)的特征輸出，僅使用單一結(jié)構(gòu)便能夠達(dá)到類似MMoE模型的效果，降低了模型復(fù)雜程度，也使模型更容易擬合.

2.2 基于LSTM結(jié)構(gòu)的分類器

為了傳遞不同時(shí)刻之間的共享特征，構(gòu)建了LSTM形式的分類器.LSTM結(jié)構(gòu)能夠很好地進(jìn)行各分類特征之間的耦合，最大程度地保留特征之間的相關(guān)性聯(lián)系.其計(jì)算方式如下：

(4)

(5)

先用低ⅰ擋試割，如果工作正常再適當(dāng)提高一個(gè)擋位，收割一段距離后，應(yīng)停車檢查收獲質(zhì)量，觀察各部位調(diào)整是否適當(dāng)，無異?，F(xiàn)象方可進(jìn)入正常作業(yè)。

但出了件怪事。當(dāng)科恩回到哈佛大學(xué)的實(shí)驗(yàn)室，他發(fā)現(xiàn)所有實(shí)驗(yàn)中的記錄都呈現(xiàn)出一種奇怪的趨勢。最初，蛋白修飾的神經(jīng)元都在電沖動(dòng)一閃而過時(shí)發(fā)出閃光。但接著，細(xì)胞就持續(xù)發(fā)光，形成了明亮的斑點(diǎn)?！懊看斡涗浀揭话霑r(shí)，信號就像發(fā)了狂一樣?！笨贫髡f。

(6)

(7)

(8)

(9)

(10)

(11)

共享底層的結(jié)構(gòu)適用于分類任務(wù)較少的情況.由于共享底層結(jié)構(gòu)具有高效、易于訓(xùn)練的特點(diǎn)，成為了大多數(shù)多任務(wù)模型的基本結(jié)構(gòu).文獻(xiàn)[9]使用參數(shù)共享的層次語義卷積神經(jīng)網(wǎng)絡(luò) (HSCNN) 進(jìn)行CT影像特征提取與多任務(wù)特征分類.在進(jìn)行多任務(wù)分類時(shí)，HSCNN使用結(jié)節(jié)的形態(tài)學(xué)特性作為基礎(chǔ)屬性，結(jié)節(jié)的良惡性風(fēng)險(xiǎn)作為高階屬性，從而提高模型對結(jié)節(jié)良惡性風(fēng)險(xiǎn)的預(yù)測效果.層次化結(jié)構(gòu)能夠一定程度上提高模型對重要屬性的分類效果，但是如果模型中的基礎(chǔ)任務(wù)屬性過多會(huì)造成模型擬合困難、預(yù)測效果下降等問題.文獻(xiàn)[10]使用端到端的多任務(wù)模型對COVID-19患者的胸部CT影像進(jìn)行病灶分割、病情風(fēng)險(xiǎn)預(yù)估與肺部影像重建，3個(gè)任務(wù)共享模型的編碼器.該多任務(wù)模型的分割、分類與重建效果相較于單任務(wù)的U-Net結(jié)構(gòu)更加優(yōu)秀，這反映了多任務(wù)模型在進(jìn)行不同模式的相關(guān)任務(wù)學(xué)習(xí)時(shí)能夠相互促進(jìn)、提高性能.但由于底層參數(shù)的共享，在模型優(yōu)化時(shí)，各個(gè)類型任務(wù)輸出有可能會(huì)相互影響，甚至相互沖突.為了解決這一問題，一些研究者在不同類型任務(wù)損失中加入權(quán)值以防止模型的退化.

(12)

由于輸出特征中存在著一些類別間不平衡問題，所以使用了焦點(diǎn)損失函數(shù)作為模型的代價(jià)函數(shù)，各個(gè)任務(wù)之間樣本分布的不均衡十分容易造成模型過擬合的問題.本文在焦點(diǎn)損失函數(shù)的基礎(chǔ)上進(jìn)行了權(quán)值修正，可以表示為

2.3 損失函數(shù)

由于各個(gè)任務(wù)的分類空間不同，各類別之間樣本平衡性不同，所以本文將結(jié)節(jié)形狀特征作為模型初始階段的分類輸出、邊緣特征、內(nèi)部特征和惡性風(fēng)險(xiǎn)依次作為中段、后段和末段分類輸出，按照從底層特征到高維特征的準(zhǔn)則進(jìn)行輸出順序的排列.由于任務(wù)中存在從次要任務(wù)到主要任務(wù)的漸進(jìn)關(guān)系，確保模型的良惡性分類效果最優(yōu)，所以本文將分類器的模型設(shè)置為單向LSTM.不同于自由文本生成模型，在使用LSTM結(jié)構(gòu)進(jìn)行多任務(wù)模型構(gòu)建時(shí)并不會(huì)遇到長時(shí)期依賴問題.

(13)

(14)

(15)

3 實(shí)驗(yàn)與結(jié)果

本文使用3類不同的多任務(wù)模型，在公開數(shù)據(jù)集LIDC-IDRI上進(jìn)行結(jié)節(jié)屬性分類.3種類型分別為共享底層結(jié)構(gòu)的多任務(wù)分類模型、OMoE、本文所提出的基于注意力機(jī)制與LSTM結(jié)構(gòu)的時(shí)序結(jié)構(gòu)模型.實(shí)驗(yàn)基于Python 3.6 與Pytorch實(shí)驗(yàn)框架，訓(xùn)練與測試使用了深度學(xué)習(xí)服務(wù)器，其主要配置為英特爾10核處理器i9-7900X，3張NVIDIA GTX 1080顯卡與64 GB GDDR4內(nèi)存.在設(shè)計(jì)實(shí)驗(yàn)時(shí)，將公開數(shù)據(jù)集 1 561 個(gè)結(jié)節(jié)樣本按照5∶1∶4劃分為訓(xùn)練集、驗(yàn)證集與測試集.本實(shí)驗(yàn)中，設(shè)置LSTM解碼器的隱藏層大小為512，圖像編碼輸出的通道數(shù)為 2 048，對每一個(gè)全連接層設(shè)置了Dropout，置空比例設(shè)置為0.5，以防止模型出現(xiàn)過擬合現(xiàn)象.所有的模型使用Adam算法作為其優(yōu)化器，各分類模型統(tǒng)一設(shè)置了學(xué)習(xí)率和訓(xùn)練策略，初始學(xué)習(xí)率為0.001.為了確保模型不發(fā)生過擬合問題，本實(shí)驗(yàn)使用了早停學(xué)習(xí)策略，當(dāng)驗(yàn)證集損失連續(xù)15輪不出現(xiàn)明顯下降時(shí)，停止模型的訓(xùn)練.將輸入圖像尺寸設(shè)定為48像素×48像素×48像素，為了使模型更容易收斂，各輸入圖像通過其像素均值 avg() 與標(biāo)準(zhǔn)差 std() 進(jìn)行歸一化操作，歸一化計(jì)算方法如下：

(16)

式中：為未經(jīng)過預(yù)處理的原始圖像.

在實(shí)驗(yàn)中，選取ResNet結(jié)構(gòu)作為圖像編碼器，本文提出的基于注意力機(jī)制與LSTM時(shí)序結(jié)構(gòu)的多任務(wù)分類模型被標(biāo)記為“Res50+ATT+LSTM”，ResNet50被用于構(gòu)建共享底層的多任務(wù)模型，ResNet50與ResNet101組成的雙模型結(jié)構(gòu)被用于構(gòu)建OMoE.為了驗(yàn)證基于注意力結(jié)構(gòu)的中間層對多任務(wù)分類性能的影響，本文將ResNet50直接連接一個(gè)LSTM結(jié)構(gòu)分類器作為另一個(gè)基準(zhǔn)模型 (Res50+LSTM)；為了對比單向LSTM結(jié)構(gòu)分類器與雙向LSTM結(jié)構(gòu)分類器的差異，在第2個(gè)實(shí)驗(yàn)中添加了雙向LSTM結(jié)構(gòu)分類器模型(Res50+ATT+Bi-LSTM) 作為對照組.

1.綜合治療措施。沙門氏菌對土霉素、新霉素、氟苯尼考、磺胺嘧啶、新諾明比較敏感，大腸桿菌對土霉素、新霉素、氟苯尼考、卡那霉素、呋喃唑酮、喹諾酮類藥物敏感，魏氏梭菌可使用氟苯尼考治療。

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用公開數(shù)據(jù)集LIDC-IDRI作為實(shí)驗(yàn)數(shù)據(jù).該數(shù)據(jù)集中CT影像采集時(shí)的峰值電壓為 120～140 kV，峰值電流為40～624 mA.該數(shù)據(jù)集由4位經(jīng)驗(yàn)豐富的影像科醫(yī)生進(jìn)行標(biāo)注，每個(gè)結(jié)節(jié)都擁有其主要特征的小組評估意見.其主要特征分別為鈣化、內(nèi)部結(jié)構(gòu)、分葉、邊緣、形狀、毛刺、紋理和惡性概率，如表1所示， 其中：括號中的數(shù)字為量化后的標(biāo)簽.表1反映了各個(gè)特征的描述與分級情況.由于一些特征中的各分級數(shù)量很不平均，如鈣化特征中的爆米花型和半層型；內(nèi)部結(jié)構(gòu)特征中的空氣類型等都較為罕見，所以使用原分級標(biāo)簽進(jìn)行多任務(wù)分類會(huì)造成較大的訓(xùn)練偏差，本文通過閾值化處理來平衡各標(biāo)簽樣本數(shù)量，并將各特征劃歸至其后括號內(nèi)的數(shù)字標(biāo)簽 (0/1/2) 下.同時(shí)，該數(shù)據(jù)集還給出了每個(gè)結(jié)節(jié)的真實(shí)體素輪廓情況，由于每位醫(yī)生所標(biāo)注的結(jié)果之間存在差異，本文使用了50%的一致性標(biāo)準(zhǔn)來生成模型訓(xùn)練所需的掩模數(shù)據(jù).在實(shí)際應(yīng)用中，為了實(shí)現(xiàn)有效的結(jié)節(jié)掩模提取，可以通過兩階段通用分割算法nnU-Net、3D U2-Net等快捷準(zhǔn)確地獲取結(jié)節(jié)掩模圖像.

基于正則化約束的模型希望通過先驗(yàn)的目標(biāo)函數(shù)來約束模型間的參數(shù)，構(gòu)建任務(wù)間的相關(guān)性.文獻(xiàn)[14]提出“臟模型”的概念來約束任務(wù)間的模型參數(shù).他們將每一個(gè)任務(wù)模型參數(shù)分解為兩部分，共享特征參數(shù)與獨(dú)立特征參數(shù).在訓(xùn)練階段對共享特征參數(shù)與獨(dú)立特征參數(shù)分別設(shè)定不同的超參數(shù)權(quán)重進(jìn)行優(yōu)化，但是該方法僅能優(yōu)化淺層特征，并不能很好地挖掘深層的共享特征.文獻(xiàn)[15]通過特征投影將不同任務(wù)間的共享特征進(jìn)行優(yōu)化表示，這種提取共享特征的方法被稱為交替結(jié)構(gòu)優(yōu)化(ASO) 法.而文獻(xiàn)[16] 則通過特征稀疏表示 (差異特征表示) 與共享特征低秩表示來進(jìn)行特征建模，并使用不同的約束方法對這兩種不同類型的特征進(jìn)行篩選與訓(xùn)練.然而，正則化約束結(jié)構(gòu)需要通過人為的約束條件進(jìn)行參數(shù)優(yōu)化，且并未明確提出分類器的構(gòu)建方式.

3.2 評價(jià)指標(biāo)

在所構(gòu)建的多任務(wù)分類任務(wù)中，使用各分類項(xiàng)的準(zhǔn)確率、值以及絕對距離誤差 (ADE) 作為評價(jià)指標(biāo)，其中值是分類召回率與精確率的調(diào)和平均.由于在分類任務(wù)中，模型的召回率與精確率存在此消彼長的矛盾，綜合這兩種指標(biāo)的評價(jià)方法能夠總體上反映出模型的分類性能.而絕對距離誤差是指模型輸出向量與標(biāo)簽向量之間的距離誤差，能夠直觀反映出模型之間的分類效果差異.在這些評價(jià)標(biāo)準(zhǔn)中，分類準(zhǔn)確率與值越大表示模型的分類效果越好，而絕對距離誤差越小，表示分類效果越好.其計(jì)算方式如下：

(17)

(18)

(19)

4.編輯“抓手”下力。各位編輯以對歷史負(fù)責(zé)、對油田負(fù)責(zé)、對職工群眾負(fù)責(zé)的態(tài)度，熱心修志事業(yè)，盡快熟悉情況，發(fā)揮文字功底厚實(shí)優(yōu)勢，善學(xué)習(xí)，肯動(dòng)腦，能吃苦，坐得住，踏踏實(shí)實(shí)做好分篇編纂工作。編輯人員通過干中學(xué)、學(xué)中干，加強(qiáng)學(xué)習(xí)交流，反復(fù)學(xué)習(xí)領(lǐng)會(huì)省史志辦制訂的省志編纂通則、行文規(guī)定等規(guī)范性文件，積極參加省里組織的培訓(xùn)、交流，牢牢把握編纂原則，實(shí)事求是地記述以勝利油田為主的山東石油工業(yè)發(fā)展歷程與現(xiàn)狀，立足當(dāng)代、詳近略遠(yuǎn)。經(jīng)常帶著問題研討，切磋交流體會(huì)，“碰撞產(chǎn)生火花”，提高修志業(yè)務(wù)能力。修志人員素質(zhì)的提高，為編纂高質(zhì)量志書打下基礎(chǔ)。

3）初餾塔煮塔1次，常壓塔煮塔2次，減壓塔煮塔2次，在煮塔結(jié)束后要確認(rèn)塔底及側(cè)線集油箱含油污水排放干凈，再進(jìn)行下一次煮塔?？偨Y(jié)煮塔過程，其實(shí)沒有特別的技巧，就是要嚴(yán)格落實(shí)各項(xiàng)措施，確認(rèn)執(zhí)行到位。從本次塔器打開情況來看，煮塔效果較好，更重要的一點(diǎn)是煮塔產(chǎn)生的含油污水量控制較小。

3.3 實(shí)驗(yàn)結(jié)果

本文僅使用結(jié)節(jié)CT圖像作為模型輸入進(jìn)行實(shí)驗(yàn)比較，如表2所示，表中各加粗項(xiàng)為各分類特征下的最優(yōu)結(jié)果.從表2中可以看出，ResNet50結(jié)構(gòu)與OMoE結(jié)構(gòu)模型在性能上總體相近.盡管OMoE結(jié)構(gòu)模型在ResNet50的基礎(chǔ)上增加了另一個(gè)ResNet101組成了雙模型結(jié)構(gòu)，但是在某些特征上，如鈣化、惡性概率等，OMoE結(jié)構(gòu)性能相比ResNet50結(jié)構(gòu)出現(xiàn)了下降.在使用LSTM結(jié)構(gòu)作為模型分類器之后，特征的總體分類性能出現(xiàn)了提升，在分類的準(zhǔn)確率和值上相較前兩種模型分別提升了1.89%與1.23%，而ADE相差不大.在使用注意力結(jié)構(gòu)作為模型中間層后，分類效果有了進(jìn)一步提升，相較于不帶注意力中間模塊的網(wǎng)絡(luò)，在分類準(zhǔn)確率、值與ADE上性能分別提升了0.76%、0.62%與0.04.值得注意的是，在“實(shí)性程度”“惡性概率”上，Res50+ATT+LSTM模型相較于前幾種結(jié)構(gòu)提升較大.相較于模型簡單的共享底層機(jī)構(gòu)，使用分步特征提取的注意力結(jié)構(gòu)能夠更好地分階段提取圖像特征、提高分類效果.

此外，江西還是客家人聚居的中心之一，是客家文化的大本營，客家文學(xué)和民俗文化也是江西獨(dú)特的文學(xué)和文化資源。江西還是中國工農(nóng)紅軍、中華蘇維埃政權(quán)的大本營，是中央蘇區(qū)所在地。因此，江西又是蘇區(qū)文學(xué)生存發(fā)展的“紅土地”，孕育了無數(shù)光輝燦爛、極具時(shí)代特色的蘇區(qū)文學(xué)作品。

圖4反映了各模型在形狀 (球形/橢球形/索條形) 特征、邊緣 (邊界模糊/清晰) 、紋理 (實(shí)性/半實(shí)性/磨玻璃) 與惡性概率這4個(gè)指標(biāo)上的結(jié)果箱線圖.從圖4中可以看出，在使用共享底層或OMoE模型對圖像進(jìn)行多任務(wù)分類時(shí)，ADE結(jié)果會(huì)出現(xiàn)較大的波動(dòng).而本文所提出的Res50+ATT+LSTM方法結(jié)果波動(dòng)性較小，中位數(shù)也是各模型中最小的.

表3展示了各模型加入結(jié)節(jié)掩模圖像作為輸入的結(jié)果.由表3可知，由于圖像的掩模反映結(jié)節(jié)的毛刺、分葉和形狀等特征，在這些分類項(xiàng)上，雙分支輸入結(jié)構(gòu)性能有所提升.使用結(jié)節(jié)CT影像與掩模的Res50+ATT+LSTM取得了最好的分類效果，相較于前3種模型在分類準(zhǔn)確率、值以及ADE上分別提升了1.65%、1.68% 以及0.08.圖5對比了各模型在加入結(jié)節(jié)掩模圖像后的多任務(wù)分類結(jié)果，其中：為僅使用結(jié)節(jié)影像進(jìn)行多任務(wù)分類；+為使用結(jié)節(jié)影像與掩模圖像進(jìn)行多任務(wù)分類.從圖5可以看出，加入結(jié)節(jié)輪廓信息后，各模型在形狀、邊緣等分類任務(wù)的ADE中位數(shù)以及波動(dòng)范圍均有一定程度降低，這說明了在加入結(jié)節(jié)掩模后，模型在相關(guān)特征上泛化能力更強(qiáng)，不易出現(xiàn)較大偏差.相較于單向結(jié)構(gòu)，雙向LSTM分類器將模型的整體參數(shù)量提高了1倍，但是各分類任務(wù)的結(jié)果相差并不明顯.

表4展示了所提方法與其他已有方法的結(jié)果比較，其中文獻(xiàn)[9]所提出的深度層次模型是共享底層結(jié)構(gòu)的多任務(wù)分類模型，從結(jié)節(jié)的低級屬性 (形狀、邊緣等) 到高級屬性，層次化構(gòu)建整個(gè)模型.文獻(xiàn)[20]使用了3不同的模型結(jié)構(gòu)進(jìn)行多任務(wù)特征學(xué)習(xí).多任務(wù)模型預(yù)測結(jié)果如圖6所示.由圖6可知，所提方法在實(shí)現(xiàn)更多特征分類的同時(shí)，在邊界、鈣化、良惡性分類上均取得了更好的結(jié)果.

援助來自于斯圖加特的Sicos BW有限公司，卡爾斯魯厄理工學(xué)院和斯圖加特大學(xué)于2011年夏天共同創(chuàng)立了這家公司，旨在為企業(yè)，尤其是中小型企業(yè)提供模擬仿真、高性能計(jì)算、大數(shù)據(jù)和智能數(shù)據(jù)方面的咨詢。由于得到了合作雙方以及巴登符騰堡州科學(xué)、研究和藝術(shù)部（MWK）的大力支持，該公司持中立立場并免費(fèi)提供服務(wù)。來自德國各地、對高性能計(jì)算感興趣的模擬用戶可從Sicos BW公司獲得有關(guān)應(yīng)用和工具的所有必要信息，模擬仿真專家?guī)椭麄兘⒁粋€(gè)可行的工作方案，其中包括訪問高性能計(jì)算機(jī)。目標(biāo)是：企業(yè)最終能夠獨(dú)立或通過Sicos BW公司合作網(wǎng)絡(luò)中的相應(yīng)合作伙伴將高性能計(jì)算機(jī)上的模擬仿真集成到產(chǎn)品開發(fā)過程中去。

3.4 結(jié)果討論

由上述實(shí)驗(yàn)結(jié)果可以看出，基于注意力機(jī)制與LSTM時(shí)序結(jié)構(gòu)的多任務(wù)分類模型在性能上優(yōu)于共享底層模型與多專家混合模型.多專家混合模型中的門控單元被替換為基于注意力機(jī)制的中間結(jié)構(gòu)，將“加權(quán)求和”操作轉(zhuǎn)變?yōu)閷φ麄€(gè)特征圖進(jìn)行增強(qiáng)或抑制，特征被更為充分地利用.通過表3與圖5可知，由于雙向LSTM結(jié)構(gòu)需要重復(fù)計(jì)算編碼器與注意力中間結(jié)構(gòu)，易造成一些分類任務(wù)的過擬合現(xiàn)象，而單向LSTM結(jié)構(gòu)并不存在這個(gè)問題，模型也更加容易訓(xùn)練.另外，時(shí)序模型能夠提高各時(shí)刻間參數(shù)的傳遞效率，使得模型自適應(yīng)地選擇是否保留先前時(shí)刻的特征參數(shù)，以提升各分類任務(wù)之間的聯(lián)結(jié)效果.該結(jié)構(gòu)使得互相關(guān)聯(lián)的分類任務(wù)之間相互促進(jìn)，互不相關(guān)的任務(wù)之間相互獨(dú)立.由于LSTM結(jié)構(gòu)對信號依賴的自主選擇，本文所提出的結(jié)構(gòu)能夠勝任更多數(shù)量的分類任務(wù)，且模型易于訓(xùn)練，具有較強(qiáng)的泛化性能.圖6(c)展示了多任務(wù)分類模型對不同類型結(jié)節(jié)的預(yù)測結(jié)果，結(jié)果以概率的形式給出，能夠輔助影像科醫(yī)生更好地完成診斷工作.

雖然，基于注意力機(jī)制與LSTM時(shí)序結(jié)構(gòu)的多任務(wù)分類模型取得了較好的分類效果，但是對于模型的細(xì)節(jié)需要進(jìn)一步優(yōu)化.如在分類任務(wù)先后順序的選擇上，由于LSTM結(jié)構(gòu)不同于多層感知器結(jié)構(gòu)，在不同特征順序下，各時(shí)刻模型間的參數(shù)傳遞效果不同，導(dǎo)致某些任務(wù)結(jié)果出現(xiàn)差異.在本實(shí)驗(yàn)中，通過不斷變換各任務(wù)的順序進(jìn)行多次訓(xùn)練測試，各個(gè)任務(wù)的結(jié)果隨著位置的不同而出現(xiàn)差異，但總體上的平均性能相差不大.另外，對于模型損失函數(shù)的選擇上，本文使用了改進(jìn)后的焦點(diǎn)損失函數(shù)，在一些特定的場景中，各任務(wù)的數(shù)據(jù)量有可能極不平衡，重要性也都各不相同，因此需要對任務(wù)屬性的重要性以及不確定性，即各任務(wù)之間相關(guān)置信度進(jìn)行建模.在今后的工作中，將繼續(xù)在這些方向上對本文工作進(jìn)行優(yōu)化.

4 結(jié)語

本文提出一種基于LSTM時(shí)序結(jié)構(gòu)的多任務(wù)模型，并在模型中加入基于注意力機(jī)制的特征抽取結(jié)構(gòu).注意力結(jié)構(gòu)能夠充分融合不同時(shí)刻間圖像特征，提高模型的特征提取能力.基于LSTM結(jié)構(gòu)的時(shí)序輸出模型能夠很好地傳遞任務(wù)間共享參數(shù)，并保留當(dāng)前任務(wù)獨(dú)立參數(shù)，使分類模型更加穩(wěn)定.該模型在肺結(jié)節(jié)的多任務(wù)特征抽取上取得較好的效果，能夠輔助醫(yī)生更好地完成影像報(bào)告撰寫工作.所提出的模型能夠推廣到其他多標(biāo)簽問題中，通過不斷優(yōu)化其結(jié)構(gòu)與損失函數(shù)，解決更多場景下的圖像理解任務(wù).