摘要 肺炎作為常見的呼吸系統(tǒng)疾病,準確、快速地診斷對患者的健康恢復至關重要。隨著醫(yī)療技術的革新和人工智能的發(fā)展,計算機輔助診斷在醫(yī)學領域的應用日益廣泛。深度學習在肺炎檢測領域取得了顯著的成果,但其龐大的參數(shù)數(shù)量和復雜的網(wǎng)絡結構導致訓練時間長、計算資源消耗大等局限性。為了解決上述問題,提出了一種基于寬度學習系統(tǒng)變體結構的肺炎檢測方法。該方法在原始寬度學習系統(tǒng)的基礎上,引入了級聯(lián)金字塔結構;同時,利用預訓練的EfficientNet網(wǎng)絡作為前置特征提取器;此外,還提出了適用于該模型的增量學習算法,包括增加額外的增強節(jié)點、特征節(jié)點和訓練樣本,以進一步優(yōu)化模型性能;最后,在公開的肺炎胸部X射線數(shù)據(jù)集上進行了對比實驗。實驗結果表明,該方法實現(xiàn)了92.83%的準確率,AUC值高達98.86%,與眾多深度卷積神經(jīng)網(wǎng)絡相比,具有相似的精度,同時大幅縮短了模型的訓練時間。
關鍵詞 肺炎檢測;寬度學習系統(tǒng);級聯(lián)金字塔;增量學習
中圖分類號:TP391 DOI:10.16152/j.cnki.xdxbzr.2024-04-009
A pneumonia detection method based on the variantstructure of broad learning system
LI Keyuan1,2, ZHANG Qinghua1,2,3, JIN Pengren1,2, XIE Qin1,2
Abstract Pneumonia as a common respiratory disease, its accurate and rapid diagnosis is crucial to the health of patients. With the innovation of medical technology and the development of artificial intelligence, computer-aided diagnosis has been increasingly used in the medical field. Deep learning has achieved remarkable results in the field of pneumonia detection, but its large number of parameters and complex network structure lead to limitations such as long training time and high consumption of computational resources. To solve the above problems, a pneumonia detection method based on the variant structure of broad learning system is proposed in this paper. The method introduces the cascade pyramid structure on the basis of original broad learning system. Meanwhile, the pre-trained EfficientNet network is utilised as the front feature extractor. In addition, the incremental learning algorithms applicable to the model are proposed in this paper, including adding additional enhancement nodes, feature nodes and training samples to further optimise the model performance. Finally, comparative experiments are conducted on the publicly available dataset of chest X-rays for pneumonia. The experimental results show that the method in this paper achieves 92.83% accuracy and 98.86% AUC value, which are comparable to many deep convolutional neural networks, while the training time of the model is significantly shortened.
Keywords pneumonia detection; broad learning system; cascade pyramid; incremental learning
隨著醫(yī)療技術的不斷進步和人工智能的飛速發(fā)展,計算機輔助診斷在醫(yī)學領域的應用日益廣泛。肺炎作為一種常見的呼吸系統(tǒng)疾病,其準確、快速地診斷對于患者的及時治療和健康恢復至關重要。傳統(tǒng)的肺炎診斷主要依賴于醫(yī)生的臨床經(jīng)驗和醫(yī)學影像技術,但由于疾病的多樣性和復雜性,人工診斷難免存在主觀性和誤差。因此,開發(fā)一種高效、準確的計算機輔助肺炎診斷方法具有重要的現(xiàn)實意義和應用價值。
近年來,深度學習[1]作為人工智能領域的一大分支,在醫(yī)學圖像分析領域[2]取得了顯著的成果。通過構建深度神經(jīng)網(wǎng)絡模型,深度學習能夠從海量的醫(yī)學影像數(shù)據(jù)中自動提取有效特征,實現(xiàn)疾病的自動診斷。然而,深度學習模型通常具有龐大的參數(shù)數(shù)量和復雜的網(wǎng)絡結構,導致訓練時間長、計算資源消耗大等問題。此外,深度模型的高度復雜性也使得其在資源受限的環(huán)境中的應用受到限制。
為了解決上述問題,本文提出了一種基于寬度學習系統(tǒng)變體結構的肺炎檢測方法。寬度學習系統(tǒng)作為一種新型的機器學習模型,具有訓練速度快、模型簡單、參數(shù)少等優(yōu)點。通過利用寬度學習系統(tǒng)的特性,旨在保證診斷精度的同時,縮短訓練時間,降低計算資源消耗,使肺炎檢測方法在更廣泛的場景中得以應用。
1 相關工作
近年來,深度學習以其強大的自動特征學習能力,在肺炎檢測領域展現(xiàn)出了獨特的優(yōu)勢。它能夠從海量數(shù)據(jù)中提取出比傳統(tǒng)方法更為抽象和有效的特征,為醫(yī)生提供更為準確、可靠的診斷依據(jù)。在處理放射學影像數(shù)據(jù)時,卷積神經(jīng)網(wǎng)絡(CNN)等深度學習模型[3]的應用尤為廣泛。通過大量的訓練數(shù)據(jù)和復雜的網(wǎng)絡結構,深度學習模型已經(jīng)取得了顯著的精度提升。例如,Sharma等人[4]和Stephen等人[5]設計了簡潔高效的CNN架構,用于肺部X射線圖像的分類任務。他們巧妙地利用數(shù)據(jù)增強技術,克服了數(shù)據(jù)不足的挑戰(zhàn),在Kermany等人[6]提供的數(shù)據(jù)集(以下稱為Kermany數(shù)據(jù)集)上分別實現(xiàn)了90.68%和93.73%的準確率。Rajpukar等人[7]采用DenseNet-121模型進行肺炎分類,盡管在特定數(shù)據(jù)集上的F1分數(shù)僅為76.8%,但他們深入分析了患者病史的缺失對模型性能的影響,為后續(xù)研究提供了寶貴的啟示。Janizek等人[8]進一步提出了一種基于對抗優(yōu)化的框架,旨在消除模型對數(shù)據(jù)集源的依賴性,并產(chǎn)生更為魯棒的預測結果。他們在源域和目標域上均取得了令人滿意的AUC評分,證明了該框架的有效性和泛化能力。Zhang等人[9]提出了一種用于肺部X射線圖像中異常檢測的置信度感知模塊,將檢測任務視為一類問題(僅確定異常)。這種創(chuàng)新的方法在數(shù)據(jù)集上獲得了83.61%的AUC評分,為異常檢測提供了新的思路。此外,Tuncer等人[10]采用了一種結合機器學習和模糊樹變換的方法,通過對圖像進行樣本劃分和特征提取,成功地在一個由COVID-19和肺炎樣本組成的小數(shù)據(jù)集上實現(xiàn)了高達97.01%的準確率。
盡管深度學習在肺炎檢測中取得了巨大的成功,但它也存在一些固有的缺點,例如訓練的硬件資源要求高、訓練時間長以及待訓練的參數(shù)量大等問題。隨后,寬度學習系統(tǒng)(broad learning system, BLS)[11]作為一種新興的網(wǎng)絡結構,于2018年被Chen教授及其團隊提出并證明了模型具有通用逼近性[12],旨在能夠高效地解決回歸和分類任務。
由于寬度學習系統(tǒng)顯著的快速高效特點,自從寬度學習系統(tǒng)問世之后,它吸引了大量研究人員的興趣和關注[13]。BLS憑借其獨特的優(yōu)勢,為眾多領域的研究開辟了新的道路。在情感識別領域,Zhang等人[14]和Wang等人[15]創(chuàng)新性地提出了一種重要的模型結構稱為圖卷積寬度網(wǎng)絡(GCB-Net),基于圖卷積網(wǎng)絡和BLS來探索腦電圖用于情感識別的高級圖拓撲信息,并在SJTU和DREAMER數(shù)據(jù)集上展現(xiàn)出了卓越的性能。在安全駕駛領域,Yang等人[16]設計了一種基于BLS的新型復雜網(wǎng)絡,用于檢測駕駛員疲勞駕駛的問題。該網(wǎng)絡通過有效捕捉駕駛員的生理和行為特征,實現(xiàn)了對疲勞駕駛的準確檢測。在生物信息學領域,Parhi等人[17]將MBO算法與BLS相結合提出了MBO-BLS模型,用于從高維基因表達中選擇最具影響力的特征并對微陣列數(shù)據(jù)進行分類。此外,Zhan等人[18]利用隨機森林篩選出關鍵特征,然后結合BLS與Bagging集成策略來預測COVID-19的傳染趨勢,稱為RF-Bagging-BLS模型。在醫(yī)學圖像領域,Han等人[19]提出一種基于多尺度3D卷積特征的寬度學習系統(tǒng)用于阿爾茲海默癥診斷,為了適應醫(yī)學圖像的特點,設計了一種新的特征映射模塊,該模塊包含多組特征下采樣,無需額外的特征選擇即可得到圖像的多尺度特征。在ANDI-1數(shù)據(jù)集上進行了相關實驗,對AD診斷任務和MCI診斷任務的準確率分別達到91.83%和75.52%。
盡管寬度學習系統(tǒng)在醫(yī)學圖像領域和圖像分類任務上已經(jīng)取得了不錯的研究效果,但它尚未被應用于肺炎檢測問題的分類任務中。因此,本研究首次嘗試采用寬度學習系統(tǒng)來處理肺炎檢測問題。
2 方法
本節(jié)將詳細介紹模型的具體構建方法。該模型主要包含兩個模塊,首先,將基于預訓練的EfficientNet網(wǎng)絡作為寬度學習系統(tǒng)變體結構的前置特征提取器;其次,設計了一種新的寬度學習系統(tǒng)的變體結構,級聯(lián)金字塔寬度學習系統(tǒng)(cascade pyramid broad learning system, CPBLS)。因此,將整個模型簡稱為EfficientNet-CPBLS,其模型總體框架如圖1所示。
2.1 總體框架
首先,如果輸入的圖像是灰度圖像,則需要將輸入的圖像處理為RGB格式,并調(diào)整大小為224×224。因此,整個模型的輸入數(shù)據(jù)大小為224×224×3,如圖1所示。然后,對輸入的圖像進行特征提取,使用在ImageNet上預訓練好的EfficientNet-B4作為前置特征提取器,提取到豐富的圖像特征表示。對提取到的特征通過平均池化的操作進行降維處理后得到X,將X輸入到基于級聯(lián)金字塔結構的寬度學習系統(tǒng)變體結構中。隨后,通過線性變換和級聯(lián)金字塔結構生成特征節(jié)點層,將特征節(jié)點層通過非線性變換生成增強節(jié)點層。再將特征節(jié)點層和增強節(jié)點層合并給到輸出層,并通過基于嶺回歸的偽逆近似計算快速得到網(wǎng)絡權重。通過訓練得到的網(wǎng)絡權重,對測試集圖像做出預測,判斷是否患有肺炎。
此外,該模型延續(xù)了寬度學習系統(tǒng)的特點,適用于增量學習。實現(xiàn)了3種該模型的增量學習算法,包括增加額外的增強節(jié)點、增加額外的特征節(jié)點、增加額外的訓練樣本。在后續(xù)章節(jié)將詳細介紹模型的增量學習算法。
2.2 特征提取器
由于BLS的結構簡單,只有一個隱藏層,不能有效地學習圖像的特征。在之前的研究中,Liu等人[20]提出了K-means-BLS模型,在原始BLS基礎上引入K-means特征表示方法。該方法使用K-means算法來提取圖像特征,并將提取到的特征作為BLS的輸入,從而提高BLS在復雜數(shù)據(jù)集CIFAR-10上的分類效果。Yang[21]也提出了一種基于CNN的寬度學習系統(tǒng)CNNBLS,該模型使用卷積操作和池化操作從圖像中提取特征。上述兩個模型證明了為BLS添加圖像特征提取器是有效的,能夠幫助BLS更好地學習圖像特征。
雖然上述兩個模型確實可以提升BLS的分類性能,但改進仍然有限。因此,本文嘗試采用更先進的方法來提取圖像特征,將EfficientNet網(wǎng)絡的B4模型作為前置特征提取器。EfficientNet[22] 結合了深度神經(jīng)網(wǎng)絡和模型縮放的概念,通過增加網(wǎng)絡的深度、寬度和分辨率來提高模型的性能。該模型使用的EfficientNet-B4已在大型數(shù)據(jù)集(ImageNet)上進行了預訓練。EfficientNet-B4位于EfficientNet系列中的中等復雜度區(qū)域,它在性能和計算效率之間提供了一個良好的平衡。
2.3 級聯(lián)金字塔寬度學習系統(tǒng)
本文設計了一種新的寬度學習系統(tǒng)的變體結構,級聯(lián)金字塔寬度學習系統(tǒng)(CPBLS),其網(wǎng)絡結構如圖2所示。
假設有輸入數(shù)據(jù)集X∈RN×M,其中N代表樣本數(shù),M代表對樣本特征提取后的特征數(shù)量。X對應的標簽集為Y∈RN×C,其中C表示樣本的類別數(shù)。CPBLS網(wǎng)絡的構建流程如下。
首先,使用隨機線性映射函數(shù)將輸入數(shù)據(jù)集X進行一次隨機映射,得到每一層特征節(jié)點的第一組數(shù)據(jù)。
其中:n表示特征節(jié)點的層數(shù),即級聯(lián)金字塔的層數(shù)。然后,通過級聯(lián)操作生成第i層特征節(jié)點第一組之外的其他組節(jié)點,當前組節(jié)點由同一層的前一組節(jié)點生成,即
其中:i表示特征節(jié)點的層數(shù);j表示本層特征節(jié)點的組數(shù);連接權重Weij和偏置βeij是隨機生成的。因此,可總結所有特征節(jié)點的規(guī)律為
通過X的隨機映射,共生成n層特征節(jié)點,第i層共包含i組特征節(jié)點,F(xiàn)表示所有的特征映射節(jié)點,即特征節(jié)點層為
在n(n+1)/2次隨機映射中,映射函數(shù)可以保持相同,也可以不同。常見的可選映射函數(shù)有Sigmoid、Tansig、Tanh、ReLU和LeakyReLU等。
其次,通過非線性變換函數(shù)ξ對特征節(jié)點層F進行隨機映射,得到第k組增強節(jié)點Hk,
2.4 增量學習算法
增量學習是BLS的一個重要特征,使其能夠在無需對整個模型進行重新訓練的情況下,對BLS進行快速重建。本文所提出的模型同樣可以延續(xù)這個特點,提出了相應的3種增量學習算法,能夠?qū)fficientNet-CPBLS進行輕量化地更新。3種增量學習算法分別是增加額外的增強節(jié)點、增加額外的特征節(jié)點、增加額外的訓練樣本。
2.4.1 增加額外的增強節(jié)點
在某些情況下,如果學習達不到期望的精度,一種解決方案是增加額外的增強節(jié)點以實現(xiàn)更好的性能。此算法的模型框架如圖3所示。
該算法僅需計算額外增強節(jié)點的偽逆而不是Am+1的偽逆,從而能夠?qū)崿F(xiàn)快速的增量學習。
2.4.2 增加額外的特征節(jié)點
在某些情況下,只增加額外的增強節(jié)點不足以達到期望的效果,可能是由于特征節(jié)點不足導致的。因此,也可以增加額外的特征節(jié)點,來更好地映射輸入數(shù)據(jù),同樣可以應用增量學習算法,無需重新訓練整個模型。此算法的模型框架如圖4所示。
該算法僅需要計算額外特征節(jié)點和增強節(jié)點的偽逆而不是整個Amn+1 的偽逆。這種針對性的計算方式極大地減少了計算量,從而實現(xiàn)了快速的增量學習,使得模型能夠更快速地適應新的特征節(jié)點。
2.4.3 增加額外的訓練樣本
在某些情況下,源源不斷地有新的訓練樣本輸入時,模型仍然具備高效的增量學習能力,以便快速適應新數(shù)據(jù)而無需耗費大量時間重新訓練整個模型,此算法的模型框架如圖5所示。
假設新增加的額外的訓練樣本輸入模型后,首先會通過EfficientNet-B4網(wǎng)絡進行圖像特征的提取,將提取到的新樣本的特征表示為Xa,隨后這些特征被輸入到CPBLS進行進一步的處理。在這個過程中,CPBLS首先會根據(jù)新樣本的特征表示Xa生成相應的額外的特征節(jié)點,
該算法繼承了BLS高效的特性。無論是面對單個新樣本還是大規(guī)模的新數(shù)據(jù)集,都能迅速作出響應,通過計算額外特征節(jié)點和增強節(jié)點的偽逆,避免了對整個大矩陣進行復雜的偽逆計算。這種處理方式大大減少了計算量,顯著提高了算法的效率。因此,該算法特別適用于需要頻繁更新和擴展的場景。
3 實驗與分析
為了驗證本文所提出模型的有效性,本節(jié)設計并進行了一系列相關實驗。實驗的硬件環(huán)境為:3.00 GHz Intel i9-10980XE CPU 和 NVIDIA RTX A5000 GPU;軟件環(huán)境為:Python 3.8.13 和 Pytorch 1.21.1。其中,GPU可用于加速特征提取過程,其余部分的計算均在CPU上進行。
3.1 數(shù)據(jù)集
本文實驗使用的是公開可用的肺炎胸部X射線數(shù)據(jù)集,Kermany數(shù)據(jù)集[6]。該數(shù)據(jù)集共包含5 856張圖像,涵蓋了兩個類別:肺炎和正常。將其劃分為訓練集和測試集,訓練集共5 232張圖像,測試集共624張圖像。
3.2 評價指標
本文所采用的評價指標包括準確率(accuracy, ACC)、精確率(precision, PRE)、召回率(recall, REC)、F1分數(shù)(F1)、ROC曲線下面積(AUC)。 ACC是一個重要的評價指標,但在不平衡數(shù)據(jù)集中可能會產(chǎn)生誤導。Precision、Recall 和 F1 能夠提供更詳細地評估模型在正例和負例預測上的表現(xiàn),有助于全面了解模型的性能。其中,Precision 表示模型預測為正例的樣本中有多少是真正的正例;Recall 表示真正的正例中有多少被模型預測為正例;F1分數(shù)是 Precision 和 Recall 的調(diào)和平均數(shù),綜合考慮了兩者的性能,在需要綜合精度和召回率的情況下特別適用。此外,AUC 表示 ROC 曲線與坐標軸所形成的面積,取值范圍為 [0,1],是二分類模型的重要評價指標。較大的 AUC 值代表模型效果更好。此外,實驗還加入了訓練時間的比較,以比較提出的方法與深度神經(jīng)網(wǎng)絡之間的計算效率。
3.3 參數(shù)設置
所提出的EfficientNet-CPBLS模型共有6個超參數(shù),分別是每組特征節(jié)點的數(shù)量Nf,特征節(jié)點的層數(shù)Nn,增強節(jié)點的數(shù)量Ne以及收縮系數(shù)s、正則化系數(shù)c和批量大小Batch size。其中,將收縮系數(shù)s和正則化系數(shù)c固定為一個常量。對Nf、Nn和Ne使用網(wǎng)格搜索策略,找到搜索范圍內(nèi)的最佳超參數(shù)。Nf的搜索范圍為{50,100,…,550},Nn的搜索范圍為{3,4,…,10},Ne的搜索范圍為{100,200,…,3 000}。Batch size為EfficientNet-B4網(wǎng)絡提取特征時批量輸入圖像的數(shù)量。詳細參數(shù)設置情況如表1所示。
3.4 對比實驗
為了驗證所提模型的有效性,本節(jié)將所提出的EfficientNet-CPBLS模型首先與常見的卷積神經(jīng)網(wǎng)絡方法(AlexNet[23]、GoogLeNet[24]、ResNet-18[25]、ResNet-50[25]、VGG-16[26]、DenseNet-121[27]、MobileNet-v3[28])進行對比實驗,實驗結果如表2所示。所有的卷積神經(jīng)網(wǎng)絡方法都經(jīng)過100個Epoch的訓練,批量大小Batch size為128,初始學習率為1×10-3,采用交叉熵損失和Adam優(yōu)化器。
從實驗結果中可以看出,EfficientNet-CPBLS模型展現(xiàn)出了很好的優(yōu)越性,在ACC、PRE、REC、F1 和 AUC 這些指標上都取得了不錯的效果,并且在訓練時間上相較于卷積神經(jīng)網(wǎng)絡方法大幅提升。EfficientNet-CPBLS在ACC和AUC這兩項指標上都取得了最好的成績,在F1指標上略遜于VGG-16。EfficientNet-CPBLS 模型在訓練時間上表現(xiàn)出色,僅需 182.4 s的訓練時間就取得了優(yōu)異的性能表現(xiàn)。相比之下,其他經(jīng)典的卷積神經(jīng)網(wǎng)絡如 VGG-16、DenseNet-121、MobileNet-v3 等則需要更長的訓練時間來達到類似的性能水平。表明EfficientNet-CPBLS模型能夠在較短的訓練時間內(nèi)快速學習并取得優(yōu)秀的分類效果。因為與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡不同,EfficientNet-CPBLS 模型無需進行迭代訓練,意味著模型在訓練過程中不需要反復調(diào)整參數(shù)和更新權重。該特性使得EfficientNet-CPBLS模型在訓練過程中更加高效,節(jié)省了大量的計算資源和時間成本,并且在硬件資源受限(如沒有GPU可以使用,只有CPU進行計算)的情況下仍然適用。
然后,將EfficientNet-CPBLS模型與BLS相關方法(BLS、CFBLS、CEBLS、CFEBLS、MRC-BLS[29])進行對比實驗。CEBLS、CFBLS和CFEBLS都是基于BLS的級聯(lián)變體結構,旨在進一步優(yōu)化基礎模型的性能。在實驗過程中,針對BLS相關方法的參數(shù)選擇,仍然采用網(wǎng)格搜索策略,將搜索范圍限定在與EfficientNet-CPBLS相似的參數(shù)范圍內(nèi),以確保實驗的公平性和可比性。實驗結果如表3所示。
實驗結果表明,EfficientNet-CPBLS相較于BLS相關方法(BLS、CFBLS、CEBLS、CFEBLS)在各項評估指標上均取得了顯著的提升,表現(xiàn)出了更優(yōu)異的性能,為解決肺炎診斷問題提供了一種更有效的思路。另外,EfficientNet-CPBLS的訓練時間相較于BLS相關方法有所增加,主要原因是引入了更加復雜的特征提取器(EfficientNet-B4網(wǎng)絡)。這個特征提取器的引入使得模型能夠更好地捕捉數(shù)據(jù)的特征和模式,從而提高了模型的性能和泛化能力。盡管訓練時間有所增加,但這種增加是在可以接受的范圍內(nèi),并且?guī)砹孙@著的性能提升,因此被認為是一種有效的權衡。
3.5 消融實驗
為了驗證EfficientNet-CPBLS模型中的級聯(lián)金字塔模塊和基于EfficientNet-B4網(wǎng)絡的特征提取器模板的有效性,本節(jié)設計并實現(xiàn)了消融實驗,實驗結果如表4所示。在Kermany數(shù)據(jù)集上,以原始BLS作為基準,首先引入級聯(lián)金字塔模塊,即得到BLS+CP。然后,在此基礎上,再引入基于EfficientNet-B4網(wǎng)絡的特征提取器模板,得到BLS+CP+EfficientNet-B4,將實驗結果進行比較。
實驗結果表明,在原始BLS的基礎上,引入級聯(lián)金字塔模塊(CP)后,模型性能有所提升,在多項評價指標上均有提升,訓練時間略有增加。然后,引入級聯(lián)金字塔模塊和預訓練的 EfficientNet-B4 特征提取器,模型性能得到了更顯著的提升。雖然訓練時間有所增加,但相對于模型分類性能的大幅提升是值得的,為模型應用于實際場景提供了更好的保障和效果。
3.6 增量實驗
本節(jié)將展示模型的增量學習算法的快速性和有效性, 并在Kermany數(shù)據(jù)集上進行了相關實驗, 評價指標選用ACC、 AUC、 F1。首先,對于EfficientNet-CPBLS 的增量學習算法: 增加額外的增強節(jié)點, 設置特征節(jié)點為500保持不變, 增強節(jié)點的數(shù)量從1 000至5 000不斷增加, 每次增加1 000。實驗結果如表5所示,從實驗結果可以看出,隨著增強節(jié)點數(shù)量從1 000逐步增加至5 000,模型的性能指標均呈現(xiàn)逐步提升的趨勢。具體來說,隨著增強節(jié)點數(shù)量的增加,模型的準確率(ACC)從91.75%到92.02%逐步提升,AUC從95.84%到97.42%不斷增加,而F1分數(shù)也從91.45%增加至92.67%。綜上所述,EfficientNet-CPBLS的增量學習算法通過逐步增加增強節(jié)點數(shù)量,可以有效提高模型的分類性能。
然后, 對于EfficientNet-CPBLS 的增量學習算法: 增加額外的特征節(jié)點, 設置特征節(jié)點從500增加至2 500, 每次增加500, 增加節(jié)點數(shù)量從起始1 000也每次增加500至3 000。 實驗結果如表6所示, 可以看出隨著特征節(jié)點和增強節(jié)點的增加, 隨之增加的訓練時間也越來越多, 但模型的性能指標ACC、 AUC、 F1仍然呈現(xiàn)逐步提升的趨勢。 具體來說, 隨著特征節(jié)點數(shù)量和增強節(jié)點數(shù)量的增加, 模型的準確率(ACC)從91.75%逐步提升至92.16%, AUC指標從95.84%增加至97.11%, 而F1分數(shù)也從91.45%增加至92.17%。 綜上所述, EfficientNet-CPBLS的增量學習算法通過增加特征節(jié)點數(shù)量和增強節(jié)點數(shù)量對模型性能具有顯著的正向影響。
最后,對于EfficientNet-CPBLS 的增量學習算法:增加額外的訓練樣本,設置初始訓練樣本數(shù)量為3 000,每次增加500個樣本,增加至5 000;特征節(jié)點數(shù)量從500遞增至2 500,每次增加500;增強節(jié)點數(shù)量從1 000增加到3 000,每次增加500。實驗結果如表7所示,可以明顯看出,當不斷增加新的訓練樣本,訓練時間隨之增加,模型的性能也逐步提升,而且提升的幅度較之前兩種增量算法更大。具體來說,隨著訓練樣本數(shù)量、特征節(jié)點數(shù)量和增強節(jié)點數(shù)量的增加,模型的準確率(ACC)從89.87%逐步提升至92.14%,AUC指標從92.81%增加至97.03%,而F1分數(shù)也從90.25%增加至92.11%。因此,EfficientNet-CPBLS的增量學習算法通過增加訓練樣本數(shù)量能夠更顯著地提升模型的分類性能。
綜上所述,模型的3種增量學習算法可以在不重新訓練整個模型的情況下,通過增加訓練樣本、特征節(jié)點或增強節(jié)點的數(shù)量,實現(xiàn)提升模型的分類性能。
4 結語
本研究成功構建了基于寬度學習系統(tǒng)變體結構的肺炎檢測模型。通過級聯(lián)金字塔結構的設計,提升了模型特征表示的層次性和豐富性,增強了模型對復雜醫(yī)學圖像的處理能力。同時,將EfficientNet-B4作為前置特征提取器,實現(xiàn)了在保持高精度的同時減少計算資源和時間消耗的目標。此外,本文還介紹了適用于本模型的增量學習算法,包括增加額外的增強節(jié)點、特征節(jié)點以及訓練樣本,進一步提升了模型的靈活性和泛化能力。最后,在Kermany數(shù)據(jù)集上,設計并進行對比實驗、消融實驗以及增量學習實驗,驗證了模型的有效性和優(yōu)越性。
參考文獻
[1]LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521: 436-444.
[2]梁隆愷, 付鶴, 陳峰蔚, 等. 深度學習與醫(yī)學圖像處理[M]. 北京: 人民郵電出版社, 2023.
[3]蔣清婷, 葉海良, 曹飛龍. 基于三路徑網(wǎng)絡的醫(yī)學圖像分割方法[J]. 模式識別與人工智能, 2024, 37(1): 1-12.
JIANG Q T, YE H L, CAO F L. Medical image segmentation method with triplet-path network[J]. Pattern Recognition and Artificial Intelligence, 2024, 37(1): 1-12.
[4]SHARMA H, JAIN J S, BANSAL P, et al. Feature extraction and classification of chest X-ray images using CNN to detect pneumonia[C]∥2020 10th International Conference on Cloud Computing, Data Science & Engineering (Confluence). Noida, India: IEEE, 2020: 227-231.
[5]STEPHEN O, SAIN M, MADUH U J, et al. An efficient deep learning approach to pneumonia classification in healthcare[J]. Journal of Healthcare Engineering, 2019: 4180949.
[6]KERMANY D S, GOLDBAUM M, CAI W J, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning[J]. Cell, 2018, 172(5): 1122-1131.
[7]RAJPURKAR P, IRVIN J, ZHU K, et al. CheXNet: Radiologist-level pneumonia detection on chest X-rays with deep learning[EB/OL]. (2017-12-25)[2024-03-10]. https:∥arxiv.org/abs/1711.05225.
[8]JANIZEK J D, ERION G, DEGRAVE A J, et al. An adversarial approach for the robust classification of pneumonia from chest radiographs[C]∥Proceedings of the ACM Conference on Health, Inference, and Learning. Toronto, Ontario, Canada: ACM, 2020: 69-79.
[9]ZHANG J P, XIE Y T, PANG G S, et al. Viral pneumonia screening on chest X-rays using confidence-aware anomaly detection[J].IEEE Transactions on Medical Imaging, 2021, 40(3): 879-890.
[10]TUNCER T, OZYURT F, DOGAN S, et al. A novel Covid-19 and pneumonia classification method based on F-transform[J]. Chemometrics and Intelligent Laboratory Systems, 2021, 210: 104256.
[11]CHEN C L, LIU Z L. Broad learning system: An effective and efficient incremental learning system without the need for deep architecture[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(1): 10-24.
[12]CHEN C L, LIU Z L, FENG S. Universal approximation capability of broad learning system and its structural variations[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(4): 1191-1204.
[13]GONG X R, ZHANG T, CHEN C L, et al. Research review for broad learning system: Algorithms, theory, and applications[J]. IEEE Transactions on Cybernetics, 2022, 52(9): 8922-8950.
[14]ZHANG T, WANG X H, XU X M, et al. GCB-Net: Graph convolutional broad network and its application in emotion recognition[J]. IEEE Transactions on Affective Computing, 2022, 13(1): 379-388.
[15]WANG X H, ZHANG T, XU X M, et al. EEG emotion recognition using dynamical graph convolutional neural networks and broad learning system [C]∥2018 IEEE International Conference on Bioinformatics and Biomedicine (BIBM). Madrid, Spain: IEEE, 2018: 1240-1244.
[16]YANG Y X, GAO Z K, LI Y L, et al. A complex network-based broad learning system for detecting driver fatigue from EEG signals[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2021, 51(9): 5800-5808.
[17]PARHI P, BISOI R, DASH P K. Influential gene selection from high-dimensional genomic data using a bio-inspired algorithm wrapped broad learning system[J]. IEEE Access, 2022, 10: 49219-49232.
[18]ZHAN C J, ZHENG Y F, ZHANG H J, et al. Random-forest-bagging broad learning system with applications for COVID-19 pandemic[J]. IEEE Internet of Things Journal, 2021, 8(21): 15906-15918.
[19]HAN R Z, LIU Z L, CHEN C L. Multi-scale 3D convolution feature-based broad learning system for alzheimer’s disease diagnosis via MRI images[J]. Applied Soft Computing, 2022, 120: 108660.
[20]LIU Z L, ZHOU J, CHEN C L. Broad learning system: Feature extraction based on K-means clustering algorithm [C]∥2017 4th International Conference on Information, Cybernetics and Computational Social Systems. Dalian, China: IEEE, 2017: 683-687.
[21]YANG F. A CNN-based broad learning system [C]∥2018 IEEE 4th International Conference on Computer and Communications. Chengdu, China: IEEE, 2018: 2105-2109.
[22]TAN M X, LE Q V. EfficientNet: Rethinking model scaling for convolutional neural networks[EB/OL].(2019-05-28)[2024-03-10].http:∥arxiv.org/abs/1905.11946.
[23]KRIZHEVSKY A, SUTSKEVER I, HINTON G. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM, 2017, 60(6):84-90.
[24]SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015: 1-9.
[25]HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition [C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016: 770-778.
[26]SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[EB/OL].(2015-04-10)[2024-03-10].https:∥arxiv.org/pdf/1409.1556.
[27]HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 2261-2269.
[28]HOWARD A G, ZHU M L, CHEN B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[EB/OL]. (2017-04-17)[2024-03-10]. https:∥arxiv.org/abs/1704.04861.
[29]MA Y, LIU Z, CHEN C L. Multiscale random convolution broad learning system for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 5503605.
(編 輯 張 歡)