基于多層感知器的某礦職工呼吸系統(tǒng)的識(shí)別預(yù)測*

李 濤

(安徽理工大學(xué)理學(xué)院 安徽淮南 232001)

由于工作環(huán)境的特殊性，導(dǎo)致礦工在工作時(shí)不可避免地吸入粉塵。長期吸入粉塵可以導(dǎo)致以肺組織纖維性病變?yōu)橹鞯膲m肺。目前，塵肺患者肺功能狀況是塵肺勞動(dòng)能力鑒定的重要參考指標(biāo)之一。此外，暴露于矽塵、香煙煙霧、其它粉塵的肺矽肺礦工也有肺功能障礙超額發(fā)生的現(xiàn)象。因此，討論粉塵對礦工呼吸系統(tǒng)的影響時(shí)，要盡可能全面地找出影響礦工呼吸系統(tǒng)的影響因素，才能客觀而全面地評價(jià)呼氣峰流速(pef)為標(biāo)準(zhǔn)的分度法與塵肺病患者的相關(guān)性及臨床意義，并針對其影響因素進(jìn)行積極地預(yù)防，從而得以提高塵肺病患者的生存質(zhì)量[1]。由于神經(jīng)網(wǎng)絡(luò)具有很好的學(xué)習(xí)功能，導(dǎo)致該模型具有較好地識(shí)別預(yù)測功能，所以，筆者將利用人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks，ANN)來進(jìn)行異常數(shù)據(jù)的識(shí)別預(yù)測。

1 多層感知器的神經(jīng)網(wǎng)絡(luò)的基本概念

1.1 神經(jīng)網(wǎng)絡(luò)的基本概念

人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks，ANN)系統(tǒng)是20世紀(jì)70年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成的，具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)能力等特點(diǎn)。這由于神經(jīng)網(wǎng)絡(luò)具有這些特點(diǎn)，導(dǎo)致在信息處理、模式識(shí)別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來越廣泛的應(yīng)用。尤其誤差反向傳播算法(Error Back-Propagation Training，簡稱BP網(wǎng)絡(luò))可以逼近任意連續(xù)函數(shù)，具有很強(qiáng)的非線性映射能力，而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，所以它在許多應(yīng)用領(lǐng)域中起到了重要作用。

1.2 多層感知器的概念[2,3]

多層前饋網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中的重要一類。這種網(wǎng)絡(luò)典型地由3部分組成：一組感知單元(源節(jié)點(diǎn))組成輸入層，一層或多層計(jì)算節(jié)點(diǎn)的隱藏層，還有一層計(jì)算節(jié)點(diǎn)的輸出層。輸入信號在層層遞進(jìn)基礎(chǔ)上前向傳播通過網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)通常被稱為多層感知器(multilayer perceptrons， MLPS)。在監(jiān)督學(xué)習(xí)的方式下使用通稱為誤差反向傳播算法這種非常普遍的算法訓(xùn)練多層感知器，它們已經(jīng)成功應(yīng)用于不同的復(fù)雜而困難的問題。誤差反向傳播算法是基于誤差修正學(xué)習(xí)規(guī)則的。因此，它可以被看成是同樣普遍使用的自適應(yīng)濾波算法的推廣。

基本上，誤差反向傳播學(xué)習(xí)由兩次經(jīng)過網(wǎng)絡(luò)不同層的通過組成：一次前向通過和一次反向通過。在前向通過中，一個(gè)活動(dòng)模式(輸入向量)作用于網(wǎng)絡(luò)感知節(jié)點(diǎn)，它的影響經(jīng)過網(wǎng)絡(luò)一層接一層地傳播，最后，產(chǎn)生一個(gè)輸出作為網(wǎng)絡(luò)的實(shí)際響應(yīng)。在前向通過中，網(wǎng)絡(luò)的突觸權(quán)值全為固定的。另一方面，在反向通過中，突觸權(quán)值全部根據(jù)誤差修正規(guī)則來調(diào)整。特別是從目標(biāo)響應(yīng)減去網(wǎng)絡(luò)的實(shí)際響應(yīng)的實(shí)際響應(yīng)而產(chǎn)生誤差信號。這個(gè)誤差信號反向傳播經(jīng)過網(wǎng)絡(luò)，與突觸連接方向相反——因此叫“誤差反向傳播”。突觸權(quán)值被調(diào)整使得網(wǎng)絡(luò)的實(shí)際響應(yīng)從統(tǒng)計(jì)意義上接近目標(biāo)響應(yīng)。誤差反向傳播算法在文獻(xiàn)中稱為反向傳播算法(back-propagation algorithm)，或是簡單稱為反向傳播(back-prop)。

1.3 多層感知器的特點(diǎn)[3-5]

多層感知器有3個(gè)突出的特點(diǎn)：

(1)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元模型包括一個(gè)非線性激活函數(shù)。滿足非線性要求的一個(gè)普遍應(yīng)用形式是由logistic函數(shù)：

(1)

定義的sigmoid非線性，其中vj是神經(jīng)元j的誘導(dǎo)局部域(即所有突觸輸入的加權(quán)和減去偏置)，yj是神經(jīng)元j的輸出。非線性的出現(xiàn)是很重要的，否則網(wǎng)絡(luò)的輸入輸出關(guān)系會(huì)被歸結(jié)為單層感知器所具有。

(2)網(wǎng)絡(luò)包括一層或多層隱藏神經(jīng)元，它們不是網(wǎng)絡(luò)輸入輸出的部分。這些隱藏神經(jīng)元逐步從輸入模式(向量)中提取更多的有用特征，可以使網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的任務(wù)。

(3)網(wǎng)絡(luò)展示出高度的連接性，它由網(wǎng)絡(luò)突觸決定，網(wǎng)絡(luò)連接的改變需要突觸連接數(shù)量或其權(quán)值的改變。

正是由上述特性以及通過訓(xùn)練從經(jīng)驗(yàn)中學(xué)習(xí)的能力相結(jié)合使得多層感知器具有它的計(jì)算能力。正因?yàn)槿绱?，反向傳播算法的發(fā)展是神經(jīng)網(wǎng)絡(luò)發(fā)展史的一個(gè)里程碑，因?yàn)樗鼮橛?xùn)練多層感知器提供了一個(gè)有效的計(jì)算方法。

2基于多層感知器的神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)

2.1 多層感知器——反向傳播算法的設(shè)計(jì)[6]

神經(jīng)元j在迭代n時(shí)(即呈現(xiàn)第n個(gè)訓(xùn)練例子)輸出誤差信號定義如下：

ej(n)=dj(n)-yj(n)

(2)

(3)

集合C包括網(wǎng)絡(luò)輸出層的所有神經(jīng)元。

令N記為包含在訓(xùn)練集中模式的總數(shù)。對所有n求δ(n)的和然后關(guān)于集的大小規(guī)整化即得均方差誤差能量，表示為：

(4)

誤差能量的瞬間值δ(n)和誤差能量的平均值δN是網(wǎng)絡(luò)所有自由參數(shù)(即突觸權(quán)值和偏置水平)的函數(shù)。

對下一個(gè)給定的訓(xùn)練集，δN表示的代價(jià)函數(shù)作為學(xué)習(xí)性能的一個(gè)量度。學(xué)習(xí)過程的目的是調(diào)整網(wǎng)絡(luò)的自由參數(shù)使得最小化δN。要達(dá)到這種最小化，本文采用了一個(gè)訓(xùn)練的簡單方法，即權(quán)值在一個(gè)模式接一個(gè)模式的基礎(chǔ)更新，直到一個(gè)回合(epoch)結(jié)束，也就是整個(gè)訓(xùn)練集的完全表示已被網(wǎng)絡(luò)處理。權(quán)值的調(diào)整根據(jù)每個(gè)呈現(xiàn)給網(wǎng)絡(luò)的模式所計(jì)算的各自的誤差進(jìn)行。因此，這些單個(gè)權(quán)值在訓(xùn)練集上的改變的算術(shù)平均，是基于使整個(gè)訓(xùn)練集的代價(jià)函數(shù)δN最小化的真實(shí)權(quán)值改變的一種估計(jì)。它是神經(jīng)元j被它左邊的一層神經(jīng)元產(chǎn)生的一組函數(shù)信號所反饋回來的。因此，在神經(jīng)元j的激活函數(shù)輸入處產(chǎn)生的誘導(dǎo)局部域vj(n)是：

(5)

m是作用于神經(jīng)元j的所有輸入(不包括偏置)個(gè)數(shù)。突觸權(quán)值wji(相當(dāng)于固定輸入y0=y0+1)等于神經(jīng)元j的偏置bj。所以迭代n時(shí)出現(xiàn)在神經(jīng)元j輸出處的函數(shù)信號yi(n)為：

yi(n)=φi(vi(n))

(6)

這樣，可以得到反向傳播算法導(dǎo)出的關(guān)系。首先，由神經(jīng)元i連接到神經(jīng)元j的突觸權(quán)值的校正值Vwji(n)由delta規(guī)則定義如下：

Δwji(n)=η·δj(n)·yi(n)

(7)

其中：η為學(xué)習(xí)率參數(shù)；δj(n)為局部梯度，取決于神經(jīng)元j是一個(gè)輸出節(jié)點(diǎn)還是一個(gè)隱藏層節(jié)點(diǎn)；yi(n)為神經(jīng)元j輸入信號。

2.2 反向傳播算法的停止準(zhǔn)則

通常情況下，由于不能證明反向傳播算法收斂，并且沒有明確定義它的停止運(yùn)行準(zhǔn)則。筆者采用的是如下的停止準(zhǔn)則：最小點(diǎn)的特殊性質(zhì)是代價(jià)函數(shù)或誤差量度δN(W)在w=wn的。即是說，當(dāng)每一個(gè)回合的均方誤差的變化的絕對速率足夠小時(shí)，認(rèn)為反向傳播算法已經(jīng)收斂[6]。均方誤差的變化的絕對速率如果每個(gè)回合是在0.1%到1之間時(shí)，一般認(rèn)為它足夠小。

此外，在每一個(gè)學(xué)習(xí)迭代之后，都要檢查網(wǎng)絡(luò)的泛化性能。當(dāng)泛化性能是適當(dāng)?shù)?，或泛化性能明顯達(dá)到峰值時(shí)，學(xué)習(xí)過程被終止[6]。

2.3 反向傳播算法的流程[7]

2.3.1 初始化 假設(shè)每一先驗(yàn)知識(shí)可用利用，以一個(gè)隨機(jī)分別隨機(jī)挑選突觸權(quán)值和閥值，這個(gè)分布選擇為均值等于0的均勻分布，它的方差的選擇應(yīng)該使得神經(jīng)元的誘導(dǎo)局部域的標(biāo)準(zhǔn)偏差位于sigmoid激活函數(shù)的線形部分與飽和過渡處。

2.3.2 訓(xùn)練樣本的呈現(xiàn) 呈現(xiàn)訓(xùn)練樣本的一個(gè)回合給網(wǎng)絡(luò)，對訓(xùn)練集中以某種形式排序的每個(gè)樣本，依次進(jìn)行在下面的第3點(diǎn)和第4點(diǎn)中所描述的前向和方向計(jì)算。

(8)

2.3.4 反向計(jì)算 計(jì)算網(wǎng)絡(luò)的δ(即局部梯度)，定義為：

(9)

(5)迭代[7]

通過呈現(xiàn)新的一回合樣本給網(wǎng)絡(luò)，并根據(jù)第3點(diǎn)和第4點(diǎn)進(jìn)行前向和方向迭代計(jì)算，直到滿足停止準(zhǔn)則。

由于訓(xùn)練樣本的呈現(xiàn)順序是從一個(gè)回合到另一個(gè)回合必須是隨機(jī)的。動(dòng)量和學(xué)習(xí)率參數(shù)隨著訓(xùn)練迭代次數(shù)的增加而調(diào)整(通常是減少的)。

3 多層感知器的神經(jīng)網(wǎng)絡(luò)算法在計(jì)算機(jī)中實(shí)現(xiàn)

3.1 數(shù)據(jù)來源

本文是以安徽某地礦業(yè)集團(tuán)從事綜采、通風(fēng)、機(jī)電等工種為研究對象，按照國家體育總局制定的《國民體質(zhì)測定標(biāo)準(zhǔn)手冊》[8]，由專業(yè)人員在規(guī)定時(shí)間內(nèi)在統(tǒng)一器材上對研究對象進(jìn)行測定，常規(guī)醫(yī)學(xué)指標(biāo)由某市礦業(yè)集團(tuán)職業(yè)病防治中心協(xié)助測試。

3.2 計(jì)算參數(shù)

計(jì)算時(shí)，分區(qū)參數(shù)是根據(jù)個(gè)案的相對數(shù)量隨機(jī)分配個(gè)案，分區(qū)標(biāo)準(zhǔn)如表1所示。

表1 分區(qū)參數(shù)

體系結(jié)構(gòu)參數(shù)如表2。

表2 體系參數(shù)

培訓(xùn)類型采用：批處理，優(yōu)化算法采用調(diào)整的共軛梯度，其培訓(xùn)選項(xiàng)見表3。

表3 培訓(xùn)選項(xiàng)

培訓(xùn)錯(cuò)誤的最小相對變化為0.0001，培訓(xùn)錯(cuò)誤率的最小相對變化為0.001。

3.3 計(jì)算結(jié)果與分析

按照上面的算法和參數(shù)，程序最終運(yùn)行后，得到模型如圖1所示：

訓(xùn)練 平方和錯(cuò)誤相對錯(cuò)誤中止使用的規(guī)則培訓(xùn)時(shí)間.387.327錯(cuò)誤未減少的 1 連續(xù)步驟00∶00∶00.000測試 平方和錯(cuò)誤相對錯(cuò)誤.00980.409

因變量: 預(yù)測值80a. 基于檢驗(yàn)樣本的錯(cuò)誤計(jì)算。

圖1 模型匯總

可見，神經(jīng)網(wǎng)絡(luò)程序已經(jīng)能正確識(shí)別并預(yù)測出相關(guān)統(tǒng)計(jì)數(shù)據(jù)，程序運(yùn)行最后得到殘差見圖2。

因變量：預(yù)測值80

從圖2看來，程序運(yùn)行后的結(jié)果已經(jīng)能通過殘差檢驗(yàn)。

根據(jù)上面的計(jì)算結(jié)果，可以得出下的結(jié)論：該神經(jīng)網(wǎng)絡(luò)模型能識(shí)別預(yù)測出可能有6名呼吸道患者，見圖3。

N百分比樣本 訓(xùn)練測試有效已排除總計(jì)382406510595.0%5.0%100.0%

圖3 案例處理匯總

根據(jù)某市礦業(yè)集團(tuán)職業(yè)病防治中心復(fù)檢，確實(shí)存在6名患者存在呼吸道疾病，表明該神經(jīng)網(wǎng)絡(luò)模型具有很高的精度。

4 結(jié)論

礦工肺功能的損傷程度是職工工傷與職業(yè)病致殘程度鑒定的重要內(nèi)容。當(dāng)前對礦工塵肺病的鑒定與治療是熱點(diǎn)也是難點(diǎn)[9]。本文力圖找出峰值呼吸流速(pef)與礦工呼吸系統(tǒng)之間存在的相關(guān)關(guān)系。實(shí)驗(yàn)表明，利用多層感知器構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，能較好的實(shí)現(xiàn)患者的識(shí)別預(yù)測。但是，由于本文的數(shù)據(jù)來源集中于一個(gè)礦，尚未測試該神經(jīng)網(wǎng)絡(luò)模型能否推廣到其他礦。

參考文獻(xiàn)：

[1]張海英, 張高洪, 伍傳仁,等. 煤礦工人呼吸系統(tǒng)的健康狀況調(diào)查[J]. 應(yīng)用預(yù)防醫(yī)學(xué), 2007, 8(4):202.

[2]劉偉偉.基于遺傳算法的前饋神經(jīng)網(wǎng)絡(luò)優(yōu)化研究[D].蘭州：西北民族大學(xué), 2011.14.

[3]戴雪龍.PET探測器神經(jīng)網(wǎng)絡(luò)定位方法研究[D].合肥：中國科學(xué)技術(shù)大學(xué), 2006.87.

[4]Simon haykin著, 葉世偉, 史忠偉譯. 神經(jīng)網(wǎng)絡(luò)原理(第2版) [M]. 北京：機(jī)械工業(yè)出版社, 2004.411.

[5]陳飛.人工神經(jīng)網(wǎng)絡(luò)和決策樹進(jìn)行數(shù)據(jù)分類的對比研究[D].大連：大連海事大學(xué), 2005,41.

[6]廉春波.基于相對熵函數(shù)準(zhǔn)則的BP算法收斂性分析[D].哈爾濱：哈爾濱工程大學(xué), 2007.30.

[7]崔震華.基于神經(jīng)網(wǎng)絡(luò)的煤灰結(jié)渣特性的研究[D].北京:華北電力大學(xué), 2007.39.

[8]國家體育總局. 國民體質(zhì)測定標(biāo)準(zhǔn)手冊(成人部分)[M]. 北京: 人民體育出版社, 2003.

[9]董琦, 汪永寧, 余初孺. 對煤礦職工體質(zhì)健康狀況的實(shí)證研究[J]. 淮南職業(yè)技術(shù)學(xué)院學(xué)報(bào), 2009, 9(33):123.