基于反向傳播神經(jīng)網(wǎng)絡(luò)的數(shù)字化工廠(chǎng)數(shù)據(jù)預(yù)測(cè)

□ 袁國(guó)韜 □ 倪受東

南京工業(yè)大學(xué) 機(jī)械與動(dòng)力工程學(xué)院 南京 211800

1 研究背景

數(shù)字化工廠(chǎng)是以產(chǎn)品全生命周期相關(guān)數(shù)據(jù)為基礎(chǔ),在計(jì)算機(jī)虛擬環(huán)境中對(duì)整個(gè)生產(chǎn)過(guò)程進(jìn)行仿真、評(píng)估和優(yōu)化,并進(jìn)一步擴(kuò)展到整個(gè)產(chǎn)品生命周期的新型生產(chǎn)組織方式[1],其總體框架如圖1所示。

建立數(shù)字化虛擬工廠(chǎng),包含從合同訂單到倉(cāng)庫(kù)、下料、制造、檢測(cè)、包裝、發(fā)貨交付全過(guò)程,圍繞人、機(jī)、料、法、環(huán)、測(cè)進(jìn)行狀態(tài)跟蹤及數(shù)據(jù)采集[2],從而形成完整的數(shù)據(jù)鏈,達(dá)到訂單及產(chǎn)品狀態(tài)實(shí)時(shí)掌控、制造過(guò)程全透明、質(zhì)量信息完整可追溯、產(chǎn)品合格率最大化、機(jī)器設(shè)備及人力資源投資回報(bào)率最大化的目標(biāo)。

▲圖1 數(shù)字化工廠(chǎng)總體框架

2 數(shù)據(jù)采集

在數(shù)字化工廠(chǎng)的一個(gè)生產(chǎn)周期過(guò)程中,數(shù)據(jù)的采集主要分為三大類(lèi):設(shè)備數(shù)據(jù)采集、人員數(shù)據(jù)采集及安全環(huán)境數(shù)據(jù)采集。

2.1 設(shè)備數(shù)據(jù)

設(shè)備數(shù)據(jù)采集處于首要地位,數(shù)字化工廠(chǎng)運(yùn)行的本質(zhì)就在于機(jī)械設(shè)備能否正常運(yùn)行以創(chuàng)造效益。設(shè)備數(shù)據(jù)包括:① 生產(chǎn)計(jì)劃,包括產(chǎn)品交付日期、產(chǎn)品數(shù)量、工廠(chǎng)作業(yè)計(jì)劃、工單執(zhí)行情況等；② 物料信息,包括物料批次、物料數(shù)量、物料消耗使用情況等；③ 設(shè)備狀態(tài),包括設(shè)備運(yùn)行、閑置、保養(yǎng)、故障時(shí)間及設(shè)備綜合效率等。

設(shè)備數(shù)據(jù)是數(shù)字化工廠(chǎng)重要的根本數(shù)據(jù),處于主體地位[3],一般采用可編程序控制器與用于過(guò)程控制的對(duì)象連接與嵌入(OPC)技術(shù)相結(jié)合的方式進(jìn)行采集,用串口與RJ45連接器進(jìn)行數(shù)據(jù)傳輸。

針對(duì)不同生產(chǎn)設(shè)備的數(shù)據(jù)進(jìn)行采集,需要關(guān)注設(shè)備的數(shù)字化程度及其接口類(lèi)型,部分老舊設(shè)備需要額外添加傳感器。串口設(shè)備需要通過(guò)轉(zhuǎn)換器進(jìn)行數(shù)據(jù)傳輸,數(shù)控設(shè)備則可以直接進(jìn)行數(shù)據(jù)采集[4]。隨著GB/T 33863—2017《OPC統(tǒng)一架構(gòu)》作為智能制造基礎(chǔ)核心國(guó)家標(biāo)準(zhǔn)發(fā)布,OPC數(shù)據(jù)采集成為趨勢(shì)。

設(shè)備數(shù)據(jù)采集如圖2所示。

▲圖2 設(shè)備數(shù)據(jù)采集示意圖

2.2 人員數(shù)據(jù)

人員數(shù)據(jù)采集一般分為三部分:① 員工出勤人數(shù)、員工出勤率；② 員工技能情況；③ 員工工作狀態(tài)及產(chǎn)出情況、員工平均工作效率。

人員數(shù)據(jù)采集一般可采用條碼掃描、鍵盤(pán)錄入、射頻識(shí)別等人工錄入方式進(jìn)行[5]。

2.3 安全環(huán)境數(shù)據(jù)

安全環(huán)境數(shù)據(jù)一般包括:① 質(zhì)檢信息,包括質(zhì)檢工序、良品率;② 環(huán)境信息,包括溫度、濕度、現(xiàn)場(chǎng)5S及警報(bào)信息等;③ 倉(cāng)儲(chǔ)物流信息,包括倉(cāng)儲(chǔ)儲(chǔ)位、出入庫(kù)、料號(hào)、批次、車(chē)載數(shù)據(jù)等;④ 工廠(chǎng)投資回報(bào)率,包括機(jī)械設(shè)備投資回報(bào)率、人力資源投資回報(bào)率。

安全環(huán)境數(shù)據(jù)采集與設(shè)備數(shù)據(jù)采集方式類(lèi)似,并增加采用傳感器、信息系統(tǒng)集成等方式[6]。

數(shù)據(jù)采集完成之后,由于數(shù)據(jù)的多樣性,為了便于進(jìn)行數(shù)據(jù)處理,需要對(duì)各種數(shù)據(jù)進(jìn)行清洗，并轉(zhuǎn)換為數(shù)據(jù)處理可以識(shí)別的格式[7]。為了避免數(shù)據(jù)清洗及轉(zhuǎn)換過(guò)程中導(dǎo)致數(shù)據(jù)損壞或漏提取參數(shù)等情況,原始文件和處理后的文件都需要存儲(chǔ)在數(shù)據(jù)池中。數(shù)據(jù)清洗流程如圖3所示。

▲圖3 數(shù)據(jù)清洗流程

3 反向傳播神經(jīng)網(wǎng)絡(luò)

3.1 人工神經(jīng)網(wǎng)絡(luò)

相比于現(xiàn)代計(jì)算機(jī),生物大腦存儲(chǔ)空間小,運(yùn)行速度較慢,但是生物大腦可以執(zhí)行復(fù)雜的任務(wù),如飛行、尋找食物、學(xué)習(xí)語(yǔ)言、躲避天敵等。

相比于傳統(tǒng)的計(jì)算機(jī)系統(tǒng),生物大腦對(duì)損壞和不完善信號(hào)具有更強(qiáng)的適應(yīng)性及識(shí)別能力。

人工神經(jīng)網(wǎng)絡(luò)如圖4所示，是一種模擬生物神經(jīng)網(wǎng)絡(luò)，由簡(jiǎn)單的處理單元，即神經(jīng)元組成的大規(guī)模并行分布式處理器。

▲圖4 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)利用神經(jīng)元的連接來(lái)存儲(chǔ)知識(shí),學(xué)習(xí)能力強(qiáng),魯棒性、容錯(cuò)性好,采用分布式存儲(chǔ)與分布式信息處理,屬于并行非線(xiàn)性動(dòng)力學(xué)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)應(yīng)用范圍極廣,幾乎可以囊括所有的計(jì)算領(lǐng)域[8]。

3.2 建模

筆者采用三層神經(jīng)網(wǎng)絡(luò)架構(gòu),將所采集并經(jīng)過(guò)處理的數(shù)據(jù)作為輸入數(shù)據(jù)集。人工神經(jīng)網(wǎng)絡(luò)中的單個(gè)神經(jīng)元結(jié)構(gòu)如圖5所示。

▲圖5 人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)

筆者采用Sigmoid激活函數(shù),其具體形式為:

(1)

采用Sigmoid函數(shù)時(shí),為提高訓(xùn)練速度和靈敏性，以及有效避開(kāi)Sigmoid函數(shù)的飽和區(qū),一般要求輸入數(shù)據(jù)的值在0～1之間。因此,需對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理。為保證建立的模型具有一定的外推能力,最好使數(shù)據(jù)預(yù)處理后的值在0.2～0.8之間[9]。

筆者選用三層反向傳播神經(jīng)網(wǎng)絡(luò)模型,如圖6所示。

▲圖6 三層反向傳播神經(jīng)網(wǎng)絡(luò)模型

3.3 梯度下降的應(yīng)用

神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時(shí),一開(kāi)始的輸出結(jié)果總是會(huì)和搜集到的數(shù)據(jù)有所差異,對(duì)這個(gè)誤差進(jìn)行分析,是訓(xùn)練網(wǎng)絡(luò)更新權(quán)重的關(guān)鍵。一個(gè)模型中，只有損失函數(shù)收斂到一定的值,才有可能會(huì)有好的結(jié)果。一般情況下,對(duì)這個(gè)誤差采用梯度下降法進(jìn)行分析處理。

在數(shù)學(xué)上,對(duì)于一個(gè)可微分的函數(shù)f(x,y,z),向量grad稱(chēng)為f(x,y,z)的梯度。

(2)

在沿梯度方向,方向?qū)?shù)取最大值時(shí),神經(jīng)網(wǎng)絡(luò)模型的計(jì)算速度最快。因此,在求損失函數(shù)的最小值時(shí),可以通過(guò)沿梯度方向一步步迭代求解,得到最小化的損失函數(shù)和模型參數(shù)值。梯度下降法的計(jì)算過(guò)程就是沿梯度下降的方向求解極小值。當(dāng)梯度向量為零時(shí),說(shuō)明到達(dá)一個(gè)極值點(diǎn),這也是梯度下降算法迭代計(jì)算的終止條件。簡(jiǎn)單而言,在一個(gè)非常復(fù)雜、有波峰波谷的群山中,需要到達(dá)坡底,只能一步一個(gè)腳印緩慢下行,這個(gè)過(guò)程在數(shù)學(xué)上便被稱(chēng)為梯度下降[10]。

梯度下降如圖7所示,其中A點(diǎn)、C點(diǎn)為需要采用梯度下降法時(shí)的隨機(jī)所在位置,B點(diǎn)、D點(diǎn)為需要尋找的相應(yīng)最低點(diǎn),也就是誤差最小點(diǎn)。B點(diǎn)為全局最低點(diǎn),D點(diǎn)為局部最低點(diǎn),從A點(diǎn)、C點(diǎn)逐步下降走到B點(diǎn)、D點(diǎn)的位置,采用梯度下降法可以快速準(zhǔn)確地找到相應(yīng)路徑。

3.4 反向傳播的應(yīng)用

反向傳播算法利用輸出后的誤差來(lái)估計(jì)輸出層相鄰前導(dǎo)層的誤差,再用這個(gè)誤差估計(jì)更前一層的誤差,如此一層一層反傳,獲得所有其它各層的誤差估計(jì)。這一誤差可以用于調(diào)整、修正各層單元的權(quán)值[11]。

在反向傳播神經(jīng)網(wǎng)絡(luò)中,假設(shè)由隱含層神經(jīng)元J到輸出層神經(jīng)元K,K的輸出值為tK,實(shí)際輸出值為

▲圖7 梯度下降示意圖

oK,則此次輸出結(jié)果的節(jié)點(diǎn)誤差eK為tK-oK。

依次類(lèi)推,展開(kāi)誤差函數(shù),對(duì)目標(biāo)值和實(shí)際值之差的二次方進(jìn)行求和,得到針對(duì)所有M個(gè)輸出節(jié)點(diǎn)的和。其中wJ,K為隱含層神經(jīng)元J到輸出層神經(jīng)元K的權(quán)重,wI,J為輸入層神經(jīng)元I到隱含層神經(jīng)元J的權(quán)重,tM為輸出層所有節(jié)點(diǎn)的預(yù)期輸出值之和,oM為輸出層所有節(jié)點(diǎn)的實(shí)際輸出值之和,e為相應(yīng)神經(jīng)元對(duì)應(yīng)的節(jié)點(diǎn)誤差。

(3)

因神經(jīng)元K的輸出僅依賴(lài)于隱含層對(duì)輸出層的權(quán)重,則相對(duì)神經(jīng)元K而言,tK為輸出層神經(jīng)元K的預(yù)期輸出值,oK為輸出層神經(jīng)元K的實(shí)際輸出值。

(4)

根據(jù)鏈?zhǔn)角髮?dǎo)法則及Sigmoid函數(shù)作為激活函數(shù)的定義,可以推導(dǎo)得:

(5)

式中：oJ為前一個(gè)隱含層節(jié)點(diǎn)的輸出。

繼續(xù)向前類(lèi)推后,可以得到兩個(gè)最終表達(dá)式,這是反向傳播神經(jīng)網(wǎng)絡(luò)的關(guān)鍵。

{1-Sigmoid[∑(wJ,KoJ)]}oJ

(6)

{1-Sigmoid[∑(wI,JoI)]}oI

(7)

式中：oI為神經(jīng)元I的實(shí)際輸出值。

(8)

采用反向傳播神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的首要前提條件是，有足夠多的典型性好和精度高的樣本。

為使訓(xùn)練過(guò)程不發(fā)生過(guò)擬合，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本和測(cè)試樣本三部分。此外,數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間的平衡。

4 程序運(yùn)行展示

Python是一種跨平臺(tái)的計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言，是一種面向?qū)ο蟮膭?dòng)態(tài)類(lèi)型語(yǔ)言,最初被用于編寫(xiě)自動(dòng)化腳本,隨著版本的不斷更新和語(yǔ)言新功能的增加,越來(lái)越多被應(yīng)用于獨(dú)立、大型項(xiàng)目的開(kāi)發(fā)。

4.1 Python編程

筆者采用Python語(yǔ)言在Pycharm集成開(kāi)發(fā)環(huán)境中進(jìn)行編程,調(diào)用了numpy數(shù)值計(jì)算擴(kuò)展庫(kù)、matplotlib繪圖庫(kù)等Pycharm自帶的標(biāo)準(zhǔn)庫(kù),部分代碼截圖如圖8所示。

▲圖8 Python編程代碼

4.2 數(shù)據(jù)代入

某數(shù)字化工廠(chǎng)2015年至2017年內(nèi)部采集的部分?jǐn)?shù)據(jù)集如圖9所示。經(jīng)過(guò)脫密處理,將其保存為.CSV文件,代入已有的反向傳播神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練與測(cè)試。

▲圖9 某數(shù)字化工廠(chǎng)內(nèi)部采集數(shù)據(jù)集

4.3 結(jié)果

當(dāng)選取其中50條數(shù)據(jù)作為小型測(cè)試集時(shí),測(cè)試結(jié)果的準(zhǔn)確率為60%左右,如圖10所示。這是由于樣本數(shù)量太少,無(wú)法達(dá)到較高的準(zhǔn)確率,但是這也說(shuō)明了預(yù)測(cè)是可行的,神經(jīng)網(wǎng)絡(luò)模型是正確的。為了達(dá)到較高的準(zhǔn)確率,需要采用更多的樣本去訓(xùn)練反向傳播神經(jīng)網(wǎng)絡(luò)。

▲圖10 小型測(cè)試集準(zhǔn)確率

筆者將該數(shù)字化工廠(chǎng)2015年的所有數(shù)據(jù)集作為訓(xùn)練集,將2015年至2017年的所有數(shù)據(jù)集作為測(cè)試集,經(jīng)過(guò)訓(xùn)練之后,反向傳播神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)準(zhǔn)確率達(dá)到95%左右,如圖11所示。

▲圖11 完整測(cè)試集準(zhǔn)確率

5 結(jié)束語(yǔ)

數(shù)字化工廠(chǎng)是未來(lái)工廠(chǎng)的重要發(fā)展趨勢(shì)之一,筆者對(duì)數(shù)字化工廠(chǎng)的數(shù)據(jù)進(jìn)行采集、清洗后,輸入搭建好的反向傳播神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,將訓(xùn)練好的反向傳播神經(jīng)網(wǎng)絡(luò)模型用于相關(guān)數(shù)據(jù)集測(cè)試,得到了較高的準(zhǔn)確率。筆者對(duì)數(shù)據(jù)分析的發(fā)展方向進(jìn)行了初步探討,相信在以后的發(fā)展中,數(shù)字化工廠(chǎng)的數(shù)據(jù)分析還會(huì)有更細(xì)致的算法及更優(yōu)化的模型,這些算法和模型在未來(lái)的工業(yè)生產(chǎn)中會(huì)起到更大的作用。