大數(shù)據(jù)背景下基于分布式LDA算法的生產(chǎn)模式識(shí)別

石 焱，石宇強(qiáng)，夏世洪

（西南科技大學(xué) 制造科學(xué)與工程學(xué)院，綿陽 621010）

大數(shù)據(jù)背景下基于分布式LDA算法的生產(chǎn)模式識(shí)別

石 焱，石宇強(qiáng)，夏世洪

（西南科技大學(xué) 制造科學(xué)與工程學(xué)院，綿陽 621010）

結(jié)合大數(shù)據(jù)時(shí)代背景，在車間已經(jīng)實(shí)現(xiàn)信息化的基礎(chǔ)上，自行設(shè)計(jì)構(gòu)建出了一種基于Hadoop框架的車間系統(tǒng)架構(gòu)，用于車間海量數(shù)據(jù)的存儲(chǔ)和分析。運(yùn)用HDFS存儲(chǔ)車間產(chǎn)生的海量數(shù)據(jù)；借鑒控制圖識(shí)別不同生產(chǎn)模式的方法，將Mapreduce編程模型與LDA算法相結(jié)合對(duì)存儲(chǔ)在HDFS上的數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)了對(duì)異常生產(chǎn)模式的快速識(shí)別和對(duì)生產(chǎn)過程的實(shí)時(shí)監(jiān)控，從而解決了產(chǎn)品在生產(chǎn)過程中產(chǎn)生的海量數(shù)據(jù)存儲(chǔ)難、分析難的問題，并為上層決策提供了支持。

混雜RFID無線傳感網(wǎng)絡(luò)；HDFS；Mapreduce；分布式線性判別（LDA）

0 引言

隨著互聯(lián)網(wǎng)，物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)規(guī)模呈指數(shù)增長，大數(shù)據(jù)時(shí)代已經(jīng)到來。車間現(xiàn)場(chǎng)數(shù)據(jù)也表現(xiàn)出了海量，復(fù)雜，多樣等特點(diǎn)。區(qū)別于傳統(tǒng)基于抽樣技術(shù)的生產(chǎn)過程控制[1]，如何快速、及時(shí)地對(duì)車間內(nèi)產(chǎn)生的全樣本數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，識(shí)別出異常的生產(chǎn)模式，對(duì)生產(chǎn)過程進(jìn)行實(shí)時(shí)監(jiān)控，保證產(chǎn)品正常生產(chǎn)，避免不合格品的產(chǎn)生，實(shí)現(xiàn)基于全樣本的生產(chǎn)過程決策成為研究的關(guān)鍵問題。分布式計(jì)算的快速發(fā)展為解決這一問題指明了方向。

1 基于分布式的車間系統(tǒng)架構(gòu)

分布式計(jì)算作為一種新興的技術(shù)，為解決大數(shù)據(jù)存儲(chǔ)難、分析難的問題提供了方向。Hadoop是一個(gè)分布式的數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)，主要包括并行化編程模型Mapreduce和分布式文件存儲(chǔ)系統(tǒng)HDFS兩部分．Mapreduce負(fù)責(zé)對(duì)大規(guī)模數(shù)據(jù)進(jìn)行并行化計(jì)算，HDFS則是負(fù)責(zé)大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)[2]。本文基于Hadoop分布式框架自行設(shè)計(jì)構(gòu)建出了車間的系統(tǒng)架構(gòu)，完成對(duì)車間現(xiàn)場(chǎng)全樣本數(shù)據(jù)及時(shí)，快速地存儲(chǔ)和分析，如圖1所示。

該車間系統(tǒng)架構(gòu)的層級(jí)結(jié)構(gòu)主要分為以下五個(gè)部分：

1）完成車間混雜RFID無線傳感網(wǎng)絡(luò)的覆蓋，通過混雜RFID無線傳感網(wǎng)絡(luò)完成對(duì)車間現(xiàn)場(chǎng)數(shù)據(jù)的全樣本采集，并在傳輸過程中完成數(shù)據(jù)清洗和數(shù)據(jù)融合。

2）將經(jīng)過初步處理過的現(xiàn)場(chǎng)數(shù)據(jù)，通過現(xiàn)場(chǎng)總線進(jìn)行傳輸。

圖1 車間系統(tǒng)架構(gòu)圖

3）將傳輸過來的現(xiàn)場(chǎng)數(shù)據(jù)存儲(chǔ)到關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫中，最后統(tǒng)一存儲(chǔ)在HDFS分布式文件系統(tǒng)中。

4）通過Mapreduce, mathout, hive等分布式計(jì)算框架和工具，利用相關(guān)機(jī)器學(xué)習(xí)算法，對(duì)存儲(chǔ)在HDFS上的車間數(shù)據(jù)進(jìn)行計(jì)算分析，得到需要的結(jié)論，反饋給上層進(jìn)行決策。

5）上層根據(jù)分析計(jì)算的結(jié)果，從實(shí)際需求出發(fā)，進(jìn)行決策：既包括對(duì)現(xiàn)行方案計(jì)劃進(jìn)行調(diào)整改善也包括出臺(tái)新的方案計(jì)劃等。

2 生產(chǎn)過程模式識(shí)別

在實(shí)現(xiàn)上述車間系統(tǒng)架構(gòu)的基礎(chǔ)上，將控制圖識(shí)別異常模式的原理和機(jī)器學(xué)習(xí)算法相結(jié)合，對(duì)收集到的海量車間現(xiàn)場(chǎng)數(shù)據(jù)進(jìn)行分析，及時(shí)有效地識(shí)別出異常生產(chǎn)模式，對(duì)生產(chǎn)過程進(jìn)行實(shí)時(shí)監(jiān)控，保證產(chǎn)品的正常生產(chǎn)，避免不合格品的出現(xiàn)。

2.1 控制圖識(shí)別原理

控制圖作為SPC的基本工具，以統(tǒng)計(jì)學(xué)的顯著性檢驗(yàn)原理為理論基礎(chǔ)，一直被廣泛應(yīng)用于生產(chǎn)過程中異常波動(dòng)的捕捉。在加工過程中，由于受多種因素的交互影響，導(dǎo)致控制圖模式的基本類型分為正常模式、向上階躍異常模式、向下階躍異常模式、向上趨勢(shì)異常模式、向下趨勢(shì)異常模式以及周期模式等六種類型[3]，如圖2所示。

圖2 控制圖六種基本模式

在控制圖模式識(shí)別過程中，根據(jù)規(guī)定的判別規(guī)則，判別出當(dāng)前生產(chǎn)狀況屬于基本模式中的哪一種，及時(shí)完成對(duì)除正常類型以外五種異常模式的識(shí)別，并做出反饋和處理。

2.2 分布式LDA智能化控制圖模式識(shí)別

近年來以人工智能與機(jī)器學(xué)習(xí)為主的智能化控制圖模式識(shí)別日趨流行[4]， Psarakis、Guh和Das等人使用了BP神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（SVM）進(jìn)行控制圖基本模式的識(shí)別[5～8]，都得到了不錯(cuò)的識(shí)別效果，但是隨著大數(shù)據(jù)時(shí)代的到來，如何在海量數(shù)據(jù)的基礎(chǔ)上完成智能化控制圖模式識(shí)別，判別出異常生產(chǎn)模式成為新的問題?；诖吮疚耐瓿闪薒DA算法的分布式實(shí)現(xiàn)，為解決這一問題提供了一種有效的方法。

LDA算法又稱線性判別分析，是分類領(lǐng)域里面的經(jīng)典算法，基本思想是將高維的樣本數(shù)據(jù)投影到最佳鑒別矢量W上，以達(dá)到抽取分類信息和壓縮特征空間維數(shù)的效果，投影后保證樣本數(shù)據(jù)在新的子空間有最大的類間距離和最小的類內(nèi)距離，即在該空間中有最佳的可分離性。針對(duì)LDA目前主要應(yīng)用的場(chǎng)景還是在集中式處理，對(duì)于大規(guī)模數(shù)據(jù)的處理能力還有待提升的問題，通過構(gòu)建Hadoop集群，完成了LDA算法的分布式實(shí)現(xiàn)，提高了算法運(yùn)行效率，解決了大規(guī)模數(shù)據(jù)環(huán)境下智能化控制圖模式識(shí)別問題。運(yùn)用分布式LDA進(jìn)行生產(chǎn)模式識(shí)別的流程如圖3所示。

2.2.1 算法步驟

圖3 基于分布式LDA的生產(chǎn)模式識(shí)別的流程圖

LDA算法中求解W的關(guān)鍵是計(jì)算各類別樣本的均值和各類別樣本的方差。所以轉(zhuǎn)換到Hadoop集群中樣本均值和方差的計(jì)算也是關(guān)鍵問題。如圖4所示，實(shí)現(xiàn)LDA算法的步驟為：1）使用第一個(gè)Mapreduce計(jì)算各類別的樣本均值。2）在實(shí)現(xiàn)第一個(gè)Mapreduce的基礎(chǔ)上使用第二個(gè)Mapreduce計(jì)算各類別樣本的方差，進(jìn)一步計(jì)算出類內(nèi)的離散度矩陣和W。3）在實(shí)現(xiàn)前面兩個(gè)Mapreduce的基礎(chǔ)上，使用第三個(gè)Mapreduce計(jì)算出判別平面，并根據(jù)判別平面進(jìn)行新樣本的類別判定。

圖4 分布式LDA實(shí)現(xiàn)流程

2.2.2 Map和Reduce函數(shù)設(shè)計(jì)

Map階段主要是從HDFS文件系統(tǒng)中按行讀取數(shù)據(jù)，并對(duì)傳入的鍵值對(duì)進(jìn)行初步的處理。第一個(gè)Job中的Map階段主要是對(duì)傳入的鍵值對(duì)進(jìn)行一些預(yù)處理，便于后續(xù)Reduce階段的計(jì)算，包括值的拆分和類型的轉(zhuǎn)換。第二個(gè)Job中的Map階段也是對(duì)傳入的樣本數(shù)據(jù)進(jìn)行預(yù)處理，與第一個(gè)Job中Map階段的不同之處在于多了Setup函數(shù)用于處理緩存數(shù)據(jù)，還包括了各類別樣本方差的計(jì)算。Reduce階段是對(duì)Map階段的輸出結(jié)果進(jìn)行匯總和進(jìn)一步的計(jì)算。第一個(gè)Job中的Reduce階段主要是計(jì)算各類別樣本均值。第二個(gè)Job中的Reduce階段多了Setup函數(shù)用于處理緩存數(shù)據(jù)，還包括了最佳鑒別矢量W的計(jì)算。分布式LDA中Map和Reduce階段對(duì)應(yīng)的偽代碼如下。

第一個(gè)Job如圖5所示。

圖5 偽代碼1

第二個(gè)Job如圖6所示。

圖6 偽代碼2

3 實(shí)驗(yàn)和結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)集群由四臺(tái)計(jì)算機(jī)搭建完成，配置如下：處理器為Intel（R）Core（TM）i5，CPU為M430@2.27GHz，內(nèi)存為3.8GB，硬盤容量為600GB，Hadoop版本為1.2.1。集群的配置參考Hadoop官方提供的方法進(jìn)行配置。其中，隨機(jī)選取一臺(tái)主機(jī)作為Master主節(jié)點(diǎn)，啟動(dòng)NameNode和JobTracker進(jìn)程，剩余三臺(tái)主機(jī)作為DataNode和TaskTracker，為Slave從節(jié)點(diǎn)。

3.2 實(shí)驗(yàn)數(shù)據(jù)

利用蒙特卡洛仿真法生成每種模式樣本數(shù)據(jù)4000個(gè)，即4000×6個(gè)樣本，組成樣本集S。從每種模式4000個(gè)樣本中，分別隨機(jī)抽取3000樣本，組成訓(xùn)練樣本集Train進(jìn)行訓(xùn)練，將剩余的樣本作為測(cè)試樣本集Test進(jìn)行測(cè)試。

3.3 實(shí)驗(yàn)結(jié)果分析

通過對(duì)訓(xùn)練樣本集進(jìn)行訓(xùn)練，得到訓(xùn)練好的LDA分類器，根據(jù)第一判別式和第二判別式得到的分類情況如圖5所示，由于分布式的LDA和集中式的LDA的原理是相同的，只是實(shí)現(xiàn)的方式不一樣，所以選取測(cè)試集進(jìn)行檢驗(yàn)時(shí)，在預(yù)測(cè)的準(zhǔn)確率上并沒有差異都是0.9898如表1所示，與控制圖顯示的情況基本相符。

圖7 分類情況

分布式和集中式的LDA算法的主要差異表現(xiàn)在其識(shí)別的速度上。為了更好地將其差異性表現(xiàn)出來，將樣本集均勻的分成4份，分別標(biāo)為a、b、c、d，其中異常模式和正常模式的比例均為5:1。使用訓(xùn)練好的集中式LDA分類器和分布式LDA分類器依次對(duì)樣本集a、a+b、a+b+c、a+b+c+d進(jìn)行模式識(shí)別，隨著樣本集中樣本數(shù)量的增加花費(fèi)的時(shí)間如圖6所示。

圖8 時(shí)間對(duì)比

對(duì)比分布式LDA算法和集中式LDA算法對(duì)生產(chǎn)過程模式的識(shí)別結(jié)果，不難發(fā)現(xiàn)在準(zhǔn)確率相同的情況下，分布式LDA算法識(shí)別的速度更快，效率更高，總體性能要優(yōu)于集中式LDA算法，隨著生產(chǎn)過程模式數(shù)據(jù)的繼續(xù)增長整體優(yōu)勢(shì)會(huì)繼續(xù)增加。

4 結(jié)束語

控制圖的智能模式識(shí)別，對(duì)判斷生產(chǎn)過程是否存在異常有著至關(guān)重要的作用，隨著物聯(lián)網(wǎng)以及車間信息化的高速發(fā)展，車間現(xiàn)場(chǎng)數(shù)據(jù)呈指數(shù)增長，大數(shù)據(jù)時(shí)代已經(jīng)到來。本文結(jié)合當(dāng)今大數(shù)據(jù)時(shí)代背景，提出了基于分布式存儲(chǔ)計(jì)算的智能控制圖識(shí)別方法：利用HDFS存儲(chǔ)車間現(xiàn)場(chǎng)數(shù)據(jù)；利用Mapreduce模型實(shí)現(xiàn)分布式LDA算法，進(jìn)行模式識(shí)別。對(duì)比集中式的LDA算法，識(shí)別速度和效率得到了提升，取得了良好的效果。同時(shí)也為如何在大數(shù)據(jù)時(shí)代進(jìn)行生產(chǎn)過程控制提供了一個(gè)有效的方法。

[1] 米子川.大數(shù)據(jù)時(shí)代的三個(gè)質(zhì)量觀[J].中國質(zhì)量,2014,(3):41-43.

[2] 孟永偉,黃建強(qiáng),曹騰飛,等.Hadoop集群部署實(shí)驗(yàn)的設(shè)計(jì)與實(shí)現(xiàn)[J].實(shí)驗(yàn)技術(shù)與管理,2015,32(1):145-149.

[3] 李太福,胡勝,魏正元,韓亞軍.基于遺傳優(yōu)化的PCA-SVM控制圖模式識(shí)別[J].計(jì)算機(jī)應(yīng)用研究,2012,29(12):4538-4541.

[4] 宋李俊,趙虎.基于融合特征與支持向量機(jī)的控制圖模式識(shí)別[J].計(jì)算機(jī)應(yīng)用研究,2014,31(3):937-941.

[5] Stelios Psarakis. The use of neural networks in statistical process control charts[J]. Quality & Reliability Engineering Inter national, 2011,27(5): 641-650.

[6] Guh, Ruey- Shy.A neural network based model for abnormal pattern recognition of control charts[J].Computers & Industrial Engineering,1999,36(1):97-108.

[7] Prasun Das. An hybrid detection system of control chart patterns using cascaded SVM and neural network–based detector[J]. Neural Computing and Applications,2011,20(2):287-296.

[8] 楊世元,吳德會(huì),蘇海濤. 基于支持向量機(jī)技術(shù)的智能工序診斷研究[J].微電子學(xué)與計(jì)算機(jī),2006,23(5):42-45.

Production pattern recognition based on the distributed LDA algorithm under the background of big data

SHI Yan, SHI Yu-qiang, XIA Shi-hong

TP301

：A

1009-0134(2017)03-0024-04

2016-12-12

石炎（1991 -），男，安徽人，碩士研究生在讀，研究方向?yàn)榇髷?shù)據(jù)背景下航天產(chǎn)品的質(zhì)量管理和可靠性研究。