基于大數據的產品開發(fā)管理系統(tǒng)的設計與實現(xiàn)

張冬,劉旭波

(南昌大學先進制造學院,江西 南昌 330031)

隨著大數據技術與新一代信息技術的發(fā)展,全球制造業(yè)都面臨著新的挑戰(zhàn)與機遇。從國家層面,2015年,我國提出要搭建智能制造平臺[1];2020年,中央深改委提出要加快提升制造業(yè)數字化、智能化水平[2]。從市場方面,全球每天產生的數據量已經超過了1 000億GB,國際數據公司預計到2025年全球數據規(guī)模將達到175 ZB,其中制造業(yè)數據所占比例遠超其他行業(yè)。調查顯示,越來越多的制造企業(yè)也愿意采取大數據技術來指導產品的設計研發(fā)[3]。因此,不管是從國家的政策還是企業(yè)內部尋求發(fā)展轉型,制造業(yè)數據化、智能化都不可避免。

隨著制造業(yè)智能化、信息化的不斷發(fā)展,各類工業(yè)傳感器和各種信息系統(tǒng)的應用,產品開發(fā)過程中產生的數據也越來越多[4]。如制造執(zhí)行系統(tǒng)(manufacturing execution system,MES)產生大量不同結構類型的生產數據,產品質量信息系統(tǒng)產生的產品質量數據。這些海量的數據中隱藏著許多對產品開發(fā)有價值的信息,可以驅動企業(yè)管理以及幫助設計師在產品設計研發(fā)時做出正確的決策[5]。在智能制造的大環(huán)境下,將大數據技術與產品開發(fā)管理系統(tǒng)相結合,實現(xiàn)了產品開發(fā)全生命周期數據的管理和分析,提高了產品開發(fā)的效率。

1 需求分析

產品的開發(fā)流程主要有設計研發(fā)、生產制造、質量檢測等,每個流程產生的數據都具有來源多樣、實時性高、數據信息復雜的特點[6]。各個流程數據特點如表1所示。要想從這些來源不同、結構不同的數據中發(fā)現(xiàn)對產品開發(fā)有用的數據,就需要對這些數據進行綜合研究[7],即對多源異構數據的處理。傳統(tǒng)的關系型數據庫是按照結構化的方法來存儲數據的,不能滿足非結構化數據的存儲要求,并且產品開發(fā)過程中的許多數據具有很高的時效性,因此需要使用大數據的數據庫組件進行存儲。

表1 產品開發(fā)各階段數據特點

目前在制造業(yè)應用的信息系統(tǒng)大多是獨立的,各個系統(tǒng)都有自己的數據庫以及存儲格式,因此不能對整個產品生命周期的數據進行共享分析,導致生產制造系統(tǒng)、產品質量信息系統(tǒng)等系統(tǒng)的數據不能有效指導產品的設計研發(fā)。同時,產品開發(fā)的設計方案如何進行優(yōu)化也不能通過數據分析得到反饋。因此,要想提高產品研發(fā)效率、優(yōu)化成本,就需要對產品整個生命周期的大數據進行管理分析,從而作出正確的決策?；诖髷祿漠a品開發(fā)管理系統(tǒng)針對目前存在的問題可滿足以下需求:

1)滿足產品開發(fā)過程中全生命周期各類數據的采集分類存儲。

2)完成對產品生產制造數據和產品質量數據的分析處理,優(yōu)化產品的設計研發(fā)。

3)實現(xiàn)產品開發(fā)數據的圖形展示。

4)擁有完善的權限管理機制,幫助加強企業(yè)管理。

5)產品設計開發(fā)方案的評價。

2 系統(tǒng)設計

2.1 系統(tǒng)架構設計

基于大數據的產品開發(fā)管理系統(tǒng)的大數據架構分為4層,分別為數據采集層、數據存儲層、數據分析層和應用層。基于大數據的系統(tǒng)架構如圖1所示。

1)數據采集層。

產品生命周期各個環(huán)節(jié)數據的采集是實現(xiàn)系統(tǒng)功能的前提[8]。產品開發(fā)大數據主要有歷史數據和實時數據2種。實時數據一般是生產制造系統(tǒng)中的數據,當實時數據導入系統(tǒng)時可能會產生數據堆積,所以采用Kafka來進行數據緩存。該系統(tǒng)通過API接口實現(xiàn)生產制造系統(tǒng)、產品質量信息系統(tǒng)數據的導入。關系型數據庫MySql中的數據則通過Sqoop與本系統(tǒng)完成數據的相互轉移。產品設計圖紙則通過CAD的集成人工進行上傳。

2)數據存儲層。

數據存儲層主要是完成對產品開發(fā)全生命周期的不同類型數據的多級別存儲,尤其是產品生產制造數據的存儲[9]。HDFS文件系統(tǒng)作為系統(tǒng)的底層存儲,實現(xiàn)對結構化和非結構化數據的分布式存儲,采用NoSql數據庫HBase和Hive數據倉庫實現(xiàn)對各種類型數據的管理。系統(tǒng)日志、人員信息等數據則采用關系型數據庫MySql進行存儲。

3)數據分析層。

數據分析層用于完成對產品全生命周期數據的分析處理和數據挖掘,以此指導產品的設計研發(fā)。制造業(yè)的數據挖掘已經在航空航天方面得到應用[10]。數據處理大致分為2類:一類是對數據的批處理,采用MapReduce框架計算;一類是數據流處理,采用Spark框架計算。數據的分析匯總主要通過MapReduce的檢索查詢實現(xiàn),Spark框架主要為聚類分析、關聯(lián)分析等算法應用提供計算,實現(xiàn)產品設計的優(yōu)化和成本優(yōu)化。

4)應用層。

大數據技術在制造業(yè)領域已經有著多方面的應用[11],本文設計的應用層為基于Vue框架開發(fā)的Web平臺,用于實現(xiàn)產品設計開發(fā)的功能。產品開發(fā)每個流程的審批、設計圖紙的上傳下載以及經過分析層處理后產品數據的展示等功能都是在應用層得到體現(xiàn)。

2.2 系統(tǒng)功能設計

2.2.1 系統(tǒng)管理功能設計

本系統(tǒng)采用JWT(JSON web token)來實現(xiàn)用戶的登錄認證,JWT是一種基于Token的認證授權機制,安全性更高。權限設計采用的是業(yè)界主流的RBAC(role-based access control)模型,通過給用戶角色授予相關的權限,實現(xiàn)用戶的權限管理。

2.2.2 產品開發(fā)功能設計

產品開發(fā)是一個流程復雜且需要多人參與的工作,主要分為策劃階段和設計階段。策劃階段包括市場調研、可行性分析、項目立項、任務分組和項目計劃制定5個部分。設計階段分為總體方案設計、零部件設計、工藝設計、工裝設計4個部分。每個階段都需要經過相關人員審批后,才能進入下一個階段。產品開發(fā)設計的流程如圖2所示。

圖2 產品開發(fā)設計流程圖

2.2.3 產品設計開發(fā)方案評價設計

只有經過對產品全生命周期數據的分析驗證,才能發(fā)現(xiàn)產品設計方案的優(yōu)缺點,進而根據需求作出優(yōu)化。本系統(tǒng)通過采集獲取產品試制階段在生產制造系統(tǒng)和產品質量信息系統(tǒng)的數據,經過聚類分析得到評價指標數據[12],并采用模糊層次分析法對產品設計研發(fā)方案進行評價。模糊層次分析法即模糊評價與層次分析法的結合,已有相關學者對其進行研究應用[13-14]。

假如從n維角度對產品設計方案進行綜合評價,產品設計研發(fā)方案可表示為:G=f(X1,X2,…,Xn,t)。其中,G為設計方案,f是關于X1,X2,…,Xn和t的函數,Xi為關于設計方案的第i維度的屬性值,t是時間維度。具體的評價過程如下:

1)建立評價因素集。將產品設計方案所有的評價指標放在一個集合中。用公式表示為

U={u1,u2,…,ui,…,un}

式中:ui(i=1,2,…,n)為第i個評價指標。

2)基于評價集,依次對產品設計方案的各評價因素ui進行量化,得出模糊關系矩陣R。

3)建立評價指標的權重集。對各指標因素ui賦予對應的權數ai,進而進行歸一化處理:

A=(a1,a2,…,an)

4)進行模糊層次綜合評價。R矩陣中的每一行代表著評價方案的各種單一因素對處于不同層次的模糊子集的相關隸屬度。那么綜合評價B可表示為:

(b1,b2,…,bj,…,bn)

式中:bj表示從整體上看評價對象對不同層次的模糊層次評價子集的隸屬程度,j=1,2,…,m。

5)對模糊層次綜合評價結果的分析。將評價對象的每一個糊層次綜合評價結果都視為一個模糊向量,最終結果就包含了評價完整的信息。然后對不同層次的綜合評價權重進行排序。

3 關鍵技術及系統(tǒng)實現(xiàn)

3.1 關鍵技術分析

3.1.1 NoSQL數據庫HBase

HBase是一個非關系型的分布式數據庫。它是Google公司Big Table的開源實現(xiàn),主要用來存儲異構數據,采用的是key-value數據模型。HBase在Hadoop生態(tài)體系中是通過其他組件為其提供服務的,例如HBase利用ZooKeeper來分配數據庫資源。HBase的結構圖如圖3所示。

圖3 HBase結構圖

3.1.2 Spark計算框架

Spark是一種通用、快速、專門處理大規(guī)模數據的計算框架。它是為了解決大數據領域的各種計算要求而被設計出來。Spark不僅具有Hadoop框架下MapReduce的優(yōu)點,而且還具有能夠進行交互式查詢和優(yōu)化迭代工作負載的優(yōu)點,Spark是基于內存的計算框架,不提供存儲的功能,只涉及到計算,因此計算速度非?？靃15]。Spark具有4個核心組件,如圖4所示,用于滿足不同計算要求。

圖4 Spark核心組件

Spark SQL主要用于結構化數據的處理。Spark Streaming主要用于快速構建高吞吐量、高容錯的流處理程序。MLlib是Spark的機器學習庫,提供了多種算法和模型。Graphx主要用于圖形計算。

3.2 大數據平臺搭建

本系統(tǒng)使用3臺服務器搭建集群,其中1臺為主節(jié)點,其他2臺為從節(jié)點。在搭建集群之前已經根據系統(tǒng)需求確定了集群模式方案,明確使用哪些組件,使集群能夠更有效地運行。具體的集群搭建方案如表2所示。

表2 大數據集群搭建方案

3.3 主要功能實現(xiàn)

3.3.1 產品開發(fā)功能實現(xiàn)

用戶經過系統(tǒng)身份驗證后,進入功能主頁面。身份權限不同,能夠操作的頁面也不相同。系統(tǒng)主要的產品開發(fā)功能模塊有項目立項、總體設計、零部件設計、工藝設計、工裝設計和項目管理6個子模塊。項目立項子模塊顯示的是項目準備階段的功能頁面,具有市場調研報告、可行性分析報告的上傳下載,項目審批狀態(tài)的顯示等功能。項目管理子模塊是對歷史項目的匯總。其他4個模塊是設計階段的功能顯示,總體設計、零部件設計、工藝設計、工裝設計每個流程對應一個子模塊,產品在該階段的具體信息以及該階段的審批進度都會在對應頁面顯示,并提供查詢、下載等功能。圖5為零部件設計的界面圖。

圖5 零部件設計界面圖

3.3.2 產品設計研發(fā)方案評價

產品設計研發(fā)方案評價是基于大數據技術完成的,將分析計算后的指標數據注入模糊層次模型,得到產品設計方案的評分,進而對產品設計方案作出優(yōu)化,評價結果是不能人為修改。產品設計研發(fā)方案具體評價指標如表3所示。

表3 產品設計方案評價指標

4 結語

本文針對產品開發(fā)管理系統(tǒng)存在的問題,研究并設計了基于大數據的產品開發(fā)管理系統(tǒng),系統(tǒng)以產品開發(fā)的全生命周期數據為出發(fā)點,圍繞產品開發(fā)設計、分析、管理、優(yōu)化等需求,構建了集系統(tǒng)管理、產品開發(fā)設計管理、產品設計方案評價于一體的產品開發(fā)管理系統(tǒng),通過大數據技術實現(xiàn)對產品開發(fā)全生命周期各類數據的存儲分析,優(yōu)化了產品開發(fā)設計流程,提高了產品開發(fā)的效率。