智能制造解決航天問題

大數(shù)據(jù)在產(chǎn)業(yè)趨勢(shì)中分為幾個(gè)階段：第一個(gè)階段是性能擴(kuò)展階段，即依靠分布式計(jì)算手段，提升了處理的能力，實(shí)現(xiàn)了大數(shù)據(jù)分析能力的拓展。這個(gè)階段要解決數(shù)據(jù)的采集和查詢需求。

第二個(gè)階段是資源管理階段。這個(gè)階段形成了包括虛擬化、容器技術(shù)等一系列相關(guān)的技術(shù)體系。將虛擬化等技術(shù)和大數(shù)據(jù)結(jié)合，實(shí)現(xiàn)了資源管理，讓數(shù)據(jù)中心更加良性地發(fā)展，讓資源更加地合理分配和應(yīng)用。

第三個(gè)階段是發(fā)現(xiàn)價(jià)值階段。在前面兩個(gè)階段我們?nèi)〉昧艘恍┘夹g(shù)突破，接下來就進(jìn)入深水區(qū)去發(fā)現(xiàn)價(jià)值。目前我們處在這一階段，建立數(shù)據(jù)治理體系，讓數(shù)據(jù)變成一種價(jià)值，是我們當(dāng)下需要解決的事情。

為何提出大數(shù)據(jù)一體化解決方案？

我們可以實(shí)時(shí)分析應(yīng)用場(chǎng)景，如航天軌道發(fā)射過程中的軌道分析、生產(chǎn)過程中質(zhì)量的籌建、即時(shí)查詢、多維分析、交互式分析、可視化展示、離線分析，還有數(shù)據(jù)清洗、指標(biāo)統(tǒng)計(jì)、主題建模，都是分析場(chǎng)景解決的問題。

我們擁有數(shù)據(jù)、工具、模型、方法。數(shù)據(jù)：需要把所有的數(shù)據(jù)按照它的含義關(guān)聯(lián)標(biāo)定，構(gòu)建一個(gè)數(shù)據(jù)網(wǎng)絡(luò)。工具：有哪些工具能解決分析的問題。模型：數(shù)據(jù)可以通過工具產(chǎn)生模型，不同的建模手段產(chǎn)生的不同模型，和數(shù)據(jù)之間存在關(guān)聯(lián)。方法：發(fā)現(xiàn)數(shù)據(jù)價(jià)值的方法和設(shè)計(jì)思想，并構(gòu)建信息社交體系，讓航天所有分析數(shù)據(jù)的人員形成一個(gè)整體的分析社交網(wǎng)絡(luò)，通過這個(gè)網(wǎng)絡(luò)生成一個(gè)模型的交互式模式。這個(gè)平臺(tái)發(fā)布的不再是給領(lǐng)導(dǎo)看的一張報(bào)表，而是讓所有的信息在人員之間流通起來。

為此，一方面我們提出航天大數(shù)據(jù)一體化解決方案，從采集、存儲(chǔ)、分析、可視化展示和搭建整個(gè)能力的建設(shè)；另一方面，我們有資源云的設(shè)計(jì)，建立一個(gè)信息資產(chǎn)平臺(tái)，讓大家在平臺(tái)上展開社交。

實(shí)現(xiàn)智能制造解決航天問題

我們整體產(chǎn)品理念：融入大數(shù)據(jù)開源生態(tài)，依托生態(tài)形成完整的大數(shù)據(jù)解決方案；整合上下游產(chǎn)業(yè)生態(tài)，形成商業(yè)大數(shù)據(jù)私有云“交鑰匙”工程；突破結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)難題，同時(shí)支撐秒級(jí)檢索和高效分析；建立以數(shù)據(jù)為中心的大數(shù)據(jù)治理生態(tài)體系；圍繞行業(yè)數(shù)據(jù)價(jià)值，在數(shù)據(jù)分析算法上形成突破。

在數(shù)據(jù)接入層，我們針對(duì)復(fù)雜異構(gòu)數(shù)據(jù)、日志類數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)，分別構(gòu)建ETL采集系統(tǒng)、實(shí)時(shí)數(shù)據(jù)接入系統(tǒng)和網(wǎng)絡(luò)爬蟲系統(tǒng)，滿足數(shù)據(jù)接入業(yè)務(wù)需求。ETL采集系統(tǒng)將采集到的數(shù)據(jù)，經(jīng)實(shí)時(shí)計(jì)算平臺(tái)進(jìn)入統(tǒng)一加載平臺(tái)，最后融入我們的數(shù)據(jù)存儲(chǔ)平臺(tái)。

在數(shù)據(jù)的存儲(chǔ)層，首先要解決結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)問題。目前傳統(tǒng)的存儲(chǔ)雖能解決一些問題，但只能滿足某一類業(yè)務(wù)需求。

而要將結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)，需要滿足檢索、統(tǒng)計(jì)、范圍這三類業(yè)務(wù)需求。我們通過專利儲(chǔ)存索引技術(shù)—行列混合壓縮、粗粒度摘要檢索和稀疏Hash索引，有效地解決了這些問題。

在將分析引擎和存儲(chǔ)引擎進(jìn)行對(duì)接的層面上，我們擁有以基于數(shù)據(jù)分布感知的存儲(chǔ)層二階段數(shù)據(jù)訪問協(xié)議為界面的分析系統(tǒng)融合方案。

上層的計(jì)算引擎可以是Spark RDD/DataFrame、MPI、Hadoop MR等；在存儲(chǔ)層，為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)構(gòu)建了統(tǒng)一的存儲(chǔ)系統(tǒng)，通過這種方式進(jìn)行位置感知。文本挖掘技術(shù)以結(jié)構(gòu)化數(shù)據(jù)挖掘MPP框架為核心，針對(duì)文本數(shù)據(jù)，建立以分詞為中心的自然語言處理體系，并為常用場(chǎng)景預(yù)置通用分析算法。

在資源層面，神軟智匯云平臺(tái)可以提供長(zhǎng)時(shí)服務(wù)和一次性服務(wù)：長(zhǎng)時(shí)服務(wù)是指服務(wù)啟動(dòng)之后一直在運(yùn)行，服務(wù)內(nèi)計(jì)算作業(yè)資源管理由服務(wù)負(fù)責(zé)；一次性服務(wù)是指服務(wù)啟動(dòng)后僅運(yùn)行調(diào)度作業(yè)，服務(wù)內(nèi)計(jì)算作業(yè)資源運(yùn)行時(shí)動(dòng)態(tài)申請(qǐng)。長(zhǎng)時(shí)服務(wù)可以提供毫秒，一次性提供的是離線分析內(nèi)容。

在數(shù)據(jù)治理層面，我們把整個(gè)數(shù)據(jù)按照技術(shù)和業(yè)務(wù)進(jìn)行分析，實(shí)現(xiàn)資產(chǎn)的統(tǒng)一管理，可以構(gòu)建信息資產(chǎn)庫，在數(shù)據(jù)中建立不同的數(shù)據(jù)庫和模型，將所有這些整合在一起形成信息地圖。通過信息地圖，使信息資產(chǎn)流動(dòng)，從而實(shí)現(xiàn)共享和交換，最終構(gòu)建信息社交體系。

在案例方面，作為航天企業(yè)，首先解決是工業(yè)大數(shù)據(jù)的問題。在工業(yè)大數(shù)據(jù)體系中，我們要解決銷售、制造、設(shè)計(jì)和供應(yīng)鏈的整合。通過這種方式實(shí)現(xiàn)智能制造—智能設(shè)計(jì)、智能監(jiān)控、智能管理、智能生產(chǎn)的大平臺(tái)，來解決航天的問題。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）