王輝 邢偉 曹帥 陰鵬飛 史夢(mèng)瑤
摘 要:本文介紹了工業(yè)企業(yè)數(shù)據(jù)平臺(tái)分析系統(tǒng)的數(shù)據(jù)挖掘和知識(shí)圖譜相關(guān)知識(shí),分析了數(shù)據(jù)挖掘方面的知識(shí)體系建設(shè)、實(shí)體識(shí)別、相關(guān)的算法和知識(shí)圖譜方面的技術(shù)路線、業(yè)務(wù)建設(shè)、具體應(yīng)用、核心算法,為業(yè)務(wù)應(yīng)用的智能問(wèn)答系統(tǒng)提供了數(shù)據(jù)和服務(wù)支持。
關(guān)鍵詞:工業(yè)企業(yè),數(shù)據(jù)分析,可視化工具,數(shù)據(jù)挖掘,知識(shí)圖譜
DOI編碼:10.3969/j.issn.1002-5944.2023.20.013
0 引 言
數(shù)據(jù)挖掘和知識(shí)圖譜系統(tǒng)是工業(yè)企業(yè)數(shù)據(jù)平臺(tái)的大數(shù)據(jù)中臺(tái)的重要組成部分。它以工業(yè)企業(yè)數(shù)據(jù)平臺(tái)的采集系統(tǒng)的元數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)源,其輸出成果為工業(yè)企業(yè)的智能問(wèn)答系統(tǒng)的業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐和服務(wù)支撐,對(duì)數(shù)據(jù)挖掘和知識(shí)圖譜起到承上啟下的作用。下面分別從數(shù)據(jù)挖掘、知識(shí)圖譜和自然語(yǔ)言處理工具三個(gè)方面做論述,希望對(duì)讀者能有一定的借鑒意義。
1 數(shù)據(jù)挖掘
1.1 知識(shí)體系建設(shè)
本平臺(tái)的知識(shí)體系建設(shè)包括平臺(tái)知識(shí)體系和機(jī)構(gòu)知識(shí)體系。
平臺(tái)知識(shí)體系是指針對(duì)工業(yè)企業(yè)的各個(gè)業(yè)務(wù)平臺(tái)創(chuàng)建的指標(biāo)標(biāo)簽體系。包括辦公協(xié)同平臺(tái)、經(jīng)營(yíng)管理平臺(tái)、安全生產(chǎn)平臺(tái)、標(biāo)準(zhǔn)運(yùn)行平臺(tái)、共享服務(wù)平臺(tái)、移動(dòng)支付平臺(tái)等一級(jí)標(biāo)簽。其中辦公協(xié)同平臺(tái)對(duì)應(yīng)有一站式信息平臺(tái)標(biāo)簽、員工自助標(biāo)簽、業(yè)務(wù)云平臺(tái)、工資報(bào)表、自主招聘等二級(jí)標(biāo)簽;安全生產(chǎn)下對(duì)應(yīng)安全生產(chǎn)管理信息平臺(tái)、安全生產(chǎn)OMS、雙預(yù)控;虹膜稽核等二級(jí)標(biāo)簽;經(jīng)營(yíng)管理對(duì)應(yīng)BPC全面預(yù)算、數(shù)據(jù)治理平臺(tái)、電子商務(wù)、合同審計(jì)、招投標(biāo)平臺(tái)等二級(jí)標(biāo)簽[1]。
機(jī)構(gòu)知識(shí)體系主要針對(duì)本平臺(tái)所在的直屬機(jī)構(gòu)創(chuàng)建的指標(biāo)標(biāo)簽體系。包括機(jī)關(guān)部室、共享中心、各級(jí)業(yè)務(wù)部門、客戶、供應(yīng)商等一級(jí)標(biāo)簽。
1.2 實(shí)體識(shí)別
實(shí)體識(shí)別的技術(shù)路線是通過(guò)構(gòu)建結(jié)合數(shù)據(jù)主動(dòng)命名實(shí)體識(shí)別系統(tǒng),準(zhǔn)備訓(xùn)練命名實(shí)體識(shí)別模型所需要的數(shù)據(jù)集,主動(dòng)學(xué)習(xí)模塊、數(shù)據(jù)標(biāo)注模塊、數(shù)據(jù)增強(qiáng)模塊采用順序化循環(huán)的方式對(duì)實(shí)體識(shí)別模塊中的命名實(shí)體識(shí)別模型繼續(xù)訓(xùn)練并對(duì)數(shù)據(jù)進(jìn)行標(biāo)注和增強(qiáng)。訓(xùn)練后的命名實(shí)體識(shí)別模塊對(duì)各個(gè)數(shù)據(jù)源的文本進(jìn)行命名實(shí)體識(shí)別的過(guò)程。本章重點(diǎn)對(duì)部門識(shí)別樣本、人員識(shí)別樣本、標(biāo)準(zhǔn)識(shí)別樣本來(lái)闡述實(shí)體識(shí)別的過(guò)程。
1.2.1 組織識(shí)別樣本
業(yè)務(wù)組織部門識(shí)別樣本是利用實(shí)體識(shí)別技術(shù)路線對(duì)業(yè)務(wù)組織部門信息識(shí)別的具體應(yīng)用。業(yè)務(wù)組織部門識(shí)別體系包括業(yè)務(wù)組織部門詞典數(shù)據(jù)集、業(yè)務(wù)組織部門關(guān)聯(lián)數(shù)據(jù)集、業(yè)務(wù)組織部門屬性集、測(cè)試數(shù)據(jù)源、業(yè)務(wù)組織部門主題詞識(shí)別模塊、業(yè)務(wù)組織部門數(shù)據(jù)標(biāo)注模塊、業(yè)務(wù)組織部門實(shí)體識(shí)別模塊,業(yè)務(wù)組織部門實(shí)體增強(qiáng)模塊、業(yè)務(wù)組織部門屬性關(guān)聯(lián)模塊等組成。
具體實(shí)現(xiàn)過(guò)程:利用業(yè)務(wù)組織部門主題詞識(shí)別模塊,從數(shù)據(jù)源中提取與業(yè)務(wù)組織部門相關(guān)的主題詞;通過(guò)業(yè)務(wù)組織部門增強(qiáng)模塊和實(shí)體識(shí)別模塊在詞典數(shù)據(jù)集、關(guān)聯(lián)數(shù)據(jù)集、屬性集對(duì)識(shí)別到的信息進(jìn)一步加強(qiáng)和規(guī)范化;通過(guò)業(yè)務(wù)組織部門數(shù)據(jù)標(biāo)注模塊對(duì)被監(jiān)測(cè)數(shù)據(jù)源進(jìn)行實(shí)體標(biāo)簽標(biāo)注,并建立索引;根據(jù)檢測(cè)結(jié)果和基礎(chǔ)數(shù)據(jù)集進(jìn)行反饋和補(bǔ)充,進(jìn)一步完善業(yè)務(wù)組織部門基礎(chǔ)數(shù)據(jù)的過(guò)程。
針對(duì)不同的測(cè)試樣本進(jìn)行往復(fù)循環(huán)的過(guò)程成為業(yè)務(wù)組織部門識(shí)別算法的訓(xùn)練和完善的過(guò)程。
1.2.2 人員識(shí)別樣本
人員識(shí)別樣本是利用人名識(shí)別技術(shù)路線對(duì)不同數(shù)據(jù)源進(jìn)行行業(yè)人員的識(shí)別過(guò)程。人員識(shí)別體系由行業(yè)人員基礎(chǔ)數(shù)據(jù)集、人員屬性數(shù)據(jù)集、測(cè)試數(shù)據(jù)源、基礎(chǔ)人名識(shí)別模塊、人員數(shù)據(jù)標(biāo)注模塊、人員屬性實(shí)體識(shí)別模塊,人員實(shí)體增強(qiáng)模塊、人員屬性關(guān)聯(lián)模塊等組成。
具體實(shí)現(xiàn)過(guò)程:利用基礎(chǔ)人名識(shí)別模塊從數(shù)據(jù)源中提取出疑似人名的清單;通過(guò)人名停用詞進(jìn)行疑似人名的清洗。接下來(lái)通過(guò)疑似人名與人員實(shí)體庫(kù)進(jìn)行匹配,滿足條件詞匯,根據(jù)人員屬性實(shí)體識(shí)別模塊和人員實(shí)體增強(qiáng)模塊給疑似人名創(chuàng)建人員實(shí)體對(duì)象。通過(guò)被檢數(shù)據(jù)源中匹配對(duì)應(yīng)的屬性信息,對(duì)人員實(shí)體對(duì)象進(jìn)一步規(guī)范化;通過(guò)人員數(shù)據(jù)標(biāo)注模塊對(duì)人員信息和被監(jiān)測(cè)數(shù)據(jù)源進(jìn)行實(shí)體標(biāo)簽標(biāo)注,并建立索引;經(jīng)過(guò)人工審核后把新識(shí)別的人員基礎(chǔ)數(shù)據(jù)對(duì)基礎(chǔ)數(shù)據(jù)集進(jìn)行反饋和補(bǔ)充。
針對(duì)不同的測(cè)試樣本進(jìn)行往復(fù)循環(huán)的過(guò)程成為識(shí)別算法的訓(xùn)練和完善的過(guò)程。
1.2.3 標(biāo)準(zhǔn)識(shí)別樣本
標(biāo)準(zhǔn)識(shí)別樣本是利用上下游標(biāo)準(zhǔn)固有類別數(shù)據(jù)集為基礎(chǔ),從不同數(shù)據(jù)源進(jìn)行標(biāo)準(zhǔn)信息提取、識(shí)別和融合的過(guò)程。專家識(shí)別體系包括行業(yè)標(biāo)準(zhǔn)基礎(chǔ)數(shù)據(jù)集、行業(yè)企業(yè)基礎(chǔ)數(shù)據(jù)集、標(biāo)準(zhǔn)屬性數(shù)據(jù)集、測(cè)試數(shù)據(jù)源、標(biāo)準(zhǔn)主題詞識(shí)別模塊、標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)注模塊、標(biāo)準(zhǔn)屬性實(shí)體識(shí)別模塊,標(biāo)準(zhǔn)實(shí)體增強(qiáng)模塊、標(biāo)準(zhǔn)屬性關(guān)聯(lián)模塊等組成。
針對(duì)不同的測(cè)試樣本進(jìn)行往復(fù)循環(huán)的過(guò)程成為標(biāo)準(zhǔn)識(shí)別算法的訓(xùn)練和完善的過(guò)程。
1.2.4 其它實(shí)體識(shí)別樣本
其它實(shí)體還包括辦公協(xié)同實(shí)體識(shí)別、經(jīng)營(yíng)管理實(shí)體識(shí)別、安全生產(chǎn)實(shí)體識(shí)別、共享服務(wù)實(shí)體識(shí)別、移動(dòng)支付實(shí)體識(shí)別、機(jī)關(guān)部室實(shí)體識(shí)別等內(nèi)容。在此不再贅述。
1.3 算法介紹
1.3.1 分詞、詞性標(biāo)注和關(guān)鍵詞抽取算法
(1)分詞算法。分詞主要是基于統(tǒng)計(jì)詞典,構(gòu)造一個(gè)前綴詞典;然后利用前綴詞典對(duì)輸入句子進(jìn)行切分,得到所有的切分可能,根據(jù)切分位置,構(gòu)造一個(gè)有向無(wú)環(huán)圖;通過(guò)動(dòng)態(tài)規(guī)劃算法,計(jì)算得到最大概率路徑,也就得到了最終的切分形式。
(2)詞性標(biāo)注算法。分詞的詞性標(biāo)注過(guò)程非常類似于分詞流程,同時(shí)進(jìn)行分詞和詞性標(biāo)注。
(3)關(guān)鍵詞抽取算法。分詞系統(tǒng)中實(shí)現(xiàn)了兩種關(guān)鍵詞抽取算法,分別是基于TF-IDF關(guān)鍵詞抽取算法和基于TextRank關(guān)鍵詞抽取算法,兩類算法均是無(wú)監(jiān)督學(xué)習(xí)的算法。
(4)HMM模型。由于處理的文本大部分為中文文本,基于漢字成詞能力的HMM模型識(shí)別特別適合本平臺(tái)的業(yè)務(wù)場(chǎng)景。利用HMM模型進(jìn)行分詞,主要是將分詞問(wèn)題視為一個(gè)序列標(biāo)注(sequencelabeling)問(wèn)題。其中,句子為觀測(cè)序列,分詞結(jié)果為狀態(tài)序列。首先通過(guò)語(yǔ)料訓(xùn)練出HMM相關(guān)的模型,然后利用Viterbi算法進(jìn)行求解,最終得到最優(yōu)的狀態(tài)序列,然后再根據(jù)狀態(tài)序列,輸出分詞結(jié)果。
1.3.2 貝葉斯算法
貝葉斯分類算法是統(tǒng)計(jì)學(xué)的一種分類方法,它是一類利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類的算法。該算法能運(yùn)用到大型數(shù)據(jù)庫(kù)中,而且方法簡(jiǎn)單、分類準(zhǔn)確率高、速度快。
由于貝葉斯定理假設(shè)一個(gè)屬性值對(duì)給定類的影響?yīng)毩⒂谄渌鼘傩缘闹?,而此假設(shè)在實(shí)際情況中經(jīng)常是不成立的,因此其分類準(zhǔn)確率可能會(huì)下降。為此,就衍生出許多降低獨(dú)立性假設(shè)的貝葉斯分類算法,如TAN(tree augmented Bayes network)算法。
2 知識(shí)圖譜
2.1 技術(shù)路線
知識(shí)圖譜基于語(yǔ)義解析的問(wèn)答技術(shù),是一種管道式的方法。首先需要對(duì)用戶的查詢問(wèn)句進(jìn)行語(yǔ)義解析,獲取查詢對(duì)象、對(duì)象約束與用戶意圖,而后根據(jù)查詢對(duì)象、約束之間的關(guān)聯(lián)關(guān)系形成查詢圖,最后使用查詢圖與知識(shí)圖譜進(jìn)行匹配和推理,獲取并推送給用戶所需要的知識(shí)。
其中涉及的關(guān)鍵技術(shù)有:命名實(shí)體識(shí)別(用于獲取查詢對(duì)象以及約束對(duì)象的字符串表達(dá))、實(shí)體鏈接、語(yǔ)義解析、圖匹配算法(用于將查詢圖與知識(shí)圖譜進(jìn)行匹配,獲取最終答案實(shí)體)、文本生成算法(以答案實(shí)體、知識(shí)圖譜與用戶問(wèn)句作為條件,生成易于理解的文本返回給用戶)[2]。
2.2 業(yè)務(wù)建設(shè)
針對(duì)多數(shù)據(jù)源的融合應(yīng)用,構(gòu)建基于多數(shù)據(jù)源的知識(shí)圖譜。首先,對(duì)不同來(lái)源的數(shù)據(jù)構(gòu)建相應(yīng)的本地庫(kù),并將不同的本地庫(kù)通過(guò)數(shù)據(jù)融合映射到全局本地庫(kù)。然后,利用實(shí)體對(duì)齊和實(shí)體方法進(jìn)行知識(shí)獲取和融合。最后搭建知識(shí)圖譜應(yīng)用平臺(tái),提供查詢和統(tǒng)計(jì)等操作。
2.2.1 知識(shí)圖譜構(gòu)建過(guò)程
知識(shí)圖譜的構(gòu)建分為兩步:知識(shí)圖譜本體層構(gòu)建和實(shí)體層的學(xué)習(xí)。其中,本體層構(gòu)建包括主題詞抽取、同義詞抽取、概念抽取、分類關(guān)系抽取、公理和規(guī)則學(xué)習(xí);實(shí)體層學(xué)習(xí)包括實(shí)體學(xué)習(xí)、實(shí)體數(shù)據(jù)填充、實(shí)體對(duì)齊和實(shí)體等。
知識(shí)圖譜的構(gòu)建方法包括自上向下和自底向上兩種。自上向下的方法指先構(gòu)建知識(shí)圖譜的本體,即從煤炭行業(yè)領(lǐng)域、煤炭行業(yè)詞典及其它高質(zhì)量的數(shù)據(jù)源中,提取本體和模式信息,添加到知識(shí)庫(kù)中;自底向上方法指從實(shí)體層開(kāi)始,借助一定的技術(shù)手段,對(duì)實(shí)體進(jìn)展歸納組織,實(shí)體對(duì)齊和實(shí)體等,并提取出具有較高執(zhí)行度的新模式,經(jīng)人工審核后,補(bǔ)充到知識(shí)圖譜中。
2.2.2 多數(shù)據(jù)源融合的知識(shí)圖譜構(gòu)建
為實(shí)現(xiàn)各類知識(shí)圖譜服務(wù)支撐的快速查詢,本平臺(tái)在融合多種數(shù)據(jù)源的情況下,構(gòu)建了多數(shù)據(jù)源的知識(shí)圖譜。首先對(duì)不同實(shí)體構(gòu)建不同領(lǐng)域的本地庫(kù),然后將不同領(lǐng)域經(jīng)過(guò)映射成全局本地庫(kù),接著對(duì)各領(lǐng)域的知識(shí)庫(kù)實(shí)施實(shí)體對(duì)齊過(guò)程和實(shí)體過(guò)程,豐富和擴(kuò)展構(gòu)造多數(shù)據(jù)融合的知識(shí)圖譜。
2.2.3 實(shí)體對(duì)齊
實(shí)體對(duì)齊,也稱實(shí)體匹配或?qū)嶓w解析,是對(duì)相同或者不同數(shù)據(jù)集中兩個(gè)實(shí)體是否指向真實(shí)世界同一對(duì)象的過(guò)程。實(shí)體對(duì)齊如圖1所示。
本系統(tǒng)通過(guò)實(shí)體對(duì)齊,發(fā)現(xiàn)在不同知識(shí)庫(kù)中的實(shí)體名稱,并將這些實(shí)體進(jìn)一步合并,對(duì)該實(shí)體創(chuàng)建標(biāo)識(shí)索引,最終將該實(shí)體添加到對(duì)應(yīng)的知識(shí)圖譜的過(guò)程。
2.2.4 實(shí)體說(shuō)明
實(shí)體是指對(duì)于從文本中抽取得到的實(shí)體對(duì)象,將其到知識(shí)圖譜中對(duì)應(yīng)的正確實(shí)體對(duì)象的操作。實(shí)體說(shuō)明如圖2所示。
其指導(dǎo)思想是根據(jù)給定三元組的頭(尾)實(shí)體和關(guān)系,從知識(shí)圖譜激活相關(guān)文本數(shù)據(jù),選出一組候選實(shí)體對(duì)象,并通過(guò)實(shí)體預(yù)測(cè)算法,計(jì)算出正確的尾(頭)實(shí)體,并將得到的三元組添加到對(duì)應(yīng)的知識(shí)圖譜中。
2.3 圖譜應(yīng)用
知識(shí)體系統(tǒng)計(jì)是指知識(shí)體系中結(jié)合具體行業(yè)固有類別標(biāo)簽的分析統(tǒng)計(jì)過(guò)程。在該過(guò)程中,需要依據(jù)行業(yè)固有的類別和標(biāo)簽進(jìn)行主題詞、屬性詞、相關(guān)詞、場(chǎng)景詞等產(chǎn)生關(guān)聯(lián)和上下拓?fù)潢P(guān)系,從而通過(guò)行業(yè)固有類別或者標(biāo)簽,根據(jù)知識(shí)體系,能通過(guò)檢索和識(shí)別、拓?fù)?,提取出針?duì)行業(yè)有實(shí)際經(jīng)濟(jì)效益價(jià)值的一系列有效信息。
2.3.1 區(qū)域圖譜
區(qū)域圖譜指能源企業(yè)在地域上的拓?fù)潢P(guān)系化。本過(guò)程需要關(guān)聯(lián)能源產(chǎn)業(yè)鏈的上下游企業(yè)關(guān)系、能源企業(yè)之間的隸屬歸屬關(guān)系、能源企業(yè)在地域上分布關(guān)系等。輸出成果為在全球地圖上呈現(xiàn)不同地域時(shí)間的地區(qū)分布圖譜。
地域信息統(tǒng)計(jì)是指把知識(shí)體系中的對(duì)象信息按照地域信息進(jìn)行統(tǒng)計(jì)的過(guò)程。地域范圍從大到小分別包括世界級(jí)、洲際級(jí)、國(guó)家級(jí)、行政區(qū)域級(jí)、城市級(jí)等幾個(gè)級(jí)別,按地區(qū)進(jìn)行關(guān)聯(lián)展示。
2.3.2 技術(shù)信息統(tǒng)計(jì)
針對(duì)技術(shù)類別的屬性指標(biāo)、標(biāo)簽指標(biāo),結(jié)合能源行業(yè)業(yè)務(wù)知識(shí)相關(guān)性,按照業(yè)務(wù)權(quán)重形成行業(yè)標(biāo)簽圖譜。圖譜對(duì)應(yīng)標(biāo)簽可以關(guān)聯(lián)到企業(yè)、產(chǎn)品、技術(shù)、文獻(xiàn)、組織等一系列的相關(guān)信息。本知識(shí)圖譜支持重的上行下鉆動(dòng)作。
技術(shù)信息統(tǒng)計(jì)是知識(shí)體系依據(jù)產(chǎn)品標(biāo)簽級(jí)行業(yè)固有類別進(jìn)行統(tǒng)計(jì)的過(guò)程。本系統(tǒng)統(tǒng)計(jì)的對(duì)象為企業(yè),可以通過(guò)產(chǎn)品類別、固有行業(yè)標(biāo)簽等信息順利統(tǒng)計(jì)出相關(guān)聯(lián)的企業(yè)信息。然后再通過(guò)企業(yè)信息關(guān)聯(lián)到企業(yè)的其他屬性信息。
2.3.3 趨勢(shì)分析統(tǒng)計(jì)
趨勢(shì)分析圖譜通過(guò)對(duì)狀態(tài)監(jiān)測(cè)、控制系統(tǒng)、回歸分析等一系列指標(biāo)與新聞、論文、專利等發(fā)布時(shí)間進(jìn)行關(guān)聯(lián),從而分析不同指標(biāo)下新聞、論文、專利等的活躍趨勢(shì)過(guò)程。
趨勢(shì)分析統(tǒng)計(jì)過(guò)程是依據(jù)行業(yè)相關(guān)知識(shí)成果體系進(jìn)行時(shí)間范圍統(tǒng)計(jì)的過(guò)程。統(tǒng)計(jì)對(duì)象包括新聞、論文、專利等知識(shí)成果,統(tǒng)計(jì)維度為時(shí)間,統(tǒng)計(jì)的指標(biāo)為時(shí)間段內(nèi)的成果數(shù)目。
2.4 核心算法介紹
2.4.1 三元組構(gòu)建算法
基于知識(shí)圖譜的問(wèn)答系統(tǒng)很難直接回答自然文本狀態(tài)的問(wèn)題,所以我們要把問(wèn)題轉(zhuǎn)化為一定的問(wèn)題模板集。確定了候選的問(wèn)題模板集,然后就可以利用原始問(wèn)句,從中找到語(yǔ)義最接近的具體模板(通過(guò)最小編輯距離)。再對(duì)于具體的問(wèn)題模板,人工設(shè)定對(duì)應(yīng)的具體回答方式,就能夠保證回答與問(wèn)題在語(yǔ)義上的協(xié)調(diào)性。
2.4.2 關(guān)系模型到本體模型映射算法
關(guān)系數(shù)據(jù)模式到本體映射關(guān)系的建立,是一類典型的模式匹配問(wèn)題。所謂模式匹配問(wèn)題,指的是在不同的數(shù)據(jù)模式中找出語(yǔ)義相同或相似的元素對(duì),并構(gòu)造映射關(guān)系的一類問(wèn)題,即建立數(shù)據(jù)庫(kù)表到本體中類的映射以及數(shù)據(jù)庫(kù)表中字段到本體類的屬性的映射。
2.4.3 實(shí)體對(duì)齊算法
(1)實(shí)體消歧。含義:實(shí)體消歧的本質(zhì)在于一個(gè)詞有很多可能的意思,也就是在不同的上下文中所表達(dá)的含義不太一樣。例子:“蘋果”實(shí)體描述,“我的手機(jī)是蘋果”和“我喜歡吃蘋果”這兩個(gè)句子中的“蘋果”代表的含義是不一樣的。前者代表是手機(jī)、后者代表是水果[3]。
(2)共指消歧。共指消歧,又稱指代消解。由于自然語(yǔ)言充滿歧義,必須使用多種信號(hào)和知識(shí)來(lái)消除歧義。需要基于對(duì)周圍世界的了解才能明白這些指代,而這種知識(shí)很難編碼到計(jì)算機(jī)中。
2.4.4 實(shí)體映射算法-rans系列算法
知識(shí)圖譜的表示學(xué)習(xí)即將知識(shí)圖譜構(gòu)建成一個(gè)(頭實(shí)體,關(guān)系,尾實(shí)體)的三元組形式,通過(guò)目標(biāo)函數(shù)將實(shí)體和關(guān)系分別以低維的向量來(lái)表示。Trans方法主要有TransE、TransH、TransR、CtransR、TransD、TransA以及TransG等。
3 自然語(yǔ)言處理工具
3.1 可視化工具描述
本系統(tǒng)采用的可視化工具是通過(guò)以WPS插件形式,通過(guò)提取結(jié)構(gòu)化數(shù)據(jù)庫(kù)數(shù)據(jù)、本地非結(jié)構(gòu)化的文本文件數(shù)據(jù),通過(guò)插件面板形式把數(shù)據(jù)處理中涉及的各個(gè)步驟均通過(guò)功能按鈕或面板形式呈現(xiàn)給客戶。
3.2 數(shù)據(jù)編輯輔助工具
WPS文字端工具,包括文本導(dǎo)航目錄(左側(cè)面板),為用戶提供結(jié)構(gòu)化的庫(kù)表數(shù)據(jù)和非結(jié)構(gòu)化的本地?cái)?shù)據(jù)。無(wú)論是庫(kù)表數(shù)據(jù)還是本地?cái)?shù)據(jù),均可以通過(guò)WPS文字端進(jìn)行呈現(xiàn)和展示,并且允許對(duì)呈現(xiàn)的數(shù)據(jù)進(jìn)行文本編輯和字段編輯。編輯完成后根據(jù)用戶需要把內(nèi)容信息存儲(chǔ)到原始文件/目標(biāo)地址中。
本工具還提供了針對(duì)語(yǔ)義分析、標(biāo)簽算法中基礎(chǔ)詞庫(kù)的編輯功能。針對(duì)圖片、PDF、音頻等功能的自動(dòng)識(shí)別工具。協(xié)助用戶對(duì)非常規(guī)的數(shù)據(jù)源進(jìn)行文本處理轉(zhuǎn)化。
4 結(jié) 語(yǔ)
本文闡述了分析系統(tǒng)的數(shù)據(jù)源情況、數(shù)據(jù)中臺(tái)的核心業(yè)務(wù)、用戶服務(wù)的業(yè)務(wù)應(yīng)用對(duì)象及數(shù)據(jù)中臺(tái)中涉及的可視化工具。通過(guò)打造工業(yè)企業(yè)的數(shù)據(jù)中臺(tái)服務(wù),并構(gòu)建符合業(yè)務(wù)應(yīng)用的數(shù)據(jù)和服務(wù)支撐,既對(duì)大數(shù)據(jù)采集系統(tǒng)的應(yīng)用和能力進(jìn)行驗(yàn)證,也被智能問(wèn)答平臺(tái)及其他業(yè)務(wù)系統(tǒng)所驗(yàn)證。通過(guò)此類迭代式相互促進(jìn),可大幅度提升工業(yè)企業(yè)對(duì)大數(shù)據(jù)中臺(tái)建設(shè)的參與和認(rèn)知程度,從而使數(shù)據(jù)中臺(tái)的理念、機(jī)制和成果更好地服務(wù)于工業(yè)企業(yè)。