大數(shù)據(jù)技術(shù)在電力招標(biāo)采購分析中的應(yīng)用

周欣

摘要：隨著很多高新技術(shù)的進(jìn)步與發(fā)展，比如說大數(shù)據(jù)、云計(jì)算、社交網(wǎng)絡(luò)、移動(dòng)通信以及大數(shù)據(jù)等新興的信息化技術(shù)正在逐漸滲透到各行各業(yè)中。其中電力企業(yè)作為我國技術(shù)密集型與資產(chǎn)密集型的典型行業(yè)代表，數(shù)據(jù)量正在迅猛增長。信息技術(shù)已經(jīng)在生產(chǎn)、基建、辦公、經(jīng)營、管理等多個(gè)領(lǐng)域全方位覆蓋。

關(guān)鍵詞：電力信息化；電力招標(biāo)采購；大數(shù)據(jù)；數(shù)據(jù)分析

1 大數(shù)據(jù)分析基本方法

1.1 數(shù)據(jù)統(tǒng)計(jì) / 分析

通過統(tǒng)計(jì)與分析實(shí)現(xiàn)滿足大多數(shù)的用戶需求，其中一些實(shí)時(shí)性要求較高的需求經(jīng)常采用 Oracle Exadata、EMC GreenPlum、以及基于 MySQL 的列式存儲(chǔ)Infobright 等工具方法。一些批處理操作或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求則可以使用 Hadoop 工具進(jìn)行統(tǒng)計(jì)與分析，大數(shù)據(jù)的統(tǒng)計(jì)和分析的主要特點(diǎn)和挑戰(zhàn)在于涉及的數(shù)據(jù)量大，進(jìn)行計(jì)算分析時(shí)其對(duì)系統(tǒng)資源，尤其是 I/O 的并發(fā)要求非常高。本文使用的主要統(tǒng)計(jì)和分析地方法如下：（1）數(shù)據(jù) ETL：收集來自信息系統(tǒng)的歷史和實(shí)時(shí)數(shù)據(jù)，轉(zhuǎn)為特定格式后導(dǎo)入分析平臺(tái)的存儲(chǔ)模塊。（2）分類統(tǒng)計(jì)：用簡單的歸納和數(shù)學(xué)統(tǒng)計(jì)的方法整理歷史上的既有數(shù)據(jù)生成報(bào)表等內(nèi)容。（3）多維分析：維即分類統(tǒng)計(jì)的基本元素，一般為一條記錄中的一個(gè)字段，多維分析是指組合多個(gè)維，并對(duì)他們進(jìn)行分析操作，如縮放單位尺度，選取特定范圍等。

1.2 數(shù)據(jù)挖掘

與統(tǒng)計(jì)和分析最大的不同在于數(shù)據(jù)挖掘往往沒有預(yù)先設(shè)定好的內(nèi)容范圍，其主要突出現(xiàn)在數(shù)據(jù)層面上進(jìn)行的基于各種算法的計(jì)算和分析，從而實(shí)現(xiàn)預(yù)測的效果，并作為一些高級(jí)別數(shù)據(jù)分析的憑證和基礎(chǔ)。數(shù)據(jù)挖掘的典型算法：用于聚類的K-Means、用于統(tǒng)計(jì)學(xué)習(xí)的 SVM 和用于分類的 Naive Bayes 等。數(shù)據(jù)挖掘的主要分析工具 ：spark、Hadoop Mahout 等。數(shù)據(jù)挖掘過程的主要特點(diǎn)和挑戰(zhàn)在于挖掘的算法非常的復(fù)雜，且計(jì)算涉及的數(shù)據(jù)量以及計(jì)算總量都非常多且復(fù)雜。數(shù)據(jù)挖掘目的在于：通過數(shù)據(jù)利用算法找出潛在的關(guān)聯(lián)性，預(yù)測一些將來的發(fā)展趨勢。

2 招標(biāo)采購數(shù)據(jù)分析用例

2.1 數(shù)據(jù)清洗和分類統(tǒng)計(jì)

分類統(tǒng)計(jì)旨在解決招標(biāo)采購數(shù)據(jù)的雜亂性，需要將其進(jìn)行清洗，清洗的主要工作在于字段格式和字段選項(xiàng)的統(tǒng)一，如將 10kv 電纜歸納為電力電纜，否則填報(bào)人員的不同用詞將會(huì)導(dǎo)致統(tǒng)計(jì)困難。對(duì)于使用自然語言描述的招標(biāo)內(nèi)容則需進(jìn)行分詞后提取有用的信息再進(jìn)行分類。分類統(tǒng)計(jì)需要建立多個(gè)維度綜合統(tǒng)計(jì)，包括時(shí)間、物資類別、委托單位、中標(biāo)單位、金額等，作為報(bào)表數(shù)據(jù)的來源和后續(xù)分析的基礎(chǔ)，整理后的維度越多，數(shù)據(jù)質(zhì)量越高，則分析結(jié)果越為準(zhǔn)確。如按年度分析各單位的委托金額，同時(shí)可以看到各年度的總金額如下：

如將時(shí)間維度縮放到月，可以看到更細(xì)顆粒度的信息。

2.2 關(guān)聯(lián)分析

關(guān)聯(lián)分析旨在找到兩個(gè)或多個(gè)統(tǒng)計(jì)項(xiàng)之間的聯(lián)系，通常以關(guān)聯(lián)度表示，正值表示兩者相關(guān)性更高，負(fù)值則反之，數(shù)值越大關(guān)聯(lián)性越強(qiáng)。經(jīng)過此類分析，我們能找到原本在業(yè)務(wù)上就有關(guān)聯(lián)的物資，如采購電纜的同時(shí)往往需要一些周邊產(chǎn)品。還有一些關(guān)聯(lián)物資并不存在實(shí)際工作上的相關(guān)性，造成他們具有相關(guān)性的可能性是季節(jié)，地域等其他方面的原因。委托公司可根據(jù)此項(xiàng)分析結(jié)果，在發(fā)布一類物資的招標(biāo)信息時(shí)，可以同時(shí)考慮另一種相關(guān)性強(qiáng)的物資的采購，哪怕他們并不是真正有關(guān)，從而可以提高工作效率。

2.3 流程分析

流程分析可以找到各招標(biāo)類別在各環(huán)節(jié)上的耗時(shí)，如統(tǒng)計(jì)申報(bào)，立項(xiàng)，發(fā)標(biāo)，開標(biāo)，中標(biāo)，結(jié)項(xiàng)等環(huán)節(jié)在物資框架，專項(xiàng)，超市化等招標(biāo)類型下的耗時(shí)。最后的結(jié)果存在較大的差異性，因此必須與實(shí)際工作結(jié)合分析，有可能能找到可以優(yōu)化的工作流程。

2.4 項(xiàng)目優(yōu)化

此分析需要與招標(biāo)采購信息系統(tǒng)實(shí)時(shí)合作，旨在找到可以合并的招標(biāo)項(xiàng)目，由于電力系統(tǒng)物資的特殊性，不可能有大范圍的廠家進(jìn)行生產(chǎn)投標(biāo)，也不可能有大范圍的委托單位，往往同類物資的委托方，廠家也都相同 ，通過解讀分析數(shù)據(jù)，可以避免重復(fù)發(fā)布，提高工作效率。合并的方法是設(shè)計(jì)一套合并權(quán)重，針對(duì)不同的合并目標(biāo)設(shè)置不同的數(shù)值，最后得出一個(gè)數(shù)值化的合并推薦度。項(xiàng)目合并有兩個(gè)主要方向，一個(gè)是合并委托方的招標(biāo)信息，此類合并的關(guān)鍵權(quán)重值有：委托方，物資類別，招標(biāo)時(shí)間。委托方得知自己發(fā)布了相近的委托后，可以根據(jù)實(shí)際情況決定是否可以將其合并為同一份委托。另一個(gè)是合并廠家的投標(biāo)信息，此類合并的關(guān)鍵權(quán)重值有：物資類別，招標(biāo)時(shí)間。廠家設(shè)置好自己的情況后，即可合并投遞類似的委托。這些推薦信息有可能可以幫助雙方更快更好地進(jìn)行合作。

2.5 項(xiàng)目預(yù)測

此分析針對(duì)特定物資進(jìn)行分析，繪制時(shí)間 - 金額的招投標(biāo)信息散點(diǎn)圖，隨后對(duì)此數(shù)據(jù)做線性回歸擬合，便可以預(yù)測下一個(gè)時(shí)間段可能的采購數(shù)量，此類預(yù)測對(duì)數(shù)據(jù)量有一定的要求，建議針對(duì)電纜等長時(shí)間采購的常規(guī)物資進(jìn)行分析。

3 應(yīng)用實(shí)效

基于上述分析方法，電力招標(biāo)采購信息分析系統(tǒng)可以讓用戶選擇所需的分析維度和分析層次，實(shí)時(shí)生成報(bào)告圖表，并提供小段文字解讀，供用戶參考使用。還提供了年度和月度報(bào)告。數(shù)據(jù)分析可以提高現(xiàn)有信息管理工作的專業(yè)化，精細(xì)化水平。

基于大數(shù)據(jù)分析使我們能更好地管理電力招標(biāo)采購中的各類信息，并且經(jīng)過一定的分析提煉出它的隱藏價(jià)值，本文較粗淺地給出了一些應(yīng)用實(shí)例，希望可以借以提高日常工作的效率。

參考文獻(xiàn)：

[1]P Harrington.“Machine learning in action”[M].Greenwich：Manning Publications，2012.

[2]王瑞雷，欒靜，潘曉花 ， 盧修配 . 一種改進(jìn)的中文分詞正向最大匹配算法[J].計(jì)算機(jī)應(yīng)用與軟件 ，2011（03）.

（作者單位：江蘇省設(shè)備成套有限公司）