“機(jī)器數(shù)據(jù)”把數(shù)據(jù)變成答案

賀文

同樣的數(shù)據(jù)會(huì)有不同的用處，這是數(shù)據(jù)分析、數(shù)據(jù)挖掘目前的重要趨勢(shì) 。

從現(xiàn)在每年接待乘客數(shù)量9000萬(wàn)人到2020年的1億人，迪拜機(jī)場(chǎng)無(wú)疑是世界上最繁忙的國(guó)際旅游機(jī)場(chǎng)。與這個(gè)增速同步的是機(jī)場(chǎng)管理方對(duì)于乘客滿(mǎn)意度的重視。

面對(duì)每年運(yùn)送1 5億件的行李規(guī)模，迪拜機(jī)場(chǎng)通過(guò)分析行李系統(tǒng)的數(shù)據(jù)，提高行李的流轉(zhuǎn)速度，以確保乘客能盡快提取行李

Michael Ibbitson是迪拜機(jī)場(chǎng)負(fù)責(zé)技術(shù)和基礎(chǔ)設(shè)施的執(zhí)行副總裁，他介紹，在未增加飛機(jī)跑道的前提下，如何提升旅客承載量，挖掘數(shù)據(jù)背后的價(jià)值，是他們的解決之道。

一般來(lái)說(shuō)，機(jī)場(chǎng)的安全檢查需要10分鐘左右，迪拜機(jī)場(chǎng)如何在5分鐘或者更短的時(shí)間內(nèi)讓95%的乘客通過(guò)安檢？他們的做法是，統(tǒng)計(jì)可能引發(fā)安全警報(bào)的情況和發(fā)生點(diǎn)，根據(jù)整個(gè)機(jī)場(chǎng)的人員流動(dòng)情況，不斷地動(dòng)態(tài)調(diào)整安檢口的人員部署，并且及時(shí)做好乘客的分流。

面對(duì)每年運(yùn)送1.5億件的行李規(guī)模，迪拜機(jī)場(chǎng)通過(guò)分析行李系統(tǒng)的數(shù)據(jù)，提高行李的流轉(zhuǎn)速度，以確保乘客能盡快提取行李。因?yàn)橐呀?jīng)裝備了足夠多的傳感器，比如主要的行李系統(tǒng)和行李從飛機(jī)運(yùn)到傳送帶的運(yùn)輸車(chē)，如果能夠更早地獲取包括飛機(jī)到達(dá)等信息，機(jī)場(chǎng)管理方就可以更好地安排地勤人員、協(xié)調(diào)資源，接待落地的飛機(jī)，讓乘客不需要等待就拿到自己的行李。

擁有豐富數(shù)據(jù)的遠(yuǎn)不止是機(jī)場(chǎng)。隨著移動(dòng)硬件的迅速普及，互聯(lián)網(wǎng)更廣范圍的覆蓋，移動(dòng)互聯(lián)網(wǎng)應(yīng)用越來(lái)越豐富，所有的互動(dòng)幾乎都會(huì)被傳感器所捕捉，跟周邊的環(huán)境進(jìn)行數(shù)據(jù)的傳遞和互動(dòng)。

挑戰(zhàn)也隨之而來(lái)，如何在這個(gè)互動(dòng)的世界里去捕捉數(shù)據(jù)流，如何在呈幾何數(shù)量級(jí)增長(zhǎng)的各種各樣的數(shù)據(jù)里，尤其是在非結(jié)構(gòu)性的數(shù)據(jù)里，去挖掘價(jià)值，獲取深度的分析?！安粌H僅是存儲(chǔ)數(shù)據(jù)，而是讓數(shù)據(jù)能夠有用”，“把數(shù)據(jù)變成答案”是一件非常困難但又極具價(jià)值的事。

“無(wú)用之用”的數(shù)據(jù)

迪拜機(jī)場(chǎng)在一年多之前開(kāi)始使用Splunk的管理系統(tǒng)。

這家大數(shù)據(jù)的軟件解決方案提供商，既提供云端部署也有本地部署。Splunk總裁兼首席執(zhí)行官 Doug Merritt介紹，“把機(jī)器數(shù)據(jù)轉(zhuǎn)換為答案”是他們一直秉持的發(fā)展理念，他們給企業(yè)客戶(hù)提供解決方案和機(jī)器學(xué)習(xí)技術(shù)，來(lái)解決最棘手的IT運(yùn)營(yíng)，應(yīng)用程序性能分析，業(yè)務(wù)分析，物聯(lián)網(wǎng)和安全難題?，F(xiàn)在Splunk生態(tài)系統(tǒng)中有超過(guò)1000個(gè)解決方案。

如何做到“把機(jī)器數(shù)據(jù)轉(zhuǎn)換為答案”？Splunk亞太區(qū)副總裁梅正宇介紹，他們通常會(huì)先跟客戶(hù)進(jìn)行多次研討會(huì)溝通，Splunk了解自己的產(chǎn)品，知道可以做什么;客戶(hù)最了解自己的商業(yè)環(huán)境，雙方通過(guò)溝通來(lái)找問(wèn)題，要向數(shù)據(jù)提問(wèn)什么樣的問(wèn)題，要解決什么樣的問(wèn)題，一起來(lái)開(kāi)發(fā)解決方案。

在大中華區(qū)也有一個(gè)機(jī)場(chǎng)使用了Splunk的產(chǎn)品進(jìn)行IT運(yùn)維、安全維護(hù)。在這個(gè)過(guò)程中，該公司的CIO直覺(jué)可以更多地運(yùn)用數(shù)據(jù)來(lái)幫助他們提升營(yíng)運(yùn)的效率。事實(shí)上，很多機(jī)場(chǎng)都可能有一個(gè)數(shù)據(jù)庫(kù)，或者是數(shù)家服務(wù)商所提供的業(yè)務(wù)數(shù)據(jù)，當(dāng)把所有這些數(shù)據(jù)放到一起時(shí)，可以做很多的營(yíng)運(yùn)系統(tǒng)，比如怎么去監(jiān)測(cè)機(jī)場(chǎng)及周?chē)h(huán)境的交通，怎么監(jiān)測(cè)進(jìn)出港的人流，怎么確保進(jìn)港飛機(jī)增多時(shí)能有效調(diào)配機(jī)場(chǎng)的資源，通過(guò)一些演示項(xiàng)目，該機(jī)場(chǎng)的管理者發(fā)現(xiàn)，只要把他們的數(shù)據(jù)放到Splunk這個(gè)平臺(tái)上，很多管理方面的問(wèn)題是可以得到解決的。

對(duì)于亞太市場(chǎng)未來(lái)的增長(zhǎng)，Splunk公司首席營(yíng)銷(xiāo)官Brian Goldfarb用“Huge（巨大的）”來(lái)形容：Splunk公司從美國(guó)起步，進(jìn)入歐洲，再進(jìn)入亞洲。亞洲市場(chǎng)“very large”，而且市場(chǎng)還處在非常早期，借由這幾年移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展，這里的企業(yè)他們已經(jīng)掌握（存儲(chǔ)）了非常大量的數(shù)據(jù)。

如何把Splunk在美國(guó)、歐洲服務(wù)企業(yè)客戶(hù)的經(jīng)驗(yàn)，通過(guò)標(biāo)準(zhǔn)化的產(chǎn)品，用于服務(wù)亞太公司、中國(guó)公司，幫助他們解決在發(fā)展中面臨的通用問(wèn)題。

Splunk北亞區(qū)總經(jīng)理戴健慶介紹，他們?cè)谥袊?guó)專(zhuān)注于拓展以下行業(yè)的客戶(hù)：金融、電信運(yùn)營(yíng)商和制造業(yè)，以華為、聯(lián)想、小米為例的高新科技企業(yè)，“每個(gè)公司都在數(shù)字化轉(zhuǎn)型，都面臨著數(shù)據(jù)問(wèn)題”。

大數(shù)據(jù)版“百度”

“數(shù)據(jù)驅(qū)動(dòng)”在中國(guó)正在成為流行，不管是真正因?yàn)樾叛鰯?shù)據(jù)而依據(jù)數(shù)據(jù)作出決策，還是為了趕時(shí)髦。

“當(dāng)大家都在談?wù)摯髷?shù)據(jù)時(shí)，什么都可以是 ‘大數(shù)據(jù)的，反倒是沒(méi)有意義?！盨plunk公司IT市場(chǎng)高級(jí)副總裁Rick Fitz強(qiáng)調(diào)，Splunk是“機(jī)器數(shù)據(jù)”的擁躉：他們傾向于利用存儲(chǔ)在機(jī)器當(dāng)中的數(shù)據(jù)，強(qiáng)調(diào)通過(guò)各種傳感器（包括移動(dòng)智能終端設(shè)備在內(nèi)）收集的數(shù)據(jù)，強(qiáng)調(diào)將各種文本信息（包括文字信息、語(yǔ)音信息等）變成機(jī)器可識(shí)別的數(shù)據(jù)，他們更偏愛(ài)熱數(shù)據(jù)、實(shí)時(shí)動(dòng)態(tài)的數(shù)據(jù)，用以進(jìn)行數(shù)據(jù)分析、管理、運(yùn)營(yíng)，在這些數(shù)據(jù)中挖掘價(jià)值。

表面上看，Splunk的大數(shù)據(jù)技術(shù)與市面上很多數(shù)據(jù)挖掘公司大同小異，不過(guò)Doug Merritt堅(jiān)持他們的獨(dú)特性：Splunk的底層存儲(chǔ)架構(gòu)是一個(gè)扁平化的索引，這就不會(huì)要求你在存儲(chǔ)數(shù)據(jù)時(shí)提取它的結(jié)構(gòu)，而是在你提問(wèn)的時(shí)候才去提取它的結(jié)構(gòu)，這樣一來(lái)，數(shù)據(jù)可以易于重復(fù)利用，因?yàn)槟阍诖嫒?shù)據(jù)時(shí)給所有的數(shù)據(jù)都已經(jīng)做了標(biāo)簽。

梅正宇進(jìn)一步闡釋?zhuān)鄳?yīng)地在“建?！边@個(gè)問(wèn)題上，傳統(tǒng)的大數(shù)據(jù)解決方案都是前期建模，即當(dāng)你存儲(chǔ)導(dǎo)入數(shù)據(jù)時(shí)要先建模。早期建模，因?yàn)槿说恼J(rèn)知有限，要把很多有用的數(shù)據(jù)、有用的信息先淘汰掉，這樣反倒降低了數(shù)據(jù)可利用的價(jià)值。Splunk的做法是把建模后置，數(shù)據(jù)存儲(chǔ)進(jìn)來(lái)時(shí)只做標(biāo)簽索引，發(fā)現(xiàn)問(wèn)題時(shí)才把這個(gè)schema（格式、模式）建起來(lái)，過(guò)去不被利用的、非結(jié)構(gòu)化的數(shù)據(jù)、非邏輯化的數(shù)據(jù)，都有可能發(fā)揮“無(wú)用之用”，這就給數(shù)據(jù)分析與挖掘帶來(lái)很多的靈活性?！拔覀兙秃孟袷谴髷?shù)據(jù)的百度?！彼绱吮扔?。endprint

數(shù)據(jù)生意的“開(kāi)放”和“第三方”

“同樣的數(shù)據(jù)會(huì)有不同的用處”，這是數(shù)據(jù)分析、數(shù)據(jù)挖掘目前的重要趨勢(shì)，具體來(lái)說(shuō)呈現(xiàn)出如下的特點(diǎn)：靈活的架構(gòu)，我們可以去向數(shù)據(jù)源提各種各樣的問(wèn)題;把機(jī)器學(xué)習(xí)和人提問(wèn)結(jié)合起來(lái)，先通過(guò)機(jī)器學(xué)習(xí)的算法來(lái)甄別異常，再通過(guò)人來(lái)判斷異常是否真實(shí)，如果它確實(shí)有潛在威脅的，再去做深度挖掘，找到它的根本原因和根本問(wèn)題所在。

具體到Splunk，所采集的數(shù)據(jù)可以用來(lái)回答比如客戶(hù)活動(dòng)應(yīng)用開(kāi)發(fā)的效率、系統(tǒng)的完整性等問(wèn)題，也可以用來(lái)做安全分析。Splunk對(duì)于信息安全的認(rèn)知，也較傳統(tǒng)安全公司有了不同。

Splunk公司負(fù)責(zé)安全業(yè)務(wù)的高級(jí)副總裁宋海燕介紹，傳統(tǒng)的安全公司以端為出發(fā)點(diǎn)提供安全解決方案，但是隨著信息安全技術(shù)的發(fā)展，需要從終端、網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等多個(gè)維度來(lái)考慮安全問(wèn)題，這與之前“把門(mén)鎖上”的思路是完全不同的。比如，從單點(diǎn)的信息來(lái)防范安全攻擊，到更多維度信息綜合分析安全隱患的可能;從面對(duì)安全攻擊的“加鎖”、“加防火墻”的防護(hù)，到對(duì)安全隱患的提前預(yù)警，建立信息安全的監(jiān)視系統(tǒng)，盡早地找到入侵、解決入侵，建立動(dòng)態(tài)的適應(yīng)性的安全響應(yīng)機(jī)制。

這是一種全新的解決問(wèn)題的思路，不可能是通過(guò)單一產(chǎn)品來(lái)解決安全問(wèn)題。宋海燕介紹，Splunk傾向于和合作伙伴一起來(lái)提供安全解決方案，他們的生態(tài)合作伙伴包括了賽門(mén)鐵克、思科這樣的傳統(tǒng)安全公司和科技網(wǎng)絡(luò)公司。Splunk在其中的角色是“給企業(yè)提供一個(gè)安全隱患分析研究的隊(duì)伍”，相當(dāng)于是“安全隱患分析的大腦”。

通過(guò)機(jī)器收集了大量的數(shù)據(jù)，但是哪些數(shù)據(jù)是有用的，如何來(lái)判斷數(shù)據(jù)的有用性;實(shí)時(shí)數(shù)據(jù)帶來(lái)的更大挑戰(zhàn)是，需要時(shí)間來(lái)理解數(shù)據(jù)，才能進(jìn)行分析，這對(duì)于原有的信息反饋機(jī)制都會(huì)帶來(lái)轉(zhuǎn)變。這種全新的數(shù)據(jù)理念，無(wú)疑需要有更多的擁躉，一起來(lái)建立新的數(shù)據(jù)生態(tài)。

無(wú)論是國(guó)外的Splunk還是國(guó)內(nèi)的TalkingData，這類(lèi)大數(shù)據(jù)公司都特別強(qiáng)調(diào)自己的“第三方”角色、專(zhuān)家角色。梅正宇介紹，Splunk可以和很多廠商成為合作伙伴或者是生意伙伴，甚至包括一些看似業(yè)務(wù)有競(jìng)爭(zhēng)關(guān)系的公司，比如IBM、亞馬遜、思科等。

在今年9月底的.conf大會(huì)上，Splunk宣布，他們?cè)谌蚝献骰锇樯鷳B(tài)系統(tǒng)迅速擴(kuò)大，目前為全球超過(guò)950家合作伙伴提供系統(tǒng)和支持，幫助推動(dòng)更多市場(chǎng)機(jī)會(huì)和收益。Splunk 的合作伙伴范圍廣泛，涵蓋全球系統(tǒng)集成商、代理商、增值分銷(xiāo)商、技術(shù)聯(lián)盟伙伴、原始設(shè)備制造商和托管服務(wù)提供商等。

Splunk在中國(guó)開(kāi)展業(yè)務(wù)，除了要和傳統(tǒng)的SI（System Integration，系統(tǒng)集成商），解決方案提供商，比如安全的、IT運(yùn)維的，或者是做制造業(yè)解決方案的，做電信解決方案的服務(wù)商合作之外，他們更強(qiáng)調(diào)從“Use Case（用例）的合作伙伴”入手。戴健慶介紹，他們積極在中國(guó)與OEM成為合作伙伴，合作方式就是先從Use Case OEM開(kāi)始。endprint