大數(shù)據(jù)技術(shù)在交通檢測機構(gòu)中的應(yīng)用研究

蔡笑冬

（蘇交科集團股份有限公司，江蘇 南京 210001）

0 引言

大數(shù)據(jù)技術(shù)屬于先進技術(shù)之一，對諸多行業(yè)都產(chǎn)生了非常大的影響，可以有效提高實際工作效率與質(zhì)量。目前，我國已經(jīng)完成了互聯(lián)網(wǎng)普及，為大數(shù)據(jù)技術(shù)普及打下了扎實的基礎(chǔ)，將大數(shù)據(jù)技術(shù)應(yīng)用在交通檢測機構(gòu)中，不僅可以提高實際工作效率，還可以更好地完成數(shù)據(jù)記錄與傳輸，為客戶提供全新溝通渠道，對推動行業(yè)發(fā)展有著非常大的幫助。

1 智慧交通檢測系統(tǒng)建設(shè)

智慧檢驗檢測實驗室（intelligent inspection and testing laboratory）又稱為“智慧實驗室”，它以現(xiàn)代化信息技術(shù)與先進檢測技術(shù)為基礎(chǔ)搭建的具有智能檢測、智能感知、信息融合與分析、科學(xué)決策等多項功能的檢測實驗室。智慧實驗室是以大數(shù)據(jù)技術(shù)為基礎(chǔ)建立的綜合、全面、立體、創(chuàng)新、智能的綜合類實驗室信息服務(wù)平臺，可以高效率、高質(zhì)量地完成信息采集、分析、整理等工作。其中憑借大數(shù)據(jù)技術(shù)可以使用戶間、實驗室間、用戶與實驗室、用戶與信息資源間完成智能信息傳遞，不需要進行人工干預(yù)。

通常情況下，智慧實驗室框架由三部分組成，分別是感知層、網(wǎng)絡(luò)層以及應(yīng)用層。其中感知層組成內(nèi)容為RFID、傳感器等設(shè)備，網(wǎng)絡(luò)層組成內(nèi)容為有線網(wǎng)絡(luò)與無線網(wǎng)絡(luò)，應(yīng)用層組成內(nèi)容為門戶網(wǎng)站、實驗共公共數(shù)據(jù)庫以及其他智能監(jiān)管系統(tǒng)，詳細情況如圖1所示。

圖1 智慧實驗室框架

2 基于大數(shù)據(jù)的智慧交通檢測機構(gòu)管理系統(tǒng)

2.1 數(shù)據(jù)倉庫平臺子系統(tǒng)

智慧實驗室數(shù)據(jù)倉庫平臺主要功能為數(shù)據(jù)收集整理，即在實際工作中，將相關(guān)業(yè)務(wù)系統(tǒng)所產(chǎn)生的數(shù)據(jù)進行篩選、整理，然后將其傳遞給所對應(yīng)平臺，在進行數(shù)據(jù)加工，為后續(xù)工作提供數(shù)據(jù)支持，滿足不同人員所提出不同需求[1]。綜上所述，數(shù)據(jù)倉庫平臺運行本質(zhì)就是將業(yè)務(wù)系統(tǒng)整合、集成。其工作流程如圖3所示。

圖2 數(shù)據(jù)倉庫平臺運行流程

2.2 數(shù)據(jù)采集子系統(tǒng)

通常情況下，數(shù)據(jù)采集子系統(tǒng)包括五大組成部分，分別是數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)接收、數(shù)據(jù)清洗以及數(shù)據(jù)入庫。其中，數(shù)據(jù)采集模塊位于實驗室檢測設(shè)備終端中，與分站業(yè)務(wù)系統(tǒng)相連，需要與數(shù)據(jù)轉(zhuǎn)換模塊建立合作關(guān)系，確保服務(wù)端可以接收到相關(guān)數(shù)據(jù)。當分站數(shù)據(jù)采集模塊進行數(shù)據(jù)傳遞工作時，數(shù)據(jù)接收模塊不僅需要完成數(shù)據(jù)接收，還需要完成數(shù)據(jù)解密、數(shù)據(jù)清洗以及數(shù)據(jù)入庫三項工作?，F(xiàn)階段，數(shù)據(jù)采集子系統(tǒng)主要存在兩種工作模式，分別是定時采集與手動采集，圖3為數(shù)據(jù)采集模塊與子系統(tǒng)轉(zhuǎn)換模塊功能圖。

圖3 數(shù)據(jù)采集模塊與子系統(tǒng)轉(zhuǎn)換模塊功能圖

2.3 數(shù)據(jù)挖掘與分析子系統(tǒng)

數(shù)據(jù)挖掘子系統(tǒng)主要職責為處理數(shù)據(jù)采集、辦公OA、業(yè)務(wù)管理等系統(tǒng)所產(chǎn)生的數(shù)據(jù)，篩選所收集數(shù)據(jù)中的有用信息，為企業(yè)發(fā)展提供數(shù)據(jù)支持，其運行流程如圖4所示。在實際運行中可以選擇使用的方法有很多，比如計、在線分析處理、情報檢索、機器學(xué)習(xí)、專家系統(tǒng)等等。

圖4 數(shù)據(jù)挖掘子系統(tǒng)運行流程

2.4 數(shù)據(jù)應(yīng)用子系統(tǒng)

數(shù)據(jù)應(yīng)用子系統(tǒng)是指在數(shù)據(jù)采集與數(shù)據(jù)挖掘工作結(jié)束后，合理完成數(shù)據(jù)分配，其服務(wù)對象為應(yīng)用層，自身包括權(quán)限認證與數(shù)據(jù)展示兩部分。其中，權(quán)限認證是指為不同權(quán)限用戶提供不同操作界面，用戶可以根據(jù)自身權(quán)限做出具體操作。數(shù)據(jù)展示是指數(shù)據(jù)庫服務(wù)器在接收到用戶所遞交申請后對其進行權(quán)限認證，然后將權(quán)限認證結(jié)果以文字、圖表、文檔等形式反饋給用戶，為用戶進行后續(xù)操作提供參考依據(jù)。

3 系統(tǒng)設(shè)計重點

3.1 數(shù)據(jù)采集接口

智慧實驗室擁有多個分站，不同分站所承擔業(yè)務(wù)不同，因此各個分站都需要使用不同的數(shù)據(jù)采集接口，以確保在實際工作中可以根據(jù)各個分站實際情況完成部署工作。為確保實際工作可以順利完成，所選擇系統(tǒng)接口必須具備擴展性特點與兼容性特點。現(xiàn)階段，常用接口主要有兩類，分別是標準ODBC 與OLE DB 接口，這兩類接口可以滿足絕大多數(shù)主流數(shù)據(jù)源。

3.2 數(shù)據(jù)傳輸效率及安全性

因為智慧實驗室擁有眾多分站，所以對數(shù)據(jù)采集、轉(zhuǎn)換效率提出了較高要求。在搭建數(shù)據(jù)采集系統(tǒng)時，應(yīng)盡可能選擇高效率壓縮算法，在實際工作中，選擇壓縮傳送方式完成數(shù)據(jù)包發(fā)送與數(shù)據(jù)文件發(fā)送，這一做法可以盡可能提高工作安全性與效率。

3.3 數(shù)據(jù)接口規(guī)范化

由于有多個分站，且每個分站都屬于獨立系統(tǒng)，因此在進行分站增加工作時，一定要保證新增分站數(shù)據(jù)收集工作不會對其他分站造成影響。即在實際工作中，應(yīng)對企業(yè)總部數(shù)據(jù)庫進行優(yōu)化，在總部數(shù)據(jù)庫增加一個標準接口數(shù)據(jù)庫，提高總部與分站之間的聯(lián)系。在開展數(shù)據(jù)清洗工作時，首先應(yīng)對分站數(shù)據(jù)進行標準化處理，然后將其導(dǎo)入到標準接口庫中，最后，使用標準流程將數(shù)據(jù)匯總在總部數(shù)據(jù)庫中，圖5為具體數(shù)據(jù)轉(zhuǎn)換流程[2]。

圖5 數(shù)據(jù)轉(zhuǎn)換流程

3.4 多元數(shù)據(jù)采集模式

現(xiàn)階段，智慧實驗室擁有兩種數(shù)據(jù)采集模式，分別是手動采集與定時采集。如果分站網(wǎng)絡(luò)情況較好，應(yīng)優(yōu)先選擇定時采集，降低人工操作率，提高工作準確性，但是在出錯后，應(yīng)轉(zhuǎn)為使用手動采集，彌補定時采集的缺點。

4 大數(shù)據(jù)技術(shù)應(yīng)用需要面臨的問題

大數(shù)據(jù)來源范圍豐富，比如傳感器、物聯(lián)網(wǎng)、社交媒體等等都可以被視為數(shù)據(jù)來源。目前，市場中還存在許多從業(yè)人員沒有發(fā)現(xiàn)的數(shù)據(jù)源。與傳統(tǒng)商業(yè)智能分析項目所不同的是，大數(shù)據(jù)分析項目具有極強的探索空間，在探索過程中，所使用數(shù)據(jù)源多為檢測機構(gòu)之外的IT 體系框架結(jié)構(gòu)，因此所獲得的結(jié)論可能與常規(guī)認知不符。受此影響，技術(shù)人員在開展具體工作時，應(yīng)提高溝通頻率，不斷提高自身專業(yè)素質(zhì)。除此之外，檢驗機構(gòu)管理人員應(yīng)盡可能對項目進行扶持，給予充分的資源，確?？梢愿咝省⒏哔|(zhì)量的完成分析工作。

5 大數(shù)據(jù)技術(shù)在交通檢測機構(gòu)中的其他應(yīng)用方式

5.1 在客戶服務(wù)中的應(yīng)用方式

交通檢測機構(gòu)主要職能是為市場主體提供相應(yīng)檢測服務(wù)，伴隨市場競爭日益激烈，因此在發(fā)展過程中應(yīng)遵守一般市場主體競爭規(guī)律。主動完成客戶需求分析，為客戶提供針對性服務(wù)與差異化服務(wù)。當客戶需求被滿足時，客戶滿意度與忠誠度將不斷提高，可以幫助機構(gòu)營造良好社會形象，可以降低客戶維護成本與吸收成本。同時，這一做法還可以幫助機構(gòu)提高市場影響力，可以通過規(guī)模效應(yīng)控制經(jīng)營成本，提高自身ROIC。同時，參考數(shù)據(jù)收集關(guān)系信息系統(tǒng)所掌握的客戶數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)完成數(shù)據(jù)分類與客戶劃分。在實際工作中，工作人員多選擇聚類方法，此方法屬于一種常見方法，可以憑借對象屬性分析對象之間的相似性，然后對相似對象進行整合，完成統(tǒng)一數(shù)據(jù)探析。當工作人員完成數(shù)據(jù)提取后，每個客戶都應(yīng)被視為研究對象，隨后通過客戶信息對比確定客戶屬性，比如客戶組織性質(zhì)、業(yè)務(wù)類型、成立時間、組織規(guī)模、銷售收入、檢測頻率、檢測費用等等。同一組內(nèi)各個客戶都具有一定的相似性特點，可以根據(jù)這些共同點完成客戶畫像，為后續(xù)研究提供方向[3]。

5.2 在產(chǎn)品安全風(fēng)險預(yù)警中的應(yīng)用方式

產(chǎn)品出現(xiàn)質(zhì)量安全風(fēng)險的原因有很多，比如企業(yè)內(nèi)部工作環(huán)節(jié)存在缺陷、所制定管理計劃存在漏洞等等。同時，這些原因之間存在一定的關(guān)聯(lián)性。產(chǎn)品質(zhì)量安全風(fēng)險傳到具有選擇性特點與感染性特點，在供應(yīng)鏈環(huán)境中，會以愈演愈烈的趨勢逐級向下傳遞，在傳導(dǎo)過程中還會表現(xiàn)出擴散性特點。當交通檢測機構(gòu)出現(xiàn)質(zhì)量安全事件后，會在社會、行業(yè)、企業(yè)以及個人之間造成非常大的損失。即在實際工作中，工作人員必須重視質(zhì)量安全風(fēng)險工作，及時完成各項風(fēng)險預(yù)警工作對推動企業(yè)發(fā)展有著非常大的幫助。

交通檢測機構(gòu)每天都需要完成大量的產(chǎn)品檢測工作，每天都會生產(chǎn)大批的檢測報告，所生成報告數(shù)據(jù)會被記錄在信息系統(tǒng)數(shù)據(jù)庫中，另外，僅對孤立數(shù)據(jù)進行分析，這些數(shù)據(jù)背后包含有部分有用信息。借助MapReduce 技術(shù)對數(shù)據(jù)庫所存儲信息進行整理分析，并構(gòu)建風(fēng)險評估模型，可以對在檢樣品進行實時監(jiān)控，提高實際工作效率。除此之外，應(yīng)對企業(yè)信息庫、產(chǎn)品信息庫、監(jiān)督抽查信息庫、傷害主題庫、產(chǎn)品缺陷信息庫等數(shù)據(jù)進行整理處理，憑借聯(lián)機分析與建模技術(shù)完成查詢工作，為管理人員制定最終決策提供參考依據(jù)，提高所制定工作計劃的科學(xué)性與合理性，為企業(yè)發(fā)展提供幫助。

5.3 在內(nèi)部質(zhì)量控制中的應(yīng)用

交通檢測機構(gòu)屬于第三方檢測實驗室，檢測結(jié)果需要向社會公示，因此為保證自身社會公信力不受影響，在實際工作中，必須嚴格遵守相關(guān)法律法規(guī)，不斷提高自身技術(shù)水平與專業(yè)素質(zhì)以增強客戶認同感。在當今社會，市場競爭日益激烈，這對企業(yè)提出了更高的發(fā)展要求。在實際發(fā)展過程中，企業(yè)應(yīng)結(jié)合市場需求不斷提高自身技術(shù)能力與質(zhì)量保證能力。交通檢測機構(gòu)為提高自身質(zhì)量保證能力，那么就需要提高自身質(zhì)量控制能力。在外部質(zhì)量控制工作中，交通檢測機構(gòu)應(yīng)盡可能選擇科學(xué)合理的方法，比如能力驗證、測量審核、實驗室間比對等等，將具有統(tǒng)計意義的結(jié)果作為質(zhì)量保證數(shù)據(jù)，完成外部質(zhì)量控制。在內(nèi)部質(zhì)量控制中，由于涉及多種因素，因此工作人員必須選擇不同方法，在不同場景選擇不同的統(tǒng)計方法，保證結(jié)果權(quán)威性與公正性。除此之外，在開展質(zhì)量控制工作時，工作人員可以憑借成熟度較高的統(tǒng)計分析技術(shù)完成相關(guān)測量工作，形成數(shù)據(jù)累積，發(fā)現(xiàn)更多重要信息，提高自身工作質(zhì)量。

6 結(jié)語

交通檢測機構(gòu)以大數(shù)據(jù)技術(shù)為基礎(chǔ)，對所產(chǎn)生的數(shù)據(jù)進行處理，可以對自身工作進行更加全面、具體的分析，找到自身不足之處，為自身后續(xù)發(fā)展提供支持。對現(xiàn)有工作情況進行分析發(fā)現(xiàn)，此做法不僅可以優(yōu)化用戶與檢測機構(gòu)之間的關(guān)系，保證信息時效性，使客戶對交通檢測機構(gòu)有一個更加詳細的了解。將大數(shù)據(jù)技術(shù)應(yīng)用在交通檢測機構(gòu)中擁有非常廣闊的應(yīng)用前景，但是此項工作仍處于探索之中，工作人員應(yīng)加大研究力度，加快研究速度，推動行業(yè)發(fā)展。