中通服咨詢設(shè)計研究院有限公司|李道陽
為了更好地幫助監(jiān)察機關(guān)對本地區(qū)所有行使公權(quán)力的公職人員依法實施監(jiān)察,本文從數(shù)據(jù)流轉(zhuǎn)的全生命周期出發(fā),分析并設(shè)計了監(jiān)察機關(guān)職務(wù)犯罪偵查大數(shù)據(jù)信息平臺,通過底層數(shù)據(jù)共享交換平臺對海量的橫向外部數(shù)據(jù)及縱向內(nèi)部數(shù)據(jù)進行處理及管理。
隨著國家監(jiān)察體制改革的深化,國家監(jiān)察委員會(以下簡稱“監(jiān)察委”)作為一個全新的政府機構(gòu)逐漸走上臺前。監(jiān)察委主要職責是對本地區(qū)所有行使公權(quán)力的公職人員依法實施監(jiān)察,擁有采取談話、訊問、詢問、查詢、凍結(jié)、調(diào)取、查封、扣押、搜查、勘驗檢查、鑒定、留置等的權(quán)利。
受限于政策、數(shù)據(jù)及大數(shù)據(jù)分析技術(shù),檢察機關(guān)的平臺建設(shè)仍處于起步階段,依舊以傳統(tǒng)人力統(tǒng)計分析為主,信息化分析為輔。但是隨著涉案人員越來越狡猾、情節(jié)越來越惡劣、手段越來越隱蔽,傳統(tǒng)的人力統(tǒng)計分析在有限的時間內(nèi)往往無法從海量的數(shù)據(jù)和真假難辨的線索中提取到有效的信息。為了更好地執(zhí)行公務(wù)、實施監(jiān)察,結(jié)合當前大數(shù)據(jù)挖掘、分析技術(shù),分析并設(shè)計一款集匯聚、處理、關(guān)聯(lián)、分析和決策一體的支撐職務(wù)犯罪偵查的信息平臺十分必要。
監(jiān)察委獲取的數(shù)據(jù)具備以下特點。
第一,來源多、數(shù)據(jù)結(jié)構(gòu)復(fù)雜。當前監(jiān)察委執(zhí)行調(diào)查權(quán)時,根據(jù)嫌疑對象不同,牽涉到的數(shù)據(jù)往往包括公安數(shù)據(jù)、檢察院數(shù)據(jù)、工商數(shù)據(jù)、民政數(shù)據(jù)、稅務(wù)數(shù)據(jù)、房產(chǎn)數(shù)據(jù)、民航數(shù)據(jù)、住宿數(shù)據(jù)、手機話單數(shù)據(jù)、銀行賬單數(shù)據(jù)等數(shù)十類數(shù)據(jù)。
第二,監(jiān)察數(shù)據(jù)時效跨度非常之大。
第三,監(jiān)察工作的相關(guān)有效線索和有效證據(jù)通常具有很強的隱蔽性和迷惑性。
以上種種,導(dǎo)致了監(jiān)察委的同志在辦案時將面對不可想象的海量數(shù)據(jù)。
然而,監(jiān)察委現(xiàn)有的處理數(shù)據(jù)方式較為落后,在一定程度上影響了數(shù)據(jù)分析的效率和效果。一個綜合的、全面的、全數(shù)據(jù)覆蓋的信息化偵查平臺勢在必行。
本文基于以上需求分析并設(shè)計一套適用于監(jiān)察系統(tǒng)的大數(shù)據(jù)信息平臺,實現(xiàn)對監(jiān)察工作系統(tǒng)、深入的支撐。該大數(shù)據(jù)信息平臺具備如下功能。
首先,實現(xiàn)對監(jiān)察機關(guān)調(diào)查所需數(shù)據(jù)的統(tǒng)一采集和匯聚。由于不同委辦局及相關(guān)機構(gòu)有著不同的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)格式,因而需要針對不同的數(shù)據(jù)來源提供不同的數(shù)據(jù)對接方式。
其次,在海量數(shù)據(jù)接入系統(tǒng)后,通過搭建統(tǒng)一的監(jiān)察機關(guān)數(shù)據(jù)庫,實現(xiàn)對數(shù)據(jù)的統(tǒng)一處理及篩選,除去冗余的、重復(fù)的、錯誤的數(shù)據(jù)。同時,結(jié)合監(jiān)察機關(guān)辦案的實際需求和現(xiàn)狀,構(gòu)建相應(yīng)的專題庫,實現(xiàn)對數(shù)據(jù)進行主題定義。
最后,結(jié)合監(jiān)察機關(guān)辦案的習慣及方式方法,構(gòu)建相應(yīng)的分析模型,形成輔助的決策專題報告。
表2 各個生命周期階段的數(shù)據(jù)內(nèi)容
表1 監(jiān)察機關(guān)大數(shù)據(jù)種類及詳情
本文介紹的監(jiān)察機關(guān)職務(wù)犯罪偵查大數(shù)據(jù)信息平臺的建設(shè)將以數(shù)據(jù)為核心進行搭建?;跀?shù)據(jù)的流轉(zhuǎn)和全生命周期視角,本文提出的大數(shù)據(jù)信息平臺重點旨在實現(xiàn)監(jiān)察大數(shù)據(jù)的采集、處理、存儲和分析,以實現(xiàn)對監(jiān)察事務(wù)的數(shù)據(jù)支撐,輔助監(jiān)察決策的制定。
監(jiān)察機關(guān)涉及的大數(shù)據(jù)具有海量、復(fù)雜的特點,根據(jù)數(shù)據(jù)的不同形式可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)三類。具體的數(shù)據(jù)種類及包含的內(nèi)容如表1所示。
監(jiān)察大數(shù)據(jù)在流轉(zhuǎn)的全生命周期過程中,一般經(jīng)歷數(shù)據(jù)采集階段、數(shù)據(jù)交換階段、數(shù)據(jù)存儲階段、數(shù)據(jù)分析與決策階段,各個環(huán)節(jié)的特點如表2所示。
圖1 數(shù)據(jù)傳輸系統(tǒng)功能結(jié)構(gòu)
監(jiān)察機關(guān)的大數(shù)據(jù)采集主要分為內(nèi)部縱向數(shù)據(jù)采集和外部橫向數(shù)據(jù)采集兩類。其中內(nèi)部數(shù)據(jù)主要是指紀檢監(jiān)察機關(guān)自身所存有或者在工作中生成的數(shù)據(jù),主要包括工作填報數(shù)據(jù)、線索數(shù)據(jù)、判決文書數(shù)據(jù)以及相關(guān)基礎(chǔ)信息數(shù)據(jù)等。由于這些數(shù)據(jù)存在一定安全性要求,因而主要在紀檢監(jiān)察機關(guān)內(nèi)部流轉(zhuǎn)。本文中舉例信息平臺主要通過數(shù)據(jù)傳輸系統(tǒng)實現(xiàn)對內(nèi)部數(shù)據(jù)的縱向采集,具體設(shè)計思路如下圖1所示。
基于監(jiān)察機關(guān)的組織結(jié)構(gòu)特點,數(shù)據(jù)傳輸系統(tǒng)主要實現(xiàn)三級檢察院之間縱向的傳輸交換。數(shù)據(jù)傳輸系統(tǒng)的主要作用是針對職務(wù)犯罪偵查分析來源數(shù)據(jù)的采集整理,最終形成標準化、高質(zhì)量的數(shù)據(jù),提供給職務(wù)犯罪信息偵查和進行專題/主題分析等更進一步的應(yīng)用。
此外,外部數(shù)據(jù)是指通過相關(guān)數(shù)據(jù)獲取手段和外部相關(guān)機關(guān)或渠道,去獲取紀檢監(jiān)察機關(guān)存在需求的部分相關(guān)數(shù)據(jù)。當前主要的外部數(shù)據(jù)有通話數(shù)據(jù)、銀行賬單數(shù)據(jù)、酒店開房數(shù)據(jù)、民航數(shù)據(jù)、鐵路購票數(shù)據(jù)、民政數(shù)據(jù)、稅務(wù)數(shù)據(jù)、車輛數(shù)據(jù)、房產(chǎn)數(shù)據(jù)等。
對于此類數(shù)據(jù)本平臺主要目標是實現(xiàn)監(jiān)察機關(guān)和外部機構(gòu)或者渠道進行橫向?qū)?。平臺打通了各類數(shù)據(jù)的對接借口,支持專線獲?。ㄈ鏢ocket對接、文件模式對接、中間庫對接、REST對接、Webservice對接等)、定期拷貝、專網(wǎng)檢索、互聯(lián)網(wǎng)獲取等多種數(shù)據(jù)采集方式?;诓煌臄?shù)據(jù)對接要求,采取針對性的數(shù)據(jù)對接方式,將相關(guān)數(shù)據(jù)匯聚到紀檢監(jiān)察機關(guān)的數(shù)據(jù)庫中,便于后期相關(guān)工作的開展。
本系統(tǒng)平臺通過設(shè)計數(shù)據(jù)交換系統(tǒng),完成對采集后的大數(shù)據(jù)的處理工作。數(shù)據(jù)交換系統(tǒng)的作用是通過監(jiān)察機關(guān)職務(wù)犯罪信息資源交換與共享,實現(xiàn)跨部門、跨單位、跨層級的系統(tǒng)間數(shù)據(jù)共享,將共享信息資源進行目錄化、可視化管理,以松耦合的方式提供靈活、可擴、可控的信息資源共享,支持多級分布式的交換節(jié)點部署,提供通暢的信息共享通道,以提供不同部門、單位、層級間的按需信息交換服務(wù),提高業(yè)務(wù)協(xié)同效率和數(shù)據(jù)服務(wù)水平。
本信息平臺通過提供一種成熟穩(wěn)定的數(shù)據(jù)庫層建設(shè),實現(xiàn)對大數(shù)據(jù)的高效存儲。
該架構(gòu)主要分為4層進行建設(shè)。
(1)底層是分離的數(shù)據(jù)采集層,對于外部數(shù)據(jù)通過各類不同方式的數(shù)據(jù)采集平臺對數(shù)據(jù)進行原始采集,并通過ETL組件將采集到的各類外部原始數(shù)據(jù)傳輸至數(shù)據(jù)中心層。
(2)數(shù)據(jù)中心層的數(shù)據(jù)來源主要由外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)組成。這兩類數(shù)據(jù)的來源不同,其數(shù)據(jù)格式呈多樣化。本文通過統(tǒng)一融合數(shù)據(jù)倉儲(UDS)將數(shù)據(jù)進行初步的處理。統(tǒng)一融合數(shù)據(jù)倉儲對數(shù)據(jù)進行處理后,數(shù)據(jù)將被分為主數(shù)據(jù)和融合數(shù)據(jù)兩類。其中,主數(shù)據(jù)以被分析對象為主體,融合數(shù)據(jù)即將各個來源不同的各類數(shù)據(jù)進行數(shù)據(jù)格式統(tǒng)一并提取其相應(yīng)的共性。在完成數(shù)據(jù)統(tǒng)一融合的操作后,被整理后的數(shù)據(jù)通過ETL傳輸至企業(yè)級數(shù)據(jù)倉庫(EDW),在EDW中就將結(jié)合實際工作和偵查辦案需求,形成相應(yīng)的分析專題。基于這些專題,將UDS中相關(guān)的所需數(shù)據(jù)進行提取并進行關(guān)聯(lián)分析,形成相關(guān)新的整合后的分析數(shù)據(jù)(比如話單數(shù)據(jù)+民航數(shù)據(jù)+住宿數(shù)據(jù)=行程軌跡數(shù)據(jù))并存在于各個專題庫之中,以便于后期大數(shù)據(jù)專題分析使用。
在數(shù)據(jù)中心層中,還有一個很重要的組成“數(shù)據(jù)共享交換平臺”,該平臺是數(shù)據(jù)中心層中的數(shù)據(jù)與內(nèi)部或外部業(yè)務(wù)系統(tǒng)的惟一共享交換通道,它可以根據(jù)不同的需求將原始的內(nèi)外部數(shù)據(jù)、初步處理過的主數(shù)據(jù)融合數(shù)據(jù)或者深層數(shù)據(jù)關(guān)聯(lián)處理過的分析數(shù)據(jù)和外部系統(tǒng)進行交互,同時也可以將外部系統(tǒng)的相關(guān)業(yè)務(wù)數(shù)據(jù)交互至數(shù)據(jù)中心層中進行處理。
(3)數(shù)據(jù)邏輯層主要是根據(jù)業(yè)務(wù)方面大數(shù)據(jù)分析建模的需求,提取相應(yīng)的各類數(shù)據(jù)進行數(shù)據(jù)挖掘多維建模分析,形成核心業(yè)務(wù)的分析模塊。
(4)應(yīng)用展現(xiàn)層主要是將相關(guān)的業(yè)務(wù)分析模塊形成專門的應(yīng)用供操作者使用,并提供相關(guān)的友好交互頁面。
大數(shù)據(jù)分析平臺主要利用大數(shù)據(jù)技術(shù)對檢務(wù)數(shù)據(jù)進行采集、存儲、處理、分析、輸出等處理,并且支撐相應(yīng)的專題分析及大數(shù)據(jù)建模。大數(shù)據(jù)分析工具包括數(shù)據(jù)融合、數(shù)據(jù)存儲、分析計算、和數(shù)據(jù)服務(wù)應(yīng)用,同時受安全控制與管理配置機制控制與調(diào)度。
本文研究的監(jiān)察機關(guān)職務(wù)犯罪偵查大數(shù)據(jù)信息平臺創(chuàng)新性從大數(shù)據(jù)流轉(zhuǎn)的全生命周期出發(fā),設(shè)計了一套全面支撐監(jiān)察大數(shù)據(jù)采集、處理、存儲及分析的系統(tǒng)。該大數(shù)據(jù)信息平臺的應(yīng)用,將輔助監(jiān)察機關(guān)實現(xiàn)海量數(shù)據(jù)的高效獲取、調(diào)取及基于數(shù)據(jù)分析形成的關(guān)聯(lián)分析及分析結(jié)果的呈現(xiàn),從而提升了監(jiān)察機關(guān)的工作效果。
本文重點從監(jiān)察機關(guān)對監(jiān)察大數(shù)據(jù)的應(yīng)用需求出發(fā),以監(jiān)察機關(guān)涉及的海量、復(fù)雜數(shù)據(jù)為重點研究對象,分析并設(shè)計了職務(wù)犯罪偵查大數(shù)據(jù)信息平臺。本文通過對監(jiān)察機關(guān)涉及數(shù)據(jù)的分類及各類數(shù)據(jù)獲取方式及特征的研究,基于對數(shù)據(jù)流轉(zhuǎn)的全生命周期中各階段的處理,重點介紹了監(jiān)察大數(shù)據(jù)采集階段、處理階段、存儲階段及分析階段的系統(tǒng)設(shè)計思路。