城市檔案分類化、大數(shù)據(jù)化及數(shù)算一體、數(shù)算分離

黃若非

在大數(shù)據(jù)時(shí)代，越來越多的檔案管理走向歷史、當(dāng)下與未來一體化管理，隨著大數(shù)據(jù)的產(chǎn)生，數(shù)算一體、數(shù)算分離開始分工合作，也就是有些需要即時(shí)分開、傳輸、存儲，以便即時(shí)開發(fā)利用，也有部分，需要把檔案信息化、模擬化以備不時(shí)之需，本文重點(diǎn)就城市檔案管理如何大數(shù)據(jù)化、智能化以及相應(yīng)的數(shù)算分離、數(shù)算一體展開思考與探究。

一、城市檔案管理分類化、大數(shù)據(jù)化

傳統(tǒng)的檔案數(shù)據(jù)管理一直停留于檔案目錄管理、分類、歸檔、存儲及簡單的統(tǒng)計(jì)查詢，檔案關(guān)鍵信息需通過一定的條目、分類、人工分揀來進(jìn)行采集存儲、提取，在海量的檔案數(shù)據(jù)信息挖掘中主要采用文本數(shù)據(jù)挖掘技術(shù)，可以把對文本數(shù)據(jù)的分類、融合、壓縮、摘要以及從文本中抽取發(fā)現(xiàn)知識與信息都是對文本數(shù)據(jù)的挖掘。通過這些技術(shù)使得我們在搜索檔案時(shí)從大數(shù)據(jù)范圍變成從小數(shù)據(jù)范圍進(jìn)行檢索，從而大大提高其數(shù)據(jù)處理的效率和準(zhǔn)確度。同時(shí)隨著音頻視頻的增多，根據(jù)頻譜來分揀數(shù)據(jù)、歸類數(shù)據(jù)、優(yōu)化和組合數(shù)據(jù)就成為一種更為廣闊的需求。

在傳統(tǒng)的檔案信息化領(lǐng)域中，檔案數(shù)據(jù)管理的發(fā)展主要包括數(shù)據(jù)信息的認(rèn)知、信息數(shù)據(jù)的積累、數(shù)據(jù)信息的挖掘、運(yùn)用及檔案數(shù)據(jù)的規(guī)范化發(fā)展五個(gè)步驟?，F(xiàn)代信息化、智能化處理，是在以上基礎(chǔ)上，通常結(jié)合數(shù)據(jù)信息的檢索、分析及挖掘，將信息數(shù)據(jù)進(jìn)行適當(dāng)?shù)姆诸惣俺槿』蛐纬梢唤M問答序列，或再進(jìn)行進(jìn)一步的深化處理，形成解決某一問題的數(shù)據(jù)集合，挖掘出一定的專門的信息數(shù)據(jù)類別，作為決策和應(yīng)用的依據(jù)。

隨著智能檢索技術(shù)的應(yīng)用而生，智能檢索也推廣普及成各式各樣，比如基于語義檢索，計(jì)算機(jī)在語義大數(shù)據(jù)基礎(chǔ)上，持續(xù)地分類和重組，這就是所謂的機(jī)器學(xué)習(xí)過程，一旦機(jī)器學(xué)習(xí)了足夠的信息儲存后，就相當(dāng)于理解了人類語言語義，進(jìn)而就可以進(jìn)行語義檢索了。再比如基于音視頻信息內(nèi)容檢索，可以直接對音視頻檔案資料內(nèi)容進(jìn)行檢索、自動識別、甚至壓縮上傳，有的可以云計(jì)算、有的可以分布式存儲，以減輕低效人工處理的工作量，提高對聲像檔案的處理能力。

檔案數(shù)據(jù)智能化可從歷史數(shù)據(jù)中智能提取檔案分類，提高用戶聲像資料整編效率，實(shí)現(xiàn)文獻(xiàn)的自動分類；系統(tǒng)可自主根據(jù)已有檔案分類進(jìn)行處理，促進(jìn)以后輔助分類的準(zhǔn)確度；支持多維度的動態(tài)分類；支持用戶自定義分類展示。這就要求檔案管理大數(shù)據(jù)系統(tǒng)平臺總體架構(gòu)應(yīng)按照實(shí)際內(nèi)容應(yīng)用的流程實(shí)現(xiàn)，即從數(shù)據(jù)的采集、智能處理、數(shù)據(jù)挖掘與智能搜索應(yīng)用平臺三個(gè)層次實(shí)現(xiàn)。

結(jié)合城市檔案管理，開發(fā)相應(yīng)的應(yīng)用平臺，包括一些特定的VR和AR場景，比如城市水電氣路網(wǎng)的模擬呈現(xiàn)，以及相應(yīng)的智能化管理決策系統(tǒng)，這是云計(jì)算、延遲計(jì)算、模擬計(jì)算、即時(shí)計(jì)算、在線計(jì)算之類的基礎(chǔ)和前提，適當(dāng)?shù)臄?shù)算一體、數(shù)算分離是一種發(fā)展方向。2022年2月國家發(fā)改委聯(lián)合多部門制定的“東數(shù)西算”工程就是為適應(yīng)這個(gè)大趨勢的一個(gè)宏偉計(jì)劃。

二、不同類型檔案開發(fā)和再開發(fā)可引進(jìn)不同的計(jì)算

目前應(yīng)用最為廣泛的就是民生檔案，具體包括社會保險(xiǎn)檔案、就業(yè)人員檔案、失業(yè)人員檔案、房地產(chǎn)檔案、婚姻檔案、城市拆遷檔案、環(huán)境檢測檔案、學(xué)籍檔案和企業(yè)職工檔案等。還有很多分散在部門和機(jī)關(guān)的民生檔案信息還未進(jìn)館和開發(fā)利用。這些檔案信息從某種意義上都存在著一定的關(guān)聯(lián)性，然而在未進(jìn)行大數(shù)據(jù)分析之前都無法真正實(shí)現(xiàn)更深層次的利用。

隨著社會的進(jìn)步，需要由檔案館來進(jìn)行永久保存的檔案類型將會不斷增加，檔案的總量也會激增，伴隨著照片、聲像等多媒體檔案納入檔案接收的范圍，檔案館作為天生的數(shù)據(jù)集散地，其電子檔案收集范圍必將進(jìn)一步擴(kuò)大，移交時(shí)限也將進(jìn)一步縮短。對大數(shù)據(jù)的分析處理和增值應(yīng)用，將成為未來檔案開發(fā)利用的重要內(nèi)容，檔案館坐擁龐大的數(shù)據(jù)資源應(yīng)該成為巨大社會價(jià)值的產(chǎn)出地。

人們一直在探討如何在收集環(huán)節(jié)把好檔案關(guān)口，要避免檔案實(shí)體漲庫，克服檔案信息存儲空間的限制，又要防止有價(jià)值的檔案被淹沒在價(jià)值低甚至毫無利用價(jià)值的海量檔案中間；而在利用環(huán)節(jié)，人們追求檔案如何在需要時(shí)應(yīng)有盡有、無所不包，同時(shí)要能被快速、準(zhǔn)確地檢索出來。因此數(shù)算分離和數(shù)算一體就成為兩個(gè)大趨勢，二者相互促進(jìn)和發(fā)展，同時(shí)數(shù)算所涉及的軟硬件也是當(dāng)前重點(diǎn)攻關(guān)的對象，這就涉及到各種各類檔案的標(biāo)準(zhǔn)化、規(guī)范化、科學(xué)化以便檔案得以充分利用現(xiàn)有高科技?？傊瑸榱藱n案交接管理日益智能化，在大數(shù)據(jù)時(shí)代，接收工作必須要堅(jiān)持一定的質(zhì)量標(biāo)準(zhǔn)。如果待移交檔案中存在一些不能忽略的基礎(chǔ)性問題，進(jìn)館后將影響檔案收集以及后續(xù)工作的科學(xué)推進(jìn)。在包容錯(cuò)誤與堅(jiān)持標(biāo)準(zhǔn)之間踩準(zhǔn)節(jié)拍，底線應(yīng)該是不影響進(jìn)館數(shù)據(jù)后續(xù)的關(guān)聯(lián)分析。傳統(tǒng)載體檔案將面臨全面的“數(shù)據(jù)化”“數(shù)字化”之后的再大數(shù)據(jù)化、智能化。否則，信息化數(shù)字雖然是方便的，但還是“死的”而不是“活的”。

檔案館的信息系統(tǒng)支撐平臺又稱為硬件平臺，為所有信息化應(yīng)用系統(tǒng)提供運(yùn)行、存儲、備份的物理環(huán)境。數(shù)字檔案館主要面向四類用戶，分別是政府機(jī)關(guān)領(lǐng)導(dǎo)、檔案局（館）、各級建檔進(jìn)館單位和部門及市場和公眾用戶人群，隨著接收檔案的范圍不斷擴(kuò)大，檔案數(shù)字化進(jìn)程不斷推進(jìn)，現(xiàn)有硬件平臺已無法滿足大數(shù)據(jù)環(huán)境下對性能的要求，現(xiàn)有應(yīng)用系統(tǒng)平臺的功能也無法滿足對相關(guān)檔案進(jìn)行大數(shù)據(jù)分析的要求，因此對現(xiàn)有的信息化平臺借力云計(jì)算、數(shù)算分離、數(shù)算一體，數(shù)字東數(shù)西算都是一種努力方向，這是云計(jì)算化、大數(shù)據(jù)化、智能化重要內(nèi)容。

三、隨著大數(shù)據(jù)的增加可借東數(shù)西算分別對接數(shù)算分離、數(shù)算一體

自從3G、4G、5G以及各種智能化設(shè)備、軟件誕生以來，特別是VR、AR虛擬現(xiàn)實(shí)，以及云計(jì)算、分布式存儲以來，不僅數(shù)據(jù)的采集可以全方位、實(shí)時(shí)互動，還可以數(shù)算分離、數(shù)算一體，這讓各種線下服務(wù)、線上服務(wù)、在線服務(wù)等得到了各自的需求，相應(yīng)的各種經(jīng)濟(jì)效益、社會效益、生態(tài)效率就越來越顯示出來。

目前已經(jīng)在使用的云計(jì)算技術(shù)包括服務(wù)器虛擬化和桌面云，這些技術(shù)在檔案行業(yè)還停留在試點(diǎn)的范圍，在檔案大數(shù)據(jù)時(shí)代到來前，云存儲的使用要迅速提上日程，而且要越快越好，隨著歲月的更替，數(shù)據(jù)日益增多，就會為后來帶來成本和難度的增加。

越早對檔案歷史分類信息化、智能化處理，就越早對現(xiàn)在數(shù)據(jù)和未來檔案大數(shù)據(jù)化，目前一方面可以使用云計(jì)算，包括云儲存、云應(yīng)用，將服務(wù)器虛擬化、桌面云，另一方面把檔案大數(shù)據(jù)化，可以數(shù)算一體、數(shù)算分離，還可以東數(shù)西算，從而充分利用各種基礎(chǔ)平臺建設(shè)以及應(yīng)用軟件建設(shè)，包括檔案管理核心業(yè)務(wù)類應(yīng)用、檔案業(yè)務(wù)協(xié)同保障類應(yīng)用、檔案資源服務(wù)擴(kuò)展類應(yīng)用、檔案資源知識管理類應(yīng)用，將全部應(yīng)用系統(tǒng)分階段逐步整合到服務(wù)器虛擬化系統(tǒng)中，并補(bǔ)充相應(yīng)的硬件設(shè)備，保障各系統(tǒng)高效率不間斷地提供服務(wù)。三步并作兩步走，高效而且高收益。

檔案的種類繁多，數(shù)量更是達(dá)到上億，如果保存到存儲設(shè)備中占用的空間將會達(dá)到極限，如此大規(guī)模的數(shù)據(jù)對存儲設(shè)備性能的要求就會比較高，如何快速、準(zhǔn)確地找到相關(guān)數(shù)據(jù)，一直是大數(shù)據(jù)對實(shí)時(shí)性能的最低要求，采用分布式存儲的云存儲方式，對于數(shù)據(jù)的請求將會分發(fā)由多個(gè)存儲服務(wù)器去處理，從而可以快速得到想要的數(shù)據(jù)，來實(shí)時(shí)為相應(yīng)數(shù)據(jù)分析，提供有價(jià)值的信息。

十年前，操作系統(tǒng)、數(shù)據(jù)庫、全文檢索等軟件技術(shù)國內(nèi)還沒有成熟的產(chǎn)品，和國際水平相差得比較遠(yuǎn)，如今國產(chǎn)軟件從性能和安全上都與國際水平不相上下，國內(nèi)有成熟廠商提供云計(jì)算服務(wù)，更方便和廉價(jià)。

傳統(tǒng)的運(yùn)行平臺，數(shù)據(jù)都保存在單一的存儲設(shè)備內(nèi)，存儲的容量上限取決于存儲設(shè)備可擴(kuò)展的規(guī)模，如果擴(kuò)展性較差，當(dāng)檔案數(shù)據(jù)量達(dá)到一定規(guī)模，或者說需要處理大數(shù)據(jù)的時(shí)候，性能會明顯降低，而且存儲滿了，只能再重新購置設(shè)備，雖然容量可以增加，但是技術(shù)卻并不對口，如果采用云存儲來保存數(shù)據(jù)，所有數(shù)據(jù)是由多臺云存儲服務(wù)器去管理，通過分布式的方式來優(yōu)化存儲結(jié)構(gòu)，可以隨時(shí)擴(kuò)容和無限擴(kuò)容，而且不會影響存儲系統(tǒng)的性能。

基于東數(shù)西算，就是數(shù)算分離、數(shù)算一體，可以把延遲計(jì)算和即時(shí)計(jì)算分開，也就是把歷史檔案和不需要即時(shí)計(jì)算的變?yōu)樵朴?jì)算之類，而把即時(shí)檔案、即時(shí)計(jì)算的變?yōu)榧磿r(shí)需要，充分利用現(xiàn)有資源和先進(jìn)技術(shù)，在檔案數(shù)據(jù)存儲方面采用分布式文件系統(tǒng)，解決海量檔案文件保存問題。在對公眾查檔出證服務(wù)方面，采用云桌面技術(shù)，在保證檔案安全的同時(shí)，更好地為廣大群眾服務(wù)，整合服務(wù)器資源，采用服務(wù)器虛擬化技術(shù)，針對不同的系統(tǒng)應(yīng)用動態(tài)調(diào)配處理計(jì)算的資源，便于統(tǒng)一管理，提高工作效率。

總之，未來城市的發(fā)展，第一步就是智能化城市檔案管理，城市檔案管理應(yīng)當(dāng)通過“東數(shù)西算”這個(gè)新時(shí)代的超級工程，構(gòu)建城市檔案管理一體化的數(shù)據(jù)中心、云計(jì)算、算力中心等新型網(wǎng)絡(luò)體系，滿足智能化城市檔案管理的需求，有序優(yōu)化城市檔案數(shù)據(jù)中心建設(shè)布局，促進(jìn)城市各類檔案的協(xié)同聯(lián)動。