大數(shù)據(jù)技術(shù)應(yīng)用面臨的挑戰(zhàn)及對(duì)策研究

金放

摘 要：文章基于大數(shù)據(jù)技術(shù)與應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題進(jìn)行研究，從大數(shù)據(jù)獲取和應(yīng)用等多方面探討大數(shù)據(jù)技術(shù)與其應(yīng)用領(lǐng)域關(guān)注和解決的幾大科學(xué)問(wèn)題，并結(jié)合我國(guó)當(dāng)前社會(huì)情況，提出開(kāi)展大數(shù)據(jù)技術(shù)與應(yīng)用相關(guān)研究的策略與方式。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);應(yīng)用;挑戰(zhàn)性科學(xué)問(wèn)題

0 ? 引言

大數(shù)據(jù)是社會(huì)信息化發(fā)展下的產(chǎn)物，也是時(shí)代發(fā)展進(jìn)步的一種標(biāo)志。在大數(shù)據(jù)時(shí)代，人們通過(guò)測(cè)量、統(tǒng)計(jì)和解析，能夠有效將社會(huì)中的信息進(jìn)行處理、歸類和匯總。尤其是當(dāng)前隨著科學(xué)技術(shù)的快速發(fā)展，無(wú)線通信科技、計(jì)算機(jī)網(wǎng)絡(luò)以及現(xiàn)代傳感器的應(yīng)用，能夠促使人們有效地對(duì)所獲取的信息進(jìn)行分類、整理、歸納、總結(jié)，人們對(duì)數(shù)據(jù)獲取的手段和途徑日益提升，所獲得數(shù)據(jù)的種類、層次和尺度也日益多元化。本文將研究視角聚焦于我國(guó)在大數(shù)據(jù)技術(shù)與應(yīng)用領(lǐng)域急需解決的幾大科學(xué)問(wèn)題。

1 大數(shù)據(jù)技術(shù)的特征和應(yīng)用研究的意義

1.1 大數(shù)據(jù)的基本特征

1.1.1 數(shù)據(jù)規(guī)模龐大

大數(shù)據(jù)本身是對(duì)數(shù)據(jù)的一種集合，現(xiàn)如今大數(shù)據(jù)的數(shù)據(jù)體量已經(jīng)由原先的 GB（10 9）、TB（10 12）再到PB（10 15）字節(jié)。

1.1.2 數(shù)據(jù)類型繁多

當(dāng)前大數(shù)據(jù)整體的數(shù)據(jù)結(jié)構(gòu)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，甚至融合了非完整性和錯(cuò)誤數(shù)據(jù)。在現(xiàn)代的互聯(lián)網(wǎng)體系下關(guān)于半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，已經(jīng)相對(duì)其他的數(shù)據(jù)結(jié)構(gòu)模式占比高達(dá)95%以上。

1.1.3 產(chǎn)生和增長(zhǎng)速率快

基于當(dāng)前美國(guó)國(guó)際數(shù)據(jù)公司（IDC）的研究報(bào)告，截至目前，全球的數(shù)據(jù)獲取能力已經(jīng)不斷地增長(zhǎng)到了50倍，而對(duì)數(shù)據(jù)儲(chǔ)存的服務(wù)器將增長(zhǎng)10倍。由此可以看出當(dāng)前世界無(wú)各國(guó)都在介入著數(shù)據(jù)采集和儲(chǔ)存，進(jìn)行著大量的數(shù)據(jù)收集、整理和獲取。這些數(shù)據(jù)通過(guò)高密度流的方式來(lái)不斷地進(jìn)行演變，在數(shù)據(jù)處理和數(shù)據(jù)運(yùn)用過(guò)程中具有較強(qiáng)的時(shí)效性，只有借助科技軟件經(jīng)過(guò)快速處理，才能夠?qū)⑦@些龐大的數(shù)據(jù)量進(jìn)行有效利用。

1.2? 大數(shù)據(jù)研究開(kāi)展的意義

當(dāng)前大數(shù)據(jù)已經(jīng)能夠廣泛的創(chuàng)造新價(jià)值，并且也成了經(jīng)濟(jì)增長(zhǎng)的助推器。從目前來(lái)看關(guān)于大數(shù)據(jù)的研究主要集中于對(duì)行業(yè)領(lǐng)域的作用、對(duì)科學(xué)研究的作用以及處理技術(shù)所形成的社會(huì)經(jīng)濟(jì)價(jià)值等多方面。

1.2.1? 大數(shù)據(jù)技術(shù)在各個(gè)行業(yè)領(lǐng)域的應(yīng)用

當(dāng)前大數(shù)據(jù)技術(shù)已經(jīng)滲透到了各個(gè)行業(yè)和各個(gè)業(yè)務(wù)職能，隨著物質(zhì)和人力資源之后形成的另一種資源。人們可以借助大數(shù)據(jù)工具對(duì)當(dāng)前社會(huì)的形式進(jìn)行實(shí)時(shí)分析，同時(shí)大數(shù)據(jù)也不斷地成為如公路、水電、通信網(wǎng)絡(luò)等領(lǐng)域不可或缺的工具而存在，它已經(jīng)逐步成了現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的重要組成部分。在我國(guó)的資源、經(jīng)濟(jì)、醫(yī)療衛(wèi)生和國(guó)防建設(shè)等多個(gè)行業(yè)發(fā)展過(guò)程中，借助大數(shù)據(jù)技術(shù)能夠有效地整合物質(zhì)資源、人力資源，促進(jìn)整個(gè)國(guó)家的發(fā)展。同時(shí)大數(shù)據(jù)技術(shù)的研究對(duì)整個(gè)國(guó)家和社會(huì)的安全與穩(wěn)定都會(huì)造成深遠(yuǎn)的影響，從國(guó)家層面上來(lái)說(shuō)，充分體現(xiàn)出了一個(gè)國(guó)家所形成的數(shù)據(jù)規(guī)?；钚院蛯?duì)數(shù)據(jù)的實(shí)施運(yùn)用能力。

正是因?yàn)榇髷?shù)據(jù)所具備的這些資源價(jià)值，促使部分發(fā)達(dá)國(guó)家紛紛將大數(shù)據(jù)技術(shù)和應(yīng)用提升到了國(guó)家發(fā)展戰(zhàn)略中。從2012年開(kāi)始美國(guó)《大數(shù)據(jù)研究和發(fā)展倡議》和日本《新 ICT 戰(zhàn)略研究計(jì)劃》就建立起了多方面關(guān)于大數(shù)據(jù)發(fā)展的相關(guān)策略和建議，指出當(dāng)前國(guó)家的發(fā)展中需要重點(diǎn)的關(guān)注復(fù)雜的數(shù)據(jù)，要搶占大數(shù)據(jù)時(shí)代的戰(zhàn)略制高點(diǎn)，不斷提升國(guó)家的綜合競(jìng)爭(zhēng)力。我國(guó)國(guó)土遼闊，在數(shù)據(jù)儲(chǔ)存方面和整合利用方面擁有的前景日益廣闊，大數(shù)據(jù)技術(shù)的廣泛使用，能夠有效滿足當(dāng)前我國(guó)發(fā)展戰(zhàn)略的相關(guān)研究。

1.2.2 大數(shù)據(jù)技術(shù)對(duì)科學(xué)研究起到的作用

大數(shù)據(jù)技術(shù)的出現(xiàn)將部分科學(xué)研究從過(guò)去的假設(shè)驅(qū)動(dòng)性轉(zhuǎn)化為數(shù)據(jù)驅(qū)動(dòng)性，從而探索出新的科學(xué)研究方式和路徑。大數(shù)據(jù)技術(shù)的使用可以假設(shè)物質(zhì)各組成部分及相互關(guān)系，遵循某種關(guān)系開(kāi)始相應(yīng)的實(shí)踐，借助數(shù)據(jù)邏輯的方式，對(duì)整個(gè)事件的規(guī)律和形成進(jìn)行一定的假設(shè)，并對(duì)形成的某種同質(zhì)性和演化的事物進(jìn)行探索。當(dāng)前大數(shù)據(jù)技術(shù)能夠充分地進(jìn)行數(shù)據(jù)的處理和分析，進(jìn)而得出該事物及整體上所形成的統(tǒng)計(jì)規(guī)律，而這種規(guī)律在沒(méi)有已知規(guī)律和可循物質(zhì)各組成部分之間是處于復(fù)雜的，很難建立起一定的模型[1]。

當(dāng)前各學(xué)科的發(fā)展已經(jīng)離不開(kāi)數(shù)據(jù)的技術(shù)應(yīng)用，除了傳統(tǒng)的模式識(shí)別、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)之外，借助大數(shù)據(jù)處理軟件，人們可以從相應(yīng)的數(shù)據(jù)中不斷地進(jìn)行預(yù)測(cè)、反應(yīng)、決策和控制，對(duì)相應(yīng)的數(shù)據(jù)問(wèn)題進(jìn)行整合。大數(shù)據(jù)也在不斷地改變?nèi)藗儗?duì)信息處理的思維模式，在面向復(fù)雜對(duì)象開(kāi)展大數(shù)據(jù)處理方式時(shí)，需要緊跟著時(shí)代的發(fā)展來(lái)進(jìn)行。

1.2.3? 大數(shù)據(jù)及相關(guān)處理技術(shù)可轉(zhuǎn)化為巨大的社會(huì)經(jīng)濟(jì)價(jià)值

當(dāng)前大數(shù)據(jù)技術(shù)被廣泛運(yùn)用到社會(huì)，各大發(fā)達(dá)國(guó)家在數(shù)據(jù)處理方面已經(jīng)有了很多的成功案例，比如利用醫(yī)療衛(wèi)生數(shù)據(jù)監(jiān)控醫(yī)療體制的運(yùn)行和民眾健康的變化，對(duì)當(dāng)前醫(yī)療技術(shù)加以評(píng)估，幫助政府選擇合理的醫(yī)療改革方案?；蛘呃媚茉磾?shù)據(jù)，推動(dòng)各相關(guān)部門(mén)實(shí)現(xiàn)能源減排方案。借助交通運(yùn)輸數(shù)據(jù)，緩解交通運(yùn)輸擁堵等問(wèn)題。由此可以看出當(dāng)前隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，大數(shù)據(jù)的處理與應(yīng)用已經(jīng)不斷地產(chǎn)生巨大的社會(huì)經(jīng)濟(jì)價(jià)值，甚至被人譽(yù)為“未來(lái)的新石油”，推動(dòng)了部分行業(yè)和領(lǐng)域的快速發(fā)展[2]。

2 大數(shù)據(jù)技術(shù)與應(yīng)用中亟待解決的挑戰(zhàn)性科學(xué)問(wèn)題

大數(shù)據(jù)體量龐大，增長(zhǎng)速度快，增長(zhǎng)價(jià)值大，對(duì)數(shù)據(jù)能夠進(jìn)行實(shí)時(shí)獲取。借助數(shù)據(jù)的傳輸整理等功能，能夠面對(duì)小的信息數(shù)據(jù)，滿足多種要求，突破傳統(tǒng)的思維定式和技術(shù)的限制，深入地對(duì)時(shí)代所獲取的相應(yīng)大數(shù)據(jù)技術(shù)進(jìn)行獲取、儲(chǔ)存、處理。大數(shù)據(jù)技術(shù)與應(yīng)用中亟待解決的挑戰(zhàn)性科學(xué)問(wèn)題如下。

2.1 高效壓縮感知與選擇性感知方法

過(guò)去人們對(duì)數(shù)據(jù)的關(guān)注點(diǎn)在于數(shù)據(jù)的質(zhì)量客觀性，這是小數(shù)據(jù)時(shí)代下所做到的處理模式。因?yàn)樾?shù)據(jù)在存儲(chǔ)處理和計(jì)算上所花費(fèi)的時(shí)間小，對(duì)實(shí)際的應(yīng)用具有一定的時(shí)效性。而大數(shù)據(jù)時(shí)代，人們不僅要關(guān)注數(shù)據(jù)的質(zhì)量和速度，更重要的是要關(guān)注如何對(duì)數(shù)據(jù)進(jìn)行傳輸處理和計(jì)算，并且對(duì)數(shù)據(jù)所形成的相應(yīng)成本進(jìn)行適時(shí)的探討。因此面對(duì)種類繁多，靈活多樣的大數(shù)據(jù)應(yīng)用，不能只以夠用即可的模式進(jìn)行數(shù)據(jù)的獲取，還應(yīng)該不斷追求數(shù)據(jù)獲取的方式和方法。

針對(duì)當(dāng)前的數(shù)據(jù)獲取，通過(guò)數(shù)據(jù)儲(chǔ)存、傳輸、處理等多種應(yīng)用，能夠有效提高大數(shù)據(jù)從獲取到應(yīng)用整個(gè)過(guò)程，滿足精準(zhǔn)處理的效率，盡可能地減小數(shù)據(jù)的規(guī)模。從現(xiàn)階段來(lái)說(shuō)需要不斷地改進(jìn)和發(fā)展壓縮感知方式和技術(shù)，這樣能夠有效提高數(shù)據(jù)處理的無(wú)損壓縮比重。其次，還可以在信息獲取時(shí)進(jìn)行選擇性的關(guān)注，建立對(duì)無(wú)關(guān)數(shù)據(jù)進(jìn)行大幅度去除的模式。最后，需要不斷加強(qiáng)對(duì)數(shù)據(jù)處理和分析能力的研究，盡可能減少無(wú)用和有害信息的處理，大幅度提高數(shù)據(jù)處理的效率和計(jì)算的效率。

2.2? 大數(shù)據(jù)高效存儲(chǔ)和管理方式

按數(shù)據(jù)存儲(chǔ)作為數(shù)據(jù)處理和計(jì)算的關(guān)鍵所在，是為了整個(gè)大數(shù)據(jù)時(shí)代所服務(wù)的現(xiàn)有的數(shù)據(jù)量。數(shù)據(jù)存儲(chǔ)隨著時(shí)間的增長(zhǎng)而不斷地增長(zhǎng)，而現(xiàn)有的數(shù)數(shù)據(jù)儲(chǔ)存管理和調(diào)度已經(jīng)不能適合多元海量異構(gòu)的數(shù)據(jù)，在多種存儲(chǔ)設(shè)備之間的流動(dòng)。因此為了應(yīng)對(duì)當(dāng)前數(shù)據(jù)存在的靈活性、便捷性和快速性，需要結(jié)合當(dāng)前數(shù)據(jù)處理的整合模式，研究如何高效地去除海量和冗余的數(shù)據(jù)，高效地壓縮數(shù)據(jù)處理方式，將重復(fù)無(wú)用的過(guò)時(shí)數(shù)據(jù)在數(shù)據(jù)儲(chǔ)存軟件上進(jìn)行及時(shí)的清除。以有效提高數(shù)據(jù)存儲(chǔ)空間的利用率。同時(shí)還應(yīng)通過(guò)協(xié)同優(yōu)化和配置，對(duì)各種數(shù)據(jù)資源進(jìn)行實(shí)時(shí)獲取，研發(fā)高效的數(shù)據(jù)模型。借助相應(yīng)的存取技術(shù)和交換算法，能夠盡可能地提高數(shù)據(jù)存儲(chǔ)的速度效率。

2.3? 多層多域網(wǎng)絡(luò)化大數(shù)據(jù)的高效傳輸方式

隨著科學(xué)技術(shù)的快速發(fā)展，對(duì)數(shù)據(jù)處理的核心不僅僅是在于時(shí)效性和完整性，還要針對(duì)不同的應(yīng)用模式進(jìn)行數(shù)據(jù)的處理。有些數(shù)據(jù)處理苛求于數(shù)據(jù)的實(shí)效性，而有些則針對(duì)數(shù)據(jù)處理的完整性。所以在數(shù)據(jù)處理過(guò)程中需要綜合考慮數(shù)據(jù)的形式，并做好數(shù)據(jù)處理的預(yù)測(cè)、決策和控制等多方面的研究。

當(dāng)前在網(wǎng)絡(luò)技術(shù)快速發(fā)展和應(yīng)用需求日益增大情況下，網(wǎng)絡(luò)的規(guī)模和異構(gòu)性急劇增大，而且大數(shù)據(jù)在跨層跨域之間的數(shù)據(jù)處理和實(shí)時(shí)傳輸日益困難，所以對(duì)數(shù)據(jù)完整性的保持是一種極大地苛求。如果互聯(lián)網(wǎng)和光網(wǎng)絡(luò)都無(wú)法滿足數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性和完整性，會(huì)存在數(shù)據(jù)亂丟、亂碼和亂序等現(xiàn)象的出現(xiàn)。因此需要研發(fā)新的網(wǎng)絡(luò)體系架構(gòu)和傳輸交換機(jī)理，有效對(duì)數(shù)據(jù)資源進(jìn)行實(shí)時(shí)調(diào)度，以滿足對(duì)大數(shù)據(jù)跨層、跨域?qū)嵤┩暾膫鬏數(shù)男枨蟆?/p>

2.4 大數(shù)據(jù)高效計(jì)算系統(tǒng)結(jié)構(gòu)與方法

大數(shù)據(jù)的處理核心在于處理效率和成本是否能夠滿足實(shí)際需求，當(dāng)前大數(shù)據(jù)時(shí)代下提高數(shù)據(jù)處理的效率和減少數(shù)據(jù)處理的成本是關(guān)鍵所在。計(jì)算系統(tǒng)結(jié)構(gòu)和算法在時(shí)間和成本上不能滿足動(dòng)關(guān)聯(lián)性較強(qiáng)的大數(shù)據(jù)計(jì)算，迫切需要研發(fā)出新的可擴(kuò)展并行的數(shù)據(jù)系統(tǒng)結(jié)構(gòu)，實(shí)施高效的內(nèi)存計(jì)算技術(shù)，滿足當(dāng)前大數(shù)據(jù)計(jì)算和分析的需求。

3 結(jié)語(yǔ)

綜上所述，隨著當(dāng)前移動(dòng)大數(shù)據(jù)技術(shù)的快速發(fā)展，加強(qiáng)我國(guó)大數(shù)據(jù)的處理至關(guān)重要。大數(shù)據(jù)內(nèi)部隱藏相關(guān)事物之間的聯(lián)系和模式，具有高度的復(fù)雜結(jié)構(gòu)，需要針對(duì)多元的數(shù)據(jù)處理模式，進(jìn)一步加大對(duì)大數(shù)據(jù)發(fā)展的戰(zhàn)略與規(guī)劃建立[3]。應(yīng)提高對(duì)大數(shù)據(jù)技術(shù)應(yīng)用的重視，不斷地完善數(shù)據(jù)處理模式，并進(jìn)一步提升數(shù)據(jù)處理的效率和可利用率，為國(guó)民經(jīng)濟(jì)的轉(zhuǎn)型和升級(jí)以及社會(huì)的快速發(fā)展做出貢獻(xiàn)。

[參考文獻(xiàn)]

[1]韓子瑩.大數(shù)據(jù)技術(shù)應(yīng)用的倫理探究[D].北京：北京郵電大學(xué)，2019.

[2]韋軍威.大數(shù)據(jù)技術(shù)應(yīng)用的社會(huì)問(wèn)題及治理對(duì)策[D].武漢：華中師范大學(xué)，2019.

[3]廖建新.大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望[J].電信科學(xué)，2015（7）：7-18.

（編輯 王永超）