對基于“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)的應(yīng)用探討

黃佰強(qiáng)

（華南農(nóng)業(yè)大學(xué)珠江學(xué)院 廣東·廣州 510900）

大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息處理技術(shù)中的應(yīng)用，給網(wǎng)絡(luò)數(shù)據(jù)的處理帶來了極大的便利，但是也給計(jì)算機(jī)技術(shù)的發(fā)展帶來了極大的挑戰(zhàn)，如果不能有效的利用信息技術(shù)對各種數(shù)據(jù)存儲、整理、分析與傳輸，就會導(dǎo)致信息泄露的問題與數(shù)據(jù)丟失的情況，也就會對數(shù)據(jù)的安全造成影響，為了提高計(jì)算機(jī)信息處理技術(shù)與各類數(shù)據(jù)存儲效率，需要深入研究數(shù)據(jù)的采集與存儲以及數(shù)據(jù)安全技術(shù)，提高網(wǎng)絡(luò)數(shù)據(jù)的處理效率，使得大數(shù)據(jù)技術(shù)能在更為廣泛的角度得到應(yīng)用，能更有效的保證網(wǎng)絡(luò)數(shù)據(jù)的安全性能。

1 計(jì)算機(jī)信息處理技術(shù)

1.1 數(shù)據(jù)的采集

目前，對網(wǎng)絡(luò)數(shù)據(jù)采集的流程是從數(shù)據(jù)的來源端機(jī)芯抽取(extraot)、轉(zhuǎn)換(transform)、加載(load)后保存在存儲服務(wù)中，如比較流行的Sqoop和ETL工具，還可以采用關(guān)系型數(shù)據(jù)庫MySQL和Oracle對遠(yuǎn)端的數(shù)據(jù)進(jìn)行收集，并利用加工工具對數(shù)據(jù)清洗、加工、挖掘與存儲。在大數(shù)據(jù)的環(huán)境下，對網(wǎng)絡(luò)數(shù)據(jù)的采集與存儲也提出了更高的要求，采用計(jì)算機(jī)硬件技術(shù)來提高網(wǎng)絡(luò)數(shù)據(jù)的存儲，云存儲技術(shù)剛好能滿足這一需求，例如阿里云、百度云、谷歌云等，其作用不僅是對數(shù)據(jù)進(jìn)行存儲，還能有效地對信息數(shù)據(jù)進(jìn)行處理。

1.2 信息的存儲

對于收集到的海量數(shù)據(jù)，往往存在著不同的結(jié)構(gòu)與類型，為了保證數(shù)據(jù)的完整性，需要針對數(shù)據(jù)的來源與類型，對其進(jìn)行分類存儲，以有利用后期處理。如何有效地保證網(wǎng)絡(luò)數(shù)據(jù)存儲的安全性與穩(wěn)定性，是計(jì)算機(jī)信息處理面臨的關(guān)鍵性問題，也是在數(shù)據(jù)存儲時(shí)必須要考慮的首要問題。將大數(shù)據(jù)技術(shù)與云計(jì)算技術(shù)結(jié)合在一起，采用分布式存儲技術(shù)成為當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)存儲的重要模式，能為用戶提供大容量的存儲，而且云技術(shù)采用分布式存儲的方式，在數(shù)據(jù)存儲、調(diào)用、處理、備份等方面的優(yōu)勢也十分明顯，如圖1所示云存儲技術(shù)，同時(shí)也能夠?yàn)橹悄軘?shù)據(jù)處理與分析提供便利，從而實(shí)現(xiàn)數(shù)據(jù)的存儲、備份、共享、管理與應(yīng)用，提高了數(shù)據(jù)的處理效率與應(yīng)用范圍。

圖1：云存儲技術(shù)的流程

1.3 信息傳遞

資源共享是大數(shù)據(jù)應(yīng)用的關(guān)鍵，也是挖掘隱藏在數(shù)據(jù)后的有價(jià)值的信息關(guān)鍵技術(shù)，在大數(shù)據(jù)背景下，不僅要保證信息傳遞效率，還有保障網(wǎng)絡(luò)數(shù)據(jù)、信息的安全等相關(guān)的問題，數(shù)字簽名認(rèn)證技術(shù)是一種常見的信息安全保障措施，也是當(dāng)前信息安全傳輸?shù)某Ｓ糜?jì)算機(jī)信息處理措施與重要途徑。它的工作原理就是在數(shù)據(jù)傳輸?shù)耐瑫r(shí)，采用數(shù)字簽名技術(shù)對其進(jìn)行加密，在數(shù)據(jù)的接收端對數(shù)據(jù)進(jìn)行解密，在網(wǎng)絡(luò)的接收端與傳輸端，采用相同的數(shù)字簽名方法進(jìn)行加密與解密，這就能有效的防止傳輸?shù)臄?shù)據(jù)被第三方截取與破壞，進(jìn)而能真正實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的安全傳遞。

1.4 信息安全處理

網(wǎng)絡(luò)數(shù)據(jù)、用戶的信息安全一直是人們關(guān)注的熱點(diǎn)問題，計(jì)算機(jī)信息處理技術(shù)不僅要關(guān)注信息處理的效率，還需要注重信息安全管理技術(shù)，大數(shù)據(jù)時(shí)代的到來，在提高計(jì)算機(jī)信息處理效率的同時(shí)，也對信息安全技術(shù)提出新的挑戰(zhàn)。為了保證網(wǎng)絡(luò)信息的安全，目前已經(jīng)開發(fā)出多種信息安全技術(shù)，如生物技術(shù)、指紋、圖像等技術(shù)，都是比較完善的信息安全技術(shù)體系。例如，二維碼技術(shù)就是一種典型的信息安全技術(shù)，首先采集用戶的指紋圖像，生產(chǎn)指紋數(shù)據(jù)庫，對指紋圖像進(jìn)行加密、編碼，生成唯一的二維碼，在用戶登錄系統(tǒng)時(shí)，只有指紋圖像與二維碼信息一致時(shí)，才能登錄系統(tǒng)，獲得相應(yīng)的數(shù)據(jù)。

2 計(jì)算機(jī)多道信息處理技術(shù)

2.1 計(jì)算機(jī)多道處理技術(shù)原理

隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，使得大容量數(shù)據(jù)處理技術(shù)變得更加容易，為了提供計(jì)算機(jī)處理信息技術(shù)的能力，人們開始采用多道程序設(shè)計(jì)來提升計(jì)算機(jī)信息處理的能力，多道處理的技術(shù)在數(shù)據(jù)處理方式與傳統(tǒng)計(jì)算機(jī)數(shù)據(jù)處理技術(shù)上存在一定的差異，但是從硬件的組成、脈沖多道分析的結(jié)構(gòu)組成分析，計(jì)算機(jī)信息處理技術(shù)的多道數(shù)據(jù)主要包括 PC端的終端控制技術(shù)、數(shù)據(jù)采集板的用戶數(shù)據(jù)采集，甄別器的數(shù)據(jù)識別與篩選，展寬器的數(shù)據(jù)脈沖幅度測量等幾個(gè)部分。PC端終端控制技術(shù)的功能是傳感器捕捉信號，并捕獲的模擬信號轉(zhuǎn)變數(shù)字信號，以便于計(jì)算機(jī)進(jìn)行識別，該轉(zhuǎn)換過程稱為ADC變換。PC機(jī)內(nèi)置程序的控制下，可以對數(shù)據(jù)進(jìn)行編碼處理，將ADC變換幅度作為地址碼，并獲取該道地址參數(shù)，然后將其輸入到運(yùn)算器內(nèi)，由運(yùn)算器完成加1運(yùn)算處理，將結(jié)果存儲在存儲器內(nèi)。在具體的數(shù)據(jù)處理中，一直重復(fù)整個(gè)過程，直到完成整個(gè)信息處理。

2.2 計(jì)算機(jī)多道處理技術(shù)的構(gòu)成

目前，比較流行的計(jì)算機(jī)多道處理技術(shù)，在技術(shù)上已經(jīng)比較成熟，都是采用通信數(shù)據(jù)采集卡為硬件的基礎(chǔ)技術(shù)。并以Visual C++6.O,Windows軟件為平臺來開發(fā)數(shù)據(jù)采集的程序，并對采集卡的數(shù)據(jù)處理功能進(jìn)行開發(fā)，在對數(shù)據(jù)進(jìn)行采集的過程中，主要是利用定時(shí)或者定事例數(shù)對數(shù)據(jù)進(jìn)行采集，將采集事件信號幅度數(shù)據(jù)或者數(shù)據(jù)時(shí)間間隔作為數(shù)據(jù)采集的頻率，形成具體采集過程來顯示時(shí)間譜，便于對數(shù)據(jù)進(jìn)行整體分析。在數(shù)據(jù)處理方面，可以自動生成采集數(shù)據(jù)的波譜形狀或者采集的時(shí)間間隔，以記錄具體的信息處理過程。用戶只需要點(diǎn)擊鼠標(biāo)，能查詢數(shù)據(jù)處理的過程，就可顯示該點(diǎn)的道址和該道的事例數(shù)，從而能有效的完成信息數(shù)據(jù)的采集與處理，這樣，通過所采集的數(shù)據(jù)作為數(shù)據(jù)文件，并利用存儲技術(shù)保存，供后期的數(shù)據(jù)調(diào)用、離線分析與處理。

2.3 計(jì)算機(jī)多道處理技術(shù)的改進(jìn)

例如，信號探測器容易受到信號脈沖、帶寬比常規(guī)的脈沖窄的影響，導(dǎo)致信息處理的效率不高，而這些脈沖通過數(shù)據(jù)采集板之后，往往還要產(chǎn)生一些損耗。在PC端如何有效的識別脈沖信號的寬帶，成為難點(diǎn)問題之一，主要是由于信息處理的幅度低于實(shí)際值，從而導(dǎo)致處理結(jié)果失真。因此，為了提高計(jì)算機(jī)信息處理的效率，避免此類問題出現(xiàn)，需要改進(jìn)計(jì)算機(jī)多道處理技術(shù)，提高計(jì)算機(jī)信息處理效率，通常在現(xiàn)有的計(jì)算機(jī)多道軟硬件基礎(chǔ)上，對整個(gè)信息處理的硬件技術(shù)進(jìn)行改進(jìn)。常用的技術(shù)措施是利用幅度保持器來提高脈沖幅度的識別，用一臺快速恢復(fù)式的幅度保持器代替展寬器，提高對數(shù)據(jù)的識別能力，形成新的多道硬件，提高了計(jì)算機(jī)信息處理的效率。

在具體數(shù)據(jù)處理過程中，幅度保持器的工作過程為：在PC前端設(shè)備捕捉到數(shù)據(jù)信號后，需要對信號的功率進(jìn)行放大，在經(jīng)過電容C對信號經(jīng)過放大之后，分成兩個(gè)部分，一部分信號經(jīng)過甄別器進(jìn)行分析處理，另一部分信號通過信號觸發(fā)器進(jìn)行放電控制，然后控制脈沖電流驅(qū)動模擬器開關(guān)K，完成放電控制過程后，重新與第一路信號匯合，完成一個(gè)完整的信息處理過程。在幅度保持器中，可以人為設(shè)計(jì)信號傳輸延遲，保證信息處理的完整性，通常在3-5s之間，對信號處理能力進(jìn)行控制，從而能提高信號傳輸?shù)哪芰?，保證信號處理不會失真。

3 “大數(shù)據(jù)”背景下計(jì)算機(jī)信息處理技術(shù)創(chuàng)新

3.1 大規(guī)模計(jì)算機(jī)信息處理平臺的應(yīng)用

隨著計(jì)算機(jī)處理技術(shù)的不斷提升，大型數(shù)據(jù)處理平臺的成本也在不斷的降低，海量數(shù)據(jù)的處理成為關(guān)注的核心問題之一。一方面，海量的數(shù)據(jù)往往會占用大量的存儲控制，大規(guī)模平臺的應(yīng)用降低了數(shù)據(jù)存儲的成本；導(dǎo)致數(shù)據(jù)存儲的物理成本不斷上升；另一方面，采用大規(guī)模的計(jì)算平臺處理數(shù)據(jù)，提高了數(shù)據(jù)處理的效率。基于大數(shù)據(jù)的計(jì)算機(jī)信息處理技術(shù)，能在大范圍內(nèi)對海量數(shù)據(jù)進(jìn)行處理，而且，利用分布式處理技術(shù)也能提高海量數(shù)據(jù)的處理效率，也能有效挖掘數(shù)據(jù)的價(jià)值。運(yùn)用虛擬化技術(shù)加強(qiáng)對網(wǎng)絡(luò)數(shù)據(jù)的處理，不僅能夠降低大規(guī)模、集成化計(jì)算平臺的應(yīng)用成本，將在虛擬環(huán)境下同步運(yùn)行，不僅可以實(shí)現(xiàn)所有的信息處理功能，提高計(jì)算機(jī)信息處理的能力，而且進(jìn)一步提升了虛擬計(jì)算平臺的兼容性和穩(wěn)定性，更有利于擴(kuò)大信息數(shù)據(jù)處理的平臺，提高海量數(shù)據(jù)的處理效率。

3.2 采用Map Reduce技術(shù)的支持

計(jì)算機(jī)多道信息處理技術(shù)的應(yīng)用，提高了數(shù)據(jù)處理的效率，同時(shí)在大數(shù)據(jù)與云計(jì)算技術(shù)的支持下，采用分布式技術(shù)對海量數(shù)據(jù)進(jìn)行存儲，并對數(shù)據(jù)進(jìn)行處理。將海量信息分配在不同的虛擬服務(wù)器中進(jìn)行處理，也有利于提升海量數(shù)據(jù)的處理效率。

3.3 云計(jì)算技術(shù)的應(yīng)用

云計(jì)算技術(shù)在大數(shù)據(jù)的數(shù)據(jù)處理中具有較高的效率，它采用分布式存儲技術(shù)，在面對結(jié)構(gòu)復(fù)雜、類型不同的數(shù)據(jù)，處理的效率與效果較好，將云計(jì)算技術(shù)與大數(shù)據(jù)技術(shù)等融合計(jì)算機(jī)信息處理中，形成一個(gè)模塊化的數(shù)據(jù)模型，在不同的環(huán)節(jié)可以處理不同的數(shù)據(jù)，提高了數(shù)據(jù)處理的效率。例如數(shù)據(jù)預(yù)處理、數(shù)據(jù)分類、數(shù)據(jù)計(jì)算等，也有利于對不同的數(shù)據(jù)處理進(jìn)行拓展。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，計(jì)算機(jī)信息處理技術(shù)與大數(shù)據(jù)、云計(jì)算技術(shù)的融合，對提高信息技術(shù)處理的效率具有十分重要的作用。

3.4 現(xiàn)代智能算法的運(yùn)用

為了提高數(shù)據(jù)處理的效率，采用智能算法來處理復(fù)雜的數(shù)據(jù)，不僅能提高數(shù)據(jù)處理的效率，還能自動生成數(shù)據(jù)模型，能夠?yàn)楦鞣N數(shù)據(jù)處理提供幫助，常用的算法有遺傳算法、粒子群算法等。采用這種智能算法，可以有效的彌補(bǔ)數(shù)據(jù)處理的不足，降低數(shù)據(jù)處理過程中出現(xiàn)的錯(cuò)誤，讓信息處理結(jié)果能夠達(dá)到更理想的程度。而且，利用智能算法的糾錯(cuò)能力較強(qiáng)，也拓寬了計(jì)算機(jī)信息處理的范圍，與計(jì)算機(jī)硬件信息處理技術(shù)結(jié)合在一起，對提高計(jì)算機(jī)信息處理能力具有十分重要的作用。

4 結(jié)束語

大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息處理中的應(yīng)用，這不僅是信息處理發(fā)展的需求，同時(shí)也是網(wǎng)絡(luò)海量數(shù)據(jù)處理的需求，海量的數(shù)據(jù)堆積要求大力發(fā)展計(jì)算機(jī)信息處理技術(shù)，也促進(jìn)了計(jì)算機(jī)信息處理技術(shù)與大數(shù)據(jù)、云計(jì)算技術(shù)、智能數(shù)據(jù)處理技術(shù)綜合在一起，對數(shù)據(jù)處理速度還是處理質(zhì)量都有明顯的提升，隨著智能處理技術(shù)在人們生活的各個(gè)領(lǐng)域的應(yīng)用，要求不斷提升信息處理技術(shù)才能滿足要求。