淺析數學與應用數學在大數據中的應用

蔡皓宇

?

淺析數學與應用數學在大數據中的應用

蔡皓宇

（南京市第九中學 江蘇 南京 210000）

大數據是時代發(fā)展的必然產物，而數學與應用數學專業(yè)旨在培養(yǎng)學生對于數學學科知識的應用能力，將數學與應用數學專業(yè)知識引入到大數據處理工作之中，對于知識應用效用的發(fā)揮以及數據處理效率的提高均起到良好的促進效果。本文就數學與應用數學在大數據中的應用展開論述。

數學與應用數學；大數據；應用

1 大數據概述

1.1 大數據概念的“興起”

計算機技術的應用普及以及互聯網絡的興起，對于社會各行業(yè)起到了極大的促進作用，更是在諸多行業(yè)之中產生了大量的“生產數據”，例如：光學觀測、監(jiān)控技術、醫(yī)療保健、傳感數據、客戶體驗數據以及金融行業(yè)交易鏈等等，更有“無限”數據的形象說法，因為在諸多領域之中，數據的產生是“源源不斷”的，造成了數據的“類災害”，在這種歷史發(fā)展環(huán)境之中，大數據的概念逐漸的被人們所重視。隨著大數據概念在廣大公眾視野中的逐漸顯露，其特點也逐漸的被大眾所了解，對于大數據的認知中，其結構不固定，且需要對其進行實時分析等特點被人們所接受，在新時代大數據發(fā)展需求中，全新體系構架的建立勢在必行，以滿足大規(guī)模數的獲取、傳輸、儲存以及分析。

1.2 大數據給數據處理技術帶來新的挑戰(zhàn)

大數據爆發(fā)帶來前所未有的發(fā)展空間和發(fā)展機遇，與此同時，對于傳統(tǒng)的數據信息的管理工作提出嚴峻的挑戰(zhàn)，第一，在大數據爆發(fā)的時代中，社會各個行業(yè)之中數據的生產和消費變得更加的快捷、容易，對于數據的收集和集成管理工作提出全新的挑戰(zhàn)；第二，大數據時代中數據的一個最顯著的特點就是“大”，這給數據的儲存和管理工作帶來全新的挑戰(zhàn)，硬件和軟件的研發(fā)工作更加的迫切，需要其有跨越式的進步和發(fā)展；最后，受到大數據異構性、規(guī)模性、實時性、復雜性和隱私性等特性的需求要求，對于數據的查詢、分析和預測工作效率提出嚴峻的挑戰(zhàn)。

1.3 現實環(huán)境的局限性

傳統(tǒng)的數據管理和分析是以關系型數據庫管理系統(tǒng)為基礎的，這種數據管理系統(tǒng)在結構化數據處理過程中有相對突出的優(yōu)勢，但是，在對半結構化或是無結構化數據處理過程中卻顯得有些“蒼白無力”，除了在全新數據結構處理方面的欠缺之外，在硬件儲存方面也表現的“捉襟見肘”，雖然能夠通過提高儲存容量的上限來滿足現實的需求，但其造價也會“水漲船高”，提高硬件的生產成本，大數據的儲存和處理需要對硬件實行并行擴容（通過并行增加硬件從而實現對儲存容量和處理效率的有效拓展），這些都是傳統(tǒng) RDBMS 不能夠實現的，對于大數據的發(fā)展形成桎梏。

2 大數據實現的核心技術及實現方法

在現代計算機技術的“承載”下，大數據處理技術在對傳統(tǒng)計算機技術不斷完善與更新的基礎上，正在不斷的“改變世界”，大數據處理技術通過實時、高效、可視化呈現的對海量數據的處理過程中，能夠滿足用戶對于數據需求在形式和內容上的“自由”，實現數據意義上的“按需分配”。通過云技術的應用，使大數據的采集、傳輸、處理和應用成為可能，在實際的生產生活中利用一系列非傳統(tǒng)的工具實現對大量結構、非結構以及半結構化的數據進行處理。

大數據處理技術框架的形成，基于大數據處理的生命周期，涉及到大數據的采集與處理、大數據的儲存和管理、大數據的計算模式和計算系統(tǒng)、大數據的分析與研究以及大數據的隱私與安全等幾項核心技術。

2.1 大數據的采集與預處理工作

數據源的多樣化是大數據的一個重要的特點，數據的多樣化不僅僅表現在數據形成的多樣化，還體現在數據內容的多樣化和數據結構的多樣化，大數據技術的第一步就是要完成對數據的收集和預處理工作，為后續(xù)流程的進行提供統(tǒng)一的高質量的集成數據。

2.2 大數據的儲存和管理工作

大數據處理工作之多一困難，很重要的一個方面就是數據的“積累”，而實現對數據的有效的積累過程就需要對既有數據的儲存和管理，故而，在大數據技術的實現過程中，要克服數據儲存規(guī)模大、儲存管理復雜以及數據服務種類和水平要求較好這幾項困難，才能一舉攻破大數據技術的“堡壘”。

2.3 大數據的安全與隱私

在數據爆發(fā)的時代之中，對于人們的隱私構成嚴重的威脅，在大數據管理過程中，主要面對的難題有：

1）大數據時代的安全與傳統(tǒng)安全相比，變得更加復雜;

2）使用過程中的安全問題;

3）對大數據分析較高的企業(yè)和團體，面臨更多的安全挑戰(zhàn);

4）基于位置的隱私數據暴露嚴重;

5）缺乏相關的法律法規(guī)保證;

6）大數據的共享問題;

7）數據動態(tài)性;

8）多元數據的融合挑戰(zhàn)。

3 數學與應用數學在大數據中的應用方向和前景

數學與應用數學旨在教學生數學科學的基本理論與基本方法的基礎上，培養(yǎng)其運用所學數學知識利用計算機技術解決實際問題的能力，為社會科技、教育和經濟部門提供從事研究、教學或是生產經營等實際應用、開發(fā)研究和管理工作的高級人才，而大數據是指無法在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合，專業(yè)是屬于計算機專業(yè)。在大數據處理應用之中，會更多的融入應用數學知識，以實現應用數學在大數據處理中效用的進一步發(fā)揮。

4 結語

綜上所述，大數據爆發(fā)是歷史發(fā)展的必然結果，也是新時代人們對于數據信息需求品質提高的必然趨勢，大數據爆發(fā)在滿足人們對數字信息方面需求的同時，對于各項技術（包括對爆發(fā)性數據的收集、整理、儲存以及分析預測等技術）提出嚴峻的挑戰(zhàn)，需要社會各方人員用于創(chuàng)新，踏出具有歷史性的一步。在進行大數據管理工作的研發(fā)過程中，對于核心技術要集中“攻破”，解決問題中的主要問題，對于核心技術的實現方式進行有效的拓展。在新時代發(fā)展過程中，數學和應用數學之于大數據管理工作之中有重要的作用，其應用空間相當的廣闊，應給予足夠的重視，爭取其在大數據管理工作中發(fā)揮更為重要的效用。

[1]程學旗,靳小龍,王元卓,郭嘉豐,張鐵贏,李國杰. 大數據系統(tǒng)和分析技術綜述[J]. 軟件學報,2014,25(09):1889-1908.

[2]黃劉生,田苗苗,黃河. 大數據隱私保護密碼技術研究綜述[J]. 軟件學報,2015,26(04):945-959.

[3]孫洪濤,鄭勤華. 教育大數據的核心技術、應用現狀與發(fā)展趨勢[J]. 遠程教育雜志,2016,34(05):41-49.

big data is the inevitable outcome of the development of the times, and mathematic and applied mathematic major aims at training students to apply the knowledge of mathematics discipline, introducing the mathematic and applied mathematic expertise into the work of big data processing, which has a good effect on the application of knowledge and the improvement of the efficiency of data processing. This paper discusses the application of mathematics and applied mathematics in large data.

mathematics and applied mathematics; Big data; application

10.19551/j.cnki.issn1672-9129.2017.10.344

G434

A

1672-9129(2017)10-0278-02