大數(shù)據(jù)技術(shù)應(yīng)用考研數(shù)據(jù)可視化開發(fā)與設(shè)計(jì)

陳海洋 陳聰

【摘要】本文以計(jì)算機(jī)專業(yè)學(xué)生為研究對象，介紹利用大數(shù)據(jù)分析技術(shù)通過收集學(xué)生備考階段相關(guān)數(shù)據(jù)，對收集的數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理過程包含數(shù)據(jù)清洗、數(shù)據(jù)規(guī)整化處理等，預(yù)處理后針對學(xué)生的備考數(shù)據(jù)構(gòu)建相應(yīng)的數(shù)據(jù)分析模型，分析高校學(xué)生備考、擇校等的一些情況，找出當(dāng)前存在的學(xué)生考研問題及可改善的地方，并提出有針對性的恰當(dāng)可行的對策，為鼓勵(lì)本科生考研、促進(jìn)素質(zhì)教育及高級人才的培養(yǎng)提供一定的參考依據(jù)。

【關(guān)鍵詞】可視化;數(shù)據(jù)分析;考研

【基金項(xiàng)目】本文由梧州學(xué)院2019年大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目資助

中圖分類號：TN92? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ? ?DOI：10.12246/j.issn.1673-0348.2021.011..033

伴隨著高校招生規(guī)模的擴(kuò)張，就業(yè)是每個(gè)畢業(yè)生必須面臨的難題，隨著不斷的“內(nèi)卷”，越來越多的大學(xué)生選擇考研繼續(xù)深造，為暫避就業(yè)問題，也為提高自己的競爭力，但獲取相關(guān)信息較為麻煩，網(wǎng)絡(luò)上的內(nèi)容良靡不齊，對考研信息數(shù)據(jù)進(jìn)行可視化分析，可提供直觀、準(zhǔn)確清晰的數(shù)據(jù)，為鼓勵(lì)本科生考研、促進(jìn)素質(zhì)教育及高級人才的培養(yǎng)提供一定的參考依據(jù)。

1. 數(shù)據(jù)來源

通過網(wǎng)絡(luò)爬蟲主提取考研網(wǎng)數(shù)據(jù)，以百度收錄的其他數(shù)據(jù)為輔，研究近五年的數(shù)據(jù)。2018年全國考研人數(shù)238萬，比2010年的140.6萬增加了97.4萬人，平均每年增加約10萬人，僅限于各專業(yè)部分考研專業(yè)學(xué)生。根據(jù)2018年全國教育事業(yè)統(tǒng)計(jì)，全國共有各級各類學(xué)校51.89萬所，比上年增加了5128所;各級各類學(xué)歷教育在校生2.76億人，比上年增加了535.97萬人;各級各類學(xué)校共有專任教師1673萬人，比上年增加了46萬人。全國普通本專科共招生790.99萬人，比上年增長3.87%。其中，普通本科招生422.16萬人，比上年增長2.78%;普通?？普猩?68.83萬人，比上年增長5.16%。全國普通本專科共有在校生2831.03萬人，比上年增長2.81%。其中，普通本科在校生1697.33萬人，比上年增長2.95%;普通?？圃谛Ｉ?133.70萬人，比上年增長2.60%。

全國共招收研究生85.80萬人，比上年增長6.43%。其中，招收博士生9.55萬人，碩士生76.25萬人。在學(xué)研究生273.13萬人，比上年增長3.47%。其中，在學(xué)博士生38.95萬人，在學(xué)碩士生234.17萬人。盡管每年報(bào)考研究生的人堵在不斷地增加，但是隨著新興學(xué)科的興起與發(fā)展，有些專業(yè)無論是本科、還是研究生的數(shù)量都遠(yuǎn)遠(yuǎn)不能滿足需求。

2. 研究方法

主要研究通過大數(shù)據(jù)分析技術(shù)了解高校學(xué)生在考研備戰(zhàn)有關(guān)的一些情況，通過對于這些情況的分析，提出有助于學(xué)生考研的有針對性的解決方案，減輕學(xué)生在備戰(zhàn)過程中的壓力，讓學(xué)生少走彎路，主要需分析的具體內(nèi)容如：學(xué)生什么時(shí)候準(zhǔn)備考研;對報(bào)考院校的了解程度;通過什么方式了解考研信息;對考研過程及復(fù)試程序了解程度;備考過程遇到的最大的問題;學(xué)校對于同學(xué)的考研需求應(yīng)給予哪方面的支持;學(xué)生的考研方向;考生考研輔導(dǎo)機(jī)構(gòu)的選擇;本科階段的學(xué)習(xí)成績;考生的自身心理素質(zhì)（是否有毅力堅(jiān)持）。

設(shè)計(jì)算法來對海量考研信息進(jìn)行初步篩選，去掉無用數(shù)據(jù)信息。聚合歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)以及相關(guān)的外部數(shù)據(jù)通過大數(shù)據(jù)技術(shù)的充分挖掘能夠?yàn)闇p少考生困惑，快速獲取有用信息。利用數(shù)據(jù)分析軟件對數(shù)據(jù)進(jìn)行預(yù)處理，深度分析，使得出的結(jié)果一目了然，更直觀。效果如圖一所示

3 可視化設(shè)計(jì)流程

3.1 數(shù)據(jù)采集

參考CDA數(shù)據(jù)分析師，數(shù)據(jù)采集是數(shù)據(jù)分析和可視化的第一步，俗話說“巧婦難為無米之炊”，數(shù)據(jù)采集的方法和質(zhì)量，很大程度上就決定了數(shù)據(jù)可視化的最終效果。數(shù)據(jù)采集的分類方法有很多，從數(shù)據(jù)的來源來看，可以分為內(nèi)部數(shù)據(jù)采集和外部數(shù)據(jù)采集。

內(nèi)部數(shù)據(jù)采集：指的是采集企業(yè)內(nèi)部經(jīng)營活動(dòng)的數(shù)據(jù)，通常數(shù)據(jù)來源于業(yè)務(wù)數(shù)據(jù)庫，如訂單的交易情況。如果要分析用戶的行為數(shù)據(jù)、APP的使用情況，還需要一部分行為日志數(shù)據(jù)，這個(gè)時(shí)候就需要用「埋點(diǎn)」這種方法來進(jìn)行APP或Web的數(shù)據(jù)采集。

外部數(shù)據(jù)采集：指的數(shù)通過一些方法獲取企業(yè)外部的一些數(shù)據(jù)，具體目的包括，獲取競品的數(shù)據(jù)、獲取官方機(jī)構(gòu)官網(wǎng)公布的一些行業(yè)數(shù)據(jù)等。獲取外部數(shù)據(jù)，通常采用的數(shù)據(jù)采集方法為「網(wǎng)絡(luò)爬蟲」。

以上的兩類數(shù)據(jù)采集方法得來的數(shù)據(jù)，都是二手?jǐn)?shù)據(jù)。通過調(diào)查和實(shí)驗(yàn)采集數(shù)據(jù)，屬于一手?jǐn)?shù)據(jù)，在市場調(diào)研和科學(xué)研究實(shí)驗(yàn)中比較常用，不在此次探討范圍之內(nèi)。

3.2 數(shù)據(jù)處理和變換

數(shù)據(jù)處理和數(shù)據(jù)變換，是進(jìn)行數(shù)據(jù)可視化的前提條件，包括數(shù)據(jù)預(yù)處理和數(shù)據(jù)挖掘兩個(gè)過程。一方面，通過前期的數(shù)據(jù)采集得到的數(shù)據(jù)，不可避免的含有噪聲和誤差，數(shù)據(jù)質(zhì)量較低;另一方面，數(shù)據(jù)的特征、模式往往隱藏在海量的數(shù)據(jù)中，需要進(jìn)一步的數(shù)據(jù)挖掘才能提取出來。常見的數(shù)據(jù)質(zhì)量問題包括：數(shù)據(jù)收集錯(cuò)誤，遺漏了數(shù)據(jù)對象，或者包含了本不應(yīng)包含的其他數(shù)據(jù)對象;數(shù)據(jù)中的離群點(diǎn)，即不同于數(shù)據(jù)集中其他大部分?jǐn)?shù)據(jù)對象特征的數(shù)據(jù)對象;存在遺漏值，數(shù)據(jù)對象的一個(gè)或多個(gè)屬性值缺失，導(dǎo)致數(shù)據(jù)收集不全;數(shù)據(jù)不一致，收集到的數(shù)據(jù)明顯不合常理，或者多個(gè)屬性值之間互相矛盾。因此，對采集到的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和規(guī)范化，是數(shù)據(jù)可視化流程中不可缺少的一環(huán)。

數(shù)據(jù)可視化的顯示空間通常是二維的，比如電腦屏幕、大屏顯示器等，3D圖形繪制技術(shù)解決了在二維平面顯示三維物體的問題。

但是在大數(shù)據(jù)時(shí)代，我們所采集到的數(shù)據(jù)通常具有4V特性，常用降維、數(shù)據(jù)聚類和切分、抽樣等統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中的方法進(jìn)行二次處理。

3.3 可視化映射

對數(shù)據(jù)進(jìn)行清洗、去噪，并按照業(yè)務(wù)目的進(jìn)行數(shù)據(jù)處理之后，接下來就到了可視化映射環(huán)節(jié)。可視化映射是整個(gè)數(shù)據(jù)可視化流程的核心，是指將處理后的數(shù)據(jù)信息映射成可視化元素的過程?？梢暬赜?部分組成：可視化空間+標(biāo)記+視覺通道。

3.4 人機(jī)交互

可視化的目的，是為了反映數(shù)據(jù)的數(shù)值、特征和模式，以更加直觀、易于理解的方式，將數(shù)據(jù)背后的信息呈現(xiàn)給目標(biāo)用戶，輔助其作出正確的決策。我們采用：滾動(dòng)和縮放;顏色映射的控制;數(shù)據(jù)映射方式的控制;數(shù)據(jù)細(xì)節(jié)層次控制

3.5 用戶感知

可視化的結(jié)果，只有被用戶感知之后，才可以轉(zhuǎn)化為知識和靈感。用戶在感知過程，除了被動(dòng)接受可視化的圖形之外，還通過與可視化各模塊之間的交互，主動(dòng)獲取信息。如何讓用戶更好的感知可視化的結(jié)果，將結(jié)果轉(zhuǎn)化為有價(jià)值的信息用來指導(dǎo)決策，這個(gè)里面涉及到的影響因素太多了，心理學(xué)、統(tǒng)計(jì)學(xué)、人機(jī)交互等多個(gè)學(xué)科的知識。

4. 研究目標(biāo)

完成研究項(xiàng)目的數(shù)據(jù)設(shè)計(jì)，利用專門的數(shù)據(jù)可視化工具對考研數(shù)據(jù)進(jìn)行深度分析的研究報(bào)告，分析整合近幾年眾多高校的考研要求、招生人數(shù)、報(bào)考人數(shù)、錄取人數(shù)等數(shù)據(jù)，便利考生獲取有用信息，加強(qiáng)信息數(shù)據(jù)的管理，整合不同類型的信息，為科學(xué)精準(zhǔn)有效信息提供基礎(chǔ)保障。分析高校學(xué)生備考、擇校等的一些情況，找出當(dāng)前存在的學(xué)生考研問題及可改善的地方，并提出有針對性的恰當(dāng)可行的對策。

5. 國內(nèi)外現(xiàn)狀動(dòng)態(tài)

隨著信息技術(shù)的更迭，一個(gè)大規(guī)模生產(chǎn)數(shù)據(jù)，共享和應(yīng)用數(shù)據(jù)的時(shí)代正在開啟。云計(jì)算為主要支撐的大數(shù)據(jù)時(shí)代，用信息存儲、共享和挖掘手段，更加有效地將更多高速變化的終端數(shù)據(jù)存儲下來，并方便人們進(jìn)行分析與計(jì)算。以大數(shù)據(jù)為基礎(chǔ)的應(yīng)用場合很多，可以應(yīng)對我國現(xiàn)代化建設(shè)面臨的問題?！按髷?shù)據(jù)”在各行各業(yè)中掀起變革的巨浪的同時(shí)，我們也應(yīng)該在大量數(shù)據(jù)中更好地提煉、篩選、處理數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)價(jià)值，并進(jìn)行整合分析，以便為需要者提供方便。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)具有數(shù)量體積大，數(shù)據(jù)類型繁多，價(jià)值密度低，處理速度快的特點(diǎn)。

在談?wù)剶?shù)據(jù)可視化，由于數(shù)據(jù)分析的火熱也變得火熱起來，不過數(shù)據(jù)可視化并不是一個(gè)新技術(shù)，雖然說數(shù)據(jù)可視化相對數(shù)據(jù)分析來說比較簡單，但是數(shù)據(jù)可視化卻是一個(gè)十分重要的技術(shù)。在外國，數(shù)據(jù)可視化是一個(gè)成熟的技術(shù)，他們借助數(shù)據(jù)可視化技術(shù)，很多媒體都用可視化來提升自身的影響力。其實(shí)隨著電腦技術(shù)的成熟和搜索引擎技術(shù)的發(fā)展，政府信息公開化，眾包模式的興起，人們獲取和解讀數(shù)據(jù)的可能性大大提高，基于數(shù)據(jù)挖掘、理解數(shù)據(jù)基礎(chǔ)上的數(shù)據(jù)新聞可視化，成為新聞敘事手段一個(gè)新的發(fā)展方向和突破。我國數(shù)據(jù)可視化處于起步階段。雖有獨(dú)立成立的圍繞可視化的相關(guān)公司，但我國可視化的發(fā)展面臨著受眾關(guān)注度不高、數(shù)據(jù)源開發(fā)有限、相關(guān)專業(yè)人才匱乏等問題。依舊有很長的路要走?？梢暬诟黝I(lǐng)域的應(yīng)用都算不上是核心，但隨著大數(shù)據(jù)的戰(zhàn)略，以及各行各業(yè)對數(shù)據(jù)應(yīng)用、數(shù)據(jù)分析的重視，未來一定是蓬勃發(fā)展的，但這樣的發(fā)展一定是建立在數(shù)據(jù)大環(huán)境基礎(chǔ)上的。

6. 總結(jié)

大數(shù)據(jù)技術(shù)應(yīng)用考研數(shù)據(jù)分析研究通過移動(dòng)互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)，結(jié)合當(dāng)下主流的數(shù)據(jù)挖掘和數(shù)據(jù)分析技術(shù)，以及利用專門的數(shù)據(jù)可視化工具對考研數(shù)據(jù)進(jìn)行深度分析。面向高校和社會的學(xué)生參與研究生報(bào)考給予一定的數(shù)據(jù)分析幫助，同時(shí)具有一定的市場延伸前景。

技術(shù)的快速發(fā)展和不斷變化的認(rèn)知框架正在為人類打開新的視野，促使藝術(shù)與技術(shù)相結(jié)合而產(chǎn)生新型的數(shù)據(jù)可視化形式。以更細(xì)化的形式表達(dá)數(shù)據(jù)，以更全維度理解數(shù)據(jù)，以更美的方式呈現(xiàn)數(shù)據(jù)，使可視化更加具有沖擊力。

參考文獻(xiàn)：

[1]李曉雪，許新華，盛晨.近十年我國在線教育研究的可視化分析[J].湖北師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，41（02）：59-66.

[2]姚宏.以可視化方式探索內(nèi)容生產(chǎn)新路徑[N].中國新聞出版廣電報(bào)，2021-06-08（006）.

[3]董漢霞，呂東鋒，商乙山.面向云計(jì)算的計(jì)算機(jī)數(shù)據(jù)可視化技術(shù)研究[J].電腦編程技巧與維護(hù)，2021（05）：92-93.