新工科背景下大數(shù)據(jù)技術(shù)案例教學(xué)設(shè)計與實踐探究

王小超

摘要：分析大數(shù)據(jù)技術(shù)課程目前面臨的主要問題，為增強大數(shù)據(jù)課程的教學(xué)效果，以新工科為背景，提出了大數(shù)據(jù)技術(shù)案例教學(xué)設(shè)計的主要內(nèi)容及實踐方式。從教學(xué)案例設(shè)計、原理性知識講解、課程基礎(chǔ)、學(xué)習(xí)資料與教學(xué)平臺搭建等幾個方面開展了一些探索。為突出解決復(fù)雜工程問題的目標(biāo)，設(shè)計了一些經(jīng)典的大數(shù)據(jù)教學(xué)案例。通過教學(xué)實踐表明，大數(shù)據(jù)案例教學(xué)可以有效提高教學(xué)的質(zhì)量，有利于培養(yǎng)大數(shù)據(jù)方面的應(yīng)用型人才。

關(guān)鍵詞：新工科；大數(shù)據(jù)；案例教學(xué)；教學(xué)設(shè)計；教學(xué)實踐

中圖分類號：G642? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2024）07-0149-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

近年來，大數(shù)據(jù)技術(shù)迅速發(fā)展，對推進(jìn)社會變革與發(fā)展產(chǎn)生了深遠(yuǎn)的影響，已經(jīng)深入人們生產(chǎn)生活的各個領(lǐng)域。目前隨著大數(shù)據(jù)相關(guān)產(chǎn)業(yè)的發(fā)展，使得大數(shù)據(jù)工程師成為就業(yè)市場上比較熱門的人才之一，與之對應(yīng)的大數(shù)據(jù)人才培養(yǎng)卻相對滯后，大數(shù)據(jù)培養(yǎng)體系建設(shè)不完善。隨著大數(shù)據(jù)技術(shù)的興起，國內(nèi)高校陸續(xù)開設(shè)了相關(guān)課程，積極開展大數(shù)據(jù)教學(xué)與研究工作。在新工科背景下，立足大數(shù)據(jù)技術(shù)課程，圍繞解決復(fù)雜工程問題這一目標(biāo)，如何培養(yǎng)適應(yīng)大數(shù)據(jù)時代的大數(shù)據(jù)科研人才與大數(shù)據(jù)相關(guān)產(chǎn)業(yè)應(yīng)用人才，實現(xiàn)大數(shù)據(jù)的產(chǎn)學(xué)研協(xié)調(diào)發(fā)展，構(gòu)建大數(shù)據(jù)人才培養(yǎng)課程體系的工作刻不容緩。

1 大數(shù)據(jù)教學(xué)存在的問題

大數(shù)據(jù)是計算機領(lǐng)域相關(guān)信息技術(shù)相互融合產(chǎn)生的新技術(shù)、新方法，依托于Linux操作系統(tǒng)、程序設(shè)計、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫技術(shù)、計算機網(wǎng)絡(luò)等諸多課程，是一門交叉程度高的技術(shù)課程。大數(shù)據(jù)技術(shù)課程作為一個新興的課程，課程內(nèi)容復(fù)雜程度高、實踐性較強，對于學(xué)生的培養(yǎng)，既要求建立扎實的大數(shù)據(jù)理論基礎(chǔ)，掌握大數(shù)據(jù)系統(tǒng)基本的原理與過程，同時還應(yīng)具備大數(shù)據(jù)應(yīng)用開發(fā)能力，因此，大數(shù)據(jù)課程需要培養(yǎng)具備多層次知識技能的復(fù)合型專業(yè)人才。而復(fù)合型人才的培養(yǎng)，并不是將各種相關(guān)課程簡單糅合在一起，用廣度來覆蓋技術(shù)，而是在課程內(nèi)容的設(shè)置上，融合各門課程的知識，平滑過渡課程內(nèi)容，做到循序漸進(jìn)、深入淺出，在實踐中提高學(xué)生的工程能力[1]。

目前高校對學(xué)生實踐能力的培養(yǎng)主要依賴開設(shè)與理論課程相關(guān)聯(lián)的實驗課程。在實驗中，會設(shè)置多種類型的實驗，包含驗證實驗現(xiàn)象的驗證型實驗、圍繞問題設(shè)計解決方案的設(shè)計型實驗、綜合運用多領(lǐng)域、多方面的知識解決問題的綜合型實驗，以達(dá)到鍛煉學(xué)生實踐能力的訓(xùn)練目標(biāo)。實踐能力對于提高學(xué)生掌握大數(shù)據(jù)技術(shù)的效果意義重大。在實踐中設(shè)置問題，通過反復(fù)訓(xùn)練，提高面向問題的分析解決能力，最終達(dá)到綜合運用的程度，完成對大數(shù)據(jù)系統(tǒng)的深入理解。傳統(tǒng)方式的出發(fā)點很好，但大數(shù)據(jù)教學(xué)依然面臨一些不利的因素，主要包括基礎(chǔ)課程教學(xué)環(huán)節(jié)較為薄弱、大數(shù)據(jù)作為新課程教學(xué)上可以借鑒的案例不夠豐富、大數(shù)據(jù)課程相關(guān)教材建設(shè)相對滯后以及大數(shù)據(jù)實驗環(huán)境搭建相對復(fù)雜，這就造成了學(xué)生學(xué)習(xí)大數(shù)據(jù)的門檻較高，課程內(nèi)容理解困難，實踐很難與理論學(xué)習(xí)保持協(xié)同，加大了理解與認(rèn)識大數(shù)據(jù)技術(shù)的難度。特別是對大數(shù)據(jù)存儲與處理原理的理解、大數(shù)據(jù)應(yīng)用的開發(fā)實踐上都有著較為困難的瓶頸。如果在實踐教學(xué)上對實踐內(nèi)容設(shè)置不合理，就會造成學(xué)生對大數(shù)據(jù)的理解與應(yīng)用無法有效達(dá)成。在實踐中，由于設(shè)置的實踐問題深度與強度不足，交叉學(xué)科融合能力薄弱，使得大數(shù)據(jù)工程能力的培養(yǎng)變得更加困難[2]。最終，導(dǎo)致大數(shù)據(jù)入門難，學(xué)習(xí)效果不佳。

綜上所述，如何將復(fù)雜的大數(shù)據(jù)原理以比較直觀的方式呈現(xiàn)給學(xué)生，并設(shè)置比較合理的大數(shù)據(jù)教學(xué)案例，迫切需要進(jìn)行理論研究與實踐的探索，注重大數(shù)據(jù)相關(guān)學(xué)科知識的融會貫通，將多種實踐能力綜合運用以提高解決復(fù)雜工程問題的能力[3]。

2 案例教學(xué)設(shè)計

針對目前大數(shù)據(jù)技術(shù)教學(xué)存在的問題，需要設(shè)計合理的教學(xué)案例，開展案例教學(xué)。案例教學(xué)可以使學(xué)生更好地掌握大數(shù)據(jù)分析與處理的工具與方法，直觀地了解整個數(shù)據(jù)處理的過程，全面了解大數(shù)據(jù)的技術(shù)棧。按照學(xué)習(xí)知識的層次，可以將大數(shù)據(jù)技術(shù)教學(xué)內(nèi)容分為系統(tǒng)運行原理、工具使用、問題分析3個部分，更加注重理論知識與技術(shù)實踐相結(jié)合。

在設(shè)計教學(xué)案例時，從大數(shù)據(jù)生態(tài)系統(tǒng)出發(fā)，讓學(xué)生全面了解大數(shù)據(jù)的基本概念，大數(shù)據(jù)的主流系統(tǒng)及其相應(yīng)的處理內(nèi)容，主要包括Hadoop、Hive、Spark等，再具體學(xué)習(xí)主要的大數(shù)據(jù)系統(tǒng)的運行原理與運行過程。在掌握系統(tǒng)原理的基礎(chǔ)上再去學(xué)習(xí)工具的使用，這樣可以在遇到實際問題時分析系統(tǒng)發(fā)生問題的可能原因。最后，也是最為重要的方面在于如何在實際應(yīng)用場景下運用所學(xué)的大數(shù)據(jù)技術(shù)解決復(fù)雜的工程問題。

2.1 面向?qū)嶋H應(yīng)用場景的項目設(shè)計

案例的實踐內(nèi)容要與計算機專業(yè)課程Linux操作系統(tǒng)、Java程序設(shè)計、數(shù)據(jù)庫、數(shù)據(jù)結(jié)構(gòu)以及大數(shù)據(jù)處理技術(shù)課程相融合。以新工科為背景，以實際的工程案例為依托，教學(xué)案例設(shè)計強調(diào)了真實性與應(yīng)用性，提高了學(xué)生解決復(fù)雜問題的能力。在項目設(shè)計時，應(yīng)基于大數(shù)據(jù)目前主流的框架Hadoop與Spark設(shè)計教學(xué)案例。Hadoop的教學(xué)案例應(yīng)包含分布式文件系統(tǒng)HDFS與分布式并行計算框架MapReduce兩大核心組件的功能。Spark的教學(xué)案例應(yīng)主要圍繞Spark RDD運算及Spark流式計算展開。具體的案例設(shè)計圖如圖1所示：

1） 大數(shù)據(jù)文件存儲——HDFS云盤實現(xiàn)。以云盤系統(tǒng)為案例，展現(xiàn)HDFS在大數(shù)據(jù)存儲方面的應(yīng)用。云盤系統(tǒng)是由搭建的計算機集群通過網(wǎng)絡(luò)提供文件的存儲、讀寫、上傳下載等數(shù)據(jù)管理功能。用戶可以跨終端實時實地查看自己的文件、分享文件。HDFS具有可擴展性、可靠性、高可用性和成本低等優(yōu)勢，為實現(xiàn)云盤系統(tǒng)提供了近乎完美的底層環(huán)境。通過本項目的實踐，學(xué)生可以充分了解HDFS的分布式結(jié)構(gòu)與工作的流程，并掌握使用Java API編程開發(fā)大數(shù)據(jù)存儲應(yīng)用的方法。

2） 大數(shù)據(jù)離線計算——MapReduce成績分析系統(tǒng)。采用分布式并行計算框架MapReduce可以處理分析大數(shù)據(jù)集的學(xué)生成績數(shù)據(jù)，并且支持多樣化的數(shù)據(jù)格式，通過快速地處理，最終計算得出有價值的分析結(jié)果，是教育大數(shù)據(jù)的典型應(yīng)用場景之一。

3） 大數(shù)據(jù)實時計算——常規(guī)統(tǒng)計。在大數(shù)據(jù)實時計算場景下，設(shè)計的教學(xué)案例主要圍繞Spark核心的RDD運算，根據(jù)給定的大數(shù)據(jù)集，綜合運用主要的RDD操作，涉及Action和Transformation兩大類別，來實現(xiàn)對數(shù)據(jù)的各種統(tǒng)計功能，并給出統(tǒng)計結(jié)果。

4） 大數(shù)據(jù)流計算——Spark Streaming處理系統(tǒng)點擊流。系統(tǒng)點擊流的處理是目前大型應(yīng)用，特別是互聯(lián)網(wǎng)應(yīng)用常見的處理場景，能快速分析出當(dāng)前系統(tǒng)用戶的使用行為。Spark具有實時處理的能力，并且提供了機器學(xué)習(xí)、圖計算、數(shù)據(jù)查詢、流計算等完整的軟件棧。通過使用Spark中的流計算框架Spark Streaming可以實現(xiàn)實時的系統(tǒng)點擊流處理分析，在處理高并發(fā)的系統(tǒng)點擊流方面具有很高的性能。

教學(xué)內(nèi)容體現(xiàn)了項目驅(qū)動性與實踐性，根據(jù)大數(shù)據(jù)技術(shù)課程的教學(xué)大綱在課程中設(shè)置了包括HDFS、MapReduce、Spark等具有較高應(yīng)用價值的教學(xué)案例。改變圍繞知識點的課程內(nèi)容設(shè)計，突出“能力為本”的教學(xué)理念[4]。

2.2 大數(shù)據(jù)抽象原理性知識具體化

以實際的大數(shù)據(jù)案例為基礎(chǔ)，建立并開發(fā)大數(shù)據(jù)文件存儲、大數(shù)據(jù)計算、大數(shù)據(jù)流計算等多個具體的大數(shù)據(jù)應(yīng)用。在教學(xué)過程中，需解析分布式文件系統(tǒng)HDFS、分布式并行計算框架MapReduce、實時計算框架Spark中的抽象系統(tǒng)架構(gòu)與系統(tǒng)工作流程。通過比較具體的模型直觀地反映給學(xué)生，真正實現(xiàn)大數(shù)據(jù)處理技術(shù)的所見即所得，體現(xiàn)大數(shù)據(jù)處理技術(shù)課程的應(yīng)用性。依據(jù)企業(yè)業(yè)務(wù)、產(chǎn)品在市場上的需求，依據(jù)企業(yè)大數(shù)據(jù)技術(shù)發(fā)展的現(xiàn)狀，依據(jù)計算機專業(yè)學(xué)生專業(yè)能力培養(yǎng)要求，建立真實應(yīng)用場景下的大數(shù)據(jù)開發(fā)項目。根據(jù)項目內(nèi)容設(shè)計的要求，指導(dǎo)學(xué)生運用所學(xué)的專業(yè)知識開展學(xué)習(xí)實踐活動。這樣可以降低大數(shù)據(jù)課程中知識的復(fù)雜、抽象程度，避免機械的學(xué)習(xí)，體現(xiàn)了學(xué)生實踐操作的實際應(yīng)用性。

2.3 實踐教學(xué)中強化專業(yè)基礎(chǔ)

通過建立合理的大數(shù)據(jù)處理技術(shù)課程教學(xué)案例，將大數(shù)據(jù)相關(guān)學(xué)科中的知識聯(lián)系起來，并且以較為合理的層次關(guān)系組織在一起，打破各學(xué)科知識的“信息孤島”，形成多學(xué)科的互動交融。通過教學(xué)案例，讓學(xué)生掌握大數(shù)據(jù)的應(yīng)用開發(fā)，理解大數(shù)據(jù)系統(tǒng)工作的原理，可以分析大數(shù)據(jù)軟件生命周期中可能遇到的各種問題，切實提高學(xué)生對大數(shù)據(jù)研究、應(yīng)用開發(fā)實際工作的適應(yīng)性，使大數(shù)據(jù)相關(guān)人才較為滿足當(dāng)前企業(yè)對大數(shù)據(jù)人才的需求。具體的做法是將大數(shù)據(jù)應(yīng)用開發(fā)融入教學(xué)中，突出應(yīng)用性，強化專業(yè)基礎(chǔ)課程的學(xué)習(xí)。在大數(shù)據(jù)實踐中，需要靈活運用Linux操作系統(tǒng)、Java程序設(shè)計、數(shù)據(jù)庫、計算機網(wǎng)絡(luò)等多方面的知識，這對強化計算機專業(yè)的專業(yè)基礎(chǔ)知識，提高專業(yè)知識的整體學(xué)習(xí)效果具有積極的影響。將課堂教學(xué)中的方法知識，直接以實踐的方式練習(xí)，真正做到“理論與實踐、專業(yè)與應(yīng)用的緊密結(jié)合”，具體的大數(shù)據(jù)課程與專業(yè)基礎(chǔ)課程之間的知識點關(guān)聯(lián)如下所示。

Hadoop、Spark框架的安裝與配置：

①Linux操作系統(tǒng)

②計算網(wǎng)絡(luò)

Hadoop Shell、Spark Shell命令：

①Linux操作系統(tǒng)

Hadoop與Spark API編程：

①Java面向?qū)ο蟪绦蛟O(shè)計

②數(shù)據(jù)庫

2.4 編寫合適學(xué)情的學(xué)習(xí)手冊

目前，市場上的大數(shù)據(jù)入門課程教材種類繁多、內(nèi)容設(shè)置上難易程度參差不齊，對大數(shù)據(jù)原理性知識的描述過于復(fù)雜且晦澀難懂。需要根據(jù)學(xué)生實際情況，編寫出適合所教學(xué)生的大數(shù)據(jù)處理技術(shù)課程學(xué)習(xí)手冊，對原理性的知識與編程實踐內(nèi)容進(jìn)一步歸納整理，這樣可以提高學(xué)生學(xué)習(xí)信心，讓學(xué)生對大數(shù)據(jù)原理有所理解，同時提高分析解決實際問題的工程能力。

2.5 建立實踐教學(xué)平臺

建立中小型規(guī)模的大數(shù)據(jù)處理技術(shù)課程實踐教學(xué)平臺。通過搭建供學(xué)生使用的大數(shù)據(jù)實踐教學(xué)平臺，屏蔽了大數(shù)據(jù)平臺搭建時復(fù)雜的底層細(xì)節(jié)，以共享方式讓學(xué)生真正可以接觸到大數(shù)據(jù)技術(shù)的學(xué)習(xí)，還可以自己動手開發(fā)大數(shù)據(jù)相關(guān)應(yīng)用。同時，學(xué)生也可以通過平臺進(jìn)行交流學(xué)習(xí)，真正實現(xiàn)了實踐平臺的開放性。充分考慮實際的大數(shù)據(jù)應(yīng)用場景，在案例教學(xué)中深入融合工程案例，以面向市場、面向需求的方式打造平臺，提高平臺的包容性。

3 目標(biāo)達(dá)成

堅持以計算機專業(yè)人才培養(yǎng)方案為基礎(chǔ)，在課程個中整合大數(shù)據(jù)的案例教學(xué)，并實現(xiàn)了大數(shù)據(jù)理論教學(xué)與實踐教學(xué)的統(tǒng)一。以復(fù)雜的大數(shù)據(jù)工程項目推進(jìn)大數(shù)據(jù)教學(xué)提升，實踐應(yīng)用型本科人才培養(yǎng)的目標(biāo)。

3.1 達(dá)成情況

1） 構(gòu)建出合理的大數(shù)據(jù)處理技術(shù)課程實踐教學(xué)項目，根據(jù)各專業(yè)課程的學(xué)習(xí)情況與本校學(xué)生的特點，設(shè)計出難易適中、問題規(guī)模適當(dāng)、有趣味性強、綜合性強的大數(shù)據(jù)處理技術(shù)課程實踐內(nèi)容。并選擇合適的解決方案搭建大數(shù)據(jù)處理技術(shù)課程實踐教學(xué)的實訓(xùn)系統(tǒng)供學(xué)生使用。

2） 通過深入的教學(xué)研究探索，整理了一套比較合理的大數(shù)據(jù)課程考核體系，優(yōu)化了考核的流程，解決實踐教學(xué)過程對學(xué)生的監(jiān)管與評價問題。對學(xué)生的整體學(xué)習(xí)情況進(jìn)行把握，并能夠通過系統(tǒng)及時得到學(xué)生的反饋信息，開展有針對性的指導(dǎo)活動。

3） 基于云平臺，搭建起一套中小型規(guī)模的大數(shù)據(jù)實踐平臺，讓學(xué)生學(xué)習(xí)大數(shù)據(jù)基礎(chǔ)知識時有平臺可實踐，提供了學(xué)習(xí)交流的平臺。學(xué)生在實踐中既樹立了創(chuàng)新思維，也鍛煉了分析、解決問題的能力。

4） 開創(chuàng)了大數(shù)據(jù)教學(xué)的新模式，構(gòu)建以學(xué)生為中心，產(chǎn)學(xué)研協(xié)同推進(jìn)的知識傳遞方式。模擬相對真實的大數(shù)據(jù)應(yīng)用場景，讓學(xué)生與實際應(yīng)用相接觸，做到學(xué)以致用。同時，建立健全學(xué)生學(xué)習(xí)過程監(jiān)管、反饋機制與學(xué)習(xí)效果評估機制。

3.2 實際效果

根據(jù)分析近3年巢湖學(xué)院物聯(lián)網(wǎng)工程專業(yè)大數(shù)據(jù)技術(shù)課程的學(xué)習(xí)情況，通過引入案例教學(xué)，在課程考核中，發(fā)現(xiàn)學(xué)生成績有明顯提升，學(xué)習(xí)興趣增強的同時，學(xué)習(xí)效果也有一定的進(jìn)步。最關(guān)鍵的是當(dāng)遇到大數(shù)據(jù)方面的實際的復(fù)雜工程問題時，對問題的分析能力與解決能力有呈現(xiàn)明顯的增強態(tài)勢。通過大數(shù)據(jù)案例教學(xué)，使得課程教學(xué)質(zhì)量有了顯著提高，并充分體現(xiàn)了新工科的實際要求。

4 結(jié)束語

“新工科”給計算機類課程的教學(xué)提出了新的、更高的要求，特別是大數(shù)據(jù)作為前沿的新學(xué)科，其實踐意義更為突出。大數(shù)據(jù)案例是大數(shù)據(jù)課程核心知識的重要載體，凝重著計算機較多學(xué)科的專業(yè)知識與工程能力的培養(yǎng)。做好適當(dāng)?shù)慕虒W(xué)案例設(shè)計，并應(yīng)用于教學(xué)的各個環(huán)節(jié)，對于提升教學(xué)質(zhì)量，提高學(xué)生工程能力具有重要意義[5]。本文強調(diào)了新工科背景下大數(shù)據(jù)課程復(fù)雜工程問題的案例設(shè)計，給出了一些實際的項目設(shè)計，并提出了一系列改進(jìn)案例教學(xué)的手段，包括強化專業(yè)基礎(chǔ)、編寫適合學(xué)生學(xué)情的手冊、搭建實踐教學(xué)平臺。尤其實踐教學(xué)平臺的搭建，有利于學(xué)生在課外時間參與到大數(shù)據(jù)案例的實踐中，真正動手實踐，交流問題，得到工程能力的提升。通過大數(shù)據(jù)案例研究的開展，有助于更好服務(wù)于教學(xué)，推動大數(shù)據(jù)課程的建設(shè)，全面提高大數(shù)據(jù)專業(yè)人的培養(yǎng)。下一步，將進(jìn)一步擴展大數(shù)據(jù)教學(xué)的案例庫，努力完善教學(xué)案例庫，豐富大數(shù)據(jù)教學(xué)平臺內(nèi)容，進(jìn)一步提升案例教學(xué)的效果。

參考文獻(xiàn)：

[1] 薛曉霞，薛萬欣，王曉紅.延伸電子商務(wù)專業(yè)實踐平臺，探索應(yīng)用性人才培養(yǎng)新途徑[J].計算機教育，2009（1）：81-82.

[2] 賀子珊.應(yīng)用型本科院校人才培養(yǎng)評價指標(biāo)體系構(gòu)建[D].廣州：華南農(nóng)業(yè)大學(xué)，2019（12）：17-20.

[3] 潘煒，史豪斌.面向電子商務(wù)技術(shù)型人才培養(yǎng)的創(chuàng)新實訓(xùn)模式[J].計算機教育，2014（12）：17-20.

[4] 賈建敏.同步云盤在期刊編輯移動和協(xié)同辦公中的應(yīng)用[J].編輯學(xué)報，2019（3）：10-14.

[5] 侯亮.計算機基礎(chǔ)中操作系統(tǒng)基礎(chǔ)知識的教學(xué)思考[J].魅力中國， 2010（20）：239-239.

【通聯(lián)編輯：王 力】