大數(shù)據(jù)環(huán)境下的Hadoop專創(chuàng)融合課程探索研究

李明東 姜飛 李小燕 孫雪

摘 要：開設(shè)人工智能課程的學(xué)習(xí)目標(biāo)是讓學(xué)生學(xué)習(xí)人工智能應(yīng)用基礎(chǔ)，了解人工智能對現(xiàn)代生活的改變和影響，培養(yǎng)人工智能的應(yīng)用能力。所以在知識體系的選取上要降低一定的難度和范圍，大量呈現(xiàn)人工智能的應(yīng)用場景案例，對知識體系與案例體系的進(jìn)行合理的設(shè)計(jì)。

關(guān)鍵詞：專創(chuàng)融合;人工智能;hadoop

1、人工智能知識體系的選定

工智能是戰(zhàn)略性新興產(chǎn)業(yè)。人工智能作為教學(xué)目標(biāo)和教學(xué)內(nèi)容走進(jìn)課堂，國內(nèi)許多院校開設(shè)了人工智能學(xué)院、人工智能相關(guān)專業(yè)。目前，本科和研究生學(xué)習(xí)的《人工智能及其應(yīng)用》[1]教材偏重于理論知識和算法的研究學(xué)習(xí)。

開設(shè)人工智能課程的學(xué)習(xí)目標(biāo)是讓學(xué)生學(xué)習(xí)人工智能應(yīng)用基礎(chǔ)，了解人工智能產(chǎn)業(yè)的發(fā)展現(xiàn)狀與市場需求，開拓學(xué)生的科技視野。以人工智能的應(yīng)用領(lǐng)域?yàn)榫€索介紹學(xué)習(xí)領(lǐng)域。

2、HDFS體系架構(gòu)的設(shè)計(jì)

2.1 存儲塊

塊（Block）：操作系統(tǒng)中的文件塊。文件是以塊的形式存儲在磁盤中，塊的大小代表系統(tǒng)讀、寫可操作的最小文件大小。也就是說，文件系統(tǒng)每次只能操作磁盤塊大小的整數(shù)倍數(shù)據(jù)。通常來說，一個(gè)文件系統(tǒng)塊大小為幾千字節(jié)，而磁盤塊大小為512字節(jié)。

HDFS中的塊是一個(gè)抽象的概念，比操作系統(tǒng)中的塊要大得多。在配置hadoop系統(tǒng)時(shí)會看到，它的默認(rèn)大小是128MB。HDFS使用抽象的塊的好處：可以存儲任意大的文件而又不會受到網(wǎng)絡(luò)中任一單個(gè)節(jié)點(diǎn)磁盤大小的限制;

使用抽象塊作為操作的單元可以簡化存儲子系統(tǒng)。

2.2模塊任務(wù)

2.2.1 Name node功能：

1）承擔(dān)master 管理集群中的執(zhí)行調(diào)度;

2）管理文件系統(tǒng)的命名空間，維護(hù)整個(gè)文件系統(tǒng)目錄樹以及這些文件的索引目錄;

3）不永久保存文件快信息，在系統(tǒng)啟動時(shí)重加塊信息;

4）命名空間鏡像（namespace）和編輯日志（Edit log）

2.2.2 集群管理

HDFS采用Master/Slave架構(gòu)對文件系統(tǒng)進(jìn)行管理。一個(gè)HDFS集群是由一個(gè)Name Node和一定數(shù)目的Data Node組成的。Name Node是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的命名空間（Namespace）以及客戶端對文件的訪問。集群的Date Node一般是由一個(gè)節(jié)點(diǎn)運(yùn)行一個(gè)Data Node進(jìn)程，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲。

從內(nèi)部看，一個(gè)文件其實(shí)被分成了一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲在一組Data Node上。Name Node執(zhí)行文件系統(tǒng)的名字空間操作，比如打開，關(guān)閉，重命名文件或目錄。它負(fù)責(zé)確定數(shù)據(jù)塊到具體Data Node節(jié)點(diǎn)的映射。Data Node 負(fù)責(zé)處理文件系統(tǒng)客戶端的讀/寫請求。在Name Node的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建，刪除和復(fù)制。

2.2.3讀取策略

1）副本存放和讀取策略

副本的存放是HDFS可靠性和性能的關(guān)鍵，優(yōu)化的副本存放策略也正是HDFS區(qū)分于其他大部分分布式文件系統(tǒng)的重要特征。HDFS采用一種稱為機(jī)架感知（rack-aware）的策略來改進(jìn)數(shù)據(jù)的可靠性，可用性和網(wǎng)絡(luò)帶寬的利用率上。在讀取數(shù)據(jù)時(shí)，為了減少整體帶寬消耗和降低整體的帶寬延時(shí)，HDFS會盡量讓讀取程序讀取離客戶端最近的副本。

2）安全模式

Name Node啟動后會進(jìn)入一個(gè)稱為安全模式的狀態(tài)。處于安全模式的Name Node不會進(jìn)行數(shù)據(jù)塊的復(fù)制。Name Node從所有的Data Node接收心跳信號和塊狀態(tài)報(bào)告。

3）文件安全

Hadoop采用了兩種方法來確保文件安全。第一種方法：將Name Node中的元數(shù)據(jù)轉(zhuǎn)儲到遠(yuǎn)程的NFS文件系統(tǒng)上;第二種方法：系統(tǒng)中同步運(yùn)行一個(gè)Secondary Name Node。

3、普通本科院校的課程案例體系的設(shè)計(jì)

在確定了人工智能課程的知識體系后，要收集整理人工智能各研究領(lǐng)域的應(yīng)用案例、成果案例、生活應(yīng)用案例，作為主要的教學(xué)內(nèi)容引導(dǎo)學(xué)生學(xué)習(xí)和了解，進(jìn)而幫助學(xué)生了解人工智能的技術(shù)知識和應(yīng)用，熟悉人工智能產(chǎn)業(yè)的發(fā)展現(xiàn)狀與市場需求，培養(yǎng)人工智能的應(yīng)用能力。

知識標(biāo)識和知識圖譜，包括知識標(biāo)識和知識圖譜的概念，產(chǎn)生方法，框架表示法;機(jī)器學(xué)習(xí)包括：機(jī)器學(xué)習(xí)的概述、范圍、學(xué)習(xí)方法和機(jī)器學(xué)習(xí)的挑戰(zhàn)。自然語言的理解包括：語言的理解、發(fā)展、研究、理解過程的層次任務(wù)、應(yīng)用、未來與展望。專家系統(tǒng)包括：定義的特點(diǎn)和優(yōu)勢、類型與應(yīng)用、結(jié)構(gòu)與工作原理、設(shè)計(jì)與實(shí)現(xiàn)等。

4、總結(jié)

開設(shè)人工智能課程的學(xué)習(xí)目標(biāo)是讓學(xué)生學(xué)習(xí)人工智能應(yīng)用基礎(chǔ)，了解人工智能對現(xiàn)代生活的改變和影響，培養(yǎng)人工智能的應(yīng)用能力。所以在知識體系的選取上要降低一定的難度和范圍，大量呈現(xiàn)人工智能的應(yīng)用場景案例，對知識體系與案例體系的進(jìn)行合理的設(shè)計(jì)。

參考文獻(xiàn)：

[1] 陳燕.新工科研究進(jìn)展與前瞻[J].天津大學(xué)學(xué)報(bào)（社會科學(xué)版），2020，22（3）：214-222.

[2] 王雪，何海燕，栗蘋，等.人工智能人才培養(yǎng)研究：回顧、比較與展望[J].高等工程教育研究，2020（01）：42-51.

[3] 肖卓宇，徐運(yùn)標(biāo)，陳果，等.“人工智能+教育”融合的實(shí)施路徑研究[J].計(jì)算機(jī)時(shí)代，2020（11）：103-105;109.