對等結(jié)構(gòu)的混合集群的層次化存儲策略研究

涂超凡 張啟飛 陳應(yīng)莊 張昱昶 劉二騰 干紅華 張尉東 白 凡 鄭賢榕

1(浙江大學(xué)軟件學(xué)院 浙江 寧波 315048)2(北京大學(xué)電子工程和計算機科學(xué)系 北京 100871)3(西北大學(xué)電子工程和計算機科學(xué)系 美國 埃文斯頓 60201)4(浙大網(wǎng)新中央研究院 浙江 杭州 310030)

對等結(jié)構(gòu)的混合集群的層次化存儲策略研究

涂超凡1張啟飛1陳應(yīng)莊1張昱昶1劉二騰1干紅華1張尉東2白 凡3鄭賢榕4

1(浙江大學(xué)軟件學(xué)院 浙江 寧波 315048)2(北京大學(xué)電子工程和計算機科學(xué)系 北京 100871)3(西北大學(xué)電子工程和計算機科學(xué)系 美國 埃文斯頓 60201)4(浙大網(wǎng)新中央研究院 浙江 杭州 310030)

隨著分布式存儲系統(tǒng)的規(guī)模迅猛增長，能耗問題日益凸顯。在存儲集群混合低能耗節(jié)點已成為解決能耗問題的重要途徑之一。針對如何在對等結(jié)構(gòu)的混合集群中區(qū)別使用不同類型存儲節(jié)點的問題，在一個對等結(jié)構(gòu)分布式系統(tǒng)ZDFS上設(shè)計并實現(xiàn)了一種基于對等結(jié)構(gòu)的層次化存儲策略——虛擬節(jié)點分層重映射(VHR)。該策略不影響對等結(jié)構(gòu)的高拓展特性，使系統(tǒng)可自動區(qū)分使用不同類型存儲節(jié)點，可操作性強。實驗在真實X86和ARM混合集群上進行。實驗表明，VHR實驗組運行良好，充分發(fā)揮了不同類型存儲節(jié)點的優(yōu)勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

存儲系統(tǒng) 對等結(jié)構(gòu) 混合集群 層次化

0 引 言

2020年的全球的數(shù)據(jù)量將從2013年的4.4 ZB 擴展到44 ZB[1]，爆發(fā)增長的數(shù)據(jù)量必然伴隨急劇增加的存儲需求。業(yè)界對大規(guī)模存儲系統(tǒng)進行了具體的實踐，比如Google公司的GFS[2]、Amazon的Dynamo[3]以及開源的HDFS[4]。存儲系統(tǒng)的規(guī)模迅猛增長使得存儲系統(tǒng)的能耗問題日趨嚴(yán)重。一些大型存儲系統(tǒng)的能耗占到整個數(shù)據(jù)中心能耗的三分之一以上[5-6]。相關(guān)人員在存儲系統(tǒng)節(jié)能領(lǐng)域做了相關(guān)大量研究，主要可以分為軟件節(jié)能技術(shù)與硬件節(jié)能技術(shù)兩類[7]。

軟件節(jié)能技術(shù)通過創(chuàng)造時機讓設(shè)備、節(jié)點進入低能耗狀態(tài)從而節(jié)能。Gurumurthi等人使磁盤依據(jù)負載 調(diào)整轉(zhuǎn)速從而降低能耗[8]；Harnik等人規(guī)律性地關(guān)閉周期性空閑的存儲節(jié)點以此降低能耗[9]；Leverich等人改變某種分布式存儲系統(tǒng)的數(shù)據(jù)副本放置方法從而關(guān)閉空閑節(jié)點，降低9～50%系統(tǒng)能耗[10]；Pinheiro等人把數(shù)據(jù)分為原始和冗余兩種并放置到不同位置，關(guān)閉空閑節(jié)點實現(xiàn)能耗下降[11]。

硬件節(jié)能技術(shù)是指通過引入低能耗設(shè)備降低系統(tǒng)能耗。比如Szalay等人將SSD應(yīng)用在輔助節(jié)點上，關(guān)閉普通節(jié)點以降低能耗[12]；Hamilton構(gòu)建適用于低能耗Athlon處理器的服務(wù)器機架結(jié)構(gòu)以降低能耗[13]；Vasudevan等人使用嵌入式芯片和快速閃存構(gòu)建了一個7倍于普通機器能效的存儲集群[14]。近年來，隨著ARM的快速發(fā)展，搭載ARM的低能耗存儲節(jié)點得以應(yīng)用。Facebook公司在Open Vault冷區(qū)存儲中使用一個4核ARM處理器驅(qū)動了15塊硬盤，降低了系統(tǒng)能耗[15]；Baidu公司開發(fā)了支持X86和ARM節(jié)點混合部署的云存儲系統(tǒng)，存儲密度提升了70%，TCO降低了25%[16]。

在存儲集群混合低能耗節(jié)點已成為解決能耗問題的重要途徑之一。目前進行混合節(jié)點的研究實踐主要是基于主從結(jié)構(gòu)，主從結(jié)構(gòu)的分布式存儲系統(tǒng)存在擴展性差、單點故障等問題。高擴展特性的對等結(jié)構(gòu)的分布式系統(tǒng)如Dynamo[3]、Ceph[17]等受到日益重視，而對等結(jié)構(gòu)的系統(tǒng)一般采用定位算法替換了傳統(tǒng)的查文件分布表機制，這也帶來了如何在對等結(jié)構(gòu)的混合集群中區(qū)別使用不同類型存儲節(jié)點的問題。針對這個問題，本文在一個對等結(jié)構(gòu)分布式系統(tǒng)ZDFS[18]上進行了混合集群的層次化存儲的研究。

1 ZDFS

ZDFS使用和Dynamo[3]相似的一致性哈希算法。ZDFS有三個主要組件：DataNode存儲所有數(shù)據(jù)；Client暴露存儲接口給上層應(yīng)用,直接向DataNodes集群發(fā)起數(shù)據(jù)讀寫請求；Monitor負責(zé)維護存儲節(jié)點集群全局信息，處理節(jié)點加入和離線事務(wù)。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

ZDFS中有虛擬節(jié)點概念，如圖2所示。其中，該數(shù)據(jù)文件存儲到Vnode c所對應(yīng)的DataNode上。

圖2 一致性哈希環(huán)

與Ceph[17]數(shù)據(jù)尋址方式相似，ZDFS的Client僅僅使用不定期更新的少量本地元數(shù)據(jù)，即可確定存放File的DataNode地址，如表1所示。

表1 虛擬節(jié)點路由表

ZDFS預(yù)設(shè)每個數(shù)據(jù)有3份拷貝。Monitor將三個連續(xù)的虛擬節(jié)點放置在三個不同的DataNode上，在此基礎(chǔ)上，DataNode將依據(jù)后繼節(jié)點規(guī)則進行數(shù)據(jù)備份，如圖3所示。

圖3 三副本備份機制

2 虛擬節(jié)點分層重映射

ZDFS是作為大規(guī)模的分布式系統(tǒng)設(shè)計，ZDFS分布式系統(tǒng)具有良好的可拓展性，在ZDFS上進行混合節(jié)點集群層次化存儲研究主要有以下原因：

(1) 冷區(qū)數(shù)據(jù)量很大

系統(tǒng)的高可靠性要求使得其采用了3副本備份機制，而備份數(shù)據(jù)卻不常使用。系統(tǒng)容量與存儲機器規(guī)模成正相關(guān)，這意味著需要部署更多的存儲節(jié)點來滿足系統(tǒng)的存儲需求，極大地增加了系統(tǒng)能耗。

(2) 層次化存儲是數(shù)據(jù)中心提升效率的必然要求

在存儲節(jié)點集群中混合不同的結(jié)構(gòu)、性能的節(jié)點，若不加以區(qū)別利用，可能增加系統(tǒng)延遲，帶來不穩(wěn)定性因素，以及高性能類別節(jié)點的硬件優(yōu)勢將不能得到充分發(fā)揮。

本文用HighNode和LowNode分別表示兩種不同類型的物理存儲節(jié)點。策略是在HighNode上優(yōu)選使用高能耗高性能處理器和高速存儲介質(zhì)，LowNode上優(yōu)選使用低功耗處理器和普通存儲介質(zhì)。表2是ZDFS下混合集群執(zhí)行層次化混合和無層次化混合情況下兩種物理存儲節(jié)點的功能。

表2 不同類型節(jié)點的功能

無層次化策略下的后繼節(jié)點規(guī)則可以表式為：

{vnode(i)_next=vnode(i+1)(i為小于N的自然數(shù)，N為虛擬節(jié)點總數(shù));vnode(i)_next=vnode(0)(i等于N-1時)}

層次化混合下的LowNode和HighNode功能不同，ZDFS系統(tǒng)必須區(qū)分使用這兩種不同類別的存儲節(jié)點。但ZDFS使用了一致性哈希算法替換了傳統(tǒng)的主從結(jié)構(gòu)中的文件分布表，系統(tǒng)無法通過查表區(qū)分不同類別的節(jié)點。為應(yīng)對這個問題，本文提出了一種對等結(jié)構(gòu)下區(qū)別使用不同類型節(jié)點的層次化存儲策略——虛擬節(jié)點分層重映射VHR，系統(tǒng)無需查表即可自動區(qū)分使用不同類型的存儲節(jié)點，且不影響系統(tǒng)的高拓展性。

由于本文的混合集群中只混合了兩種類型節(jié)點，將虛擬節(jié)點分類為奇數(shù)類虛擬節(jié)點和偶數(shù)類虛擬節(jié)點。設(shè)定將所有奇數(shù)虛擬節(jié)點映射到LowNode集群，所有偶數(shù)虛擬節(jié)點映射到HighNode集群，如圖4所示。

圖4 奇偶虛擬節(jié)點分別映射不同類型節(jié)點集群

相應(yīng)的后繼節(jié)點規(guī)則設(shè)定為：

{vnode(2j)_next=vnode(2j+1);vnode(2j+1)_next=vnode(2j+3)(j為小于N的自然數(shù)，2N為虛擬節(jié)點總數(shù))}

從上可知，主數(shù)據(jù)存放在HighNode集群中；備份數(shù)據(jù)存放在LowNode集群中.當(dāng)設(shè)定Monitor只向Client發(fā)送偶數(shù)虛擬節(jié)點的路由表信息，LowNode集群將對Client不可見。

接下來探討虛擬節(jié)點分層重映射的細節(jié)，用數(shù)學(xué)抽象描述了其中的兩個重要部分。

2.1 節(jié)點加入流程

系統(tǒng)獲取新加入存儲節(jié)點，記為p，然后執(zhí)行節(jié)點加入流程，其使用：

算法1 節(jié)點加入算法

a) 平均化收集預(yù)分配的虛擬節(jié)點，放入收集容器集合φ；

b) 選取元素i，其中i∈φ,更新i對應(yīng)的物理存儲節(jié)點映射歸屬，即R(i)=p；

c) 遷移對應(yīng)物理存儲節(jié)點下至p，即D(i)=p；

d) 更新存儲節(jié)點與i有關(guān)的邏輯前驅(qū)和后繼關(guān)系；

e)φ=φ-{i}，如果φ不為空，執(zhí)行步驟b)，否則完成。

實現(xiàn)上，步驟a)主要是對對應(yīng)類型的虛擬節(jié)點總數(shù)進行回收，得到回收節(jié)點集合φ，ZDFS提出了不同的存儲節(jié)點標(biāo)記為不同的存儲域，數(shù)據(jù)的各個備份要保證放在不同的區(qū)，保證某區(qū)的存儲節(jié)點宕機時，能從其他備份區(qū)中恢復(fù)。因而，具體策略實現(xiàn)上，回收再分配時需保證邏輯相鄰兩個虛擬節(jié)點不能映射至相同的物理存儲節(jié)點；

步驟b)中，R(i)=p關(guān)系函數(shù)為虛擬節(jié)點x的映射主機。Monitor更新φ的映射關(guān)系至p，并協(xié)調(diào)p建立相應(yīng)的存儲目錄區(qū)。

步驟c)中，D(i)=p關(guān)系函數(shù)為虛擬節(jié)點i對應(yīng)存儲的數(shù)據(jù)所存儲的主機為p，Monitor協(xié)調(diào)φ集合對應(yīng)的物理存儲主機，將數(shù)據(jù)遷移至p，并更新(刪除)數(shù)據(jù)的對象。

步驟d)中，告知并更新其他存儲節(jié)點的前驅(qū)和后繼的映射關(guān)系，保證數(shù)據(jù)的備份機制的實施。

2.2 節(jié)點離線流程

若p出現(xiàn)宕機情況，系統(tǒng)刪除該物理節(jié)點，然后執(zhí)行節(jié)點離線流程，其處理使用：

算法2 節(jié)點離線算法

a) 獲取p節(jié)點所分配的虛擬節(jié)點集合φ；

b) 選取元素x，其中x∈φ,將x節(jié)點分配至新的物理節(jié)點q；

c) 分別遷移x的邏輯第一前驅(qū)px1和第二前驅(qū)px2對應(yīng)的物理節(jié)點數(shù)據(jù)至q的x目錄下的第一二拷貝區(qū)；

d) 更新的邏輯前驅(qū)及后繼關(guān)系；

e)φ=φ-{x}，如果φ不為空，執(zhí)行步驟b)，否則完成。

實現(xiàn)上，步驟b)把虛擬節(jié)點p重映射到相同類型的存儲節(jié)點，和節(jié)點加入流程一致，需確保邏輯相鄰兩個虛擬節(jié)點不能映射至相同的物理存儲主機；步驟c)將確保在新的物理存儲節(jié)點q成為p節(jié)點的替代節(jié)點之前，已經(jīng)完成遷移存儲節(jié)點的之前存儲數(shù)據(jù)。

本文設(shè)計實現(xiàn)的虛擬節(jié)點分層重映射(VHR)將不同虛擬節(jié)點集合分層映射到不同類型的存儲節(jié)點上，實現(xiàn)了在對等結(jié)構(gòu)下不同類型存儲節(jié)點的層次化，具有以下運行特點：

(1) 自動的混合節(jié)點集群管理

存儲節(jié)點加入或離線時，系統(tǒng)根據(jù)其節(jié)點類型，自動分配或回收對應(yīng)的虛擬節(jié)點。同時，虛擬節(jié)點的分配與回收機制在保證數(shù)據(jù)拷貝存儲到互異存儲節(jié)點的情況下，通過均衡算法保證存儲數(shù)據(jù)在集群中的均衡化存儲，具有較高的可用性。

(2) 不破壞系統(tǒng)的高拓展特性

在混合集群的數(shù)據(jù)遷移過程中，Monitor節(jié)點的負載很輕，只負責(zé)向某一時間加入或宕機的存儲節(jié)點發(fā)送相應(yīng)指令，具體數(shù)據(jù)遷移操作在存儲節(jié)點之間自動獨立完成。

3 實驗與分析

實驗在真實網(wǎng)絡(luò)環(huán)境下進行，拓撲結(jié)構(gòu)如圖5所示。所有節(jié)點均在同一個局域網(wǎng)中。圖5中包含有6臺HighNode、6臺LowNode、1臺Monitor、1臺Client。交換機采用1臺TP-Link的10/100/1000M自適應(yīng)交換機，能耗功率測量使用了多臺TECMANTM9微型電力檢測儀。

圖5 系統(tǒng)拓撲

各個節(jié)點軟件主要采用C語言編寫，軟件運行環(huán)境為Ubuntu14.04。實驗中，HighNode運行在X86 架構(gòu)的PC工作站上，LowNode運行在ARM評估板上。如表3所示。

表3 硬件配置

3.1 能耗水平

實驗通過對4個不同的實驗組的對比測試進行，每一個實驗組的配置均不相同，每一個實驗組的運行時的整體能耗水平如表4所示。

表4 不同實驗組的能耗水平

實驗組1中全為HighNode，故其整體能耗水平最高；實驗組2的存儲集群中全部部署為LowNode，故其整體能耗水平最低；實驗組3和實驗組4在存儲集群中混合部署了相同數(shù)量的HighNode和相同數(shù)量的LowNode，整體能耗水平相近。接下來的兩個小節(jié)分別進行了不同實驗組的吞吐性能和文件下載用時測試。

3.2 吞吐性能

最大吞吐性能測試的文件規(guī)模為100GB，測試方式是采集Client節(jié)點的以太網(wǎng)端口的最大I/O數(shù)據(jù)，測試結(jié)果如表5所示。

表5 不同實驗組的最大吞吐性能 MB/s

實驗組3比實驗組4在最大吞吐性能上有輕微的優(yōu)勢，因為實驗組4的混合集群中LowNode對Client是隱藏的，LowNode不參與對Client的數(shù)據(jù)傳輸。隨著文件大小的增加，實驗組1、實驗組3和實驗組4的最大吞吐表現(xiàn)趨于一致，系統(tǒng)限制開始成為制約系統(tǒng)最大吞吐的主要因素。

3.3 下載時間

下載時間測試在每一個實驗組上分別進行，Client從存儲集群中選擇10 GB大小的數(shù)據(jù)文件進行下載，記錄所有數(shù)據(jù)全部完成下載的用時，測試結(jié)果如表6所示。

表6 不同實驗組的10 GB規(guī)模的文件下載時間 s

實驗組1有最短的測試結(jié)果，因其部署的節(jié)點全為HighNode；實驗組2的下載用時最長，因其部署的節(jié)點全為LowNode；實驗組4執(zhí)行了本文的VHR混合策略，系統(tǒng)區(qū)分使用了不同的存儲節(jié)點，在數(shù)據(jù)文件下載時，Client只與混合集群中的HighNode進行數(shù)據(jù)傳輸，故測試結(jié)果和實驗組1相近；而實驗組3執(zhí)行了普通的無層次化混合，系統(tǒng)不能區(qū)分使用不同的存儲節(jié)點，Client與LowNode進行數(shù)據(jù)傳輸時引起了更多時間開銷。除此之外，對等結(jié)構(gòu)下在無層次化混合下的文件查找、目錄列表等功能如ls命令，低性能的節(jié)點將進一步增加系統(tǒng)延遲，給系統(tǒng)帶來不穩(wěn)定因素。

結(jié)合上文的能耗、吞吐測試結(jié)果，VHR實驗組運行良好，充分發(fā)揮了不同類型的存儲節(jié)點的優(yōu)勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

4 結(jié) 語

針對如何在對等結(jié)構(gòu)的混合集群中區(qū)別使用不同類型存儲節(jié)點的問題，本文在一個對等結(jié)構(gòu)分布式系統(tǒng)ZDFS上進行了混合集群的層次化存儲的研究，設(shè)計并實現(xiàn)了一種基于對等結(jié)構(gòu)的層次化存儲策略——虛擬節(jié)點分層重映射(VHR)。該策略不影響對等結(jié)構(gòu)的高拓展特性，使系統(tǒng)可自動區(qū)分使用不同類型存儲節(jié)點，可操作性強。實驗在真實X86和ARM混合集群上進行，實驗表明，VHR實驗組運行良好，充分發(fā)揮了不同類型存儲節(jié)點的優(yōu)勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。本文接下來的工作包括繼續(xù)優(yōu)化系統(tǒng)，支持更多類型節(jié)點等等。

[1] Dell EMC.The Digital Universe of Opportunities:Rich Data and the Increasing Value of the Internet of Things[OL].http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm.

[2] Ghemawat S,Gobioff H,Leung S T.The Google file system[J].ACM SIGOPS Operating Systems Review.New York:ACM,2003,37(5):29-43.

[3] DeCandia G,Hastorun D,Jampani M,et al.Dynamo:Amazon’s Highly Available Key-Value Store[J].ACM SIGOPS Operating Systems Review,2007,41(6):205-220.

[4] Shvachko K,Kuang H,Radia S,et al.The Hadoop Distributed File System[C]//Mass Storage Systems and Technologies (MSST),2010 IEEE 26th Symposium on.New Jersey:IEEE,2010:1-10.

[5] EPA.Report to Congress on Server and Data Center Energy Efficiency[OL].https://datacenters.lbl.gov/sites/ all/files/EPA_Datacenter_Report_Congress_Final1.pdf.

[6] Battles B,Belleville C,Grabau S,et al.Reducing data center power consumption through efficient storage[R].WP-7010-0709,NetApp White Paper,2007.

[7] Wang Y,Sun W,Zhou S,et al.Key Technologies of Distributed Storage for Cloud Computing[J].Journal of Software,2012,23(4):962-986.

[8] Gurumurthi S,Sivasubramaniam A,Kandemir M,et al.Reducing Disk Power Consumption in Servers with DRPM[J].Computer,2003,36(12):59-66.

[9] Harnik D,Naor D,Segall I.Low power mode in cloud storage systems[C]//2009 IEEE International Symposium on Parallel and Distributed Processing.IEEE,2009:1-8.

[10] Leverich J,Kozyrakis C.On The Energy (In)Efficiency of Hadoop Clusters[J].ACM SIGOPS Operating Systems Review,2010,44(1):61-65.

[11] Pinheiro E,Bianchini R,Dubnicki C.Exploiting Redundancy to Conserve Energy in Storage Systems[C]//Proceedings of the Joint International Conference on Measurement and Modeling of Computer Systems,2006:15-26.

[12] Szalay A S,Bell G C,Huang H H,et al.Low-power amdahl-balanced blades for data intensive computing[J].ACM SIGOPS Operating Systems Review,2010,44(1):71-75.

[13] Hamilton J.Cooperative expendable micro-slice servers (CEMS):low cost,low power servers for internet-scale services[C]//Conference on Innovative Data Systems Research,2009:1-8.

[14] Vasudevan V,Franklin J,Andersen D,et al.FAWNdamentally Power-efficient Clusters[C]//Proceedings of the 12th Conference on Hot Topics in Operating Systems.Berkeley,CA,USA:USENIX,2009:22.

[15] Open Compute Project.ARM Server Motherboard Design for Open Vault Chassis Hardware v0.3[OL].http://www.opencompute.org/wp/wp-content/uploads/2013/01/Open_Compute_Project_ARM_Server_Specification_v0.3.pdf.

[16] Anna Wang.Chinese Internet Giant Baidu Rolls Out World’s First Commercial Deployment of Marvell’s ARM Processor-based Server[OL].http://developer.baidu.com/en/events.html.

[17] Weil S A,Brandt S A,Miller E L,et al.Ceph:A scalable,high-performance distributed file system[C]//Proceedings of the 7th Symposium on Operating Systems Design and Implementation.USENIX Association,2006:307-320.

[18] Zhang Q,Zhang W,Li W,et al.Cloud Storage System For Small File Based on P2P[J].Journal of Zhejiang University (Engineering Science),2013,47(1):8-14,93.

RESEARCH ON HIERARCHICAL STORAGE STRATEGY ON P2P HYBRID CLUSTER

Tu Chaofan1Zhang Qifei1Chen Yingzhuang1Zhang Yuchang1Liu Erteng1Gan Honghua1Zhang Weidong2Bai Fan3Zheng Xianrong4

1(SchoolofSoftwareTechnology,ZhejiangUniversity,Ningbo315048,Zhejiang,China)2(SchoolofElectronicsEngineeringandComputerScience,PekingUniversity,Beijing100871,China)3(DepartmentofElectricalEngineeringandComputerScience,NorthwesternUniversity,Evanston60201,USA)4(CentralInstitute,InsigmaTechnologyCompanyLtd,Hangzhou310030,Zhejiang,China)

With the scale of distributed storage systems growing rapidly, the problem of energy consumption has become increasingly prominent, and storage cluster hybrid low-power node has become one of the important ways to solve this problem. To face the problem of how to use different types of storage nodes discriminatively, in this paper, a hierarchical storage strategy called vnode hierarchical remapping (VHR) is designed and implemented based on a P2P distributed system of ZDFS. The strategy didn’t affect the high scalability of P2P, so that the system can automatically distinguish between the use of different types of storage nodes with strong operability. Experiments are carried out on a real X86 and ARM hybrid cluster, and experiments show that the VHR works well and plays to the advantages of different types of storage nodes. Under the condition of the performance degradation is not obvious, the overall level of energy consumption was reduced by 44.8%.

Storage system P2P Hybrid cluster Hierarchical

2015-11-20。國家關(guān)鍵科技支撐項目(2014BAH23F03)；國家環(huán)境公益項目(2013A610064)；寧波自然科學(xué)基金項目(2013B10036)；寧波智能交互多媒體遠程教育系統(tǒng)項目(2013B10036)。涂超凡，碩士生，主研領(lǐng)域：分布式系統(tǒng)，物聯(lián)網(wǎng)。張啟飛，講師。陳應(yīng)莊，碩士生。張昱昶，碩士生。劉二騰，講師。干紅華，副教授。張尉東，博士生。白凡，碩士生。鄭賢榕，高工。

TP3

A

10.3969/j.issn.1000-386x.2017.04.002