GPFS文件系統(tǒng)的安裝配置與維護(hù)

張新諾，王 彬

(國家氣象信息中心，北京 100081)

0 引 言

隨著信息化進(jìn)程的推動，各行各業(yè)所需的相關(guān)信息量越來越多，需要更高效更安全的數(shù)據(jù)存儲環(huán)境。在并行存儲迅速發(fā)展的情況下，由于性能優(yōu)勢而備受國內(nèi)各企事業(yè)單位信賴的GPFS系統(tǒng)得到了廣泛應(yīng)用。

IBM公司的GPFS文件系統(tǒng)全稱為general parallel file system(通用并行文件系統(tǒng))，是IBM公司開發(fā)并生產(chǎn)的一種并行文件系統(tǒng)，普遍應(yīng)用于服務(wù)器集群系統(tǒng)中[1]。GPFS文件系統(tǒng)為集群中的節(jié)點提供統(tǒng)一的數(shù)據(jù)存儲空間，并允許集群中任何一個節(jié)點同時訪問相同的數(shù)據(jù)。簡單來說，GPFS是一個高性能、可共享磁盤的并行文件系統(tǒng)[2]。

1 GPFS文件系統(tǒng)的特性

GPFS文件系統(tǒng)為服務(wù)器集群提供高性能的數(shù)據(jù)訪問，該文件系統(tǒng)允許數(shù)據(jù)被集群中多個節(jié)點同時、高效的訪問。大多數(shù)現(xiàn)有的文件系統(tǒng)是專為單一服務(wù)器環(huán)境提供服務(wù)的，添加更多文件服務(wù)器并不會提高文件系統(tǒng)的性能。GPFS文件系統(tǒng)將獨立的數(shù)據(jù)分塊，并存放在多塊硬盤中，以并行的方式進(jìn)行數(shù)據(jù)的輸入和輸出，能夠為服務(wù)器提供高性能的數(shù)據(jù)服務(wù)[3-4]。GPFS提供的其他功能包括高可用性、支持異構(gòu)集群、災(zāi)難恢復(fù)、安全性、數(shù)據(jù)管理接口(DMAPI)、分級存儲管理(HSM)和信息生命周期管理(ILM)[5]。

2 GPFS文件系統(tǒng)的配置

GPFS文件系統(tǒng)的安裝較為簡便，對應(yīng)不同的操作系統(tǒng)安裝其相應(yīng)的安裝包即可。安裝完成后，不同的操作系統(tǒng)其對應(yīng)的配置方式略有不同。文中以SUSE 10為例，簡述文件系統(tǒng)的配置方式。

2.1 配置節(jié)點文件

配置節(jié)點文件主要是確定該GPFS文件系統(tǒng)可用于集群的范圍，并確定文件系統(tǒng)的管理節(jié)點和仲裁節(jié)點的位置，配置如下：

root@hs21-1 [/root]

# vim /usr/lpp/mmfs/nodef

hs21-1.site:quorum

hs21-2.site

hs21-3.site

x3650-01.site:quorum-manager

x3650-02.site:quorum-manager

在GPFS文件系統(tǒng)中，至少需要一個仲裁節(jié)點(quorum)，用于集群間的通信及數(shù)據(jù)完整性檢查。由于該集群中節(jié)點較多，故設(shè)置三個仲裁節(jié)點，當(dāng)任何一個仲裁節(jié)點出現(xiàn)問題時，集群節(jié)點仍能和其他的仲裁節(jié)點保持通信，保證GPFS文件系統(tǒng)仍能正常運行[6-7]。若多個仲裁節(jié)點發(fā)生故障，則集群節(jié)點無法正常通信，此時GPFS文件系統(tǒng)將不可用。在hs命名為刀片服務(wù)器，x3650服務(wù)器為普通X86機(jī)架服務(wù)器，為了保證文件系統(tǒng)的安全性，將兩臺x3650機(jī)架服務(wù)器定義為仲裁節(jié)點(quorum)和管理節(jié)點(manager)，即quorum-manager類型節(jié)點。該種類型節(jié)點用于管理集群的配置及文件系統(tǒng)監(jiān)控等方面[8]。

2.2 建立GPFS集群

將hs21-1.site作為GPFS集群的主管理者，在該節(jié)點上進(jìn)行GPFS集群建立的操作。操作命令為：

mmcrcluster -C 集群名 -U 域名 -N各節(jié)點名 -p 主NSD服務(wù)器 -s 備NSD服務(wù)器

具體命令如下：

root@hs21-1 [/root]

#mmcrcluster -C hs21.cma.GPFS -U hs21.cma.GPFS -N /usr/lpp/mmfs/nodef -p hs21-1.site -s x3650-02.site

該命令中各參數(shù)含義如下：

-C hs21.cma.GPFS：設(shè)定集群名稱為hs21.cma.GPFS

-U hs21.cma.GPFS：設(shè)定域名為hs21.cma.GPFS

-N /tmp/GPFS/nodef：指定各節(jié)點的文件名

-p hs21-1.site指定主NSD：服務(wù)器為hs21-1.site

-s x3650-02.site指定備NSD：服務(wù)器為x3650-02.site

命令執(zhí)行完成后，執(zhí)行mmlscluster命令檢查集群建立情況，結(jié)果見圖1。

圖1 GPFS文件系統(tǒng)建立情況

2.3 配置并創(chuàng)建GPFS共享磁盤

2.3.1 建立NSD(network shared disk)配置文件

該文件系統(tǒng)是創(chuàng)建在由36塊硬盤組成的存儲介質(zhì)中，其中每3塊硬盤組建RAID 5磁盤陣列[9-10]。可用fdisk -l查看各硬盤信息，顯示結(jié)果如下：

root@hs21-1 [/root]

#fdisk -l

Disk /dev/sdal: 1998.9 GB,1998985153536 bytes

255 heads, 63 sectors/track,243029 cylinders

Units=cylinders of 16065 * 512=8225280 bytes

……

根據(jù)硬盤信息建立NSD配置文件，配置文件的文件名可根據(jù)個人習(xí)慣命名，文中將其命名為DescFile，用于NSD的劃分。NSD配置文件內(nèi)容格式為：磁盤名：主節(jié)點名：備節(jié)點名：磁盤類型：失效組別：NSD名：存儲池：(“：”為必須內(nèi)容)。

根據(jù)命令格式編輯DescFile文件：

root@hs21-1 [/root]

# viDescFile

/dev/sdal:hs21-1.site:x3650-02.site:dataAndMetadata:4001:ft01_nsd1::

/dev/sdam:hs21-1.site:x3650-02.site:dataAndMetadata:4001:ft01_nsd2::

……(省略其他NSD硬盤)

/dev/sdbu:hs21-1.site:x3650-02.site:dataAndMetadata:4001:ft01_nsd36::

該文件中各字段具體解釋如下：

(1)/dev/sdbu:代表硬盤名稱，通過fdisk -l命令獲得，不同系統(tǒng)對應(yīng)的硬盤名稱略有不同。

(2)hs21-1.site:代表NSD的主I/O節(jié)點，該節(jié)點名稱根據(jù)文件系統(tǒng)的實際情況配置。

(3)X3650-02.site:代表NSD的備I/O節(jié)點。無該節(jié)點可以不填。

(4)dataAndMetadata:代表磁盤類型。NSD磁盤根據(jù)數(shù)據(jù)類型可以分為四種，分別為dataAndMetadata、dataOnly、metadataOnly和descOnly。

GPFS需要保存兩種類型的數(shù)據(jù)，即data和metadata。metadata(元數(shù)據(jù))是用于GPFS自身索引數(shù)據(jù)以及內(nèi)部配置信息。這部分元數(shù)據(jù)只能保存在dataAndMetadata或者metadataOnly類型的磁盤中。dataAndMetadata說明該磁盤既可以存放元數(shù)據(jù)，也可以存放其他數(shù)據(jù)。在一些對元數(shù)據(jù)訪問要求非常高的系統(tǒng)中，推薦使用Flash單獨存放GPFS的元數(shù)據(jù)。在這種情況下，F(xiàn)lash里的磁盤就設(shè)置為metadataOnly，其他的磁盤就設(shè)置為dataOnly。descOnly類型的磁盤僅用于存放文件系統(tǒng)副本，并且在發(fā)生故障時可根據(jù)第三失效組恢復(fù)相關(guān)配置。一般來說，dataAndMetadata為NSD磁盤的默認(rèn)類型[11-13]。

(5)4001：代表失效組(FailureGroup)，可以不填，默認(rèn)為4001。失效組主要用于定義一組來自于同一存儲系統(tǒng)或者有一定隔離效果(如同一存儲中的同一個RAID)的磁盤[14]。如果啟用GPFS的Replica(復(fù)制)功能，GPFS會把同一個數(shù)據(jù)塊的2個或者3個replica放置在不同的FailureGroup里。這樣的話，同一個FailureGroup里不管壞多少個磁盤，都不會影響數(shù)據(jù)訪問。FailureGroup的數(shù)值本身沒有具體含義，主要為了區(qū)分不同失效組，數(shù)值相同的磁盤屬于同一個失效組。如果啟用GPFS的replica功能，每個數(shù)據(jù)塊會多占用一倍(replica=2)甚至兩倍(replica=3)的磁盤空間。一般而言，如果存儲系統(tǒng)在硬件上已經(jīng)保證了冗余，比如RAID以及多路徑到SAN交換機(jī)，磁盤失效的概率已經(jīng)很低，一般情況沒必要啟用Replica功能。

(6)ft01_nsd*:代表NSD盤的名稱，可根據(jù)需要自行命名。

(7)命令最后一位代表存儲池，如不填代表系統(tǒng)默認(rèn)的存儲池。

2.3.2 創(chuàng)建GPFS所需的NSD盤

編輯DescFile完成后，執(zhí)行mmcrnsd -F命令，即可生成NSD盤。命令格式為：mmcrnsd -F NSD配置文件。

命令執(zhí)行如下：

root@hs21-1 [/root]

#mmcrnsd -F DescFile

mmcrnsd:Processing disk sdal

……

mmcrnsd:Propagating the cluster configuration data to all

affected nodes.This is an asynchronous process.

命令執(zhí)行完成后，可執(zhí)行命令mmlsnsd -L檢查NSD盤的創(chuàng)建情況。

2.4 創(chuàng)建文件系統(tǒng)

NSD盤創(chuàng)建完成后，需執(zhí)行mmstartup -a啟動GPFS。只有啟動GPFS后，才能繼續(xù)進(jìn)行文件系統(tǒng)的創(chuàng)建。創(chuàng)建文件系統(tǒng)的命令為：

mmcrfs 文件系統(tǒng)設(shè)備名 “NSD盤名” -T 文件系統(tǒng)掛載點 -A yes/no -B 數(shù)據(jù)塊大小

具體命令如下：mmcrfs /dev/fs1 "ft01_nsd1;ft01_nsd2;…(中間略)…;ft01_nsd36" -T /GPFS/fs1

命令中各字段具體解釋如下：

/dev/fs1為文件系統(tǒng)設(shè)備名，創(chuàng)建文件系統(tǒng)時，系統(tǒng)會在集群所有節(jié)點自動創(chuàng)建。在4.2.1版本及更新的版本中，GFPS在Linux中將不會在/dev目錄下生成文件系統(tǒng)設(shè)備名，因此在Linux版本的mount命令中也不會出現(xiàn)/dev的前綴。

“ft01_nsd1;……ft01_nsd36”為前文創(chuàng)建的NSD盤。也可使用創(chuàng)建NSD盤的DescFile文件,命令為：mmcrfs /dev/fs1 -F /root/DescFile -T /GPFS/fs1。

-A表示開機(jī)是否自動加載掛載點，默認(rèn)是no，命令中可以不使用。

-B表示數(shù)據(jù)塊大小，默認(rèn)是256K，如果不加-B則表示使用默認(rèn)數(shù)據(jù)塊大小，文件系統(tǒng)創(chuàng)建后不可更改。數(shù)據(jù)塊的大小選擇與應(yīng)用程序下發(fā)的I/O的大小接近時,GPFS的性能較好。GPFS本身有很多機(jī)制來適應(yīng)不同的I/O大小。當(dāng)應(yīng)用程序下發(fā)的I/O大小不是很清楚，或者很復(fù)雜時，可以選擇1 MB來折中。

2.5 掛載文件系統(tǒng)

執(zhí)行掛載文件系統(tǒng)命令掛載文件系統(tǒng)，命令為：mmmount文件系統(tǒng)名。文件系統(tǒng)掛載完成后,可執(zhí)行df命令查看文件系統(tǒng)情況。如能夠顯示所建文件系統(tǒng)的路徑和名稱，說明文件系統(tǒng)已經(jīng)建設(shè)完成。具體執(zhí)行命令為：mmmount fs1。

3 GPFS的管理與維護(hù)

3.1 GPFS啟動與關(guān)閉

(1)mmstartup：為啟動文件系統(tǒng)的命令，根據(jù)添加不同參數(shù)可以啟動單節(jié)點的文件系統(tǒng)，也可啟動所有集群文件系統(tǒng)。

單節(jié)點文件系統(tǒng)啟動方式：執(zhí)行mmstartup命令。

集群文件系統(tǒng)啟動方式：執(zhí)行mmstartup -a命令。

(2)mmshutdown：為關(guān)閉文件系統(tǒng)命令，同樣根據(jù)添加不同參數(shù)可以關(guān)閉單節(jié)點文件系統(tǒng)，也可關(guān)閉所有集群文件系統(tǒng)。

單節(jié)點文件系統(tǒng)關(guān)閉方式：執(zhí)行mmshutdown。

集群文件系統(tǒng)關(guān)閉方式：執(zhí)行mmshutdown -a，其執(zhí)行結(jié)果顯示的時間會比關(guān)閉單節(jié)點時間略長。

通常在重啟節(jié)點時，要先關(guān)閉GPFS文件系統(tǒng)等常用軟件，避免節(jié)點重啟完成后GPFS軟件出現(xiàn)故障。

3.2 GPFS文件系統(tǒng)故障檢查處理

通過長時間使用和維護(hù)GPFS文件系統(tǒng)，發(fā)現(xiàn)GPFS文件系統(tǒng)出現(xiàn)的故障多為硬件故障，因此文中主要從硬件角度處理GPFS故障。當(dāng)GPFS文件系統(tǒng)出現(xiàn)建故障時，需要通過查看集群GPFS狀態(tài)、磁盤狀態(tài)、文件系統(tǒng)故障范圍等多方面來確定故障原因。

3.2.1 查看集群節(jié)點狀態(tài)

通過命令mmgetstate -a可查看集群各節(jié)點GPFS狀態(tài)，執(zhí)行結(jié)果如下：

root@hs21-1 [/root]

#mmgetstate -a

Node number Node name GPFS state

1 hs21-1 active

3 hs21-3 active

mmgetstate: The following nodes could not be reached:

hs21-2.site

從執(zhí)行結(jié)果可以看到，節(jié)點hs21-2.site出現(xiàn)故障無法加入到集群中，其他節(jié)點GPFS都是健康的active狀態(tài)，若GPFS state顯示其他狀態(tài)，如GPFS stat顯示down時，登錄到相關(guān)節(jié)點查看GPFS是否被關(guān)閉。檢查/var/adm/ras目錄下的mmfs.log.latest文件內(nèi)容，查看是否有GPFS關(guān)閉的信息，如執(zhí)行如下命令：

root@mdss-zc2 [ /var/adm/ras ]

# tail -500mmfs.log.latest

……

Wed May 17 00:40:42 GMT 2017:mmremote: Completing GPFS shutdown ...

如結(jié)果所示，可知該節(jié)點GPFS被執(zhí)行shutdown操作，可用mmstartup命令嘗試能否重啟GPFS文件系統(tǒng)。若mmfs.log.latest文件中沒有GPFS文件系統(tǒng)的shutdown信息，則GPFS文件系統(tǒng)進(jìn)程被關(guān)閉或由于其他原因造成文件系統(tǒng)無法正常工作，可先執(zhí)行mmshutdown，再執(zhí)行mmstartup嘗試重啟文件系統(tǒng)。如果無法正常啟動，可用其他命令檢查物理硬盤等其他故障原因。

3.2.2 查看NSD狀態(tài)檢查物理硬盤

在使用GPFS文件系統(tǒng)過程中，有時會發(fā)生文件系統(tǒng)出現(xiàn)掛起狀態(tài)，從而導(dǎo)致文件系統(tǒng)不可用，如在執(zhí)行df命令時，顯示“df:`/dev/fs1:Stale NFS file handle”，說明fs1文件系統(tǒng)被掛起。此時可檢查文件系統(tǒng)對應(yīng)NSD是否出現(xiàn)故障。

查詢文件系統(tǒng)NSD命令：mmlsdisk文件系統(tǒng)名。

執(zhí)行命令見圖2。

圖2 查看文件系統(tǒng)NSD狀態(tài)

通過查看可以看出，該文件系統(tǒng)中有三個NSD出現(xiàn)故障，顯示出down的狀態(tài)。當(dāng)NSD出現(xiàn)down的狀態(tài)時，說明系統(tǒng)中與down狀態(tài)NSD相對應(yīng)的物理硬盤出現(xiàn)故障。根據(jù)硬盤狀態(tài)檢查該硬盤所在RAID狀態(tài)。如果RAID完好，只需更換故障硬盤，重新掛載文件系統(tǒng)即可；如果RAID出現(xiàn)故障，則可能需要重建文件系統(tǒng)。

當(dāng)存儲系統(tǒng)中的RAID出現(xiàn)故障，首先要查看3塊物理硬盤出現(xiàn)故障的原因，嘗試能夠?qū)⒐收螻SD的狀態(tài)改為up。如果NSD狀態(tài)能夠恢復(fù)，則說明不是所有的硬盤都存在物理故障，文件系統(tǒng)中的數(shù)據(jù)也不會出現(xiàn)丟失的現(xiàn)象，此時，文件系統(tǒng)也可以被恢復(fù)并被掛載。恢復(fù)NSD狀態(tài)可使用如下命令：

mmchdisk 文件系統(tǒng)名 start -d “故障NSD1；故障NSD2；……；故障NSDn”

具體操作命令為：mmchdisk fs1 start -d “ft01_nsd4;ft01_nsd5;ft01_nsd6”。

執(zhí)行完成后，檢查NSD狀態(tài)。如果NSD狀態(tài)都是UP狀態(tài)，則可執(zhí)行mmumount fs1和mmmount fs1來恢復(fù)文件系統(tǒng)的正常運行。

若NSD狀態(tài)仍是down或者unreacoverd，則表示文件系統(tǒng)仍存在問題，文件系統(tǒng)中的數(shù)據(jù)可能已經(jīng)無法恢復(fù)。

在故障狀態(tài)下，故障NSD已經(jīng)無法與正常NSD同步數(shù)據(jù)，此時文件系統(tǒng)可以掛載，但無法對文件系統(tǒng)中的內(nèi)容進(jìn)行操作。為了恢復(fù)文件系統(tǒng)的正常運行，需要重建文件系統(tǒng)。重建文件系統(tǒng)會造成文件系統(tǒng)中的數(shù)據(jù)丟失，因此需要盡量備份文件系統(tǒng)數(shù)據(jù)。

為了盡可能備份文件系統(tǒng)中的數(shù)據(jù)，可以先屏蔽故障NSD，再嘗試以只讀模式掛載文件系統(tǒng)。由于文件系統(tǒng)缺少3個NSD，文件系統(tǒng)中的數(shù)據(jù)已經(jīng)不完整，在備份數(shù)據(jù)過程中會出現(xiàn)數(shù)據(jù)不完整情況[15-19]。屏蔽故障NSD和以只讀模式掛載文件系統(tǒng)命令如下：

屏蔽故障NSD：mmfsctl 文件系統(tǒng)名 exclude -d “故障NSD1；故障NSD2;故障NSD3”。

以只讀模式掛載文件系統(tǒng)：mmmount 文件系統(tǒng)名-o rs。

3.2.3 重建GPFS文件系統(tǒng)

數(shù)據(jù)備份完成后，需要重建文件系統(tǒng)才能使文件系統(tǒng)恢復(fù)正常工作。重建文件系統(tǒng)時，文件系統(tǒng)中所有數(shù)據(jù)都將丟失。重建文件系統(tǒng)的步驟：刪除故障文件系統(tǒng)，刪除故障文件系統(tǒng)NSD，重建NSD，重建文件系統(tǒng)。具體命令如下：

(1)刪除故障文件系統(tǒng)。

mmdelfs -p 故障文件系統(tǒng)名：刪除故障文件系統(tǒng)，為重建系統(tǒng)做準(zhǔn)備。

(2)刪除故障文件系統(tǒng)NSD。

mmdelnsd “NSD1;NSD2;……NSDn”：更換故障硬盤后，為了重建故障文件系統(tǒng)，需要將該文件系統(tǒng)所有NSD硬盤初始化，因此需要先刪除現(xiàn)有NSD，再進(jìn)行NSD和文件系統(tǒng)的重建。

(3)重建NSD和重建文件系統(tǒng)。

具體操作可參考前文創(chuàng)建NSD和創(chuàng)建文件系統(tǒng)時的步驟，完成相關(guān)的操作后，即可重新使用該文件系統(tǒng)。

4 結(jié)束語

目前，GPFS并行文件系統(tǒng)廣泛應(yīng)用于各企事業(yè)單位。隨著信息化的發(fā)展，各企事業(yè)單位需要結(jié)合自身情況來配置使用GPFS并行文件系統(tǒng)，保證數(shù)據(jù)能夠被高效、安全地使用。因此，為了更加高效、穩(wěn)定地使用各種數(shù)據(jù)，應(yīng)該繼續(xù)深入探討GPFS并行文件系統(tǒng)相關(guān)內(nèi)容，為更好地使用GPFS文件系統(tǒng)打下基礎(chǔ)。

參考文獻(xiàn)：

[1] 王 鷗，趙永彬.GPFS共享文件系統(tǒng)在企業(yè)門戶系統(tǒng)中應(yīng)用的研究[J].電腦知識與技術(shù)，2015，11(10)：15-17.

[2] 張志堅,伍光勝,孫偉忠,等.IBMFlexP460高性能計算機(jī)系統(tǒng)及氣象應(yīng)用[J].現(xiàn)代計算機(jī),2016(9):51-55.

[3] 龐麗萍，何飛躍，岳建輝，等.并行文件系統(tǒng)集中式元數(shù)據(jù)管理高可用系統(tǒng)設(shè)計[J].計算機(jī)工程與科學(xué)，2004，26(11)：87-88.

[4] 肖 偉,趙以爽.并行文件系統(tǒng)簡介及主流產(chǎn)品對比[J].郵電設(shè)計技術(shù),2012(7):31-36.

[5] 楊 昕.GPFS文件系統(tǒng)原理和模式IO優(yōu)化方法[J].氣象科技，2006，34：27-30.

[6] 張 璽.并行文件系統(tǒng)下數(shù)據(jù)遷移功能的實現(xiàn)[J].北京信息科技大學(xué)學(xué)報：自然科學(xué)版，2012，27(5)：77-80.

[7] 解寶琦，王金國.構(gòu)建CentOS+GPFS集群[J].網(wǎng)絡(luò)安全和信息化，2017(2):85-88.

[8] 葉雅泉.GPFS在省級通信系統(tǒng)中的應(yīng)用[J].移動信息，2016(6):113.

[9] SCHMUCK F,HASKIN R L.GPFS:a shared-disk file system for large computing clusters[C]//Proceedings of the conference on file and storage technologies.Berkeley,CA,USA:USENIX Association,2002:231-244.

[10] PLANK J S.The Raid-6 Liber8Tion code[J].International Journal of High Performance Computing Applications,2009,23(3):242-251.

[11] CAULFIELD A M,SWANSON S.QuickSAN:a storage area network for fast,distributed,solid state disks[J].ACM SIGARCH Computer Architecture News,2013,41(3):464-474.

[12] 沈 瑜，孫 婧，李 娟.中國氣象局高性能計算機(jī)系統(tǒng)高可靠性設(shè)計[J].信息安全與技術(shù)，2013,4(6):42-45.

[13] JONES T,KONIGES A E,YATES R K.Performance of the IBM general parallel file system[C]//Proceedings of the 14th international symposium on parallel and distributed processing.Cancún,Mexico:IEEE,2000:673-681.

[14] LIU Gia-Shie.Three m-failure group maintenance models for M/M/N unreliable queuing service systems[J].Computers & Industrial Engineering,2012,62(4):1011-1024.

[15] VIJZELAAR S,BOS H,FOKKINK W.Brief announcement:a shared disk on distributed storage[C]//Proceedings of the 29th ACM SIGACT-SIGOPS symposium on principles of distributed computing.Zürich,Switzerland:ACM,2010:79-80.

[19] SZELIGA B,NGUYEN T,SHI Weisong.DiSK:a distributed shared disk cache for HPC environments[C]//International conference on collaborative computing:networking,applications and worksharing.Washington D.C,USA:IEEE,2009:1-8.