基于Serval的廣域網(wǎng)下虛擬機在線遷移系統(tǒng)

同濟大學電子與信息工程學院　周德江

?

基于Serval的廣域網(wǎng)下虛擬機在線遷移系統(tǒng)

同濟大學電子與信息工程學院周德江

【摘要】隨著互聯(lián)網(wǎng)的不斷發(fā)展，TCP/IP網(wǎng)絡架構暴露出越來越多的問題，優(yōu)化TCP/IP網(wǎng)絡的研究逐漸引起了學術界的關注。普林斯頓大學(Princeton University)提出的Serval網(wǎng)絡架構在網(wǎng)絡層之上添加一個新的服務控制層來解耦服務層的控制平面和數(shù)據(jù)平面。在Serval的基礎之上，本文提出了一種虛擬機在線遷移通信恢復的方法，保證虛擬機在遷移結(jié)束之前已經(jīng)建立的通信能夠正常工作。相對于傳統(tǒng)的虛擬機在線遷移通信恢復的方法，該方法更加的簡單，方便，并且不會產(chǎn)生額外的開銷。

【關鍵詞】網(wǎng)絡；Serval架構；虛擬機在線遷移

0　引言

TCP/IP網(wǎng)絡奠定了今天Internet的基礎，但隨著互聯(lián)網(wǎng)的普及和計算機的大范圍的使用，現(xiàn)有的TCP/IP網(wǎng)絡架構逐漸暴露出越來越多的缺點。為了改變目前的困境，學術界主要有兩條思路，一是，完全摒棄現(xiàn)有的TCP/IP架構，研究并部署全新的網(wǎng)絡體系，比如卡耐基梅隆大學主導研究的XIA[1]和加利福尼亞大學洛杉磯分校主導研究的命名數(shù)據(jù)網(wǎng)絡NDN[2]。這一類的研究旨在研發(fā)出全新的網(wǎng)絡架構，并取代現(xiàn)有的TCP/IP架構。二是改良和完善現(xiàn)有的TCP/IP架構。相對于第一條思路，第二條思路的優(yōu)勢在于能夠較為快速的完成實驗室到實際應用的轉(zhuǎn)換，并能夠迅速的接受到實際的檢驗，并根據(jù)反饋進行進一步的優(yōu)化。普林斯頓大學提出的Serval架構正是在現(xiàn)有的TCP/IP的基礎上的一次改進。

高效合理地對云上資源的分配和管理是云計算技術中必須要解決的一個問題。虛擬機在線遷移正是一種能夠高效管理虛擬化的資源的技術，具有很大的研究價值。通過虛擬機在線遷移，可以進行負載均衡，能量管理[3]，災難恢復[4]等。在TCP/IP網(wǎng)絡中，局域網(wǎng)下的虛擬機在線遷移，遷移之后通信可以自動地恢復，但是，在廣域網(wǎng)下，因為原有的IP地址無法在新的網(wǎng)絡中使用，所以通信無法進行自動地恢復?，F(xiàn)有的方案包括創(chuàng)建一個隧道[5]，ARP代理[6]，移動IP等方案。這些方案要么比較復雜，需要新的配置或者節(jié)點機器。要么產(chǎn)生額外的流量，比如移動IP的三角路由。

1　系統(tǒng)設計

1.1通信恢復原理

Serval通過在TCP/IP的傳輸層和網(wǎng)絡層之間添加一個新的層SAL（Service Access Layer）構建一個以服務為中心的網(wǎng)絡[7]。服務訪問層包含兩個重要的表，流表和服務表。

流表中記錄了連接的源流標識符，目的流標識符，源IP地址，目的IP地址以及下一跳的網(wǎng)卡。當IP地址發(fā)生變化之后，只需要修改Serval中的流表即可以恢復通信。在Serval中具有遷移流的功能，即將流從一張網(wǎng)卡遷移到另外一張網(wǎng)卡中。遷移流將修改通信雙方的流表中的源IP地址和目的IP地址。為了實現(xiàn)虛擬機在線遷移通信的自動恢復，遷移完成之后，首先需要給虛擬機一個新的IP地址，然后采用Serval中遷移流的功能，特殊點在于遷移前后流的網(wǎng)卡是同一張，但是會觸發(fā)修改修改流表的操作，從而達到修改流表中虛擬機IP地址的目的。哲學角度來說，IP地址修改之后的網(wǎng)卡與IP地址修改之前的網(wǎng)卡并不是同一張網(wǎng)卡，遷移流將流從修改IP前的網(wǎng)卡遷移到修改IP后的網(wǎng)卡上。

1.2系統(tǒng)模塊

1.2.1數(shù)據(jù)傳輸模塊

實驗采用的虛擬機是QEMU-KVM，通過分析QEMU-KVM的源程序可知，KVM虛擬機提供TCP、EXEC、UNIX和FD四種虛擬機遷移的方式，其中，TCP方式，通過在兩臺主機間建立TCP連接進行遷移數(shù)據(jù)的傳輸；EXEC方式，源主機上將遷移數(shù)據(jù)作為一個輸入流發(fā)送給本地遷移發(fā)送進程，目的主機的遷移發(fā)送進程接收到遷移數(shù)據(jù)之后將其作為一個輸出流發(fā)送給KVM，遷移發(fā)送進程和遷移接收進程可以由用戶自定義。因為Serval采用的是新的通信模式，所以EXEC方式可以用于Serval網(wǎng)絡虛擬機在線遷移。

1.2.2自適應目的主機網(wǎng)絡環(huán)境模塊

虛擬機進入到一個新的網(wǎng)絡環(huán)境中，原有的IP地址以及網(wǎng)關信息已經(jīng)無法使用，必須要進行更新。在原始套接字的基礎上，定義了一個新的網(wǎng)絡狀態(tài)更新協(xié)議和以太網(wǎng)報文，用于保證虛擬機能夠適應新的網(wǎng)絡環(huán)境。更新協(xié)議及其報文格式將在1.3節(jié)介紹。恢復運行之后，虛擬機根據(jù)接收到的更新網(wǎng)絡狀態(tài)的報文，虛擬機更新自己的網(wǎng)絡狀態(tài)，采用新的IP地址和網(wǎng)關。

1.2.3流狀態(tài)更新模塊

遍歷虛擬機中的流表，根據(jù)每一條流的源流標識符，使用serval中遷移流的功能，將流遷移到擁有了新網(wǎng)絡地址的網(wǎng)卡上。

1.2.4性能測試模塊

該模塊用于驗證虛擬機在線遷移是否是無縫的。

1.3網(wǎng)絡狀態(tài)更新協(xié)議及其報文

圖1　虛擬機網(wǎng)絡狀態(tài)更新報文

遷移數(shù)據(jù)接收完成之后，遷移接受進程推出之前發(fā)送一個消息給本地的一個守護進程P，該守護進程P接收到這個消息之后周期性地發(fā)送虛擬機恢復運行探測報文，該報文在虛擬機恢復運行之后會得到一個確認消息，守護進程P接收到確認消息之后構造虛擬機網(wǎng)絡狀態(tài)更新報文，該報文包含了虛擬機新的網(wǎng)絡地址以及新的網(wǎng)關地址，報文格式如圖2所示。虛擬機完成了狀態(tài)更新之后發(fā)送確認消息給宿主主機的守護進程P，守護進程P接收到確認數(shù)據(jù)包之后退出。如果守護進程P超過一定時間仍未接收到確認，再次發(fā)送網(wǎng)絡狀態(tài)更新報文，嘗試三次之后，報告失敗信息。圖2中，協(xié)議字段包含兩種情況，0x0001表示宿主主機發(fā)送的網(wǎng)絡狀態(tài)更新報文，0x0002表示虛擬機發(fā)送給宿主主機的確認報文。

1.4停機時間測量方案及其誤差分析

總遷移時間（Total migration time）和停機時間（Downtime）是虛擬機在線遷移中兩種重要的性能評價參數(shù)[8]。停機時間是指虛擬機在源宿主主機掛起之后到在目的主機通信恢復之后的一段時間間隔。相對于停機時間，總遷移時間容易測量，本文不做討論。

在TCP/IP網(wǎng)絡中，ping通常是作為一個網(wǎng)絡連通性檢測的工具。Serval中也可以實現(xiàn)類型ping的應用，根據(jù)Serval的套接口，本文實現(xiàn)了Serval-ping，利用Servalping工具也可以用來估算虛擬機在線遷移的停機時間。在虛擬機停機期間不斷發(fā)送Serval-ping包給虛擬機，記錄下丟失的Serval-ping的個數(shù)。例如，如果Serval-ping在虛擬機遷移的停機時間內(nèi)有n個未收到回應，且Serval-ping的時間間隔為△t，那么即可估算出停機時間約為n*△t。

2　性能分析

實驗測試床如圖2所示。其中HOST_A和HOST_B分別指定SR1和SR2作為其默認的服務路由器。虛擬機從HOST_A遷移到HOST_B。HOST_VM上也安裝了Serval網(wǎng)絡環(huán)境，其中，HOST_VM的服務路由器設置成SR1。

圖2　基于Serval的廣域網(wǎng)下虛擬機在線遷移實驗測試床

一方面通過Serval下的Serval-ping應用測試遷移結(jié)束之后是否可以得到Serval-ping應答以及測量停機時間，另一方面通過運行兩種不同類型的負載，CPU密集型和I/O密集型，比較不同的負載下遷移性能的差別。其實驗結(jié)果如表1所示，Serval的確可以很方便的實現(xiàn)虛擬機在線遷移中通信的恢復。此外，對比可以發(fā)現(xiàn)，I/O密集型的負載，遷移的總時間和停機時間都比較長。這是由于在遷移過程中，I/O密集型的負載會影響宿主主機的數(shù)據(jù)傳輸。虛擬機在線遷移數(shù)據(jù)傳輸過程相對于宿主主機而言是一種I/O密集性負載，會與虛擬機的I/O操作形成資源的競爭，因此遷移總時間和停機時間更長。

表1　基于Serval的廣域網(wǎng)下虛擬機在線遷移實驗結(jié)果

3　結(jié)論

本文提出了一種基于Serval的廣域網(wǎng)下虛擬機在線遷移通信恢復方案。主要創(chuàng)新點在于提出了一種網(wǎng)絡狀態(tài)更新及其報文格式；通過遷移流的方法完成Serval的流表中IP地址的更新；通過一種類似于ping的應用Serval-ping進行停機時間的測量，針對不同負載帶來的性能差異進行了分析。

參考文獻

[1]Han D,Anand A,Dogar F R,et al.XIA:Efficient Support for Evolvable Internetworking.9th USENIX conference on Networked Systems Design and Implementation,2012,Vol.12:309-322.

[2]Zhang and D.Estrin and J.Burke.Named data networking(ndn)project.Technical report,PARC;2010.

[3]C.Clark,K.Fraser,S.Hand,J.G.Hansen,E.Jul,C.Limpach,et al.Live migration of virtual machines.Symposium on Networked Systems Design & Implementation;2005:273-286.

[4]Comer D.A future Internet architecture that supports Cloud Computing[C].In:Proceedings of the 6th International Conference on Future Internet Technologies.ACM;2011:79-83.

[5]R.Bradford,E.Kotsovinos,A.Feldmann and H.Schioberg. Live Wide-Area Migration of Virtual Machines Including Local Persistent State.VEE;2007:169-179.

[6]E.Silvera,G.Sharaby,D.Lorenz and I.Shapira.IP Mobility to Support Live Migration of Virtual Machines across Subnets.SYSTOR;2009.

[7]Nordstr?m E,Shue D,Gopalan P,et al.Serval:An End-Host Stack for Service-Centric Networking[J].Proc Usenix Nsdi,2012.

[8]Zhang J,Ren F,Lin C.Delay Guaranteed Live Migration of Virtual Machines.INFOCOMM’2014.IEEE.2014:574-582.

周德江（1991—），江蘇鹽城人，研究生，現(xiàn)就讀于同濟大學。

作者簡介：