• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    從NFV概念驗證邁向部署
    ——不犧牲可預(yù)測性的同時實現(xiàn)敏捷性

    2016-09-06 01:20:26思博倫通信
    信息通信技術(shù)與政策 2016年2期
    關(guān)鍵詞:網(wǎng)絡(luò)服務(wù)測試方法實例

    思博倫通信

    思博倫技術(shù)專欄

    從NFV概念驗證邁向部署
    ——不犧牲可預(yù)測性的同時實現(xiàn)敏捷性

    思博倫通信

    編者按:要想與市場的速度保持同步,服務(wù)商需要實現(xiàn)其設(shè)備的標準化,使這些設(shè)備能夠以遠程和/或自動的方式將軟件鏡像加載到設(shè)備上,從而為任何需要的網(wǎng)絡(luò)功能(NF)提供服務(wù)。同時,為了保持贏利能力,設(shè)備應(yīng)當能夠在虛擬機(VM)中運行所需網(wǎng)絡(luò)功能的多個實例景。這一概念便是所謂的網(wǎng)絡(luò)功能虛擬化(NFV)。思博倫通信的《從NFV概念驗證邁向部署》一文從NFV概念驗證邁向部署進行了詳細地分析和研究,并給出思博倫虛擬化測試解決方案。無論是虛擬網(wǎng)絡(luò)還是物理網(wǎng)絡(luò),思博倫都是驗證網(wǎng)絡(luò)性能、可用性、擴展能力和安全性方面的全球領(lǐng)導(dǎo)者。SDN/NFV測試和部署挑戰(zhàn)所示,思博倫的解決方案能夠解決人們所關(guān)心的所有領(lǐng)域,包括移動性數(shù)據(jù)中心和接入邊緣等。

    1 網(wǎng)絡(luò)是真正的障礙

    對于網(wǎng)絡(luò)運營商而言,當前的市場推動力量主要體現(xiàn)在永遠在線、永遠連接的一代消費者對網(wǎng)絡(luò)的期望之中。今天的用戶期待的是不受阻礙的移動性、無縫的可用性、無需等待的快速響應(yīng)以及無限的應(yīng)用和內(nèi)容選擇權(quán)。

    到2018年,固定寬帶的連接速率可望達到42Mbit/s,比2013年的速率提高2.6倍;到2019年時,全球?qū)⒂?2億移動用戶和114億臺移動設(shè)備。

    在這樣的環(huán)境下,服務(wù)商必須敏銳維持贏利能力,需要迅速推出各種服務(wù)來滿足市場的需求,同時還要通過供應(yīng)、監(jiān)測和維護方面的自動化來壓低運營支出。

    好消息是,每位用戶的成本正在下降;壞消息是,從每位用戶獲得的年收入下降得更快。據(jù)一些分析師稱,如果服務(wù)商無法找到改變上述某一條或兩條下滑軌跡曲線的辦法,這個行業(yè)到2017年時將無利潤可言(見圖1)。

    傳統(tǒng)的網(wǎng)絡(luò)會限制服務(wù)商通過新服務(wù)產(chǎn)品對市場需求迅速做出反應(yīng)的能力,這樣的網(wǎng)絡(luò)中包含數(shù)以千計的專用私有硬件設(shè)備,如路由器、會話邊界控制器、寬帶遠程訪問服務(wù)器、防火墻、深層包檢測設(shè)備、廣域網(wǎng)加速器、無線電接入網(wǎng)絡(luò)節(jié)點等。在多數(shù)情況下,每當發(fā)布新的服務(wù)時都必須投入大量的資本去添置更多的私有硬件設(shè)備,而且在供應(yīng)和維護新服務(wù)的運營中也需要投入同樣巨大的資金。

    當現(xiàn)有網(wǎng)絡(luò)中的投資還沒有以按期分攤的方式完全收回時,在新基礎(chǔ)設(shè)施中進一步投資便很難成為可行的商業(yè)做法,這種優(yōu)柔寡斷造成的困局會阻礙服務(wù)商對市場做出快速響應(yīng)的能力,延緩新服務(wù)和特性的開發(fā)和部署。

    圖1 行業(yè)下滑軌跡曲線示意圖

    2 NFV和SDN帶來的希望

    要想與市場的速度保持同步,服務(wù)商需要實現(xiàn)其設(shè)備的標準化,使這些設(shè)備能夠以遠程和/或自動的方式將軟件鏡像加載到設(shè)備上,從而為任何需要的網(wǎng)絡(luò)功能(NF)提供服務(wù)。同時,為了保持贏利能力,設(shè)備應(yīng)當能夠在虛擬機(VM)中運行所需網(wǎng)絡(luò)功能的多個實例。

    這一概念便是所謂的網(wǎng)絡(luò)功能虛擬化(NFV)。作為在IT世界中廣泛使用的成熟技術(shù),虛擬化將使網(wǎng)絡(luò)超越那種在不靈活、私有、專用硬件上搭建起來的傳統(tǒng)黑盒子基礎(chǔ)設(shè)施,是一項改變贏利能力的偉大創(chuàng)新。

    相比之下,虛擬化存在于適用性極高且敏捷靈活的軟件世界中,并且運行在多處理器核心的強大CPU上。在聯(lián)網(wǎng)的世界中,虛擬化的目標是將一系列的傳統(tǒng)網(wǎng)絡(luò)組件,合并到數(shù)據(jù)中心、網(wǎng)絡(luò)節(jié)點和終端用戶等場所內(nèi)符合行業(yè)標準的高容量服務(wù)器、交換機和存儲設(shè)備上。這些網(wǎng)絡(luò)功能可以根據(jù)需要在網(wǎng)絡(luò)中的多個位置實現(xiàn)實例化,且不需要安裝新的設(shè)備,因此提供改變贏利能力所需的極具彈性的規(guī)模。

    NFV為服務(wù)商提供了創(chuàng)建敏捷開發(fā)和部署環(huán)境所需的巨大靈活性,而這些都是滿足市場期望所必不可少的。此外,支持虛擬化網(wǎng)絡(luò)的硬件也是相對比較廉價的標準化白盒子平臺,為實現(xiàn)更高的互操作性奠定了基礎(chǔ),并將多廠商解決方案的可能性推向了一個新的高度。

    2012年底,有12家運營商聯(lián)合發(fā)布了一份關(guān)于NFV需求的基礎(chǔ)白皮書,并且組建了ETSINFV行業(yè)規(guī)格小組(ISG)。在此后兩年多的時間里,該組織的成員擴大到了超過37家運營商和230個獨立企業(yè),這足以證明該行業(yè)在傳統(tǒng)網(wǎng)絡(luò)問題上面臨著多么大的挑戰(zhàn)。

    NFV/SDN的優(yōu)勢:更高的敏捷性(隨需的網(wǎng)絡(luò)和服務(wù));網(wǎng)絡(luò)策略的自我供應(yīng)(自動化);更短的交付時間;充分發(fā)揮服務(wù)鏈優(yōu)勢的創(chuàng)新產(chǎn)品;基于需求的彈性規(guī)模擴展;全局性的網(wǎng)絡(luò)可視性;優(yōu)化的流量引導(dǎo)。

    NFV的起點是商品硬件——一種標準的高容量平臺(交換機、服務(wù)器或存儲設(shè)備)以及一個虛擬化層(監(jiān)視程序或容器),這種平臺與虛擬化層的組合被稱為NFV基礎(chǔ)設(shè)施(NFVI),并且接受OpenStack等虛擬基礎(chǔ)設(shè)施管理器(VIM)的管理。虛擬網(wǎng)絡(luò)功能(VNF)運行在這個NFVI之上,并且由VNF管理器來管理,后者負責(zé)VNF生命周期的管理。這樣,各類應(yīng)用便能夠以透明的方式訪問VNF。NFV協(xié)調(diào)器(NFVO)負責(zé)加載網(wǎng)絡(luò)服務(wù)和VNF、服務(wù)生命周期管理以及其它全局性資源管理任務(wù)。

    軟件定義聯(lián)網(wǎng)(SDN)在目的上與NFV有許多共同點,主要優(yōu)勢就是將電信和云運營商從昂貴且不靈活的私有硬件中解放出來。SDN側(cè)重于分離數(shù)據(jù)和控制層功能,以及對應(yīng)用和網(wǎng)絡(luò)服務(wù)的下層基礎(chǔ)設(shè)施加以抽象化。

    根據(jù)ONF的“SDN架構(gòu)概覽”所述,企業(yè)和運營商能夠獲得前所未有的可編程性、自動化和網(wǎng)絡(luò)控制能力,使他們能夠搭建出擴展能力和靈活性極強的網(wǎng)絡(luò),適應(yīng)不斷變化的商業(yè)需求和網(wǎng)絡(luò)條件。因此,兩種技術(shù)是可以相互補充的。SDN可以發(fā)揮NFV虛擬化各類功能的優(yōu)勢,例如監(jiān)測、管理、流量分析和負載均衡等。圖2為網(wǎng)絡(luò)功能虛擬化架構(gòu)示意圖。

    圖2 網(wǎng)絡(luò)功能虛擬化架構(gòu)

    不出意料的是,在一項最近進行的服務(wù)商調(diào)查中,有97%的受訪企業(yè)計劃部署SDN,有93%的受訪企業(yè)計劃部署NFV。采用SDN的最主要動力是支持云服務(wù)和商業(yè)訪問。采用NFV的最主要動力是在COTS服務(wù)器上運行基于軟件解決方案的服務(wù)擴展能力和贏利能力。圖3為網(wǎng)絡(luò)和云服務(wù)商正在深入?yún)⑴cNFV和SDN的演化進程。

    3 從概念驗證邁向部署過程中面臨的挑戰(zhàn)

    考慮到在敏捷性、經(jīng)濟可承受性和運營簡潔性方面的潛在提升,各家服務(wù)商都在積極地對NFV和SDN進行調(diào)研也就不足為奇了。一些運營商已經(jīng)完成了概念驗證(PoC)試驗,目的是在未來的2~5年中在其生產(chǎn)網(wǎng)絡(luò)中部署NFV。

    近期的一些試驗包括:

    (1)ETSI NFV概念驗證

    12家運營商牽頭的概念驗證工作已經(jīng)成功完成,而另外21項概念驗證正在進行中。思博倫參與了Brocade、Intel、AT&T和Telefonica組織的第9項概念驗證——“包含DDoS功能的VNF路由器性能”。

    圖3 網(wǎng)絡(luò)和云服務(wù)商正在深入?yún)⑴cNFV和SDN的演化過程

    (2)2014年11月

    Telefonica成功完成了多廠商SDN概念驗證試驗(ADVAOpticalNetworking、Ciena、華為和Infinera)。

    (3)2014年10月

    DoCoMo完成了多廠商概念驗證NFV試驗(Alcatel-Lucent、Cisco、Ericsson、華為、NEC和Nokia Networks)。

    (4)2014年6月:TM實況論壇

    ●適用于NFV和SON的數(shù)據(jù)驅(qū)動網(wǎng)絡(luò)性能優(yōu)化(M ycom、TEOCO和Wipro)。

    ●動態(tài)、數(shù)據(jù)驅(qū)動管理和運營(EnterpriseWEb、華為和Qosmos)。

    ●在實施SDN和NFV的同時加強廣域網(wǎng)上的SLA(AT&T、意 大 利 電 信 、Netronome、Intel、ServiceMesh、PLUMgrid、CiscoSystems)。

    ●B2B2X市場中的服務(wù)捆綁(Cisco Systems、DGIT和Liberated Cloud)。

    (5)2014年5月:網(wǎng)絡(luò)虛擬化和SDN世界大會

    ●多廠商NFVI環(huán)境中的端對端vEPC協(xié)調(diào)(Intel、Cyan、RedHat、Dell和Connectem)。

    ●多廠商分布式NFV(Cyan、RAD、Fortinet和Certes)。

    ●統(tǒng)一SDN和云服務(wù)(Cyan、Accedian、Arista、Boundary、Canonical和RYU)。

    盡管運營商自2014年初以來一直在開展概念驗證試驗,但出于多種原因,從過去的試驗過渡到實際部署的成功案例寥寥無幾。

    為什么DPDK和SR-IOV至關(guān)重要?由于DPDK等軟件方面的進步,包處理性能在基于Intel的平臺上已經(jīng)得到了巨大的提高。DPDK是一整套經(jīng)過優(yōu)化的軟件庫和驅(qū)動,可消除內(nèi)核和監(jiān)視程序方面的瓶頸,實現(xiàn)高性能的數(shù)據(jù)層性能。SR-IOV使網(wǎng)絡(luò)流量能夠繞過虛擬交換機,從而消除監(jiān)視程序和虛擬交換機帶來的性能瓶頸。

    ●復(fù)雜性

    如網(wǎng)絡(luò)功能虛擬化機構(gòu)示意圖所示,ETSI的GS NFV 0013中所定義的NFV架構(gòu)是一個共享式的NFV架構(gòu),其中包含虛擬機管理程序、虛擬交換機和COTS硬件,并由NFV管理和協(xié)調(diào)(MANO)功能,通過VNF、 NFVI、VIM和協(xié)調(diào)器之間復(fù)雜的互動實現(xiàn)協(xié)調(diào)。由此產(chǎn)生的新故障點可能對網(wǎng)絡(luò)服務(wù)的體驗質(zhì)量(QoE)、可靠性和可用性產(chǎn)生影響。

    ●硬件與軟件

    為了實現(xiàn)所有的經(jīng)濟可承受性和市場敏捷性優(yōu)勢,NFV和SDN要在一個運行在COTS平臺上的共享環(huán)境中運行,這就需要使用DPDK和SR-IOV等加速技術(shù)才能接近傳統(tǒng)網(wǎng)絡(luò)中基于FPGA和ASIC私有硬件設(shè)備的性能、可預(yù)測性和擴展能力水平。

    ●多廠商

    很多服務(wù)商都希望利用NFV和SDN來擺脫傳統(tǒng)網(wǎng)絡(luò)中單廠商鎖定帶來的恐慌。但多廠商環(huán)境的開放性又會提高復(fù)雜性,以及互用性測試和廠商集成的成本。

    ●多租戶

    NFV幫助服務(wù)商提高效率并降低成本的方法之一就是允許多租戶的離散VNF或服務(wù)鏈,這與IT世界中所使用虛擬化的方式如出一轍。然而,在一個共享環(huán)境中,每個租戶的數(shù)量和流量必須受到保護,使之免受其它租戶有意(惡意)或無意的干擾。要實現(xiàn)這一目標,必須導(dǎo)致復(fù)雜性的提高并且可能對性能產(chǎn)生影響。

    ●策略驅(qū)動的動態(tài)供應(yīng)

    在NFV和SDN為服務(wù)鏈、基于需求的自動擴展以及動態(tài)交換機/路由器編程提供靈活性的同時,都要付出復(fù)雜性提高的代價,并且可能對故障查找工作帶來挑戰(zhàn)。例如,如果服務(wù)鏈中的某項功能被自動擴展,它可能會在另外一臺服務(wù)器上實例化,導(dǎo)致進入服務(wù)器A的用戶流量被重定向至服務(wù)器B,然后再返回服務(wù)器A才能貫穿服務(wù)鏈的剩余部分。

    因此,在考慮到這些因素后,盡管公共和私有試驗已經(jīng)大量開展,但服務(wù)商在期望和實施之間的空白問題上仍有所保留。在最近的一項調(diào)查中,服務(wù)商最擔心的3個問題就是跨域的端對端供應(yīng)、部署的商業(yè)案例以及當前解決方案不夠成熟的問題,其它的問題包括從概念驗證到完全部署的安全戰(zhàn)略問題等。部署NFV遇到的問題參見表1。

    NFV必須同時在多個層級上實現(xiàn),這些試驗已經(jīng)證明,它可以實現(xiàn)最基本的要求,即功能性。但在服務(wù)商從評價轉(zhuǎn)向部署之前,概念驗證試驗還必須證明NFV能夠支持生產(chǎn)網(wǎng)絡(luò)中運營商級的性能。

    表1 部署NFV遇到的問題

    目前的主要問題在于缺乏可預(yù)測性,即預(yù)測具備NFV能力的網(wǎng)絡(luò)在實時、真實條件下會有怎樣的響應(yīng)。虛擬化的網(wǎng)絡(luò)可能允許服務(wù)商以敏捷的姿態(tài)對市場做出響應(yīng),但如果無法確定對應(yīng)的服務(wù)是否能夠提供確保贏利能力所需的性能、可用性、擴展能力和安全性,即使有了這種敏捷性也無濟于事。

    缺乏可預(yù)測性的敏感網(wǎng)絡(luò)只會帶來一團混亂。測試是實現(xiàn)可預(yù)測性的關(guān)鍵。虛擬化具有轉(zhuǎn)化傳統(tǒng)網(wǎng)絡(luò)的潛力,可以滿足21世紀的各種需求,但基于物理測試端點的測試方法并不足以提供可用于行動的信息。每個測試系統(tǒng)端點的位置都至關(guān)重要。想要深入了解這一問題,可以考慮使用物理測試端點的測試方法拓撲結(jié)構(gòu)。

    傳統(tǒng)的網(wǎng)絡(luò)包含眾多實施在專用私有硬件設(shè)備上的功能,例如路由器、交換機、防火墻、入侵探測系統(tǒng),或其它具備特定網(wǎng)絡(luò)功能的設(shè)備。因此,被測設(shè)備(DUT)或被測系統(tǒng)(SUT)只能發(fā)揮一個黑盒子的作用。盒子內(nèi)部發(fā)生的事情完全是不透明的,但這并不是測試或服務(wù)商擔心的。最重要的是被測系統(tǒng)能夠以數(shù)據(jù)和控制層流量、命令和網(wǎng)絡(luò)條件的形式,適當且有效地對刺激做出響應(yīng)。

    在此類環(huán)境中,物理測試平臺會影射傳統(tǒng)網(wǎng)絡(luò)的組件——專用的物理設(shè)備。它會復(fù)制出端對端網(wǎng)絡(luò)所有其它組件的功能并對被測系統(tǒng)進行測試,按照與測試例匹配的適當規(guī)模向其提供用戶層和控制層流量,對被測系統(tǒng)的性能、可用性、擴展能力和安全性加以評估。

    使用物理測試端點的測試方法:為了說明傳統(tǒng)的測試拓撲結(jié)構(gòu)和方法,可以考慮驗證物理設(shè)備所用的這些典型測試例——數(shù)據(jù)層驗證、控制層一致性驗證以及管理層驗證。

    ●數(shù)據(jù)層驗證

    幾十年前,網(wǎng)絡(luò)設(shè)計師曾遇到了與今天的NFV類似的難題。如何才能評價某種設(shè)備的性能呢?為此,IETF開發(fā)了一系列用于驗證數(shù)據(jù)性能的基準測試方法,其中包括RFC 2544、RFC 2889、RFC 3918和RFC 5180。

    在這項測試中,一個測試端口會以不同的幀尺寸和幀速率向被測系統(tǒng)發(fā)送流量,被測系統(tǒng)會對其進行處理并轉(zhuǎn)發(fā)至另一個測試端口,由后者采集關(guān)鍵的性能指標(KPI),包括吞吐量(bit/s)、時延(微秒)和幀丟失(每秒幀數(shù))。圖4為數(shù)據(jù)層測試拓撲結(jié)構(gòu)示意圖。

    ●控制層一致性和擴展能力測試

    控制層比數(shù)據(jù)層更復(fù)雜。在該案例中,物理測試系統(tǒng)會仿真運行控制層協(xié)議的網(wǎng)絡(luò)節(jié)點,建立會話、交換路由,并且生成模擬真實用戶行為的流量流。被測系統(tǒng)會處理控制層消息并將流量轉(zhuǎn)發(fā)至終結(jié)測試端口。測試端口能夠驗證被測系統(tǒng)在大規(guī)模條件下支持控制層會話的能力,并確認從被測系統(tǒng)接收到的控制層流量是否與協(xié)議標準相一致。

    ●管理層驗證

    圖4 數(shù)據(jù)層測試拓撲結(jié)構(gòu)

    對于運營商級的網(wǎng)絡(luò)而言,即時的缺陷探測、恢復(fù)和融合能力是必不可少的。在本案例中,測試系統(tǒng)會仿真出兩個目的地相同的路由,并且生成流量。測試系統(tǒng)接下來會在主路由或節(jié)點上引發(fā)故障,測量網(wǎng)絡(luò)恢復(fù)并引導(dǎo)流量至備用路由或節(jié)點所需的時間。

    4 NFV/SDN測試方法

    當考慮傳統(tǒng)測試方法的實例時,有幾件事情是非常明顯的。首先,要想生成控制和數(shù)據(jù)層流量并捕捉驗證解決方案所需的結(jié)果,測試系統(tǒng)必須完全包圍被測設(shè)備或被測系統(tǒng),充當被評價的解決方案或功能的端點。其次,在傳統(tǒng)設(shè)備和網(wǎng)絡(luò)中,測試拓撲結(jié)構(gòu)的端點是被測設(shè)備的入向和出向端口。測試系統(tǒng)與被測設(shè)備之間的連接介質(zhì)通常都是電纜(或者用戶設(shè)備/ eNodeB測試中的空中RF信號)。

    但當查看網(wǎng)絡(luò)功能虛擬化架構(gòu)時,發(fā)現(xiàn)傳統(tǒng)測試例中所顯示的被測設(shè)備在虛擬化網(wǎng)絡(luò)中被當作VNF實例化并執(zhí)行。此外,在虛擬化環(huán)境中,還有一些新的組件,如NFVI和NFVMANO,以及一些新的接口,如VNF、NFVI和NFVMANO組件之間的接口。

    (1)何時需要虛擬化測試解決方案

    在虛擬化網(wǎng)絡(luò)中,標準開發(fā)機構(gòu)(如ETSI NFV ISG)是主要的牽頭力量,不僅負責(zé)定義NFV架構(gòu)和要求,還負責(zé)定義涉及測試內(nèi)容和測試形式的整套測試方法。NFV架構(gòu)的新組件引入了一些傳統(tǒng)網(wǎng)絡(luò)中不存在的新故障點,因此必須對它們的功能、性能、可用性、擴展能力和安全性進行測試。但不可能將電纜從一個測試點拉到一個特定的VNF,并對其性能進行測量。相反,測試中的一個或多個測試端點都將是VNF。

    虛擬化測試解決方案(測試VNF)是一種運行在基于x86商用市售服務(wù)器上的純軟件產(chǎn)品。這些測試VNF可在基于監(jiān)視程序或容器的NFVI上執(zhí)行,并用于驗證其它的VNF、NFVI組件、NFVMANO和E2E網(wǎng)絡(luò)服務(wù)。與對應(yīng)的物理組件一樣,測試VNF可包圍被測VNF或NFVI,發(fā)起用戶層和控制層流量,并驗證接收到的流量是否與協(xié)議標準和預(yù)期的服務(wù)水平協(xié)議(SLA)保持一致。如圖5中DCI廣域網(wǎng)實例所示,虛擬和物理測試解決方案的組合是驗證NFV和SDN環(huán)境時必不可少的。

    如果重新編輯網(wǎng)絡(luò)功能虛擬化,并使之適用于虛擬化測試端點,將得到如圖6虛擬化測試平臺所示的新布局。NFV環(huán)境需要在多個層面上接受測試:

    圖5 用于驗證服務(wù)商廣域網(wǎng)上DCI的物理和虛擬測試解決方案

    圖6 虛擬化測試平臺

    ●驗證NFV基礎(chǔ)設(shè)施。

    ●驗證VNF的功能和規(guī)模。

    ●驗證SDN控制器的功能和南向協(xié)議。

    ●驗證服務(wù)鏈、自動擴展和策略驅(qū)動的使用案例。

    有些測試例會涉及全部駐留在NFVI中的虛擬測試功能,而其它的案例將涉及虛擬和物理測試功能。要具體選擇物理還是虛擬測試點,取決于被虛擬化的服務(wù)性質(zhì),具體內(nèi)容參見表2。

    表2 物理和虛擬測試解決的選擇

    每個端對端網(wǎng)絡(luò)域,例如數(shù)據(jù)中心、移動性網(wǎng)關(guān),或接入/邊緣網(wǎng)絡(luò),都面臨著獨特的挑戰(zhàn),但在虛擬化網(wǎng)絡(luò)中,有些使用案例是該行業(yè)所有細分市場中共同具備的,因此會帶來共同的測試挑戰(zhàn)(見圖7)。移動、云和接入/邊緣電信運營商關(guān)注的都是NFV數(shù)據(jù)和控制層性能、NFVI驗證,以及涉及服務(wù)鏈形成、多租用和自動擴展的網(wǎng)絡(luò)服務(wù)測試。

    (2)測試內(nèi)容

    在討論測試方法之前,應(yīng)明確要測試什么、不測試什么。NFV使服務(wù)商能夠?qū)Χ喾N網(wǎng)絡(luò)加以虛擬化,例如路由、負載均衡或廣域網(wǎng)加速。幾十年來,廠商和運營商一直在使用物理測試設(shè)備來驗證協(xié)議狀態(tài)機和消息,但這些都不是本文的重點。

    重點是驗證VNF、NFVI和服務(wù)的性能,并且減輕虛擬化帶來的不確定性所產(chǎn)生的負擔焦慮。思博倫正在ETSINFV ISG中牽頭定義驗證NFV環(huán)境的部署前測試方法。表3中所討論的使用案例在側(cè)重于與VNF基準測試和服務(wù)鏈/自動擴展驗證有關(guān)的使用案例方面。

    在對VNF或網(wǎng)絡(luò)服務(wù)進行基準測試時有兩個目的:一個目的是找出具體資源的最高性能;另一個目的是找到實現(xiàn)目標性能水平所需的資源。

    ●目的1:最高性能基準測試。找出具體NFVI配置下VNF的最高性能

    圖7 SDN/NFV測試和部署挑戰(zhàn)

    表3 驗證最重要NFV使用案例的測試方案

    在該測試中,VNF和虛擬交換機在可能的情況下會被分配給一個系列固定的資源。當數(shù)據(jù)層流量增加對VNF的壓力時,測試會捕捉各項性能指標,發(fā)現(xiàn)VNF在不發(fā)生錯誤的情況下可以實現(xiàn)的最高性能水平。

    這項測試可用于測量VNF在固定條件下的最高性能,或驗證VNF是否能夠?qū)崿F(xiàn)已公布的性能指標。

    ●目的2:資源分配基準測試。找到實現(xiàn)特定性能水平所需的資源量

    這項測試規(guī)定了一系列性能值,與服務(wù)水平協(xié)議(SLA)非常相似。當數(shù)據(jù)層流量增加對VNF的壓力時,VNFO會分配額外的資源,例如處理器核心或內(nèi)存,這樣就可以找出保持這些性能要求所需的資源組合。

    除規(guī)定的SLA外,還可以在測試前定義預(yù)期的資源分配水平。例如,如果測試的目的是找出實現(xiàn)10bit/s轉(zhuǎn)發(fā)性能的SLA時必須分配給VNF的CPU核心和內(nèi)存的數(shù)量,那么目標最大的CPU核心占用率可能是80%。

    ●最佳慣例

    在每次重復(fù)之前只修改一個變量。例如,每次重復(fù)的測試運行時可以改變處理器核心的數(shù)量,而保持所有其它資源不變。第二次測試運行時可以改變內(nèi)存的分配,而處理器核心的數(shù)量保持不變。

    5 VNF基準測試

    通過VNF的流量需要符合可靠性、QoE和可預(yù)測性方面的要求。這些數(shù)值在VNF描述(VNFD)的各類信息組成部分中均有詳細的定義,并且在SLA中也針對NFV消費方有明確的規(guī)定。數(shù)據(jù)層基準測試將對VNF的這些品質(zhì)進行評價。

    測試VNF會向被測VNF(VNFUT)發(fā)起全網(wǎng)格流量,并通過分析從VNFUT接收到的幀,對VNFUT正確轉(zhuǎn)發(fā)流量的能力做出評價?;镜脑u價指標包括短期、長期和平均包延遲及包延遲變化、序列錯誤數(shù)量以及所提供帶寬和測得帶寬的對比。這些先進的分析會使用能夠代表真實服務(wù)的第7層工作流程。分析指標包括服務(wù)可靠性、服務(wù)渲染時延、服務(wù)錯誤以及服務(wù)可用性。

    (1)基本的流量掃描式測試方法(見圖8)

    圖8 VNF流量掃描測試

    ●目的:對VNFUT的轉(zhuǎn)發(fā)層性能執(zhí)行基準測試

    測試運行重復(fù):這項測試會重復(fù)運行多次,且每次重復(fù)時均采用不同的幀尺寸或幀速率。尺寸和速率的值可能根據(jù)被測網(wǎng)絡(luò)功能而發(fā)生變化。虛擬路由器的典型第2/3層測試將使用下列值:幀速率(fps):10、100、1000、10000、100000…直至VNF的轉(zhuǎn)發(fā)性能目標;幀尺寸(字節(jié)):64、65、128、256、578、1024、1280、1518、9022。

    測試會在120s的時間里在所有連接至VNF的端口之間運行全網(wǎng)格流量。其幀速率起始于10fps,每次重復(fù)時幀速率均不斷攀升,然后測試使用下一個幀尺寸重復(fù)執(zhí)行,直至幀尺寸集全部用盡。為了匹配VNFUT的性能能力,還可對結(jié)果采樣速率或測試時長進行調(diào)整。

    ●結(jié)果:按照每秒一次的采樣速率,這些指標會被記錄下來,其中包括:

    ——在測試VNF端口上接收到的帶寬。

    ——總序列錯誤(幀丟失、重復(fù)幀、亂序幀、重新排序幀、遲到幀)。

    ——最大和平均幀延遲和幀延遲變化。

    ——分配給VNF的資源占用率(處理器核心和內(nèi)存塊)。

    要實現(xiàn)可以測試間對比的有用結(jié)果,這些結(jié)果必須考慮到下層監(jiān)視程序和資源的效率,例如VNFUT所使用的處理器核心和內(nèi)存塊。

    在每次測試重復(fù)時,目的地測試端口接收到的中間帶寬都會被報告,并且以所提供帶寬的百分比和按處理器核心的方式報告。

    (2)長期流量測試方法

    ●目的

    確定VNF在較長時間內(nèi)的穩(wěn)定性和可靠性。

    ●時長

    實現(xiàn)可預(yù)測的性能對于共享式NFV環(huán)境至關(guān)重要。從產(chǎn)生零幀丟失的基本流量掃描測試中選擇一個特定的幀尺寸和幀速率組合,并運行全網(wǎng)格流量測試,所選的時間長度應(yīng)與部署的需求和VNFUT的能力相匹配。通常情況下,測試的時長為6h或更長。

    ●結(jié)果

    審查報告的指標,確定VNFUT的性能是否在整個測試運行期間保持連貫。在整個時長內(nèi)性能出現(xiàn)1%~2%的變化是可以接受的。

    (3)iM IX掃描測試方法

    ●目的:驗證預(yù)期流量條件下的最高性能。

    ●流量組合:該測試使用的是與基本流量掃瞄測試相同的方法,但采用了一個幀尺寸和順序的組合,用以反映多數(shù)公共網(wǎng)絡(luò)上出現(xiàn)的匯聚流量。圖9為iM IX包分布示意圖。

    (4)控制層基準測試方法(見圖10)

    圖9 iMIX包分布

    ●目的:對VNFUT控制層的規(guī)模和性能執(zhí)行基準測試

    圖10 控制層基準測試

    在VNF和物理網(wǎng)絡(luò)功能中,基于標準的實施(如BGP、OSPF、ISIS、LDP、RSVP)都是相同的。因此,VNF的控制層基準測試方法與物理網(wǎng)絡(luò)功能中的方法也是相同的。傳統(tǒng)的基準測試方法可以確定每個端口支持的最大規(guī)模(并發(fā)控制層會話的數(shù)量)和性能(會話的啟動速率)。

    物理設(shè)備中大部分的數(shù)據(jù)層處理均被分流至FPGA、ASIC和板外處理器。與物理設(shè)備不同的是,NFV環(huán)境中的計算核心要負責(zé)快速路徑包處理和控制會話和消息的處理。因此,在任何特定的時候,控制層的擴展能力都可能受到數(shù)據(jù)層負載(快速路徑包)的影響。與那些在處理功能時共享核心的VNF相比,在不同核心之間分別執(zhí)行控制和數(shù)據(jù)層處理的VNF很可能具有更高的性能。

    ●性能和擴展能力目標

    VNF廠商會對其VNF的最高控制層規(guī)模和性能,以及實現(xiàn)此類性能水平所需的NFVI資源執(zhí)行基準測試。部署VNF的網(wǎng)絡(luò)運營商也有自己希望實現(xiàn)的具體性能目標。例如,運營商可能針對vPE制定具體的目標,例如支持x個BGP會話、y個PPPoE會話,以及每個會話z個BGP路由器,同時支持n個Gbit/s的數(shù)據(jù)轉(zhuǎn)發(fā)。此類目標尋求機制將幫助運營商確定廠商VNF的數(shù)量,以及滿足此類目標所需的NFVI資源量。

    ●測試設(shè)置

    使用VNF廠商已公布的控制層基準測試,運營商可以將實現(xiàn)性能目標所需的適當數(shù)量的VNF組件(VNFC)實例化。在本例中,Spirent TestCenter虛擬機仿真了運行BGP和PPPoE的CE和核心路由器,并且使用被測vPE建立了所需數(shù)量的BGP和PPPoE會話。這些虛擬機還以所需的轉(zhuǎn)發(fā)速率發(fā)起了雙向用戶層流量。

    ●通過/未通過

    如果控制層會話成功建立,且用戶層轉(zhuǎn)發(fā)流量在無錯誤或丟失的情況下達到預(yù)期的速率,則說明廠商提供的VNF滿足了運營商的需求;如果不滿足,則測試將轉(zhuǎn)向目標尋求進程。

    ●目標尋求

    在測試的每次重復(fù)中,都應(yīng)以按部就班的方式對NFVI資源進行修改,即在允許的限度內(nèi),每次改變一個變量,而保持其它NFVI參數(shù)不變,并重復(fù)執(zhí)行測試,直至達到預(yù)期的性能。利用這種分步增加VNF或NFVI資源的方法可以實現(xiàn)最高的性能水平。

    遞增式配置修改:

    ——修改VNF的VNFC(虛擬機)數(shù)量。

    ——修改分配給每個VNFC的核心。

    ——修改分配給每個VNFC的內(nèi)存。

    ——如果可能且需要,可在VNFC的控制層和數(shù)據(jù)層處理之間修改核心的分配。

    ——適當時可啟用或禁用加速技術(shù),例如DPDK或SR-IOV。

    ●結(jié)果

    當VNFUT實現(xiàn)預(yù)期的性能水平后,應(yīng)記錄所用的VNF配置及VNFC的數(shù)量、每個VNFC的核心數(shù)量、分配給控制層和數(shù)據(jù)層處理的核心數(shù)量、分配給每個VNFC的內(nèi)存量以及核心的占用率。

    6 網(wǎng)絡(luò)服務(wù)測試方法

    網(wǎng)絡(luò)服務(wù)(NS)中包含一個完整的服務(wù)功能鏈(虛擬或物理網(wǎng)絡(luò)功能的轉(zhuǎn)發(fā)圖)。在與VNF管理器、VIM和OSS/BSS協(xié)作的情況下,NFVO可以管理一個或多個NS的生命周期。具備資源分配的端對端視圖,并且充當OSS發(fā)出所有請求的單一訪問點。NFVO負責(zé)處理網(wǎng)絡(luò)服務(wù)和VNF轉(zhuǎn)發(fā)圖的生命周期。VNF管理器則負責(zé)從應(yīng)用的角度處理VNF生命周期。

    在一個共享的NFV環(huán)境中,多項網(wǎng)絡(luò)服務(wù)會在同一臺服務(wù)器上執(zhí)行,而且每個網(wǎng)絡(luò)服務(wù)都處于各自不同的生命周期階段中。有些服務(wù)正在實例化、擴展或終結(jié),而其它一些服務(wù)則處于穩(wěn)定的執(zhí)行狀態(tài)下。要想確定某項網(wǎng)絡(luò)服務(wù)是否會對其它的網(wǎng)絡(luò)產(chǎn)生影響,生命周期測試必不可少。

    網(wǎng)絡(luò)服務(wù)測試方法可以驗證網(wǎng)絡(luò)服務(wù)的成功實例化和終結(jié),并測量實例化網(wǎng)絡(luò)時間所需要的時間,同時還可確保自動擴展的成功完成。網(wǎng)絡(luò)服務(wù)測試方法將假定被測網(wǎng)絡(luò)服務(wù)(NSUT)所包含的VNF已經(jīng)在網(wǎng)絡(luò)服務(wù)測試執(zhí)行之前得到了充分驗證。

    (1)網(wǎng)絡(luò)服務(wù)生命周期的各個階段

    ●網(wǎng)絡(luò)服務(wù)的載入

    向NFVO提交網(wǎng)絡(luò)服務(wù)描述(NSD),以便將其包含在類目中。驗證NSD的完整性和真實性,以及強制組件和所需的外部接口是否齊備。

    ●網(wǎng)絡(luò)服務(wù)的實例化

    執(zhí)行實例化之前的驗證和可行性檢查,識別并保留資源,對VNF加以實例化。必要時還可對所需的連接網(wǎng)絡(luò)加以實例化;將所需的VDU連接至連接網(wǎng)絡(luò)。

    ●網(wǎng)絡(luò)服務(wù)的擴展/升級

    驗證請求,檢查可行性,確定擴展行動(增加/減少資源,實例化/終結(jié)VNF),分配/取消分配資源和連接。

    ●網(wǎng)絡(luò)服務(wù)的終結(jié)

    驗證請求,必要時終結(jié)VNF,刪除資源,刪除內(nèi)部連接網(wǎng)絡(luò),從類目中清除。

    (2)網(wǎng)絡(luò)服務(wù):功能測試和實例化時間方法(見圖11)

    ●目的

    執(zhí)行網(wǎng)絡(luò)服務(wù)的功能驗證并測量激活服務(wù)所需的時間。該指標在測量客戶的體驗質(zhì)量(QoE)非常重要。NFVO負責(zé)管理網(wǎng)絡(luò)服務(wù)的動態(tài)實例化和激活。

    在本測試中,發(fā)起方的測試VNF會向剛剛實例化的NSUT發(fā)送流量,并確保NSUT將流量正確轉(zhuǎn)發(fā)至作為終結(jié)方的測試VNF。

    ●測試設(shè)置

    可將一個NFV服務(wù)器上的3個VNF組成一個服務(wù)鏈,形成一個包含vCE、vFW和vWAN加速器的轉(zhuǎn)發(fā)圖。這種測試方法假定在測試執(zhí)行之前所包含的VNF已經(jīng)被實例化。

    圖11 網(wǎng)絡(luò)服務(wù)實例功能測試

    使用 Spirent TestCenter物理測試端口包圍NSUT。需要同步和微秒級的精度,此外應(yīng)使用物理測試設(shè)備。

    ●測試程序

    測試控制器指示NFVO在時間T=t1完成網(wǎng)絡(luò)服務(wù)的實例化。NFVO在完成NS實例化為通知測試控制器(網(wǎng)絡(luò)服務(wù)實例化流程的詳情見GS NFV-MAN 001的附錄C.3)。

    SpirentTestCenter端口會以匹配NSUT性能目標的幀速率,生成指向NSUT的適合的雙向第2~7層流量。例如,對于一個包含虛擬防火墻、虛擬ADC和虛擬WOC的服務(wù)功能鏈,接收到的是應(yīng)用流量。而包含虛擬CPE和虛擬BNG的服務(wù)功能鏈,接收到的是第2~3層流量。建議以不同的幀尺寸運行多次測試。具體的幀尺寸設(shè)置取決于針對的是哪種NSUT。

    這些測試設(shè)備應(yīng)繼續(xù)執(zhí)行每項測試,直至?xí)r間T=t2,即在終結(jié)測試設(shè)備上探測到經(jīng)過NSUT成功處理的服務(wù)幀。

    ●通過/未通過

    如果測試的結(jié)果未報告任何錯誤,例如重新排序幀、數(shù)據(jù)完整性錯誤或CRC錯誤,則表明功能實例化測試已經(jīng)通過;如不滿足這些條件,則說明該測試未通過。

    ●測試結(jié)果

    測試設(shè)備會記錄網(wǎng)絡(luò)服務(wù)描述的監(jiān)視參數(shù)域中定義的體驗質(zhì)量(QoE)指標,并計算出每種幀速率和幀尺寸組合下完成網(wǎng)絡(luò)服務(wù)激活所需的時間,即[t2-t1]所表示的值。

    (3)網(wǎng)絡(luò)服務(wù)實例化:自動擴展驗證測試方法(見圖12)

    NFV最重要的驅(qū)動力之一就是為網(wǎng)絡(luò)運營商提供在需要時分配資源,并在不需要時收縮資源的能力。通過擴大或向外擴展,網(wǎng)絡(luò)服務(wù)可以對持續(xù)一定時間的客戶流量高峰做出急劇的反應(yīng)。同樣,在客戶流量減少的時間段里,它又可以縮小規(guī)模或向內(nèi)擴展。這種極具彈性的擴展能力能夠防止網(wǎng)絡(luò)資源的過度供應(yīng)。

    ——擴大:構(gòu)成網(wǎng)絡(luò)服務(wù)的一個或多個VNF分配到了額外的NFVI資源,例如計算、內(nèi)在和存儲。

    ——向外擴展:在同一服務(wù)器或其它服務(wù)器上實例化額外的VNF,應(yīng)對負載的增加。

    ——縮?。簶?gòu)成網(wǎng)絡(luò)服務(wù)的一個或多個VNF分配到了更少的NFVI資源,例如計算、內(nèi)在和存儲。

    ——向內(nèi)擴展:構(gòu)成網(wǎng)絡(luò)服務(wù)的一些VNF被終結(jié),從而對負載的減少做出反應(yīng)。

    ●目的:驗證自動擴展的成功完成,以及自動擴展完成期間和之后客戶SLA的保持情況。

    圖12 網(wǎng)絡(luò)服務(wù)擴展——驗證自動擴展

    ●測試設(shè)置:在該測試案例示例中,要設(shè)置一個帶VNF轉(zhuǎn)發(fā)圖的網(wǎng)絡(luò)服務(wù),其中包括在相同服務(wù)器上的虛擬CE和虛擬路由器。網(wǎng)絡(luò)服務(wù)將向端對端線路提供有保障SLA。該測試方法假定網(wǎng)絡(luò)服務(wù)已經(jīng)成功實例化,并且在測試執(zhí)行之前達到了性能目標。

    使用 Spirent Test Center物理測試端口包圍NSUT。由于測量SLA的一致性時需要同步和微秒級的精度,此外應(yīng)使用物理測試設(shè)備。

    ●測試程序:在時間T=t1,測試設(shè)備會啟動流量負載的提高進程(穩(wěn)定提高或流量突發(fā))且足以在時間t1+Δt觸發(fā)自動擴展機制(測試設(shè)備了解這些信息的具體方法不在本文檔的討論范圍內(nèi))作為響應(yīng),VNF、VNF管理器和/或NFVO會啟動并執(zhí)行自動擴展。

    從時間T=t1開始,測試設(shè)備還會監(jiān)視網(wǎng)絡(luò)服務(wù)保持SLA的性能。采樣期因網(wǎng)絡(luò)服務(wù)而異。在本示例中,建議每100ms執(zhí)行一次采樣。

    當網(wǎng)絡(luò)服務(wù)能夠支持更大的規(guī)模且不會導(dǎo)致SLA惡化時,測試設(shè)備將記錄時間T=t2。

    ●測試結(jié)果:測試結(jié)果包括多項參數(shù),其中包括構(gòu)成網(wǎng)絡(luò)服務(wù)的VNF、導(dǎo)致自動擴展的觸發(fā)器、自動擴展前的流量負載,以及自動擴展后的流量負載。這些測試設(shè)備還會定期記錄網(wǎng)絡(luò)服務(wù)在t1和t2之間的性能指標和NFVI占用率指標,并且報告自動擴展進程的時長,即[t2-t1]所表示的值。

    7 思博倫:虛擬化測試領(lǐng)域的領(lǐng)導(dǎo)者

    無論是虛擬網(wǎng)絡(luò)還是物理網(wǎng)絡(luò),思博倫都是驗證網(wǎng)絡(luò)性能、可用性、擴展能力和安全性方面的全球領(lǐng)導(dǎo)者。SDN/NFV測試和部署挑戰(zhàn)所示,思博倫的解決方案能夠解決人們所關(guān)心的所有領(lǐng)域,包括移動性數(shù)據(jù)中心和接入邊緣等。

    (1)思博倫在標準制訂機構(gòu)中發(fā)揮的領(lǐng)導(dǎo)作用

    思博倫在ETSINFV ISG中發(fā)揮著至關(guān)重要的作用,領(lǐng)導(dǎo)著部署前和部署后NFV環(huán)境驗證指導(dǎo)原則的制訂工作。思博倫還在ONF測試理事會中發(fā)揮著領(lǐng)導(dǎo)作用,為OpenFlow控制器和交換機驗證工作做出了巨大的貢獻。

    (2)易用性和可遷移性

    思博倫的虛擬和物理測試平臺擁有完全相同的形象和感覺,并且支持無縫的互用性。測試配置和腳本也可以在兩種平臺間遷移。測試流量可以起始并終止于純物理測試設(shè)備、純虛擬測試設(shè)備,或者虛擬和物理測試設(shè)備的任意組合。Spirent Test Center Virtual可在多種監(jiān)視程序上執(zhí)行,包括VMWare ESXi和KVM/ QEMU。它還可以兼容OpenStack等開源云管理系統(tǒng)。

    (3)VNF與網(wǎng)絡(luò)服務(wù)的性能和擴展能力驗證

    思博倫的解決方案能夠簡化對數(shù)百種不同類型和風(fēng)格的VNF執(zhí)行基準測試的可畏任務(wù),為第2~7層數(shù)據(jù)層和控制層測試提供無微不至的支持。

    思博倫的虛擬解決方案已經(jīng)過了DPDK的優(yōu)化,使用戶能夠在數(shù)據(jù)轉(zhuǎn)發(fā)性能方面實現(xiàn)巨大的突破,同時還可減少生成測試流量所需的計算核心數(shù)量。

    思博倫的測試方法產(chǎn)品還使用戶能夠?qū)ο铝袑ο筝p松執(zhí)行基準測試:虛擬交換機、虛擬路由反射器、虛擬PE路由器、虛擬BNG、虛擬CPE路由器、虛擬防火墻、虛擬廣域網(wǎng)加速器、虛擬IDS、虛擬IPS,以及虛擬EPC的每個組件。

    表4 思博倫虛擬解決方案

    思博倫與Oasis建立合作關(guān)系

    領(lǐng)先的設(shè)備智能解決方案供應(yīng)商思博倫通信與全球通用用戶識別模塊(USIM)聯(lián)網(wǎng)及管理供應(yīng)商OasisSmartSIM日前宣布,兩家公司將建立戰(zhàn)略伙伴關(guān)系,共同消除相機、智能車輛、物流和生產(chǎn)物料等聯(lián)網(wǎng)產(chǎn)品和設(shè)備快速發(fā)展過程中遇到的連接性和網(wǎng)絡(luò)供應(yīng)障礙。這項伙伴關(guān)系標志著兩家企業(yè)將正式進軍物聯(lián)網(wǎng)(IoT)業(yè)務(wù),而據(jù)分析企業(yè)Gartner公司預(yù)測,2016年全世界聯(lián)網(wǎng)設(shè)備的數(shù)量將高達64億部,而到2020年時將增至208億部。

    思博倫通信物聯(lián)網(wǎng)連接與訂用管理業(yè)務(wù)總經(jīng)理Dennis JuulPoulsen指出:“思博倫與Oasis已開始攜手,幫助制造商為聯(lián)網(wǎng)世界構(gòu)建更好且更具智能的產(chǎn)品。無論是聯(lián)網(wǎng)的卡車,還是智能跑鞋,任何垂直市場的OEM廠商都將能夠為其客戶提供無縫的即時連接能力,以及隨意選擇蜂窩網(wǎng)絡(luò)服務(wù)商的自由?!?/p>

    猜你喜歡
    網(wǎng)絡(luò)服務(wù)測試方法實例
    《壓縮機技術(shù)》網(wǎng)絡(luò)服務(wù)
    《壓縮機技術(shù)》網(wǎng)絡(luò)服務(wù)
    基于泊松對相關(guān)的偽隨機數(shù)發(fā)生器的統(tǒng)計測試方法
    網(wǎng)絡(luò)服務(wù)合同的法律問題研究
    法制博覽(2021年18期)2021-11-24 20:45:30
    基于云計算的軟件自動化測試方法
    電子制作(2019年16期)2019-09-27 09:34:56
    DLD-100C型雷達測試方法和應(yīng)用
    電子制作(2019年15期)2019-08-27 01:12:02
    對改良的三種最小抑菌濃度測試方法的探討
    完形填空Ⅱ
    完形填空Ⅰ
    云計算趨勢下的藍汛內(nèi)容感知網(wǎng)絡(luò)服務(wù)
    剑河县| 奉贤区| 烟台市| 延寿县| 乡宁县| 桦川县| 崇仁县| 怀集县| 新竹市| 马龙县| 车致| 旬邑县| 常宁市| 和平区| 安图县| 古田县| 辰溪县| 广丰县| 缙云县| 长白| 赤水市| 房山区| 长沙市| 延庆县| 广灵县| 揭东县| 瓦房店市| 兴义市| 永德县| 开远市| 合水县| 特克斯县| 牡丹江市| 葵青区| 湘潭市| 清水县| 鹤壁市| 古浪县| 扬中市| 阜阳市| 永顺县|