NFV資源池規(guī)劃與部署方案

吳麗華，沈蕾

?

NFV資源池規(guī)劃與部署方案

吳麗華，沈蕾

（中國移動通信集團設(shè)計院有限公司，北京 100080）

網(wǎng)絡(luò)功能虛擬化（NFV）是傳統(tǒng)電信網(wǎng)絡(luò)演進的方向，未來電信網(wǎng)絡(luò)架構(gòu)將以DC和資源池為核心。運營商經(jīng)過廣泛的NFV試點即將進入商用部署階段，對于NFV資源池的網(wǎng)絡(luò)架構(gòu)、組網(wǎng)規(guī)劃、資源劃分等方面進行深入分析，探討了NFV資源池規(guī)劃方案，對資源池的建設(shè)提供了參考和建議。

NFV資源池；電信云；網(wǎng)絡(luò)架構(gòu)；資源池規(guī)劃

1 引言

電信運營商的網(wǎng)絡(luò)面臨著硬件類別五花八門、資源分散、網(wǎng)絡(luò)建設(shè)成本高、運維復(fù)雜的問題，而且網(wǎng)絡(luò)上線和更新慢，無法滿足業(yè)務(wù)快速上線、迭代的需求。為應(yīng)對移動互聯(lián)網(wǎng)時代業(yè)務(wù)的快速變化，運營商需要打破傳統(tǒng)電信網(wǎng)絡(luò)的封閉特性，并為推動電信設(shè)備的全面IT化，構(gòu)建彈性網(wǎng)絡(luò)。

與傳統(tǒng)電信網(wǎng)絡(luò)相比，網(wǎng)絡(luò)功能虛擬化（network function virtualization，NFV）通過硬件設(shè)備通用化、網(wǎng)元功能軟件化、平臺資源虛擬化和網(wǎng)絡(luò)管理分層化，實現(xiàn)了網(wǎng)絡(luò)功能和資源的解耦，實現(xiàn)硬件資源共享，增強系統(tǒng)靈活性，提升管理和維護效率，是實現(xiàn)新業(yè)務(wù)快速上線、敏捷迭代、開放創(chuàng)新的有效手段。

NFV引入之后，網(wǎng)絡(luò)將構(gòu)建在以通用硬件為主的云基礎(chǔ)設(shè)施之上，網(wǎng)絡(luò)功能全部由軟件定義，業(yè)務(wù)和功能的部署轉(zhuǎn)化為軟件的設(shè)計、編排和集成，因此NFV資源池的整體規(guī)劃布局和各類資源部署至關(guān)重要，需要在滿足上層業(yè)務(wù)部署需求的同時，確保電信級可靠性和安全性，提升資源利用效率。

2 NFV電信云網(wǎng)絡(luò)架構(gòu)

NFV是將傳統(tǒng)電信設(shè)備功能通過軟件實現(xiàn)，運行于通用硬件設(shè)備之上，并采用虛擬化技術(shù)，實現(xiàn)硬件資源共享，增強系統(tǒng)靈活性，提升管理和維護效率的目標(biāo)。

ETSI標(biāo)準(zhǔn)組織提出的NFV架構(gòu)，如圖1所示。

NFV體系架構(gòu)主要包括NFV基礎(chǔ)設(shè)施（NFVI）、虛擬網(wǎng)絡(luò)功能、NFV管理和編排（NFV management and orchestration）3個主要核心工作域。

（1）NFV基礎(chǔ)設(shè)施將物理計算、存儲、交換資源虛擬化成虛擬的計算、存儲、交換資源池，為VNF（virtualized network function，虛擬網(wǎng)絡(luò)功能）的部署、管理和執(zhí)行提供資源池。

（2）虛擬化網(wǎng)絡(luò)功能：包括VNF和EM （element management，網(wǎng)元管理）。VNF部署在NFVI上，實現(xiàn)軟件化的電信網(wǎng)元功能。EM同傳統(tǒng)網(wǎng)元管理功能，實現(xiàn)VNF的管理，如配置、告警和性能分析等功能。

圖1 NFV參考架構(gòu)（ETSI GS NFV 002 V1.2.1）

（3）NFV管理和編排系統(tǒng)，主要包括NFV編排器（NFVO）、VNF管理器（VNFM）和虛擬設(shè)施管理器（virtualised infrastructure manager，VIM）3部分。NFVO實現(xiàn)網(wǎng)絡(luò)服務(wù)、VNF管理及全局資源調(diào)度，是云管理的決策者；VNFM實現(xiàn)虛擬網(wǎng)元生命周期管理，是VNF管理的執(zhí)行者；VIM是虛擬化基礎(chǔ)設(shè)施管理系統(tǒng)，是虛擬資源及硬件資源管理的執(zhí)行者。

在NFV電信云資源池上承載基礎(chǔ)通信相關(guān)各類網(wǎng)絡(luò)功能，主要包括核心網(wǎng)、基礎(chǔ)通信業(yè)務(wù)平臺，傳輸網(wǎng)、承載網(wǎng)、接入網(wǎng)中適宜進行虛擬化的網(wǎng)元等，要求資源池滿足電信級的可靠性和性能要求。NFV電信云資源池與現(xiàn)有IT云在硬件、虛擬層、管理架構(gòu)、管理維護需求、可靠性等方面均不同，滿足電信級要求的基礎(chǔ)設(shè)施構(gòu)建難度大，對于電信級云管平臺的要求也更嚴(yán)格。因此NFV電信云資源池的規(guī)劃方法與IT云也有較大的不同，具體見表1。

表1 NFV電信云與IT云比較

2.1 網(wǎng)絡(luò)架構(gòu)設(shè)計

現(xiàn)有傳統(tǒng)通信網(wǎng)絡(luò)的組網(wǎng)模式，以設(shè)備為核心，按地域分省組網(wǎng)分散管理。而NFV的引入將顛覆以網(wǎng)元設(shè)備為中心的組網(wǎng)方式，在基礎(chǔ)設(shè)施層面形成以DC/資源池為中心的分層網(wǎng)絡(luò)，所有的網(wǎng)絡(luò)功能和業(yè)務(wù)應(yīng)用都運行在云數(shù)據(jù)中心上，DC節(jié)點布局應(yīng)充分考慮網(wǎng)絡(luò)架構(gòu)層級和用戶接入要求分層部署。

根據(jù)網(wǎng)元特性和業(yè)務(wù)需求，DC需要規(guī)劃2~3層。

（1）核心DC

位于大區(qū)或省中心，用于集中部署控制面網(wǎng)元。

（2）邊緣DC

位于地市或區(qū)縣，用于分布式部署用戶面和轉(zhuǎn)發(fā)面網(wǎng)元（如SGW/PGW、vBRAS-UP等），以實現(xiàn)流量快速卸載，優(yōu)化用戶體驗。

圖2 NFV網(wǎng)絡(luò)架構(gòu)

（3）接入AP

用于解決用戶“最后一公里”接入問題，將存在專用設(shè)備、x86設(shè)備和虛擬化設(shè)備等多種設(shè)備形態(tài)。

未來考慮采用SDN技術(shù)實現(xiàn)DC間互聯(lián)，DC節(jié)點間通過SDN統(tǒng)一實現(xiàn)廣域網(wǎng)連接和鏈路調(diào)度，從而實現(xiàn)網(wǎng)絡(luò)、網(wǎng)元和業(yè)務(wù)的管理編排調(diào)度，實現(xiàn)高效、分布式的網(wǎng)絡(luò)連接，如圖2所示。

表2 控制面網(wǎng)元集中化分析

2.2 網(wǎng)元虛擬化后在DC中的位置

網(wǎng)元虛擬化后，控制面網(wǎng)元具備進一步集中的條件，而媒體轉(zhuǎn)發(fā)面網(wǎng)元需要根據(jù)時延和實時類業(yè)務(wù)需求分散部署在地市、區(qū)縣。

業(yè)務(wù)平臺、控制面、數(shù)據(jù)面網(wǎng)元與其他網(wǎng)元連接全部采用IP承載，且時延較不敏感，較適用于集中部署。綜合考慮用戶分布，結(jié)合與無線接入網(wǎng)的關(guān)系、與外部設(shè)備的連接需求、用戶數(shù)據(jù)和業(yè)務(wù)等因素綜合考慮集中程度?？刂泼婢W(wǎng)元集中化分析見表2。

媒體轉(zhuǎn)發(fā)面網(wǎng)元的部署位置主要考慮時延和業(yè)務(wù)體驗。時延要求高的媒體轉(zhuǎn)發(fā)業(yè)務(wù)，網(wǎng)元分散部署在地市；時延要求極高的實時類業(yè)務(wù)或轉(zhuǎn)發(fā)業(yè)務(wù)量較集中的區(qū)域，媒體轉(zhuǎn)發(fā)網(wǎng)元可下沉至區(qū)縣以下。

3 NFV資源池規(guī)劃

3.1 硬件規(guī)劃

資源池硬件包括計算資源、存儲資源和網(wǎng)絡(luò)資源。

? 計算資源主要為服務(wù)器，應(yīng)盡量采用同一規(guī)格的硬件服務(wù)器承載多種類型VNF，以實現(xiàn)VNF在資源池內(nèi)各服務(wù)器之間的資源調(diào)配。可以根據(jù)網(wǎng)元特性進行分類，通過2~3種硬件規(guī)格配置（如計算型、高轉(zhuǎn)發(fā)等）滿足不同網(wǎng)元的硬件需求。

??存儲資源包括磁盤陣列等傳統(tǒng)存儲設(shè)備以及分布式存儲等。相對于磁陣來說分布式存儲可采用通用服務(wù)器實現(xiàn)存儲，不再依賴傳統(tǒng)磁陣；最大支持容量大，IOPS（input/output operations per second，每秒進行讀寫操作的次數(shù)）高，擴展性強；存儲節(jié)點分布化，理論可靠性高；但分布式存儲運維難度較大，存在由于操作不當(dāng)導(dǎo)致整個存儲系統(tǒng)崩潰的可能。目前分布式存儲尚不成熟，初期NFV商用可采用傳統(tǒng)存儲設(shè)備，后續(xù)演進為分布式存儲。

??網(wǎng)絡(luò)資源包括TOR交換機、EOR交換機以及防火墻等安全設(shè)備。根據(jù)服務(wù)器和存儲設(shè)備配置以及組網(wǎng)方案進行網(wǎng)絡(luò)設(shè)備配置。

對硬件資源的規(guī)劃有如下兩種方式。

（1）方式一：基于上層VNF規(guī)劃估算硬件資源需求

該方式根據(jù)擬在資源池上部署的VNF的容量、數(shù)量規(guī)劃，估算VNF所需的硬件資源，并考慮虛擬層性能消耗、冗余，得出對于資源池硬件的需求。資源池的建設(shè)周期與網(wǎng)元的建設(shè)周期類似，如每年擴容一次。

該方式適用于VNF的業(yè)務(wù)中可預(yù)測的場景，如對基礎(chǔ)通信類業(yè)務(wù)，一般可以通過發(fā)展趨勢預(yù)測未來的容量需求。但在VNF廠商未定的情況下，由于不同廠商的同一VNF對資源需求存在差異，可能存在預(yù)測不準(zhǔn)確的情況。

（2）方式二：完全軟硬解耦規(guī)劃，按資源池實際運行利用率啟動擴容

該方式主要依據(jù)對資源池實時監(jiān)測的利用率等指標(biāo)啟動資源池的擴容建設(shè)，資源池的建設(shè)周期較為靈活，可長可短。

該方式適用于VNF的業(yè)務(wù)中難以預(yù)測的場景，如互聯(lián)網(wǎng)新業(yè)務(wù)，業(yè)務(wù)上線之后可能爆發(fā)式增長，也可能增長很小。該方式不存在由于資源池建設(shè)先于VNF選型，而造成硬件資源預(yù)測不準(zhǔn)的問題。

電信運營商在NFV資源池上部署的大部分網(wǎng)元為基礎(chǔ)通信業(yè)務(wù)相關(guān)的核心網(wǎng)、業(yè)務(wù)平臺等網(wǎng)元，業(yè)務(wù)較可預(yù)測，比較適合采用方式一進行硬件資源規(guī)劃。

3.2 軟件規(guī)劃

NFV資源池中主要涉及的軟件有VIM、Hypervisor、VNF（含guest OS）。Hypervisor和VIM接口較難打開，一般由同廠商提供，統(tǒng)稱為虛擬層軟件；電信廠商一般會基于通用版本guest OS進行裁剪、優(yōu)化，因此VNF與guest OS一般也由同廠商提供。

由于虛擬層與VNF之間的接口為軟件集成接口，因此較難定義接口規(guī)范，初期采用軟硬解耦、軟件廠商一體化的方式，能夠?qū)崿F(xiàn)快速部署。但為達到擴大資源共享范圍的目的，運營商會以三層解耦（VNF、Hypervisor、底層硬件之間的三層解耦）為目標(biāo)進行推進。

3.3 組網(wǎng)規(guī)劃

資源池的物理組網(wǎng)采用出口層、核心層、接入層的層次化組網(wǎng)架構(gòu)。網(wǎng)絡(luò)出口層負(fù)責(zé)網(wǎng)絡(luò)內(nèi)部路由信息和外部路由信息的轉(zhuǎn)發(fā)和維護。對外完成與外網(wǎng)設(shè)備的高速互聯(lián)，對內(nèi)負(fù)責(zé)與數(shù)據(jù)中心的核心層交換設(shè)備互聯(lián)。網(wǎng)絡(luò)核心層部署核心交換機，負(fù)責(zé)接入層交換設(shè)備的匯聚，核心交換機上聯(lián)網(wǎng)絡(luò)出口層路由設(shè)備，完成與外網(wǎng)設(shè)備高速互聯(lián)。接入層包括接入交換機和接入終端設(shè)備，接入終端設(shè)備包括機架式服務(wù)器、刀片式服務(wù)器以及存儲設(shè)備。

通常部署相同應(yīng)用的服務(wù)器要求在二層廣播域內(nèi)，因此為方便業(yè)務(wù)的部署、擴縮容和遷移，要求資源池內(nèi)的服務(wù)器二層可達，資源池需要構(gòu)建大二層網(wǎng)絡(luò)。大二層網(wǎng)絡(luò)主要有以下兩種技術(shù)。

（1）增強二層技術(shù)

二層網(wǎng)絡(luò)的核心是環(huán)路問題，而環(huán)路問題是隨著冗余設(shè)備和鏈路產(chǎn)生的，增強二層技術(shù)的本質(zhì)為跨機箱鏈路捆綁，將相互冗余的成對設(shè)備/鏈路合并成一臺設(shè)備/鏈路，從而消除環(huán)路。

（2）隧道技術(shù)

如VxLAN，能在三層網(wǎng)絡(luò)的基礎(chǔ)上建立二層網(wǎng)絡(luò)隧道，即將二層報文用三層協(xié)議進行封裝。同時VxLAN技術(shù)還可以與SDN相結(jié)合，在資源池內(nèi)應(yīng)用，可實現(xiàn)網(wǎng)絡(luò)自動部署，簡化運營運維流程，便于新業(yè)務(wù)快速上線。

SDN技術(shù)也可應(yīng)用于跨資源池互聯(lián)應(yīng)用，互聯(lián)網(wǎng)絡(luò)分為underlay網(wǎng)絡(luò)和overlay網(wǎng)絡(luò)。其中underlay網(wǎng)絡(luò)用于實現(xiàn)各站點SDN網(wǎng)關(guān)間IP地址可達，可根據(jù)業(yè)務(wù)場景選擇承載網(wǎng)；overlay用于實現(xiàn)站點間業(yè)務(wù)網(wǎng)絡(luò)互通，采用VxLAN封裝為業(yè)務(wù)提供邏輯隔離的互聯(lián)網(wǎng)絡(luò)。

4 NFV資源池內(nèi)的資源劃分方案

4.1 OpenStack資源池模型

OpenStack資源池模型將計算資源按region（分區(qū)）—availability zone（AZ，可用區(qū)）—host aggregate（HA，主機組）的層次結(jié)構(gòu)進行劃分，如圖3所示。

（1）region為邏輯上隔離的資源池，一套OpenStack所管理的資源對應(yīng)一個region，每個region有自己獨立的OpenStack服務(wù)訪問點（endpoint），region之間完全隔離。

（2）AZ為region內(nèi)物理獨立的可用區(qū)域，通常指使用相同電力供應(yīng)設(shè)備的一個區(qū)域，這個電力供應(yīng)設(shè)備故障將導(dǎo)致這個可用區(qū)的所有硬件出現(xiàn)故障。根據(jù)粒度不同，一個獨立機房內(nèi)的機架、由同一列頭柜供電的機架、一個獨立的機架等都可以被劃分成AZ。

（3）HA為具備一個或多個相同屬性的主機組，屬性一般指技術(shù)規(guī)格（如硬件規(guī)格、虛擬層參數(shù)）或人為定義的屬性（如用途）。

圖3 region、AZ、HA層次結(jié)構(gòu)

（4）一個節(jié)點只能屬于一個region、一個AZ，但可能屬于多個HA。

4.2 資源分區(qū)方案

（1）region規(guī)劃原則

由于OpenStack消息隊列機制存在瓶頸，管理能力有限，當(dāng)硬件資源池規(guī)模較大或需要跨機房/DC統(tǒng)一進行資源管理時，可采用多region部署方式，多個region之間可共享同一個Keystone和horizon組件，進行統(tǒng)一的認(rèn)證并呈現(xiàn)統(tǒng)一的訪問界面，其他組件各自獨立。

當(dāng)一個硬件資源池上有多個region時，各region管理的物理主機獨立，各region可共用TOR、EOR和磁盤陣列，要求磁陣能劃分為多個虛擬存儲池。為減少VNF設(shè)計的復(fù)雜度，提高VNF內(nèi)部通信的性能，建議單個VNF的所有VNFC全部部署在一個region內(nèi)，不跨region。多region部署示意如圖4所示。

圖4 多region部署

（2）AZ規(guī)劃原則

一個資源池可規(guī)劃一個或多個AZ。為保障資源池的可用性，資源池規(guī)劃兩個具有獨立供電系統(tǒng)的可用區(qū)（AZ），根據(jù)VNF、管理類網(wǎng)元部署原則將虛擬網(wǎng)元部署在不同的AZ內(nèi)，保證單套供電系統(tǒng)出現(xiàn)故障時業(yè)務(wù)的可用性。AZ的規(guī)劃原則如下。

? 每個AZ內(nèi)有獨立的服務(wù)器、服務(wù)器所接入的TOR、磁盤陣列。

? 兩個AZ共用成對設(shè)置的EOR、CE、防火墻等出口層設(shè)備。

? VIM對于AZ內(nèi)的所有資源能實現(xiàn)完全的資源共享、調(diào)度、虛擬機遷移。

? 每個AZ內(nèi)按安全域的要求分為管理域、業(yè)務(wù)域、DMZ；管理域部署VIM及其他管理類網(wǎng)元，業(yè)務(wù)域部署不能被公網(wǎng)訪問的網(wǎng)元，DMZ部署可以直接被公網(wǎng)訪問的網(wǎng)元。

? 對于+配置的VNFC，VIM應(yīng)根據(jù)VNFM提供的反親和性部署要求，部署在相應(yīng)數(shù)量的物理主機上。

（3）HA規(guī)劃原則

為實現(xiàn)硬件最大利用率，需要根據(jù)業(yè)務(wù)、對硬件需求等維度，對HA進行劃分，以滿足不同的業(yè)務(wù)部署需求。不同維度定義的HA是可并存的，即一個主機可歸屬于多個HA，如一臺主機可同時歸屬于業(yè)務(wù)域HA、控制面網(wǎng)元HA?？赡苡械膭澐志S度見表3，可以根據(jù)具體的業(yè)務(wù)需求和運維策略進行定義。

一種HA規(guī)劃的示例如圖5所示。

表3 劃分維度

圖5 HA規(guī)劃示例

4.3 VNF在資源池部署的要求

根據(jù)VNF各虛擬機在資源池AZ/HA中的分布，VNF的資源部署有如下兩個方案，如圖6所示。

(1) 方案一：VNF不跨AZ部署。單個VNF的所有VNFC全部部署在一個VIM的一個業(yè)務(wù)AZ內(nèi)，有容災(zāi)備份關(guān)系的多個網(wǎng)元（如同一個pool內(nèi)2個CSCF）分別部署在兩個AZ內(nèi)。單套電源引起的故障，可能會引起整個VNF出現(xiàn)故障，因此通過VNF層的容災(zāi)機制（如pool）實現(xiàn)業(yè)務(wù)接管。

圖6 VNF在資源池部署方案

優(yōu)點：對VNF和資源池沒有特殊要求。

缺點：需要網(wǎng)元層面進行冗余配置以保證整體業(yè)務(wù)接管率。

（2）方案二：VNF跨AZ部署。VNF的主備模塊要求分布到不同AZ中，負(fù)荷分擔(dān)的模塊也平均分布到不同AZ中。由于單套電源引起的故障，會影響VNF性能，但不影響VNF的功能。

優(yōu)點：單電源系統(tǒng)出現(xiàn)故障時，VNF能保留一半的處理能力，整體業(yè)務(wù)提供能力降低較少。

缺點：要求VNF支持部分模塊出現(xiàn)故障時，不影響業(yè)務(wù)功能；對于組pool的網(wǎng)元，由于無法實時修改pool中的業(yè)務(wù)分擔(dān)系數(shù)，可能導(dǎo)致超過故障網(wǎng)元接管能力的部分被分流至故障網(wǎng)元，造成業(yè)務(wù)損失。

5 結(jié)束語

NFV資源池作為向上提供統(tǒng)一硬件資源、存儲資源和網(wǎng)絡(luò)資源的基礎(chǔ)設(shè)施，其網(wǎng)絡(luò)架構(gòu)、組網(wǎng)規(guī)劃、資源劃分規(guī)劃等會對上層VNF的功能和性能產(chǎn)生影響，同時也會影響資源的利用效率。本文深入分析了NFV資源池規(guī)劃的關(guān)鍵問題，給出了方案和建議，為實際NFV商用建設(shè)提供了參考和指導(dǎo)。目前規(guī)范和廠商產(chǎn)品也在迭代優(yōu)化中，運營商對于NFV的建設(shè)部署也在探索過程中，后續(xù)還要基于部署經(jīng)驗進一步研究NFV資源池規(guī)劃、部署方案。

[1] ETSI. Network functions virtualisation (NFV); infrastructure overview: GS NFV-INF 001[S]. 2013.

[2] ETSI. Network functions virtualisation (NFV); architectural framework: GS NFV 002[S]. 2013.

[3] 趙遠, 王計艷. NFV引入對核心網(wǎng)網(wǎng)元及規(guī)劃方法的影響[J]. 電信科學(xué), 2017, 33(4): 127-132.

ZHAO Y, WANG J Y. Influence of NFV introduction on core network element and planning method[J]. Telecommunications Science, 2017, 33(4): 127-132.

[4] 吳麗華, 沈蕾. 核心網(wǎng)NFV部署及組網(wǎng)方案[J]. 電信科學(xué), 2016, 32(Z1): 83-92.

WU L H, SHEN L. NFV deployment and networking scheme of core network[J]. Telecommunications Science, 2016, 32(Z1): 83-92.

[5] 翟振輝, 邱巍, 吳麗華, 等. NFV基本架構(gòu)及部署方式[J]. 電信科學(xué), 2017, 33(6): 179-185.

ZHAI Z H, QIU W, WU L H, et al. Basic architecture and ways of deployment of NFV[J]. Telecommunications Science, 2017, 33(6): 179-185.

[6] 沈蕾, 邵永平, 吳海. 核心網(wǎng)NFV機房部署策略[J]. 電信科學(xué), 2017, 33(4): 142-147.

SHEN L, SHAO Y P, WU H. Deployment strategy of NFV central office in core network[J]. Telecommunications Science, 2017, 33(4): 142-147.

NFV resource pool planning and deploying scheme

WU Lihua, SHEN Lei

China Mobile Group Design Institute Co., Ltd., Beijing 100080, China

Network function virtualization is the direction of traditional telecommunication network evolution. The telecom network architecture in the future will be based on DC and resource pool. After test and trail, the telecommunication operators will begin NFV commercial deployment soon. An in-depth analysis of the network architecture, network planning and resource division of the NFV resource pool was given and the NFV resource pool planning scheme was discussed, which provided reference and suggestions for the construction of resource pool.

NFV resource pool, telecommunication cloud, network architecture, resource pool planning

TN915.81

A

10.11959/j.issn.1000?0801.2018200

吳麗華（1982?），女，中國移動通信集團設(shè)計院有限公司高級工程師，主要從事NFV、IMS網(wǎng)絡(luò)、RCS、物聯(lián)網(wǎng)等方面的方案設(shè)計和咨詢工作。

沈蕾（1980?），女，中國移動通信集團設(shè)計院有限公司高級工程師，主要從事核心網(wǎng)及互聯(lián)網(wǎng)領(lǐng)域的方案設(shè)計和規(guī)劃咨詢工作。

2018?04?07；

2018?06?01