• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    IT支撐系統(tǒng)技術架構的去電信化思考

    2014-06-28 03:51:06田熙清陳泳胡穎茂
    移動通信 2014年5期
    關鍵詞:應用程序集群分布式

    田熙清 陳泳 胡穎茂

    1 引言

    隨著移動互聯(lián)網的快速發(fā)展,產業(yè)鏈的重點及利潤在向上層業(yè)務提供商和終端廠家進行轉移,運營商陷入了“管道化”的危險,因此中國電信提出了“去電信化”的轉型思路,逐步擺脫目前的發(fā)展模式和發(fā)展困境。

    電信IT支撐系統(tǒng)最早可以追溯到上個世紀90年代末的“九七工程”,即實現本地網電話業(yè)務的計算機綜合管理,通過計算機自動化管理,減少過多的人工干預。2002年,中國電信制定了企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0版本,首次把IT支撐系統(tǒng)明確劃分為MSS(管理支撐系統(tǒng))、BSS(業(yè)務支撐系統(tǒng))、OSS(運營支撐系統(tǒng))和EDA(企業(yè)數據應用)四大域,采用EAI技術,制定松耦合、模塊化、可配置的技術架構,實現了核心IT支撐系統(tǒng)“省集中”的建設和運營。2007年,中國電信升級ITSP到2.0版本,遵循“數據與功能分離,功能和流程分離,應用與展現分離,生產與分析分離”的技術原則,引入SOA(Service-Oriented Architecture,面向服務架構)技術,在省公司層面整合、集中和優(yōu)化核心系統(tǒng),在集團公司層面建設了集團級系統(tǒng),順利完成移動網絡業(yè)務割接,實現了差異化融合業(yè)務及全國全網業(yè)務的IT支撐。

    目前電信IT支撐系統(tǒng)以省級公司為單位進行集中建設,技術架構上廣泛采用傳統(tǒng)成熟的IOE集中式架構,即以IBM小型機、Oracle數據庫及EMC高端存儲為主,軟件提供商開發(fā)相應的應用程序運行在IOE架構上,這種架構的優(yōu)點是成熟穩(wěn)定,為電信業(yè)務快速發(fā)展提供了業(yè)務上的保障。但隨著企業(yè)“去電信化”轉型思路的發(fā)展,系統(tǒng)性能不高、柔性不足以及投資成本居高不下的問題日益嚴重。

    2 現狀及挑戰(zhàn)

    2.1 IT支撐系統(tǒng)現狀

    電信IT支撐系統(tǒng)邏輯架構如圖1所示,包含門戶層、應用層、服務層、數據層和基礎設施層等,使用者為客戶、合作伙伴和內部員工。系統(tǒng)為客戶提供售前、售中和售后的端到端流程服務,包含訂購、交付、計費及客戶服務等功能。合作伙伴主要指銷售渠道代理商,IT支撐系統(tǒng)為其提供訂購、傭金結算等服務。內部員工按照工作崗位角色的不同,使用不同域的系統(tǒng)功能。

    門戶層針對不同的用戶分為客戶自助門戶、合作伙伴門戶和內部員工門戶,作為不同用戶使用IT系統(tǒng)功能的統(tǒng)一入口。

    應用層包含四大域的不同系統(tǒng)功能,包含BSS域的客戶關系管理(CRM)、計費、賬務、結算及客戶服務(10000號)等功能;OSS域的服務開通、服務保障、裝維調度、綜合激活、資源管理及網絡管理等功能;MSS域的財務管理、企業(yè)資源計劃管理(ERP)、人力資源、公文流轉(OA)、知識管理等功能;EDA域的決策支持、經營分析、運營分析、管理分析以及做專題應用的數據集市等功能。從處理方式來看,BSS、OSS和MSS域屬于聯(lián)機事務處理(OLTP)系統(tǒng),EDA域屬于聯(lián)機分析處理(OLAP)系統(tǒng)。

    服務層包含企業(yè)服務總線(ESB)、數據總線及目錄服務,ESB以服務接口方式實現系統(tǒng)間的服務調用,數據總線實現批量數據傳遞。

    數據層包含企業(yè)數據模型中各主體域數據,如客戶、產品與服務、渠道、賬務、資源、人力、財務、物質和工程等。

    基礎設施層包含小型機、x86服務器、存儲以及IT系統(tǒng)間的內部專用網絡。

    在物理實現上,門戶層有Web頁面和C/S客戶端接入方式;應用層應用程序主要搭建在WebLogic、Tuxedo等商業(yè)中間件上;服務層采用商用ESB組件;數據層數據主要存放在Oracle數據庫中;基礎設施以IBM小機、EMC存儲架構為主。在部署架構上采用二級部署,一級為集團公司總部,下面以省公司為單位獨立部署,通過總部樞紐節(jié)點進行互聯(lián)。

    2.2 “去電信化”轉型挑戰(zhàn)

    在企業(yè)“去電信化”轉型發(fā)展思路下,對IT支撐系統(tǒng)提出了新的挑戰(zhàn):

    (1)在“去電信化”戰(zhàn)略下,電信以開放的心態(tài),向產業(yè)鏈上下游進行拓展。系統(tǒng)使用者發(fā)生了結構性變化,以前主要用戶為營業(yè)員、話務員、客戶經理以及內部員工,少量渠道代理商用戶,而現在擴展到電商、終端提供商等,前者如天貓、京東等,后者如蘋果公司等。

    (2)隨著電信、媒體和信息、互聯(lián)網內容和應用、終端制造、電子商務等行業(yè)“花園圍墻”的倒塌,對手相互進入對方領域,所以除了支撐傳統(tǒng)業(yè)務外,IT支撐系統(tǒng)需要支撐互聯(lián)網基地業(yè)務、海外業(yè)務以及行業(yè)應用等。

    (3)隨著4G牌照的發(fā)放,網絡建設投資將不斷增加,企業(yè)IT投入只減不增,另外IOE架構在后期維護成本(OPEX)壓力越來越大。

    新的挑戰(zhàn)對IT支撐系統(tǒng)提出了新的要求:

    (1)對外部用戶需要提供流暢的客戶體驗,像互聯(lián)網公司一樣的高并發(fā)性能;

    (2)對新業(yè)務的快速響應能力,當前IT支撐系統(tǒng)版本升級流程復雜冗長,一個業(yè)務需求往往需要2~3個月才能實現;

    (3)IT投資減少,倒逼IT支撐系統(tǒng)借鑒互聯(lián)網公司成功的技術路線,進行技術架構轉型來支撐業(yè)務的快速發(fā)展。

    3 思考及演進思路

    3.1 技術架構去電信化思考:去IOE

    新的挑戰(zhàn)及要求,倒逼技術架構改變目前集中式的系統(tǒng)架構,演變成具有良好橫向擴展能力,高并發(fā)性能,高度柔性,低成本構建并且自主掌控,能夠快速響應的新一代IT系統(tǒng)架構。

    在這方面,優(yōu)秀的互聯(lián)網公司已經進行了先行探索,并獲得了巨大成功,值得借鑒。淘寶從2003年開始,系統(tǒng)架構大體經歷了三次大的調整和演進:

    (1)2003年采用LAMP(Linux+Apahce+MySQL+

    PHP)架構,部署在PC服務器上,數據庫采用讀寫分離,但由于MySQL讀操作會鎖表,主從復制時會對Master數據庫產生大量的讀操作,使得主庫性能急劇下降。endprint

    (2)2004—2008年,采用IOE架構,用Oracle替代MySQL,部署在小機上,存儲由NAS(Network Attached Storage,網絡附加存儲)換成了EMC的SAN(Storage Area Network,存儲區(qū)域網絡),開發(fā)語言變成了Java,在此期間,對數據庫進行分庫分表,冷熱分離,在應用程序和數據庫之間增加Cache層、CDN(Content Delivery Network,內容分發(fā)網絡)等措施來提高數據庫讀寫性能,但隨著業(yè)務的急速發(fā)展,存儲永遠不夠用,性能永遠不夠高。

    (3)2009年開始,采用去IOE架構,x86服務器取代了小機,數據存儲由MySQL Cluster和自主開發(fā)的NoSQL數據庫取代了Oracle RAC(Real Application Cluster),存儲采用硬盤和SSD(Solid State Disk,固態(tài)硬盤)技術,搭建分布式的技術架構,并成功應對了2012年的“雙十一”促銷,贏得了業(yè)界的關注和贊賞。

    淘寶面對爆炸式的業(yè)務增長和高昂的擴容成本,采用去IOE的技術架構,廣泛使用開源技術進行自主開發(fā)中間件、數據庫,對傳統(tǒng)企業(yè)的技術架構演變極有參考價值。

    中國電信近5年來,隨著C網和寬帶用戶的快速發(fā)展,以及固網用戶的負增長,雖然總用戶量年均增長率只有10%左右(見圖2),但用戶的使用量(包含話單、認證、停復機等)呈快速增長趨勢。以最大子公司廣東電信為例,2012年話單增長量比2011年增長了51.5%。另外按照“去電信化”發(fā)展思路,營銷日趨電商化,存在很多瞬間高并發(fā)的應用場景,如終端首發(fā)、秒殺等。

    目前傳統(tǒng)IT技術架構僅能維持暫時的穩(wěn)定,隨著用戶快速發(fā)展,“去電信化”轉型戰(zhàn)略發(fā)展的深入,不斷壓縮的IT投資,后續(xù)IT支撐系統(tǒng)壓力將越來越大,勢必需要對目前IT技術架構進行重新思考并梳理演進路線。

    業(yè)務的快速發(fā)展、淘寶等互聯(lián)網公司去IOE化的成功,為電信IT支撐系統(tǒng)技術架構的演進提供了方向:去IOE化。利用開源軟件,進行自主研發(fā),搭建高性能、高柔性、低成本的分布式系統(tǒng)。從軟硬件發(fā)展來看,具有可行性。

    (1)近10年來,根據IDC統(tǒng)計,x86服務器的市場占有率在不斷擠壓小型機的市場占有率。很多互聯(lián)網企業(yè)和傳統(tǒng)企業(yè),把關鍵應用逐步遷移到x86服務器集群上。

    以業(yè)界認可程度較高的SPEC CPU2006第三方基準測試結果作為主流4路中高端小型機和x86服務器的對比依據,可以看到兩者的CPU處理能力差別不大。具體如表1所示:

    表1 SPEC CINT2006 Rates Base結果對比

    服務器 類型 CPU配置 CINT2006 Rates Base

    IBM P750+ 小型機 Power 7+ 4.2GHz 32核 1230

    IBM x3850 X5 PC Server E7-4870 2.4GHz 40核 1080

    華為 Tecal RH5885 V2 PC Server E7-4870 2.4GHz 40核 1100

    DELL r910 PC Server E7-4870 2.4GHz 40核 1030

    注:CINT2006用來測量和比較計算密集型的整數性能,Rates Base是指整機CPU性能在缺省優(yōu)化規(guī)則下的基準結果。

    另外根據中國電信評測實驗室基于典型省份CRM系統(tǒng)業(yè)務場景定制的CTB-C(China Telecom Benchmark-CRM)基準測試結果,核心系統(tǒng)中常用4路小型機和x86服務器在綜合負載下的性能、能耗和指標相比也非常相近。

    (2)今天的開源軟件不斷成熟,并在大型互聯(lián)網公司得到了大規(guī)模的驗證,同時社區(qū)非?;钴S。

    (3)存儲技術不斷發(fā)展,SSD和PCIe Flash技術在IOPS(Input/Output Operations Per Second)、延遲方面,相比于機械硬盤,SSD提高了30多倍,PCIe Flash最高可達900多萬IOPS,而延遲降低到幾十微秒。

    (4)互聯(lián)設備也在不斷發(fā)展,Infiniband是一種支持多并發(fā)鏈接的“轉換線纜”技術,傳輸帶寬可達40~56GB/s,延遲降到納秒級別。相比于SAN,帶寬提高了4~5倍,延遲降低了近10倍。

    3.2 技術架構演進思路

    基于硬件的快速發(fā)展以及開源軟件的不斷成熟,IT支撐系統(tǒng)技術架構演進的參考目標如圖3所示。

    (1)基礎設施層用x86工業(yè)標準的PC Server集群取代小型機,以開源操作系統(tǒng)Cent OS取代商業(yè)操作系統(tǒng),以開源虛擬化軟件Xen取代商業(yè)軟件。

    (2)數據層把單一Oracle數據庫根據不同應用場景,用MySQL集群、NoSQL數據庫以及分布式文件系統(tǒng)進行替代。OLTP系統(tǒng)的強一致性數據,如客戶、產品及訂單、資源等,按照地市、主題以分片(shard)方式存放在MySQL集群中;OLTP系統(tǒng)的歷史數據根據信息生命周期的不同從核心數據庫進行剝離,存放到磁帶或者分布式文件系統(tǒng)中;OLAP系統(tǒng)分析性數據的計算遷移到關系型數據庫外,采用大數據技術(如Hadoop分布式處理技術、Strom分布式實時計算技術等)進行處理,處理結果放入關系型數據庫進行存儲和SQL的訪問。

    (3)在服務層增加自主開發(fā)的分布式服務框架和分布式數據層,實現數據層的分布對應用層透明,增強系統(tǒng)橫向擴展能力。

    (4)在應用層采用JBoss等廣泛應用的開源中間件取代商業(yè)中間件,如WebLogic、Tuxedo等。

    (5)在門戶層推進客戶端的Web化,同時為了適應移動互聯(lián)網的應用場景,拓展移動客戶端的接入。endprint

    傳統(tǒng)架構向目標架構的轉變,涉及到思維觀念、人才隊伍、技術架構驗證和工程實施等多方面困難,直接一步演進到目標架構,存在很多不確定的風險,并且不現實。為了實現平滑穩(wěn)健的過渡,可以分成幾個階段:

    (1)基礎設施層的資源池建設:針對不同應用場景(如計費系統(tǒng)需要并發(fā)量不大,但批處理吞吐率高;營業(yè)受理系統(tǒng)需要高并發(fā)處理能力),搭建基于x86工業(yè)標準的PC Server集群,通過虛擬化軟件對集群進行虛擬化管理和規(guī)模化運營。在此階段針對部分應用,用x86服務器代替小型機。

    (2)大數據處理:把目前基于Oracle的OLAP系統(tǒng),完全采用大數據技術,如Hadoop、Strom等技術進行處理,并把處理結果放入到關系型數據庫中,提供對外查詢和分析。

    (3)核心輕量化:從核心系統(tǒng)剝離大數據量查詢功能,放入到NoSQL數據庫或分布式文件系統(tǒng)中,減輕核心在線系統(tǒng)負擔,提高核心系統(tǒng)處理能力,如清單查詢、賬單查詢、積分查詢、日志查詢、電子回執(zhí)等非實時穩(wěn)定數據剝離到Hadoop中,基于多條件查詢且穩(wěn)定的訂單/工單歷史數據剝離到搜索引擎中,部分常用數據可以緩存到NoSQL數據庫(如Redis、MogonDB)中。另外,在原有IOE集中式架構下,存在大量關系和聚合運算,例如關聯(lián)查詢、統(tǒng)計分析等,利用Oracle數據庫的存儲過程,依賴數據庫計算能力,消耗大量的資源,需要把基于存儲過程的計算功能從數據庫層剝離,數據庫退化為單純的數據存儲,使得數據分拆成為可能,原有的關系和聚合運算需轉移到應用層實現。

    (4)核心數據庫的讀寫分離:據統(tǒng)計,核心數據庫的讀寫非常不對稱,讀請求遠大于寫請求,所以對于關鍵應用以及要求強一致性的數據,考慮人員及技能無法短期內實現完全去Oracle數據庫,先進行讀寫分離,寫操作到Oracle數據庫中,采用數據復制技術,應用層的讀操作源于MySQL集群。本階段既能保證強一致性數據的穩(wěn)定性,又能驗證和測試MySQL集群系統(tǒng),同時還可以鍛煉和培養(yǎng)MySQL分布式數據庫隊伍和人才。

    (5)全面去IOE:在核心數據庫讀寫分離基礎上,建立了完善的分布式MySQL集群數據庫,把BSS和OSS系統(tǒng)核心數據庫按地市、主題進行分庫分表,對BSS和OSS核心系統(tǒng)進行全面拆分,進行分布式改造,從而實現全面去IOE。

    基礎設施層的資源池建設是IT系統(tǒng)技術架構演變的基礎。大數據處理技術是OLAP系統(tǒng)轉型的必由之路,現有技術無法滿足大數據的計算和處理。核心輕量化可以減輕核心系統(tǒng)計算和存儲壓力,提升關鍵應用性能,為OLTP型系統(tǒng)架構轉型贏得時間。核心數據庫的讀寫分離,探索MySQL數據庫集群對Oracle數據庫替代的開發(fā)和驗證,既保證了核心系統(tǒng)對外服務的能力,又能培養(yǎng)和鍛煉分布式數據庫的隊伍和人才。經過前面幾個階段有步驟的去I/E和O后,全面去IOE水到渠成,實現了IT支撐系統(tǒng)技術架構的轉型。

    4 難點、應對措施及關鍵技術

    4.1 架構轉型難點及應對措施

    目前IT支撐系統(tǒng)技術架構已經平穩(wěn)運營了10年時間,向新的技術架構進行轉型,勢必存在許多難點:

    (1)思維觀念方面,傳統(tǒng)IOE架構是同類產品中的最佳組合,天然渾成,穩(wěn)定性好,有成熟供應商支撐,為什么要去IOE?因為IOE架構橫向擴展能力差,系統(tǒng)性能和柔性不足,投資成本居高不下,在企業(yè)去電信化轉型思路下已經到了非去不可的地步,需要靠高層領導強有力的意志去推動,對IT從業(yè)人員加強互聯(lián)網心智、思維方面的宣貫和培養(yǎng)。

    (2)人才隊伍方面,10年前,電信放棄了自己開發(fā)IT支撐系統(tǒng)的模式,轉而向供應商進行采購,現有的IT從業(yè)人員以系統(tǒng)維護為主,而去IOE架構對硬件規(guī)模管理、開源軟件、運營式開發(fā)等方面提出了很高的要求。人才隊伍培養(yǎng)非一朝一夕之事,在架構演進的過渡時期,可抽調內部精兵強將,輔以外包人才,組成獨立開發(fā)隊伍,采用運營式開發(fā)流程,完成基礎設施層的云化和數據庫層的分布式改造工作,得以培養(yǎng)和鍛煉隊伍及人才。在完全去IOE階段,應用層開發(fā)要求對業(yè)務邏輯非常熟練,可以交由目前的供應商進行聯(lián)合開發(fā)。

    (3)去IOE架構的前景非常美好,但未來不能越過當下,互聯(lián)網公司的方法論及工程實踐,并不一定適合傳統(tǒng)企業(yè),需要根據企業(yè)的發(fā)展戰(zhàn)略,對IT支撐系統(tǒng)架構轉型進行有步驟的論證和演進,找到自己的節(jié)奏和控制力。

    4.2 架構轉型關鍵技術

    根據上述演進思路及策略,IT支撐系統(tǒng)技術架構轉型關鍵技術包含:

    (1)資源池云化技術:包含資源(x86服務器、小機服務器、存儲、網絡)虛擬化、資源動態(tài)調度及監(jiān)控、用戶申請使用及管理等功能,建設生產環(huán)境云和測試環(huán)境云。

    (2)大數據處理技術:包含大規(guī)模的分布式處理技術Hadoop、分布式實時計算技術Strom,前者包含Map-Redude、YARN、HBase、Hive等。

    (3)數據路由技術:在去IOE架構下,數據由過去的集中式管理變成分布式存儲和管理,按照地市、主題進行分庫分表(shard方式)存放,某些量大的數據還面臨二次及多次拆分,分布式數據庫集群需要對上層應用透明,分布式數據層需要實現數據路由功能,屏蔽分表對應用帶來的復雜性,解決跨表及多維度查詢問題。

    (4)數據復制技術:在核心數據庫讀寫分離階段,數據復制是最重要的工作之一,要求復制延遲盡可能小,保證數據盡快達到最終一致性。常用數據復制技術有:數據庫之間的復制、通過應用程序完成數據復制。

    1)數據庫之間的復制如圖4所示,應用程序向Oracle數據庫進行讀寫操作,利用第三方工具把數據復制到MySQL數據庫中。這種方法無需改造應用層,但第三方工具對MySQL集群的分庫分表規(guī)則不清楚,能否快速支持開發(fā),需要進一步驗證。另外,第三方工具為了提高資源使用率,利用Oracle數據庫的日志進行批量同步復制,時間延遲是一種考驗。endprint

    2)通過應用程序完成數據復制方案如圖5所示,步驟為:應用程序寫數據日志→應用程序寫Oracle數據庫→異步通知分布式數據層→分布式數據層實時逐條讀取數據日志→分布式數據層寫MySQL數據庫集群。前三步作為一個事務,確保讀寫操作的一致,寫MySQL數據庫進行異步操作。這種方法逐條記錄進行讀寫分離,盡可能減少時間延遲,同時分布式數據層能夠對外屏蔽MySQL數據庫集群的復雜性,但需要額外開發(fā)分布式數據層。

    圖5 應用程序完成數據復制

    (5)數據加速技術:近年來,硬盤磁道尋址的發(fā)展速度遠落后于傳輸速率的發(fā)展速度,數據庫讀取I/O性能已成為瓶頸,如使用內存提高性能,但價格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數據加速的重要工具。

    (6)數據遷移技術:全面去IOE階段,需要做到數據庫間切換的無縫對接,具體步驟(見圖6)為:

    1)先把Oracle數據庫在某個時間點,全量復制到MySQL集群中;

    2)應用程序發(fā)布同時寫兩個目標庫的版本;

    3)在發(fā)布雙寫版本后,把全量復制到雙寫版本之間的數據增量同步到MySQL集群;

    4)選擇某一時間點對兩個庫進行數據校驗;

    5)應用程序發(fā)布針對MySQL集群的讀寫版本,停止向Oracle數據庫讀寫;

    6)在系統(tǒng)上線后的一段時間內,進行MySQL集群向Oracle的逆向同步,目的是預防系統(tǒng)回滾。

    (7)服務化技術:系統(tǒng)按照組件進行梳理提煉,吸收SOA理念,通過企業(yè)服務總線(ESB),以可管可控的標準服務形式向內外部開放系統(tǒng)能力,是系統(tǒng)架構轉型的基礎,做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時也是去電信化發(fā)展思路的要求。

    5 結束語

    在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術架構進行轉型,涉及到思維觀念、人才隊伍、運營流程及關鍵技術若干因素,是一項復雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實的技術積累和工程實施。

    過去10年,電信已經建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標,規(guī)范了功能架構、數據模型、系統(tǒng)架構、部署模式以及系統(tǒng)間集成關系,并由軟件提供商落地和實施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊伍,自主重點研發(fā)基礎設施層、數據層和服務層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場需求的響應速度,并實現企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

    參考文獻:

    [1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學, 2013(2): 1-7.

    [2] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

    [3] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

    [4] 子柳. 淘寶技術發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

    [5] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

    [6] 中國電信集團公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

    [7] 申德榮,于戈,王習特,等. 支持大數據管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學報, 2013(8).endprint

    2)通過應用程序完成數據復制方案如圖5所示,步驟為:應用程序寫數據日志→應用程序寫Oracle數據庫→異步通知分布式數據層→分布式數據層實時逐條讀取數據日志→分布式數據層寫MySQL數據庫集群。前三步作為一個事務,確保讀寫操作的一致,寫MySQL數據庫進行異步操作。這種方法逐條記錄進行讀寫分離,盡可能減少時間延遲,同時分布式數據層能夠對外屏蔽MySQL數據庫集群的復雜性,但需要額外開發(fā)分布式數據層。

    圖5 應用程序完成數據復制

    (5)數據加速技術:近年來,硬盤磁道尋址的發(fā)展速度遠落后于傳輸速率的發(fā)展速度,數據庫讀取I/O性能已成為瓶頸,如使用內存提高性能,但價格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數據加速的重要工具。

    (6)數據遷移技術:全面去IOE階段,需要做到數據庫間切換的無縫對接,具體步驟(見圖6)為:

    1)先把Oracle數據庫在某個時間點,全量復制到MySQL集群中;

    2)應用程序發(fā)布同時寫兩個目標庫的版本;

    3)在發(fā)布雙寫版本后,把全量復制到雙寫版本之間的數據增量同步到MySQL集群;

    4)選擇某一時間點對兩個庫進行數據校驗;

    5)應用程序發(fā)布針對MySQL集群的讀寫版本,停止向Oracle數據庫讀寫;

    6)在系統(tǒng)上線后的一段時間內,進行MySQL集群向Oracle的逆向同步,目的是預防系統(tǒng)回滾。

    (7)服務化技術:系統(tǒng)按照組件進行梳理提煉,吸收SOA理念,通過企業(yè)服務總線(ESB),以可管可控的標準服務形式向內外部開放系統(tǒng)能力,是系統(tǒng)架構轉型的基礎,做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時也是去電信化發(fā)展思路的要求。

    5 結束語

    在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術架構進行轉型,涉及到思維觀念、人才隊伍、運營流程及關鍵技術若干因素,是一項復雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實的技術積累和工程實施。

    過去10年,電信已經建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標,規(guī)范了功能架構、數據模型、系統(tǒng)架構、部署模式以及系統(tǒng)間集成關系,并由軟件提供商落地和實施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊伍,自主重點研發(fā)基礎設施層、數據層和服務層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場需求的響應速度,并實現企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

    參考文獻:

    [1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學, 2013(2): 1-7.

    [2] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

    [3] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

    [4] 子柳. 淘寶技術發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

    [5] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

    [6] 中國電信集團公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

    [7] 申德榮,于戈,王習特,等. 支持大數據管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學報, 2013(8).endprint

    2)通過應用程序完成數據復制方案如圖5所示,步驟為:應用程序寫數據日志→應用程序寫Oracle數據庫→異步通知分布式數據層→分布式數據層實時逐條讀取數據日志→分布式數據層寫MySQL數據庫集群。前三步作為一個事務,確保讀寫操作的一致,寫MySQL數據庫進行異步操作。這種方法逐條記錄進行讀寫分離,盡可能減少時間延遲,同時分布式數據層能夠對外屏蔽MySQL數據庫集群的復雜性,但需要額外開發(fā)分布式數據層。

    圖5 應用程序完成數據復制

    (5)數據加速技術:近年來,硬盤磁道尋址的發(fā)展速度遠落后于傳輸速率的發(fā)展速度,數據庫讀取I/O性能已成為瓶頸,如使用內存提高性能,但價格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數據加速的重要工具。

    (6)數據遷移技術:全面去IOE階段,需要做到數據庫間切換的無縫對接,具體步驟(見圖6)為:

    1)先把Oracle數據庫在某個時間點,全量復制到MySQL集群中;

    2)應用程序發(fā)布同時寫兩個目標庫的版本;

    3)在發(fā)布雙寫版本后,把全量復制到雙寫版本之間的數據增量同步到MySQL集群;

    4)選擇某一時間點對兩個庫進行數據校驗;

    5)應用程序發(fā)布針對MySQL集群的讀寫版本,停止向Oracle數據庫讀寫;

    6)在系統(tǒng)上線后的一段時間內,進行MySQL集群向Oracle的逆向同步,目的是預防系統(tǒng)回滾。

    (7)服務化技術:系統(tǒng)按照組件進行梳理提煉,吸收SOA理念,通過企業(yè)服務總線(ESB),以可管可控的標準服務形式向內外部開放系統(tǒng)能力,是系統(tǒng)架構轉型的基礎,做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時也是去電信化發(fā)展思路的要求。

    5 結束語

    在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術架構進行轉型,涉及到思維觀念、人才隊伍、運營流程及關鍵技術若干因素,是一項復雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實的技術積累和工程實施。

    過去10年,電信已經建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標,規(guī)范了功能架構、數據模型、系統(tǒng)架構、部署模式以及系統(tǒng)間集成關系,并由軟件提供商落地和實施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊伍,自主重點研發(fā)基礎設施層、數據層和服務層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場需求的響應速度,并實現企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

    參考文獻:

    [1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學, 2013(2): 1-7.

    [2] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

    [3] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

    [4] 子柳. 淘寶技術發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

    [5] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

    [6] 中國電信集團公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

    [7] 申德榮,于戈,王習特,等. 支持大數據管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學報, 2013(8).endprint

    猜你喜歡
    應用程序集群分布式
    集群式AUV可控分群控制算法
    刪除Win10中自帶的應用程序
    電腦報(2019年12期)2019-09-10 05:08:20
    一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設計
    電子制作(2018年11期)2018-08-04 03:25:40
    分布式光伏熱錢洶涌
    能源(2017年10期)2017-12-20 05:54:07
    分布式光伏:爆發(fā)還是徘徊
    能源(2017年5期)2017-07-06 09:25:54
    Python與Spark集群在收費數據分析中的應用
    勤快又呆萌的集群機器人
    基于DDS的分布式三維協(xié)同仿真研究
    雷達與對抗(2015年3期)2015-12-09 02:38:50
    西門子 分布式I/O Simatic ET 200AL
    關閉應用程序更新提醒
    電腦迷(2012年15期)2012-04-29 17:09:47
    videossex国产| 国产探花极品一区二区| 国产精品一区二区在线观看99 | av又黄又爽大尺度在线免费看| 国精品久久久久久国模美| 非洲黑人性xxxx精品又粗又长| 精品一区二区三卡| 久久久久久久久久人人人人人人| 国产成人91sexporn| 日本免费a在线| 熟女人妻精品中文字幕| 国产激情偷乱视频一区二区| 中文字幕av成人在线电影| 国产精品人妻久久久影院| 亚洲精品影视一区二区三区av| 久热久热在线精品观看| 久久久久国产网址| 男人舔女人下体高潮全视频| 午夜亚洲福利在线播放| 亚洲精品中文字幕在线视频 | 免费电影在线观看免费观看| 亚洲欧美清纯卡通| 亚洲av成人精品一区久久| 久久久久久久久久人人人人人人| 亚洲欧洲国产日韩| 两个人视频免费观看高清| 国产69精品久久久久777片| 精品久久久久久久人妻蜜臀av| 日本免费在线观看一区| 亚洲av成人av| 最近的中文字幕免费完整| 天堂网av新在线| 全区人妻精品视频| 亚洲熟妇中文字幕五十中出| 国产美女午夜福利| 国产精品人妻久久久久久| 久久精品人妻少妇| 18禁在线播放成人免费| 99热全是精品| 99re6热这里在线精品视频| 国产精品国产三级专区第一集| 麻豆国产97在线/欧美| 成年人午夜在线观看视频 | 免费播放大片免费观看视频在线观看| 69av精品久久久久久| 国产一级毛片在线| 女人久久www免费人成看片| 亚洲精品成人久久久久久| 超碰av人人做人人爽久久| 久久精品久久久久久久性| 国产精品人妻久久久久久| 国产黄色免费在线视频| 国产黄色小视频在线观看| 麻豆av噜噜一区二区三区| 少妇的逼水好多| 91午夜精品亚洲一区二区三区| 有码 亚洲区| 人妻少妇偷人精品九色| 久久亚洲国产成人精品v| 亚洲精品久久久久久婷婷小说| 欧美人与善性xxx| 免费看不卡的av| 联通29元200g的流量卡| 男人舔奶头视频| 我的老师免费观看完整版| 国产午夜精品久久久久久一区二区三区| 高清av免费在线| 综合色av麻豆| 一区二区三区乱码不卡18| 精品欧美国产一区二区三| 尤物成人国产欧美一区二区三区| 80岁老熟妇乱子伦牲交| 十八禁网站网址无遮挡 | 精品不卡国产一区二区三区| 麻豆久久精品国产亚洲av| 日韩av在线免费看完整版不卡| 国产精品国产三级专区第一集| 午夜日本视频在线| av在线观看视频网站免费| 国产精品久久久久久精品电影| 九色成人免费人妻av| 超碰av人人做人人爽久久| 高清欧美精品videossex| 久99久视频精品免费| 麻豆乱淫一区二区| 国产爱豆传媒在线观看| 欧美区成人在线视频| 99久久人妻综合| 免费观看精品视频网站| 精品一区二区三卡| 亚洲av二区三区四区| 老女人水多毛片| 啦啦啦韩国在线观看视频| 国产精品一区二区在线观看99 | 亚州av有码| 天天躁日日操中文字幕| 国产精品蜜桃在线观看| 秋霞伦理黄片| 国产有黄有色有爽视频| 91av网一区二区| 精品久久国产蜜桃| 国模一区二区三区四区视频| 成人二区视频| 天堂av国产一区二区熟女人妻| 久久久久久久久久人人人人人人| 亚洲成人精品中文字幕电影| 国产av不卡久久| 六月丁香七月| 麻豆av噜噜一区二区三区| 日韩电影二区| 大陆偷拍与自拍| 日本午夜av视频| 丰满乱子伦码专区| 日本一二三区视频观看| 成人鲁丝片一二三区免费| 精品一区二区三卡| 在线天堂最新版资源| 黄片wwwwww| 我要看日韩黄色一级片| 日韩亚洲欧美综合| 日日啪夜夜爽| 色5月婷婷丁香| 三级国产精品欧美在线观看| 亚洲成人精品中文字幕电影| 国产男人的电影天堂91| 亚洲精品久久午夜乱码| 精品欧美国产一区二区三| 丝瓜视频免费看黄片| 丝瓜视频免费看黄片| 国产又色又爽无遮挡免| av天堂中文字幕网| 成人亚洲欧美一区二区av| 国产极品天堂在线| 七月丁香在线播放| 青青草视频在线视频观看| 婷婷色综合www| 国产视频内射| 高清在线视频一区二区三区| 国产伦在线观看视频一区| 纵有疾风起免费观看全集完整版 | 亚洲av.av天堂| 搡老乐熟女国产| 久久精品夜色国产| 日韩欧美国产在线观看| 午夜免费观看性视频| 亚洲色图av天堂| 国产爱豆传媒在线观看| 草草在线视频免费看| 欧美性猛交╳xxx乱大交人| 老司机影院成人| 亚洲国产成人一精品久久久| 亚洲在线观看片| 久久久久国产网址| 精品人妻偷拍中文字幕| 99久久精品热视频| 在线观看美女被高潮喷水网站| 国产精品嫩草影院av在线观看| 一级黄片播放器| 久久亚洲国产成人精品v| 久久久久精品久久久久真实原创| 18禁裸乳无遮挡免费网站照片| 青春草视频在线免费观看| 日产精品乱码卡一卡2卡三| 天美传媒精品一区二区| 中文字幕免费在线视频6| 高清午夜精品一区二区三区| 搡老妇女老女人老熟妇| 欧美97在线视频| 2022亚洲国产成人精品| 日韩av在线大香蕉| 亚洲av中文字字幕乱码综合| 日韩欧美精品v在线| 能在线免费看毛片的网站| 国产淫语在线视频| 又大又黄又爽视频免费| 国产黄色视频一区二区在线观看| 精品国产露脸久久av麻豆 | 国产色爽女视频免费观看| 91久久精品电影网| 成人无遮挡网站| 久久精品熟女亚洲av麻豆精品 | 成人性生交大片免费视频hd| av福利片在线观看| 欧美另类一区| 国产久久久一区二区三区| 国产一级毛片七仙女欲春2| 18禁在线播放成人免费| av黄色大香蕉| 五月伊人婷婷丁香| 日韩 亚洲 欧美在线| 久久久久国产网址| 国产高清国产精品国产三级 | 熟女人妻精品中文字幕| 欧美区成人在线视频| 狂野欧美激情性xxxx在线观看| 国产v大片淫在线免费观看| 国产熟女欧美一区二区| 免费观看性生交大片5| 国产成人精品一,二区| 亚洲欧美精品专区久久| 高清欧美精品videossex| 久久久久免费精品人妻一区二区| 国产精品一区二区三区四区久久| 亚洲av电影不卡..在线观看| 久久久亚洲精品成人影院| 91精品伊人久久大香线蕉| 老师上课跳d突然被开到最大视频| .国产精品久久| 久久久精品免费免费高清| 99热这里只有精品一区| www.av在线官网国产| 亚洲熟女精品中文字幕| 亚洲av福利一区| 亚洲精品影视一区二区三区av| 成人av在线播放网站| 丝袜喷水一区| 18禁在线无遮挡免费观看视频| 如何舔出高潮| 搞女人的毛片| 免费看a级黄色片| 男女国产视频网站| 亚洲精品第二区| 国产在线男女| 日韩欧美 国产精品| 精品久久久久久久久av| 国产黄色视频一区二区在线观看| 插逼视频在线观看| 免费观看无遮挡的男女| 中文字幕av在线有码专区| 少妇被粗大猛烈的视频| 久久精品久久久久久久性| 你懂的网址亚洲精品在线观看| 久久综合国产亚洲精品| 看黄色毛片网站| 日日撸夜夜添| 精品久久久久久成人av| 免费看a级黄色片| 亚洲四区av| 久久久久国产网址| 久久综合国产亚洲精品| 日韩欧美一区视频在线观看 | 欧美日韩亚洲高清精品| 国产精品国产三级专区第一集| 亚洲精品国产av成人精品| 一个人看视频在线观看www免费| 亚洲熟妇中文字幕五十中出| 国产 一区 欧美 日韩| 日本色播在线视频| 麻豆精品久久久久久蜜桃| 亚洲欧美精品自产自拍| 日韩欧美精品免费久久| 人人妻人人澡人人爽人人夜夜 | 久久久久久久亚洲中文字幕| 精品久久久久久电影网| 中文字幕免费在线视频6| 男人舔奶头视频| 99久久精品国产国产毛片| 黄色一级大片看看| 最近中文字幕高清免费大全6| 国产伦精品一区二区三区四那| 婷婷六月久久综合丁香| 狠狠精品人妻久久久久久综合| 神马国产精品三级电影在线观看| 乱系列少妇在线播放| 国产老妇女一区| 一夜夜www| 欧美变态另类bdsm刘玥| 麻豆国产97在线/欧美| 中文字幕人妻熟人妻熟丝袜美| 中文欧美无线码| 国产人妻一区二区三区在| av天堂中文字幕网| 毛片一级片免费看久久久久| 国产探花极品一区二区| 99九九线精品视频在线观看视频| 国产成人午夜福利电影在线观看| av又黄又爽大尺度在线免费看| 内地一区二区视频在线| 男人舔女人下体高潮全视频| 国产精品蜜桃在线观看| 91av网一区二区| 非洲黑人性xxxx精品又粗又长| 亚洲欧美精品自产自拍| 99久久精品国产国产毛片| 免费无遮挡裸体视频| 国产精品女同一区二区软件| 赤兔流量卡办理| 五月玫瑰六月丁香| 九九爱精品视频在线观看| 日本与韩国留学比较| 麻豆成人午夜福利视频| 老司机影院毛片| 超碰av人人做人人爽久久| 天堂av国产一区二区熟女人妻| 亚洲av.av天堂| 国产单亲对白刺激| 久久久午夜欧美精品| 男人爽女人下面视频在线观看| 国产高清不卡午夜福利| av国产久精品久网站免费入址| 欧美激情国产日韩精品一区| 成人漫画全彩无遮挡| 可以在线观看毛片的网站| 高清日韩中文字幕在线| 又爽又黄a免费视频| 哪个播放器可以免费观看大片| 三级毛片av免费| 亚洲欧美一区二区三区黑人 | 蜜臀久久99精品久久宅男| 久久久色成人| 欧美区成人在线视频| 久久韩国三级中文字幕| 伦理电影大哥的女人| 国产精品精品国产色婷婷| 久久精品熟女亚洲av麻豆精品 | 高清毛片免费看| 欧美日韩在线观看h| 少妇人妻精品综合一区二区| 身体一侧抽搐| 国产精品熟女久久久久浪| 美女脱内裤让男人舔精品视频| 国产免费视频播放在线视频 | 国产亚洲精品久久久com| 人人妻人人澡人人爽人人夜夜 | 久久久久免费精品人妻一区二区| 一级二级三级毛片免费看| 人人妻人人看人人澡| 一级a做视频免费观看| 欧美97在线视频| 国产一区亚洲一区在线观看| 久久久久久久亚洲中文字幕| 国产亚洲91精品色在线| 精品久久久噜噜| 亚洲综合色惰| 国产高清三级在线| av又黄又爽大尺度在线免费看| 国产大屁股一区二区在线视频| 草草在线视频免费看| 午夜精品国产一区二区电影 | 亚州av有码| 中文字幕人妻熟人妻熟丝袜美| 日本wwww免费看| 蜜桃久久精品国产亚洲av| 日韩中字成人| 99热这里只有精品一区| 久久久成人免费电影| 免费黄网站久久成人精品| 看非洲黑人一级黄片| 极品教师在线视频| eeuss影院久久| 干丝袜人妻中文字幕| 亚洲乱码一区二区免费版| 久久久久性生活片| 国产av在哪里看| 日韩一区二区三区影片| 2021天堂中文幕一二区在线观| 国产麻豆成人av免费视频| 中文字幕av成人在线电影| 水蜜桃什么品种好| av在线观看视频网站免费| 三级国产精品片| 国产av在哪里看| 三级国产精品片| 久久99精品国语久久久| 少妇熟女欧美另类| 久久99精品国语久久久| 国产v大片淫在线免费观看| 亚洲国产精品sss在线观看| 成人二区视频| 3wmmmm亚洲av在线观看| 99热这里只有精品一区| 99热网站在线观看| 日本一本二区三区精品| 精品久久久久久久久av| 欧美高清成人免费视频www| 淫秽高清视频在线观看| 亚洲,欧美,日韩| 欧美一区二区亚洲| 免费大片黄手机在线观看| 成人午夜高清在线视频| 三级男女做爰猛烈吃奶摸视频| 久久99热这里只频精品6学生| 精品少妇黑人巨大在线播放| 国精品久久久久久国模美| 女人久久www免费人成看片| 天天躁日日操中文字幕| 啦啦啦韩国在线观看视频| 国产国拍精品亚洲av在线观看| 大又大粗又爽又黄少妇毛片口| 久久人人爽人人爽人人片va| 欧美变态另类bdsm刘玥| 免费看美女性在线毛片视频| 天天一区二区日本电影三级| 精品久久久久久久末码| 午夜福利在线观看免费完整高清在| 国产精品熟女久久久久浪| 成人毛片60女人毛片免费| 大片免费播放器 马上看| 亚洲av二区三区四区| 日本爱情动作片www.在线观看| 国产午夜精品论理片| 日本av手机在线免费观看| 国内精品一区二区在线观看| 欧美成人a在线观看| 大陆偷拍与自拍| 毛片女人毛片| 久久久亚洲精品成人影院| 免费在线观看成人毛片| 国产三级在线视频| 女的被弄到高潮叫床怎么办| 亚洲欧洲国产日韩| 在线观看人妻少妇| 日本猛色少妇xxxxx猛交久久| 在线观看人妻少妇| 国产一区二区亚洲精品在线观看| 人妻一区二区av| 两个人视频免费观看高清| 一个人看的www免费观看视频| 亚洲精品影视一区二区三区av| 国产av码专区亚洲av| 国产老妇伦熟女老妇高清| 男女啪啪激烈高潮av片| 国产一级毛片在线| 久久久久久久久大av| 又黄又爽又刺激的免费视频.| 国产亚洲91精品色在线| 国产精品不卡视频一区二区| 日本爱情动作片www.在线观看| 免费大片黄手机在线观看| 欧美zozozo另类| 亚洲成色77777| 99久久精品国产国产毛片| ponron亚洲| 国产亚洲一区二区精品| 搡女人真爽免费视频火全软件| 免费黄频网站在线观看国产| 色哟哟·www| 国产成人午夜福利电影在线观看| av在线播放精品| 国产在视频线在精品| 亚洲美女视频黄频| 成人综合一区亚洲| 免费看美女性在线毛片视频| 欧美最新免费一区二区三区| 午夜精品在线福利| 人人妻人人澡欧美一区二区| 午夜福利成人在线免费观看| 高清日韩中文字幕在线| 99久久精品一区二区三区| 免费大片18禁| 久久久久久久久久人人人人人人| 在线 av 中文字幕| 亚洲乱码一区二区免费版| 内地一区二区视频在线| 国产成人精品婷婷| 欧美+日韩+精品| 大片免费播放器 马上看| 亚洲欧美精品自产自拍| 久久99热6这里只有精品| 免费播放大片免费观看视频在线观看| 午夜久久久久精精品| 床上黄色一级片| 免费av观看视频| 免费观看无遮挡的男女| 日本黄大片高清| 青春草国产在线视频| 国内揄拍国产精品人妻在线| 99热这里只有是精品50| 亚洲av电影在线观看一区二区三区 | 久久久久精品性色| 久久国产乱子免费精品| 日日啪夜夜爽| 久久久精品94久久精品| 岛国毛片在线播放| 久久久色成人| 91aial.com中文字幕在线观看| 99久久人妻综合| 亚洲内射少妇av| 熟妇人妻久久中文字幕3abv| 久久久久九九精品影院| 午夜福利在线在线| 直男gayav资源| 亚洲熟妇中文字幕五十中出| 国产精品99久久久久久久久| 久久久久九九精品影院| 亚洲精品视频女| 欧美成人精品欧美一级黄| 日韩欧美三级三区| 91精品一卡2卡3卡4卡| 久久6这里有精品| 精品国产露脸久久av麻豆 | 国产一级毛片七仙女欲春2| 久久久久性生活片| 国产精品久久久久久精品电影| 久久这里有精品视频免费| 视频中文字幕在线观看| 国产精品久久久久久久电影| 久久精品国产亚洲网站| 国产成人91sexporn| 赤兔流量卡办理| 亚洲国产精品成人综合色| 精品一区二区三区人妻视频| 啦啦啦啦在线视频资源| 在线免费观看的www视频| 久久久欧美国产精品| 欧美成人a在线观看| 国产精品综合久久久久久久免费| 中文字幕亚洲精品专区| 天堂√8在线中文| 不卡视频在线观看欧美| 久久久色成人| 亚洲成人中文字幕在线播放| 成人综合一区亚洲| 国产av国产精品国产| 成年女人看的毛片在线观看| 三级国产精品片| 久久久久久久久大av| 18+在线观看网站| 好男人视频免费观看在线| 久久久亚洲精品成人影院| 久久久久久久国产电影| 爱豆传媒免费全集在线观看| 欧美人与善性xxx| 国产成人a∨麻豆精品| 九九在线视频观看精品| 亚洲av免费高清在线观看| 国产亚洲一区二区精品| 国产黄色免费在线视频| 在线免费观看不下载黄p国产| 国产精品国产三级专区第一集| 国产69精品久久久久777片| 中文欧美无线码| 男人狂女人下面高潮的视频| 免费看a级黄色片| 男人狂女人下面高潮的视频| 精华霜和精华液先用哪个| 欧美日韩亚洲高清精品| 看非洲黑人一级黄片| 欧美成人午夜免费资源| 菩萨蛮人人尽说江南好唐韦庄| 精品人妻一区二区三区麻豆| 国产精品国产三级国产av玫瑰| 日本一本二区三区精品| 国产亚洲91精品色在线| 天堂av国产一区二区熟女人妻| 日韩强制内射视频| 国产亚洲精品av在线| 国产黄色小视频在线观看| 欧美激情久久久久久爽电影| 精品久久久久久久末码| 美女脱内裤让男人舔精品视频| 一本一本综合久久| 日韩av不卡免费在线播放| 日本黄色片子视频| 国产一区二区三区av在线| 精品久久久久久成人av| 99热网站在线观看| 亚洲三级黄色毛片| 91久久精品国产一区二区三区| 高清视频免费观看一区二区 | 国产精品99久久久久久久久| 老司机影院成人| 少妇被粗大猛烈的视频| 精品久久久久久久人妻蜜臀av| 午夜福利在线观看吧| 2022亚洲国产成人精品| 亚洲人成网站高清观看| 女人十人毛片免费观看3o分钟| 边亲边吃奶的免费视频| 久久精品国产亚洲av天美| 最近视频中文字幕2019在线8| 亚洲电影在线观看av| 欧美日韩亚洲高清精品| 久久久精品94久久精品| 高清午夜精品一区二区三区| 99久国产av精品| 国产一区二区亚洲精品在线观看| 亚洲成人av在线免费| 国产69精品久久久久777片| 国产亚洲91精品色在线| 亚洲色图av天堂| 三级国产精品片| 国产精品一区二区三区四区久久| 少妇高潮的动态图| 51国产日韩欧美| 最近最新中文字幕免费大全7| 日韩在线高清观看一区二区三区| 禁无遮挡网站| 久久久久精品久久久久真实原创| 欧美高清成人免费视频www| 久久国内精品自在自线图片| 欧美bdsm另类| 免费看不卡的av| 国内精品宾馆在线| 热99在线观看视频| 国产伦在线观看视频一区| 亚洲欧美中文字幕日韩二区| 国产成人91sexporn| 久久久久久久久久久丰满| av在线天堂中文字幕| 大话2 男鬼变身卡| 99久久人妻综合| 午夜亚洲福利在线播放| 久久久亚洲精品成人影院| 真实男女啪啪啪动态图| 欧美激情在线99| 免费看a级黄色片| 国产淫语在线视频| 一级毛片我不卡| 婷婷色综合大香蕉| 亚洲精华国产精华液的使用体验| 2021少妇久久久久久久久久久| 精品国产三级普通话版| kizo精华| 久久久久网色|