• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Zabbix的監(jiān)控運(yùn)維系統(tǒng)在勘察設(shè)計(jì)行業(yè)的研究與應(yīng)用

    2023-06-21 21:18:31朱曉偉劉迪胡迅黃爭(zhēng)舸
    現(xiàn)代信息科技 2023年1期
    關(guān)鍵詞:實(shí)時(shí)監(jiān)控

    朱曉偉 劉迪 胡迅 黃爭(zhēng)舸

    摘? 要:隨著勘察設(shè)計(jì)企業(yè)信息化的不斷發(fā)展,網(wǎng)絡(luò)服務(wù)器系統(tǒng)軟硬件架構(gòu)也日益復(fù)雜,企業(yè)面臨著大量的應(yīng)用程序、服務(wù)器、網(wǎng)絡(luò)設(shè)備等的監(jiān)控運(yùn)維問(wèn)題。為此,基于Zabbix開(kāi)源平臺(tái)構(gòu)建了適合企業(yè)一體化信息體系現(xiàn)狀的監(jiān)控運(yùn)維系統(tǒng),實(shí)現(xiàn)了對(duì)企業(yè)各類軟硬件的實(shí)時(shí)監(jiān)控和故障報(bào)警,大大提高了運(yùn)維效率,降低了運(yùn)維人員的工作復(fù)雜度。

    關(guān)鍵詞:實(shí)時(shí)監(jiān)控;Zabbix;Grafana;自動(dòng)化運(yùn)維;勘察設(shè)計(jì)行業(yè)

    中圖分類號(hào):TP39 文獻(xiàn)標(biāo)識(shí)碼:A? 文章編號(hào):2096-4706(2023)01-0102-05

    Research and Application of Monitoring Operation and Maintenance System

    Based on Zabbix in Survey and Design Industry

    ZHU Xiaowei, LIU Di, HU Xun, HUANG Zhengge

    (The Architectural Design & Research Institute of Zhejiang University Co., Ltd., Hangzhou? 310028, China)

    Abstract: With the continuous development of informatization in survey and design enterprises, the hardware and software architecture of network server system is increasingly complex, and enterprises are faced with a large number of monitoring operation and maintenance problems of applications, servers, network equipments, etc. Therefore, based on Zabbix open source platform, a monitoring operation and maintenance system suitable for the status of enterprise integrated information system is constructed, which can realize real-time monitoring and fault alarm of various software and hardware of enterprises, greatly improve the efficiency of operation and maintenance, and reduce the work complexity of operation and maintenance staff.

    Keywords: real-time monitoring; Zabbix; Grafana; automatic operation and maintenance; survey and design industry

    0? 引? 言

    隨著勘察設(shè)計(jì)行業(yè)各大企業(yè)信息化建設(shè)的高速發(fā)展,在近幾年,行業(yè)大部分企業(yè)已經(jīng)從原來(lái)的幾乎沒(méi)有管理系統(tǒng),進(jìn)入到信息管理系統(tǒng)全面開(kāi)花階段,企業(yè)IT基礎(chǔ)架構(gòu)規(guī)模也在不斷擴(kuò)大。網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲(chǔ)、業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫(kù)、企業(yè)云等軟硬件設(shè)備的紛繁復(fù)雜,以及員工對(duì)于IT業(yè)務(wù)服務(wù)的高可用性需求,使得運(yùn)維工作壓力加大,傳統(tǒng)的運(yùn)維方式已經(jīng)無(wú)法滿足保障生產(chǎn)業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行,存在以下不足:

    (1)機(jī)械式的監(jiān)控,人工巡檢效率低下。

    (2)不夠精確的監(jiān)控,復(fù)雜IT元素難以有效監(jiān)控。

    (3)傳統(tǒng)運(yùn)維工具單一分散,無(wú)法集中管控。

    (4)運(yùn)維人員無(wú)法做到24小時(shí)不間斷監(jiān)控。

    (5)缺少自動(dòng)化或自服務(wù),從發(fā)現(xiàn)問(wèn)題到解決問(wèn)題的時(shí)間周期長(zhǎng)。

    監(jiān)控是整個(gè)運(yùn)維過(guò)程乃至整個(gè)產(chǎn)品生命周期中非常重要的一環(huán),應(yīng)事前能夠及時(shí)預(yù)警發(fā)現(xiàn)故障,事后可以提供翔實(shí)的數(shù)據(jù)用于追查和定位問(wèn)題。

    沒(méi)有監(jiān)控系統(tǒng),IT部門(mén)將無(wú)法全面地了解企業(yè)各類系統(tǒng)的運(yùn)行環(huán)境,進(jìn)行故障診斷,也無(wú)法向企業(yè)管理層提供系統(tǒng)性的IT架構(gòu)性能、成本和狀態(tài)等信息。當(dāng)前行業(yè)企業(yè)普遍現(xiàn)狀是在缺少告警機(jī)制的情況下,企業(yè)無(wú)法第一時(shí)間洞悉到系統(tǒng)發(fā)生故障,往往只能通過(guò)被動(dòng)的用戶反饋來(lái)獲取。系統(tǒng)運(yùn)維人員大多數(shù)時(shí)候也只是充當(dāng)了“救火”人員,大面積的系統(tǒng)或網(wǎng)絡(luò)癱瘓會(huì)給企業(yè)和用戶帶來(lái)極大的損失。通過(guò)企業(yè)監(jiān)控運(yùn)維系統(tǒng),企業(yè)可以在系統(tǒng)受損的第一時(shí)間得到反饋,并及時(shí)對(duì)問(wèn)題進(jìn)行處理,大大減小系統(tǒng)故障給企業(yè)和用戶造成的影響,甚至可以做到無(wú)感知的修復(fù)。而且相比于運(yùn)維人員去多個(gè)管理界面查詢發(fā)現(xiàn)問(wèn)題,入口統(tǒng)一到一個(gè)監(jiān)控運(yùn)維平臺(tái)更能快速定位問(wèn)題所在,提升工作效率。

    另外,數(shù)字化轉(zhuǎn)型已經(jīng)成為國(guó)家戰(zhàn)略、城市戰(zhàn)略,也是勘察設(shè)計(jì)行業(yè)轉(zhuǎn)型升級(jí)的重要方向。目前設(shè)計(jì)院的數(shù)字化轉(zhuǎn)型,整體上仍處于初級(jí)階段。數(shù)字化生產(chǎn)服務(wù)模式、數(shù)字化管理系統(tǒng)、數(shù)字化業(yè)務(wù)模式等是推動(dòng)數(shù)字化轉(zhuǎn)型發(fā)展的幾個(gè)重要方向,而數(shù)字化監(jiān)控運(yùn)維系統(tǒng)正是數(shù)字化管理系統(tǒng)的重要組成部分。

    鑒于此,構(gòu)建數(shù)字化監(jiān)控運(yùn)維系統(tǒng)勢(shì)在必行,不僅是企業(yè)規(guī)模發(fā)展到一定階段后所必需的,也是響應(yīng)國(guó)家戰(zhàn)略方向的重要之舉。

    工欲善其事必先利其器,善于利用各種工具是推進(jìn)企業(yè)數(shù)字化的重要手段。選擇監(jiān)控工具的原則是根據(jù)企業(yè)具體業(yè)務(wù)場(chǎng)景、IT架構(gòu)進(jìn)行選擇,而不是盲目的追求新的、熱度高的工具。工具的選擇一般有三種模式:

    (1)購(gòu)買(mǎi)商業(yè)軟件。

    (2)第三方公司外包。

    (3)開(kāi)源工具結(jié)合自主開(kāi)發(fā)。

    出于成本、時(shí)間、風(fēng)險(xiǎn)的考慮,又因?yàn)楣P者所在企業(yè)的信息技術(shù)部門(mén)具有一定的自主研發(fā)能力,我們選擇第三種模式來(lái)構(gòu)建企業(yè)監(jiān)控運(yùn)維系統(tǒng)。

    為了構(gòu)建監(jiān)控運(yùn)維系統(tǒng),實(shí)現(xiàn)對(duì)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、應(yīng)用程序、服務(wù)、集群等的監(jiān)控,及時(shí)對(duì)發(fā)生的故障和問(wèn)題進(jìn)行告警通知,減少運(yùn)維人員的工作壓力,本文基于Zabbix和Grafana兩大流行的開(kāi)源系統(tǒng),設(shè)計(jì)了面向勘察設(shè)計(jì)企業(yè)的監(jiān)控運(yùn)維系統(tǒng)。

    1? 系統(tǒng)體系結(jié)構(gòu)

    1.1? 應(yīng)用背景

    在選擇具體的監(jiān)控平臺(tái)之前,我們最先需要明確,我們監(jiān)控的目標(biāo)是什么,也就是我們應(yīng)該監(jiān)控什么,以及是用什么樣的工具、技術(shù)來(lái)實(shí)現(xiàn)對(duì)這些指標(biāo)的監(jiān)控。本文從搭建通用的監(jiān)控運(yùn)維系統(tǒng)開(kāi)始,結(jié)合勘察設(shè)計(jì)行業(yè)的行業(yè)特征,全面的分析監(jiān)控目標(biāo)和內(nèi)容指標(biāo),以浙江大學(xué)建筑設(shè)計(jì)研究院有限公司(UAD)為例,針對(duì)如何構(gòu)建企業(yè)監(jiān)控運(yùn)維系統(tǒng)進(jìn)行研究與應(yīng)用。

    在搭建這套監(jiān)控運(yùn)維體系之前,UAD已經(jīng)構(gòu)建了一套面向勘察設(shè)計(jì)行業(yè)的一體化信息體系,其中集成了大量的軟硬件系統(tǒng),使其作為一個(gè)有機(jī)整體對(duì)外提供服務(wù),用以滿足企業(yè)的全方位需求。如圖1所示,體系分為兩層結(jié)構(gòu),上層為各類應(yīng)用軟件系統(tǒng),為企業(yè)用戶提供應(yīng)用支持;下層為IT基礎(chǔ)設(shè)施支撐層,由傳統(tǒng)IT基礎(chǔ)設(shè)施和企業(yè)私有云混合而成,用以保證用戶快速便捷地訪問(wèn)和使用上層的應(yīng)用系統(tǒng)。

    UAD的一體化信息體系是一個(gè)集約型的信息體系,它能夠整合不同的系統(tǒng)或資源,涵蓋多種關(guān)系并能在統(tǒng)一的構(gòu)架下運(yùn)行,是一個(gè)軟硬件互為支撐的體系[1]。擁有各類物理機(jī)和虛擬化服務(wù)器約80多臺(tái),交換機(jī)等網(wǎng)絡(luò)設(shè)備50多臺(tái),支撐企業(yè)辦公、設(shè)計(jì)出圖、市場(chǎng)運(yùn)營(yíng)、教學(xué)科研、圖檔管理等30多個(gè)業(yè)務(wù)系統(tǒng)及網(wǎng)站。業(yè)務(wù)復(fù)雜,出現(xiàn)故障后人工排查困難,運(yùn)維人員工作枯煩瑣且忙碌,經(jīng)常因不能及時(shí)處理故障遭到員工的抱怨,極大影響了員工對(duì)于UAD信息化建設(shè)的認(rèn)同感和體驗(yàn)。

    基于這些情況對(duì)已有的開(kāi)源工具進(jìn)行調(diào)研和比較,對(duì)市面上的監(jiān)控開(kāi)源工具進(jìn)行比較,如表1所示。相較于Nagios、Cacti、Prometheus等使用最為廣泛的開(kāi)源監(jiān)控系統(tǒng),Zabbix無(wú)論在代碼熟練度、源代碼質(zhì)量、系統(tǒng)架構(gòu),還是用戶友好性、面向?qū)ο罄砟畹确矫娑季哂邢喈?dāng)優(yōu)勢(shì)[2]。因此,本文最終選擇Zabbix作為本運(yùn)維監(jiān)控平臺(tái)的基礎(chǔ)進(jìn)行設(shè)計(jì),并選擇Grafana作為可視化展示平臺(tái),不用Zabbix自帶的UI模塊,目的是為了更好地展示,在充分利用Zabbix在監(jiān)控方面的優(yōu)勢(shì)的同時(shí),彌補(bǔ)Zabbix在UI方面的不足。

    綜上,為了達(dá)到提高運(yùn)維效率、節(jié)約人力資源的目的,我們通過(guò)Zabbix和Grafana這套監(jiān)控體系,根據(jù)前端實(shí)際生產(chǎn)應(yīng)用情況完成大數(shù)據(jù)監(jiān)控,進(jìn)行大體系的實(shí)時(shí)監(jiān)控、預(yù)警和統(tǒng)計(jì)分析,及時(shí)發(fā)現(xiàn)問(wèn)題并做出快速響應(yīng),保證整個(gè)體系運(yùn)轉(zhuǎn)正常。

    1.2? 整體架構(gòu)

    在IT架構(gòu)方面,UAD為了物理容災(zāi),把服務(wù)器架在主院區(qū)和分院區(qū)的兩個(gè)機(jī)房中。由于一臺(tái)Server主機(jī)(Zabbix Server)的CPU、內(nèi)存都是有限的,監(jiān)控的內(nèi)容越多,損耗它的資源也越多,故在系統(tǒng)搭建架構(gòu)方面,我們?cè)趦蓚€(gè)院區(qū)各自放一臺(tái)代理監(jiān)控服務(wù)器(Zabbix Proxy),由它來(lái)進(jìn)行監(jiān)控。Zabbix Proxy是Zabbix Server與Zabbix Agent之間溝通的一個(gè)橋梁,Zabbix Proxy本身沒(méi)有前端,而且其本身并不存放數(shù)據(jù),只是將Agent發(fā)來(lái)的數(shù)據(jù)暫時(shí)存放,而后再提交給Zabbix Server[3]。如圖2所示,是Zabbix的監(jiān)控流程圖。其中主機(jī)是指被監(jiān)控的設(shè)備,監(jiān)控項(xiàng)是指被監(jiān)控的主機(jī)特定監(jiān)控指標(biāo)數(shù)據(jù),觸發(fā)器可以看作是一個(gè)控制中心,用于評(píng)估監(jiān)控項(xiàng)的值是否在合理的范圍內(nèi),它會(huì)設(shè)定一個(gè)條件,當(dāng)監(jiān)控項(xiàng)中接收到的數(shù)據(jù)達(dá)到預(yù)設(shè)的條件時(shí),便會(huì)執(zhí)行相應(yīng)的動(dòng)作(如企業(yè)微信報(bào)警或執(zhí)行特定腳本對(duì)問(wèn)題進(jìn)行告警或自愈等)。

    最后Zabbix Web界面負(fù)責(zé)統(tǒng)一表現(xiàn)出來(lái),運(yùn)維管理員可以通過(guò)電腦或移動(dòng)端訪問(wèn),充分體現(xiàn)分布式監(jiān)控集中化管理的特性。整體架構(gòu)圖如圖3所示。

    1.3? 開(kāi)發(fā)技術(shù)

    Zabbix是一個(gè)基于Web界面的企業(yè)級(jí)監(jiān)控解決方案,并且是一個(gè)高度集成的開(kāi)源分布式網(wǎng)絡(luò)監(jiān)控解決方案[4]。全球各行各業(yè)各種大小規(guī)模的組織機(jī)構(gòu)都有選擇Zabbix作為主要的監(jiān)控平臺(tái),尤其是互聯(lián)網(wǎng)企業(yè)。

    Zabbix擁有很多優(yōu)秀的特性,正是這些特性,讓它可以實(shí)時(shí)監(jiān)控?cái)?shù)萬(wàn)臺(tái)設(shè)備,采集百萬(wàn)級(jí)指標(biāo),真正做到全方位監(jiān)控,是適用于絕大多數(shù)IT基礎(chǔ)架構(gòu)、服務(wù)、應(yīng)用和云資源的監(jiān)控解決方案,可以監(jiān)控的內(nèi)容包括服務(wù)器監(jiān)控、網(wǎng)絡(luò)監(jiān)控、應(yīng)用監(jiān)控、云監(jiān)控、服務(wù)監(jiān)控等。

    Grafana是一個(gè)跨平臺(tái)的開(kāi)源度量分析和可視化面板(Dashboard),有著非常漂亮的圖表和布局展示,功能齊全的度量?jī)x表盤(pán)和圖形編輯器,可對(duì)采集的數(shù)據(jù)查詢和可視化展示,并及時(shí)通知。雖然Zabbix自5.4版本之后新增了強(qiáng)大的UI特性,但是Grafana的UI更加靈活,擁有豐富的插件,功能強(qiáng)大。隨著業(yè)務(wù)的愈加復(fù)雜,對(duì)軟件系統(tǒng)的要求越來(lái)越高,這意味著我們需要隨時(shí)掌控系統(tǒng)的運(yùn)行情況。因此,對(duì)系統(tǒng)的實(shí)時(shí)監(jiān)控以及可視化展示,就成了基礎(chǔ)架構(gòu)的必須能力。

    綜上,Zabbix具備較完善的監(jiān)測(cè)告警系統(tǒng)模塊,Grafana則提供了可配置的監(jiān)測(cè)數(shù)據(jù)可視化能力。因此本文方案將以Zabbix為核心,集成Grafana,再補(bǔ)充關(guān)鍵監(jiān)測(cè)數(shù)據(jù)采集能力,最終實(shí)現(xiàn)滿足企業(yè)實(shí)際需要的監(jiān)控運(yùn)維系統(tǒng)。

    2? 系統(tǒng)總體設(shè)計(jì)與實(shí)現(xiàn)

    UAD的一體化體系分兩層結(jié)構(gòu):上層是各種應(yīng)用系統(tǒng),直接面向企業(yè)用戶;下層則是基礎(chǔ)設(shè)施支撐平臺(tái),由傳統(tǒng)IT架構(gòu)和企業(yè)私有云混合而成。

    本系統(tǒng)通過(guò)Zabbix支持各類監(jiān)控方式,對(duì)各層資源進(jìn)行監(jiān)控,具體如圖4所示。

    基礎(chǔ)層:主要偏硬件、監(jiān)控主機(jī)和底層資源。比如CPU、內(nèi)存、網(wǎng)絡(luò)吞吐、硬盤(pán)I/O、存儲(chǔ)等。

    中間層:包括Nginx、Redis、MySQL、Tomcat等。

    應(yīng)用層:HTTP訪問(wèn)的吞吐量、響應(yīng)時(shí)間、返回碼、調(diào)用鏈路分析、性能瓶頸、API,還包括用戶端監(jiān)控等。

    不同的監(jiān)控內(nèi)容需要不同的監(jiān)控方式來(lái)獲取監(jiān)控?cái)?shù)據(jù),如表2所示。

    2.1? 基于SNMP協(xié)議對(duì)設(shè)備的監(jiān)控

    勘察設(shè)計(jì)企業(yè)組網(wǎng)中常見(jiàn)的幾類設(shè)備有邊界核心交換機(jī)、匯聚交換機(jī)、接入交換機(jī)、路由器、UPS、存儲(chǔ)等,這類設(shè)備不能或者不方便在目標(biāo)監(jiān)控設(shè)備上安裝Agent代理程序進(jìn)行獲取,Zabbix允許我們通過(guò)SNMP(簡(jiǎn)單網(wǎng)絡(luò)管理)協(xié)議獲取這些設(shè)備的CPU使用率、內(nèi)存使用率、供電、設(shè)備溫度、端口進(jìn)出流量等監(jiān)控信息。

    UAD一體化信息體系使用了各種類型的存儲(chǔ),包括廉價(jià)的SATA、高性能EMC、NAS等,存放了企業(yè)最重要的數(shù)據(jù)。在數(shù)據(jù)中心中,存儲(chǔ)設(shè)備是非常核心且關(guān)鍵的基礎(chǔ)設(shè)施,任何一個(gè)相關(guān)告警都會(huì)讓運(yùn)維人員警覺(jué)。在推進(jìn)Zabbix存儲(chǔ)監(jiān)控的過(guò)程中,一個(gè)非常棘手的困難點(diǎn)是存儲(chǔ)不單單是硬件設(shè)備,SNMP協(xié)議不能獲取到帶內(nèi)的性能信息,但也不像主流操作系統(tǒng)那樣可以安裝Zabbix Agent來(lái)做數(shù)據(jù)采集。

    對(duì)于這種問(wèn)題的處理,我們積累的經(jīng)驗(yàn)是:首選使用RESTful等外部接口來(lái)獲取監(jiān)控?cái)?shù)據(jù),在不支持此條件的情況下,在Zabbix Proxy服務(wù)器上通過(guò)自定義監(jiān)控封裝廠家推薦工具或方法來(lái)監(jiān)控,避免對(duì)重要設(shè)備的侵入,同時(shí)相關(guān)的存儲(chǔ)告警也能夠及時(shí)觸發(fā),并幫助存儲(chǔ)管理人員迅速發(fā)現(xiàn)問(wèn)題、定位原因。

    2.2? Windows服務(wù)器的監(jiān)控

    UAD目前服務(wù)器主要以Windows為主,占比在90%以上,是各類業(yè)務(wù)系統(tǒng)的主力承載者,故急需實(shí)時(shí)監(jiān)控以保障它們的穩(wěn)定運(yùn)行。在操作系統(tǒng)層面,經(jīng)常會(huì)出現(xiàn)的問(wèn)題有系統(tǒng)假死無(wú)響應(yīng)、存儲(chǔ)空間不夠等,因此需要監(jiān)控的指標(biāo)項(xiàng)包括CPU使用率、內(nèi)存使用率、硬盤(pán)資源使用率等。

    Zabbix默認(rèn)使用Zabbix Agent監(jiān)控操作系統(tǒng),且它已經(jīng)為我們配置好了很多用于監(jiān)控主機(jī)的模板,包括CPU監(jiān)控、內(nèi)存監(jiān)控、系統(tǒng)進(jìn)程監(jiān)控、系統(tǒng)時(shí)間監(jiān)控、磁盤(pán)讀寫(xiě)監(jiān)控、磁盤(pán)容量監(jiān)控、網(wǎng)卡流量監(jiān)控、服務(wù)監(jiān)控等,其內(nèi)置的監(jiān)控項(xiàng)可以滿足系統(tǒng)大部分的指標(biāo)監(jiān)控,監(jiān)控內(nèi)容非常豐富。但是有時(shí)候,我們并不需要監(jiān)控那么多內(nèi)容,只需要監(jiān)控某一些特定信息即可。因此,我們的解決方案是:根據(jù)企業(yè)實(shí)際情況,使用Zabbix默認(rèn)的操作系統(tǒng)模板監(jiān)控相應(yīng)的主機(jī),通過(guò)進(jìn)行一些優(yōu)化來(lái)確保達(dá)到最好的監(jiān)控效果,同時(shí)兼顧Zabbix對(duì)系統(tǒng)性能的開(kāi)銷(xiāo)。

    Zabbix對(duì)Windows系統(tǒng)監(jiān)控的默認(rèn)模板包含了11個(gè)應(yīng)用集,各個(gè)應(yīng)用集又包含了不同的監(jiān)控項(xiàng)。在本系統(tǒng)搭建過(guò)程中,一塊很重要的工作就是針對(duì)行業(yè)業(yè)務(wù)管理系統(tǒng)的特點(diǎn)和需要,在現(xiàn)有模板的基礎(chǔ)上對(duì)應(yīng)用集、監(jiān)控項(xiàng)、觸發(fā)器和圖形進(jìn)行定制化增刪改。

    以CPU的監(jiān)控項(xiàng)為例,模板默認(rèn)有8個(gè)監(jiān)控項(xiàng),在對(duì)5個(gè)監(jiān)控項(xiàng)設(shè)有觸發(fā)器。如圖5所示。

    可以看到,Zabbix未提供能查看CPU使用率的監(jiān)控項(xiàng),也就是CPU使用的百分率,在實(shí)際應(yīng)用時(shí),這個(gè)指標(biāo)是十分受關(guān)注的,因此需新創(chuàng)建一個(gè)監(jiān)控項(xiàng),并對(duì)這個(gè)監(jiān)控項(xiàng)創(chuàng)建一個(gè)觸發(fā)器,如CPU使用率過(guò)高(比如5分鐘均值大于90%),其表達(dá)式為:

    {Windows Server Model:cpu_time.avg(5m)}>90

    當(dāng)實(shí)際運(yùn)行情況達(dá)到上述條件時(shí),Zabbix就會(huì)發(fā)出告警。

    2.3? 基于性能及進(jìn)程的Web系統(tǒng)監(jiān)控

    UAD的一體化信息體系中有著30多個(gè)不同的Web業(yè)務(wù)系統(tǒng),其中企業(yè)綜合信息管理平臺(tái)是最重要的Web系統(tǒng),涵蓋了企業(yè)設(shè)計(jì)生產(chǎn)全過(guò)程數(shù)字化的各個(gè)環(huán)節(jié),保證其Web服務(wù)的高可用性和高性能,是企業(yè)正常運(yùn)轉(zhuǎn)的重要前提。

    HTTP狀態(tài)碼、響應(yīng)時(shí)間、頁(yè)面加載速度是最能直觀反映Web服務(wù)可用性和性能的3個(gè)指標(biāo)?;谶@三個(gè)指標(biāo),本文從一個(gè)或多個(gè)應(yīng)用中自定義選取域名/URL組合成模塊,可實(shí)現(xiàn)方便快捷的自定義關(guān)注某一業(yè)務(wù)、某一域名、某一子域名,以及由此推測(cè)某一功能模塊下的頁(yè)面用戶體驗(yàn)。

    對(duì)于運(yùn)行在一體化信息體系應(yīng)用還需要監(jiān)視常用的中間件,如有Oracle、MySQL、SQLSERVER等主流的關(guān)系型數(shù)據(jù)庫(kù),還有像Redis、Neo4J這樣的NoSQL數(shù)據(jù)庫(kù),Tomcat、Nginx等Web容器的性能。

    數(shù)據(jù)庫(kù)以MySQL為例,MySQL數(shù)據(jù)庫(kù)是目前主流的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)用軟件。本系統(tǒng)將使用Agent 模式對(duì)Zabbix默認(rèn)的監(jiān)視進(jìn)行擴(kuò)展。Agent將會(huì)對(duì)MySQL3306連接線程的存活狀態(tài)、主從延時(shí)、連接池狀態(tài)、平均TPS/QPS、慢SQL語(yǔ)句個(gè)數(shù)等進(jìn)行監(jiān)視,如圖6所示。

    Web容器以Tomcat為例,由于Tomcat Web應(yīng)用容器是基于JAVA語(yǔ)言開(kāi)發(fā)的,Zabbix支持以JMX對(duì)其性能進(jìn)行監(jiān)視。通過(guò)JMX監(jiān)視,可以監(jiān)視到Tomcat服務(wù)占用CPU的情況、Tomcat網(wǎng)絡(luò)進(jìn)出流量、內(nèi)存分配情況、請(qǐng)求數(shù)、并發(fā)線程數(shù)量等。

    2.4? 工地設(shè)備監(jiān)控

    隨著數(shù)字化、大數(shù)據(jù)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展,近年來(lái)智慧工地這一概念在業(yè)界嶄露頭角,在工程建設(shè)中得到良好的實(shí)踐應(yīng)用[5]。智慧工地應(yīng)用的設(shè)備種類繁多,專業(yè)性強(qiáng),目前缺乏整體的自動(dòng)化監(jiān)控手段[6]。目前這塊內(nèi)容由于要和具體的工程項(xiàng)目對(duì)接,本系統(tǒng)只對(duì)少數(shù)的項(xiàng)目設(shè)備進(jìn)行了監(jiān)控。如浙大科創(chuàng)項(xiàng)目中監(jiān)控的設(shè)備包括:環(huán)境采集(傳感器)設(shè)備、塔吊設(shè)備、無(wú)人機(jī)設(shè)備、閘機(jī)設(shè)備、各點(diǎn)位攝像頭等。

    3? Grafana接入Zabbix數(shù)據(jù)源

    在大屏監(jiān)控展示的時(shí)候,我們會(huì)發(fā)現(xiàn)Zabbix Web界面顯得沒(méi)有科技感,不夠高端,這時(shí)候我們可以通過(guò)Grafana來(lái)優(yōu)化我們的Zabbix Web界面。

    Grafana的搭建步驟相對(duì)簡(jiǎn)單,主要分以下3個(gè)步驟:

    (1)在一臺(tái)CentOS上部署Grafana。

    (2)安裝Grafana連接Zabbix的插件。

    (3)Grafana與Zabbix整合。

    本系統(tǒng)從廣度和深度對(duì)監(jiān)控?cái)?shù)據(jù)可視化展示,根據(jù)實(shí)際的監(jiān)控可視化需要,在Grafana上配置了全局、應(yīng)用、主機(jī)、主機(jī)服務(wù)等多個(gè)維度的監(jiān)控儀表板,方便運(yùn)維人員從多個(gè)視角掌握監(jiān)控、告警情況,實(shí)現(xiàn)對(duì)主機(jī)的集中監(jiān)控[7]。圖7是某個(gè)業(yè)務(wù)服務(wù)器的關(guān)鍵監(jiān)控指標(biāo)。

    4? 企業(yè)微信告警模塊

    告警功能是Zabbix監(jiān)控平臺(tái)的重要組成部分,便于運(yùn)維人員在系統(tǒng)出現(xiàn)故障時(shí)及時(shí)知曉,并第一時(shí)間處理[8]。企業(yè)微信是UAD一體化信息體系的重要組成部分,應(yīng)用十分廣泛,Zabbix默認(rèn)只支持郵件的方式進(jìn)行告警,本系統(tǒng)通過(guò)編寫(xiě)接入企業(yè)微信的腳本,將告警信息通過(guò)企業(yè)微信進(jìn)行發(fā)送。根據(jù)業(yè)務(wù)的類型,我們對(duì)不同監(jiān)控模塊的告警通知,設(shè)置了不同的運(yùn)維人員,以企業(yè)微信應(yīng)用作為載體,將告警信息推送到具體的運(yùn)維人員。這既保證了消息推送的時(shí)效性,又保證了告警通知信息不外泄,兼顧了信息的安全性。實(shí)際運(yùn)行情況如圖8所示。

    5? 結(jié)? 論

    本文基于Zabbix設(shè)計(jì)了一套面向勘察設(shè)計(jì)行業(yè)的企業(yè)監(jiān)控運(yùn)維系統(tǒng),能夠?qū)ζ髽I(yè)一體化信息化體系中的網(wǎng)絡(luò)通信設(shè)備、物理服務(wù)器、虛擬服務(wù)器、私有云,以及運(yùn)行在其上的各類軟件應(yīng)用系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)控。系統(tǒng)在運(yùn)行期間成效顯著,幫助運(yùn)維人員快速定位發(fā)現(xiàn)問(wèn)題,降低了運(yùn)維的難度和風(fēng)險(xiǎn),提升了運(yùn)維服務(wù)質(zhì)量,保障了企業(yè)一體化信息體系的穩(wěn)定性和可用性。

    在今后的工作中,我們將繼續(xù)從廣度和深度方面還將進(jìn)一步拓展監(jiān)控系統(tǒng),希望在監(jiān)控的種類、指標(biāo)項(xiàng)的優(yōu)化、豐富其他報(bào)警手段、完善的系統(tǒng)賬戶配置、自動(dòng)修復(fù)、基于Zabbix API的二次開(kāi)發(fā)等方面做進(jìn)一步提升,推進(jìn)企業(yè)智能化運(yùn)維的大力發(fā)展。

    參考文獻(xiàn):

    [1] 黃爭(zhēng)舸,胡迅,朱曉偉,等.一體化信息體系助力設(shè)計(jì)院快速提升企業(yè)效能 [J].中國(guó)勘察設(shè)計(jì),2019(7):56-61.

    [2] 楊立苑,胡佳軍,鄧衛(wèi)華,劉喆玥.基于Zabbix的省級(jí)氣象云監(jiān)控運(yùn)維系統(tǒng) [J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2021,30(8):73-80.

    [3] 吳秉羲,李明峰.基于Zabbix和Grafana的蘇州臺(tái)媒體云監(jiān)控系統(tǒng) [J].廣播電視網(wǎng)絡(luò),2020,27(3):111-112.

    [4] 吳夫丹.基于云平臺(tái)的服務(wù)器監(jiān)控系統(tǒng)設(shè)計(jì) [D].西安:西安工業(yè)大學(xué),2014.

    [5] 喬妹莉.淺析智慧工地建設(shè)對(duì)項(xiàng)目管理的積極作用 [J].建設(shè)監(jiān)理,2021(7):60-62.

    [6] 韓嘯虎,陳超.智慧工地設(shè)備運(yùn)行狀態(tài)自動(dòng)化監(jiān)控的解決方案研究 [J].電子元器件與信息技術(shù),2020,4(5):70-71.

    [7] 潘少博,張和,戴誼.基于Zabbix+Grafana構(gòu)建微服務(wù)自動(dòng)化監(jiān)控運(yùn)維平臺(tái) [J].網(wǎng)絡(luò)安全和信息化,2020(10):77-79.

    [8] 劉遠(yuǎn)超,李樹(shù)彬.基于Zabbix和微信企業(yè)號(hào)實(shí)現(xiàn)網(wǎng)絡(luò)監(jiān)控的研究 [J].山東科學(xué),2017,30(4):124-130.

    作者簡(jiǎn)介:朱曉偉(1989—),男,漢族,浙江海鹽人,室主任助理,碩士,研究方向:計(jì)算機(jī)應(yīng)用、數(shù)據(jù)集成、協(xié)同設(shè)計(jì);劉迪(1985—),男,漢族,湖南澧縣人,中級(jí)工程師,本科,研究方向:虛擬化、私有云;胡迅(1983—),男,漢族,浙江諸暨人,副高,碩士,研究方向:協(xié)同設(shè)計(jì);黃爭(zhēng)舸(1969—),女,漢族,浙江紹興人,研究員,博士,研究方向:協(xié)同設(shè)計(jì)、管理信息系統(tǒng)、三維數(shù)字化設(shè)計(jì)。

    收稿日期:2022-08-18

    猜你喜歡
    實(shí)時(shí)監(jiān)控
    面向家庭的服務(wù)型機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)
    軟件(2016年7期)2017-02-07 13:05:52
    智能可調(diào)節(jié)動(dòng)作識(shí)別型節(jié)能風(fēng)扇的設(shè)計(jì)
    智能投料過(guò)程動(dòng)態(tài)監(jiān)控系統(tǒng)研發(fā)及應(yīng)用
    基于無(wú)線傳感器網(wǎng)絡(luò)的綠色蔬菜生長(zhǎng)環(huán)境監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    一種煤礦瓦斯檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    一種基于物聯(lián)網(wǎng)的電梯閘瓦磨耗實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)
    科技視界(2016年23期)2016-11-04 23:10:07
    海鐵聯(lián)運(yùn)場(chǎng)站協(xié)同應(yīng)用系統(tǒng)的研發(fā)和應(yīng)用
    粉針生產(chǎn)線設(shè)備OEE設(shè)計(jì)實(shí)施方案
    基于ZigBee無(wú)線傳感網(wǎng)絡(luò)的綜合環(huán)境實(shí)時(shí)監(jiān)控系統(tǒng)
    基于視覺(jué)傳感的動(dòng)態(tài)高危區(qū)域檢測(cè)與系統(tǒng)構(gòu)建
    国产淫语在线视频| 九草在线视频观看| 精品国产一区二区三区四区第35| 亚洲五月色婷婷综合| 人妻人人澡人人爽人人| 卡戴珊不雅视频在线播放| 天美传媒精品一区二区| av网站在线播放免费| 久久久久视频综合| 日韩大片免费观看网站| 色吧在线观看| 一区二区av电影网| 日本午夜av视频| 街头女战士在线观看网站| 寂寞人妻少妇视频99o| 免费观看在线日韩| 黑丝袜美女国产一区| 在线天堂中文资源库| 久久这里有精品视频免费| 亚洲欧美色中文字幕在线| 国产一区有黄有色的免费视频| 香蕉精品网在线| 99热全是精品| 午夜激情av网站| 成年人午夜在线观看视频| 免费在线观看视频国产中文字幕亚洲 | 午夜免费观看性视频| 极品少妇高潮喷水抽搐| 韩国精品一区二区三区| 久久人人97超碰香蕉20202| 晚上一个人看的免费电影| 老汉色∧v一级毛片| 亚洲欧美一区二区三区国产| 欧美精品亚洲一区二区| 国语对白做爰xxxⅹ性视频网站| 在线观看免费高清a一片| 美女福利国产在线| 国精品久久久久久国模美| 日本爱情动作片www.在线观看| 青青草视频在线视频观看| 成人影院久久| 免费av中文字幕在线| 欧美另类一区| 成人18禁高潮啪啪吃奶动态图| 黄片播放在线免费| 久久精品久久精品一区二区三区| 久久久久久久精品精品| 国产精品女同一区二区软件| 人人澡人人妻人| 久久久久久久久免费视频了| 国产综合精华液| 天堂8中文在线网| 亚洲情色 制服丝袜| 亚洲精品国产色婷婷电影| 成人漫画全彩无遮挡| 亚洲国产精品一区三区| www.熟女人妻精品国产| 亚洲欧洲日产国产| 国产亚洲最大av| 国产人伦9x9x在线观看 | 男女午夜视频在线观看| 久久精品国产鲁丝片午夜精品| 男女午夜视频在线观看| 亚洲av在线观看美女高潮| 免费黄网站久久成人精品| 免费黄网站久久成人精品| 99热全是精品| 另类精品久久| 999精品在线视频| 成年av动漫网址| 在线亚洲精品国产二区图片欧美| 免费看av在线观看网站| 国产精品久久久久久精品古装| 热re99久久精品国产66热6| 一级黄片播放器| 丰满饥渴人妻一区二区三| 亚洲五月色婷婷综合| 在线免费观看不下载黄p国产| 亚洲精品第二区| 韩国av在线不卡| 建设人人有责人人尽责人人享有的| 少妇 在线观看| 少妇 在线观看| 亚洲精品在线美女| 在线观看www视频免费| 国产一级毛片在线| 国产精品久久久久久久久免| 亚洲成人一二三区av| 飞空精品影院首页| 久久久久久久大尺度免费视频| 伊人久久大香线蕉亚洲五| 中文字幕亚洲精品专区| 蜜桃国产av成人99| 国产精品蜜桃在线观看| 成年av动漫网址| 男女午夜视频在线观看| 欧美av亚洲av综合av国产av | 最近中文字幕高清免费大全6| 岛国毛片在线播放| 日韩av免费高清视频| 日本91视频免费播放| 美女国产视频在线观看| 大香蕉久久网| 黄色一级大片看看| 色94色欧美一区二区| 午夜福利在线免费观看网站| 黄频高清免费视频| 最近最新中文字幕大全免费视频 | 麻豆av在线久日| 在线精品无人区一区二区三| 国产在线免费精品| 久久久久久久久久人人人人人人| 久久久国产精品麻豆| 日本免费在线观看一区| 男的添女的下面高潮视频| 欧美精品人与动牲交sv欧美| 午夜av观看不卡| 欧美bdsm另类| 国产成人免费观看mmmm| 日韩中文字幕视频在线看片| 久久久久视频综合| 中国国产av一级| 欧美日韩视频高清一区二区三区二| 日本爱情动作片www.在线观看| 嫩草影院入口| 一本大道久久a久久精品| av女优亚洲男人天堂| 国产精品国产三级国产专区5o| 国产精品国产三级国产专区5o| 亚洲精品国产av蜜桃| 国产乱人偷精品视频| 亚洲第一av免费看| 亚洲人成网站在线观看播放| 高清视频免费观看一区二区| 亚洲av电影在线进入| 满18在线观看网站| 黄片无遮挡物在线观看| 日日撸夜夜添| 国产成人精品婷婷| 国产人伦9x9x在线观看 | 考比视频在线观看| 亚洲久久久国产精品| 色网站视频免费| 久久99一区二区三区| 国产精品偷伦视频观看了| 亚洲欧洲国产日韩| 精品午夜福利在线看| 久久ye,这里只有精品| 亚洲情色 制服丝袜| 99九九在线精品视频| 免费黄色在线免费观看| 在线亚洲精品国产二区图片欧美| 涩涩av久久男人的天堂| 在线观看免费视频网站a站| a级片在线免费高清观看视频| 伦理电影大哥的女人| 母亲3免费完整高清在线观看 | 中文精品一卡2卡3卡4更新| 人人妻人人添人人爽欧美一区卜| 久久午夜福利片| www日本在线高清视频| 一级毛片黄色毛片免费观看视频| 欧美激情高清一区二区三区 | 久久国产精品大桥未久av| 日韩一本色道免费dvd| 日本vs欧美在线观看视频| 精品一区在线观看国产| 在线观看免费高清a一片| 国产精品久久久久久精品电影小说| 成人二区视频| 午夜福利视频在线观看免费| 一区二区日韩欧美中文字幕| 亚洲中文av在线| 丝袜美腿诱惑在线| 亚洲av欧美aⅴ国产| 免费观看a级毛片全部| 亚洲一级一片aⅴ在线观看| 国产激情久久老熟女| 啦啦啦在线免费观看视频4| 日韩欧美精品免费久久| 99热全是精品| 丝袜喷水一区| 深夜精品福利| 亚洲欧美精品自产自拍| 制服诱惑二区| 各种免费的搞黄视频| 美女xxoo啪啪120秒动态图| 免费在线观看视频国产中文字幕亚洲 | 菩萨蛮人人尽说江南好唐韦庄| 777米奇影视久久| 人人澡人人妻人| 在线 av 中文字幕| 在线观看www视频免费| 久久毛片免费看一区二区三区| 成年人免费黄色播放视频| 免费大片黄手机在线观看| 纵有疾风起免费观看全集完整版| 中文字幕人妻熟女乱码| 一本—道久久a久久精品蜜桃钙片| 精品少妇久久久久久888优播| 下体分泌物呈黄色| av线在线观看网站| 午夜免费观看性视频| 夫妻性生交免费视频一级片| 老鸭窝网址在线观看| 看非洲黑人一级黄片| 男女国产视频网站| 超碰成人久久| 中文字幕亚洲精品专区| 午夜福利一区二区在线看| 国产成人精品在线电影| 日韩av在线免费看完整版不卡| 国产97色在线日韩免费| 黄色怎么调成土黄色| 亚洲国产精品成人久久小说| 欧美成人午夜免费资源| 赤兔流量卡办理| 在线天堂最新版资源| 国产黄频视频在线观看| 久久久久视频综合| 日日摸夜夜添夜夜爱| 少妇熟女欧美另类| 久久国产精品男人的天堂亚洲| 欧美激情 高清一区二区三区| 免费观看在线日韩| 精品一区二区免费观看| 人人妻人人添人人爽欧美一区卜| 国产精品99久久99久久久不卡 | 侵犯人妻中文字幕一二三四区| 狠狠精品人妻久久久久久综合| 国产成人午夜福利电影在线观看| 熟女电影av网| 欧美日韩视频精品一区| 亚洲欧洲精品一区二区精品久久久 | 亚洲在久久综合| 国产成人精品久久二区二区91 | 在线精品无人区一区二区三| 成年美女黄网站色视频大全免费| 91国产中文字幕| 亚洲综合色网址| 免费观看性生交大片5| 国产黄色视频一区二区在线观看| 新久久久久国产一级毛片| 日韩,欧美,国产一区二区三区| 伊人亚洲综合成人网| 精品一区二区三区四区五区乱码 | 久久人人爽人人片av| 欧美成人午夜免费资源| 不卡视频在线观看欧美| 这个男人来自地球电影免费观看 | 国产成人91sexporn| 啦啦啦中文免费视频观看日本| 久久人人爽人人片av| 国产av一区二区精品久久| 大话2 男鬼变身卡| 99热网站在线观看| 啦啦啦视频在线资源免费观看| 国产精品一二三区在线看| 久久精品熟女亚洲av麻豆精品| 亚洲经典国产精华液单| 男人操女人黄网站| 国产高清国产精品国产三级| 亚洲国产精品成人久久小说| 天天影视国产精品| 丝袜美腿诱惑在线| 一区二区av电影网| av国产久精品久网站免费入址| 三级国产精品片| 80岁老熟妇乱子伦牲交| 男女下面插进去视频免费观看| 18禁裸乳无遮挡动漫免费视频| 久久青草综合色| 国产精品一二三区在线看| 午夜免费男女啪啪视频观看| 久久人妻熟女aⅴ| 少妇的丰满在线观看| 丰满少妇做爰视频| 国产成人欧美| 国产伦理片在线播放av一区| 欧美日韩成人在线一区二区| 国产人伦9x9x在线观看 | 色94色欧美一区二区| 在线观看免费日韩欧美大片| 97在线视频观看| 美女国产高潮福利片在线看| 男女午夜视频在线观看| 中文字幕另类日韩欧美亚洲嫩草| 日本vs欧美在线观看视频| 久久97久久精品| 亚洲国产欧美日韩在线播放| 久久精品aⅴ一区二区三区四区 | 免费在线观看黄色视频的| 日本爱情动作片www.在线观看| 麻豆精品久久久久久蜜桃| 18+在线观看网站| 亚洲一区二区三区欧美精品| 2018国产大陆天天弄谢| 国产精品久久久久久精品电影小说| 国产精品麻豆人妻色哟哟久久| 国产有黄有色有爽视频| 女人精品久久久久毛片| 大片免费播放器 马上看| 久久精品国产a三级三级三级| 欧美最新免费一区二区三区| 日韩不卡一区二区三区视频在线| av天堂久久9| 如何舔出高潮| 黄色配什么色好看| 国产一区二区在线观看av| 大片免费播放器 马上看| 伊人久久大香线蕉亚洲五| 国产高清不卡午夜福利| 亚洲美女视频黄频| 日韩欧美精品免费久久| 新久久久久国产一级毛片| 波野结衣二区三区在线| 中文字幕人妻熟女乱码| xxxhd国产人妻xxx| 国产一级毛片在线| 人人妻人人爽人人添夜夜欢视频| 欧美日韩成人在线一区二区| 国产男女内射视频| 午夜福利影视在线免费观看| videos熟女内射| 亚洲欧美精品自产自拍| 少妇的丰满在线观看| 亚洲精品日本国产第一区| 亚洲三级黄色毛片| 电影成人av| 男女边吃奶边做爰视频| 99热全是精品| 亚洲国产日韩一区二区| 少妇被粗大猛烈的视频| 国精品久久久久久国模美| 久久精品国产鲁丝片午夜精品| 日韩熟女老妇一区二区性免费视频| 亚洲色图 男人天堂 中文字幕| av国产精品久久久久影院| 亚洲av在线观看美女高潮| 欧美日韩综合久久久久久| 久久久久视频综合| 中文乱码字字幕精品一区二区三区| 精品国产一区二区三区四区第35| 国产女主播在线喷水免费视频网站| 国产男女内射视频| 免费黄色在线免费观看| 黄片小视频在线播放| 少妇被粗大猛烈的视频| 一级毛片我不卡| av在线老鸭窝| 中文字幕人妻丝袜制服| 最近最新中文字幕免费大全7| 免费日韩欧美在线观看| 秋霞伦理黄片| 国产黄色免费在线视频| 人人妻人人添人人爽欧美一区卜| 欧美 日韩 精品 国产| 国产白丝娇喘喷水9色精品| 99久久中文字幕三级久久日本| 男人爽女人下面视频在线观看| 人妻 亚洲 视频| 国产精品无大码| 久久 成人 亚洲| 波多野结衣av一区二区av| 制服丝袜香蕉在线| 91久久精品国产一区二区三区| 久久精品久久久久久久性| 女性生殖器流出的白浆| 一本—道久久a久久精品蜜桃钙片| 欧美国产精品va在线观看不卡| 一区二区日韩欧美中文字幕| 中文欧美无线码| 男男h啪啪无遮挡| 天天躁狠狠躁夜夜躁狠狠躁| 交换朋友夫妻互换小说| 久久综合国产亚洲精品| 久久精品国产a三级三级三级| 丝袜美腿诱惑在线| 亚洲欧洲日产国产| 免费看av在线观看网站| 女性生殖器流出的白浆| 2018国产大陆天天弄谢| 黄网站色视频无遮挡免费观看| 大香蕉久久网| 国产成人91sexporn| av女优亚洲男人天堂| 考比视频在线观看| 26uuu在线亚洲综合色| 99久久精品国产国产毛片| 考比视频在线观看| 制服诱惑二区| 午夜福利影视在线免费观看| 热99久久久久精品小说推荐| 成人国产麻豆网| a 毛片基地| 国产成人一区二区在线| 精品一区二区三区四区五区乱码 | 国产精品久久久av美女十八| 丝袜人妻中文字幕| 精品第一国产精品| 亚洲成人一二三区av| 亚洲人成77777在线视频| 国产精品欧美亚洲77777| 晚上一个人看的免费电影| 免费观看av网站的网址| 久久影院123| 自线自在国产av| 精品人妻偷拍中文字幕| 国产精品女同一区二区软件| 丁香六月天网| 亚洲激情五月婷婷啪啪| 啦啦啦视频在线资源免费观看| 久久狼人影院| av福利片在线| 欧美人与性动交α欧美软件| 久久av网站| 日韩三级伦理在线观看| 婷婷成人精品国产| 国产成人精品久久二区二区91 | 高清黄色对白视频在线免费看| 免费av中文字幕在线| 九九爱精品视频在线观看| 一级片免费观看大全| 啦啦啦在线免费观看视频4| 精品视频人人做人人爽| 波多野结衣一区麻豆| 欧美国产精品va在线观看不卡| 欧美+日韩+精品| 啦啦啦在线观看免费高清www| 国产精品久久久久久久久免| 国产免费现黄频在线看| 国产精品三级大全| 18禁观看日本| 亚洲精品视频女| av卡一久久| kizo精华| 国产一区亚洲一区在线观看| 婷婷色av中文字幕| 大话2 男鬼变身卡| 国产成人免费无遮挡视频| 久热这里只有精品99| 免费播放大片免费观看视频在线观看| 不卡av一区二区三区| 精品少妇黑人巨大在线播放| 精品午夜福利在线看| 午夜精品国产一区二区电影| 这个男人来自地球电影免费观看 | 毛片一级片免费看久久久久| 国产一区有黄有色的免费视频| 欧美xxⅹ黑人| 亚洲色图综合在线观看| 日韩精品免费视频一区二区三区| 最黄视频免费看| 最近2019中文字幕mv第一页| 国产男女超爽视频在线观看| 国产无遮挡羞羞视频在线观看| 国产一区二区三区综合在线观看| 777米奇影视久久| 久久人人97超碰香蕉20202| 免费高清在线观看视频在线观看| 欧美国产精品va在线观看不卡| 亚洲中文av在线| 久久综合国产亚洲精品| 成年动漫av网址| 国产成人免费观看mmmm| 久热久热在线精品观看| 欧美精品人与动牲交sv欧美| av国产久精品久网站免费入址| 亚洲精品一二三| 大片电影免费在线观看免费| 亚洲精品一区蜜桃| 天天操日日干夜夜撸| 亚洲成人手机| 久久精品国产亚洲av涩爱| 搡老乐熟女国产| 巨乳人妻的诱惑在线观看| 久久这里只有精品19| 国产精品久久久久久精品古装| 国产成人精品久久二区二区91 | 国产国语露脸激情在线看| 97人妻天天添夜夜摸| 大陆偷拍与自拍| 亚洲,一卡二卡三卡| 伦精品一区二区三区| 有码 亚洲区| 日本欧美视频一区| 少妇人妻久久综合中文| 在线亚洲精品国产二区图片欧美| 日韩av不卡免费在线播放| 我要看黄色一级片免费的| av有码第一页| 国产综合精华液| 日韩欧美一区视频在线观看| 亚洲精品乱久久久久久| 亚洲精品一区蜜桃| 欧美日韩一级在线毛片| 韩国高清视频一区二区三区| 电影成人av| 午夜老司机福利剧场| 免费大片黄手机在线观看| 黑人欧美特级aaaaaa片| 国产午夜精品一二区理论片| 日本猛色少妇xxxxx猛交久久| 国产一区有黄有色的免费视频| 精品一区二区三区四区五区乱码 | 久久久久久久久久人人人人人人| 观看美女的网站| kizo精华| 97在线视频观看| 男人添女人高潮全过程视频| 十分钟在线观看高清视频www| 久久久久久人妻| 婷婷色综合大香蕉| 老汉色∧v一级毛片| 2022亚洲国产成人精品| 曰老女人黄片| 成年美女黄网站色视频大全免费| 欧美日韩国产mv在线观看视频| 久久久国产精品麻豆| 国产综合精华液| 久久国产精品男人的天堂亚洲| 久久99精品国语久久久| av国产精品久久久久影院| 亚洲国产成人一精品久久久| www.av在线官网国产| 91aial.com中文字幕在线观看| 丰满乱子伦码专区| 欧美人与性动交α欧美软件| 久久久国产欧美日韩av| 日韩熟女老妇一区二区性免费视频| 最近最新中文字幕免费大全7| 99久久人妻综合| 男人操女人黄网站| 人妻系列 视频| 最新的欧美精品一区二区| 五月天丁香电影| 免费观看在线日韩| 欧美人与性动交α欧美软件| 欧美激情高清一区二区三区 | 黄色怎么调成土黄色| 国产一区有黄有色的免费视频| 性少妇av在线| 伊人久久国产一区二区| 久久这里只有精品19| 亚洲美女搞黄在线观看| 日本wwww免费看| 国产爽快片一区二区三区| 国产精品 欧美亚洲| 欧美av亚洲av综合av国产av | 看非洲黑人一级黄片| 亚洲国产成人一精品久久久| 香蕉国产在线看| 国产一级毛片在线| 久久久久精品久久久久真实原创| 老熟女久久久| 99热网站在线观看| 欧美在线黄色| 国产精品免费大片| 欧美97在线视频| 高清av免费在线| 日韩精品免费视频一区二区三区| 日韩av免费高清视频| 波多野结衣av一区二区av| 久久久久视频综合| 国产精品久久久av美女十八| 久久久久视频综合| 一级爰片在线观看| 久久久久视频综合| 天天影视国产精品| 亚洲综合色网址| 在线观看免费视频网站a站| 日韩av免费高清视频| 国产日韩欧美在线精品| 一级毛片 在线播放| 18禁观看日本| 国产欧美日韩综合在线一区二区| 午夜精品国产一区二区电影| 日韩制服骚丝袜av| 精品亚洲成国产av| 亚洲一级一片aⅴ在线观看| 99久久人妻综合| 久久久久久伊人网av| av在线老鸭窝| 国产精品三级大全| 国产不卡av网站在线观看| 久久热在线av| 欧美+日韩+精品| 免费观看性生交大片5| 国产一区二区三区综合在线观看| 国精品久久久久久国模美| 亚洲中文av在线| 一区二区三区乱码不卡18| 制服丝袜香蕉在线| 久久久久网色| 老鸭窝网址在线观看| 水蜜桃什么品种好| 国产精品偷伦视频观看了| 亚洲av综合色区一区| 亚洲欧洲国产日韩| 国产在线一区二区三区精| 成年女人毛片免费观看观看9 | 亚洲精品一区蜜桃| 99久久中文字幕三级久久日本| 久久国产精品男人的天堂亚洲| 国产男女内射视频| 尾随美女入室| 卡戴珊不雅视频在线播放| 国产精品av久久久久免费| 男男h啪啪无遮挡| 国产高清不卡午夜福利| 欧美人与性动交α欧美软件| 永久免费av网站大全| 一二三四在线观看免费中文在| 亚洲精品久久久久久婷婷小说| 久久久久久免费高清国产稀缺|