• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    難以決定的重啟操作

    2019-12-16 02:54:30四川賴文書
    網(wǎng)絡(luò)安全和信息化 2019年12期
    關(guān)鍵詞:磁盤備份工程師

    四川 賴文書

    筆者單位應(yīng)用組的同事反饋公司應(yīng)用后臺的文件服務(wù)器異常,引發(fā)用戶上傳文件報錯,影響公司業(yè)務(wù)正常辦理運(yùn)作。

    公司應(yīng)用系統(tǒng)部署6臺虛擬機(jī)構(gòu)成的Weblogic 服務(wù)器集群,由單獨(dú)一臺虛擬機(jī)通過NFS 服務(wù)提供共享文件服務(wù)。

    NFS 服務(wù)器是以iSCSI 掛載H3C 的ONEStor 分布式存儲的塊存儲,虛擬化平臺與存儲融合部署于CVK 宿主機(jī)拓?fù)淙鐖D1所示,分布式存儲的LUN1 和LUN2 掛載到物理機(jī)用于存放虛擬機(jī)磁盤文件,LUN3 掛載到NFS 服務(wù)器虛機(jī)用于存放應(yīng)用系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)文件。

    初步診斷

    圖1 虛擬化及分布式存儲融合架構(gòu)

    由于問題的影響面比較大,運(yùn)維組老D 接到反饋后第一時間對應(yīng)用集群服務(wù)器和NFS 服務(wù)器進(jìn)行了檢查。

    測試掛載到集群服務(wù)器上的目錄,執(zhí)行touch 命令新建文件發(fā)現(xiàn)無法寫入,報錯提示“Read-only file system”,檢查目錄的權(quán)限是777 即(rwxrwxrwx),也沒有異常。

    同時測試集群中其他服務(wù)器所掛載的目錄均無法寫入,在集群中的一臺服務(wù)器執(zhí) 行“mount -o rw,remount/nasapp”重新掛載,仍然無法寫入。

    推測是NFS 服務(wù)器有問題,登入NFS 服務(wù)器上執(zhí)行命 令“service nfs restart”重啟NFS 服務(wù),在群集服務(wù)器上測試仍然無濟(jì)于事。

    忙活了這么久竟忘了該對iSCSI 掛載的塊存儲進(jìn)行測試,touch 命令依然是無法新建文件。

    排查故障原因從mount掛載方面,轉(zhuǎn)到NFS 服務(wù)是否異常,最后檢測確認(rèn)到iSCSI掛載的塊存儲異常。由于NFS 服務(wù)器所共享的磁盤是基于Ceph 的塊存儲,前期部署由公司集成部配合廠商完成,具體技術(shù)細(xì)節(jié)運(yùn)維組了解甚少,所以得請求他們緊急支援解決問題。

    運(yùn)維組通過郵件具體描述了故障現(xiàn)象以及排查過程,發(fā)給項(xiàng)目組領(lǐng)導(dǎo)A 請求集成部領(lǐng)導(dǎo)B 溝通協(xié)助排查。同時運(yùn)維組詢問廠商,請求遠(yuǎn)程對ONEStor 分布式存儲進(jìn)行排查。

    由于事關(guān)重大,集成部的技術(shù)大牛胖U 第一時間響應(yīng)了運(yùn)維組的請求,當(dāng)他了解到NFS 服務(wù)器所在的iSCSI磁盤也無法寫時,立即判斷是分布式存儲方面的問題,并讓運(yùn)維組聯(lián)系廠商解決。廠商售后工程師通過遠(yuǎn)程檢查了ONEStor 存儲運(yùn)行狀態(tài),沒有發(fā)現(xiàn)任何異常初步判斷是虛擬機(jī)系統(tǒng)層面或者是軟件配置的問題。

    而近幾天又沒有進(jìn)行系統(tǒng)或軟件層面的配置修改,就今天早上突然出現(xiàn)了故障,目前應(yīng)用仍然無法正常運(yùn)行直接影響公司業(yè)務(wù),項(xiàng)目組領(lǐng)導(dǎo)A 強(qiáng)烈要求廠商和集成的同事到現(xiàn)場協(xié)助解決。

    深入排查

    廠商一線工程師Y 趕到現(xiàn)場,運(yùn)維組老D 給他演示了故障現(xiàn)象,并解釋了遠(yuǎn)程檢查的結(jié)果,即ONEStor 存儲沒有問題,還是讓我們從軟件配置方面檢查,是不是哪里對磁盤容量有限制的策略。

    該建議對于運(yùn)維組來說沒有可操作性,畢竟系統(tǒng)部署是廠商完成的,還個方向的檢查還得請廠商工程師完成。工程師Y 在虛擬平臺的管理頁面沒發(fā)現(xiàn)任何可疑項(xiàng)。為了推動問題的解決,運(yùn)維組同事建議先從NFS 服務(wù)器的系統(tǒng)日志進(jìn)行排查。在系統(tǒng)日志文件message 里凌晨5點(diǎn)26 分發(fā)現(xiàn)數(shù)十條的I/O 報錯:

    大概意思是文件系統(tǒng)由于I/O 錯誤無法寫入邏輯磁盤塊,自動以只讀模式重新掛載。

    根據(jù)此日志,工程師Y解釋文件系統(tǒng)變?yōu)橹蛔x,原因?yàn)槲募到y(tǒng)遭到破壞,與ONEStor 塊存儲是否故障無直接關(guān)系,更堅決認(rèn)定故障原因在虛機(jī)服務(wù)器操作系統(tǒng)層面,用手機(jī)對錯誤日志拍了兩張照片報告其公司的二線工程師。

    雖然初步檢查到了基本的故障原因,但是問題并沒有解決。經(jīng)工程師Y 與二線工程師討論決定,需要對NFS 服務(wù)器系統(tǒng)進(jìn)行重啟以測試確認(rèn)故障點(diǎn),為防止所掛載的iSCSI 磁盤的文件系統(tǒng)發(fā)生異常,導(dǎo)致所存放的文件有問題,重啟前建議對iSCSI 磁盤進(jìn)行備份。

    運(yùn)維組和負(fù)責(zé)NBU 備份的同事聯(lián)系確認(rèn),還有大概7TB 的可用空間,再經(jīng)咨詢NBU 售后工程師確認(rèn),其備份需要在NFS 服務(wù)器上安裝NBU 客戶端并新建備份任務(wù),4TB 的數(shù)據(jù)文件從目前16 點(diǎn)開始備份大概要到第二天上午才能完成。

    同時集成部大牛胖U 還擔(dān)心NBU 的恢復(fù)驗(yàn)證問題,推薦直接COPY 方式復(fù)制到空閑的SAN 存儲,由于是巨量的小文件也會非常耗時。

    經(jīng)過討論,針對眼前緊急狀況,這些備份措施均無法滿足要求。廠商工程師Y 就一直等著運(yùn)維組拿出備份解決方案,進(jìn)展也卡在這里1個多小時。

    在這期間,運(yùn)維組技術(shù)骨干建議將iSCSI 塊存儲LUN3重新掛載到其它虛擬服務(wù)器,以確認(rèn)其文件系統(tǒng)是否正常,還是被工程師Y 否定,稱在沒有備份前對其操作存在很大風(fēng)險,可能導(dǎo)致部分?jǐn)?shù)據(jù)損壞或丟失。

    廠商工程師的意見把大家都震住了,備份不能很快完成,不備份直接重啟帶來的風(fēng)險責(zé)任誰也無法承擔(dān),真不知如何是好啊。

    專家會診

    時間一分一秒不停地在流逝,可處理故障的進(jìn)展陷入了停止?fàn)顟B(tài)。

    公司應(yīng)用系統(tǒng)雖然還在運(yùn)行,但是部分功能確實(shí)無法使用,給業(yè)務(wù)帶來的影響非常大。集成部領(lǐng)導(dǎo)B 也打來電話關(guān)心處理進(jìn)度,并指責(zé)運(yùn)維組為什么之前沒有備份,還強(qiáng)硬地要求派人去IDC 數(shù)據(jù)中心拿移動硬盤拷貝完成備份。

    大家對于領(lǐng)導(dǎo)B 面對故障的心情是可以理解的,只是他的指揮意見在此時此刻沒有操作可行性。項(xiàng)目組領(lǐng)導(dǎo)A 沉著冷靜地在一邊思考,然后電話與廠商的商務(wù)負(fù)責(zé)人溝通故障排查情況及影響程度,因?yàn)楣镜膽?yīng)用是部署在廠商的虛擬化和分布式存儲之上的,出現(xiàn)的存儲問題需要廠商大力配合盡快處理,要求工程師Y 聯(lián)系他們二線工程師進(jìn)一步分析故障及有效的解決方案。

    在商務(wù)負(fù)責(zé)人的推動下,廠商很快建立了專項(xiàng)故障診斷微信群,使用向日葵遠(yuǎn)程控制軟件分享遠(yuǎn)程桌面。

    二線工程師X 主導(dǎo)診斷分析,工程師Y 按指導(dǎo)意見進(jìn)行操作。

    首先針對我們需要備份的問題,工程師X 查看ONEStor 分布式存儲磁盤使用率才40%多,決定再劃分5TB 塊存儲以iSCSI 掛載到NFS 服務(wù)器上進(jìn)行備份。

    這樣即解決了備份空間的問題,又避免了通過其他網(wǎng)絡(luò)備份的性能瓶頸問題,此操作果然高明,真是行家一出手便知有沒有啊。

    工程師Y 操作過程中,在NFS 服務(wù)器上以“fdisk”命令對新的5TB 塊存儲進(jìn)行磁盤分區(qū),操作了多遍都只能分區(qū)到2TB 的空間,百思不得其解。后來猛然間才發(fā)現(xiàn)fdisk只能創(chuàng)建2TB 的分區(qū),改用“parted”命令并以GPT(GUID分區(qū)表)完成磁盤分區(qū)操作。

    經(jīng)過格式化后,工程師Y編寫了個shell 腳本對NFS原塊存儲的文件進(jìn)行備份,運(yùn)行時發(fā)現(xiàn)很多報錯,大概意思是無法復(fù)制文件夾。

    圖2 查看系統(tǒng)日志sysIog

    為了驗(yàn)證是否是腳本問題,手動執(zhí)行腳本里的復(fù)制命令仍然報錯,再以cat 命令輸出NASAPP 目錄下的幾個文件竟然無法讀取,這樣就確認(rèn)到此時原來iSCSI 塊存儲不僅無法寫也不能讀了,備份工作就無法正常進(jìn)行。

    在這種情況下,二線工程師X 遠(yuǎn)程詳細(xì)檢查NFS 服務(wù)器虛機(jī)所在宿主機(jī)CVK5,查看系統(tǒng)日志syslog。如圖2所示。

    查看kernel日志文件kern.log 發(fā)現(xiàn)內(nèi)核報檢測到通訊錯誤,拒絕I/O 到離線的設(shè)備。

    在路徑/var/log/libvirt/qemu/的對應(yīng)NFS 服務(wù)器虛機(jī)日志,發(fā)現(xiàn)了50條如下錯誤日志,持續(xù)時間2 秒鐘:

    最后嘗試命令“umount”卸載nasapp 目錄,但仍然報錯,使用“l(fā)sof/nasapp/”和“fuser/nasapp/”命令查看占用情況,并使用“fuser -k/nasapp”殺掉占用該文件夾的進(jìn)程,再umount 正常卸載,編輯/etc/fstab 注釋掉nasapp 防止系統(tǒng)啟動時自動掛載,避免ext4 文件系統(tǒng)自檢導(dǎo)致異常。

    現(xiàn)場工程師Y 再次電話溝通,確認(rèn)重啟系統(tǒng)是否對iSCSI 磁盤數(shù)據(jù)有影響,二線工程師X 根據(jù)檢查情況和經(jīng)驗(yàn)確認(rèn)不會影響,reboot 重啟NFS 服務(wù)器。重啟后取消fstab 文件剛才的注釋項(xiàng),使用“mount -a”命令將/etc/fstab 的所有內(nèi)容重新加載,進(jìn)入/nasapp 目錄創(chuàng)建文件正常確認(rèn)可讀寫,同時檢查了各節(jié)點(diǎn)訪問nfs 共享目錄讀寫也都正常。

    接下來由應(yīng)用同事檢查nasapp 非結(jié)構(gòu)化文件的完整性,確認(rèn)系統(tǒng)訪問情況正常,整個緊急處理過程算是告一段落。

    項(xiàng)目經(jīng)理A 再次向廠商工程師了解故障的根本原因,二線工程師根據(jù)檢查結(jié)果初步判斷為網(wǎng)絡(luò)波動所致。但是從網(wǎng)絡(luò)監(jiān)測和日志中并未發(fā)現(xiàn)這種問題,況且分布式存儲的LUN1 和LUN2 運(yùn)行正常,運(yùn)維部門對此故障原因深表懷疑。

    為了更進(jìn)一步排查深層故障原因,最后廠商工程師全面收集了虛擬化平臺和ONEStor 分布式存儲的日志,故障虛擬機(jī)及所在宿主機(jī)的日志,待廠商的研發(fā)部門深入分析根本原因。

    最后收到的故障分析報告,還是證實(shí)了集成部技術(shù)大牛最初的判斷,問題確實(shí)出在存儲方面。

    ONEStor 高可用工作節(jié)點(diǎn)CVK2 的tgt(iscsi Target存儲服務(wù)端)進(jìn)程由于已知Bug 引發(fā)自動終止,導(dǎo)致主機(jī)檢測到iscsi 連接異常,隨后存儲的保護(hù)機(jī)制高可用(keepalive)檢查到該故障,觸發(fā)工作節(jié)點(diǎn)切換到CVK4 節(jié)點(diǎn),此時存儲高可用切換完成,大致耗時15s。

    隨后主機(jī)在05:26:41 完成在CVK4 節(jié)點(diǎn)建立iscsi 連接,此時主機(jī)IO 完全恢復(fù)正常,存儲高可用業(yè)務(wù)切換加主機(jī)重新建立iscsi 連接共計耗時約24s。

    而在虛擬化集群系統(tǒng)中,為了保證多路徑可以及時切換,所以把CVK 設(shè)置iscsid session 恢復(fù)時限為20s,導(dǎo)致存儲在高可用切換過程中,主機(jī)認(rèn)為20s 超時將塊存儲置于離線,并且返回業(yè)務(wù)上層IO error,觸發(fā)ext4文件系統(tǒng)錯誤處理機(jī)制導(dǎo)致Remounting filesystem read-only。

    最終建議對ONEStor 版本進(jìn)行升級修復(fù)此類故障。

    總結(jié)

    雖然最終是小小的重啟排除了故障,使公司的應(yīng)用系統(tǒng)恢復(fù)了正常運(yùn)行,但其過程是相當(dāng)艱難和漫長的,耗時近10個小時。

    造成如此局面大概有兩方面的因素:

    首先技術(shù)方面在初步診斷時僅從Linux 系統(tǒng)服務(wù)的表面去檢查,未能第一時間從內(nèi)核和系統(tǒng)日志去檢查;運(yùn)維組、集成部和一線工程師均無法確認(rèn)重啟是否影響存儲上的數(shù)據(jù)。

    其次是工作邊界引起的操作責(zé)任方面的問題,集成部直接判定為存儲問題,而廠商工程師一直認(rèn)為是軟件或者系統(tǒng)層面的原因,重啟操作前需要備份又將責(zé)任轉(zhuǎn)移到運(yùn)維組。有效推動此次故障解決的,除了項(xiàng)目經(jīng)理A 正確把握故障處理方向和高效溝通協(xié)調(diào)外,二線工程師X 深厚技術(shù)功底和經(jīng)驗(yàn)起了決定性作用。

    通過這次故障經(jīng)歷認(rèn)識到,只有技術(shù)過硬才能在緊急處理中有擔(dān)當(dāng),如果我們都能擁有像廠商二線工程師X 的技術(shù)實(shí)力,也就能在最短時間內(nèi)解決問題,避免跨部門及廠商協(xié)作中的責(zé)任劃分帶來的效率問題。

    猜你喜歡
    磁盤備份工程師
    “備份”25年:鄧清明圓夢
    《機(jī)械工程師》征訂啟事
    Kenoteq的工程師研發(fā)環(huán)保磚塊
    英語文摘(2021年10期)2021-11-22 08:02:40
    青年工程師
    安徽建筑(2020年4期)2020-05-23 01:37:12
    解決Windows磁盤簽名沖突
    電腦愛好者(2019年2期)2019-10-30 03:45:31
    修改磁盤屬性
    磁盤組群組及iSCSI Target設(shè)置
    創(chuàng)建VSAN群集
    淺析數(shù)據(jù)的備份策略
    科技視界(2015年6期)2015-08-15 00:54:11
    工程師變成“資本家”
    免费在线观看视频国产中文字幕亚洲| 在线观看日韩欧美| 久久热在线av| 一区二区三区激情视频| 午夜免费观看网址| 国产精品久久久久久人妻精品电影| 非洲黑人性xxxx精品又粗又长| 我的亚洲天堂| 亚洲成人久久性| 欧美激情 高清一区二区三区| 欧美日本中文国产一区发布| 在线观看免费日韩欧美大片| 免费观看精品视频网站| 亚洲一区二区三区色噜噜| 欧美黑人精品巨大| 亚洲精品久久国产高清桃花| 久久国产精品人妻蜜桃| 黑人巨大精品欧美一区二区mp4| 制服人妻中文乱码| 精品第一国产精品| 女同久久另类99精品国产91| 欧美午夜高清在线| 免费女性裸体啪啪无遮挡网站| 国产精品免费一区二区三区在线| 国产精华一区二区三区| 日韩欧美国产在线观看| 亚洲成人免费电影在线观看| 99精品欧美一区二区三区四区| 18美女黄网站色大片免费观看| www国产在线视频色| 91九色精品人成在线观看| 韩国精品一区二区三区| 国产午夜精品久久久久久| 成人手机av| 国内久久婷婷六月综合欲色啪| 少妇熟女aⅴ在线视频| 欧美日本亚洲视频在线播放| 日韩av在线大香蕉| 久久久久精品国产欧美久久久| 精品福利观看| 国产91精品成人一区二区三区| 1024视频免费在线观看| 久久人人爽av亚洲精品天堂| 免费在线观看影片大全网站| 精品久久久久久久毛片微露脸| 国产成人一区二区三区免费视频网站| 久久国产亚洲av麻豆专区| 999精品在线视频| 亚洲av美国av| bbb黄色大片| 久久国产亚洲av麻豆专区| 一进一出抽搐gif免费好疼| 国产精品一区二区三区四区久久 | 国产精品爽爽va在线观看网站 | 中出人妻视频一区二区| 欧美日韩精品网址| 久久精品国产亚洲av香蕉五月| 大型av网站在线播放| 自拍欧美九色日韩亚洲蝌蚪91| 搡老熟女国产l中国老女人| 亚洲精品在线美女| 韩国精品一区二区三区| 欧美在线黄色| 久久精品aⅴ一区二区三区四区| 国产91精品成人一区二区三区| 19禁男女啪啪无遮挡网站| 亚洲七黄色美女视频| 国产欧美日韩一区二区精品| 性欧美人与动物交配| 制服人妻中文乱码| 午夜福利影视在线免费观看| 国产精品亚洲一级av第二区| 嫩草影视91久久| 婷婷六月久久综合丁香| 国产三级黄色录像| 母亲3免费完整高清在线观看| 中文字幕人妻熟女乱码| 亚洲专区字幕在线| 午夜a级毛片| 99国产精品一区二区蜜桃av| 午夜福利成人在线免费观看| 日日爽夜夜爽网站| www.自偷自拍.com| 国产91精品成人一区二区三区| 免费女性裸体啪啪无遮挡网站| 亚洲成国产人片在线观看| 欧美绝顶高潮抽搐喷水| 日韩成人在线观看一区二区三区| 国产成人精品久久二区二区91| 成人国语在线视频| 一边摸一边抽搐一进一出视频| 免费看a级黄色片| 国产亚洲精品久久久久5区| 久久精品国产99精品国产亚洲性色 | 在线观看66精品国产| 欧美午夜高清在线| 日韩有码中文字幕| 一级毛片高清免费大全| 欧美在线黄色| 制服诱惑二区| 搡老熟女国产l中国老女人| 美女大奶头视频| 满18在线观看网站| 久久国产精品人妻蜜桃| av天堂在线播放| 性色av乱码一区二区三区2| 婷婷丁香在线五月| 精品国产超薄肉色丝袜足j| 亚洲精品粉嫩美女一区| 国产精品美女特级片免费视频播放器 | 国产av一区二区精品久久| 久久天躁狠狠躁夜夜2o2o| 国产亚洲精品av在线| 人人妻人人澡欧美一区二区 | 亚洲熟女毛片儿| 亚洲成av片中文字幕在线观看| av福利片在线| 欧美性长视频在线观看| 欧美激情 高清一区二区三区| 久9热在线精品视频| 国产激情欧美一区二区| 一级a爱片免费观看的视频| 69av精品久久久久久| 级片在线观看| 日韩精品青青久久久久久| 国产精品精品国产色婷婷| 久久精品国产99精品国产亚洲性色 | av中文乱码字幕在线| 亚洲av第一区精品v没综合| 国产精品永久免费网站| 精品电影一区二区在线| 99国产精品一区二区蜜桃av| 日日夜夜操网爽| 免费看a级黄色片| 欧美在线一区亚洲| 国产精品一区二区免费欧美| 自线自在国产av| 丝袜美腿诱惑在线| 久久久久精品国产欧美久久久| 亚洲一区二区三区色噜噜| 久久久精品欧美日韩精品| 欧美一级毛片孕妇| 色哟哟哟哟哟哟| 亚洲人成77777在线视频| 欧美一级毛片孕妇| 激情视频va一区二区三区| 久久久久久大精品| 亚洲一区高清亚洲精品| 亚洲三区欧美一区| 国产亚洲欧美在线一区二区| 成熟少妇高潮喷水视频| 亚洲成人久久性| 欧美激情高清一区二区三区| 最新美女视频免费是黄的| 久久久久久人人人人人| 亚洲国产欧美一区二区综合| 91精品国产国语对白视频| 无遮挡黄片免费观看| 午夜福利在线观看吧| 精品久久久久久久久久免费视频| 精品久久久久久,| 一边摸一边抽搐一进一小说| 日日摸夜夜添夜夜添小说| 成人三级黄色视频| 欧美人与性动交α欧美精品济南到| 看黄色毛片网站| 精品国产一区二区三区四区第35| 在线观看日韩欧美| 黄色成人免费大全| 叶爱在线成人免费视频播放| www.精华液| 亚洲一区二区三区色噜噜| 叶爱在线成人免费视频播放| 国内精品久久久久精免费| 国产野战对白在线观看| 香蕉国产在线看| 香蕉久久夜色| 88av欧美| 一卡2卡三卡四卡精品乱码亚洲| 亚洲电影在线观看av| 成人亚洲精品一区在线观看| 国产人伦9x9x在线观看| 美女大奶头视频| 成人手机av| 香蕉久久夜色| 18禁国产床啪视频网站| 久久精品国产99精品国产亚洲性色 | 久久精品国产亚洲av香蕉五月| 亚洲一卡2卡3卡4卡5卡精品中文| 老熟妇乱子伦视频在线观看| 老汉色av国产亚洲站长工具| 国产激情久久老熟女| 亚洲一区二区三区色噜噜| 免费观看人在逋| 中文字幕最新亚洲高清| 亚洲欧美日韩无卡精品| 国产熟女午夜一区二区三区| 麻豆一二三区av精品| 亚洲全国av大片| 国产精品一区二区三区四区久久 | 亚洲成国产人片在线观看| 亚洲第一欧美日韩一区二区三区| 久久影院123| 变态另类成人亚洲欧美熟女 | 99久久精品国产亚洲精品| 99精品在免费线老司机午夜| 黄色成人免费大全| av欧美777| 啦啦啦 在线观看视频| tocl精华| 久久人人爽av亚洲精品天堂| 亚洲电影在线观看av| 亚洲视频免费观看视频| 国产精品 国内视频| 国产精品 欧美亚洲| 黄色 视频免费看| 亚洲aⅴ乱码一区二区在线播放 | 国内精品久久久久精免费| 丁香欧美五月| 97超级碰碰碰精品色视频在线观看| 久久国产精品影院| 国产高清有码在线观看视频 | 香蕉国产在线看| 欧美精品啪啪一区二区三区| 亚洲中文av在线| 精品久久久久久成人av| 天天躁狠狠躁夜夜躁狠狠躁| 一进一出抽搐动态| 亚洲中文字幕日韩| 满18在线观看网站| 欧美日本视频| 19禁男女啪啪无遮挡网站| 国产成人啪精品午夜网站| 一区二区三区高清视频在线| 一级,二级,三级黄色视频| 午夜日韩欧美国产| 午夜福利,免费看| 91麻豆av在线| 精品人妻1区二区| 这个男人来自地球电影免费观看| 天天一区二区日本电影三级 | av天堂久久9| 欧美日本亚洲视频在线播放| 热99re8久久精品国产| 国产亚洲精品久久久久久毛片| 久久中文字幕人妻熟女| 日日摸夜夜添夜夜添小说| 99re在线观看精品视频| 女人被狂操c到高潮| 国产一区二区三区视频了| 啪啪无遮挡十八禁网站| 亚洲自偷自拍图片 自拍| 亚洲熟妇熟女久久| 欧美久久黑人一区二区| 久久精品aⅴ一区二区三区四区| 日本精品一区二区三区蜜桃| 老司机午夜福利在线观看视频| 亚洲国产高清在线一区二区三 | 中亚洲国语对白在线视频| 成人精品一区二区免费| 日韩三级视频一区二区三区| 成人18禁高潮啪啪吃奶动态图| 91成人精品电影| 波多野结衣一区麻豆| 9热在线视频观看99| 免费高清在线观看日韩| 成人精品一区二区免费| 国产一区二区在线av高清观看| 亚洲欧洲精品一区二区精品久久久| 久久久国产欧美日韩av| aaaaa片日本免费| 妹子高潮喷水视频| 男人的好看免费观看在线视频 | 无限看片的www在线观看| 欧美日本中文国产一区发布| 淫妇啪啪啪对白视频| 久久精品aⅴ一区二区三区四区| av片东京热男人的天堂| 97碰自拍视频| 久99久视频精品免费| 亚洲五月色婷婷综合| 国产亚洲精品久久久久5区| 精品久久久久久久人妻蜜臀av | 国产激情久久老熟女| 人人妻人人澡欧美一区二区 | 国产又爽黄色视频| 国内精品久久久久久久电影| 波多野结衣高清无吗| tocl精华| 亚洲一区二区三区色噜噜| 中国美女看黄片| 少妇熟女aⅴ在线视频| 免费高清在线观看日韩| 亚洲av成人一区二区三| 亚洲av电影在线进入| 亚洲 欧美一区二区三区| 精品乱码久久久久久99久播| 久久影院123| 午夜a级毛片| 久久精品国产99精品国产亚洲性色 | 91精品三级在线观看| 欧洲精品卡2卡3卡4卡5卡区| 日韩 欧美 亚洲 中文字幕| 免费不卡黄色视频| 国产成人欧美| 欧美成狂野欧美在线观看| 国语自产精品视频在线第100页| 日韩欧美免费精品| 亚洲自偷自拍图片 自拍| 亚洲人成77777在线视频| 99精品在免费线老司机午夜| 男女床上黄色一级片免费看| 久久热在线av| 亚洲国产精品999在线| 最近最新免费中文字幕在线| 日韩大尺度精品在线看网址 | 激情在线观看视频在线高清| 亚洲成人国产一区在线观看| 国内精品久久久久久久电影| 久久久久久免费高清国产稀缺| 18禁美女被吸乳视频| 窝窝影院91人妻| 午夜福利一区二区在线看| 成人国语在线视频| 12—13女人毛片做爰片一| 色播亚洲综合网| 99国产精品99久久久久| 国产蜜桃级精品一区二区三区| 国产麻豆成人av免费视频| 国产亚洲av高清不卡| 一夜夜www| 一级毛片精品| 国产精品久久久人人做人人爽| 国产区一区二久久| 一级a爱视频在线免费观看| 亚洲性夜色夜夜综合| 欧美一级a爱片免费观看看 | 咕卡用的链子| 91精品三级在线观看| 亚洲欧美精品综合久久99| 999精品在线视频| 中亚洲国语对白在线视频| 真人做人爱边吃奶动态| 久久婷婷人人爽人人干人人爱 | 身体一侧抽搐| 欧美激情高清一区二区三区| 国产成人av激情在线播放| 亚洲自拍偷在线| 国产av又大| 久久久久国产精品人妻aⅴ院| 日韩三级视频一区二区三区| 欧美国产日韩亚洲一区| 人人妻人人澡欧美一区二区 | 午夜两性在线视频| 久久久国产精品麻豆| 亚洲精品国产一区二区精华液| 身体一侧抽搐| 满18在线观看网站| 啦啦啦韩国在线观看视频| 国产不卡一卡二| 久9热在线精品视频| 久久久久国产精品人妻aⅴ院| 欧美日本中文国产一区发布| 欧美成人免费av一区二区三区| 老司机靠b影院| 69av精品久久久久久| 久久久久久久久中文| 91麻豆精品激情在线观看国产| 老司机午夜十八禁免费视频| 欧美成人午夜精品| 国产伦人伦偷精品视频| 午夜免费鲁丝| 久久久水蜜桃国产精品网| 亚洲 欧美一区二区三区| 日韩三级视频一区二区三区| 在线国产一区二区在线| 亚洲av电影在线进入| 在线国产一区二区在线| 黑丝袜美女国产一区| 久久 成人 亚洲| 国产一区二区激情短视频| 99精品在免费线老司机午夜| 国产精品爽爽va在线观看网站 | 美国免费a级毛片| 国产av精品麻豆| 韩国av一区二区三区四区| 久久中文字幕一级| 少妇熟女aⅴ在线视频| 久久久久久久精品吃奶| 女同久久另类99精品国产91| 真人一进一出gif抽搐免费| 色哟哟哟哟哟哟| 男人操女人黄网站| 大型黄色视频在线免费观看| 久久这里只有精品19| 涩涩av久久男人的天堂| 91麻豆av在线| 婷婷六月久久综合丁香| 黄片播放在线免费| 琪琪午夜伦伦电影理论片6080| 波多野结衣巨乳人妻| 久久久久久大精品| 一本综合久久免费| 人成视频在线观看免费观看| 国产精品98久久久久久宅男小说| 黄片大片在线免费观看| 每晚都被弄得嗷嗷叫到高潮| 国产麻豆69| 女人高潮潮喷娇喘18禁视频| 人妻久久中文字幕网| 99re在线观看精品视频| 国产aⅴ精品一区二区三区波| 黄片小视频在线播放| 淫妇啪啪啪对白视频| 老汉色av国产亚洲站长工具| 在线国产一区二区在线| 男女之事视频高清在线观看| 97人妻天天添夜夜摸| 久久久久久久久久久久大奶| 侵犯人妻中文字幕一二三四区| 亚洲精华国产精华精| 一区二区三区激情视频| 精品熟女少妇八av免费久了| 国产三级在线视频| 亚洲精品国产一区二区精华液| 日韩免费av在线播放| 精品国产一区二区久久| 午夜影院日韩av| 成熟少妇高潮喷水视频| 一进一出好大好爽视频| 亚洲色图综合在线观看| 亚洲人成77777在线视频| 中文字幕精品免费在线观看视频| a级毛片在线看网站| 国产视频一区二区在线看| 国产色视频综合| 女人被躁到高潮嗷嗷叫费观| 日本撒尿小便嘘嘘汇集6| 亚洲欧美日韩无卡精品| 久久伊人香网站| 久久精品国产清高在天天线| 成人精品一区二区免费| 成在线人永久免费视频| 不卡av一区二区三区| 亚洲一码二码三码区别大吗| 亚洲成人免费电影在线观看| 可以在线观看的亚洲视频| 日韩欧美国产一区二区入口| 国产亚洲欧美精品永久| 欧美午夜高清在线| 中文字幕av电影在线播放| 亚洲av电影在线进入| 在线十欧美十亚洲十日本专区| 电影成人av| 国产一区二区三区视频了| 国产精品美女特级片免费视频播放器 | 免费看十八禁软件| 亚洲国产欧美日韩在线播放| 极品人妻少妇av视频| 亚洲自拍偷在线| 久久伊人香网站| 国产精品一区二区三区四区久久 | 又黄又爽又免费观看的视频| 麻豆av在线久日| 国产一级毛片七仙女欲春2 | 久久精品国产综合久久久| 少妇裸体淫交视频免费看高清 | 午夜久久久久精精品| 中文字幕人妻丝袜一区二区| 亚洲av成人一区二区三| 久久久久久久精品吃奶| 身体一侧抽搐| 桃色一区二区三区在线观看| 国产精品久久久久久精品电影 | 亚洲国产欧美日韩在线播放| 亚洲免费av在线视频| 日韩精品免费视频一区二区三区| 91老司机精品| 中文字幕另类日韩欧美亚洲嫩草| 97人妻天天添夜夜摸| 国产色视频综合| 亚洲少妇的诱惑av| 午夜久久久在线观看| 午夜福利,免费看| 亚洲av成人一区二区三| 久久久久久久精品吃奶| 老司机靠b影院| 极品人妻少妇av视频| 国产主播在线观看一区二区| 亚洲欧美日韩高清在线视频| 精品久久久久久久毛片微露脸| 亚洲av五月六月丁香网| 男人操女人黄网站| 97人妻精品一区二区三区麻豆 | 真人做人爱边吃奶动态| 18禁美女被吸乳视频| 久久香蕉精品热| 女警被强在线播放| 在线观看一区二区三区| 人人澡人人妻人| 天天添夜夜摸| 亚洲精品一卡2卡三卡4卡5卡| 99精品久久久久人妻精品| 涩涩av久久男人的天堂| 国产av一区在线观看免费| 女性生殖器流出的白浆| 不卡av一区二区三区| 国产色视频综合| 神马国产精品三级电影在线观看 | 免费不卡黄色视频| 午夜福利一区二区在线看| 免费一级毛片在线播放高清视频 | 亚洲精品在线美女| 非洲黑人性xxxx精品又粗又长| 亚洲精品久久成人aⅴ小说| 黄色a级毛片大全视频| 日韩视频一区二区在线观看| 在线观看免费视频日本深夜| 欧美日韩一级在线毛片| 亚洲精品久久成人aⅴ小说| 欧美一级a爱片免费观看看 | 午夜福利免费观看在线| 老熟妇乱子伦视频在线观看| 国产欧美日韩综合在线一区二区| 巨乳人妻的诱惑在线观看| 亚洲欧美日韩高清在线视频| 久久人妻福利社区极品人妻图片| 一级a爱视频在线免费观看| 无人区码免费观看不卡| ponron亚洲| 国产国语露脸激情在线看| 亚洲一区高清亚洲精品| 亚洲国产欧美日韩在线播放| 两性夫妻黄色片| 动漫黄色视频在线观看| 最近最新免费中文字幕在线| 国语自产精品视频在线第100页| 日本a在线网址| 亚洲国产日韩欧美精品在线观看 | 午夜影院日韩av| 97超级碰碰碰精品色视频在线观看| 神马国产精品三级电影在线观看 | 亚洲视频免费观看视频| 亚洲精品国产色婷婷电影| 午夜免费观看网址| www.熟女人妻精品国产| 久久中文看片网| 国产精品亚洲美女久久久| 久久精品成人免费网站| 午夜免费成人在线视频| 亚洲天堂国产精品一区在线| 淫秽高清视频在线观看| 亚洲欧美激情在线| 别揉我奶头~嗯~啊~动态视频| 欧美av亚洲av综合av国产av| 人妻丰满熟妇av一区二区三区| 国产av精品麻豆| 精品国产超薄肉色丝袜足j| 夜夜夜夜夜久久久久| 国产一卡二卡三卡精品| 91在线观看av| 丝袜人妻中文字幕| 91成人精品电影| 黑人欧美特级aaaaaa片| 亚洲欧美一区二区三区黑人| 久久精品91蜜桃| 精品日产1卡2卡| 中文字幕人妻丝袜一区二区| 一边摸一边抽搐一进一出视频| 亚洲一卡2卡3卡4卡5卡精品中文| 婷婷六月久久综合丁香| 亚洲中文日韩欧美视频| 男人的好看免费观看在线视频 | 亚洲专区中文字幕在线| 老司机福利观看| 久久香蕉国产精品| 黑人巨大精品欧美一区二区mp4| 很黄的视频免费| 宅男免费午夜| 亚洲国产日韩欧美精品在线观看 | 午夜免费鲁丝| 国产成人精品无人区| 国产精品久久久久久亚洲av鲁大| 午夜久久久久精精品| 精品免费久久久久久久清纯| 国产成人欧美| 国内久久婷婷六月综合欲色啪| 淫秽高清视频在线观看| 动漫黄色视频在线观看| 少妇的丰满在线观看| 19禁男女啪啪无遮挡网站| 老熟妇乱子伦视频在线观看| 国产麻豆69| 日韩欧美三级三区| 天天一区二区日本电影三级 | 国产又爽黄色视频| 黄色毛片三级朝国网站| 免费看十八禁软件| 美女免费视频网站| 91精品国产国语对白视频| 桃红色精品国产亚洲av| 一级a爱片免费观看的视频| 99国产精品99久久久久| 国产成人影院久久av| 成人三级黄色视频| 成人欧美大片| 亚洲人成电影观看| 美女大奶头视频| 亚洲中文日韩欧美视频| 午夜免费激情av| avwww免费| 精品卡一卡二卡四卡免费| 男人操女人黄网站| 婷婷六月久久综合丁香| 欧美乱色亚洲激情|