• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    融合ELECTRA 和文本局部信息的中文語(yǔ)法錯(cuò)誤檢測(cè)方法

    2023-03-16 10:21:38陳柏霖王天極任麗娜黃瑞章
    計(jì)算機(jī)工程 2023年3期
    關(guān)鍵詞:語(yǔ)法錯(cuò)誤語(yǔ)義卷積

    陳柏霖,王天極,任麗娜,3,黃瑞章

    (1.貴州大學(xué) 公共大數(shù)據(jù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,貴陽(yáng) 550025;2.貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,貴陽(yáng) 550025;3.貴州輕工職業(yè)技術(shù)學(xué)院,貴陽(yáng) 550025)

    0 概述

    隨著互聯(lián)網(wǎng)的普及,中文電子文本的數(shù)量呈爆炸式增長(zhǎng)趨勢(shì)。文本質(zhì)量參差不齊,語(yǔ)法錯(cuò)誤會(huì)嚴(yán)重影響人們的閱讀效率。在中文輔助寫(xiě)作中,一個(gè)完善的中文語(yǔ)法錯(cuò)誤檢測(cè)工具可以幫助學(xué)習(xí)者快速定位錯(cuò)誤點(diǎn)和錯(cuò)誤類(lèi)型并對(duì)文章進(jìn)行修改,從而提高寫(xiě)作效率。此外,借助中文語(yǔ)法錯(cuò)誤檢測(cè)工具可以讓審校人員節(jié)省大量時(shí)間,提高出版業(yè)校對(duì)過(guò)程中的工作效率。然而,面對(duì)海量的中文文本,如何快速高效地自動(dòng)檢測(cè)中文語(yǔ)法錯(cuò)誤成為一個(gè)亟需解決的問(wèn)題。

    中文語(yǔ)法錯(cuò)誤檢測(cè)(Chinese Grammar Error Detection,CGED)的目標(biāo)是自動(dòng)檢測(cè)文本中存在的錯(cuò)別字、語(yǔ)法和語(yǔ)序錯(cuò)誤等。對(duì)于給定的文本,CGED 的檢測(cè)對(duì)象包括是否有語(yǔ)法錯(cuò)誤、錯(cuò)誤的類(lèi)型以及錯(cuò)誤的發(fā)生位置。傳統(tǒng)的語(yǔ)法錯(cuò)誤檢測(cè)研究主要集中于英文,大多從全局語(yǔ)義出發(fā),采用機(jī)器翻譯等生成式方法對(duì)語(yǔ)法錯(cuò)誤進(jìn)行檢測(cè)和糾正。與英文相比,中文不存在顯著詞邊界,也沒(méi)有時(shí)態(tài)、單數(shù)、復(fù)數(shù)等識(shí)別元素,語(yǔ)法復(fù)雜度高且蘊(yùn)含的語(yǔ)義信息豐富,因此,中文語(yǔ)法錯(cuò)誤檢測(cè)更加依賴(lài)于文本局部信息,如短語(yǔ)在句子中的語(yǔ)義和位置等。目前,許多研究人員參考了英文語(yǔ)法糾錯(cuò)方法,使用生成式方法直接進(jìn)行改錯(cuò),跳過(guò)了錯(cuò)誤檢測(cè)環(huán)節(jié),只有少量研究采用序列標(biāo)注方法進(jìn)行中文語(yǔ)法錯(cuò)誤檢測(cè)。然而,生成式方法往往從全局語(yǔ)義出發(fā),忽略了中文文本局部信息對(duì)語(yǔ)法檢錯(cuò)的作用,并存在所需數(shù)據(jù)量大、難以訓(xùn)練、可靠性差等問(wèn)題,使其不能很好地適用于中文語(yǔ)法錯(cuò)誤檢測(cè)任務(wù)。因此,如何在數(shù)據(jù)有限的情況下充分利用文本局部信息提高中文語(yǔ)法錯(cuò)誤檢測(cè)的效果,是該領(lǐng)域的一個(gè)重點(diǎn)研究方向。

    本文提出應(yīng)用于中文語(yǔ)法錯(cuò)誤檢測(cè)任務(wù)的ELECTRA-GCNN-CRF 模型。不同于生成式方法,本文將語(yǔ)法檢錯(cuò)任務(wù)視為序列標(biāo)注問(wèn)題,使得所需數(shù)據(jù)量和訓(xùn)練難度降低。在ELECTRA 預(yù)訓(xùn)練語(yǔ)言模型的基礎(chǔ)上,通過(guò)門(mén)控卷積網(wǎng)絡(luò)捕捉文本局部信息,緩解錯(cuò)誤語(yǔ)義傳播問(wèn)題,并加入殘差機(jī)制避免梯度消失現(xiàn)象,最后通過(guò)條件隨機(jī)場(chǎng)(Conditional Random Field,CRF)層解碼獲取每個(gè)字符的語(yǔ)法錯(cuò)誤標(biāo)簽。

    1 相關(guān)工作

    語(yǔ)法錯(cuò)誤檢測(cè)研究可以追溯到20 世紀(jì)80 年代,早期大都基于經(jīng)驗(yàn)和規(guī)則來(lái)檢查和糾正語(yǔ)法錯(cuò)誤。為了識(shí)別和處理更復(fù)雜的語(yǔ)法錯(cuò)誤,基于機(jī)器翻譯的方法被用于語(yǔ)法錯(cuò)誤檢測(cè)中[1-3],該類(lèi)方法將文本糾錯(cuò)視為從錯(cuò)誤句子到正確句子的“翻譯”問(wèn)題。在英文文本糾錯(cuò)中,F(xiàn)U 等[4]將簡(jiǎn)單的拼寫(xiě)錯(cuò)誤通過(guò)規(guī)則進(jìn)行改正,對(duì)于改正后的文本,利用Transformer 模型對(duì)較復(fù)雜的語(yǔ)法錯(cuò)誤進(jìn)行修改。ZHAO 等[5]將復(fù)制機(jī)制集成到機(jī)器翻譯模型中,利用輸入句和生成句之間存在大量重疊單詞的特點(diǎn),將簡(jiǎn)單的詞復(fù)制任務(wù)交給復(fù)制機(jī)制,使用注意力機(jī)制學(xué)習(xí)難度較大的新詞生成任務(wù)。在中文領(lǐng)域,機(jī)器翻譯方法大多只研究針對(duì)錯(cuò)別字的糾錯(cuò),也被稱(chēng)為中文拼寫(xiě)檢查(Chinese Spelling Check)。現(xiàn)有方法主要從以下3 個(gè)方面進(jìn)行研究:

    1)使用不同方法對(duì)漢字音形混淆集進(jìn)行建模[6-7],學(xué)習(xí)錯(cuò)誤字和正確字之間的映射關(guān)系。

    2)將漢字的音形特征通過(guò)特征嵌入的方式注入模型底層[8-10],使得模型能夠動(dòng)態(tài)學(xué)習(xí)每個(gè)字的特征。

    3)使用不同策略對(duì)模型產(chǎn)生的候選字進(jìn)行后處理[11-13],從而提升輸出精度。

    由于中文語(yǔ)法錯(cuò)誤檢測(cè)起步較晚,缺乏高質(zhì)量的大規(guī)模訓(xùn)練語(yǔ)料,使得機(jī)器翻譯方法在包含多種語(yǔ)法錯(cuò)誤的文本中檢測(cè)效果不佳。部分研究使用數(shù)據(jù)增強(qiáng)方法[14-15],通過(guò)人工構(gòu)造中文語(yǔ)法錯(cuò)誤數(shù)據(jù)來(lái)對(duì)現(xiàn)有數(shù)據(jù)集進(jìn)行擴(kuò)充。然而,現(xiàn)有方法模擬出的偽數(shù)據(jù)的語(yǔ)法錯(cuò)誤分布往往與真實(shí)分布并不十分一致,不能對(duì)模型起到很好的訓(xùn)練作用。因此,有研究人員將中文文本糾錯(cuò)分解為先檢錯(cuò)后糾錯(cuò)的二階段任務(wù),并將中文語(yǔ)法錯(cuò)誤檢測(cè)視為序列標(biāo)注任務(wù)。目前,中文語(yǔ)法錯(cuò)誤檢測(cè)相關(guān)研究大都集中在NLPTEA 的CGED 評(píng)測(cè)任務(wù)中。FU 等[16]在BiLSTM+CRF 序列標(biāo)注模型上添加分詞、高斯ePMI、PMI 得分等先驗(yàn)知識(shí),并通過(guò)不同的初始化策略訓(xùn)練多個(gè)BiLSTM 模型,對(duì)其加權(quán)融合后通過(guò)CRF 層輸出最終結(jié)果。2020 年,在NLPTEA 的CGED 評(píng)測(cè)任務(wù)[17]中,WANG 等[18]在Transformer 語(yǔ)言模型的基礎(chǔ)上融入殘差網(wǎng)絡(luò),增強(qiáng)輸出層中每個(gè)輸入字的信息,使得模型可以更好地檢測(cè)語(yǔ)法錯(cuò)誤位置。CAO 等[19]在BERT 模型的基礎(chǔ)上加入一種集成基于分?jǐn)?shù)的特征的門(mén)控機(jī)制,融合了語(yǔ)義特征、輸入序列的位置特征和基于評(píng)分的特征。LUO 等[20]使用基于BERT 模型和圖卷積網(wǎng)絡(luò)的方法提高基線(xiàn)模型對(duì)句法依賴(lài)的理解,并在多任務(wù)學(xué)習(xí)框架下結(jié)合序列標(biāo)注和端到端模型來(lái)提高原始序列標(biāo)注任務(wù)的效果。

    綜上,現(xiàn)有的中文語(yǔ)法錯(cuò)誤檢測(cè)方法通常從全局語(yǔ)義出發(fā),使用生成式方法直接生成正確語(yǔ)句或是在模型中添加人工句法特征,均未有效利用文本局部信息。針對(duì)這一問(wèn)題,本文使用ELECTRA 預(yù)訓(xùn)練模型表征文本信息,在此基礎(chǔ)上,使用門(mén)控卷積神經(jīng)網(wǎng)絡(luò)(Gated Convolution Neural Network,GCNN)網(wǎng)絡(luò)捕捉文本的局部語(yǔ)義和位置信息,最后使用CRF 進(jìn)行解碼,不需要額外添加句法特征,從而緩解梯度消失和錯(cuò)誤語(yǔ)義傳播問(wèn)題。

    2 模型結(jié)構(gòu)

    本文提出的ELECTRA-GCNN-CRF 模型整體架構(gòu)如圖1 所示,該模型自底向上由輸入層、GCNN 層、CRF 層和輸出層組成,其中,GCNN 層的作用是提取文本的局部信息。ELECTRA-GCNN-CRF 模型將中文語(yǔ)法糾錯(cuò)視為序列標(biāo)注任務(wù),為文本中的每個(gè)字預(yù)測(cè)對(duì)應(yīng)的語(yǔ)法錯(cuò)誤標(biāo)簽,并對(duì)文本采用BIO 的標(biāo)注方式,即字符位于語(yǔ)法錯(cuò)誤部分開(kāi)頭時(shí)標(biāo)注為B,位于語(yǔ)法錯(cuò)誤部分內(nèi)部時(shí)標(biāo)注為I,非語(yǔ)法錯(cuò)誤部分的字符標(biāo)注為O。

    圖1 ELECTRA-GCNN-CRF 模型架構(gòu)Fig.1 ELECTRA-GCNN-CRF model architecture

    2.1 輸入層

    文本輸入模型前需要對(duì)其進(jìn)行向量化處理,傳統(tǒng)文本表示模型存在表征能力不足、無(wú)法處理一詞多義等問(wèn)題。預(yù)訓(xùn)練語(yǔ)言模型在大規(guī)模無(wú)監(jiān)督語(yǔ)料中進(jìn)行訓(xùn)練,通過(guò)Transformer 架構(gòu)對(duì)輸入序列進(jìn)行建模,獲取每個(gè)字的上下文語(yǔ)義知識(shí),因此,其可以根據(jù)上下文語(yǔ)義動(dòng)態(tài)生成字向量,有效解決一詞多義問(wèn)題,而且還能根據(jù)不同任務(wù)對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào),從而獲得針對(duì)性更強(qiáng)的字向量,適應(yīng)特定任務(wù)的需求。

    由于ELECTRA 預(yù)訓(xùn)練語(yǔ)言模型具有訓(xùn)練效率高、訓(xùn)練方式能夠避免數(shù)據(jù)不匹配問(wèn)題等優(yōu)點(diǎn),因此本文選用ELECTRA 預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行文本向量化。ELECTRA 模型是CLARK 等[21]借 鑒GAN 網(wǎng)絡(luò)[22]的思想而設(shè)計(jì)的,該模型由生成器和判別器兩部分組成,并使用RTD(Replace Token Detection)預(yù)訓(xùn)練方式。生成器是個(gè)小型掩碼語(yǔ)言模型,負(fù)責(zé)對(duì)輸入的Token 進(jìn)行隨機(jī)替換,然后讓判別器判別生成器的輸出是否發(fā)生了替換,取判別器作為最終的ELECTRA 預(yù)訓(xùn)練語(yǔ)言模型,其具體流程如圖2 所示。這種預(yù)訓(xùn)練方式避免了因“[MASK]”標(biāo)記導(dǎo)致的預(yù)訓(xùn)練階段與微調(diào)階段數(shù)據(jù)不匹配問(wèn)題,并且大幅提高了訓(xùn)練效率,也使ELECTRA 預(yù)訓(xùn)練語(yǔ)言模型對(duì)文本中的語(yǔ)義變化特別敏感,適用于語(yǔ)法錯(cuò)誤檢測(cè)任務(wù),其性能優(yōu)于BERT 預(yù)訓(xùn)練語(yǔ)言模型。

    圖2 ELECTRA 預(yù)訓(xùn)練語(yǔ)言模型訓(xùn)練流程Fig.2 Training procedure of ELECTRA pre-training language model

    設(shè)輸入序列為X={x1,x2,…,xn},則生成的隱藏層向量Hc為:

    2.2 殘差門(mén)控卷積神經(jīng)網(wǎng)絡(luò)

    為了充分利用文本局部信息進(jìn)行語(yǔ)法錯(cuò)誤檢測(cè),降低語(yǔ)法錯(cuò)誤對(duì)上下文語(yǔ)義的影響,本文使用殘差門(mén)控卷積神經(jīng)網(wǎng)絡(luò)提取文本的局部特征,此部分由兩層卷積核長(zhǎng)度分別為5 和3 的殘差門(mén)控卷積層組成,整體模型和殘差門(mén)控卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

    圖3 殘差門(mén)控卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of residual gated convolution neural network

    GCNN 主要由卷積層和線(xiàn)性門(mén)控單元(Gate Linear Unit,GLU)組成。卷積層可以提取一定寬度內(nèi)相鄰詞的局部語(yǔ)義和位置特征,并使由語(yǔ)法錯(cuò)誤造成的錯(cuò)誤語(yǔ)義控制在給定寬度內(nèi),能夠有效緩解錯(cuò)誤語(yǔ)義傳播問(wèn)題。GLU 是一種門(mén)控機(jī)制,使用Sigmoid 激活函數(shù)控制信息流通,能夠保留有效信息,抑制無(wú)效信息帶來(lái)的影響[23]。

    GCNN 單元內(nèi)的操作可用公式表示為:

    其中:Hc表示由輸入層得到的隱藏層向量;Conv 表示卷積操作;σ表示Sigmoid 激活函數(shù);?表示向量的哈達(dá)瑪積;C表示經(jīng)過(guò)門(mén)控卷積單元的局部特征向量。

    為了保留全局語(yǔ)義信息并改善梯度消失問(wèn)題,本文在GCNN 單元的基礎(chǔ)上引入殘差機(jī)制,用公式表示為:

    其中:LayerNorm 表示層歸一化;⊕表示向量相加;Z表示經(jīng)過(guò)GCNN 的特征向量。

    2.3 CRF 層

    CRF 可以解決輸出序列與標(biāo)注規(guī)則不符的問(wèn)題,如“B-S”標(biāo)簽后不能接“B-W”標(biāo)簽等,只能接“I-S”或者“O”標(biāo)簽。CRF 模型通過(guò)特征轉(zhuǎn)移函數(shù)計(jì)算概率分?jǐn)?shù),以判斷當(dāng)前位置與相鄰位置標(biāo)簽的依賴(lài)關(guān)系。

    設(shè)CRF的輸入序列為Z,則輸出序列的分?jǐn)?shù)函數(shù)為:

    其中:Tyi,yi+1表示標(biāo)簽yi到標(biāo)簽yi+1的 轉(zhuǎn)移分?jǐn)?shù);Pi,yi表示第i個(gè)字到第yi個(gè)標(biāo)簽的分?jǐn)?shù)。

    然后通過(guò)條件概率公式計(jì)算預(yù)測(cè)序列Y,以此生成所有可能的標(biāo)注序列YZ,最后使用維特比算法計(jì)算YZ中得分最高的Y:

    其中:為真實(shí)的標(biāo)注序列;Y為全局最優(yōu)標(biāo)注序列。

    2.4 輸出層

    ELECTRA-GCNN-CRF 模型在輸出層進(jìn)行BIO解碼,將語(yǔ)法錯(cuò)誤標(biāo)簽轉(zhuǎn)化為(起始位置,結(jié)束位置,語(yǔ)法錯(cuò)誤類(lèi)型)格式的三元組,輸出語(yǔ)法錯(cuò)誤檢測(cè)結(jié)果。如圖1 中輸出(9,10,R),表明例句中起始位置為“9”、結(jié)束位置為“10”的“個(gè)月”這一段文本存在語(yǔ)法錯(cuò)誤,錯(cuò)誤類(lèi)型為“成分冗余”。

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1 數(shù)據(jù)集

    為了驗(yàn)證本文方法的有效性,使用NLPTEA 中文語(yǔ)法錯(cuò)誤檢測(cè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),其為一份人工標(biāo)注過(guò)的語(yǔ)法錯(cuò)誤檢測(cè)數(shù)據(jù)集,語(yǔ)料來(lái)源是母語(yǔ)不為漢語(yǔ)的學(xué)習(xí)者在中文寫(xiě)作中產(chǎn)生的錯(cuò)誤樣例。數(shù)據(jù)集將語(yǔ)法錯(cuò)誤分為4 種類(lèi)型:Selection error(記為“S”,即用詞不當(dāng));Redundant error(記為“R”,即成分冗余);Missing error(記為“M”,即成分缺失);Word ordering error(記為“W”,即詞序不當(dāng))。對(duì)于每段語(yǔ)法錯(cuò)誤,生成“起始位置,結(jié)束位置,語(yǔ)法錯(cuò)誤類(lèi)型”格式的三元組,如果語(yǔ)句中不存在語(yǔ)法錯(cuò)誤,則輸出“correct”。數(shù)據(jù)集中的語(yǔ)句可能沒(méi)有語(yǔ)法錯(cuò)誤,也可能包含一種或多種語(yǔ)法錯(cuò)誤,數(shù)據(jù)樣例如表1 所示。

    表1 NLPTEA 中文語(yǔ)法錯(cuò)誤檢測(cè)數(shù)據(jù)集數(shù)據(jù)樣例Table 1 Data sample of NLPTEA Chinese grammar error detection dataset

    本文收集了NLPTEA 歷年的CGED 任務(wù)評(píng)測(cè)數(shù)據(jù)集,去重之后對(duì)數(shù)據(jù)進(jìn)行BIO 標(biāo)注,將數(shù)據(jù)集給出的標(biāo)簽映射到每一個(gè)字符上,并按照8∶2 的比例劃分訓(xùn)練集和驗(yàn)證集,最終在2020 年的NLPTEA CGED 任務(wù)的測(cè)試集上進(jìn)行測(cè)試,數(shù)據(jù)集規(guī)模如表2所示。

    表2 數(shù)據(jù)集規(guī)模Table 2 Dataset size 單位:個(gè)

    3.2 評(píng)價(jià)指標(biāo)

    本文采用NLPTEA 的CGED 任務(wù)評(píng)價(jià)指標(biāo)作為本次實(shí)驗(yàn)的評(píng)價(jià)標(biāo)準(zhǔn)。語(yǔ)法錯(cuò)誤檢測(cè)模型需要從以下3 個(gè)方面對(duì)語(yǔ)句進(jìn)行檢測(cè):

    1)Detection-level,即檢測(cè)層,對(duì)于輸入的語(yǔ)句,判斷其是否包含語(yǔ)法錯(cuò)誤。

    2)Identification-level,即識(shí)別層,對(duì)于輸入的語(yǔ)句,判斷其包含哪幾種語(yǔ)法錯(cuò)誤。

    3)Position-level,即定位層,對(duì)于輸入的語(yǔ)句,判斷每段語(yǔ)法錯(cuò)誤的起始位置和類(lèi)型。Position-level是語(yǔ)法錯(cuò)誤檢測(cè)最關(guān)鍵的部分。

    對(duì)于上述3 個(gè)方面,模型使用以下指標(biāo)進(jìn)行評(píng)價(jià):

    3.3 參數(shù)設(shè)置

    實(shí)驗(yàn)中模型參數(shù)設(shè)置如下:隱藏層維度為768;ELECTRA 預(yù)訓(xùn)練模型[24]的Transformer結(jié)構(gòu)為12層;多頭注意力機(jī)制的頭數(shù)為12;每批次大小為240;優(yōu)化器采用Adam;丟棄率為0.15;最大迭代次數(shù)為20;使用早停法緩解過(guò)擬合;CRF 層的學(xué)習(xí)率為10-3,其他層的學(xué)習(xí)率為10-5;GCNN 層卷積核寬度分別為5 和3。

    3.4 對(duì)比實(shí)驗(yàn)結(jié)果分析

    為了驗(yàn)證本文模型的有效性,將其與NLPTEA 2020的CGED 任務(wù)中表現(xiàn)優(yōu)異的檢測(cè)模型進(jìn)行橫向比較與分析,對(duì)比模型包括ResELECTRA_ensemble[18]、BSGED_ensemble[19]、StructBERT-GCN[20]和StructBERTGCN_ensemble[20]。4 種對(duì)比模型具體描述如下:

    1)ResELECTRA_ensemble,該模型將殘差網(wǎng)絡(luò)與Transformer 結(jié)構(gòu)進(jìn)行融合,使用ELECTRA-large預(yù)訓(xùn)練語(yǔ)言模型參數(shù)進(jìn)行初始化,最后使用80 個(gè)單一模型進(jìn)行集成。

    2)BSGED_ensemble,該模型在BERT 的輸出中加入文本位置和PMI特征,并使用門(mén)控機(jī)制進(jìn)行控制,通過(guò)BiLSTM 網(wǎng)絡(luò)獲取上下文信息,然后使用CRF 層進(jìn)行解碼,最后利用16 個(gè)單一模型進(jìn)行集成。

    3)StructBERT-GCN,該模型的訓(xùn)練方式比原版BERT 增加字序預(yù)測(cè)和句序預(yù)測(cè)2 個(gè)新的訓(xùn)練目標(biāo),同時(shí)將句法依存關(guān)系使用GCN 網(wǎng)絡(luò)進(jìn)行建模并融入訓(xùn)練過(guò)程。

    4)StructBERT-GCN_ensemble,該模型是38 個(gè)StrcutBERT-GCN-CRF 模型和65 個(gè)多任務(wù)訓(xùn)練的StructBERT-CRF 模型的集成。

    在NLPTEA 2020 的中文語(yǔ)法錯(cuò)誤檢測(cè)數(shù)據(jù)集上,本文模型與基線(xiàn)模型的對(duì)比結(jié)果如表3 所示,其中,ELECTRA-GCNN-CRF 和 ELECTRA-GCNNCRF_ensemble 為本文模型,后者是10 個(gè)單一模型的集成,最優(yōu)結(jié)果加粗標(biāo)注。從表3 可以看出,在單一模型中,本文模型較StructBERT-GCN 在3 個(gè)方面的F1 值均取得明顯進(jìn)步,在所有模型中,ELECTRAGCNN-CRF_ensemble 在Detection-level 中的F1 值接近最優(yōu)性能,在Identification-level 和Position-level方面取得了最優(yōu)的F1 值。

    表3 本文模型與NLPTEA 2020 的CGED 任務(wù)評(píng)測(cè)模型性能對(duì)比Table 3 Performance comparison between this model and CGED task evaluation models of NLPTEA 2020 %

    3.5 消融實(shí)驗(yàn)結(jié)果分析

    為了驗(yàn)證本文模型各部分結(jié)構(gòu)的有效性,采用以下模型進(jìn)行消融實(shí)驗(yàn):

    1)ELECTRA-softmax,僅使用ELECTRA 預(yù)訓(xùn)練語(yǔ)言模型。

    2)ELECTRA-CRF,使用ELECTRA 預(yù)訓(xùn)練模型和CRF 層。

    3)BERT-GCNN-CRF,將本文的預(yù)訓(xùn)練語(yǔ)言模型替換為BERT-base 預(yù)訓(xùn)練模型[25],其余部分不變。

    4)ELECTRA-BiLSTM-CRF,將本文模型的GCNN層替換為2 層BiLSTM 神經(jīng)網(wǎng)絡(luò),其余部分不變。

    5)ELECTRA-GCNN-CRF-RES,在本文模型的基礎(chǔ)上去掉GCNN 層的殘差機(jī)制,其余結(jié)構(gòu)和參數(shù)不變。

    6)ELECTRA-GCNN-CRF,本文提出的中文語(yǔ)法錯(cuò)誤檢測(cè)模型。

    消融實(shí)驗(yàn)結(jié)果如表4 所示。從表4 可以看出:ELECTRA-softmax、ELECTRA-CRF 和ELECTRAGCNN-CRF 在3 個(gè)方面的F1 值均依次上升,證明了GCNN 層和CRF 層的有效性;ELECTRA-BiLSTMCRF 在Detection-level 中取得最高的F1 值,表明在判斷語(yǔ)句是否有語(yǔ)法錯(cuò)誤的任務(wù)中,使用BiLSTM網(wǎng)絡(luò)捕捉上下文信息可以獲得更好的效果;對(duì)比ELECTRA-GCNN-CRF 和BERT-GCNN-CRF 可以看出,在參數(shù)規(guī)模相同的情況下,使用ELECTRA 預(yù)訓(xùn)練模型性能遠(yuǎn)優(yōu)于BERT 預(yù)訓(xùn)練模型,證明ELECTRA 生成的上下文語(yǔ)義特征向量更能反映語(yǔ)義變化情況,對(duì)錯(cuò)誤語(yǔ)義更加敏感,能夠獲取基礎(chǔ)的語(yǔ)法錯(cuò)誤特征,結(jié)合后續(xù)的局部信息提取層能夠獲得語(yǔ)法錯(cuò)誤的相對(duì)位置和局部語(yǔ)義信息,從而提升語(yǔ)法錯(cuò)誤檢測(cè)效果;ELECTRA-GCNN-CRF 對(duì)比ELECTRA-BiLSTM-CRF,在Position-level 的F1 值提升了1.37 個(gè)百分點(diǎn),即使用GCNN 網(wǎng)絡(luò)相較于BiLSTM 網(wǎng)絡(luò)能夠更好地提取文本特征,緩解語(yǔ)法錯(cuò)誤對(duì)于上下文語(yǔ)義的影響;ELECTRA-GCNNCRF-RES 對(duì) 比ELECTRA-GCNN-CRF,在Positionlevel 的F1 值下降了3.97 個(gè)百分點(diǎn),表明加入殘差機(jī)制可以使模型更好地識(shí)別語(yǔ)法錯(cuò)誤邊界。

    表4 消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experimental results %

    3.6 語(yǔ)法錯(cuò)誤對(duì)比實(shí)驗(yàn)結(jié)果分析

    為了進(jìn)一步比較不同模型在不同類(lèi)型語(yǔ)法錯(cuò)誤中的識(shí)別效果,本文分別計(jì)算BERT-GCNN-CRF、ELECTRA-BiLSTM-CRF、ELECTRA-softmax、ELECTRACRF 和ELECTRA-GCNN-CRF 模型在4 種語(yǔ)法錯(cuò)誤中Position-level 的精確率、召回率和F1 值,其中精確率如圖4 所示。從圖4 可以看出,本文模型在4 種語(yǔ)法錯(cuò)誤中均能取得最高的精確率,這是由于語(yǔ)法錯(cuò)誤通常出現(xiàn)在文本局部,本文模型通過(guò)GCNN 網(wǎng)絡(luò)能夠?qū)W習(xí)到每種語(yǔ)法錯(cuò)誤的相對(duì)位置、局部語(yǔ)義信息等重要特征,因此,相比于其他模型,本文模型能夠更加精準(zhǔn)地識(shí)別語(yǔ)法錯(cuò)誤的起止邊界和類(lèi)型,從而提升中文語(yǔ)法錯(cuò)誤識(shí)別精度。在W 型錯(cuò)誤中,ELECTRA-softmax 和ELECTRA-CRF 模型的對(duì)比結(jié)果表明CRF 層對(duì)于識(shí)別語(yǔ)序錯(cuò)誤具有重要作用。

    圖4 5 種模型檢測(cè)不同類(lèi)型語(yǔ)法錯(cuò)誤時(shí)的精確率對(duì)比Fig.4 Comparison of precision of five models in detecting different types of grammar errors

    召回率對(duì)比情況如圖5 所示,從圖5 可以看出,和精確率情況類(lèi)似,本文模型在S 型、R 型和W 型的語(yǔ)法錯(cuò)誤中均能取得最高性能,然而,在M 型語(yǔ)法錯(cuò)誤中,ELECTRA-BiLSTM-CRF 模型的召回率比本文模型高出3.02%,原因可能是成分缺失錯(cuò)誤往往出現(xiàn)在句子的主語(yǔ)或謂語(yǔ)部分,識(shí)別此種類(lèi)型的錯(cuò)誤需要更大范圍的上下文乃至全局語(yǔ)義信息,在全局語(yǔ)義特征提取方面GCNN 網(wǎng)絡(luò)不如BiLSTM。

    圖5 5 種模型檢測(cè)不同類(lèi)型語(yǔ)法錯(cuò)誤時(shí)的召回率對(duì)比Fig.5 Comparison of recall of five models in detecting different types of grammar errors

    為了綜合衡量模型性能,平衡精確率和召回率,本文對(duì)比不同模型的F1 值,結(jié)果如圖6 所示。從圖6可以看出:基于BERT 的中文語(yǔ)法錯(cuò)誤檢測(cè)模型的F1 值在3 種語(yǔ)法錯(cuò)誤中遜于其他模型,僅在W 型錯(cuò)誤中優(yōu)于ELECTRA-softmax 模型,說(shuō)明ELECTRA模型的預(yù)訓(xùn)練方式對(duì)中文語(yǔ)法錯(cuò)誤檢測(cè)任務(wù)有顯著效果;在基于ELECTRA 的模型中,對(duì)于M 型語(yǔ)法錯(cuò)誤的識(shí)別F1 值均相差無(wú)幾,說(shuō)明基于ELECTRA 的模型均對(duì)M 型語(yǔ)法錯(cuò)誤較為敏感;在其他3 種類(lèi)型的錯(cuò)誤中,本文模型的F1 值相較對(duì)比模型均有不同程度的提升。以上結(jié)果表明本文模型在中文語(yǔ)法錯(cuò)誤檢測(cè)任務(wù)中具有有效性。

    圖6 5 種模型檢測(cè)不同類(lèi)型語(yǔ)法錯(cuò)誤時(shí)的F1 值對(duì)比Fig.6 Comparison of F1 values of five models in detecting different types of grammar errors

    4 結(jié)束語(yǔ)

    針對(duì)現(xiàn)有中文語(yǔ)法錯(cuò)誤檢測(cè)模型無(wú)法充分利用文本局部信息導(dǎo)致語(yǔ)法錯(cuò)誤檢測(cè)效果較差的問(wèn)題,本文提出一種中文語(yǔ)法錯(cuò)誤檢測(cè)模型ELECTRAGCNN-CRF。將中文語(yǔ)法錯(cuò)誤檢測(cè)視為序列標(biāo)注問(wèn)題,通過(guò)ELECTRA 語(yǔ)言模型獲取文本的語(yǔ)義表征,結(jié)合殘差門(mén)控卷積神經(jīng)網(wǎng)絡(luò)和CRF 識(shí)別語(yǔ)法錯(cuò)誤。在NLPTEA CGED 2020 公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,該模型對(duì)中文語(yǔ)法錯(cuò)誤檢測(cè)效果具有提升作用,消融實(shí)驗(yàn)結(jié)果也驗(yàn)證了模型各部分結(jié)構(gòu)的有效性。

    中文語(yǔ)法具有較高的復(fù)雜性,本文所提模型仍然存在很多不足,在錯(cuò)誤類(lèi)型和位置的識(shí)別檢測(cè)方面有很大的提升空間。下一步將針對(duì)目前缺乏大規(guī)模中文語(yǔ)法錯(cuò)誤數(shù)據(jù)集的問(wèn)題,研究新的數(shù)據(jù)增強(qiáng)方法,使得構(gòu)造的偽數(shù)據(jù)能夠很好地模擬真實(shí)的語(yǔ)法錯(cuò)誤,從而獲得更優(yōu)的語(yǔ)法錯(cuò)誤檢測(cè)效果。

    猜你喜歡
    語(yǔ)法錯(cuò)誤語(yǔ)義卷積
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    語(yǔ)言與語(yǔ)義
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    漢語(yǔ)負(fù)遷移對(duì)英語(yǔ)寫(xiě)作的影響及啟示
    科技資訊(2016年25期)2016-12-27 10:55:46
    高中英語(yǔ)寫(xiě)作中的語(yǔ)法錯(cuò)誤分析
    青春歲月(2016年22期)2016-12-23 10:59:20
    “上”與“下”語(yǔ)義的不對(duì)稱(chēng)性及其認(rèn)知闡釋
    高中英語(yǔ)寫(xiě)作錯(cuò)誤分析個(gè)案研究
    認(rèn)知范疇模糊與語(yǔ)義模糊
    一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
    av网站在线播放免费| 久久精品人人爽人人爽视色| 一本大道久久a久久精品| 久久久精品国产亚洲av高清涩受| 亚洲片人在线观看| 国产成人欧美| 一级作爱视频免费观看| 欧美乱色亚洲激情| 99精品久久久久人妻精品| 伊人久久大香线蕉亚洲五| 成人黄色视频免费在线看| 亚洲欧美日韩另类电影网站| 午夜日韩欧美国产| xxx96com| 成年人黄色毛片网站| 激情在线观看视频在线高清 | 久久ye,这里只有精品| 久久精品国产清高在天天线| 两人在一起打扑克的视频| 天天影视国产精品| 国产激情久久老熟女| 久久精品aⅴ一区二区三区四区| 91老司机精品| 日韩一卡2卡3卡4卡2021年| 欧美日韩中文字幕国产精品一区二区三区 | av国产精品久久久久影院| 69av精品久久久久久| av有码第一页| 日韩成人在线观看一区二区三区| 亚洲三区欧美一区| www.熟女人妻精品国产| 狠狠狠狠99中文字幕| 免费在线观看完整版高清| 精品久久久精品久久久| 日韩免费高清中文字幕av| 在线永久观看黄色视频| 国产成人欧美在线观看 | av网站在线播放免费| 成年人免费黄色播放视频| 国产一区有黄有色的免费视频| 香蕉久久夜色| 夫妻午夜视频| 超色免费av| 美女午夜性视频免费| 亚洲精品成人av观看孕妇| 咕卡用的链子| 国产国语露脸激情在线看| 欧美在线黄色| 国产精品99久久99久久久不卡| 欧美中文综合在线视频| 亚洲视频免费观看视频| 欧美精品亚洲一区二区| 欧美大码av| 视频区图区小说| 亚洲熟妇中文字幕五十中出 | 高清欧美精品videossex| 国产精品免费大片| 国产精品偷伦视频观看了| 午夜福利免费观看在线| 精品一区二区三卡| 精品少妇一区二区三区视频日本电影| 欧美成人免费av一区二区三区 | 人妻一区二区av| 日本五十路高清| 一区二区三区激情视频| 精品无人区乱码1区二区| 黑丝袜美女国产一区| 国产av一区二区精品久久| videos熟女内射| 国产在线一区二区三区精| 咕卡用的链子| 最新美女视频免费是黄的| 久久这里只有精品19| 一级作爱视频免费观看| 人人妻人人爽人人添夜夜欢视频| 女人被狂操c到高潮| 亚洲国产毛片av蜜桃av| 丰满迷人的少妇在线观看| 高清av免费在线| 99精品欧美一区二区三区四区| 免费在线观看视频国产中文字幕亚洲| 国产高清国产精品国产三级| 最新在线观看一区二区三区| 成人手机av| 深夜精品福利| 精品人妻在线不人妻| 国产精品综合久久久久久久免费 | 美国免费a级毛片| 两个人看的免费小视频| 十分钟在线观看高清视频www| 欧美人与性动交α欧美精品济南到| 岛国毛片在线播放| 99re6热这里在线精品视频| 在线天堂中文资源库| 精品人妻熟女毛片av久久网站| 成年人午夜在线观看视频| 日韩一卡2卡3卡4卡2021年| 久久天躁狠狠躁夜夜2o2o| 精品人妻熟女毛片av久久网站| 久久精品国产亚洲av香蕉五月 | 久久国产精品大桥未久av| av视频免费观看在线观看| 丝瓜视频免费看黄片| 国产成人免费无遮挡视频| 黄色a级毛片大全视频| 精品久久蜜臀av无| 久9热在线精品视频| 亚洲熟妇中文字幕五十中出 | 国产精品综合久久久久久久免费 | 美女福利国产在线| 91大片在线观看| 中出人妻视频一区二区| 欧美亚洲 丝袜 人妻 在线| 午夜福利在线免费观看网站| 免费在线观看完整版高清| 国产成人系列免费观看| 亚洲欧美激情在线| 韩国av一区二区三区四区| 久久人人爽av亚洲精品天堂| 女人被狂操c到高潮| 久99久视频精品免费| 久久精品91无色码中文字幕| 天天添夜夜摸| 99re6热这里在线精品视频| 国产主播在线观看一区二区| 不卡一级毛片| 欧美激情久久久久久爽电影 | 久久久国产欧美日韩av| 免费不卡黄色视频| 亚洲精品美女久久久久99蜜臀| 国产视频一区二区在线看| 亚洲国产欧美网| 久久午夜综合久久蜜桃| 国精品久久久久久国模美| 美国免费a级毛片| 亚洲一区二区三区不卡视频| 国产成人免费观看mmmm| 18禁裸乳无遮挡动漫免费视频| 久久草成人影院| 日本一区二区免费在线视频| 日韩欧美三级三区| 中文字幕精品免费在线观看视频| 窝窝影院91人妻| 美女福利国产在线| 国产99久久九九免费精品| 亚洲精品国产色婷婷电影| 熟女少妇亚洲综合色aaa.| 欧美丝袜亚洲另类 | 亚洲av成人一区二区三| 欧美日韩亚洲国产一区二区在线观看 | 女性被躁到高潮视频| 一边摸一边抽搐一进一出视频| 老司机在亚洲福利影院| 老熟妇乱子伦视频在线观看| 午夜日韩欧美国产| 两性午夜刺激爽爽歪歪视频在线观看 | 又黄又粗又硬又大视频| 亚洲中文日韩欧美视频| 午夜日韩欧美国产| 欧美精品一区二区免费开放| 亚洲少妇的诱惑av| 每晚都被弄得嗷嗷叫到高潮| 国产精品1区2区在线观看. | 99久久人妻综合| 悠悠久久av| 亚洲专区国产一区二区| 国产一区二区三区视频了| 999精品在线视频| 自线自在国产av| 午夜影院日韩av| 女人高潮潮喷娇喘18禁视频| 午夜免费成人在线视频| 亚洲伊人色综图| 少妇粗大呻吟视频| 999久久久国产精品视频| 亚洲国产精品sss在线观看 | 亚洲欧美激情综合另类| 亚洲人成电影观看| 久久久久久久久久久久大奶| 高清黄色对白视频在线免费看| 中文字幕另类日韩欧美亚洲嫩草| 国产欧美亚洲国产| 亚洲精品粉嫩美女一区| 亚洲av成人av| 天天躁狠狠躁夜夜躁狠狠躁| 国产视频一区二区在线看| 麻豆乱淫一区二区| 老熟妇仑乱视频hdxx| 亚洲第一av免费看| 一区二区日韩欧美中文字幕| 大型黄色视频在线免费观看| 欧美精品亚洲一区二区| 少妇 在线观看| 婷婷精品国产亚洲av在线 | 久99久视频精品免费| 法律面前人人平等表现在哪些方面| 亚洲中文日韩欧美视频| 成年版毛片免费区| 无限看片的www在线观看| 一级毛片高清免费大全| 亚洲午夜理论影院| 亚洲精品国产区一区二| 亚洲视频免费观看视频| 亚洲七黄色美女视频| 成人国语在线视频| 大片电影免费在线观看免费| 黑人欧美特级aaaaaa片| 天天躁日日躁夜夜躁夜夜| 黄网站色视频无遮挡免费观看| 午夜精品国产一区二区电影| 国产精品1区2区在线观看. | 国产精品偷伦视频观看了| 欧美亚洲 丝袜 人妻 在线| 狠狠狠狠99中文字幕| 日本a在线网址| 日本a在线网址| 电影成人av| 91国产中文字幕| 久99久视频精品免费| 日本撒尿小便嘘嘘汇集6| 亚洲精品乱久久久久久| 亚洲第一欧美日韩一区二区三区| 国产精品免费大片| 国产片内射在线| 在线国产一区二区在线| 美女福利国产在线| 韩国av一区二区三区四区| 午夜激情av网站| 乱人伦中国视频| 国产精品久久久人人做人人爽| 精品久久久久久,| 国产成人系列免费观看| 午夜免费成人在线视频| 在线永久观看黄色视频| 欧美激情高清一区二区三区| 欧美成狂野欧美在线观看| 亚洲欧美激情综合另类| 欧美大码av| 国产亚洲精品一区二区www | 午夜免费观看网址| 亚洲成av片中文字幕在线观看| 精品国产一区二区三区四区第35| 国产亚洲精品第一综合不卡| 好男人电影高清在线观看| 精品人妻1区二区| tube8黄色片| 亚洲男人天堂网一区| 中文字幕人妻丝袜制服| 色94色欧美一区二区| 日本黄色日本黄色录像| 一个人免费在线观看的高清视频| 久久99一区二区三区| 国产色视频综合| 午夜老司机福利片| 国产激情久久老熟女| 人人妻人人添人人爽欧美一区卜| 99久久99久久久精品蜜桃| 亚洲精品国产色婷婷电影| √禁漫天堂资源中文www| 色尼玛亚洲综合影院| 午夜久久久在线观看| 久久久久久久久免费视频了| 在线观看免费高清a一片| 免费在线观看视频国产中文字幕亚洲| 超碰成人久久| 成年版毛片免费区| 身体一侧抽搐| ponron亚洲| 巨乳人妻的诱惑在线观看| 91麻豆精品激情在线观看国产 | 十八禁高潮呻吟视频| 久久精品aⅴ一区二区三区四区| 高清视频免费观看一区二区| 午夜福利在线免费观看网站| 亚洲aⅴ乱码一区二区在线播放 | 曰老女人黄片| 一区二区三区激情视频| 18禁观看日本| 国产一区在线观看成人免费| 精品国产美女av久久久久小说| 欧美午夜高清在线| 99热只有精品国产| 性色av乱码一区二区三区2| 制服诱惑二区| 很黄的视频免费| 国产精品免费大片| 欧美久久黑人一区二区| 久久人人爽av亚洲精品天堂| 国产亚洲av高清不卡| av欧美777| 黄频高清免费视频| 视频区图区小说| 国产精华一区二区三区| 国产精品亚洲av一区麻豆| 夜夜躁狠狠躁天天躁| 成年人午夜在线观看视频| 婷婷精品国产亚洲av在线 | 99精品久久久久人妻精品| 我的亚洲天堂| 在线观看66精品国产| 美女午夜性视频免费| 90打野战视频偷拍视频| 国产欧美日韩精品亚洲av| 亚洲性夜色夜夜综合| 这个男人来自地球电影免费观看| 欧美日韩福利视频一区二区| 日韩欧美在线二视频 | 高清视频免费观看一区二区| 露出奶头的视频| 久久久国产成人免费| 国产99久久九九免费精品| 老熟妇仑乱视频hdxx| 国产精品秋霞免费鲁丝片| 大陆偷拍与自拍| 精品福利永久在线观看| 很黄的视频免费| 人人澡人人妻人| www日本在线高清视频| 丝袜在线中文字幕| 啦啦啦免费观看视频1| 久久久久久久午夜电影 | 亚洲人成77777在线视频| 最新的欧美精品一区二区| 国产亚洲欧美精品永久| 在线av久久热| 在线观看免费高清a一片| 国产精品99久久99久久久不卡| 亚洲片人在线观看| 久久久久久久久久久久大奶| 免费在线观看黄色视频的| 高清在线国产一区| 不卡av一区二区三区| 嫩草影视91久久| 国产一卡二卡三卡精品| 亚洲精华国产精华精| 国产男女内射视频| 亚洲国产欧美网| 国产无遮挡羞羞视频在线观看| 国产欧美日韩一区二区三区在线| 中文字幕人妻丝袜一区二区| 国产成人影院久久av| 亚洲国产中文字幕在线视频| 精品久久久精品久久久| 国产精品综合久久久久久久免费 | 最新的欧美精品一区二区| 欧美大码av| 日日夜夜操网爽| 久久精品国产综合久久久| 搡老熟女国产l中国老女人| 免费在线观看影片大全网站| 国产主播在线观看一区二区| 免费观看人在逋| 国产欧美日韩综合在线一区二区| 91大片在线观看| 777久久人妻少妇嫩草av网站| 国产成人系列免费观看| 人人妻人人澡人人爽人人夜夜| 久久精品91无色码中文字幕| 亚洲第一欧美日韩一区二区三区| 丝袜美足系列| 亚洲国产欧美日韩在线播放| 精品乱码久久久久久99久播| 久久天躁狠狠躁夜夜2o2o| 人妻久久中文字幕网| 高清欧美精品videossex| 成人国产一区最新在线观看| 99国产精品免费福利视频| 国产精品久久视频播放| 国产精品免费大片| 欧美激情久久久久久爽电影 | 叶爱在线成人免费视频播放| 亚洲av第一区精品v没综合| 国产精品亚洲av一区麻豆| 又黄又爽又免费观看的视频| 亚洲美女黄片视频| 亚洲aⅴ乱码一区二区在线播放 | 自拍欧美九色日韩亚洲蝌蚪91| 啦啦啦在线免费观看视频4| 亚洲伊人色综图| 日本a在线网址| 国产人伦9x9x在线观看| 亚洲精品一卡2卡三卡4卡5卡| 国产在线观看jvid| 久久人妻福利社区极品人妻图片| aaaaa片日本免费| 一边摸一边抽搐一进一出视频| 午夜免费观看网址| 桃红色精品国产亚洲av| 国产在线精品亚洲第一网站| 久久精品国产综合久久久| 在线观看www视频免费| 91麻豆精品激情在线观看国产 | 久久久水蜜桃国产精品网| 天天操日日干夜夜撸| 国产成人欧美在线观看 | 黄片小视频在线播放| 男人操女人黄网站| 久久国产亚洲av麻豆专区| 久久人人97超碰香蕉20202| 露出奶头的视频| 久久精品国产99精品国产亚洲性色 | 亚洲黑人精品在线| 中文字幕人妻熟女乱码| 欧美日韩国产mv在线观看视频| 亚洲精品在线观看二区| 极品教师在线免费播放| 成人国语在线视频| 国产精品乱码一区二三区的特点 | 国产精品久久视频播放| 久久草成人影院| 一本大道久久a久久精品| 国产一区在线观看成人免费| 亚洲aⅴ乱码一区二区在线播放 | 三上悠亚av全集在线观看| 国产精品.久久久| 一区在线观看完整版| 欧美日韩一级在线毛片| 9色porny在线观看| 12—13女人毛片做爰片一| 成人免费观看视频高清| 一级作爱视频免费观看| 男男h啪啪无遮挡| 日本五十路高清| 天堂中文最新版在线下载| 亚洲精品乱久久久久久| 成年人午夜在线观看视频| 精品一品国产午夜福利视频| 在线看a的网站| 欧美日韩亚洲国产一区二区在线观看 | 国产精品永久免费网站| 少妇粗大呻吟视频| 国产成人精品久久二区二区91| svipshipincom国产片| 亚洲色图av天堂| 一区二区日韩欧美中文字幕| 夜夜爽天天搞| 精品第一国产精品| av中文乱码字幕在线| 亚洲人成电影观看| 精品高清国产在线一区| 国产蜜桃级精品一区二区三区 | 手机成人av网站| 国产不卡av网站在线观看| 国产成人影院久久av| 国产精品电影一区二区三区 | 久9热在线精品视频| 午夜福利影视在线免费观看| 午夜福利欧美成人| 成人黄色视频免费在线看| 老司机亚洲免费影院| 夜夜爽天天搞| 国产xxxxx性猛交| 欧美激情高清一区二区三区| 中亚洲国语对白在线视频| 午夜久久久在线观看| av免费在线观看网站| 欧美在线黄色| 最近最新中文字幕大全免费视频| 日韩欧美在线二视频 | 久久中文字幕一级| 久久久国产一区二区| 日本黄色视频三级网站网址 | 欧美精品av麻豆av| 一进一出抽搐gif免费好疼 | 乱人伦中国视频| 国内毛片毛片毛片毛片毛片| 日韩欧美在线二视频 | 交换朋友夫妻互换小说| 黄片播放在线免费| av中文乱码字幕在线| 69av精品久久久久久| 人妻丰满熟妇av一区二区三区 | 91精品三级在线观看| 亚洲熟女精品中文字幕| 好看av亚洲va欧美ⅴa在| 两个人免费观看高清视频| 久久香蕉激情| 欧美精品啪啪一区二区三区| 日本精品一区二区三区蜜桃| 国产成人av教育| 亚洲自偷自拍图片 自拍| 亚洲成人国产一区在线观看| 亚洲第一欧美日韩一区二区三区| 亚洲国产欧美日韩在线播放| 欧美在线一区亚洲| 久久 成人 亚洲| 宅男免费午夜| 视频区图区小说| 亚洲一区中文字幕在线| 91麻豆精品激情在线观看国产 | 午夜精品在线福利| 欧美 亚洲 国产 日韩一| 岛国毛片在线播放| 国产高清videossex| 天天躁狠狠躁夜夜躁狠狠躁| 成人黄色视频免费在线看| 手机成人av网站| 18禁国产床啪视频网站| 十分钟在线观看高清视频www| 丰满饥渴人妻一区二区三| 男女之事视频高清在线观看| 看免费av毛片| 久热这里只有精品99| 夜夜夜夜夜久久久久| 美女视频免费永久观看网站| a级毛片在线看网站| 亚洲自偷自拍图片 自拍| 啦啦啦 在线观看视频| 亚洲精品国产色婷婷电影| 女人高潮潮喷娇喘18禁视频| 成年人黄色毛片网站| 欧美人与性动交α欧美软件| 亚洲久久久国产精品| 欧美成人免费av一区二区三区 | 国产一区在线观看成人免费| 午夜精品久久久久久毛片777| 国产精品国产高清国产av | 精品一区二区三区四区五区乱码| 亚洲欧美日韩另类电影网站| 亚洲av日韩精品久久久久久密| av一本久久久久| 午夜福利视频在线观看免费| 99精品久久久久人妻精品| 水蜜桃什么品种好| 日韩视频一区二区在线观看| 久久青草综合色| 丰满的人妻完整版| 国产单亲对白刺激| 亚洲性夜色夜夜综合| 久久人妻av系列| 另类亚洲欧美激情| 久久久久久亚洲精品国产蜜桃av| 亚洲成人免费电影在线观看| 亚洲精品中文字幕一二三四区| 黄色毛片三级朝国网站| 1024香蕉在线观看| √禁漫天堂资源中文www| 一级a爱片免费观看的视频| 日韩一卡2卡3卡4卡2021年| 欧美 日韩 精品 国产| 久久九九热精品免费| 少妇 在线观看| 69av精品久久久久久| 好看av亚洲va欧美ⅴa在| 天堂√8在线中文| xxx96com| 久久天堂一区二区三区四区| 欧美中文综合在线视频| 丁香欧美五月| 国产97色在线日韩免费| 国产深夜福利视频在线观看| 在线观看免费日韩欧美大片| 黄色成人免费大全| 最近最新中文字幕大全免费视频| 午夜91福利影院| 亚洲精品国产精品久久久不卡| 黑人欧美特级aaaaaa片| 在线观看免费视频网站a站| 久久精品国产99精品国产亚洲性色 | 亚洲欧美一区二区三区久久| 捣出白浆h1v1| 丰满迷人的少妇在线观看| 国产蜜桃级精品一区二区三区 | 亚洲少妇的诱惑av| 女警被强在线播放| 老汉色∧v一级毛片| 超色免费av| 水蜜桃什么品种好| 电影成人av| 欧美精品亚洲一区二区| 69av精品久久久久久| 日韩免费高清中文字幕av| 日韩熟女老妇一区二区性免费视频| 亚洲在线自拍视频| 少妇被粗大的猛进出69影院| 精品久久蜜臀av无| 午夜影院日韩av| 精品一区二区三区四区五区乱码| 每晚都被弄得嗷嗷叫到高潮| 久久性视频一级片| 国产亚洲精品久久久久久毛片 | 国产精品98久久久久久宅男小说| 亚洲精品国产精品久久久不卡| 中文字幕高清在线视频| 视频区欧美日本亚洲| 99精品在免费线老司机午夜| 18禁国产床啪视频网站| 伦理电影免费视频| av视频免费观看在线观看| 国产精品免费大片| 午夜福利欧美成人| 亚洲综合色网址| 啦啦啦免费观看视频1| 大码成人一级视频| 国产一区有黄有色的免费视频| 两人在一起打扑克的视频| av天堂在线播放| av片东京热男人的天堂| 人人妻,人人澡人人爽秒播| 久久久精品国产亚洲av高清涩受| 黑人巨大精品欧美一区二区蜜桃| 99热国产这里只有精品6| 美女视频免费永久观看网站| 成年人黄色毛片网站| 亚洲国产欧美日韩在线播放| 99香蕉大伊视频| 91字幕亚洲| 精品久久久久久电影网| 婷婷精品国产亚洲av在线 | 成年版毛片免费区| 人成视频在线观看免费观看| 亚洲国产精品合色在线| 男女下面插进去视频免费观看| 国产乱人伦免费视频| 久久久久久久久久久久大奶|