• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種交互式事件常識知識的獲取方法

    2016-05-04 01:15:46曹聰曹存根臧良軍王石
    中文信息學(xué)報 2016年3期
    關(guān)鍵詞:可接受性貢獻者后果

    曹聰,曹存根,臧良軍,王石

    (1. 中國科學(xué)院 計算技術(shù)研究所 智能信息處理重點實驗室,北京 100190;2. 中國科學(xué)院大學(xué),北京 100049;3. 中國科學(xué)院 信息工程研究所,北京 100093)

    一種交互式事件常識知識的獲取方法

    曹聰1,2,3,曹存根1,臧良軍3,王石1

    (1. 中國科學(xué)院 計算技術(shù)研究所 智能信息處理重點實驗室,北京 100190;2. 中國科學(xué)院大學(xué),北京 100049;3. 中國科學(xué)院 信息工程研究所,北京 100093)

    賦予機器常識知識是使機器具有真正智能的必備條件之一,而獲得這些常識一直是人工智能研究的一個重要課題。該文提出了一種通過交互的方式來引導(dǎo)知識貢獻者給出關(guān)于事件的常識知識的方法。方法獲取過程是一個機器與貢獻者的交互過程: 機器動態(tài)地生成問題,對知識貢獻者進行提問;知識貢獻者通過回答問題給出常識知識。交互過程通過包含提示信息的提問問題對知識貢獻者進行提示,運用七種類型問題層層遞進地引導(dǎo)知識貢獻者思考,以此喚醒他們大腦中的常識知識;通過動態(tài)變化的問題改善知識貢獻者貢獻常識知識過程的趣味性。同時,該文還引入可接受性和有效性兩個定量標準評價提問問題,用于進一步改善交互過程。實驗結(jié)果表明,知識貢獻者運用此方法給出的知識量增加了451.61%,同時知識的正確率也達到了92.5%。

    常識知識獲??;事件常識;交互過程

    1 引言

    自從McCarthy[1]開展了第一個常識知識項目,常識知識問題已經(jīng)成為人工智能界核心的研究課題,其中常識知識獲取是常識知識問題的基礎(chǔ)。

    由于常識知識具有隱含性和多樣性[2-3],從文本中自動抽取常識知識變得非常困難,因此,常識知識獲取最可靠的方法是人工獲取。人工參與的常識知識獲取面臨的一個困難是知識貢獻者在給出常識知識的過程中非??菰餆o趣,造成知識貢獻者流失。同時又由于常識知識的基礎(chǔ)性[2]導(dǎo)致很多人會忽略常識知識,這樣就會導(dǎo)致知識貢獻者思考給出常識知識過程非常費力并且經(jīng)過長時間思考還是想不出常識知識。以往的方法要么忽視存在的問題,要么用金錢來刺激知識貢獻者,不能很好地解決上述兩個問題。

    本文介紹一種基于交互式提問引導(dǎo)知識貢獻者的方法。機器通過提問的方式與知識貢獻者進行交互,引導(dǎo)知識貢獻者給出一類重要的常識知識——事件的常識性前提知識和后果知識。

    交互過程借助于一個交互腳本,根據(jù)知識貢獻者對當(dāng)前問題的反饋來影響下一個問題的生成。知識貢獻者看到動態(tài)變化的問題,會感覺常識知識輸入的過程不再枯燥乏味。

    提問問題基于問題模板自動生成。生成的問題包含提示信息,對知識貢獻者起到刺激和提示的作用。提問問題會讓知識貢獻者得到一個明確具體的目標,以此來減輕知識貢獻者的負擔(dān),進而有效地喚醒大腦中的常識知識。同時對于生成的問題我們會給出定量的衡量標準并將此用于改善提問交互的過程。

    2 相關(guān)工作

    當(dāng)前流行的常識知識獲取方法可以分為兩類: 一種是人工編撰常識知識,另一種是自動獲取。較為著名的項目是Cyc[4]和OpenMind[5]。Cyc是知識工程師手工編輯常識知識。他們將屬性、動作、時空、事件等常識手工編輯入庫。但是Cyc雇傭的知識工程師要熟悉Cyc自己定義的一門語言,這會給常識知識輸入過程增加負擔(dān)。OpenMind為非專家的網(wǎng)絡(luò)用戶提供了常識知識輸入平臺。但是OpenMind缺乏有效的刺激方法,并且網(wǎng)絡(luò)用戶多是非職業(yè)人士,因此知識貢獻者思考給出常識知識的過程負擔(dān)較重。

    為了減輕人工給出常識知識過程負擔(dān)并增加趣味性,與知識貢獻者交互獲取常識知識的方法相繼出現(xiàn)。LEARNER[6]基于已有關(guān)于實體的知識庫,實現(xiàn)類比推理,得到一些候選的知識,然后通過人工機械式地判斷,以此獲取常識知識。此方法缺乏交互,知識工程師效率低下。Common Consensus[7]通過詢問兩個知識貢獻者完成一個目標需要些什么,知識貢獻者通過兩人給出一致性的答案來獲取高積分,高一致性帶來高質(zhì)量的常識知識。Open Mind Commons[8]利用知識庫中已有的知識進行推理,然后產(chǎn)生問題讓知識貢獻者進行回答,以此來填補知識庫中的空缺。如果知識貢獻者拒絕某一條知識還可以修改知識。

    游戲20Q[9]利用知識庫自動地產(chǎn)生20個問題,這些問題由游戲參與者回答。根據(jù)參與者的回答,機器去猜測出游戲參與者腦海中想象的實體,進而從答案中抽取常識知識。Verbosity[10]需要兩個知識貢獻者參與,其中一個描述概念,另一個猜測概念是什么。對概念的描述就是常識知識的來源。實驗結(jié)果表明Verbosity有一定的趣味性,獲得知識的正確率為85%。Concept Game[11]是一個facebook游戲,它的輸入是通過文本挖掘方法得到的候選斷言,知識貢獻者為了獲得積分來驗證隨機呈現(xiàn)給他們的斷言。

    為了降低人工獲取常識的高成本,自動獲取的方法相繼出現(xiàn)。Matusz等人[12]利用Cyc中已有的知識作為種子,通過構(gòu)造查詢項,從Google的返回結(jié)果中抽取、驗證新知識。Shah等人[13]也是利用Cyc中已有知識作為種子,在Web網(wǎng)頁中抽取關(guān)于命名實體的信息。ConceptMiner[14]以ConceptNet[15]作為背景知識庫,以搜索引擎為工具,利用信息抽取技術(shù)發(fā)現(xiàn)web中存在的常識。自動化的方法不能解決常識知識隱含性的問題,因此它只能作為人工獲取常識知識方法的一種補充。

    多年來,國內(nèi)一批學(xué)者在常識知識研究方面也做出許多工作。HowNet[16]是最大的中英雙語常識知識庫,Zhishi.me[17]、Tsinghua-ChineseKB[18]、CASIA-KB[19]是另外三個規(guī)模較大的中文常識知識庫。計算所NKI[20]課題組利用自動化的方法獲取概念屬性類常識[21]、因果常識知識[22]、簡單事件常識知識[23]等,同時還提出了一種從多個視角人工分析獲取事件的前提和后果知識的方法[24]。

    3 事件的常識性前提知識和后果知識

    有很多科研工作者針對工作的需要提出自己的事件表示模型[25-27]。本文采用中國科學(xué)院計算技術(shù)研究所NKI課題組基于魯川的26類句模[28]修改和擴充的事件體系[24]表示事件,這里事件定義為由特定參與者參與的,在滿足一定條件下發(fā)生的,并能對參與者或其周圍世界造成一定影響的行為。事件模型被表示成一個五元組<句意,角色,語言模式,詞類,例句>。 我們這里希望給五元組補充事件發(fā)生前后需要滿足的條件和產(chǎn)生的后果,這是一種重要的常識知識——事件的常識性前提和后果知識。

    為了獲取知識,本工作呈現(xiàn)給知識貢獻者的事件是五元組中事件的實例化例句,同時我們利用事件體系中的語言模式來識別實例化例句中的各種語義元素。實例化的例句呈獻給知識貢獻者有兩個好處: 一是給獲取到的常識知識提供上下文;另一個是實例化的例句不會抽象,這有利于知識貢獻者思考常識知識,減輕知識貢獻者負擔(dān)。更長遠的目標是通過對關(guān)于例句的常識性前提和后果知識抽象來獲得關(guān)于事件的常識性前提和后果知識。

    表1中給出了部分關(guān)于例句“爸爸迎娶了寡婦”的前提知識和后果知識。

    表1 “爸爸迎娶了寡婦”前提和后果知識示例

    4 交互問題類型以及交互過程

    與知識貢獻者的交互過程是基于七種類型的問題驅(qū)動的,七種類型的問題從知識貢獻者給出常識知識過程中總結(jié)得到。這七種類型的問題會根據(jù)當(dāng)前的例句和知識貢獻者的回答填充自己的缺失內(nèi)容,同時還會根據(jù)知識貢獻者的回答情況在不同類型間的問題之間進行變換。

    4.1 交互問題類型

    類型A 為了不影響知識貢獻者的思考過程,解決提示信息會有偏向性引導(dǎo)的問題,我們只給出少量的提示信息,只提示讓知識貢獻者給出前提知識和后果知識。此類型問題模板如下:

    <前提提問>∷=<例句>發(fā)生之前,應(yīng)具備什么樣的前提條件?

    <后果提問>∷=<例句>發(fā)生之后,會產(chǎn)生什么樣的結(jié)果?

    其中,“<例句>”就是指知識貢獻者看到的當(dāng)前例句,例如“爸爸迎娶了寡婦”。在生成問題時就會用當(dāng)前例句替換問題模板中的“<例句>”。

    從問題類型A中的定義可以看到在問題中幾乎沒有任何提示信息。但是由于常識知識具有基礎(chǔ)性,所以在沒有任何提示信息的情況下知識貢獻者要給出大量的常識知識是非常困難的。因此,我們需要在問題中加入提示性信息。

    我們在彭會亮工作[23]的基礎(chǔ)上總結(jié)了反映人們認知世界的生理、心理、社會、物理世界四個大類的常識知識角度[24],如圖1所示。常識知識角度總體上分為四個大角度,每個大類角度下又分為若干個常識知識小角度。

    圖1 常識知識角度結(jié)構(gòu)圖

    我們將常識知識角度作為提示性信息用來引導(dǎo)知識貢獻者給出常識知識。對于知識貢獻者,常識知識角度還是相對抽象一些,因此這里采用基于常識知識角度進行提問的方式來提示知識貢獻者。由此我們定義問題類型B、C、D。

    類型B 此類型的問題是當(dāng)知識貢獻者在想象不到常識知識后,將基于常識知識小角度(第三層的角度)生成的問題提供給他們,讓知識貢獻者有非常明確的目標,以此提示引導(dǎo)他們給出常識知識。此類型的問題是給每個常識知識角度整理屬于自己的問題模板,結(jié)合當(dāng)前的例句,動態(tài)地生成問題。下面給出“情緒”角度的問題模板:

    <前提提問>∷=<例句>發(fā)生之前,<角色>的心情會怎么樣?

    <前提提問>∷=<例句>發(fā)生之前,和<角色>有關(guān)系的某個人的心情會怎么樣?

    <后果提問>∷=<例句>發(fā)生之后,<角色>的心情會怎么樣?

    <后果提問>∷=<例句>發(fā)生之后,和<角色>有關(guān)系的某個人的心情會怎么樣?

    其中,“<角色>”就是參與事件的事元,例如“施事”、“同事”等。問題模板實例化會用例句中的實例化事元替換“<角色>”。以“爸爸 迎娶了 寡婦”為例,上面問題模板中“<角色>”可以替換為“爸爸”或“寡婦”。篇幅的限制,后續(xù)問題介紹葉本文只給出后果知識的模板示例。

    類型C 為了獲取更多關(guān)于某一個常識知識小角度方面的常識知識,同時減少提示過程中的偏向性引導(dǎo),這里不限制事元。以“情緒”角度為例給出問題模板:

    <后果提問>∷=<例句>發(fā)生之后,還有其他角色心情會比較特殊嗎,不是平靜的心情?

    C類型問題一般放在B類型問題之后,因為此類型問題相對B類型問題會抽象一些,先進行了B類型的問題提問后,有助于理解C類型問題,減輕知識貢獻者的負擔(dān)。

    類型D 為了獲取更多關(guān)于某一常識知識角度大類的常識知識,進一步減少提示過程中的偏向性引導(dǎo),我們基于常識知識角度大類進行提問。以“心理”角度為例給出問題模板:

    <后果提問>∷=<例句>發(fā)生之后,還有其他角色會有比較特殊的心理活動嗎?可以從情緒、目標、態(tài)度、記憶等方面進行考慮。

    D類型的問題要放在B、C類型問題之后,同樣為了便于知識貢獻者理解。

    類型E 為了提高知識的準確性,需要反問知識貢獻者。此類型問題是讓知識貢獻者反思給出的常識知識。

    <后果提問>∷=<例句>發(fā)生之后,“<知識>”,是否加上一些條件后,會讓“<知識>”發(fā)生或存在的可能性更大?如果想象到,請給出帶有條件的后果。

    其中,“<知識>”是知識貢獻者已經(jīng)給出的一條知識?!?知識>”可能是錯誤的也可能是不準確的,用E類型問題讓知識貢獻者進一步思考,進而獲取更多、更準確的常識知識。例如“爸爸迎娶了寡婦之后,女方父母會高興”。如果加上“女方父母贊成這門婚事”這個條件,此條知識會更準確。

    類型F 為了利用已有知識獲取更多的知識,根據(jù)當(dāng)前知識的結(jié)果,問一下是否會有其他結(jié)果。此問題類型根據(jù)已有的知識,來產(chǎn)生一個問題。

    <后果提問>∷=<例句>發(fā)生之后,一定會有“<知識>”的后果嗎?是否可以在此后果的條件上增加或者更換一些內(nèi)容,得到不同于“<知識結(jié)果>”的后果?如果想象到,請給出新的后果。

    其中,“<知識結(jié)果>”是知識貢獻者給出知識的結(jié)果部分。例如知識“如果父母不贊成這門婚事,父母會不高興”,那么“父母會不高興”就是“<知識結(jié)果>”的實例。

    類型G 為了再次不限制知識貢獻者的思路,解決引導(dǎo)偏向性問題,同時獲取知識貢獻者通過以上提示思考出新的常識知識。在經(jīng)過所有提示方法后,再次在沒有任何提示的情況下讓知識貢獻者給出前提知識和后果知識。

    <后果提問>∷=經(jīng)過以上的提示,<例句>發(fā)生之后,你能再給出一些其他的結(jié)果嗎?請給出后果。

    A、D、F、G這四種基本上沒有偏向性引導(dǎo)的問題類型,不僅可以獲取常識知識,而且還可以幫助我們獲取更多地常識知識角度。因為這四種類型的問題最多只是含有少量的提示信息,特別是通過D、F、G這三種類型的問題獲取到的常識知識,它們是通過前面B、C類型問題的提示引導(dǎo),知識貢獻者在思路打開之后通過自我想象給出的常識知識。知識貢獻者在此種情況下有很大的可能給出其他不在常識知識角度規(guī)定類型下的常識知識,通過對這些新類型的知識進行總結(jié),我們就可以得到新的常識知識角度。這樣循環(huán)迭代下去,我們就能夠有更多的提示信息,進而更多地減輕知識貢獻者的負擔(dān),獲取更多更豐富的常識知識。

    4.2 交互過程

    交互過程借用一個交互提問腳本,提問的整體過程分為三個階段: 首先進行無偏向性A類型問題提問。如果知識貢獻者給不出常識知識,再進行B、C、D類型問題的提問。B、C、D三種類型的問題按照其含有信息量由多到少進行提問,問題的偏向性也從大到小。這種由簡單到困難的逐層深入的過程,也有助于引導(dǎo)知識貢獻者進行深入思考,由此獲取更好更多的常識知識。最后,在經(jīng)過所有的提示后再進行G類型問題的提問。交互腳本如表2所示。

    E類型的問題目標是為了提高知識的準確性,因此在交互過程中在知識貢獻者給出一條常識知識后就會進行一次E類型問題的提問,讓知識貢獻者反思自己給出知識的準確程度。F類型的問題是為了通過已有知識獲取更多的知識,我們將此種類型的問題隨機的放在知識貢獻者給出知識之后,在獲取更多知識的同時也讓提問過程具有變化性,改善提問過程的趣味性。

    為了提高提問過程的變化性,我們在提問過程中都會采用一些隨機性的選擇,例如,隨機選擇常識知識角度(表2(5)),某一類型問題數(shù)目隨機產(chǎn)生(表2(6)),隨機進行F類型問題的提問等。

    表2 交互過程腳本

    5 交互問題質(zhì)量的衡量

    為進一步論證上一節(jié)的提問交互過程的合理性,我們需要引入必要的度量指標。

    本文提出了兩個指標。一是交互問題的可接受性,它用于衡量呈現(xiàn)給知識貢獻者的問題是否符合自然語言語法和語義,如果一個問題不符合自然語言語法和語義,那么知識貢獻者是看不懂問題的;另一個指標是有效性,它用于衡量問題能不能引導(dǎo)知識貢獻者給出常識知識。如果用于提問的問題大部分都是不可接受或者無效的,整個交互過程中就會充斥著太多的冗余,這樣就會讓知識貢獻者感到煩躁和無聊。

    5.1 可接受性

    可接受性是指系統(tǒng)自動生成的問題符合自然語言語法和語義的程度。這里我們讓知識貢獻者在看到問題后,對問題進行一個標注投票: 接受和不接受。如果知識貢獻者看不懂提問問題就將此問題標記為不接受。利用知識貢獻者標記的統(tǒng)計數(shù)據(jù)來衡量一個提問問題的可接受性。

    這里我們可以利用知識貢獻者標記的頻率來作為問題可接受性的衡量標準,但是這種方法存在缺陷。因為如果一個問題被很多知識貢獻者評價,另一個問題被很少的知識貢獻者評價,那么前一問題的評價結(jié)果置信度更高。這里我們建立一個模型綜合考慮頻率和頻度兩個方面的因素。這個模型不僅和知識貢獻者的投票比例成正比而且還考慮到這個比例的置信度。

    模型中我們用sc(q)表示問題q被知識貢獻者標記為接受的數(shù)目,nsc(q)表示問題q被知識貢獻者標記為不接受的數(shù)目。m(q)表示知識貢獻者對問題q的投票次數(shù),即表示一個問題q被知識貢獻者標記成接受和不接受的數(shù)目之和,即m(q)=sc(q)+nsc(q)。

    定義1Pδ(q)表示知識貢獻者投票問題接受的比率,如式(1)所示。

    (1)

    假設(shè)知識貢獻者標記每個問題是獨立的,我們可以把每一次標記當(dāng)成一個伯努利實驗。Pδ(q)表示知識貢獻者能看懂問題的比率。

    我們假設(shè)每個知識貢獻者投票都是隨機的。因此知識貢獻者把問題分成接受和不接受的概率都是0.5。真實中的選擇肯定不是0.5。如果我們不能拒絕假設(shè),我們需要更多的信息(需要更多的人來評估當(dāng)前問題)來判斷當(dāng)前問題能否讓知識貢獻者理解。

    定義2ens(q)是效應(yīng)值,表示問題被標記為不可接受的實際值和理想值之間的差距,即式(2)。

    (2)

    如果認為當(dāng)前知識貢獻者的選擇是隨機的,當(dāng)前關(guān)于問題q的計數(shù)的概率可以用ps(q)來表示,如果ps(q)的值越低,當(dāng)前計數(shù)的置信度越高。

    定義3ps(q)表示二項分布假設(shè)檢驗的p-value,那么觀察值和隨機情況下相差ens(q)的概率為式(3)。

    (3)

    其中:

    (5)

    定義4ds(q)表示一個問題有意義能被知識貢獻者看得懂的度量,也就是可接受性的度量如式(6)所示。

    (6)

    為了區(qū)分一個問題是否可接受,設(shè)定一個閾值α(α<0.5)。如果ds(q)<α,有1-α的置信度相信問題是不可接受的;如果ds(q)>1-α,有1-α的置信度相信問題是可接受的;如果有α

    5.2 有效性

    有效性是指系統(tǒng)自動生成的問題引導(dǎo)給出常識知識的效用程度。我們利用知識貢獻者回答的次數(shù)和沒有回答的次數(shù)來衡量問題的有效性。利用知識貢獻者的回答與否這個數(shù)據(jù)建立模型來衡量問題是否能夠有效獲取常識知識。

    同理我們應(yīng)用上面的對問題可接受性進行度量的方法來衡量問題的有效性。

    假設(shè)知識貢獻者回答每個問題是獨立的,我們可以把每一次回答當(dāng)成一個伯努利實驗。假設(shè)每個知識貢獻者是否回答一個問題都是隨機的。因此知識貢獻者回答一個問題和不回答一個問題的概率都是0.5,真實中肯定不是0.5。同理,如果我們不能拒絕假設(shè),我們需要更多的信息來判斷當(dāng)前這個問題是否是有效的。

    參考可接受性的定義,最終我們會定義dv(q)。dv(q)表示一個問題的有效性的程度,這是一個定量度量。通過這個值可以判斷一個問題是否有效,是否需要更多的信息來進一步判斷。為了區(qū)分一個問題的有效性,同樣需要設(shè)定一個閾值β(β<0.5)。

    知識貢獻者給出知識的過程中,利用可接受性和有效性來衡量一個提問問題,篩選出可接受性低的問題修改問題的生成方法,選擇有效性低的提問將其去掉。當(dāng)然還有一些問題需要進一步進行判斷,我們會在知識貢獻者的使用過程搜集更多的信息來進一步判斷。迭代下去,高可接受性和有效性的提問問題會不斷提高,提問交互過程會被不斷改善。

    6 實驗結(jié)果及分析

    為了評估我們的方法是否能夠有效地刺激知識貢獻者給出大腦中的常識知識,我們統(tǒng)計了通過各種類型提問問題獲取常識知識的數(shù)目,如表4所示。A類型的問題不采用任何方法讓知識貢獻者去給出知識,B、C、D、E、F、G類型的問題都會給出不同程度的提示以及組合引導(dǎo)。將這兩大類型的實驗結(jié)果進行比較,結(jié)果表明本文方法能夠引導(dǎo)獲取更多的常識知識。

    表4 未引導(dǎo)提示和有引導(dǎo)提示對比實驗結(jié)果

    表4中第一行和第二、三、四行分別列出了通過A類型問題和其他六種類型問題獲得前提和后果知識的數(shù)目,可以看到通過A類型的問題得到62條知識,通過B、C、D、E、F、G類型的問題獲得280條知識。我們可以看出知識的數(shù)目增加了451.61%。通過表中第四行中提示信息很少的問題類型D、F、G得到常識知識的數(shù)目可以看出,經(jīng)過其他幾種有提示信息類型問題的引導(dǎo),知識貢獻者能夠進行思考,進而不用提示信息也能給出常識知識。通過上述結(jié)果可以看出交互式提問引導(dǎo)的方法能夠獲取更多的知識。

    為了分析已獲取到常識知識的正確率,我們從已獲取的342條知識中隨機選取40條知識,并召集五個具有較好常識知識背景的常識知識貢獻者(不同前述的11個知識貢獻者)對這40條知識進行判斷分類。五個知識貢獻者對這40條知識分別進行單獨標記,將知識標記為“真”、“不知道”和“無意義”。如果五個人當(dāng)中有三個人將一條知識賦予相同標記S,我們就認為當(dāng)前知識的標記為S,如果關(guān)于一條知識沒有一個標記得到投票次數(shù)超過3,我們就標記它為“無意義”。最終實驗結(jié)果表明,最后標記為“真”的知識占總知識的數(shù)量的92.5%。

    表5給出了其他方法和本方法獲取知識正確率的結(jié)果比較。OpenMind評估知識標準時給每條知識賦予一個1~5的分值,最后其獲取知識的平均得分是3.26,這里我們可以理解其正確率為60%左右。Verbosity標記知識為正確或不正確,其標記為正確的知識所占比例為85%。learner2的衡量方法和本文方法相似,其知識的正確率為89.8%。雖然這幾個方法正確率衡量方法不同,但是從上面的描述可知,本文方法的效果明顯高于其他方法。

    表5 知識正確率結(jié)果比較

    由表5可以看到我們的方法獲取知識的正確率最高,這是因為本方法的提示引導(dǎo)策略。本方法能給知識貢獻者有效的刺激和提示,能夠讓知識貢獻者得到明確目標并進行思考,進而給出正確的知識。綜上可以看出我們的方法在獲取高質(zhì)量的常識知識上是非常有效的。

    7 總結(jié)與展望

    常識知識是機器走向智能必不可少的一部分。本文提出了一種基于交互式提問引導(dǎo)獲取事件常識知識的方法。方法基于常識知識角度等提示信息,對知識貢獻者輸入常識知識的過程進行引導(dǎo)和提示。通過提示和引導(dǎo),知識貢獻者獲得明確的目標后進行深入的思考,最終給出更多更準確的常識知識。實驗表明,提示引導(dǎo)過程能帶來451.61%的知識增加量,且知識的正確率達到了92.5%。

    雖然實驗結(jié)果表明本文的方法是有效的,但是還有一些地方需要改進。其中交互腳本要具有更多的變化性和靈活性,因此下一步工作可以多設(shè)計幾種交互過程,提高交互過程的變化性。下一步工作還要將獲取到的自然語言形式的常識知識轉(zhuǎn)化成計算機可以理解的結(jié)構(gòu)化的形式,同時將關(guān)于例句的常識知識抽象到事件上。

    [1] McCarthy,John. Programs with common sense[C]//Proceedings of the Teddington Conference onthe Mechanization of Thought Processes. 1958.

    [2] Liang-Jun Zang,Cong Cao,Ya-Nan Cao,et al. A Survey of Commonsense Knowledge Acquisition[J]. Journal of Computer Science and Technology,2013,28(4): 689-719.

    [3] Lenhart Schubert. Can we derive general world knowledge from texts?[C]//Proceedings of the second international conference on Human Language Technology Research. San Francisco: Morgan Kaufmann Publishers Inc.2002: 94-97.

    [4] Douglas B Lenat. CYC: A large-scale investment in knowledge infrastructure[J]. Communications of the ACM,1995,38(11): 33-38.

    [5] Singh P. The public acquisition of commonsense knowledge[C]//Proceedings of AAAI Spring Symposium: Acquiring (and Using) Linguistic (and World) Knowledge for Information Access. 2002.

    [6] Chklovski T. Learner: a system for acquiring commonsense knowledge by analogy[C]// Proceedings of the 2nd international conference on Knowledge capture. New York: ACM,2003: 4-12.

    [7] Lieberman H,D Smith,A Teeters. Common Consensus: a web-based game for collecting commonsense goals[C]//Proceedings of ACM Workshop on Common Sense for Intelligent Interfaces. 2007.

    [8] Robert Speer. Open mind commons: An inquisitive approach to learning common sense[C]//Proceedings of Workshop on Common Sense and Intelligent User Interfaces. 2007.

    [9] Robert Speer,Catherine Havasi,Dustin Smith. An interface for targeted collection of common sense knowledge using a mixture model[C]//Proceedings of the 14th international conference on Intelligent user interfaces. ACM,2009: 137-146.

    [10] Von Ahn L,M Kedia,M Blum. Verbosity: a game for collecting common-sense facts[C]// Proceedings of the SIGCHI conference on Human Factors in computing systems. New York: ACM,2006: 75-78.

    [12] Cynthia Matuszek,Michael Witbrock,Robert C Kahlert,et al. Searching for common sense: populating CycTMfrom the web[C]//Proceedings of the National Conference on Artificial Intelligence. London: AAAI Press,2005: 1430-1435.

    [13] Purvesh Shah,David Schneider,Cynthia Matuszek,et al. Automated population of Cyc: extracting information about named-entities from the web[C]//Proceedings of the Nineteenth International FLAIRS Conference. Melbourne Beach,2006: 153-158.

    [14] Ian Scott Eslick.Searching for commonsense[D].Cambridge,MA: Massachusetts Institute of Technology,2006.

    [15] Liu H,P Singh. ConceptNet—a practical commonsense reasoning tool-kit[J]. BT technology journal,2004,22(4): 211-226.

    [16] L Dong Z,Dong Q. HowNet and the Computation of Meaning[M]. Singapore: World Scientific Publishing Company,2006.

    [17] Niu X,Sun X,Wang H,et al. Zhishi.me: Weaving Chinese linking open data[C]//Proceedings of Proceedings of the 10th international conference on The semantic web. Berlin,Heidelberg. 2011: 205-220.

    [18] Wang Z C,Wang Z G,Li J Z,et al. Knowledge extraction from Chinese wiki encyclopedias[J]. Journal of Zhejiang University—Science C,2012,13(4): 268-280.

    [19] Zeng Y. Extracting,linking and analyzing the Web of structured Chinese data[R]. Beijing: Institute of Automation,Chinese Academy of Sciences,2012.

    [20] CAO Cungen,FENG Qiangze,GAO Ying,et al. Progress in the development of national knowledge infrastructure[J]. Journal of Computer Science and Technology,2002,17(5): 523-534.

    [21] Ya-nan Cao,Cungen Cao,Liangjun Zang,et al. Acquiring commonsense knowledge about properties of concepts from text[C]//Proceedings of Fifth International Conference on Fuzzy Systems and Knowledge Discovery. IEEE,2008: 155-159.

    [22] 曹亞男. 面向web語料的因果知識獲取研究[D]. 北京: 中國科學(xué)院計算技術(shù)研究所,2012.

    [23] 彭會良. 人物相關(guān)事件的常識知識獲取方法研究[D]. 北京: 首都師范大學(xué),2010.

    [24] 李閃閃,曹存根. 事件前提和后果常識知識分析方法研究[J]. 計算機科學(xué),2013,40(4): 185-192.

    [25] 王寅. 事件域認知模型及其解釋力[J]. 現(xiàn)代外語,2005,28(1): 17-26.

    [26] 吳平博,陳群秀,馬亮. 基于事件框架的事件相關(guān)文檔的智能檢索研究[J]. 中文信息學(xué)報,2003,17(6): 25-30.

    [27] 梁晗,陳群秀,吳平博. 基于事件框架的信息抽取系統(tǒng)[J]. 中文信息學(xué)報,2006,20(2): 40-46.

    [28] 魯川,緱瑞隆,董麗萍. 現(xiàn)代漢語基本句模[J]. 世界漢語教學(xué),2000,4: 11-24.

    An Interactive Method for Acquiring Event-Based Commonsense Knowledge

    CAO Cong1,2,3,CAO Cungen1,ZANG Liangjun3,WANG Shi1

    (1. Key Laboratory of Intelligent Information Processing,Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100190,China;2. University of Chinese Academy of Sciences,Beijing 100049,China;3. Institute of Information Engineering,Chinese Academy of Sciences,Beijing 100093,China)

    A large-scale commonsense knowledge is indispensible for intelligent machine,and commonsense knowledge acquisition has always been an important research area of artificial intelligence. This paper presents an interactive method to guide the contributors to give event-based commonsense knowledge. The process of knowledge acquisition is interactive: machine dynamically generates questions to a contributor,and the human presents commonsense knowledge by his answeres. In addition to the prompt information,seven types of questions are presented in a progressive order to guide the knowledge contributors to think,which also brings more interest to the contributing process. The results show that the interactive method increases the number of knowledge by 451.61% with accuracy of 92.5%.

    commonsense knowledge acquisition;event commonsense;interaction process

    曹聰(1987—),博士,主要研究領(lǐng)域為知識獲取,數(shù)據(jù)挖掘。E?mail:caocong@iie.a(chǎn)c.cn曹存根(1964—),研究員,主要研究領(lǐng)域為大規(guī)模知識獲取與管理。E?mail:cgcao@ict.a(chǎn)c.cn臧良俊(1981—),博士,主要研究領(lǐng)域為知識的獲取、表示與推理,機器學(xué)習(xí)。E?mail:zangliangjun@iie.a(chǎn)c.cn

    2014-02-08 定稿日期: 2014-06-11

    國家自然科學(xué)基金(30973713,61035004,61173063,61203284,91224006);國家社科基金重點資助項目(10AYY003);科技部項目(201303107)。

    1003-0077(2016)03-0125-08

    猜你喜歡
    可接受性貢獻者后果
    法律論證理論對提高裁判可接受性的啟示——基于“昆侖燃氣公司案”的分析
    法律方法(2022年1期)2022-07-21 09:20:00
    “耍帥”的后果
    快樂語文(2021年31期)2022-01-18 05:51:32
    這些行為后果很嚴重
    從“學(xué)習(xí)者”到“貢獻者”:中國管理學(xué)發(fā)展的路徑
    注重裁判理由的可接受性——“寄血驗子”案的法律解釋分析
    法律方法(2019年3期)2019-09-11 06:27:14
    “‘一國兩制’杰出貢獻者”國家榮譽稱號
    寧夏畫報(2019年8期)2019-09-10 07:22:44
    現(xiàn)當(dāng)代文化貢獻者——布赫賀希格
    眾榮的后果8則
    上朝遲到了 后果很嚴重
    學(xué)與玩(2017年3期)2017-02-16 07:05:00
    論指導(dǎo)性案例制度的冗余與虧空——兼駁“同案同判”與“裁判可接受性”
    丰满人妻一区二区三区视频av | 国内毛片毛片毛片毛片毛片| 成人av在线播放网站| www.熟女人妻精品国产| 久久久久国产精品人妻aⅴ院| ponron亚洲| 精品国产美女av久久久久小说| 亚洲欧美日韩卡通动漫| 国产精品亚洲av一区麻豆| 天堂av国产一区二区熟女人妻| 色老头精品视频在线观看| 亚洲一区二区三区不卡视频| 精品久久久久久久人妻蜜臀av| 日韩欧美在线二视频| 色av中文字幕| 久久国产精品人妻蜜桃| 成人一区二区视频在线观看| 内射极品少妇av片p| 国产激情欧美一区二区| 国产精品野战在线观看| 午夜精品一区二区三区免费看| 国产精品亚洲av一区麻豆| 熟女人妻精品中文字幕| 麻豆国产av国片精品| 操出白浆在线播放| 国产中年淑女户外野战色| 桃色一区二区三区在线观看| 内射极品少妇av片p| 91字幕亚洲| 久久久久久人人人人人| 精品一区二区三区视频在线观看免费| 日韩欧美 国产精品| 午夜两性在线视频| 12—13女人毛片做爰片一| 日韩欧美国产一区二区入口| 久久国产乱子伦精品免费另类| 国产精品影院久久| 国产真实伦视频高清在线观看 | 五月伊人婷婷丁香| 免费观看人在逋| 免费在线观看亚洲国产| 亚洲午夜理论影院| 一级a爱片免费观看的视频| or卡值多少钱| 蜜桃亚洲精品一区二区三区| 亚洲va日本ⅴa欧美va伊人久久| 99国产极品粉嫩在线观看| 亚洲无线在线观看| 欧美中文日本在线观看视频| 内射极品少妇av片p| 精品久久久久久,| 亚洲av电影在线进入| 少妇人妻精品综合一区二区 | 成人国产综合亚洲| 国产私拍福利视频在线观看| 欧美色视频一区免费| 久久久精品大字幕| 伊人久久大香线蕉亚洲五| 女生性感内裤真人,穿戴方法视频| 精品熟女少妇八av免费久了| 亚洲无线观看免费| 男女下面进入的视频免费午夜| 久久6这里有精品| 成人亚洲精品av一区二区| 亚洲欧美日韩东京热| 婷婷精品国产亚洲av| 国产极品精品免费视频能看的| 欧美日韩综合久久久久久 | 国产精品日韩av在线免费观看| 色综合站精品国产| 一级毛片高清免费大全| 国产精品 欧美亚洲| 淫妇啪啪啪对白视频| 亚洲中文字幕一区二区三区有码在线看| 久久中文看片网| 久久6这里有精品| 熟女人妻精品中文字幕| 成熟少妇高潮喷水视频| 亚洲一区高清亚洲精品| 97超级碰碰碰精品色视频在线观看| 国产视频内射| 国产精品永久免费网站| 成人一区二区视频在线观看| 精品一区二区三区av网在线观看| xxx96com| 中文字幕久久专区| 免费av观看视频| 国产探花极品一区二区| 亚洲 欧美 日韩 在线 免费| 色综合站精品国产| 无人区码免费观看不卡| 又黄又粗又硬又大视频| 国产免费av片在线观看野外av| 十八禁人妻一区二区| 久久久久久久亚洲中文字幕 | 他把我摸到了高潮在线观看| 十八禁人妻一区二区| xxx96com| 日韩精品青青久久久久久| 久久久久久大精品| 老司机福利观看| 一个人看的www免费观看视频| 国产免费av片在线观看野外av| 桃红色精品国产亚洲av| 午夜日韩欧美国产| 中文字幕人成人乱码亚洲影| 亚洲av免费高清在线观看| 窝窝影院91人妻| 日韩精品青青久久久久久| 叶爱在线成人免费视频播放| 精品久久久久久久久久久久久| 成年女人看的毛片在线观看| 淫秽高清视频在线观看| 欧美中文综合在线视频| 亚洲一区二区三区色噜噜| 国产一区二区激情短视频| 欧美色欧美亚洲另类二区| 无限看片的www在线观看| www日本黄色视频网| 久久亚洲真实| 免费一级毛片在线播放高清视频| 搡老岳熟女国产| 嫩草影院入口| 亚洲在线自拍视频| 亚洲乱码一区二区免费版| 最近最新中文字幕大全免费视频| 高潮久久久久久久久久久不卡| 午夜福利高清视频| 超碰av人人做人人爽久久 | 97碰自拍视频| 69av精品久久久久久| av黄色大香蕉| 人人妻,人人澡人人爽秒播| 欧美成人性av电影在线观看| 夜夜躁狠狠躁天天躁| 午夜福利高清视频| 嫩草影院入口| 99久久99久久久精品蜜桃| 亚洲精品日韩av片在线观看 | 久久精品国产亚洲av涩爱 | 俺也久久电影网| 国产精品电影一区二区三区| 亚洲成人中文字幕在线播放| 一本一本综合久久| 亚洲最大成人中文| 久久中文看片网| 国产美女午夜福利| 老司机在亚洲福利影院| 国产一区二区亚洲精品在线观看| 一卡2卡三卡四卡精品乱码亚洲| 午夜两性在线视频| 国产精品女同一区二区软件 | 性欧美人与动物交配| 欧美日韩精品网址| 国产精品三级大全| 蜜桃久久精品国产亚洲av| 国产精品久久久久久久电影 | 欧美+日韩+精品| 精品久久久久久,| 色播亚洲综合网| 欧美成人免费av一区二区三区| 欧美高清成人免费视频www| 久久久久国产精品人妻aⅴ院| 亚洲成人免费电影在线观看| 国内揄拍国产精品人妻在线| 黄色视频,在线免费观看| 熟女人妻精品中文字幕| 午夜精品一区二区三区免费看| 亚洲 欧美 日韩 在线 免费| 高清日韩中文字幕在线| 中文字幕熟女人妻在线| 日韩av在线大香蕉| 高清在线国产一区| 国产三级在线视频| 毛片女人毛片| 色老头精品视频在线观看| 久久中文看片网| 好男人在线观看高清免费视频| 91在线观看av| 97超视频在线观看视频| 97超级碰碰碰精品色视频在线观看| 精品福利观看| 国产精品自产拍在线观看55亚洲| 国产色爽女视频免费观看| 嫩草影视91久久| 久久久久久久精品吃奶| 内地一区二区视频在线| 国内少妇人妻偷人精品xxx网站| 搡老妇女老女人老熟妇| 成人欧美大片| 亚洲片人在线观看| 亚洲欧美激情综合另类| 国产亚洲精品久久久久久毛片| 久久久国产精品麻豆| 亚洲久久久久久中文字幕| 99久久久亚洲精品蜜臀av| 18禁美女被吸乳视频| 天堂网av新在线| 亚洲国产精品sss在线观看| 午夜免费激情av| 在线播放无遮挡| 男女做爰动态图高潮gif福利片| 别揉我奶头~嗯~啊~动态视频| 老司机深夜福利视频在线观看| 国产精品,欧美在线| 51国产日韩欧美| 又黄又爽又免费观看的视频| 综合色av麻豆| 人妻丰满熟妇av一区二区三区| 亚洲美女黄片视频| av女优亚洲男人天堂| 国产精品国产高清国产av| 亚洲激情在线av| 欧美乱妇无乱码| 观看免费一级毛片| 欧美三级亚洲精品| 观看美女的网站| 天堂网av新在线| av国产免费在线观看| 99在线视频只有这里精品首页| 亚洲最大成人中文| a级毛片a级免费在线| 又爽又黄无遮挡网站| 成人精品一区二区免费| 国产午夜精品论理片| 国产免费一级a男人的天堂| 日本精品一区二区三区蜜桃| 午夜老司机福利剧场| 国产成人啪精品午夜网站| 国产爱豆传媒在线观看| 桃红色精品国产亚洲av| 老司机在亚洲福利影院| 我要搜黄色片| 午夜日韩欧美国产| АⅤ资源中文在线天堂| 国产在视频线在精品| 亚洲真实伦在线观看| 黄片大片在线免费观看| 免费无遮挡裸体视频| 国产精品日韩av在线免费观看| 国产精品永久免费网站| 精华霜和精华液先用哪个| 国产淫片久久久久久久久 | 国产精品98久久久久久宅男小说| 一个人免费在线观看的高清视频| 一本精品99久久精品77| 一级a爱片免费观看的视频| 欧美日韩一级在线毛片| 精品一区二区三区视频在线观看免费| 最近最新免费中文字幕在线| 亚洲va日本ⅴa欧美va伊人久久| 久久香蕉国产精品| 精品人妻一区二区三区麻豆 | 无人区码免费观看不卡| 悠悠久久av| 日本 欧美在线| 欧美乱码精品一区二区三区| 丰满乱子伦码专区| 国产色婷婷99| 欧美午夜高清在线| 久久伊人香网站| 亚洲美女黄片视频| x7x7x7水蜜桃| 久久精品人妻少妇| 精品一区二区三区视频在线 | 成人性生交大片免费视频hd| 亚洲专区国产一区二区| 免费观看人在逋| 国产欧美日韩精品一区二区| 99精品欧美一区二区三区四区| tocl精华| 人妻丰满熟妇av一区二区三区| 欧美又色又爽又黄视频| 日本免费a在线| 国内精品久久久久精免费| 国产不卡一卡二| 很黄的视频免费| 动漫黄色视频在线观看| www.www免费av| 天天一区二区日本电影三级| 香蕉丝袜av| 丁香六月欧美| 国产国拍精品亚洲av在线观看 | 亚洲成人中文字幕在线播放| 欧美黄色淫秽网站| 男女午夜视频在线观看| 午夜激情福利司机影院| ponron亚洲| 午夜福利视频1000在线观看| 三级男女做爰猛烈吃奶摸视频| 免费看美女性在线毛片视频| 免费av观看视频| 十八禁网站免费在线| 黄色丝袜av网址大全| www日本黄色视频网| 97超级碰碰碰精品色视频在线观看| 每晚都被弄得嗷嗷叫到高潮| 好男人在线观看高清免费视频| 亚洲精品一卡2卡三卡4卡5卡| 我要搜黄色片| 欧美+日韩+精品| 国产一区二区激情短视频| 久久久久久久亚洲中文字幕 | 日韩高清综合在线| 欧美最新免费一区二区三区 | 免费观看的影片在线观看| 岛国在线观看网站| 国产高清有码在线观看视频| 亚洲欧美日韩东京热| 乱人视频在线观看| 波多野结衣巨乳人妻| 亚洲av成人av| 国产免费男女视频| 18禁在线播放成人免费| 在线观看舔阴道视频| 变态另类丝袜制服| 免费人成在线观看视频色| 在线免费观看的www视频| 国产精品 欧美亚洲| 啦啦啦免费观看视频1| 免费在线观看亚洲国产| 国产av在哪里看| 午夜精品在线福利| 麻豆久久精品国产亚洲av| 久久久久国内视频| 国产精品亚洲一级av第二区| 高清毛片免费观看视频网站| 国产亚洲精品久久久久久毛片| 天天躁日日操中文字幕| 国产乱人伦免费视频| а√天堂www在线а√下载| 久久精品国产综合久久久| 亚洲精品国产精品久久久不卡| 夜夜躁狠狠躁天天躁| 精品乱码久久久久久99久播| 久久国产精品人妻蜜桃| 搡女人真爽免费视频火全软件 | 91字幕亚洲| 麻豆成人午夜福利视频| 亚洲中文字幕一区二区三区有码在线看| 免费看十八禁软件| 小说图片视频综合网站| 18美女黄网站色大片免费观看| 亚洲色图av天堂| 久久6这里有精品| 国产精品乱码一区二三区的特点| 最近视频中文字幕2019在线8| 亚洲av中文字字幕乱码综合| 亚洲无线在线观看| netflix在线观看网站| 成人特级av手机在线观看| 日日夜夜操网爽| 国产欧美日韩精品亚洲av| 九色国产91popny在线| 国产精品久久久人人做人人爽| 欧美日韩亚洲国产一区二区在线观看| 午夜a级毛片| 精品99又大又爽又粗少妇毛片 | 精品人妻1区二区| 狂野欧美白嫩少妇大欣赏| 欧美一区二区精品小视频在线| 久久久国产成人免费| 亚洲成人久久性| 久久久国产成人免费| 免费在线观看影片大全网站| bbb黄色大片| 日本免费一区二区三区高清不卡| 无人区码免费观看不卡| 男女午夜视频在线观看| 99久国产av精品| 美女免费视频网站| 成熟少妇高潮喷水视频| 99久久精品热视频| 男女那种视频在线观看| 国产精品一区二区三区四区久久| 窝窝影院91人妻| 国产一区二区激情短视频| 国产精品野战在线观看| 舔av片在线| 欧美日韩国产亚洲二区| 日本a在线网址| 亚洲va日本ⅴa欧美va伊人久久| а√天堂www在线а√下载| 亚洲va日本ⅴa欧美va伊人久久| 欧美成人性av电影在线观看| 波野结衣二区三区在线 | 日本熟妇午夜| 欧美在线一区亚洲| av福利片在线观看| 久久九九热精品免费| 亚洲中文字幕一区二区三区有码在线看| 午夜精品在线福利| 好男人电影高清在线观看| 热99re8久久精品国产| 亚洲 国产 在线| 中文字幕精品亚洲无线码一区| 99国产极品粉嫩在线观看| 三级毛片av免费| 亚洲一区二区三区色噜噜| 欧美xxxx黑人xx丫x性爽| 欧美乱色亚洲激情| 国产成人福利小说| 亚洲男人的天堂狠狠| 亚洲片人在线观看| 国产高清三级在线| 成年女人永久免费观看视频| 免费av观看视频| 亚洲av一区综合| 在线十欧美十亚洲十日本专区| 成人午夜高清在线视频| 欧美日韩综合久久久久久 | 一二三四社区在线视频社区8| 男女那种视频在线观看| 国产主播在线观看一区二区| 夜夜夜夜夜久久久久| 99久久久亚洲精品蜜臀av| 性色avwww在线观看| 成人特级黄色片久久久久久久| 99riav亚洲国产免费| 婷婷亚洲欧美| 90打野战视频偷拍视频| 精品一区二区三区av网在线观看| 男人舔女人下体高潮全视频| 精品无人区乱码1区二区| 成人特级黄色片久久久久久久| 亚洲国产精品成人综合色| 在线观看舔阴道视频| 2021天堂中文幕一二区在线观| 美女免费视频网站| 亚洲国产色片| 熟女电影av网| 露出奶头的视频| 中文字幕高清在线视频| 色综合站精品国产| 国产成人av激情在线播放| 久久精品国产亚洲av香蕉五月| 免费电影在线观看免费观看| 18禁黄网站禁片午夜丰满| 欧美大码av| 欧美午夜高清在线| 亚洲天堂国产精品一区在线| 美女黄网站色视频| 欧美成人免费av一区二区三区| 亚洲成人精品中文字幕电影| 桃色一区二区三区在线观看| 国产av在哪里看| 最新在线观看一区二区三区| 波多野结衣高清无吗| 在线看三级毛片| 好男人电影高清在线观看| 69av精品久久久久久| 国内精品一区二区在线观看| 国内毛片毛片毛片毛片毛片| 一级毛片高清免费大全| 内射极品少妇av片p| 日本黄色视频三级网站网址| 日韩av在线大香蕉| 搞女人的毛片| 亚洲无线在线观看| av专区在线播放| 精品乱码久久久久久99久播| 精品99又大又爽又粗少妇毛片 | 三级毛片av免费| 12—13女人毛片做爰片一| 高清毛片免费观看视频网站| 国语自产精品视频在线第100页| 18禁美女被吸乳视频| 一个人看视频在线观看www免费 | 好男人电影高清在线观看| 又爽又黄无遮挡网站| 久久99热这里只有精品18| 免费观看精品视频网站| 观看美女的网站| 又紧又爽又黄一区二区| 狂野欧美白嫩少妇大欣赏| 搡老岳熟女国产| 欧美大码av| 成人特级av手机在线观看| www日本在线高清视频| 色精品久久人妻99蜜桃| 国内少妇人妻偷人精品xxx网站| 夜夜躁狠狠躁天天躁| 亚洲av电影在线进入| 欧美日韩瑟瑟在线播放| 给我免费播放毛片高清在线观看| 精品人妻1区二区| 欧洲精品卡2卡3卡4卡5卡区| 日韩欧美三级三区| 九色国产91popny在线| 久久中文看片网| 国产黄a三级三级三级人| 欧美日韩亚洲国产一区二区在线观看| 又粗又爽又猛毛片免费看| 国产精品自产拍在线观看55亚洲| 色综合婷婷激情| 亚洲狠狠婷婷综合久久图片| 国产又黄又爽又无遮挡在线| 久久精品夜夜夜夜夜久久蜜豆| 欧美黄色淫秽网站| 搡老岳熟女国产| 成年女人毛片免费观看观看9| 色在线成人网| 久久精品国产99精品国产亚洲性色| 精品人妻1区二区| 亚洲一区高清亚洲精品| 网址你懂的国产日韩在线| 一个人观看的视频www高清免费观看| 18+在线观看网站| 亚洲性夜色夜夜综合| 日韩欧美在线乱码| 99国产综合亚洲精品| 又黄又粗又硬又大视频| 国产伦人伦偷精品视频| 搞女人的毛片| 欧美在线一区亚洲| 精品福利观看| 18禁裸乳无遮挡免费网站照片| 欧美激情久久久久久爽电影| 丝袜美腿在线中文| 在线a可以看的网站| 99riav亚洲国产免费| 欧美一级a爱片免费观看看| 亚洲av成人av| 少妇的逼水好多| 久久中文看片网| 亚洲在线观看片| 欧美性猛交黑人性爽| 18+在线观看网站| 亚洲真实伦在线观看| 又爽又黄无遮挡网站| 好看av亚洲va欧美ⅴa在| 51午夜福利影视在线观看| 手机成人av网站| 国产一区二区亚洲精品在线观看| 天堂av国产一区二区熟女人妻| 久久精品综合一区二区三区| 1000部很黄的大片| 天天躁日日操中文字幕| 又紧又爽又黄一区二区| 丰满乱子伦码专区| 熟女人妻精品中文字幕| 精品人妻1区二区| 一边摸一边抽搐一进一小说| 动漫黄色视频在线观看| 久99久视频精品免费| 精品国内亚洲2022精品成人| 九色成人免费人妻av| 91久久精品国产一区二区成人 | 97碰自拍视频| 欧美中文日本在线观看视频| 日本熟妇午夜| a在线观看视频网站| 悠悠久久av| 国产精品久久久久久人妻精品电影| 成人国产综合亚洲| 久久久久久大精品| 欧美绝顶高潮抽搐喷水| 岛国在线免费视频观看| 婷婷精品国产亚洲av| 国产91精品成人一区二区三区| 一级毛片女人18水好多| 淫秽高清视频在线观看| 国内久久婷婷六月综合欲色啪| 88av欧美| 小蜜桃在线观看免费完整版高清| 噜噜噜噜噜久久久久久91| 欧美日韩瑟瑟在线播放| 亚洲aⅴ乱码一区二区在线播放| 国语自产精品视频在线第100页| 久久6这里有精品| 99久久精品一区二区三区| 日本免费a在线| 国产精品1区2区在线观看.| 欧美zozozo另类| 国产精品亚洲一级av第二区| 久久久国产成人免费| 久久人人精品亚洲av| 首页视频小说图片口味搜索| 久久国产乱子伦精品免费另类| 亚洲不卡免费看| 天堂动漫精品| 99久久综合精品五月天人人| 宅男免费午夜| 久久国产精品人妻蜜桃| 高清日韩中文字幕在线| 麻豆一二三区av精品| 亚洲无线在线观看| 欧美国产日韩亚洲一区| 国产黄a三级三级三级人| 亚洲一区二区三区不卡视频| 日本 欧美在线| 欧美不卡视频在线免费观看| 男插女下体视频免费在线播放| 亚洲专区中文字幕在线| 十八禁人妻一区二区| 精品电影一区二区在线| 精品午夜福利视频在线观看一区| 午夜免费观看网址| 国产成人av激情在线播放| 亚洲av日韩精品久久久久久密| 中文资源天堂在线| 一个人观看的视频www高清免费观看| av在线蜜桃| 又爽又黄无遮挡网站| 色综合亚洲欧美另类图片| 真人做人爱边吃奶动态| 男女床上黄色一级片免费看| 看黄色毛片网站| 久久久精品欧美日韩精品| 亚洲一区二区三区不卡视频| 999久久久精品免费观看国产| 久久精品国产99精品国产亚洲性色| 午夜免费观看网址| 国产成人啪精品午夜网站| 欧美一区二区国产精品久久精品|