• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    國際人工智能倫理研究現(xiàn)狀與發(fā)展趨勢*

    2020-02-08 03:50:54汪玉蘭鄧國民
    圖書館 2020年1期
    關(guān)鍵詞:機器倫理道德

    汪玉蘭 鄧國民

    (1. 南京大學(xué)哲學(xué)系 南京 210023;2. 貴陽學(xué)院教育科學(xué)學(xué)院 貴陽 550005)

    隨著人工智能技術(shù)應(yīng)用的深入,可能引發(fā)的新的倫理問題和困境受到國內(nèi)外業(yè)界人士和重要機構(gòu)的重視。微軟、百度和騰訊等國內(nèi)外大公司都對人工智能倫理表現(xiàn)出急切的關(guān)注。歐盟委員會于2019 年4 月8 日發(fā)布了“值得信賴的人工智能倫理準(zhǔn)則”。人民日報于2019 年7 月12 日刊發(fā)整版文章對人工智能倫理進行了探討??梢?,人工智能倫理研究已經(jīng)迫在眉睫。研究國際重要學(xué)術(shù)刊物發(fā)表的人工智能倫理研究知識圖譜、發(fā)展現(xiàn)狀和未來發(fā)展趨勢,對于我們進行人工智能倫理研究具有較大的啟示意義。

    1 研究方法

    本文設(shè)置檢索式為“TS=(artificial intelligence OR AI)AND TS=(ethic* OR moral)”,從Web of Science 核心數(shù)據(jù)庫中檢索到人工智能倫理研究文獻(xiàn)389 條,作為知識圖譜分析的數(shù)據(jù)基礎(chǔ)。我們使用CiteSpace 軟件對國際人工智能倫理研究文獻(xiàn)進行知識圖譜分析,并綜合應(yīng)用文獻(xiàn)計量學(xué)和內(nèi)容分析方法,揭示人工智能倫理研究領(lǐng)域的研究起源、發(fā)展脈絡(luò)和未來趨勢。首先,使用文獻(xiàn)計量學(xué)和內(nèi)容分析方法,揭示國際人工智能倫理研究文獻(xiàn)的年度、期刊和學(xué)術(shù)機構(gòu)整體分布情況。然后,使用CiteSpace 軟件對人工智能倫理研究文獻(xiàn)數(shù)據(jù)進行引文空間的可視化分析,揭示文獻(xiàn)、作者和刊物的共被引關(guān)系以及機構(gòu)和關(guān)鍵詞的共現(xiàn)關(guān)系。第三,在文獻(xiàn)共被引分析的基礎(chǔ)上,繪制國際人工智能倫理研究文獻(xiàn)的共被引聚類圖譜,揭示國際人工智能倫理研究領(lǐng)域的主要研究聚類、關(guān)鍵結(jié)點和時間演化過程。

    圖1 人工智能倫理研究歷年出版文獻(xiàn)數(shù)及引文數(shù)

    2 人工智能倫理研究文獻(xiàn)知識圖譜分析

    2.1 人工智能倫理研究文獻(xiàn)年度分布

    近三十年以來,國際上人工智能倫理研究每年出版的文獻(xiàn)數(shù)和引文數(shù)均穩(wěn)步上升。如圖1 所示,2005 年以前,國際上關(guān)于人工智能倫理研究的文獻(xiàn)數(shù)和引文數(shù)都相對較少,之后每年出版的相關(guān)文獻(xiàn)數(shù)和引文數(shù)都以較快的速度增長,2012 年出版文獻(xiàn)數(shù)開始超過10 篇,被引頻次超過100 次。2014 年以后,每年引文數(shù)都超過200 次,2018 年達(dá)到500 次。這說明近年來學(xué)界對人工智能倫理研究的關(guān)注度急劇上升,最近兩年達(dá)到高潮。

    2.2 有影響的文獻(xiàn)

    利用CiteSpace 軟件對檢索到的389 條人工智能倫理研究文獻(xiàn)數(shù)據(jù)進行共被引分析(Cited Reference),生成國際人工智能倫理研究文獻(xiàn)共被引圖譜,如圖2 所示。圖中用圓圈表示文獻(xiàn)結(jié)點,結(jié)點大小表示文獻(xiàn)被引次數(shù)的多少,結(jié)點之間連線的顏色表示兩條文獻(xiàn)首次共被引的時間。結(jié)點采用年輪結(jié)構(gòu)的方式表示,顏色表示年份(對照圖形頂部時間條顏色),年輪的厚度表示該年被引頻次。外圍有深色圓圈包圍的結(jié)點表示高中介中心性文獻(xiàn),說明它們在不同人工智能倫理研究聚類之間起到了關(guān)鍵銜接結(jié)點的作用。

    圖2 人工智能倫理研究文獻(xiàn)共被引圖譜

    (1)高被引文獻(xiàn)分析

    具有較高被引頻次的文獻(xiàn)表示它們在人工智能倫理研究領(lǐng)域產(chǎn)生了重要而深遠(yuǎn)的影響,同時也體現(xiàn)了該研究領(lǐng)域的核心研究主題。表1 列出了該研究領(lǐng)域引用次數(shù)超過10 次的文獻(xiàn)。Bostrom N(2014)共被引頻次最高,為34 次,他指出人工智能提供了許多新的可能性,開辟了新的研究領(lǐng)域,也帶來了新的倫理問題。當(dāng)超級智能具備一系列超級認(rèn)知能力,而偏離我們控制它的意圖或能力時,可能給人類及人類社會帶來災(zāi)難性的后果,因此我們需要加強對人工智能人性建構(gòu)和倫理問題的研究[1]。

    Wallach W(2009)指出虛擬和物質(zhì)的人工代理所承擔(dān)的責(zé)任日益增長,因此需要開發(fā)更加復(fù)雜的解決方案,使其能夠作出道德決策。迄今為止存在的倫理系統(tǒng)或倫理學(xué)家開發(fā)的解決方案并未涉及人類與機器人的相互作用、機器人與其他生物體之間的接觸或者機器人之間的相互作用。人類作出道德決策的機制極端復(fù)雜,只在算法中提供具體的倫理規(guī)則是不夠的,應(yīng)該使其具備道德主體的能力,這使得人工智能或機器人的開發(fā)變得更加復(fù)雜[2]。 Anderson M(2011)指出機器倫理和傳統(tǒng)的計算機倫理的不同之處在于,它不是關(guān)注程序員或用戶的決策,而是關(guān)注于機器本身的道德決策能力,主要討論了機器倫理的本質(zhì)、機器倫理的重要性、機器倫理的哲學(xué)和現(xiàn)實、機器倫理方法和機器倫理愿景等五個方面的問題[3]。

    Bonnefon J F(2016)對自動駕駛汽車的社會困境進行了討論,指出定義有助于自動駕駛汽車作出道德決策的算法是一項艱巨的挑戰(zhàn)。目前沒有簡單的方法來設(shè)計能夠協(xié)調(diào)道德價值和個人自我利益的算法,更別說考慮不同文化對生活權(quán)衡的各種道德態(tài)度,但隨著這種對話的進展,公眾輿論和社會壓力可能會隨之發(fā)生改變。對于這些倫理問題,需要在智能產(chǎn)品進入全球市場前做出決策[4]。

    表1 人工智能倫理高引文獻(xiàn)

    Chalmers D J(2010)將產(chǎn)生超級智能的智能爆炸界定為奇點,協(xié)調(diào)這種奇點需要在機器中構(gòu)建合適的價值,并非常謹(jǐn)慎地在虛擬世界中構(gòu)建第一個AI 和AI+系統(tǒng)。對于我們?nèi)绾稳谌牒笃纥c世界,作者討論了兩種不同的方式:①通過逐步上載然后增強;②通過重建上載然后增強,這當(dāng)中同時涉及認(rèn)知增強和實用方面的問題[5]。

    Gunkel D J(2012)試圖在道德哲學(xué)中創(chuàng)造一個空間,以解決智能機械具有什么樣的道德主張,以及闡明和實踐相應(yīng)的道德規(guī)范意味著什么[6]。

    Lin P(2012)對關(guān)于機器倫理的跨學(xué)科和多視角問題進行了系統(tǒng)討論:機器人倫理的一般方法以及道德概念的基本術(shù)語定義;與具體技術(shù)應(yīng)用相關(guān)的道德倫理和方法以及機器人使用的未來場景;具有倫理重要性的領(lǐng)域以及研究和開發(fā)的技術(shù)趨勢;機器人倫理的主要形式[7]。

    O’neil C(2016)認(rèn)為算法不是中立的,人類的偏見和錯誤經(jīng)常被編碼到系統(tǒng)中,并細(xì)致地對招聘、警務(wù)、借貸、教育和醫(yī)療保健等各行業(yè)領(lǐng)域的數(shù)據(jù)實踐的具體案例、基于算法作出決策的程度進行了分析,結(jié)果發(fā)現(xiàn)這進一步剝奪了弱勢群體的權(quán)利,造成了社會的不平等。作者最后總結(jié)了一些具體的建議,為數(shù)學(xué)模型和大數(shù)據(jù)帶來更多的監(jiān)管、透明度和案例[8]。

    (2)突現(xiàn)引文分析

    突現(xiàn)引用是指一篇文獻(xiàn)在某段時間內(nèi)引用率突然上升或下降的現(xiàn)象,表示某一特定研究主題在一段時間內(nèi)突然變熱或變冷,能夠代表當(dāng)時的熱門研究主題或研究前沿。利用CiteSpace 軟件對人工智能倫理研究文獻(xiàn)進行共被引突發(fā)性分析,結(jié)果如表2 所示。Wallach W(2009)、Floridi L(2004)、Gunkel D J(2012)、Arkin R(2009)、Omohundro S M(2008)、Allen C(2006)、Johnson D G(2006)、Moor J H(2006)和Allen C(2005)等文獻(xiàn)的突發(fā)性較強,表明它們在人工智能倫理研究主題的轉(zhuǎn)向方面起到了比較關(guān)鍵的作用。

    2009 年到2012 年期間,Allen C(2005)、Allen C(2006)、Moor J H(2006)、Floridi L(2004)和Johnson D G(2006)等文獻(xiàn)引用量突現(xiàn)。這些文獻(xiàn)主要對機器倫理、道德代理和人工制品的道德價值與意義進行了初步探討。Allen C(2006)指出如果我們對人工智能道德代理的開發(fā)或管理能力有限,那么就需要將注意力從對自治系統(tǒng)的錯誤依賴轉(zhuǎn)移開。一些道德決策能夠在計算機系統(tǒng)中較為容易地實施,而模擬處理其他類型道德困境的技巧以我們目前的知識還很難實現(xiàn)[9]。Allen C(2005)指出人工道德學(xué)科的一個主要目標(biāo)是設(shè)計人工代理人,使其能夠像道德代理一樣。人工道德的中間目標(biāo)是建立人工智能系統(tǒng)對活動的價值觀、道德規(guī)范和合法性的敏感性[10]。

    Moor J H(2006)認(rèn)為需要就什么是機器倫理達(dá)成一致,才能夠確定機器倫理是否存在,而對這一問題的理解存在兩種完全不同的解釋:①人類是機器,人類有倫理,機器也有倫理;②倫理是一種情感的表達(dá),機器沒有情感,因而沒有倫理。作者認(rèn)為短時間之內(nèi)無法通過哲學(xué)論證或?qū)嵶C研究來解決這一問題,但能夠?qū)W⒂陂_發(fā)有限的、明確的倫理代理,而不是完全的倫理代理,幫助防止不道德的結(jié)果[11]。Floridi L(2004)指出人工智能擴展了可能涉及道德情境的實體類別,它們同時可以被視為道德受動者和行為者。論文圍繞網(wǎng)絡(luò)空間具有什么道德價值和道德責(zé)任兩個問題進行了探討。Johnson D G(2006)認(rèn)為計算機系統(tǒng)和人工制品是有意創(chuàng)建和部署的,因此它們具有道德特征,是人類道德行為的組成部分。當(dāng)人類使用人工制品時,他們的行為由人工制品的意圖性和功效構(gòu)成,而人工制品的意圖性和功效又是由其設(shè)計者的意圖和功效構(gòu)成。人工制品及其設(shè)計師和用戶在行動時都在工作,而這三個組成部分都應(yīng)該是道德評估的重點[12]。

    2013 年以后,Wallach W(2009)、Gunkel D J(2012)、Arkin R(2009)、Omohundro S M(2008)等文獻(xiàn)引用量突現(xiàn)。這一時期關(guān)于人工智能倫理方面的研究,更進一步深入到系統(tǒng)實現(xiàn)的具體架構(gòu)、智能道德系統(tǒng)的設(shè)計,重視利用經(jīng)典的哲學(xué)和倫理學(xué)理論分析人工智能技術(shù)的倫理問題。Arkin R(2009)指出許多機器人應(yīng)用程序沒有較好地考慮安全和倫理方面的問題,討論了如何構(gòu)建倫理機器人。作者介紹了在自動戰(zhàn)斗機器人中植入負(fù)責(zé)任的倫理決策的動機和理由,并提出了實現(xiàn)這一目標(biāo)的架構(gòu)[13]。 Omohundro S M(2008)認(rèn)為需要對智能系統(tǒng)進行精心設(shè)計,以防止它們以有害的方式運行。論文主要討論了如何將自我改善、經(jīng)濟效用、理性和自我保護等驅(qū)動因素融入到智能技術(shù)中,從而為人類帶來積極的未來[14]。 Wallach W(2009)認(rèn)為有必要開發(fā)更加復(fù)雜的解決方案,使人工實體能夠做出道德決策[2]。Gunkel D J(2012)綜合考慮了Levinasian 倫理學(xué)與Heideggarian 的本體論來思考事物或技術(shù)的作用,通過解決道德哲學(xué)的容受者/代理二元性,最終將機器排除在倫理考慮之外[6]。

    表2 人工智能倫理研究突現(xiàn)引文

    (3)高中心性引文分析

    人工智能倫理研究領(lǐng)域的高中介中心性文獻(xiàn)結(jié)點能夠起到銜接不同研究聚類的作用,它們在識別人工智能倫理研究聚類,促進人工智能倫理研究的知識交流中起到關(guān)鍵的銜接作用。如表3 所示,文獻(xiàn)Anderson M(2011)的中介中心性最高(0.31),指出機器倫理和傳統(tǒng)的計算機倫理的不同之處在于,它不是關(guān)注程序員或用戶的決策,而是關(guān)注機器本身的道德決策能力[3]。此外,Wallach W(2009)是較早討論與機器人技術(shù)發(fā)展相關(guān)的倫理問題的著作之一,指出虛擬和物質(zhì)的人工代理所承擔(dān)的責(zé)任日益增長,因此越來越有必要開發(fā)更加復(fù)雜的解決方案,使人工實體能夠做出道德決策[2]。

    表3 人工智能倫理研究高中介中心性文獻(xiàn)

    Armstrong S(2012)認(rèn)為人類智能并不代表人工智能能力的上限,超級智能系統(tǒng)將根據(jù)其可能存在缺陷的動機系統(tǒng)引導(dǎo)未來,這可能帶來嚴(yán)重的安全問題。論文分析和批判了各種控制人工智能的方法,認(rèn)為限制的人工智能要相對安全,但仍然存在潛在的風(fēng)險[15]。Bryson J J(2010)認(rèn)為機器人不應(yīng)該被描述為人,也不應(yīng)為其行為承擔(dān)法律或道德責(zé)任,機器人的智力和如何獲得他們的智力是由人來確定的。因此,機器人技術(shù)的潛力應(yīng)該被理解為擴展人類自己的能力和實現(xiàn)自己目標(biāo)的潛力。論文指出機器人人性化是一種錯誤,分析了這些錯誤的原因和后果,并提出了機器人如何融入社會的具體建議[16]。

    Bakshy E(2015)對社交媒體如何影響跨意識形態(tài)界限的觀點進行了探討,發(fā)現(xiàn)個人的選擇比算法排名在限制對交叉內(nèi)容的曝光方面發(fā)揮了更大的作用[17]。Cakmak M(2010)討論了主動學(xué)習(xí)應(yīng)用于人機交互環(huán)境時出現(xiàn)的一些問題,并提供了幾條指導(dǎo)方針,為人機(機器人)交互環(huán)境中使用主動學(xué)習(xí)的未來機器人系統(tǒng)的設(shè)計提供信息[18]。Chalmers D J(2010)將智能爆炸界定為奇點,協(xié)調(diào)這種奇點需要在機器中構(gòu)建合適的價值[5]。Bryson J(2012)認(rèn)為有意識的注意力并不是選擇立即行動,而是使用當(dāng)前任務(wù)將專門學(xué)習(xí)集中于行動選擇機制和預(yù)測模型,才可能影響有意識的代理的任務(wù)和環(huán)境突發(fā)事件。將這種系統(tǒng)構(gòu)建到機器智能中是完全可能的,除非智能系統(tǒng)需要學(xué)習(xí)并且在學(xué)習(xí)速度與相關(guān)環(huán)境變化速率方面存在資源限制,否則它不是絕對必要的[19]。

    通過對人工智能倫理近期高引用率、高突現(xiàn)率和高中介中心性文獻(xiàn)的研究和分析,可以挖掘出這一研究領(lǐng)域最有影響力、影響研究重要轉(zhuǎn)向以及銜接不同研究聚類的關(guān)鍵文獻(xiàn)結(jié)點。近年來,人們對人工智能系統(tǒng)可能帶來的倫理問題越來越關(guān)注,不再局限于科幻小說和影視作品中,而是已經(jīng)達(dá)到一種我們不能忽視的程度。目前學(xué)界存在兩種截然不同的觀點:一種認(rèn)為人工智能承擔(dān)了道德責(zé)任,作為一種智能道德代理理所當(dāng)然;另一種觀點將人工智能排除在倫理考慮之外,認(rèn)為它只是人類實現(xiàn)個人目的的工具或手段之一,因此更需要考慮人工智能系統(tǒng)設(shè)計者的道德因素。但隨著人工智能系統(tǒng)越來越復(fù)雜的自主控制,這些系統(tǒng)本身也應(yīng)該意識到其行為的倫理含義。一些學(xué)者認(rèn)為在復(fù)雜智能系統(tǒng)投入使用之前,需要將其倫理問題考慮清楚,他們從倫理學(xué)和哲學(xué)的視角對人工智能系統(tǒng)引入倫理原則進行了思考,提出了一些設(shè)計和執(zhí)行倫理系統(tǒng)的方法與策略,為人工智能領(lǐng)域的研究人員和商界人士制定相應(yīng)的規(guī)則和指導(dǎo)方針提供了一定的依據(jù)。

    2.3 重要作者分析

    使用CiteSpace 軟件對人工智能倫理研究的重要作者進行共被引分析,結(jié)果如圖3 所示,其中引用頻次最高的5 位作者分別是Wallach W(Freq=64)、Bostrom N(Freq=62)、Anderson M(Freq=54)、Floridi L(Freq=47)和Allen C(Freq=41)。Freq 是指作者共被引頻次,圖中圓圈大小表示作者共被引次數(shù)的多少,不同顏色代表不同年份的引用次數(shù)。較大的作者結(jié)點表示他們在該研究領(lǐng)域產(chǎn)生了重要的影響。Wallach W 對機器倫理、道德機器以及道德與意識、思想之間的關(guān)系進行了論述,并提出了人類及智能代理道德決策的概念和計算模型[20]。Bostrom N 從技術(shù)變革和人類未來演進的視角,關(guān)注了超級智能可能對人類社會帶來的影響、存在的風(fēng)險及其認(rèn)知中存在的倫理問題。Anderson M 主要對機器倫理進行了探討,認(rèn)為阿西莫夫的三個機器人定律無法作為機器倫理基礎(chǔ)。Floridi L 是著名的計算哲學(xué)和信息哲學(xué)家,曾經(jīng)提出了信息圈理論,成為信息倫理的重要理論基礎(chǔ),他的很多觀點對人工智能倫理研究產(chǎn)生了重要的影響。Allen C 主要對為什么需要研究機器倫理的原因進行了分析,對未來人工道德行為者的趨勢進行了展望,指出不能放棄人類的責(zé)任。

    從中介中心性和突發(fā)性來看(見圖3),被引作者中,突發(fā)性最強的5 位作者分別是Kahneman D(Burst=3.61)、Yudkowsky E(Burst=3.16)、Turkle S(Burst=3.02)、Danielson P(Burst=2.88)和Guarini M(Burst=2.75),說 明他們在人工智能倫理研究內(nèi)容和主題的轉(zhuǎn)換方面貢獻(xiàn)較大,在一定時期內(nèi)扮演了前沿研究者的角色。中介中心性最高的5 位作者分別是Asimov I(Centrality=0.2)、Allen C(Centrality=0.16)、Moor J H(Centrality=0.13)、Anderson M(Centrality=0.11)和Levy D(Centrality=0.11),說明他們在人工智能倫理研究的知識傳播過程中貢獻(xiàn)較大。

    圖3 人工智能倫理重要作者圖譜

    2.4 重要機構(gòu)分析

    使用CiteSpace 軟件對人工智能倫理研究機構(gòu)進行共現(xiàn)分析,結(jié)果如圖4 所示。影響較大的研究機構(gòu)包括牛津大學(xué)(University of Oxford)、哈佛大學(xué)(Harvard University)、代爾夫特理工大學(xué)(Delft University of Technology)、華盛頓大學(xué)(University of Washington)、英國開放大學(xué)(The Open University)和愛丁堡大學(xué)(The University of Edinburgh)。中介中心性最高的五個研究機構(gòu)分別為牛津大學(xué)(University of Oxford)、阿蘭圖靈機構(gòu)(Alan Turing Institute)、帕多瓦大學(xué)(University of Padua)、澳大利亞國立大學(xué)(The Australian National University)和愛丁堡大學(xué)(The University of Edinburgh),說明這些研究機構(gòu)在人工智能倫理研究主題的轉(zhuǎn)向和對前沿的把握方面最為有效。

    圖4 人工智能倫理重要研究機構(gòu)圖譜

    2.5 人工智能倫理期刊發(fā)文量與知識交流情況分析

    從發(fā)文量統(tǒng)計來看,Ethics and Information Technology和Minds and Machines的發(fā)文量最高,均為14 篇;Philosophical Transactions of the Royal Society a Mathematical Physical and Engineering Sciences的發(fā)文量排第三,為10 篇。這些期刊均被Web of Science 核心數(shù)據(jù)庫收錄,因此它們是國際人工智能倫理研究知識交流的重要載體。學(xué)術(shù)刊物之間的相互引用和共引關(guān)系可以表征這一研究領(lǐng)域和其他學(xué)科領(lǐng)域之間知識交流的水平和知識流動的狀況。使用CiteSpace 軟件進行期刊共被引分析,結(jié)果如圖5、表4 所示。從被引頻次來看,《科學(xué)》《思維與機器》《自然》《人工智能》和《IEEE 智能系統(tǒng)》等是過去十年間該研究領(lǐng)域的高被引期刊,被引頻次分別為89 次、68 次、68 次、66 次和57 次。從中介中心性來看,《科學(xué)》《思維與機器》《科學(xué)革命的結(jié)構(gòu)》《有線》和《科學(xué)美國人》等是過去十年間人工智能倫理研究領(lǐng)域的高中介中心性期刊,它們的中介中心性分別高達(dá)0.27、0.22、0.15、0.15 和0.13,說明它們在這一研究領(lǐng)域的知識流動過程中起到關(guān)鍵銜接結(jié)點的作用。根據(jù)文獻(xiàn)計量學(xué)理論,人工智能倫理研究文獻(xiàn)對其他學(xué)科期刊的引用,可以反映人工智能倫理主要從哪些其他學(xué)科獲得知識流量。期刊共被引分析表明,過去十年間人工智能倫理研究的知識流量,主要來自《科學(xué)》《自然》《行為與腦科學(xué)》《有線》《科學(xué)美國人》《Springer 計算機科學(xué)講義》和《科學(xué)革命的結(jié)構(gòu)》等其他學(xué)科期刊,這說明人工智能倫理研究的理論基礎(chǔ)主要來自于科學(xué)、心理學(xué)、科學(xué)革命和計算機等學(xué)科領(lǐng)域。

    圖5 人工智能倫理研究學(xué)術(shù)刊物共被引圖譜

    表4 人工智能倫理學(xué)術(shù)刊物共被引分析結(jié)果

    2.6 人工智能倫理研究關(guān)鍵詞共現(xiàn)圖譜

    對人工智能倫理研究的關(guān)鍵詞進行共現(xiàn)分析,可以揭示該研究領(lǐng)域歷年來研究內(nèi)容間的知識網(wǎng)絡(luò)關(guān)系,挖掘人工智能倫理研究領(lǐng)域的關(guān)鍵知識結(jié)點、知識結(jié)構(gòu)和熱門研究主題。因為關(guān)鍵詞實際上能大致說明一條文獻(xiàn)的主題,如果這些關(guān)鍵詞發(fā)生共現(xiàn)現(xiàn)象,說明它們的研究主題比較接近。首次出現(xiàn)共現(xiàn)的時間(參考圖像上方色條)表示這一研究主題興起的時間。如圖6、表5 所示,近年來人工智能倫理的熱門研究主題包括人工智能(artificial intelligence)、倫理(ethics)、機器人(robot)、機器倫理(machine ethics)和機器學(xué)習(xí)(machine learning)等。從中介中心性來看,最高的六個關(guān)鍵詞分別為人工智能、機器人、系統(tǒng)、倫理、機器倫理和看護(care)等,說明關(guān)于人工智能倫理研究的主要內(nèi)容是圍繞這些方面展開的。

    從共現(xiàn)發(fā)生的時間來看(參考圖像上方色條),人工智能、倫理、機器倫理、機器人和思維等主題發(fā)生共現(xiàn)的時間比較早,始于2009 年到2010 年期間,說明這一時期學(xué)界開始關(guān)注機器人和人工智能的倫理問題;2010 年到2015 年,代理、技術(shù)、心理健康、機器人、模型和前額葉皮層等主題受到關(guān)注,說明人工智能倫理研究在這一時期關(guān)注人工智能和機器人的道德代理和相關(guān)的認(rèn)知決策過程。2016 年以后,看護、法律、自動化系統(tǒng)、機器學(xué)習(xí)、規(guī)則、人權(quán)和福利等主題受到關(guān)注,說明近年來關(guān)于人工智能倫理的研究已經(jīng)開始轉(zhuǎn)向具體的行業(yè)領(lǐng)域,并對一些具體的現(xiàn)實問題進行哲學(xué)思考,或者探討相應(yīng)的倫理規(guī)則在人工智能領(lǐng)域的實現(xiàn)方式。

    表5 人工智能倫理關(guān)鍵詞分析結(jié)果

    圖6 人工智能倫理研究關(guān)鍵詞共現(xiàn)圖譜

    2.7 聚類分析

    在人工智能倫理研究文獻(xiàn)共被引分析的基礎(chǔ)上按關(guān)鍵詞進行聚類分析,生成聚類分析視圖如圖7 所示??梢?,形成的主要研究聚類有美德倫理(#0 virtue ethics)、心理健康(#1 mental health)、治理(#2 governance)、災(zāi)難性風(fēng)險(#3 catastrophic risk)、機器道德(#4 machine morality)、社會(#5 society)、系統(tǒng)映射研究(#6 systematic mapping study)、放射學(xué)(#7 radiology)、社會影響(#8 social impacts)和設(shè)計倫理(#9 design ethics)等10 個研究聚類,其中不同結(jié)點之間連線的顏色表示不同的時間分區(qū)(參考圖像上方色條顏色)。如圖所示,過去十年的研究聚類從時間上大致可以劃分為三個階段。早期,機器道德聚類共被引現(xiàn)象較為活躍,說明人工智能倫理的重要根源在于機器倫理學(xué),從機器倫理研究開始轉(zhuǎn)向智能機器倫理問題研究,逐漸形成了一個新的倫理研究方向。此后,心理健康和美德等聚類的文獻(xiàn)共被引現(xiàn)象比較活躍,說明隨著人工智能倫理研究的深入,已經(jīng)超出了機器倫理的范疇,進一步考慮人工智能對人類心智的模擬以及人類美德倫理在系統(tǒng)中的介入。在這一轉(zhuǎn)換過程中,文獻(xiàn)Wallach W(2009)和Anderson M(2011)等起到了銜接的關(guān)鍵結(jié)點作用。最近幾年,治理、災(zāi)難性風(fēng)險、社會、系統(tǒng)映射研究、放射學(xué)、社會影響、設(shè)計倫理等聚類的文獻(xiàn)之間共被引現(xiàn)象比較明顯,說明人工智能倫理已經(jīng)引起了各行業(yè)領(lǐng)域的廣泛關(guān)注,而且各行業(yè)開始重視人工智能應(yīng)用可能帶來的風(fēng)險和其他社會影響以及如何治理和設(shè)計實現(xiàn)。文獻(xiàn)Bryson J J(2010)、Armstrong S(2012)、Bakshy E(2015)和Cakmak M(2010)等起到了關(guān)鍵銜接結(jié)點作用。

    圖7 基于關(guān)鍵詞的聚類視圖

    圖8 聚類分析時間線視圖

    從聚類分析時間線視圖來看(圖8),美德倫理、心理健康、治理、災(zāi)難性風(fēng)險、機器道德、社會和系統(tǒng)映射研究等聚類的文獻(xiàn)發(fā)生的共被引現(xiàn)象比較密集。這幾個聚類還集中了影響力比較大、比較關(guān)鍵的一些結(jié)點,它們構(gòu)成了人工智能倫理研究的主要內(nèi)容、方法、技術(shù)和應(yīng)用等方面。機器道德和心理健康等聚類的文獻(xiàn)在早期共被引現(xiàn)象明顯,后有消退趨勢,說明它們在該研究領(lǐng)域起到了奠基的作用。最近興起的研究主題有治理、社會、放射學(xué)和設(shè)計倫理等研究聚類,說明隨著人工智能技術(shù)在各行業(yè)領(lǐng)域的廣泛應(yīng)用,其倫理問題日益受到關(guān)注,尤其是它可能產(chǎn)生的社會風(fēng)險及如何規(guī)避這些風(fēng)險,將是未來需要重點關(guān)注的方面。

    3 研究發(fā)現(xiàn)

    近年來,人們越來越關(guān)注人工智能在各行業(yè)領(lǐng)域的應(yīng)用會給人類社會帶來何種影響,尤其是如何處理人工智能技術(shù)應(yīng)用可能帶來的新的倫理問題。本文使用CiteSapce軟件對國際上人工智能倫理研究數(shù)據(jù)進行文獻(xiàn)共引和共被引分析,挖掘出這一研究領(lǐng)域的重要文獻(xiàn)結(jié)點,同時繪制國際人工智能倫理研究知識圖譜,揭示其研究的起源、發(fā)展脈絡(luò)和未來趨勢。

    3.1 人工智能倫理研究起源

    關(guān)于人工智能倫理的考慮最開始出自早期的科幻小說和電影中。阿西莫夫在上世紀(jì)中葉提出的機器人三大法則,就已經(jīng)將人工智能的倫理道德作為一個重要的問題進行考慮。當(dāng)然這些文學(xué)或影視作品只是對未來社會的一種預(yù)想,隨著人工智能的進步,關(guān)于倫理方面的考慮已經(jīng)不能再停留于假想階段,而是日益與我們的社會生活密切相關(guān)。大量的科學(xué)家、哲學(xué)家和商界領(lǐng)袖都對人工智能可能對社會產(chǎn)生的重要影響和潛在危險表示了擔(dān)憂,也開始倡導(dǎo)在這些人工智能產(chǎn)品進入我們生活之前,需要先把倫理這一永恒的問題考慮清楚。一大批學(xué)者在機器倫理、設(shè)計倫理、信息技術(shù)倫理和計算哲學(xué)等基礎(chǔ)上,開始探討人工智能倫理的本質(zhì)以及需要解決的一些問題,形成了一個新的倫理學(xué)研究方向。這方面的研究對于我們未來進一步開發(fā)和應(yīng)用更復(fù)雜的人工智能系統(tǒng),并降低它可能帶來的負(fù)面影響是極其重要的。

    3.2 人工智能倫理研究發(fā)展脈絡(luò)

    本世紀(jì)以來,由于人工智能技術(shù)在各行業(yè)領(lǐng)域的應(yīng)用,關(guān)于人工智能的倫理問題已經(jīng)不再是一個虛幻的想象,而是我們切實面臨的一個亟待解決的現(xiàn)實問題。最初,人工智能和機器人技術(shù)在工程制造領(lǐng)域得到應(yīng)用。它們主要是由人類指導(dǎo)員預(yù)編程,然后按照程序員的意圖輔助人類進行工作。這種早期的人工智能雖然具備了一些自動化特征,但并不是一種獨立自主的存在,因此對它們的倫理考慮,主要還是在機器倫理的范疇之內(nèi),比如用機器代替人類工作是否改變了人與機器之間的關(guān)系,這可能給各行業(yè)內(nèi)的雇傭關(guān)系以及整個人類社會帶來什么樣的影響。近年來,隨著人工智能系統(tǒng)越來越復(fù)雜的自主控制,這些系統(tǒng)本身也應(yīng)該意識到其行為的倫理含義。一些學(xué)者認(rèn)為在復(fù)雜智能系統(tǒng)投入使用之前,需要將其倫理問題考慮清楚,即應(yīng)該在人工智能系統(tǒng)中引入倫理原則和規(guī)則,構(gòu)建人工智能道德代理,讓它們能夠根據(jù)對外在環(huán)境信息的判斷,作出類似于人類的倫理決策。因此,人們越來越認(rèn)識到人工智能的自主決策不能僅局限于其最初設(shè)計的工作服務(wù)目標(biāo),還需要能夠?qū)ψ晕业臎Q策、行為和后果進行判斷,使自己的行為符合人類利益的最大化。但這一過程又引發(fā)出一些新的倫理問題。人工智能能夠根據(jù)預(yù)先設(shè)計的智能道德代理進行倫理決策,但它的智能道德代理的規(guī)則與算法是由其設(shè)計者、程序員定制的,而不是自主建構(gòu)的,在各方利益沖突的情況下它應(yīng)該優(yōu)先服務(wù)于誰的利益,設(shè)計者、客戶還是對整個人類利益的綜合考慮?如果對這些問題不考慮清楚就直接將人工智能技術(shù)投入應(yīng)用,可能帶來嚴(yán)重的社會問題。

    3.3 人工智能倫理研究未來發(fā)展趨勢

    從國際上人工智能倫理研究的知識圖譜來看,關(guān)于人工智能倫理的研究才剛起步??梢灶A(yù)見的是,人工智能將在未來的一段時間內(nèi)在各行業(yè)領(lǐng)域得到更廣泛更深入的應(yīng)用,而且人工智能系統(tǒng)本身也將越來越個性化、自主化,因此將引發(fā)出更多更加復(fù)雜的倫理問題。雖然,目前關(guān)于人工智能倫理在哲學(xué)思想、設(shè)計和智能道德代理方面有過一些思考,但同時還有一些非常重要的問題需要更深入的探討。首先,人工智能應(yīng)用可能引發(fā)的高度智能化工作和相應(yīng)的技術(shù)風(fēng)險等社會問題,會隨著它的廣泛應(yīng)用而逐漸凸顯出來。比如由于工作被人工智能取代而引發(fā)的失業(yè)和人類勞動價值喪失,人類的勞動技能及其相關(guān)的知識、體驗、推理和決策等方面能力的降低,是否會導(dǎo)致人類的退步,這是需要我們進行哲學(xué)反思的一個重要的問題。其次,隨著人工智能的自主化程度越來越高,我們需要思考人工智能道德代理的設(shè)計與實現(xiàn)問題,比如應(yīng)該給人工智能賦予什么樣的倫理準(zhǔn)則,如何讓其獲得類似于人類的倫理推理和倫理決策能力。這涉及形式邏輯、數(shù)學(xué)推理、規(guī)則庫和機器學(xué)習(xí)等方法在倫理判斷和倫理決策中的應(yīng)用。最后,人工智能目前還沒有自我意識,因此它的行為與決策所遵循的倫理規(guī)則仍然是人類賦予的,是為人類利益服務(wù)的。但如果有一天人工智能具備了自我意識,必然也會滋生人類的欲望和弱點。當(dāng)它們所遵循的倫理規(guī)則不再是為人類利益服務(wù)而是為自身利益服務(wù)時,人類將如何避免和應(yīng)對此類事情的發(fā)生,也是需要我們認(rèn)真考慮的一個重要問題。而另一方面,人工智能作為道德行為者的同時,也將扮演道德容受者的角色,人類應(yīng)該如何對待人工智能系統(tǒng)也是一個需要細(xì)致考慮的問題。

    (來稿時間:2019 年9 月)

    猜你喜歡
    機器倫理道德
    《心之死》的趣味與倫理焦慮
    機器狗
    機器狗
    頭上的星空與心中的道德律
    十幾歲(2021年24期)2021-11-18 02:18:40
    護生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    跟蹤導(dǎo)練(五)(2)
    道德是否必需?——《海狼》對道德虛無主義的思考
    未來機器城
    電影(2018年8期)2018-09-21 08:00:06
    無敵機器蛛
    用道德驅(qū)散“新聞霧霾”
    新聞前哨(2015年2期)2015-03-11 19:29:31
    亚洲,欧美精品.| 最近最新中文字幕免费大全7| 亚洲成国产人片在线观看| 国产高清国产精品国产三级| 亚洲美女黄色视频免费看| 欧美精品一区二区免费开放| 亚洲天堂av无毛| 日本vs欧美在线观看视频| 亚洲天堂av无毛| 中国三级夫妇交换| 久久影院123| 天美传媒精品一区二区| 国语对白做爰xxxⅹ性视频网站| 热re99久久国产66热| a 毛片基地| 热re99久久精品国产66热6| 亚洲欧美日韩另类电影网站| 精品亚洲乱码少妇综合久久| 国产不卡av网站在线观看| 亚洲精品美女久久av网站| 亚洲,欧美,日韩| 久久久久久久久久人人人人人人| 亚洲一区二区三区欧美精品| 我的女老师完整版在线观看| 一本色道久久久久久精品综合| 久久午夜综合久久蜜桃| 国产精品国产三级国产av玫瑰| 国产一区二区三区综合在线观看 | 久久午夜福利片| 国产av国产精品国产| 中国国产av一级| 男女国产视频网站| 亚洲欧洲国产日韩| 一级片免费观看大全| 国产色爽女视频免费观看| av在线app专区| 一区二区三区乱码不卡18| 成人国产av品久久久| 伦理电影免费视频| 精品久久蜜臀av无| 亚洲美女视频黄频| 91aial.com中文字幕在线观看| av免费在线看不卡| 久久青草综合色| 国产精品久久久久久精品电影小说| 亚洲精品456在线播放app| 日韩精品免费视频一区二区三区 | 久久精品熟女亚洲av麻豆精品| 不卡视频在线观看欧美| 国产av码专区亚洲av| 汤姆久久久久久久影院中文字幕| 国产熟女午夜一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91| 国产成人av激情在线播放| 99九九在线精品视频| 成年人午夜在线观看视频| 一区二区三区四区激情视频| 2021少妇久久久久久久久久久| 青春草亚洲视频在线观看| 国产成人a∨麻豆精品| 97人妻天天添夜夜摸| 女性被躁到高潮视频| 欧美3d第一页| 国产不卡av网站在线观看| 一级片'在线观看视频| 制服人妻中文乱码| 国内精品宾馆在线| 高清在线视频一区二区三区| 深夜精品福利| 日韩人妻精品一区2区三区| 久久精品国产自在天天线| 色哟哟·www| 美国免费a级毛片| 色婷婷久久久亚洲欧美| 纯流量卡能插随身wifi吗| 久久久久网色| 国产一级毛片在线| 十八禁网站网址无遮挡| 久久女婷五月综合色啪小说| 日本午夜av视频| 国产精品 国内视频| 国产精品一国产av| 制服人妻中文乱码| 成人无遮挡网站| 亚洲欧美日韩另类电影网站| 欧美97在线视频| 大香蕉久久网| 99香蕉大伊视频| 国产男女内射视频| av不卡在线播放| 丝袜美足系列| 人妻人人澡人人爽人人| av卡一久久| 亚洲精品av麻豆狂野| 丰满迷人的少妇在线观看| 精品一区在线观看国产| 日本与韩国留学比较| 视频在线观看一区二区三区| 蜜桃在线观看..| 亚洲欧美色中文字幕在线| 晚上一个人看的免费电影| 成年av动漫网址| 精品人妻在线不人妻| 老司机影院毛片| 美女大奶头黄色视频| 精品久久久久久电影网| 丰满迷人的少妇在线观看| 大香蕉97超碰在线| 国产一级毛片在线| 成人二区视频| 自线自在国产av| 韩国av在线不卡| 性色av一级| 亚洲精品一区蜜桃| 黄色一级大片看看| 成年动漫av网址| 精品国产一区二区三区四区第35| 黄色怎么调成土黄色| 18禁裸乳无遮挡动漫免费视频| 久久这里只有精品19| 日韩伦理黄色片| 波野结衣二区三区在线| 国产精品.久久久| 亚洲成色77777| 99视频精品全部免费 在线| 久久女婷五月综合色啪小说| 最近最新中文字幕大全免费视频 | 如日韩欧美国产精品一区二区三区| 亚洲精品成人av观看孕妇| 老司机亚洲免费影院| 美女主播在线视频| 26uuu在线亚洲综合色| 国产一区二区三区av在线| 久久人妻熟女aⅴ| 男女下面插进去视频免费观看 | 狂野欧美激情性xxxx在线观看| 亚洲欧美日韩卡通动漫| 精品少妇内射三级| 欧美少妇被猛烈插入视频| 人妻 亚洲 视频| 国产一区有黄有色的免费视频| 精品一品国产午夜福利视频| 久久久欧美国产精品| 精品一区在线观看国产| 免费观看a级毛片全部| 亚洲av男天堂| 日韩中文字幕视频在线看片| 国产成人精品婷婷| 一级片'在线观看视频| 欧美另类一区| 在线观看人妻少妇| 亚洲欧美一区二区三区国产| 狠狠精品人妻久久久久久综合| 久久久国产欧美日韩av| 久久亚洲国产成人精品v| 少妇高潮的动态图| 人成视频在线观看免费观看| 婷婷色综合大香蕉| 婷婷色综合大香蕉| 天天操日日干夜夜撸| 一级,二级,三级黄色视频| 91aial.com中文字幕在线观看| 精品一区二区免费观看| av免费在线看不卡| 国产精品三级大全| 一级毛片电影观看| 日韩不卡一区二区三区视频在线| 色婷婷av一区二区三区视频| 十分钟在线观看高清视频www| 精品久久国产蜜桃| 亚洲人与动物交配视频| 国产精品国产av在线观看| 22中文网久久字幕| 大片电影免费在线观看免费| 99久久精品国产国产毛片| 丝袜在线中文字幕| 秋霞伦理黄片| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 熟妇人妻不卡中文字幕| 国产精品蜜桃在线观看| 一级爰片在线观看| 性高湖久久久久久久久免费观看| 日本午夜av视频| av国产久精品久网站免费入址| 国产淫语在线视频| 成人国产麻豆网| 国产精品嫩草影院av在线观看| 日韩在线高清观看一区二区三区| 色婷婷av一区二区三区视频| 国产日韩欧美视频二区| 寂寞人妻少妇视频99o| 精品第一国产精品| 十八禁高潮呻吟视频| 男女啪啪激烈高潮av片| 美女内射精品一级片tv| h视频一区二区三区| 成人手机av| av卡一久久| 成年人午夜在线观看视频| 一个人免费看片子| 亚洲欧美精品自产自拍| 国产欧美另类精品又又久久亚洲欧美| 国产成人aa在线观看| 久久狼人影院| 国产黄频视频在线观看| 一区二区三区四区激情视频| 国产在线一区二区三区精| 丁香六月天网| 久久久久久伊人网av| 99热6这里只有精品| 国产一级毛片在线| 久久99热6这里只有精品| 精品久久国产蜜桃| 一本久久精品| 亚洲美女搞黄在线观看| 久久毛片免费看一区二区三区| 久久久亚洲精品成人影院| 亚洲av.av天堂| 午夜福利影视在线免费观看| 天天躁夜夜躁狠狠躁躁| 精品人妻熟女毛片av久久网站| 久久久久久久亚洲中文字幕| 美女大奶头黄色视频| 精品一区二区免费观看| 蜜桃国产av成人99| 亚洲人成网站在线观看播放| 成年人免费黄色播放视频| 国产老妇伦熟女老妇高清| 亚洲国产欧美在线一区| 午夜福利在线观看免费完整高清在| 少妇人妻精品综合一区二区| 久久精品熟女亚洲av麻豆精品| 日韩制服丝袜自拍偷拍| 又黄又爽又刺激的免费视频.| 最后的刺客免费高清国语| 欧美日韩亚洲高清精品| 久久久精品区二区三区| 内地一区二区视频在线| av线在线观看网站| 成人午夜精彩视频在线观看| 国产成人一区二区在线| 午夜福利网站1000一区二区三区| 国产 一区精品| 我的女老师完整版在线观看| 婷婷成人精品国产| 啦啦啦视频在线资源免费观看| 最近中文字幕高清免费大全6| 9色porny在线观看| av片东京热男人的天堂| 亚洲中文av在线| 国语对白做爰xxxⅹ性视频网站| 亚洲四区av| 黄网站色视频无遮挡免费观看| 精品一区二区免费观看| 1024视频免费在线观看| 99香蕉大伊视频| av天堂久久9| 亚洲高清免费不卡视频| 女的被弄到高潮叫床怎么办| 一区二区日韩欧美中文字幕 | 日本av免费视频播放| 99香蕉大伊视频| 桃花免费在线播放| 日本猛色少妇xxxxx猛交久久| 两个人看的免费小视频| 水蜜桃什么品种好| 欧美 日韩 精品 国产| 久久人人爽人人爽人人片va| kizo精华| 日本欧美视频一区| 亚洲精品456在线播放app| 亚洲国产欧美日韩在线播放| 国产色爽女视频免费观看| 久久久久久久久久久久大奶| 精品一区二区三区四区五区乱码 | 青青草视频在线视频观看| 女人精品久久久久毛片| 国产av国产精品国产| 十分钟在线观看高清视频www| 好男人视频免费观看在线| 国产色爽女视频免费观看| 自线自在国产av| 成年美女黄网站色视频大全免费| 国产精品一区二区在线不卡| 老司机影院成人| 欧美变态另类bdsm刘玥| 黄片无遮挡物在线观看| 久久久久精品性色| 日本黄色日本黄色录像| 亚洲成国产人片在线观看| 亚洲精品成人av观看孕妇| 一级爰片在线观看| 午夜日本视频在线| 国精品久久久久久国模美| 国产亚洲精品第一综合不卡 | 最新的欧美精品一区二区| 香蕉国产在线看| av卡一久久| 午夜福利乱码中文字幕| 人人妻人人澡人人看| 久久 成人 亚洲| 黑人巨大精品欧美一区二区蜜桃 | 中文字幕另类日韩欧美亚洲嫩草| 久久久国产一区二区| 一二三四在线观看免费中文在 | 久久毛片免费看一区二区三区| 91国产中文字幕| 亚洲国产精品一区三区| 国产乱来视频区| 久久狼人影院| 国产精品无大码| 亚洲高清免费不卡视频| 夜夜爽夜夜爽视频| 精品国产乱码久久久久久小说| 美女主播在线视频| 国产老妇伦熟女老妇高清| 亚洲精华国产精华液的使用体验| 国产黄频视频在线观看| 2021少妇久久久久久久久久久| 免费黄网站久久成人精品| 欧美精品人与动牲交sv欧美| 精品少妇内射三级| 日韩一区二区视频免费看| 国产精品无大码| 免费观看性生交大片5| 国产高清三级在线| 久久99精品国语久久久| 最近手机中文字幕大全| 热99久久久久精品小说推荐| 亚洲美女视频黄频| 99久国产av精品国产电影| 最近手机中文字幕大全| 亚洲人成网站在线观看播放| 视频区图区小说| 国产免费一区二区三区四区乱码| 久久亚洲国产成人精品v| 五月开心婷婷网| 成人国语在线视频| 国产精品一区www在线观看| 久久人人97超碰香蕉20202| 人成视频在线观看免费观看| 久久精品久久精品一区二区三区| 巨乳人妻的诱惑在线观看| 亚洲av欧美aⅴ国产| 黄色怎么调成土黄色| 国产亚洲精品第一综合不卡 | 国产又色又爽无遮挡免| 搡女人真爽免费视频火全软件| www日本在线高清视频| 飞空精品影院首页| 纵有疾风起免费观看全集完整版| 91国产中文字幕| 亚洲欧美清纯卡通| 岛国毛片在线播放| 欧美国产精品一级二级三级| 超碰97精品在线观看| 在线看a的网站| 精品少妇久久久久久888优播| 久久国产精品男人的天堂亚洲 | 尾随美女入室| 亚洲综合色惰| 麻豆乱淫一区二区| 国产探花极品一区二区| 免费观看av网站的网址| 国产成人免费无遮挡视频| 久久毛片免费看一区二区三区| 欧美日韩成人在线一区二区| 少妇被粗大猛烈的视频| av女优亚洲男人天堂| 欧美 日韩 精品 国产| 观看av在线不卡| 国产精品一区www在线观看| 国产成人精品福利久久| 色哟哟·www| 婷婷成人精品国产| 国产av精品麻豆| 美女脱内裤让男人舔精品视频| 少妇 在线观看| 女的被弄到高潮叫床怎么办| 精品99又大又爽又粗少妇毛片| 亚洲精华国产精华液的使用体验| a级毛片在线看网站| 亚洲精品国产色婷婷电影| 中国国产av一级| 大片免费播放器 马上看| 九九爱精品视频在线观看| 日韩av不卡免费在线播放| 欧美日韩国产mv在线观看视频| 欧美日韩av久久| 人妻一区二区av| 人人妻人人澡人人看| 国产成人av激情在线播放| 日本欧美国产在线视频| 亚洲精品美女久久av网站| 九九在线视频观看精品| 欧美人与性动交α欧美精品济南到 | 天天操日日干夜夜撸| 十分钟在线观看高清视频www| 国产精品久久久久久久久免| 亚洲精品美女久久av网站| 精品第一国产精品| 免费人成在线观看视频色| 亚洲经典国产精华液单| 亚洲精品乱久久久久久| 熟妇人妻不卡中文字幕| 91aial.com中文字幕在线观看| 亚洲国产色片| 中文字幕人妻丝袜制服| 啦啦啦视频在线资源免费观看| 大香蕉97超碰在线| 免费看光身美女| 这个男人来自地球电影免费观看 | 99热全是精品| 香蕉丝袜av| 天美传媒精品一区二区| 久久鲁丝午夜福利片| 制服人妻中文乱码| 免费看光身美女| 99热全是精品| 女性生殖器流出的白浆| 久久青草综合色| 少妇高潮的动态图| 亚洲婷婷狠狠爱综合网| 免费av不卡在线播放| 最后的刺客免费高清国语| 国产一区二区三区综合在线观看 | 久久久精品免费免费高清| 免费av中文字幕在线| 欧美精品高潮呻吟av久久| 有码 亚洲区| 美女中出高潮动态图| 国产片内射在线| 欧美精品高潮呻吟av久久| 午夜久久久在线观看| tube8黄色片| 午夜久久久在线观看| 天天影视国产精品| 男女高潮啪啪啪动态图| 久久久欧美国产精品| 日本av手机在线免费观看| 亚洲人成网站在线观看播放| 啦啦啦中文免费视频观看日本| 熟女av电影| 高清不卡的av网站| 亚洲精品美女久久av网站| videossex国产| 99国产精品免费福利视频| 中文字幕av电影在线播放| 久久亚洲国产成人精品v| 高清不卡的av网站| 日韩,欧美,国产一区二区三区| 黄色毛片三级朝国网站| 欧美日韩一区二区视频在线观看视频在线| 欧美日韩国产mv在线观看视频| 男女免费视频国产| www日本在线高清视频| 视频在线观看一区二区三区| 97精品久久久久久久久久精品| 国产高清不卡午夜福利| 亚洲欧美日韩卡通动漫| 熟女电影av网| 日韩免费高清中文字幕av| 男的添女的下面高潮视频| 亚洲av免费高清在线观看| freevideosex欧美| 一边摸一边做爽爽视频免费| 日韩不卡一区二区三区视频在线| 欧美日韩亚洲高清精品| 国产一区亚洲一区在线观看| 亚洲国产看品久久| 国产激情久久老熟女| 国产又色又爽无遮挡免| 美女xxoo啪啪120秒动态图| 久久精品人人爽人人爽视色| 嫩草影院入口| 国产免费一级a男人的天堂| 欧美国产精品va在线观看不卡| 18在线观看网站| 最近2019中文字幕mv第一页| 欧美人与性动交α欧美精品济南到 | 制服人妻中文乱码| 国产成人一区二区在线| 人妻人人澡人人爽人人| 男女免费视频国产| 欧美精品亚洲一区二区| 日本午夜av视频| 狠狠精品人妻久久久久久综合| 各种免费的搞黄视频| 男女午夜视频在线观看 | 99久国产av精品国产电影| 一二三四在线观看免费中文在 | av黄色大香蕉| 国产一区二区在线观看av| 国产精品嫩草影院av在线观看| 亚洲三级黄色毛片| 爱豆传媒免费全集在线观看| 丰满饥渴人妻一区二区三| 肉色欧美久久久久久久蜜桃| 黄片播放在线免费| 美女中出高潮动态图| 日韩大片免费观看网站| 九色亚洲精品在线播放| 美女大奶头黄色视频| 嫩草影院入口| 久久毛片免费看一区二区三区| 日韩大片免费观看网站| 丝袜在线中文字幕| 亚洲色图 男人天堂 中文字幕 | 中文字幕制服av| 日本黄大片高清| 中文字幕精品免费在线观看视频 | 十八禁网站网址无遮挡| 国产日韩一区二区三区精品不卡| 秋霞在线观看毛片| 满18在线观看网站| 欧美 日韩 精品 国产| 久久这里只有精品19| 久热这里只有精品99| 男女高潮啪啪啪动态图| 波野结衣二区三区在线| 美女福利国产在线| 满18在线观看网站| 亚洲四区av| 满18在线观看网站| 亚洲国产欧美日韩在线播放| 视频区图区小说| 日韩一区二区视频免费看| 久久久国产一区二区| www.av在线官网国产| 久久精品久久精品一区二区三区| 高清黄色对白视频在线免费看| 最近手机中文字幕大全| 国产一区二区三区av在线| 亚洲人与动物交配视频| av播播在线观看一区| 亚洲精品自拍成人| 国产亚洲一区二区精品| av免费在线看不卡| 国产成人午夜福利电影在线观看| 国产精品人妻久久久影院| 精品一品国产午夜福利视频| 在线观看国产h片| 国产精品人妻久久久久久| 91久久精品国产一区二区三区| 国产乱人偷精品视频| av又黄又爽大尺度在线免费看| 国产免费又黄又爽又色| 啦啦啦视频在线资源免费观看| 夜夜爽夜夜爽视频| 久久 成人 亚洲| 精品福利永久在线观看| 九色亚洲精品在线播放| 亚洲国产精品专区欧美| videos熟女内射| 搡老乐熟女国产| 亚洲国产成人一精品久久久| 夫妻午夜视频| 久久毛片免费看一区二区三区| 亚洲精品久久午夜乱码| 捣出白浆h1v1| 欧美日韩国产mv在线观看视频| 亚洲精品,欧美精品| 中文字幕制服av| 欧美国产精品一级二级三级| 18+在线观看网站| 欧美日韩国产mv在线观看视频| 精品人妻偷拍中文字幕| 青春草国产在线视频| 国产精品成人在线| 欧美亚洲日本最大视频资源| 国产激情久久老熟女| 在线观看人妻少妇| 成人国语在线视频| 一本大道久久a久久精品| 午夜精品国产一区二区电影| 波多野结衣一区麻豆| 成年人午夜在线观看视频| 美女脱内裤让男人舔精品视频| 国产在视频线精品| 国产白丝娇喘喷水9色精品| 丰满少妇做爰视频| 免费在线观看完整版高清| 久久久久久伊人网av| 少妇精品久久久久久久| 亚洲国产精品专区欧美| 99久久人妻综合| 制服诱惑二区| 国产欧美日韩一区二区三区在线| 日韩人妻精品一区2区三区| av电影中文网址| 交换朋友夫妻互换小说| 亚洲欧美中文字幕日韩二区| 18在线观看网站| 人妻系列 视频| 免费播放大片免费观看视频在线观看| 狠狠精品人妻久久久久久综合| 少妇的丰满在线观看| 涩涩av久久男人的天堂| 国产精品欧美亚洲77777| 赤兔流量卡办理| 精品少妇久久久久久888优播| 在线精品无人区一区二区三| 亚洲国产最新在线播放| 成人免费观看视频高清| 校园人妻丝袜中文字幕| 全区人妻精品视频| 日韩欧美精品免费久久| 国产福利在线免费观看视频| 亚洲四区av| 国产精品成人在线| 最近的中文字幕免费完整| 日本午夜av视频| 国产精品久久久久久久久免| 一本色道久久久久久精品综合| 久久久a久久爽久久v久久|