• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    法理學(xué)視閾下的人工智能研究

    2019-02-19 14:24:10張曉肖
    關(guān)鍵詞:主體資格個(gè)人信息主體

    □張曉肖

    (武漢大學(xué),湖北 武漢 430000)

    1 人工智能發(fā)展現(xiàn)狀

    1956年達(dá)特茅斯會(huì)議上,“人工智能”這一概念被首次提出,開(kāi)啟了人工智能元年。隨后的六十幾年中,在互聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的支持和人類(lèi)需求的驅(qū)動(dòng)下,人工智能產(chǎn)業(yè)飛速發(fā)展,極有可能會(huì)帶來(lái)新一輪科學(xué)技術(shù)革命。

    各國(guó)都希望在這一次技術(shù)革命中搶占先機(jī),因而不僅在實(shí)際研發(fā)生產(chǎn)中投入大量人力、物力,還在制度建設(shè)上極力保障和推進(jìn)人工智能產(chǎn)業(yè)的發(fā)展。歐盟早在2014年便開(kāi)始了《歐盟機(jī)器人研發(fā)計(jì)劃》,又于2018年相繼發(fā)布了《歐盟人工智能戰(zhàn)略》和《人工智能協(xié)調(diào)計(jì)劃》,日本于2015年實(shí)施《日本機(jī)器人戰(zhàn)略:愿景、戰(zhàn)略、行動(dòng)計(jì)劃》,德國(guó)推出“工業(yè)4.0”戰(zhàn)略,美國(guó)亦在2019年2月啟動(dòng)了“美國(guó)人工智能計(jì)劃”。2017年,國(guó)務(wù)院正式發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,明確了人工智能產(chǎn)業(yè)未來(lái)發(fā)展方向,為研發(fā)提供大量物質(zhì)、制度支持,以期2030年時(shí)能夠達(dá)成“三步走”戰(zhàn)略目標(biāo),使我國(guó)人工智能理論、技術(shù)與應(yīng)用總體達(dá)到世界領(lǐng)先水平。

    2 人工智能給法律帶來(lái)的挑戰(zhàn)

    人工智能產(chǎn)業(yè)發(fā)展突飛猛進(jìn),人工智能技術(shù)的應(yīng)用涵蓋了社會(huì)方方面面,不僅提高了社會(huì)效率,也滿足了人們追求更精致、更人性化生活的需求?!肮I(yè)機(jī)器人”在各領(lǐng)域大展拳腳,智能家居不斷提升人們的居住舒適度,智能醫(yī)學(xué)有利于協(xié)助診斷、治療疾病,智能交通系統(tǒng)能夠有效提高通行能力。在法律實(shí)踐領(lǐng)域,我國(guó)最高院與最高檢著手建設(shè) “智慧法院”與 “智慧檢務(wù)”,有著檢索信息、進(jìn)行法律推理、生成法律文件等功能的人工智能開(kāi)始輔助處理案件,在案件數(shù)量激增的環(huán)境下,有利于緩解司法工作人員的壓力。

    人們享受每一次技術(shù)革新帶來(lái)的福利,同時(shí),也面臨其引起的巨大社會(huì)變革。人工智能,人們雖對(duì)其日益依賴,但又始終帶著質(zhì)疑和恐懼。通過(guò)幾十年的研究改進(jìn),人工智能的認(rèn)知能力、深度學(xué)習(xí)能力、運(yùn)算能力等已經(jīng)十分發(fā)達(dá)。谷歌公司研發(fā)的人工智能機(jī)器人AlphaGo接連將多位圍棋世界冠軍斬于馬下,IBM公司的人工智能Project Debater成為比人類(lèi)更優(yōu)秀的辯手。在與人工智能的多次博弈中,人類(lèi)常常居于下風(fēng)。近年來(lái),“人工智能威脅論”甚囂塵上,人們擔(dān)憂歷經(jīng)萬(wàn)年進(jìn)化的人類(lèi)智慧是否會(huì)被人工智能趕超?人工智能若是脫離人類(lèi)的控制,人類(lèi)將如何與人工智能共處?霍金在2017全球移動(dòng)互聯(lián)網(wǎng)大會(huì)發(fā)表了《讓人工智能造福人類(lèi)及其賴以生存的家園》的演講,指出“人工智能的全方位發(fā)展可能招致人類(lèi)的滅亡”。特斯拉公司的CEO馬斯克也曾警告稱,人類(lèi)所建造的機(jī)器有一天可能會(huì)導(dǎo)致自身的毀滅,人工智能的發(fā)展必須受到控制。甚至有學(xué)者斷定,人工智能會(huì)超越人類(lèi)智能,非生物智能在2045年將會(huì)10億倍于今天所有人類(lèi)的智慧[1]。

    這些擔(dān)憂并非杞人憂天,人工智能技術(shù)本身具有復(fù)雜性和難以預(yù)測(cè)性,其帶來(lái)的問(wèn)題已經(jīng)開(kāi)始顯現(xiàn),機(jī)器人侵權(quán)事件頻發(fā)、智能致命性武器產(chǎn)生威脅[2]、個(gè)人信息大量泄露,如若不及時(shí)防范,很有可能帶來(lái)人類(lèi)社會(huì)巨大震蕩。因此,各國(guó)在大力推動(dòng)人工智能產(chǎn)業(yè)之時(shí),也制定了各種計(jì)劃以防止人工智能的無(wú)序發(fā)展。我國(guó)《新一代人工智能發(fā)展規(guī)劃》中也指出了,要開(kāi)展與人工智能應(yīng)用相關(guān)的民事與刑事責(zé)任確認(rèn)、隱私和產(chǎn)權(quán)保護(hù)、信息安全利用等法律問(wèn)題研究,明確人工智能法律主體以及相關(guān)權(quán)利、義務(wù)和責(zé)任等。

    2.1 人工智能法律地位亟待確定

    當(dāng)革新技術(shù)應(yīng)用到生物人本身時(shí),往往都會(huì)產(chǎn)生對(duì)其法律主體資格的質(zhì)疑,克隆人、基因編輯人皆是如此。上世紀(jì)90年代就爆發(fā)過(guò)關(guān)于克隆人的倫理和技術(shù)爭(zhēng)議,出于對(duì)血親倫理、生物學(xué)、人類(lèi)尊嚴(yán)等方面的考量,國(guó)際社會(huì)禁止對(duì)人類(lèi)進(jìn)行克隆,也明確克隆人不具有法律人格,因此克隆人沒(méi)有產(chǎn)生對(duì)“自然人”定義的根本性顛覆[3]。2018年,第一對(duì)經(jīng)過(guò)基因編輯的雙胞胎出生,再次引發(fā)關(guān)于生物、倫理、法律的探討,基因編輯在倫理上可能沖擊著人的尊嚴(yán)和生存價(jià)值,在社會(huì)上可能導(dǎo)致新的社會(huì)不平等及人本身的異化[4],經(jīng)過(guò)基因編輯的生物人是否享有與普通人無(wú)異的法律主體資格仍是未知數(shù)。

    人工智能是模擬人類(lèi)大腦運(yùn)轉(zhuǎn)的技術(shù),其可以通過(guò)算法進(jìn)行自我學(xué)習(xí)、自我改進(jìn)。不斷增強(qiáng)計(jì)算能力、感知能力的人工智能有超越人類(lèi)、脫離人類(lèi)控制的可能性,具有自主意識(shí)的人工智能是否應(yīng)當(dāng)脫離“物”的范疇,而被賦予同人類(lèi)相等的主體資格,成為亟待解決的法律問(wèn)題。同時(shí),確定人工智能是否具有法律主體資格,也為討論如何解決其侵權(quán)、知識(shí)產(chǎn)權(quán)歸屬等法律問(wèn)題奠定了基礎(chǔ)。

    在實(shí)踐中,賦予人工智能主體資格已經(jīng)成為現(xiàn)實(shí)——沙特阿拉伯于2017年授予了能識(shí)別人類(lèi)面部、理解語(yǔ)言、與人類(lèi)互動(dòng)的機(jī)器人索菲亞以公民資格,歐盟委員會(huì)把最先進(jìn)的自動(dòng)化機(jī)器“工人”的身份定位為“電子人(electronic persons)”,并賦予這些機(jī)器人依法享有著作權(quán)、勞動(dòng)權(quán)等“特定的權(quán)利與義務(wù)”的資格[5]。但在法學(xué)理論上,是否應(yīng)當(dāng)打破傳統(tǒng)民法建立起的主客體兩分法的框架,使人工智能成為“法律上的人”還有待討論。

    2.2 人工智能侵權(quán)的責(zé)任問(wèn)題

    人工智能機(jī)器人的廣泛應(yīng)用,導(dǎo)致受害事件屢見(jiàn)不鮮。2007年,美國(guó)89名病患因醫(yī)療外科手術(shù)機(jī)器人造成燒傷、切割傷以及感染而死亡;2015年,德國(guó)大眾汽車(chē)制造商的一名工人在安裝機(jī)器人時(shí),被機(jī)器人突然抓住胸部并重重壓向一塊金屬板,最終傷重不治身亡;2016年,中國(guó)河北的一名車(chē)主開(kāi)啟了特斯拉的自動(dòng)輔助駕駛系統(tǒng),由于系統(tǒng)并未識(shí)別出前方的道路清掃車(chē),以致發(fā)生車(chē)禍,車(chē)主最終身亡。

    產(chǎn)品安全與公共安全緊密相連,也與個(gè)人基本人權(quán)息息相關(guān)。人工智能產(chǎn)品多樣化、功能日益復(fù)雜化、應(yīng)用廣泛化,導(dǎo)致產(chǎn)品致人身或財(cái)產(chǎn)受到侵害的現(xiàn)象逐漸增多,容易引起社會(huì)對(duì)人工智能技術(shù)的質(zhì)疑,引發(fā)嚴(yán)重的社會(huì)問(wèn)題。因此,需要有明確的民事責(zé)任法律制度,使產(chǎn)生的損害得到及時(shí)有效地救濟(jì),同時(shí)規(guī)制人工智能產(chǎn)業(yè)的高效有序發(fā)展,促進(jìn)人工智能技術(shù)循著有利于人類(lèi)自身利益的方向前行,避免人工智能發(fā)展到一定階段后反噬人類(lèi)社會(huì)。然而,擁有更高自主性的人工智能實(shí)施的侵害呈現(xiàn)顯著的擬人性、復(fù)雜性、特異性,引起了傳統(tǒng)民事責(zé)任法律制度能否適用、如何適用的擔(dān)憂和困惑。[6]

    2.3 亟待保護(hù)個(gè)人信息

    個(gè)人信息是與特定個(gè)人相關(guān)聯(lián)的、反映個(gè)體特征的、具有可識(shí)別性的符號(hào)系統(tǒng),包括個(gè)人身份、工作、家庭、財(cái)產(chǎn)、健康等各方面信息。[7]個(gè)人信息是大數(shù)據(jù)的重要組成部分,在數(shù)據(jù)電子化的今天,一個(gè)人從呱呱墜地到駕鶴西去這一生的信息都會(huì)以數(shù)據(jù)形式記錄下來(lái)。在數(shù)據(jù)為王的現(xiàn)代社會(huì),從企業(yè)生產(chǎn)銷(xiāo)售決策的確立到國(guó)家大政方針的制定,都有賴于以個(gè)人信息為基礎(chǔ)的大數(shù)據(jù)。個(gè)人信息的經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值不斷攀升,而科技發(fā)展使獲取個(gè)人信息的成本愈發(fā)低廉,在暴利的驅(qū)使下,對(duì)個(gè)人信息不當(dāng)獲取、分析、加工、使用的亂象愈演愈烈。

    人工智能以大數(shù)據(jù)為基礎(chǔ),根據(jù)算法進(jìn)行采集、分析后加以應(yīng)用。人工智能的發(fā)展雖為人們帶來(lái)了便利,但其對(duì)大數(shù)據(jù)的巨大需求量,也加劇了個(gè)人信息被泄露和濫用的現(xiàn)象。侵權(quán)情況比比皆是:終端在使用者未授權(quán)的情況下,自動(dòng)開(kāi)啟攝像、錄音等功能采集信息;軟件變相強(qiáng)制用戶提供個(gè)人信息,很多軟件在非必要的情況下,要求用戶必須提供讀取定位、手機(jī)存儲(chǔ)信息后才能使用,選擇不同意便無(wú)法使用,當(dāng)軟件行業(yè)沆瀣一氣都采用這種模式時(shí),很多用戶會(huì)為了生活學(xué)習(xí)需要,迫于無(wú)奈放棄個(gè)人信息權(quán)益;一些企業(yè)將獲取的個(gè)人信息私自轉(zhuǎn)賣(mài)給第三方;人工智能將用戶的畫(huà)像精準(zhǔn)勾勒出來(lái),再向手機(jī)、電腦定向發(fā)送根據(jù)我們個(gè)人喜好量身定制的營(yíng)銷(xiāo)廣告。防止人工智能應(yīng)用過(guò)程中的數(shù)據(jù)非法收集、泄露、濫用等問(wèn)題,有效保護(hù)個(gè)人信息的安全,需要逐步建立完善的法律體系,加強(qiáng)司法救濟(jì)力度,強(qiáng)化行政監(jiān)管,讓個(gè)人信息侵權(quán)沒(méi)有可乘之機(jī)。

    3 人工智能尚不能取得法律主體資格

    3.1 民法主體資格的演變

    主客體兩分框架是現(xiàn)代民法的理論基礎(chǔ),民法主體,是相對(duì)于客體而言的,指具備了法律規(guī)定條件的“適格者”,即法律上的“人”。法律中的“人”和現(xiàn)實(shí)中的人并不是一一對(duì)應(yīng)的,法律中的 “人” 是指具有法律人格,享有法律權(quán)利能力、承擔(dān)義務(wù)和責(zé)任的一切實(shí)體,[8]包括自然人、法人和其他組織;而現(xiàn)實(shí)中的人指稱生活中的各種現(xiàn)實(shí)存在,[9]僅指生物學(xué)意義上的人。

    在漫長(zhǎng)的法律史中,法律主體的范圍并非一成不變,經(jīng)歷了從“人可非人”到“非人可人”的跨越。前者是指通過(guò)立法技術(shù),把部分人從法律主體范圍中被剝離。譬如奴隸制下的奴隸,從古羅馬時(shí)期一直到近代美國(guó),奴隸都是作為財(cái)產(chǎn),即法律中的“物”存在,被交易、“使用”,直到近現(xiàn)代奴隸制被逐漸廢除,這類(lèi)人才真正成了社會(huì)意義和法律意義上的“人”。婦女、兒童被納入民事主體范圍的歷程亦是如此。而到了近代社會(huì),出于商業(yè)發(fā)展的需要,公司——這一能很大程度降低投資人風(fēng)險(xiǎn)、促進(jìn)資本擴(kuò)張的經(jīng)濟(jì)實(shí)體,被賦予了法律主體資格,能夠與自然人一樣享有權(quán)利、承擔(dān)責(zé)任,沒(méi)有生命的團(tuán)體被立法抽象成了“人”。因此,所謂“法律人格”是意味著并不一定與人性有聯(lián)系的法律上的特別的資格。此外,胎兒獲得了財(cái)產(chǎn)繼承權(quán),死者的人格利益得到保護(hù),網(wǎng)絡(luò)虛擬人格的財(cái)產(chǎn)權(quán)得到保護(hù),某些國(guó)家在《民法典》中規(guī)定“動(dòng)物非物”,說(shuō)明主體范圍是在持續(xù)不斷變動(dòng)的。

    從立法技術(shù)上說(shuō),人工智能是可以被賦予法律主體資格的,有學(xué)者提出,可以通過(guò)法律擬制立法技術(shù)賦予人工智能獨(dú)立的法律人格,完善人工智能的法律責(zé)任制度。[10]但從現(xiàn)階段人工智能發(fā)展水平考慮,是否需要改變現(xiàn)有的主客體兩分法框架,擴(kuò)大民事主體范圍,給予其主體地位,才是關(guān)鍵所在。

    3.2 人工智能主體資格相關(guān)學(xué)說(shuō)及評(píng)述

    對(duì)于人工智能是否應(yīng)當(dāng)被賦予法律主體資格,學(xué)界有不同看法:

    一類(lèi)是肯定說(shuō)。張玉潔認(rèn)為機(jī)器人能夠給老齡化趨勢(shì)嚴(yán)重的人類(lèi)帶來(lái)極大便利,人類(lèi)應(yīng)當(dāng)承認(rèn)并保護(hù)機(jī)器人的安全,并建立不同種族之間共存的法律保障機(jī)制,即借鑒動(dòng)物權(quán)利和公司法人資格賦予人工智能法律主體地位[11];楊清望提出通過(guò)擬制手段,賦于人工智能主體資格[11]。

    一類(lèi)是否定說(shuō)。很多學(xué)者都持此觀點(diǎn),但論證角度不同。吳漢東從主體控制的角度談,認(rèn)為民事主體控制的機(jī)器人,尚不足以取得獨(dú)立的主體地位[12];房紹坤、林廣會(huì)從人工智能本身發(fā)展角度出發(fā),認(rèn)為強(qiáng)人工智能時(shí)代囿于技術(shù)難度和人類(lèi)對(duì)可能風(fēng)險(xiǎn)的防范態(tài)度很難來(lái)臨,無(wú)須賦予其主體資格,人工智能作為人類(lèi)的工具,只能是法律客體[13];倪楠認(rèn)為人工智能只是在人類(lèi)設(shè)計(jì)好的范圍內(nèi)行事,歸根結(jié)底仍是工具,是作為客體存在[14];王利明、楊立新、郝鐵川是從立法角度分析,認(rèn)為人工智能的發(fā)展尚未對(duì)傳統(tǒng)民事主體制度提出顛覆性挑戰(zhàn),可以利用現(xiàn)行民法的基本原則和具體規(guī)則解決問(wèn)題[15]。

    一類(lèi)是折中說(shuō)。袁曾認(rèn)為人工智能具有高度的智慧性與獨(dú)立的行為決策能力,有資格享有法律權(quán)利并承擔(dān)責(zé)任義務(wù),能夠獲得法律人格。但基于其承擔(dān)行為能力的有限性,也決定了其法律人格是有限的[16];司曉、曹建峰考慮到法律的利益平衡目的,認(rèn)為應(yīng)當(dāng)全方位嚴(yán)格責(zé)任、差別化責(zé)任、強(qiáng)制保險(xiǎn)和賠償基金、智能機(jī)器人法律人格等法律方案,以合理有效地解決人工智能帶來(lái)的現(xiàn)實(shí)問(wèn)題[17]。

    三種觀點(diǎn)的差異在于學(xué)者討論時(shí)對(duì)人工智能所處階段的定位不同。持肯定說(shuō)的學(xué)者大多是構(gòu)想人工智能已經(jīng)發(fā)展到具有自主意識(shí)、行為能力的時(shí)代,可以通過(guò)擬制等手段賦予其主體資格,以預(yù)防人機(jī)關(guān)系糾紛和解決問(wèn)題,使人類(lèi)能夠在強(qiáng)人工智能時(shí)代享受最大化利益,盡量避免模糊法律關(guān)系導(dǎo)致的低效率和潛在損失;而持否定說(shuō)的學(xué)者大多是立足當(dāng)下,從人工智能發(fā)展現(xiàn)狀和其自身性質(zhì)考慮,認(rèn)為人工智能在短期內(nèi)很難進(jìn)化為前人工智能,已產(chǎn)生的問(wèn)題能夠被現(xiàn)有法律范圍覆蓋;持折中說(shuō)的學(xué)者則是出于對(duì)前兩者的平衡考量,綜合提出了建議。

    3.3 人工智能無(wú)法成為法律中的“人”

    其一,不能拋開(kāi)人工智能發(fā)展現(xiàn)狀,在漫無(wú)邊際的設(shè)想中空談主體資格問(wèn)題。人工智能的發(fā)展分為三個(gè)階段,即弱人工智能、強(qiáng)人工智能以及超人工智能。弱人工智能是擁有計(jì)算智能,但沒(méi)有意向狀態(tài),只是受電路和程序支配,完成特定工作的機(jī)器[18];強(qiáng)人工智能是擁有感知智能、認(rèn)知智能,能理解、會(huì)思考的能夠真正推理和解決問(wèn)題的人工智能,這也是各大科技巨頭正在尋求突破的領(lǐng)域;超人工智能是綜合能力遠(yuǎn)超人類(lèi)的人工智能。

    人類(lèi)的渺小,注定人類(lèi)在面對(duì)新生事物時(shí)有恐懼防備心理,“人工智能威脅論”體現(xiàn)的不是人類(lèi)對(duì)另一種智慧的恐懼,而是對(duì)未知的恐懼?,F(xiàn)階段,人工智能仍處于按照既定的算法進(jìn)行高速運(yùn)算和執(zhí)行程序指令的弱人工智能階段,并不具備獨(dú)立于人的自主意識(shí),人們也只是將機(jī)器作為提高工作生活效率或服務(wù)自身的工具。機(jī)器人生成的目的行為,與人類(lèi)有目的、有意識(shí)的行為,性質(zhì)完全不同[19]。人腦本身是一個(gè)極其復(fù)雜精密的系統(tǒng),其內(nèi)部構(gòu)造、如何認(rèn)知、如何提取處理輸出信息以及運(yùn)轉(zhuǎn)模式,人類(lèi)都尚未參透。人工智能作為機(jī)制類(lèi)腦、行為類(lèi)人的產(chǎn)物,雖然行為上逐步接近人類(lèi),但思維上尚無(wú)法模擬人腦,只能對(duì)數(shù)據(jù)進(jìn)行機(jī)械的加工處理,更無(wú)須談超越人腦。有科學(xué)家預(yù)測(cè),未來(lái)幾十年里,在人腦研究沒(méi)有重大突破的情況下,人工智能會(huì)持續(xù)弱人工智能階段發(fā)展。

    因此,無(wú)論是有人機(jī)對(duì)弈劃時(shí)代意義的“深藍(lán)”機(jī)器人、能夠暢通無(wú)阻與人交流的Siri,還是外表看似與人無(wú)異的沙特阿拉伯公民索菲亞,都只是根據(jù)既定系統(tǒng)運(yùn)算行事的人工智能系統(tǒng),是沒(méi)有獨(dú)立意識(shí)和思維能力的。在本質(zhì)上,它們與石器時(shí)代的石刀石斧、工業(yè)革命時(shí)代的飛機(jī)火車(chē)并無(wú)二致,都是人類(lèi)用以生產(chǎn)生活的工具,是人類(lèi)能力的延伸。雖然在弱人工智能時(shí)代探討主體資格問(wèn)題有前瞻性,能夠?yàn)榻窈笕斯ぶ悄茱w速發(fā)展做好理論準(zhǔn)備,但實(shí)踐中尚不需要給予其主體資格。

    其二,從民事主體構(gòu)成要件來(lái)講,人工智能并不具備擁有民事行為能力的可能性。從主觀方面看,人工智能的認(rèn)識(shí)能力和判斷能力是由既定的程序操控的,自身沒(méi)有自主的意思表達(dá)能力,仍然等同于人類(lèi)的意志,是人類(lèi)意識(shí)的延伸擴(kuò)展;從客觀方面看,人工智能不能以自己的行為取得民事權(quán)利,沒(méi)有獨(dú)立財(cái)產(chǎn)為自己的不法行為承擔(dān)責(zé)任。

    其三,現(xiàn)有法律規(guī)范仍可應(yīng)對(duì)人工智能所帶來(lái)的挑戰(zhàn)。法律本身具有滯后性和穩(wěn)定性,民法中主客體兩分框架以及主體資格的范圍是在漫長(zhǎng)歷史發(fā)展中確定的。譬如“法人”,是在公司實(shí)體出現(xiàn)并運(yùn)行多年后,才被法律承認(rèn)為法律主體。法律調(diào)整的是已經(jīng)清晰、成熟、穩(wěn)定的法律關(guān)系,法律制度的變動(dòng)也必須嚴(yán)謹(jǐn),若剛出現(xiàn)類(lèi)人的新生事物便急忙將其擬制為民事主體,未免操之過(guò)急;即使已經(jīng)將其擬制為民事主體,是否會(huì)動(dòng)搖民事主體基本理論也有待商榷[20]。

    人工智能產(chǎn)業(yè)在20世紀(jì)50年代興起,直到21世紀(jì)大數(shù)據(jù)、互聯(lián)網(wǎng)等技術(shù)有較大突破后才迎來(lái)了爆發(fā)式發(fā)展,方興未艾,但還不成熟。互聯(lián)網(wǎng)誕生之初,法律問(wèn)題層出不窮,人工智能發(fā)展到現(xiàn)階段也是如此,侵權(quán)、著作權(quán)、隱私權(quán)、個(gè)人信息等相關(guān)問(wèn)題均有涉及,但從整體來(lái)看,這些問(wèn)題沒(méi)有跳脫出現(xiàn)有法律框架,沒(méi)有產(chǎn)生全新的成熟穩(wěn)定的法律關(guān)系,在人工智能作為民事客體的定位下,是可以被現(xiàn)有法律規(guī)范所規(guī)制并加以解決的。除此之外,即使遇到新型問(wèn)題,具體條款束手無(wú)策時(shí),還可以運(yùn)用法律原則,不宜貿(mào)然更改具體法律制度。人工智能發(fā)展到強(qiáng)人工智能甚至超人工智能還有很漫長(zhǎng)的路要走,現(xiàn)階段的弱人工智能仿佛蹣跚學(xué)步的嬰兒,今后會(huì)發(fā)展到何種程度難以定論,在發(fā)展前景還不明朗的情況下,立法條件并不成熟,民事主體制度不宜有大變動(dòng)。

    4 人工智能侵權(quán)問(wèn)題的應(yīng)對(duì)

    人工智能民事責(zé)任問(wèn)題與其民事法律地位相銜接,既已確定人工智能屬于法律關(guān)系的客體,那么由其造成的侵權(quán)問(wèn)題是能夠通過(guò)現(xiàn)有的民法規(guī)則進(jìn)行調(diào)整的。人工智能侵權(quán)大多集中在產(chǎn)品責(zé)任,但有其特殊性,在責(zé)任主體、責(zé)任減免事由、賠償制度等方面需要更為明確細(xì)致的界定和相應(yīng)調(diào)整。

    人工智能產(chǎn)品責(zé)任是指人工智能產(chǎn)品由于自身的缺陷(包括設(shè)計(jì)缺陷、制造缺陷、警示缺陷、跟蹤觀察缺陷)[21],致使他人遭受人身?yè)p害、財(cái)產(chǎn)損失的,產(chǎn)品的生產(chǎn)者、銷(xiāo)售者以及設(shè)計(jì)者要承擔(dān)嚴(yán)格責(zé)任[22]。

    4.1 適用的歸責(zé)原則

    人工智能致害的產(chǎn)品責(zé)任適用的是最為嚴(yán)格的無(wú)過(guò)錯(cuò)責(zé)任,即人工智能產(chǎn)品一旦存在缺陷,并由于缺陷使他人受到損害,責(zé)任主體便應(yīng)當(dāng)承擔(dān)損害賠償責(zé)任。這是因?yàn)閹в腥毕莸娜斯ぶ悄墚a(chǎn)品有潛在的高度危險(xiǎn)性,一旦投入市場(chǎng),容易產(chǎn)生大規(guī)模的侵權(quán)事件。適用嚴(yán)格責(zé)任有利于促使責(zé)任主體盡到謹(jǐn)慎義務(wù),從嚴(yán)把控設(shè)計(jì)、生產(chǎn)、流通等環(huán)節(jié),把產(chǎn)品致害可能性降到最低,從而有效保障使用者的安全和利益。

    4.2 產(chǎn)品責(zé)任的承擔(dān)主體

    《侵權(quán)責(zé)任法》和《產(chǎn)品質(zhì)量法》中規(guī)定的責(zé)任主體是生產(chǎn)者和銷(xiāo)售者,因人工智能產(chǎn)品的缺陷致害時(shí),生產(chǎn)者和銷(xiāo)售者應(yīng)承擔(dān)不真正連帶責(zé)任。但人工智能產(chǎn)業(yè)分工極為精細(xì),人工智能產(chǎn)品從設(shè)計(jì)、制造再到流通領(lǐng)域,期間往往經(jīng)過(guò)多個(gè)環(huán)節(jié)。當(dāng)產(chǎn)品的設(shè)計(jì)者和生產(chǎn)者不是同一主體時(shí),設(shè)計(jì)者是否應(yīng)當(dāng)作為責(zé)任主體為設(shè)計(jì)缺陷承擔(dān)責(zé)任,應(yīng)當(dāng)在此予以考慮。人工智能的內(nèi)容、程序設(shè)計(jì)是產(chǎn)品的核心,內(nèi)容設(shè)計(jì)的重要性往往甚于外部結(jié)構(gòu)。一旦設(shè)計(jì)有缺陷,波及的產(chǎn)品范圍極廣,通常會(huì)造成一個(gè)批次甚至是一條產(chǎn)品線的產(chǎn)品出現(xiàn)問(wèn)題,容易造成大規(guī)模侵權(quán)事件。不同于一般產(chǎn)品,人工智能產(chǎn)業(yè)有極強(qiáng)的專(zhuān)業(yè)性,產(chǎn)品的運(yùn)轉(zhuǎn)依賴于設(shè)計(jì)者編制的程序,如果本身存在設(shè)計(jì)缺陷的,生產(chǎn)者、銷(xiāo)售者以及消費(fèi)者很難發(fā)現(xiàn),主要依靠設(shè)計(jì)者前期完善系統(tǒng)設(shè)計(jì)、后期進(jìn)行跟蹤檢測(cè)來(lái)避免和改正設(shè)計(jì)缺陷。在此情況下,設(shè)計(jì)者也應(yīng)當(dāng)是責(zé)任主體,不再屬于一般產(chǎn)品責(zé)任中的“第三人”的范疇,直接與生產(chǎn)、銷(xiāo)售者承擔(dān)一道承擔(dān)不真正連帶責(zé)任。因產(chǎn)品存在設(shè)計(jì)缺陷造成損害額,被侵權(quán)人可以直接向設(shè)計(jì)者請(qǐng)求賠償,也可以先向生產(chǎn)者、銷(xiāo)售者請(qǐng)求賠償,生產(chǎn)者和銷(xiāo)售者有權(quán)再向設(shè)計(jì)者追償。

    4.3 設(shè)計(jì)者責(zé)任的減免事由

    發(fā)展風(fēng)險(xiǎn)是產(chǎn)品責(zé)任的免責(zé)事由之一,在一定情況下,發(fā)展風(fēng)險(xiǎn)可以成為承擔(dān)人工智能產(chǎn)品責(zé)任的設(shè)計(jì)者的責(zé)任減免事由。人工智能自身有極強(qiáng)的進(jìn)化能力,設(shè)計(jì)者將程序預(yù)先植入后,人工智能會(huì)根據(jù)收集到的大量數(shù)據(jù)進(jìn)行選擇、學(xué)習(xí)、分析、調(diào)整,經(jīng)過(guò)這樣循環(huán)往復(fù)的過(guò)程,其可控性和可預(yù)測(cè)性被大大削弱了,產(chǎn)品可能會(huì)“跑偏”甚至與人們的設(shè)計(jì)初衷背道而馳。人工智能產(chǎn)品可能會(huì)“打破”預(yù)先設(shè)定的規(guī)則,大大超出其設(shè)計(jì)者的預(yù)期[23],譬如微軟開(kāi)發(fā)的Twitter人工智能聊天機(jī)器人Tay和人類(lèi)交流后,吸收了大量負(fù)面信息,成為一個(gè)集反猶太人、性別歧視、種族歧視于一身的“不良少女”[24]。人工智能自身進(jìn)化后產(chǎn)生缺陷,在一定程度上可以被看作是發(fā)展風(fēng)險(xiǎn)。為最大程度上避免或減少此種危險(xiǎn)的發(fā)生,設(shè)計(jì)者應(yīng)在設(shè)計(jì)時(shí)將可預(yù)測(cè)范圍內(nèi)的可能發(fā)展出的設(shè)計(jì)缺陷進(jìn)行修正,在投入流通后履行好實(shí)時(shí)跟蹤監(jiān)測(cè)的義務(wù),一旦產(chǎn)品出現(xiàn)問(wèn)題,便采取矯正程序、警示、召回等措施。同時(shí),也要考慮到人工智能領(lǐng)域剛剛興起,設(shè)計(jì)也是在未知中摸索著前進(jìn),若由設(shè)計(jì)者承擔(dān)太過(guò)嚴(yán)苛的責(zé)任,會(huì)束縛研發(fā)者的手腳,抑制產(chǎn)業(yè)開(kāi)發(fā)的積極性,但人工智能產(chǎn)品發(fā)生“發(fā)展風(fēng)險(xiǎn)”時(shí),設(shè)計(jì)者的責(zé)任可進(jìn)行減免。即,若人工智能侵權(quán)的設(shè)計(jì)缺陷是在設(shè)計(jì)者可預(yù)測(cè)或可檢測(cè)范圍內(nèi),設(shè)計(jì)者應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任;若在范圍之外,是人工智能自我學(xué)習(xí)后增加的不確定性使致害的發(fā)生難以完全防范,應(yīng)減免設(shè)計(jì)者的責(zé)任。

    5 完善個(gè)人信息保障體系

    規(guī)范人工智能企業(yè),使其謹(jǐn)慎合理地獲取、使用個(gè)人信息,需要完善的法律保障體系進(jìn)行制約?,F(xiàn)階段,法律對(duì)個(gè)人信息保護(hù)構(gòu)建了一個(gè)大框架,《民法總則》將個(gè)人信息權(quán)納入了法律保護(hù)范圍,《網(wǎng)絡(luò)安全法》中“網(wǎng)絡(luò)信息安全”一章規(guī)定了建立健全用戶信息保護(hù)制度的幾大方向,工業(yè)和信息化部《電信和互聯(lián)網(wǎng)用戶個(gè)人信息保護(hù)規(guī)定》強(qiáng)調(diào)了用戶的知情同意權(quán)、企業(yè)的安全保障措施和電信管理機(jī)構(gòu)的監(jiān)督審查,公安部在2019年4月份施行的《互聯(lián)網(wǎng)個(gè)人信息安全保護(hù)指南》規(guī)定了個(gè)人信息持有者在對(duì)個(gè)人信息進(jìn)行收集、保存、應(yīng)用、刪除、第三方委托處理、共享和轉(zhuǎn)讓、公開(kāi)披露時(shí)的要求;另外,《刑法修正案(九)》也增加了拒不履行網(wǎng)絡(luò)安全管理義務(wù)罪等相關(guān)罪名。但個(gè)人信息保護(hù)的相關(guān)規(guī)定散見(jiàn)于法律法規(guī)、部門(mén)規(guī)章和其他規(guī)定,零散且籠統(tǒng),缺乏高位階、系統(tǒng)化、細(xì)致化的法律保護(hù)個(gè)人信息權(quán)利。

    制定專(zhuān)門(mén)的《個(gè)人信息保護(hù)法》是人工智能時(shí)代的趨勢(shì),也是保護(hù)個(gè)人信息的必然要求和有效路徑。在立法中,首先應(yīng)當(dāng)明確信息主體權(quán)利,包括信息知情同意權(quán)、查詢權(quán)、更正權(quán)、刪除權(quán)、被遺忘權(quán)和拒絕權(quán)等,并隨著實(shí)踐的要求逐步完善個(gè)人信息權(quán)利在法理和立法中的內(nèi)容。建立個(gè)人信息權(quán)利體系,有利于提高用戶自身的權(quán)利意識(shí),在使用人工智能的同時(shí)維護(hù)好自身權(quán)益。其次應(yīng)當(dāng)嚴(yán)格限定信息持有者和使用者的責(zé)任和義務(wù),把好個(gè)人信息流轉(zhuǎn)每一個(gè)環(huán)節(jié)的關(guān)口,規(guī)定其在合法和必要的限度內(nèi)收集和利用個(gè)人信息,同時(shí)強(qiáng)調(diào)其注意義務(wù),通過(guò)技術(shù)手段構(gòu)筑信息安全區(qū)域、劃定警戒線,做好事先預(yù)防。最后明確救濟(jì)渠道,在個(gè)人信息遭到不法侵害后,被侵權(quán)人既可以向行政監(jiān)管部門(mén)進(jìn)行申訴,也可以利用司法救濟(jì)途徑維護(hù)自身利益。信息權(quán)利主體基于與侵權(quán)人之間巨大的資金、技術(shù)差異,難以取證,請(qǐng)求救濟(jì)的成本高昂,因此在個(gè)人信息侵權(quán)案中,可以采取舉證責(zé)任倒置原則,由侵權(quán)人進(jìn)行舉證,可以提高被侵權(quán)人的維權(quán)積極性。另外,還可以采用懲罰性賠償制度,增加侵權(quán)人的違法成本,可以更好地遏制其侵權(quán)行為。

    人工智能發(fā)展日新月異,侵犯?jìng)€(gè)人信息的手段層出不窮,法律始終有滯后性,還應(yīng)當(dāng)強(qiáng)化其他監(jiān)管方式的力度,以靈活應(yīng)對(duì)新出現(xiàn)的侵權(quán)行為模式。一方面,可以通過(guò)行業(yè)自律進(jìn)行內(nèi)部監(jiān)督,人工智能產(chǎn)業(yè)涉及的各行業(yè)可自行制定相關(guān)行業(yè)規(guī)范,劃定個(gè)人信息采集、使用的標(biāo)準(zhǔn)和范圍,設(shè)定相應(yīng)的懲處措施,進(jìn)行相互監(jiān)督和管理。另一方面,行政監(jiān)管和公共輿論監(jiān)督應(yīng)當(dāng)發(fā)揮外部監(jiān)督效用??茖W(xué)技術(shù)部、工業(yè)和信息化部、公安部等對(duì)人工智能產(chǎn)業(yè)有監(jiān)管職責(zé)的部門(mén)應(yīng)當(dāng)進(jìn)行聯(lián)動(dòng),相互交流監(jiān)管經(jīng)驗(yàn)、整合執(zhí)法資源,使行政監(jiān)管更高效暢通,能更精準(zhǔn)有效地治理個(gè)人信息侵權(quán)行為。信息主體也應(yīng)當(dāng)提高個(gè)人信息保護(hù)意識(shí)和個(gè)人信息被侵犯后的維權(quán)意識(shí),事前對(duì)潛在的侵權(quán)行為進(jìn)行防范,事后通過(guò)與侵權(quán)人協(xié)商溝通或法律途徑維護(hù)自己的合法權(quán)益。

    6 結(jié)語(yǔ)

    人工智能時(shí)代的到來(lái),已在法律領(lǐng)域產(chǎn)生了廣泛的影響。首先,雖然人工智能的認(rèn)知能力不斷增強(qiáng),但基于可預(yù)見(jiàn)的技術(shù)發(fā)展、人工智能未到達(dá)人類(lèi)智慧的程度以及現(xiàn)行法律規(guī)范仍可應(yīng)對(duì)人工智能的挑戰(zhàn)三個(gè)方面的考量,突破主客體兩分框架、賦予人工智能主體地位還為時(shí)尚早。其次,人工智能造成的侵權(quán)問(wèn)題還能夠通過(guò)現(xiàn)有的民法規(guī)則進(jìn)行調(diào)整,只是需要按照其特殊性進(jìn)行相應(yīng)調(diào)整。最后,人工智能對(duì)大數(shù)據(jù)的依賴導(dǎo)致個(gè)人信息被泄露和濫用的現(xiàn)象加劇,需要從立法、司法、執(zhí)法、行業(yè)自律和外部監(jiān)督等途徑進(jìn)行規(guī)制。唯有先在法律層面保障人工智能的有序發(fā)展,才能使人工智能真正為人所用。

    猜你喜歡
    主體資格個(gè)人信息主體
    如何保護(hù)勞動(dòng)者的個(gè)人信息?
    個(gè)人信息保護(hù)進(jìn)入“法時(shí)代”
    論自然人破產(chǎn)法的適用主體
    警惕個(gè)人信息泄露
    環(huán)境污染侵權(quán)案件實(shí)務(wù)中的問(wèn)題研究
    公司設(shè)立中發(fā)起人的主體資格該如何認(rèn)定?
    人間(2016年30期)2016-12-03 20:28:29
    死者權(quán)益維護(hù)與法律適用
    環(huán)境公益訴訟主體存在問(wèn)題及對(duì)策
    關(guān)于遺產(chǎn)保護(hù)主體的思考
    論多元主體的生成
    深夜精品福利| 亚洲天堂av无毛| 日日夜夜操网爽| 女性被躁到高潮视频| 男女午夜视频在线观看| 成年人免费黄色播放视频| 中国美女看黄片| 久久久久视频综合| 欧美性长视频在线观看| 免费黄频网站在线观看国产| 欧美激情高清一区二区三区| 久久久久国产一级毛片高清牌| 国产成人a∨麻豆精品| 久久久久久免费高清国产稀缺| 日韩精品免费视频一区二区三区| 满18在线观看网站| 国产老妇伦熟女老妇高清| 丝袜在线中文字幕| 亚洲欧美精品综合一区二区三区| 黄色视频在线播放观看不卡| 99国产精品一区二区三区| 99九九在线精品视频| 亚洲欧美清纯卡通| 99国产精品一区二区三区| 97人妻天天添夜夜摸| 亚洲熟女毛片儿| 波多野结衣av一区二区av| 亚洲视频免费观看视频| 高清黄色对白视频在线免费看| 夜夜夜夜夜久久久久| 99国产精品99久久久久| av天堂在线播放| 亚洲精品粉嫩美女一区| 菩萨蛮人人尽说江南好唐韦庄| 青青草视频在线视频观看| 一区二区三区激情视频| 高清视频免费观看一区二区| 如日韩欧美国产精品一区二区三区| 美女扒开内裤让男人捅视频| 亚洲av电影在线观看一区二区三区| 热99re8久久精品国产| 交换朋友夫妻互换小说| 国产一区二区三区在线臀色熟女 | 国产亚洲一区二区精品| 男女床上黄色一级片免费看| 波多野结衣一区麻豆| 精品第一国产精品| 12—13女人毛片做爰片一| 国产免费av片在线观看野外av| 99国产综合亚洲精品| 亚洲av电影在线进入| 久久精品国产亚洲av香蕉五月 | 人妻一区二区av| 一级,二级,三级黄色视频| 欧美日韩亚洲国产一区二区在线观看 | 韩国精品一区二区三区| 亚洲国产日韩一区二区| 日韩制服骚丝袜av| 高清欧美精品videossex| 久久久久国产精品人妻一区二区| 中文字幕色久视频| 亚洲中文日韩欧美视频| 波多野结衣av一区二区av| 欧美激情高清一区二区三区| 国产亚洲午夜精品一区二区久久| 国产又爽黄色视频| 肉色欧美久久久久久久蜜桃| 女人精品久久久久毛片| 色婷婷久久久亚洲欧美| 欧美激情 高清一区二区三区| 视频在线观看一区二区三区| 久久国产精品人妻蜜桃| 女人被躁到高潮嗷嗷叫费观| 亚洲国产精品999| 国产成人影院久久av| 久久久久精品国产欧美久久久 | 黄色片一级片一级黄色片| 男女之事视频高清在线观看| 满18在线观看网站| 亚洲av国产av综合av卡| 亚洲人成电影免费在线| 国产精品亚洲av一区麻豆| 欧美大码av| 高潮久久久久久久久久久不卡| 亚洲自偷自拍图片 自拍| 亚洲精品成人av观看孕妇| 丰满饥渴人妻一区二区三| 每晚都被弄得嗷嗷叫到高潮| 91成人精品电影| 国产av一区二区精品久久| kizo精华| 亚洲精品一二三| 免费女性裸体啪啪无遮挡网站| 亚洲精品自拍成人| 大型av网站在线播放| 日韩欧美免费精品| 国产免费福利视频在线观看| 99热网站在线观看| 国产一区二区在线观看av| 欧美日韩国产mv在线观看视频| 国产精品影院久久| 国产精品久久久久久人妻精品电影 | 久久久精品国产亚洲av高清涩受| 五月天丁香电影| 午夜影院在线不卡| 国产在线免费精品| 国产有黄有色有爽视频| 亚洲九九香蕉| 日本a在线网址| 香蕉丝袜av| 精品久久久精品久久久| 婷婷丁香在线五月| 老司机亚洲免费影院| 久久狼人影院| 两性夫妻黄色片| 中文字幕av电影在线播放| 久久久久久久国产电影| 99国产综合亚洲精品| 久久久精品94久久精品| 亚洲国产欧美网| 亚洲自偷自拍图片 自拍| 国产老妇伦熟女老妇高清| 狂野欧美激情性bbbbbb| 精品国产一区二区三区四区第35| 满18在线观看网站| 天堂8中文在线网| 国产欧美日韩一区二区三区在线| 国产成人精品久久二区二区91| 国产精品欧美亚洲77777| 亚洲五月色婷婷综合| 国产欧美日韩一区二区三 | 99久久综合免费| 一个人免费看片子| 亚洲人成电影观看| 王馨瑶露胸无遮挡在线观看| 亚洲精品久久成人aⅴ小说| 久久精品久久久久久噜噜老黄| 正在播放国产对白刺激| 亚洲专区中文字幕在线| 一个人免费在线观看的高清视频 | 男人舔女人的私密视频| 丝袜美腿诱惑在线| 搡老乐熟女国产| 国产成人欧美| 香蕉丝袜av| 黑人猛操日本美女一级片| 成人三级做爰电影| 欧美精品亚洲一区二区| 国产在线视频一区二区| 老司机午夜福利在线观看视频 | www.自偷自拍.com| 欧美精品一区二区大全| xxxhd国产人妻xxx| 久久狼人影院| 三级毛片av免费| 国产精品熟女久久久久浪| 国产精品香港三级国产av潘金莲| 欧美日韩一级在线毛片| 黑丝袜美女国产一区| 亚洲欧美成人综合另类久久久| 悠悠久久av| 亚洲精品粉嫩美女一区| 亚洲综合色网址| 侵犯人妻中文字幕一二三四区| 国产一区二区三区综合在线观看| 午夜老司机福利片| 亚洲欧美精品综合一区二区三区| 亚洲人成77777在线视频| e午夜精品久久久久久久| 欧美日韩精品网址| 亚洲人成77777在线视频| 日本猛色少妇xxxxx猛交久久| 另类精品久久| 黑丝袜美女国产一区| 多毛熟女@视频| 999久久久精品免费观看国产| 视频区欧美日本亚洲| 欧美一级毛片孕妇| 日韩中文字幕欧美一区二区| 精品免费久久久久久久清纯 | 精品第一国产精品| 97在线人人人人妻| 汤姆久久久久久久影院中文字幕| 咕卡用的链子| 另类亚洲欧美激情| 在线看a的网站| 国产欧美日韩一区二区精品| 欧美日韩视频精品一区| 大片电影免费在线观看免费| 国产av国产精品国产| 国产高清视频在线播放一区 | 欧美精品一区二区免费开放| 免费一级毛片在线播放高清视频 | 国产精品av久久久久免费| 多毛熟女@视频| 纯流量卡能插随身wifi吗| 久久人妻福利社区极品人妻图片| 一级毛片女人18水好多| www日本在线高清视频| 久久精品国产综合久久久| 国产精品香港三级国产av潘金莲| 99精品久久久久人妻精品| 欧美精品高潮呻吟av久久| 大陆偷拍与自拍| 欧美中文综合在线视频| 亚洲欧美精品综合一区二区三区| 美女中出高潮动态图| 国产亚洲欧美在线一区二区| 一级,二级,三级黄色视频| 亚洲国产中文字幕在线视频| 精品少妇内射三级| 国产亚洲av片在线观看秒播厂| 久久精品国产a三级三级三级| 国产精品.久久久| 国产av又大| 亚洲专区字幕在线| 亚洲精品国产精品久久久不卡| 欧美一级毛片孕妇| 自线自在国产av| 1024视频免费在线观看| 王馨瑶露胸无遮挡在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 久久国产精品大桥未久av| 在线看a的网站| 欧美日韩福利视频一区二区| 首页视频小说图片口味搜索| 99久久99久久久精品蜜桃| 精品国产乱子伦一区二区三区 | 一本色道久久久久久精品综合| 999久久久精品免费观看国产| 久久人妻熟女aⅴ| 9色porny在线观看| av视频免费观看在线观看| 日本wwww免费看| 亚洲精品一卡2卡三卡4卡5卡 | av国产精品久久久久影院| 少妇精品久久久久久久| 国产成人一区二区三区免费视频网站| 久久久精品区二区三区| 国产三级黄色录像| 黄色片一级片一级黄色片| 正在播放国产对白刺激| 欧美乱码精品一区二区三区| 亚洲国产欧美日韩在线播放| 国产主播在线观看一区二区| 亚洲欧美一区二区三区黑人| 少妇的丰满在线观看| 国产亚洲精品一区二区www | 热re99久久精品国产66热6| 深夜精品福利| 欧美精品人与动牲交sv欧美| 日本撒尿小便嘘嘘汇集6| 青青草视频在线视频观看| 国产亚洲av高清不卡| 国产精品国产av在线观看| 制服诱惑二区| 人妻人人澡人人爽人人| 国产在线免费精品| 日本av手机在线免费观看| 波多野结衣av一区二区av| 欧美日韩成人在线一区二区| 99国产精品99久久久久| 日韩欧美一区二区三区在线观看 | 欧美大码av| 国产一区有黄有色的免费视频| 国产熟女午夜一区二区三区| 动漫黄色视频在线观看| 亚洲精品久久久久久婷婷小说| 亚洲精品国产av成人精品| 日本黄色日本黄色录像| 欧美日韩亚洲国产一区二区在线观看 | 亚洲精品国产一区二区精华液| 精品久久久精品久久久| 12—13女人毛片做爰片一| 91精品三级在线观看| 日本一区二区免费在线视频| 热re99久久国产66热| 男人添女人高潮全过程视频| 亚洲第一青青草原| 纵有疾风起免费观看全集完整版| 国产成人欧美在线观看 | 国产精品av久久久久免费| 777米奇影视久久| 亚洲欧美清纯卡通| 一二三四社区在线视频社区8| 精品久久蜜臀av无| 久久久久久久国产电影| 如日韩欧美国产精品一区二区三区| 精品福利观看| 精品福利永久在线观看| 久久精品国产综合久久久| 日本黄色日本黄色录像| 午夜福利影视在线免费观看| 国产日韩欧美在线精品| 夜夜夜夜夜久久久久| 午夜视频精品福利| 中文欧美无线码| 亚洲av成人一区二区三| 热re99久久精品国产66热6| 宅男免费午夜| 91国产中文字幕| 国产精品 欧美亚洲| 国产日韩欧美视频二区| 国产免费福利视频在线观看| 看免费av毛片| 人人妻,人人澡人人爽秒播| av有码第一页| 精品欧美一区二区三区在线| 男人爽女人下面视频在线观看| 久久狼人影院| 欧美精品一区二区大全| 久久影院123| 成年动漫av网址| 亚洲av男天堂| 精品亚洲成国产av| 人人妻人人澡人人看| 在线观看www视频免费| 美女大奶头黄色视频| 亚洲va日本ⅴa欧美va伊人久久 | 国产日韩欧美在线精品| 99香蕉大伊视频| 宅男免费午夜| 国产亚洲欧美精品永久| 国产日韩欧美在线精品| 日韩中文字幕视频在线看片| 亚洲第一av免费看| 午夜激情久久久久久久| 久久国产精品男人的天堂亚洲| 男人操女人黄网站| 在线观看舔阴道视频| 亚洲视频免费观看视频| 亚洲天堂av无毛| 久久久久精品国产欧美久久久 | 丁香六月天网| 在线看a的网站| 亚洲欧洲精品一区二区精品久久久| 亚洲专区国产一区二区| 久久久水蜜桃国产精品网| 亚洲免费av在线视频| 热re99久久精品国产66热6| 国产精品.久久久| 成人影院久久| 久久毛片免费看一区二区三区| 美女扒开内裤让男人捅视频| 国产主播在线观看一区二区| 男女国产视频网站| 蜜桃在线观看..| 高清在线国产一区| 久久天堂一区二区三区四区| 青春草亚洲视频在线观看| 午夜免费观看性视频| 久久久久国产一级毛片高清牌| 无遮挡黄片免费观看| 女警被强在线播放| 多毛熟女@视频| 欧美日韩亚洲高清精品| 久久免费观看电影| 久久 成人 亚洲| 女人被躁到高潮嗷嗷叫费观| 大陆偷拍与自拍| 久久久国产一区二区| 一二三四在线观看免费中文在| 国产在线免费精品| av网站在线播放免费| 欧美精品亚洲一区二区| 国产一区二区三区综合在线观看| 国产97色在线日韩免费| 97在线人人人人妻| 老司机午夜福利在线观看视频 | 80岁老熟妇乱子伦牲交| 国产精品久久久久久精品电影小说| 男女无遮挡免费网站观看| 91麻豆av在线| 午夜福利乱码中文字幕| 黑人猛操日本美女一级片| 国产免费av片在线观看野外av| www.熟女人妻精品国产| 午夜福利,免费看| 天堂8中文在线网| 宅男免费午夜| 91麻豆av在线| 亚洲精品一卡2卡三卡4卡5卡 | 免费人妻精品一区二区三区视频| 欧美日韩成人在线一区二区| 国产欧美日韩综合在线一区二区| 精品国产国语对白av| 亚洲中文av在线| 热re99久久国产66热| 日本黄色日本黄色录像| 男女国产视频网站| 日本wwww免费看| 看免费av毛片| 国产亚洲精品第一综合不卡| 国产黄色免费在线视频| 亚洲av成人一区二区三| 无遮挡黄片免费观看| 欧美97在线视频| e午夜精品久久久久久久| 在线观看人妻少妇| 色综合欧美亚洲国产小说| 成年动漫av网址| svipshipincom国产片| 他把我摸到了高潮在线观看 | 精品卡一卡二卡四卡免费| 五月开心婷婷网| 9191精品国产免费久久| 亚洲国产中文字幕在线视频| 成人三级做爰电影| 欧美 日韩 精品 国产| 视频在线观看一区二区三区| 一区二区三区激情视频| 老鸭窝网址在线观看| 丝袜脚勾引网站| 伊人亚洲综合成人网| 老熟妇乱子伦视频在线观看 | 99久久综合免费| 美女脱内裤让男人舔精品视频| av电影中文网址| 亚洲国产精品一区二区三区在线| 丝袜脚勾引网站| 又大又爽又粗| 美女视频免费永久观看网站| 老司机午夜十八禁免费视频| 国产又爽黄色视频| 欧美精品av麻豆av| 亚洲成av片中文字幕在线观看| 日日爽夜夜爽网站| 精品国产乱码久久久久久男人| 欧美国产精品va在线观看不卡| 一级片免费观看大全| 一边摸一边做爽爽视频免费| 中文字幕人妻熟女乱码| 精品亚洲成国产av| netflix在线观看网站| 天堂中文最新版在线下载| 欧美激情久久久久久爽电影 | 男女高潮啪啪啪动态图| 捣出白浆h1v1| 王馨瑶露胸无遮挡在线观看| 欧美在线一区亚洲| 久久久久久免费高清国产稀缺| 精品熟女少妇八av免费久了| 成年人免费黄色播放视频| 人妻一区二区av| 十分钟在线观看高清视频www| 久久精品国产综合久久久| a级片在线免费高清观看视频| 中文精品一卡2卡3卡4更新| 99久久人妻综合| 久久久国产成人免费| 国产精品国产三级国产专区5o| 美女大奶头黄色视频| 欧美人与性动交α欧美软件| 99国产精品一区二区蜜桃av | 国产精品久久久久成人av| 69av精品久久久久久 | 久久中文字幕一级| 欧美日韩精品网址| 欧美亚洲 丝袜 人妻 在线| 蜜桃国产av成人99| 久久久久久亚洲精品国产蜜桃av| 考比视频在线观看| 啦啦啦在线免费观看视频4| 亚洲av电影在线进入| 女性被躁到高潮视频| 十八禁人妻一区二区| 三上悠亚av全集在线观看| 国产精品亚洲av一区麻豆| 国产av一区二区精品久久| 亚洲精品久久午夜乱码| 欧美激情高清一区二区三区| 黑人巨大精品欧美一区二区mp4| 18在线观看网站| 老司机靠b影院| 人人妻人人澡人人看| 国产又爽黄色视频| 黄片播放在线免费| 大陆偷拍与自拍| 欧美精品亚洲一区二区| av福利片在线| 美女午夜性视频免费| 国产精品一区二区免费欧美 | 国产精品1区2区在线观看. | 久久99一区二区三区| 97精品久久久久久久久久精品| 午夜精品久久久久久毛片777| 男女午夜视频在线观看| 国产人伦9x9x在线观看| 一个人免费在线观看的高清视频 | 亚洲九九香蕉| 亚洲精品成人av观看孕妇| 久久精品久久久久久噜噜老黄| 国产日韩欧美在线精品| 淫妇啪啪啪对白视频 | 精品国产乱子伦一区二区三区 | 国产日韩欧美视频二区| 精品久久久久久电影网| h视频一区二区三区| 久久久久久久久免费视频了| 久久中文字幕一级| 午夜两性在线视频| 日韩制服骚丝袜av| 国产免费av片在线观看野外av| 中文字幕av电影在线播放| 久久精品国产亚洲av高清一级| 性色av一级| 国产麻豆69| 久久精品国产亚洲av香蕉五月 | 黑人欧美特级aaaaaa片| 亚洲九九香蕉| 亚洲三区欧美一区| 桃花免费在线播放| 久久天堂一区二区三区四区| 自线自在国产av| 欧美日韩亚洲国产一区二区在线观看 | 久久99热这里只频精品6学生| 中文字幕另类日韩欧美亚洲嫩草| 一级a爱视频在线免费观看| 久久精品久久久久久噜噜老黄| 青春草视频在线免费观看| 国产精品一区二区免费欧美 | 亚洲欧美激情在线| 老司机午夜十八禁免费视频| 国产三级黄色录像| 女性被躁到高潮视频| 亚洲国产日韩一区二区| 国产黄频视频在线观看| 女人高潮潮喷娇喘18禁视频| 色婷婷av一区二区三区视频| 国产精品影院久久| 欧美日韩视频精品一区| 久久人人爽人人片av| 最近最新免费中文字幕在线| 精品国产超薄肉色丝袜足j| 国产国语露脸激情在线看| 久久av网站| 日韩制服骚丝袜av| 日本91视频免费播放| 老司机午夜福利在线观看视频 | av免费在线观看网站| 永久免费av网站大全| 一边摸一边抽搐一进一出视频| 欧美精品人与动牲交sv欧美| 亚洲欧美精品综合一区二区三区| 丝袜人妻中文字幕| 亚洲精品国产区一区二| 成年人黄色毛片网站| 精品亚洲成a人片在线观看| 精品一区在线观看国产| 午夜老司机福利片| 在线观看一区二区三区激情| 高潮久久久久久久久久久不卡| 久久精品国产亚洲av高清一级| 老司机靠b影院| 2018国产大陆天天弄谢| 亚洲av日韩精品久久久久久密| 老司机在亚洲福利影院| 久久久精品国产亚洲av高清涩受| 亚洲视频免费观看视频| 日韩免费高清中文字幕av| 日本av免费视频播放| 欧美在线黄色| 一区二区三区四区激情视频| 男女下面插进去视频免费观看| 999久久久国产精品视频| 久久久精品94久久精品| 亚洲人成77777在线视频| 亚洲三区欧美一区| 久久久久国产一级毛片高清牌| 成年人免费黄色播放视频| 午夜激情av网站| 视频区图区小说| kizo精华| 久久精品亚洲熟妇少妇任你| 精品熟女少妇八av免费久了| 久久精品国产亚洲av香蕉五月 | 免费在线观看日本一区| 亚洲黑人精品在线| 亚洲 国产 在线| 亚洲精品国产色婷婷电影| 亚洲一卡2卡3卡4卡5卡精品中文| 黄网站色视频无遮挡免费观看| 各种免费的搞黄视频| 中文字幕人妻丝袜一区二区| 热99国产精品久久久久久7| 久久精品久久久久久噜噜老黄| 国产欧美日韩一区二区三 | 国产精品九九99| 水蜜桃什么品种好| 精品久久久久久电影网| 亚洲男人天堂网一区| 亚洲午夜精品一区,二区,三区| 日本wwww免费看| 亚洲男人天堂网一区| 美女国产高潮福利片在线看| 亚洲国产av影院在线观看| 深夜精品福利| 欧美日韩av久久| 夜夜夜夜夜久久久久| 日本黄色日本黄色录像| 久久久久国产精品人妻一区二区| 日韩大片免费观看网站| 欧美激情极品国产一区二区三区| 亚洲欧美日韩另类电影网站| 老司机午夜福利在线观看视频 | 欧美精品人与动牲交sv欧美| 日本五十路高清| 两个人看的免费小视频| 人成视频在线观看免费观看| 免费一级毛片在线播放高清视频 | 久久久国产精品麻豆| 亚洲精品国产av成人精品| 久久久久久久久久久久大奶| 亚洲精品一卡2卡三卡4卡5卡 | 国产精品一区二区免费欧美 |