• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能工作物致人損害民事責(zé)任探析

    2019-02-21 10:57:06環(huán)建芬
    關(guān)鍵詞:民事責(zé)任機(jī)器人主體

    環(huán)建芬

    自人工智能誕生以來,其理論和技術(shù)日益成熟,應(yīng)用領(lǐng)域也不斷擴(kuò)大,但與此同時(shí)也出現(xiàn)了一系列因運(yùn)用人工智能引發(fā)的事故。如特斯拉無人駕駛汽車發(fā)生致人死亡的車禍。又如2000年美國研發(fā)的外科手術(shù)機(jī)器人在使用時(shí),導(dǎo)致部分患者燒傷、切割傷或者感染等,其中還有89 位患者死亡。2016 年中國有臺(tái)名叫小胖的機(jī)器人,在深圳召開的國際高新技術(shù)成果交易會(huì)上,忽然發(fā)生故障,當(dāng)場砸壞了展臺(tái)玻璃,致使展臺(tái)旁的一人受傷。前述事件,引發(fā)了公眾對于人工智能的恐慌和專家學(xué)者對相關(guān)法律法規(guī)完善的思考??墒桥c之有關(guān)的法律制度未能跟上該技術(shù)推進(jìn)的步伐,不少法律規(guī)則缺位,為此,開展人工智能相關(guān)法律內(nèi)容的研究非常必要。從民法視角觀察,“在技術(shù)的發(fā)展過程中,人工智能的法律地位、法律責(zé)任、權(quán)利義務(wù)范圍等法律規(guī)制該如何界定?”[注]袁曾:《人工智能有限法律人格審視》,《東方法學(xué)》2017年第5期。這一問題是目前法學(xué)界需要重視的,其中人工智能產(chǎn)品致人損害是否需要被問責(zé)的問題,也是一個(gè)較大的法律挑戰(zhàn)。[注]倫一:《人工智能治理問題的初步思考》,https://www.sohu.com/a/211997022_100044418,最后訪問時(shí)間2018年2月22日。據(jù)此,引發(fā)了筆者對人工智能工作物致人損害民事責(zé)任問題的關(guān)注。

    關(guān)于人工智能工作物致人損害民事責(zé)任問題中有不少方面值得研究,本文集中以下三個(gè)方面討論,即責(zé)任主體的辨析、民事責(zé)任的特點(diǎn)包括是否存在民事責(zé)任競合問題和民事責(zé)任的歸責(zé)原則與分擔(dān)機(jī)制,這三個(gè)方面是圍繞如何確認(rèn)和適用人工智能工作物致人損害民事責(zé)任的一條邏輯線索展開的。

    一、人工智能工作物致人損害民事責(zé)任主體辨析

    人工智能工作物致人損害民事責(zé)任主體問題的爭議點(diǎn)主要為,是人工智能致人損害還是人工智能載體致人損害?人工智能載體是主體還是客體?這兩點(diǎn)是認(rèn)定這類民事責(zé)任承擔(dān)者問題的關(guān)鍵。

    第一,人工智能致人損害還是人工智能載體致人損害?近期,筆者從中國知網(wǎng)上查詢了70篇有關(guān)人工智能與法律的文章。以民法為例,如《人工智能時(shí)代對民法學(xué)的新挑戰(zhàn)》[注]王利明:《人工智能時(shí)代對民法學(xué)的新挑戰(zhàn)》,《東方法學(xué)》2018年第3期。、《人工智能技術(shù)對民法的影響》[注]劉雪婷:《人工智能技術(shù)對民法的影響》,《法制博覽》2016年第5期。、《人工智能有限法律人格審視》[注]袁曾:《人工智能有限法律人格審視》。、《智能機(jī)器人法律人格問題論析》[注]孫占利:《智能機(jī)器人法律人格問題論析》,《東方法學(xué)》2018年第3期。、《“電子人”法律主體論》[注]郭少飛:《“電子人”法律主體論》,《東方法學(xué)》2018年第3期。等,人們關(guān)注的問題均是人工智能技術(shù)發(fā)展對民法帶來的挑戰(zhàn)、人工智能的法律地位等,對此筆者沒有異議。但是從民事責(zé)任角度思考,究竟是人工智能致人損害還是人工智能的載體致人損害?也就是一項(xiàng)技術(shù)致人損害還是一項(xiàng)技術(shù)的載體致人損害?這是必須明確的問題。筆者認(rèn)為,應(yīng)該是后者。因?yàn)槿斯ぶ悄苁羌夹g(shù),技術(shù)必須通過一定載體進(jìn)行運(yùn)用,才能展示和體現(xiàn)其具體內(nèi)容,當(dāng)然在運(yùn)用過程中也會(huì)致人損害。人工智能技術(shù)運(yùn)用的載體可以是無人駕駛汽車、手術(shù)機(jī)器人、車間工作的機(jī)器人、代替家務(wù)勞動(dòng)的廚房機(jī)器人或保潔機(jī)器人等,這些機(jī)器人均是人工智能技術(shù)的載體。

    故此,人工智能僅作為一項(xiàng)技術(shù),不通過一定的載體運(yùn)用,不會(huì)發(fā)生致人損害問題。鑒于目前人工智能的運(yùn)用載體具有多樣性,而學(xué)界和實(shí)務(wù)界又沒有一個(gè)較統(tǒng)一的說法,筆者在寫作此文之初曾反復(fù)琢磨該載體較合適的語言表述。作為人工智能技術(shù)運(yùn)用的載體,應(yīng)該是通過人工智能技術(shù)生產(chǎn)、制造出的產(chǎn)品,如機(jī)器人等,當(dāng)這些技術(shù)載體處于工作狀態(tài)時(shí)才會(huì)發(fā)生致人損害事件,非工作狀態(tài)一般應(yīng)該不會(huì)致人損害。受中國一些學(xué)者研究成果[注]如“土地工作物及樹木等致人損害責(zé)任”,參見張新寶:《侵權(quán)責(zé)任法原理》,中國人民大學(xué)出版社2005年版,第447頁。又如“工作物致人損害的責(zé)任”,參見汪淵智:《侵權(quán)責(zé)任法學(xué)》,法律出版社2008年版,第432頁。的啟發(fā),本文啟用了“人工智能工作物致人損害”一詞,將人工智能工作物致人損害責(zé)任作為主題內(nèi)容加以探討。

    第二,人工智能的性質(zhì)。[注]根據(jù)筆者在第一部分的觀點(diǎn),這里應(yīng)表述為“人工智能工作物的性質(zhì)”。但基于尊重引用論文的原有表述,故這里依然表達(dá)為“人工智能的性質(zhì)”。關(guān)于人工智能的性質(zhì),主要觀點(diǎn)有工具說、電子奴隸說、代理說等。[注]參見袁曾:《人工智能有限法律人格審視》。工具說的觀點(diǎn)是,人工智能作為一項(xiàng)技術(shù),其實(shí)質(zhì)是為人類提供服務(wù)的工具,它沒有獨(dú)立的意思表示能力,為此,不認(rèn)為人工智能具有獨(dú)立法律人格。電子奴隸說的觀點(diǎn)是,人工智能不具備自然人特殊的情感和肉體特征,它有行為能力可是無權(quán)利能力。代理說的觀點(diǎn)是,人工智能的所有行為均為人類所控制,其實(shí)施的行為與引起的后果最終必須由被代理人承擔(dān)。有學(xué)者[注]袁曾:《人工智能有限法律人格審視》。認(rèn)為,前述觀點(diǎn)都有各自的不足。工具說沒有關(guān)注到,隨著技術(shù)發(fā)展,人工智能已經(jīng)可以做出獨(dú)立的意思表示。如特斯拉公司生產(chǎn)的電動(dòng)汽車,已經(jīng)能夠進(jìn)行獨(dú)立自主的選擇判斷。故其工具屬性早已不是傳統(tǒng)意義上的、無意思表示能力的工具屬性。電子奴隸說其實(shí)是延伸了工具說,它否認(rèn)人工智能的獨(dú)立主體地位。而代理說沒有體現(xiàn)作為民事主體承擔(dān)責(zé)任的公平性問題。針對以上情形,有學(xué)者指出,人工智能已經(jīng)具備了高度智慧性和獨(dú)立的行為決策能力,它不同于傳統(tǒng)的工具或者代理人。在現(xiàn)實(shí)條件下,將人工智能定義為具有智慧工具性質(zhì)又可做出獨(dú)立意思表示的特殊主體較為妥當(dāng)。[注]袁曾:《人工智能有限法律人格審視》。也有司法實(shí)務(wù)部門的專家提出,在當(dāng)前弱人工智能環(huán)境下,人類相對機(jī)器處于絕對控制地位,但是不能忽視人工智能具有可深度學(xué)習(xí)、可自我進(jìn)化的特點(diǎn),不能排除其進(jìn)化出主體意識(shí)的可能。[注]林竹靜:《第三屆上海青年法學(xué)創(chuàng)新論壇綜述》,《上海法學(xué)研究》2017年第6期。

    對于前述對人工智能的性質(zhì)所持的觀點(diǎn),尤其是將其界定為“獨(dú)立意思表示的特殊主體”值得探討,因?yàn)樗婕叭斯ぶ悄芄ぷ魑锞烤故侵黧w還是客體的問題。

    從學(xué)理層面分析,一般而言,民事主體“是指參加民事法律關(guān)系,享有民事權(quán)利、負(fù)有民事義務(wù)和承擔(dān)民事責(zé)任的人”。[注]魏振瀛主編:《民法》,北京大學(xué)出版社、高等教育出版社2017年版,第32頁。根據(jù)《中華人民共和國民法總則》規(guī)定,民事主體包括自然人、法人和非法人組織。要成為民事主體應(yīng)當(dāng)具備以下條件:名義獨(dú)立、意志獨(dú)立、財(cái)產(chǎn)獨(dú)立、責(zé)任獨(dú)立。即自然人、法人和非法人組織都是以自己的名義從事民事法律行為,按照自己的真實(shí)意思,自愿參加民事活動(dòng),對其擁有的財(cái)產(chǎn)享有完全的、排他性的權(quán)利。因某一民事主體的行為致人損害,該民事主體必須自己承擔(dān)法律責(zé)任,而承擔(dān)責(zé)任必須具有一定的責(zé)任能力。而責(zé)任能力是指“對于自己行為之結(jié)果,有識(shí)別之精神能力”;[注]史尚寬:《債法總論》,中國政法大學(xué)出版社2000年版,第113頁。其次,責(zé)任能力也有“過責(zé)能力”之稱,即由于自己的過失而承擔(dān)責(zé)任的能力。[注]史尚寬:《債法總論》,第113頁。人工智能工作物雖然具有直接致人損害的客觀事實(shí),但因?yàn)槿狈θ祟愃季S的識(shí)別能力,為此不具備責(zé)任能力,而“無責(zé)任能力者之行為因而不得使負(fù)義務(wù)”。[注]史尚寬:《債法總論》,第113頁。

    作為人工智能工作物,如無人駕駛汽車、手術(shù)機(jī)器人等,它們能否成為權(quán)利主體?對照前述民事主體的條件,是否完全匹配?2017年7月,北京市五環(huán)路上行駛無人駕駛汽車引發(fā)人們熱議,交警部門認(rèn)為,此舉不符合《中華人民共和國道路交通安全法》的規(guī)定,因?yàn)檫@涉及駕駛者的資格問題。當(dāng)然,也有一些學(xué)者提出,人工智能的迅猛發(fā)展正在迅速改變?nèi)祟惿鐣?huì)的經(jīng)濟(jì)形態(tài)、社會(huì)交往模式和政治-法律結(jié)構(gòu)。起源于農(nóng)業(yè)社會(huì)的“現(xiàn)代”法律體系,能否成功應(yīng)對人工智能所帶來的新風(fēng)險(xiǎn)和不確定性,能否在人工智能時(shí)代繼續(xù)維持秩序與變革、守護(hù)與創(chuàng)新、價(jià)值與事實(shí)之間的動(dòng)態(tài)平衡?[注]鄭戈:《工智能與法律的未來》,《探索與爭鳴》2017年第10期。言下之意,一些現(xiàn)有的民法理論和觀點(diǎn)會(huì)隨著人工智能的發(fā)展面臨極大的挑戰(zhàn)。

    就語義和邏輯層面而論,人類基于科技的發(fā)展,運(yùn)用相應(yīng)的手段以及工具模仿等方式生產(chǎn)、制造了人工智能,其意圖是提升人類工作和生活能力。據(jù)此反映人工智能的特點(diǎn)是,它不是一般意義的自然人,但它具備人的一些要素;智能是它的重要特質(zhì),可是始終需要人工的設(shè)計(jì)以及編制程序。[注]劉云生:《人工智能的民法定位》。為此,針對前述人工智能工作物能否成為致人損害民事責(zé)任主體的爭議,筆者持否定觀點(diǎn),理由如下:

    其一,人工智能工作物不具備獨(dú)立意志。有文章提出,“具有人類獨(dú)立思考與深度學(xué)習(xí)的能力是人工智能與其他科技最大的差異”。[注]袁曾:《人工智能有限法律人格審視》。事實(shí)上,就現(xiàn)有的技術(shù)發(fā)展看,人工智能所有的“獨(dú)立思考能力”和“深度學(xué)習(xí)能力”均是通過人工的設(shè)計(jì)、制造、生產(chǎn)及其安裝成人工智能工作物,而后開啟人工智能工作物程序才具有的,人們?nèi)舨婚_啟人工智能工作物的程序,它就不會(huì)有這些能力。作為人工智能的“機(jī)器盡管可以下棋、回答問題,但對跨領(lǐng)域情境的隨機(jī)應(yīng)變能力很弱,對彼此矛盾或含糊不清的信息不能有效反應(yīng)(缺少必要的競爭冒險(xiǎn)選擇機(jī)制),主次不分,綜合辨析識(shí)別能力不足,不會(huì)使用歸納推理演繹等方法形成概念或提出新概念,更奢談產(chǎn)生形而上學(xué)的理論形式”。[注]劉偉:《關(guān)于人工智能若干重要問題的思考》,http://www.xzbu.com/1/view-7310462.htm,最后訪問時(shí)間2018年2月22日。所以,“人與機(jī)器在語言及信息的處理差異方面,主要體現(xiàn)在能否把表面上無關(guān)之事物相關(guān)在一起的能力。盡管大數(shù)據(jù)時(shí)代情況可能會(huì)有所變化,但對機(jī)器而言,抽象表征的提煉亦即基于規(guī)則條件及概率統(tǒng)計(jì)的決策方式與基于情感感動(dòng)及頓悟冥想的判斷(人類特有的)機(jī)理之間的鴻溝依然存在”。[注]劉偉:《關(guān)于人工智能若干重要問題的思考》。有專家指出,“人工智能技術(shù)中的計(jì)算應(yīng)該是外界環(huán)境、機(jī)器和人的認(rèn)知感知器共同作用的結(jié)果,三者缺一不可”。[注]劉偉:《關(guān)于人工智能若干重要問題的思考》。由此說明,單獨(dú)的人工智能工作物不存在真正的意思能力,“只有具有訴求-回應(yīng)-言說三大能力者,始能成其為‘人’。人工智能本身是人類理性的產(chǎn)物,但絕不可能具有人類的理性訴求和表達(dá),更不可能有積極的自我認(rèn)知能力和情感、意念產(chǎn)生、輸出機(jī)制”。[注]劉云生:《人工智能的民法定位》?!啊麄儭侵覍?shí)的程序執(zhí)行者”[注]劉云生:《人工智能的民法定位》?!啊麄儭瘍H僅是一種媒介、工具,是遵循程序、指令而為的被動(dòng)行為,不具備自我認(rèn)知能力,更不具有獨(dú)立為意思表示的能力”。[注]劉云生:《人工智能的民法定位》。也許有人會(huì)提出,法人和非法人組織的成立不也是有人操作的,但是所有法人、非法人組織都是由人組成的相關(guān)機(jī)構(gòu)在運(yùn)作,如法人是法人機(jī)關(guān)、合伙是全體合伙人等在經(jīng)營管理,這一點(diǎn)與人工智能工作物沒有可比性。

    其二,人工智能工作物不能獨(dú)立擁有財(cái)產(chǎn)。這里不討論人工智能工作物作為權(quán)利主體是否規(guī)定在民法中,僅僅從客觀狀況考察,人工智能工作物不具備權(quán)利主體的基本要求。所謂權(quán)利主體,即“權(quán)利的所有者和義務(wù)的承擔(dān)者”。[注]卡爾·拉倫茨:《德國民法通論(上冊)》,王曉曄等譯,法律出版社2003年版,第255頁。人工智能工作物不能像一般民事主體那樣可以通過勞動(dòng)、繼承或贈(zèng)與等方式獲得財(cái)產(chǎn),其名下始終不會(huì)有財(cái)產(chǎn)歸屬。即便有財(cái)產(chǎn)贈(zèng)與人工智能工作物的名下,它也沒有能力自主支配和使用,它需要人幫助管理和運(yùn)行。

    其三,人工智能工作物不能獨(dú)立承擔(dān)法律責(zé)任。法律責(zé)任包括刑事、民事、行政責(zé)任,包括行為受限的責(zé)任和財(cái)產(chǎn)責(zé)任,即便其直接致人損害的后果很嚴(yán)重,因?yàn)槿斯ぶ悄芄ぷ魑锞推浔旧矶詻]有責(zé)任能力,則無法承擔(dān)法律責(zé)任。尤其是民事責(zé)任,其名下沒有獨(dú)立財(cái)產(chǎn),故無法承擔(dān)責(zé)任;即便有財(cái)產(chǎn),其因?yàn)槿狈ψ陨碇饔^意志也沒有能力去支配財(cái)產(chǎn)。

    其四,基于法律關(guān)系締結(jié)的角度產(chǎn)生異議。從民法理論角度觀察,要成為責(zé)任主體,就必須屬于民事法律關(guān)系的主體。實(shí)踐中,一些現(xiàn)象的出現(xiàn)使現(xiàn)有的民法理論面臨挑戰(zhàn)甚至顛覆。如沙特阿拉伯成為世界上第一個(gè)授予機(jī)器人“索菲亞”公民身份的國家。[注]http://tech.sina.com.cn/d/i/2017-10-27/doc-ifynfvar4425645.shtml,最后訪問時(shí)間2018年3月10日。又如2016 年2月,美國加州地區(qū)當(dāng)?shù)氐母咚俟钒踩芾砭忠驗(yàn)橐惠v谷歌無人駕駛汽車與一輛巴士碰擦,據(jù)此認(rèn)為,依照美國聯(lián)邦法律,當(dāng)人工智能系統(tǒng)用于自動(dòng)駕駛時(shí),該系統(tǒng)可以被看作司機(jī)。這些現(xiàn)象似乎告訴人們,民事主體既可以是人類個(gè)體,也可以是人工智能系統(tǒng)或工作物。果真如此嗎?即便這些機(jī)器人或系統(tǒng)能成為民事主體,它能與人類等同嗎?它與人類個(gè)體能直接締結(jié)民事法律關(guān)系嗎?如果能,法律關(guān)系的權(quán)利義務(wù)如何設(shè)定?如何體現(xiàn)法律關(guān)系主體之間的法律地位平等性?如果不能,此類所謂的民事主體存在的意義何在?

    另外,從前述羅列的案例中發(fā)現(xiàn),人工智能工作物致人損害事件的發(fā)生絕大部分是在人類非掌控的狀況下,即使法律賦予它民事責(zé)任主體資格,它也不會(huì)就此考慮人類安全而不出現(xiàn)風(fēng)險(xiǎn),風(fēng)險(xiǎn)該存在還是存在。人類不能為了圖便捷而將所有工作、生活的事務(wù)絕大部分甚至全部交給這些人工智能工作物,從而使自己處于不安全的環(huán)境中,這將造成人類研究人工智能的悲哀。至于說“人工智能具有可深度學(xué)習(xí)、可自我進(jìn)化的特點(diǎn),不能排除其進(jìn)化出主體意識(shí)”,筆者認(rèn)為,這涉及人類在發(fā)展人工智能技術(shù)過程中,是任由人工智能無限發(fā)展還是讓人工智能為人類服務(wù)而控制其發(fā)展的問題,是人工智能進(jìn)化出一定程度的主體意識(shí)是否有利于人類生存的問題。若有利于人類生存,即便人工智能具有一定程度的所謂主體意識(shí),也不能真正等同于人類,故也不可能成為民事主體。

    故此,基于人工智能工作物的自身特性,它不能成為致人損害的民事責(zé)任主體,只能定性為權(quán)利客體,即“支配權(quán)和利用權(quán)的標(biāo)的”[注]卡爾·拉倫茨:《德國民法通論(上冊)》,第377頁。以及“權(quán)利主體可以通過法律行為予以處分的標(biāo)的”,[注]卡爾·拉倫茨:《德國民法通論(上冊)》,第377頁。它們可以被相關(guān)民事責(zé)任主體支配、利用和處分,即“人工智能的本質(zhì)依然為工具”,[注]袁曾:《人工智能有限法律人格審視》。它歸屬于權(quán)利主體,而權(quán)利主體是人工智能工作物的生產(chǎn)者、制造者等等。

    二、人工智能工作物致人損害民事責(zé)任特點(diǎn)梳理

    人工智能工作物致人損害民事責(zé)任特點(diǎn),是這類民事責(zé)任區(qū)別于一般民事責(zé)任的自身特質(zhì)。認(rèn)識(shí)此類民事責(zé)任的特點(diǎn),是準(zhǔn)確認(rèn)定人工智能工作物致人損害民事責(zé)任的基礎(chǔ)。根據(jù)現(xiàn)有人工智能的技術(shù)發(fā)展?fàn)顩r以及已經(jīng)發(fā)生的其工作物致人損害事件的狀況,該類民事責(zé)任具有以下幾個(gè)方面的特點(diǎn):

    第一,人工智能工作物致人損害民事責(zé)任與產(chǎn)品責(zé)任不存在民事責(zé)任競合情形。有學(xué)者撰文提出了一些看法,即在認(rèn)定人工智能侵權(quán)責(zé)任[注]為尊重原文,故這里同樣不用“人工智能工作物”而是“人工智能”。具體類型時(shí),有可能出現(xiàn)兩種責(zé)任類型的競合。如使用者在使用人工智能時(shí)出現(xiàn)侵權(quán)行為,會(huì)出現(xiàn)與產(chǎn)品責(zé)任的競合。[注]齊恩平、曹一夔:《人工智能視角下的民法問題分析》。筆者認(rèn)為,這個(gè)問題涉及人工智能工作物致人損害民事責(zé)任的性質(zhì)問題。

    何謂民事責(zé)任競合?“責(zé)任競合,實(shí)際上就是一個(gè)事實(shí)滿足各種構(gòu)成要件,當(dāng)事人可以擇一行使的情況?!盵注]葉名怡:《民事責(zé)任及其競合》,http://mp.weixin.qq.com/s?__biz=MzIxNTE1ODk4OQ%3D%3D&idx=2&mid=2650564118&sn=61b208fc8c0e999f4883a4337a88eaa4,最后訪問時(shí)間2018年3月3日?!爱?dāng)同一生活事實(shí)受不同責(zé)任規(guī)范調(diào)整并滿足其適用條件時(shí),就發(fā)生責(zé)任規(guī)范的并存(競合)現(xiàn)象?!盵注]張家勇:《中國法民事責(zé)任的解釋論》,《交大法學(xué)》2018年第1期?!巴贿`法行為雖然符合多種民事責(zé)任的構(gòu)成要件,可以成立幾種民事責(zé)任,但受害人只能選擇其中之一而請求?!盵注]魏振瀛主編:《民法》,第710頁。即一個(gè)事實(shí)的發(fā)生可能同時(shí)導(dǎo)致兩種以上責(zé)任,這些責(zé)任具有兩項(xiàng)以上請求權(quán)分別獨(dú)立存在,同時(shí)每項(xiàng)請求權(quán)的舉證責(zé)任、成立條件、損害賠償范圍等各項(xiàng)內(nèi)容均可以各自予以判斷?;谝呀?jīng)存在的兩項(xiàng)以上請求權(quán),權(quán)利人如果要行使權(quán)利,可以選擇其中之一前去主張。如果其中一個(gè)請求權(quán)因某些原因不能行使,如因超過時(shí)效而喪失勝訴權(quán),那么另一項(xiàng)請求權(quán),即時(shí)效較長的請求權(quán),依然可以繼續(xù)行駛。[注]王澤鑒:《侵權(quán)行為》,北京大學(xué)出版社2016年版,第76頁。根據(jù)前述觀點(diǎn),民事責(zé)任競合需要滿足以下幾個(gè)條件:一是同一行為符合多種民事責(zé)任的構(gòu)成要件,即兩種以上民事責(zé)任并存的情形,而每一種民事責(zé)任獨(dú)立存在,彼此不存在重疊、包含或交叉關(guān)系,如違約責(zé)任與侵權(quán)責(zé)任;二是受害人只能選擇其中之一主張請求權(quán);三是若其中一個(gè)請求權(quán)因時(shí)效超過等原因而不能行使,則另一時(shí)效尚存的請求權(quán)仍然可以存續(xù)。人工智能工作物致人損害民事責(zé)任若考慮競合,具有可比性的是產(chǎn)品責(zé)任。兩者雖然不能等同,但是有明顯的相似之處。如人工智能工作物致人損害民事責(zé)任中有一部分屬于因工作物質(zhì)量瑕疵所導(dǎo)致,即“必須存在某種不當(dāng)行為,使該產(chǎn)品對接觸者造成不合理的危險(xiǎn)”,該“不合理的危險(xiǎn)”,“是認(rèn)定產(chǎn)品設(shè)計(jì)上的缺陷或警示不充分之缺陷的標(biāo)準(zhǔn)”。[注]G.愛德華·懷特:《美國侵權(quán)行為法:一部知識(shí)史》,王曉明、李宇譯,北京大學(xué)出版社2014年版,第274頁。這一點(diǎn)完全與產(chǎn)品責(zé)任吻合,其主要包括人工智能工作物生產(chǎn)者責(zé)任、制造者責(zé)任和銷售者責(zé)任,這些均可以歸屬于產(chǎn)品責(zé)任;但是,人工智能工作物致人損害責(zé)任中有一部分不屬于產(chǎn)品責(zé)任,主要包括工作物操作者責(zé)任、使用者責(zé)任。正因如此,兩者不是兩種法律責(zé)任并存,而是人工智能工作物致人損害民事責(zé)任中的一部分是產(chǎn)品責(zé)任。因?yàn)閮烧叽嬖诓糠种丿B關(guān)系,故無法發(fā)生競合。那么,若這種責(zé)任不屬于責(zé)任競合,會(huì)是怎樣的一種法律責(zé)任性質(zhì)呢?筆者認(rèn)為可以屬于不真正連帶責(zé)任。

    不真正連帶責(zé)任是指幾個(gè)責(zé)任人因?yàn)椴煌姆墒聦?shí)產(chǎn)生同一內(nèi)容之給付,他們各自負(fù)有履行全部義務(wù)的責(zé)任,但是因某一債務(wù)人履行行為的完成,則全體債務(wù)人的債務(wù)都?xì)w于消滅。如甲租賃某一輛無人駕駛汽車去某目的地,在路途中發(fā)生交通事故,甲受傷。甲可以基于產(chǎn)品責(zé)任向汽車生產(chǎn)商等主張權(quán)利,也可以基于人工智能工作物致人損害民事責(zé)任的相關(guān)主體,如汽車租賃公司去主張權(quán)利,甲只要主張其中的一項(xiàng)權(quán)利,其他責(zé)任主體的債務(wù)便歸于消滅。

    第二,發(fā)生的原因部分與人工智能技術(shù)發(fā)展的局限性有關(guān)。人工智能工作物致人損害事件的發(fā)生大部分與人工智能技術(shù)的發(fā)展及人們對該技術(shù)的認(rèn)識(shí)和掌握有一定關(guān)系。因?yàn)槿斯ぶ悄苁切律挛?,其技術(shù)尚需要不斷成熟,而人們對人工智能本身的較高期望甚至依賴,使得一部分尚未完全成熟的人工智能技術(shù)被運(yùn)用以至于發(fā)生事故。如1989年全蘇聯(lián)國際象棋比賽中,冠軍擊敗了人工智能機(jī)器人,誰料機(jī)器人當(dāng)即釋放強(qiáng)電流造成冠軍死亡。這一事件的結(jié)果與人工智能機(jī)器人在設(shè)計(jì)或制造過程中,人們對這類技術(shù)未完全了解和掌握有很大關(guān)系。而產(chǎn)品責(zé)任致人損害事件的發(fā)生不完全與人們對產(chǎn)品技術(shù)認(rèn)識(shí)有關(guān),可能是技術(shù)研究的不精細(xì),也可能是生產(chǎn)或銷售的瑕疵等導(dǎo)致產(chǎn)品質(zhì)量問題。如車輛設(shè)計(jì)或制造缺陷發(fā)生車禍;超市出售不潔食品等。

    第三,事故發(fā)生時(shí)控制程度較低、傷害的程度較大。人工智能工作物在工作時(shí)自我控制程度低,事故一旦發(fā)生,場面不易控制。如2015 年,一機(jī)器人正在德國大眾汽車制造廠的車間被安裝和調(diào)試,該機(jī)器人突然伸手擊中安裝工人的胸部,且迅速將其推向金屬板上,該工人被碾壓而死。又如人工智能研發(fā)的無人駕駛車輛,在駕駛中若之前設(shè)計(jì)未到位或程序輸入有誤,遇到馬路上突發(fā)事件,該車輛發(fā)生事故的概率較高。而非人工智能工作物因?yàn)槭侨斯げ僮?,一旦發(fā)生事故,相比而言,人對該類工作物的控制程度相對較高。比如人工駕駛車輛,駕駛中馬路上發(fā)生突發(fā)事件,一些情形下,作為自然人的駕駛員,憑著豐富的駕駛經(jīng)驗(yàn)可能會(huì)因采取緊急剎車而避免事故發(fā)生。

    另外,人工智能工作物完全是由機(jī)器人等操控,故一旦發(fā)生傷害事故,在短時(shí)間內(nèi)人們始料未及,往往導(dǎo)致傷害程度較大,甚至發(fā)生機(jī)器人殺人事件。如1978年9月,日本廣島一工廠的切割機(jī)器人在切鋼板時(shí)直接將值班工人切割致其身亡,這是世界上第1宗機(jī)器人殺人事件。而一般的產(chǎn)品致人損害事件有相當(dāng)一部分屬于人工操作,發(fā)生事故時(shí),人工有時(shí)可以控制,故傷害程度相對較小。

    第四,責(zé)任主體涉及的范圍較廣。一般產(chǎn)品責(zé)任承擔(dān)的前提是產(chǎn)品質(zhì)量存在缺陷,如設(shè)計(jì)上的安全隱患、生產(chǎn)或制造中的安全隱患、銷售中的安全隱患等;而根據(jù)前文所列,人工智能工作物致人損害民事責(zé)任的承擔(dān),其產(chǎn)品質(zhì)量存在缺陷僅是其中一個(gè)類型,即使產(chǎn)品發(fā)明和設(shè)計(jì)、生產(chǎn)和制造、銷售均不存在問題,因操作或使用不當(dāng)也會(huì)致人損害。為此,人工智能工作物致人損害民事責(zé)任適用范圍比一般產(chǎn)品責(zé)任的適用范圍更廣泛。

    目前,對于非人工智能產(chǎn)品致人損害的民事責(zé)任,根據(jù)中國現(xiàn)有的法律規(guī)范體系,從一般意義上看基本包括兩類:屬于產(chǎn)品質(zhì)量瑕疵問題的,適用《產(chǎn)品質(zhì)量法》;使用工作物致人損害的,適用其他相關(guān)法律。如駕駛員在車輛行駛中致人損害,按照交通肇事相關(guān)法律法規(guī)處理,如《侵權(quán)責(zé)任法》《道路交通安全法》等;醫(yī)療方手術(shù)中致人損害,按照處理醫(yī)療事故相關(guān)法律法規(guī)處理,如《侵權(quán)責(zé)任法》《醫(yī)療事故處理?xiàng)l例》等;在生產(chǎn)、作業(yè)場所中違反有關(guān)管理規(guī)定致人損害,按照有關(guān)具體操作責(zé)任事故相關(guān)法律法規(guī)處理,它們主要包括各個(gè)行業(yè)的規(guī)范,如建筑施工行業(yè)規(guī)范等;家用產(chǎn)品致人損害,按照一般侵權(quán)法等相關(guān)法律法規(guī)處理,如《侵權(quán)責(zé)任法》等。前述所列的各種致人損害事件發(fā)生的產(chǎn)品如果是人工智能工作物,其致人損害事件發(fā)生的原因包括工作物質(zhì)量有瑕疵、指示有瑕疵、銷售有瑕疵、操作有瑕疵等。從已經(jīng)公布的案例中發(fā)現(xiàn),無論是什么原因,都可能致人損害。故筆者提出,前述事件的責(zé)任可以按照人工智能序列一并規(guī)范,即都屬于人工智能工作物致人損害民事責(zé)任。之所以如此劃分,筆者考慮,人工智能屬于新事物、新技術(shù),凡其工作物致人損害民事責(zé)任將其從法律上一并歸類,可以對其加強(qiáng)監(jiān)管,盡量避免或減少在技術(shù)發(fā)展和使用中對人類傷害性事件的發(fā)生;而一般非人工智能產(chǎn)品致人損害事件的發(fā)生則依然可以更加具體化。

    前述四個(gè)特點(diǎn)中的第二、第三個(gè)特點(diǎn),其責(zé)任主體是制造者、銷售者的,其責(zé)任類型上與產(chǎn)品責(zé)任相同,但具有了人工智能工作物致人損害民事責(zé)任的特點(diǎn)。這些特點(diǎn),一般的產(chǎn)品責(zé)任是不具備的。

    三、人工智能工作物致人損害民事責(zé)任歸責(zé)原則和分擔(dān)機(jī)制思考

    人工智能工作物致人損害民事責(zé)任歸責(zé)原則和分擔(dān)機(jī)制的確認(rèn),涉及責(zé)任規(guī)則的適用問題。

    1.人工智能工作物致人損害民事責(zé)任歸責(zé)原則

    目前,人工智能工作物致人損害民事責(zé)任歸責(zé)原則主要考慮過錯(cuò)責(zé)任原則和無過錯(cuò)責(zé)任原則。這兩項(xiàng)原則的法律意義不同,過錯(cuò)原則對個(gè)人主觀方面有所要求,體現(xiàn)民法的公平原則;無過錯(cuò)原則是從整個(gè)社會(huì)利益之均衡、不同社會(huì)群體力量之強(qiáng)弱對比,以及尋求補(bǔ)充以息事寧人的角度來體現(xiàn)民法的公平原則。[注]張新寶:《侵權(quán)責(zé)任法原理》,中國人民大學(xué)出版社2005年版,第36頁。另外,認(rèn)識(shí)人工智能工作物致人損害歸責(zé)原則可以考慮兩個(gè)方面的情形:

    第一,能直接分清責(zé)任的情形。這里包括兩種情形,即適用產(chǎn)品責(zé)任歸責(zé)原則和工作物操作者或使用者責(zé)任的歸責(zé)原則。

    前文提及,人工智能工作物致人損害民事責(zé)任中有一部分與產(chǎn)品責(zé)任類似,對此,類似部分可以適用產(chǎn)品責(zé)任歸責(zé)原則。關(guān)于中國產(chǎn)品責(zé)任的歸責(zé)原則,《民法通則》第122條規(guī)定:“因產(chǎn)品質(zhì)量不合格造成他人財(cái)產(chǎn)、人身損害的,產(chǎn)品制造者、銷售者應(yīng)當(dāng)依法承擔(dān)民事責(zé)任。運(yùn)輸者、倉儲(chǔ)者對此負(fù)有責(zé)任的,產(chǎn)品制造者、銷售者有權(quán)要求賠償損失。”對此,學(xué)界一致認(rèn)為,產(chǎn)品制造者和銷售者承擔(dān)的是無過錯(cuò)責(zé)任。《產(chǎn)品質(zhì)量法》第41條規(guī)定:“因產(chǎn)品存在缺陷造成人身、缺陷產(chǎn)品以外的其他財(cái)產(chǎn)(以下簡稱他人財(cái)產(chǎn))損害的,生產(chǎn)者應(yīng)當(dāng)承擔(dān)賠償責(zé)任?!薄肚謾?quán)責(zé)任法》第41條規(guī)定:“因產(chǎn)品存在缺陷造成他人損害的,生產(chǎn)者應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任?!眱刹糠删?guī)定了產(chǎn)品生產(chǎn)者為無過錯(cuò)責(zé)任。但是《產(chǎn)品質(zhì)量法》第42條規(guī)定:“由于銷售者的過錯(cuò)使產(chǎn)品存在缺陷,造成人身、他人財(cái)產(chǎn)損害的,銷售者應(yīng)當(dāng)承擔(dān)賠償責(zé)任。銷售者不能指明缺陷產(chǎn)品的生產(chǎn)者也不能指明缺陷產(chǎn)品的供貨者的,銷售者應(yīng)當(dāng)承擔(dān)賠償責(zé)任?!薄肚謾?quán)責(zé)任法》第42條規(guī)定:“因銷售者的過錯(cuò)使產(chǎn)品存在缺陷,造成他人損害的,銷售者應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任。銷售者不能指明缺陷產(chǎn)品的生產(chǎn)者也不能指明缺陷產(chǎn)品的供貨者的,銷售者應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任?!憋@然,這兩部法律均規(guī)定了產(chǎn)品銷售者承擔(dān)的是過錯(cuò)責(zé)任。因?yàn)椤肚謾?quán)責(zé)任法》《產(chǎn)品質(zhì)量法》與《民法通則》屬于特別法與普通法的關(guān)系,因而對同一事項(xiàng)有不同規(guī)定時(shí),應(yīng)當(dāng)優(yōu)先適用特別法《侵權(quán)責(zé)任法》和《產(chǎn)品質(zhì)量法》的規(guī)定,[注]汪淵智:《侵權(quán)責(zé)任法學(xué)》,法律出版社2008年版,第393頁。即生產(chǎn)者和制造者承擔(dān)無過錯(cuò)責(zé)任,銷售者承擔(dān)過錯(cuò)責(zé)任。

    關(guān)于人工智能工作物操作者致人損害責(zé)任的歸責(zé)原則適用過錯(cuò)責(zé)任原則。操作者或使用者致人損害一般是操作不當(dāng)或使用不當(dāng),即操作者或使用者因過失違反操作要求才致人損害的。如廚房機(jī)器人工作程序開啟時(shí),近旁站著人或放著手致人受傷等。工作物操作者或使用者致人損害事件的發(fā)生只有是操作者或使用者失誤造成的,才承擔(dān)責(zé)任,這類責(zé)任基于民法對個(gè)人主觀方面有所要求,故應(yīng)當(dāng)適用過錯(cuò)責(zé)任原則。

    第二,不能直接分清責(zé)任的情形。這是目前人工智能工作物致人損害民事責(zé)任歸責(zé)原則所面臨的難題。因?yàn)椤半S著技術(shù)發(fā)展和算法演進(jìn),智能化產(chǎn)品的決策可能是難以預(yù)測、難以解釋的,導(dǎo)致過錯(cuò)侵權(quán)責(zé)任的認(rèn)定將變得更加困難”。[注]倫一:《人工智能治理問題的初步思考》。人工智能技術(shù)的運(yùn)用為人類生活和工作帶來了極大的便利,它的誕生是為人類服務(wù)。因此,在考慮民事責(zé)任的歸責(zé)原則時(shí),應(yīng)該最大限度地降低此類產(chǎn)品帶給人類的風(fēng)險(xiǎn);同時(shí)需要顧及的是,受害人在此過程中往往處于比較弱勢的地位。所以從侵權(quán)法的角度關(guān)注責(zé)任主體的行為模式,即“合理謹(jǐn)慎之人的標(biāo)準(zhǔn)”,“確保其可信性和由可信性帶來的創(chuàng)造性”,高度增強(qiáng)相關(guān)主體的注意義務(wù),[注]克里斯蒂安·馮·巴爾:《歐洲比較侵權(quán)法》(下卷),焦美華譯,張新寶審核,法律出版社2004年版,第339頁。據(jù)此,無過錯(cuò)責(zé)任歸責(zé)原則應(yīng)該得到一定程度的適用,以盡可能保護(hù)受害者的利益。

    2.人工智能工作物致人損害民事責(zé)任分擔(dān)機(jī)制

    2015年,聯(lián)合國教科文組織與世界科學(xué)知識(shí)與技術(shù)倫理委員會(huì)的報(bào)告提出“邁向新的責(zé)任分擔(dān)機(jī)制”主張,即制造一個(gè)機(jī)器人,有眾多專家和各部門相互合作,當(dāng)機(jī)器人操作失靈造成致人損害事件,究竟誰是責(zé)任主體?報(bào)告提出的解決方案是,采用責(zé)任分擔(dān)的解決路徑,即讓一切參與到機(jī)器人生產(chǎn)、制造工作中的人,包括發(fā)明人、授權(quán)人等共同分擔(dān)責(zé)任。一般情形下,機(jī)器人作為科技產(chǎn)品,它引起的傷害,很大程度上是因?yàn)闄C(jī)器人制造者、銷售者的主觀過錯(cuò)引發(fā)的,包括產(chǎn)品上缺少警示標(biāo)志以及沒有盡到應(yīng)有的注意義務(wù)等。如此的歸責(zé)機(jī)制,會(huì)隨著機(jī)器人不斷的自動(dòng)化、智能化被淘汰。隨之,一個(gè)平衡各方相關(guān)主體,包括機(jī)器人制造者、銷售者以及最終使用者的責(zé)任分擔(dān)制度將會(huì)逐漸產(chǎn)生。[注]《解讀〈聯(lián)合國人工智能政策〉:人工智能導(dǎo)致新的倫理和法律問題》,https://www.587766.com/news4/67521.html,最后訪問時(shí)間2018年2月23日。該報(bào)告提出了一個(gè)新的民事責(zé)任規(guī)則即民事責(zé)任分擔(dān)機(jī)制,讓參與人工智能系統(tǒng)有關(guān)的主體都可能被要求承擔(dān)責(zé)任,但究竟如何承擔(dān)?對此,筆者認(rèn)為,實(shí)施該分擔(dān)機(jī)制可以從以下兩方面思考:

    第一,從明確責(zé)任方和未明確責(zé)任方兩種承擔(dān)方式分類確立規(guī)則。對于這些與人工智能工作物相關(guān)的主體,若責(zé)任主體能查清的,則由責(zé)任者承擔(dān);若未明確責(zé)任方的,則相關(guān)主體共同分擔(dān)責(zé)任。“人工智能的研發(fā)具有高度的秘密性與分散性、不連續(xù)性及不透明性,任何一個(gè)擁有電腦或智能手機(jī)的個(gè)體都可能參與到人工智能的開發(fā)或研制中去”。[注]袁曾:《人工智能有限法律人格審視》。具體包括人工智能系統(tǒng)的發(fā)明者、設(shè)計(jì)者、生產(chǎn)者、制造者、銷售者、操作者或使用者等。如無人駕駛汽車在行駛中致人損害,若經(jīng)過技術(shù)鑒定查明是制造者責(zé)任,則直接由制造者承擔(dān)責(zé)任;若技術(shù)鑒定難以查明究竟是哪一方,則設(shè)計(jì)者、生產(chǎn)者(包括零部件和產(chǎn)品)、制造者、銷售者、操作者等共同承擔(dān)責(zé)任。

    在一般產(chǎn)品責(zé)任機(jī)制中,未能分清責(zé)任時(shí),生產(chǎn)者和制造者承擔(dān)無過錯(cuò)責(zé)任,而銷售者是過錯(cuò)責(zé)任;不能直接找到責(zé)任者或是因科學(xué)技術(shù)發(fā)展的局限性所導(dǎo)致的,只能作為意外事件處理。而在人工智能工作物致人損害情形下則與此不同,對于不能分清責(zé)任以及技術(shù)局限所導(dǎo)致的,相關(guān)主體共同分擔(dān)責(zé)任,且按照無過錯(cuò)責(zé)任歸責(zé)原則處理。這一規(guī)則確立的主要意圖之一是讓所有參與人工智能系統(tǒng)的主體增強(qiáng)預(yù)防性的責(zé)任意識(shí),在每一個(gè)工作階段都盡可能地采取安全措施,并盡可能“在預(yù)防自己實(shí)施不可接受的風(fēng)險(xiǎn)行為之成本與支付此類成本之間做出現(xiàn)實(shí)的權(quán)衡”。[注]G.愛德華·懷特:《美國侵權(quán)行為法:一部知識(shí)史》,第269頁。當(dāng)然,在分擔(dān)機(jī)制的適用方面,基于人工智能技術(shù)認(rèn)定的要求高,為此應(yīng)重視責(zé)任確認(rèn)的證據(jù),關(guān)注其數(shù)據(jù)的保留,盡可能留存所有參與人工智能系統(tǒng)開發(fā)和生產(chǎn)以及制作的相關(guān)數(shù)據(jù)。

    第二,適用強(qiáng)制保險(xiǎn)機(jī)制。作為人工智能工作物,其技術(shù)要求高,與一般人工工作物操作相比,其發(fā)生事故時(shí)的可控狀況可能較差,故風(fēng)險(xiǎn)較大;同時(shí),即便前述分擔(dān)機(jī)制能將責(zé)任風(fēng)險(xiǎn)分散,但畢竟各方主體承擔(dān)風(fēng)險(xiǎn)能力有時(shí)還是有限的。為此筆者同意一些學(xué)者的觀點(diǎn):人工智能工作物投入使用前應(yīng)強(qiáng)調(diào)保險(xiǎn)機(jī)制的實(shí)施,即“強(qiáng)制投保責(zé)任保險(xiǎn)”。[注]袁曾:《人工智能有限法律人格審視》。這項(xiàng)機(jī)制,作為人工智能工作物致人損害民事責(zé)任分擔(dān)機(jī)制的一項(xiàng)補(bǔ)充性措施,具有重要意義。2016年,英國議會(huì)在提出無人駕駛汽車法律責(zé)任議案中指出,在駕駛者將汽車控制權(quán)完全交給自動(dòng)駕駛系統(tǒng)時(shí)有必要為其提供保障。人工智能工作物致人損害民事責(zé)任強(qiáng)制保險(xiǎn)機(jī)制是非常具體化的,需要深入研究,鑒于本文的主題內(nèi)容和篇幅,該內(nèi)容在此不做展開。

    猜你喜歡
    民事責(zé)任機(jī)器人主體
    論自然人破產(chǎn)法的適用主體
    民事責(zé)任能力問題的探討
    商情(2012年48期)2017-11-08 19:33:32
    關(guān)于遺產(chǎn)保護(hù)主體的思考
    機(jī)器人來幫你
    認(rèn)識(shí)機(jī)器人
    機(jī)器人來啦
    認(rèn)識(shí)機(jī)器人
    “友好專家證人”的民事責(zé)任①——基于Pace v. Swerdlow案之分析
    論多元主體的生成
    英美法上的說明義務(wù)與民事責(zé)任(下)
    日韩一区二区三区影片| 黄片wwwwww| 中文字幕久久专区| 真实男女啪啪啪动态图| 久久精品熟女亚洲av麻豆精品| 最近2019中文字幕mv第一页| 国产综合精华液| 七月丁香在线播放| 精品人妻偷拍中文字幕| 人人妻人人澡人人爽人人夜夜| 亚洲精品乱久久久久久| 高清视频免费观看一区二区| 亚洲av成人精品一区久久| 日本三级黄在线观看| 狂野欧美白嫩少妇大欣赏| 日本爱情动作片www.在线观看| 97超视频在线观看视频| 26uuu在线亚洲综合色| 寂寞人妻少妇视频99o| 国产精品人妻久久久久久| 久久久久久久久久久丰满| 五月天丁香电影| 18禁在线播放成人免费| 麻豆久久精品国产亚洲av| 伊人久久国产一区二区| 最近2019中文字幕mv第一页| 校园人妻丝袜中文字幕| 亚洲欧美成人综合另类久久久| 成人免费观看视频高清| av在线老鸭窝| 建设人人有责人人尽责人人享有的 | 日本wwww免费看| 国产有黄有色有爽视频| 人人妻人人看人人澡| 亚洲美女搞黄在线观看| 欧美xxxx性猛交bbbb| 王馨瑶露胸无遮挡在线观看| 大码成人一级视频| 国产黄色免费在线视频| 国产黄片美女视频| 夜夜爽夜夜爽视频| 51国产日韩欧美| 91在线精品国自产拍蜜月| 色吧在线观看| 亚洲av中文av极速乱| 麻豆成人av视频| 丝袜喷水一区| 91精品国产九色| 五月天丁香电影| 亚洲,一卡二卡三卡| 最近最新中文字幕免费大全7| 亚洲av国产av综合av卡| 亚洲经典国产精华液单| 91精品一卡2卡3卡4卡| av黄色大香蕉| 国产69精品久久久久777片| 欧美成人一区二区免费高清观看| 啦啦啦在线观看免费高清www| 国产永久视频网站| 人人妻人人爽人人添夜夜欢视频 | 国产午夜精品一二区理论片| 啦啦啦啦在线视频资源| 亚洲av免费高清在线观看| 国产综合精华液| 大片电影免费在线观看免费| 成人国产av品久久久| 少妇人妻久久综合中文| 精品少妇黑人巨大在线播放| 80岁老熟妇乱子伦牲交| 建设人人有责人人尽责人人享有的 | 日韩一区二区视频免费看| 久久久久久久午夜电影| 黄色日韩在线| 色5月婷婷丁香| 亚洲国产精品999| 免费看光身美女| 在线a可以看的网站| 最近中文字幕2019免费版| 亚洲欧洲国产日韩| 国产精品成人在线| 日本与韩国留学比较| 亚洲欧美日韩无卡精品| 亚洲怡红院男人天堂| 亚洲自偷自拍三级| 在线观看国产h片| 久久久精品欧美日韩精品| 偷拍熟女少妇极品色| 春色校园在线视频观看| 禁无遮挡网站| 国产高清有码在线观看视频| 狂野欧美激情性bbbbbb| 直男gayav资源| 秋霞伦理黄片| 国产成人freesex在线| 成人毛片a级毛片在线播放| 久久久久久伊人网av| 91久久精品国产一区二区成人| 日本一二三区视频观看| 性色av一级| 日韩一区二区视频免费看| 国产黄片美女视频| 国产黄色免费在线视频| 视频区图区小说| 国产成人精品婷婷| 欧美成人a在线观看| 韩国av在线不卡| 老师上课跳d突然被开到最大视频| 免费av观看视频| 精品国产露脸久久av麻豆| 国产黄频视频在线观看| 我的女老师完整版在线观看| 国产综合精华液| 日本一二三区视频观看| 亚洲av不卡在线观看| 人人妻人人看人人澡| 日本免费在线观看一区| 99热国产这里只有精品6| 国产视频首页在线观看| 在现免费观看毛片| 99久久人妻综合| 夜夜看夜夜爽夜夜摸| 日本猛色少妇xxxxx猛交久久| 99热6这里只有精品| 特级一级黄色大片| 日韩制服骚丝袜av| 亚洲欧美日韩另类电影网站 | 日韩在线高清观看一区二区三区| 五月伊人婷婷丁香| 欧美日韩国产mv在线观看视频 | 国产女主播在线喷水免费视频网站| 少妇的逼好多水| 少妇人妻精品综合一区二区| 少妇高潮的动态图| 色哟哟·www| 韩国高清视频一区二区三区| 久久女婷五月综合色啪小说 | 日日啪夜夜爽| 国产女主播在线喷水免费视频网站| 国产亚洲最大av| 极品教师在线视频| 99精国产麻豆久久婷婷| 日韩强制内射视频| 久久精品国产亚洲av天美| 免费观看在线日韩| 日韩成人av中文字幕在线观看| 别揉我奶头 嗯啊视频| 人妻夜夜爽99麻豆av| 国产视频首页在线观看| 尤物成人国产欧美一区二区三区| 亚洲av中文av极速乱| 久久6这里有精品| 国产日韩欧美亚洲二区| 91aial.com中文字幕在线观看| 一个人观看的视频www高清免费观看| 日本一本二区三区精品| 午夜日本视频在线| 成人无遮挡网站| 欧美潮喷喷水| 婷婷色综合大香蕉| 好男人在线观看高清免费视频| 国产又色又爽无遮挡免| 国内揄拍国产精品人妻在线| 亚洲人与动物交配视频| 人体艺术视频欧美日本| 国产亚洲最大av| 成人亚洲精品av一区二区| 日本免费在线观看一区| 嫩草影院新地址| 极品少妇高潮喷水抽搐| 亚洲精品,欧美精品| 美女内射精品一级片tv| 亚洲无线观看免费| 亚洲精品色激情综合| a级毛色黄片| 三级男女做爰猛烈吃奶摸视频| 2018国产大陆天天弄谢| 人妻少妇偷人精品九色| 建设人人有责人人尽责人人享有的 | 日本午夜av视频| 男女国产视频网站| 国产成人免费无遮挡视频| 成人二区视频| 日韩欧美一区视频在线观看 | 如何舔出高潮| 国产精品不卡视频一区二区| 日韩人妻高清精品专区| 国产成年人精品一区二区| 插阴视频在线观看视频| 香蕉精品网在线| 久久精品国产亚洲av涩爱| 国产爱豆传媒在线观看| 国产黄a三级三级三级人| 久久久久网色| 日韩视频在线欧美| 边亲边吃奶的免费视频| 一级片'在线观看视频| 午夜福利视频1000在线观看| 久久精品国产a三级三级三级| 99久久九九国产精品国产免费| 又大又黄又爽视频免费| 亚洲色图综合在线观看| 午夜爱爱视频在线播放| 久久久久九九精品影院| 少妇人妻精品综合一区二区| 日韩欧美一区视频在线观看 | 亚洲天堂av无毛| 亚洲精品成人久久久久久| 哪个播放器可以免费观看大片| 亚洲av.av天堂| 2021天堂中文幕一二区在线观| 国产永久视频网站| 亚洲激情五月婷婷啪啪| 午夜福利高清视频| 国产永久视频网站| 日韩欧美精品v在线| 中国三级夫妇交换| 精品久久久久久久久av| 激情五月婷婷亚洲| 舔av片在线| 久久韩国三级中文字幕| 国产亚洲一区二区精品| 一级毛片aaaaaa免费看小| 一个人看的www免费观看视频| 91aial.com中文字幕在线观看| 精品一区在线观看国产| 黄色视频在线播放观看不卡| 国产探花在线观看一区二区| 高清午夜精品一区二区三区| 国产精品久久久久久精品电影| 免费观看无遮挡的男女| 亚洲人成网站在线播| 成人免费观看视频高清| 国产精品秋霞免费鲁丝片| 大片免费播放器 马上看| 18禁动态无遮挡网站| 免费大片黄手机在线观看| 婷婷色综合大香蕉| 少妇猛男粗大的猛烈进出视频 | 免费高清在线观看视频在线观看| 狂野欧美激情性xxxx在线观看| 亚洲图色成人| eeuss影院久久| 午夜爱爱视频在线播放| 永久网站在线| 插阴视频在线观看视频| 亚洲经典国产精华液单| 一区二区三区四区激情视频| 色5月婷婷丁香| 自拍欧美九色日韩亚洲蝌蚪91 | 国产亚洲一区二区精品| 男女啪啪激烈高潮av片| 国产淫片久久久久久久久| 色综合色国产| 黄色怎么调成土黄色| 欧美潮喷喷水| 啦啦啦在线观看免费高清www| 成人二区视频| 三级男女做爰猛烈吃奶摸视频| 亚洲av男天堂| 国产免费一区二区三区四区乱码| 内地一区二区视频在线| 久久久久久久久久人人人人人人| 九九久久精品国产亚洲av麻豆| 偷拍熟女少妇极品色| 婷婷色综合www| 少妇熟女欧美另类| 中文字幕久久专区| 黄色一级大片看看| 亚洲欧美精品专区久久| 一级a做视频免费观看| 欧美日韩国产mv在线观看视频 | 亚洲,一卡二卡三卡| 国产精品久久久久久精品电影小说 | 啦啦啦中文免费视频观看日本| 久久久久国产精品人妻一区二区| 又爽又黄a免费视频| kizo精华| 蜜臀久久99精品久久宅男| 在线观看国产h片| 成年免费大片在线观看| 午夜免费观看性视频| 成人亚洲欧美一区二区av| 97超视频在线观看视频| 麻豆成人午夜福利视频| 国产一区有黄有色的免费视频| av天堂中文字幕网| 91午夜精品亚洲一区二区三区| 亚洲av男天堂| 男女国产视频网站| 亚洲最大成人手机在线| 高清在线视频一区二区三区| 看十八女毛片水多多多| 一区二区av电影网| 国语对白做爰xxxⅹ性视频网站| 在线观看人妻少妇| 国产免费一级a男人的天堂| 久久久国产一区二区| 丝袜脚勾引网站| 另类亚洲欧美激情| 亚洲av中文av极速乱| 欧美性感艳星| 如何舔出高潮| 老司机影院毛片| 丰满人妻一区二区三区视频av| 高清欧美精品videossex| 成人综合一区亚洲| 亚洲精品亚洲一区二区| 我要看日韩黄色一级片| 久久精品久久久久久久性| 久久鲁丝午夜福利片| 精品一区二区免费观看| 欧美xxxx黑人xx丫x性爽| 日本一本二区三区精品| 久久热精品热| 丰满乱子伦码专区| 国产乱来视频区| 日韩国内少妇激情av| 免费观看a级毛片全部| 国产综合精华液| 在线免费观看不下载黄p国产| 18+在线观看网站| 只有这里有精品99| 久久精品久久精品一区二区三区| 干丝袜人妻中文字幕| 熟女av电影| 99九九线精品视频在线观看视频| 亚洲精品第二区| 人妻一区二区av| 免费观看a级毛片全部| 免费观看无遮挡的男女| 国产精品蜜桃在线观看| 联通29元200g的流量卡| 欧美最新免费一区二区三区| 国产精品成人在线| 97在线视频观看| 国产亚洲av嫩草精品影院| 新久久久久国产一级毛片| 日韩国内少妇激情av| 久久久亚洲精品成人影院| 爱豆传媒免费全集在线观看| 一级毛片我不卡| 一级爰片在线观看| freevideosex欧美| 国产精品精品国产色婷婷| 极品教师在线视频| 亚洲成人av在线免费| 丰满乱子伦码专区| 别揉我奶头 嗯啊视频| 日韩欧美 国产精品| 国产黄片视频在线免费观看| 丝袜喷水一区| 亚洲成人精品中文字幕电影| 最近手机中文字幕大全| 国产毛片在线视频| 中国三级夫妇交换| 建设人人有责人人尽责人人享有的 | 99九九线精品视频在线观看视频| 国产日韩欧美亚洲二区| 国产精品国产三级专区第一集| 一本久久精品| 久久久久久久久久成人| 欧美精品国产亚洲| 久热久热在线精品观看| 边亲边吃奶的免费视频| 少妇猛男粗大的猛烈进出视频 | 最近最新中文字幕免费大全7| 99久久精品国产国产毛片| 欧美日本视频| 久久久久久伊人网av| 秋霞在线观看毛片| 三级男女做爰猛烈吃奶摸视频| 日韩制服骚丝袜av| 毛片女人毛片| 精品久久久久久久人妻蜜臀av| 人妻夜夜爽99麻豆av| 国产精品国产三级国产av玫瑰| 欧美zozozo另类| 久久久久久久大尺度免费视频| 亚洲国产日韩一区二区| 免费播放大片免费观看视频在线观看| 亚洲av电影在线观看一区二区三区 | 久久6这里有精品| 午夜爱爱视频在线播放| 国产亚洲av片在线观看秒播厂| 99精国产麻豆久久婷婷| 日日撸夜夜添| 国产精品久久久久久av不卡| 亚洲图色成人| 亚洲真实伦在线观看| 美女内射精品一级片tv| 成人美女网站在线观看视频| 久久久午夜欧美精品| 欧美zozozo另类| 国产精品国产av在线观看| 最近最新中文字幕免费大全7| 欧美丝袜亚洲另类| 成年女人看的毛片在线观看| 一区二区三区四区激情视频| 成人午夜精彩视频在线观看| 久久久久久伊人网av| 久久99热6这里只有精品| 欧美三级亚洲精品| 视频中文字幕在线观看| 丝袜喷水一区| 黄片wwwwww| 最近2019中文字幕mv第一页| 99视频精品全部免费 在线| 久久精品久久精品一区二区三区| 另类亚洲欧美激情| 亚洲国产欧美在线一区| 中文字幕制服av| 国内少妇人妻偷人精品xxx网站| 久久精品久久精品一区二区三区| 日本三级黄在线观看| 久久精品人妻少妇| 久久99热这里只频精品6学生| 免费人成在线观看视频色| 26uuu在线亚洲综合色| 少妇熟女欧美另类| 身体一侧抽搐| 美女内射精品一级片tv| 人人妻人人爽人人添夜夜欢视频 | 欧美丝袜亚洲另类| 亚洲av日韩在线播放| 欧美日韩视频高清一区二区三区二| 国产v大片淫在线免费观看| 国内精品美女久久久久久| 搡老乐熟女国产| 特大巨黑吊av在线直播| 中文字幕av成人在线电影| 日本欧美国产在线视频| 国产老妇女一区| 欧美zozozo另类| 久久精品国产亚洲av涩爱| 国产精品爽爽va在线观看网站| 日本一本二区三区精品| 日韩精品有码人妻一区| 久久久久性生活片| 91久久精品电影网| 欧美xxxx黑人xx丫x性爽| 99re6热这里在线精品视频| 又粗又硬又长又爽又黄的视频| 亚洲成人一二三区av| 精品国产一区二区三区久久久樱花 | 五月天丁香电影| 国产午夜精品一二区理论片| 黄片wwwwww| 六月丁香七月| 美女被艹到高潮喷水动态| 国产永久视频网站| 啦啦啦中文免费视频观看日本| 亚洲精品一区蜜桃| 插逼视频在线观看| 日本猛色少妇xxxxx猛交久久| 成人鲁丝片一二三区免费| 女人久久www免费人成看片| av免费在线看不卡| 久久精品夜色国产| av.在线天堂| av在线天堂中文字幕| 极品少妇高潮喷水抽搐| 嫩草影院新地址| 人妻系列 视频| 国产成人精品久久久久久| 好男人视频免费观看在线| 亚洲经典国产精华液单| 69av精品久久久久久| 不卡视频在线观看欧美| 深爱激情五月婷婷| 看黄色毛片网站| 麻豆国产97在线/欧美| 精品久久久噜噜| 精品久久久久久久久亚洲| 色视频www国产| 亚洲av欧美aⅴ国产| 97热精品久久久久久| 内射极品少妇av片p| 久久久精品欧美日韩精品| 可以在线观看毛片的网站| 亚洲av男天堂| 亚洲久久久久久中文字幕| 97人妻精品一区二区三区麻豆| 韩国av在线不卡| 交换朋友夫妻互换小说| 午夜福利视频1000在线观看| 成人亚洲欧美一区二区av| 国产免费视频播放在线视频| 免费看光身美女| 欧美性感艳星| 波多野结衣巨乳人妻| 色哟哟·www| 一级爰片在线观看| 日韩制服骚丝袜av| 亚洲美女搞黄在线观看| 亚洲精品日韩av片在线观看| 51国产日韩欧美| 日本黄大片高清| 欧美成人一区二区免费高清观看| 精品酒店卫生间| av国产精品久久久久影院| 特级一级黄色大片| 综合色av麻豆| 久久精品熟女亚洲av麻豆精品| 久久久久久久久大av| 熟妇人妻不卡中文字幕| 一区二区三区精品91| 免费黄色在线免费观看| 男女啪啪激烈高潮av片| 中文乱码字字幕精品一区二区三区| 国产高清不卡午夜福利| 女人十人毛片免费观看3o分钟| 久久久久国产网址| 久久综合国产亚洲精品| 小蜜桃在线观看免费完整版高清| 日韩av免费高清视频| 联通29元200g的流量卡| 五月玫瑰六月丁香| 在线观看人妻少妇| 国产成人免费观看mmmm| 久久久久久久国产电影| 国产真实伦视频高清在线观看| 午夜激情福利司机影院| 日韩欧美 国产精品| 春色校园在线视频观看| 欧美日韩综合久久久久久| 美女内射精品一级片tv| .国产精品久久| 国产成人a∨麻豆精品| 国产成人freesex在线| 亚洲av一区综合| av在线亚洲专区| 观看美女的网站| 亚洲国产精品999| 国产精品爽爽va在线观看网站| 赤兔流量卡办理| 丰满乱子伦码专区| 午夜视频国产福利| 观看美女的网站| 成人亚洲欧美一区二区av| 国内精品宾馆在线| 神马国产精品三级电影在线观看| 国产精品国产三级国产专区5o| 亚洲精品日韩在线中文字幕| 久久久久国产精品人妻一区二区| 久久热精品热| 国产精品久久久久久精品电影小说 | 三级国产精品片| 街头女战士在线观看网站| 成人鲁丝片一二三区免费| 只有这里有精品99| 成人二区视频| 亚洲成人中文字幕在线播放| 嘟嘟电影网在线观看| 最新中文字幕久久久久| 亚洲图色成人| 亚洲国产精品专区欧美| av在线app专区| 99久久中文字幕三级久久日本| 国产大屁股一区二区在线视频| 久久久成人免费电影| 精品亚洲乱码少妇综合久久| 国产精品av视频在线免费观看| 尤物成人国产欧美一区二区三区| 精品久久久久久电影网| 高清在线视频一区二区三区| 亚洲欧美成人综合另类久久久| 久久精品国产亚洲av天美| 亚洲伊人久久精品综合| videos熟女内射| 成人国产av品久久久| 国产精品一区二区性色av| 精品一区二区三区视频在线| 中文天堂在线官网| 秋霞在线观看毛片| 国产黄色免费在线视频| 久久99热6这里只有精品| 少妇人妻一区二区三区视频| 特大巨黑吊av在线直播| 日韩不卡一区二区三区视频在线| 亚洲av在线观看美女高潮| 18禁裸乳无遮挡动漫免费视频 | 日本wwww免费看| 老女人水多毛片| av又黄又爽大尺度在线免费看| 黄色欧美视频在线观看| 色哟哟·www| 欧美日本视频| 女人十人毛片免费观看3o分钟| 亚洲经典国产精华液单| 成人无遮挡网站| 国产免费福利视频在线观看| 亚洲欧美一区二区三区国产| 免费看a级黄色片| 中文字幕制服av| 国产精品久久久久久精品电影| 一级爰片在线观看| 夫妻午夜视频| 麻豆成人av视频| 亚洲国产精品成人综合色| 人体艺术视频欧美日本| 最近手机中文字幕大全| 纵有疾风起免费观看全集完整版| 水蜜桃什么品种好| 国产精品偷伦视频观看了| 熟妇人妻不卡中文字幕| 一级毛片 在线播放| 美女被艹到高潮喷水动态| 亚洲av电影在线观看一区二区三区 | 交换朋友夫妻互换小说| 久久人人爽人人片av| 久久国产乱子免费精品| 内地一区二区视频在线| 国产一区亚洲一区在线观看| 免费看不卡的av| 欧美成人一区二区免费高清观看|