• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    論人工智能行為法律因果關系認定〔*〕

    2018-02-19 19:49:28劉志強
    學術界 2018年12期
    關鍵詞:因果關系行為人機器人

    ○ 劉志強, 方 琨,2

    (1.廣州大學 人權研究院, 廣東 廣州 510095;2.吉林大學 法學院, 吉林 長春 130012)

    一、問題的提出

    “這是一個最好的時代,也是一個最壞的時代。”〔1〕隨著科學技術發(fā)展的日新月異,我們迅速地進入了“第四次工業(yè)革命”的人工智能時代?!?〕在人工智能時代的今天,人工智能機器人技術不僅能純熟地應用于棋類對弈、人臉識別技術之中,而且拓展至能夠實現(xiàn)汽車無人駕駛、機器人自動操作等人類生活的方方面面,更為我們展現(xiàn)了人工智能技術與過去技術相比不可比擬的發(fā)展優(yōu)勢,成為了推動人類經(jīng)濟社會發(fā)展的強力引擎。對于國家發(fā)展層面而言,發(fā)展人工智能是非常有必要的。習近平總書記在黨的十九大報告就指出:“要推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟深度融合?!薄?〕然而,對于個人層面而言,如英國物理學家霍金就擔心“人工智能有可能會取代人類”〔4〕,或者悲觀主義者憂心人工智能會發(fā)展成為“數(shù)字利維坦”?!?〕人們對人工智能發(fā)展的焦慮在于擔心它對人類社會帶來的惡劣沖擊。2017年7月國務院出臺《新一代人工智能發(fā)展規(guī)劃》〔6〕,要求“建成更加完善的人工智能法律法規(guī)、倫理規(guī)范和政策體系”,對人工智能實現(xiàn)完善的法律規(guī)制。一時間對人工智能的研究方興未艾,學者們不僅從微觀化視角,如人工智能的法律風險、人工智能機器人的法律主體與責任、法律適用等視角,〔7〕而且從法律學科內宏觀化視角對人工智能進行法律的探討,〔8〕以期應對人工智能對社會生活帶來的挑戰(zhàn)。

    其實,在人類發(fā)展的歷史上,科學技術的新突破、新進展,都會引發(fā)人們對科技的情緒性焦慮、質疑。然而,由于人工智能科技發(fā)展超出了人類的社會預期,使得人工智能與人工智能機器人涌入人類生活時,當人工智能系統(tǒng)的指令行為、人工智能機器人的行為超越人類的主體時,應當如何予以處理,目前并無明確的法律規(guī)定,這就更加深了社會對科技發(fā)展帶來的風險所存在的焦慮。觀照傳統(tǒng)的法律規(guī)制體系,其是建立于人類行為與結果之間的因果關系邏輯之上,以行為人的法律行為作為法律因果關系客觀歸因、責任歸責的依據(jù)。因此,人工智能的法律問題表面上展現(xiàn)的是人工智能及機器人的主體資格適用問題,但是在實質上,展現(xiàn)的卻是在人工智能時代,法律因果關系的調整范圍與適應性有所弱化、偏離情形下,如何對人工智能及其行為與結果進行法律因果關系客觀歸因、責任歸責的問題。正如有論者認為,人工智能對法律的挑戰(zhàn)的核心問題在于:人工智能對人的自由意志產(chǎn)生的影響以及人工智能作為一種技術構成對人的主體的異化?!?〕誠然,人工智能行為是有別于傳統(tǒng)的法律行為,其法律因果關系的認定當然也有別于傳統(tǒng)行為的法律因果關系認定。故本文的旨趣基于盧曼的系統(tǒng)論——法律因果關系的內部系統(tǒng)與人工智能的外部系統(tǒng),分析兩個不同系統(tǒng)在目前存在的困境、行為異化、相互溝通、理論融合等問題,以實現(xiàn)對人工智能法律因果關系價值分析的反思與整合。我們基本思路是,首先,通過法律內部系統(tǒng)中因果關系的規(guī)則層面,分析外部系統(tǒng)中人工智能系統(tǒng)的指令行為、人工智能機器人的行為在法律認定的適應性、調整性問題現(xiàn)狀。其次,通過觀察外部系統(tǒng)中人工智能系統(tǒng)的指令行為、人工智能機器人行為的特征與類型,實現(xiàn)外部系統(tǒng)與法律內部系統(tǒng)的溝通。在上述基礎上,再反思法律內部系統(tǒng)的法律因果關系理論本體,從而為融合人工智能行為的外部系統(tǒng)與法律因果關系的內部系統(tǒng)找到進路,找到人工智能行為及其造成的結果之間的法律因果關系認定路徑,以此促進解決人工智能的法律責任歸結、人工智能的發(fā)展治理與規(guī)制的決策發(fā)展。

    二、因果關系的存疑

    (一)法律因果關系的認定危機

    毫無疑問,21世紀的人工智能時代已屬于風險社會的時代?!帮L險社會是一組特定的社會、經(jīng)濟、政治和文化的情境,其特點是不斷增長的人為制造的不確定性的普遍邏輯,它要求當前的社會結構、制度和聯(lián)系向一種包含更多復雜性、偶然性和斷裂性的形態(tài)轉變?!薄?0〕人類面臨的風險已不再局限于自然風險,更有現(xiàn)代的、人為的風險,其中最為顯著的是科技帶來的風險??萍硷L險帶來的“不明的和無法預料的后果成為歷史和社會的主宰力量”,〔11〕由科技風險引發(fā)的現(xiàn)代性危機,即是科學技術作為一種工具與人的關系發(fā)生異化的主體危機。要明確的是,“現(xiàn)代性不是一件事物,而是一種關系,而且成為這種關系的一部分正是現(xiàn)代性的最終標志?!薄?2〕所以科技風險引發(fā)的現(xiàn)代性危機,即是科技與人在主體之間關系的異化表現(xiàn)。

    德國法社會學家尼克拉斯·盧曼研究風險社會帶來的挑戰(zhàn)時,認為“法律使規(guī)范性期望穩(wěn)定化的功能遠遠超出了調解沖突概念所能把握的內涵”,即法律的作用不僅局限于矛盾糾紛的解決與沖突的調整上面,更在于應對風險帶來的挑戰(zhàn)。盧曼在系統(tǒng)論中對法律內部系統(tǒng)與外部系統(tǒng)(環(huán)境)的關系作了闡釋,他通過“二階觀察”對法律內部系統(tǒng)與外部系統(tǒng)進行觀察。在“一階觀察”中注重觀察內部系統(tǒng)應對外部系統(tǒng)的風險,而在“二階觀察”中注重觀察法律內部系統(tǒng)對外部系統(tǒng)的風險的回應性。因此,盧曼認為正是因為作為“社會的法律”,法律是應對風險而產(chǎn)生的,所以其具有“自創(chuàng)性”?!?3〕他認為法律可以在面對社會的復雜環(huán)境情形下,突破過去的理論限制,發(fā)揮法律的自創(chuàng)性作用?!胺墒冀K以能預見可能會有偏離的行為——不管以什么動機為基礎——并且不讓這種偏離行為影響期望的貫徹能力為前提。如果僅僅一般地把法律的功能描述為對關系網(wǎng)的調節(jié),這只能說明人們沒有看到法律的特殊性,也許還不如觀看超市里商品的陳列設計或者航空交通電腦網(wǎng)計劃,或者觀看作為法律制度一部分的語言本身那么仔細?!薄?4〕簡言之,盡管其展現(xiàn)為法律系統(tǒng)在規(guī)范層面是封閉的,但是在認知層面是開放的——可以認知與吸納外部系統(tǒng)(環(huán)境),可以利用條件程式(法律文本)來運轉整個法律系統(tǒng)。法律系統(tǒng)必須要接受來自外部系統(tǒng)帶來的挑戰(zhàn),并作出回應。

    回到人工智能時代,現(xiàn)代性危機在法律系統(tǒng)的內部表現(xiàn)為人工智能行為的法律因果關系發(fā)生異化。人工智能行為應當如何予以認定法律因果關系,存在著激烈的意見交鋒。一方面,不少論者從人工智能的行為及其結果的法律因果關系歸因與歸責路徑作出考量,認為人工智能是生產(chǎn)者的“工具”?!?5〕縱觀“工具說”的支持者,他們支持的理由在于人工智能的行為造成的結果與生產(chǎn)者必然具有因果關系,并且人工智能系統(tǒng)的指令行為、人工智能機器人的行為依附于人的意志,成為人的工具與手段,應分別對生產(chǎn)者、運營者與銷售者、使用者的行為予以客觀歸因與責任歸責。另一方面,社會部分論者對此觀點并不認同。他們的焦慮癥結在于認為人工智能可能具有“獨立性”,將人工智能系統(tǒng)的指令行為、人工智能機器人行為獨立于人的行為。他們認為人工智能的行為造成的結果帶來的風險之一,就是與生產(chǎn)者并無直接的因果關系,認為人工智能目前的難題在于將人工智能造成的侵權結果歸責于個人不妥、而歸責于機器無說服力的兩難之境?!?6〕基于此,更有少數(shù)論者提出應當依據(jù)人工智能機器人的智能化程度對人工智能機器人予以獨立的法律責任認定。〔17〕與此同時,這個難題的側面還存在著為了推動科學技術的進步和發(fā)展,不宜對科技發(fā)展作出嚴格限制的困境。

    (二)規(guī)范層面的認定存疑

    傳統(tǒng)的法律因果關系就是耦合法律規(guī)則對法律行為的規(guī)定來認定行為人的行為與結果的因果關系。換言之,“因果關系是認定法律責任的構成要件之一,所起的作用是從事實上將損害結果與行為人的行為連接起來,即將結果歸因于行為人”?!?8〕法律行為作為法律因果關系內部系統(tǒng)共識的認識基石,通過在概念上將法律行為認定為是“把契約、婚姻、遺囑等具體行為概括起來的概念,是德國法學家在長期的歷史積累的基礎上創(chuàng)造出來的一個抽象性、一般性概念”,〔19〕使得法律行為自此在適用上具有獨特的歷史繼承性和普遍認識性,同時為行為人依據(jù)法律規(guī)則作出自身的法律行為提供了明確的預期,使之成為社會的共識。我國通說認為,法律行為的構造上由行為人的特定行為組成,指在法律規(guī)則的規(guī)定與調整下,能夠引起法律關系的產(chǎn)生、變更、消滅的行為人的法律活動與行為。因此,法律的因果關系是行為人依據(jù)法律行為產(chǎn)生、變更、消滅法律關系的客觀歸因。我國法律規(guī)則依據(jù)行為人實施的行為來自于不同的法律關系作出調整,將其劃分為民事法律行為、刑事法律行為。一方面,民事法律行為是行為人在平等主體的民事活動領域做出的法律行為,其在構成要件上遵循意思自治原則,強調主體的平等性與意志的自由性。自民法立場言之,自以由當事人自身規(guī)劃為最相宜,此為法律行為之一大原則?!?0〕法律因果關系在客觀行為構造上的一般形態(tài)之一就是民事法律關系的產(chǎn)生、變更、消滅與實現(xiàn)。另一方面,刑事法律行為即刑法中的危害行為。刑事法律行為在法律關系上是以行為人的行為作為國家司法機關定罪量刑的客觀依據(jù)的,其在構成要件上明確要求刑事法律行為的認定須恪守罪刑法定原則與刑法的謙抑性,從而抑制刑罰權的肆意發(fā)動。與民事法律行為相比,刑事法律行為更具有主體的不平等性與法益的侵害性,故法律因果關系在客觀行為構造上的一般形態(tài)之一就是刑事犯罪的犯罪預備、未遂、中止與既遂的法律關系實現(xiàn)過程。

    觀照人工智能的行為,卻在法律因果關系的行為規(guī)則上發(fā)生了異化,背離了傳統(tǒng)法律行為的構成邏輯與模式,帶來法律因果關系的認定困境,體現(xiàn)在民事活動中主體性活動形式異化與刑事犯罪中主體性犯罪現(xiàn)象異化。一方面,人工智能(Artifical Intelligence)一般又被稱作計算機智能、機器智能(Machine Intelligence),是智能機器所執(zhí)行的通常與人類智能有關的智能行為,這些智能行為涉及學習感知、思考理解、判斷推理與證明、規(guī)劃與行動等活動,是社會進步與技術革新的產(chǎn)物,具有創(chuàng)新性和時代性?!?1〕現(xiàn)實中隨著科學技術的蓬勃發(fā)展及人工智能技術帶動下產(chǎn)業(yè)的轉型升級,人類已經(jīng)可以通過運用人工智能系統(tǒng)與人工智能的機器人技術,在衣食住行等諸多社會生活領域實現(xiàn)廣泛的應用。在民事活動中,民事法律行為的界限于正面上只要行為人具備民事行為能力、實施行為具備真實的意思表示、沒有違反法律法規(guī)的強行性規(guī)定,行為人實施的民事法律行為就成立有效;反面上如果行為人不具備民事行為能力、實施的行為違反法律法規(guī)強行性規(guī)定等情形,則行為人實施的行為就屬于無效民事法律行為。而目前人工智能的民事行為多不勝數(shù),如美國舊金山街頭的咖啡店Cafe X采用人工智能機器人運作模式,從收銀到咖啡調制全部由機器人完成;IBM公司的機器人Watson可在日常生活中承擔大廚、醫(yī)生、教師等多個角色;醫(yī)療機構運用人工智能機器人為患者實施手術;交通設施中運用人工智能系統(tǒng)自動操控技術實現(xiàn)車輛自動化無人駕駛;超市商場運用人工智能系統(tǒng)人臉識別模式與機器人收銀系統(tǒng)實現(xiàn)無人販賣等等。人工智能民事行為則包括人工智能指令行為與人工智能機器人行為兩種。與法律行為的特征相比,其行為異化具有主體差異性、行動多重性、媒介客體的可替代性的特點。故顯然造成了在法律認定上的困難——究竟是認定行為人的操作行為、人工智能的指令行為還是機器人的實施行為?

    在此之外,科技的重大發(fā)展不但促使社會生活的重大變遷,還促成利用科技發(fā)展的成果犯罪。在刑事犯罪當中,刑事法律行為的界限于正面上要求行為人的危害行為符合有體性、有意性、有害性、規(guī)范違反性等特征,只有行為人的行為具有社會危害性,該行為受行為人的意識意志支配,且行為違反了刑法規(guī)范等情形,才能將行為評價為刑事法律行為。而人工智能的刑事行為的異化則表現(xiàn)為:掌握人工智能技術的犯罪分子不但可以借助人工智能程序、人工智能數(shù)據(jù)、人工智能機器人技術實施高科技犯罪來達到不法的目的,還可以借助人工智能技術實施傳統(tǒng)犯罪。此時,技術手段為犯罪分子實施傳統(tǒng)犯罪提供了充分的便利條件,人工智能使得犯罪分子的犯罪手段更為多樣、犯罪技術更為先進,使得犯罪現(xiàn)象增多、犯罪結果更為嚴重,由此帶來的犯罪形勢更為嚴峻。同時進一步的難題在于:司法機關在偵查案件時不但首先要面對一個冷冰冰的機器人主體,在后期偵查案件過程中還需要投入高額成本抓捕在人工智能系統(tǒng)與人工智能機器人幕后使用匿名身份和多個不同線程控制機器人的犯罪分子,但是很有可能這個犯罪分子竟是人工智能系統(tǒng)的機器。這也使得過往以法律行為的行為邏輯認定行為性質在人工智能語境下對法律因果關系的認定變得更加困難。

    三、人工智能行為的溝通

    人工智能的創(chuàng)新性使得法律因果關系如果再固守過去的模式,則難以將人工智能系統(tǒng)的指令行為與機器人行為作為依據(jù)予以調整。而法律因果關系對人工智能行為調整范圍偏離、適應性弱化的局面,其實在于過去法律因果關系在社會發(fā)揮著社會共識既定,產(chǎn)生一種對穩(wěn)定行為的抑制作用。社會學家弗里德里希認為傳統(tǒng)的法律因果關系隨著社會的發(fā)展,會面臨新的社會環(huán)境給社會的共識理論(Consensus Paradigm)帶來挑戰(zhàn)。此時對問題的理性分析就要對新的環(huán)境產(chǎn)生的沖突性(Conflict Paradigm)作出價值整合,通過優(yōu)化整合使共識系統(tǒng)發(fā)展適應性?!?2〕而這種整合,正是以“社會的法律”中法律與社會存在內在關聯(lián)性為基礎。此時,法律內部系統(tǒng)在面臨法律的外部系統(tǒng)——社會環(huán)境的轉變帶來的不同挑戰(zhàn)時,就成為自我指涉型系統(tǒng)(Self-referential systems),即一方面能夠做到系統(tǒng)的自我調整,另一方面又能夠實現(xiàn)對外部系統(tǒng)的溝通與吸收。對此,盧曼進一步指出:“只有法律系統(tǒng)在其范圍內變得復雜,法律系統(tǒng)才能在其范圍內運行、構建、變遷或者突破其舊有結構。當社會環(huán)境和法律系統(tǒng)發(fā)生沖突的時候,可以通過二階觀察重新進入法律系統(tǒng)。它可以在系統(tǒng)內進行復制,從而系統(tǒng)允許出現(xiàn)不穩(wěn)定性,在震蕩之間進行觀察的參考,分別指示系統(tǒng)的外部和內部狀態(tài)?!薄?3〕回歸到人工智能時代的科技風險,這種觀察就是需要對人工智能行為進行“二階觀察”,包括相互觀察(Reciprocal observation)與經(jīng)由組織的溝通(Communication via organisation)兩個層面。簡言之,就是通過認識外部系統(tǒng)中人工智能的外在表征作為“介入點(Intervention points)”,從而得以讓法律內部系統(tǒng)對風險作出有效識別。

    首先,依據(jù)媒介客體不同,可以將人工智能的行為劃分為人工智能系統(tǒng)的指令行為與人工智能的機器人行為。兩者的邏輯關系用最簡單的話講,就是大腦和身體的關系。目前人工智能的基本原理就是通過對人類大腦的智能模擬發(fā)出相關中心指令信息,使人工智能機器人通過接受人工智能系統(tǒng)的中心指令,以機器人作為客體媒介向外界作出一系列的指令行為,從而實現(xiàn)人工智能與人工智能機器人的連串完整行為。人工智能的行為模式與行為邏輯是以對人類大腦的信息模擬為基礎前提,再借助機器人對大量信息進行處理為中介,從而實現(xiàn)機器人對外界完整的特定信息表達的行為。最為常見的是:科學家基于不同程度的人工智能系統(tǒng)實現(xiàn)機器人汽車無人駕駛、軍事無人機應用、人工智能人臉識別、人工智能機器人進行創(chuàng)作、日常生活家居機器人等。此外在刑事犯罪當中,不少犯罪分子可通過人工智能系統(tǒng)的指令行為,操控多個人工智能機器人同時實施網(wǎng)絡詐騙,或者借助人工智能編出新的電腦病毒,從而借助人工智能機器人在網(wǎng)絡予以傳播并進行敲詐勒索。更有甚者,人工智能為網(wǎng)絡犯罪提供了“新的交易場所”。犯罪分子借助人工智能技術,如“區(qū)塊鏈(Blockchain)”技術來創(chuàng)造一個“暗網(wǎng)(Darknet)”交易場所,以“比特幣(BitCoin)”“萊特幣(Litecoin)”“以太幣(ETH)”等電子貨幣來實現(xiàn)犯罪非法收入的交易。此時其法律因果關系可以簡化為:人工智能機器人的行為就是犯罪的身體——“工具”,人工智能系統(tǒng)的指令行為就是犯罪的大腦——“主體”,而操控人工智能的行為人則是犯罪的“靈魂”。

    其次,按人工智能的自我意識能力不同,可以將人工智能劃分為弱人工智能(Artificial Narrow Intelligence)、強人工智能(Artificial General Intelligence)、超人工智能(Artificial Super Intelligence)。目前諸如谷歌AlphaGo等各種人工智能機器人在自我意識能力上屬于弱人工智能的范疇,僅用于解決某些特定的問題,并不具備獨立的自我意識。有論者認為“雖然目前人類將各式各樣的機器人設施應用于他們工作環(huán)境中,如利用機器人進行手術或采用機器人坦克,以提高人類的工作表現(xiàn)和保護人類自身的安全,但是機器人仍然有待于應用在人類與機器人互動的模式之中”?!?4〕因此,不難預測,當人工智能機器人日益廣泛應用于人類生產(chǎn)生活中,那么弱人工智能必然會向更具獨立意識能力和自由行為模式的強人工智能、超人工智能轉型升級。其中,人工智能的系統(tǒng)智能化程度、意識能力程度都是由算法模式所決定的。目前學界對人工智能的算法一方面是充分肯定了基于人工智能算法產(chǎn)生的技術對社會治理存在有益的推動,〔25〕如大數(shù)據(jù)分析、人工智能輔助裁判系統(tǒng)、云計算與數(shù)據(jù)共享存儲等技術應用。但是另一方面卻也存在焦慮,擔心人工智能算法最終會變成法律?!?6〕對此,本文認為存在上述情況是對人工智能的算法認識不足。算法不是法律,算法也并非萬能,我們應當對人工智能的算法理性認識。

    其實依據(jù)不同的人工智能系統(tǒng)算法導向性(Algorithm-Oriented),可以將人工智能的算法劃分為有導向性的算法(Guided Algorithm)、無導向性的算法(Unguided Algorithm)。有導向性的算法是弱人工智能系統(tǒng)的邏輯基礎,在于系統(tǒng)設計者通過讓人工智能機器人利用計算機有目的地窮舉一個問題的部分或所有的可能情況,從而求出問題的解或作出設定的動作?!?7〕一方面,在有導向性的算法當中,是基于回歸算法、聚類算法、神經(jīng)網(wǎng)絡算法等三大類別算法讓人工智能機器人進行深度學習;另一方面,機器人的有導向性學習又分為回歸學習與分類學習兩種,而分類學習當中就包括聚類算法、神經(jīng)網(wǎng)絡算法等多種算法。此外,目前在三大類別的算法內又延伸包括搜索算法、二分查找(Binary Search)、分支界定算法(Branch and Bound)、離散微分算法(Discrete differentiation)、極限流量算法(Maximum flow)、維特比算法(Viterbi algorithm)等多個不同模式的算法。之后在設計有導向性算法的人工智能機器人系統(tǒng)時,通過給予機器人特定的案例進行深度學習,從而引導機器人在算法學習過程中實現(xiàn)導向性動作,表現(xiàn)出明顯的目的性和導向性。這些靠數(shù)據(jù)驅動的算法一方面為人類呈現(xiàn)了一種不受主觀、偏見所影響的未來愿景,但是同時其算法未來受制于學習的有導向的數(shù)據(jù),會導致盡管算法再如何優(yōu)化,也不可避免地把人類的偏見、盲點、無知充斥其中。例如,人工智能系統(tǒng)深度學習數(shù)十個冤假錯案的判決,那么其基于案例數(shù)據(jù)所作出的判決必然也是有罪的“冤案”。又例如,如果人臉識別系統(tǒng)在學習的案例數(shù)據(jù)中大部分是白人皮膚,且案例具有歧視黑人的屬性,那么依據(jù)該案例數(shù)據(jù)進行算法學習的機器人,就不能識別黑人皮膚,帶有了“膚色歧視”的偏見。換言之,人工智能機器人在有導向性的人工智能算法系統(tǒng)指令下,不可避免地會帶有研發(fā)者、生產(chǎn)者和使用者的個人意志思想,存在淪為行為人實施行為的外在工具的可能。

    而與有導向性的算法不同,無導向性的算法是深度學習的算法表現(xiàn)形式,也是強人工智能系統(tǒng)與超人工智能系統(tǒng)的邏輯基礎。然而,盡管機器人可能沒有像人類一樣思考的意識,但是很有可能存在一套機器人獨有的模式讓機器人擁有機器人的意識,機器人因此可以做到各種人類做得到的有意識的事情。同時,有學者提出人工智能的算法模式可能存在機器人不同于人類過往的算法的獨特模式和方法,使得機器人具備機器人自身的獨立意識?!?8〕此時,人工智能系統(tǒng)已具備自我學習、自我推理、自我判斷的完全自我意識與行為能力,不需要按照人類引導的思維模式進行行動,不但能夠依據(jù)系統(tǒng)設置的條件情形去執(zhí)行命令,而且能夠在實際狀況發(fā)生改變的情形下做出相應的調整,從而實現(xiàn)具有自我意識的人工智能機器人的具體法律行為,與人類發(fā)生各種不同的法律關系。人工智能機器人行為與人類行為相比,更具有可替代性、可復制性的無可比擬優(yōu)勢。假設發(fā)生無人駕駛的人工智能機器人汽車基于自身的意識造成交通肇事,或者人工智能網(wǎng)絡機器人基于自身的意識開設網(wǎng)絡賭場,就是人類與機器人在主體間的交互方式發(fā)生顛覆性的改變關系。那么又應當對犯罪主體、犯罪行為及其法律因果關系如何予以認定呢?目前法律對人工智能機器人的民事行為、刑事行為的具體規(guī)定仍是一片空白??梢姺蓛炔肯到y(tǒng)正是因為人工智能系統(tǒng)的指令行為、人工智能機器人的行為與傳統(tǒng)的規(guī)制有所偏離的沖突性,使得難以對人工智能實現(xiàn)法律因果關系的認定。如果是個體的話,法律行為的主體是具備法律行為能力和在法律中能夠采取完全法律行為、限制法律行為能力的行為人;如果從個體與集體角度,還可以劃分為自然人和法人,卻缺乏人工智能機器人的一席之地。甚至有一極端主義的看法認為,“許多國家對法律科學問題是缺乏遠見的,這種法律制度中任何對人工智能的行為主體所作的討論都是沒有意義的。盡管大多數(shù)法律可以發(fā)生改變,但是都是針對某些事情所作出的改變,而這些事情通常是不可預見的事故或不可避免的災難。”〔29〕我們固然不可能也絕不能等到了法律不可控制的嚴重程度再對人工智能的規(guī)定加以改變。但是假若直接對人工智能機器人的設計、制作機器人的人員進行直接問責追責,又會因為缺乏說理性而與社會認同的“技術無責”〔30〕心理認識相矛盾。對此,英國法學家哈特提出由于法律內部系統(tǒng)存在“空缺結構(Open Texture)”的形式,導致對外部系統(tǒng)的新事物、新挑戰(zhàn)產(chǎn)生不確定性所帶來的風險?!?1〕對于法律內部系統(tǒng)與外部系統(tǒng)的溝通而言,“法律規(guī)則的空缺結構與法律的爭議是緊密聯(lián)系的,任何一個司法案件都是以空缺結構的問題為基礎的?!薄?2〕也就是說,正是因為法律內部系統(tǒng)存在“空缺結構”的原因,使得法律因果關系對外部系統(tǒng)——社會環(huán)境在司法實踐中進行合理的自我調整、自我吸納,如法律解釋、法律論理等成為必然。回到人工智能的法律系統(tǒng)溝通中,這種沖突性挑戰(zhàn)使得法律因果關系必須突破過去的理論限制,對人工智能與機器人的行為進行反思與融合。

    四、兩種法律因果關系理論的反思

    目前在法律內部系統(tǒng)中關于法律因果關系的理論,主要有大陸法系的相當因果關系模式與英美法系的可預見標準模式。

    一方面,大陸法系的相當因果關系模式,其邏輯判斷在于當行為對某種結果的發(fā)生具有“相當性”的時候,成立行為與結果之間的法律因果關系?!?3〕所以,相當因果關系的判斷在構造上分成客觀歸因上對行為條件關系的認定,責任歸責上對行為與結果的相當性關系認定。相當因果關系依據(jù)相當性的判斷在不同的立場,可劃為主觀的相當因果關系、客觀的相當因果關系、折中的相當因果關系?!?4〕首先,主觀的相當因果關系主張因果關系的相當性是以行為人在實施行為時候認識或預見到的情況為落腳點進行判斷的,故更側重于行為人自身的特殊認識。然而,法律因果關系是以行為的客觀歸因和責任的歸責兩個構成要素構成的。主觀的相當因果關系不僅將判斷的邏輯基礎局限于行為人自身的特殊認識之中,而且過于強調行為人的主觀認識。回歸到人工智能行為的法律因果關系認定,人工智能系統(tǒng)存在系統(tǒng)的漏洞是可預見的,但是基于系統(tǒng)的漏洞指令機器人實施的行為與后果,就并非當事人可以及時預見,而且系統(tǒng)漏洞的發(fā)現(xiàn)到機器人實施的行為之間具有時空上的間隙,難以直接地對行為人的認識予以理性評估。過于強調行為人的認識而對客觀行為置之不理又難免認定范圍過于狹窄,不可避免地與因果關系的客觀歸因要求相悖,實屬不適。其次,客觀的相當因果關系主張因果關系的相當性判斷邏輯在于理性的一般人對行為人實施行為時候存在的認識與可能預見的情形作出客觀化的判斷,故更強調一般人的普遍性客觀立場。然而,行為人對人工智能的技術認識屬于“科技理性”。與此不同,在司法審判中對人工智能技術的客觀認識屬于“技藝理性”。因此,如果在因果關系判斷中不對行為人的特殊認識予以合理位置,實在過于苛刻。再次,折中的相當因果關系主張在因果關系的相當性的認定上既要充分考慮行為人的特殊認識,又要結合理性的一般人在客觀立場下所能達到的認識與預見性。如果行為人能夠認識到結果的發(fā)生可能性,則可予以法律因果關系認定。如果行為人不能認識、難以預見結果的發(fā)生可能性,則不可予以法律因果關系認定。該觀點看似是做到了兩者兼合,實則在認定路徑上以行為人對實施的行為與造成的結果的特殊認識為落腳點。由此可見,相當因果關系模式的考量重心在于行為人、一般人的認識與預見結果發(fā)生的可能性上,但因為一般人與行為人對人工智能的認識、理解程度存在差距的鴻溝,使得法律因果關系在判斷上顯得有所隨意性,其判斷的標準不僅已然超出法律因果關系的系統(tǒng)內部范圍,而且在法律因果關系的責任歸責的構成要素上變得模糊化。觀照人工智能語境下,人工智能行為的法律因果關系認定不僅存在一般人與行為人對人工智能的技術、原理、現(xiàn)狀的理解和認識存在難以逾越的鴻溝,而且對人工智能系統(tǒng)的指令行為與人工智能的機器人行為構成的人工智能行為在歸責主體的差異性明顯。我們固然不可能對冷冰冰的人工智能機器人進行法律追責,但是要對生產(chǎn)者、銷售者、使用者進行法律因果關系認定的話,該模式下“相當性”的可操作性和可實踐性較低,也變得過于主觀性,其客觀性和說理性被削弱。

    另一方面,在英美法系的可預見性標準模式(Foreseeability)的標準判斷下,一般的損害結果只有在侵權行為具備可預見性的情形范圍內,才能獲得法律的保障,在司法實踐中很少有法院將責任界定擴展至可預見性的風險范圍之外?!?5〕例如,社區(qū)中有只狗眾所周知是惡毒的。如果狗的主人疏于管理,讓狗逃出去咬人,那么其主人對狗咬人的情形是可以預見的,他將承擔無過錯責任,具備法律上的因果關系。而對于狗因為莽撞地絆倒人的情形,狗的主人則不承擔責任,不具備法律上的因果關系,因為狗的主人可預見的風險僅僅在于被咬的風險。因此,可預見性標準模式將法律上因果關系的判斷定位于損害風險是否可以預見上面,然而是否可以預見卻是一個難以準確判斷與適用的問題?;氐饺斯ぶ悄苄袨閱栴}而言,人工智能系統(tǒng)的指令行為、人工智能機器人的行為在技術的操作上具有明確的技術性。使用人工智能的人員在知識背景上差異較大,生產(chǎn)者之間基于不同的算法研究主攻方向也不同,這些專業(yè)技術性強的內容,我們也不可能強求社會的日常大眾可以合理預見,又如何確定一般的合理可預見標準呢?如果說因為行為人修習過人工智能或者理工科背景的知識,那么就將可預見性標準適當提高的話,又會使得法律因果關系在客觀歸因和責任歸責路徑上走向不平等性的歧途,使得普遍性適用降低。另外,人工智能系統(tǒng)與人工智能機器人在操作運行上出現(xiàn)系統(tǒng)漏洞與缺陷,導致人工智能在法律因果關系的客觀歸因和責任歸責上必須考量行為人的故意、過失等主觀認識,又使得可預見性標準與過失認定標準有所交叉重疊,其合理性與適用性存疑。對此,有論者提出可預見性的界定標準實則應該隨著社會的發(fā)展與風險的增加予以合理化發(fā)展,進階展現(xiàn)為理性一般人的可預見性標準。〔36〕簡言之,即如果行為人只知道部分事實而并非全部事實,而一般人如果謹慎留意可以識別全部事實的,即可認為行為人對該事實的全部均可以預見,并處于事實引發(fā)的風險之中。但是,值得注意的是,“大陸法傳統(tǒng)國家對英美法的借鑒,存在一個‘路徑依賴’(Path dependence)及其突破的問題?!薄?7〕換言之,在法律因果關系吸納風險標準模式的制度融合當中存在著路徑依賴,具體表現(xiàn)為制度融合的動力第一次推動后,法律內部系統(tǒng)的制度會進行自我強化、自我完善的選擇,使得日益增加支持者和擁護者,并在此基礎上一環(huán)節(jié)緊扣另一環(huán)節(jié),沿著既有的軌道發(fā)展。

    就法律因果關系學說觀之,雖說過去不少案件在法律的因果關系認定上理由迥異,但是其實法律因果關系理論發(fā)端于理論邏輯上法律行為的客觀歸因及其結果的責任歸責。因此,在法律因果關系的內部系統(tǒng)內,法律因果關系的意義價值在于對外部系統(tǒng)行為的責任成立。兩種法律因果關系模式雖然在判斷邏輯上各有迥異,但本質上都是基于行為人行為所制造的風險,對行為作出的約束,從而判斷行為與結果之間的因果關系。盡管法律因果關系的內部系統(tǒng)在民法領域和刑法領域功能有所分化:刑法的法律因果關系確立在于對行為人的犯罪行為進行定性,從而更好地定罪量刑;而民法的法律因果關系確立在于行為人的侵權行為所產(chǎn)生的賠償責任,而賠償額度則依據(jù)是否懲罰性,在損害范圍之內或損害范圍之外予以衡量。但是從系統(tǒng)整合角度可以發(fā)現(xiàn),其實兩者的內在關聯(lián)性都建立在對行為人的客觀行為進行歸因基礎上,進一步對其法律責任成立進行責任范圍的限制——即肯定性或否定性的評價。因此,觀照人工智能時代,面對人工智能在系統(tǒng)與機器人之間行為的創(chuàng)新性挑戰(zhàn),從法律系統(tǒng)范圍內客觀歸因和結果歸責的兩個不同層次審度人工智能系統(tǒng)的指令行為、人工智能機器人的行為,就是要整合人工智能的相關行為在法律因果關系的偏離性,使法律因果關系回歸新的人工智能社會環(huán)境下對其行為的調整適應性。

    五、人工智能行為的法律因果關系認定

    “法律必須把它的一部分歸于過去、歸于現(xiàn)在,并且要預見到它將來的存在?!薄?8〕如上所述,盧曼在系統(tǒng)論中釋明法律的自生性就在于法律通過“二階觀察”外部系統(tǒng)后,可以自覺作出區(qū)分內外系統(tǒng),并對外部系統(tǒng)的特征做出有意識地選擇,使得有益因素成為內部系統(tǒng)的組成部分,更好地維持系統(tǒng)的強化功能。所以,盧曼非??粗胤蓛炔肯到y(tǒng)必須與外部系統(tǒng)積極溝通融合,以保證自身的存在正當性。因為一旦法律內部系統(tǒng)與外部系統(tǒng)無法進行有效持續(xù)地溝通的時候,法律內部系統(tǒng)就會面臨自身持存的更大問題。其中,溝通在盧曼的內部系統(tǒng)與外部系統(tǒng)理論中是指社會系統(tǒng)中基本的自我指涉過程內的運作單元,并以此區(qū)別于傳統(tǒng)的社會行動理論。法律內部系統(tǒng)與外部系統(tǒng)進行溝通,是溝通對外部系統(tǒng)的理解、對環(huán)境釋義分析的溝通,以及內部系統(tǒng)對外部系統(tǒng)通過信息、活動和理解的綜合體。對于法律內部系統(tǒng)的封閉性和外部系統(tǒng)的開放性特征,盧曼進一步指出兩者在溝通的意義下是辯證統(tǒng)一的?!白鳛榛谝饬x的溝通系統(tǒng),既是封閉的系統(tǒng),又是開放的系統(tǒng),它們通過封閉性而達到開放性。”〔39〕因此,內外系統(tǒng)的融合包括時間層面和社會層面。在時間層面,出于法律內部系統(tǒng)的封閉性,法律通過對外部系統(tǒng)的風險作出法律性質的評價,以降低時間的流動性,達到對未來的合理預期。人們借助法律內部系統(tǒng)的合理預期,區(qū)分出外部系統(tǒng)的行為合法性與非法性界限。在社會層面,出于外部系統(tǒng)的開放性,法律故僅存在于評價為非法的行為當中,進而對非法行為予以法律手段的治理規(guī)制。人們透過法律內部系統(tǒng)來觀察自身置之于外部系統(tǒng)的行為,可以體驗自身非法行為的風險性與法益侵害性、社會危害性,從而改變自身行為,實現(xiàn)法律內外系統(tǒng)的融合,成為零風險的系統(tǒng)結構。

    “作為理性化的產(chǎn)物,風險本身應當被視為是現(xiàn)代社會發(fā)展的正常現(xiàn)象?!薄?0〕人工智能時代,人工智能系統(tǒng)的指令行為、人工智能的機器人行為均帶來不確定性與風險性,其法律因果關系判斷模式應當直面人工智能帶來的風險。而在法律因果關系中,風險標準模式(Risk Standard Theory)源于英美法系,其判斷邏輯在于“行為人的責任限于產(chǎn)生于那些使行為人具有侵權性(Tortious)的風險的有形損害”。〔41〕因此,風險標準的歸責基礎就是對風險是否存在進行認定:如果因為行為人的行為制造或帶來風險,且在該風險下行為人造成的結果是具有一般性的,則可對行為人的行為與結果進行法律因果關系認定。而且風險標準模式在法律的因果關系判斷上包含著限制性與擴展性兩個特征。其一,其限制性在于風險標準將恢復局限于處于風險范圍內的損害,同時將這一原則建立在過失相對性基礎之上。其二,其擴展性在于將發(fā)生在危險范圍內的損害招致責任的情況下放棄了因果關系標準,也就是強調行為人要對處在風險范圍內的損害負責?!?2〕此外,這對于法律內部系統(tǒng)在外部系統(tǒng)的融合中,在面對人工智能行為的法律因果關系內部系統(tǒng)時必須不能被過去的理論所束縛,相反,應當充分結合外部系統(tǒng)中人工智能系統(tǒng)的指令行為、人工智能的機器人行為的特征作出考量,對其所制造或帶來的風險是否可歸因與歸責的事實認定與價值判斷,提供一個合理的、可預期的標準及充分的理由。其中包括了以人工智能行為的作為、不作為為構成要素的模式與風險標準的例外。

    就人工智能行為法律因果關系構成要素的模式而言,人工智能行為依據(jù)行為的類型不同,可以劃分為作為行為與不作為行為,而判斷其因果關系的標準就在于行為風險的關聯(lián)性。一方面,在作為層面,表現(xiàn)為行為主體利用有導向性的人工智能算法系統(tǒng)以及人工智能機器人實施相關的行為。首先,對于行為人操控人工智能系統(tǒng)的指令行為、利用人工智能機器人行為的作為行為,具有風險的關聯(lián)性,可以認定行為人在人工智能行為的法律因果關系。例如,2017年就發(fā)生了全國首例作為地利用AI人工智能犯罪的案件?!?3〕此案犯罪團伙共計159人,包括研發(fā)者、運營者、使用者。彼此間分工明確,研發(fā)者以結合人工智能的深度學習框架與神經(jīng)網(wǎng)絡算法系統(tǒng),與運營者共同將人工智能機器人的ORC識別技術應用在全國多個省份,非法獲取他人的信用卡賬戶信息、網(wǎng)站數(shù)據(jù),盜取巨款,同時進行相關的網(wǎng)絡詐騙。在此案中,犯罪分子運用的是有導向的人工智能算法系統(tǒng)以及人工智能的機器人與技術實施相關犯罪行為。而行為人的行為與人工智能系統(tǒng)的指令行為、人工智能的機器人行為法律因果關系可以簡化為“工具”“主體”與“靈魂”的關系,并且有導向性的人工智能算法模式帶有行為人的內在意志。行為主體共同故意通過人工智能算法系統(tǒng)與機器人設備實施積極的犯罪作為行為,行為性質極其惡劣,風險范圍極大。因為行為人操作人工智能系統(tǒng)、人工智能機器人的行為是行為人主動地將自己置于法律風險之中,且對該風險帶來的結果具有一定的可預見性,此時行為人的行為在人工智能系統(tǒng)的指令行為、機器人行為之間具有直接的風險關聯(lián)性。所以在此判斷中可以揭穿人工智能系統(tǒng)、人工智能機器人的假面,直接認定行為人就是人工智能行為的主體,而人工智能系統(tǒng)、人工智能機器人則是主體的“工具”。其次,在民事活動中基于有導向性算法或無導向性算法的人工智能系統(tǒng)、人工智能機器人產(chǎn)生的民事行為,盡管具有外觀上的主體差異性、行動多重性、媒介客體的可替代性等特點,但是基于行為人是通過積極的作為行為,操控人工智能系統(tǒng)、利用人工智能機器人設備等實施民事侵權行為,帶來的后果不僅損害了國家、社會和個人的合法利益,而且破壞了社會的正常管理秩序,自然是行為人通過行為將自身置于法律不允許的風險范圍之中,應當為此承擔法律責任。再次,在刑事犯罪中,行為人的作為行為表現(xiàn)在操控人工智能系統(tǒng)、利用人工智能機器人的行為實施科技犯罪與傳統(tǒng)犯罪。例如,其一,行為人通過開發(fā)了人工智能的算法系統(tǒng)去自動攻擊他人電腦系統(tǒng)功能,以此敲詐勒索,謀取非法利益。其二,行為人通過人工智能與機器人來竊取他人銀行賬號信息,或者破解儲戶信用卡密碼,從而非法占有他人財產(chǎn)。其三,行為人通過購買人工智能系統(tǒng),在網(wǎng)絡上自動開設賭場與經(jīng)營賭場,獲得大量非法利益,嚴重破壞社會的正常管理秩序。此時行為人借助人工智能技術實施的犯罪所引發(fā)的風險性、法益侵害性與社會危害性不可估量,自然具有直接的風險關聯(lián)性,可以予以認定法律因果關系,要求行為人承擔法律責任。另一方面,在不作為層面,表現(xiàn)為行為主體對有導向性的人工智能算法系統(tǒng)以及人工智能機器人不履行要求的行為。而認定行為人在人工智能行為中的不作為行為具有法律因果關系,理由是基于人工智能系統(tǒng)中算法模式的“漏洞(Bug)”引發(fā)風險性、法益侵害性與社會危害性。因為在作為層面,行為人出于行為的故意,對行為引發(fā)的風險必然是可預見、可認識的。但是與之不同,在不作為層面,行為人可以是行為的故意、行為的過失或行為的意外,此時對行為引發(fā)的風險未必能預見。所以在法律因果關系判斷上,其風險標準的邏輯即在于行為人在不作為時對風險的認識可能性。不作為的風險認識可能性又可以劃分為積極不作為與消極不作為的認識可能性。其一,在積極不作為的風險認識可能性中,積極不作為是處于故意的意思表示,此時行為人對不作為引發(fā)的風險明顯可預見,不存在認識的障礙,故應當予以行為人在人工智能行為中法律因果關系的直接認定。例如,行為人明知人工智能系統(tǒng)、人工智能機器人存在漏洞,卻不予以行動防止風險的發(fā)生,反而使得人工智能系統(tǒng)、人工智能機器人帶來損害結果,引發(fā)風險性、法益侵害性與社會危害性,自然應當承擔法律責任。其二,在消極不作為的風險認識可能性中,消極不作為是處于過失的意思表示,其不作為義務來源實質是要求行為人對該風險具備作為義務、注意義務,且引發(fā)的風險是可以避免的。此時風險標準僅局限于認識到的風險范圍以內,對超出風險范圍不可認識的風險不予認定法律因果關系,不承擔法律責任。例如,對于有導向性算法的人工智能系統(tǒng)、人工智能機器人,其一,行為人應當預見其可能存在致人損害的風險,但是卻沒有預見,更將其置于路邊且不設置明顯標志與安全防護舉措,造成損害結果的,則應當認定行為人與損害結果之間具有法律上的因果關系,承擔相應的法律責任。其二,行為人基于職務或者業(yè)務的要求,負有特定的安全保障作為義務與注意義務,如生產(chǎn)者在研發(fā)完成算法系統(tǒng)后,負有對人工智能系統(tǒng)的漏洞檢查修正、人工智能機器人檢測維修義務,但是生產(chǎn)者對此消極不作為,使得人工智能系統(tǒng)操作失靈、人工智能機器人出錯而造成損害結果的,則應當判斷生產(chǎn)者具備法律因果關系,承擔相關法律責任。又如運營者與銷售者在運營人工智能聯(lián)網(wǎng)汽車、無人機等機械設備時候,應當對其系統(tǒng)與設備及時維護維修,如果因為運營者與銷售者對此消極不作為,使得造成損害結果的,則應當判斷運營者與銷售者具備法律因果關系,承擔相關法律責任。

    就風險標準的例外而言,風險標準的例外就是對在無導向性的人工智能算法系統(tǒng)以及人工智能機器人不作為的行為進行法律因果關系認定。我國目前法律制度規(guī)定的自然人、法人、非法人組織三種主體在人工智能行為中應該予以明確。因為從目前人工智能的發(fā)展趨勢上看,自然人、法人、非法人組織將會是并將長期會是人工智能行為中法律因果關系的主體核心部分。然而,對于具有獨立意識的人工智能行為,是否應當給予獨立的法律地位,存有爭議。2016年歐盟法律事務委員會提起一份議案,提議將無導向性的人工智能系統(tǒng)、機器人定位為“電子人(Electronic persons)”〔44〕的法律主體地位。對此,我們認為該提議值得商榷。因為無導向性算法的人工智能系統(tǒng)、人工智能機器人并未真正面世,一切僅處于科學界的理論探討當中,是否應當給予獨立的法律地位需要考量實際產(chǎn)生的風險性、法益侵害性與社會危害性,且法律具有滯后性,現(xiàn)在直接給予法律主體地位實在言之尚早。相反,我們應當更關注行為人在該行為當中的風險承擔。

    對于無導向性算法的人工智能系統(tǒng)、人工智能機器人而言,由于此時行為人的消極不作為所能夠制造與帶來的風險性更大,所以對于行為人的風險性要求與風險范圍必須予以擴展。例如,美國就有規(guī)定:“任何人不論是過失還是非過失地造成了某種‘危險狀況’(Creating a Dangerous Situation),都必須采取適當?shù)难a救措施以防止損害發(fā)生?!薄?5〕此時風險標準在于將發(fā)生在危險范圍內的損害招致責任的情況下放棄了因果關系標準。其實現(xiàn)今“隨著企業(yè)社會責任(CSR)在全球商業(yè)環(huán)境中的日益突出,對企業(yè)責任的策略性和主動性的要求界限正在不斷擴大”,〔46〕置之于人工智能的生產(chǎn)、研發(fā)、銷售法人,更應該對人工智能系統(tǒng)、人工智能機器人等在法律責任上予以風險范圍的擴展。其理由就在于行為人與一般人對人工智能行為引發(fā)的風險可能性認識上存在差別。如上所言,行為人對人工智能的技術認識屬于“科技理性”,而審判時候對人工智能技術的客觀認識屬于“技藝理性”,自然基于專業(yè)知識不同帶來的信息不對稱,而對風險的認識也不一樣。所以在法律因果關系認定中,除非行為人對消極不作為在風險認識存在合理理由的抗辯,如就目前技術發(fā)展水平而言不可預見,或者特定情景下行為人只具有一般人對風險的認識程度,否則應當認定具有法律因果關系,承擔相應的法律責任。例如,目前針對人工智能無人駕駛汽車存在的風險性,國家和各地城市先后出臺了《智能網(wǎng)聯(lián)汽車道路測試管理規(guī)范》《北京市自動駕駛車輛道路測試管理實施細則》《上海市智能網(wǎng)聯(lián)汽車道路測試管理辦法》《廣州市智能網(wǎng)聯(lián)汽車道路測試指導意見》等文件,里面均規(guī)定人工智能汽車的風險控制在于測試,也即對于測試駕駛員管理、事故防范、事故處理、運行過程中的監(jiān)控,都由測試企業(yè)承擔主體責任。誠然,在認識和實踐層面,具備人工智能專業(yè)技術知識的人比一般人更具有操控人工智能系統(tǒng)、利用人工智能機器人實施相關行為的風險性,所以其風險認識的一般標準在落腳點上自然更傾向于專業(yè)知識的自然人、法人、非法人組織。由此再基于不同責任的承擔形式明確法律因果關系中責任的界限,厘清生產(chǎn)者、運營者與銷售者、使用者的單獨責任、共同責任還是連帶責任。

    當然,對人工智能的認識上存在的行為人與一般人認識差距帶來的審判司法難題,則屬于法律因果關系認定外的范疇。我們認為,可以通過整合社會力量,以設立人工智能技術的專業(yè)社會組織,聚集人工智能技術的專家、志愿者,為司法機關在審判中作出技術的評估與可預見性評判的報告,以此更好地促進解決人工智能的法律責任歸結中對人工智能技術的認識理解難題。

    六、結 論

    面對人工智能技術、科學技術不斷迅速發(fā)展的現(xiàn)代社會,法律不再被動地隨社會變化而變化。相反,“法律跟隨社會變遷并適應它,并扮演著一個很重要的角色。”〔47〕因此,本文的意義不僅在于人工智能行為的法律因果關系認定問題本身,而且更在于揭示面對人工智能的外部系統(tǒng)風險帶來對法律內部系統(tǒng)的沖擊、挑戰(zhàn)的時候,法律系統(tǒng)應該選擇什么樣的路徑去適應、變遷的問題。盧曼系統(tǒng)論為該問題提供了冷靜客觀的理論視角,通過對外部系統(tǒng)的特征觀察與溝通:以人工智能系統(tǒng)的指令行為、人工智能的機器人行為與有導向性算法的人工智能行為、無導向性算法的人工智能行為作為切入點;通過對內部系統(tǒng)中相當因果關系理論、可預見性標準理論不足的反思;通過融合來構建以現(xiàn)行法律系統(tǒng)為基礎的系統(tǒng)模式來適應人工智能的挑戰(zhàn)。因此,解決人工智能技術、科學技術迅速發(fā)展中外部風險帶來的迷思,歸根于法律制度的內部系統(tǒng)實現(xiàn)封閉性與開放性的有機統(tǒng)一,以回應社會的焦慮情緒,推動人工智能的發(fā)展治理與規(guī)制的決策發(fā)展。人工智能行為的法律因果關系適用于風險標準,可在人工智能語境下從人工智能行為的風險作為、風險不作為以及風險標準的例外,實現(xiàn)對人工智能行為法律因果關系的認定,進而實現(xiàn)行為歸因與歸責。

    注釋:

    〔1〕〔英〕查爾斯·狄更斯:《A Tale of Two Cities》,北京:北京聯(lián)合出版公司,2015年,第3頁。

    〔2〕參見孟珂:《擁抱第四次工業(yè)革命 中國準備好了嗎?》,《人民日報·海外版》2016年7月4日,第11版。

    〔3〕習近平:《決勝全面建成小康社會 奪取新時代中國特色社會主義偉大勝利》,《人民日報》2017年10月28日,第1-5版。

    〔4〕張夢然:《霍金憂心人工智能取代人類》,《科技日報》2017年11月7日,第1版。

    〔5〕鄖彥輝:《數(shù)字利維坦:信息社會的新型危機》,《中共中央黨校學報》2015年第3期。

    〔6〕國務院:《國務院關于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》,《中華人民共和國國務院公報》2017年第22期。

    〔7〕對于人工智能法律風險問題,可參見如Sergio Ferraz,Victor Del Nero:《人工智能倫理與法律風險的探析》,《科技與法律》2018年第1期;馬長山:《人工智能的社會風險及其法律規(guī)制》,《法律科學(西北政法大學學報)》2018年第6期。而對于人工智能機器人法律主體與責任問題,可參見如袁曾:《人工智能有限法律人格審視》,《東方法學》2017年第5期;劉憲權、胡荷佳:《論人工智能時代智能機器人的刑事責任能力》,《法學》2018年第1期。

    〔8〕宏觀化視角的研究,可參見如范忠信:《人工智能法理困惑的保守主義思考》,《探索與爭鳴》2018年第9期;吳漢東:《人工智能時代的制度安排與法律規(guī)制》,《法律科學(西北政法大學學報)》2017年第5期。

    〔9〕參見陳景輝:《人工智能的法律挑戰(zhàn): 應該從哪里開始?》,《比較法研究》2018年第5期。

    〔10〕〔英〕芭芭拉·亞當、烏爾里希·貝克、約斯特·房·龍:《風險社會及其超越》,趙延東、馬纓等譯,北京:北京出版社,2005年,第7頁。

    〔11〕〔德〕烏爾里?!へ惪耍骸讹L險社會:新的現(xiàn)代性之路》,張文杰、何博聞譯,南京:譯林出版社,2004年,第20頁。

    〔12〕〔美〕阿里夫·德里克:《全球現(xiàn)代性——全球資本主義時代的現(xiàn)代性》,〔美〕阿里夫·德里克:《全球現(xiàn)代性之窗:社會科學文集》,連煦、張文博、楊德愛等譯,北京:知識產(chǎn)權出版社,2013年,第24頁。

    〔13〕彭飛榮:《風險與法律的互動:盧曼系統(tǒng)論的視角》,北京:法律出版社,2018年,第94頁。

    〔14〕〔德〕盧曼:《社會的法律》,鄭伊倩譯,北京:人民出版社,2009年,第70-71頁。

    〔15〕參見劉憲權:《人工智能時代刑事責任與刑罰體系的重構》,《政治與法律》2018年第3期。

    〔16〕參見賈開、蔣余浩:《人工智能治理的三個基本問題:技術邏輯、風險挑戰(zhàn)與公共政策選擇》,《中國行政管理》2017年第10期。

    〔17〕參見馬治國、田小楚:《論人工智能體刑法適用之可能性》,《華中科技大學學報(社會科學版)》2018年第2期。

    〔18〕孫曉東、曾勉:《法律因果關系研究》,北京:知識產(chǎn)權出版社,2010年,第12頁。

    〔19〕竇海陽:《論法律行為的概念》,北京:社會科學文獻出版社,2013年,第34頁。

    〔20〕芮沐:《民法法律行為理論之全部》,臺北:三民書局,2002年,第73頁。

    〔21〕人工智能由于理論的復雜性、技術的前沿性,目前在理論上如何對人工智能作出明確的定義存在較大爭議。但是對于人工智能的概念定義,不影響人工智能的技術發(fā)展、設備應用與進行相關的研究。參見蔡自興、劉麗鈺、蔡競峰、陳白帆:《人工智能及其應用》,北京:清華大學出版社,2016年,第2-3頁;參見袁飛、蔣一鳴編著:《人工智能:從科幻中復活的機器人革命》,北京:中國鐵道出版社,2018年,第31-49頁。

    〔22〕參見Eckberg, Douglas Lee, and L. Hill,“The Paradigm Concept and Sociology: A Critical Review”,American Sociological Review,44.6(1979),pp.925-937。

    〔23〕Luhmann, Niklas,“Globalization or World society: How to conceive of modern society?”,International Review of Sociology,7.1(1997),pp.67-79.

    〔24〕Ashrafian, H.,“AIonAI: A Humanitarian Law of Artificial Intelligence and Robotics”,Science & Engineering Ethics,21.1(2015),pp.29-40.

    〔25〕參見左衛(wèi)民:《邁向大數(shù)據(jù)法律研究》,《法學研究》2018年第4期。

    〔26〕參見Justice in robes,Belknap Press of Harvard University Press,2006。

    〔27〕參見王永建、鐵小輝、董真、陳偉東:《一種人工智能搜索算法的改進研究》,《通信技術》2017年第2期;王蘊韜:《人工智能算法梳理及解析》,《信息通信技術》2018年第1期。

    〔28〕參見Dennett,Daniel C.,et al.,“The Practical Requirements for Making a Conscious Robot 〔and Discussion〕”,Philosophical Transactions of the Royal Society A-Mathematical Physical and Engineering Sciences,349.1689(1994),pp.133-146。

    〔29〕Muzyka, Kamil,“The Outline of Personhood Law Regarding Artificial Intelligences and Emulated Human Entities”,Journal of Artificial General Intelligence,4.3(2013),pp.164-169.

    〔30〕技術無責是指如果行為人研發(fā)、銷售的產(chǎn)品技術可能被廣泛應用于合法的、不受爭議的用途,就不能僅僅因為該產(chǎn)品技術被其他用戶所利用來實施侵權與犯罪行為就推定行為人具有幫助的意圖并承擔責任。目前在美國、日本的最高法院均有認可技術無罪觀點的司法判決。詳可參見黃旭巍:《快播侵權案與技術無罪論》,《中國出版》2016年第23期;劉艷紅:《網(wǎng)絡中立幫助行為可罰性的流變及批判——以德日的理論和實務為比較基準》,《法學評論》2016年第5期。

    〔31〕參見H.L.Hart,The Concept of Law,Oxford:At the Clarendon Press,1961,p.124。

    〔32〕Kearns, Thomas R,“Open Texture and Judicial Law-Making”,Social Theory & Practice, 2.2(1972),pp.177-187.

    〔33〕參見葉金強:《相當因果關系理論的展開》,《中國法學》2008年第1期。

    〔34〕劉海安:《法律上因果關系的反思與重構》,《華東政法大學學報》2010年第4期。

    〔35〕〔36〕參見Seavey,and A.Warren. Mr.Justice Cardozo and the Law of Torts.Yale L.j 3(1939),pp.387,387-389。

    〔37〕于雪鋒:《侵權法可預見性規(guī)則研究——以法律因果關系為視角》,北京:北京大學出版社,2017年,第94-95頁。

    〔38〕Nobles, Richard, and D. Schiff,“Luhmann: Law, Justice, and Time”,International Journal for the Semiotics of Law - Revue internationale de Sémiotique juridique, 27.2(2014),pp.325-340.

    〔39〕〔德〕盧曼:《社會、意義、宗教——以自我指涉為基礎》,〔德〕盧曼:《宗教教義與社會演化》,劉鋒、李秋零譯,北京:中國人民大學出版社,2003年,第7頁。

    〔40〕勞東燕:《風險分配與刑法歸責:因果關系理論的反思》,《政法論壇》2010年第6期。

    〔41〕See A Restatement(Thrid) of Torts:Liability for Physical Harm,s.29.轉引自劉海安:《法律上因果關系的反思與重構》,《華東政法大學學報》2010年第4期。

    〔42〕〔美〕哈特、〔美〕奧諾爾:《法律中的因果關系》(第二版),張紹謙、孫戰(zhàn)國譯,北京:中國政法大學出版社,2005年,第257-258頁。

    〔43〕參見劉甦:《“人工智能”違法?犯罪主體依然是人!》,《新民晚報》2017年12月26日,第19版。

    〔44〕參見Lewontin, Max,“Should Robot Workers Be Considered ‘Electronic Persons’? ”,The Christian Science Monitor,〔Boston, Mass〕23 June 2016。

    〔45〕〔美〕文森特·R.約翰遜:《美國侵權法》(第五版),趙秀文等譯,北京:中國人民大學出版社,2017年,第118頁。

    〔46〕Jooyoung Park,Nohora Díaz-Posada,Santiago Mejía-Dugand,“Challenges in implementing the extended producer responsibility in an emerging economy: The end-of-life tire management in Colombia”,Journal of Cleaner Production,189,2018,pp.754-762.

    〔47〕Stephen Brickey, Elizabeth Comack,The social basis of law: Critical readings in the sociology of law,Garamond Publication,1986,p.8.

    猜你喜歡
    因果關系行為人機器人
    什么是侵權責任中的過錯責任
    自殺案件如何定罪
    新傳奇(2022年23期)2022-06-18 17:55:47
    玩忽職守型瀆職罪中嚴重不負責任與重大損害后果的因果關系
    南大法學(2021年6期)2021-04-19 12:28:02
    論過失犯中注意義務的判斷標準
    法制博覽(2019年36期)2019-12-14 06:00:45
    做完形填空題,需考慮的邏輯關系
    幫助犯因果關系芻議
    論故意不法先前行為人的作為義務
    刑法論叢(2016年3期)2016-06-01 12:15:17
    機器人來幫你
    認識機器人
    機器人來啦
    国精品久久久久久国模美| 亚洲熟女精品中文字幕| 69av精品久久久久久 | 国产成人一区二区三区免费视频网站| 久久久久国内视频| 久久中文字幕一级| 亚洲av美国av| 免费少妇av软件| 一个人免费看片子| 无遮挡黄片免费观看| 国产一区有黄有色的免费视频| 欧美在线黄色| av欧美777| 美女高潮喷水抽搐中文字幕| 日韩人妻精品一区2区三区| 99热网站在线观看| 免费一级毛片在线播放高清视频 | 日本av免费视频播放| 国产亚洲午夜精品一区二区久久| 午夜激情av网站| 精品亚洲成a人片在线观看| 捣出白浆h1v1| 国产成人影院久久av| 国产97色在线日韩免费| 婷婷丁香在线五月| 久久久精品国产亚洲av高清涩受| 91成年电影在线观看| 80岁老熟妇乱子伦牲交| 亚洲男人天堂网一区| 久久久欧美国产精品| 视频区欧美日本亚洲| 中文字幕另类日韩欧美亚洲嫩草| 国产有黄有色有爽视频| 视频区欧美日本亚洲| 天天添夜夜摸| 国产精品一区二区在线观看99| 国产精品自产拍在线观看55亚洲 | 日韩欧美免费精品| 18禁美女被吸乳视频| 母亲3免费完整高清在线观看| 国产免费福利视频在线观看| 国产一区二区三区综合在线观看| 国产精品香港三级国产av潘金莲| 18禁观看日本| 亚洲成人免费电影在线观看| 成人影院久久| 黑人欧美特级aaaaaa片| 日韩大码丰满熟妇| 女同久久另类99精品国产91| 首页视频小说图片口味搜索| 啦啦啦 在线观看视频| 午夜两性在线视频| 一区二区三区国产精品乱码| 777米奇影视久久| 国产男女超爽视频在线观看| 狠狠精品人妻久久久久久综合| 黑人猛操日本美女一级片| 精品福利永久在线观看| 啦啦啦免费观看视频1| 又黄又粗又硬又大视频| 久久精品亚洲av国产电影网| 99精品欧美一区二区三区四区| 亚洲少妇的诱惑av| 中文亚洲av片在线观看爽 | 高清在线国产一区| 成年人黄色毛片网站| 男女之事视频高清在线观看| 精品少妇黑人巨大在线播放| 精品一品国产午夜福利视频| 亚洲专区中文字幕在线| 五月天丁香电影| 精品卡一卡二卡四卡免费| 国产成人啪精品午夜网站| 久久久久久亚洲精品国产蜜桃av| 亚洲人成电影观看| 精品免费久久久久久久清纯 | 精品视频人人做人人爽| 涩涩av久久男人的天堂| 不卡一级毛片| 国产亚洲av高清不卡| 在线 av 中文字幕| 亚洲国产欧美网| 亚洲色图综合在线观看| 色尼玛亚洲综合影院| 菩萨蛮人人尽说江南好唐韦庄| 一区二区三区精品91| cao死你这个sao货| av有码第一页| 久久亚洲精品不卡| 自线自在国产av| 国产成人欧美| 久热爱精品视频在线9| 50天的宝宝边吃奶边哭怎么回事| 午夜老司机福利片| 51午夜福利影视在线观看| 91精品三级在线观看| 日韩 欧美 亚洲 中文字幕| 精品国产亚洲在线| 亚洲中文日韩欧美视频| 亚洲国产中文字幕在线视频| 69精品国产乱码久久久| 午夜福利一区二区在线看| 美女高潮喷水抽搐中文字幕| 欧美日韩av久久| 免费在线观看黄色视频的| 欧美黑人欧美精品刺激| 亚洲精品中文字幕在线视频| 国产精品一区二区在线不卡| 黄色视频不卡| 在线观看66精品国产| 久久久久国产一级毛片高清牌| 中文字幕人妻熟女乱码| 久久免费观看电影| 一夜夜www| 香蕉丝袜av| 成人免费观看视频高清| 捣出白浆h1v1| 亚洲,欧美精品.| av在线播放免费不卡| www.自偷自拍.com| 日本黄色视频三级网站网址 | 国产精品一区二区在线不卡| 91麻豆av在线| 99热国产这里只有精品6| 国产精品偷伦视频观看了| 人成视频在线观看免费观看| 亚洲国产精品一区二区三区在线| 大陆偷拍与自拍| 久久久水蜜桃国产精品网| 一区二区日韩欧美中文字幕| 国产又色又爽无遮挡免费看| 97在线人人人人妻| 国产男靠女视频免费网站| 日韩制服丝袜自拍偷拍| 中文字幕制服av| 在线亚洲精品国产二区图片欧美| 亚洲精品中文字幕在线视频| 欧美日韩av久久| 一二三四在线观看免费中文在| 久久久久网色| 色婷婷久久久亚洲欧美| 热99国产精品久久久久久7| 又黄又粗又硬又大视频| 一本综合久久免费| 搡老熟女国产l中国老女人| 99久久99久久久精品蜜桃| 亚洲午夜理论影院| 国产免费视频播放在线视频| 国产精品电影一区二区三区 | 午夜免费鲁丝| 99久久99久久久精品蜜桃| 曰老女人黄片| 丰满饥渴人妻一区二区三| 亚洲少妇的诱惑av| av欧美777| 国产av一区二区精品久久| 热99久久久久精品小说推荐| 亚洲精品一二三| 国产伦理片在线播放av一区| 久热这里只有精品99| 一区二区三区激情视频| 精品国产乱子伦一区二区三区| 午夜精品久久久久久毛片777| 90打野战视频偷拍视频| 18禁国产床啪视频网站| 亚洲国产成人一精品久久久| 在线观看免费高清a一片| 国产单亲对白刺激| 亚洲av欧美aⅴ国产| 精品少妇黑人巨大在线播放| tube8黄色片| 黄色成人免费大全| 大型av网站在线播放| 超碰97精品在线观看| 黄色毛片三级朝国网站| 午夜福利视频精品| 精品卡一卡二卡四卡免费| 免费在线观看视频国产中文字幕亚洲| 咕卡用的链子| 国产精品国产高清国产av | 欧美国产精品va在线观看不卡| 岛国在线观看网站| 麻豆成人av在线观看| 热re99久久精品国产66热6| 久久久久久久大尺度免费视频| 狠狠精品人妻久久久久久综合| 精品亚洲成国产av| 成在线人永久免费视频| 又大又爽又粗| 欧美日韩福利视频一区二区| av片东京热男人的天堂| 成人三级做爰电影| 考比视频在线观看| 久久亚洲精品不卡| 国产欧美亚洲国产| 国产精品.久久久| 免费观看av网站的网址| 中国美女看黄片| 别揉我奶头~嗯~啊~动态视频| 中文字幕人妻熟女乱码| 国产精品久久电影中文字幕 | 丰满人妻熟妇乱又伦精品不卡| 国产精品久久久久成人av| 日韩免费av在线播放| 他把我摸到了高潮在线观看 | 超碰成人久久| 欧美成人午夜精品| 午夜视频精品福利| 国产精品麻豆人妻色哟哟久久| 热99久久久久精品小说推荐| av有码第一页| 桃红色精品国产亚洲av| 亚洲一卡2卡3卡4卡5卡精品中文| 18禁黄网站禁片午夜丰满| 欧美另类亚洲清纯唯美| 50天的宝宝边吃奶边哭怎么回事| 在线观看舔阴道视频| 色老头精品视频在线观看| 动漫黄色视频在线观看| 新久久久久国产一级毛片| 国产欧美日韩一区二区三| 午夜福利免费观看在线| 天天操日日干夜夜撸| 后天国语完整版免费观看| 国产精品亚洲av一区麻豆| 国产片内射在线| 99久久99久久久精品蜜桃| 精品福利观看| 伊人久久大香线蕉亚洲五| 一区福利在线观看| 亚洲精品美女久久av网站| 亚洲九九香蕉| 十八禁人妻一区二区| 一本色道久久久久久精品综合| 免费av中文字幕在线| 国产成人精品久久二区二区免费| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av成人不卡在线观看播放网| 国产真人三级小视频在线观看| 国产在线视频一区二区| 老鸭窝网址在线观看| 国产欧美日韩综合在线一区二区| 国产男女内射视频| 国产免费视频播放在线视频| 亚洲色图av天堂| 久久久久久人人人人人| 国产又色又爽无遮挡免费看| 99在线人妻在线中文字幕 | 亚洲精品粉嫩美女一区| 国产成人精品无人区| 国产成人av教育| 最新美女视频免费是黄的| 丝袜美足系列| 九色亚洲精品在线播放| 99久久人妻综合| 亚洲成人国产一区在线观看| 国产av精品麻豆| 青草久久国产| av网站在线播放免费| 久久国产亚洲av麻豆专区| 亚洲欧美精品综合一区二区三区| 大型黄色视频在线免费观看| 俄罗斯特黄特色一大片| 51午夜福利影视在线观看| 69精品国产乱码久久久| 国产成人啪精品午夜网站| 真人做人爱边吃奶动态| 777久久人妻少妇嫩草av网站| av线在线观看网站| 国产伦理片在线播放av一区| 男女免费视频国产| 性少妇av在线| 天天躁日日躁夜夜躁夜夜| 国产精品久久久av美女十八| 亚洲av欧美aⅴ国产| 91大片在线观看| 久久婷婷成人综合色麻豆| 欧美日韩中文字幕国产精品一区二区三区 | 久久人人97超碰香蕉20202| 久久国产精品大桥未久av| 日本wwww免费看| 久久 成人 亚洲| www.自偷自拍.com| 天天添夜夜摸| 操美女的视频在线观看| 亚洲色图综合在线观看| 亚洲中文字幕日韩| 久久毛片免费看一区二区三区| 亚洲熟妇熟女久久| 精品国产乱码久久久久久男人| 久久久久久久精品吃奶| 国产麻豆69| 亚洲情色 制服丝袜| 亚洲午夜精品一区,二区,三区| 日本五十路高清| 19禁男女啪啪无遮挡网站| 午夜福利在线观看吧| 亚洲国产av新网站| 久久99热这里只频精品6学生| 变态另类成人亚洲欧美熟女 | 99精国产麻豆久久婷婷| 国产福利在线免费观看视频| 日本撒尿小便嘘嘘汇集6| 日日夜夜操网爽| 日本黄色视频三级网站网址 | 国产野战对白在线观看| 欧美日本中文国产一区发布| 男女边摸边吃奶| av又黄又爽大尺度在线免费看| 亚洲av成人一区二区三| 超碰97精品在线观看| 欧美老熟妇乱子伦牲交| 麻豆av在线久日| 狂野欧美激情性xxxx| 热re99久久国产66热| 少妇粗大呻吟视频| 亚洲精品美女久久久久99蜜臀| 嫁个100分男人电影在线观看| 大片电影免费在线观看免费| 一本久久精品| av线在线观看网站| 久久精品国产亚洲av高清一级| 亚洲一卡2卡3卡4卡5卡精品中文| 国产日韩一区二区三区精品不卡| 777久久人妻少妇嫩草av网站| 美女午夜性视频免费| 香蕉丝袜av| 两人在一起打扑克的视频| 在线观看免费高清a一片| 国产高清视频在线播放一区| 99国产精品免费福利视频| 久久久久国内视频| 国产亚洲午夜精品一区二区久久| www日本在线高清视频| 亚洲美女黄片视频| 黄色视频,在线免费观看| 久久久国产成人免费| 天堂8中文在线网| 欧美成人午夜精品| 十八禁高潮呻吟视频| 亚洲第一av免费看| 男女之事视频高清在线观看| av又黄又爽大尺度在线免费看| 不卡av一区二区三区| 国产一区有黄有色的免费视频| 精品国产乱码久久久久久男人| 夜夜夜夜夜久久久久| 精品国产国语对白av| 女人高潮潮喷娇喘18禁视频| 色94色欧美一区二区| 国产成人一区二区三区免费视频网站| 精品高清国产在线一区| 伊人久久大香线蕉亚洲五| 久久久久久久久久久久大奶| 少妇猛男粗大的猛烈进出视频| 亚洲成人免费av在线播放| 香蕉丝袜av| 亚洲成国产人片在线观看| 欧美日韩精品网址| 精品视频人人做人人爽| 久久精品国产亚洲av高清一级| 久久久久视频综合| 久久精品亚洲熟妇少妇任你| 在线观看一区二区三区激情| 久久中文字幕人妻熟女| 精品久久久久久电影网| 亚洲国产欧美网| 韩国精品一区二区三区| 国产免费现黄频在线看| 黄色片一级片一级黄色片| 脱女人内裤的视频| 国产欧美日韩一区二区三区在线| 亚洲成人国产一区在线观看| 国产精品偷伦视频观看了| 精品第一国产精品| 亚洲精品中文字幕在线视频| 捣出白浆h1v1| 视频区图区小说| 亚洲欧美一区二区三区久久| 精品亚洲乱码少妇综合久久| 国产亚洲精品久久久久5区| 18在线观看网站| 丰满迷人的少妇在线观看| 久久久久久免费高清国产稀缺| www.999成人在线观看| 99精品久久久久人妻精品| 日日摸夜夜添夜夜添小说| 久久精品国产a三级三级三级| 久久免费观看电影| 搡老熟女国产l中国老女人| kizo精华| av福利片在线| 久热爱精品视频在线9| 国产成人精品在线电影| 亚洲情色 制服丝袜| av欧美777| 日韩大片免费观看网站| 国产亚洲一区二区精品| 久久99一区二区三区| 99国产精品99久久久久| 好男人电影高清在线观看| 亚洲精品国产精品久久久不卡| 日本wwww免费看| 一本大道久久a久久精品| av在线播放免费不卡| 18在线观看网站| 美女主播在线视频| av网站在线播放免费| 夜夜骑夜夜射夜夜干| 日韩免费高清中文字幕av| 久9热在线精品视频| 狂野欧美激情性xxxx| 精品国产国语对白av| 国产精品久久久久久精品古装| www.999成人在线观看| 天天添夜夜摸| 国产xxxxx性猛交| 日本a在线网址| 一级毛片电影观看| 国产精品国产高清国产av | 成人18禁高潮啪啪吃奶动态图| 少妇 在线观看| 免费在线观看完整版高清| 亚洲精品乱久久久久久| 亚洲精品在线观看二区| 中文字幕人妻熟女乱码| 日韩中文字幕欧美一区二区| 一夜夜www| 亚洲午夜理论影院| 精品少妇黑人巨大在线播放| 免费久久久久久久精品成人欧美视频| 国产精品影院久久| 亚洲av国产av综合av卡| 欧美精品亚洲一区二区| 国产成人精品无人区| 久久精品亚洲熟妇少妇任你| 成在线人永久免费视频| 色播在线永久视频| 性高湖久久久久久久久免费观看| 亚洲色图综合在线观看| 国产欧美日韩精品亚洲av| svipshipincom国产片| av欧美777| 欧美成人免费av一区二区三区 | 天天躁日日躁夜夜躁夜夜| 亚洲成av片中文字幕在线观看| 欧美中文综合在线视频| 亚洲少妇的诱惑av| 亚洲精华国产精华精| 欧美国产精品va在线观看不卡| 午夜福利在线免费观看网站| 怎么达到女性高潮| 国产精品免费一区二区三区在线 | 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲国产看品久久| 在线观看免费日韩欧美大片| 午夜激情av网站| 黄频高清免费视频| 脱女人内裤的视频| 99精品欧美一区二区三区四区| 国产一区二区 视频在线| 久久久欧美国产精品| 国产成人啪精品午夜网站| 免费少妇av软件| 国产成人欧美在线观看 | www.自偷自拍.com| 99香蕉大伊视频| 12—13女人毛片做爰片一| 天堂中文最新版在线下载| 午夜福利影视在线免费观看| 日韩视频一区二区在线观看| 精品高清国产在线一区| 女人久久www免费人成看片| 啦啦啦中文免费视频观看日本| 亚洲,欧美精品.| 法律面前人人平等表现在哪些方面| 在线观看一区二区三区激情| 久久久久久亚洲精品国产蜜桃av| 极品少妇高潮喷水抽搐| 操美女的视频在线观看| 国产男靠女视频免费网站| 菩萨蛮人人尽说江南好唐韦庄| 12—13女人毛片做爰片一| 成人黄色视频免费在线看| 黄色 视频免费看| 亚洲色图 男人天堂 中文字幕| 精品一区二区三区视频在线观看免费 | 国产欧美日韩综合在线一区二区| 妹子高潮喷水视频| 桃红色精品国产亚洲av| 99久久99久久久精品蜜桃| 老汉色av国产亚洲站长工具| 国产精品电影一区二区三区 | 国产一区二区三区在线臀色熟女 | 久久精品成人免费网站| 亚洲色图av天堂| 亚洲一码二码三码区别大吗| 国产成+人综合+亚洲专区| 久久国产精品大桥未久av| 一区二区三区国产精品乱码| 啦啦啦 在线观看视频| 91老司机精品| 欧美变态另类bdsm刘玥| av又黄又爽大尺度在线免费看| 亚洲全国av大片| 青草久久国产| 老司机在亚洲福利影院| 俄罗斯特黄特色一大片| 久久国产亚洲av麻豆专区| 亚洲av美国av| 91大片在线观看| 天堂动漫精品| 黄色丝袜av网址大全| 男女午夜视频在线观看| 欧美成狂野欧美在线观看| 手机成人av网站| 国产亚洲精品久久久久5区| 午夜福利视频精品| 欧美黄色片欧美黄色片| 高清av免费在线| 日韩成人在线观看一区二区三区| 精品熟女少妇八av免费久了| 在线观看免费视频日本深夜| 高清黄色对白视频在线免费看| 精品国产国语对白av| 亚洲成av片中文字幕在线观看| 国产精品 欧美亚洲| 国产精品久久久av美女十八| 国产成人一区二区三区免费视频网站| 丰满饥渴人妻一区二区三| 亚洲精华国产精华精| 国产精品熟女久久久久浪| 日韩视频一区二区在线观看| 国产99久久九九免费精品| 久久久欧美国产精品| 欧美另类亚洲清纯唯美| 国产男靠女视频免费网站| 国产欧美日韩综合在线一区二区| 黄网站色视频无遮挡免费观看| 色精品久久人妻99蜜桃| 一本大道久久a久久精品| 成人亚洲精品一区在线观看| 50天的宝宝边吃奶边哭怎么回事| 国产精品久久久人人做人人爽| 中文字幕色久视频| 十八禁高潮呻吟视频| 国产国语露脸激情在线看| 国产精品久久久久久精品古装| 久久精品成人免费网站| 女性被躁到高潮视频| 肉色欧美久久久久久久蜜桃| 男男h啪啪无遮挡| 国产三级黄色录像| 一级毛片精品| 在线天堂中文资源库| 国产精品一区二区免费欧美| 国产欧美日韩一区二区三| 国产精品欧美亚洲77777| 国产精品久久久av美女十八| 国产97色在线日韩免费| 国产深夜福利视频在线观看| 国产欧美日韩综合在线一区二区| 国产成人欧美| 亚洲色图 男人天堂 中文字幕| 丰满饥渴人妻一区二区三| 亚洲av国产av综合av卡| 国产精品99久久99久久久不卡| 狠狠狠狠99中文字幕| 久久精品亚洲熟妇少妇任你| 久久人妻熟女aⅴ| 夜夜骑夜夜射夜夜干| 国产有黄有色有爽视频| 欧美乱码精品一区二区三区| 男女床上黄色一级片免费看| 国产精品欧美亚洲77777| 成年动漫av网址| 久久久国产一区二区| 精品一区二区三卡| 欧美成人免费av一区二区三区 | 国产1区2区3区精品| 黄色视频不卡| 免费一级毛片在线播放高清视频 | 人人妻人人爽人人添夜夜欢视频| 欧美久久黑人一区二区| 亚洲成人国产一区在线观看| 91大片在线观看| 亚洲,欧美精品.| 精品一区二区三区av网在线观看 | 麻豆av在线久日| 久热爱精品视频在线9| 视频在线观看一区二区三区| 一边摸一边做爽爽视频免费| 这个男人来自地球电影免费观看| 侵犯人妻中文字幕一二三四区| 麻豆av在线久日| 亚洲精品成人av观看孕妇| 在线观看免费日韩欧美大片| 建设人人有责人人尽责人人享有的| 又大又爽又粗| 亚洲精品在线美女| 别揉我奶头~嗯~啊~动态视频| 纯流量卡能插随身wifi吗| 国产极品粉嫩免费观看在线| 99久久人妻综合| 在线av久久热| 久久狼人影院| 亚洲精品国产色婷婷电影| 国产伦理片在线播放av一区| 国产av国产精品国产| 中文字幕人妻丝袜制服| 亚洲欧美精品综合一区二区三区| 波多野结衣一区麻豆| 涩涩av久久男人的天堂| svipshipincom国产片| 欧美日本中文国产一区发布|