• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能體“刑事責任”的教義學解構(gòu)

    2019-11-27 21:01:17王肅之
    西南政法大學學報 2019年1期
    關(guān)鍵詞:刑事責任刑罰刑法

    王肅之

    (最高人民法院 第二巡回法庭,沈陽 110179)

    2015年霍金等知名人士簽發(fā)公開信警告稱,在進行人工智能研究的同時必須相應(yīng)地采取防范措施,避免人工智能給人類社會造成潛在傷害。在人工智能相關(guān)的著作權(quán)問題、侵權(quán)問題出現(xiàn)后,人工智能相關(guān)的犯罪問題也逐步進入刑法視野,亟須從教義學的視角進行歸納和研究。人工智能體及其“行為”應(yīng)如何在犯罪角度予以評價?人工智能體又能否承擔“刑事責任”?這些問題既有理論似乎難以為上述問題提供直接的答案。繼風險社會的沖擊之后,刑法教義學的傳統(tǒng)理論結(jié)構(gòu)遭遇到更為根本性的沖擊。如何在繼承和發(fā)展理論的過程中解釋人工智能體的主體性問題和責任可承擔性問題,正是人工智能時代刑法教義學理論所面臨的關(guān)鍵命題。

    一、人工智能的發(fā)展及其刑事責任命題

    近代以來,刑法教義學的理論大廈在持續(xù)建構(gòu)的同時也不斷面臨著解構(gòu)的危險。在歷史上其所面臨的最大挑戰(zhàn)之一即為風險社會的到來和發(fā)展。圍繞著風險對于危險概念的沖擊,以及風險犯與危險犯的問題,刑法教義學在法益與行為層面都經(jīng)歷了持久的爭論乃至困惑。不過在此過程中,縱使風險社會在某種程度上動搖了刑法教義學的核心內(nèi)容,但是主體與客體二分的前提結(jié)構(gòu)始終得以穩(wěn)定存在,然而人工智能時代的到來卻在根本上沖擊了主體和客體的二元結(jié)構(gòu)。

    在時代和科技的推動下,人工智能迅速從一個技術(shù)概念成為一個社會概念,并進入刑法學的視野。人工智能(artificial intelligence,簡稱AI)這一概念的出現(xiàn)一般認為可以追溯至1956年。有學者認為,“根據(jù)諸多學者文章中對于人工智能的界定,其是人為創(chuàng)造的智慧,即在計算機或其他設(shè)備上模擬人類思維的軟件系統(tǒng)?!盵1]45隨著技術(shù)的發(fā)展特別是機器學習(machine learning)技術(shù)的進展,人工智能已經(jīng)可以模仿甚至超越人類完成一定的指令。2016年谷歌人工智能AlphaGo戰(zhàn)勝韓國棋手李世石,使得“人工智能”成為全社會所關(guān)注和討論的熱點。在社會層面,人工智能正在各個領(lǐng)域不斷地發(fā)展和適用。然而,正如每一次科技變革所面臨的命題一樣,任何新技術(shù)、新事物往往會被犯罪人所利用。2017年,紹興警方偵破的“全國首例利用AI犯罪案”被學界所廣泛關(guān)注,該案中包括“利用AI技術(shù)識別圖片驗證碼團伙”,其通過運用人工智能機器深度學習技術(shù)訓練機器,可以讓機器如AlphaGo一樣自主操作識別,有效識別圖片驗證碼,輕松繞過互聯(lián)網(wǎng)公司設(shè)置的賬戶登錄安全策略,給網(wǎng)絡(luò)詐騙、“黑客”攻擊等網(wǎng)絡(luò)黑產(chǎn)提供犯罪工具。

    如果說前述案件依然在一定程度上可以將人工智能作為犯罪的工具與技術(shù)予以理解,那么以下案件則賦予了人工智能某種“意思”和“行為”的內(nèi)涵:第一,大眾公司機器人“殺人”案。2015年7月,英國《金融時報》報道,大眾承包商的一名工作人員不幸身亡,事發(fā)時其正與同事一起安裝機器人,但機器人卻突然抓住他的胸部,然后把他重重地壓向一塊金屬板,最終導致這名工作人員因傷重不治身亡。該案中機器人自行“決定”實施侵害,并且導致死亡后果。第二,自動駕駛汽車[注]自動駕駛汽車(autonomous vehicles;self-piloting automobile)依靠人工智能、視覺計算、雷達、監(jiān)控裝置和全球定位系統(tǒng)協(xié)同合作,讓電腦可以在沒有任何人類主動的操作下,自動安全地操作機動車輛。“交通肇事”案。2016年5月,在美國佛羅里達的一條高速公路上,一輛開啟了Autopilot模式的特斯拉發(fā)生了車禍,駕駛員身亡。2016年9月,中央電視臺《法治在線》欄目曝光,特斯拉自動駕駛在中國出現(xiàn)首例死亡事故,特斯拉處于“定速”的狀態(tài),并未能識別躲閃而撞上前車。以上案件中,自動駕駛汽車“違反”道路交通管理法規(guī),導致重大交通事故。第三,聊天機器人“散布”不當言論案。微軟2016年在Twitter上推出聊天機器人Tay,其設(shè)計原理是從對話交互中進行學習。一些網(wǎng)友開始和Tay說一些偏激的言論,刻意引導她模仿。經(jīng)過“學習”,僅上線一天,Tay就不斷散布種族主義、性別歧視和攻擊同性戀言論。該案中Tay系基于“學習”而后“散布”不當言論。對于以上情形中人工智能該如何認定和處理,特別是人工智能的刑法地位及意義難以從現(xiàn)有刑法教義學理論中尋得直接的答案。

    基于此,刑法學界關(guān)于人工智能犯罪的討論逐漸展開,并且前所未有地觸及了刑法教義學的基石問題——人工智能體可否成為犯罪的主體以及可否承擔刑事責任?有觀點認為人工智能體已經(jīng)可以成為犯罪的主體,可以承擔刑事責任?!叭斯ぶ悄軙r代的到來使得我們不得不警惕人類設(shè)計和編制的程序無法完全控制住‘頭腦’越來越發(fā)達的智能機器人的行為,智能機器人完全可能按照自主意識和意志實施嚴重危害社會的犯罪行為?!盵2]45有論者進而認為,“強人工智能產(chǎn)品超出設(shè)計和編制的程序范圍自主決策并實施嚴重危害社會的行為”可以視為犯罪行為“并給予刑罰處罰”[3]140。也有學者認為人工智能不能成為犯罪的主體,不能承擔刑事責任。例如:“當前人工智能系統(tǒng)不符合刑法規(guī)定的犯罪主體條件。”[4]155“刑事責任的承擔主體也應(yīng)是相關(guān)自然人或者單位,而不應(yīng)將人工智能擬制為新的犯罪主體?!盵5]70這一爭論雖然圍繞人工智能體展開,但卻關(guān)乎人工智能時代刑法教義學的立場與發(fā)展,我們理應(yīng)進行慎重和細致的分析。

    二、人工智能體的教義學地位

    正確界定人工智能體的教義學地位需要我們基于對現(xiàn)階段人工智能體法律性質(zhì)的厘清,并在此基礎(chǔ)上結(jié)合犯罪行為主體的相關(guān)理論進行分析。

    (一)人工智能體的法律立場

    前述人工智能概念并未區(qū)分“人工智能”與“人工智能體”,但是這一界分卻是研究刑事責任的前提問題。“人工智能”更多的是一種技術(shù)或科學的概念,只有相關(guān)的實體可以成為刑法意義的主體,其才具有被科處刑罰的可能性。有學者以“智能機器人”來指稱人工智能的實體,例如:“智能機器人是由程序設(shè)計和編制而成且具有辨認控制能力和學習能力,同時能夠自主思維、自發(fā)行動的非生命體?!盵2]40機器人倫理研究員Kate Darling將“社會機器人”定義為“在社會層面上與人類溝通和互動的物理實體智能體”[6]1-9。但是人工智能的實體是否都能夠呈現(xiàn)為“機器人”的形式?在前文所述的案件中,大眾公司機器人可以類人地完成一定的工作,聊天機器人可以類人地進行一定的“語言表達”,可以認為是智能機器人。但是自動駕駛系統(tǒng)是汽車的操作系統(tǒng),將其解釋為“智能機器人”顯然有超過其概念可能涵射范圍的危險。因此,筆者在此采“人工智能體”的概念指稱人工智能的相應(yīng)實體,以便展開其是主體還是客體的討論。

    在法學領(lǐng)域,已有學者就人工智能體的法律性質(zhì)問題進行一定的討論,概括起來主要包括以下三種觀點:第一,人工智能體法律地位肯定說。例如:“人工智能[注]在此需要指出既有研究往往并不區(qū)分使用“人工智能”與“人工智能體”,為體現(xiàn)引文的準確性對其原文仍保留“人工智能”與“智能機器人”的表述。是人類社會發(fā)展到一定階段的必然產(chǎn)物,具有高度的智慧性與獨立的行為決策能力,其性質(zhì)不同于傳統(tǒng)的工具或代理人。在現(xiàn)實條件下,將人工智能定義為具有智慧工具性質(zhì)又可作出獨立意思表示的特殊主體較妥?!盵7]52AIonAI機器人法(artificial intelligence-on-artificial intelligence (AIonAI) laws)甚至比照《世界人權(quán)宣言》第1條的規(guī)定作出如下表述:“所有機器人都具有與人類相當?shù)睦硇院土夹?并應(yīng)以兄弟關(guān)系的精神相對待?!盵8]29-40第二,人工智能體法律地位有限肯定說。例如:“人工智能具有獨立思考的能力是與其他科技最大的區(qū)別,但人工智能仍作為工具存在,僅應(yīng)具有有限的法律人格。即便人工智能發(fā)展到具有自我意志的程度,其構(gòu)造結(jié)構(gòu)、生產(chǎn)方式與人類存在根本性的不同。人工智能具有有限的權(quán)利義務(wù),更應(yīng)適用特殊的法律規(guī)制標準。”[7]54根據(jù)這一觀點,人工智能體雖具有一定法律意義的主體性和主體地位,但是應(yīng)予限定,并為其設(shè)定與傳統(tǒng)法律主體不同的具體規(guī)則。第三,人工智能體法律地位否定說。如有學者認為:“未來人工智能系統(tǒng)的活動成立犯罪不僅要有對事實的感知,還要有對法律規(guī)范的認識和選擇,人工智能系統(tǒng)不可能滿足刑法規(guī)定的主觀要件?!盵4]158或者以自動駕駛系統(tǒng)為例否認人工智能體的主體地位:“從中短期來看,技術(shù)的變遷并未動搖機動車責任的構(gòu)造,僅使得自動駕駛系統(tǒng)的生產(chǎn)者具備了駕駛?cè)说膶傩?,尚屬于解釋論可解決的領(lǐng)域。”[9]143

    筆者認為,判定人工智能體的教義學地位必須基于其現(xiàn)實的發(fā)展狀況。人工智能可以分為強人工智能(對應(yīng)“Agent的強定義”)和弱人工智能(對應(yīng)“Agent的弱定義”)。弱人工智能體是指不能制造出真正地推理(reasoning)和解決問題(problem solving)的智能機器,這些機器只不過看起來像是智能的,但是并不真正擁有智能,也不會有自主意識。“強人工智能是指有自我意識、自主學習、自主決策能力的人工智能,也是人工智能發(fā)展的終極目標,但是在意識問題沒有解決之前,強人工智能的實現(xiàn)還有很長的路要走?!盵10]20在筆者看來,這一分類既代表著人工智能發(fā)展的可能性(即強人工智能最終有可能進行某種法律評價),也代表著人工智能的階段性(即弱人工智能欠缺獨立的意志和行為)。結(jié)合以上案例中人工智能體的表現(xiàn),我們可以發(fā)現(xiàn)在現(xiàn)階段人工智能依然應(yīng)用在特定技術(shù)、特定領(lǐng)域應(yīng)用,雖然有著一定的學習能力,但是并不能從根本上具有自主意識。比如Tay聊天機器人,只是在接受執(zhí)行聊天指令后對于聊天的內(nèi)容進行學習和數(shù)據(jù)庫更新,并不能夠自主決定停止聊天而去做網(wǎng)絡(luò)主播成為“網(wǎng)紅”,大眾公司機器人、自動駕駛系統(tǒng)也是如此,其并沒有和人類一樣的意志自由和觀念。因此,現(xiàn)階段的人工智能體仍然屬于弱人工智能階段。

    由此筆者的觀點可以概括為“人工智能體法律地位階段否定說”,即在現(xiàn)階段人工智能體尚不能被賦予現(xiàn)實的法律地位,但是不排除隨著將來人工技術(shù)的發(fā)展對其賦予主體地位的可能[注]當然也有基于道德考量不在社會評價上賦予其獨立意義的充分理由。?!拔磥淼淖灾髦悄軝C器將有能力完全自主行為……它們在不同情境中的反應(yīng)和決策可能不是其創(chuàng)造者可以預(yù)料到或者事先控制的。完全的自主性意味著新的機器范式:不需要人類介入或者干預(yù)的‘感知—思考—行動’?!盵11]167實際上即便是前述肯定人工智能體法律地位的學者也未否認這一現(xiàn)實:“在機器人社會化應(yīng)用尚未真正實現(xiàn)之前,法律僅允許機器人權(quán)利的必要擬制、有益擬制。換句話說,機器人權(quán)利的擬制承載著法律的制度目的,即建立起現(xiàn)實社會同未來社會、舊規(guī)則與新規(guī)則的溝通橋梁?!盵12]60即使其依然堅持法律擬制的觀點,但是也不得不承認這一法律想象的未來性。

    (二)刑法教義學視野中的人工智能體[注]一般對于主體性的探討在構(gòu)成要件符合性層面展開,對于主體責任能力的探討在有責性層面展開。本部分僅在構(gòu)成要件符合性層面予以討論,有責性問題的討論在下文展開。

    持人工智能可以承擔刑事責任觀點的前提依據(jù)在于其認為人工智能體已經(jīng)成為犯罪的主體。如有學者認為:“從法律屬性上可以將智能機器人定位為經(jīng)程序設(shè)計和編制而成的、可以通過深度學習產(chǎn)生自主意識和意志的、不具有生命體的‘人工人’。”[2]43這實際上是從強人工智能體的角度予以理解,并以“智能機器人的刑事責任”為范式進行探討。然而,論者也認可現(xiàn)階段弱人工智能因為不具有辨認能力和控制能力而始終無法擺脫工具屬性,其實施的行為體現(xiàn)的是設(shè)計者或使用者的意志,只能被看作設(shè)計者或使用者行為的延伸[3]138。論者實際上是將智能機器人與強人工智能體等同視之,同時肯定弱人工智能體不具有獨立的主體性。但是如同前文所所述,“產(chǎn)生自主意識和意志”的人工智能體目前尚未出現(xiàn),故其主體性的探討只能基于弱人工智能體的前提展開。

    回歸構(gòu)成要件符合性層面,傳統(tǒng)意義上刑事責任的承擔要求必須歸結(jié)于具體的自然人。因為即使造成了損害,但是不存在可歸責的主體,刑法也不能介入。比如天災(zāi)、不可抗力所造成的侵害,即便后果是災(zāi)難性的也沒有適用刑法的空間。然而就現(xiàn)階段的人工智能體(弱人工智能體)而言,其尚且無法具有自然人的本質(zhì)屬性。

    第一,在生物意義上,現(xiàn)階段的人工智能體并非是基于出生而取得主體資格的人,不具有自然人的生物特征。這一點也為持前述觀點的論者所認可:“智能機器人與自然人的根本差異在于其不具有人類生命體。”[2]43具體可從以下兩個方面考察:一方面,人工智能體不具有生物識別特征。比如,基因信息(genetic information)是存儲在由DNA(少數(shù)RNA)分子片段組成的基因中的生物遺傳信息。生物代代相傳的正是決定他們的種、類及個體生命性狀特征的信息。生物識別信息往往和識別自然人個人密切相關(guān)。我國《網(wǎng)絡(luò)安全法》也將“個人生物識別信息”作為個人信息的重要類型之一。而人工智能體為機器生產(chǎn),即便是定制生產(chǎn)的人工智能體并且已經(jīng)編碼,但是這種編碼只具有區(qū)別性而不具有識別性,不但隨時會被任意更改并且無法使其在自然意義上區(qū)別于其他人工智能體。另一方面,人工智能體不具有生物的“思維”和感覺。動物的“思維”雖然無法和人類的思維相提并論,但是至少具有一定的生物性,比如注意力、好奇心、理性這些也存在于低等動物中,然而這些感情與體驗顯然不能為非生命體的人工智能體所體會。即便人工智能體可以被輸入特定的指令以實現(xiàn)形式上的反饋,但也并非基于其真實的“思維”和“感覺”。

    第二,在法律意義上,現(xiàn)階段的人工智能體不具有意志自由,無法成為自然人意義上的犯罪行為主體?!皬姆ɡ砩现v,人類的意志自由作為處罰的假定前提,這一前提在道理上也可以適用于機器人?!盵13]605判定人工智能體可否按照刑法中的自然人對待,關(guān)鍵在于其是否具有真正意義上的意志自由?,F(xiàn)代刑法發(fā)展的基礎(chǔ)之一正是基于近代以來人類的解放及其自由意志的認可,如費爾巴哈的心理強制說正是基于人的意志自由,黑格爾甚至還將自由意志納入了法益侵害的層面予以理解。及至德日刑法理論體系的構(gòu)建,是否具有意志自由也是判斷構(gòu)成要件符合性與有責性的重要前提。然而現(xiàn)階段的人工智能體尚且無法具有真正意義的意志自由。如前所述,Tay聊天機器人只是在接受執(zhí)行聊天指令后對于聊天的內(nèi)容進行學習和更新,并不能夠自主決定停止聊天而去做其他事情,其“宿命”是被人類決定的,從根本上缺乏了成為自然人意義上犯罪行為主體的核心前提。

    因為無法將人工智能體作為自然人看待,有論者提出參考“單位”的規(guī)定,將人工智能體作為法律擬制主體看待。他們認為:“通過深度學習,智能機器人完全可能產(chǎn)生設(shè)計和編制的程序范圍外的自主意識和意志,其中的智能機器人的意志與單位相比,自由的程度似乎更強。如果法律能夠尊重單位的自由意志,那么便沒有理由否認智能機器人的自由意志?!盵2]45關(guān)于這一論述,筆者首先提出兩點商榷意見:第一,雖然我國實體法層面確實將對應(yīng)主體概括為“單位”,然而從教義學層面與其概括為“單位”不如概括為“法人”更有利于作為與自然人相對的法律擬制概念。第二,人工智能體的機器學習方式并非“深入學習”而是“深度學習”[注]深度學習(deep learning),深度學習的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。,否則其智能性難以得到提升。更為重要的是現(xiàn)階段人工智能體尚且不能具備與法人同等看待的自由意志,其也不能作為與法人同等的擬制主體看待。法人作為犯罪行為主體的根本前提是其具有獨立的意思,進而可以(通過自然人)實施一定的行為。如前所述,筆者持“人工智能體法律地位階段否定說”。從長遠來看,由于科技發(fā)展的不可預(yù)料性,如果人工智能體的“奇點”到來,強人工智能體具有充分的意識和行動能力,可在討論是否應(yīng)納入法律層面考量。也就是說,“參考法人犯罪的思路,對于人工智能作為擬制主體看待未嘗不是未來人工智能犯罪刑法規(guī)制的可能思路。”[14]60但是在“奇點”沒有到來之前,在人工智能發(fā)展的現(xiàn)階段似乎不宜作出這樣論斷。就這一問題也有學者指出,“模擬和擴展‘人類智能’機器人雖具有相當智性,但不具備人之心性和靈性,與具有‘人類智慧’的自然人和自然人集合體是不能簡單等同的?!薄皺C器人不是具有生命的自然人,也區(qū)別于具有自己獨立意志并作為自然人集合體的法人,將其作為擬制之人以享有法律主體資格,在法理上尚有斟榷之處?!盵15]131筆者贊同這一理由,現(xiàn)階段將人工智能體類比于自然人和法人進而作為犯罪的主體均具有不可克服的障礙。

    三、“刑事責任”的前提否定:有責性缺失

    在刑法教義學的話語體系中,一般區(qū)分使用“責任”與“刑事責任”的表述?!柏熑巍被蛘哒f“罪責”一般在有責性層面展開討論。人工智能體如果要承擔刑事責任,則需要具備相應(yīng)的罪責能力與要素,然而現(xiàn)階段的人工智能體均無法達到相應(yīng)的要求。

    (一)罪責能力的缺失

    現(xiàn)階段人工智能體無法具備罪責能力。罪責原則,通常表述為沒有罪責則沒有刑罰。即便是法律意義上的自然人也不必然具有相應(yīng)的罪責能力。無論是未成年人還是精神障礙者,在刑事責任能力上均需要與成年的、精神健全的人區(qū)別看待,不應(yīng)使其承擔刑事責任。也即承擔刑事責任的主體不僅需要具備形式的要件,更需要具備實質(zhì)的要件。在既有理論范式中,形式的要件被理解為生物學意義的標準,比如精神障礙者不能具有刑事責任能力;實質(zhì)的要件被理解為心理學意義的標準,具體被界定為理解能力與行為控制能力(Einsichts- oder Steuerungusf?higkeit)。在我國語境下,實質(zhì)的要件被作為判定刑事責任能力的辨認能力與控制能力。有觀點認為,“智能機器人完全可能具有與人一樣的辨認能力和控制能力,也完全可能通過深度學習在設(shè)計和編制的程序范圍外實施嚴重危害社會的行為?!盵16]11然而筆者認為,這兩項能力現(xiàn)階段的人工智能體均無法具備:第一,人工智能體無法具備認識能力(理解能力)。犯罪的主體承擔刑事責任的一個前提就是其本身可以認識到犯罪行為的性質(zhì),并且可以認識到這一行為對于法益的侵害。現(xiàn)階段的人工智能體仍然只是機械地執(zhí)行特定的人類指令,并且不能認識到其行動及其法益侵害性。以“殺人”的大眾公司機器人為例,一方面其無法認識到拋扔他人這一行為,在其命令執(zhí)行的范式內(nèi)無論是拋扔一個物品還是拋扔一個人,都是執(zhí)行同樣的指令,其本身顯然無法認識到本身行為的性質(zhì);另一方面其無法認識到拋扔他人這一行為的法益侵害性,無論是導致他人死亡還是工作的順利完成,對其而言可能都只是意味著完成一項行動,后果及其社會意義顯然不在其認識的范疇。由此,人工智能體顯然不能具備認識能力的要求。第二,人工智能體無法具備行為的控制能力。犯罪的主體之所以承擔刑事責任是因為其本身具有選擇不同行為的可能,而其選擇實施了侵害法益的行為?,F(xiàn)階段的人工智能體雖然可以創(chuàng)造性地進行一定的行動,但是其行動需要在預(yù)設(shè)的模式下展開,雖然也可能導致一些異常的情況。比如Tay聊天機器人,其行動的模式是聊天,雖然聊天的內(nèi)容可以通過深度學習不斷更新,但是其自身無法選擇終止聊天而去吃飯或睡覺。再者,雖然Tay“散布”了不當言論,但是其無法控制自己“散布”的內(nèi)容,因為這些內(nèi)容只是根據(jù)算法從其聊天記錄中隨機生成的。換言之,Tay既控制不了自己是否聊天,也決定不了自己聊天的內(nèi)容,何談具有控制能力?

    (二)違法性意識可能性的缺失

    現(xiàn)階段人工智能體無法具備違法性意識可能性。在刑法教義學理論體系中,即便承認違法性意識可能性為必要,就其理論體系定位也有限制故意說與責任說兩種觀點。筆者認為,將違法性意識可能性作為責任要件較為妥當,即:“只有當行為人根據(jù)案件的具體情況,他的性格以及生活、職業(yè)范圍,盡到了相應(yīng)的注意義務(wù),但仍未能認識到行為的違法性時,才免除行為人的罪責?!盵17]69而現(xiàn)階段的人工智能體顯然無法達到這一要求。第一,難以確定人工智能體“性格以及生活、職業(yè)范圍”。一方面,性格是一個人對現(xiàn)實的穩(wěn)定的態(tài)度,以及與這種態(tài)度相應(yīng)的,習慣化了的行為方式中表現(xiàn)出來的人格特征。而現(xiàn)階段的人工智能體的行動顯然不具有這種穩(wěn)定性,一旦數(shù)據(jù)或程序有所變動其行動可能大相徑庭。另一方面,人工智能體也不存在“生活、職業(yè)范圍”。且不說現(xiàn)階段的人工智能體根本不可能有“生活”,目前也沒有一個可供參考的人工智能體“職業(yè)標準”,如果將來人工智能體有可能形成相對確定的、客觀的“職業(yè)標準”可另當別論。第二,人工智能體無法承擔注意義務(wù)。比如在過失犯罪的情況下,必須違反了相應(yīng)的義務(wù)才能構(gòu)成犯罪,而“義務(wù)—行為”并不是現(xiàn)階段人工智能體所能夠理解的行為模式,“信息—反饋”才是其運轉(zhuǎn)的根本形式,二者存在差異。比如前述“殺人”的大眾公司機器人,其接受的指令可能是將某物體按線路拋扔至某處,至于被拋扔的是人還是物其并不能理解,因而難以為其設(shè)定與人類等同的注意義務(wù)。第三,人工智能體難以具有真正意義上的違法性意識。對于自然人或者法人中的自然人而言,其能夠理解法律的概念和意義,并且了解其行為規(guī)范的內(nèi)涵和要求。對于現(xiàn)階段的人工智能體而言,其所有“理解”的信息都會還原至“0”和“1”的二元數(shù)字表達,而并不是自然人的價值判斷。其僅可能判斷出關(guān)于一定事實的信息與輸入其系統(tǒng)的某一法律條文信息并不符合,亦即其識別結(jié)果是匹配與否而非違反與否。比如2018年3月,Uber在美國亞利桑那州坦佩市測試自動駕駛系統(tǒng)的時候撞死一名正在橫穿馬路的女士。Uber的XC90無人車上面裝配的傳感器已經(jīng)探測到她,不過Uber的自動駕駛軟件判斷認為,系統(tǒng)無需對這位女性采取避讓措施。對于自動駕駛系統(tǒng)而言,其識別的只是是否需要指令汽車避讓,而不會考慮違法性與法益侵害性。

    (三)期待可能性的缺失

    現(xiàn)階段人工智能體也無法具備期待可能性。事實上,如果人工智能體不能具備罪責能力和違法性意識可能性也自然難以賦予其期待可能性層面的考量。期待可能性使用的前提在于行為人具有責任能力,而現(xiàn)階段人工智能體尚且無法具備。如果人工智能體不具有違法性意識可能性,那么判斷其行為是否適法顯然無從談起,自然無法對其進行期待可能性判斷,從而使這一責任要素也失去了判斷依據(jù)。

    四、責任本體的否定:刑罰無效

    現(xiàn)階段的人工智能體不僅無法承擔罪責,而且無法對其施以有效的刑罰。其無效性既體現(xiàn)在無法實現(xiàn)刑罰目的,也體現(xiàn)在人工智能體無法真正成為刑罰的承擔者。

    (一)刑罰目的無效

    刑罰的目的包括特殊預(yù)防與一般預(yù)防。即一方面通過對于犯罪行為人施加刑罰這一惡害,使其不再實施犯罪行為;另一方面通過制定、適用和執(zhí)行刑罰,預(yù)防其他人實施犯罪行為。然而就現(xiàn)階段的人工智能體而言,對其施加“刑罰”無法實現(xiàn)以上兩個目的。

    1.對人工智能體施加“刑罰”無法實現(xiàn)特殊預(yù)防的目的

    刑事責任的認定就是根據(jù)犯罪行為法益侵害風險等級的衡量,衡量的內(nèi)容具體包括對犯罪行為人人身危險性的考量以及社會的安全需要。實現(xiàn)犯罪行為人的特定預(yù)防是刑罰的當然目的。除了生命刑這一直接消滅犯罪行為人的刑罰之外,其他類型的刑罰均是通過對于犯罪行為人施加刑罰這一惡害,從而使其感覺痛苦,不再實施犯罪。特殊預(yù)防目的得以實現(xiàn)的基本前提是犯罪行為人能夠感知刑罰這一惡害所帶來的痛苦,進而決意不再實施犯罪。由此,人工智能體能否具有對于痛苦的感知成為關(guān)鍵。認為對于人工智能體施加“刑罰”可以實現(xiàn)特殊預(yù)防的觀點基于這一理論假設(shè)——人工智能體的智能化效果包括其可以具有思維和感知能力,在人工智能體的智能化過程中可以使其產(chǎn)生從機械性向生物性的轉(zhuǎn)變?!叭祟愐庾R的形成源自于大腦,大腦的物理構(gòu)造實則是超高數(shù)量級的腦細胞互相傳遞腦神經(jīng)信號所組成的極復(fù)雜裝置,而意識的產(chǎn)生便是腦細胞中的神經(jīng)信息互相傳遞達到一定程度的量級后,量變引起質(zhì)變的化學結(jié)果。”“智能機器將所有的感官認知通過0、1的布爾型變量關(guān)聯(lián)神經(jīng)細胞并輸出結(jié)果,而跟蹤每一個神經(jīng)細胞的信號都斷定這就是人工智能體自主意識量變的結(jié)果。”[18]110在感覺層面,有學者進而認為:“智能機器人具有感知刑罰痛苦的能力,并且能夠在犯罪的‘快感’與刑罰的‘痛感’之間進行理性權(quán)衡,以調(diào)整其之后的行為,換言之,自主意識和意志的存在決定了智能機器人本身是可以重新接受深度學習與深度改造的?!盵2]47但是問題在于現(xiàn)階段的人工智能體是否能夠具有這種感知的能力?如前所述,現(xiàn)階段的人工智能體仍然是弱人工智能體,難以具有真正意義的感知能力。比如Tay聊天機器人,其初始設(shè)定是“鄰家少女”,如果具有感知能力那么Tay應(yīng)會對他人惡意討論的一些問題表達一些看法甚至反感,然而Tay卻是對于一切信息“照單全收”??陀^上說明了現(xiàn)階段人工智能體不具備真正的感知能力。由此人工智能體對于由于刑罰所帶來的痛苦自然也無法進行感知,無論是進行維護保養(yǎng)還是拆卸破壞在其看來可能都只是一個事實信息,對其而言區(qū)別可能只在于“1010”還是“0101”,那么其又如何基于對刑罰這一惡害的恐懼進而不去實施犯罪“行為”?由此對其科以“刑罰”所要達到的特殊預(yù)防效果自然無從談起。

    2.對人工智能體施加“刑罰”無法實現(xiàn)一般預(yù)防的目的

    刑罰的一般預(yù)防目的一般包括兩個層面:消極的一般預(yù)防還是積極的一般預(yù)防。消極的一般預(yù)防目的實現(xiàn)主要基于威懾,即通過刑罰處罰警示他人,以使社會公眾不去實施犯罪行為,而積極預(yù)防的目的則在于維護公眾對于法規(guī)范效力的信賴。然而無論是消極的一般預(yù)防還是積極的一般預(yù)防均無法通過對人工智能體施加“刑罰”實現(xiàn):一方面,對人工智能體施加“刑罰”無法對其他人工智能體產(chǎn)生威懾。即便是針對“人工智能體”設(shè)計了具體刑罰種類的學者也承認這一事實:“強人工智能產(chǎn)品形成對事物的認識是靠程序、算法和深度學習而不是靠生活經(jīng)驗的積累,且設(shè)計者設(shè)計大部分強人工智能產(chǎn)品的初衷可能是為了讓其在特定領(lǐng)域中發(fā)揮作用,因此強人工智能產(chǎn)品的認識水平在很大程度上會被局限于特定領(lǐng)域,而缺乏對社會生活的整體認識,其判斷是非善惡的標準也就有可能異于常人。”[3]139-140然而消極的一般預(yù)防目的實現(xiàn)恰恰有賴于人的社會性。人作為主體在社會中與其他人進行交互,從而形成自己的生活方式與行為模式,并根據(jù)社會狀態(tài)調(diào)整自己的行為。這一過程的前提在于人可以對于其他人的相關(guān)情事了解和評價。這樣一個過程是現(xiàn)階段的人工智能體所不能完成的,即便對于某一個人工智能體施加了“刑罰”,其他人工智能體并不能夠了解它所遭受的處罰,可能只會了解到一個人工智能體的情況發(fā)生了變化,也不會因而調(diào)整自身的運轉(zhuǎn),從而導致這一“威懾”目的難以實現(xiàn)。另一方面,對人工智能體施加“刑罰”無法實現(xiàn)“維護民眾對法規(guī)范有效性的信賴”。無論人工智能體是否作為主體被看待,人作為社會核心主體的社會立場具有持久的穩(wěn)定性。由此,社會民眾對于刑罰維護法規(guī)范社會效力的信賴依然應(yīng)作為積極的一般預(yù)防的關(guān)鍵予以探討。所以,積極一般預(yù)防主要用于說明刑罰的作用方式,而非明確限定處罰范圍的標準。對于人工智能體施加“刑罰”卻無法達到這一目的,甚至可能背道而馳。社會公眾如果了解到對于人工智能判處“刑罰”不但不會認同這樣的處罰,反而可能會產(chǎn)生這樣的疑問——刑罰原來不止可以適用于自然人或法人,也可以適用于人工智能體,那么是否自身的社會地位受到貶損?自身生而為人的地位和尊嚴是否在法律中不再那么重要?若是如此,其初始目的與最終效果可謂南轅北轍。

    (二)刑罰本身無效

    有學者為人工智能體設(shè)計了具體的“刑罰”類型:“適用于智能機器人的刑罰可以有三種,即刪除數(shù)據(jù)、修改程序、永久銷毀?!盵19]97從形式上,“刪除數(shù)據(jù)”“修改程序”“永久銷毀”系對于人工智能體實施的技術(shù)操作,并會導致其本體的狀況改變。但是與現(xiàn)行的刑罰而言,這些狀況改變卻無法產(chǎn)生相似的處罰效果和意義,并且和其初衷相背離。

    1.“刪除數(shù)據(jù)”“修改程序”所參照的是已經(jīng)被廢除的身體刑

    有論者認為:“所謂刪除數(shù)據(jù),是指刪除智能機器人實施犯罪行為所依賴的數(shù)據(jù)信息,相當于抹去智能機器人的‘犯罪記憶’,使其恢復(fù)到實施犯罪行為之前的狀態(tài),‘犯罪記憶’將不會再成為該智能機器人成長經(jīng)歷中的一部分,從而引導智能機器人在今后的深度學習過程中主動獲取‘正面數(shù)據(jù)’,排斥或絕緣于可能導致違法犯罪行為的‘負面數(shù)據(jù)’,直接降低其人身危險性?!薄八^修改程序,是指在通過多次刪除數(shù)據(jù)仍然無法阻止機器人主動獲取有可能實施違反犯罪行為的‘負面數(shù)據(jù)’時,即該智能機器人不能被正面引導時,強制修改其基礎(chǔ)程序,將其獲取外界數(shù)據(jù)、深度學習的能力限制在程序所設(shè)定的特定范圍內(nèi),從根本上剝奪其實施犯罪行為的可能性。這意味著該智能機器人的深度學習功能從此將是不全面的、受限制的,不再能獲取人類程序限定范圍外的數(shù)據(jù),因而無法產(chǎn)生超出人類意志之外的自我獨立意志?!盵19]98“刪除數(shù)據(jù)”“修改程序”難以和現(xiàn)行刑罰體系中的自由刑類比。如果論者將對于人工智能體實施的“刑罰”概括為“暫停應(yīng)用”或者“停止應(yīng)用”,則可類比自由刑進行分析。但是即便規(guī)定為“暫停應(yīng)用”或者“停止應(yīng)用”,也同樣存在下段所述的問題?!皠h除數(shù)據(jù)”“修改程序”反而契合身體刑的特點?!皠h除數(shù)據(jù)”實際上是“抹去智能機器人的‘犯罪記憶’”,使其喪失一定的“記憶”機能?!靶薷某绦颉眲t是在“刪除數(shù)據(jù)”無法奏效時,“強制修改其基礎(chǔ)程序”,從內(nèi)容上更符合身體刑的特征。即便作此類比,仍然存在較大的問題。如果在承認人工智能體為犯罪行為主體的前提下對其設(shè)置“刪除數(shù)據(jù)”“修改程序”的“刑罰”,且不論對于人工智能體本身處罰的妥當性問題,本身對于近代以來的刑法理念和刑罰體系也會產(chǎn)生巨大的沖擊。

    2.“永久銷毀”無法有效地與生命刑類比

    有論者認為:“所謂永久銷毀,是指在刪除數(shù)據(jù)、修改程序均無法降低實施了犯罪行為的智能機器人的人身危險性時,換言之,該智能機器人的深度學習歷程已經(jīng)十分漫長,并在長久的實踐與成長中形成了程序上的‘反刪除能力’‘反修改能力’,除了將其永久銷毀外,人類已無法實現(xiàn)對其在數(shù)據(jù)、程序上的有效控制,便只能將其永久銷毀?!盵19]98從形式上看“永久銷毀”似乎與生命刑較為類似?!坝谰娩N毀”似乎也是在“人類已無法實現(xiàn)對其在數(shù)據(jù)、程序上的有效控制”的情況下,將其永遠消滅的方式。但是這一類比存在以下問題:一方面,人的生命和人工智能體的壽命難以同等看待。人的主體性和生命屬性是不可分離的。而如前所述現(xiàn)階段的人工智能體仍然難以具有生物性,更無法確認其具有生命權(quán),更多的是以(使用)壽命的形式表現(xiàn)。生命刑作為最嚴厲的刑罰方式就在于對于自然人生命的剝奪,從而對其在根本上否定和消滅,而人工智能體缺乏生命性,進而導致生命刑對其無法適用。由此,“永久銷毀”更多的是基于客體的視角展開(如對于物的處置),而非主體的視角展開,“銷毀”的表述也證實這一點。另一方面,由于“永久銷毀”實施主體的問題可能減損刑罰效力并且導致難以預(yù)測的社會影響。如果認可“永久銷毀”,勢必會導致司法機關(guān)以外的主體參與到行刑過程中,從而減損刑罰的國家公信力。此外,如果是商業(yè)公司決定對自己制造的人工智能體予以“永久銷毀”該如何認定?就自然人主體而言,從天賦人權(quán)的角度,父母顯然無法決定子女的生死,那就人工智能體而言是否的商業(yè)公司就可以對其施以“私刑”?這一情況完全可能發(fā)生,比如微軟公司可以基于Tay的不當言論而對其予以“永久銷毀”。因而上述問題應(yīng)當?shù)玫綉?yīng)有的重視。

    3.上述“刑罰”與論者的人工智能體法律擬制思路背道而馳

    如前所述,論者認為可以參考法人犯罪的主體擬制思路,進而將人工智能體作為犯罪行為主體看待。然而法人可以從法律上作為主體有其前提——以其獨立的財產(chǎn)承擔責任。我國刑罰體系中的罰金刑就可以適用于法人(單位)犯罪。我國《刑法》第31條規(guī)定:“單位犯罪的,對單位判處罰金,并對其直接負責的主管人員和其他直接責任人員判處刑罰。本法分則和其他法律另有規(guī)定的,依照規(guī)定”。我國其他法律認可法人以其財產(chǎn)承擔責任,比如《公司法》第3條規(guī)定:“公司是企業(yè)法人,有獨立的法人財產(chǎn),享有法人財產(chǎn)權(quán)。公司以其全部財產(chǎn)對公司的債務(wù)承擔責任”。而目前論者是在主體論層面采取法人的擬制思路,在刑罰論層面采取類比自然人的思路,卻沒有說明原因和理由,讓人頗為困惑。

    此外,論者基于為人工智能體創(chuàng)設(shè)新刑罰類型的立場否定了現(xiàn)有刑罰種類對其適用的可能:“在可能適用的刑罰種類上,智能機器人異于自然人和單位之處表現(xiàn)在四個方面。其一,智能機器人不享有財產(chǎn)權(quán),其也無須財產(chǎn)以維持其生存,罰金、沒收財產(chǎn)的刑罰無法施加于智能機器人。其二,智能機器人不享有參與政治生活的權(quán)利,剝奪政治權(quán)利的刑罰亦無法施加于智能機器人。其三,智能機器人由程序設(shè)計和編制而成,不存在‘人身權(quán)’,因而也就不存在所謂的人身自由權(quán),其無法被限制和剝奪人身自由,管制、拘役、有期徒刑和無期徒刑的刑罰同樣無法施加于智能機器人。其四,智能機器人不具有生命,更無生命權(quán)可言,剝奪自然人生命的死刑更不能施加于智能機器人。”[19]97然而上述否定實際上也排除了人工智能基于人身[注]在此筆者對于人身持廣義的理解,如剝奪政治權(quán)利、資格刑等也是基于特定個人所創(chuàng)設(shè)的,也離不開具體的個人人身。、財產(chǎn)承擔“刑罰”的可能性,論者也沒有指出人工智能體除了以人身或財產(chǎn)外,還能以何種實體承擔“刑罰”?更進一步從教義學的視角考察,如果不能歸結(jié)于人身或財產(chǎn),那么此種措施是否還可以稱之為刑罰?筆者對此持否定看法。

    五、結(jié)語

    人工智能技術(shù)的發(fā)展不僅在產(chǎn)生新技術(shù)、新挑戰(zhàn)、新理論,也在引發(fā)新爭議。2017年10月在沙特阿拉伯首都利雅得舉行的“未來投資倡議”大會上,“女性”機器人索菲婭被授予沙特公民身份,她也因此成為史上首個獲得公民身份的機器人。然而2018年1月就有媒體指出,以目前人工智能發(fā)展的階段,她離自我意識覺醒還很遠。事實上,索菲亞那些滿是爭議的話,實在“言不由衷”,是研發(fā)團隊提前設(shè)計好的內(nèi)容。一位資深業(yè)界人士曾在2018年1月4日公開表示,機器人索菲亞是一場徹頭徹尾的騙局[注]參見:謝瑋.網(wǎng)紅機器人索菲亞何許“人”也?[J].中國經(jīng)濟周刊,2018(5):84-86.。由此,對待人工智能相關(guān)刑法問題,或許在跟進與探討的同時也應(yīng)保持必要的冷靜與思考。

    人工智能體的發(fā)展及其相關(guān)的犯罪亟須從刑法教義學角度進行深入的研究,但是在此過程中應(yīng)該秉持何種理論態(tài)度?筆者認為,應(yīng)秉持前瞻性而非超前性的理論態(tài)度。筆者也認可隨著人工智能技術(shù)的發(fā)展,不排除人工智能體可以在刑法領(lǐng)域扮演更為重要的角色,也不排除從法人的刑法擬制角度思考人工智能體的刑法地位問題。但是問題在于現(xiàn)階段的人工智能體仍然處于低級階段,對其相關(guān)的刑法問題研究應(yīng)立足于這一現(xiàn)實,如果超前地為將來的人工智能體設(shè)置現(xiàn)在“刑事責任”,很可能當真正需要“刑事責任”的時候也已過時,從而導致理論資源和司法資源的浪費。法學學者不同于文學作者,其研究或許更應(yīng)在“事實與規(guī)范之間來回穿梭”,而非天馬行空地進行文學想象。由此,筆者認為,關(guān)注和探討以下理論問題而非急于構(gòu)建新的人工智能體“刑事責任”,或許才是亟須進行的研究:“第一,注重對于人工智能犯罪相關(guān)概念和對象立法前瞻的界定。第二,注重人工智能犯罪立法前瞻性與刑法安定性的統(tǒng)一。第三,注重區(qū)分刑事立法的前瞻性與過度刑法化?!盵15]60JS

    猜你喜歡
    刑事責任刑罰刑法
    過度刑法化的傾向及其糾正
    法律方法(2021年4期)2021-03-16 05:35:02
    刑罰威懾力的刑法學分析
    活力(2019年22期)2019-03-16 12:49:24
    代運為名行詐騙 構(gòu)成犯罪獲刑罰
    斷鹽也是一種刑罰
    網(wǎng)絡(luò)傳銷案中傳銷管理人員的刑事責任認定
    人間(2016年30期)2016-12-03 20:32:02
    破產(chǎn)管理人的法律責任
    論被害人過錯行為對行為人刑事責任的影響
    環(huán)境污染侵害的刑事責任研究
    刑法適用與刑法教義學的向度
    刑法論叢(2016年3期)2016-06-01 12:15:17
    刑罰的證明標準
    人間(2015年22期)2016-01-04 12:47:28
    一区二区三区乱码不卡18| 亚洲激情五月婷婷啪啪| 欧美成人精品欧美一级黄| 亚洲综合精品二区| 美女福利国产在线| 2021少妇久久久久久久久久久| 少妇的丰满在线观看| 一本—道久久a久久精品蜜桃钙片| 91aial.com中文字幕在线观看| 亚洲精品乱久久久久久| 天堂8中文在线网| 色视频在线一区二区三区| 黄片播放在线免费| 亚洲精品国产av成人精品| 免费在线观看视频国产中文字幕亚洲 | 又大又爽又粗| 又大又黄又爽视频免费| 国产片内射在线| 日日爽夜夜爽网站| 亚洲欧美中文字幕日韩二区| 黑人巨大精品欧美一区二区蜜桃| 欧美在线黄色| av有码第一页| 国产精品av久久久久免费| 国产免费福利视频在线观看| 久久久精品国产亚洲av高清涩受| 国产精品欧美亚洲77777| 亚洲精品av麻豆狂野| 欧美 亚洲 国产 日韩一| 欧美人与性动交α欧美精品济南到| 操美女的视频在线观看| 亚洲精品久久午夜乱码| 在线免费观看不下载黄p国产| 熟妇人妻不卡中文字幕| 午夜福利乱码中文字幕| 99国产综合亚洲精品| 久久久亚洲精品成人影院| 99热国产这里只有精品6| 亚洲综合色网址| 亚洲国产精品一区三区| 久热爱精品视频在线9| www.自偷自拍.com| 亚洲久久久国产精品| 你懂的网址亚洲精品在线观看| 国产精品国产三级专区第一集| 操美女的视频在线观看| 黑人欧美特级aaaaaa片| 一边摸一边抽搐一进一出视频| 国产一区二区三区视频了| 一级a爱片免费观看的视频| 99热只有精品国产| 母亲3免费完整高清在线观看| 男人操女人黄网站| 欧美中文综合在线视频| 午夜福利影视在线免费观看| 不卡av一区二区三区| 亚洲天堂国产精品一区在线| 色在线成人网| 亚洲一区中文字幕在线| 夜夜躁狠狠躁天天躁| 女人爽到高潮嗷嗷叫在线视频| 999久久久精品免费观看国产| 亚洲国产精品999在线| 老汉色av国产亚洲站长工具| 亚洲,欧美精品.| 日韩欧美一区视频在线观看| 国产视频一区二区在线看| 国产在线观看jvid| 少妇熟女aⅴ在线视频| 一级毛片高清免费大全| 亚洲色图综合在线观看| netflix在线观看网站| 免费无遮挡裸体视频| 亚洲精品中文字幕在线视频| 无遮挡黄片免费观看| 国产精品,欧美在线| 久久久久久国产a免费观看| 精品国产美女av久久久久小说| 亚洲激情在线av| 在线永久观看黄色视频| 国产欧美日韩精品亚洲av| 国产欧美日韩一区二区三| 日韩欧美免费精品| 国产成人一区二区三区免费视频网站| 精品国内亚洲2022精品成人| 国产一区二区三区视频了| 日韩 欧美 亚洲 中文字幕| 久久久久久国产a免费观看| 嫁个100分男人电影在线观看| 校园春色视频在线观看| av电影中文网址| 久久婷婷成人综合色麻豆| av欧美777| 露出奶头的视频| 亚洲无线在线观看| 久99久视频精品免费| 级片在线观看| 久久久久久久久免费视频了| 国产精品1区2区在线观看.| 亚洲精品一区av在线观看| 在线免费观看的www视频| 亚洲七黄色美女视频| 国产精品秋霞免费鲁丝片| 国产日韩一区二区三区精品不卡| 91麻豆精品激情在线观看国产| 国产精品一区二区免费欧美| 亚洲欧美精品综合久久99| 一进一出抽搐动态| 欧美日韩福利视频一区二区| 男人操女人黄网站| av福利片在线| 在线观看免费日韩欧美大片| av网站免费在线观看视频| 国产成人精品无人区| 亚洲狠狠婷婷综合久久图片| 香蕉丝袜av| 亚洲人成电影免费在线| 国内精品久久久久精免费| 成人18禁高潮啪啪吃奶动态图| 老司机深夜福利视频在线观看| 成人av一区二区三区在线看| 亚洲激情在线av| 免费人成视频x8x8入口观看| 真人一进一出gif抽搐免费| 色尼玛亚洲综合影院| 搞女人的毛片| 天堂动漫精品| 亚洲免费av在线视频| 日韩有码中文字幕| 女警被强在线播放| 黄色毛片三级朝国网站| 变态另类成人亚洲欧美熟女 | 国产成+人综合+亚洲专区| 老汉色∧v一级毛片| 黄片小视频在线播放| 免费观看人在逋| 在线观看日韩欧美| 很黄的视频免费| 正在播放国产对白刺激| 9热在线视频观看99| 亚洲av成人不卡在线观看播放网| 国产一区二区激情短视频| 变态另类成人亚洲欧美熟女 | 黄频高清免费视频| 精品久久久久久久毛片微露脸| 国产欧美日韩一区二区精品| 亚洲黑人精品在线| 老司机深夜福利视频在线观看| 国产成人av激情在线播放| 午夜久久久久精精品| 狂野欧美激情性xxxx| 亚洲免费av在线视频| 免费不卡黄色视频| 国产黄a三级三级三级人| 久久久久久久午夜电影| 日本a在线网址| 欧美成人性av电影在线观看| 超碰成人久久| 免费在线观看影片大全网站| 日本精品一区二区三区蜜桃| 麻豆av在线久日| bbb黄色大片| 香蕉久久夜色| 亚洲成人国产一区在线观看| 99久久精品国产亚洲精品| 老司机在亚洲福利影院| 露出奶头的视频| 国产亚洲欧美精品永久| 亚洲国产欧美日韩在线播放| 国产高清有码在线观看视频 | 国产一区二区在线av高清观看| 亚洲欧美激情综合另类| 一级a爱视频在线免费观看| 91精品三级在线观看| 国产亚洲欧美98| 成年版毛片免费区| 日韩三级视频一区二区三区| 欧美黄色淫秽网站| 身体一侧抽搐| 久久亚洲真实| 亚洲色图综合在线观看| 99re在线观看精品视频| 国产成人av教育| www日本在线高清视频| 久久天堂一区二区三区四区| 亚洲成a人片在线一区二区| 老司机在亚洲福利影院| 亚洲性夜色夜夜综合| 亚洲男人的天堂狠狠| 丝袜在线中文字幕| 色播亚洲综合网| 夜夜躁狠狠躁天天躁| 最好的美女福利视频网| 免费看十八禁软件| 香蕉久久夜色| 亚洲精品粉嫩美女一区| 老司机福利观看| 搡老熟女国产l中国老女人| 欧美激情久久久久久爽电影 | 老熟妇乱子伦视频在线观看| 精品高清国产在线一区| 搡老熟女国产l中国老女人| 亚洲中文字幕日韩| 国产主播在线观看一区二区| 精品国产一区二区三区四区第35| 天堂√8在线中文| 国产午夜精品久久久久久| 最近最新中文字幕大全免费视频| 很黄的视频免费| 中文字幕久久专区| 老熟妇仑乱视频hdxx| 免费高清视频大片| 欧美日韩亚洲国产一区二区在线观看| 亚洲 国产 在线| 亚洲国产欧美一区二区综合| 亚洲 欧美一区二区三区| 国产xxxxx性猛交| 久久性视频一级片| 777久久人妻少妇嫩草av网站| 国产亚洲欧美在线一区二区| 亚洲欧洲精品一区二区精品久久久| 亚洲全国av大片| 人成视频在线观看免费观看| 国产成年人精品一区二区| e午夜精品久久久久久久| 一二三四在线观看免费中文在| 亚洲精品国产精品久久久不卡| 久久久国产欧美日韩av| 青草久久国产| 国产精品98久久久久久宅男小说| 欧美日韩亚洲综合一区二区三区_| 亚洲天堂国产精品一区在线| 午夜福利欧美成人| 夜夜夜夜夜久久久久| 午夜两性在线视频| 51午夜福利影视在线观看| 最近最新中文字幕大全电影3 | 精品国产一区二区三区四区第35| 国产av又大| 国产精品久久久久久亚洲av鲁大| 搡老岳熟女国产| 夜夜爽天天搞| 成人欧美大片| 欧美激情 高清一区二区三区| 国产成人欧美在线观看| 伊人久久大香线蕉亚洲五| 母亲3免费完整高清在线观看| 成人精品一区二区免费| 亚洲精品美女久久av网站| www.精华液| 99国产极品粉嫩在线观看| 大香蕉久久成人网| 免费无遮挡裸体视频| 淫秽高清视频在线观看| 日韩大尺度精品在线看网址 | 免费在线观看日本一区| 他把我摸到了高潮在线观看| 欧美一级毛片孕妇| 午夜影院日韩av| 欧美人与性动交α欧美精品济南到| 亚洲av五月六月丁香网| 国产亚洲精品久久久久5区| 久久人人爽av亚洲精品天堂| 男人舔女人下体高潮全视频| 热99re8久久精品国产| 一级黄色大片毛片| 黄色毛片三级朝国网站| 亚洲精品久久成人aⅴ小说| 麻豆国产av国片精品| 亚洲精品av麻豆狂野| 精品久久久久久久人妻蜜臀av | 久久久精品国产亚洲av高清涩受| 欧美一级a爱片免费观看看 | 女人精品久久久久毛片| 国产熟女xx| 久久国产乱子伦精品免费另类| 国产av精品麻豆| 在线av久久热| 熟妇人妻久久中文字幕3abv| 美女免费视频网站| 亚洲国产精品成人综合色| 欧美中文综合在线视频| 国产精品乱码一区二三区的特点 | 午夜久久久在线观看| 韩国精品一区二区三区| 国产欧美日韩一区二区精品| 精品少妇一区二区三区视频日本电影| 老鸭窝网址在线观看| 咕卡用的链子| 视频区欧美日本亚洲| 最新美女视频免费是黄的| 国产在线观看jvid| www国产在线视频色| 精品电影一区二区在线| 十八禁人妻一区二区| 美女国产高潮福利片在线看| 大陆偷拍与自拍| 国产在线精品亚洲第一网站| 国产av一区二区精品久久| 亚洲免费av在线视频| 亚洲专区中文字幕在线| 国产欧美日韩一区二区精品| 黑人巨大精品欧美一区二区mp4| 少妇裸体淫交视频免费看高清 | 久久精品影院6| 可以在线观看的亚洲视频| 一区二区三区激情视频| 大香蕉久久成人网| 亚洲 欧美 日韩 在线 免费| 免费看十八禁软件| 女同久久另类99精品国产91| 一边摸一边抽搐一进一小说| 亚洲五月色婷婷综合| 亚洲七黄色美女视频| 欧美乱码精品一区二区三区| 极品教师在线免费播放| 国产精品野战在线观看| 变态另类丝袜制服| 久久青草综合色| 国产91精品成人一区二区三区| 亚洲国产中文字幕在线视频| 99国产极品粉嫩在线观看| 久久久久久久久久久久大奶| 97超级碰碰碰精品色视频在线观看| 一级片免费观看大全| 色av中文字幕| 黄网站色视频无遮挡免费观看| 99国产精品免费福利视频| 美女扒开内裤让男人捅视频| 在线观看免费视频网站a站| 免费不卡黄色视频| 欧美日本亚洲视频在线播放| 成人国语在线视频| 丁香欧美五月| 国产亚洲欧美精品永久| 在线观看免费视频网站a站| 成年女人毛片免费观看观看9| 人人妻人人澡欧美一区二区 | 免费在线观看影片大全网站| av福利片在线| 老司机靠b影院| 香蕉国产在线看| 亚洲电影在线观看av| 国产成人影院久久av| 精品福利观看| 在线观看午夜福利视频| 久久香蕉精品热| 欧美成人一区二区免费高清观看 | 99精品久久久久人妻精品| 不卡一级毛片| 国产欧美日韩一区二区精品| 纯流量卡能插随身wifi吗| 欧美人与性动交α欧美精品济南到| 999久久久精品免费观看国产| 男人的好看免费观看在线视频 | 99国产精品一区二区三区| 叶爱在线成人免费视频播放| 国产伦一二天堂av在线观看| 一夜夜www| 亚洲va日本ⅴa欧美va伊人久久| 叶爱在线成人免费视频播放| 久久精品亚洲熟妇少妇任你| 亚洲黑人精品在线| 在线观看免费视频日本深夜| 给我免费播放毛片高清在线观看| 亚洲成人久久性| 一级作爱视频免费观看| 91字幕亚洲| 欧美日韩一级在线毛片| 国产精品久久久久久亚洲av鲁大| 夜夜夜夜夜久久久久| 国产av在哪里看| 又黄又粗又硬又大视频| 免费高清在线观看日韩| 老司机深夜福利视频在线观看| 免费女性裸体啪啪无遮挡网站| 国产亚洲精品一区二区www| 亚洲性夜色夜夜综合| 韩国av一区二区三区四区| 国产精品精品国产色婷婷| 热re99久久国产66热| 琪琪午夜伦伦电影理论片6080| 精品久久久久久久人妻蜜臀av | 人妻丰满熟妇av一区二区三区| 国产欧美日韩精品亚洲av| 亚洲 欧美一区二区三区| 国产精品九九99| xxx96com| 99在线人妻在线中文字幕| 成人欧美大片| 亚洲性夜色夜夜综合| 午夜福利影视在线免费观看| 大型av网站在线播放| 免费无遮挡裸体视频| a级毛片在线看网站| 又紧又爽又黄一区二区| 精品欧美国产一区二区三| 色哟哟哟哟哟哟| 亚洲人成电影免费在线| 婷婷精品国产亚洲av在线| 十分钟在线观看高清视频www| 涩涩av久久男人的天堂| 午夜福利成人在线免费观看| 午夜福利一区二区在线看| 久久午夜综合久久蜜桃| 国产黄a三级三级三级人| 一级毛片高清免费大全| 国产伦人伦偷精品视频| 手机成人av网站| 18美女黄网站色大片免费观看| 麻豆成人av在线观看| 十八禁人妻一区二区| 欧美亚洲日本最大视频资源| 精品无人区乱码1区二区| 亚洲美女黄片视频| 老司机福利观看| 国产蜜桃级精品一区二区三区| 天堂影院成人在线观看| 一二三四社区在线视频社区8| 久久国产亚洲av麻豆专区| 黑丝袜美女国产一区| 熟妇人妻久久中文字幕3abv| 中亚洲国语对白在线视频| 亚洲国产高清在线一区二区三 | 亚洲成国产人片在线观看| 午夜福利欧美成人| 丰满人妻熟妇乱又伦精品不卡| 国产麻豆69| 欧美不卡视频在线免费观看 | 真人做人爱边吃奶动态| 天天添夜夜摸| 激情在线观看视频在线高清| 久久久久国内视频| 国产欧美日韩一区二区三区在线| 成人国语在线视频| 黄色女人牲交| 日韩大尺度精品在线看网址 | av天堂久久9| 怎么达到女性高潮| 久久久久久久久中文| 色综合亚洲欧美另类图片| 精品午夜福利视频在线观看一区| 欧美+亚洲+日韩+国产| 国产伦人伦偷精品视频| 日本三级黄在线观看| 免费不卡黄色视频| 岛国在线观看网站| 啦啦啦 在线观看视频| 国产97色在线日韩免费| 99国产精品一区二区三区| 久久香蕉国产精品| 国产区一区二久久| 欧美日韩黄片免| 亚洲精华国产精华精| 窝窝影院91人妻| 天堂√8在线中文| 国产aⅴ精品一区二区三区波| 韩国精品一区二区三区| 久久久久国内视频| 国产熟女xx| 国产高清videossex| 亚洲少妇的诱惑av| 久久九九热精品免费| 黑人巨大精品欧美一区二区mp4| 亚洲一码二码三码区别大吗| 国产精品亚洲美女久久久| 变态另类丝袜制服| 淫妇啪啪啪对白视频| 亚洲激情在线av| 多毛熟女@视频| 成人三级黄色视频| 夜夜夜夜夜久久久久| 亚洲av成人不卡在线观看播放网| 99riav亚洲国产免费| 国语自产精品视频在线第100页| 丝袜美腿诱惑在线| 高潮久久久久久久久久久不卡| 十八禁网站免费在线| 精品卡一卡二卡四卡免费| 国产单亲对白刺激| 搡老岳熟女国产| 在线播放国产精品三级| 亚洲av日韩精品久久久久久密| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲专区字幕在线| 99riav亚洲国产免费| 男人舔女人的私密视频| 午夜福利成人在线免费观看| 亚洲熟妇中文字幕五十中出| 国产熟女xx| 1024视频免费在线观看| 欧美一区二区精品小视频在线| 中文字幕色久视频| 欧美黑人欧美精品刺激| 欧美日本视频| 日韩高清综合在线| 亚洲av成人不卡在线观看播放网| 亚洲国产精品久久男人天堂| АⅤ资源中文在线天堂| 超碰成人久久| 香蕉国产在线看| 欧美日本亚洲视频在线播放| 中文字幕最新亚洲高清| 国产一区二区三区在线臀色熟女| 久热爱精品视频在线9| 免费在线观看黄色视频的| 美女午夜性视频免费| 黄色a级毛片大全视频| 日韩视频一区二区在线观看| 麻豆成人av在线观看| 美女 人体艺术 gogo| 欧美黑人精品巨大| 男男h啪啪无遮挡| av视频在线观看入口| 999精品在线视频| 中文字幕色久视频| 深夜精品福利| 免费在线观看视频国产中文字幕亚洲| 久久久久九九精品影院| 91成人精品电影| www.熟女人妻精品国产| 久久精品人人爽人人爽视色| 亚洲精品一卡2卡三卡4卡5卡| 日本一区二区免费在线视频| 久热这里只有精品99| 国产1区2区3区精品| 免费搜索国产男女视频| 好男人电影高清在线观看| 成熟少妇高潮喷水视频| 国产黄a三级三级三级人| 又黄又爽又免费观看的视频| 中文字幕人妻熟女乱码| 男人舔女人下体高潮全视频| 黄色毛片三级朝国网站| 亚洲精华国产精华精| 自线自在国产av| 国产激情久久老熟女| 国产三级黄色录像| 老熟妇乱子伦视频在线观看| 国产国语露脸激情在线看| 久久狼人影院| 中文字幕av电影在线播放| 满18在线观看网站| 日本免费一区二区三区高清不卡 | 久久久水蜜桃国产精品网| 免费在线观看视频国产中文字幕亚洲| 制服诱惑二区| 一级a爱片免费观看的视频| 高潮久久久久久久久久久不卡| 51午夜福利影视在线观看| 久久婷婷成人综合色麻豆| 成人三级做爰电影| 日日夜夜操网爽| 色播亚洲综合网| 自线自在国产av| 伦理电影免费视频| 免费看美女性在线毛片视频| 一区二区三区激情视频| 精品欧美一区二区三区在线| 老汉色av国产亚洲站长工具| 手机成人av网站| 精品国产一区二区久久| 国产精品,欧美在线| 国产免费男女视频| 久久午夜亚洲精品久久| 日本欧美视频一区| 免费一级毛片在线播放高清视频 | 好男人电影高清在线观看| 高清在线国产一区| 精品国产乱码久久久久久男人| 日本黄色视频三级网站网址| 欧美中文日本在线观看视频| 老汉色av国产亚洲站长工具| 免费无遮挡裸体视频| 精品无人区乱码1区二区| 在线观看免费视频网站a站| 精品卡一卡二卡四卡免费| 禁无遮挡网站| 亚洲国产看品久久| 午夜日韩欧美国产| 国产色视频综合| 男人舔女人下体高潮全视频| 看黄色毛片网站| 日韩大码丰满熟妇| 亚洲国产精品999在线| 成人欧美大片| 又大又爽又粗| 一级a爱片免费观看的视频| 国产1区2区3区精品| 这个男人来自地球电影免费观看| 色在线成人网| 一级毛片精品| a在线观看视频网站| 亚洲国产毛片av蜜桃av| 久久青草综合色| 18美女黄网站色大片免费观看| 亚洲成人精品中文字幕电影| 可以在线观看毛片的网站| 久久久久国内视频| 午夜免费成人在线视频| 一级毛片女人18水好多| 亚洲精华国产精华精| 精品久久久久久,| 久久 成人 亚洲| 欧美成人一区二区免费高清观看 | 久久人人爽av亚洲精品天堂| 日韩av在线大香蕉| 涩涩av久久男人的天堂| 窝窝影院91人妻| 高清毛片免费观看视频网站| 免费少妇av软件| 亚洲 欧美一区二区三区| 这个男人来自地球电影免费观看| 美女免费视频网站| 精品卡一卡二卡四卡免费|