• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    刑事訴訟中的人工智能①
    ——以犯罪預(yù)測為例

    2024-01-09 01:43:39米夏埃爾黑格曼斯
    關(guān)鍵詞:法官信任人工智能

    [德]米夏埃爾·黑格曼斯

    人工智能在刑事訴訟中的運用受到討論,這包括特定的調(diào)查事項,如為了確保對核心領(lǐng)域的保護②Gleizer,in:Beck/Kusche/Valerius(Hrsg.),Digitalisierung,Automatisierung,KI und Recht,2020,S.535.而對德國《刑事訴訟法》第100B、100C 條規(guī)定的措施進行監(jiān)督,以及幫助法官在量刑③Kohn,Künstliche Intelligenz in der Strafzumessung,2021.上做出決定,還有刑罰執(zhí)行和監(jiān)禁執(zhí)行的問題——尤其是為了評判是否采取必要的執(zhí)行措施和假釋而進行犯罪預(yù)測。由于當(dāng)前高度復(fù)雜的數(shù)字系統(tǒng)在發(fā)展上的迅速進步,必要的技術(shù)前提(尤其是計算機能力和適當(dāng)?shù)能浖┻t早是可以獲得的,所以這一發(fā)展不會停留在理論設(shè)想中。因此,在未經(jīng)準(zhǔn)備地遭遇制定司法和刑事政策的誘惑以及觸發(fā)假想的客觀約束(Sachzwang)或自動機制以前,是時候去思考刑事訴訟中關(guān)于人工智能運用的機遇、風(fēng)險和必要的規(guī)范性框架條件了。

    一、我們?nèi)绾卫斫狻叭斯ぶ悄堋?/h2>

    人工智能的概念很不統(tǒng)一地得到運用,在此應(yīng)當(dāng)在一種嚴(yán)格的意義上予以理解。這一般不是指附帶數(shù)據(jù)庫系統(tǒng)和記錄管理、已進入司法①So hat die elektronische Akte in der Ziviljustiz bereits das Versuchsstadium verlassen und ist weitgehend etabliert(§§130a ff.ZPO).中或在可預(yù)見的將來受到規(guī)劃的數(shù)字化。②Vgl.Mitterer,in:Anders/ Graalmann-Scheerer/Schady(Hrsg.),Innovative Entwicklungen in den deutschen Staatsanwaltschaften,2021,S.353.結(jié)構(gòu)通常相對簡單的電子系統(tǒng)對程序發(fā)展的助益建立在確定的計算機程序這一基礎(chǔ)上,并由此基本上始終能得到法官的理解和監(jiān)督。人工智能的特殊性在于機器通過算法的運用進行學(xué)習(xí)這一可能性,該可能性從數(shù)據(jù)中推斷出獨立的規(guī)律性,持續(xù)調(diào)整和優(yōu)化以經(jīng)驗為基礎(chǔ)的系統(tǒng)。人工智能系統(tǒng)在研發(fā)及其后的數(shù)據(jù)處理階段運用了數(shù)學(xué)算法而非單純的“如果—那么”規(guī)則,用數(shù)學(xué)算法識別復(fù)雜的模型,與人類觀察者的眼睛相反,后者注意到的主要是個別情況。較強的算法是將來的神經(jīng)網(wǎng)絡(luò),其工作原理類似于學(xué)習(xí)過程以及對人類大腦中的反饋進行處理。判斷一種預(yù)先的評估是正確或錯誤的,根據(jù)這些信息(如根據(jù)對外部數(shù)據(jù)庫的獨立進入),該人工智能系統(tǒng)單獨或共同地改變了系統(tǒng)(“突觸”或“神經(jīng)”)內(nèi)部無數(shù)的規(guī)則連接,由此導(dǎo)致對未來的問題進行變動的評估。當(dāng)然,為了識別復(fù)雜的模型和理想地獲得適當(dāng)?shù)慕Y(jié)果,這種獨立進行學(xué)習(xí)的人工智能系統(tǒng)需要大量的訓(xùn)練數(shù)據(jù)。

    基于神經(jīng)網(wǎng)絡(luò)的多層性和復(fù)雜性,人類運用者對被開發(fā)的人工智能系統(tǒng)始終理解甚少:某個參數(shù)在何處被改變,為何經(jīng)過一段延長的訓(xùn)練期以后只能產(chǎn)生這樣一種結(jié)果——存在系統(tǒng)還無法識別的新數(shù)據(jù)?該決定過程以此方式似乎迅速成為一個“黑箱”,在復(fù)雜的人工智能系統(tǒng)中,最初的編程者也不再能完整地解釋它。為了解決人工智能的不透明性問題,近年來對“可解釋的人工智能”(Explainable AI)所進行的研究率先提出了一些大有希望的算法③Vgl.u.a.Goodfellow/Bengio/Courville,Deep Learning,2018.(參見下文),但尚未進入在此得到關(guān)注的適用范圍?;谠撎厥庑裕谛淌略V訟中,人工智能的運用關(guān)系到一種特殊的挑戰(zhàn)——由人工智能產(chǎn)生的評估,該評估以其他的程序為基礎(chǔ)或者做出決定時要進行該評估。

    二、在犯罪預(yù)測中的運用

    由于人工智能系統(tǒng)對刑事訴訟中的各項事務(wù)存在多種評估方法,對此無法對合法性和可行性進行全面的評估。因此,在進行犯罪預(yù)測時,可將以下觀點示范性地用于可想到的運用方案中:一方面,這涉及一種在結(jié)構(gòu)上還比較簡單的決定(有無風(fēng)險)。另一方面,外國已有實踐經(jīng)驗,盡管尚未運用上文意義上的人工智能,這是因為,雖然這些被運用至今的系統(tǒng)還將得到運用,但在運用過程中它們的參數(shù)沒有獨立、持續(xù)、額外地得到優(yōu)化。④Siehe dazu n?her unter III.這種關(guān)于預(yù)測的決定屬于以下范圍——法官在審判中做出判處緩刑(德國《刑法典》第56、67B 條)的決定,或者在刑罰執(zhí)行中做出決定(德國《刑法典》第67C 條、第67D 條第2、3 款)。但對執(zhí)行保安處分而言,人工智能的運用可能是不太實際的,這是因為,為了適應(yīng)電子決定過程,精神病學(xué)的評估通常具有決定性意義,這具備很強的個案關(guān)聯(lián)性并在經(jīng)驗上難以理解。至少在更輕微和中等的犯罪這一領(lǐng)域,關(guān)于緩刑和假釋的預(yù)測在數(shù)量上明顯更多,但更依賴在統(tǒng)計上具備可測量性的電子處理標(biāo)準(zhǔn)(如前科刑、執(zhí)行經(jīng)歷、犯罪種類和年齡)。只要法官在提供建議上并非罕見性地不專業(yè)(德國《刑事訴訟法》第246a 條第2款、第454 條第2 款),他以自己多少較為充沛的職業(yè)經(jīng)驗和對犯罪原因及過程的主觀認(rèn)識為背景,根據(jù)個案中對事實情況的提出和衡量,做出了較為理想但終歸是直覺性的決定。

    這種做出決定的結(jié)構(gòu)(以統(tǒng)計和數(shù)學(xué)上的關(guān)聯(lián)為基礎(chǔ)提出和評估數(shù)據(jù),完全通過數(shù)據(jù)處理被模擬)最終能給出風(fēng)險評估——是否會導(dǎo)致德國《刑事訴訟法》第56 條第1 款意義上的“期待”存在或是否符合該法第57 條第1 款第2 項的“責(zé)任”,隨后法官在做出決定前的評判中可能參考該評估。但根據(jù)當(dāng)前的規(guī)范綱領(lǐng)(Normprogramm),基于做出緩刑決定的必要評判要素,這種擴展性的運用亦即適當(dāng)?shù)木徯虥Q定無法通過人工智能做出。此外,很明顯,德國《基本法》第92 條意義上的司法權(quán)被行使,該司法權(quán)被委托給法官而非技術(shù)人員設(shè)計的一個計算機程序。①Eingehend Nink(Fn.2),S.261 ff.,287 f.對此,存在以下共識:最終的決定必須始終由法官做出,②Nink(Fn.2),S.354 f.在此要區(qū)分兩種討論面向:一方面涉及以下事實問題:人類對一種潛在的、永不出錯的工作系統(tǒng)進行控制的強度和效率。③Eisele/B?hm,in:Beck/Kusche/Valerius(Fn.1),S.519(532).另一方面涉及以下規(guī)范視角:法官保留(Richtervorbehalt)或一般的人類決定者的保留。在一般的數(shù)據(jù)保護法即歐盟《通用數(shù)據(jù)保護條例》第22 條第1 款④Art.22 Abs.1 DSGVO lautet:“Die betroffene Person hat das Recht,nicht einer ausschlie?lich auf einer automatisierten Verarbeitung[…]beruhenden Entscheidung unterworfen zu werden,die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ?hnlicher Weise erheblich beeintr?chtigt.”(當(dāng)然也有例外)中,完全自動地做出決定在一般法(einfachgesetzlich)的意義上已被禁止。⑤Steinbach(Fn.5),S.120.此外,處于核心地位的危險防控和刑事追訴部門與歐洲議會和理事會第2016/680 號指令有關(guān),該指令第11 條第1 款有相應(yīng)規(guī)定,明確要求具備(人類)責(zé)任人介入的可能性。⑥Art.11 Abs.1 RL(EU)2016/80 lautet:“Die Mitgliedstaa-ten sehen vor,dass eine ausschlie?lich auf einer automatischen Verarbeitung beruhende Entscheidung-einschlie?lich Profiling-,die eine nachteilige Rechtsfolge für die betroffene Person hat oder sie erheblich beeintr?chtigt,verboten ist,es sei denn,sie ist nach dem Unionsrecht oder dem Recht der Mitgliedstaaten,dem der Verantwortliche unterliegt und das geeignete Garantien für die Rechte und Freiheiten der betroffenen Person bietet,zumindest aber das Recht auf pers?n-liches Eingreifen seitens des Verantwortlichen,erlaubt.”德國《聯(lián)邦數(shù)據(jù)保護法》第54 條第1款的規(guī)定⑦Die Vorschrift lautet:“Eine ausschlie?lich auf einer automatischen Verarbeitung beruhende Entscheidung,die mit einer nachteiligen Rechtsfolge für die betroffene Person verbunden ist oder sie erheblich beeintr?chtigt,ist nur zul?ssig,wenn sie in einer Rechtsvorschrift vorgesehen ist.”修正性地得以實現(xiàn):通過法律規(guī)范,禁止完全自動地做出決定最終變成附許可保留的禁止,但令人驚訝的是,對責(zé)任人介入權(quán)的最低保障在此并未復(fù)歸。然而,該條款也通過進行符合該指令的解釋得到解讀。⑧Helfrich,in:Sydow(Hrsg.),Nomos Kommentar,Bundesdatenschutzgesetz,2019,§54 Rn.5.上述介入可能性的最低標(biāo)準(zhǔn)意味著一種(法官)對決定過程的監(jiān)督,同時基于其他必要的、有待評估的決定性因素,這種監(jiān)督最終僅成為一種將做出決定的人工智能支撐:法官審查人工智能所進行的犯罪預(yù)測,目的在于必要時糾正這些預(yù)測,然后(若有可能的話)將這些預(yù)測建立在以下基礎(chǔ)上——關(guān)于“可期待性”或“可負(fù)責(zé)性”的決定。

    三、機遇與風(fēng)險

    這種所謂的決定模式當(dāng)前是可以建構(gòu)的,不會從一開始就面臨無法克服的法律障礙。然而,這只是完成了第一步,因為兩個相互交織的問題完全可能導(dǎo)致:通過人工智能排除做出這種決定的支撐。第一個問題涉及對人工智能評估進行法律監(jiān)督的可行性和效率。要克服這些難以修復(fù)的薄弱環(huán)節(jié)將產(chǎn)生以下問題:對于法官所做出決定的質(zhì)量提出規(guī)范性要求。如果基于人工智能的復(fù)雜性,該決定的特定基本前提不可能得到質(zhì)問,這就涉及該問題。此外,工作量、技術(shù)信任或其他原因?qū)е陆z毫不加批判地接受技術(shù)評估——該疑慮是有價值的,并且對于非學(xué)習(xí)性信息系統(tǒng)的運用也是適用的。對此,相似的但同樣遭受疑慮的是反面效果——一種對人工智能評估不加區(qū)別的不信任,這導(dǎo)致技術(shù)支持基本上受到忽視并以(可能是比較糟糕的)直覺替代評估。這就將人工智能的優(yōu)勢轉(zhuǎn)化為劣勢,最終導(dǎo)致做出更糟糕的決定。

    在此背景下,考察一下國外迄今為止獲得的、以軟件做支撐的犯罪預(yù)測工具運用的經(jīng)驗是值得的。基于算法對罪犯進行風(fēng)險預(yù)測可能已被美國所有的州(不包括聯(lián)邦層面)采用。⑨Steinbach(Fn.5),S.85.這類系統(tǒng)⑩Eine übersicht bietet Electronic Privacy Information Center(epic.org),Liberty at Risk:Pretrial Risk Assessment Tools in the U.S.,2020,S.2 ff.中當(dāng)前最知名的是COMPAS,①COMPAS = Correctional Offender Management Profiling for Alternative Sanctions,entwickelt von Northpointe Inc.und inzwischen als COMPAS-R Core Teil der Northpointe Suite Pretrial.其以137 條信息為根據(jù),其中部分信息是通過詢問獲取的。②Der Fragebogen ist abgedruckt in Electronic Privacy Information Center(Fn.16),S.26 ff.但關(guān)于這些系統(tǒng)的經(jīng)驗是矛盾的。一個重要的批評點在于對特定族群可能存在的歧視,因為危險在于僅以膚色為根據(jù)將他們歸入風(fēng)險族群。③Nink(Fn.2),S.381 ff.此外,在風(fēng)險預(yù)測中,所謂的結(jié)果可能不會被高估,因為得到運用的系統(tǒng)在有效性上并無區(qū)別,運行的精確性較低。④James,Risk and Needs Assessment in the Federal Prison System,10.7.2018,S.4.

    在瑞士,分類能力明顯較低的FaST 軟件⑤FaST=Fall-Screening-Tool.得到運用,其當(dāng)然無法發(fā)布預(yù)測,而是將受檢者僅歸入3 個風(fēng)險族群,并且僅表明可能需要進行更詳細(xì)的說明。⑥Eisele/B?hm(Fn.9),S.525 f.在犯罪行為和人方面,來自4 個領(lǐng)域的17 條標(biāo)準(zhǔn)得到運用,使用者也要對其中的部分標(biāo)準(zhǔn)權(quán)衡一下,但這些標(biāo)準(zhǔn)既未得到深度的采用,也未對個案特殊性留有余地。⑦Wegen der Einzelheiten siehe das Manual des Fall-Screening-Tools,Version 6 aus Januar 2018.

    基于上述經(jīng)驗,當(dāng)前可用的程序(用于有效地支持法官做出決定)具備的可運用性值得懷疑。但在此背景下,如何判斷人工智能系統(tǒng)潛在的合適性?

    此外,如果對自動做出決定所持的期待很高,⑧Dietvorst/Simmons/Massey,Journal of Experimental Psychology:General 2015,Bd.144,Heft 1,114.該決定就像人類的判斷一樣,始終形塑了環(huán)境中的一部分。⑨Steinbach(Fn.5),S.33.這涉及一個高度復(fù)雜的環(huán)境,因而人們經(jīng)?!昂雎浴毕嚓P(guān)的環(huán)境因素。原因可能首先在于相關(guān)者在動力和生活環(huán)境上的多樣性,這就無法事先識別對關(guān)于預(yù)測的決定有意義的所有因素。但這可能(就像在FaST 的場合)以已知的少數(shù)因素的減少為根據(jù),有人想要充分地認(rèn)識其效果,嚴(yán)格循證的規(guī)定參數(shù)(Streng Evidenzbasierte Vorgaben)對此通常是欠缺的。有人可能為了避免歧視而故意刪除了其他因素。⑩Siehe etwa die Bemühungen in Pennsylvania,ethnisch begründete Risikomodifikationen auszublenden,z.B.in den Richtlinien der Pennsylvania Commission on Sentencing.在算法訓(xùn)練中,何種因素占據(jù)重要地位?這在某種程度上也取決于開發(fā)者和委托人的世界觀(和犯罪觀)。?Steinbach(Fn.5),S.34.此外,只有在人工智能模型中明確的獲取和供給這一場合,從情境角度誘發(fā)或阻礙犯罪的影響可能才得到考慮,這種獲取和供給只是識別了一般性的促進或阻礙犯罪的情況?;谌祟惖臎Q定自由,這是否也在個案中起作用是懸而未決的。

    此目的也不一定是最好的,最好的是:進步取決于預(yù)測是否比現(xiàn)狀起到更好的作用。人工智能的運用可在多個方面考慮已有的預(yù)測方法,對此要富于幫助性。眾所周知,人類做出決定時在感知、信息處理、決定的做出方面均遭到某種程度的(未考慮到的)扭曲(“偏差”)。例如,在法學(xué)語境下,以下傾向是較為重要的:對符合最初推測的信息進行評估、忽略相互矛盾的信息(“已證實的偏差”),或做出決定時完全忽略法官遭遇的困難和不合法的證據(jù)。?Peer/Gamliel,Court Review:The Journal of the American Judges Associaton 49(2013),114.甚至在訴訟期間數(shù)量(有時這是不重要的)的大小可能決定性地影響最終量刑的高低?Englich/Mussweiler,Journal of Applied Social Psychology 31(2001),1535.(“錨定效應(yīng)”)。這只是一些例子說明對人類做出決定的主觀影響。自主學(xué)習(xí)的人工智能系統(tǒng)沒有這種阻礙,每次做出決定都以基于數(shù)據(jù)的模型為基礎(chǔ),不被以下因素影響:最初的推測、不重要的信息、數(shù)據(jù)的順序、時間、饑餓或其他心理狀態(tài)。對此,可能實現(xiàn)一種相當(dāng)程度的公平,始終不變的循證規(guī)則就能由此得到運用。

    人工智能的另一個優(yōu)勢在于最大可能地將數(shù)據(jù)作為決定的基礎(chǔ)而加以利用,?Steinbach(Fn.5),S.30.這種決定的基礎(chǔ)優(yōu)于單純的人類或法官的經(jīng)驗基礎(chǔ)。除了更好的預(yù)判能力以外,還利用人工智能系統(tǒng)或(獨立的)數(shù)據(jù)挖掘(Data Mining),尋找不同因素(犯罪行為的發(fā)生、諸如社會環(huán)境條件等個人情況)之間在數(shù)據(jù)上的重要關(guān)聯(lián)。因此,人工智能可從獨立并同時起作用的幾種原因之間的關(guān)聯(lián)中識別出犯罪風(fēng)險,個案中的人類觀察者不一定知道這些風(fēng)險。

    人工智能有希望得到成功運用的基本前提在于足夠大而有效的數(shù)據(jù)庫,但該數(shù)據(jù)庫主要只對經(jīng)?;虼罅勘粚嵤┑姆缸锒跃邆淇烧故拘?。①Eisele/B?hm(Fn.9),S.531.為了能對犯罪黑數(shù)較高的犯罪進行可靠的預(yù)測,同時為了獲得在生活和性格方面容易導(dǎo)致犯罪的、有意義的參數(shù),還要對犯罪黑數(shù)進行相應(yīng)的研究。但對犯罪自動進行預(yù)測大體上可能還是一種空想。對于研究現(xiàn)狀較好或可研究性較強的犯罪領(lǐng)域,如商店盜竊、BTM 機犯罪、暴力犯罪,自動預(yù)測在可預(yù)見的未來完全可能得到運用。

    對此,較為重要的是,人工智能系統(tǒng)僅適用于適合進行犯罪側(cè)寫(Kriminalit?tsprofil)的情形。否則,人們將相信它是一種精確的方法所導(dǎo)致的結(jié)果,在具體情形中其不應(yīng)得到這種信任,因為算法所依據(jù)的數(shù)據(jù)過少。這也同樣適用于決定的客觀性或中立性。②Steinbach(Fn.5),S.31 ff.

    四、法官監(jiān)督結(jié)構(gòu)

    1.可比較的決定情境(Entscheidungssituation)

    要考察一下法官對人工智能提供支持的、調(diào)查領(lǐng)域的犯罪預(yù)測所進行的必要監(jiān)督,就不得不先在結(jié)構(gòu)上比較一下對鑒定意見的審查。在這種情形下,法官利用連自己都沒有的、他人的權(quán)限,以對自己做出的決定確定根據(jù)。數(shù)據(jù)庫和算法可能大體上均已家喻戶曉,但可能與計算機運算一樣,被人們理解甚少,如其自動進行的DNA 分析或類精神分裂型人格違常(schizoide Pers?nlichkeitsst?rung)的診斷。鑒定意見仍然要求理解數(shù)據(jù)庫和算法,并且不要盲目相信被告知的結(jié)論。③BGHSt 8,113(118).同樣在結(jié)構(gòu)上可以比較的是經(jīng)常在罰金程序中討論的問題——合規(guī)的自動化測量儀。在標(biāo)準(zhǔn)化的測量程序中,只有被告知的結(jié)論在正確性上存疑時,才存在詳細(xì)的審查義務(wù)。④Dazu statt vieler BGH NJW 1993,3081(3083).當(dāng)然,人們可能暫時不會將處于發(fā)展中的人工智能視為標(biāo)準(zhǔn)化的方法。在可比較的情形中,沒有必要通過征求鑒定意見去詳細(xì)地理解標(biāo)準(zhǔn)化速度測量的準(zhǔn)確性和以其為基礎(chǔ)的預(yù)判。⑤OLG Oldenburg,Beschl.v.19.7.2021-2 Ss(OWi)170/21,Rn.19.人們將鑒定意見交給審查人工智能預(yù)測的法官,對此可能產(chǎn)生很廣泛的審查需求。但值得懷疑的是,一方面,是否要對預(yù)測結(jié)論進行完整的理解?另一方面,力求做出無過錯的決定是否有必要?因為不同于鑒定意見和速度測量,如果法官由于極其懷疑人工智能的正確性而拒絕運用人工智能,他并未兩手空空,因為其仍保留著傳統(tǒng)的預(yù)測方法,甚至以職業(yè)和生活經(jīng)驗為基礎(chǔ)通過直覺進行風(fēng)險評估。將來一個有趣的選擇,同時也是一種可能性——考慮以進修或繼續(xù)教育的形式,將基于人工智能的預(yù)測變成法官培訓(xùn)的部分內(nèi)容。

    2.對程序的監(jiān)督?

    這涉及對人工智能所產(chǎn)生結(jié)果的審查,那就主要考察一下軟件。但這種審查會遭遇極大的困難。用于進行犯罪預(yù)測的人工智能系統(tǒng)的開發(fā)主要由私人企業(yè)掌握,這些企業(yè)的運作以營利為導(dǎo)向。⑥Vgl.für die USA die übersicht von Electronic Privacy Information Center(Fn.16),S.5 ff.雖然美國有個別州表現(xiàn)得較為積極,但大多州運用較為簡單的統(tǒng)計程序,鑒于必要的編程或培訓(xùn)程序費用較高,積極的州在數(shù)量上稀少得令人震驚。就德國而言,由于聯(lián)邦結(jié)構(gòu)使然,同樣不可能期待個別或幾個州能以一己之力開發(fā)有效的程序用于犯罪預(yù)測。在國家司法中運用多種數(shù)據(jù)處理程序的經(jīng)驗事實上允許我們期待以下情形:有人在產(chǎn)生疑問時及開發(fā)人工智能系統(tǒng)時將求助于商業(yè)供貨人。但如果以營利為導(dǎo)向的軟件企業(yè)必須將其軟件置于法官的監(jiān)督之下,這些企業(yè)就有權(quán)認(rèn)為其市場地位遭遇危險。這種情形在刑事訴訟中業(yè)已發(fā)生,所以根據(jù)既定的閱卷權(quán),排除以下情形的發(fā)生是站不住腳的:有人索取甚至競相索取敏感信息。根據(jù)迄今為止所有的經(jīng)驗可知,開發(fā)者有良好的理由拒絕公開以下數(shù)據(jù):①Electronic Privacy Information Center(epic.org),AI in the Criminal Justice System.該數(shù)據(jù)誘發(fā)了以下要求——只接受開源算法運行的系統(tǒng)。②Jiang(Fn.37),S.569 f.

    但即使運用開源軟件是現(xiàn)實的,也存在以下疑問:這種運用是否將導(dǎo)致可理解性得到極大提升?在自主學(xué)習(xí)系統(tǒng)的極深層結(jié)構(gòu)中,系統(tǒng)的初始結(jié)構(gòu)(Ausgangsstruktur)可能對以后的個案結(jié)果扮演著一個較為微弱的角色,該結(jié)果證明是一種持續(xù)優(yōu)化的機器學(xué)習(xí)過程。因為相較于訓(xùn)練數(shù)據(jù)的總量、結(jié)構(gòu)和系統(tǒng)內(nèi)部由其引起的變化,上述初始狀態(tài)對具體的請求進行響應(yīng)時較少做出決定。是否有人會以合理的費用,通過軟件、神經(jīng)元及其重要性的公開,理解這種隨著時間的推移持續(xù)發(fā)生的變化,③So die Forderung von Jiang(Fn.37),S.585.這至少是有疑問的。上述情況的實現(xiàn)無論如何都不是常規(guī)的,通常必然同時發(fā)生的是不再讓法官進行審查,但這似乎與法官做出決定的要求不一致。

    如果人工智能支撐的個案預(yù)測對系統(tǒng)之最初編程的依賴,低于對基于數(shù)據(jù)的訓(xùn)練之依賴,這些數(shù)據(jù)的質(zhì)量則成為焦點?!袄M,垃圾出”這一現(xiàn)象,建議堅持運用特定的標(biāo)準(zhǔn),從理論上講這具備可控制性。因此,這些訓(xùn)練數(shù)據(jù)必須在數(shù)量上符合被犯罪學(xué)證實的事實,不可有歧視傾向。但實際上面臨極大的障礙,因為獲取這些數(shù)據(jù)完全不是理所當(dāng)然的。美國的經(jīng)驗包含以下內(nèi)容:基于競爭和費用原因,合作和透明度是無法期待的。④Jiang(Fn.37),S.563.但即使在可用的訓(xùn)練數(shù)據(jù)這一場合,識別潛在的關(guān)鍵性數(shù)據(jù)也并非不重要。例如,有人識別出此種過度表征(überrepr?sentation):歧視性的模型(比如,相較于沒有移民背景的人,該模型更多地表現(xiàn)出逮捕具有移民背景的人),被認(rèn)為以一種較為精確的認(rèn)識為前提——認(rèn)識到相關(guān)群體的犯罪傾向?qū)嶋H上是怎樣的情形。這些事實是否都得到了充分的研究以及完全被認(rèn)識清楚,對所有的重要參數(shù)而言似乎無論如何都無法得到保證?;诖朔治?,預(yù)先完全隱去這些易受歧視的事實(比如出身)⑤Sympathien für eine solch radikale L?sung scheinen bei Eisele/B?hm(Fn.9),S.530,durch.這一簡單的解決方案帶來以下危險:可能放棄對預(yù)測而言重要的提示。特定類型的訓(xùn)練數(shù)據(jù)有必要僅在以下范圍得到運用:該數(shù)據(jù)符合已得到充分研究的事實。如果上述事實在某個環(huán)節(jié)未得到充分研究,但人工智能查明了其相關(guān)性,該環(huán)節(jié)就必定具備可察知性,對此,該環(huán)節(jié)受法官監(jiān)督的預(yù)測作用是可以獲得的。不要忘記具體案件的數(shù)據(jù)在質(zhì)量上的重要性。只要案件數(shù)據(jù)在錄入上具有目的性而非被自動獲取,⑥D(zhuǎn)enkbar w?re natürlich auch ein Scan der Akten bzw.künftig der elektronischen Akten.Allerdings erscheint der dadurch erzielbare Vorteil in Gestalt einer Arbeitserleichterung eher gering,weshalb sich diese zus?tzliche Fehlerquelle ohne gr??eren Aufwand vermeiden lie?e.對錄入錯誤進行監(jiān)督的標(biāo)準(zhǔn)和方法就仍不屬于人工智能做出的決定這一范疇,法官通過上述標(biāo)準(zhǔn)和方法,在這些事實中選擇他認(rèn)為重要和不重要的部分。其他的錯誤根源或監(jiān)督漏洞在此可以很好地得以避免。

    3.針對人工智能所產(chǎn)生結(jié)果的解釋方案

    基于各種原因考察數(shù)據(jù)庫和軟件對法官監(jiān)督而言可能毫無用處。令人擔(dān)心的是,人工智能越先進并且可用的經(jīng)驗越多,就越難做出決定。因此,試圖在某種程度上進行剖析并讓決定過程透明可見、易于理解,⑦Auf die damit verbundenen datenschutzrechtlichen Probleme im Lichte der Art.5 Abs.1 lit.a DSGVO(für die betroffene Person nachvollziehbare Verarbeitung)und der dies konkretisierenden Art.13-15 DSGVO soll an dieser Stelle nicht eingegangen werden.應(yīng)該沒有較可行的方法。要從本質(zhì)上理解人工智能產(chǎn)生的結(jié)果,就需要對信息與計算機科學(xué)進行很深入的研究并提出多種解決方案,⑧Einen anschaulichen überblick liefert die Studie von Kraus/Ganschow/Eisentr?ger/Wischmann,Erkl?rbare KI - Anforderungen,Anwendungsf?lle und L?sungen,2021,S.24 ff.但這絕非所有努力的終點。

    為了提高人工智能的透明度,可想到的是這樣去編程:向人工智能公開將產(chǎn)生特定結(jié)果的、某個案件的重要參數(shù)。最近開發(fā)的一種名為“SHAP”的模型可解釋性算法甚至在當(dāng)前極不透明的神經(jīng)網(wǎng)絡(luò)中都讓我們能進行這種觀察。對此,對每次做出決定而言,可能要顯示出何種因素是決定性的。一種因素對結(jié)果而言是積極的還是消極的也要受到評判,據(jù)此讓人們予以理解。這對人工智能系統(tǒng)的可理解性而言是巨大的進步,并且產(chǎn)生歧視效果的情況由此潛移默化地昭示在外。

    為了提升對人工智能及其可接受性的信任,法官可能“玩弄”案件數(shù)據(jù),亦即,為了研究人工智能評估在何種程度上發(fā)生改變,修改或忽略某個或幾個參數(shù)。例如,以此方式可以厘清:法官根據(jù)直覺認(rèn)為案件中較為重要的某方面究竟是否在自動化的預(yù)測中扮演著一個角色。人工智能的這種情況明顯被認(rèn)為是無關(guān)緊要的,這無論如何都讓法官發(fā)出質(zhì)問:他通過直覺做出的相反的評估是否可能是錯誤的?或者說,他本應(yīng)認(rèn)為,人工智能在此明顯已到達(dá)極限并由此不值得贊同。歧視傾向同樣可能通過替換為一個聽上去較為外國化的名稱“非犯罪嫌疑人”(Unverd?chtige)而暴露無遺。①So sollen Algorithmen in der Versicherungsbranche bei einer bestimmten nationalen Herkunft zu Angeboten mit h?heren Versicherungspr?mien neigen,vgl.die Website der Eidgen?ssischen Kommission gegen Rassismus.該可能性至少為初任法官培訓(xùn)提供了充滿趣味的潛力。

    一種容許進行對比試驗的軟件設(shè)計無疑具備可建構(gòu)性,在諸多解決方案中也是存在的。②Zahlreiche Modelle,die eine KI zu erkl?ren suchen,sind allerdings auf KI-Systeme zur Bild-(oder Gesichts-)Erkennung ausgerichtet(wie LRP[Layer-Wise Relevance Propagation])oder für Nutzer nicht anwendungssicher(wie DeepLIFT[Deep Learning Important FeaTures]oder Activation Maximization)und scheiden daher für die hier in Rede stehenden Zwecke aus.該軟件設(shè)計以SHAP 運用的原則為根據(jù),③SHAP=SHapley Additive exPlanations.根據(jù)該原則,被單獨選擇的因素對人工智能系統(tǒng)所產(chǎn)生具體結(jié)果的影響得到確定。對此,人工智能先是在考慮所有因素的情形下做出某種預(yù)測,隨后在隱去個別因素的情形下完成了其他的預(yù)測。以此方式,存在于這些結(jié)果之間一種存在疑問的區(qū)別可能呈現(xiàn)出來,某種因素的具體影響可能由此被識別出來,只要不是只有少數(shù)幾個因素得到審查,缺點就在于費用較高。④Kraus/Ganschow/Eisentr?ger/Wischmann(Fn.44),S.27 f.m.w.N.一種其他的解決方案提供了反事實解釋(counterfactual explanations)。這涉及一個概念,對一種具體的分類結(jié)果(比如一個糟糕的犯罪預(yù)測)而言,此概念試圖在輸入值中識別出一種盡可能小的變化,該變化將導(dǎo)致不同的分類。該軟件以此方式顯示出了這個敏感點。⑤Kraus/Ganschow/Eisentr?ger/Wischmann(Fn.44),S.26 f.m.w.N.定義這些有待審查的因素本身可能是有助益的,卻是不被允許的。為了通過這些變化查明哪些輸入?yún)?shù)對分類結(jié)果影響最大,靈敏度分析作為第3 種可想到的方法系統(tǒng)性地改變了各個輸入值。⑥Kraus/Ganschow/Eisentr?ger/Wischmann(Fn.44),S.31 m.w.N.該方法的目的當(dāng)然是識別重要的因素,而非審查孤立來看可能顯得不太重要的各個參數(shù)。

    4.法官監(jiān)督的執(zhí)行力

    基于既定的解釋模型和人工智能技術(shù)的進步,認(rèn)為對信息與計算機科學(xué)領(lǐng)域詳細(xì)知識欠缺的使用者而言,將來相對更容易有機會審查各個案件參數(shù)的影響,不應(yīng)該是一種不切實際的空想。運用人工智能系統(tǒng)完成預(yù)測以及具有相應(yīng)的監(jiān)督可能性還不夠。在人類法官做出決定以及人工智能對做出決定提出建議的場合,要思考一下:這兩種做出決定的系統(tǒng)并非彼此獨立運行的。一方面,尤其是當(dāng)出發(fā)點為人工智能預(yù)測,原則上具備有效性和精確性,并且法官認(rèn)識到這一點時,究竟是否要進行一種符合法官角色的、中立的、不偏不倚的監(jiān)督,是不明確的。⑦?hnlich für den Einsatz im Rahmen medizinischer Diagnose und Behandlung Lohmann/Sch?mig,in:Beck/Kusche/Valerius(Fn.1),S.345(355).另一方面,法官是一個可能不符合信息技術(shù)使用者常規(guī)類型的群體。法官習(xí)慣于獨立做出決定,基于其職業(yè)上的社會化,他們可能比其他職業(yè)群體更不信任這種評估,如何理解法官要做出決定的一個事實,這具有優(yōu)先性,但沒有得到詳細(xì)的解釋。這種相反的趨勢在何種程度上實際發(fā)揮作用,尚需要解釋。根據(jù)這兩種可想到的態(tài)度中某種態(tài)度的出現(xiàn)或占據(jù)上風(fēng),要么產(chǎn)生一種未加批判的信息技術(shù)依賴性,該依賴性容許通過技術(shù)根據(jù)實際情況做出法官保留的決定,要么忽視高價值的信息而損害所做出決定的質(zhì)量。為了利用人工智能的優(yōu)點而非一開始就遭受其影響,二者都需要避免。

    通過許內(nèi)曼(Schünemann)的相關(guān)著作可知,①Schünemann,StV 2000,159=ders.,Strafprozessrecht und Strafprozessreform,2020,S.239.法官做出決定時并未不偏不倚,而是可能具有閱卷(Aktenkenntnis)、當(dāng)事人陳述和利害關(guān)系等特征。比如,許內(nèi)曼研究法官在審判中依賴于閱卷這一問題行為(Frageverhalten)并發(fā)現(xiàn):預(yù)先信息(Vorinformation)已導(dǎo)致回應(yīng)詢問的準(zhǔn)備不足。②Schünemann,StV 2000,159(161 f.).因此,可能無法排除的是,一種形式為人工智能犯罪預(yù)測的預(yù)先信息也會導(dǎo)致法官的舉止發(fā)生改變。③Staffler/Jany,ZIS 2020,164(175).只要在適當(dāng)?shù)?、批判性思考的范圍?nèi)考慮人工智能提出的建議,這本身不是有害的。此外,其他欠缺實證檢驗的想法當(dāng)然是純理論性的。

    另外,法官作為人工智能使用者一般需要信任人工智能對做出適當(dāng)決定提出建議的能力。否則,人工智能就無法有效地得到運用。人工智能已被察知的可信任性不僅包含以正確建議為形式的執(zhí)行力方面,這讓使用者能信任該系統(tǒng)(在理性上完全是可理解的)。④Solberg et al.,Group&Organization Management 2022,Bd.47,Heft 2,187.為了評估系統(tǒng)的有效性,以過程為導(dǎo)向的方面(如人工智能的可運用性和上文已討論的工作過程的透明性)作為其他要件也扮演著一個重要的角色。第三個要件是對人工智能總體目標(biāo)、基本價值和編程導(dǎo)向的信任。除了人工智能系統(tǒng)這種受到評估的可信任性以外,法官的信任也被關(guān)于技術(shù)的信任傾向(Vertrauensneigung)決定,該傾向的程度無論在一般性(在社會整體及其法官群組中)還是個別性上都是可變的,并且通常依賴于人工智能或數(shù)字化的經(jīng)驗(技術(shù)信任)。人工智能的運用潛力隨著信任的程度得到提升,因為使用者樂意運用人工智能,其優(yōu)點由此得到利用。⑤Mee?en/Thielsch/Hertel,Zeitschrift für Arbeits-und Organisationspsychologie 2020,Bd.64,Heft 1,6.對此,信任并不完全是正面的,因為盲目的信任可能導(dǎo)致不適當(dāng)?shù)剡\用人工智能,這可能又潛移默化地導(dǎo)致做出不適當(dāng)?shù)臎Q定。這與“算法厭惡”這一想象相反,因為相較于人類犯錯,人們很少原諒系統(tǒng)犯錯。⑥D(zhuǎn)ietvorst/Simmons/Massey,Journal of Experimental Psychology:General 2015,Bd.144,Heft 1,114.

    需要考察的是,對人工智能所具有能力的信任究竟如何在特定的法官這一目標(biāo)群體中產(chǎn)生?何種其他的因素(其中部分是無關(guān)因素)影響了法官對人工智能做出決定的可接受性?可想到的大概是較高的工作量、沒時間親自做出合理的決定或個人在自動決定過程中由于技術(shù)恐懼或擔(dān)心而產(chǎn)生的不信任(這是不必要的)。然后要考察的是,信任與否以及如何在某種程度上受到限制且不遭到破壞,以及如何被降低到一種“健康”的程度?回答上述兩個問題也需要實證研究的幫助。這取決于法官對人工智能給予何種信任,亦即,在可變的初始條件下涉及對具體得到運用的人工智能的認(rèn)識。因為在這種情況下,要對所有已知的訓(xùn)練數(shù)據(jù)和經(jīng)驗數(shù)據(jù)、可能未知的個案事實具有的影響形成完整的認(rèn)識,是無法達(dá)到理想狀態(tài)的。需要說明的是,在運用人工智能的場合,信任的最低限度條件是什么?此外,盡管明顯相反的(重要的、不重要的或重要性無法判斷)個案事實引人注目,知道一種既定的信任何時減弱,或者知道法官還能對人工智能信任多久是較為重要的。上述問題是跨學(xué)科尤其是心理學(xué)的最佳研究對象。

    在運用人工智能系統(tǒng)的場合,對使用者的信任所進行的初始研究一般是存在的,⑦H?ddinghaus/Sondern/Hertel,Computers in Human Behavior 116(2021),106635 m.w.N.但并不涉及法官這一特定群體。此外,該初始研究基于其獨立性而具有一種特殊性:在其他機構(gòu)(經(jīng)濟、行政)中沒有眾多的決定者。另外,法官遵守嚴(yán)格的決定過程,該過程預(yù)先規(guī)定了其無法任意處置的法律規(guī)范。其特殊性并不在于追求更上位的利益(比如經(jīng)濟成果或政治目的),而僅在于追求以下最終目的:根據(jù)決定過程這一標(biāo)準(zhǔn)所做出決定的正當(dāng)性。這些特殊性不容許未經(jīng)審查就作為初步證據(jù)(prima facie)在其他職業(yè)群體的場合接受某些調(diào)查結(jié)果。更確切地說,似乎有必要在法官群體中獲取關(guān)于信任產(chǎn)生和信任限度的實證數(shù)據(jù)。

    五、結(jié)論

    人工智能的運用在刑事訴訟中可能長期導(dǎo)致迅捷地做出長遠(yuǎn)來看較為經(jīng)濟的、高質(zhì)量的決定。在此,就像完成犯罪預(yù)測那樣,個案中的許多因素以一種在經(jīng)驗上可理解的方式?jīng)Q定了結(jié)果。然而,人工智能的可運用性暫時還未充分得到開發(fā),以符合在內(nèi)容上待定的規(guī)范性要求。只要法官能理解某個決定并讓該決定實質(zhì)上成為自己做出的決定,則法官做出關(guān)于預(yù)測的決定可能基本上都以人工智能預(yù)測為支撐。對此,軟件必須提供機會讓法官至少在原則上理解具體的、對預(yù)測的決定而言特定案件參數(shù)的重要性。同時,人工智能的運用和其他的相關(guān)框架條件是這樣來設(shè)計的——法官在(通常能進行正確評估的)人工智能的運用中可能產(chǎn)生一種合理的信任度,而不喪失回應(yīng)批評性詢問的能力和準(zhǔn)備。如何塑造這種工作環(huán)境,仍需要深入的跨學(xué)科實證研究。應(yīng)建議司法行政管理部門和立法者保持克制,直至這種工作環(huán)境形成。(王德政①王德政,中南財經(jīng)政法大學(xué)刑事司法學(xué)院博士后研究人員。譯校)

    猜你喜歡
    法官信任人工智能
    法官如此裁判
    法官如此裁判
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    表示信任
    人工智能與就業(yè)
    做“德法兼修”的好法官
    紅土地(2018年8期)2018-09-26 03:19:06
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    嚶嚶嚶,人與人的信任在哪里……
    桃之夭夭B(2017年2期)2017-02-24 17:32:43
    從生到死有多遠(yuǎn)
    下一幕,人工智能!
    又黄又粗又硬又大视频| 国产色婷婷99| 国产精品.久久久| 久久免费观看电影| av网站在线播放免费| 精品少妇内射三级| 丰满饥渴人妻一区二区三| 日本91视频免费播放| 午夜福利,免费看| 欧美xxⅹ黑人| 亚洲免费av在线视频| 丁香六月欧美| 免费黄网站久久成人精品| 99国产精品免费福利视频| 亚洲激情五月婷婷啪啪| 国产亚洲最大av| 婷婷色综合www| 女人被躁到高潮嗷嗷叫费观| 中文字幕人妻丝袜一区二区 | 久久久久网色| 国产淫语在线视频| 久久久亚洲精品成人影院| 久久久久国产一级毛片高清牌| 亚洲成人手机| 蜜桃国产av成人99| 岛国毛片在线播放| 婷婷色综合大香蕉| 日日摸夜夜添夜夜爱| 日韩一区二区三区影片| 高清视频免费观看一区二区| 午夜av观看不卡| av又黄又爽大尺度在线免费看| 日韩中文字幕视频在线看片| 美国免费a级毛片| 男女边吃奶边做爰视频| 精品少妇一区二区三区视频日本电影 | 国产av一区二区精品久久| 亚洲第一区二区三区不卡| 精品国产乱码久久久久久小说| 99精品久久久久人妻精品| 国产极品粉嫩免费观看在线| 观看av在线不卡| 99久久精品国产亚洲精品| 国产男女内射视频| 亚洲情色 制服丝袜| 国产成人免费无遮挡视频| 国语对白做爰xxxⅹ性视频网站| 777久久人妻少妇嫩草av网站| 蜜桃国产av成人99| 国产精品久久久av美女十八| 国产精品国产av在线观看| 国产一区二区激情短视频 | 国产精品久久久人人做人人爽| videosex国产| 亚洲成国产人片在线观看| 国语对白做爰xxxⅹ性视频网站| 极品少妇高潮喷水抽搐| 51午夜福利影视在线观看| 亚洲精品乱久久久久久| 最近手机中文字幕大全| 精品视频人人做人人爽| 亚洲人成电影观看| 亚洲精品av麻豆狂野| 国产精品久久久久久久久免| 精品国产一区二区三区久久久樱花| 视频区图区小说| 日日摸夜夜添夜夜爱| 午夜精品国产一区二区电影| 日韩,欧美,国产一区二区三区| 国产精品无大码| 黑人欧美特级aaaaaa片| 国产精品久久久久久久久免| 五月开心婷婷网| 欧美日韩福利视频一区二区| 国产免费一区二区三区四区乱码| 久久久久久人妻| 成年人免费黄色播放视频| 成人手机av| 观看美女的网站| 亚洲熟女毛片儿| 亚洲视频免费观看视频| 汤姆久久久久久久影院中文字幕| 黄色怎么调成土黄色| 性色av一级| 久久天堂一区二区三区四区| 69精品国产乱码久久久| 咕卡用的链子| 考比视频在线观看| 亚洲人成电影观看| 一级片'在线观看视频| 国产成人欧美在线观看 | 国产av精品麻豆| 欧美激情极品国产一区二区三区| 日本黄色日本黄色录像| 亚洲第一青青草原| 亚洲精品美女久久av网站| 黄频高清免费视频| 这个男人来自地球电影免费观看 | 伊人久久国产一区二区| 欧美精品一区二区大全| 99re6热这里在线精品视频| 狠狠婷婷综合久久久久久88av| 亚洲人成电影观看| av又黄又爽大尺度在线免费看| 午夜福利视频精品| 天天影视国产精品| 又大又爽又粗| 国产免费视频播放在线视频| 国产日韩欧美在线精品| 亚洲av日韩在线播放| 日韩av免费高清视频| 国产精品嫩草影院av在线观看| 在线观看一区二区三区激情| 超色免费av| 丰满迷人的少妇在线观看| 欧美成人午夜精品| 欧美日本中文国产一区发布| 精品久久久久久电影网| 亚洲国产欧美在线一区| 欧美日韩精品网址| 91精品三级在线观看| 国产一区二区三区av在线| 免费观看性生交大片5| 天天躁夜夜躁狠狠躁躁| 精品免费久久久久久久清纯 | 亚洲成人手机| 妹子高潮喷水视频| 嫩草影视91久久| 欧美变态另类bdsm刘玥| 王馨瑶露胸无遮挡在线观看| 欧美精品亚洲一区二区| 国产欧美日韩一区二区三区在线| 欧美97在线视频| 国产探花极品一区二区| 一级毛片黄色毛片免费观看视频| 街头女战士在线观看网站| 精品久久蜜臀av无| 最近中文字幕高清免费大全6| 亚洲国产精品成人久久小说| 亚洲少妇的诱惑av| 亚洲第一青青草原| 精品福利永久在线观看| 日韩一卡2卡3卡4卡2021年| 激情五月婷婷亚洲| av电影中文网址| 悠悠久久av| 国精品久久久久久国模美| 中文字幕制服av| 香蕉丝袜av| 熟女少妇亚洲综合色aaa.| 欧美精品亚洲一区二区| 老汉色av国产亚洲站长工具| 国产精品人妻久久久影院| 老司机亚洲免费影院| 国产av一区二区精品久久| 香蕉国产在线看| av在线播放精品| 国产野战对白在线观看| 1024视频免费在线观看| 大片免费播放器 马上看| 久久久国产欧美日韩av| 午夜日本视频在线| 亚洲成人手机| 国产成人午夜福利电影在线观看| 99久久精品国产亚洲精品| 99久国产av精品国产电影| 成年动漫av网址| 欧美亚洲 丝袜 人妻 在线| 我的亚洲天堂| 午夜福利视频在线观看免费| 久久99精品国语久久久| 丰满少妇做爰视频| 深夜精品福利| 十分钟在线观看高清视频www| 国产片特级美女逼逼视频| 国产av一区二区精品久久| 国产精品无大码| 午夜91福利影院| av在线老鸭窝| 日韩一本色道免费dvd| 天堂8中文在线网| 男人舔女人的私密视频| 亚洲av日韩在线播放| 国产高清国产精品国产三级| 高清在线视频一区二区三区| 亚洲激情五月婷婷啪啪| 精品国产国语对白av| avwww免费| 香蕉国产在线看| 欧美日韩国产mv在线观看视频| 精品视频人人做人人爽| 又大又黄又爽视频免费| 少妇人妻精品综合一区二区| 天天添夜夜摸| 国产亚洲最大av| 韩国精品一区二区三区| 国产黄色免费在线视频| 9191精品国产免费久久| 免费看不卡的av| 69精品国产乱码久久久| 老司机亚洲免费影院| 黄片小视频在线播放| 人人妻人人澡人人看| 亚洲自偷自拍图片 自拍| 另类亚洲欧美激情| 极品人妻少妇av视频| 在现免费观看毛片| 国产成人精品福利久久| 国产成人啪精品午夜网站| 婷婷色av中文字幕| 一本一本久久a久久精品综合妖精| 欧美在线一区亚洲| bbb黄色大片| 日本wwww免费看| 亚洲av电影在线观看一区二区三区| 国产精品嫩草影院av在线观看| 精品亚洲成国产av| 免费女性裸体啪啪无遮挡网站| 亚洲欧洲国产日韩| 欧美另类一区| 99热全是精品| 91成人精品电影| 国产成人午夜福利电影在线观看| 丝袜美腿诱惑在线| 免费人妻精品一区二区三区视频| 熟女少妇亚洲综合色aaa.| 亚洲欧美清纯卡通| 男人舔女人的私密视频| 女人久久www免费人成看片| 久久性视频一级片| av一本久久久久| 水蜜桃什么品种好| 午夜福利乱码中文字幕| 精品国产露脸久久av麻豆| 最近最新中文字幕免费大全7| av卡一久久| 国产亚洲av片在线观看秒播厂| 久久99一区二区三区| 久久久精品94久久精品| 建设人人有责人人尽责人人享有的| av在线老鸭窝| 亚洲中文av在线| 如日韩欧美国产精品一区二区三区| 丰满乱子伦码专区| 色婷婷久久久亚洲欧美| 伦理电影大哥的女人| 亚洲av福利一区| 国产精品久久久久久久久免| 最近最新中文字幕大全免费视频 | 女性被躁到高潮视频| 欧美人与善性xxx| 可以免费在线观看a视频的电影网站 | 亚洲av欧美aⅴ国产| 亚洲 欧美一区二区三区| 亚洲欧美色中文字幕在线| 欧美日韩视频精品一区| 黄色视频在线播放观看不卡| 色94色欧美一区二区| 国产亚洲最大av| 免费黄频网站在线观看国产| 日本一区二区免费在线视频| 亚洲成人一二三区av| 亚洲国产精品一区二区三区在线| 丰满少妇做爰视频| 久久鲁丝午夜福利片| 一本—道久久a久久精品蜜桃钙片| 无限看片的www在线观看| 一边摸一边做爽爽视频免费| 日韩精品免费视频一区二区三区| 制服丝袜香蕉在线| 熟女少妇亚洲综合色aaa.| 在线观看一区二区三区激情| 男人添女人高潮全过程视频| 伊人亚洲综合成人网| 国产亚洲午夜精品一区二区久久| 下体分泌物呈黄色| kizo精华| 国产精品一国产av| 在线观看免费高清a一片| 男女午夜视频在线观看| 丝袜美腿诱惑在线| av网站在线播放免费| 国产精品免费视频内射| 亚洲男人天堂网一区| 久久久久国产一级毛片高清牌| 久久久久久久国产电影| 亚洲熟女精品中文字幕| 狂野欧美激情性bbbbbb| 肉色欧美久久久久久久蜜桃| 久久韩国三级中文字幕| 深夜精品福利| 日韩一卡2卡3卡4卡2021年| 国产老妇伦熟女老妇高清| 亚洲视频免费观看视频| 制服诱惑二区| 午夜免费鲁丝| 97精品久久久久久久久久精品| 丝袜喷水一区| 人体艺术视频欧美日本| 日本vs欧美在线观看视频| 91精品伊人久久大香线蕉| 秋霞伦理黄片| 国产一区二区在线观看av| 国产一级毛片在线| 日本av免费视频播放| 侵犯人妻中文字幕一二三四区| 狠狠婷婷综合久久久久久88av| 国产1区2区3区精品| 宅男免费午夜| 搡老乐熟女国产| 美女午夜性视频免费| 99久久精品国产亚洲精品| 亚洲国产成人一精品久久久| 别揉我奶头~嗯~啊~动态视频 | av网站在线播放免费| 最近2019中文字幕mv第一页| 日韩 欧美 亚洲 中文字幕| 欧美精品一区二区大全| 精品第一国产精品| 久久久久久人妻| 亚洲国产精品一区二区三区在线| 国产成人啪精品午夜网站| 超碰97精品在线观看| 天天添夜夜摸| 一级毛片电影观看| 妹子高潮喷水视频| 香蕉丝袜av| www.熟女人妻精品国产| 亚洲国产欧美日韩在线播放| 国产成人精品福利久久| 国产精品一国产av| 久久 成人 亚洲| 精品亚洲乱码少妇综合久久| 亚洲精品美女久久av网站| 极品人妻少妇av视频| 日本欧美国产在线视频| 国产精品国产av在线观看| 最黄视频免费看| 国产精品久久久久成人av| av视频免费观看在线观看| 国产熟女午夜一区二区三区| 国产在视频线精品| 午夜福利一区二区在线看| 成人黄色视频免费在线看| 一本大道久久a久久精品| 人妻 亚洲 视频| 如日韩欧美国产精品一区二区三区| av在线播放精品| 自线自在国产av| 在线看a的网站| 免费观看性生交大片5| 天天影视国产精品| 九草在线视频观看| 亚洲av男天堂| 国产亚洲av高清不卡| 在线精品无人区一区二区三| 最近中文字幕2019免费版| 丰满乱子伦码专区| 精品人妻一区二区三区麻豆| 亚洲av中文av极速乱| 观看美女的网站| 波多野结衣av一区二区av| 丝袜人妻中文字幕| 亚洲成人手机| 国产不卡av网站在线观看| 国产国语露脸激情在线看| 超碰成人久久| 日韩,欧美,国产一区二区三区| 色综合欧美亚洲国产小说| 久久久久久人妻| 久久国产精品大桥未久av| 亚洲国产中文字幕在线视频| 国产乱人偷精品视频| 日韩人妻精品一区2区三区| 精品少妇内射三级| 国产野战对白在线观看| 一级片免费观看大全| 9191精品国产免费久久| 久久亚洲国产成人精品v| 午夜av观看不卡| 咕卡用的链子| 亚洲男人天堂网一区| 可以免费在线观看a视频的电影网站 | 国产精品国产三级国产专区5o| 秋霞伦理黄片| 亚洲伊人久久精品综合| 久久久久久免费高清国产稀缺| 51午夜福利影视在线观看| 国产视频首页在线观看| 九九爱精品视频在线观看| 国产成人精品久久久久久| 丰满迷人的少妇在线观看| 18禁观看日本| 大话2 男鬼变身卡| 国产成人av激情在线播放| 一个人免费看片子| 国产黄频视频在线观看| 亚洲国产最新在线播放| 考比视频在线观看| 亚洲欧美成人综合另类久久久| 午夜激情av网站| 黑丝袜美女国产一区| 制服人妻中文乱码| 久久狼人影院| 国产欧美日韩综合在线一区二区| 欧美精品亚洲一区二区| 久久久国产精品麻豆| 久久久久国产一级毛片高清牌| 国产乱来视频区| 看十八女毛片水多多多| av天堂久久9| 国产乱人偷精品视频| 亚洲一区二区三区欧美精品| 国精品久久久久久国模美| 一区福利在线观看| 少妇人妻 视频| 水蜜桃什么品种好| 一级,二级,三级黄色视频| 韩国av在线不卡| 街头女战士在线观看网站| 亚洲国产欧美日韩在线播放| 精品国产乱码久久久久久小说| 自线自在国产av| 操美女的视频在线观看| 伊人久久大香线蕉亚洲五| 在线观看免费日韩欧美大片| 亚洲国产中文字幕在线视频| 亚洲情色 制服丝袜| 日日啪夜夜爽| 两性夫妻黄色片| 精品久久久精品久久久| 午夜福利,免费看| 男女边吃奶边做爰视频| 亚洲成人免费av在线播放| 黄片无遮挡物在线观看| 国产老妇伦熟女老妇高清| 欧美精品人与动牲交sv欧美| 在线观看www视频免费| 制服诱惑二区| 亚洲伊人色综图| 免费不卡黄色视频| 欧美av亚洲av综合av国产av | 热re99久久精品国产66热6| 国产精品成人在线| 三上悠亚av全集在线观看| 亚洲av成人精品一二三区| 国产野战对白在线观看| 国产成人啪精品午夜网站| 午夜免费男女啪啪视频观看| 亚洲国产欧美日韩在线播放| 青草久久国产| 九九爱精品视频在线观看| 菩萨蛮人人尽说江南好唐韦庄| 三上悠亚av全集在线观看| 久久久精品国产亚洲av高清涩受| 涩涩av久久男人的天堂| 一级片'在线观看视频| 人妻 亚洲 视频| 在线观看国产h片| 国产一区二区三区综合在线观看| 欧美乱码精品一区二区三区| av.在线天堂| 好男人视频免费观看在线| 一本一本久久a久久精品综合妖精| 大码成人一级视频| 国产亚洲最大av| 少妇 在线观看| 男女之事视频高清在线观看 | 国产成人精品久久久久久| 少妇人妻 视频| 韩国av在线不卡| 精品免费久久久久久久清纯 | 精品国产一区二区三区四区第35| 91国产中文字幕| 亚洲一区中文字幕在线| 丝袜美腿诱惑在线| 国产av国产精品国产| 午夜免费观看性视频| 国产成人免费观看mmmm| 欧美亚洲日本最大视频资源| 又大又爽又粗| a级毛片黄视频| 在线天堂最新版资源| 亚洲,一卡二卡三卡| 国产一卡二卡三卡精品 | 色婷婷久久久亚洲欧美| 国产成人精品福利久久| 成人国语在线视频| 亚洲国产成人一精品久久久| 国产成人精品久久二区二区91 | 最近中文字幕高清免费大全6| 国产亚洲av片在线观看秒播厂| 亚洲人成电影观看| 亚洲成人手机| av在线app专区| 日韩av在线免费看完整版不卡| 日韩免费高清中文字幕av| 欧美黄色片欧美黄色片| 亚洲综合色网址| 久久人人97超碰香蕉20202| 街头女战士在线观看网站| 欧美精品亚洲一区二区| 最近中文字幕2019免费版| 欧美国产精品一级二级三级| 高清在线视频一区二区三区| 最新的欧美精品一区二区| 亚洲国产欧美网| 少妇被粗大的猛进出69影院| 777米奇影视久久| 久久精品久久久久久久性| 国产成人精品久久久久久| 男女边吃奶边做爰视频| 中文字幕制服av| 日本色播在线视频| 99久国产av精品国产电影| 蜜桃在线观看..| 大片电影免费在线观看免费| 悠悠久久av| 人成视频在线观看免费观看| 免费观看性生交大片5| 另类亚洲欧美激情| xxx大片免费视频| 亚洲第一av免费看| 日韩不卡一区二区三区视频在线| 黄网站色视频无遮挡免费观看| 国产精品 国内视频| 男人爽女人下面视频在线观看| 高清黄色对白视频在线免费看| 色婷婷久久久亚洲欧美| 满18在线观看网站| 成年人午夜在线观看视频| 国产福利在线免费观看视频| 99久国产av精品国产电影| 美女脱内裤让男人舔精品视频| 美国免费a级毛片| 美女脱内裤让男人舔精品视频| 99久久99久久久精品蜜桃| 中文字幕人妻丝袜一区二区 | 青春草国产在线视频| 天堂中文最新版在线下载| 美国免费a级毛片| 国产精品一区二区在线观看99| 久久久久久久精品精品| 欧美黑人欧美精品刺激| 欧美日韩视频高清一区二区三区二| 久久精品国产亚洲av涩爱| 免费观看性生交大片5| 亚洲中文av在线| 亚洲精品av麻豆狂野| 欧美激情极品国产一区二区三区| 欧美少妇被猛烈插入视频| 青春草视频在线免费观看| 在线观看三级黄色| 新久久久久国产一级毛片| 最新在线观看一区二区三区 | 综合色丁香网| 亚洲,欧美,日韩| 亚洲国产精品一区三区| 91精品三级在线观看| 久久99热这里只频精品6学生| 九草在线视频观看| 久久精品国产综合久久久| 美女脱内裤让男人舔精品视频| av不卡在线播放| 伊人亚洲综合成人网| 日韩中文字幕欧美一区二区 | 国产 一区精品| 啦啦啦啦在线视频资源| 亚洲精品视频女| 国产精品熟女久久久久浪| 高清黄色对白视频在线免费看| www日本在线高清视频| 成年美女黄网站色视频大全免费| 欧美 亚洲 国产 日韩一| 国产成人精品在线电影| 啦啦啦中文免费视频观看日本| 欧美人与善性xxx| 美女扒开内裤让男人捅视频| 免费黄网站久久成人精品| 日韩一区二区视频免费看| 国产成人免费观看mmmm| 国产老妇伦熟女老妇高清| 男女免费视频国产| 国产精品久久久久久精品电影小说| 亚洲美女视频黄频| 国产成人系列免费观看| 欧美日韩视频高清一区二区三区二| 亚洲国产精品一区二区三区在线| 一区二区三区激情视频| 色综合欧美亚洲国产小说| 巨乳人妻的诱惑在线观看| 伦理电影免费视频| 一区二区日韩欧美中文字幕| 亚洲国产中文字幕在线视频| 免费少妇av软件| 成人国语在线视频| 男人舔女人的私密视频| 街头女战士在线观看网站| 亚洲av综合色区一区| 视频在线观看一区二区三区| 美女国产高潮福利片在线看| 亚洲国产精品一区二区三区在线| 精品久久久精品久久久| 国产一区二区三区综合在线观看| 精品第一国产精品| 欧美激情极品国产一区二区三区| 久久97久久精品| 国产免费现黄频在线看| 久久韩国三级中文字幕| 国产精品一区二区在线观看99| 国产精品久久久久成人av| 中文字幕人妻丝袜制服| 久久久久网色| 亚洲一码二码三码区别大吗| 少妇猛男粗大的猛烈进出视频|