• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法規(guī)制的敏捷治理

    2022-12-18 11:55:59于文軒劉麗紅
    新視野 2022年3期
    關(guān)鍵詞:規(guī)制法規(guī)公民

    文/于文軒 劉麗紅

    人工智能算法在極大促進(jìn)經(jīng)濟(jì)發(fā)展和政府管理效率的同時(shí),也在政治、經(jīng)濟(jì)和社會(huì)等諸方面帶來前所未有的巨大風(fēng)險(xiǎn)。[1]在數(shù)據(jù)是重要生產(chǎn)要素的算法時(shí)代,數(shù)據(jù)要素的所有者、生產(chǎn)者和管理者擁有了新型、隱形的難以控制的權(quán)力。這樣的新權(quán)力形態(tài),對(duì)傳統(tǒng)政府、市場(chǎng)和社會(huì)之間的權(quán)力結(jié)構(gòu)和互動(dòng)模式產(chǎn)生了巨大沖擊。在市場(chǎng)和資本的加持下,算法權(quán)力進(jìn)一步激化了社會(huì)的不平等和階層分化,給民主和人文帶來巨大風(fēng)險(xiǎn),其破壞性傷害之大堪稱大規(guī)模“數(shù)字殺傷性武器”。[2]

    算法的內(nèi)在復(fù)雜性使得傳統(tǒng)以政府行政機(jī)關(guān)為主體的監(jiān)管模式舉步維艱,作為規(guī)制者的政府不得不采用新的監(jiān)管方式,賦予監(jiān)管對(duì)象一定程度的裁量空間,要求監(jiān)管對(duì)象設(shè)定自身的內(nèi)部管理規(guī)范,著重對(duì)監(jiān)管對(duì)象自我設(shè)定的管理規(guī)范進(jìn)行監(jiān)管。這種將政府強(qiáng)監(jiān)管和行業(yè)自我規(guī)制相結(jié)合的“元規(guī)制”模式被認(rèn)為是一種理想的監(jiān)管模式。[3]盡管“元規(guī)制”模式對(duì)傳統(tǒng)的基于“命令—控制”的科層式監(jiān)管模式進(jìn)行了改良,但由于算法黑箱的復(fù)雜性和政府行業(yè)監(jiān)管的難度,使得這種模式在監(jiān)管實(shí)踐中難以實(shí)現(xiàn)政策目標(biāo)。[4]有研究表明,現(xiàn)有準(zhǔn)則規(guī)范并不能影響利益相關(guān)者在參與人工智能算法和應(yīng)用過程中的合規(guī)行為。[5]日益復(fù)雜的算法、數(shù)據(jù)保護(hù)的情境性以及算法運(yùn)算的實(shí)時(shí)性極大提高了監(jiān)管難度,對(duì)算法規(guī)制需要更加動(dòng)態(tài)的監(jiān)管哲學(xué)、思路和方法。起源于20世紀(jì)90年代,為應(yīng)對(duì)日益復(fù)雜、迅速變化和日益多元的計(jì)算機(jī)軟件開發(fā)環(huán)境和需求而發(fā)展起來的“敏捷方法”的“敏捷治理”理論框架,為進(jìn)一步進(jìn)行算法規(guī)制提供了新思路和新方法。因此,本文旨在將“敏捷治理”的框架引入算法治理,為如何更好地進(jìn)行算法規(guī)制提供分析框架與解決方案。

    一 敏捷治理:算法規(guī)制的新范式

    在后現(xiàn)代風(fēng)險(xiǎn)社會(huì),傳統(tǒng)政府依靠科層制和專業(yè)公務(wù)員隊(duì)伍進(jìn)行的公共管理活動(dòng)已經(jīng)很難滿足治理的需要。如何有效應(yīng)對(duì)越來越多的“棘手問題”,是全世界各國(guó)政府面臨的嚴(yán)重挑戰(zhàn)。2020年以來的全球新冠疫情的大流行,是對(duì)全世界各國(guó)政府解決“棘手問題”能力的一場(chǎng)大考。后疫情時(shí)代的政府治理需要超越傳統(tǒng)科層制與市場(chǎng)的新的思路和方法。在這個(gè)背景下,基于計(jì)算機(jī)軟件工程“敏捷方法”的敏捷治理成為國(guó)內(nèi)外學(xué)術(shù)界關(guān)注的新議題。

    計(jì)算機(jī)軟件工程“敏捷方法”被引入公共管理研究領(lǐng)域,起源于《Government Information Quarterly》2018年組織的一個(gè)專刊。包括Ines Mergel在內(nèi)的學(xué)者針對(duì)英美各國(guó)電子政務(wù)平臺(tái)建設(shè)實(shí)踐,將計(jì)算機(jī)軟件開發(fā)中的“敏捷方法”引入政府管理活動(dòng)中,提出了“敏捷政府”和“敏捷創(chuàng)新”的概念。[6]計(jì)算機(jī)軟件工程中的“敏捷方法”突出體現(xiàn)在2001年17名軟件開發(fā)專家發(fā)表的敏捷宣言(Agility Manifesto)里。其背景是隨著互聯(lián)網(wǎng)和軟件產(chǎn)業(yè)的發(fā)展,軟件開發(fā)的過程越來越復(fù)雜,用戶對(duì)軟件的需求越來越多。特別是當(dāng)政府開始大規(guī)模采納電子政務(wù)平臺(tái),不斷變化的政務(wù)電子化的需求,海量的用戶和數(shù)據(jù),對(duì)傳統(tǒng)線性計(jì)算機(jī)軟件開發(fā)和項(xiàng)目管理模式產(chǎn)生巨大挑戰(zhàn)。計(jì)算機(jī)軟件開發(fā)領(lǐng)域的專家開始倡導(dǎo)“敏捷方法”以應(yīng)對(duì)這一挑戰(zhàn)。2001年的敏捷宣言揭開了全球范圍內(nèi)電子政務(wù)領(lǐng)域“敏捷運(yùn)動(dòng)”(Agility Movement)的序幕。

    敏捷宣言呼吁計(jì)算機(jī)軟件開發(fā)要以用戶需求為核心,新的軟件開發(fā)“敏捷方法”指出軟件開發(fā)的目的是通過持續(xù)不斷地及早交付有價(jià)值的軟件使客戶滿意;軟件開發(fā)過程要欣然面對(duì)需求變化,即使在開發(fā)后期也一樣;為了客戶的競(jìng)爭(zhēng)優(yōu)勢(shì),敏捷過程要擁抱變化,要經(jīng)常地交付可運(yùn)作的軟件;業(yè)務(wù)人員和開發(fā)人員必須相互合作,項(xiàng)目中的每一天都不例外;要激發(fā)個(gè)體的斗志,以他們?yōu)楹诵拇罱?xiàng)目。提供所需的環(huán)境和支援,輔以信任,從而達(dá)成目標(biāo);不論團(tuán)隊(duì)內(nèi)外,傳遞信息效果最高效率的方式是面對(duì)面的交談;可運(yùn)作的軟件是進(jìn)度的首要度量標(biāo)準(zhǔn);敏捷過程倡導(dǎo)可持續(xù)開發(fā),責(zé)任人、開發(fā)人員和用戶要能夠共同維持步調(diào)穩(wěn)定延續(xù);要堅(jiān)持不懈地追求技術(shù)卓越和良好設(shè)計(jì),增強(qiáng)敏捷能力;要以簡(jiǎn)潔為本,極力減少不必要的工作量;通過自組織的團(tuán)體發(fā)展最好的架構(gòu)、設(shè)計(jì);團(tuán)隊(duì)要定期反思如何提高工作成效,并依此調(diào)整自身的工作表現(xiàn)。2012年美國(guó)會(huì)計(jì)總署和隨后英國(guó)國(guó)家審計(jì)署都要求電子政府平臺(tái)建設(shè)中必須采用敏捷方法,并為敏捷方法的使用和監(jiān)管提供了指南。

    早期研究聚焦敏捷電子政務(wù)軟件開發(fā)和敏捷項(xiàng)目管理,而后續(xù)學(xué)者側(cè)重探討如何利用敏捷方法建設(shè)敏捷政府和進(jìn)行政府創(chuàng)新。Ines Mergel等學(xué)者認(rèn)為“敏捷方法”是一種新型治理。筆者曾結(jié)合新公共管理理論、創(chuàng)新理論、治理理論發(fā)展出了一個(gè)包括十大要素的敏捷治理框架,并結(jié)合廈門2021年抗擊新冠疫情的實(shí)踐,闡釋了這十大要素對(duì)于后疫情時(shí)代提升政府治理體系和治理能力現(xiàn)代化的重要的理論和實(shí)踐意義。這十大要素包括:(1)維持穩(wěn)定性的同時(shí)又可以保持組織靈活的靈巧組織的建立;(2)快速動(dòng)員利益相關(guān)方合作的能力;(3)跨部門合作;(4)自我組織能力和組織的培養(yǎng);(5)復(fù)雜性的分解;(6)靈活的基礎(chǔ)設(shè)施;(7)擁抱變化;(8)充分溝通;(9)信息的開放與共享;(10)容錯(cuò)的組織學(xué)習(xí)。[7]

    敏捷治理的框架為治理算法規(guī)制提供了一個(gè)新的思路和方法。在傳統(tǒng)算法風(fēng)險(xiǎn)規(guī)制實(shí)踐中,保障算法安全、規(guī)避算法風(fēng)險(xiǎn)的主要舉措是算法標(biāo)準(zhǔn)、算法認(rèn)證、算法倫理審查、算法事后救濟(jì)等監(jiān)管模式。然而算法發(fā)展的復(fù)雜性和多變性使得不同計(jì)算機(jī)語言之間的“專業(yè)槽”程度不斷加深。[8]算法自主深度學(xué)習(xí)的屬性,使得算法設(shè)計(jì)者可能都無法對(duì)自己編寫代碼進(jìn)行解讀,算法審查主體在特定期限能力有限,不足以對(duì)算法應(yīng)用進(jìn)行審查。算法風(fēng)險(xiǎn)的范圍也不再僅局限于網(wǎng)絡(luò)環(huán)境,業(yè)已延伸至線下。算法風(fēng)險(xiǎn)的引發(fā)者不再限于算法設(shè)計(jì)應(yīng)用開發(fā)平臺(tái)。隨著計(jì)算機(jī)編程語言的擴(kuò)展與開放源代碼活動(dòng)的興起,個(gè)體也能利用算法知識(shí)和代碼設(shè)計(jì)快速搭建自己的算法應(yīng)用,造成算法風(fēng)險(xiǎn)。因此,隨著算法應(yīng)用的多元化,算法風(fēng)險(xiǎn)呈現(xiàn)分散、多變以及形式多元的特征。[9]傳統(tǒng)自上而下的監(jiān)管方式根本難以預(yù)計(jì)和防范日益復(fù)雜的算法風(fēng)險(xiǎn)。敏捷治理的核心要義就是要針對(duì)內(nèi)外部環(huán)境的動(dòng)態(tài)變化和不確定性,通過迭代創(chuàng)新的方式實(shí)現(xiàn)對(duì)公民訴求的快速響應(yīng)。相對(duì)于以往政府的強(qiáng)監(jiān)管和行業(yè)的自我規(guī)制,面對(duì)變化莫測(cè)的內(nèi)外部風(fēng)險(xiǎn)因素,將敏捷治理的思維引入算法規(guī)制,更易從集中于風(fēng)險(xiǎn)鏈條的中間節(jié)點(diǎn)擴(kuò)展至整個(gè)風(fēng)險(xiǎn)鏈條的全過程,對(duì)算法風(fēng)險(xiǎn)的快速發(fā)展和演化展開有效應(yīng)對(duì)。

    將敏捷治理引入算法規(guī)制并不是對(duì)政府強(qiáng)監(jiān)管和行業(yè)自我規(guī)制的摒棄,而是對(duì)二者的強(qiáng)化與補(bǔ)充。作為規(guī)制主體的引導(dǎo)者,政府規(guī)制在權(quán)威性和執(zhí)行力方面有著顯著優(yōu)勢(shì),但限于專業(yè)知識(shí)、資源和信息的缺乏,政府規(guī)制在實(shí)際操作過程中難以應(yīng)對(duì)復(fù)雜的現(xiàn)實(shí)。[10]行業(yè)自我規(guī)制一定程度上彌補(bǔ)了政府規(guī)制的缺陷,自我規(guī)制者擁有比政府更高水平的專業(yè)技術(shù)知識(shí),自我規(guī)制者往往比政府更密切接觸被規(guī)制對(duì)象,更易獲取規(guī)制信息,這極大地緩解了政府的能力和資源的不足。然而政府和自我規(guī)制者并非全能,并且規(guī)制作為經(jīng)濟(jì)系統(tǒng)的內(nèi)生變量,一旦政府為企業(yè)所俘獲,致使“規(guī)制合謀”現(xiàn)象發(fā)生,算法權(quán)力異化所引發(fā)的算法風(fēng)險(xiǎn)將成倍損害公共利益。

    敏捷治理可以使組織在復(fù)雜多變的環(huán)境中快速識(shí)別社會(huì)問題和公眾需求,預(yù)測(cè)其發(fā)展趨勢(shì)和潛在影響,對(duì)組織結(jié)構(gòu)和工作流程進(jìn)行迅速調(diào)整,以快速迭代的方式重新設(shè)計(jì)公共產(chǎn)品和服務(wù),滿足公眾不斷變化的需求。算法規(guī)制的敏捷治理可以顯著提升政府和企業(yè)對(duì)算法規(guī)制措施迭代創(chuàng)新的能力,這無疑是對(duì)政府監(jiān)管和行業(yè)自我規(guī)制應(yīng)對(duì)算法風(fēng)險(xiǎn)動(dòng)態(tài)變化力量的強(qiáng)化。此外,敏捷治理重視公民的治理主體地位,將以公民和社會(huì)非營(yíng)利組織等利益相關(guān)方引入算法規(guī)制,形成政府、市場(chǎng)和社會(huì)的戰(zhàn)略三角關(guān)系,以多元治理主體抗衡動(dòng)態(tài)變化的算法風(fēng)險(xiǎn)。

    二 權(quán)力與權(quán)利:算法規(guī)制何以敏捷

    傳統(tǒng)政府規(guī)制情境下,國(guó)家和政府代表的公權(quán)力和公民代表的私權(quán)利相互制衡。然而,算法權(quán)力所具有的內(nèi)在風(fēng)險(xiǎn)與外部的不可控引發(fā)了算法極權(quán),公民的基本權(quán)利在算法社會(huì)中被邊緣化,形成一種“弱政府”“強(qiáng)市場(chǎng)”“弱社會(huì)”的局面。[11]算法規(guī)制中的敏捷治理具有兩方面的功能:在權(quán)力層面,算法規(guī)制的敏捷治理突出公民的治理主體地位,在政府和市場(chǎng)之間劃界;在權(quán)利層面,通過靈活、迭代的規(guī)制方式建立算法風(fēng)險(xiǎn)防御體系,在外部環(huán)境變化過程中對(duì)算法風(fēng)險(xiǎn)源的發(fā)展規(guī)律進(jìn)行預(yù)測(cè)以制衡算法權(quán)力,動(dòng)態(tài)迅速維護(hù)公民的合法權(quán)益。

    (一)面向權(quán)力:實(shí)現(xiàn)公權(quán)力與算法權(quán)力的良性互動(dòng)

    算法失控而引發(fā)的算法風(fēng)險(xiǎn)分為兩種情形:一是技術(shù)為人所操控而對(duì)社會(huì)形成控制;二是技術(shù)不為人所控制而配置社會(huì)資源。面對(duì)這種彌散性、隱蔽性、非均衡權(quán)力形態(tài)所引發(fā)的算法風(fēng)險(xiǎn),現(xiàn)有規(guī)制路徑存在著諸多限制,很難分清現(xiàn)有的規(guī)制方式是出于公共利益還是資本利益,同時(shí)也難以有效防御算法權(quán)力失控而引發(fā)的風(fēng)險(xiǎn)。[12]權(quán)力層面強(qiáng)調(diào)以下內(nèi)容。

    1.凸顯公民在算法治理中的主體地位。大型互聯(lián)網(wǎng)科技平臺(tái)憑借自身技術(shù)優(yōu)勢(shì)不斷擴(kuò)張自身的算法權(quán)力,利益最大化的驅(qū)使,讓平臺(tái)更易將自身利益內(nèi)嵌在算法運(yùn)行中,借助算法權(quán)力形成與消費(fèi)者的不公平交易,催生“監(jiān)視資本主義”。而算法黑箱的存在讓平臺(tái)可以用非常隱蔽的形式進(jìn)行價(jià)格歧視,侵犯消費(fèi)者的合法權(quán)益。政府部門因自身權(quán)威優(yōu)勢(shì),在算法社會(huì)中處于優(yōu)勢(shì)地位,當(dāng)算法嵌入政治權(quán)力運(yùn)行的各個(gè)環(huán)節(jié)來參與社會(huì)治理時(shí),如若缺乏相關(guān)制約機(jī)制,則會(huì)引發(fā)“算法利維坦”,嚴(yán)重挑戰(zhàn)正當(dāng)程序制度和權(quán)力專屬原則。[13]

    算法權(quán)力異化的實(shí)質(zhì)是政府或企業(yè)憑借對(duì)數(shù)據(jù)的控制,獲得了不被監(jiān)督和制衡的權(quán)力。數(shù)據(jù)權(quán)的真正擁有者(公民)的合法權(quán)益被侵蝕,卻又無力尋求救濟(jì)。因此,強(qiáng)化公民在算法社會(huì)中的治理主體地位,實(shí)現(xiàn)權(quán)力的去中心化,無疑是算法時(shí)代防范算法權(quán)力異化的重要保證。而敏捷治理嵌入算法規(guī)制本身就是對(duì)算法規(guī)制路徑的一種改造與創(chuàng)新,通過強(qiáng)化公民自組織能力、利益相關(guān)體的合作,來提升社會(huì)群體在算法社會(huì)中的治理主體地位,將數(shù)據(jù)控制權(quán)歸還于民,進(jìn)而對(duì)公權(quán)力與算法權(quán)力的“共謀”進(jìn)行制約,形成政府、市場(chǎng)與社會(huì)之間的“鐵三角”關(guān)系,以此來確保數(shù)據(jù)控制者運(yùn)用被賦予的裁量權(quán),去實(shí)現(xiàn)公共規(guī)制目的而非自身的私人利益。[14]

    2.強(qiáng)調(diào)對(duì)算法權(quán)力異化的控制。當(dāng)前人工智能算法已經(jīng)逐漸形成一套復(fù)雜的自主性體系,即算法在沒有任何人為干預(yù)的情況下,憑借算法自主學(xué)習(xí)的能力自動(dòng)地從數(shù)據(jù)中提取知識(shí),在算法黑箱的“掩藏”下,其結(jié)果具有不確定性、不可解釋性和不可控性。算法可以直接轉(zhuǎn)變?yōu)樾袨橐?guī)范,影響甚至決定個(gè)人的行為。[15]萊斯格教授提出的“代碼即法律”原則充分體現(xiàn)了網(wǎng)絡(luò)空間的這一特征。而這種算法技術(shù)的“僭越”將導(dǎo)致各種社會(huì)關(guān)系依附于算法數(shù)據(jù)的分析和設(shè)計(jì)邏輯,基于理性自治的官僚結(jié)構(gòu)和企業(yè)組織將從“人的組織”轉(zhuǎn)向“算法的組織”。算法治理下的所有人,包括使用算法治理的人都將不得不在算法測(cè)量、統(tǒng)計(jì)、計(jì)算中尋求生存。算法治理強(qiáng)化了技術(shù)政治的自主性,導(dǎo)致“人的政治”的價(jià)值主張所具有的政治自律出現(xiàn)危機(jī)。[16]

    算法規(guī)制的敏捷治理一方面要求政府和企業(yè)組織不斷根據(jù)形勢(shì)的需要優(yōu)化結(jié)構(gòu)、制度和流程,強(qiáng)化其對(duì)算法權(quán)力失控的及時(shí)響應(yīng)和應(yīng)對(duì)能力;另一方面,敏捷治理通過對(duì)公民自我組織能力的強(qiáng)化以及功能性自組織的養(yǎng)成,對(duì)算法權(quán)力失控行為進(jìn)行監(jiān)管。社會(huì)和公眾自我意識(shí)的覺醒和自我組織能力的培養(yǎng)和壯大,是避免算法權(quán)力異化的最有效途徑。

    (二)面向權(quán)利:迅速響應(yīng)公民訴求

    在算法社會(huì),基于經(jīng)濟(jì)發(fā)展、社會(huì)便利與政治安全的訴求,公民不得不將自己的權(quán)利讓渡給算法權(quán)力。算法規(guī)制的敏捷治理要求對(duì)公民的利益訴求進(jìn)行快速的響應(yīng)。

    1.打破算法對(duì)用戶的“囚禁”。在算法社會(huì)中,個(gè)性化算法與公民的關(guān)聯(lián)最為緊密。然而,個(gè)性化算法為公民帶來便利的同時(shí)隱藏著眾多算法風(fēng)險(xiǎn)。一方面,算法利用用戶在互聯(lián)網(wǎng)中披露的個(gè)人數(shù)據(jù),通過進(jìn)一步數(shù)據(jù)分析和測(cè)算判斷出用戶心理和需求偏好,以此為前提向用戶推送“定制”信息,進(jìn)而左右用戶的主觀態(tài)度和判斷,誘導(dǎo)用戶的行為。另一方面,算法繼承社會(huì)偏見導(dǎo)致“算法歧視”。如國(guó)外著名網(wǎng)站上的高薪工作更多地向白人推薦,簡(jiǎn)歷篩選過程中,男性求職者的簡(jiǎn)歷分?jǐn)?shù)往往比女性求職者的簡(jiǎn)歷分?jǐn)?shù)高。同時(shí),算法歧視將進(jìn)一步固化現(xiàn)有社會(huì)結(jié)構(gòu),阻礙階層的流動(dòng)。現(xiàn)有的“數(shù)據(jù)鴻溝”會(huì)讓貧困者的數(shù)據(jù)更為稀少,其數(shù)據(jù)也就難以進(jìn)入民生保障的數(shù)據(jù)集,算法在這一數(shù)據(jù)集的基礎(chǔ)上進(jìn)行決策,易造成本應(yīng)獲得更多民生保障的貧困者無法得到應(yīng)有的保障。[17]

    算法權(quán)力的異化導(dǎo)致的“算法歧視”“大數(shù)據(jù)殺熟”“數(shù)據(jù)鴻溝”等算法風(fēng)險(xiǎn)嚴(yán)重侵犯了公民的隱私權(quán)、自由權(quán)、平等權(quán)甚至生存權(quán)等基本合法權(quán)益。與傳統(tǒng)規(guī)制方式相比,算法規(guī)制的敏捷治理要求以公民訴求為中心,通過建設(shè)靈活的“數(shù)據(jù)資源”、跨部門合作、有效溝通等方式及時(shí)對(duì)算法風(fēng)險(xiǎn)進(jìn)行規(guī)制,對(duì)用戶的需求迅速做出反饋,打破算法對(duì)用戶的“囚禁”。

    2.預(yù)防侵權(quán)“耐受”行為。個(gè)性化算法還會(huì)帶來另一個(gè)深層風(fēng)險(xiǎn),那就是在個(gè)性化服務(wù)的“伺奉”下,個(gè)體逐漸失去自主判斷與選擇權(quán),越來越多地被算法或機(jī)器控制。個(gè)性化算法所提供的便利服務(wù)精準(zhǔn)迎合用戶的心理需求,加之以往對(duì)“技術(shù)理性”的慣性認(rèn)知使其“沉迷”于算法所帶來的便利與福祉。在算法的演進(jìn)過程中,人們對(duì)算法的依賴不斷加深,并在不知不覺中被算法麻痹,被其控制。在算法時(shí)代,大部分系統(tǒng)的運(yùn)行都必須以用戶的信息為載體,這就導(dǎo)致人們?cè)谙硎苤悄芑憷臅r(shí)候必須“以隱私換便利”。大部分用戶都是“技術(shù)盲”,他們并不知道隱私會(huì)被如何侵犯以及侵犯到何種程度。用戶與算法設(shè)計(jì)應(yīng)用者之間存在這種天然的不對(duì)等關(guān)系,一部分人即使意識(shí)到了這種風(fēng)險(xiǎn)卻也無可奈何。

    無論是用戶“被幸福地操縱”,還是被迫以隱私換便利,都是公民產(chǎn)生侵權(quán)“耐受”行為的一種體現(xiàn)。[18]算法規(guī)制的敏捷治理重要目的就是喚醒公民的主體意識(shí),防止侵權(quán)“耐受”行為的發(fā)生。盡管以隱私換便利是用戶不得已的選擇,但用戶應(yīng)該有權(quán)利知道,出讓的是哪些隱私數(shù)據(jù),能獲取哪些便利,以及如何提升自我組織能力,進(jìn)而通過合法渠道去參與算法治理,維護(hù)自身合法權(quán)益。[19]基于此,政府要注重培養(yǎng)公民的“數(shù)據(jù)素養(yǎng)”,實(shí)現(xiàn)公民對(duì)自身數(shù)據(jù)權(quán)的重視和掌控,促使算法設(shè)計(jì)應(yīng)用者提升其數(shù)據(jù)分析能力和水平,引導(dǎo)算法向“善”。

    三 算法的敏捷治理

    面對(duì)算法風(fēng)險(xiǎn)的多樣性、動(dòng)態(tài)性,政府必須及時(shí)調(diào)整算法規(guī)制思路,創(chuàng)新算法規(guī)制路徑以提升規(guī)制效力,敏捷治理為算法治理提供了一個(gè)新的范式。

    (一)規(guī)制主體的轉(zhuǎn)變

    傳統(tǒng)的規(guī)制路徑主要依賴政府強(qiáng)監(jiān)管與行業(yè)自我規(guī)制,但政府和市場(chǎng)受專業(yè)知識(shí)和自利性的局限,難以有效解決算法風(fēng)險(xiǎn)問題。算法規(guī)制的敏捷治理要求規(guī)制主體從政府和企業(yè),轉(zhuǎn)向政府、企業(yè)與公民以及公民組織的協(xié)同共治。

    1.跨部門合作。政府監(jiān)管面臨的一個(gè)重要挑戰(zhàn)是協(xié)調(diào)與整合。如何建立起跨越部門監(jiān)管界限的協(xié)同監(jiān)管機(jī)制變得越來越重要。[20]一方面,對(duì)算法風(fēng)險(xiǎn)的監(jiān)管需要網(wǎng)信部門、市場(chǎng)監(jiān)管部門等的協(xié)同合作。另一方面,算法風(fēng)險(xiǎn)的監(jiān)管既是政治問題,也是經(jīng)濟(jì)和法律問題。行政和司法系統(tǒng)雖然有著權(quán)威性優(yōu)勢(shì),但技術(shù)壁壘的存在,使得行政和司法系統(tǒng)在算法黑箱面前往往束手無策。經(jīng)濟(jì)系統(tǒng)雖有專業(yè)能力,但又很難確保其是否致力于公共利益的實(shí)現(xiàn)。要想真正地破解算法難題,必須找到各系統(tǒng)之間的協(xié)作方向和具體事項(xiàng),達(dá)成跨部門的合作。[21]在這方面,德國(guó)推行的個(gè)人數(shù)據(jù)保護(hù)顧問制度頗有啟發(fā)借鑒意義。在德國(guó),個(gè)人數(shù)據(jù)保護(hù)顧問既擔(dān)任著法律義務(wù),同時(shí)也是企業(yè)系統(tǒng)的一員。政府作為規(guī)制主體的引導(dǎo)者,可通過數(shù)據(jù)監(jiān)管機(jī)構(gòu)與個(gè)人數(shù)據(jù)保護(hù)顧問這類部門合作來應(yīng)對(duì)算法監(jiān)管問題,以提升規(guī)制效力。個(gè)人數(shù)據(jù)保護(hù)顧問的存在也促使行政系統(tǒng)內(nèi)生自律性,預(yù)防政治領(lǐng)域算法權(quán)力的異化。

    2.快速動(dòng)員利益相關(guān)方。算法行為具有跨學(xué)科、跨領(lǐng)域的屬性。同時(shí),“算法黑箱”的存在也模糊了公私領(lǐng)域的界限。為保證對(duì)算法權(quán)力的全方位監(jiān)督,應(yīng)支持學(xué)術(shù)性組織和非營(yíng)利機(jī)構(gòu)的適當(dāng)介入,加強(qiáng)第三方監(jiān)管力量,維護(hù)算法公正、透明的運(yùn)行。目前在德國(guó)已經(jīng)出現(xiàn)了由資深媒體人和技術(shù)專家牽頭成立的名為“監(jiān)控算法”的非營(yíng)利組織,通過審核訪問協(xié)議的嚴(yán)密性、商定數(shù)字管理的道德準(zhǔn)則、任命專人監(jiān)管信息、在線跟蹤個(gè)人信息再次使用的情況,允許用戶不提供個(gè)人數(shù)據(jù)、為數(shù)據(jù)訪問設(shè)置時(shí)間軸、未經(jīng)同意不得將數(shù)據(jù)轉(zhuǎn)賣給第三方等方式防范算法濫用。

    3.以公民為代表的公民自組織的養(yǎng)成。傳統(tǒng)的算法規(guī)制路徑忽視了以公民為代表受算法影響的個(gè)體或組織的治理主體地位,導(dǎo)致政府—市場(chǎng)—社會(huì)關(guān)系的失衡。算法規(guī)制迫切需要公民自我組織起來牽制或驅(qū)動(dòng)相關(guān)主體各負(fù)其責(zé)。在算法治理的各相關(guān)主體之中,受算法影響的公民和非營(yíng)利組織顯然最有意愿和動(dòng)力對(duì)算法中存在的不當(dāng)問題進(jìn)行治理。他們或許不理解人工智能算法的設(shè)計(jì)原理,但會(huì)預(yù)測(cè)算法決策的結(jié)果。算法規(guī)制的敏捷治理除了強(qiáng)調(diào)政府的強(qiáng)監(jiān)管以及行業(yè)自我規(guī)制,更強(qiáng)調(diào)算法影響的公民、非營(yíng)利組織等社會(huì)個(gè)人和組織的自組織能力。美國(guó)目前正試圖通過提供資金援助的方式,鼓勵(lì)非公益組織以及個(gè)人測(cè)試算法運(yùn)行系統(tǒng),以期通過測(cè)試和執(zhí)法行為預(yù)防或消除算法風(fēng)險(xiǎn)。如果通過驗(yàn)證發(fā)現(xiàn),算法運(yùn)行過程中的確嵌入了算法歧視、大數(shù)據(jù)殺熟等行為,那么這些功能性自組織就可以主張歧視和不公,進(jìn)而要求政府監(jiān)管機(jī)構(gòu)強(qiáng)制算法設(shè)計(jì)開發(fā)應(yīng)用者修改算法以確保公平。采用自組織的方式去解決算法規(guī)制問題的同時(shí),政府應(yīng)該加強(qiáng)引導(dǎo),建立適度的框架模式和邊界條件,以便更好地促進(jìn)“涌現(xiàn)現(xiàn)象”的形成。[22]

    (二)規(guī)制方式的轉(zhuǎn)變

    算法規(guī)制的敏捷治理除了要在現(xiàn)有規(guī)制主體上發(fā)生轉(zhuǎn)變,形成規(guī)制多元共治的局面,還要通過迭代創(chuàng)新的規(guī)制方式,靈活應(yīng)對(duì)動(dòng)態(tài)變化的算法風(fēng)險(xiǎn)問題。

    1.建立強(qiáng)大的反饋機(jī)制。算法設(shè)計(jì)和實(shí)際運(yùn)行的復(fù)雜性決定了算法規(guī)制問題不可能一蹴而就。算法監(jiān)管必須在原有監(jiān)管模式的基礎(chǔ)上不斷進(jìn)行迭代創(chuàng)新,才能有效應(yīng)對(duì)新興技術(shù)和未知風(fēng)險(xiǎn)的挑戰(zhàn)。因此,算法監(jiān)管系統(tǒng)應(yīng)建立強(qiáng)大的反饋機(jī)制,便于用戶反饋情況,進(jìn)而發(fā)現(xiàn)和把握各種算法規(guī)制活動(dòng)的內(nèi)在連續(xù)性,打破算法運(yùn)行的自我強(qiáng)化學(xué)習(xí)循環(huán)。此外,算法規(guī)制的相關(guān)主體也要通過一定的反饋機(jī)制,進(jìn)行持續(xù)對(duì)話、互動(dòng)與溝通以實(shí)現(xiàn)信息的交流與共享,不斷優(yōu)化、不斷容錯(cuò)、糾錯(cuò)以實(shí)現(xiàn)算法治理問題的有效解決。

    2.分解算法風(fēng)險(xiǎn)的復(fù)雜性。算法的實(shí)質(zhì)是一系列通過預(yù)先設(shè)定的步驟、解決特定問題的計(jì)算機(jī)程序。[23]它的設(shè)計(jì)邏輯是將人類解決問題的過程分解為若干步驟,再通過程序設(shè)計(jì),將這一過程公式化,借助計(jì)算機(jī)算法求解復(fù)雜問題。[24]有效的算法規(guī)制同樣需要按照公眾的合法訴求對(duì)算法風(fēng)險(xiǎn)的復(fù)雜性進(jìn)行分解,將其劃分為若干步驟或若干類型,最終實(shí)現(xiàn)不同形式的算法風(fēng)險(xiǎn)都有相應(yīng)的負(fù)責(zé)主體和監(jiān)管模式。要針對(duì)算法設(shè)計(jì)應(yīng)用進(jìn)行流程劃分,以分解風(fēng)險(xiǎn)問題;要注重在數(shù)據(jù)采集階段提高數(shù)據(jù)的可解釋性;要避免“臟數(shù)據(jù)”等粗糙數(shù)據(jù),以優(yōu)化事前防范;要強(qiáng)化對(duì)算法運(yùn)行環(huán)節(jié)是否內(nèi)嵌算法設(shè)計(jì)應(yīng)用者的偏見或利己主義的審查,以便事中監(jiān)督;要加強(qiáng)對(duì)算法應(yīng)用服務(wù)結(jié)果是否侵害公眾利益的驗(yàn)證,以便事后救濟(jì)。此外,針對(duì)不同類型、不同級(jí)別的算法風(fēng)險(xiǎn)則需要塑造“分級(jí)分類監(jiān)管”的理念。[25]對(duì)于事關(guān)國(guó)家安全、社會(huì)秩序、公眾利益的算法應(yīng)用,應(yīng)按照風(fēng)險(xiǎn)等級(jí)進(jìn)行排序來分解算法風(fēng)險(xiǎn)的復(fù)雜性,同時(shí)根據(jù)不同的算法應(yīng)用場(chǎng)景,進(jìn)行相應(yīng)的規(guī)制強(qiáng)度和形式的設(shè)計(jì)。

    3.建設(shè)靈活的數(shù)據(jù)保護(hù)“基礎(chǔ)設(shè)施”。靈活的數(shù)據(jù)保護(hù)“基礎(chǔ)設(shè)施”是敏捷治理嵌入算法規(guī)制的基礎(chǔ)。西方國(guó)家在數(shù)據(jù)應(yīng)用方面走在世界前列,很大程度上是因?yàn)檎畽C(jī)構(gòu)在數(shù)據(jù)質(zhì)量、透明性和數(shù)據(jù)使用規(guī)范方面都打下了良好的基礎(chǔ)。進(jìn)入大數(shù)據(jù)時(shí)代,美國(guó)政府進(jìn)一步推進(jìn)了數(shù)據(jù)資源的“基礎(chǔ)設(shè)施”建設(shè)。美國(guó)聯(lián)邦貿(mào)易委員會(huì)技術(shù)研究和調(diào)查辦公室就通過向聯(lián)邦貿(mào)易委員會(huì)(FTC)消費(fèi)者保護(hù)調(diào)查員和律師提供有關(guān)算法透明度的培訓(xùn)和技術(shù)專業(yè)知識(shí)。2018年歐盟也出臺(tái)《歐盟通用數(shù)據(jù)保護(hù)條例》旨在維護(hù)公民或者個(gè)人用戶的隱私數(shù)據(jù),規(guī)范企業(yè)對(duì)用戶數(shù)據(jù)的規(guī)范使用。同時(shí),規(guī)定第三方機(jī)構(gòu)可以在接受數(shù)據(jù)主體委托和無須獲得數(shù)據(jù)主體同意兩種情況下向數(shù)據(jù)監(jiān)管機(jī)構(gòu)提出申訴和行使救濟(jì)權(quán)。[26]

    四 結(jié)論與展望

    隨著算法風(fēng)險(xiǎn)的動(dòng)態(tài)變化,及時(shí)規(guī)制算法權(quán)力、規(guī)避算法風(fēng)險(xiǎn)以切實(shí)保障公民的合法權(quán)益,是算法社會(huì)中預(yù)防算法權(quán)力異化的必然要求。政府和市場(chǎng)作為現(xiàn)有算法規(guī)制的主體,由于種種原因,難以保證算法治理公共性的實(shí)現(xiàn)。算法深度自主學(xué)習(xí)的屬性也導(dǎo)致“技術(shù)政治”超越“人的政治”,引發(fā)算法失控的風(fēng)險(xiǎn)。算法規(guī)制敏捷治理的核心要義,就是凸顯以公民為代表的社會(huì)群體的治理主體地位,將數(shù)據(jù)權(quán)還政于公民。算法規(guī)制的敏捷治理,不僅要求在治理哲學(xué)上進(jìn)行轉(zhuǎn)變,更需要在機(jī)構(gòu)、運(yùn)作方法和具體規(guī)制手段上擁抱快速變化的社會(huì)政治經(jīng)濟(jì)和技術(shù)發(fā)展,不斷對(duì)規(guī)制方式進(jìn)行迭代創(chuàng)新,以應(yīng)對(duì)算法風(fēng)險(xiǎn)的多元性與動(dòng)態(tài)性。算法規(guī)制的敏捷治理特別強(qiáng)調(diào)公民數(shù)據(jù)權(quán)意識(shí)的覺醒和公民自組織體系和能力的培養(yǎng)。政府?dāng)?shù)據(jù)治理體系和治理能力的建設(shè),公民社會(huì)自我確權(quán)意識(shí)的培養(yǎng)、自我組織和保護(hù)能力的培養(yǎng)的結(jié)合,是規(guī)制算法權(quán)力、抵制資本對(duì)公民數(shù)據(jù)權(quán)益的侵犯和充分有效利用數(shù)據(jù)要素造福社會(huì)的終極武器。

    猜你喜歡
    規(guī)制法規(guī)公民
    論公民美育
    主動(dòng)退市規(guī)制的德國(guó)經(jīng)驗(yàn)與啟示
    千奇百怪的法規(guī)
    幽默大師(2018年12期)2018-12-06 08:29:28
    千奇百怪的法規(guī)
    幽默大師(2018年11期)2018-10-27 06:03:04
    千奇百怪的法規(guī)
    幽默大師(2018年3期)2018-10-27 05:50:34
    保護(hù)與規(guī)制:關(guān)于文學(xué)的刑法
    刑法論叢(2018年4期)2018-05-21 00:44:30
    論《反不正當(dāng)競(jìng)爭(zhēng)法》的規(guī)制范疇
    法治研究(2016年4期)2016-12-01 03:41:40
    隱私保護(hù)也是公民一種“獲得感”
    十二公民
    電影(2015年4期)2015-11-29 07:32:17
    內(nèi)容規(guī)制
    亚洲第一av免费看| 日韩av不卡免费在线播放| 黄色片一级片一级黄色片| 搡老乐熟女国产| 老司机亚洲免费影院| 亚洲专区国产一区二区| 午夜影院在线不卡| 日本a在线网址| 操出白浆在线播放| 精品高清国产在线一区| 久久久久久久国产电影| 涩涩av久久男人的天堂| 丝袜喷水一区| 亚洲av成人不卡在线观看播放网 | 日日摸夜夜添夜夜爱| 真人做人爱边吃奶动态| 国精品久久久久久国模美| 免费在线观看日本一区| 午夜免费鲁丝| 色播在线永久视频| 欧美日韩av久久| 蜜桃国产av成人99| 亚洲精品一区蜜桃| 久热这里只有精品99| 亚洲av电影在线进入| 中文字幕人妻熟女乱码| 大片免费播放器 马上看| 每晚都被弄得嗷嗷叫到高潮| 亚洲中文av在线| 后天国语完整版免费观看| 国产人伦9x9x在线观看| 婷婷成人精品国产| 日韩熟女老妇一区二区性免费视频| 国产精品一国产av| 啦啦啦视频在线资源免费观看| 国产无遮挡羞羞视频在线观看| 久久久欧美国产精品| av网站免费在线观看视频| 欧美日韩亚洲国产一区二区在线观看 | 欧美乱码精品一区二区三区| 欧美精品高潮呻吟av久久| 色网站视频免费| 亚洲av成人精品一二三区| 丁香六月欧美| 精品亚洲成a人片在线观看| 色94色欧美一区二区| 国产国语露脸激情在线看| 日日爽夜夜爽网站| 在线亚洲精品国产二区图片欧美| 精品少妇黑人巨大在线播放| 欧美成狂野欧美在线观看| 两个人看的免费小视频| 免费在线观看影片大全网站 | www.精华液| 欧美精品啪啪一区二区三区 | 尾随美女入室| 中文字幕人妻熟女乱码| 91九色精品人成在线观看| 亚洲精品一区蜜桃| 国产成人精品无人区| 久久久国产一区二区| 欧美国产精品va在线观看不卡| 免费黄频网站在线观看国产| 成年美女黄网站色视频大全免费| 多毛熟女@视频| 国产黄色视频一区二区在线观看| 99re6热这里在线精品视频| 久久九九热精品免费| 两个人看的免费小视频| 女人被躁到高潮嗷嗷叫费观| 性高湖久久久久久久久免费观看| 爱豆传媒免费全集在线观看| 97人妻天天添夜夜摸| 国产精品香港三级国产av潘金莲 | 欧美亚洲日本最大视频资源| 亚洲视频免费观看视频| 中文字幕人妻丝袜制服| 叶爱在线成人免费视频播放| 国产亚洲av片在线观看秒播厂| av在线老鸭窝| 人妻一区二区av| 色网站视频免费| 天天操日日干夜夜撸| 男的添女的下面高潮视频| 午夜av观看不卡| 91麻豆av在线| 男女高潮啪啪啪动态图| av在线播放精品| av不卡在线播放| 色婷婷久久久亚洲欧美| 亚洲自偷自拍图片 自拍| 女性被躁到高潮视频| 欧美日韩精品网址| 999精品在线视频| 亚洲成人免费av在线播放| av欧美777| 视频区欧美日本亚洲| 日韩人妻精品一区2区三区| 成年女人毛片免费观看观看9 | 午夜免费男女啪啪视频观看| 中文欧美无线码| 校园人妻丝袜中文字幕| 男女午夜视频在线观看| 一级片免费观看大全| www.熟女人妻精品国产| 午夜视频精品福利| 视频区欧美日本亚洲| 十分钟在线观看高清视频www| 免费日韩欧美在线观看| 午夜福利,免费看| 日本色播在线视频| 精品少妇内射三级| 日韩电影二区| 欧美日韩视频精品一区| 婷婷色综合www| 国产精品香港三级国产av潘金莲 | 午夜精品国产一区二区电影| 国产免费福利视频在线观看| 丰满迷人的少妇在线观看| 欧美成人精品欧美一级黄| 女人久久www免费人成看片| 色婷婷av一区二区三区视频| 欧美精品亚洲一区二区| 日韩熟女老妇一区二区性免费视频| 午夜福利视频精品| 午夜免费观看性视频| 国产精品偷伦视频观看了| 亚洲,一卡二卡三卡| 狠狠精品人妻久久久久久综合| 亚洲精品美女久久久久99蜜臀 | 国产真人三级小视频在线观看| 1024视频免费在线观看| 成人影院久久| 手机成人av网站| 蜜桃国产av成人99| 国产91精品成人一区二区三区 | 亚洲精品国产色婷婷电影| 亚洲国产欧美网| 亚洲国产欧美日韩在线播放| 免费女性裸体啪啪无遮挡网站| 男女边吃奶边做爰视频| 飞空精品影院首页| 少妇裸体淫交视频免费看高清 | 午夜免费观看性视频| 久久天躁狠狠躁夜夜2o2o | 久久国产精品大桥未久av| xxx大片免费视频| 亚洲精品第二区| 日韩,欧美,国产一区二区三区| 日本wwww免费看| 欧美 亚洲 国产 日韩一| 国产av一区二区精品久久| 免费高清在线观看视频在线观看| 午夜91福利影院| 波多野结衣av一区二区av| 日韩熟女老妇一区二区性免费视频| 美女视频免费永久观看网站| 韩国精品一区二区三区| 深夜精品福利| 青草久久国产| 两个人看的免费小视频| 女人被躁到高潮嗷嗷叫费观| 女人久久www免费人成看片| 性少妇av在线| 一区二区三区四区激情视频| 女性被躁到高潮视频| 男人舔女人的私密视频| a级毛片在线看网站| 黄色怎么调成土黄色| 国产在线一区二区三区精| 最近最新中文字幕大全免费视频 | 免费看不卡的av| 中文字幕人妻熟女乱码| 狂野欧美激情性bbbbbb| 国产成人精品在线电影| 成人18禁高潮啪啪吃奶动态图| 天天躁夜夜躁狠狠躁躁| 又大又爽又粗| 咕卡用的链子| 18禁国产床啪视频网站| 日本vs欧美在线观看视频| 国产精品久久久久久精品电影小说| 午夜福利,免费看| av片东京热男人的天堂| 亚洲熟女毛片儿| 色94色欧美一区二区| 国产精品三级大全| av线在线观看网站| 久久性视频一级片| 咕卡用的链子| 成年人免费黄色播放视频| 在线av久久热| 天堂俺去俺来也www色官网| 90打野战视频偷拍视频| 久久久久精品国产欧美久久久 | 国产免费又黄又爽又色| 日本av免费视频播放| 欧美人与性动交α欧美软件| 国产一区二区激情短视频 | 狂野欧美激情性bbbbbb| 中文字幕另类日韩欧美亚洲嫩草| 欧美大码av| 人人妻,人人澡人人爽秒播 | 亚洲欧美精品综合一区二区三区| 国产成人精品在线电影| 成人影院久久| 新久久久久国产一级毛片| 18在线观看网站| 精品久久久精品久久久| 欧美激情 高清一区二区三区| 七月丁香在线播放| 国产无遮挡羞羞视频在线观看| 免费观看av网站的网址| 成人18禁高潮啪啪吃奶动态图| 精品人妻一区二区三区麻豆| 国产熟女午夜一区二区三区| 免费日韩欧美在线观看| videosex国产| 91老司机精品| 日韩欧美一区视频在线观看| 在线av久久热| 成年av动漫网址| 精品福利永久在线观看| 久久 成人 亚洲| 午夜免费观看性视频| 国产成人一区二区三区免费视频网站 | 极品少妇高潮喷水抽搐| 观看av在线不卡| 五月天丁香电影| 成年人免费黄色播放视频| 国产亚洲午夜精品一区二区久久| 精品人妻1区二区| 嫁个100分男人电影在线观看 | 免费高清在线观看视频在线观看| 下体分泌物呈黄色| 精品国产一区二区三区久久久樱花| 久久热在线av| 亚洲人成网站在线观看播放| 国产成人91sexporn| 国产日韩欧美视频二区| 永久免费av网站大全| 男男h啪啪无遮挡| 免费看不卡的av| 爱豆传媒免费全集在线观看| 午夜免费成人在线视频| 国产色视频综合| 国产片特级美女逼逼视频| 国产精品九九99| 久久ye,这里只有精品| 波多野结衣av一区二区av| 久9热在线精品视频| 国产精品一区二区精品视频观看| 久久精品国产亚洲av高清一级| 脱女人内裤的视频| 一本一本久久a久久精品综合妖精| 可以免费在线观看a视频的电影网站| 丝袜在线中文字幕| 久久99精品国语久久久| 一二三四在线观看免费中文在| 叶爱在线成人免费视频播放| 色播在线永久视频| 大香蕉久久网| 色视频在线一区二区三区| 国产免费又黄又爽又色| 国产真人三级小视频在线观看| 黄色片一级片一级黄色片| 亚洲成人免费电影在线观看 | 国产精品一二三区在线看| 少妇裸体淫交视频免费看高清 | 亚洲欧美清纯卡通| 午夜福利在线免费观看网站| 少妇猛男粗大的猛烈进出视频| 国产精品久久久人人做人人爽| 桃花免费在线播放| www.自偷自拍.com| 又大又黄又爽视频免费| a 毛片基地| 久久中文字幕一级| 精品卡一卡二卡四卡免费| 欧美黄色片欧美黄色片| 亚洲欧洲精品一区二区精品久久久| 亚洲av成人不卡在线观看播放网 | 欧美日韩精品网址| 久久人人97超碰香蕉20202| videosex国产| 777米奇影视久久| 丰满少妇做爰视频| 韩国精品一区二区三区| 老司机影院毛片| 国产精品人妻久久久影院| 午夜激情av网站| 赤兔流量卡办理| 国产黄频视频在线观看| 一级毛片女人18水好多 | 国产精品一国产av| 国产免费一区二区三区四区乱码| 天天影视国产精品| 日韩人妻精品一区2区三区| 人人澡人人妻人| 亚洲国产成人一精品久久久| 国产高清不卡午夜福利| 在线av久久热| 777久久人妻少妇嫩草av网站| 国产不卡av网站在线观看| 国产极品粉嫩免费观看在线| 在线 av 中文字幕| 久久天堂一区二区三区四区| 日本一区二区免费在线视频| 在线亚洲精品国产二区图片欧美| 欧美日韩福利视频一区二区| 三上悠亚av全集在线观看| 两性夫妻黄色片| 侵犯人妻中文字幕一二三四区| 欧美激情高清一区二区三区| 国产免费视频播放在线视频| 19禁男女啪啪无遮挡网站| 中国国产av一级| 欧美变态另类bdsm刘玥| 男女国产视频网站| 国产av一区二区精品久久| 午夜激情久久久久久久| 久久国产精品男人的天堂亚洲| 精品久久久久久电影网| 自线自在国产av| 亚洲熟女精品中文字幕| 欧美 日韩 精品 国产| 成人手机av| 侵犯人妻中文字幕一二三四区| 男的添女的下面高潮视频| 欧美性长视频在线观看| 中文字幕另类日韩欧美亚洲嫩草| 91精品国产国语对白视频| 久久亚洲精品不卡| 两人在一起打扑克的视频| 老汉色∧v一级毛片| 伊人亚洲综合成人网| 在线 av 中文字幕| 日本a在线网址| 国产精品久久久久成人av| 久久女婷五月综合色啪小说| 精品少妇内射三级| 欧美日韩综合久久久久久| 国产成人免费无遮挡视频| 看免费成人av毛片| 高清不卡的av网站| 黄色一级大片看看| 热re99久久国产66热| 成人免费观看视频高清| 色播在线永久视频| 久久人妻福利社区极品人妻图片 | 欧美精品人与动牲交sv欧美| 国产精品免费视频内射| 婷婷色麻豆天堂久久| 日韩 亚洲 欧美在线| 亚洲黑人精品在线| 九色亚洲精品在线播放| 欧美精品人与动牲交sv欧美| 亚洲欧美中文字幕日韩二区| 国产精品久久久久久人妻精品电影 | 国产精品秋霞免费鲁丝片| 久久人人97超碰香蕉20202| 又大又黄又爽视频免费| 日本五十路高清| 免费不卡黄色视频| videos熟女内射| 最新在线观看一区二区三区 | 嫁个100分男人电影在线观看 | 观看av在线不卡| 亚洲国产欧美日韩在线播放| 亚洲av成人精品一二三区| 自线自在国产av| 一区二区av电影网| 新久久久久国产一级毛片| 亚洲av男天堂| 国产免费又黄又爽又色| 国产精品欧美亚洲77777| 成年动漫av网址| 欧美日韩亚洲国产一区二区在线观看 | 国产精品国产av在线观看| 亚洲精品国产色婷婷电影| 蜜桃在线观看..| 制服人妻中文乱码| 赤兔流量卡办理| 国产高清国产精品国产三级| 欧美人与善性xxx| 看免费av毛片| 国产精品一区二区在线观看99| 国产免费一区二区三区四区乱码| 免费女性裸体啪啪无遮挡网站| 99国产精品一区二区三区| 在线看a的网站| 亚洲欧美中文字幕日韩二区| 免费高清在线观看视频在线观看| 悠悠久久av| 欧美日韩福利视频一区二区| 精品人妻一区二区三区麻豆| 啦啦啦在线观看免费高清www| 日本五十路高清| av片东京热男人的天堂| 久久国产精品男人的天堂亚洲| 大片电影免费在线观看免费| 免费看不卡的av| 两个人看的免费小视频| 岛国毛片在线播放| 国产成人a∨麻豆精品| 免费高清在线观看日韩| 在现免费观看毛片| 亚洲av国产av综合av卡| 欧美亚洲日本最大视频资源| 精品一区二区三区四区五区乱码 | 久久精品久久久久久噜噜老黄| 欧美+亚洲+日韩+国产| 国产精品成人在线| 自线自在国产av| 国产成人免费观看mmmm| 在线观看免费视频网站a站| 男女高潮啪啪啪动态图| 国产欧美日韩精品亚洲av| 少妇猛男粗大的猛烈进出视频| 黑丝袜美女国产一区| 欧美人与性动交α欧美软件| a级毛片在线看网站| 韩国高清视频一区二区三区| 视频区图区小说| 精品亚洲成a人片在线观看| 亚洲国产欧美在线一区| 国产一卡二卡三卡精品| 一级毛片女人18水好多 | 老司机在亚洲福利影院| 十八禁人妻一区二区| 美女视频免费永久观看网站| 色婷婷av一区二区三区视频| av欧美777| 色视频在线一区二区三区| 九草在线视频观看| 天天躁日日躁夜夜躁夜夜| 国产亚洲精品久久久久5区| 亚洲精品日本国产第一区| 国产成人精品久久二区二区91| 高清欧美精品videossex| 精品人妻熟女毛片av久久网站| 人人澡人人妻人| 女人久久www免费人成看片| 亚洲av片天天在线观看| 纵有疾风起免费观看全集完整版| 天堂俺去俺来也www色官网| 日本av免费视频播放| 超碰97精品在线观看| 午夜老司机福利片| 美女午夜性视频免费| 精品一区在线观看国产| 国产在线免费精品| 亚洲欧美清纯卡通| 免费看十八禁软件| 国产爽快片一区二区三区| 18禁裸乳无遮挡动漫免费视频| 久久亚洲精品不卡| 久久精品久久精品一区二区三区| 黑丝袜美女国产一区| a级毛片黄视频| 免费人妻精品一区二区三区视频| 久久久久久久国产电影| 亚洲第一欧美日韩一区二区三区| 宅男免费午夜| 真人做人爱边吃奶动态| 久久久久久久精品吃奶| 身体一侧抽搐| 老司机午夜十八禁免费视频| 亚洲国产精品999在线| 日韩欧美在线二视频| 少妇被粗大的猛进出69影院| 日韩欧美国产在线观看| 国产精品九九99| 一本综合久久免费| 欧美成人一区二区免费高清观看 | 欧美日韩精品网址| 国产亚洲av嫩草精品影院| 久久欧美精品欧美久久欧美| 国产成人啪精品午夜网站| 欧美黄色片欧美黄色片| 亚洲国产日韩欧美精品在线观看 | 12—13女人毛片做爰片一| 夜夜夜夜夜久久久久| 婷婷六月久久综合丁香| 一级毛片精品| 亚洲aⅴ乱码一区二区在线播放 | 女生性感内裤真人,穿戴方法视频| 又黄又粗又硬又大视频| 在线观看午夜福利视频| 欧美日本视频| or卡值多少钱| 女人爽到高潮嗷嗷叫在线视频| 亚洲国产欧洲综合997久久, | av在线播放免费不卡| 亚洲欧美精品综合久久99| 美女免费视频网站| 亚洲第一欧美日韩一区二区三区| 亚洲成人精品中文字幕电影| 国产精品亚洲av一区麻豆| 国产高清视频在线播放一区| 精品熟女少妇八av免费久了| 不卡一级毛片| 黄片大片在线免费观看| 成人特级黄色片久久久久久久| 又大又爽又粗| 国产精品99久久99久久久不卡| 精品国产乱码久久久久久男人| 人人妻人人看人人澡| videosex国产| 亚洲午夜理论影院| 国产精品爽爽va在线观看网站 | 人人妻人人澡欧美一区二区| 非洲黑人性xxxx精品又粗又长| 久久欧美精品欧美久久欧美| 免费在线观看亚洲国产| 久久欧美精品欧美久久欧美| 老司机午夜十八禁免费视频| 国产男靠女视频免费网站| 国产视频内射| 午夜福利18| 欧美一级毛片孕妇| 国产av在哪里看| 欧美黄色淫秽网站| 久久人人精品亚洲av| 亚洲成a人片在线一区二区| 免费看a级黄色片| 国产成人欧美在线观看| 巨乳人妻的诱惑在线观看| 人妻久久中文字幕网| 国产一卡二卡三卡精品| 亚洲国产日韩欧美精品在线观看 | 亚洲全国av大片| 午夜久久久在线观看| 久久久久久国产a免费观看| 欧美日韩精品网址| 午夜老司机福利片| 他把我摸到了高潮在线观看| 亚洲国产日韩欧美精品在线观看 | 午夜福利在线在线| 色尼玛亚洲综合影院| 视频区欧美日本亚洲| 国产精品1区2区在线观看.| 三级毛片av免费| 少妇被粗大的猛进出69影院| 黑人操中国人逼视频| 欧美成人一区二区免费高清观看 | 侵犯人妻中文字幕一二三四区| 久久久精品国产亚洲av高清涩受| 一区二区日韩欧美中文字幕| 色播在线永久视频| 久久久久九九精品影院| 久久国产乱子伦精品免费另类| 制服人妻中文乱码| 亚洲av电影在线进入| 婷婷亚洲欧美| 久99久视频精品免费| 两个人免费观看高清视频| 午夜日韩欧美国产| 在线观看午夜福利视频| 亚洲美女黄片视频| 人妻丰满熟妇av一区二区三区| 日日干狠狠操夜夜爽| ponron亚洲| 国内久久婷婷六月综合欲色啪| 久久久精品欧美日韩精品| 欧美成人午夜精品| 麻豆国产av国片精品| 国产精品综合久久久久久久免费| xxxwww97欧美| 久久精品夜夜夜夜夜久久蜜豆 | 色婷婷久久久亚洲欧美| 亚洲成人久久爱视频| 国产精品久久久久久精品电影 | 国产成人影院久久av| 村上凉子中文字幕在线| 一级毛片女人18水好多| 母亲3免费完整高清在线观看| 久久欧美精品欧美久久欧美| 久久人妻av系列| 久久中文字幕人妻熟女| 国语自产精品视频在线第100页| 麻豆国产av国片精品| 久久精品aⅴ一区二区三区四区| 国产亚洲精品综合一区在线观看 | 欧美一级a爱片免费观看看 | 精品久久久久久久久久久久久 | 精品高清国产在线一区| 18禁裸乳无遮挡免费网站照片 | 精品一区二区三区四区五区乱码| 国产精品,欧美在线| 老司机深夜福利视频在线观看| 精品熟女少妇八av免费久了| 免费av毛片视频| 亚洲一区二区三区不卡视频| 在线观看免费日韩欧美大片| 国产一区在线观看成人免费| 成人精品一区二区免费| 黄片大片在线免费观看| 中文字幕人成人乱码亚洲影| 亚洲国产欧美网| 一本一本综合久久| 一区二区日韩欧美中文字幕| 香蕉久久夜色| 精品熟女少妇八av免费久了| 1024香蕉在线观看| 亚洲国产精品合色在线| 免费在线观看亚洲国产| www.999成人在线观看| 国产精品1区2区在线观看.| 在线av久久热| 女性生殖器流出的白浆| 久久精品91蜜桃| 国产成人啪精品午夜网站| 日韩欧美免费精品| 少妇粗大呻吟视频|