• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能治理:從科技中心主義到科技人文協(xié)作

    2020-12-17 10:57:19曹建峰
    關(guān)鍵詞:治理跨學(xué)科倫理

    摘 要: 隨著人工智能技術(shù)的發(fā)展應(yīng)用,算法推薦、深度合成、人臉識別、自動駕駛汽車、人工智能醫(yī)療等成為現(xiàn)實(shí),但也引發(fā)了人們對隱私保護(hù)、算法歧視、安全與責(zé)任、技術(shù)濫用、社會倫理等問題的擔(dān)憂。呼吁加強(qiáng)人工智能治理成為2019年人工智能發(fā)展的主線之一,各國陸續(xù)出臺政策或立法對人工智能技術(shù)及其應(yīng)用進(jìn)行必要的監(jiān)管。人工智能監(jiān)管需要采取科技人文協(xié)作的方式,構(gòu)建多層次的治理體系,符合比例原則和利益平衡,確保實(shí)現(xiàn)安全、可信、負(fù)責(zé)任的人工智能。

    關(guān)鍵詞: 人工智能;治理;倫理;跨學(xué)科

    中圖分類號:TP18文獻(xiàn)標(biāo)識碼:A文章編號:1004-8634(2020)05-0098-(10)

    DOI:10.13852/J.CNKI.JSHNU.2020.05.011

    作為有望引領(lǐng)第四次工業(yè)革命、重塑經(jīng)濟(jì)社會發(fā)展形態(tài)的新興技術(shù),人工智能(AI)已經(jīng)成為全球科技競爭的焦點(diǎn)。2017年以來,全球30多個國家(如中、美、日、德、英等)和地區(qū)(如歐盟)已出臺了AI戰(zhàn)略,搶占技術(shù)、應(yīng)用和產(chǎn)業(yè)高地。(Future of Life Institute, “National and International AI Strategies”, Retrieved from https://futureoflife.org/national-international-ai-strategies/?cn-reloaded=1.)在此背景下,人工智能作為底層技術(shù)(如深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí))、功能性應(yīng)用(如人臉識別、語音識別)和應(yīng)用領(lǐng)域(如安防、交通、醫(yī)療)組成的產(chǎn)業(yè)生態(tài)系統(tǒng),正從互聯(lián)網(wǎng)領(lǐng)域加速擴(kuò)張滲透到實(shí)體經(jīng)濟(jì)等諸多領(lǐng)域和各行各業(yè),并與大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)(IoT)等深度融合,推動經(jīng)濟(jì)社會數(shù)字化、智能化發(fā)展,并塑造新的經(jīng)濟(jì)和社會形態(tài)。中國作為全球最大的互聯(lián)網(wǎng)市場,為人工智能的發(fā)展提供了肥沃的土壤,在數(shù)字世界與物理世界融合、人工智能與實(shí)體經(jīng)濟(jì)融合、從數(shù)字化到智能化轉(zhuǎn)型等背景下,人工智能新技術(shù)給中國經(jīng)濟(jì)社會的高質(zhì)量、可持續(xù)發(fā)展提供了前所未有的機(jī)遇,需要適宜的制度土壤來孕育面向未來的產(chǎn)業(yè)格局和國家競爭力。

    但在另一方面,人工智能的廣泛應(yīng)用,也引發(fā)了社會各界對人工智能的法律、倫理和社會影響的持續(xù)關(guān)注和激烈討論,呼吁重視AI倫理,加強(qiáng)AI治理,踐行科技向善,發(fā)展安全可信、負(fù)責(zé)任的人工智能。回顧2019年,AI倫理原則和AI倫理審查,以及AI算法決策、深度偽造和合成內(nèi)容、人臉識別、自動駕駛汽車和“城市空中出行”(UAM)、AI醫(yī)療等細(xì)分領(lǐng)域監(jiān)管,是全球人工智能治理的焦點(diǎn)話題,表明國內(nèi)外對人工智能治理的持續(xù)高度重視。總結(jié)各國經(jīng)驗(yàn),對人工智能需要采取多方主體共同參與的多元、多層次治理模式,從而構(gòu)筑適宜技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展的制度土壤,以打造面向未來的科技引擎。

    一、AI倫理和治理成基本共識,各界探索落地機(jī)制

    1.中美歐采取不同的AI路徑,創(chuàng)新與倫理平衡是AI治理的關(guān)鍵

    全球來看,中美歐是AI領(lǐng)域的主要“玩家”,代表著不同的發(fā)展路徑?;ヂ?lián)網(wǎng)等數(shù)字技術(shù)發(fā)展薄弱、在數(shù)字經(jīng)濟(jì)領(lǐng)域顯著落后于美國的歐盟,采取了更加側(cè)重立法和監(jiān)管的路徑,其AI戰(zhàn)略的三大支柱之一即“建立與人工智能發(fā)展和應(yīng)用相適應(yīng)的法律和倫理框架”。(曹建峰、方齡曼:《歐盟人工智能倫理與治理的路徑及啟示》,《人工智能》2019年第4期。)《通用數(shù)據(jù)保護(hù)條例》(General Data Protection Regulation,簡稱GDPR)影響著全球個人信息保護(hù)立法,歐盟希望在AI立法和監(jiān)管上成為全球的領(lǐng)導(dǎo)者。2019年歐盟不僅提出了系統(tǒng)性的倫理框架,而且開始醞釀人工智能的相關(guān)立法,以2019年4月發(fā)布的《可信AI倫理指南》和《關(guān)于構(gòu)筑對以人為本的人工智能的信任的通訊》等政策文件為代表。但歐盟對立法和監(jiān)管的過度強(qiáng)調(diào),能否最終轉(zhuǎn)化為其在AI技術(shù)、產(chǎn)業(yè)上的國際競爭力,是值得深入探討的。另外,就像通過GDPR、數(shù)字稅、互聯(lián)網(wǎng)反壟斷調(diào)查等一系列舉措來限制美國大型互聯(lián)網(wǎng)企業(yè)一樣,歐盟希望通過AI政策提升其自身競爭力的意圖也是不言而喻的。

    相反,美國作為AI領(lǐng)域的領(lǐng)頭羊,采取了輕監(jiān)管、促創(chuàng)新的路徑,以政策不阻礙AI技術(shù)和產(chǎn)業(yè)發(fā)展、降低創(chuàng)新的門檻和成本為優(yōu)先考慮,并在發(fā)展過程中采取漸進(jìn)式監(jiān)管而非激進(jìn)的監(jiān)管,來應(yīng)對新出現(xiàn)的問題。目前美國已在積極廢除或修訂交通、醫(yī)療等重點(diǎn)應(yīng)用領(lǐng)域內(nèi)限制、阻礙AI技術(shù)發(fā)展應(yīng)用的既有監(jiān)管規(guī)則。2019年2月,美國正式出臺AI戰(zhàn)略(其中提出制定AI監(jiān)管指南并設(shè)定AI治理標(biāo)準(zhǔn))。而且美國提出了聯(lián)邦政府參與、主導(dǎo)AI標(biāo)準(zhǔn)的系統(tǒng)性計(jì)劃。美國的國家人工智能戰(zhàn)略雖然姍姍來遲,但為表明在人工智能領(lǐng)域維持并鞏固其全球領(lǐng)導(dǎo)地位的決心,預(yù)計(jì)其將采取一系列措施和行動。例如,為了推動實(shí)施美國AI戰(zhàn)略,2020年1月美國聯(lián)邦政府發(fā)布了《人工智能應(yīng)用的監(jiān)管指南》,要求聯(lián)邦政府在針對人工智能技術(shù)和相關(guān)產(chǎn)業(yè)采取監(jiān)管和非監(jiān)管措施時,要以減少AI技術(shù)應(yīng)用的障礙、促進(jìn)技術(shù)創(chuàng)新為宗旨,《指南》同時提出了管理人工智能應(yīng)用的十大原則,并呼吁更多采用行業(yè)細(xì)分的政策指南或框架、試點(diǎn)項(xiàng)目和實(shí)驗(yàn)(如為AI應(yīng)用提供安全港)、自愿性的行業(yè)標(biāo)準(zhǔn)等非監(jiān)管的措施。因此可以預(yù)見,相比草率地推行強(qiáng)硬的立法和監(jiān)管,未來美國的AI政策會更加側(cè)重標(biāo)準(zhǔn)、指南等敏捷靈活的方式。

    就中國而言,除了密集出臺促進(jìn)人工智能發(fā)展的產(chǎn)業(yè)政策外,中國也已開始加強(qiáng)AI倫理、標(biāo)準(zhǔn)等方面的建設(shè),《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》回應(yīng)了國際社會對中國不重視AI倫理和治理的質(zhì)疑,國務(wù)院副總理劉鶴在2019年重慶智博會上提出了發(fā)展智能技術(shù)需要堅(jiān)持四個原則并呼吁“科技向善”。未來在AI治理上,中國需要結(jié)合自身產(chǎn)業(yè)發(fā)展實(shí)際,遵循促創(chuàng)新、促發(fā)展的路徑,同時采取多元化的方式防范技術(shù)的倫理風(fēng)險(xiǎn),避免偏向歐盟的強(qiáng)監(jiān)管模式給技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展形成掣肘。

    2.國際社會探索建立廣泛認(rèn)可的AI倫理原則,推進(jìn)敏捷靈活的AI治理

    國際層面,AI領(lǐng)域的競爭已從技術(shù)和產(chǎn)業(yè)應(yīng)用擴(kuò)張到國際規(guī)則的制定,尤其是AI倫理和治理規(guī)則的制定。2019年5月,經(jīng)濟(jì)合作與發(fā)展組織(OECD)成員國批準(zhǔn)了全球首個由各國政府簽署的AI原則——《負(fù)責(zé)任地管理可信AI的原則》,包括包容性增長、可持續(xù)發(fā)展和福祉原則,以人為本的價值觀和公平原則,透明性和可解釋性原則,穩(wěn)健性和安全可靠原則,以及責(zé)任原則。這些原則已被G20采納,今后有望成為AI領(lǐng)域的國際準(zhǔn)則。

    整體而言,從聯(lián)合國的“AI向善國際峰會”(AI for Good Global Summit)和推動建立“AI倫理國際對話”的努力到OECD和G20人工智能原則,國際層面的AI治理已進(jìn)入實(shí)質(zhì)性階段,初步確立了以人為本、安全可信、創(chuàng)新發(fā)展、包容普惠等基調(diào),以及敏捷靈活的治理理念。

    此外,根據(jù)世界知識產(chǎn)權(quán)組織(WIPO)的報(bào)告,科學(xué)知識和創(chuàng)新呈現(xiàn)出越來越全球化的趨勢。(WIPO, “World Intellectual Property Report (WIPR) 2019”, Retrieved from https://www.wipo.int/wipr/en/2019/.)在此背景下,為了實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo),AI領(lǐng)域的國際合作尤其重要。所以需要包容性、全球化的路徑。中國需要積極參與、主導(dǎo)AI領(lǐng)域的國際治理和國際規(guī)則制定,輸出AI倫理和治理理念,增強(qiáng)話語權(quán)。

    3.科技行業(yè)日益重視AI倫理,但落地機(jī)制仍需探索行業(yè)共識

    行業(yè)層面,互聯(lián)網(wǎng)、人工智能等數(shù)字技術(shù)的影響日益廣泛、縱深和復(fù)雜,對“科技向善”的呼吁已經(jīng)成為行業(yè)共識。在此背景下,微軟、谷歌、騰訊等國內(nèi)外主流科技公司紛紛提出各自的AI倫理原則,積極防范AI濫用風(fēng)險(xiǎn)并緩解AI應(yīng)用可能引發(fā)的負(fù)面問題。例如,騰訊在國內(nèi)率先提出“科技向善”理念,將其與“用戶為本”一起作為新的使命愿景,并提出人工智能研究與應(yīng)用需要遵循的“四可”(可用、可靠、可知、可控)原則。

    但對于以什么樣的方式和標(biāo)準(zhǔn)來落地AI倫理原則和要求,行業(yè)缺乏共識。倫理審查委員會作為科技行業(yè)開始探索的一種機(jī)制,目前存在較大爭議。2019年3月,谷歌成立外部顧問性質(zhì)的AI倫理委員會,但由于引發(fā)了較大爭議,不久之后便被解散。2019年谷歌子公司DeepMind也遣散了其AI醫(yī)療部門的倫理審查委員會。微軟則成立了內(nèi)部的AI倫理委員會,旨在制定內(nèi)部政策,確保AI業(yè)務(wù)和AI平臺符合其核心價值和原則并造福社會。中國已在組建國家科技倫理委員會,科技行業(yè)除在制定AI倫理原則外,還需要探索更具體的舉措,讓倫理原則真正落地到AI研究與應(yīng)用活動中,對技術(shù)和產(chǎn)業(yè)發(fā)展形成正向引導(dǎo)和規(guī)范。

    二、細(xì)分領(lǐng)域監(jiān)管持續(xù)推進(jìn),立法需合理平衡風(fēng)險(xiǎn)防范與發(fā)展訴求

    1.歐盟探索AI算法分類分級監(jiān)管機(jī)制,避免過度規(guī)制商業(yè)領(lǐng)域應(yīng)用

    AI算法自動化決策系統(tǒng)在數(shù)字內(nèi)容分發(fā)、在線廣告、電子商務(wù)、金融等領(lǐng)域的廣泛應(yīng)用,可以提高決策的效率、準(zhǔn)確性或者避免人類決策者自身可能持有的偏見,但也引發(fā)了社會各界對歧視、隱私、安全等問題的關(guān)注。中國和歐盟、加拿大等已在立法上對這些問題予以了回應(yīng)。

    中國《數(shù)據(jù)安全管理辦法》《個人信息安全規(guī)范》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》等立法,針對定向推送、算法推薦、個性化展示、信息系統(tǒng)自動決策提出了要求,規(guī)范算法系統(tǒng)的應(yīng)用。(參見《數(shù)據(jù)安全管理辦法草案》第23條,《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》第12條,《個人信息安全規(guī)范的最新修訂草案》7.5、7.7。)例如,對于定向推送或個性化展示,要求標(biāo)明“定推”字樣或通過不同的欄目、板塊、頁面分別展示,并提供退出選項(xiàng)和信息刪除;開展定向推送活動禁止歧視、欺詐等;對于滿足條件的信息系統(tǒng)自動決策,建立個人信息安全影響評估和用戶投訴機(jī)制;個性化算法推薦體現(xiàn)主流價值導(dǎo)向,建立人工干預(yù)機(jī)制。

    歐盟的《通用數(shù)據(jù)保護(hù)條例》,從個人信息保護(hù)的角度,針對不存在人為干預(yù)的完全自動化決策(包括畫像)做出了規(guī)定,但其賦予個人拒絕權(quán)僅限于產(chǎn)生法律效果或類似重大效果的應(yīng)用場景,而非針對所有的應(yīng)用場景,因此并不約束新聞、廣告等數(shù)字內(nèi)容的算法推薦。其后,歐盟進(jìn)一步調(diào)整監(jiān)管思路,2019年4月發(fā)布的《算法責(zé)任與透明治理框架》提出建立分類分級監(jiān)管機(jī)制,且不要求對算法進(jìn)行公開或解釋。具體而言,在算法監(jiān)管方面,分類即針對政府和公共部門使用的算法系統(tǒng)和商業(yè)領(lǐng)域的算法系統(tǒng)建立不同的監(jiān)管,前者需要建立“算法影響評估”(Algorithmic Impact Assessment)機(jī)制;分級即對一般的商業(yè)算法系統(tǒng)采取事后追究法律責(zé)任的方式,但對具有與政府和公共部門算法系統(tǒng)應(yīng)用類似的重大影響的商業(yè)算法系統(tǒng)可考慮建立“算法影響評估”機(jī)制。這種做法能避免給企業(yè)帶來不成比例的成本和管理負(fù)擔(dān),有助于人工智能的發(fā)展應(yīng)用。2020年2月歐盟發(fā)布的《人工智能白皮書》呼吁,進(jìn)一步建立人工智能監(jiān)管框架,對“高風(fēng)險(xiǎn)”的人工智能應(yīng)用進(jìn)行較強(qiáng)監(jiān)管。(曹建峰:《歐美收緊人工智能監(jiān)管,中國企業(yè)將如何應(yīng)對?》,載微信公眾號“騰訊研究院”,2020年3月2日上傳。)

    在算法透明方面,歐盟立法者認(rèn)為,技術(shù)透明不等于“對算法的每一個步驟、算法的技術(shù)原理和實(shí)現(xiàn)細(xì)節(jié)進(jìn)行解釋”,簡單公開算法系統(tǒng)的源代碼也不能提供有效的透明度,反倒可能威脅數(shù)據(jù)隱私或影響技術(shù)安全應(yīng)用??紤]到AI的技術(shù)特征,理解AI系統(tǒng)整體是異常困難的,對理解AI做出的某個特定決策也收效甚微。因此,對于現(xiàn)代AI系統(tǒng),通過解釋某個結(jié)果如何得出而實(shí)現(xiàn)透明,將面臨巨大的技術(shù)挑戰(zhàn),也會極大地限制AI的應(yīng)用;相反,在AI系統(tǒng)的行為和決策上實(shí)現(xiàn)有效透明,會更可取,也能提供顯著的效益。因此,考慮到人工智能的技術(shù)特征,GDPR并沒有要求對特定自動化決策進(jìn)行解釋,而僅要求提供關(guān)于內(nèi)在邏輯的有意義的信息,并解釋自動化決策的重要性和預(yù)想的后果。除了監(jiān)管之外,歐盟立法者認(rèn)為,還應(yīng)通過教育、新聞報(bào)道、揭秘等方式提高公眾的算法素養(yǎng)。

    全球來看,“算法影響評估”機(jī)制得到越來越多的討論。除歐盟外,加拿大、美國等也在探索相關(guān)措施。例如,2019年2月5日加拿大出臺的《自動化決策指令》(Directive on Automated Decision-making),將算法監(jiān)管的重心放在政府部門,《指令》針對政府部門在做出行政行為的過程中使用自動化決策系統(tǒng)(Automated Decision System),提出了算法影響評估、透明度(例如決策前通知、決策后提供解釋、軟件準(zhǔn)入許可、公布源代碼等)、質(zhì)量保證(如測試和監(jiān)測結(jié)果、數(shù)據(jù)質(zhì)量、同行審查、員工培訓(xùn)、意外事故處置、安全、合規(guī)、人類干預(yù)等)、救濟(jì)、報(bào)告等要求。2019年4月美國國會議員提出的《算法責(zé)任法案》則要求針對符合條件的主體的高風(fēng)險(xiǎn)自動化決策系統(tǒng),建立自動化決策系統(tǒng)影響評估機(jī)制(Automated Decision System Impact Assessment),評估自動化決策系統(tǒng)及其開發(fā)過程(包括系統(tǒng)的設(shè)計(jì)和訓(xùn)練數(shù)據(jù)),以評估其在準(zhǔn)確性、公平、偏見、歧視、隱私、安全等方面的影響。然而在現(xiàn)階段,“算法影響評估”機(jī)制這一新倡議在全球范圍內(nèi)存在巨大爭議,仍有很多落地問題懸而未決,需要理性對待。

    2.深度偽造和合成內(nèi)容引監(jiān)管關(guān)注,立法防范風(fēng)險(xiǎn)同時留出發(fā)展空間

    深度偽造(Deepfake)和合成內(nèi)容隨著生成對抗網(wǎng)絡(luò)(GAN)等機(jī)器學(xué)習(xí)技術(shù)的發(fā)展而出現(xiàn),其最常見的方式是AI換臉,如deepfake、face2face等技術(shù),此外還包括語音模擬、人臉合成、視頻生成等,這些技術(shù)統(tǒng)稱為深度偽造或者說深度合成。深度偽造及相關(guān)的AI技術(shù)在文娛、教育、醫(yī)療等諸多領(lǐng)域具有積極的應(yīng)用價值,如實(shí)現(xiàn)虛擬主播、替身演出、虛擬歌手、戲仿和自我表達(dá)(如AI換臉應(yīng)用“ZAO”讓普通人實(shí)現(xiàn)明星夢)、醫(yī)療數(shù)據(jù)生成等,但也給網(wǎng)絡(luò)平臺治理提出了新的挑戰(zhàn),主要表現(xiàn)為利用深度學(xué)習(xí)等AI技術(shù)制作高度逼真且真假難辨的圖片、音頻、視頻等深度偽造內(nèi)容來從事各種欺騙和欺詐活動,將網(wǎng)絡(luò)攻擊場景和信息安全問題帶到一個全新的層面,如色情報(bào)復(fù)、敲詐勒索、假冒身份、散布虛假信息等,給個人和企業(yè)利益以及公共安全帶來威脅。(張欽坤、曹建峰:《從〈網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定〉看互聯(lián)網(wǎng)新技術(shù)的治理》,《信息安全與通信保密》2020年第2期。)而且深度偽造生成方法開源軟件的增多,極大地降低了操縱、偽造音視頻的門檻。報(bào)告顯示,網(wǎng)上的深度偽造視頻的總數(shù)比2018年12月翻了一番,達(dá)到近15000個,其中偽造的色情視頻占比高達(dá)96%。

    美國最早對深度偽造進(jìn)行規(guī)制,2020年以來,美國尤其擔(dān)心深度偽造對大選和國家安全的影響,開始探索立法應(yīng)對措施,防范潛在的濫用風(fēng)險(xiǎn)。(曹建峰、方齡曼:《“深度偽造”的風(fēng)險(xiǎn)及對策研究》,《信息安全與通信保密》2020年第2期。)2019年6月,美國國會先后提出了《深度偽造責(zé)任法案》和《2019年深度偽造報(bào)告法案》。此外,美國加州、德州、馬薩諸塞州、弗吉尼亞州等也陸續(xù)推出了相關(guān)立法。這些立法提出的主要措施包括:

    第一,劃定應(yīng)用邊界,禁止政治干擾、色情報(bào)復(fù)、假冒身份等非法目的的深度偽造,否則可能構(gòu)成刑事犯罪。例如,美國加州的法律草案規(guī)定,禁止在投票選舉前60日內(nèi)傳播明知是偽造或合成的候選人視頻,除非包含視頻屬于偽造的免責(zé)聲明。美國得克薩斯州2019年9月1日生效的一項(xiàng)法案,把在選舉前30日內(nèi)制作、散布深度偽造視頻意圖傷害候選人或影響選舉結(jié)果的行為認(rèn)定為刑事犯罪。此外,美國弗吉尼亞州2019年7月1日生效的反色情復(fù)仇修正法案,把“制作、傳播虛假的裸體或性視頻、圖像”意圖脅迫、騷擾或恐嚇?biāo)说男袨檎J(rèn)定為刑事犯罪?!渡疃葌卧熵?zé)任法案》規(guī)定,利用深度偽造技術(shù)實(shí)施數(shù)字冒名頂替行為也應(yīng)被視為假冒身份行為。

    第二,設(shè)置披露義務(wù),要求制作者、上傳者以適當(dāng)方式披露、標(biāo)記合成內(nèi)容,如采取嵌入數(shù)字水印、文字、語音標(biāo)識等方式。《深度偽造責(zé)任法案》規(guī)定,利用深度偽造技術(shù)合成虛假內(nèi)容放置網(wǎng)絡(luò)上傳播的,制作者應(yīng)當(dāng)采用嵌入數(shù)字水印、文字、語音標(biāo)識等方式披露合成信息。違反披露義務(wù)的制作者或者惡意刪除披露信息的行為人需承擔(dān)民事責(zé)任,行為惡劣、造成嚴(yán)重后果的還會面臨罰金、人身監(jiān)禁等刑事處罰。

    第三,加強(qiáng)技術(shù)攻防,呼吁開發(fā)檢測識別技術(shù)和反制技術(shù)。《深度偽造責(zé)任法案》要求成立深度偽造特別小組,其職責(zé)包括:研究開發(fā)針對包括深度偽造在內(nèi)的圖像、音視頻操縱技術(shù)的檢測識別和反制技術(shù);為研究此類技術(shù)的其他政府部門提供行政和科學(xué)支持;與私營企業(yè)或?qū)W術(shù)機(jī)構(gòu)合作開發(fā)檢測識別工具等。此外,《2019年深度偽造報(bào)告法案》要求美國國土安全部(DHS)定期發(fā)布關(guān)于深度偽造技術(shù)的評估報(bào)告。

    中國相關(guān)立法也開始關(guān)注深度偽造問題,制定中的《數(shù)據(jù)安全管理辦法》以及已出臺的《民法典人格權(quán)編》《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》等都做出了相應(yīng)規(guī)定,側(cè)重人格侵權(quán)和內(nèi)容安全。(參見《民法典人格權(quán)編》第799條,《數(shù)據(jù)安全管理辦法草案》第24條,《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》第23條,《音視頻信息服務(wù)管理規(guī)定》第11—13條。)具體包括:禁止利用信息技術(shù)手段偽造的方式侵犯他人的肖像權(quán)和聲音;針對自動合成的信息內(nèi)容標(biāo)明“合成”字樣;禁止利用深度偽造等新技術(shù)從事禁止性活動。

    從國外監(jiān)管趨勢來看,規(guī)范深度偽造和合成內(nèi)容的應(yīng)用,需要政府、企業(yè)、公眾、用戶等多方主體共同參與,除分類分場景監(jiān)管外,還可采取制定行業(yè)公約和技術(shù)標(biāo)準(zhǔn)、研發(fā)視頻鑒偽和溯源技術(shù)、提高公眾的警惕防范意識和數(shù)字素養(yǎng)等多元化的方式,同時鼓勵行業(yè)探索更多運(yùn)用場景,引導(dǎo)技術(shù)向善發(fā)展,提振產(chǎn)業(yè)發(fā)展信心。未來需要加強(qiáng)源頭治理,構(gòu)建以制作者的標(biāo)注、標(biāo)記義務(wù)為核心的治理機(jī)制,同時鼓勵發(fā)展應(yīng)用鑒別對抗技術(shù)。

    在源頭治理方面,如前所述,當(dāng)前美國的做法主要是要求制作者、上傳者對深度偽造內(nèi)容進(jìn)行標(biāo)注,從而從源頭上對深度偽造進(jìn)行規(guī)范。這一源頭治理的做法具有合理性,因?yàn)闆]有標(biāo)注的深度偽造內(nèi)容一旦傳播出去,第三方就很難鑒別,檢測技術(shù)的開發(fā)、成熟也面臨著諸多困難,而且難以跟上深度偽造技術(shù)進(jìn)化的步伐。所以,開發(fā)溯源技術(shù)并進(jìn)行源頭標(biāo)記是最有效的措施。此外,考慮到行業(yè)內(nèi)當(dāng)前還沒有通用的、高準(zhǔn)確率的視頻鑒偽網(wǎng)絡(luò),相應(yīng)的鑒偽技術(shù)也尚在起步階段,還有很長一段路要走,所以美國并未強(qiáng)制要求平臺對用戶上傳的或第三方的視頻是否屬于“深度偽造”或“自動合成”進(jìn)行檢測識別,也未以此為由要求平臺承擔(dān)責(zé)任,因?yàn)檫@將給企業(yè)帶來不成比例的管理負(fù)擔(dān)和成本。

    在技術(shù)對抗方面,當(dāng)前谷歌、Facebook、騰訊等國內(nèi)外主流科技公司都開始通過多種舉措,發(fā)展甄別深度偽造和合成內(nèi)容、對抗深度偽造技術(shù)濫用的方法和工具,包括:構(gòu)建并開放深度偽造數(shù)據(jù)集,為研究、開發(fā)檢測識別技術(shù)提供基準(zhǔn);支持、發(fā)起深度偽造檢測挑戰(zhàn)賽,與行業(yè)攜手推動檢測技術(shù)的研究與開發(fā);開發(fā)深度偽造檢測識別和標(biāo)注工具;培訓(xùn)專門的合成內(nèi)容審查人員,加強(qiáng)對視頻內(nèi)容的真實(shí)性審核。可見,面對人工智能等新技術(shù)的潛在風(fēng)險(xiǎn),行業(yè)內(nèi)越來越重視自律性質(zhì)的風(fēng)險(xiǎn)管理措施。

    3.人臉識別引發(fā)法律和倫理爭議,政策選項(xiàng)在于規(guī)范而非禁止

    2019年,人臉識別技術(shù)廣泛應(yīng)用,從設(shè)備解鎖、刷臉核身、刷臉支付到安檢、安防、犯罪偵查等,在帶來效率、便利并增進(jìn)社會福祉的同時,也不斷引發(fā)歧視偏見、隱私保護(hù)、個人自由、倫理邊界等諸多爭議。例如,F(xiàn)acebook因使用照片自動標(biāo)記功能而招致潛在賠償額高達(dá)350億美元的人臉識別集體訴訟,可能改寫美國隱私訴訟要求有形損害的規(guī)則(無形損害也可作為提起隱私訴訟的理由)。據(jù)悉,F(xiàn)acebook已同意和解該案,將向原告支付5.5億美元和解費(fèi)。此外,2019年8月瑞典數(shù)據(jù)保護(hù)機(jī)構(gòu)針對當(dāng)?shù)匾凰咧欣萌四樧R別記錄學(xué)生出勤的行為,開出了GDPR生效以來的第一張人臉識別罰單,認(rèn)為學(xué)校的數(shù)據(jù)收集行為違反必要性原則且缺乏正當(dāng)性依據(jù)。中國也出現(xiàn)了相關(guān)訴訟,郭兵訴杭州野生動物世界被認(rèn)為是國內(nèi)人臉識別第一案。

    隨著相關(guān)爭議的不斷發(fā)酵,美歐開始推進(jìn)人臉識別立法,嘗試為政府部門使用人臉識別技術(shù)建立較高的法律門檻。2019年以來,美國已有多個城市(如舊金山、薩默維爾以及奧克蘭)禁止政府部門使用人臉識別技術(shù);美國國會提出了《商業(yè)人臉識別隱私法案》,要求使用人臉識別技術(shù)前須獲得終端用戶的“明確同意”(Affirmative Consent)。然而,美國個別城市的“保守”態(tài)度引發(fā)了美國商會(CTEC)的擔(dān)憂,CTEC認(rèn)為過早禁止人臉識別技術(shù)將阻礙技術(shù)的利用和創(chuàng)新,并會沖擊相關(guān)產(chǎn)品的市場。為此,2019年12月CTEC起草了《面部識別政策原則》(Facial Recognition Policy Principles),期望協(xié)助政策制定者在平衡技術(shù)與隱私的前提下制定監(jiān)管提案,建議國會在減少面部識別技術(shù)相關(guān)風(fēng)險(xiǎn)的基礎(chǔ)上,確保人臉識別技術(shù)能得到安全開發(fā)和有效監(jiān)管。

    英國對人臉識別技術(shù)的態(tài)度較為理性,在R (Bridges) v The Chief Constable of South Wales一案中,英國高等法院判決認(rèn)為警方對實(shí)時人臉識別技術(shù)(LFR)的使用是合法的;英國信息專員公署(ICO)發(fā)布的《關(guān)于執(zhí)法部門在公共場所使用實(shí)時人臉識別技術(shù)的建議》則呼吁政府針對實(shí)時人臉識別技術(shù)的部署和使用,建立強(qiáng)行性規(guī)則和較高的法律門檻,充分平衡各方利益,即執(zhí)法部門必須提供充分的證據(jù)來證明在每一個特定的場景下使用人臉識別技術(shù)是嚴(yán)格必需的、有效的且符合利益平衡原則和比例原則。(ICO, “Blog: Live Facial Recognition Technology – Police Forces Need to Slow Down and Justify Its Use”, Retrieved from https://ico.org.uk/about-the-ico/news-and-events/blog-live-facial-recognition-technology-police-forces-need-to-slow-down-and-justify-its-use/.)此外,歐盟也在推進(jìn)制定人臉識別技術(shù)的特殊監(jiān)管規(guī)則,如2020年1月被媒體披露的歐盟人工智能監(jiān)管政策白皮書中已針對人臉識別技術(shù)提出了潛在監(jiān)管方案,其中一項(xiàng)即為“在評估人臉識別技術(shù)影響的方法和風(fēng)險(xiǎn)管理措施被開發(fā)出來之前,可能會暫時(3-5年)禁止在公共場所使用該項(xiàng)技術(shù)”。但2020年2月的《歐盟人工智能白皮書》透露出歐盟對人臉識別技術(shù)的態(tài)度已經(jīng)大為緩和,并未禁止人臉識別技術(shù)的使用,但規(guī)定了限定使用情形,并要求建立安全措施,即必須確保特定使用情形是合法正當(dāng)?shù)?,符合比例原則,并采取充分的安全措施。而對于在公共場所使用人臉識別技術(shù),歐盟委員會后續(xù)將討論確定正當(dāng)?shù)氖褂脠鼍耙约肮餐陌踩胧?/p>

    在中國,AI換臉應(yīng)用“ZAO”收集人臉信息、人臉識別技術(shù)進(jìn)課堂、北京地鐵擬利用人臉識別技術(shù)對乘客進(jìn)行分類安檢等爭議性事件引發(fā)社會各界的激烈討論。從實(shí)時人臉識別到分析步態(tài)、預(yù)測情緒的AI技術(shù)的快速進(jìn)步,給監(jiān)管提出了更多挑戰(zhàn)。結(jié)合國外監(jiān)管趨勢來看,科學(xué)理性的政策選擇在于規(guī)范而非禁止,明確合法性依據(jù)和合規(guī)要求是應(yīng)有之意。政策制定者應(yīng)當(dāng)看到人臉識別的積極價值,在權(quán)衡利弊的基礎(chǔ)上對其進(jìn)行適度監(jiān)管和規(guī)范,在人臉識別技術(shù)的發(fā)展上尋求科技創(chuàng)新與隱私保護(hù)的“最大公約數(shù)”,而非一刀切地予以禁止或者放任不管。更進(jìn)一步而言,鑒于人臉作為個人生物識別信息的敏感性,人臉識別技術(shù)的妥善應(yīng)用需要明確技術(shù)應(yīng)用的法律和倫理邊界,建立法規(guī)標(biāo)準(zhǔn)。一方面需要針對不同的應(yīng)用場景配置不同的監(jiān)管要求,明確人臉識別技術(shù)應(yīng)用的合法性依據(jù)和利益平衡、比例原則等問題;另一方面需要消除算法系統(tǒng)中的歧視和偏見,以合理平衡個人權(quán)利保護(hù)、公共利益和產(chǎn)業(yè)發(fā)展。就中國而言,行業(yè)的健康有序發(fā)展離不開標(biāo)準(zhǔn)和規(guī)范的支持,中國目前已在制定人臉識別國家標(biāo)準(zhǔn),確保人臉識別系統(tǒng)功能、性能及安全要求,保障算法與應(yīng)用的準(zhǔn)確率,引導(dǎo)人臉識別技術(shù)健康發(fā)展。

    4.立法助推自動駕駛汽車落地,“城市空中出行”呼吁監(jiān)管革新

    當(dāng)前,全球多國已將發(fā)展自動駕駛汽車技術(shù)上升為國家戰(zhàn)略,通過立法、標(biāo)準(zhǔn)、技術(shù)指南、倫理準(zhǔn)則等全方位舉措加速推進(jìn)其應(yīng)用落地。(曹建峰、祝林華:《多國出臺政策法規(guī):為自動駕駛創(chuàng)新發(fā)展保駕護(hù)航》,《機(jī)器人產(chǎn)業(yè)》2018年第2期。)2019年是自動駕駛汽車從測試逐步走向商業(yè)化應(yīng)用的一年,谷歌旗下自動駕駛技術(shù)公司W(wǎng)aymo等行業(yè)領(lǐng)頭羊開始推出自動駕駛出租汽車服務(wù),立法和監(jiān)管政策也在加速這一發(fā)展趨勢。例如,美國加州已于2018年允許自動駕駛汽車客運(yùn)服務(wù)試點(diǎn)項(xiàng)目。2019年6月,美國佛羅里達(dá)州制定的自動駕駛立法,不僅將在道路上操作自動駕駛汽車合法化,而且提出了“自動駕駛汽車共享網(wǎng)絡(luò)”這一全新的客運(yùn)交通服務(wù),為自動駕駛汽車的應(yīng)用普及奠定了堅(jiān)實(shí)的法律基礎(chǔ)。美國國家層面,在2018年未能最終通過自動駕駛汽車法案后,2019年美國國會繼續(xù)推動相關(guān)立法,以期通過法律和監(jiān)管創(chuàng)新來加速自動駕駛汽車的商業(yè)化發(fā)展,終于在2020年1月美國交通部發(fā)布了《自動駕駛汽車政策4.0:確保美國在自動駕駛汽車技術(shù)上的領(lǐng)導(dǎo)地位》(Ensuring American Leadership in Automated Vehicle Technologies: Automated Vehicles 4.0),其在過去發(fā)布的三版自動駕駛汽車政策指南的基礎(chǔ)上,系統(tǒng)提出了美國政府對自動駕駛汽車技術(shù)的監(jiān)管原則,表明了美國大力推動自動駕駛汽車技術(shù)發(fā)展落地、搶占國際制高點(diǎn)的決心。(US Department of Transportation, “Ensuring American Leadership in Automated Vehicle Technologies: Automated Vehicles 4.0”, Retrieved from https://www.transportation.gov/av/4.)

    就中國而言,在2018年出臺《智能網(wǎng)聯(lián)汽車道路測試管理規(guī)范(試行)》允許路測后,各地已在出臺推動智能網(wǎng)聯(lián)汽車應(yīng)用落地的政策。2019年9月,《上海市智能網(wǎng)聯(lián)汽車道路測試和示范應(yīng)用管理辦法(試行)》的出臺,使得上海成為國內(nèi)首個為企業(yè)頒發(fā)智能網(wǎng)聯(lián)汽車示范應(yīng)用牌照的城市,并推動測試牌照區(qū)域互認(rèn)。北京、廣州、長沙、武漢等城市已允許載人、載物、編隊(duì)行駛等測試情形,如2019年12月13日北京出臺《北京市自動駕駛車輛道路測試管理實(shí)施細(xì)則(試行)》,允許載人及載物測試、編隊(duì)行駛測試等。智能網(wǎng)聯(lián)汽車向商業(yè)化和市場化邁進(jìn)了一步。長遠(yuǎn)來看,中國自動駕駛汽車技術(shù)和產(chǎn)業(yè)發(fā)展普及需要在安全標(biāo)準(zhǔn)、道路測試、商業(yè)試點(diǎn)、高精地圖、責(zé)任保險(xiǎn)等多方面配套推進(jìn)政策措施,并積極廢除或修改阻礙自動駕駛汽車發(fā)展應(yīng)用的既有法規(guī)和標(biāo)準(zhǔn),才能確保在制造業(yè)、信息與通信技術(shù)(ICT)融合的自動駕駛汽車領(lǐng)域搶占全球高地。

    此外,以電動垂直起降航空器(eVTOL)為核心的未來“城市空中出行”(UAM)也呼吁監(jiān)管革新。未來交通領(lǐng)域的變革不限于自動駕駛汽車,商用的電動垂直起降航空器,即所謂的“飛行汽車”,也已成為美歐的重點(diǎn)布局。目前Uber Elevate、Airbus、Lilium、Volocopter等航空制造商已在嘗試推出“空中出租車”服務(wù)。城市交通未來將有更大的想象空間,到2030年城市空中出行行業(yè)的市場價值有望達(dá)到79億美元。美歐已在從無到有地建立城市空中出行監(jiān)管,需要解決很多監(jiān)管挑戰(zhàn),如設(shè)備設(shè)計(jì)認(rèn)證、適航管理等。2019年7月,歐洲航空安全局(EASA)出臺了針對小型eVTOL航空器操作的特殊規(guī)定,針對這類新的飛行設(shè)備建立了基本的監(jiān)管框架。美國FAA也在推進(jìn)制定合適的安全立法,并已于2019年4月就無人機(jī)送貨服務(wù)向谷歌子公司W(wǎng)ing頒發(fā)了第一個適航認(rèn)證。eVTOL作為新生事物,在中國存在諸多監(jiān)管障礙和法律空白。長遠(yuǎn)來看,為了應(yīng)對eVTOL帶來的監(jiān)管挑戰(zhàn)并推動其應(yīng)用普及,需要加快建立eVTOL設(shè)計(jì)和操作的監(jiān)管框架,并可考慮建立一套以UAM為核心的新體系,兼顧安全、公共利益和行業(yè)發(fā)展訴求。

    5.人工智能賦能醫(yī)療健康產(chǎn)業(yè)發(fā)展,應(yīng)用落地離不開監(jiān)管革新

    在醫(yī)療健康領(lǐng)域,人工智能正被廣泛應(yīng)用于醫(yī)學(xué)影像、輔助診療、疾病預(yù)測、藥物研發(fā)、健康管理等,有望變革醫(yī)療健康行業(yè)。全球醫(yī)療市場對“AI醫(yī)療”的需求巨大,據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)統(tǒng)計(jì),到2025年人工智能應(yīng)用市場規(guī)模將達(dá)到1270億美元,其中醫(yī)療健康行業(yè)將占市場規(guī)模的五分之一。

    但AI醫(yī)療的發(fā)展面臨著AI醫(yī)療設(shè)備準(zhǔn)入和審批、醫(yī)療數(shù)據(jù)庫建設(shè)與共享、責(zé)任承擔(dān)、隱私保護(hù)等諸多問題。美國、日本、印度、新加坡等已在探索制定促進(jìn)AI醫(yī)療服務(wù)應(yīng)用落地的法律和監(jiān)管規(guī)則。例如,由于AI技術(shù)可不斷利用新獲取的數(shù)據(jù)來精進(jìn)算法,AI模型的自主性、適應(yīng)性和持續(xù)迭代成了監(jiān)管難點(diǎn),給傳統(tǒng)的醫(yī)療設(shè)備監(jiān)管框架提出了挑戰(zhàn)。因此,美國食品藥品監(jiān)督管理局(FDA)已為AI醫(yī)療設(shè)備提出了新的監(jiān)管框架,從而允許AI醫(yī)療設(shè)備在獲得審批、投入市場之后不斷迭代改進(jìn)。

    就中國而言,2019年6月發(fā)布的《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件的審評要點(diǎn)及相關(guān)說明》,進(jìn)一步明確了AI醫(yī)療設(shè)備的審批標(biāo)準(zhǔn)??梢灶A(yù)見,AI醫(yī)療領(lǐng)域的市場準(zhǔn)入、數(shù)據(jù)共享與數(shù)據(jù)安全、責(zé)任承擔(dān)等問題將極大影響產(chǎn)業(yè)走向,呼吁監(jiān)管革新。一方面,AI醫(yī)療分級監(jiān)管與審批已成為國際趨勢,在行業(yè)發(fā)展探索階段,對部分風(fēng)險(xiǎn)較小的細(xì)分領(lǐng)域加快審批速度,優(yōu)先發(fā)展,有利于提供更多實(shí)踐經(jīng)驗(yàn)。另一方面,中國豐富的醫(yī)療數(shù)據(jù)資源亟待整合,加快數(shù)據(jù)平臺建設(shè)實(shí)現(xiàn)醫(yī)療數(shù)據(jù)的結(jié)構(gòu)化與標(biāo)準(zhǔn)化,構(gòu)建醫(yī)療數(shù)據(jù)分享與利用機(jī)制,可能成為中國下一階段AI醫(yī)療發(fā)展的重要優(yōu)勢。

    三、合理有效的人工智能治理離不開科技人文協(xié)作

    近幾年來,各國對人工智能的監(jiān)管及治理均在加強(qiáng),這是對當(dāng)今世界技術(shù)發(fā)展趨勢的積極回應(yīng),是以人文之手積極引導(dǎo)技術(shù)之力。人工智能有望像歷史上的火種和電力一樣,重塑人類生活和人類社會的未來——加速的自動化和智能化,無處不在的連接,物理與數(shù)字世界的融合,甚至人類與技術(shù)的融合。我們正在步入高度依賴技術(shù)的社會,生物層、物理層、技術(shù)層有可能融合成為三位一體。未來,包括企業(yè)在內(nèi)的所有組織機(jī)構(gòu)都會數(shù)字化、智能化。目前呈現(xiàn)出來的主要趨勢則是無處不在的數(shù)據(jù)和算法正在催生新型的人工智能驅(qū)動的經(jīng)濟(jì)和社會形式。巨大潛力的背后,是不確定的風(fēng)險(xiǎn)。如前所述,人工智能在隱私、歧視、安全、責(zé)任、就業(yè)等經(jīng)濟(jì)、倫理和社會方面的問題正在顯現(xiàn),未來可能出現(xiàn)的通用人工智能和超級人工智能則可能帶來更深遠(yuǎn)而廣泛的安全、倫理等問題。

    在這樣的背景下,對人工智能等新技術(shù)進(jìn)行更多的人文和倫理思考,就顯得尤為必要且迫切。正如華裔AI科學(xué)家李飛飛所言,要讓倫理成為人工智能研究與發(fā)展的根本組成部分?;粮褚舱f,面對人工智能的興起,人們在哲學(xué)、倫理、法律、制度、理智等各方面都還沒做好準(zhǔn)備,因?yàn)槿斯ぶ悄艿燃夹g(shù)變革正在沖擊既有的世界秩序,我們無法完全預(yù)料這些技術(shù)的影響,而且這些技術(shù)可能最終導(dǎo)致我們的世界所依賴的各種機(jī)器為數(shù)據(jù)和算法所驅(qū)動且不受倫理或哲學(xué)規(guī)范的約束。顯然,在當(dāng)前人工智能等新技術(shù)背景下,我們比歷史上任何時候都更加需要“科技向善”理念,更加需要技術(shù)與倫理的平衡,以確保新技術(shù)朝著更加有利于人類和人類社會的方向發(fā)展。一方面,技術(shù)意味著速度和效率,要發(fā)揮好技術(shù)的無限潛力,要善用技術(shù),追求效率,從而創(chuàng)造出更多的社會效益和經(jīng)濟(jì)效益。另一方面,人性意味著深度和價值,要追求人性,維護(hù)人類價值和自我實(shí)現(xiàn),避免技術(shù)發(fā)展和應(yīng)用突破人類倫理底線。因此,只有保持警醒和敬畏,在以效率為準(zhǔn)繩的“技術(shù)算法”和以倫理為準(zhǔn)繩的“人性算法”之間實(shí)現(xiàn)平衡,才能確?!翱萍枷蛏啤薄6@一平衡的實(shí)現(xiàn),離不開科技人文協(xié)作。因?yàn)楝F(xiàn)代科學(xué)技術(shù)與經(jīng)濟(jì)社會以異乎尋常的速度整合和相互建構(gòu),但其高度的專業(yè)化、知識化和技術(shù)化使圈外人很難對其中的風(fēng)險(xiǎn)和不確定性有準(zhǔn)確的認(rèn)知和判斷,沒有來自科學(xué)共同體內(nèi)部的風(fēng)險(xiǎn)預(yù)警和自我反思,任何一種社會治理模式都很難奏效。

    猜你喜歡
    治理跨學(xué)科倫理
    《心之死》的趣味與倫理焦慮
    跨學(xué)科教學(xué)在高中生物課堂教學(xué)中的應(yīng)用實(shí)踐
    初中歷史跨學(xué)科主題學(xué)習(xí)活動的實(shí)踐與思考
    應(yīng)用型高校推進(jìn)跨學(xué)科人才培養(yǎng)的路徑探索
    大學(xué)(2021年2期)2021-06-11 01:13:32
    護(hù)生眼中的倫理修養(yǎng)
    活力(2019年19期)2020-01-06 07:37:00
    商標(biāo)跨類保護(hù)的跨學(xué)科解釋
    諧波分析與治理措施探討
    治理背景下我國少數(shù)民族傳統(tǒng)體育運(yùn)動會的發(fā)展
    體育時空(2016年8期)2016-10-25 18:49:34
    淺析網(wǎng)絡(luò)輿情治理
    數(shù)據(jù)+輿情:南方報(bào)業(yè)創(chuàng)新轉(zhuǎn)型提高服務(wù)能力的探索
    中國記者(2016年6期)2016-08-26 12:36:20
    男女做爰动态图高潮gif福利片| 性欧美人与动物交配| 亚洲激情在线av| 黄色一级大片看看| 麻豆一二三区av精品| 亚洲成a人片在线一区二区| 久久午夜福利片| 老鸭窝网址在线观看| а√天堂www在线а√下载| 嫩草影院入口| 国产欧美日韩一区二区精品| xxxwww97欧美| 成熟少妇高潮喷水视频| 久久国产精品人妻蜜桃| 午夜日韩欧美国产| 亚洲中文日韩欧美视频| 国产在线精品亚洲第一网站| 国内精品久久久久久久电影| 午夜福利在线观看吧| 一个人免费在线观看电影| 亚洲熟妇中文字幕五十中出| 在线观看一区二区三区| 好男人电影高清在线观看| 欧美一区二区精品小视频在线| 精品一区二区三区人妻视频| 在线观看av片永久免费下载| 全区人妻精品视频| 9191精品国产免费久久| 麻豆一二三区av精品| 天堂av国产一区二区熟女人妻| 国产 一区 欧美 日韩| 久久伊人香网站| 亚洲av电影不卡..在线观看| 国产精品伦人一区二区| 亚洲第一电影网av| 真人一进一出gif抽搐免费| 波多野结衣高清无吗| 熟女电影av网| 在线观看舔阴道视频| 国产伦精品一区二区三区四那| 男女那种视频在线观看| 99热精品在线国产| 天堂网av新在线| 在现免费观看毛片| 亚洲av.av天堂| 久久这里只有精品中国| 他把我摸到了高潮在线观看| 国产黄a三级三级三级人| 69人妻影院| 成年人黄色毛片网站| 18美女黄网站色大片免费观看| 别揉我奶头~嗯~啊~动态视频| 国内精品久久久久久久电影| 亚洲男人的天堂狠狠| 久久久精品大字幕| 亚洲午夜理论影院| 激情在线观看视频在线高清| 亚洲中文字幕日韩| 成人国产一区最新在线观看| 亚洲成人中文字幕在线播放| 亚洲av.av天堂| 我要看日韩黄色一级片| 亚洲熟妇熟女久久| 乱人视频在线观看| 嫩草影院入口| 国产成人av教育| 一卡2卡三卡四卡精品乱码亚洲| 欧美一级a爱片免费观看看| 9191精品国产免费久久| 久久国产精品影院| 男人舔奶头视频| 男女下面进入的视频免费午夜| 国产高清视频在线观看网站| 18禁在线播放成人免费| 日韩高清综合在线| 亚洲人成伊人成综合网2020| 91麻豆av在线| 久久久久久久亚洲中文字幕 | 日日摸夜夜添夜夜添av毛片 | 久久精品人妻少妇| 美女免费视频网站| 又粗又爽又猛毛片免费看| 成人特级黄色片久久久久久久| 亚洲va日本ⅴa欧美va伊人久久| 精品久久久久久久久久免费视频| av在线老鸭窝| 小蜜桃在线观看免费完整版高清| 看黄色毛片网站| 国产精品野战在线观看| 99精品在免费线老司机午夜| 9191精品国产免费久久| 色综合婷婷激情| 欧美高清成人免费视频www| 在线十欧美十亚洲十日本专区| 99国产精品一区二区三区| 精品久久久久久久久久久久久| 国产91精品成人一区二区三区| 十八禁网站免费在线| 一个人免费在线观看的高清视频| av在线天堂中文字幕| 狠狠狠狠99中文字幕| 禁无遮挡网站| 两人在一起打扑克的视频| 别揉我奶头 嗯啊视频| 高潮久久久久久久久久久不卡| 亚洲在线自拍视频| 一个人看视频在线观看www免费| 国产精品国产高清国产av| 97碰自拍视频| 国产真实伦视频高清在线观看 | 日本 av在线| 国产精品三级大全| 性色av乱码一区二区三区2| 一本一本综合久久| 又黄又爽又刺激的免费视频.| 夜夜看夜夜爽夜夜摸| 亚洲18禁久久av| 成人无遮挡网站| 内地一区二区视频在线| ponron亚洲| 听说在线观看完整版免费高清| 欧美丝袜亚洲另类 | 国产三级中文精品| 日韩av在线大香蕉| 高清在线国产一区| 97碰自拍视频| 91在线精品国自产拍蜜月| 欧美另类亚洲清纯唯美| 成人毛片a级毛片在线播放| 欧美日韩中文字幕国产精品一区二区三区| 亚洲欧美精品综合久久99| 波野结衣二区三区在线| or卡值多少钱| av黄色大香蕉| 免费看a级黄色片| 欧美zozozo另类| 国产aⅴ精品一区二区三区波| 身体一侧抽搐| av视频在线观看入口| 又爽又黄a免费视频| 国产免费一级a男人的天堂| 午夜福利免费观看在线| 久久久久精品国产欧美久久久| 两个人的视频大全免费| av在线天堂中文字幕| 校园春色视频在线观看| 老熟妇仑乱视频hdxx| 国产精品女同一区二区软件 | 在线观看66精品国产| 天堂√8在线中文| 美女高潮的动态| 国产精品一区二区三区四区免费观看 | 欧美黄色淫秽网站| 在线观看免费视频日本深夜| 久久久久久久久久黄片| 蜜桃亚洲精品一区二区三区| 国产精品一区二区性色av| 我要看日韩黄色一级片| 欧美高清性xxxxhd video| 不卡一级毛片| 岛国在线免费视频观看| 国产伦精品一区二区三区四那| 亚洲欧美日韩无卡精品| 俄罗斯特黄特色一大片| 天美传媒精品一区二区| 国产极品精品免费视频能看的| 成人国产一区最新在线观看| 成人三级黄色视频| 少妇的逼好多水| 日本 欧美在线| 久久久国产成人精品二区| 亚洲va日本ⅴa欧美va伊人久久| 亚洲激情在线av| 热99re8久久精品国产| 黄色一级大片看看| 国产精品爽爽va在线观看网站| 老司机福利观看| 国产精品久久久久久久电影| 国产精品女同一区二区软件 | 国产亚洲精品av在线| 精华霜和精华液先用哪个| 日本一二三区视频观看| 亚洲va日本ⅴa欧美va伊人久久| 丰满人妻一区二区三区视频av| 国产成人aa在线观看| 人妻制服诱惑在线中文字幕| 久久精品影院6| 久久草成人影院| 欧美三级亚洲精品| 久久久久久久精品吃奶| 国产精品人妻久久久久久| 久久这里只有精品中国| 久久久国产成人精品二区| 变态另类成人亚洲欧美熟女| 亚洲片人在线观看| 国产欧美日韩精品亚洲av| 欧美一级a爱片免费观看看| 亚洲中文字幕日韩| 亚洲熟妇中文字幕五十中出| 午夜精品久久久久久毛片777| 国产精品人妻久久久久久| 婷婷色综合大香蕉| 毛片一级片免费看久久久久 | 一个人免费在线观看的高清视频| 中文字幕精品亚洲无线码一区| 中文资源天堂在线| 少妇丰满av| 久久性视频一级片| 日日摸夜夜添夜夜添小说| 自拍偷自拍亚洲精品老妇| 色综合站精品国产| 亚洲欧美激情综合另类| 日韩国内少妇激情av| 久久亚洲精品不卡| 精品欧美国产一区二区三| 在线国产一区二区在线| 日韩欧美国产一区二区入口| 少妇裸体淫交视频免费看高清| 欧洲精品卡2卡3卡4卡5卡区| 午夜福利在线观看免费完整高清在 | 97超视频在线观看视频| 国产一区二区亚洲精品在线观看| 嫩草影院新地址| 美女高潮的动态| 伊人久久精品亚洲午夜| 动漫黄色视频在线观看| 久久久久久久久久黄片| 丰满人妻一区二区三区视频av| 国产伦人伦偷精品视频| 国产精品伦人一区二区| 国产毛片a区久久久久| 亚洲国产精品999在线| 成人无遮挡网站| 久久久久免费精品人妻一区二区| av欧美777| 午夜激情福利司机影院| 国产精品久久久久久久电影| 欧美在线一区亚洲| 亚洲一区二区三区不卡视频| 男女床上黄色一级片免费看| 内地一区二区视频在线| 午夜影院日韩av| 美女cb高潮喷水在线观看| 欧美激情国产日韩精品一区| 国产国拍精品亚洲av在线观看| 亚洲男人的天堂狠狠| 欧美又色又爽又黄视频| 久99久视频精品免费| 亚洲国产精品合色在线| a级毛片a级免费在线| 国产久久久一区二区三区| 又粗又爽又猛毛片免费看| 一区二区三区免费毛片| 国产午夜精品论理片| 草草在线视频免费看| 国产淫片久久久久久久久 | 精品久久国产蜜桃| 亚洲av成人精品一区久久| 亚洲精品一区av在线观看| 免费搜索国产男女视频| 日韩欧美在线乱码| 97超视频在线观看视频| av黄色大香蕉| 看十八女毛片水多多多| 久久热精品热| 免费无遮挡裸体视频| 国产极品精品免费视频能看的| 国产91精品成人一区二区三区| 少妇人妻精品综合一区二区 | 欧美一区二区亚洲| 亚洲成人久久爱视频| 亚洲三级黄色毛片| 我的老师免费观看完整版| 免费电影在线观看免费观看| 国产高清有码在线观看视频| 成人鲁丝片一二三区免费| 国产av麻豆久久久久久久| 亚洲av成人不卡在线观看播放网| 国产精品日韩av在线免费观看| 午夜激情福利司机影院| 啦啦啦观看免费观看视频高清| 51午夜福利影视在线观看| 国产v大片淫在线免费观看| 成年版毛片免费区| 嫩草影院新地址| 亚洲中文日韩欧美视频| 国产精品日韩av在线免费观看| 级片在线观看| 亚洲综合色惰| 欧美国产日韩亚洲一区| 草草在线视频免费看| 久久精品国产99精品国产亚洲性色| 国产高清视频在线播放一区| 亚洲最大成人手机在线| av福利片在线观看| 夜夜爽天天搞| 网址你懂的国产日韩在线| 黄色视频,在线免费观看| 国产色婷婷99| 亚洲自偷自拍三级| 真实男女啪啪啪动态图| 宅男免费午夜| 久久人妻av系列| 一区福利在线观看| 亚洲av电影不卡..在线观看| www日本黄色视频网| 亚洲人与动物交配视频| 中文字幕av成人在线电影| 亚洲av免费高清在线观看| 一级黄色大片毛片| 欧美zozozo另类| 亚洲一区二区三区不卡视频| 偷拍熟女少妇极品色| 国产精品电影一区二区三区| 亚洲av美国av| 久久久精品大字幕| 波多野结衣高清作品| 天堂影院成人在线观看| 免费av毛片视频| 色av中文字幕| 精品国产三级普通话版| 内地一区二区视频在线| 久久这里只有精品中国| 别揉我奶头 嗯啊视频| 国产一区二区在线观看日韩| 亚洲精品456在线播放app | 深爱激情五月婷婷| 国产午夜精品论理片| 午夜福利免费观看在线| 99久久99久久久精品蜜桃| 久久久久久久午夜电影| 99精品在免费线老司机午夜| 变态另类丝袜制服| 国产精品伦人一区二区| 久久久久久久久久成人| 久久久精品大字幕| 亚洲电影在线观看av| a级毛片a级免费在线| 精品日产1卡2卡| 亚洲av二区三区四区| 精品午夜福利在线看| 亚洲成av人片免费观看| 赤兔流量卡办理| 欧美bdsm另类| 简卡轻食公司| 亚洲一区二区三区不卡视频| 精品国产三级普通话版| 18禁裸乳无遮挡免费网站照片| 怎么达到女性高潮| 欧美+亚洲+日韩+国产| 欧美日韩乱码在线| 亚洲不卡免费看| 悠悠久久av| 极品教师在线免费播放| 国产精品久久电影中文字幕| 精品人妻偷拍中文字幕| 老鸭窝网址在线观看| 在线国产一区二区在线| 男女床上黄色一级片免费看| 精品久久久久久久久久免费视频| 长腿黑丝高跟| 成人精品一区二区免费| 俄罗斯特黄特色一大片| 天天一区二区日本电影三级| 91久久精品国产一区二区成人| 久久精品国产亚洲av涩爱 | 丁香六月欧美| 国产亚洲欧美在线一区二区| 赤兔流量卡办理| 欧美日韩中文字幕国产精品一区二区三区| 国产综合懂色| 亚洲精品日韩av片在线观看| 成年女人毛片免费观看观看9| 日韩成人在线观看一区二区三区| 亚洲av电影不卡..在线观看| 日韩欧美一区二区三区在线观看| 真实男女啪啪啪动态图| 国产国拍精品亚洲av在线观看| 99热精品在线国产| 九九热线精品视视频播放| 小蜜桃在线观看免费完整版高清| 欧美一区二区亚洲| 黄色配什么色好看| 中亚洲国语对白在线视频| av福利片在线观看| 亚洲最大成人手机在线| 在线观看av片永久免费下载| 99热这里只有是精品在线观看 | 丰满人妻熟妇乱又伦精品不卡| 久久亚洲精品不卡| 久久国产精品人妻蜜桃| 天堂√8在线中文| 国产欧美日韩精品一区二区| 噜噜噜噜噜久久久久久91| 欧美日本视频| 亚洲av第一区精品v没综合| 一个人看视频在线观看www免费| 日日干狠狠操夜夜爽| 欧美激情久久久久久爽电影| 日韩高清综合在线| 国产免费一级a男人的天堂| 简卡轻食公司| 欧美日本亚洲视频在线播放| 色av中文字幕| 国产私拍福利视频在线观看| 国产色婷婷99| 亚洲最大成人av| 好看av亚洲va欧美ⅴa在| 深爱激情五月婷婷| 白带黄色成豆腐渣| 禁无遮挡网站| 亚洲精品亚洲一区二区| 国产69精品久久久久777片| 美女大奶头视频| 免费黄网站久久成人精品 | 午夜日韩欧美国产| 91在线精品国自产拍蜜月| 精品福利观看| 嫁个100分男人电影在线观看| 精品一区二区三区视频在线观看免费| 一进一出抽搐动态| 成人三级黄色视频| 久久久久精品国产欧美久久久| 欧美黄色片欧美黄色片| 美女被艹到高潮喷水动态| a级毛片a级免费在线| 亚洲,欧美,日韩| 亚洲国产精品成人综合色| 网址你懂的国产日韩在线| 18禁裸乳无遮挡免费网站照片| 国内精品美女久久久久久| 51国产日韩欧美| 亚洲美女黄片视频| 别揉我奶头 嗯啊视频| 日韩欧美三级三区| 中文字幕高清在线视频| 日日干狠狠操夜夜爽| 免费av不卡在线播放| 免费观看的影片在线观看| 1000部很黄的大片| 欧美色欧美亚洲另类二区| 一级a爱片免费观看的视频| 国产久久久一区二区三区| 88av欧美| 18+在线观看网站| 国产高清有码在线观看视频| 午夜两性在线视频| 国产精品美女特级片免费视频播放器| 亚洲国产精品999在线| 日本在线视频免费播放| 哪里可以看免费的av片| 亚洲一区二区三区不卡视频| 日本 欧美在线| 欧美日韩黄片免| 一级黄片播放器| 亚洲成人中文字幕在线播放| 国产aⅴ精品一区二区三区波| 亚洲精品粉嫩美女一区| 搞女人的毛片| 午夜免费激情av| 国产免费一级a男人的天堂| 久久久久性生活片| 久久精品夜夜夜夜夜久久蜜豆| 国产又黄又爽又无遮挡在线| 色哟哟·www| 国产免费男女视频| 高清毛片免费观看视频网站| 亚洲专区中文字幕在线| 人妻久久中文字幕网| 国产精品,欧美在线| 色av中文字幕| 精品人妻视频免费看| 日本三级黄在线观看| 深夜精品福利| 亚洲一区二区三区不卡视频| 97热精品久久久久久| 国产免费一级a男人的天堂| 国产视频内射| www.色视频.com| 窝窝影院91人妻| 欧美日韩乱码在线| 日韩中文字幕欧美一区二区| 在线免费观看不下载黄p国产 | 最近中文字幕高清免费大全6 | 国产精品久久久久久亚洲av鲁大| 亚洲久久久久久中文字幕| 88av欧美| 亚洲,欧美,日韩| 性色avwww在线观看| 国产高潮美女av| 国产单亲对白刺激| 99热只有精品国产| netflix在线观看网站| 毛片一级片免费看久久久久 | 亚洲成人中文字幕在线播放| 99热这里只有是精品50| 我要搜黄色片| 动漫黄色视频在线观看| 亚洲一区高清亚洲精品| 国产欧美日韩一区二区三| 麻豆一二三区av精品| 岛国在线免费视频观看| 我的老师免费观看完整版| 女人被狂操c到高潮| 色综合亚洲欧美另类图片| 亚洲av中文字字幕乱码综合| 两个人视频免费观看高清| 亚洲中文字幕一区二区三区有码在线看| 国产日本99.免费观看| 午夜a级毛片| 啦啦啦韩国在线观看视频| 嫩草影院新地址| 永久网站在线| 成年女人毛片免费观看观看9| 一a级毛片在线观看| 精品日产1卡2卡| 3wmmmm亚洲av在线观看| 国产日本99.免费观看| 嫩草影视91久久| 免费在线观看成人毛片| 波多野结衣高清无吗| 99精品久久久久人妻精品| 三级国产精品欧美在线观看| 在现免费观看毛片| 亚洲成人久久性| 99精品久久久久人妻精品| 成人国产一区最新在线观看| 精品无人区乱码1区二区| 婷婷精品国产亚洲av在线| x7x7x7水蜜桃| 亚洲成人精品中文字幕电影| 婷婷丁香在线五月| 在线观看一区二区三区| 欧美国产日韩亚洲一区| 国产91精品成人一区二区三区| 99热这里只有是精品50| АⅤ资源中文在线天堂| 看黄色毛片网站| 美女xxoo啪啪120秒动态图 | 亚洲av熟女| 网址你懂的国产日韩在线| 国产成人影院久久av| av在线蜜桃| 国产成人av教育| 亚洲成人精品中文字幕电影| 老司机福利观看| 久久久成人免费电影| 精品久久久久久久久久免费视频| 久久精品影院6| 麻豆一二三区av精品| 听说在线观看完整版免费高清| 色播亚洲综合网| h日本视频在线播放| 给我免费播放毛片高清在线观看| 精品一区二区三区视频在线观看免费| 一本一本综合久久| 一进一出抽搐gif免费好疼| 熟女人妻精品中文字幕| 亚洲国产精品999在线| 一本精品99久久精品77| 国产亚洲欧美在线一区二区| 日本熟妇午夜| 性色avwww在线观看| 99久久久亚洲精品蜜臀av| 欧美中文日本在线观看视频| 婷婷色综合大香蕉| 日韩欧美在线二视频| 国产欧美日韩精品亚洲av| 韩国av一区二区三区四区| 久久亚洲真实| 欧美日韩黄片免| 欧美丝袜亚洲另类 | avwww免费| 国产成人a区在线观看| 99久久精品热视频| 日韩欧美在线二视频| 一区福利在线观看| 欧美3d第一页| 成人毛片a级毛片在线播放| 国产精华一区二区三区| 在线观看免费视频日本深夜| 国产精华一区二区三区| 日韩精品中文字幕看吧| 99久久无色码亚洲精品果冻| 99久久九九国产精品国产免费| 免费大片18禁| 国产视频一区二区在线看| 亚洲国产色片| 亚洲 国产 在线| 亚洲男人的天堂狠狠| 99在线人妻在线中文字幕| 欧美乱色亚洲激情| 97热精品久久久久久| 国产乱人视频| 蜜桃亚洲精品一区二区三区| 亚洲精品色激情综合| 亚洲无线观看免费| 国产成人福利小说| 亚洲欧美日韩东京热| 亚洲av免费高清在线观看| 亚洲成人精品中文字幕电影| 国产av一区在线观看免费| 少妇的逼好多水| 天天一区二区日本电影三级| 日韩高清综合在线| 又粗又爽又猛毛片免费看| 亚洲av不卡在线观看| 99热只有精品国产| 日日摸夜夜添夜夜添av毛片 | 最近在线观看免费完整版| 国产午夜精品久久久久久一区二区三区 | 国产成人欧美在线观看| 久久99热这里只有精品18| 亚洲人成网站高清观看| 欧美性猛交黑人性爽|