• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能時代中國個人信息保護法的選擇

    2020-12-13 02:00:37李海英徐小露
    關鍵詞:數(shù)據(jù)保護個人信息決策

    李海英,徐小露

    (1.螞蟻金融服務集團,浙江 杭州 310007;2.對外經(jīng)濟貿(mào)易大學 法學院,北京 100020)

    一、個人信息保護法與所處的時代背景

    (一)互聯(lián)網(wǎng)商用之前

    個人信息保護法是在個人信息被“自動化處理”(Automatic Data Processing)的背景下發(fā)展起來的,1980年經(jīng)濟合作與發(fā)展組織(Organization for Economic Co-operation and Development,OECD)《關于隱私保護與個人數(shù)據(jù)和跨境流動的建議與指南》(以下簡稱“OECD《隱私指南》”)開篇即指出:“自動化數(shù)據(jù)處理的發(fā)展,使得大量數(shù)據(jù)能夠在幾秒鐘之內(nèi)跨越國家甚至大洲傳輸,因此有必要考慮與個人數(shù)據(jù)有關的隱私保護問題。” 1981年歐洲理事會(Council of Europe)發(fā)布《關于個人數(shù)據(jù)自動化處理的個人保護公約》(Convention for the Protection of Individuals with regard to Automatic Processing of Personal Data),即著名的108公約,以“自動化處理”作為公約名稱。

    但是,當時的“自動化處理”是在互聯(lián)網(wǎng)尚未商用,個人電腦剛剛開始走入家庭的背景之下,所謂的“自動化處理”主要是指紙質文檔的電子化。也是在該背景下,除OECD《隱私指南》外,各國紛紛開始就個人數(shù)據(jù)進行立法,瑞典1973年制定的《數(shù)據(jù)法》(The Data Act)、美國1974年通過的《1974年隱私法》(Privacy Act 1974)及德國1977年頒布的《聯(lián)邦個人數(shù)據(jù)保護法》(BDSG)都關注公共機構對個人數(shù)據(jù)的濫用[1]。國際社會也形成了以歐盟和美國為代表的兩種主要立法模式:歐盟注重個人信息的人權特性與社會價值,以人格保護為重點,采取全方位的國家立法模式;美國則展現(xiàn)出對個人信息積極利用的態(tài)度,更關注個人數(shù)據(jù)的經(jīng)濟特性和個人價值,其個人信息保護立法體系主要由《1974年隱私法》以及特殊領域的專門法構成①,采取分散立法的形式對其權利進行保護[2]。

    (二)從互聯(lián)網(wǎng)商用到移動互聯(lián)網(wǎng)、大數(shù)據(jù)的發(fā)展

    互聯(lián)網(wǎng)在1994年實現(xiàn)商用。歐盟于1995年10月通過《歐洲議會和理事會關于個人數(shù)據(jù)處理和自由流通的指令》(Directive 95/46/EC on the Protection of Individuals with Regard to the Processing of Personal Data and on the Free Movement of Such Data,以下簡稱《數(shù)據(jù)保護指令》),作為互聯(lián)網(wǎng)商用后世界范圍內(nèi)的第一部個人數(shù)據(jù)保護立法,該指令建立在OECD《隱私指南》確定的數(shù)據(jù)保護原則之上,并設置了個人數(shù)據(jù)保護的雙重目的:指令不僅要求成員國保護自然人的基本權利和自由,尤其是在處理個人數(shù)據(jù)方面的隱私問題,且不可限制或禁止與該種保護有關的個人數(shù)據(jù)在成員國間的自由流動。此后,歐盟的27個成員國以及挪威和列支敦士登(作為歐洲經(jīng)濟區(qū)國家)都已分別將該指令轉化為本國的數(shù)據(jù)保護立法,奠定了歐盟數(shù)據(jù)保護法規(guī)的框架?!稊?shù)據(jù)保護指令》適用范圍廣泛,包括自動化或非自動化的數(shù)據(jù)處理;賦予數(shù)據(jù)主體查閱權、拒絕權、基于自動化處理決策的否定權及獲得救濟的權利;規(guī)定數(shù)據(jù)保護監(jiān)管機構的相關職權;并對跨國數(shù)據(jù)流通作出限制,提出第三國對個人數(shù)據(jù)充分保護作為數(shù)據(jù)轉移之前提,旨在為所有成員國提供同等的高水平保護,以期實現(xiàn)歐盟內(nèi)部市場的平衡發(fā)展。

    2007年,第一代iPhone問世,采用觸控界面和全屏設計,奠定了后來的智能機設計基礎,開啟了移動互聯(lián)網(wǎng)時代。移動互聯(lián)網(wǎng)的發(fā)展加之云計算的助力,使個人信息的收集使用更加便捷并“盡在掌握”,而云計算的發(fā)展則使數(shù)據(jù)跨境流動的問題更加凸顯,2012年開始,個人信息保護立法也進入第一個高潮。2012年1月,歐盟提出《有關“95年個人數(shù)據(jù)保護指令”的立法建議》,為《一般數(shù)據(jù)保護條例》(General Data Protection Regulation,GDPR)奠定基礎;美國2012年提出《消費者隱私權利法案(草案)》,雖然最后尚未正式通過,但是其保護消費者隱私的理念得到廣泛傳播;韓國修改《信息通信網(wǎng)絡的促進利用與信息保護法》《位置信息保護與使用法》;新加坡通過《個人信息保護法》等。

    隨著云計算、大數(shù)據(jù)、人工智能的發(fā)展,如今“自動化處理”的內(nèi)涵已經(jīng)發(fā)生了翻天覆地的變化,不再僅僅是文檔的電子化,而是基于海量應用、海量數(shù)據(jù)和復雜算法進行。美國白宮2014年的一份報告將大數(shù)據(jù)描述為一種“獲取、聚合和處理更大規(guī)模、更快速度和更多種類數(shù)據(jù)”的技術能力[3]。在這一背景下,數(shù)據(jù)逐漸被視作最重要的生產(chǎn)要素和戰(zhàn)略性資源,滲透到各個行業(yè)和業(yè)務領域,對社會生活、經(jīng)濟運行方式、公共治理等產(chǎn)生了根本性的影響,對個人信息保護規(guī)則也帶來新的挑戰(zhàn)。隨著大數(shù)據(jù)分析能力、人工智能和機器學習的進步,“自動化決策”得到越來越多的應用?!白詣踊瘺Q策”是指在無人干預的前提下通過技術手段做出決策的能力??梢园选白詣踊幚怼笨醋魇恰白詣踊瘺Q策”的過程,“自動化決策”作為“自動化處理”的結果。但是需要注意的是,無論是自動化處理還是自動化決策,都不是全部需要依賴于“個人信息”,也存在完全不需要個人信息的自動化處理和決策。

    (三)人工智能時代對個人信息保護的挑戰(zhàn)

    自21世紀初至今的二十年里,機器學習和大型數(shù)據(jù)集的融合導致公共機構和私營部門中產(chǎn)品和服務的數(shù)量不斷增加、應用不斷拓寬,人工智能產(chǎn)品的運用使得人工智能正在成為現(xiàn)實,經(jīng)濟和社會需求成為人工智能產(chǎn)業(yè)發(fā)展的驅動力。人工智能充分釋放了大數(shù)據(jù)的價值,而機器學習則成為支撐和促進人工智能的技術機制之一,這三個概念的組合可以稱為“大數(shù)據(jù)分析”[4]。人工智能時代,個人信息的來源、目的和存儲要求均較之前發(fā)生巨大變化,傳統(tǒng)的信息保護規(guī)范已不足以應對當下的需求:①人工智能對數(shù)據(jù)的需求量劇增,且來源從信息主體主動提供逐漸向由網(wǎng)絡和設備自動記錄產(chǎn)生發(fā)展。人工智能技術的應用質量會因缺乏足夠的數(shù)據(jù)而惡化,從而導致交易效率低下并減少消費者福利。此外,足夠的數(shù)據(jù)基礎有利于防止人工智能在作出決策時出現(xiàn)偏差或歧視,收集“盡可能多的數(shù)據(jù)”才能夠進一步學習和分析,而該種分析需求使個人信息的收集、處理與個人信息保護的“最小化原則”產(chǎn)生沖突②。②個人信息的重新利用或多重用途對“目的限制原則”產(chǎn)生沖擊。算法環(huán)境下信息處理“結果的不可預測性”使得收集、使用個人信息的最初目的難以遵守,以機器學習為動力的大數(shù)據(jù)分析與個人信息保護的“目的限制原則”仿佛已然背道而馳。③個人信息的存儲期限限制使得個人信息的效用無法充分發(fā)揮,數(shù)據(jù)紅利難以釋放。在達到數(shù)據(jù)收集、使用的原始目的或應個人信息主體要求刪除或限制數(shù)據(jù)使用后,企業(yè)及公共管理部門將失去使用個人信息進行人工智能開發(fā)、部署和監(jiān)督的潛在利益[5]。

    二、人工智能時代個人信息保護的立法與反思

    (一)從2010年起國際組織的討論

    2010年,世界經(jīng)濟論壇(World Economic Forum,WEF)發(fā)起了一個“反思個人信息”的項目,認為“原來的數(shù)據(jù)保護這些原則在當今社會已經(jīng)沒用,尤其是告知與同意,根本沒有賦予個人真實有效的選擇權”。該項目倡導個人信息保護重心從收集轉向使用,增加個人的管理能力,使個人能夠管理與誰分享數(shù)據(jù),什么目的分享,但是不采用事先同意的方式。OECD《隱私指南》修訂過程中,2012年牛津大學互聯(lián)網(wǎng)研究院牽頭的工作組建議,OECD確立的基本原則應將數(shù)據(jù)保護責任從數(shù)據(jù)主體一方轉移到數(shù)據(jù)控制者一方,且更加注重數(shù)據(jù)使用環(huán)節(jié)而非收集環(huán)節(jié)。因為事前機制已經(jīng)逐漸失去了實質意義,不應當再對其投入過高的關注,事前的同意只能是作為保障的一種手段而不是數(shù)據(jù)行為合法性的所有依據(jù)。

    這表明,以WEF、OECD為代表的國際組織早在2012年左右就已經(jīng)注意到個人信息保護傳統(tǒng)原則難以適應時代發(fā)展這一問題,并提出了新的解決方案。但由于政治、社會發(fā)展等歷史原因,這些新的方案沒有得到推行。時至今日,人工智能和算法技術的發(fā)展又使個人信息收集處理的背景與2012年左右又有了很大的變化。中國在這樣一個新的歷史時期制定《個人信息保護法》,理應反思這些四十年未變的原則,順應“百年未有之大變局”,創(chuàng)新地思考面向未來技術、經(jīng)濟、社會發(fā)展的個人信息保護規(guī)則。

    (二)歐盟GDPR對人工智能的影響

    全球對于人工智能時代個人信息保護規(guī)則的制定還在探索階段,歐盟GDPR事實上并未很好回應人工智能帶來的數(shù)據(jù)保護問題,雖然其試圖在保護個人信息基本權利的同時實現(xiàn)非個人信息的自由流動,從而跟上技術和社會經(jīng)濟發(fā)展的步伐,但卻反而對人工智能甚至整個數(shù)字經(jīng)濟的發(fā)展形成了障礙。一方面,歐盟成員國正在測試或計劃將人臉識別(Face Recognition)等生物特征信息識別技術用于執(zhí)法目的③[6]。人臉識別技術可以對社會公眾提供更及時的保護(如通過幫助尋找失蹤兒童)及幫助發(fā)現(xiàn)欺詐和識別盜竊行為;但另一方面,因該技術對個人隱私的侵犯性以及存在人臉匹配錯誤導致歧視的風險,同樣引發(fā)了各國關于基本權利問題的討論[7]。此前,法國、瑞典等國的數(shù)據(jù)保護機構均認定在高中使用面部識別技術的行為違法,如法國數(shù)據(jù)保護監(jiān)管機構國家信息與自由委員會(CNIL)認定該面部識別計劃與數(shù)據(jù)最小化原則不符,將以輕易的手段實現(xiàn)對隱私和個人自由方面的入侵??梢姡瑲W盟對于人臉識別技術的應用尚持相對謹慎的態(tài)度。而2019年5月美國數(shù)據(jù)創(chuàng)新中心發(fā)布的《歐盟需改革GDPR以在算法經(jīng)濟時代保持競爭力》報告指出:“歐盟在加速人工智能技術應用方面做了許多努力,但GDPR從數(shù)據(jù)保護的層面對人工智能系統(tǒng)做出了限制。如不改革,歐盟在人工智能的全球競爭中將處于結構性劣勢。”

    此外,GDPR對于自動化個人決策(Automated Individual Decision-making)也有所限制,賦予數(shù)據(jù)控制者更多的義務。根據(jù)GDPR第22條,“基于單獨地”自動化處理意味著在決策制定過程中沒有人為干預、在進行自動化個人決策時應獲得數(shù)據(jù)主體的明示同意(同意必須經(jīng)過特別地、具體地確認,如通過明示聲明形式而非其他表示贊成的行為來確認)等[8],并對自動化個人決策的一般禁令賦予了例外情況,且對于用戶畫像(Profiling)作出了特別規(guī)定④,用戶畫像作為對自然人特定條件的評估,與自動化個人決策的范圍有不同之處,但也可能會有部分重疊,自動化個人決策可以基于任何形式的數(shù)據(jù),并非必須經(jīng)過用戶畫像這一過程,而用戶畫像的發(fā)生可以無需作出決策。但是,由于算法本身的復雜與不透明以及單獨的自動化個人決策可能產(chǎn)生的“法律或類似重大影響”之含義不明,GDPR相關條款在適用上仍存在問題,實踐中也對自動化個人決策的可解釋性設置了比較高的門檻。歐盟委員會數(shù)據(jù)保護專員在處理金融信貸公司Svea Ekonomi投訴時遵循這樣的審查邏輯,即首先指出應將公司的在線信用決策服務視為GDPR第22條中規(guī)定的自動個人決策,而后在數(shù)據(jù)處理階段,公司必須向投訴者提供有關自動個人決策所采用的算法邏輯、其在評估決策中的作用以及對信用評估申請人可能產(chǎn)生的后果,并且以充分的通知確保信貸申請人可以理解作出決策的理由[9]。可見,算法可解釋性要求對大數(shù)據(jù)背景下的分析活動帶來了極大的影響,可能損害“人工智能最有價值的用途之一:自動化決策和預測”[10]。

    (三)美國《2018年加州消費者隱私法案》對人工智能的回應

    已經(jīng)頒布并于2020年1月1日生效的《2018年加州消費者隱私法案》(California Consumer Privacy Act of 2018,CCPA)賦予消費者與企業(yè)收集消費者個人信息有關的多項權利,包括訪問權、刪除權、知情權、選擇退出權、享有平等服務與價格的權利,同樣關注消費者的隱私保護權利,消費者可合法地獲知個人信息如何被收集、存儲、使用、出售或共享,避免個人信息在不知情的情況下被收集并貨幣化。與歐盟GDPR相比,CCPA更側重考慮個人信息的價值利用,不再試圖追求信息主體對個人信息的絕對控制權,賦予新型商業(yè)模式對信息的利用空間。首先,CCPA確定了更加寬泛的個人信息定義:包括生物特征信息與互聯(lián)網(wǎng)或其他電子網(wǎng)絡活動信息、從已識別信息中得出的可創(chuàng)建用戶畫像之推論⑤,并從“個人信息”的定義中排除了公開可獲取的信息,且“公開可獲取”信息不包括去識別化的消費者信息以及聚合的消費者信息。其次,關注個人信息的流通價值與隱私權益的平衡:第一,區(qū)別于GDPR采用“選擇加入”(Opt-in)的機制,CCPA賦予消費者“選擇退出”的權利(Opt-out),即在企業(yè)進行充分披露后,消費者可在任何時間指示出售消費者個人信息給第三方的企業(yè)不得出售該消費者的個人信息;第二,有條件地豁免數(shù)據(jù)控制企業(yè)合規(guī)負擔,如通過考察經(jīng)營者相關行為來降低信息去識別化的相關要求,在特定情況下使用“去識別化”信息的經(jīng)營者可主張免責⑥;第三,允許企業(yè)根據(jù)隱私授權多寡實行差異化定價而不構成歧視(如果該等區(qū)分對待與消費者數(shù)據(jù)提供給消費者的價值合理相關,則該企業(yè)可向消費者提供不同價格、費率、水平或質量的商品或服務)及企業(yè)可以為個人信息的收集、出售或者刪除提供財務激勵,包括向消費者支付賠償金;第四,CCPA采取消費者民事保護之進路,消費者有權通過個人訴訟(或集體訴訟)對企業(yè)提出法定賠償?shù)囊?,但仍需履行前置之提前三十天給予企業(yè)書面通知之義務,若企業(yè)三十天內(nèi)改正并提供明確通知聲明,訴訟即可避免[11-12]。

    新法規(guī)正在改變很多企業(yè)的隱私政策,同時不斷有討論指出,人工智能技術同樣可以作為CCPA合規(guī)性的可行解決方案。文章觀點認為,人工智能不僅帶來隱私挑戰(zhàn),也可以作為一種技術助力來促進隱私保護。作為全面落實CCPA項下消費者權利的實現(xiàn)機制,人工智能反將成為保護消費者個人信息權利的工具:當消費者根據(jù)CCPA請求企業(yè)作為信息控制者披露其收集的可識別個人身份的信息時,借助人臉識別技術,數(shù)據(jù)請求才可能高效且精確地完成,進而提高消費者對企業(yè)的信任和信心[13];通過在線身份驗證技術,企業(yè)在滿足個人數(shù)據(jù)刪除請求之前識別其真實身份,可以防止企業(yè)或信息主體因身份盜竊而遭受經(jīng)濟損失;智能數(shù)據(jù)管理、人工智能客服等多種技術手段不僅可以更好地保護消費者信息,更可以作為企業(yè)合規(guī)運營的保護機制。

    可見,作為美國史上最全面、最徹底的隱私法案,CCPA為個人信息的自由流動創(chuàng)造了更大的空間,有利于促進數(shù)字經(jīng)濟的發(fā)展,且基于合規(guī)性要求,人工智能技術作為隱私保護工具也正扮演著不可或缺的角色。同時,正如CNIL指出,人工智能和大數(shù)據(jù)是不可分割的,事實上人工智能與大數(shù)據(jù)之間的關系是雙向的:通過機器學習,人工智能需要大數(shù)據(jù)領域的海量數(shù)據(jù)作為基礎;同時,大數(shù)據(jù)則使用人工智能技術從大型數(shù)據(jù)集中提煉價值[14]。

    三、中國人工智能時代個人信息保護立法

    (一)中國人工智能相關產(chǎn)業(yè)發(fā)展趨勢

    近年來,中國陸續(xù)出臺多項政策,在國家戰(zhàn)略上多角度促進人工智能與經(jīng)濟社會深度融合發(fā)展。工業(yè)和信息化部印發(fā)了《促進新一代人工智能產(chǎn)業(yè)發(fā)展三年行動計劃(2018—2020年)》(以下簡稱《人工智能三年行動計劃》),中央全面深化改革委員會會議審議通過了《關于促進人工智能和實體經(jīng)濟深度融合的指導意見》,科學技術部印發(fā)了《國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)建設工作指引》。截至2019年,全國已建立十五個國家級人工智能開放平臺,二十一個省市地區(qū)政府出臺了人工智能產(chǎn)業(yè)相關政策,在安防、金融、零售、醫(yī)療、政務、交通、制造、家居等多行業(yè)領域均有不同程度的應用⑦。

    其中,生物特征識別是人工智能的關鍵技術。目前,國內(nèi)外均已在多個領域和行業(yè)廣泛應用。中國相關產(chǎn)業(yè)政策大力支持生物特征識別技術發(fā)展,《人工智能三年行動計劃》具體規(guī)劃“到2020年,復雜動態(tài)場景下人臉識別有效檢出率超過97%,正確識別率超過90%”,中央銀行、發(fā)展和改革委員會、交通運輸部、商務部等多個行業(yè)主管部門出臺政策推進生物特征識別技術在金融服務、不動產(chǎn)登記、在線支付等多個領域的發(fā)展⑧。但因人臉識別等生物識別信息的高度敏感性,該技術依舊存在爭議,如杭州一動物園因啟用人臉識別技術,在未經(jīng)消費者同意的情況下,通過升級年卡系統(tǒng)強制收集個人生物識別信息而被訴至法院,該案被稱為“中國人臉識別第一案”,這也暴露了社會對人臉識別技術安全的擔憂與質疑。同樣,自動化決策因其效率及預測價值被廣泛應用于社會各領域。自2016年以來,尤其在與日常生活密切相關的商業(yè)領域,注重實時數(shù)據(jù)分析的商品推薦、圖書推薦、情境推薦等應用的研究引領自動化研究向個性化服務方向邁進[15]。在中國電子商務蓬勃發(fā)展的當下,自動化決策的應用,一方面,提高了交易效率,但“大數(shù)據(jù)殺熟”現(xiàn)象也相伴而生;另一方面,由于企業(yè)與用戶之信息不對等,用戶數(shù)據(jù)被多次整合和分析,隱私信息的保護也成為難題。

    (二)現(xiàn)行立法分析

    近年來,中國不斷豐富個人信息保護立法之實踐。自2012年全國人民代表大會常務委員會出臺《關于加強網(wǎng)絡信息保護的決定》以來,民法領域逐步關注個人信息的范圍、保護原則及具體制度安排,消費者保護、征信業(yè)務等具體領域也對個人信息保護提出了新的要求。2016年出臺的《網(wǎng)絡安全法》、2017年施行的《民法總則》第111條等在法律層面體現(xiàn)了個人信息保護的重要性。但同樣需要注意,針對人工智能帶來的挑戰(zhàn),中國立法當前難以及時、全面地予以回應。如關于自動化決策之限制規(guī)定主要集中在電子商務領域,企業(yè)在現(xiàn)有商業(yè)模式下不可避免地收集和使用個人數(shù)據(jù),商品和服務的提供以數(shù)據(jù)的定向分析為前提。《電子商務法》第18條規(guī)定,電子商務經(jīng)營者“應當同時向該消費者提供不針對其個人特征的選項”,即明確提出平臺經(jīng)營者需要向消費者提供明確的退出機制。也有學者稱之為電商平臺的平臺算法責任條款,恪以平臺以算法的自然結果提供義務,在承認電商平臺個性化推薦算法之合法性基礎上,加諸提供一般搜索結果的義務,以糾正平臺與消費者之間的信息不對稱[16]。此外,《網(wǎng)絡交易監(jiān)督管理辦法(征求意見稿)》等多項文件同樣要求,網(wǎng)絡交易經(jīng)營者提供商品或者服務的搜索結果或者展示商業(yè)性信息時,同時以顯著方式向消費者提供不針對其個人特征的選項⑨?,F(xiàn)有規(guī)制方案主要依據(jù)個性化推薦之退出條款賦予消費者之自主選擇權,以保護個人信息。但同樣,在醫(yī)療、征信、保險等各行業(yè)逐步涌現(xiàn)的自動化決策應用,因各領域涉及用戶個人信息之范圍、敏感度的區(qū)別,難以根據(jù)電子商務領域之規(guī)定做普遍適用。

    而在生物特征信息應用領域,中國將生物識別信息納入個人信息的范圍予以保護,并在《反恐怖主義法》《出境入境管理法》等特定情況下對于生物識別信息的收集、使用作出規(guī)定。此外,即將于2020年10月1日施行的《信息安全技術 個人信息安全規(guī)范》(GB/T 35273—2020,以下簡稱《規(guī)范》)對個人生物識別信息收集、使用的告知同意方式、存儲標準及具體措施等作出了具體要求。中國目前在法律層面尚未對生物識別信息保護作出明確進行強化規(guī)定,該《規(guī)范》的頒布將對個人信息保護工作的落地產(chǎn)生重大意義,降低生物識別信息濫用和泄露風險的同時促進產(chǎn)業(yè)健康有序發(fā)展。

    有學者認為,未來是“移動互聯(lián)網(wǎng)+大數(shù)據(jù)+機器智能”三者疊加的時代,人類社會將進入一個透明的、沒有隱私的時代[18]。在“互聯(lián)網(wǎng)+電子商務”領域,個人信息流轉鏈條長,數(shù)據(jù)保護難度大;新零售業(yè)態(tài)深度收集、使用個人敏感信息等都使個人信息的全面保護面臨挑戰(zhàn)。為妥善應對個人信息保護這一人工智能時代的新課題,《民法典(草案)》之“人格權編”在第六章“隱私權和個人信息保護”中,對隱私權保護、個人信息的收集、使用、刪除、更正和保護等問題作出了較為詳細的規(guī)定,第十三屆全國人民代表大會常務委員會決定將該草案提請第十三屆全國人民代表大會第三次會議審議,加快推進個人信息保護相關立法進程已經(jīng)成為了全社會的共識[19]。

    四、中國《個人信息保護法》的制度選擇

    人工智能的發(fā)展帶給人們無限的可能,面向未來,中國有機會站在巨人的肩膀上,與歐美共同面對新技術新業(yè)務帶來的沖擊。在制度建設方面,中國面臨前所未有的機遇,有機會引領未來的規(guī)則體系。

    (一)體現(xiàn)人工智能時代的前瞻性

    在算法經(jīng)濟時代,人工智能預示著顯著的社會經(jīng)濟效益。首先要明確人工智能技術在個人信息保護中的中立性,對人工智能技術的合理利用可以為更快速便捷地獲取公民個人信息提供技術支持,將作為實現(xiàn)公民信息權利最有效的執(zhí)行者。面對人工智能技術帶來的挑戰(zhàn),過于保守謹慎的全面禁止同樣有可能對技術以及相關應用的發(fā)展帶來極大阻礙。

    因此,新時期的《個人信息保護法》要清楚地認識到數(shù)據(jù)在未來數(shù)字經(jīng)濟發(fā)展中的重要作用,既要為個人信息保護做出清晰指引,也要為人工智能時代的產(chǎn)業(yè)變革留下空間?!秱€人信息保護法》是一個 多元利益的平衡,從個人的角度看,既要看到權利保護,也要看到服務提升帶來的福利提升;從行業(yè)的角度看,既要看到個體的權利保護和權益實現(xiàn),也要看到行業(yè)發(fā)展企業(yè)創(chuàng)新給群體帶來的收益;從國家的角度看,既要看到用戶個體價值和安全,也要看到國家經(jīng)濟發(fā)展和安全保障。用戶福利不僅包括個人信息受到保護,也包括以更低的價格獲得更好的服務,以及享受由于互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展帶來的總體福利提升。人工智能等新技術發(fā)展給個人信息保護帶來挑戰(zhàn),但未來還要依靠技術來提升個人信息保護的水平,技術發(fā)展帶來的新問題交由技術的發(fā)展來解決。人們既要應對數(shù)字經(jīng)濟時代人工智能等新技術給數(shù)據(jù)保護帶來的新挑戰(zhàn),如數(shù)據(jù)無時無刻的收集、個人信息邊界的進一步模糊、數(shù)據(jù)使用的目的無法事先明確等,也要看到以人工智能為基礎的新技術在隱私保護、風險控制等領域會發(fā)揮越來越大的作用,用技術來解決技術發(fā)展帶來的問題將是數(shù)字經(jīng)濟時代數(shù)據(jù)治理的重要手段。

    (二)借鑒國際經(jīng)驗的同時汲取教訓

    更多國家開始重視并利用個人信息資源,通過國家和地區(qū)戰(zhàn)略和激勵措施來推進人工智能的發(fā)展是大勢所趨。歐盟委員會此前曾表示考慮實施史上最嚴的人工智能監(jiān)管措施,公共或私人機構在公共場所使用人臉識別技術將被禁止3~5年的時間。但2020年2月歐盟發(fā)布的《人工智能白皮書》(White Paper:On Artificial Intelligence — A European Approach to Excellence and Trust)對此限制已經(jīng)有所緩和,根據(jù)歐盟GDPR和基本權利憲章,將人工智能用于遠程生物識別只能基于正當和相稱的目的,并應具備足夠的保障。歐盟基本人權和消費者保護等特定行業(yè)的規(guī)定仍可適用于人工智能的場景,但需予以補充規(guī)定。并進一步提出通過新的監(jiān)管框架來增強人們對人工智能的信任,如人工智能產(chǎn)品投入使用后將進行安全風險評估等。2020年3月 2日,WEF發(fā)布《人臉識別用例的責任限制框架——流程管理》(A Framework for Responsible Limits on Facial Recognition Use Case:Flow Management)白皮書,提出第一版人臉識別應用的十一項行動原則以建立人臉識別的監(jiān)管框架,并希望通過分析人臉識別不同應用場景(包括準入系統(tǒng)、公共場所的安全保障、市場及客戶服務、醫(yī)療保健服務)的案例,更好地權衡技術風險與監(jiān)管,檢驗人臉識別監(jiān)管框架[20]。GDPR作為歐盟建立的數(shù)據(jù)保護領域的規(guī)則體系仍將發(fā)揮巨大的作用,但同樣要警惕“一刀切”的嚴格立法與執(zhí)法方式阻礙技術創(chuàng)新。如建立自動化決策之(事后)透明性原則和“算法責任制”,要求數(shù)據(jù)控制者必須以數(shù)據(jù)主體能夠理解結果并行使其權利的方式解釋自動化決策之結果[21]。將面部信息作為敏感個人信息加強保護,原則上禁止處理此類個人敏感數(shù)據(jù),但仍確立了包括數(shù)據(jù)主體明確同意或處理對實質性的公共利益所必要等例外情況。

    此外,美國伊利諾伊州2008年通過的《生物信息隱私法》(Biometric Information Privacy Act,BIPA)作為對生物識別信息保護規(guī)定最為嚴格的立法,其很多規(guī)定已經(jīng)不適應發(fā)展的當下生物識別相關產(chǎn)業(yè)的實際發(fā)展,增加了企業(yè)的合規(guī)成本,甚至引發(fā)了消費者濫訴的風險。剛剛施行的CCPA“以數(shù)據(jù)自由流動和便捷交易為價值取向”,在消費者隱私保護領域更加主動。因此,基于人工智能產(chǎn)業(yè)快速發(fā)展的現(xiàn)狀,在中國《個人信息保護法》的制訂過程中,借鑒國外立法之得失,順應當下時代潮流,對于生物特征信息保護、自動化決策等制度的立法設計不宜過于嚴格,有條件地借鑒國外具體規(guī)則及場景化應用模式,為技術和產(chǎn)業(yè)發(fā)展留下充分的空間。

    (三)具體制度考量

    人工智能時代的《個人信息保護法》作為個人信息領域的統(tǒng)領性法律,蘊含著產(chǎn)業(yè)利益競爭、國家安全控制的內(nèi)核,需要對當下已經(jīng)產(chǎn)生實際爭議的新興技術做出回應,并對個人信息保護和自由高效發(fā)展技術產(chǎn)業(yè)作出權衡[2]。

    《個人信息保護法》除賦予個人信息主體權利、制定個人信息收集使用的規(guī)則等傳統(tǒng)制度外,如何回應人工智能的發(fā)展,目前主要體現(xiàn)在對于自動化決策、生物特征識別信息等的規(guī)制方面。大數(shù)據(jù)和機器學習從新的定性和定量維度對個人信息進行剖析,數(shù)據(jù)挖掘能力成倍增加,并有助于從大型數(shù)據(jù)庫中發(fā)現(xiàn)有價值的信息(如設備維護記錄、貸款申請、財務交易甚至醫(yī)療記錄)并據(jù)此作出預測或建議。自動化決策在商業(yè)領域的合理運用可以提高經(jīng)濟效率,降低雙向搜尋成本,有利于消費者的個性化定制與邊緣創(chuàng)新,因此,肯定自動化決策在商業(yè)環(huán)境中的價值,賦予信息主體知情權與選擇退出的權利,使其預測功能得到最大價值的發(fā)揮利用。在商業(yè)領域應用生物特征識別技術的情況下,除了認識到技術發(fā)展趨勢及其帶來的便捷和效率外,關鍵在于不能將生物特征識別作為唯一選項,而是應該給予用戶是否使用此方式的選擇權。更重要的是,加強對生物特征識別信息的數(shù)據(jù)安全保護,確保數(shù)據(jù)安全。

    人工智能和數(shù)字經(jīng)濟的發(fā)展正在向世人展開未來的巨幅圖景,數(shù)據(jù)價值將伴隨著信息技術的進步而不斷被挖掘和釋放,科技創(chuàng)新也在為個人信息保護和數(shù)據(jù)安全帶來新的動力支持。面向未來,中國需要制度創(chuàng)新的勇氣和智慧!

    注釋:

    ① 如兒童信息保護領域的《兒童網(wǎng)絡隱私保護法》(Children’s Online Privacy Protection Act,COPPA)、電子通信領域的《電子通信隱私法》(Electronic Communications Privacy Act,ECPA)、金融領域的《公平信用報告法》(Fair Credit Reporting Act,F(xiàn)CRA)、《金融服務現(xiàn)代化法》(Financial Modernization Act/Gramm- Leach-Bliley Act,GLBA)及消費者保護領域的《聯(lián)邦貿(mào)易委員會法》(Federal Trade Commission Act)。

    ② 挪威數(shù)據(jù)保護局認為“大多數(shù)人工智能的應用都需要大量數(shù)據(jù)才能學習和做出明智的決策”,因此尤其重視對數(shù)據(jù)的更大需求。

    ③ 根據(jù)29條數(shù)據(jù)保護工作組意見,人臉識別是指對包含個人面孔的數(shù)字圖像進行自動處理,以進行識別、驗證或分類的目的。

    ④ GDPR第22條規(guī)定了數(shù)據(jù)主體有權反對完全依靠自動化處理(包括用戶畫像)對數(shù)據(jù)主體做出具有法律影響或類似嚴重影響的決策,且數(shù)據(jù)控制者應當采取適當措施保障數(shù)據(jù)主體的權利、自由、正當利益,以及數(shù)據(jù)主體對控制者進行人為干涉,以便表達其觀點和對決策進行異議的基本權利。GDPR第4條定義中“用戶畫像”指的是為了評估自然人的某些條件而對個人數(shù)據(jù)進行的任何自動化處理,特別是為了評估自然人的工作表現(xiàn)、經(jīng)濟狀況、健康、個人偏好、興趣、可靠性、行為方式、位置或行蹤而進行的處理。

    ⑤ 根據(jù)CCPA相關定義,生物特征信息指指個人的生理、生物或行為特征,包括個人的脫氧核糖核酸(DNA),這些可以單獨或組合使用或與其他識別數(shù)據(jù)一起使用,以建立個人身份。生物特征信息包括但不限于虹膜、視網(wǎng)膜、指紋、臉部、手掌、靜脈圖案和語音記錄的圖像,從其識別模板(例如面部印記、細節(jié)模板或聲紋)可以被提取,以及包含識別信息的點擊模式或節(jié)奏、步態(tài)模式或節(jié)奏以及睡眠、健康或運動數(shù)據(jù);互聯(lián)網(wǎng)或其他電子網(wǎng)絡活動信息,包括但不限于瀏覽歷史、搜索歷史和關于消費者與互聯(lián)網(wǎng)網(wǎng)站、應用程序或廣告交互的信息;個人信息還包括從該條定義中已識別的任何信息中得出的推論,以創(chuàng)建反映消費者偏好、特征、心理傾向、偏好、傾向、行為、態(tài)度、智力、能力和資質的畫像。

    ⑥ 該特定情況指:a.經(jīng)營者采取了防止再次識別的技術保護措施;b.經(jīng)營者采取了專門防止再次識別的經(jīng)營流程;c.經(jīng)營者采取了防止去識別化信息因疏忽而被泄露的經(jīng)營流程;d.經(jīng)營者未試圖重新識別去識別化信息。

    ⑦ 在國家和地方政策扶持、數(shù)據(jù)資源豐富等多因素的驅動下,中國廣闊的人工智能應用市場成為發(fā)展優(yōu)勢。參見:《人工智能安全標準化白皮書(2019版)》,第4—6頁。

    ⑧ 中央銀行上??偛堪l(fā)布《關于促進金融科技發(fā)展 支持上海建設金融科技中心的指導意見》,鼓勵金融機構創(chuàng)新思維與經(jīng)營理念、順應智能發(fā)展態(tài)勢,借助云計算、區(qū)塊鏈、人工智能、生物識別等技術,依托金融大數(shù)據(jù)平臺,找準突破口和主攻方向,在智慧網(wǎng)點、智能客服、智能投顧、智能風控等金融產(chǎn)品和服務方面進行創(chuàng)新。發(fā)展和改革委員會、交通運輸部提出,“鐵路要推廣自助實名制核驗通道,實現(xiàn)‘刷臉’進站?!鄙虅詹俊蛾P于推動便利店品牌化連鎖化發(fā)展的工作通知》提出,“推廣自助結算、掃碼支付、刷臉支付等支付技術,鼓勵采用數(shù)字貨架、電子價簽、無線射頻等商品管理技術,提升服務智能化水平,優(yōu)化消費體驗?!?/p>

    ⑨ 公安部網(wǎng)絡安全保衛(wèi)局、北京網(wǎng)絡行業(yè)協(xié)會、公安部第三研究所聯(lián)合發(fā)布的《互聯(lián)網(wǎng)個人信息安全保護指南》,國家互聯(lián)網(wǎng)信息辦公室秘書局、工業(yè)和信息化部辦公廳、公安部辦公廳、市場監(jiān)管總局辦公廳聯(lián)合發(fā)布的《App違法違規(guī)收集使用個人信息行為認定方法》等文件也要求確保用戶有拒絕的權利,或需提供終止定向推送的選項等規(guī)定。

    猜你喜歡
    數(shù)據(jù)保護個人信息決策
    如何保護勞動者的個人信息?
    工會博覽(2022年16期)2022-07-16 05:53:54
    個人信息保護進入“法時代”
    為可持續(xù)決策提供依據(jù)
    警惕個人信息泄露
    綠色中國(2019年14期)2019-11-26 07:11:44
    決策為什么失誤了
    TPP生物藥品數(shù)據(jù)保護條款研究
    歐盟數(shù)據(jù)保護立法改革之發(fā)展趨勢分析
    歐盟《一般數(shù)據(jù)保護條例》新規(guī)則評析
    藥品試驗數(shù)據(jù)保護對完善中藥品種保護制度的啟示
    個人信息保護等6項通信行業(yè)標準征求意見
    国产不卡一卡二| 每晚都被弄得嗷嗷叫到高潮| 国产亚洲精品综合一区在线观看 | 久久久久久九九精品二区国产 | 国产精品av久久久久免费| 国产高清激情床上av| 亚洲av成人av| 欧美成人午夜精品| 脱女人内裤的视频| 日本熟妇午夜| 亚洲 国产 在线| 久久精品夜夜夜夜夜久久蜜豆 | 国产一区二区激情短视频| cao死你这个sao货| 国产亚洲欧美98| 欧美一级a爱片免费观看看 | 波多野结衣av一区二区av| 国产成年人精品一区二区| 人成视频在线观看免费观看| 国产v大片淫在线免费观看| 啦啦啦韩国在线观看视频| 国产成+人综合+亚洲专区| 久久婷婷成人综合色麻豆| 午夜福利欧美成人| 国产伦人伦偷精品视频| 久久这里只有精品19| 久久午夜综合久久蜜桃| 亚洲专区国产一区二区| 国产主播在线观看一区二区| 欧美在线一区亚洲| 精品日产1卡2卡| 脱女人内裤的视频| 午夜视频精品福利| 日本精品一区二区三区蜜桃| 一区二区三区精品91| 国产激情久久老熟女| 99久久99久久久精品蜜桃| 精品国产超薄肉色丝袜足j| 日韩精品免费视频一区二区三区| 少妇裸体淫交视频免费看高清 | 亚洲成a人片在线一区二区| 亚洲欧洲精品一区二区精品久久久| 搞女人的毛片| 国产野战对白在线观看| 成人亚洲精品一区在线观看| 女警被强在线播放| 高潮久久久久久久久久久不卡| 婷婷精品国产亚洲av| 波多野结衣高清无吗| 亚洲av成人不卡在线观看播放网| www.999成人在线观看| 天堂动漫精品| 国产真实乱freesex| 国产精品永久免费网站| 久久国产精品影院| 国产不卡一卡二| а√天堂www在线а√下载| aaaaa片日本免费| 我的亚洲天堂| 又紧又爽又黄一区二区| 欧美黑人精品巨大| a级毛片在线看网站| 久久精品国产99精品国产亚洲性色| 日本一本二区三区精品| 无限看片的www在线观看| 国产乱人伦免费视频| 久久国产乱子伦精品免费另类| 男女做爰动态图高潮gif福利片| 欧美成人性av电影在线观看| 成人三级做爰电影| 老熟妇乱子伦视频在线观看| 国产免费av片在线观看野外av| 国产成人精品久久二区二区91| 精品一区二区三区四区五区乱码| 亚洲国产欧美网| 12—13女人毛片做爰片一| 亚洲av美国av| 中文字幕人妻熟女乱码| 国产1区2区3区精品| 少妇粗大呻吟视频| 视频区欧美日本亚洲| 麻豆成人午夜福利视频| 精品久久久久久久人妻蜜臀av| 国产成人欧美| 国产成人欧美| 白带黄色成豆腐渣| 久久国产精品男人的天堂亚洲| av在线天堂中文字幕| 18禁黄网站禁片午夜丰满| 亚洲人成网站高清观看| 亚洲 欧美 日韩 在线 免费| www.999成人在线观看| 真人一进一出gif抽搐免费| www.熟女人妻精品国产| 久久久久久免费高清国产稀缺| 精品国产美女av久久久久小说| 一个人观看的视频www高清免费观看 | 一本综合久久免费| 欧美av亚洲av综合av国产av| 亚洲欧美一区二区三区黑人| 久久久久国产一级毛片高清牌| 搡老熟女国产l中国老女人| 日韩精品青青久久久久久| 变态另类丝袜制服| 国产极品粉嫩免费观看在线| 亚洲午夜理论影院| 亚洲欧美日韩无卡精品| 色播亚洲综合网| 亚洲国产中文字幕在线视频| 国产乱人伦免费视频| 国产主播在线观看一区二区| 在线观看免费日韩欧美大片| 一区二区三区国产精品乱码| ponron亚洲| 国产精品日韩av在线免费观看| 国产极品粉嫩免费观看在线| 99国产精品一区二区三区| 久久久国产欧美日韩av| 国产精品久久久久久人妻精品电影| 亚洲欧美精品综合久久99| 99精品欧美一区二区三区四区| 国产精品 国内视频| 99热这里只有精品一区 | 久久久精品国产亚洲av高清涩受| 中文字幕精品免费在线观看视频| 美女午夜性视频免费| 大型av网站在线播放| 色综合欧美亚洲国产小说| 在线十欧美十亚洲十日本专区| 亚洲国产精品999在线| 国产伦人伦偷精品视频| 中文字幕最新亚洲高清| 久久国产精品影院| 国产午夜精品久久久久久| 黄色片一级片一级黄色片| 国产1区2区3区精品| www.自偷自拍.com| 18禁美女被吸乳视频| 国产精品久久电影中文字幕| 亚洲精品国产区一区二| 亚洲精品国产精品久久久不卡| 黄色片一级片一级黄色片| netflix在线观看网站| 男女午夜视频在线观看| 色精品久久人妻99蜜桃| 日日爽夜夜爽网站| 91成人精品电影| 日韩欧美免费精品| svipshipincom国产片| 白带黄色成豆腐渣| 国产一区二区在线av高清观看| 国产麻豆成人av免费视频| 成人永久免费在线观看视频| 91麻豆精品激情在线观看国产| 两性夫妻黄色片| 成人一区二区视频在线观看| 午夜福利18| 欧美黑人巨大hd| 午夜精品久久久久久毛片777| 一区二区三区精品91| 亚洲人成网站高清观看| 女人高潮潮喷娇喘18禁视频| 久久亚洲真实| 精品国产乱子伦一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 久久中文字幕一级| 一本精品99久久精品77| 日韩欧美国产一区二区入口| 日本a在线网址| 成人18禁在线播放| 大型黄色视频在线免费观看| 最近最新中文字幕大全免费视频| 黑人欧美特级aaaaaa片| 亚洲精品在线观看二区| 最近最新中文字幕大全免费视频| 精品久久久久久久久久久久久 | 午夜亚洲福利在线播放| 久久国产精品人妻蜜桃| 国产精品久久久久久亚洲av鲁大| 99久久无色码亚洲精品果冻| 国产99久久九九免费精品| www.自偷自拍.com| 日日干狠狠操夜夜爽| 国产精品永久免费网站| 人人妻,人人澡人人爽秒播| 51午夜福利影视在线观看| 在线播放国产精品三级| 日韩精品青青久久久久久| 欧美成人性av电影在线观看| 国产精品野战在线观看| 成人三级黄色视频| 欧美人与性动交α欧美精品济南到| 看片在线看免费视频| 午夜福利18| 午夜福利在线观看吧| 丝袜人妻中文字幕| 男女那种视频在线观看| 久久人人精品亚洲av| 国产高清有码在线观看视频 | 天堂影院成人在线观看| 999久久久精品免费观看国产| 精品久久久久久久毛片微露脸| 欧美中文日本在线观看视频| 久久香蕉精品热| 国产午夜精品久久久久久| 精品欧美一区二区三区在线| 亚洲精品国产区一区二| 男女之事视频高清在线观看| 成人一区二区视频在线观看| 久久国产精品男人的天堂亚洲| 午夜福利视频1000在线观看| 日本熟妇午夜| 亚洲精品色激情综合| 国产极品粉嫩免费观看在线| 久久久久久亚洲精品国产蜜桃av| 亚洲中文日韩欧美视频| 久久婷婷成人综合色麻豆| 国产一区在线观看成人免费| 亚洲av日韩精品久久久久久密| 久久性视频一级片| 午夜久久久在线观看| 人妻丰满熟妇av一区二区三区| 成人特级黄色片久久久久久久| 日韩欧美一区视频在线观看| 制服丝袜大香蕉在线| av福利片在线| 黑人欧美特级aaaaaa片| 日韩国内少妇激情av| 亚洲自拍偷在线| or卡值多少钱| aaaaa片日本免费| 欧美日本亚洲视频在线播放| 日韩有码中文字幕| 人妻丰满熟妇av一区二区三区| 身体一侧抽搐| 国产精品爽爽va在线观看网站 | 亚洲国产中文字幕在线视频| 两性午夜刺激爽爽歪歪视频在线观看 | 精品久久久久久久久久久久久 | 国产私拍福利视频在线观看| 少妇裸体淫交视频免费看高清 | 亚洲国产欧美一区二区综合| 午夜久久久在线观看| 国产激情欧美一区二区| 日韩国内少妇激情av| 国产野战对白在线观看| or卡值多少钱| 免费在线观看黄色视频的| 国内精品久久久久精免费| 国产黄片美女视频| 亚洲第一av免费看| 免费看美女性在线毛片视频| 亚洲人成伊人成综合网2020| 国产激情欧美一区二区| 悠悠久久av| 波多野结衣高清作品| 1024视频免费在线观看| 国产精品久久电影中文字幕| 一级a爱视频在线免费观看| 国产一卡二卡三卡精品| 国产亚洲欧美98| 少妇 在线观看| 少妇被粗大的猛进出69影院| 最近最新中文字幕大全免费视频| 国产视频内射| 精品久久久久久久久久久久久 | 国产精品永久免费网站| 色综合婷婷激情| 亚洲av五月六月丁香网| 丁香欧美五月| 欧美性猛交╳xxx乱大交人| 99久久国产精品久久久| 久久国产亚洲av麻豆专区| 国产一区二区三区视频了| 国产成年人精品一区二区| 国产精华一区二区三区| 男女那种视频在线观看| 国产精品一区二区精品视频观看| 18禁黄网站禁片免费观看直播| 国产一区二区在线av高清观看| 别揉我奶头~嗯~啊~动态视频| 一本精品99久久精品77| 2021天堂中文幕一二区在线观 | 日本免费一区二区三区高清不卡| 一区二区三区精品91| 老司机深夜福利视频在线观看| 深夜精品福利| 亚洲国产中文字幕在线视频| 无遮挡黄片免费观看| 91国产中文字幕| 在线十欧美十亚洲十日本专区| 19禁男女啪啪无遮挡网站| 亚洲国产精品久久男人天堂| 一级a爱片免费观看的视频| av福利片在线| 亚洲中文字幕一区二区三区有码在线看 | 日本免费一区二区三区高清不卡| 亚洲精华国产精华精| 搡老熟女国产l中国老女人| 欧美黑人欧美精品刺激| 欧美大码av| 亚洲国产看品久久| 在线看三级毛片| 日韩中文字幕欧美一区二区| 日韩av在线大香蕉| 波多野结衣巨乳人妻| 国产精品免费一区二区三区在线| 99热6这里只有精品| 又黄又粗又硬又大视频| 自线自在国产av| 午夜视频精品福利| 亚洲欧美激情综合另类| 国产精华一区二区三区| 一级毛片女人18水好多| 久久久久久免费高清国产稀缺| 88av欧美| 国产av又大| 亚洲中文日韩欧美视频| 人人妻,人人澡人人爽秒播| 免费看美女性在线毛片视频| 亚洲成a人片在线一区二区| 久久精品国产综合久久久| 日韩精品青青久久久久久| 日本a在线网址| 国产激情久久老熟女| 精品不卡国产一区二区三区| 亚洲第一青青草原| 国产av又大| 亚洲中文日韩欧美视频| 波多野结衣高清无吗| 性色av乱码一区二区三区2| 亚洲avbb在线观看| 美女国产高潮福利片在线看| 99热只有精品国产| 色av中文字幕| 日韩免费av在线播放| 国产一区二区激情短视频| 最新美女视频免费是黄的| 男人舔女人下体高潮全视频| 99在线视频只有这里精品首页| 黑人巨大精品欧美一区二区mp4| 国产精品自产拍在线观看55亚洲| 成人一区二区视频在线观看| 国产一区二区在线av高清观看| 50天的宝宝边吃奶边哭怎么回事| 两个人免费观看高清视频| 色综合欧美亚洲国产小说| 无遮挡黄片免费观看| 午夜老司机福利片| 一区二区三区高清视频在线| 久久精品成人免费网站| 人妻丰满熟妇av一区二区三区| 国产男靠女视频免费网站| 啪啪无遮挡十八禁网站| 脱女人内裤的视频| 久久国产精品男人的天堂亚洲| 亚洲精品美女久久av网站| 99riav亚洲国产免费| 日本在线视频免费播放| avwww免费| 欧美又色又爽又黄视频| 亚洲av日韩精品久久久久久密| 久久久久久亚洲精品国产蜜桃av| 777久久人妻少妇嫩草av网站| 天堂√8在线中文| 国产精品亚洲av一区麻豆| 一级a爱视频在线免费观看| 欧美激情极品国产一区二区三区| 狂野欧美激情性xxxx| 国产精品亚洲一级av第二区| 欧美黄色片欧美黄色片| 啪啪无遮挡十八禁网站| 亚洲欧美精品综合久久99| 亚洲va日本ⅴa欧美va伊人久久| 国产欧美日韩一区二区三| 在线免费观看的www视频| 国产国语露脸激情在线看| 老司机深夜福利视频在线观看| 免费av毛片视频| 久久久国产成人免费| 国产人伦9x9x在线观看| 不卡av一区二区三区| 午夜a级毛片| 亚洲aⅴ乱码一区二区在线播放 | 桃红色精品国产亚洲av| 国产精品亚洲美女久久久| 午夜免费观看网址| 非洲黑人性xxxx精品又粗又长| 国产黄片美女视频| 黄色视频,在线免费观看| 午夜久久久久精精品| www.自偷自拍.com| 国产成人影院久久av| 一级毛片高清免费大全| 神马国产精品三级电影在线观看 | 一边摸一边做爽爽视频免费| 精品久久久久久成人av| 亚洲三区欧美一区| 制服丝袜大香蕉在线| 中文在线观看免费www的网站 | 精品一区二区三区视频在线观看免费| 成在线人永久免费视频| 成人亚洲精品av一区二区| 麻豆久久精品国产亚洲av| 国内毛片毛片毛片毛片毛片| 黄色丝袜av网址大全| 午夜福利高清视频| 亚洲一码二码三码区别大吗| 久久久久久久久免费视频了| 国产男靠女视频免费网站| 这个男人来自地球电影免费观看| 看黄色毛片网站| 丰满的人妻完整版| 国内精品久久久久久久电影| 国产精品亚洲一级av第二区| 亚洲性夜色夜夜综合| 91老司机精品| АⅤ资源中文在线天堂| 99精品在免费线老司机午夜| 亚洲av日韩精品久久久久久密| 中文字幕av电影在线播放| 天堂√8在线中文| 欧美最黄视频在线播放免费| 欧美性猛交黑人性爽| 亚洲av成人一区二区三| 免费女性裸体啪啪无遮挡网站| 日韩国内少妇激情av| cao死你这个sao货| 成人三级黄色视频| 国产午夜福利久久久久久| 俄罗斯特黄特色一大片| 日韩欧美国产在线观看| 人人妻人人澡欧美一区二区| 久久九九热精品免费| 国产伦在线观看视频一区| 亚洲男人天堂网一区| 久久久久久亚洲精品国产蜜桃av| 亚洲中文字幕一区二区三区有码在线看 | 岛国在线观看网站| 久久久久国内视频| 老司机靠b影院| 亚洲人成电影免费在线| 91成人精品电影| 色综合欧美亚洲国产小说| 男女做爰动态图高潮gif福利片| 中文在线观看免费www的网站 | 久久午夜亚洲精品久久| 亚洲av成人不卡在线观看播放网| 国产成人欧美在线观看| 国产精品久久久人人做人人爽| 级片在线观看| 免费电影在线观看免费观看| 可以在线观看毛片的网站| 免费高清在线观看日韩| 亚洲va日本ⅴa欧美va伊人久久| 久久亚洲真实| 亚洲一区二区三区色噜噜| 桃红色精品国产亚洲av| 国产精品1区2区在线观看.| 狠狠狠狠99中文字幕| 国产亚洲精品综合一区在线观看 | 午夜激情av网站| 欧美激情 高清一区二区三区| 狂野欧美激情性xxxx| 老熟妇仑乱视频hdxx| 一区二区三区精品91| 免费无遮挡裸体视频| 久久人妻福利社区极品人妻图片| 久久青草综合色| 18禁国产床啪视频网站| 精品久久久久久成人av| 美女大奶头视频| 中文字幕精品亚洲无线码一区 | 亚洲第一青青草原| 精品无人区乱码1区二区| 又黄又粗又硬又大视频| 午夜a级毛片| 精品欧美国产一区二区三| 色综合婷婷激情| 亚洲第一av免费看| 十八禁人妻一区二区| 国产成人av激情在线播放| 国产野战对白在线观看| 一边摸一边抽搐一进一小说| 成年版毛片免费区| cao死你这个sao货| 亚洲av五月六月丁香网| cao死你这个sao货| 欧美不卡视频在线免费观看 | 一边摸一边抽搐一进一小说| 变态另类成人亚洲欧美熟女| 午夜福利在线观看吧| 国产黄片美女视频| 亚洲五月天丁香| 又黄又爽又免费观看的视频| 日韩av在线大香蕉| 欧美乱码精品一区二区三区| 久久婷婷人人爽人人干人人爱| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩大尺度精品在线看网址| 国产主播在线观看一区二区| 国内久久婷婷六月综合欲色啪| 国产又黄又爽又无遮挡在线| 欧美又色又爽又黄视频| 久久香蕉激情| 久久久久国产精品人妻aⅴ院| 国产三级黄色录像| 丰满人妻熟妇乱又伦精品不卡| 又紧又爽又黄一区二区| av福利片在线| 久久国产精品影院| 真人一进一出gif抽搐免费| 午夜影院日韩av| 亚洲欧洲精品一区二区精品久久久| av有码第一页| 高潮久久久久久久久久久不卡| 一个人免费在线观看的高清视频| 国产精品98久久久久久宅男小说| 可以在线观看的亚洲视频| 亚洲国产精品999在线| 最新在线观看一区二区三区| 国产精品久久久久久精品电影 | 制服人妻中文乱码| 国产精品日韩av在线免费观看| 国产精品国产高清国产av| 国产亚洲av嫩草精品影院| 一二三四在线观看免费中文在| 久久香蕉激情| 国产又色又爽无遮挡免费看| 精品国内亚洲2022精品成人| 99精品欧美一区二区三区四区| 成人永久免费在线观看视频| 久久性视频一级片| 日本五十路高清| 免费在线观看成人毛片| 亚洲激情在线av| 一区二区三区国产精品乱码| 亚洲国产欧洲综合997久久, | 一个人观看的视频www高清免费观看 | 日韩三级视频一区二区三区| 欧美一级a爱片免费观看看 | 国产精品美女特级片免费视频播放器 | 国产精品亚洲美女久久久| 欧美成人一区二区免费高清观看 | 久久青草综合色| 亚洲 国产 在线| 亚洲人成伊人成综合网2020| 国产亚洲精品第一综合不卡| 亚洲成人国产一区在线观看| 精品国内亚洲2022精品成人| 日韩大尺度精品在线看网址| 一进一出抽搐gif免费好疼| 99在线视频只有这里精品首页| 亚洲中文字幕一区二区三区有码在线看 | 亚洲精品色激情综合| 非洲黑人性xxxx精品又粗又长| 久久人人精品亚洲av| x7x7x7水蜜桃| 一边摸一边做爽爽视频免费| 嫁个100分男人电影在线观看| 一本综合久久免费| 亚洲av熟女| 亚洲av五月六月丁香网| 久久中文字幕人妻熟女| 少妇熟女aⅴ在线视频| 欧美在线一区亚洲| 亚洲av片天天在线观看| 亚洲欧美一区二区三区黑人| 悠悠久久av| 别揉我奶头~嗯~啊~动态视频| 在线观看一区二区三区| 日日夜夜操网爽| 啦啦啦 在线观看视频| 午夜激情av网站| 国内精品久久久久久久电影| 国产精品久久久久久精品电影 | 日韩三级视频一区二区三区| 成人国产综合亚洲| 色精品久久人妻99蜜桃| 最好的美女福利视频网| 淫妇啪啪啪对白视频| 国产精品二区激情视频| 成人国产综合亚洲| 久久久精品国产亚洲av高清涩受| 18禁国产床啪视频网站| 欧洲精品卡2卡3卡4卡5卡区| 亚洲无线在线观看| 黄网站色视频无遮挡免费观看| 亚洲第一欧美日韩一区二区三区| 国产男靠女视频免费网站| 久久草成人影院| 国产一区二区激情短视频| 在线观看66精品国产| 国产精品 国内视频| www.自偷自拍.com| 最近最新中文字幕大全电影3 | 成在线人永久免费视频| 成人特级黄色片久久久久久久| 91麻豆av在线| 亚洲精品国产精品久久久不卡| 特大巨黑吊av在线直播 | 欧美日本视频| 久久久水蜜桃国产精品网| 久热爱精品视频在线9| 日本撒尿小便嘘嘘汇集6| 亚洲国产欧洲综合997久久, | 午夜免费激情av| 国产真人三级小视频在线观看| 亚洲中文日韩欧美视频| 国产成人影院久久av| 日本熟妇午夜| 欧美色视频一区免费| 亚洲片人在线观看| 香蕉久久夜色| 久久精品91无色码中文字幕|