• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)時代算法歧視的協(xié)同治理

    2023-01-09 16:36:50成曼麗
    中國流通經(jīng)濟 2022年1期
    關鍵詞:經(jīng)營者決策消費者

    成曼麗

    (武漢科技大學馬克思主義學院,湖北武漢430079)

    一、引言

    數(shù)據(jù)作為新型生產(chǎn)要素,已經(jīng)成為市場經(jīng)營者競相爭奪的資源,占有數(shù)據(jù)優(yōu)勢的經(jīng)營者往往能夠獲得競爭優(yōu)勢。然而,就原始的單個數(shù)據(jù)而言價值密度并不高,只有經(jīng)過算法技術處理加工后形成的二次數(shù)據(jù)集合才能夠成為市場上價值密度高的資源。算法在某種程度上是實現(xiàn)數(shù)據(jù)價值的核心工具,能夠促進原始數(shù)據(jù)向高價值的加工或衍生數(shù)據(jù)轉變。因此,數(shù)字經(jīng)濟在本質(zhì)上就是“算法界定的經(jīng)濟”[1]。當然,算法作為技術手段具有極為重要的工具作用,但每項技術背后均有其黑暗的一面。在大數(shù)據(jù)時代,經(jīng)營者能夠基于消費者的職業(yè)、個人喜好、消費歷史、支付意愿等信息,對每個消費者實施精準畫像,從而進一步判斷其承受的價格上限和達成交易的可能性。這種對消費者實施精準的標簽化營銷模式,消除了傳統(tǒng)經(jīng)濟模式下經(jīng)營者難以準確捕捉消費者個人信息而形成的障礙,使“同物同價”這一定價規(guī)律發(fā)生了改變,商品價格與每個消費者的購買意愿緊密相關,算法對消費者的歧視由此而產(chǎn)生。

    算法在商業(yè)交易中的廣泛運用,使得具有技術和市場優(yōu)勢的經(jīng)營者特別是平臺企業(yè)頻繁運用算法在信息搜集、推送及個性化定價等階段對消費者實施歧視行為,進而達到排除或限制競爭的目的。在消費者信息搜集階段,數(shù)字企業(yè)通常以數(shù)字畫像為基礎通過算法技術來測試消費者的偏好,以此誘導消費者進行消費。在信息推送階段,平臺企業(yè)一般只推送經(jīng)營者支付了較高廣告費或推廣費的商品,或是反復推送消費者瀏覽次數(shù)較多的商品,如今日頭條在推送商品信息階段就因涉嫌消費者身份歧視而被監(jiān)管部門約談[2]。在個性化定價階段,平臺企業(yè)針對其標注不同標簽的消費者實施不同的價格。如在攜程網(wǎng)上預定酒店客房時,有消費歷史的消費者面對的價格往往高于沒有消費歷史的消費者[3]。2019年,滴滴、攜程等網(wǎng)約車平臺利用算法的個性化定價歧視消費者被曝光,在相同路線、相同車型情況下,使用頻率高的消費者所支付的價格要高于使用頻率低的消費者[4]。有學者在調(diào)查中甚至發(fā)現(xiàn),網(wǎng)約車平臺會因為消費者使用的手機品牌、型號的差異而使相同路線、相同車型的行程價格不同,如使用蘋果手機的消費者支付的價格要高于使用其他手機的消費者。[5]事實上,過去幾年來,我國對數(shù)字經(jīng)濟、算法創(chuàng)新等方面的支持力度較大,但在技術、信息處于劣勢的情況下,消費者仍難以對抗平臺企業(yè)。2019年中國消費者協(xié)會的一項調(diào)查顯示,因為舉證困難以及交易中的算法歧視帶有極強的隱蔽性,算法歧視對消費者的知情權、交易選擇權等造成極大的影響,更侵蝕了數(shù)字經(jīng)濟發(fā)展的基礎[6]。

    對算法歧視行為的治理與規(guī)制應以消費者利益損害為前提條件。國外研究者認為,算法歧視會減少消費者剩余,損害消費者權利[7]。歐盟研究者認為,只有重構消費者個人權利體系,才能從源頭上治理算法歧視[8]。美國學者認為,推進算法審查機制的完善是治理的基本路徑[9]。國內(nèi)學者對算法歧視的研究側重于從治理路徑、治理制度、法律責任等角度進行,對“大數(shù)據(jù)殺熟”等熱點問題進行了針對性的探討[10]。但從這些研究中可以看到,對算法歧視及其治理、規(guī)制體系的研究,并未系統(tǒng)解答算法歧視的運行機制問題,要規(guī)制和治理算法歧視行為,必須回答算法歧視是如何運行的。因此,本文以算法歧視運行機制及利益損害界定為前提,輔之以算法歧視治理的基本規(guī)律,以更好地完善算法歧視治理的路徑。

    二、文獻綜述

    隨著數(shù)字經(jīng)濟的快速發(fā)展,作為維系平臺體系生態(tài)化的主要支柱之一,算法在實踐中得到了極為廣泛的應用。算法是大數(shù)據(jù)、人工智能等技術發(fā)展的結果,本身帶有中立性,但如果開發(fā)者、經(jīng)營者在開發(fā)和使用中加入了歧視性的變量,就會引發(fā)算法歧視問題。算法歧視的運行機制、損害、治理模式已成為學界研究的熱點問題。首先,就算法歧視運行機制而言,曹博[11]認為,算法歧視與社會語境、技術模式、特定領域有密切關系,基于運作方式,可以分為復現(xiàn)型、加劇型和新增型三種類型。其中,復現(xiàn)型歧視是使用者加入某些變量后所產(chǎn)生的歧視,是使用者主動為之的結果;加劇型歧視是平臺之間相互競爭所開展的綜合性歧視,是不同平臺人工智能和大數(shù)據(jù)之間相互對抗的結果;新增型歧視是傳統(tǒng)價格歧視下的一種技術化形式,其運作過程及整體并不對抗特定的消費者。喻玲[12]認為,算法歧視運行機制存在兩大邏輯:大數(shù)據(jù)、人工智能等技術支撐,消費者的細分解構。前者是在搜集消費者個人信息基礎上分析消費者的行為偏好,并通過算法推演來預測消費者的消費意愿,進而做好個性化推送;就后者而言,算法歧視的運行必須按照支付意愿、品牌偏好、反制能力進行細分,消費者類型差異影響算法推演的變量設定。丁國峰[13]認為,算法歧視運行的邏輯有窺視消費者信息、干預消費者偏好、自主推進決策三個層面。就第一層面而言,消費者的信息是算法歧視運行的基礎,因為算法的運行建立在消費者海量數(shù)據(jù)基礎之上;就第二層面看,算法歧視的目的是針對不同消費者提供不同的待遇,主動干預和分析消費者偏好;就第三層面看,在信息推送及定價階段的算法歧視,算法機制自主決策發(fā)揮了重要作用,特別是自主學習型算法在某種程度上能夠擺脫人為的控制。

    在算法歧視造成損害方面,陽鎮(zhèn)、陳勁[14]認為,算法本身并不會對消費者、競爭者等主體的利益造成損害,然而,在“算法黑箱”效應的推動下,算法霸權和算法壟斷使算法決策機制的實施偏離了技術中立屬性,因此,算法歧視產(chǎn)生后,不僅減少了消費者剩余,而且還會損害公共福利,造成市場競爭的不公和失序。李牧翰[15]認為,算法作為一種定價機制并不必然導致社會總福利的減少,消費者剩余與生產(chǎn)者剩余之間如何分配取決于算法決策的運用方式。在算法濫用的情況下,算法歧視對數(shù)據(jù)主體的平等權、隱私權造成較大的危害,并壓縮數(shù)字主體的意思自治空間,進而危及數(shù)據(jù)主體公平交易權的實現(xiàn)。張恩典[16]認為,因受到算法決策模糊性及自動性的影響,算法歧視呈現(xiàn)出高度的隱蔽性、單體性、連鎖性等特征,識別難度非常高。就實踐而言,算法歧視所造成的危害體現(xiàn)在兩個方面:一是降低差別待遇的適用門檻,在提升消費者剩余的同時,侵害競爭者的利益,損害市場的公平性;二是提高差別待遇的豁免門檻,使大多數(shù)消費者難以從中獲益,典型的情況就是“大數(shù)據(jù)殺熟”。

    算法歧視治理問題是學界研究的重點問題。丁曉東[17]認為,算法作為人機交互的結果,受使用者的影響較大。但因算法公開在技術上是不可行的,會導致經(jīng)營者商業(yè)秘密和知識產(chǎn)權受到侵犯,因此規(guī)制必須與算法歧視的應用場景相結合,依照不同的場景賦予經(jīng)營者不同的算法解釋義務及消費者的算法反制權;同時,還應該賦予消費者數(shù)據(jù)攜帶權,以個體數(shù)據(jù)權對抗算法歧視的濫用。尹鋒林、李玲娟[18]認為,在算法歧視公共治理存在難度的情況下,可以嘗試構建私人治理機制。因算法歧視行為同時侵害多個利益相關主體的權利,受算法歧視影響的消費者、競爭者等不同主體可以按照合同違約、民事侵權、行政訴訟、民事公益訴訟等司法方式予以解決。張莉莉、朱子升[19]認為,實施算法歧視的技術機制包括數(shù)據(jù)訓練、編碼干預、黑箱效應等,基于這些技術邏輯,進一步明確算法歧視行為實施的技術環(huán)節(jié)與法律規(guī)制模式的偏差,進而從規(guī)范數(shù)據(jù)訓練、提升算法運行透明度、明確算法解釋義務主體、完善監(jiān)管部門算法審查機制等方面予以規(guī)制。趙海樂[20]認為,算法歧視行為在實踐中能夠屢屢“得手”,一方面是因為消費者維權舉證困難,另一方面是源于法律未能為行為人設定請求權。因此,我國可以借鑒歐美對算法歧視的規(guī)制經(jīng)驗,加大對消費者“賦權”力度,建立完整的個人信息保護權體系和算法責任歸屬機制。

    目前學界在算法歧視運行機制、危害及治理模式等方面做了大量的研究,提出了很多有價值的觀點。但總體看,存在以下三點不足:第一,算法歧視運行機制并非全然客觀機制,技術邏輯固然重要,人為因素亦不可忽視;第二,算法歧視的危害多是偏向于權利的損害,危害界定過于抽象;第三,因算法歧視涉及眾多的利益主體,私人治理或純粹的技術治理模式難免失之偏頗。基于此,本文的邊際貢獻在于:在算法歧視運行機制方面,結合其三個不同階段,突出技術邏輯與人為因素的結合;在算法歧視危害方面,側重于權益分析;在算法歧視治理方面,提出多元主體協(xié)同治理模式。

    三、算法歧視行為的運行機制

    隨著技術的發(fā)展,在提升經(jīng)濟效率的同時,算法也使經(jīng)營者對算法決策產(chǎn)生較強的依賴,由此帶來的歧視行為具有極強的隱蔽色彩。因此,只有明確算法歧視的運行機制,才能在治理和規(guī)制的過程中采取針對性的對策。

    (一)信息搜集階段:搜集模型缺陷及數(shù)據(jù)樣本偏差

    通過算法搜集消費者個人數(shù)據(jù)是數(shù)字經(jīng)營者實施算法決策的基礎。然而,算法的設定、數(shù)據(jù)樣本的設計不可能獨立于人而存在,不可避免地存在先入為主、以偏概全的問題。從某種程度上看,算法搜集模型存在的缺陷、數(shù)據(jù)樣本存在的偏差均可能導致信息搜集階段歧視現(xiàn)象的發(fā)生。一方面,數(shù)據(jù)搜集模型是由經(jīng)營者設定的,盈利性是模型設定的驅動力量,在對消費者個人信息搜集過程中不可避免地帶有選擇性,重點搜集與經(jīng)營者盈利目的相關的信息,如經(jīng)濟能力、支付意愿、消費偏好等,通過對相關信息的分析為消費者進行畫像,進而成為算法歧視的基礎;另一方面,市場上各類要素的信息化投射并非完全真實,也很難是完整的,從而使數(shù)據(jù)搜集過程容易受現(xiàn)實環(huán)境的影響,特別是受人為設定的數(shù)據(jù)樣本的影響,包括信息分布情況、可獲得性、搜集的動機、樣本的有限性等。在數(shù)據(jù)搜集源頭留下的這些偏差和隱患為算法歧視提供了條件。不管算法分析最終是否準確,消費者無從了解搜集模型及數(shù)據(jù)樣本的具體指標和內(nèi)容,這種不透明性存在明顯的欺詐色彩。

    大數(shù)據(jù)是數(shù)字市場的鏡像反映,在很大程度上依賴于算法,是對原始數(shù)據(jù)進行加工分類的集合。在這種情況下,如果市場對某個群體存在結構性的偏見,這種偏見就會在數(shù)據(jù)中呈現(xiàn),算法也會如實總結這些偏差,并依照這些偏差進行市場決策。在實踐中,關聯(lián)標記、置頂排名、過濾環(huán)節(jié)均可能因此而存在歧視。具體而言:第一,在關聯(lián)標記中,被算法認定的數(shù)據(jù)可能確實存在因果關系,但這種因果關系也可能是巧合關聯(lián)。算法不可能像法律那樣嚴謹?shù)貙σ蚬P系進行綜合分析,也無法對因果關系、偶然巧合進行區(qū)分,此時算法將這些關聯(lián)數(shù)據(jù)用作分類決策或預測的依據(jù),就可能導致歧視甚至錯誤產(chǎn)生。第二,在置頂排名中,算法對事先嵌入的各類排名標準較為依賴,這些標準可能被經(jīng)營者嵌入一些帶有偏見性的盈利動機,從而使置頂排名存在歧視。如在百度、淘寶的置頂排名中,商家付出的廣告費多與排名靠前呈正向關系是平臺經(jīng)營者事先嵌入的偏見,這對支付廣告費用少但商品質(zhì)量好的商家可能就造成歧視。[21]第三,在過濾環(huán)節(jié)中,算法需要通過事先設定的規(guī)則來顯示有效的信息同時排除無效的信息。過濾環(huán)節(jié)通常會依照關聯(lián)標記、置頂排名決定顯示哪些信息或排除哪些信息,如果前面兩個環(huán)節(jié)出現(xiàn)錯誤或偏見,就會導致過濾環(huán)節(jié)存在不公平,進而引發(fā)歧視。如網(wǎng)約車平臺上的算法技術在分析消費者的消費能力時,通常按照消費頻率評估消費者的忠誠度。如果消費者使用該軟件的頻率高,就會被判定為忠誠客戶,也就成為平臺收取高價的對象。將“忠誠消費者”標簽化和范圍化,事實上就形成了一種事先判斷,成為信息搜集算法的分類標準,并可以將這種標準演化為預測基礎[22]。但是由算法構建起來的身份標簽化、個性特定化本身就是一種歧視,只不過在數(shù)據(jù)的放大下被進一步擴大。與經(jīng)營者、算法設計者所實施的故意歧視相比,數(shù)據(jù)本身標簽化、范疇化引發(fā)對消費者身份的歧視通常會被忽略,但造成的嚴重且隱蔽后果是無法忽視的。

    (二)信息推送階段:信息偏在與算法黑箱

    在推送階段,在信息搜集階段數(shù)據(jù)特征歧視基礎上,算法進一步強化了經(jīng)營者主觀歧視動機。信息推送是通過算法強大的數(shù)據(jù)分析、清洗和處理能力,在掌握了消費者的消費意愿后,將特定的商品或服務信息推送給特定消費者及標簽群體,在銷售成本最小化基礎上保障經(jīng)營者利潤的最大化。如愛彼迎(Airbnb)定期向特定消費者推送曾經(jīng)到過或瀏覽過居住地的房源信息;而去哪兒網(wǎng)則使用數(shù)據(jù)抓取技術,將消費者在其他應用程序的瀏覽信息作為其定向推送的依據(jù)。[23]但當特定的推送經(jīng)過內(nèi)容、知識、混合推薦等機制過濾后,個性化推送也就將消費者了解信息的正常渠道變成了信息偏在的“繭房”,不僅削弱了消費者獲取信息的主動性,也使消費者的消費認知日漸窄化,直接影響消費者的交易選擇權和公平交易權。

    重要的是,信息推送階段的算法決策技術性強、過程不透明,導致算法決策與消費者之間的距離加大,一般的消費者很難理解算法決策的基本過程,這加劇了經(jīng)營者與消費者之間的數(shù)字鴻溝。以色列學者尼沃等[24]提出了著名的算法黑箱理論:算法在很大程度上如同一個黑箱,即信息的輸入、決策過程及信息輸出系統(tǒng)是不透明的,普通消費者無法知曉輸入—輸出之間是通過何種方式進行計算的,以及這個過程中的決策結構是什么,也難以知曉決策過程的具體指標及依據(jù)。隨著算法技術及算力的提升,算法黑箱理論的解釋力越來越強。很多大型超級平臺通過算法決策獲得相關市場的壟斷地位,那些算法能力不強或沒有掌握算法技術的經(jīng)營者和消費者基本上被排除在黑箱之外。當算法在信息推送階段廣泛應用后,人們開始擔心數(shù)字經(jīng)濟市場最終會演變成被算法所操縱的市場,對經(jīng)營者的競爭權及消費者的選擇權會產(chǎn)生極大的負面影響。

    (三)定價階段:幕后操控與價格歧視

    在定價階段,以信息搜集、信息推送階段的算法機制為基礎,經(jīng)營者會制定一個價格歧視機制,使不同消費者就相同的產(chǎn)品或服務承受不同的價格。算法當然不能主動運行,從某種程度上看,算法歧視就是算法設計者和經(jīng)營者的共謀。具體而言:第一,盡管目前自主決策算法得到極大發(fā)展,但受限于人工智能技術的水平,算法尚不足以完全改變?nèi)藶榭刂剖袌龅母窬帧K惴ㄗ鳛槿藶樵O計出來的技術系統(tǒng),并不具有獨立的人格主體,其設計、運行必須依賴人為的操作和控制。機器背后的控制者是人,是“權力者對多數(shù)人的控制”[25]。第二,按照算法進行信息和數(shù)據(jù)處理,必然會引入算法設計者或控制者處理數(shù)據(jù)的偏見,從而使算法決策體現(xiàn)人的意志。數(shù)字經(jīng)濟的發(fā)展導致海量信息的出現(xiàn),收集這些信息時必須依靠技術手段對其進行篩選和評估。算法的決策依據(jù)就是海量數(shù)據(jù),決策的過程離不開算法設計者和控制者對其目標及程序所做的設定,這一過程無疑帶有經(jīng)營者的某種偏見,并試圖通過技術手段將這種有利于自身經(jīng)營活動的偏見擴大或反復循環(huán),進而演化為算法歧視。第三,算法決策過程中存在設計者或控制者濫用算法權力的可能性。最典型的情況就是通過算法進行個性化定價,以最低成本獲取最大的利潤。人們在電商平臺購物或在旅游服務平臺訂購機票時,經(jīng)??吹狡脚_經(jīng)營者發(fā)布的技術中立免責聲明,但幕后控制并不會因技術中立的免責聲明而消失。谷歌(Google)公司利用算法排除相關市場競爭就是典型案例。谷歌公司作為一家提供搜索服務的企業(yè),利用搜索引擎搜集到的海量數(shù)據(jù)開發(fā)出購物比價軟件,用戶只需要在比價軟件中輸入主題詞,不同購物網(wǎng)站中相同商品的價格就會呈現(xiàn)在用戶面前。谷歌公司聲稱,通過比價軟件得到的商品價格信息完全是依照算法自動算出的,算法按照商品頁面的鏈接數(shù)量、瀏覽數(shù)量等來判斷商品的重要性,進而按照不同的排序展現(xiàn)在消費者面前。當谷歌旗下的購物平臺Google Shopping進入歐洲市場后,谷歌公司就通過相應的算法,在比價排名時將Google Shopping上的展品置于顯著位置,以吸引消費者的注意力。[26]歐盟反壟斷機構認為,谷歌作為一家搜索服務企業(yè),通過算法技術將自身在搜索服務領域的市場支配地位延伸到電子商務市場,在產(chǎn)品質(zhì)量不占優(yōu)勢的情況下通過算法比價獲取市場優(yōu)勢,進而排斥電商市場上的其他經(jīng)營者,是典型的濫用市場支配地位的行為。

    四、算法歧視行為的利益損害界定

    算法歧視行為在強化黑箱效應的同時也使消費者的地位進一步透明化,針對消費者的各類特定商品推送、個性化定價等問題層出不窮。2016年發(fā)生的“魏則西事件”充分凸顯了百度競價算法設計的缺陷[27];今日頭條在算法的推動下不斷向消費者推送同質(zhì)化的信息而備受詬病[28];滴滴網(wǎng)約車平臺通過算法進行動態(tài)化、個性化定價的“殺熟”行為同樣使消費者深受其害[29]。通??矗惴ㄆ缫曅袨樵诓煌A段具有不同程度的隱蔽性,消費者難以判斷自己遭受歧視到何種程度。因此,對消費者利益損害的界定應該從不同階段的行為特征入手進行分析,在不同領域界定利益的受損程度。

    (一)信息搜集階段消費者利益受損界定

    實際上,在信息搜集階段,算法對消費者身份類型化、標簽化的設定就存在歧視風險。在這一階段,算法面對的不是特定消費者,歧視行為損害的是不特定主體的數(shù)據(jù)權利,導致利益損害的范圍難以界定,損害的后果無法遏制,受損害的個體難以獲得妥善的權利救濟。如果將消費者性別、地域、職業(yè)等身份信息作為算法決策設定基礎,算法歧視行為危及的就是群體利益。根據(jù)馬克斯·韋伯[30]的工具理性、價值理性的理論,工具理性通常凸顯工具崇拜,主張最大限度地發(fā)揮工具的效用;價值理性體現(xiàn)了個體選擇動機及目標追求,是個體對自身行為的價值判斷。在數(shù)字經(jīng)濟體系下,因技術的發(fā)展,工具理性開始發(fā)生異化,算法技術作為由人設計出來的輔助型市場工具,開始成為反噬人類消費理性的工具。一方面,不斷升級的算法系統(tǒng)使消費者成為被“奴役”的對象,可以事先預設消費者的身份,以數(shù)據(jù)統(tǒng)計的關聯(lián)性代替因果關系對消費者個體進行分類和預測,使算法逐漸成為市場競爭規(guī)則的主導者;另一方面,算法技術的復雜化使消費者成為被技術操縱的對象,人的主體性危機開始呈現(xiàn),市場上出現(xiàn)越來越多的對消費者難以解釋的歧視行為和控制現(xiàn)象。然而,科技是有價值邊界的,只有符合消費者普遍價值判斷的技術才會被信任和接受。算法運行的邏輯是技術的更新迭代,法律運行的機理是人們的理性選擇。從這個角度看,法律規(guī)范作為人類行為的規(guī)則指引,對算法歧視行為能夠起到一定的規(guī)制作用。

    (二)信息推送階段消費者利益受損界定

    這一階段對消費者權利損害最大的是消費者的消費自主權。所謂消費自主權指的是消費者依照自主消費目的和自我判斷的商品價值做出消費選擇的權利。但在數(shù)字經(jīng)濟背景下,經(jīng)營者特別是大型數(shù)字平臺企業(yè)通過算法廣泛搜集消費者個人信息,并對這些信息進行整理和分析,為消費者提供個性化、定制化服務。在服務的過程中,經(jīng)營者會承諾尊重和保護消費者的消費自主權與數(shù)據(jù)權,聲明算法具有絕對的中立性和客觀性,從而誘導消費者將消費決策權移交給經(jīng)營者。如搜索服務、新聞推送、交通出行甚至個人信息使用等均對經(jīng)營者的算法決策有嚴重的依賴。技術推動下算法的自主性不斷增強,作為理性主體消費者的自主性就遭到了削弱,相應權利就受到損害。在信息推送階段,算法對消費者的購買歷史及瀏覽記錄等數(shù)據(jù)進行分析,推斷消費者的消費喜好及最高價格承受力,繼而對不同消費者實施個性化的信息推送。數(shù)字平臺企業(yè)通過算法對消費者進行個性化定制服務,定時向特定消費者推送商品、服務等信息,不僅能迎合消費者的喜好,還關系到其他經(jīng)營者的利益,因為算法能夠決定哪個經(jīng)營者的商品在排序中獲得置頂或優(yōu)先推送。在傳統(tǒng)經(jīng)濟體系下,消費者與經(jīng)營者之間的信息不對稱是基于交易地位不同而形成的不對稱。

    消費者的消費自主權正常行使應當建立在信息來源渠道多元化的基礎上,而算法推送的信息只是部分信息,極易造成信息“繭房”的存在,阻礙消費者自主權的行使[31]。隨著自主學習技術的發(fā)展,算法系統(tǒng)甚至可以脫離消費者的身份信息、購買歷史等信息,直接引導消費者按照經(jīng)營者的銷售思路做出消費決策。有學者曾經(jīng)舉例,如果百度地圖上使用的算法并不關心用戶的實際定位及目的地,而只是關注廣告商期待用戶途徑或到達的地點,那么依賴百度地圖出行的用戶只能像木偶一樣被牽著鼻子走[32]。從經(jīng)營者角度看,算法決策越是契合其營銷策略,經(jīng)營者獲得的利益就越大;從消費者角度看,算法決策越是契合經(jīng)營者的營銷策略,消費者的自主權就越會遭到削弱。

    (三)定價階段消費者利益受損界定

    一方面,定價的算法歧視會導致定價過高。在定價階段,算法系統(tǒng)通過搜集到的消費者個人數(shù)據(jù),在定價機制中加入對經(jīng)營者有利的指標或影響因子,剔除對消費者有利的影響因子或指標,最大限度提升消費者對最高價的忍受程度,并按照消費者的消費意愿確定具體的價格,促使交易額和交易量同時上升。個性化定價機制不僅侵犯了消費者的個人信息自主權,更是將原本屬于消費者的剩余轉移至經(jīng)營者。在“Merciv.Siderurgica案”中,法院認為經(jīng)營者向特定客戶收取高價來彌補對其他用戶低價造成的損失是不公平的[33]。

    另一方面,定價的算法歧視還會導致壟斷定價。通過算法主導的個性化定價機制能夠使經(jīng)營者在既有經(jīng)營范圍內(nèi)獲取較高的利潤,經(jīng)營者就沒有太大的動力對產(chǎn)品或服務進行創(chuàng)新,相關產(chǎn)品或服務市場也會因此而變窄,最終導致市場集中度上升。當市場集中度上升后,算法會使經(jīng)營者更輕易獲得其他經(jīng)營者的定價信息,使市場在經(jīng)營者端變得日漸透明,一個透明且集中的市場環(huán)境會給經(jīng)營者默示共謀創(chuàng)造條件。算法歧視推動了經(jīng)營者之間默示共謀的達成,使其能夠同時提高產(chǎn)品或服務價格。而隨著市場的日漸逼仄,消費者難以利用價格作為工具進行對抗,只能接受經(jīng)營者默示共謀達成的壟斷高價,使消費者剩余整體向經(jīng)營者手中轉移??梢姡▋r階段的算法歧視在剝奪消費者選擇權的同時也削減了消費者福利。即便是在傳統(tǒng)經(jīng)濟體系下,這種定價策略也被視為違法。在“Deutsche Post AG案”中,德國郵政公司利用自身壟斷地位故意拖延郵件的傳送時間,從而將時間作為獲取高價的資本,在法院看來,這種銷售及定價策略明顯違反競爭法,對消費者權益有較大的負面影響[34]。

    五、算法歧視行為治理的核心要義

    盡管數(shù)字經(jīng)濟中算法技術的價值得到各國的認可,數(shù)字經(jīng)濟發(fā)展也需要經(jīng)營者以算法競爭來進行驅動,但算法歧視行為同樣受到各國監(jiān)管部門的關注。因此,判斷算法歧視行為引發(fā)的權利沖突以及國內(nèi)外的法律治理現(xiàn)狀,對構建協(xié)同治理體系具有重要的意義。

    (一)算法歧視行為引發(fā)的權利沖突

    在信息搜集階段,算法歧視行為使經(jīng)營者的算法決策權與消費者隱私權之間產(chǎn)生沖突。一方面,經(jīng)營者有使用算法自主決策的權利。如雖然法律并未禁止經(jīng)營者使用人臉識別、聲紋提取等技術為依托的算法來獲取個人生物信息,但經(jīng)營者未經(jīng)消費者同意擅自偷錄或偷拍獲取消費者個人生物信息,就嚴重侵犯了消費者的隱私權利。如果根據(jù)偷錄、偷拍的個人生物信息識別消費者身份并為此設定身份標簽,無疑就侵犯了消費者的身份權,并可能造成消費者某些政治權利行使的不便。另一方面,經(jīng)營者獲取消費者的個人信息后,就與消費者形成了一種信息共享體系,但在獲取收益時并未與消費者形成風險共擔體系。經(jīng)營者推送特定商品信息給消費者的前提是獲得消費者的個人信息并就該信息進行加工分析,形成身份識別,而實際上,多數(shù)消費者只是提供信息并沒有購買的意圖或行動,而經(jīng)營者不斷推送可能對消費者購買決策形成“心理暗示”。另外,在向消費者提供商品或服務信息時,經(jīng)營者還可以將搜集到的信息數(shù)據(jù)轉售給其他經(jīng)營者,進而獲得不正當?shù)睦?。近年來,國?nèi)消費者個人信息泄露事件頻發(fā),如2015年至2019年間,考拉征信將1億多條消費者的個人征信信息倒賣給他人,非法獲利3 800萬元[35]。澳大利亞競爭委員會的一項研究報告顯示,當消費者與經(jīng)營者形成數(shù)據(jù)共享體系后,在消費者尚未受益時,大量的個人信息就有被泄露的風險,這是對消費者權利額外的損害[36]。

    在信息推送階段,算法歧視行為使經(jīng)營者的營銷策略權利與消費者的知情權、消費自主權發(fā)生較大的沖突。在公平市場環(huán)境下,任何消費者有知曉商品或服務真實情況的權利,同時也有遵從自我意愿、自主選擇商品或服務的自由。如果從降低成本角度看,不能一概認定經(jīng)營者的營銷策略均會侵犯消費者消費選擇權。當經(jīng)營者向特定消費者推送特定商品或服務信息,同時還向該消費者推送不特定的選項時,這種情況下多數(shù)會侵犯消費者的知情權和選擇權。如在網(wǎng)絡版權交易平臺中,平臺以特定推送、熱點排名、流量捕捉等手段進行網(wǎng)絡作品推廣,但在推廣之前并未審查版權的合法性,[37]這就使消費者在購買這些網(wǎng)絡作品時需要承擔版權審查風險,同時在多數(shù)情況下平臺還會將版權授權或許可的義務轉嫁給消費者,從而規(guī)避平臺自身的責任。在這種情況下,消費者的知情權受到限制(無法知曉平臺是否獲得合法的版權許可),同時選擇權也受到影響(平臺通過排名、流量捕捉等手段強制消費者決策選擇)。

    在定價階段,算法歧視行為使經(jīng)營者的市場利益與消費者福利剩余產(chǎn)生利益沖突。在算法主導的數(shù)字經(jīng)濟體系中,經(jīng)營者因技術優(yōu)勢的存在使信息共享體系變成信息鴻溝,對不同消費者實施不同的定價機制,忠誠度高的消費者支付較高對價,潛在的消費者只需支付較低價格。在這個過程中,經(jīng)營者實現(xiàn)了自身市場利益的最大化。在2016年召開的經(jīng)濟合作與發(fā)展組織(Organization for Economic Co-operation and Development,OECD)價格歧視圓桌會議上,美、日、澳等國家的競爭執(zhí)法部門均表示,因為數(shù)字企業(yè)能夠以算法較為精準地預測消費者的支付和購買意愿,使價格歧視在數(shù)字經(jīng)濟中得到廣泛的應用,增加了經(jīng)營者實施剝削性濫用的風險,進一步損害市場公平的競爭秩序[38]??梢姡诙▋r階段,算法歧視行為會使消費者的福利剩余與經(jīng)營者的市場利益發(fā)生較大的沖突。

    (二)我國權益失衡的分散治理模式

    作為數(shù)字經(jīng)濟大國,我國始終對新業(yè)態(tài)和新模式持比較寬容的態(tài)度,在數(shù)字經(jīng)濟監(jiān)管模式中秉持著傳統(tǒng)的二元治理模式:通過市場競爭實現(xiàn)市場力量的制衡;政府采取事后監(jiān)管措施。對于算法歧視行為,我國缺乏專門的立法予以規(guī)制,治理困境是明顯的。2020年3月,工業(yè)和信息化部在《中小企業(yè)數(shù)字化賦能專項行動方案》中明確表示,要鼓勵數(shù)字經(jīng)濟探索和發(fā)展新業(yè)態(tài)與新模式,鼓勵算法產(chǎn)業(yè)的發(fā)展,建立算法產(chǎn)業(yè)市場體系。2020年7月,國家發(fā)展和改革委員會等13個部門聯(lián)合印發(fā)《關于支持新業(yè)態(tài)新模式健康發(fā)展,激活消費市場帶動擴大就業(yè)的意見》(以下簡稱《意見》),明確提出積極推動數(shù)字經(jīng)濟創(chuàng)新,加大算法產(chǎn)業(yè)發(fā)展,提升數(shù)字經(jīng)濟發(fā)展的質(zhì)量與效率。在諸多產(chǎn)業(yè)政策的支持下,我國算法經(jīng)濟發(fā)展迅猛,經(jīng)營者之間的算法競爭日漸凸顯,算法應用場景不斷拓寬。除產(chǎn)業(yè)激勵之外,國家發(fā)展和改革委員會等部門在《意見》中還提出了要加大數(shù)字經(jīng)濟監(jiān)管模式創(chuàng)新,健全監(jiān)管體制機制??梢姡瑥奈覈暧^政策層面看,對算法歧視行為涉及的消費者與經(jīng)營者權利沖突的治理態(tài)度并不明朗。

    在算法歧視行為的法律責任認定及救濟措施等方面也存在一定的問題。首先,就立法層面看,現(xiàn)有法律法規(guī)治理的適用范圍有限,適用效果有待檢驗。按照《中華人民共和國反壟斷法》(以下簡稱《反壟斷法》)第17條規(guī)定,實施價格歧視的經(jīng)營者需具備市場支配地位,但認定數(shù)字企業(yè)市場支配地位較為困難。在部門規(guī)章中,2020年9月文化和旅游部出臺《在線旅游經(jīng)營服務管理暫行規(guī)定》,明確禁止在線旅游服務經(jīng)營者濫用大數(shù)據(jù)分析等手段對消費者的購買記錄、購買偏好設置不合理的交易條件。全國人民代表大會常務委員會2021年8月20日通過并于11月1日正式實施的《中華人民共和國個人信息保護法》(以下簡稱《個人信息保護法》)確立了“通知—使用”的保護框架;2021年2月,國務院反壟斷委員會印發(fā)《關于平臺經(jīng)濟領域的反壟斷指南》(以下簡稱《反壟斷指南》),明確禁止利用算法歧視行為實施不合理定價。在地方性法規(guī)中,2021年7月,深圳市人民代表大會常務委員會通過的《深圳經(jīng)濟特區(qū)數(shù)據(jù)條例》是我國第一個就數(shù)據(jù)立法的地方性法規(guī),明確規(guī)定大數(shù)據(jù)經(jīng)營者不得濫用大數(shù)據(jù)分析技術分析消費者的個人偏好、消費習慣,也不得就商品或服務設定不合理的交易條件。顯然,從最近的立法看,對算法歧視行為的規(guī)制日漸完善,但立法內(nèi)容相對分散,適用效果有待進一步檢驗。

    其次,就適用形式看,因算法定位的特殊性,消費者公平交易權和知情權救濟存在現(xiàn)實困難。按照《中華人民共和國消費者權益保護法》(以下簡稱《消費者權益保護法》)的規(guī)定,在公平交易權和知情權受到侵害后,消費者可以依照該法申請救濟。然而,算法更多地是被定位為經(jīng)營者商業(yè)競爭的工具而不是商品,不屬于消費者知情的范圍,消費者難以用知情權來對抗,經(jīng)營者甚至還可以商業(yè)秘密為由進行抗辯。在司法實踐中,“劉某與北京某某科技有限公司侵權責任糾紛案”中,原告認為美團利用外賣平臺的市場優(yōu)勢及大數(shù)據(jù)個性化定價機制,對兩份相同的訂單實施不同的定價,由此侵犯了自身的公平交易權和知情權。湖南省長沙市中級人民法院二審認為,雖然原告兩份訂單是針對同一商家的同種商品,因下單時間的不同,美團平臺按照平臺交易量調(diào)整了配送費,致使兩份訂單原告支付的價格不同,但基于平臺交易量的動態(tài)價格調(diào)整不屬于個性化定價,是企業(yè)的正常經(jīng)營行為,并未侵犯原告的公平交易權和知情權。[39]從這個案件可以看到,我國目前法律制度滯后,治理機制不完善,創(chuàng)新與限制、競爭與治理之間的邊界不明確。

    (三)歐美權益平衡的規(guī)制模式

    1.歐盟基于個人數(shù)據(jù)賦權來消除差別待遇

    歐盟一直重視個人數(shù)據(jù)權利,通過加強個人數(shù)據(jù)賦權來規(guī)制算法運行。算法系統(tǒng)的運行是以數(shù)據(jù)作為支撐條件,算法歧視實際上是經(jīng)營者有意對消費者個人數(shù)據(jù)進行清洗和整合的過程。歐盟在治理算法歧視行為中,通過強化消費者的數(shù)據(jù)權利,使消費者有能力對抗經(jīng)營者清洗、整合數(shù)據(jù)的過程。歐盟2018年出臺的《通用數(shù)據(jù)保護條例》(GDPR)賦予了消費者個人數(shù)據(jù)的攜帶權、刪除權、被遺忘權等,這些權利的行使可以幫助消費者消解算法自動化決策帶來的影響,降低消費者遭受算法歧視的風險。歐盟算法歧視行為的治理模式本質(zhì)是通過個人權利擴張抑制算法權力的擴張,特別是GDPR“數(shù)據(jù)清潔”條款中的差別待遇標準強化了算法歧視性的主觀意圖,將算法歧視行為實施的最終責任歸結到經(jīng)營者。[40]這種規(guī)則模式要求建立倒置式的舉證機制,將實施算法歧視行為的舉證責任交給經(jīng)營者,一旦經(jīng)營者不能證明基于合理理由實施算法決策,就可以認定其對算法歧視行為承擔責任。然而,到目前為止,歐盟尚未就舉證機制改革出臺相關法律,消費者利用個人數(shù)據(jù)權難以證明經(jīng)營者存在算法歧視。

    2.美國追求結果正義的差別性影響標準

    客觀而言,歐盟賦權個人對抗經(jīng)營者實施算法歧視,采取的是一種形式公平的規(guī)制模式。與歐盟相比,美國監(jiān)管部門更注重算法實施的實質(zhì)正義。按照這一思路,美國確立了保護“群體公平”的差別性影響標準的監(jiān)管體系。美國在2019年出臺《算法責任法案》,授權美國聯(lián)邦貿(mào)易委員會(FTC)加大對影響交易公平算法的監(jiān)督,要求算法使用者有披露算法信息的義務。在監(jiān)管過程中,美國聯(lián)邦貿(mào)易委員會要求算法的使用者在不影響商業(yè)秘密的情況下必須向消費者解釋算法決策的過程,以減少算法歧視行為的發(fā)生??傮w看,美國的這種監(jiān)管模式注重結果正義,具有較好的借鑒意義,但差別性影響標準在適用上也存在一定的問題。第一,注重算法的群體公平難以實現(xiàn)算法結果的個體公平。在按照群體公平的標準實施監(jiān)管時,算法技術依然可以通過個性化的信息分析及推送將商品或服務的相關信息進行定制化、針對性處理,監(jiān)管部門只注重群體利益,針對個體的算法歧視難以得到有效限制。第二,差別性影響標準存在過多的豁免理由。在以差別性影響標準判斷放貸機構是否利用算法歧視貸款者時,美國《公平住房法案》賦予放貸機構一定的豁免權。如在貸款人向放貸機構申請公開算法決策過程時,放貸機構如果能證明其拒絕放貸行為符合公共利益且不是人為因素造成,就不會被認定存在歧視行為。[41]按照前述標準,放貸機構的放貸決策多是根據(jù)其搜集到的貸款人數(shù)據(jù)做出的,如果放貸機構簡單地以“非人為”等條件申請舉證責任豁免,貸款人永遠無從知曉放貸機構是如何利用數(shù)據(jù)和算法進行決策的,也無從知曉自身為何不能獲得購房貸款。

    六、算法歧視行為協(xié)同治理的路徑

    根據(jù)對算法歧視行為運行機制及利益沖突的分析,結合我國分散式治理模式存在的問題,借鑒歐美治理模式的相關經(jīng)驗,我國應建立消費者、經(jīng)營者、行業(yè)組織、執(zhí)法部門四大主體協(xié)同的規(guī)制路徑。

    (一)完善消費者選擇退出機制

    在數(shù)字經(jīng)濟背景下,經(jīng)營者能夠利用大數(shù)據(jù)、人工智能等技術手段搜集消費者個人數(shù)據(jù),通過數(shù)據(jù)和技術鴻溝實施算法歧視行為。為彌補經(jīng)營者和消費者在技術上的不對等,《中華人民共和國電子商務法》明確規(guī)定,數(shù)字經(jīng)營者在提供個性化搜索服務時應征求消費者的同意,這就是消費者選擇進入機制?!秱€人信息保護法》第24條第3款規(guī)定,通過自動化決策形式對個人利益造成重大影響的決定,個人有權要求信息處理者予以說明,并有權拒絕個人信息處理者按照自動化決策形式做出的決定。從現(xiàn)有立法看,消費者的選擇進入機制表明在實施算法決策前,經(jīng)營者需要征得消費者的同意,消費者必須具有知情權,即消費者選擇進入與否必須以明示的方式做出。對于消費者而言,為獲得正常的服務,往往會選擇同意。特別是消費者對經(jīng)營者的服務產(chǎn)生黏性后,即使在使用過程中遭受算法歧視,也往往不得不忍受。如在使用淘寶、京東等平臺購物時,消費者只有點擊同意平臺搜集、使用個人數(shù)據(jù)后才能夠正常利用平臺進行購物。在明示授權平臺收集信息后,消費者便沒有途徑要求平臺(如淘寶或京東)停止算法決策及實施算法歧視。

    消費者選擇進入機制是一種事前程序,在事中沒有退出途徑和機會,而且授權同意后無法要求經(jīng)營者停止使用算法決策或實施算法歧視。面對這一困境,歐盟GDPR規(guī)定,消費者有免受算法決策影響的權利。我國的《個人信息保護法》第24條也規(guī)定了個人有拒絕自動化決策的權利。就算法歧視行為的治理要義看,重點不在于規(guī)制算法運行的程序、條件或機制,而在于檢驗算法歧視行為這一結果與消費者數(shù)據(jù)授權的關系[42]。即當消費者授權經(jīng)營者使用個人數(shù)據(jù)后,經(jīng)營者利用消費者的授權數(shù)據(jù)對消費者實施算法歧視,此時消費者應有權要求經(jīng)營者取消算法歧視,這是對抗經(jīng)營者濫用算法決策最有效和最直接的方式。

    實現(xiàn)前述方式的效果要求將選擇進入機制改為選擇退出機制,突出消費者決策的自主權和獨立性。第一,在數(shù)據(jù)搜集階段,消費者注冊或首次使用應建立默示同意規(guī)則。如果消費者沒有明確反對,就表示其同意授權經(jīng)營者搜集個人數(shù)據(jù);如果消費者明確表示反對,經(jīng)營者搜集行為無效。第二,在數(shù)據(jù)使用階段,經(jīng)營者在進行算法個性化決策前,應向消費者做出精細的、具體的、明確的提醒,并為消費者退出提供明確的選項。如果消費者認為經(jīng)營者的個性化算法決策可能使自己遭受歧視,消費者有權選擇退出,并要求經(jīng)營者刪除搜集到的個人數(shù)據(jù)。第三,在消費者使用經(jīng)營者提供的各類平臺或軟件服務時,法律應鼓勵經(jīng)營者公開個性化算法決策的依據(jù),并鼓勵消費者挑戰(zhàn)可能存在算法歧視的個性化算法決策過程,以推進反算法歧視技術的進步。

    (二)加強經(jīng)營者算法技術內(nèi)部控制體系建設

    算法技術的廣泛運用,對消費者個人數(shù)據(jù)權利帶來極大的挑戰(zhàn)。面對經(jīng)營者濫用算法歧視行為,世界各國均極為重視通過技術建立相關的控制制度和體系。德國建立的個人數(shù)據(jù)保護顧問制度是經(jīng)營者內(nèi)部算法濫用控制的基本制度,對算法歧視行為的遏制起到了較好的作用。按照《德國反限制競爭法》第10次修訂的規(guī)定,互聯(lián)網(wǎng)經(jīng)營者應設立專門的個人數(shù)據(jù)保護顧問制度,定期對經(jīng)營者利用算法及數(shù)據(jù)的行為進行合規(guī)性審查及信息披露,確保經(jīng)營者數(shù)據(jù)搜集和使用的合法性。[43]德國的個人數(shù)據(jù)保護顧問具有獨立行使職權的能力,經(jīng)營者的負責人不能對其獨立行使職權進行干預。我國算法歧視行為在實踐中廣泛存在,在經(jīng)營者內(nèi)部控制機制建設上可以借鑒德國的個人數(shù)據(jù)保護顧問制度,要求達到一定經(jīng)營規(guī)?;蛘加幸欢ㄊ袌龇蓊~的經(jīng)營者設立算法顧問崗位,聘用相關專業(yè)人員擔任算法顧問,并保證算法顧問能夠獨立行使職權而不受經(jīng)營者的干預。按照德國的經(jīng)驗,為加強對經(jīng)營者技術創(chuàng)新及商業(yè)秘密的保護,算法顧問對算法運行及決策機制進行監(jiān)督,其解釋及匯報的對象僅限于競爭執(zhí)法部門。算法顧問應擁有以下權力:

    第一,監(jiān)督數(shù)據(jù)處理的過程,提升數(shù)據(jù)處理的透明度。正如法諺所云“陽光是最好的殺菌劑,燈光是最好的裁判者”,對于算法濫用及歧視行為的治理,需要從源頭上提升數(shù)據(jù)處理的透明度。算法歧視行為之所以能夠產(chǎn)生并被廣泛應用,關鍵就在于經(jīng)營者對于個人數(shù)據(jù)處理的程序、方式及技術是封閉的,消費者無從知曉。因此,算法顧問的職責是向執(zhí)法部門披露經(jīng)營者算法設計和應用的初始數(shù)據(jù)來源、對數(shù)據(jù)處理加工的過程和標準。這樣,執(zhí)法部門在調(diào)查算法歧視行為時,就能夠判定算法決策所依賴的數(shù)據(jù)從何而來,搜集、使用及分析的過程是否正當,從而保證執(zhí)法的公正性。

    第二,解釋算法運行過程及決策機制。算法黑箱的存在使算法決策機制不透明,加劇了算法歧視行為發(fā)生的概率。如果僅僅只是公開算法決策的相關數(shù)據(jù)及依據(jù),只能消除算法決策的神秘性。對執(zhí)法部門而言,因技術障礙依然無法了解算法運行的過程,無法消除技術上的鴻溝。因此,一方面,算法顧問通過解釋算法運行的過程,幫助執(zhí)法部門消除算法運行的神秘性;另一方面,算法顧問應幫助執(zhí)法部門了解算法決策的具體依據(jù)及規(guī)則,使執(zhí)法部門知曉算法決策的整個過程。通過監(jiān)督數(shù)據(jù)處理和解釋算法,經(jīng)營者能夠在很大程度上洗刷其算法歧視的惡名,并有助于執(zhí)法部門公正執(zhí)法。

    (三)賦予行業(yè)組織對算法的技術審查權

    因算法黑箱效應的存在,消費者一般無從知曉算法運行及決策的過程,難以判斷自身的數(shù)據(jù)權利是否遭到侵害。但對專業(yè)人員而言,了解算法運行及決策并不存在技術障礙。因此,由專業(yè)人員構成的行業(yè)組織比執(zhí)法機構、消費者更了解算法,賦予其算法技術審查權是可行的,不僅審查效率高,而且成本也比較低。美國的《算法責任法案》規(guī)定,聯(lián)邦貿(mào)易委員會在執(zhí)法前,可以聘請獨立的第三方技術機構對算法運行是否存在歧視問題進行審查,同時要求經(jīng)營者必須如實記錄算法運行的各項數(shù)據(jù)、決策規(guī)則及技術模型,以便于第三方機構快速審查。[44]我國在這方面可以借鑒美國的經(jīng)驗,賦予行業(yè)組織對算法的技術審查權,盡可能避免算法歧視行為的出現(xiàn)。具體而言,行業(yè)組織的技術審查權可以分為事前和事中兩個部分。

    第一,事前審查。事前審查可以在很大程度上防止算法技術不確定風險導致的算法歧視行為。從本質(zhì)上看,事前審查的目的在于發(fā)現(xiàn)算法設計及運行的缺陷,即算法設計所依賴的指標是否對消費者權利產(chǎn)生不利影響或對市場競爭秩序造成負面作用。盡管有很多學者主張技術本身是中立的,在設計環(huán)節(jié)并不存在導致歧視出現(xiàn)的要素。事實上,即便技術是中立的,但技術的價值不是中立的,法律治理的目的是對技術應用做好價值上的引導。就實踐看,算法技術被經(jīng)營者應用于市場競爭,經(jīng)營者的價值傾向對算法運行自然就產(chǎn)生了影響。如某互聯(lián)網(wǎng)平臺的信息推送算法被很多人質(zhì)疑為惡俗、低俗,主要原因就是在算法設計時信息質(zhì)量在指標體系所占的權重過低,而流量指標所占的權重過高,導致各類惡俗信息推送不斷[45]。賦予行業(yè)組織事前審查權,可以較好地判定算法設計指標是否符合社會道德的基本底線。

    第二,事中審查。事前審查更多地是考察算法設計指標是否存在漏洞,事中審查主要是看算法運行的模型是否存在歧視性的輸出后果。與設計階段相比,算法運行所產(chǎn)生的歧視更具隱蔽性,且技術指標更復雜,帶有較強的經(jīng)營者價值判斷。如果算法在設計中帶有歧視或偏見指標,由此建立的模型輸出自然也會產(chǎn)生歧視或偏見,如果輸出結果在實踐中沒有遇到太大的抵制,模型的偏見或歧視就可能會固化,經(jīng)營者也不會主動改變輸出模型及其依賴的指標體系。算法技術只能理解輸入數(shù)據(jù)的內(nèi)容而無法判斷數(shù)據(jù)的價值,經(jīng)營者只能依照不同指標權重對數(shù)據(jù)進行統(tǒng)計分析并進行決策,這就使算法本身無法對消費者個體歧視產(chǎn)生判斷。因此,行業(yè)組織在算法運行中對算法進行定期審查,可以有效判斷算法運行、決策與實踐中的歧視行為是否存在直接的聯(lián)系。

    (四)完善執(zhí)法部門的算法監(jiān)管體系

    2018年,中共中央、國務院出臺《新一代人工智能發(fā)展規(guī)劃》,明確各級政府應加強對人工智能(包括算法技術)引發(fā)的市場、權利等風險的防范,完善執(zhí)法機構的監(jiān)管體系?!斗磯艛喾ā返?7條規(guī)定,具有市場支配地位的經(jīng)營者在沒有正當理由的情況下,不得對交易相對人實施差別對待?!断M者權益保護法》要求加強對消費者知情權、公平交易權、個人信息權等權利的保護。盡管對算法歧視規(guī)制的立法較為分散,但法律依據(jù)較為明確。從程序上看,如果行業(yè)組織對算法進行審查后,在實踐中依然出現(xiàn)算法歧視行為,則應由執(zhí)法部門加強事后規(guī)制。我國市場監(jiān)管部門應從監(jiān)管目標、手段、職責等方面進一步完善執(zhí)法體系。

    第一,細化監(jiān)管目標。執(zhí)法部門監(jiān)管的目標不是算法本身,而是要厘清算法技術背后的實際控制人——經(jīng)營者,如此才能夠真正確定責任主體。在我國,《反壟斷法》《反壟斷指南》中對算法歧視的規(guī)制均要求經(jīng)營者必須具備市場支配地位的身份條件,執(zhí)法部門必須判斷經(jīng)營者是否具備市場支配地位。如果經(jīng)營者不具備市場支配地位,此時就不能用反壟斷法律框架進行治理,但可以依照《消費者權益保護法》進行規(guī)制。

    第二,完善監(jiān)管手段。從我國立法看,市場監(jiān)管的干預手段通常有罰款、禁令禁止、行政約談等。算法歧視行為的治理應以約談為主,輔之以其他干預手段。就實踐看,頭條系、鳳凰系、阿里系、百度系等平臺多次被國家市場監(jiān)督管理總局約談,要求這些平臺改變推薦算法的指標權重搭配。約談作為一種干預方式,可以最大限度地緩和政府干預與經(jīng)營者經(jīng)營自由之間的沖突,要求經(jīng)營者按照承諾進行自查或改變。從本質(zhì)上看,約談賦予了經(jīng)營者的自我糾正權,有助于從根源上改變算法運行機制,這樣不僅能夠避免過度執(zhí)法對經(jīng)營者創(chuàng)新帶來的傷害,也能夠減少算法歧視行為對市場競爭秩序和消費者權利造成的影響。

    第三,厘清監(jiān)管職責。首先,市場監(jiān)管部門應出臺數(shù)字經(jīng)濟領域算法設計和使用的基本準則,控制算法設計和使用的法律及道德底線。要求算法的設計者和使用者在設計、使用過程中遵守法律法規(guī)及政策的規(guī)定,不設定會引起算法歧視的指標。其次,監(jiān)管部門應定期會同行業(yè)組織加強對算法運行的監(jiān)管,對算法歧視所產(chǎn)生的不良后果定期向社會公布,加大社會監(jiān)督的力度。最后,執(zhí)法部門可以完善反算法歧視的技術,加大技術研發(fā)力度,以技術手段監(jiān)管算法歧視行為,防止算法技術使用的異化,提升監(jiān)管的針對性。

    七、結語

    算法與大數(shù)據(jù)是支撐數(shù)字經(jīng)濟發(fā)展的兩大支柱,算法技術的發(fā)展亦是技術進步的體現(xiàn)。然而,算法的發(fā)展及廣泛應用,為占有市場優(yōu)勢的經(jīng)營者特別是平臺企業(yè)在信息搜集、推送、定價等階段提供了歧視的可能性。算法歧視行為在信息搜集階段侵犯了消費者的身份平等權,在信息推送階段侵犯了消費者的消費自主權,在定價階段因壟斷價格的出現(xiàn)使消費者剩余減少。算法歧視行為在不同的階段引發(fā)多種權利的沖突。在信息搜集階段,引起經(jīng)營者決策自主權與消費者隱私權的沖突;在推送階段,引發(fā)經(jīng)營者營銷自主權與消費者知情權的沖突;在定價階段,引發(fā)經(jīng)營者的利益與消費者福利之間的矛盾。對算法歧視行為的治理,歐美國家各有不同的做法,歐盟傾向于賦權消費者,美國注重結果的正義。對于我國而言,為保障數(shù)字經(jīng)濟的健康可持續(xù)發(fā)展,加強算法歧視治理迫在眉睫。為此,應在借鑒歐美治理經(jīng)驗的基礎上,以《個人信息保護法》為基礎完善消費者選擇退出機制,并不斷強化“知情—同意”規(guī)則;通過完善數(shù)據(jù)監(jiān)督處理過程及算法解釋機制加強經(jīng)營者算法技術內(nèi)部控制體系建設;通過事前監(jiān)督和事中審查的結合強化行業(yè)組織算法的技術審查權;通過細化監(jiān)管目標、完善監(jiān)管手段及厘清監(jiān)管職責構建算法歧視多元主體協(xié)同治理格局。當然,算法歧視問題作為數(shù)字經(jīng)濟發(fā)展的新問題,本文的研究只是一種學術嘗試,關于這一問題的完善有待于業(yè)界、學界的共同參與。

    猜你喜歡
    經(jīng)營者決策消費者
    明清珠江三角洲基塘區(qū)的田場與經(jīng)營者
    廣州文博(2023年0期)2023-12-21 07:24:30
    為可持續(xù)決策提供依據(jù)
    《經(jīng)營者》征稿啟事
    消費者網(wǎng)上購物六注意
    決策為什么失誤了
    知識付費消費者
    悄悄偷走消費者的創(chuàng)意
    悄悄偷走消費者的創(chuàng)意
    做一名聰明的集團醫(yī)院經(jīng)營者
    國有上市公司經(jīng)營者薪酬激勵模式研究
    正在播放国产对白刺激| 亚洲欧美日韩无卡精品| 欧美日韩福利视频一区二区| 免费在线观看完整版高清| 在线视频色国产色| 国产真人三级小视频在线观看| 黄色女人牲交| 俺也久久电影网| 99国产综合亚洲精品| 哪里可以看免费的av片| 国产精品日韩av在线免费观看| 国产av不卡久久| 叶爱在线成人免费视频播放| 少妇裸体淫交视频免费看高清 | 亚洲欧美日韩高清在线视频| 亚洲无线在线观看| 亚洲欧美日韩无卡精品| 人人妻,人人澡人人爽秒播| 人人妻人人看人人澡| 最新在线观看一区二区三区| 久久久国产成人免费| 亚洲国产精品999在线| 狠狠狠狠99中文字幕| 精品乱码久久久久久99久播| 亚洲精品美女久久av网站| 88av欧美| 亚洲激情在线av| 巨乳人妻的诱惑在线观看| 亚洲 国产 在线| 欧美一级a爱片免费观看看 | 50天的宝宝边吃奶边哭怎么回事| 麻豆久久精品国产亚洲av| 黑人巨大精品欧美一区二区mp4| 亚洲精品国产区一区二| 嫩草影视91久久| 日本在线视频免费播放| 色综合站精品国产| 亚洲熟妇熟女久久| 天天躁狠狠躁夜夜躁狠狠躁| 777久久人妻少妇嫩草av网站| 国产一区二区三区视频了| 丁香欧美五月| 亚洲熟妇熟女久久| 老鸭窝网址在线观看| 中文字幕人妻熟女乱码| 亚洲人成电影免费在线| 97超级碰碰碰精品色视频在线观看| 成年免费大片在线观看| 在线播放国产精品三级| 色播在线永久视频| 亚洲国产精品合色在线| 久久精品国产综合久久久| 精品久久久久久成人av| 欧洲精品卡2卡3卡4卡5卡区| 一边摸一边做爽爽视频免费| 亚洲,欧美精品.| 免费在线观看完整版高清| 日韩三级视频一区二区三区| 极品教师在线免费播放| а√天堂www在线а√下载| 日韩大码丰满熟妇| 99国产精品一区二区蜜桃av| 99久久精品国产亚洲精品| 亚洲国产欧洲综合997久久, | www国产在线视频色| xxx96com| netflix在线观看网站| 岛国在线观看网站| 成人国产综合亚洲| 成人特级黄色片久久久久久久| 午夜视频精品福利| 好男人电影高清在线观看| 在线永久观看黄色视频| 在线天堂中文资源库| 免费av毛片视频| 欧美人与性动交α欧美精品济南到| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美成人一区二区免费高清观看 | 欧美中文综合在线视频| 久久久久精品国产欧美久久久| 欧美一级a爱片免费观看看 | 国产免费男女视频| 曰老女人黄片| 9191精品国产免费久久| 久久久久免费精品人妻一区二区 | ponron亚洲| 国产三级在线视频| 亚洲成av片中文字幕在线观看| 久久中文字幕人妻熟女| 久久久久九九精品影院| 久久性视频一级片| 亚洲精品中文字幕一二三四区| 欧美久久黑人一区二区| 亚洲第一电影网av| 国产精品亚洲美女久久久| 国产精品国产高清国产av| 国产精品99久久99久久久不卡| 久久精品91蜜桃| 国产一级毛片七仙女欲春2 | 久久久国产成人免费| 青草久久国产| 老司机午夜十八禁免费视频| 久久久国产成人精品二区| 欧美一级毛片孕妇| www.熟女人妻精品国产| 精品国产乱子伦一区二区三区| 在线国产一区二区在线| 人人妻人人看人人澡| 真人做人爱边吃奶动态| 亚洲欧美精品综合久久99| 国产成人欧美| 成人精品一区二区免费| 搡老熟女国产l中国老女人| 日日夜夜操网爽| 亚洲精品av麻豆狂野| 亚洲午夜理论影院| 又黄又粗又硬又大视频| 中文字幕高清在线视频| 不卡av一区二区三区| 国产又色又爽无遮挡免费看| 色播亚洲综合网| 欧美日韩一级在线毛片| 最近在线观看免费完整版| 国产三级黄色录像| 精品国产国语对白av| 99久久99久久久精品蜜桃| 婷婷精品国产亚洲av| 少妇熟女aⅴ在线视频| 中文资源天堂在线| 91在线观看av| 欧美乱码精品一区二区三区| 又黄又粗又硬又大视频| 国语自产精品视频在线第100页| 国产精品综合久久久久久久免费| 精品国产一区二区三区四区第35| 国产91精品成人一区二区三区| 日韩精品免费视频一区二区三区| 老司机深夜福利视频在线观看| 国产亚洲精品综合一区在线观看 | av在线天堂中文字幕| 国内毛片毛片毛片毛片毛片| 无人区码免费观看不卡| 亚洲欧洲精品一区二区精品久久久| 日韩国内少妇激情av| www.自偷自拍.com| 18禁黄网站禁片免费观看直播| 99热只有精品国产| 变态另类丝袜制服| 日本a在线网址| 国产精品 国内视频| 好男人在线观看高清免费视频 | 欧美三级亚洲精品| 神马国产精品三级电影在线观看 | 琪琪午夜伦伦电影理论片6080| 午夜福利18| 欧美激情 高清一区二区三区| 亚洲人成77777在线视频| 日日干狠狠操夜夜爽| 别揉我奶头~嗯~啊~动态视频| 免费在线观看亚洲国产| 国产单亲对白刺激| 欧洲精品卡2卡3卡4卡5卡区| 久久久久久久久中文| 巨乳人妻的诱惑在线观看| 亚洲专区字幕在线| 亚洲一区二区三区色噜噜| 岛国视频午夜一区免费看| 国产高清有码在线观看视频 | 亚洲欧美精品综合一区二区三区| 无人区码免费观看不卡| aaaaa片日本免费| 国产免费av片在线观看野外av| avwww免费| 黄色视频不卡| 亚洲国产欧美一区二区综合| 好男人在线观看高清免费视频 | netflix在线观看网站| 女人爽到高潮嗷嗷叫在线视频| 免费在线观看视频国产中文字幕亚洲| 精品人妻1区二区| 啪啪无遮挡十八禁网站| 精品国内亚洲2022精品成人| 搡老岳熟女国产| www.www免费av| 久久久久久久久中文| av在线播放免费不卡| 青草久久国产| 亚洲av五月六月丁香网| 老汉色av国产亚洲站长工具| a级毛片在线看网站| 人人妻人人澡人人看| 桃色一区二区三区在线观看| 国产真人三级小视频在线观看| 久久精品国产亚洲av香蕉五月| 日本免费a在线| 国产成人精品无人区| 色精品久久人妻99蜜桃| 两个人视频免费观看高清| 日韩大码丰满熟妇| 亚洲av电影不卡..在线观看| 国产亚洲精品综合一区在线观看 | 日韩欧美国产在线观看| 国产精品久久电影中文字幕| 国产精品,欧美在线| 亚洲狠狠婷婷综合久久图片| 国产精华一区二区三区| 熟女少妇亚洲综合色aaa.| 成人永久免费在线观看视频| 亚洲 国产 在线| 日本精品一区二区三区蜜桃| av有码第一页| 精品免费久久久久久久清纯| 很黄的视频免费| 精品久久久久久久人妻蜜臀av| 精品国产超薄肉色丝袜足j| 色综合亚洲欧美另类图片| 色精品久久人妻99蜜桃| 久久香蕉精品热| 好看av亚洲va欧美ⅴa在| 999精品在线视频| 男女床上黄色一级片免费看| 亚洲色图 男人天堂 中文字幕| svipshipincom国产片| 搞女人的毛片| www日本黄色视频网| 黑丝袜美女国产一区| 久久久国产成人免费| www国产在线视频色| 亚洲精品av麻豆狂野| 亚洲国产欧美日韩在线播放| 亚洲性夜色夜夜综合| 亚洲第一电影网av| 午夜免费成人在线视频| 久久天躁狠狠躁夜夜2o2o| 黄色毛片三级朝国网站| 亚洲欧美日韩无卡精品| 亚洲无线在线观看| 国产成人影院久久av| 亚洲黑人精品在线| 2021天堂中文幕一二区在线观 | 日韩高清综合在线| 国产视频内射| 窝窝影院91人妻| 精品一区二区三区视频在线观看免费| 日韩欧美一区视频在线观看| 亚洲狠狠婷婷综合久久图片| 真人一进一出gif抽搐免费| 亚洲第一电影网av| 色老头精品视频在线观看| 在线观看www视频免费| 亚洲自拍偷在线| 久久香蕉国产精品| 欧美国产日韩亚洲一区| 97人妻精品一区二区三区麻豆 | 日韩国内少妇激情av| 哪里可以看免费的av片| 亚洲天堂国产精品一区在线| 午夜福利欧美成人| 操出白浆在线播放| 国产亚洲精品久久久久久毛片| 日本免费a在线| 人妻丰满熟妇av一区二区三区| 欧美在线黄色| 成人国语在线视频| 一进一出抽搐gif免费好疼| 中国美女看黄片| 女人爽到高潮嗷嗷叫在线视频| 男女床上黄色一级片免费看| 午夜久久久久精精品| 久久久国产欧美日韩av| 国产成人av教育| 女同久久另类99精品国产91| 人成视频在线观看免费观看| 欧美乱色亚洲激情| 久久中文字幕人妻熟女| 99久久99久久久精品蜜桃| 十八禁网站免费在线| 国产亚洲欧美精品永久| 久久国产乱子伦精品免费另类| 精品欧美国产一区二区三| 亚洲av五月六月丁香网| 国产成人精品久久二区二区91| 亚洲午夜理论影院| 亚洲无线在线观看| 国产激情偷乱视频一区二区| www.999成人在线观看| 99热这里只有精品一区 | 中国美女看黄片| 日日摸夜夜添夜夜添小说| 男女做爰动态图高潮gif福利片| 免费在线观看亚洲国产| 日韩欧美国产一区二区入口| 一本一本综合久久| 国产99白浆流出| 99久久无色码亚洲精品果冻| 天天一区二区日本电影三级| 国产精品精品国产色婷婷| 亚洲精品av麻豆狂野| 自线自在国产av| 黄色视频,在线免费观看| 俺也久久电影网| 久久人人精品亚洲av| 美女高潮到喷水免费观看| 欧美日韩亚洲国产一区二区在线观看| 亚洲一区二区三区色噜噜| 午夜亚洲福利在线播放| 精品第一国产精品| 欧美日韩黄片免| 亚洲av日韩精品久久久久久密| 嫁个100分男人电影在线观看| 一本精品99久久精品77| 精品国产亚洲在线| 亚洲专区中文字幕在线| 色av中文字幕| 亚洲专区字幕在线| 免费av毛片视频| 大型av网站在线播放| 亚洲男人的天堂狠狠| 欧美不卡视频在线免费观看 | 亚洲三区欧美一区| 国产黄a三级三级三级人| 熟女少妇亚洲综合色aaa.| 12—13女人毛片做爰片一| 久久久国产精品麻豆| 色综合欧美亚洲国产小说| 天天一区二区日本电影三级| 丰满的人妻完整版| 两个人视频免费观看高清| 久久久国产成人免费| 国产1区2区3区精品| 午夜免费观看网址| 桃色一区二区三区在线观看| 曰老女人黄片| 免费在线观看完整版高清| 日本 欧美在线| 亚洲第一欧美日韩一区二区三区| 欧美 亚洲 国产 日韩一| av欧美777| 午夜免费激情av| xxx96com| 嫩草影视91久久| 成人午夜高清在线视频 | 亚洲中文字幕一区二区三区有码在线看 | 嫁个100分男人电影在线观看| e午夜精品久久久久久久| 在线国产一区二区在线| 嫩草影视91久久| 亚洲精品国产精品久久久不卡| 亚洲人成伊人成综合网2020| 国产精品电影一区二区三区| 国产精品综合久久久久久久免费| or卡值多少钱| 欧美一级毛片孕妇| 欧美国产精品va在线观看不卡| 一二三四社区在线视频社区8| 精品久久蜜臀av无| 国产精品亚洲一级av第二区| 天堂√8在线中文| 国内精品久久久久久久电影| 一级黄色大片毛片| 亚洲精品色激情综合| 亚洲欧美激情综合另类| 成人国产综合亚洲| 久久精品aⅴ一区二区三区四区| 18禁美女被吸乳视频| 老司机福利观看| 亚洲午夜精品一区,二区,三区| 国产免费av片在线观看野外av| 给我免费播放毛片高清在线观看| 中文字幕最新亚洲高清| 精品电影一区二区在线| 男人操女人黄网站| 少妇粗大呻吟视频| 精品无人区乱码1区二区| 韩国精品一区二区三区| 亚洲一卡2卡3卡4卡5卡精品中文| 又黄又爽又免费观看的视频| 成人免费观看视频高清| 午夜成年电影在线免费观看| 色尼玛亚洲综合影院| 国产成人av教育| 日韩国内少妇激情av| 丰满的人妻完整版| 国产一卡二卡三卡精品| 国产野战对白在线观看| 精品久久久久久久毛片微露脸| 又大又爽又粗| 亚洲自偷自拍图片 自拍| 亚洲精品美女久久久久99蜜臀| 成人三级做爰电影| 午夜免费激情av| 久久久久久久久免费视频了| 婷婷精品国产亚洲av在线| 大香蕉久久成人网| 精品一区二区三区视频在线观看免费| 男女视频在线观看网站免费 | 欧美激情 高清一区二区三区| 国产激情久久老熟女| 亚洲国产毛片av蜜桃av| 91麻豆av在线| 午夜福利欧美成人| 精品欧美一区二区三区在线| 欧美在线黄色| 久久草成人影院| 国产亚洲精品第一综合不卡| 成人国语在线视频| 日韩免费av在线播放| 国产熟女午夜一区二区三区| 日韩欧美 国产精品| 老鸭窝网址在线观看| 美女国产高潮福利片在线看| 久久亚洲真实| 757午夜福利合集在线观看| 黄频高清免费视频| 欧美精品啪啪一区二区三区| 欧美zozozo另类| 久久精品亚洲精品国产色婷小说| 免费观看人在逋| netflix在线观看网站| 一个人免费在线观看的高清视频| 99久久99久久久精品蜜桃| 露出奶头的视频| 丁香六月欧美| videosex国产| 亚洲国产日韩欧美精品在线观看 | 亚洲国产精品合色在线| 69av精品久久久久久| 又黄又爽又免费观看的视频| 99久久无色码亚洲精品果冻| 欧美日韩精品网址| 视频在线观看一区二区三区| 亚洲中文字幕日韩| 欧美色视频一区免费| 动漫黄色视频在线观看| 国产欧美日韩一区二区精品| 亚洲全国av大片| 三级毛片av免费| 欧美又色又爽又黄视频| 最新在线观看一区二区三区| 精华霜和精华液先用哪个| 国产免费av片在线观看野外av| 国产精品综合久久久久久久免费| 国产成人影院久久av| 精品乱码久久久久久99久播| 欧美另类亚洲清纯唯美| 国产精品久久久久久精品电影 | 国产精品香港三级国产av潘金莲| 法律面前人人平等表现在哪些方面| 女人爽到高潮嗷嗷叫在线视频| 亚洲熟女毛片儿| 日韩欧美一区二区三区在线观看| a级毛片a级免费在线| 这个男人来自地球电影免费观看| 精品久久久久久久久久久久久 | 天天一区二区日本电影三级| 妹子高潮喷水视频| 夜夜看夜夜爽夜夜摸| 一a级毛片在线观看| 一夜夜www| 国产成人av教育| 中文在线观看免费www的网站 | 色综合欧美亚洲国产小说| 成人永久免费在线观看视频| 欧美乱色亚洲激情| 国产精品影院久久| 久久久久久久久久黄片| 母亲3免费完整高清在线观看| 99久久精品国产亚洲精品| 最新美女视频免费是黄的| 日韩精品中文字幕看吧| 无遮挡黄片免费观看| 男女之事视频高清在线观看| 精品午夜福利视频在线观看一区| 国产精品98久久久久久宅男小说| 日本精品一区二区三区蜜桃| 免费在线观看黄色视频的| 男男h啪啪无遮挡| 久久国产乱子伦精品免费另类| 久久精品国产亚洲av高清一级| 国产亚洲欧美精品永久| 久热爱精品视频在线9| 男女做爰动态图高潮gif福利片| 亚洲九九香蕉| 成人午夜高清在线视频 | 欧美日韩亚洲国产一区二区在线观看| 国产成+人综合+亚洲专区| 亚洲 国产 在线| 99国产极品粉嫩在线观看| 岛国视频午夜一区免费看| 日本撒尿小便嘘嘘汇集6| 日韩中文字幕欧美一区二区| 午夜亚洲福利在线播放| 久久久久久久久免费视频了| 国产又爽黄色视频| 女警被强在线播放| 精品国产超薄肉色丝袜足j| 亚洲av第一区精品v没综合| 看片在线看免费视频| 欧美黄色片欧美黄色片| 亚洲avbb在线观看| 村上凉子中文字幕在线| 十八禁人妻一区二区| 岛国在线观看网站| 国产精品日韩av在线免费观看| 国产成人av教育| 亚洲精品在线美女| 国产亚洲精品久久久久5区| 老司机在亚洲福利影院| 好男人在线观看高清免费视频 | 亚洲国产中文字幕在线视频| 99在线人妻在线中文字幕| 男男h啪啪无遮挡| 人成视频在线观看免费观看| 悠悠久久av| 国产v大片淫在线免费观看| 99热只有精品国产| 99国产精品99久久久久| 国产成人精品无人区| 亚洲成人免费电影在线观看| 国产视频内射| 黄色女人牲交| 窝窝影院91人妻| 亚洲一码二码三码区别大吗| 精品一区二区三区视频在线观看免费| 亚洲免费av在线视频| 国产精品久久久人人做人人爽| 成人一区二区视频在线观看| 男女之事视频高清在线观看| 国产一级毛片七仙女欲春2 | 久久天堂一区二区三区四区| 亚洲精品av麻豆狂野| 日本a在线网址| 亚洲 欧美 日韩 在线 免费| 日韩一卡2卡3卡4卡2021年| 日韩成人在线观看一区二区三区| 日本一本二区三区精品| 99国产综合亚洲精品| 亚洲专区国产一区二区| 国内精品久久久久久久电影| 久久精品国产亚洲av香蕉五月| 可以在线观看毛片的网站| 51午夜福利影视在线观看| 亚洲电影在线观看av| 97超级碰碰碰精品色视频在线观看| 免费av毛片视频| 中文字幕高清在线视频| 视频在线观看一区二区三区| 女人高潮潮喷娇喘18禁视频| 久久国产精品人妻蜜桃| 亚洲九九香蕉| 欧美日韩黄片免| 久久久国产成人精品二区| 欧美黄色片欧美黄色片| 国产免费男女视频| 国产色视频综合| 一级a爱片免费观看的视频| 久久久久久久久免费视频了| 51午夜福利影视在线观看| 每晚都被弄得嗷嗷叫到高潮| 亚洲avbb在线观看| 久久久国产精品麻豆| 777久久人妻少妇嫩草av网站| 国产成人av教育| 香蕉av资源在线| 国产伦在线观看视频一区| 亚洲成av人片免费观看| 欧美av亚洲av综合av国产av| 国产在线精品亚洲第一网站| 欧美日韩亚洲综合一区二区三区_| 国产精品亚洲一级av第二区| 免费在线观看成人毛片| 免费电影在线观看免费观看| 搡老熟女国产l中国老女人| 国产成人影院久久av| 久久人人精品亚洲av| 久久国产精品人妻蜜桃| 精品第一国产精品| 久久人妻福利社区极品人妻图片| 亚洲精品国产区一区二| 精品日产1卡2卡| 日韩三级视频一区二区三区| 亚洲欧美精品综合一区二区三区| 国产成人一区二区三区免费视频网站| 草草在线视频免费看| 国产1区2区3区精品| 久久久久国内视频| 男女午夜视频在线观看| 高潮久久久久久久久久久不卡| 亚洲七黄色美女视频| 欧美一区二区精品小视频在线| 日本三级黄在线观看| 淫秽高清视频在线观看| 一区二区三区激情视频| 国产单亲对白刺激| 女生性感内裤真人,穿戴方法视频| 白带黄色成豆腐渣| 女警被强在线播放| 18禁国产床啪视频网站| 国产成+人综合+亚洲专区| 亚洲一卡2卡3卡4卡5卡精品中文| 男女下面进入的视频免费午夜 | 深夜精品福利| 日韩国内少妇激情av| 一进一出抽搐动态| 日韩欧美一区二区三区在线观看| 久久精品亚洲精品国产色婷小说| 麻豆成人午夜福利视频| 国产蜜桃级精品一区二区三区| netflix在线观看网站| tocl精华| avwww免费| 女人爽到高潮嗷嗷叫在线视频| 1024手机看黄色片| 午夜a级毛片| 一本综合久久免费|