• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能時(shí)代自主類算法共謀的規(guī)范監(jiān)管

    2020-11-25 15:44:00沈鴻藝岳子祺陳名芮劉家熳蔡俊亮
    市場(chǎng)周刊 2020年8期
    關(guān)鍵詞:共謀反壟斷法反壟斷

    沈鴻藝,岳子祺,陳名芮,劉家熳,蔡俊亮

    (華南理工大學(xué),廣東 廣州510006)

    一、 自主類算法共謀的源流及現(xiàn)實(shí)困境

    大數(shù)據(jù)時(shí)代,算法由于能幫助經(jīng)營(yíng)者更迅速、有效地分析和處理各類海量數(shù)據(jù),而被廣泛地應(yīng)用于商業(yè)領(lǐng)域中。 早在2015 年,已有超過(guò)1/3 的亞馬遜商家使用定價(jià)算法制定價(jià)格。 然而,算法在提高經(jīng)濟(jì)運(yùn)行效率的同時(shí),也為競(jìng)爭(zhēng)者之間實(shí)現(xiàn)和維持價(jià)格共謀提供了更加隱蔽的技術(shù)手段。 2015年4 月,美國(guó)司法部首次依據(jù)《謝爾曼法》針對(duì)電子商務(wù)中利用算法的價(jià)格共謀行為,對(duì)托普金斯(Topkins)及其同謀利用特定算法交換價(jià)格信息并協(xié)調(diào)賣價(jià),從而確保其所銷售的特定壁紙按價(jià)格高低顯示在亞馬遜網(wǎng)站搜索頁(yè)面最前端的行為提起重罪指控。 同年年底,優(yōu)步(Uber)的用戶在美國(guó)某地區(qū)法院提起訴訟,指控優(yōu)步聯(lián)合創(chuàng)始人與優(yōu)步司機(jī)之間通過(guò)定價(jià)算法達(dá)成合謀,限制了司機(jī)之間的價(jià)格競(jìng)爭(zhēng)。 相關(guān)案例的涌現(xiàn)引起了各國(guó)反壟斷機(jī)構(gòu)的注意,算法共謀成為全球反壟斷領(lǐng)域的關(guān)注焦點(diǎn)。 其中,自主類算法共謀更是給反壟斷法領(lǐng)域帶來(lái)了諸多挑戰(zhàn)。

    自主類算法共謀即自學(xué)習(xí)算法通過(guò)不斷學(xué)習(xí)和適應(yīng)其他市場(chǎng)參與者的行為,在經(jīng)營(yíng)者未發(fā)出指令或做出其他干預(yù)行為的情況下自主達(dá)成的共謀。 區(qū)別于一般的定價(jià)算法,自學(xué)習(xí)算法(self-learning algorithms)是基于人工智能、機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)高度智能化的算法,能分析和吸收市場(chǎng)中各種各樣的數(shù)據(jù)并做出歸納性推理,從中挖掘出潛在的信息,幫助決策者調(diào)整市場(chǎng)策略,減少風(fēng)險(xiǎn),以保證企業(yè)利益的最大化。目前國(guó)際上的相關(guān)研究表明,自學(xué)習(xí)算法對(duì)達(dá)成共謀有促進(jìn)作用。 一是隨著人工智能、機(jī)器學(xué)習(xí)等技術(shù)的發(fā)展,自學(xué)習(xí)算法的學(xué)習(xí)周期將不斷縮短,在面對(duì)日益復(fù)雜的市場(chǎng)環(huán)境時(shí)其能快速學(xué)習(xí)并迅速做出反應(yīng),降低偏離的風(fēng)險(xiǎn),從而增加共謀的可能。 二是在企業(yè)效益最大化目標(biāo)的驅(qū)動(dòng)下,獨(dú)立決策的自學(xué)習(xí)算法更有可能選擇共謀。 當(dāng)兩家企業(yè)均使用自學(xué)習(xí)算法時(shí),博弈的主體便從經(jīng)營(yíng)者轉(zhuǎn)變?yōu)閮蓚€(gè)勢(shì)均力敵的算法,其在博弈過(guò)程中,為尋找效益最高的方案會(huì)主動(dòng)選擇相互依存的戰(zhàn)略,而不考慮法律風(fēng)險(xiǎn)。

    自主類算法不僅具備一般共謀中算法的輔助功能,還能實(shí)現(xiàn)自主決策,以達(dá)成排除競(jìng)爭(zhēng)、限制競(jìng)爭(zhēng)的目的。 其所具有的高度智能化特征給反壟斷執(zhí)法機(jī)關(guān)識(shí)別和規(guī)制共謀設(shè)置了難以逾越的障礙。 首先,自學(xué)習(xí)算法提高了市場(chǎng)透明度,使共謀更容易維持。 自學(xué)習(xí)算法結(jié)合了統(tǒng)計(jì)學(xué)、人工智能、可視化等技術(shù),能對(duì)市場(chǎng)上各個(gè)渠道的數(shù)據(jù)進(jìn)行分析,具有監(jiān)控和快速改變價(jià)格的能力。 當(dāng)共謀形成后,自學(xué)習(xí)算法能夠進(jìn)行實(shí)時(shí)監(jiān)控并建立即時(shí)的報(bào)復(fù)機(jī)制,迅速對(duì)偏離共謀的行為進(jìn)行懲罰,從而限制破壞共謀所獲得的預(yù)期收益,減少參與者偏離共謀價(jià)格的動(dòng)機(jī)。 執(zhí)法機(jī)關(guān)難以察覺(jué)共謀行為的發(fā)生,從而陷入技術(shù)監(jiān)管的困境。 其次,這種高度智能化的自學(xué)習(xí)算法有著極其隱蔽的決策過(guò)程。 自學(xué)習(xí)算法在達(dá)成和實(shí)施壟斷協(xié)議時(shí),無(wú)須任何意思聯(lián)絡(luò),其決策過(guò)程如“黑匣子”一般無(wú)法被探測(cè)和追蹤。 這增加了執(zhí)法機(jī)關(guān)收集證據(jù)的難度,使其難以對(duì)共謀行為進(jìn)行違法性認(rèn)定和有效規(guī)制。 最后,自主類算法共謀突破了人類主導(dǎo)的規(guī)制框架。 自學(xué)習(xí)算法憑借其強(qiáng)大的學(xué)習(xí)能力,自主觀察、接收、反饋市場(chǎng)信號(hào),并據(jù)預(yù)設(shè)邏輯得出決策結(jié)果,完全規(guī)避了經(jīng)營(yíng)者在市場(chǎng)競(jìng)爭(zhēng)過(guò)程中的主導(dǎo)作用。 在脫離人的主觀設(shè)計(jì)的情況下,如何確定追責(zé)主體和主體之間的責(zé)任分配,將成為反壟斷執(zhí)法機(jī)關(guān)的棘手問(wèn)題。

    近年來(lái)人工智能安全與倫理問(wèn)題不斷涌現(xiàn),全球新一輪人工智能政策部署的重點(diǎn)隨之轉(zhuǎn)向了創(chuàng)新與監(jiān)管的再平衡。在人工智能算法被廣泛應(yīng)用的商業(yè)領(lǐng)域,更應(yīng)注重協(xié)同治理,實(shí)現(xiàn)人工智能與經(jīng)濟(jì)社會(huì)的健康發(fā)展。 目前,盡管我國(guó)尚未出現(xiàn)自主類算法共謀的司法案例,但作為全球重要的數(shù)字市場(chǎng),我國(guó)仍應(yīng)警惕因自學(xué)習(xí)算法普遍適用而產(chǎn)生的系統(tǒng)性監(jiān)管風(fēng)險(xiǎn)。 因此,為了維護(hù)市場(chǎng)競(jìng)爭(zhēng)秩序及保護(hù)消費(fèi)者利益,對(duì)自主類算法共謀進(jìn)行有效規(guī)制十分必要。

    二、 自主類算法共謀的違法性認(rèn)定

    自學(xué)習(xí)算法無(wú)須經(jīng)營(yíng)者之間達(dá)成特定協(xié)議即可自主形成共謀。 此種共謀由于擺脫了對(duì)于參與者之間協(xié)商與合作的依賴,故難以通過(guò)壟斷協(xié)議的概念將其納入反壟斷法規(guī)制的范圍內(nèi)。 因此,為了能對(duì)其進(jìn)行有效規(guī)制,可以通過(guò)拓展“協(xié)議”的內(nèi)涵以明確自主類算法共謀的違法性認(rèn)定標(biāo)準(zhǔn)。

    (一)自主類算法共謀違法性認(rèn)定的特殊性

    自學(xué)習(xí)算法在達(dá)成共謀的過(guò)程中,經(jīng)營(yíng)者之間無(wú)須進(jìn)行意思聯(lián)絡(luò),僅依靠算法的實(shí)時(shí)監(jiān)測(cè)和對(duì)定價(jià)戰(zhàn)略的迅速調(diào)整,便能夠自主保持一致。 這與默示共謀的特點(diǎn)十分符合,且較之更穩(wěn)定、更隱蔽,達(dá)成目標(biāo)的能力和協(xié)調(diào)行為的持續(xù)時(shí)間也更勝一籌。 其對(duì)于市場(chǎng)競(jìng)爭(zhēng)秩序和消費(fèi)者利益更大的潛在危害要求反壟斷法對(duì)其進(jìn)行有效規(guī)制。 根據(jù)各國(guó)反壟斷法的規(guī)定,競(jìng)爭(zhēng)者之間達(dá)成特定協(xié)議是反壟斷執(zhí)法機(jī)關(guān)規(guī)制共謀的前提條件,故通過(guò)壟斷協(xié)議對(duì)自主類算法共謀進(jìn)行違法性認(rèn)定是將其納入當(dāng)前反壟斷法規(guī)制范圍的唯一途徑。

    在反壟斷法領(lǐng)域,“壟斷協(xié)議”可以概括為經(jīng)營(yíng)者基于共同意志,通過(guò)協(xié)商就實(shí)施特定的限制競(jìng)爭(zhēng)行為達(dá)成一致的約定。 可見(jiàn),壟斷協(xié)議的構(gòu)成要件包括:①經(jīng)營(yíng)者具有共同意志;②進(jìn)行了意思聯(lián)絡(luò);③達(dá)成了一致行為;④產(chǎn)生了排除、限制競(jìng)爭(zhēng)的效果。 自學(xué)習(xí)算法可以獨(dú)立、自主地達(dá)成一致行為,實(shí)現(xiàn)排除競(jìng)爭(zhēng)、限制競(jìng)爭(zhēng)的效果。 但由于不需要經(jīng)營(yíng)者之間進(jìn)行任何溝通,反壟斷執(zhí)法機(jī)關(guān)很難搜集到有力證據(jù)證明經(jīng)營(yíng)者之間存在意思聯(lián)絡(luò)從而認(rèn)定其存在共謀的主觀意圖。 主觀認(rèn)定要件的缺失使自主類算法共謀在現(xiàn)有反壟斷法的框架下通過(guò)“協(xié)議”的概念進(jìn)行違法性認(rèn)定變得十分困難,因此,考慮擴(kuò)展“協(xié)議”的內(nèi)涵不失為一個(gè)行之有效的方法。

    (二)拓展“協(xié)議”范疇的理論基礎(chǔ)

    拓展“協(xié)議”的范疇是否具有合理性,首先需要明確這一概念的內(nèi)涵。 世界各國(guó)對(duì)于“壟斷協(xié)議”存在不同的表述形式。 美國(guó)反托拉斯法中稱之為“聯(lián)合”或“聯(lián)合行為”。 歐洲國(guó)家則更常用“卡特爾”這一術(shù)語(yǔ)代表。 我國(guó)的《反壟斷法》第十三條將壟斷協(xié)議限定為“排除、限制競(jìng)爭(zhēng)的協(xié)議、決定或者其他協(xié)同行為”。 然而目前各國(guó)對(duì)于“壟斷協(xié)議”仍難以具體準(zhǔn)確地界定。

    有學(xué)者試圖通過(guò)對(duì)比合同法中的“協(xié)議”概念以確定反壟斷法中“協(xié)議”的范疇。 合同法語(yǔ)境下的“協(xié)議”通常包含“要約”和“承諾”兩個(gè)要件,二者應(yīng)滿足一定的條件:①客觀性。 即要約和承諾都應(yīng)是基于文字或行為等形式并能夠被客觀理解的客觀行為。 ②對(duì)應(yīng)性。 即協(xié)議中的要約與承諾必須相互對(duì)應(yīng),要約人與受要約人具有實(shí)施某種行為的共同意圖。 ③精確性。 即要約與承諾應(yīng)滿足一定程度上的具體和精確性,以使相對(duì)人之間形成特定的法律約束。 根據(jù)其觀點(diǎn),前二者屬于“協(xié)議”所普遍固有的內(nèi)涵,故反壟斷法中的“協(xié)議”也應(yīng)當(dāng)具備此二者,即共謀參與者在客觀上實(shí)施了聯(lián)合限制競(jìng)爭(zhēng)行為,且具有實(shí)施該共謀行為的共同意圖。 而精確性則是基于合同法上目的而產(chǎn)生的非固有定義特征,意在維護(hù)當(dāng)事人的合法權(quán)益。 不同于合同法中“協(xié)議”的目的,反壟斷法為打擊共謀等反競(jìng)爭(zhēng)活動(dòng),維護(hù)市場(chǎng)的良好競(jìng)爭(zhēng)秩序而設(shè)立“協(xié)議”,故不應(yīng)要求經(jīng)營(yíng)者對(duì)某個(gè)聯(lián)合限制競(jìng)爭(zhēng)行為做出準(zhǔn)確承諾。 因此反壟斷法中的“協(xié)議”在滿足客觀性和對(duì)應(yīng)性的條件下,具有一定的拓展空間,從而使可能產(chǎn)生反競(jìng)爭(zhēng)危害而內(nèi)容模糊的自主類算法共謀得以被納入規(guī)制范圍。

    (三)明確自主類算法共謀的判定標(biāo)準(zhǔn)

    由于自主類算法共謀高度依賴于算法的自主學(xué)習(xí)和決策,在其達(dá)成和實(shí)施共謀的過(guò)程中可能并無(wú)任何意思聯(lián)絡(luò),因此通過(guò)尋找其意思聯(lián)絡(luò)的證據(jù)來(lái)證明經(jīng)營(yíng)者存在共謀意圖極難實(shí)現(xiàn)。 如此,不妨適當(dāng)放寬“協(xié)議”的范圍,即可在綜合考慮各方面因素的情況下,通過(guò)經(jīng)營(yíng)者的客觀一致行為來(lái)證明其共謀意圖與“協(xié)議”達(dá)成。

    例如,在1939 年的州際巡回放映公司訴美國(guó)案中,美國(guó)聯(lián)邦最高法院認(rèn)為銷售商之間的協(xié)議并不是認(rèn)定存在非法共謀的前提條件,“既然銷售商們之間的一致行為是策劃好的,銷售商們收到邀請(qǐng)后遵守這個(gè)方案,參與這個(gè)一致行為,知曉這些就足以認(rèn)定非法共謀存在了。”此后在1946 年的美國(guó)煙草公司訴美國(guó)案中,美國(guó)聯(lián)邦最高法院繼續(xù)就缺乏明確協(xié)議的一致行為的認(rèn)定問(wèn)題進(jìn)行闡釋:“要構(gòu)成非法共謀無(wú)須當(dāng)事人間存在正式的協(xié)議,只要從當(dāng)事人的全部行為中我們可以得出這樣的推論就可以了?!睔W盟的司法機(jī)關(guān)在認(rèn)定默示共謀時(shí)也不要求經(jīng)營(yíng)者之間必須達(dá)成正式的協(xié)議,而常依據(jù)“一致行為”的概念進(jìn)行認(rèn)定并予以規(guī)制。 歐盟委員會(huì)曾明確指出,一項(xiàng)協(xié)議不需要以書面形式訂立,也無(wú)須合同的批準(zhǔn)或執(zhí)行措施,協(xié)議存在的事實(shí)可以清晰地或含蓄地體現(xiàn)在成員的行為中。

    我國(guó)現(xiàn)行反壟斷法也可據(jù)此對(duì)自主類算法共謀進(jìn)行有效規(guī)制。 例如,在自學(xué)習(xí)算法引發(fā)的共謀中,市場(chǎng)參與者的算法獨(dú)立選擇共謀策略作為最佳定價(jià)策略。 某一經(jīng)營(yíng)者的算法自主發(fā)出共同提高價(jià)格的信號(hào),無(wú)須經(jīng)營(yíng)者干預(yù),其競(jìng)爭(zhēng)對(duì)手算法通過(guò)觀察或接收到這一信號(hào)而自主選擇追隨以謀求超競(jìng)爭(zhēng)水平的利潤(rùn)。 同時(shí),發(fā)出信號(hào)的算法在觀察到其他算法的跟隨和同意后,可以采取策略維持共謀的持續(xù)。 簡(jiǎn)言之,發(fā)出“要約”的算法通常會(huì)將提價(jià)作為一個(gè)客觀信號(hào),競(jìng)爭(zhēng)對(duì)手則自主選擇是否跟進(jìn)。 如果被要約人的算法跟隨也即默示同意該提議,那么要約人算法將被誘導(dǎo)維持其高價(jià)。 盡管要約人和被要約人未達(dá)成正式協(xié)議,僅通過(guò)行為和默許,但仍足以滿足客觀性要求;盡管各方的承諾十分模糊,但仍可成為反壟斷法意義上的協(xié)議。

    (四)自主類算法共謀的事實(shí)認(rèn)定

    如何運(yùn)用證據(jù)在個(gè)案中識(shí)別自主類算法共謀的存在,是明確其法律認(rèn)定標(biāo)準(zhǔn)后的又一挑戰(zhàn)。 由于這種共謀具有高度隱蔽性和穩(wěn)定性,司法機(jī)關(guān)很難搜集到諸如往來(lái)信件、檢舉材料等直接證據(jù)證明共謀的存在,因此充分運(yùn)用間接證據(jù)、環(huán)境證據(jù)以及建立有條件的法律推定制度對(duì)于此種新型共謀的認(rèn)定顯得尤為重要。

    1. 靈活運(yùn)用各類證據(jù)

    默示共謀的隱蔽性使得收集直接證據(jù)十分困難,因此各國(guó)普遍采用間接證據(jù)證明共謀的存在。 自學(xué)習(xí)算法加劇了這一困境,故間接性證據(jù)的使用也將是認(rèn)定自主類算法共謀的主要方法。 例如,有外國(guó)學(xué)者提出,反壟斷機(jī)構(gòu)在調(diào)查過(guò)程中應(yīng)更加重視一些特殊文件,包括任何闡明算法設(shè)計(jì)目標(biāo)、記錄算法行為的內(nèi)部文檔,任何表明開(kāi)發(fā)人員修改算法以促進(jìn)默認(rèn)協(xié)調(diào)或可能提高算法與競(jìng)爭(zhēng)對(duì)手協(xié)調(diào)的能力的文檔、營(yíng)銷和促銷材料。

    目前可被有效利用的證據(jù)還包括環(huán)境證據(jù)、經(jīng)濟(jì)證據(jù)等。 環(huán)境證據(jù)是美國(guó)反托拉斯司法實(shí)踐中發(fā)展出的新名詞,它是指違反《謝爾曼法》的合并或共謀可以通過(guò)當(dāng)事人之間的交易過(guò)程或其他環(huán)境條件等來(lái)證明。 比如前文判定標(biāo)準(zhǔn)部分所述兩案中,美國(guó)最高聯(lián)邦法院均是運(yùn)用了環(huán)境證據(jù)來(lái)推斷經(jīng)營(yíng)者之間存在共謀。 除此之外,經(jīng)濟(jì)證據(jù)、行為證據(jù)對(duì)自主類算法共謀的認(rèn)定思路也頗具參考意義。 在自主類算法共謀的主觀要件認(rèn)定中,可結(jié)合算法設(shè)計(jì)者、改進(jìn)者和使用者的行為及當(dāng)時(shí)市場(chǎng)的經(jīng)濟(jì)條件進(jìn)行判定,包括考察其對(duì)一致行為是否有合理的解釋,對(duì)設(shè)計(jì)、改進(jìn)或者使用的過(guò)程中是否具有反競(jìng)爭(zhēng)目的等方面予以分析。

    2. 建立有條件的法律推定制度

    大數(shù)據(jù)時(shí)代,自主類算法共謀幾乎無(wú)法被直接證明,因此有必要使用法律推定制度來(lái)對(duì)其進(jìn)行認(rèn)定。 韓國(guó)對(duì)不正當(dāng)協(xié)同行為即采取法律推定的方法:兩個(gè)以上企業(yè)在一定的交易領(lǐng)域做出實(shí)質(zhì)上限制競(jìng)爭(zhēng)的行為,而這種行為不存在任何約定進(jìn)行共同行為的明示合意,則將這種情況推定為協(xié)同行為。 自主類算法共謀本質(zhì)上屬于壟斷協(xié)議中的“協(xié)同行為”,在缺乏充足證據(jù)的情況下,通過(guò)綜合考量各方因素依法推定經(jīng)營(yíng)者的行為屬于共謀有利于及時(shí)發(fā)現(xiàn)此類反競(jìng)爭(zhēng)行為并予以規(guī)制。 但此類推定應(yīng)限制在合理范圍內(nèi),即在某一市場(chǎng)環(huán)境下,共謀是經(jīng)營(yíng)者們實(shí)施相同行為的唯一合理理由。 例 如, 在 Compagine Royal Asturienne des Mines and Rheinzink v.Commission 案中,一家德國(guó)公司發(fā)現(xiàn)比利時(shí)公司經(jīng)銷其商品時(shí)存在欺詐行為而拒絕繼續(xù)供應(yīng),另一家德國(guó)公司也拒絕供應(yīng)。 歐共體委員會(huì)判定兩家公司存在協(xié)同行為,但歐洲法院否定了這一裁決,認(rèn)為二者的相同行為存在協(xié)同行為以外的合理解釋,即比利時(shí)公司信譽(yù)太差,故推定二者存在協(xié)同行為是不合理的。

    三、 算法監(jiān)管的多元化體系構(gòu)建

    鑒于自主類算法共謀使整個(gè)市場(chǎng)秩序面臨著潛在的系統(tǒng)性風(fēng)險(xiǎn),監(jiān)管機(jī)構(gòu)絕不可放任其野蠻生長(zhǎng),但又由于現(xiàn)代市場(chǎng)對(duì)科技效率的要求,嚴(yán)令禁止也絕非長(zhǎng)久之計(jì)。 要想從根本上維護(hù)市場(chǎng)秩序的穩(wěn)定的同時(shí)推動(dòng)市場(chǎng)技術(shù)的創(chuàng)新,還需構(gòu)建一套完善的多元化規(guī)制體系,對(duì)自主類算法共謀進(jìn)行全方位監(jiān)管。

    (一)反壟斷委員會(huì)面向:合理的政策指南

    根據(jù)我國(guó)《反壟斷法》第九條,反壟斷委員會(huì)主要負(fù)責(zé)組織、協(xié)調(diào)、指導(dǎo)反壟斷工作。 具體職責(zé)主要包括研究擬訂有關(guān)競(jìng)爭(zhēng)政策、發(fā)布反壟斷指南、協(xié)調(diào)反壟斷執(zhí)法工作等具有方針性的競(jìng)爭(zhēng)政策。 依其職責(zé),反壟斷委員會(huì)在目前的競(jìng)爭(zhēng)態(tài)勢(shì)下,應(yīng)當(dāng)充分發(fā)揮其政策引導(dǎo)的職能,為市場(chǎng)參與相關(guān)方釋放信號(hào),提高經(jīng)營(yíng)者在使用自學(xué)習(xí)算法時(shí)的法律風(fēng)險(xiǎn)敏感度,從而發(fā)揮政策的引導(dǎo)作用。

    首先,反壟斷委員會(huì)應(yīng)當(dāng)制訂相應(yīng)自主類算法的開(kāi)發(fā)準(zhǔn)則。 為了防止自學(xué)習(xí)算法自動(dòng)實(shí)施算法共謀,應(yīng)當(dāng)為算法的開(kāi)發(fā)制定行業(yè)準(zhǔn)則。 此方式適用于全部的算法共謀類型,而針對(duì)系統(tǒng)性風(fēng)險(xiǎn)較大的自主類算法共謀,還應(yīng)加強(qiáng)反壟斷指南層面的引導(dǎo)。 原因在于,自學(xué)習(xí)算法的出現(xiàn),使系統(tǒng)性風(fēng)險(xiǎn)變得不可忽視。 例如,在金融市場(chǎng)上,2010 年的 Flash Crash 的算法失誤導(dǎo)致美國(guó)公司股票市值在20 分鐘內(nèi)蒸發(fā)了6000 億美元。 電商市場(chǎng)上,在2011 年亞馬遜提供的自動(dòng)定價(jià)算法允許圖書零售商根據(jù)其他零售商的價(jià)格設(shè)定價(jià)格,這導(dǎo)致生物學(xué)教科書The Making of a Fly的售價(jià)進(jìn)入了正反饋循環(huán),兩位零售商的定價(jià)根據(jù)對(duì)方的價(jià)格互相攀升,最終達(dá)至23,698,655.93 美元。 自學(xué)習(xí)算法對(duì)于數(shù)據(jù)的高度依賴性加之其高速的運(yùn)算能力,使業(yè)務(wù)商們獲得隱形的競(jìng)爭(zhēng)優(yōu)勢(shì)。 行業(yè)中自主類算法共謀的不斷擴(kuò)大,必將損害其他競(jìng)爭(zhēng)者以及消費(fèi)者的利益。 故此,制訂市場(chǎng)競(jìng)爭(zhēng)中使用的自學(xué)習(xí)算法準(zhǔn)則應(yīng)當(dāng)由反壟斷委員會(huì)做出直接指導(dǎo)或授權(quán)。

    在推進(jìn)算法開(kāi)發(fā)準(zhǔn)則的同時(shí),還應(yīng)適當(dāng)擴(kuò)大自主類算法準(zhǔn)則的適用對(duì)象。 有學(xué)者提出,行業(yè)準(zhǔn)則針對(duì)的對(duì)象不僅包括程序員,還應(yīng)包括所謂的“中介機(jī)構(gòu)”,如以收集、匯總和評(píng)估數(shù)據(jù)為其主要業(yè)務(wù)模式,以協(xié)調(diào)用戶群體之間的供求關(guān)系的多邊數(shù)字平臺(tái)。 數(shù)據(jù)的中介機(jī)構(gòu),算法的中間開(kāi)發(fā)商,均屬于自學(xué)習(xí)算法開(kāi)發(fā)基礎(chǔ)的重要提供者。 由于中介機(jī)構(gòu)掌握更加豐富的信息,了解整個(gè)市場(chǎng)的動(dòng)向,高效助力自學(xué)習(xí)算法的快速學(xué)習(xí),因此,中介機(jī)構(gòu)同樣應(yīng)當(dāng)被納入相應(yīng)標(biāo)準(zhǔn)的規(guī)制對(duì)象范圍。

    其次,建立算法審計(jì)渠道,以便對(duì)算法進(jìn)行提前審查,保留備案。 反壟斷法應(yīng)當(dāng)為經(jīng)營(yíng)者設(shè)定一定的主動(dòng)報(bào)告義務(wù),在進(jìn)入市場(chǎng)之前,經(jīng)營(yíng)者有責(zé)任向反壟斷機(jī)關(guān)主動(dòng)報(bào)告算法信息,說(shuō)明他們使用的算法類型以及執(zhí)行的任務(wù)類型。 為保障算法審計(jì)的順利實(shí)施,可能需要開(kāi)發(fā)算法認(rèn)證系統(tǒng)以及為算法開(kāi)發(fā)團(tuán)隊(duì)配備社會(huì)代表,以便對(duì)其進(jìn)行較高程度的監(jiān)督。 此舉措不僅能夠有效地提升經(jīng)營(yíng)者的可預(yù)測(cè)性,也便于反壟斷執(zhí)法機(jī)關(guān)提前獲取高質(zhì)量的信息,促進(jìn)執(zhí)法效率的提升。

    最后,應(yīng)當(dāng)加強(qiáng)國(guó)際競(jìng)爭(zhēng)執(zhí)法的協(xié)調(diào)合作。 隨著經(jīng)濟(jì)全球化進(jìn)程日益加快,跨國(guó)公司的數(shù)量迅速增長(zhǎng),目前,已經(jīng)有多國(guó)聯(lián)合發(fā)布針對(duì)算法的年度競(jìng)爭(zhēng)執(zhí)法報(bào)告,并提出希望尋求各國(guó)反壟斷機(jī)關(guān)精誠(chéng)合作。 國(guó)際執(zhí)法合作的希望之光來(lái)自巴西經(jīng)濟(jì)調(diào)節(jié)管理委員會(huì)(CADE),其期望加強(qiáng)對(duì)北美機(jī)構(gòu)和歐共體正在討論的各種競(jìng)爭(zhēng)問(wèn)題的執(zhí)法,包括大數(shù)據(jù)的挑戰(zhàn)。 例如,CADE 最近的調(diào)查介入 Booking 和 Expedia 等在線酒店預(yù)訂平臺(tái),并對(duì)谷歌在巴西搜索市場(chǎng)的做法進(jìn)行了三項(xiàng)獨(dú)立調(diào)查,凸顯了其為與國(guó)際競(jìng)爭(zhēng)管理機(jī)構(gòu)調(diào)查時(shí)限相一致而付出的努力。

    (二)反壟斷執(zhí)法機(jī)關(guān)面向:具體案件的調(diào)查方案

    傳統(tǒng)的反壟斷調(diào)查工具難以適用于具有“黑匣子”性質(zhì)的自學(xué)習(xí)算法,即便能夠調(diào)取相應(yīng)經(jīng)營(yíng)者的數(shù)據(jù),龐大的數(shù)據(jù)量以及輸出決策的內(nèi)部隱蔽性也讓反壟斷機(jī)關(guān)無(wú)計(jì)可施。針對(duì)隱蔽的“算法黑箱”,以下重點(diǎn)介紹兩種破解方式,既能幫助反壟斷執(zhí)法機(jī)關(guān)減輕調(diào)查壓力,又有助提升調(diào)查結(jié)果的精準(zhǔn)度,以確保反壟斷執(zhí)法機(jī)關(guān)的權(quán)威性。

    1. 外部輸出推斷

    外部輸出推斷主要指通過(guò)觀察自學(xué)習(xí)算法的外部行為,進(jìn)行“違法癥狀”的統(tǒng)計(jì)收集,從而判定是否形成算法共謀。此種方法的主要優(yōu)點(diǎn)是其避免嘗試打開(kāi)復(fù)雜的算法黑箱,并專注于觀察和解釋相關(guān)經(jīng)營(yíng)者的行為。 有學(xué)者提出,直接監(jiān)視違反反托拉斯法的“癥狀”具有可操作性。 外部的一些“癥狀”使人們能夠明確地推斷出共謀行為,這被稱為“加成因素”。 例如,無(wú)法解釋的價(jià)格上漲或其他類型的價(jià)格異常已被認(rèn)為是加成因素。 同樣,當(dāng)價(jià)格相對(duì)較高或上漲且經(jīng)營(yíng)者產(chǎn)能過(guò)剩時(shí),穩(wěn)定的市場(chǎng)份額和缺乏客戶流失也表明競(jìng)爭(zhēng)對(duì)手存在串通行為。 例如,在一個(gè)依靠銷售代表的行業(yè)中,要實(shí)施共謀,經(jīng)營(yíng)者需要將代表的激勵(lì)從“銷售量先于價(jià)格”更改為“價(jià)格先于銷售量”。 這種激勵(lì)性變化被標(biāo)記為超級(jí)加成因子,超級(jí)加成因子一經(jīng)認(rèn)定,則此經(jīng)營(yíng)者將會(huì)被合理懷疑具有共謀的傾向。 外部輸出推斷通過(guò)量化信息,更為直觀準(zhǔn)確地展現(xiàn)了共謀的傾向性,便于對(duì)自主類共謀行為進(jìn)行調(diào)查與判定。

    2. 內(nèi)部算法破解

    內(nèi)部算法破解顧名思義,即無(wú)須避過(guò)隱蔽性問(wèn)題,直接對(duì)算法黑箱進(jìn)行有效破解。 換言之,其嘗試將“算法黑箱”變成“算法白箱”,主要措施包含強(qiáng)制披露并檢測(cè)企業(yè)源代碼以及通過(guò)語(yǔ)言處理技術(shù)解釋算法決策等。 反壟斷執(zhí)法機(jī)構(gòu)可以酌情要求經(jīng)營(yíng)者披露算法源代碼,進(jìn)行反向檢測(cè)并制定算法“黑名單”。 針對(duì)高度智能化的自學(xué)習(xí)算法,其雖可以有效地進(jìn)行迭代學(xué)習(xí),但根據(jù)其源代碼仍舊可以檢測(cè)出是否具有共謀傾向。 有學(xué)者提出了明確的禁止原則,如果它以競(jìng)爭(zhēng)對(duì)手過(guò)去的價(jià)格為價(jià)格限制條件,則需禁止此種定價(jià)算法。 算法可以被允許設(shè)置任何價(jià)格,但當(dāng)算法基于對(duì)手的過(guò)去價(jià)格對(duì)其進(jìn)行獎(jiǎng)勵(lì)和懲罰時(shí),此種算法就應(yīng)當(dāng)被納入禁止的范圍。

    反壟斷執(zhí)法機(jī)構(gòu)可通過(guò)語(yǔ)言處理技術(shù)解釋算法決策。國(guó)外某公司開(kāi)發(fā)了一種具有“檢測(cè)通信中的意圖與企業(yè)情緒”的技術(shù)。 這種技術(shù)可應(yīng)用于監(jiān)視競(jìng)爭(zhēng)對(duì)手之間的通信,幫助檢測(cè)并最終制止串通行為。 這依托于RegTech(監(jiān)管技術(shù))行業(yè)的成功。 目前,有幾家RegTech 公司提供基于自然語(yǔ)言處理(NLP)和自然語(yǔ)言理解(NLU)的AI 技術(shù),這些技術(shù)可以捕獲并理解語(yǔ)音和文字通信。 這種語(yǔ)言處理技術(shù)在自主類算法共謀中顯得格外重要,在許多備受矚目的國(guó)際反壟斷案件中,由于“通信”在調(diào)查中起著關(guān)鍵作用,因此反壟斷執(zhí)法機(jī)關(guān)常常需通過(guò)收集大量證據(jù)證明競(jìng)爭(zhēng)對(duì)手的“通信”行為,從而對(duì)共謀行為進(jìn)行判定。 利用NLP 和NLU 領(lǐng)域的AI 技術(shù),算法能夠以經(jīng)濟(jì)高效的方式實(shí)時(shí)標(biāo)記有問(wèn)題的通信,從而有效助力反壟斷執(zhí)法。 需要注意,由于破解算法內(nèi)部決策的工作技術(shù)性較強(qiáng),因此,反壟斷機(jī)關(guān)也應(yīng)當(dāng)做好對(duì)應(yīng)技術(shù)領(lǐng)域的人才儲(chǔ)備工作。 例如,可以考慮仿照英國(guó)和澳大利亞建立專門的技術(shù)部門,其主要從事技術(shù)性研究工作,尤其是對(duì)算法的默認(rèn)勾結(jié)和自動(dòng)人工勾結(jié)進(jìn)行仿制與破解。

    (三)參與主體的義務(wù)面向:共謀責(zé)任的分配與歸屬

    如前所述,自學(xué)習(xí)算法的決策結(jié)果缺乏直接的可解釋性。 其獨(dú)立自主做出的商業(yè)決策對(duì)市場(chǎng)自由競(jìng)爭(zhēng)造成損害時(shí),反壟斷執(zhí)法機(jī)關(guān)難以從中窺得人類的共謀意圖與行動(dòng),共謀的追責(zé)主體因此難以確定,更有人試圖探尋算法的承擔(dān)能力。 此前文章已充分討論三種可能的責(zé)任分配方式,即歸屬于機(jī)器人本身,部署它的人,或者無(wú)人承擔(dān)。 不追究任何人的責(zé)任,或是歸責(zé)于不具有人類的道德感的算法,都會(huì)產(chǎn)生一個(gè)相同的結(jié)果——開(kāi)辟算法使用者、開(kāi)發(fā)者、受益者們借助算法逃避共謀責(zé)任的避風(fēng)港。 兩種選擇都使得責(zé)任歸屬的威懾功能定位落空,法律的目的性價(jià)值最終無(wú)法實(shí)現(xiàn),因而并非現(xiàn)實(shí)的選擇。 責(zé)任承擔(dān)仍應(yīng)歸位于可能的自然人或單位。

    學(xué)界在進(jìn)一步的責(zé)任分配問(wèn)題上爭(zhēng)議頗多,即軟件開(kāi)發(fā)商、使用算法的經(jīng)營(yíng)者等相關(guān)主體應(yīng)當(dāng)在何種程度上承擔(dān)責(zé)任。 首先,多數(shù)學(xué)者認(rèn)為,經(jīng)營(yíng)者應(yīng)對(duì)其算法實(shí)施的行為承擔(dān)嚴(yán)格責(zé)任。 在德法競(jìng)爭(zhēng)部門關(guān)于算法的聯(lián)合報(bào)告中,法國(guó)競(jìng)爭(zhēng)委員會(huì)主席Isabel 堅(jiān)持認(rèn)為,即使算法是由第三方提供,經(jīng)營(yíng)者也應(yīng)對(duì)其行為負(fù)責(zé),并認(rèn)為經(jīng)營(yíng)者應(yīng)該嚴(yán)格掌握其算法的運(yùn)行機(jī)制。 無(wú)獨(dú)有偶,Vestager 委員也認(rèn)為經(jīng)營(yíng)者不能藏在電腦程序背后,逃避共謀的責(zé)任。 但報(bào)告中也有部分學(xué)者認(rèn)為只有當(dāng)經(jīng)營(yíng)者違反了合理的謹(jǐn)慎原則和可預(yù)見(jiàn)性標(biāo)準(zhǔn)時(shí),才應(yīng)對(duì)自己的算法承擔(dān)責(zé)任。 其次,對(duì)于開(kāi)發(fā)者,報(bào)告中的多數(shù)學(xué)者認(rèn)為應(yīng)當(dāng)免除責(zé)任,而歐盟反壟斷委員會(huì)則主張對(duì)軟件開(kāi)發(fā)商施加較高的責(zé)任與懲罰。 它呼吁制定追究軟件開(kāi)發(fā)商責(zé)任的具體規(guī)則,因其開(kāi)發(fā)算法定價(jià)軟件的行為增加了市場(chǎng)中的共謀活動(dòng),并表示較高程度的責(zé)任將首先阻止軟件開(kāi)發(fā)商在算法中埋藏共謀隱患。

    不能苛以軟件開(kāi)發(fā)商過(guò)高的義務(wù),但也不能完全免除其責(zé)任。 僅因其提供算法的行為就施加較高程度的注意義務(wù)與責(zé)任,有違比例原則,也不利于技術(shù)的創(chuàng)新與經(jīng)濟(jì)發(fā)展。然而經(jīng)濟(jì)學(xué)實(shí)驗(yàn)證明,競(jìng)爭(zhēng)對(duì)手采用同樣或相似算法時(shí)較可能達(dá)成共謀。 因此,提供相同算法的行為作為引發(fā)共謀的契機(jī),一定情況下可能會(huì)被追究責(zé)任。 在兩種情況下,軟件開(kāi)發(fā)商具有明顯的過(guò)錯(cuò),一是在于其設(shè)計(jì)的算法本身未通過(guò)算法設(shè)計(jì)合規(guī)的審查,代碼設(shè)置存在共謀隱患;二是在于未盡到對(duì)經(jīng)營(yíng)者的一般告知義務(wù),如未告知經(jīng)營(yíng)者使用算法可能產(chǎn)生的后果。 軟件開(kāi)發(fā)商在上述情況中理應(yīng)承擔(dān)必要的法律責(zé)任。

    經(jīng)營(yíng)者責(zé)任是規(guī)制的重中之重。 首先,借助間接證據(jù)能證明存在前述“協(xié)議”時(shí),經(jīng)營(yíng)者無(wú)疑需要承擔(dān)責(zé)任。 且類似于一般算法共謀,存在不同的獲益主體和控制主體時(shí)究竟需要按份承擔(dān)責(zé)任還是連帶承擔(dān)責(zé)任,主要取決于各方排除限制競(jìng)爭(zhēng)的意圖。 其次,當(dāng)自學(xué)習(xí)算法獨(dú)立自主達(dá)成共謀,經(jīng)營(yíng)者根本不具有共謀意圖時(shí),經(jīng)營(yíng)者也應(yīng)當(dāng)對(duì)算法的決策行為承擔(dān)責(zé)任。

    根據(jù)算法雇員理論,算法可以被類比成經(jīng)營(yíng)者的員工,而員工代理行為的后果便是由其所在的經(jīng)營(yíng)者承擔(dān)。 在實(shí)踐中,歐盟的判例法和歐盟委員會(huì)《關(guān)于將第101 條適用于橫向協(xié)定的準(zhǔn)則的回函》就規(guī)定,經(jīng)營(yíng)者應(yīng)當(dāng)對(duì)其員工的行為負(fù)責(zé),除非存在員工實(shí)施的決策超出代理權(quán)限等例外情況。 在學(xué)理上,單一經(jīng)濟(jì)實(shí)體理論基于下列因素得出經(jīng)營(yíng)者應(yīng)承擔(dān)其員工行為責(zé)任的結(jié)論:一是員工不會(huì)在市場(chǎng)上產(chǎn)生與雇傭組織相分離的競(jìng)爭(zhēng)力量,員工的一切經(jīng)濟(jì)行為都被認(rèn)為是經(jīng)營(yíng)者的行為;二是經(jīng)營(yíng)者對(duì)于其員工具有很強(qiáng)的控制力,能夠?qū)ζ涫┘記Q定性影響,并決定員工行動(dòng)的總體方針;三是該經(jīng)營(yíng)者從違反競(jìng)爭(zhēng)法的行為中獲益。 因此經(jīng)營(yíng)者需要對(duì)其雇員和受其控制的其他人的反競(jìng)爭(zhēng)行為負(fù)責(zé)。 對(duì)比上述三項(xiàng)標(biāo)準(zhǔn),算法與員工相似度極高,經(jīng)營(yíng)者應(yīng)對(duì)算法行為負(fù)責(zé)。 首先,恰如經(jīng)營(yíng)者與員工之間的雇傭關(guān)系,算法是經(jīng)營(yíng)者的一部分。 算法執(zhí)行的每個(gè)業(yè)務(wù)操作都被認(rèn)為是經(jīng)營(yíng)者的行為,而不會(huì)產(chǎn)生獨(dú)立于經(jīng)營(yíng)者的競(jìng)爭(zhēng)力量。 其次,算法的根本目標(biāo)是企業(yè)利潤(rùn)最大化,與員工一樣在經(jīng)營(yíng)者總體方針指導(dǎo)下為其提供服務(wù)。 算法只執(zhí)行經(jīng)營(yíng)者所予的某項(xiàng)政策,而不會(huì)違背經(jīng)營(yíng)者宗旨。 雖然算法有可能會(huì)獨(dú)立實(shí)施侵權(quán)行為,但人類員工同樣也有一定的自主性。 算法甚至因其“理性”而更容易控制,因?yàn)槔硇詭?lái)相對(duì)的可預(yù)測(cè)性,而人類可能會(huì)表現(xiàn)出非理性的情緒,并背離政策法規(guī)。 簡(jiǎn)言之,算法較之人類具有更高的可控性。 最后,算法共謀行為所產(chǎn)生的收益歸經(jīng)營(yíng)者所有,員工同樣為經(jīng)營(yíng)者創(chuàng)造價(jià)值。因而兩者在反壟斷責(zé)任方面具有可比性,算法應(yīng)當(dāng)被認(rèn)為是經(jīng)營(yíng)者這個(gè)經(jīng)濟(jì)實(shí)體的一部分,滿足三項(xiàng)要求的經(jīng)營(yíng)者需要對(duì)此承擔(dān)嚴(yán)格責(zé)任。

    四、 結(jié)語(yǔ)

    隨著人工智能技術(shù)的不斷發(fā)展,自學(xué)習(xí)算法在數(shù)據(jù)驅(qū)動(dòng)型市場(chǎng)中發(fā)揮的作用日趨重要,對(duì)市場(chǎng)競(jìng)爭(zhēng)方式產(chǎn)生了深刻影響。 人工智能技術(shù)支持下的自學(xué)習(xí)算法因其高度智能化和隱蔽性的特征,通過(guò)分析海量數(shù)據(jù),重復(fù)迭代學(xué)習(xí),極大地增強(qiáng)了算法共謀的查處難度。 由此,我國(guó)反壟斷界需重新審視自主類算法共謀的認(rèn)定標(biāo)準(zhǔn),通過(guò)構(gòu)建針對(duì)不同面向的多元化規(guī)制體系以減輕共謀的危害。 與此同時(shí),中國(guó)反壟斷法學(xué)界與實(shí)務(wù)部門也應(yīng)保持精誠(chéng)合作,完善大數(shù)據(jù)時(shí)代針對(duì)算法共謀行為的反壟斷理論體系與法律框架,圍繞新興技術(shù)和競(jìng)爭(zhēng)理念進(jìn)一步探索數(shù)字經(jīng)濟(jì)下的中國(guó)方案,贏得數(shù)字革命時(shí)代變革的領(lǐng)先契機(jī)。

    猜你喜歡
    共謀反壟斷法反壟斷
    壟斷與企業(yè)創(chuàng)新——來(lái)自《反壟斷法》實(shí)施的證據(jù)
    監(jiān)督中的共謀與縱容
    活力(2019年19期)2020-01-06 07:34:42
    因地制宜惠民生 共謀福祉穩(wěn)發(fā)展
    共謀共同正犯否定論
    政治與法律(2015年5期)2015-03-01 02:21:11
    搭售行為的反壟斷法分析路徑
    顧一帆:同心協(xié)力,共謀發(fā)展
    汽車零部件(2014年5期)2014-11-11 12:24:20
    淺議“區(qū)域”的反壟斷問(wèn)題
    反壟斷法的制度效果不可抹殺
    法人(2014年1期)2014-02-27 10:40:48
    反壟斷亮劍
    知識(shí)產(chǎn)品搭售及其反壟斷規(guī)制探討
    色综合色国产| 高清视频免费观看一区二区 | 天堂√8在线中文| 啦啦啦中文免费视频观看日本| videossex国产| 春色校园在线视频观看| 禁无遮挡网站| 五月天丁香电影| 国产精品不卡视频一区二区| 免费av观看视频| 国产成人一区二区在线| 黄色配什么色好看| 熟妇人妻久久中文字幕3abv| 国产毛片a区久久久久| 十八禁国产超污无遮挡网站| 九九爱精品视频在线观看| 好男人在线观看高清免费视频| 男人和女人高潮做爰伦理| 国产淫片久久久久久久久| 精品一区二区三区视频在线| 中文乱码字字幕精品一区二区三区 | 丰满乱子伦码专区| 淫秽高清视频在线观看| 久久97久久精品| 春色校园在线视频观看| 国产视频内射| 中文字幕人妻熟人妻熟丝袜美| 欧美潮喷喷水| 亚洲最大成人中文| 色网站视频免费| 精品熟女少妇av免费看| 日韩精品青青久久久久久| 美女国产视频在线观看| 欧美成人a在线观看| 女的被弄到高潮叫床怎么办| 老司机影院毛片| 婷婷六月久久综合丁香| 国语对白做爰xxxⅹ性视频网站| 欧美成人午夜免费资源| 熟女电影av网| 国产男人的电影天堂91| 亚洲人与动物交配视频| 欧美+日韩+精品| 2021天堂中文幕一二区在线观| 日韩强制内射视频| 又爽又黄无遮挡网站| 国产亚洲精品av在线| 午夜日本视频在线| 青青草视频在线视频观看| 国产精品美女特级片免费视频播放器| av线在线观看网站| 亚洲三级黄色毛片| 小蜜桃在线观看免费完整版高清| 大陆偷拍与自拍| 欧美日韩在线观看h| 国产成年人精品一区二区| 欧美zozozo另类| 韩国av在线不卡| 日本三级黄在线观看| 真实男女啪啪啪动态图| 欧美日本视频| 在线a可以看的网站| 亚洲av中文av极速乱| 亚洲av成人精品一二三区| 国产亚洲午夜精品一区二区久久 | 亚洲婷婷狠狠爱综合网| 99热6这里只有精品| 蜜桃久久精品国产亚洲av| 日韩电影二区| 精品酒店卫生间| 边亲边吃奶的免费视频| 日本wwww免费看| 狂野欧美激情性xxxx在线观看| 深爱激情五月婷婷| 欧美成人a在线观看| 禁无遮挡网站| 亚洲精品中文字幕在线视频 | 欧美97在线视频| 看免费成人av毛片| 永久免费av网站大全| 欧美bdsm另类| 狂野欧美激情性xxxx在线观看| 亚洲va在线va天堂va国产| 麻豆av噜噜一区二区三区| 免费黄频网站在线观看国产| 中文资源天堂在线| 日本免费在线观看一区| 国产一区二区在线观看日韩| 最近视频中文字幕2019在线8| 午夜福利在线观看吧| 亚洲人成网站在线播| 国产精品1区2区在线观看.| 亚洲综合色惰| 成人av在线播放网站| av专区在线播放| 神马国产精品三级电影在线观看| 日本av手机在线免费观看| 国产精品久久久久久久久免| 肉色欧美久久久久久久蜜桃 | 好男人在线观看高清免费视频| 日韩一区二区视频免费看| 亚洲精品乱码久久久久久按摩| av一本久久久久| 99热这里只有是精品在线观看| 欧美人与善性xxx| 哪个播放器可以免费观看大片| 69av精品久久久久久| 伊人久久国产一区二区| 男女啪啪激烈高潮av片| 欧美日韩视频高清一区二区三区二| 啦啦啦啦在线视频资源| 欧美区成人在线视频| 美女黄网站色视频| 国产美女午夜福利| 国产精品.久久久| 我的女老师完整版在线观看| 狂野欧美白嫩少妇大欣赏| 欧美日本视频| 男人舔女人下体高潮全视频| 一本久久精品| 亚洲精品一二三| 亚洲欧美日韩无卡精品| 午夜免费激情av| 可以在线观看毛片的网站| 2022亚洲国产成人精品| 91av网一区二区| 天美传媒精品一区二区| 精品人妻熟女av久视频| 欧美极品一区二区三区四区| 日韩视频在线欧美| 精品久久久久久久人妻蜜臀av| 精品少妇黑人巨大在线播放| 国产精品一区二区三区四区免费观看| 国产成人午夜福利电影在线观看| 色网站视频免费| 日本色播在线视频| 一级毛片电影观看| 婷婷色综合www| 丝瓜视频免费看黄片| 99re6热这里在线精品视频| 在线观看av片永久免费下载| 我的女老师完整版在线观看| 日日摸夜夜添夜夜爱| 日本黄色片子视频| 国产在线男女| 精品熟女少妇av免费看| av免费在线看不卡| 精品一区二区三区视频在线| 精品少妇黑人巨大在线播放| 日韩av免费高清视频| 99热6这里只有精品| 看免费成人av毛片| 男女边吃奶边做爰视频| 成年av动漫网址| 免费观看在线日韩| 我要看日韩黄色一级片| 99热这里只有精品一区| 婷婷色麻豆天堂久久| 69人妻影院| 中文字幕人妻熟人妻熟丝袜美| 午夜福利高清视频| 国产精品久久久久久av不卡| 99久久精品一区二区三区| 亚洲自拍偷在线| av卡一久久| 夜夜爽夜夜爽视频| 黄片无遮挡物在线观看| 一级毛片我不卡| 国产在线男女| 免费电影在线观看免费观看| 女人被狂操c到高潮| 黄色日韩在线| 色哟哟·www| 欧美日韩亚洲高清精品| 国产一级毛片七仙女欲春2| 国产精品精品国产色婷婷| 国产91av在线免费观看| 国产黄色免费在线视频| 男插女下体视频免费在线播放| 国产午夜精品一二区理论片| 久久久久精品久久久久真实原创| 免费黄色在线免费观看| 在线a可以看的网站| 精品久久久久久久久av| 久久精品国产鲁丝片午夜精品| 成人毛片60女人毛片免费| 超碰av人人做人人爽久久| 伊人久久国产一区二区| 中文欧美无线码| 久久午夜福利片| 日韩欧美国产在线观看| 三级男女做爰猛烈吃奶摸视频| 久久99蜜桃精品久久| 久久久国产一区二区| 亚洲精品乱久久久久久| 成人亚洲精品一区在线观看 | 亚洲欧美成人精品一区二区| 欧美三级亚洲精品| 一边亲一边摸免费视频| 午夜福利视频1000在线观看| 国产精品麻豆人妻色哟哟久久 | 99九九线精品视频在线观看视频| 日本黄色片子视频| 日韩在线高清观看一区二区三区| 日韩一本色道免费dvd| 中国国产av一级| 美女高潮的动态| 亚洲性久久影院| 97人妻精品一区二区三区麻豆| 丝袜美腿在线中文| 日日啪夜夜爽| 日韩欧美一区视频在线观看 | 一级a做视频免费观看| 日本一二三区视频观看| av在线老鸭窝| 国产精品久久久久久久电影| 高清日韩中文字幕在线| 国产av国产精品国产| 极品少妇高潮喷水抽搐| 少妇人妻一区二区三区视频| 熟女人妻精品中文字幕| 大香蕉久久网| 欧美日韩视频高清一区二区三区二| 又黄又爽又刺激的免费视频.| 国产黄频视频在线观看| 国产精品一区www在线观看| 看免费成人av毛片| 色哟哟·www| 色尼玛亚洲综合影院| 日韩av不卡免费在线播放| 午夜福利在线观看吧| 欧美高清成人免费视频www| 99久久精品热视频| 国产一级毛片在线| 国产亚洲5aaaaa淫片| 亚洲精品国产av成人精品| 91狼人影院| 国产精品人妻久久久影院| 蜜桃亚洲精品一区二区三区| 日产精品乱码卡一卡2卡三| 美女cb高潮喷水在线观看| 日韩国内少妇激情av| xxx大片免费视频| 中文字幕亚洲精品专区| 国产永久视频网站| 禁无遮挡网站| 大陆偷拍与自拍| 欧美另类一区| a级毛色黄片| 亚洲欧美日韩东京热| 成人毛片a级毛片在线播放| 亚洲av男天堂| 超碰av人人做人人爽久久| 狠狠精品人妻久久久久久综合| 免费av不卡在线播放| 在线免费观看的www视频| 在现免费观看毛片| 久久这里有精品视频免费| 国产精品无大码| 国产成人福利小说| 在线播放无遮挡| 一区二区三区高清视频在线| 国产黄a三级三级三级人| 成年免费大片在线观看| 色综合色国产| 我的女老师完整版在线观看| 国产精品嫩草影院av在线观看| 啦啦啦韩国在线观看视频| 亚洲欧美一区二区三区黑人 | 国产精品99久久久久久久久| 成年女人看的毛片在线观看| 日日撸夜夜添| 深爱激情五月婷婷| 干丝袜人妻中文字幕| 日本熟妇午夜| 只有这里有精品99| 国产成年人精品一区二区| 女人十人毛片免费观看3o分钟| 麻豆精品久久久久久蜜桃| 日日摸夜夜添夜夜添av毛片| 汤姆久久久久久久影院中文字幕 | 日本欧美国产在线视频| 亚洲在线观看片| 国产精品综合久久久久久久免费| 国产男人的电影天堂91| 久99久视频精品免费| 国产精品不卡视频一区二区| 中文天堂在线官网| 91久久精品国产一区二区三区| 色视频www国产| 亚洲色图av天堂| 国产 亚洲一区二区三区 | 最后的刺客免费高清国语| 又黄又爽又刺激的免费视频.| 久久精品人妻少妇| 在线观看美女被高潮喷水网站| 亚洲av电影不卡..在线观看| 国产午夜福利久久久久久| 久久精品综合一区二区三区| 成人鲁丝片一二三区免费| 国产精品一区二区在线观看99 | 亚洲国产色片| 久久精品国产亚洲av涩爱| 26uuu在线亚洲综合色| 国产精品久久视频播放| 国产在视频线在精品| 高清午夜精品一区二区三区| 国产精品一及| 男插女下体视频免费在线播放| 国产 一区 欧美 日韩| 日本-黄色视频高清免费观看| 国产伦精品一区二区三区视频9| 一区二区三区免费毛片| 黄色欧美视频在线观看| 天天躁夜夜躁狠狠久久av| 日韩成人av中文字幕在线观看| 伊人久久国产一区二区| 男的添女的下面高潮视频| 欧美日韩视频高清一区二区三区二| 亚洲图色成人| 成人毛片a级毛片在线播放| 综合色丁香网| 尤物成人国产欧美一区二区三区| 22中文网久久字幕| 丝袜美腿在线中文| 成人综合一区亚洲| 黄片无遮挡物在线观看| 午夜免费激情av| 日韩在线高清观看一区二区三区| 又大又黄又爽视频免费| 国产淫片久久久久久久久| 天天一区二区日本电影三级| 精品午夜福利在线看| 一二三四中文在线观看免费高清| 国产一区亚洲一区在线观看| 美女xxoo啪啪120秒动态图| 中文字幕免费在线视频6| 我的老师免费观看完整版| 搡女人真爽免费视频火全软件| 国产伦精品一区二区三区视频9| 国产av国产精品国产| 亚洲av电影不卡..在线观看| 1000部很黄的大片| 国产黄片视频在线免费观看| 久久久a久久爽久久v久久| 亚洲av中文av极速乱| 亚洲aⅴ乱码一区二区在线播放| 午夜精品一区二区三区免费看| av播播在线观看一区| 能在线免费观看的黄片| 22中文网久久字幕| 少妇熟女欧美另类| 亚洲精品乱码久久久久久按摩| 日韩 亚洲 欧美在线| 永久免费av网站大全| 亚洲精品日本国产第一区| 国内精品美女久久久久久| 国产亚洲av嫩草精品影院| 精品不卡国产一区二区三区| 亚洲国产最新在线播放| 熟女电影av网| 好男人在线观看高清免费视频| 寂寞人妻少妇视频99o| 亚洲欧美清纯卡通| 两个人的视频大全免费| 国产成人aa在线观看| 久久久久久九九精品二区国产| 国产精品嫩草影院av在线观看| 国产一级毛片七仙女欲春2| 99久国产av精品国产电影| 国产熟女欧美一区二区| 免费观看的影片在线观看| 夜夜看夜夜爽夜夜摸| 高清欧美精品videossex| av.在线天堂| 久久久久九九精品影院| 国内精品美女久久久久久| 国产片特级美女逼逼视频| 大话2 男鬼变身卡| 日韩 亚洲 欧美在线| 亚洲精品视频女| 久久精品国产亚洲网站| 亚洲成人精品中文字幕电影| 久热久热在线精品观看| 亚洲美女视频黄频| 最近最新中文字幕大全电影3| 久久99热这里只有精品18| 亚洲精品乱码久久久v下载方式| 日本wwww免费看| 精品久久久久久久久久久久久| 久久久久久伊人网av| 久久久a久久爽久久v久久| xxx大片免费视频| 成人综合一区亚洲| 淫秽高清视频在线观看| 十八禁网站网址无遮挡 | 大又大粗又爽又黄少妇毛片口| 床上黄色一级片| 亚洲人成网站在线观看播放| 观看美女的网站| 一个人看视频在线观看www免费| 久久综合国产亚洲精品| 女人久久www免费人成看片| 中国国产av一级| 欧美高清性xxxxhd video| 欧美高清性xxxxhd video| 好男人在线观看高清免费视频| 2021少妇久久久久久久久久久| 天天一区二区日本电影三级| 最近视频中文字幕2019在线8| 午夜精品一区二区三区免费看| 精品久久久久久电影网| 久久99热6这里只有精品| www.av在线官网国产| or卡值多少钱| 免费人成在线观看视频色| 亚洲欧美成人综合另类久久久| 亚洲人与动物交配视频| 国产精品一区二区在线观看99 | 免费观看性生交大片5| 精品国内亚洲2022精品成人| 亚洲综合色惰| 如何舔出高潮| 日产精品乱码卡一卡2卡三| 久久久久网色| 国产av码专区亚洲av| 少妇猛男粗大的猛烈进出视频 | 亚洲成人中文字幕在线播放| 精品人妻一区二区三区麻豆| 午夜激情久久久久久久| 人人妻人人看人人澡| 久久综合国产亚洲精品| 成人亚洲精品一区在线观看 | 亚洲av成人av| 日韩成人伦理影院| 欧美激情在线99| 在线a可以看的网站| 午夜精品在线福利| 蜜臀久久99精品久久宅男| 久久草成人影院| 菩萨蛮人人尽说江南好唐韦庄| 老师上课跳d突然被开到最大视频| 亚洲18禁久久av| 波多野结衣巨乳人妻| 日韩成人av中文字幕在线观看| 白带黄色成豆腐渣| 国产亚洲av嫩草精品影院| 中文字幕av成人在线电影| 99久国产av精品| 亚洲国产精品成人综合色| av专区在线播放| 在线免费观看的www视频| 国产久久久一区二区三区| 3wmmmm亚洲av在线观看| 极品少妇高潮喷水抽搐| 国产精品无大码| 99热这里只有精品一区| 中文精品一卡2卡3卡4更新| 人人妻人人看人人澡| 国产黄片视频在线免费观看| 全区人妻精品视频| 非洲黑人性xxxx精品又粗又长| 91av网一区二区| 极品少妇高潮喷水抽搐| 色综合站精品国产| 天天一区二区日本电影三级| 春色校园在线视频观看| 午夜日本视频在线| 内地一区二区视频在线| 精品午夜福利在线看| kizo精华| 大片免费播放器 马上看| 大话2 男鬼变身卡| 啦啦啦啦在线视频资源| 精品久久久久久电影网| 午夜免费观看性视频| 少妇裸体淫交视频免费看高清| 免费av不卡在线播放| 在线免费十八禁| 自拍偷自拍亚洲精品老妇| 欧美成人午夜免费资源| 床上黄色一级片| 亚洲在久久综合| 精品久久久精品久久久| 欧美精品一区二区大全| 国产69精品久久久久777片| 久久精品久久久久久噜噜老黄| av在线老鸭窝| 欧美性感艳星| 插逼视频在线观看| 51国产日韩欧美| 亚洲精品日韩av片在线观看| 男女那种视频在线观看| 嫩草影院精品99| 看十八女毛片水多多多| 国产人妻一区二区三区在| 中文欧美无线码| 日韩欧美国产在线观看| 国产亚洲最大av| 精品酒店卫生间| 日韩亚洲欧美综合| 黄片无遮挡物在线观看| 丝袜喷水一区| 偷拍熟女少妇极品色| 大陆偷拍与自拍| 午夜激情欧美在线| 九九久久精品国产亚洲av麻豆| 日韩视频在线欧美| 少妇裸体淫交视频免费看高清| 熟女电影av网| 日本黄色片子视频| 日韩欧美三级三区| 亚洲国产日韩欧美精品在线观看| 性插视频无遮挡在线免费观看| 男的添女的下面高潮视频| 女人被狂操c到高潮| 国产成人91sexporn| 欧美变态另类bdsm刘玥| 嫩草影院入口| 亚洲精品乱码久久久久久按摩| 内地一区二区视频在线| 久久久精品94久久精品| 免费av不卡在线播放| 最近的中文字幕免费完整| 亚洲欧美成人综合另类久久久| 国产欧美日韩精品一区二区| 日日摸夜夜添夜夜爱| 国产高潮美女av| 亚洲av电影不卡..在线观看| 日本猛色少妇xxxxx猛交久久| 日韩,欧美,国产一区二区三区| 免费观看的影片在线观看| 中文欧美无线码| 国产色爽女视频免费观看| 超碰av人人做人人爽久久| 亚洲国产高清在线一区二区三| 麻豆av噜噜一区二区三区| 国产成人免费观看mmmm| 人妻一区二区av| 亚洲欧美清纯卡通| 亚洲欧美日韩无卡精品| 国产精品麻豆人妻色哟哟久久 | 国产在线男女| 在线观看免费高清a一片| 我的老师免费观看完整版| 欧美丝袜亚洲另类| 国产av在哪里看| 国产精品久久久久久久久免| 欧美日本视频| 91午夜精品亚洲一区二区三区| 欧美日韩国产mv在线观看视频 | 中国美白少妇内射xxxbb| 国产精品久久久久久精品电影| 午夜久久久久精精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久综合国产亚洲精品| 成人欧美大片| 亚洲精品国产成人久久av| 天堂av国产一区二区熟女人妻| 久久久精品94久久精品| 91狼人影院| 久久精品久久精品一区二区三区| 女人久久www免费人成看片| 一区二区三区乱码不卡18| 国产午夜福利久久久久久| 成人av在线播放网站| 国产黄色免费在线视频| 久久精品久久久久久久性| 久久精品久久久久久噜噜老黄| 国产 一区 欧美 日韩| 久久久国产一区二区| 中国美白少妇内射xxxbb| 久久6这里有精品| 九九在线视频观看精品| 在线免费十八禁| 91aial.com中文字幕在线观看| 熟妇人妻不卡中文字幕| 丰满人妻一区二区三区视频av| 啦啦啦韩国在线观看视频| 搡老乐熟女国产| 日韩,欧美,国产一区二区三区| 国产黄色小视频在线观看| 老司机影院毛片| 精品欧美国产一区二区三| 久久精品人妻少妇| 免费看av在线观看网站| 26uuu在线亚洲综合色| 久久精品熟女亚洲av麻豆精品 | 国产伦一二天堂av在线观看| 男人和女人高潮做爰伦理| 精品久久久久久久久亚洲| 小蜜桃在线观看免费完整版高清| 欧美成人一区二区免费高清观看| 国产精品无大码| 午夜免费观看性视频| 最后的刺客免费高清国语| av免费观看日本| 少妇的逼水好多| 18禁裸乳无遮挡免费网站照片| 国产一区二区三区av在线| 国产伦精品一区二区三区四那| 最后的刺客免费高清国语| av免费观看日本| 久久久欧美国产精品| 2021少妇久久久久久久久久久| 男人舔女人下体高潮全视频| 亚洲精品一二三| 日韩亚洲欧美综合| 精品久久久久久电影网| 内射极品少妇av片p| 午夜爱爱视频在线播放| 我的女老师完整版在线观看| www.av在线官网国产| 日韩一区二区三区影片| 一级片'在线观看视频|