• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)算法決策的問責(zé)與對策研究

    2020-06-01 08:15迪莉婭
    現(xiàn)代情報 2020年6期
    關(guān)鍵詞:問責(zé)決策算法

    迪莉婭

    摘 要:[目的/意義]隨著人機(jī)社會的到來,大數(shù)據(jù)算法決策的應(yīng)用將會越來越普遍。但是大數(shù)據(jù)算法決策與普通的人工決策有很大的差異,其問責(zé)將是政府和企業(yè)未來面臨的重要難題。[方法/過程]本文探討了大數(shù)據(jù)算法決策問責(zé)的含義、重要性和緣起。[結(jié)果/結(jié)論]在分析了其難點的基礎(chǔ)上,從問責(zé)主體、機(jī)制、救濟(jì)措施3個方面提出了完善大數(shù)據(jù)算法決策問責(zé)的對策。

    關(guān)鍵詞:大數(shù)據(jù)算法決策;問責(zé)

    Abstract:[Purpose/Significance]With the advent of man-machine society,decision-making of big data algorithm will become a more and more common thing.But the decision-making of big data algorithm is quite different from that of ordinary manual decision-making.Its accountability will be an important problem for the governments and enterprises in the future.[Method/Process]This paper discussed the meaning,importance and origin of the decision making accountability of big data algorithm.[Results/Conclusion]The paper proposed the accountability countermeasures from the perspective of accountability subject and mechanism as well as relief measures based on the analysis of the difficulties of the decision-making accountability of big data algorithm.

    Key words:decision-making of big data algorithm;accountability;countermeasure

    2017年,國務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,對人工智能的倫理問題研究提出了明確的要求,要求展開跨學(xué)科的探索,加強(qiáng)前瞻性的預(yù)防和引導(dǎo),以降低其帶來的風(fēng)險,保證人工智能的安全、可靠和可控的發(fā)展[1]。人工智能的核心是算法問題,算法的不同產(chǎn)生的影響和結(jié)果將會千差萬別。算法可以稱之為當(dāng)今計算機(jī)、手機(jī)、物聯(lián)網(wǎng)的大腦。隨著大數(shù)據(jù)的發(fā)展,海量數(shù)據(jù)集的生成,單靠人類自己的力量去分析和利用數(shù)據(jù)做出決策已經(jīng)成為不可能。具體而言,算法(Algorithm)是基于特定的計算模型,旨在解決某信息處理問題而設(shè)計的一系列指令序列。簡而言之,算法就是計算機(jī)代碼的運算。

    很多政府部門和企業(yè)采用大數(shù)據(jù)的技術(shù)和方法在公共政策的制定和市場運營中依靠算法智能決策,例如:在教育、醫(yī)療、司法、保險、金融領(lǐng)域進(jìn)行信用評分評級、趨向分析判定、內(nèi)容推介和量化評價等。因此,隨著大數(shù)據(jù)的集聚,越來越多的政府部門和企業(yè)將算法作為數(shù)據(jù)轉(zhuǎn)化為知識及做出決策的工具,這就為算法主宰決策提供了無限增長的可能性,而這種增長帶來的影響是深遠(yuǎn)的。一方面,隨著人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的發(fā)展,很多決策依據(jù)一定的算法可以自動做出,代替了傳統(tǒng)的人工決策,提高了決策的效率;另一方面,當(dāng)算法成為越來越多的組織機(jī)構(gòu)依賴決策的工具,那么算法不僅將重塑個人的生活,而且在大規(guī)模的社會、經(jīng)濟(jì)和政治進(jìn)程中將發(fā)揮重要的作用,即算法它不再僅僅被看作是代碼的運算,而是代表了組織在各個領(lǐng)域中對資源的分配、輿論的導(dǎo)向、社會的公平等方面起到重要的指向性作用。雖然計算機(jī)常被視為客觀理性的機(jī)器,但算法是由人設(shè)計出來的,這本身就有可能具有偏見性和錯誤性。因此,大數(shù)據(jù)算法決策的問責(zé)成為政府和企業(yè)未來面臨的難題,也成為學(xué)者們研究的重要課題。

    1 文獻(xiàn)綜述

    關(guān)于大數(shù)據(jù)算法問責(zé)的研究,國外有關(guān)的組織機(jī)構(gòu)和學(xué)者已經(jīng)從其必要性、算法決策透明化與問責(zé)、算法決策問責(zé)與法律、算法決策責(zé)任分配等方面展開了研究。

    1)大數(shù)據(jù)算法決策問責(zé)的必要性。萬維網(wǎng)基金會認(rèn)為,算法決策之所以備受質(zhì)疑是因為其黑箱問題,這往往將公民和消費者置于很高的風(fēng)險當(dāng)中,為了減少算法決策造成的傷害和歧視,需要加強(qiáng)大數(shù)據(jù)算法決策的問責(zé),解決技術(shù)、倫理、知識和政策方面的鴻溝[2]。2)大數(shù)據(jù)算法決策透明化與問責(zé)。學(xué)者Paul B de Laat指出,算法的完全透明并不有助于其問責(zé),因為透明有可能會侵犯個人的隱私,同時也會使企業(yè)存在失去競爭力的風(fēng)險。因此,他認(rèn)為算法可以向監(jiān)督機(jī)構(gòu)公開,但是向大眾透明化并沒有可取之處[3]。3)大數(shù)據(jù)算法決策問責(zé)的法律問題。Anton Vedder等認(rèn)為,由于大數(shù)據(jù)環(huán)境的算法,只有將算法不僅僅看作數(shù)據(jù)處理的活動中,算法的問責(zé)才有可能得到重視。目前,算法的影響已經(jīng)遠(yuǎn)遠(yuǎn)超過了數(shù)據(jù)保護(hù)法的范疇。在歐盟的《通用數(shù)據(jù)保護(hù)法》序言中指出,考慮到算法對自然人權(quán)利和自由的處理可能造成的風(fēng)險,需要調(diào)整控制者和加工者的義務(wù)。但是該法的主體部分并沒有對“義務(wù)的規(guī)制”進(jìn)行詳細(xì)的說明,影響了對算法問責(zé)的施行[4]。4)大數(shù)據(jù)算法決策責(zé)任的分配問題。Maja Brkan認(rèn)為,大數(shù)據(jù)算法決策所產(chǎn)生的不良后果應(yīng)該由算法的設(shè)計者,即開發(fā)商和算法的數(shù)據(jù)提供者,即算法的采納者之間進(jìn)行責(zé)任分配[5]。

    目前,我國學(xué)者關(guān)于大數(shù)據(jù)算法決策的問題研究,更多的是從行業(yè)倫理規(guī)制的角度進(jìn)行探討,主要包括:1)算法在新聞領(lǐng)域應(yīng)用中所產(chǎn)生的倫理問題。學(xué)者王亞妮認(rèn)為,算法時代的來臨極大地提高了信息分發(fā)的效率,其中的推薦算法在一定程度上減輕了信息選擇的負(fù)擔(dān),但不同的算法都有其倫理風(fēng)險,將會帶來信息繭房、信息選擇權(quán)的讓渡以及主流價值導(dǎo)向的缺失等問題[6]。2)算法在無人駕駛領(lǐng)域應(yīng)用中所產(chǎn)生的倫理問題。學(xué)者王珀認(rèn)為,無人駕駛事故應(yīng)急算法中,為了防止“囚徒困境”的倫理風(fēng)險,認(rèn)為不宜強(qiáng)制采用功利主義的算法[7]。3)算法在人工智能領(lǐng)域應(yīng)用中所產(chǎn)生的倫理問題。學(xué)者魏強(qiáng)、陸平認(rèn)為,新一代人工智能具有高度的自適應(yīng)性,給人類帶來福利的同時,也產(chǎn)生了隱私、安全、透明性等倫理風(fēng)險[8]。

    從整體來看,國外學(xué)者對于大數(shù)據(jù)算法問責(zé)已經(jīng)有了較為深入的研究,雖然大數(shù)據(jù)算法倫理會涉及到責(zé)任問題,但是我國學(xué)者更多的還是從道德層面進(jìn)行闡述和分析,而關(guān)于對其專門的“問責(zé)”問題研究還處于起始階段。

    2 大數(shù)據(jù)算法決策問責(zé)的含義

    隨著算法在各個領(lǐng)域的應(yīng)用,算法的透明度受到了普遍關(guān)注,并由此引發(fā)了算法問責(zé)的問題。因為算法系統(tǒng)的自主性很強(qiáng),它根據(jù)獲取的數(shù)據(jù),不斷進(jìn)化和學(xué)習(xí),能夠形成一套自己的體系。這種結(jié)構(gòu)是開發(fā)設(shè)計者預(yù)料之外的,包括“黑箱”的存在,很難追溯到錯誤的根源,這就可能會給當(dāng)前的倫理和秩序帶來關(guān)于歸責(zé)問題的挑戰(zhàn):到底是算法的失誤,還是工作人員的錯誤判斷?在不久的將來,責(zé)任界定、行為監(jiān)管的判定可能變得十分困難,從而導(dǎo)致責(zé)任鴻溝問題的產(chǎn)生[9]。

    因此,很多學(xué)者就什么是算法決策問責(zé)展開了討論。學(xué)者Neyland D認(rèn)為,問責(zé)意味著算法決策不僅需要證明其合理性而且還需承擔(dān)減輕任何由其造成的負(fù)面社會影響和潛在傷害的義務(wù)[10]。Robyn Caplan認(rèn)為,算法決策問責(zé)不僅指算法對社會產(chǎn)生影響的責(zé)任分配,如果造成了傷害,還包括相應(yīng)的救治機(jī)制。雖然以上兩位學(xué)者強(qiáng)調(diào)了問責(zé)的內(nèi)容,但是問責(zé)的主體并沒有闡明。美國公共政策理事會對于算法決策問責(zé)的主體做出了明確的規(guī)定,指出應(yīng)用算法的機(jī)構(gòu)即使對算法的結(jié)果不能做出合理的解釋,但是也應(yīng)該對采用算法做出的決策負(fù)責(zé)[11]。而本文認(rèn)為,算法決策問責(zé)是指采納和應(yīng)用算法決策的機(jī)構(gòu)在應(yīng)用算法決策過程中對于社會和個人產(chǎn)生的不良影響所應(yīng)承擔(dān)的責(zé)任以及采取相應(yīng)救濟(jì)措施的過程。

    3 大數(shù)據(jù)算法決策問責(zé)的重要性

    人工智能的本質(zhì)就是一種算法模型,在強(qiáng)大的計算能力支持下,計算機(jī)可以借助算法不斷地從大數(shù)據(jù)中進(jìn)行分析和學(xué)習(xí),通過反復(fù)試錯和改錯來吸取經(jīng)驗,實現(xiàn)自身智能化程度的不斷提高,從而幫助人類作出相應(yīng)的決策[9]。未來為了促進(jìn)人機(jī)社會的和諧發(fā)展,算法問責(zé)的研究和確立具有重要的意義。

    1)有利于促進(jìn)大數(shù)據(jù)算法決策過程的透明度。為了避免智能化決策的“黑箱”,促進(jìn)大數(shù)據(jù)算法決策的數(shù)據(jù)來源、質(zhì)量及算法模型的設(shè)計以及運行過程的透明度,是保證算法決策合法、公平、正義的重要意義所在,為大數(shù)據(jù)決策提供重要保障。

    2)有利于促進(jìn)算法決策模型的科學(xué)性。大數(shù)據(jù)算法決策模型的設(shè)計是決策者思想、理念的最好體現(xiàn)。通過建立算法決策問責(zé)機(jī)制,促進(jìn)和指導(dǎo)大數(shù)據(jù)決策模型的設(shè)計必須符合客觀規(guī)律,具有客觀性、系統(tǒng)性和邏輯性,減少在算法模型設(shè)計中偏見、錯誤以及歧視性傷害的風(fēng)險,在決策的邏輯模型、程序模型、數(shù)據(jù)處理模型和自定義模型的設(shè)計和應(yīng)用當(dāng)中符合公平和正義的原則。

    3)有利于強(qiáng)化算法決策結(jié)果的責(zé)任性。決策失誤的問責(zé)并不會因為是智能決策而得到規(guī)避。無論是政府或者企業(yè),由于智能決策而造成的傷害或者歧視性的后果,作為決策者同樣要承擔(dān)問責(zé)。算法問責(zé)機(jī)制的構(gòu)建有助于極大地提高大數(shù)據(jù)算法決策的責(zé)任性,并對決策的失誤或者產(chǎn)生的不良后果進(jìn)行追溯和糾正,提高大數(shù)據(jù)算法決策的公開、公平和正義的價值導(dǎo)向。

    4 大數(shù)據(jù)算法決策問責(zé)的緣起

    有些推薦算法決策的應(yīng)用并不會產(chǎn)生實質(zhì)的傷害性后果,但是如果將算法應(yīng)用在犯罪評估、信用貸款、雇傭評估等關(guān)乎個人利益的場合,由于其并不是僅僅針對某一個人,而是采用規(guī)?;\作的方式,可能會影響具有類似情況的一群人或者某一類人的利益,所以它的影響范圍會很大[12]。有人稱基于數(shù)據(jù)的算法是客觀和中立的,其實只是一個美麗的誤會而已。早期的算法決策的數(shù)據(jù)來源和算法決策的復(fù)雜度不高,且應(yīng)用領(lǐng)域并不廣泛,對于算法的問責(zé)沒有受到很高的重視。但是,隨著大數(shù)據(jù)時代的來臨,面臨紛繁復(fù)雜的數(shù)據(jù),很多企業(yè)和政府為了減少成本和提高效率,在很多領(lǐng)域采納算法決策,對于算法所引發(fā)的不公平和歧視性的現(xiàn)象也得到了更多的關(guān)注。算法所產(chǎn)生的偏見和歧視主要來自兩個方面:1)算法主體價值觀歧視。這種算法歧視主要來自算法設(shè)計者自身存在偏見或者歧視,將其融入到算法中所產(chǎn)生的歧視性后果。2)算法系統(tǒng)自然獲得的歧視。這種歧視一方面來自算法采用的客觀數(shù)據(jù)本身就具有歧視性,另外一方面,也體現(xiàn)在算法在演化過程中自身獲得所產(chǎn)生的歧視。具體表現(xiàn)在:

    第一,嫌貧愛富性算法。算法一般經(jīng)過排序、分類、關(guān)聯(lián)和過濾幾個步驟。排序是將排名的標(biāo)準(zhǔn)嵌入到算法中進(jìn)行優(yōu)先等級的劃分。排序本身就是一個價值理念實現(xiàn)的過程。雖然大數(shù)據(jù)利用海量數(shù)據(jù)實現(xiàn)精細(xì)化的決策,但是也帶來了另外的悖論現(xiàn)象,那就是通過排序和分類,雖然有助于實現(xiàn)用戶精細(xì)化的畫像,但導(dǎo)致窮人和富人的標(biāo)簽更加明顯,如果被數(shù)據(jù)打上了“窮人”的標(biāo)簽,那么獲得貸款、信用、教育等的機(jī)會就會受到很大的影響。有證據(jù)顯示,在美國的金融服務(wù)領(lǐng)域,窮人通常受到的服務(wù)比較劣質(zhì),廣告商往往將高息貸款的服務(wù)投向窮人[13]。這種算法導(dǎo)致“嫌貧愛富”的現(xiàn)象,隨著自動化決策的廣泛使用,有可能會加劇貧富差距和社會不公正現(xiàn)象的發(fā)生。

    第二,性別歧視性算法。雖然信息技術(shù)秉持“技術(shù)中立”的原則,但是在系統(tǒng)運行中,也無法保證其不會自動修改程序,而出現(xiàn)歧視性的結(jié)果。據(jù)報道,亞馬遜曾經(jīng)開發(fā)的招聘工具具有性別歧視的現(xiàn)象,在進(jìn)行簡歷的遴選時,對于簡歷上出現(xiàn)“女性”這個詞就會打低分,使得女性在求職中,獲得面試的機(jī)會大幅度的減少[14]。即使后來亞馬遜修改了程序,也無法保證系統(tǒng)不會出現(xiàn)歧視性的結(jié)果。

    第三,種族歧視和年齡歧視性算法。有數(shù)據(jù)顯示,計算機(jī)對于淺色人種的誤判率只有1%,對深色人種的誤判率高達(dá)35%[15]。而且依據(jù)美國非政府組織機(jī)構(gòu)ProPublica調(diào)查顯示,F(xiàn)acebook在投放與購房相關(guān)的廣告,排除了非洲裔美國人和猶太人。同樣,Uber和Verizon Wireless這些非常有名的公司也是按照年齡和性別的不同而投放不同的招聘廣告[16]。

    5 大數(shù)據(jù)算法決策問責(zé)的難點

    大數(shù)據(jù)算法決策有助于為民眾提供實時、智能、便捷的服務(wù),但是,由于決策主體、客體以及過程的不透明和難以解釋性等原因?qū)е聸Q策問責(zé)的難度大幅度增加。

    5.1 大數(shù)據(jù)算法決策問責(zé)主體的復(fù)雜性

    無論是公共領(lǐng)域還是私營領(lǐng)域,應(yīng)用大數(shù)據(jù)作決策,都會涉及到算法系統(tǒng)的產(chǎn)生過程。如果算法系統(tǒng)是按照組織機(jī)構(gòu)的目標(biāo)以及程序員依據(jù)所完成的目標(biāo)設(shè)計出的算法系統(tǒng),那么系統(tǒng)做出的決策出現(xiàn)不公平和歧視性的傷害,有可能是由于算法設(shè)計者的能力或者其偏見導(dǎo)致的錯誤,這種錯誤很容易進(jìn)行查詢。但是,很多大數(shù)據(jù)決策系統(tǒng)采用的是機(jī)器學(xué)習(xí)系統(tǒng),隨著系統(tǒng)的不斷進(jìn)化,這些人工智能系統(tǒng)就會與環(huán)境交互,經(jīng)過“觀察”和“思考”,具備了一定的自主學(xué)習(xí)能力,而這種能力的獲得,與過去植入指令式“代碼”的決策非常不同,雖然有利于人機(jī)共同創(chuàng)造知識,但是這種產(chǎn)生知識的原理、過程成為了“黑箱”,一旦決策失誤,問責(zé)的主體反而難以確定。

    5.2 大數(shù)據(jù)算法決策過程的透明性和可解釋性難以實現(xiàn)

    第一,算法過程的透明度是指影響算法決策的因素對使用、管理和受使用算法決策系統(tǒng)影響的人具備可知、可見的程度。透明度是算法決策問責(zé)的重要內(nèi)容。算法決策的透明有助于加強(qiáng)相關(guān)利益者和公眾的監(jiān)督,同時也是取得公眾信任的重要前提條件。因此,無論是歐盟的《通用數(shù)據(jù)保護(hù)法》還是美國即將出臺的《算法問責(zé)法案》都把透明性作為問責(zé)的重要要素。雖然算法的透明度成為普遍的訴求,但是算法錯誤的難以監(jiān)控和糾正就會導(dǎo)致其的不可解釋性。因此,在自動算法決策中,算法的透明性成為重要的挑戰(zhàn)[17]。但是,如果公開有關(guān)算法,很多企業(yè)和機(jī)構(gòu)認(rèn)為:①算法有可能是企業(yè)的機(jī)密,公開有關(guān)算法雖然有助于公眾監(jiān)督,但是會影響企業(yè)或者組織機(jī)構(gòu)的發(fā)展。②公開算法有可能會涉及大量的個人隱私。如果說算法是“大腦”,那么數(shù)據(jù)是養(yǎng)料。而很多算法系統(tǒng)的運行離不開數(shù)據(jù),數(shù)據(jù)中又包含了大量的個人隱私數(shù)據(jù),因此,算法的透明和公開必然會涉及相關(guān)隱私的管理和規(guī)定。③有些算法本身就是“黑箱”,就是公開了,對于算法運行的機(jī)理也難以清楚地解釋。

    第二,算法的難以解釋性。算法的可解釋性,首先指的是面向用戶而非面向領(lǐng)域?qū)<液图夹g(shù)人員的解釋權(quán);其次,解釋的內(nèi)容包括整個決策的過程、輸入、輸出的關(guān)系、數(shù)據(jù)的來源、決策原理等方面[18]。因此,在應(yīng)用算法進(jìn)行決策的系統(tǒng)中,必須采用最終用戶可以理解的語言用于解釋,以便用戶能夠理解并獲取其信任。歐盟在2018年的《通用數(shù)據(jù)保護(hù)法》中創(chuàng)制了自動化決策的解釋權(quán),要求每一個制定決策的算法能夠證明決策的正確性[19]。如何解釋自動化決策的功能、原理、模型的設(shè)計以及計算的結(jié)果成為應(yīng)用機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)決策的難題。一方面是不可解釋性,即機(jī)器學(xué)習(xí)在自主學(xué)習(xí)過程中,所做出的決策,有時候本身就存在“黑箱”,如學(xué)者M(jìn)ayer Schnberger認(rèn)為:深度神經(jīng)網(wǎng)絡(luò)的美麗之處部分在于它們是“黑箱”,因為它們以超越人類邏輯之外的方式工作[20];另外一方面,即使能解釋,但是解釋的復(fù)雜度很高,這也成為自動化決策應(yīng)用和發(fā)展中的重要障礙因素之一。

    5.3 大數(shù)據(jù)算法決策個人申訴的困境

    申訴是指公民、法人或其他組織,認(rèn)為對某一問題的處理結(jié)果不正確,而向國家的有關(guān)機(jī)構(gòu)申述理由,請求重新處理的行為[21]。目前,就大數(shù)據(jù)算法決策所產(chǎn)生的人身傷害、財產(chǎn)損失,由于主體的多樣性、過程的不透明性等原因,不僅難以申訴,并且目前并沒有建立明確、專門的申訴機(jī)制。例如,就歐盟的《通用數(shù)據(jù)保護(hù)法》中雖然提出了建立人工智能倫理委員會,以及全自動化決策的知情—同意等權(quán)利,但是算法決策造成對當(dāng)事人的傷害問題并沒有明確的規(guī)定。另外,在2019年,歐盟公布的《可信賴人工智能的倫理準(zhǔn)則》中,雖然也提出了問責(zé)的問題,但也只是從風(fēng)險防控的角度提出了加強(qiáng)審計和最小化負(fù)面影響的要素,并沒有對造成的傷害如何進(jìn)行評估和救濟(jì)等問題做出有關(guān)的規(guī)定。

    6 完善大數(shù)據(jù)算法決策問責(zé)的對策

    大數(shù)據(jù)算法決策造成的傷害,作為普通的受害人追溯起來非常的困難。因為按照民事訴訟的方式起訴到法院,依據(jù)慣例,誰起訴誰舉證的原則,受害人以一己之力舉證自動化決策產(chǎn)生的錯誤是很難實現(xiàn)的[22]。正如古德曼等人認(rèn)為,要想就自動化招聘問題起訴雇主,這是一件極度困難的事情,因為崗位求職者也許永遠(yuǎn)都不會知道企業(yè)是否采用了該種技術(shù)[14]。目前,已經(jīng)曝光的算法決策的傷害,通常由懂技術(shù)的專家、學(xué)者、工程師通過復(fù)雜技術(shù)的檢測和評估完成。因此,算法決策問責(zé)的難題比較普通的決策而言,增加了難度。

    隨著人機(jī)社會的到來,構(gòu)建大數(shù)據(jù)算法決策問責(zé)制度成為未來政府、企業(yè)所要解決的重要難題。無論是算法還是驅(qū)動算法的數(shù)據(jù),都是由人設(shè)計、創(chuàng)建和收集的,即使算法做出了錯誤的決策或者出現(xiàn)了難以預(yù)期的結(jié)果,包括采用機(jī)器學(xué)習(xí)的方式,那么算法做出的決策也應(yīng)最終由人來負(fù)責(zé),而不應(yīng)該以算法決策為借口,不承擔(dān)相應(yīng)的責(zé)任。

    6.1 依據(jù)不同的主體清楚劃分責(zé)任

    雖然大數(shù)據(jù)算法決策的主體非常復(fù)雜,有人的因素,還有“機(jī)器”的因素,這就有必要清楚劃分決策主體的責(zé)任,才能有助于算法決策的有效實施和確定責(zé)任的歸屬。

    人類以語言和文字表達(dá)對問題的意見和抉擇,而大數(shù)據(jù)算法的本質(zhì)是以計算機(jī)的代碼以及數(shù)學(xué)方式進(jìn)行意見的表達(dá)和決策。決策的結(jié)果嵌入了設(shè)計者、開發(fā)者、使用者的主觀選擇,除了算法本身的原因以外,決策的原料—數(shù)據(jù)的全面性、準(zhǔn)確性、完整性等因素也是影響算法的重要方面。因此,依據(jù)算法決策的目的、標(biāo)準(zhǔn)、功能、使用范圍和效果,劃分不同的責(zé)任主體,對算法造成對當(dāng)事人的傷害進(jìn)行評估和問責(zé)。①算法的設(shè)計者或者開發(fā)商。從人工智能產(chǎn)品來說,其本質(zhì)是一種商品。那么算法的設(shè)計者和開發(fā)商是算法決策產(chǎn)生的重要責(zé)任人,算法設(shè)計者既包括算法的工程師也包括采納算法的機(jī)構(gòu)。②算法決策的管理者。很多企業(yè)或者政府為了提高單位的效率,購買大數(shù)據(jù)算法決策的產(chǎn)品,在工作中對用戶造成的傷害,算法決策的管理者也需要承擔(dān)相應(yīng)的責(zé)任。

    傳統(tǒng)的決策問責(zé)遵循“誰決策誰負(fù)責(zé)”、“誰主管誰負(fù)責(zé)”,而作為大數(shù)據(jù)算法決策,雖然是機(jī)器做出的決策,所產(chǎn)生的傷害和負(fù)面影響,也需要有相應(yīng)的責(zé)任人負(fù)責(zé),因此,同樣要秉承“誰設(shè)計誰負(fù)責(zé)”和“誰主管誰負(fù)責(zé)”的原則。

    6.2 構(gòu)建科學(xué)合理的問責(zé)機(jī)制

    應(yīng)用大數(shù)據(jù)算法決策,其決策的“不透明性”和“不可解釋性”總是成為詬病的話題,為了促進(jìn)其透明性和可解釋性,構(gòu)建科學(xué)合理的問責(zé)機(jī)制,有助于防止其風(fēng)險的發(fā)生。

    1)成立專門的大數(shù)據(jù)算法決策問責(zé)委員會。其主要職責(zé)除了對大數(shù)據(jù)算法決策存在的風(fēng)險進(jìn)行評估和制定相關(guān)的規(guī)則和制度以外,同時受理受到算法決策傷害的當(dāng)事人申訴。如果按照傳統(tǒng)產(chǎn)品造成的傷害,誰受傷害誰舉證的原則,當(dāng)事人很難做到。因此,鑒于大數(shù)據(jù)算法決策的高度復(fù)雜性,大數(shù)據(jù)算法決策產(chǎn)品所造成的傷害,需要建立由專家、學(xué)者、技術(shù)工作者共同組成的大數(shù)據(jù)算法決策問責(zé)委員會,對當(dāng)事人造成的傷害進(jìn)行評估、認(rèn)證,為當(dāng)事人出具相關(guān)證據(jù)和報告。

    2)建立明確的責(zé)任標(biāo)準(zhǔn)。作為開發(fā)、采用自動化決策的機(jī)構(gòu),如果造成了歧視性、錯誤的決策,依據(jù)決策的影響、嚴(yán)重程度需要承擔(dān)相應(yīng)的責(zé)任。目前,由于對錯誤或者歧視的標(biāo)準(zhǔn)和認(rèn)知程度不同,導(dǎo)致對于自動化決策產(chǎn)生負(fù)面影響的責(zé)任難以界定。例如,COMPAS是美國司法部門應(yīng)用的犯罪風(fēng)險評估系統(tǒng)就對黑人有歧視的現(xiàn)象,該系統(tǒng)的算法往往會對黑人打上高風(fēng)險犯罪分子的標(biāo)簽,如果黑人犯罪,將會面臨更加嚴(yán)厲的刑罰。但是,由于對算法偏差并沒有統(tǒng)一的界定和建立相應(yīng)的問責(zé)機(jī)制,導(dǎo)致目前很多法院依舊采用該系統(tǒng)而對出現(xiàn)的問題不用承擔(dān)任何責(zé)任[23]。因此,對于算法造成的傷害需要明確設(shè)計者、開發(fā)商、應(yīng)用商的責(zé)任,同時也需要劃分主觀故意造成的傷害,還是算法系統(tǒng)自然習(xí)得的傷害,依據(jù)問題的不同,制定差別化的責(zé)任標(biāo)準(zhǔn),以便更好地預(yù)防算法所導(dǎo)致的不良后果。

    3)加強(qiáng)算法的審計。加強(qiáng)審計是算法問責(zé)的重要方面,在歐盟的《通用數(shù)據(jù)保護(hù)法》中明確提出算法審計作為評估責(zé)任的重要手段。算法的審計既包括人工的審計,也包括AI審計,即審計內(nèi)容和過程的代碼化。由于算法的復(fù)雜性,在算法的審計過程中,對于算法和數(shù)據(jù)的偏差和偏見,只靠專家和技術(shù)人員的人工審計還是非常有限的,如果通過專業(yè)性的AI審計系統(tǒng),科學(xué)的檢查算法的學(xué)習(xí)模型,并測試訓(xùn)練數(shù)據(jù)和模型中的偏見,將會大幅度提高審計的效率和科學(xué)性。

    6.3 制定全面救濟(jì)措施

    目前,對于算法所造成的傷害,普遍采用的方法是對造成傷害的企業(yè)或者平臺進(jìn)行罰款,例如,歐盟《通用數(shù)據(jù)保護(hù)法》中規(guī)定,違反該法的相關(guān)規(guī)定,情節(jié)嚴(yán)重的違規(guī)企業(yè)接受2千萬歐元的罰款,或者繳納上一財政年度全球營業(yè)額的4%,兩者取其高,進(jìn)行罰款,提高企業(yè)的責(zé)任感[24]。我國2018年制定的《電子商務(wù)法》第18條規(guī)定了網(wǎng)絡(luò)平臺算法個性化推薦結(jié)果的消費者保護(hù)義務(wù),對于違反規(guī)定的企業(yè),由相關(guān)部門責(zé)令其限期改正,沒收違法所得,可以并處5萬元以上20萬元以下的罰款;情節(jié)嚴(yán)重的,并處20萬元以上50萬元以下的罰款[25]。從以上相關(guān)的法律規(guī)定來看,對于算法決策主體的懲戒主要以罰款和責(zé)令修正為主,但是對于算法所導(dǎo)致的個人消費者的傷害性救濟(jì)尚未提及。因此,應(yīng)用算法對個人造成的歧視、不公平交易、侵害個人合法權(quán)益的行為,需要進(jìn)行原則性的規(guī)定,合理定性其行為,如果有嚴(yán)重侵犯個人權(quán)益的行為,可將其定性為濫用優(yōu)勢地位、欺詐、誘導(dǎo)等不當(dāng)獲利和侵權(quán)行為,對于個人造成的傷害和侵權(quán)給予申訴,加強(qiáng)應(yīng)用算法決策的企業(yè)或者政府算法監(jiān)管的行為,更有助于算法決策的應(yīng)用獲得公眾的信任[22]。

    在十九大報告中,明確提出了要加強(qiáng)和推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟(jì)深度融合,促進(jìn)我國經(jīng)濟(jì)和社會的繁榮發(fā)展。大數(shù)據(jù)算法決策技術(shù)在政府和企業(yè)領(lǐng)域中的應(yīng)用將會是未來發(fā)展的重要趨勢。隨著大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,我國對利用大數(shù)據(jù)所存在的問題也開始重視起來,例如:2015年我國制定的指導(dǎo)大數(shù)據(jù)發(fā)展的綱領(lǐng)性政策《大數(shù)據(jù)發(fā)展的行動綱要》,對我國大數(shù)據(jù)應(yīng)用中隱私的保護(hù)做了一定的說明,但是對于大數(shù)據(jù)應(yīng)用的算法決策問責(zé)問題尚未涉及。算法問責(zé)是大數(shù)據(jù)應(yīng)用中的核心問題之一,因此,需要不斷加強(qiáng)大數(shù)據(jù)算法決策中問責(zé)問題的研究,保證算法決策能夠客觀、科學(xué)、透明,不斷促進(jìn)人機(jī)社會的和諧發(fā)展和大數(shù)據(jù)技術(shù)的科學(xué)利用。

    參考文獻(xiàn)

    [1]《新一代人工智能發(fā)展規(guī)劃》國發(fā)[2017]35號[EB/OL].https://wenku.baidu.com/view/752beed7c67da26925c52cc58bd631 86bdeb9204.html,2019-10-20.

    [2]Algorithmic Decision-Making Based on MachineLearning from Big Data:Can Transparency,Restore Accountability?Philos.Technol,2018[EB/OL].https://link.springer.com/content/pdf/10.1007%2Fs13347-017-0293-z.pdf,2019-10-20.

    [3]Algorithmic Accountability-Applying the Concept to Different Country Context,2017[EB/OL].https://webfoundation.org/docs/2017/07/Algorithms_Report_WF.pdf,2019-10-20.

    [4]Anton Vedder,Laurens Naudts.Accountability for the Use of Algorithms in a Big Data Environment[EB/OL].https://lirias.kuleuven.be/retrieve/430572,2019-10-21.

    [5]Maja Brkan.Do Algorithms Rule the World?Algorithmic Decision-Making and Data Protection in the Framework of the GDPR and Beyoud[EB/OL].https://techpolicyinstitute.org/wp-content/uploads/2018/02/Brkan_do-algorithms-rule.pdf,2019-10-21.

    [6]王珀.無人駕駛與算法倫理:一種后果主義的算法設(shè)計倫理框架[J].自然辯證法研究,2018,(10):70-75.

    [7]魏強(qiáng),陸平.人工智能算法面臨倫理困境[J].互聯(lián)網(wǎng)經(jīng)濟(jì),2018,(5):26-31.

    [8]吳佳超.物聯(lián)網(wǎng)技術(shù)倫理問題研究[D].天津:天津大學(xué),2013.

    [9]牟莉娜,陽杰.人工智能時代的機(jī)遇與挑戰(zhàn):基于算法的審計決策[J].中國內(nèi)部審計,2018,(12):4-6.

    [10]Neyland D.Accountability and the Algorithm[EB/OL].https://link.springer.com/content/pdf/10.1007%2F978-3-030-00578-8_3.pdf,2019-10-20.

    [11]Association for Computing Machinery US Public Policy Council(USACM),Statement on Algorithmic Transparency and Accountability,2017-01-12[EB/OL].https://www.acm.org/binaries/content/assets/public-policy/2017_joint_statement_algorithms.pdf,2019-10-20.

    [12]搜狐網(wǎng).算法決策興起:人工智能時代的若干倫理問題及策略[EB/OL].http://www.sohu.com/a/143165651_455313,2019-10-20.

    [13]AI算法歧視在普惠金融中的悖論、阻礙與解決方案[EB/OL].http://mini.eastday.com/a/180621063628033-2.html,2019-10-22.

    [14]百度網(wǎng).檢測到女性就打低分?亞馬遜AI招聘工作被曝性別歧視[EB/OL].https://www.baidu.com/link?url=SrT5lZLs1Ra E35 ZkXbU4ZVGZfM5065Rn10B81pBDXf5AWiCu9qAU6yx41yv1J efOp eATtg_kiXfp6FyXaP0cdOhnpyOmrA86BAKlOXZmT1C&wd=&eqid=fec48db60004f238000000035d09a001,2019-10-22.

    [15]雷鋒網(wǎng).消除人臉識別系統(tǒng)對不同膚色的誤判,為何比登天還難?[EB/OL].http://wangid.cn/news-5003-257.html,2019-10-22.

    [16]ProPublica is Wrong in Charging Racial Bias in an Algorithm[EB/OL].https://www.acsh.org/news/2018/01/17/propublica-wrong-charging-racial-bias-algorithm-12427,2019-10-22.

    [17]Diakopoulos.Nicholas,Algorithmic Accountability:Journalistic Investigation of Computational Power Structures[J].Digital Journalism,2015,3(3):398-415.

    [18]Principles for Accountable Algorithms and a Social Impact Statement for Algorithms[EB/OL].http://www.fatml.org/resources/principles-for-accountable-algorithms,2019-10-22.

    [19]百家號.解釋權(quán)條款剝奪深度學(xué)習(xí)的合法性:最嚴(yán)數(shù)據(jù)隱私條例今日生效[EB/OL].http://baijiahao.baidu.com/s?id=16014196283 24671330&wfr=spider&for=pc,2019-10-22.

    [20]搜狐網(wǎng).歐盟要求解釋權(quán),或引發(fā)與人工智能公司的沖突[EB/OL].http://www.sohu.com/a/105378337_381309,2019-10-22.

    [21]百度百科[EB/OL].https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E7%94%B3%E8%AF%89&rsv_pq=dc52ae88000180bd&rsv_t=6e24UCJ0VYdP1 LP387xQime4EJ3LXOix7bvqvSPkbSMx7vs9cemJpwJmeto&rqlang=cn&rsv_enter=1&rsv_sug3=1,2019-10-22.

    [22]張凌寒.《電子商務(wù)法》中的算法責(zé)任及其完善[J].北京航空航天大學(xué)學(xué)報:社會科學(xué)版,2018,(6):16-21.

    [23]Joan Donovan,Robyn Caplan.Algorithmic Accountability:A Primer[EB/OL].https://datasociety.net/wp-content/uploads/2018/04/Data_Society_Algorithmic_Accountability_Primer_FINAL-4.pdf,2019-10-22.

    [24]CSDN博客.你準(zhǔn)備好迎接GDPR(歐盟,通用數(shù)據(jù)保護(hù)法)了嗎?[EB/OL].https://blog.csdn.net/jessica_seiya/article/details/79061 406,2019-10-22.

    [25]中華人民共和國電子商務(wù)法[EB/OL].http://lawdb.cncourt.org/show.php?fid=150891,2019-10-22.

    (責(zé)任編輯:陳 媛)

    猜你喜歡
    問責(zé)決策算法
    為可持續(xù)決策提供依據(jù)
    讓事故問責(zé)生威
    監(jiān)督執(zhí)紀(jì)問責(zé)如何“備豫不虞”
    基于MapReduce的改進(jìn)Eclat算法
    “濫問責(zé)”的6幅畫像
    Travellng thg World Full—time for Rree
    決策為什么失誤了
    進(jìn)位加法的兩種算法
    對“數(shù)字脫貧”要問責(zé)
    一種改進(jìn)的整周模糊度去相關(guān)算法
    麻豆av在线久日| 国产xxxxx性猛交| 日韩 亚洲 欧美在线| 窝窝影院91人妻| 一本色道久久久久久精品综合| 国产av又大| 精品久久久久久久毛片微露脸 | 老汉色∧v一级毛片| 中文字幕精品免费在线观看视频| 国产精品一区二区免费欧美 | 每晚都被弄得嗷嗷叫到高潮| 我要看黄色一级片免费的| 亚洲av电影在线观看一区二区三区| 国产国语露脸激情在线看| 亚洲欧美一区二区三区黑人| 亚洲精品粉嫩美女一区| 欧美激情 高清一区二区三区| 男女午夜视频在线观看| 国产精品免费视频内射| 国产精品熟女久久久久浪| 亚洲情色 制服丝袜| 精品国产一区二区久久| 一区二区三区精品91| 亚洲精品久久久久久婷婷小说| 欧美精品人与动牲交sv欧美| 久久女婷五月综合色啪小说| 人人妻人人爽人人添夜夜欢视频| 欧美在线黄色| 亚洲全国av大片| 日韩中文字幕欧美一区二区| 欧美精品啪啪一区二区三区 | 老司机亚洲免费影院| 自拍欧美九色日韩亚洲蝌蚪91| 桃花免费在线播放| 菩萨蛮人人尽说江南好唐韦庄| 桃红色精品国产亚洲av| 18在线观看网站| 母亲3免费完整高清在线观看| 狠狠狠狠99中文字幕| 成年美女黄网站色视频大全免费| 色94色欧美一区二区| 捣出白浆h1v1| 日韩三级视频一区二区三区| 黄片小视频在线播放| 久久精品aⅴ一区二区三区四区| 午夜福利视频在线观看免费| 天天躁狠狠躁夜夜躁狠狠躁| 国产在线一区二区三区精| 久久久久久人人人人人| 亚洲专区国产一区二区| 亚洲午夜精品一区,二区,三区| 男男h啪啪无遮挡| 色播在线永久视频| 老司机深夜福利视频在线观看 | 久久毛片免费看一区二区三区| 国产一区有黄有色的免费视频| 亚洲国产毛片av蜜桃av| 97在线人人人人妻| 成人av一区二区三区在线看 | 久久99一区二区三区| 欧美在线一区亚洲| 亚洲欧美一区二区三区黑人| 免费观看人在逋| 久久女婷五月综合色啪小说| 黄频高清免费视频| 亚洲人成77777在线视频| 欧美黑人欧美精品刺激| 男女床上黄色一级片免费看| 成年动漫av网址| 午夜福利视频在线观看免费| 国产亚洲精品第一综合不卡| 伊人久久大香线蕉亚洲五| 99国产极品粉嫩在线观看| 黑人巨大精品欧美一区二区蜜桃| 亚洲国产成人一精品久久久| 12—13女人毛片做爰片一| 丝袜在线中文字幕| 老司机靠b影院| 老熟妇仑乱视频hdxx| 久久人人97超碰香蕉20202| 亚洲成人免费av在线播放| 亚洲成人免费av在线播放| 男女无遮挡免费网站观看| 精品人妻在线不人妻| 午夜免费观看性视频| 黄片小视频在线播放| 午夜福利,免费看| kizo精华| 男女床上黄色一级片免费看| 日本精品一区二区三区蜜桃| 成年人免费黄色播放视频| www.999成人在线观看| 亚洲人成77777在线视频| 高清黄色对白视频在线免费看| 视频在线观看一区二区三区| 狠狠狠狠99中文字幕| 亚洲精华国产精华精| 日韩大码丰满熟妇| 大型av网站在线播放| 亚洲激情五月婷婷啪啪| 91av网站免费观看| 欧美激情高清一区二区三区| 亚洲黑人精品在线| 日本一区二区免费在线视频| 国产精品秋霞免费鲁丝片| 性少妇av在线| 爱豆传媒免费全集在线观看| 国产激情久久老熟女| av天堂久久9| 伦理电影免费视频| 亚洲欧美日韩高清在线视频 | 2018国产大陆天天弄谢| 亚洲国产精品一区三区| 久久久久网色| 久久人人爽人人片av| 亚洲一区中文字幕在线| 国产精品一区二区精品视频观看| www日本在线高清视频| 国产视频一区二区在线看| 男男h啪啪无遮挡| 亚洲av片天天在线观看| 欧美中文综合在线视频| 夫妻午夜视频| 国产人伦9x9x在线观看| 国产1区2区3区精品| 欧美性长视频在线观看| 秋霞在线观看毛片| 久久人人97超碰香蕉20202| 波多野结衣av一区二区av| 国产免费av片在线观看野外av| 久久久水蜜桃国产精品网| 91麻豆精品激情在线观看国产 | 欧美在线黄色| 亚洲国产精品999| videosex国产| 伊人亚洲综合成人网| 麻豆av在线久日| 久久精品国产亚洲av高清一级| 中文字幕人妻丝袜制服| 91麻豆精品激情在线观看国产 | av在线老鸭窝| 在线观看一区二区三区激情| kizo精华| 亚洲精品美女久久久久99蜜臀| 成人免费观看视频高清| 欧美精品一区二区大全| 中亚洲国语对白在线视频| 亚洲色图 男人天堂 中文字幕| 日韩制服骚丝袜av| 精品久久蜜臀av无| 国产高清国产精品国产三级| av在线播放精品| 精品福利观看| 成年av动漫网址| 他把我摸到了高潮在线观看 | 欧美变态另类bdsm刘玥| 另类亚洲欧美激情| 日韩视频一区二区在线观看| 1024视频免费在线观看| 18在线观看网站| 亚洲色图 男人天堂 中文字幕| 操美女的视频在线观看| 久久国产精品人妻蜜桃| 久久国产亚洲av麻豆专区| 免费日韩欧美在线观看| 亚洲欧美清纯卡通| 777久久人妻少妇嫩草av网站| 国产精品一二三区在线看| 丁香六月天网| 亚洲成人国产一区在线观看| 久久女婷五月综合色啪小说| 汤姆久久久久久久影院中文字幕| 久9热在线精品视频| 爱豆传媒免费全集在线观看| 国产精品一区二区在线不卡| 亚洲精品久久午夜乱码| av不卡在线播放| 性色av一级| 天天躁狠狠躁夜夜躁狠狠躁| 国产淫语在线视频| www.av在线官网国产| 久久人妻熟女aⅴ| tocl精华| 国产亚洲欧美精品永久| 黄片播放在线免费| 我要看黄色一级片免费的| 美女视频免费永久观看网站| 精品亚洲成a人片在线观看| 老熟女久久久| 宅男免费午夜| 99国产综合亚洲精品| 1024视频免费在线观看| 少妇人妻久久综合中文| 精品国产乱子伦一区二区三区 | 啦啦啦啦在线视频资源| 日韩制服丝袜自拍偷拍| 日韩电影二区| 精品人妻熟女毛片av久久网站| 免费女性裸体啪啪无遮挡网站| 免费看十八禁软件| 最新在线观看一区二区三区| 亚洲精品久久午夜乱码| 超碰成人久久| 国产精品1区2区在线观看. | 黑人巨大精品欧美一区二区mp4| 狠狠精品人妻久久久久久综合| 日本91视频免费播放| 久久精品国产亚洲av香蕉五月 | 婷婷丁香在线五月| 精品第一国产精品| 亚洲欧美清纯卡通| 老司机靠b影院| 国产精品麻豆人妻色哟哟久久| 亚洲视频免费观看视频| 欧美精品人与动牲交sv欧美| 久久久久久亚洲精品国产蜜桃av| 亚洲国产中文字幕在线视频| 国产免费视频播放在线视频| 久久久精品区二区三区| 久久国产精品男人的天堂亚洲| 亚洲精品美女久久av网站| 欧美xxⅹ黑人| 亚洲美女黄色视频免费看| 中文精品一卡2卡3卡4更新| netflix在线观看网站| 婷婷色av中文字幕| 久久亚洲精品不卡| 国产av精品麻豆| 精品国产乱码久久久久久小说| 午夜免费鲁丝| 亚洲精品成人av观看孕妇| 亚洲伊人色综图| 蜜桃在线观看..| 国产精品自产拍在线观看55亚洲 | 亚洲国产精品成人久久小说| av线在线观看网站| 成年人免费黄色播放视频| 国产av又大| 久久影院123| 欧美日韩精品网址| 97在线人人人人妻| 成人免费观看视频高清| 日韩大码丰满熟妇| 黑人猛操日本美女一级片| 无限看片的www在线观看| 伊人久久大香线蕉亚洲五| 亚洲精品美女久久av网站| 亚洲黑人精品在线| 婷婷丁香在线五月| 99久久综合免费| 成人国产一区最新在线观看| 美女高潮喷水抽搐中文字幕| cao死你这个sao货| 十分钟在线观看高清视频www| 啦啦啦视频在线资源免费观看| 美女视频免费永久观看网站| 18禁国产床啪视频网站| 久久免费观看电影| 欧美黄色淫秽网站| 国产99久久九九免费精品| 激情视频va一区二区三区| 亚洲国产精品999| 汤姆久久久久久久影院中文字幕| av一本久久久久| 欧美性长视频在线观看| 国产野战对白在线观看| 日韩视频一区二区在线观看| 视频区图区小说| 精品少妇久久久久久888优播| 老司机靠b影院| 99精品欧美一区二区三区四区| 欧美日韩成人在线一区二区| 丰满迷人的少妇在线观看| 黄网站色视频无遮挡免费观看| 日韩欧美一区二区三区在线观看 | 国产精品亚洲av一区麻豆| 王馨瑶露胸无遮挡在线观看| 午夜精品国产一区二区电影| 亚洲精品美女久久av网站| 99精品久久久久人妻精品| 亚洲国产精品一区三区| 亚洲成人免费电影在线观看| 亚洲第一青青草原| 亚洲人成电影观看| 青青草视频在线视频观看| 亚洲精品第二区| 亚洲成人国产一区在线观看| 嫁个100分男人电影在线观看| 亚洲精品国产色婷婷电影| 亚洲精品成人av观看孕妇| 人妻 亚洲 视频| 国产精品久久久久久人妻精品电影 | 一本综合久久免费| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲性夜色夜夜综合| 两人在一起打扑克的视频| 精品高清国产在线一区| 91字幕亚洲| videosex国产| 久久久精品国产亚洲av高清涩受| av国产精品久久久久影院| 亚洲精品中文字幕在线视频| 日本黄色日本黄色录像| 18禁黄网站禁片午夜丰满| 男男h啪啪无遮挡| 国产日韩欧美亚洲二区| 少妇裸体淫交视频免费看高清 | 亚洲国产成人一精品久久久| 久久精品aⅴ一区二区三区四区| 免费女性裸体啪啪无遮挡网站| 精品欧美一区二区三区在线| 高清欧美精品videossex| 国产精品99久久99久久久不卡| 久久99热这里只频精品6学生| 精品亚洲成国产av| 国产黄色免费在线视频| 一本综合久久免费| 50天的宝宝边吃奶边哭怎么回事| 午夜福利影视在线免费观看| 黑人巨大精品欧美一区二区蜜桃| 俄罗斯特黄特色一大片| 日韩一卡2卡3卡4卡2021年| 亚洲精品国产av成人精品| 精品人妻一区二区三区麻豆| 精品国产一区二区三区久久久樱花| 精品久久久久久电影网| 老司机深夜福利视频在线观看 | 中文字幕色久视频| 日韩免费高清中文字幕av| 国产亚洲精品第一综合不卡| 成人亚洲精品一区在线观看| 夜夜夜夜夜久久久久| 午夜福利影视在线免费观看| 一本色道久久久久久精品综合| 久久久精品国产亚洲av高清涩受| 搡老熟女国产l中国老女人| 91成人精品电影| 一个人免费在线观看的高清视频 | 欧美在线一区亚洲| 欧美精品一区二区免费开放| 高潮久久久久久久久久久不卡| 亚洲国产成人一精品久久久| 国产免费现黄频在线看| 国产精品秋霞免费鲁丝片| 日韩免费高清中文字幕av| 欧美黑人精品巨大| 69av精品久久久久久 | 69精品国产乱码久久久| 两个人看的免费小视频| 国产亚洲一区二区精品| 国产一区二区激情短视频 | 少妇粗大呻吟视频| 国产精品一区二区在线观看99| 操美女的视频在线观看| 欧美精品啪啪一区二区三区 | 亚洲欧美一区二区三区黑人| 欧美日韩亚洲国产一区二区在线观看 | 老司机深夜福利视频在线观看 | av又黄又爽大尺度在线免费看| 亚洲五月色婷婷综合| www.999成人在线观看| 精品一区二区三区四区五区乱码| 女性被躁到高潮视频| av视频免费观看在线观看| bbb黄色大片| 超碰成人久久| 国产欧美日韩一区二区三 | 日本av手机在线免费观看| 飞空精品影院首页| 香蕉丝袜av| 伦理电影免费视频| 狠狠精品人妻久久久久久综合| 香蕉丝袜av| 搡老乐熟女国产| 国产精品影院久久| 久久精品国产亚洲av高清一级| 欧美大码av| 乱人伦中国视频| av网站免费在线观看视频| 日本av手机在线免费观看| 日本五十路高清| 中国美女看黄片| 99国产精品99久久久久| 国产xxxxx性猛交| 十八禁人妻一区二区| 热re99久久国产66热| 午夜福利乱码中文字幕| 中文字幕人妻熟女乱码| 天天躁日日躁夜夜躁夜夜| 国产主播在线观看一区二区| 久9热在线精品视频| 美国免费a级毛片| 另类亚洲欧美激情| 精品久久久久久电影网| 亚洲精品一卡2卡三卡4卡5卡 | 青草久久国产| 亚洲精品国产av成人精品| 国产精品国产av在线观看| 一区在线观看完整版| 久久精品亚洲熟妇少妇任你| 一二三四社区在线视频社区8| 精品久久蜜臀av无| 999久久久精品免费观看国产| 精品国产乱码久久久久久男人| 一级毛片电影观看| 成人国产一区最新在线观看| 日韩人妻精品一区2区三区| 久久热在线av| 少妇精品久久久久久久| 一区在线观看完整版| 老司机深夜福利视频在线观看 | 久久久久精品国产欧美久久久 | 国产精品.久久久| 日本猛色少妇xxxxx猛交久久| 纯流量卡能插随身wifi吗| 亚洲av日韩在线播放| 久久久久久久久免费视频了| 国产在线一区二区三区精| 最新的欧美精品一区二区| 大片免费播放器 马上看| h视频一区二区三区| 久久久国产成人免费| 亚洲午夜精品一区,二区,三区| 国产一区二区三区综合在线观看| 少妇的丰满在线观看| 侵犯人妻中文字幕一二三四区| 精品久久久久久久毛片微露脸 | 日韩中文字幕欧美一区二区| 高清视频免费观看一区二区| 免费不卡黄色视频| 色婷婷久久久亚洲欧美| 成年人免费黄色播放视频| 色视频在线一区二区三区| 久久久久久免费高清国产稀缺| 女人久久www免费人成看片| 免费av中文字幕在线| 人人妻,人人澡人人爽秒播| 国产精品久久久久久人妻精品电影 | 亚洲精品日韩在线中文字幕| 久久精品国产综合久久久| 一级片'在线观看视频| 国产视频一区二区在线看| 国产免费福利视频在线观看| av在线播放精品| 日韩欧美一区二区三区在线观看 | 99热全是精品| 精品久久久久久久毛片微露脸 | 激情视频va一区二区三区| 欧美在线一区亚洲| 国产成人免费无遮挡视频| 国产又色又爽无遮挡免| 日本vs欧美在线观看视频| 国产精品一二三区在线看| 少妇裸体淫交视频免费看高清 | 国产三级黄色录像| av网站在线播放免费| 好男人电影高清在线观看| 免费看十八禁软件| 精品卡一卡二卡四卡免费| 欧美黑人欧美精品刺激| 午夜激情久久久久久久| 亚洲专区中文字幕在线| 色精品久久人妻99蜜桃| 高清欧美精品videossex| 啦啦啦 在线观看视频| av天堂久久9| 国产精品麻豆人妻色哟哟久久| av福利片在线| 亚洲成人免费电影在线观看| 满18在线观看网站| 精品少妇久久久久久888优播| h视频一区二区三区| 在线av久久热| 好男人电影高清在线观看| 嫁个100分男人电影在线观看| 又黄又粗又硬又大视频| 大香蕉久久网| 亚洲国产精品一区三区| 精品视频人人做人人爽| 中文字幕色久视频| 日韩制服丝袜自拍偷拍| 亚洲五月婷婷丁香| 日韩 亚洲 欧美在线| 国产精品av久久久久免费| 亚洲色图综合在线观看| 国产伦理片在线播放av一区| 国产男人的电影天堂91| 国产野战对白在线观看| 日韩制服骚丝袜av| 三上悠亚av全集在线观看| 在线观看免费日韩欧美大片| 97人妻天天添夜夜摸| 国产有黄有色有爽视频| 日日夜夜操网爽| 91精品三级在线观看| 久久ye,这里只有精品| 午夜影院在线不卡| 亚洲一卡2卡3卡4卡5卡精品中文| 天堂俺去俺来也www色官网| 99国产精品一区二区蜜桃av | 国产免费福利视频在线观看| 午夜日韩欧美国产| www.999成人在线观看| 国产精品一区二区在线不卡| 久久狼人影院| 首页视频小说图片口味搜索| 国产高清视频在线播放一区 | 九色亚洲精品在线播放| 最近最新中文字幕大全免费视频| 午夜日韩欧美国产| 五月开心婷婷网| 午夜免费鲁丝| 一二三四社区在线视频社区8| 国产日韩一区二区三区精品不卡| 在线观看免费视频网站a站| 十分钟在线观看高清视频www| 日韩欧美国产一区二区入口| 日韩有码中文字幕| 妹子高潮喷水视频| 91国产中文字幕| 一边摸一边做爽爽视频免费| 欧美精品一区二区大全| 老司机影院成人| 欧美激情高清一区二区三区| 精品卡一卡二卡四卡免费| 成人亚洲精品一区在线观看| 国产免费视频播放在线视频| 亚洲精品国产精品久久久不卡| 久久人人爽av亚洲精品天堂| 久久精品aⅴ一区二区三区四区| 欧美另类亚洲清纯唯美| 欧美在线黄色| 91麻豆av在线| 丝袜喷水一区| e午夜精品久久久久久久| 国产在线一区二区三区精| 国产一区二区在线观看av| 成年av动漫网址| 一进一出抽搐动态| 婷婷色av中文字幕| 亚洲色图 男人天堂 中文字幕| 美女视频免费永久观看网站| 中文欧美无线码| 激情视频va一区二区三区| 久久性视频一级片| 蜜桃国产av成人99| 亚洲一卡2卡3卡4卡5卡精品中文| 老汉色∧v一级毛片| 国产熟女午夜一区二区三区| 国产一级毛片在线| 久9热在线精品视频| 12—13女人毛片做爰片一| 国产熟女午夜一区二区三区| 999久久久国产精品视频| 亚洲人成电影免费在线| 欧美亚洲日本最大视频资源| 男人操女人黄网站| 国产成人欧美| 久久久国产成人免费| 亚洲国产欧美日韩在线播放| 别揉我奶头~嗯~啊~动态视频 | 国产精品成人在线| 动漫黄色视频在线观看| 成人黄色视频免费在线看| 欧美日韩亚洲高清精品| 黄色片一级片一级黄色片| 伊人久久大香线蕉亚洲五| 日本wwww免费看| 国产野战对白在线观看| 可以免费在线观看a视频的电影网站| 国产精品麻豆人妻色哟哟久久| 国产亚洲欧美精品永久| 在线观看免费视频网站a站| 男女高潮啪啪啪动态图| 亚洲视频免费观看视频| 国产精品一区二区在线不卡| 久热这里只有精品99| 国产精品一区二区在线不卡| 美女高潮喷水抽搐中文字幕| 久久久久久久精品精品| 国产三级黄色录像| 国产成人精品久久二区二区免费| 久久女婷五月综合色啪小说| 亚洲欧美清纯卡通| 99国产精品一区二区蜜桃av | 在线观看免费午夜福利视频| 91字幕亚洲| 久久久久久亚洲精品国产蜜桃av| 巨乳人妻的诱惑在线观看| 国产激情久久老熟女| 1024香蕉在线观看| 成人18禁高潮啪啪吃奶动态图| www.999成人在线观看| 啦啦啦视频在线资源免费观看| 国产精品.久久久| 99久久99久久久精品蜜桃| 99国产综合亚洲精品| 18禁裸乳无遮挡动漫免费视频| 超碰97精品在线观看| 久9热在线精品视频| 自线自在国产av| 性少妇av在线| 国产xxxxx性猛交| 夫妻午夜视频| 亚洲av美国av| av国产精品久久久久影院| 人人妻人人澡人人爽人人夜夜| 丰满少妇做爰视频| 黄色视频,在线免费观看| 亚洲av成人一区二区三| 永久免费av网站大全| 在线观看免费高清a一片| 国产男女超爽视频在线观看| 五月天丁香电影| a在线观看视频网站|