• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法治理:智能社會技術(shù)異化的風(fēng)險及應(yīng)對

    2020-01-09 14:22:02
    關(guān)鍵詞:異化人工智能算法

    陳 思

    (湖北省社會科學(xué)院 政法研究所, 湖北 武漢 430070)

    一、引言

    2019年國際人工智能與教育大會上,習(xí)近平總書記指出:“人工智能是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力,正深刻改變著人們的生產(chǎn)、生活、學(xué)習(xí)方式,推動人類社會迎來人機協(xié)同、跨界融合、共創(chuàng)分享的智能時代?!?1)《習(xí)近平向國際人工智能與教育大會致賀信》,2019年5月16日,http:cpc.people.com.cnn120190516c64094-31088558.html,2019年12月13日。隨著全球人工智能技術(shù)研發(fā)不斷升溫,人工智能技術(shù)已從科技領(lǐng)域進入公眾視野,并將推動人類社會發(fā)生深刻變革。從1950年艾倫·圖靈發(fā)表《計算機械和智能》一文,到能夠進行自我學(xué)習(xí)的圍棋算法AlphaZero打敗人類棋手冠軍,以及由數(shù)據(jù)驅(qū)動的學(xué)習(xí)系統(tǒng)AlphaFold成功預(yù)測出蛋白質(zhì)的結(jié)構(gòu);從只適用于蘋果手機的智能語音助手Siri,到可以廣泛應(yīng)用到各個設(shè)備的語音助手亞馬遜Alexa,人工智能技術(shù)的價值和潛力被不斷開發(fā)并應(yīng)用到不同的領(lǐng)域與場景。在此背景下,世界各國積極回應(yīng)人工智能的發(fā)展,2014年歐洲通過制定《歐盟機器人研發(fā)計劃》以保持整個歐洲人工智能領(lǐng)域良好的發(fā)展勢頭;美國正在通過培養(yǎng)人工智能研究人員和制定人工智能教育計劃,為人工智能的未來做準(zhǔn)備。人工智能推動著世界科技創(chuàng)新和產(chǎn)業(yè)格局轉(zhuǎn)型升級,為適應(yīng)這一全球化的智能革命,2017年國務(wù)院印發(fā)并實施的《新一代人工智能發(fā)展規(guī)劃》中明確提出了“到2030年人工智能理論、技術(shù)與應(yīng)用總體達到世界領(lǐng)先水平,成為世界主要人工智能創(chuàng)新中心”的戰(zhàn)略目標(biāo)(2)《國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》,2017年7月8日,http:www.gov.cnzhengcecontent2017-0720content_5211996.htm.,2019年12月13日。。2019年,黨的十九屆四中全會審議通過的《中共中央關(guān)于堅持和完善中國特色社會主義制度、推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》中指出,要“建立健全運用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)手段進行行政管理的制度規(guī)則。推進數(shù)字政府建設(shè),加強數(shù)據(jù)有序共享,依法保護個人信息”(3)《中共中央關(guān)于堅持和完善中國特色社會主義制度推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》,《人民日報》2019年11月6日,第1版。。新時代,人工智能體現(xiàn)了一個國家科學(xué)技術(shù)的發(fā)展水平,以人工智能、大數(shù)據(jù)等技術(shù)為載體的現(xiàn)代化社會治理模式和體系正在成為人類社會的發(fā)展趨勢。因此,本文旨在針對人工智能時代技術(shù)異化的表現(xiàn),提供以算法應(yīng)對社會治理挑戰(zhàn)的總體框架設(shè)想。文章以技術(shù)異化理論對當(dāng)代社會的反思和智能背景下社會治理的研究現(xiàn)狀為基礎(chǔ),分析人工智能時代我國社會治理面臨的新困境,并提出相關(guān)的解決對策建議。

    二、相關(guān)理論及研究基礎(chǔ)

    (一)技術(shù)異化理論及其當(dāng)代發(fā)展

    異化一詞的英文為“alienation”,有讓渡、轉(zhuǎn)讓、疏遠、脫離等意。它最早被用于西方的宗教文本《圣經(jīng)》中,指《創(chuàng)世紀(jì)》中亞當(dāng)夏娃純真神性的脫離。19世紀(jì)德國哲學(xué)家黑格爾將異化引入哲學(xué)領(lǐng)域,強調(diào)異化是主體與客體的分離和對立。與他同時代的哲學(xué)家費爾巴哈則將異化表述為人的本質(zhì)的對象化和異化,徹底剝離了異化的宗教神學(xué)外衣。在吸取黑格爾和費爾巴哈異化理論合理部分的基礎(chǔ)上,馬克思提出勞動異化的具體表現(xiàn),認(rèn)為這是私有制發(fā)展的必然結(jié)果。在《1844年經(jīng)濟學(xué)哲學(xué)手稿》中,他從歷史和實踐層面對異化進行考察并提出勞動異化理論,明確指出異化勞動的四重規(guī)定性,即人與勞動產(chǎn)品的異化,勞動與勞動本身的異化,人與人之間的異化,以及人的類本質(zhì)與人的異化。在對馬克思勞動異化理論繼承的基礎(chǔ)上,我國《哲學(xué)大辭典》對異化作出的解釋是:“異化作為社會現(xiàn)象,與階級一起產(chǎn)生,是人的物質(zhì)生產(chǎn)與精神生產(chǎn)及其產(chǎn)品變成異己力量又反過來統(tǒng)治人的一種社會現(xiàn)象?!?4)馮契主編:《哲學(xué)大辭典》,上海:上海辭書出版社,1992年,第702頁。異化反映的是人的生產(chǎn)活動及其產(chǎn)品反對人們自己的特殊性質(zhì)和特殊關(guān)系。

    作為異化概念的延伸,雖然對于“技術(shù)異化”這一概念學(xué)術(shù)界還未達成共識,但國內(nèi)外學(xué)者大致是從技術(shù)對人的負(fù)面影響和技術(shù)的價值中立兩個方面對其進行考察。首先是技術(shù)對人的負(fù)面影響,工業(yè)社會里技術(shù)成為控制人類的新形式,逐漸脫離其作為生產(chǎn)工具的實體而成為一種彌散在工業(yè)社會中的文化形態(tài),它們支配著人這一工具(包括身體、大腦和靈魂)(5)赫伯特·馬爾庫塞:《單向度的人:發(fā)達工業(yè)社會意識形態(tài)研究》,劉繼譯,上海:上海譯文出版社,2008年,第23頁。。這一文化形態(tài)顯然同人類所向往的自由而美好的社會狀態(tài)相背離。可以說技術(shù)的進步并不一定帶來人性的解放,反而會成為抑制個人本性的源動力。通常意義上,人們認(rèn)為技術(shù)的更迭發(fā)展是更有效率和更合理的工具取代了與社會發(fā)展不相適應(yīng)的工具手段,這種技術(shù)的合理性使得人們失去了批判的思維方式且愈發(fā)信賴技術(shù)并依附于它,也就是說“人已成為一種只有物質(zhì)生活而無精神生活的‘單向度的人’”(6)劉文海:《技術(shù)異化批判——技術(shù)負(fù)面效應(yīng)的人本考察》,《中國社會科學(xué)》1994年第2期。。其次,關(guān)于技術(shù)價值中立的討論,主要集中在技術(shù)是否是中性的這一問題。有學(xué)者從技術(shù)的價值屬性把握其要義,認(rèn)為它的中性是相對的:自然屬性中的技術(shù)是中性的,社會屬性指向的是非中性,因而“技術(shù)過程和對象并不總是事實上中立的”(7)弗里德里?!だ眨骸都夹g(shù)哲學(xué)導(dǎo)論》,劉武、康榮平等譯,沈陽:遼寧科學(xué)技術(shù)出版社,1986年,第47頁。。也有學(xué)者認(rèn)為技術(shù)中性是不可能存在的,技術(shù)作為人類必不可少的工具手段,產(chǎn)生于社會又反作用于社會。無論是技術(shù)本體還是技術(shù)的運用都不能同人類社會實踐割裂開來,“離開了應(yīng)用就不成其為在完整意義上的技術(shù)或現(xiàn)實技術(shù)”(8)陳昌曙:《技術(shù)哲學(xué)引論》,北京:科學(xué)出版社,1999年,第240頁。。無論對以上觀點持何種態(tài)度,都會在否定技術(shù)價值的絕對中立上達成一定的共識。對技術(shù)中性的討論能夠幫助我們認(rèn)識到人的主體能動性,由于技術(shù)的本身缺陷帶來的消極后果不可避免,但人在這種缺陷面前并不是無能為力的。因此,技術(shù)異化歸根結(jié)底是人的異化。一方面,這種異化并不是對作為實體的人的否定,是人們的認(rèn)知水平受到客觀環(huán)境和歷史條件的制約,存在有條件的局限性而導(dǎo)致的技術(shù)異化。另一方面,若將技術(shù)視為一個作用于社會的動態(tài)過程,它從產(chǎn)生到發(fā)展都服務(wù)于人類社會,是人類活動反作用客觀世界的中介。人類在滿足不斷發(fā)展著的需求的實踐中,一定程度上不自覺地剔除了具有價值理性的自我,使得工具理性在自我意識中占據(jù)上風(fēng)從而引發(fā)的危機,其實質(zhì)同樣是人的異化。

    以上對技術(shù)異化的討論與反思,觀照到我們即將進入的智能社會,人工智能引領(lǐng)下的智能革命帶來的不僅僅是科學(xué)技術(shù)領(lǐng)域的變革,也深刻影響和改變著包括生產(chǎn)生活方式、社會結(jié)構(gòu)秩序和運行方式等人類社會的方方面面,相應(yīng)地伴生出一系列的風(fēng)險挑戰(zhàn)。對技術(shù)的壟斷、資源配置不公和道德倫理等問題始終牽絆著以算法為基礎(chǔ)的人工智能技術(shù)的發(fā)展。面對一切發(fā)展著的事物,人們要認(rèn)識到它內(nèi)在發(fā)展的基本規(guī)律,意識到在技術(shù)面前人的主體性和能動性,抽取技術(shù)的正面價值以提升人類福祉。

    (二)智能社會的社會治理研究

    2019年黨的十九屆四中全會公報中強調(diào):“必須加強和創(chuàng)新社會治理,完善黨委領(lǐng)導(dǎo)、政府負(fù)責(zé)、民主協(xié)商、社會協(xié)同、公眾參與、法治保障、科技支撐的社會治理體系?!?9)《中共中央關(guān)于堅持和完善中國特色社會主義制度 推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》,《人民日報》2019年11月6日,第1版??茖W(xué)技術(shù)不僅是社會治理走向現(xiàn)代化的第一生產(chǎn)力,也是社會形態(tài)從工業(yè)社會向智能社會轉(zhuǎn)型的關(guān)鍵動力?;ヂ?lián)網(wǎng)、大數(shù)據(jù)、云計算、人工智能等領(lǐng)域的智能革命正在建構(gòu)一個實體社會同虛體社會相結(jié)合的社會形態(tài),科學(xué)技術(shù)與經(jīng)濟社會的高度融合推動社會各個領(lǐng)域的顛覆性變革,共建共治共享將成為整個社會發(fā)展的底色。

    許多學(xué)者關(guān)注到智能社會發(fā)展的大趨勢,但也注意到人工智能技術(shù)的發(fā)展在賦予社會治理新內(nèi)涵的同時,也給社會治理帶來了新風(fēng)險與挑戰(zhàn)。圍繞大數(shù)據(jù)技術(shù)在社會治理中的應(yīng)用,智能化社會治理可能面臨信息安全與隱私保護、社會組織基礎(chǔ)設(shè)施建設(shè)相對薄弱、缺乏公開共享機制、專業(yè)人才匱乏的問題(10)郭本鋒:《應(yīng)用大數(shù)據(jù)提升社會治理智能化水平研究》,《管理觀察》2018年第29期。。有學(xué)者認(rèn)為治理結(jié)構(gòu)的僵化性,治理方法的滯后性與治理范圍的狹隘性構(gòu)成了人工智能時代的治理困境(11)賈開、蔣余浩:《人工智能治理的三個基本問題:技術(shù)邏輯、風(fēng)險挑戰(zhàn)與公共政策選擇》,《中國行政管理》2017年第10期。。人工智能作為人類社會的重要技術(shù)發(fā)明,面臨著技術(shù)自主性、數(shù)據(jù)基礎(chǔ)、認(rèn)知結(jié)構(gòu)、倫理規(guī)范和社會應(yīng)用方面的挑戰(zhàn)(12)張成崗:《人工智能時代:技術(shù)發(fā)展、風(fēng)險挑戰(zhàn)與秩序重構(gòu)》,《南京社會科學(xué)》2018年第5期。。針對人工智能功能的雙向性,其給社會治理帶來的潛在風(fēng)險表現(xiàn)為技術(shù)權(quán)威和獨裁、行政吸納的有限性以及加劇社會碎裂(13)王小芳、王磊:《“技術(shù)利維坦”:人工智能嵌入社會治理的潛在風(fēng)險與政府應(yīng)對》,《電子政務(wù)》2019年第5期。。從社會治理現(xiàn)代化的結(jié)構(gòu)需求和目標(biāo)的角度,大數(shù)據(jù)時代面臨著協(xié)作困境與信息孤島、技術(shù)理性與制度滯后、技術(shù)風(fēng)險與治理危機、工具理性與價值迷失的挑戰(zhàn)(14)王振興、韓伊靜、李云新:《大數(shù)據(jù)背景下社會治理現(xiàn)代化:解讀、困境與路徑》,《電子政務(wù)》2019年第4期。。也有學(xué)者以法律治理為切入點,闡述了智能硬件系統(tǒng)安全、智能網(wǎng)聯(lián)汽車系統(tǒng)安全、物聯(lián)網(wǎng)系統(tǒng)安全和人工智能系統(tǒng)的技術(shù)與制度方面的風(fēng)險(15)吳沈括、羅瑾裕:《人工智能安全的法律治理:圍繞系統(tǒng)安全的檢視》,《新疆師范大學(xué)學(xué)報》(哲學(xué)社會科學(xué)版)2018年第4期。?;蚴菑闹刃?qū)用?,認(rèn)為人工智能引發(fā)了包括安全、法律、倫理和決策方面的困境(16)龐金友:《AI治理:人工智能時代的秩序困境與治理原則》,《人民論壇·學(xué)術(shù)前沿》2018年第10期。。

    綜上所述,國內(nèi)對智能時代社會治理的研究眾多,且取得了突出的研究成果。但缺乏對以下方面進行深入研究:首先是大數(shù)據(jù)、人工智能等技術(shù)對社會治理帶來的風(fēng)險研究大多停留在技術(shù)實體與治理實踐的層面,沒有將歷史背景同客觀環(huán)境相結(jié)合。盡管技術(shù)對人類社會的影響具有時代特征,但追根溯源其內(nèi)核具有歷史延續(xù)性。其次學(xué)者主要集中在對大數(shù)據(jù)、人工智能、互聯(lián)網(wǎng)技術(shù)工具的研究上,算法工具對治理的影響仍是一個新的研究領(lǐng)域,具有較大探究空間。

    三、算法的桎梏:智能社會技術(shù)異化的表現(xiàn)

    隨著互聯(lián)網(wǎng)、移動通信、計算機、大數(shù)據(jù)、算法等新技術(shù)的發(fā)展,人工智能突破了理論與實踐的鴻溝迎來了蓬勃的發(fā)展,它同經(jīng)濟社會、文化教育和科技創(chuàng)新等領(lǐng)域的深度融合,推動人類社會從工業(yè)社會走向智能社會。人工智能是指數(shù)字計算機或者數(shù)字計算機控制的機器人具有人類智能行為的能力,包括感知、理解、行動和學(xué)習(xí)。算法是通過數(shù)學(xué)模型建構(gòu)提供解決問題方案的一種策略方式。開發(fā)人工智能的目的就是復(fù)制人類解決問題的做法,以實現(xiàn)更有效的解決方案輸出。因此,正是算法使“人工”變得智能,機器具有了人類的學(xué)習(xí)能力??茖W(xué)技術(shù)作為先進生產(chǎn)力的重要標(biāo)志,在促進社會發(fā)展和人的發(fā)展中發(fā)揮著重要作用。但在具體的實踐中,作為科學(xué)活動的創(chuàng)造物,技術(shù)卻往往反過來成為支配、控制、奴役人的力量。當(dāng)代,智能社會技術(shù)異化出現(xiàn)了工具理性與價值理性不平衡、技術(shù)的意識形態(tài)化等特征。

    (一)工具理性與價值理性的不平衡

    簡言之,工具理性是指人們通過某種手段和工具實現(xiàn)自我需求從而達到實踐目的。它強調(diào)工具對人類實踐活動的作用,追求在效率的最大化中實現(xiàn)主體的目的。價值理性則始終以信念價值為行為的導(dǎo)向,它并不計較行為的成本和伴隨而來的后果,其指導(dǎo)下的行為活動指向的是價值世界的終極意義。在兩者之間獲得相對的平衡,是緩解人類日益增長的發(fā)展需要同客觀世界的應(yīng)然價值之間矛盾的必由之路。從工業(yè)社會向智能社會轉(zhuǎn)型的過程中,工具理性的膨脹正在打破這一平衡,價值理性的相對退位以及工具理性的漫溢成為社會通病。當(dāng)然,通過技術(shù)的不斷革新實現(xiàn)人類把握某一事物的精確性與高效率的行為其初衷無可指摘,算法在人工智能中的運用顯著提高了機器處理數(shù)據(jù)的工作效率,能夠幫助關(guān)鍵領(lǐng)域解決數(shù)據(jù)處理與分析方面的難題,某種意義上說,技術(shù)工具的進化是人類社會的必然。但在實踐活動中僅僅追求技術(shù)帶來的高效化,忽視道德與倫理、責(zé)任與義務(wù)、公平與正義等終極關(guān)懷問題,并不是人類社會自然選擇的結(jié)果。以算法在信息傳播領(lǐng)域的應(yīng)用為例,借助算法處理互聯(lián)網(wǎng)海量數(shù)據(jù)從而實現(xiàn)信息的精準(zhǔn)投送,為用戶提供個性化的內(nèi)容服務(wù)以提升用戶閱讀體驗,已經(jīng)成為各大媒體傳播平臺競相追逐的新賽道。但每個硬幣都有兩面,算法的智能化使人們迷醉在技術(shù)進步帶來的便利之中,渾然不知為此付出的代價。利益驅(qū)動下新聞媒體為了點擊率一味迎合用戶而突破倫理道德底線,模糊算法數(shù)據(jù)來源與用戶權(quán)益保護之間的沖突日益加劇。同時,算法帶來的后果在人們之間是不均等地存在的,因為“同高學(xué)歷和富裕的人相比,這些算法更容易影響工人階級和窮人,富裕的人則可以毫發(fā)無損地享受他們的生活”(17)Levy R,“Taking Aim at Biased Algorithms”,Math Horizons,Vol.25,No.1,2017.。

    (二)技術(shù)的意識形態(tài)化

    技術(shù)的意識形態(tài)化表現(xiàn)在以下兩方面:首先,技術(shù)本身具有的意識形態(tài)性。技術(shù)是作為滿足人類改造客觀世界的需求而出現(xiàn)的,人們通過技術(shù)實現(xiàn)自己對外部環(huán)境的掌控,它的存在暗喻了人與自然、人與人在權(quán)力關(guān)系上的不平等地位。當(dāng)人們將技術(shù)視為合理性的象征,智能時代隨著算法在各個領(lǐng)域的深度運用,算法則轉(zhuǎn)變?yōu)榧夹g(shù)對人的統(tǒng)治工具,重塑意識形態(tài)世界的樣貌。在人們的腦海中,算法往往代表了科學(xué)的、系統(tǒng)的、可操縱的,它不僅能代替人類進行決策,還能使決策更具可行性和更高的完成度。人類利用算法實現(xiàn)自身的發(fā)展,并把成本盡可能降到最低的范圍,在不斷激發(fā)算法技術(shù)力量的過程中,日益擴大了社會對個人的統(tǒng)治范圍以及技術(shù)抑制人性的程度。其次,技術(shù)對意識形態(tài)的導(dǎo)向作用。作為人類社會改造客觀世界的工具,技術(shù)承擔(dān)著信息傳遞與交換的功能。農(nóng)業(yè)社會這一階段的信息交流很大程度上受制于時間和空間的限制;發(fā)展到工業(yè)社會,機器印刷、電報、廣播和電話等技術(shù)載體的相繼出現(xiàn),突破了由信息承載的價值傳播的時空限制,實現(xiàn)了價值從傳播到強化,進而形成價值主流反哺社會意識領(lǐng)域。云計算、算法等智能技術(shù)的發(fā)展與應(yīng)用,使互聯(lián)網(wǎng)成為意識形態(tài)傳播的新場域,虛擬世界與實在世界的碰撞催生出獨屬于這個時代的精神文化形態(tài)。與此同時,精英集團(無論是資本、政治精英或知識精英)可以通過壟斷技術(shù),利用智能技術(shù)操縱輿論進行意識形態(tài)的滲透和干預(yù)。在近年來西方國家的選舉中,頻頻出現(xiàn)政客通過人工智能干預(yù)政治活動的現(xiàn)象。他們與擁有大量用戶數(shù)據(jù)的公司合謀,利用算法收集用戶的偏好,對選民進行意識形態(tài)的宣傳從而獲得更多選票,傳統(tǒng)民主政治的公平正義遭到損害。

    四、算法的陷阱:智能社會帶來的社會治理困境

    人工智能技術(shù)全方位、全領(lǐng)域、深層次影響著社會各領(lǐng)域,我們在關(guān)注到技術(shù)飛躍對社會進步的推動作用時,也應(yīng)認(rèn)識到算法對人們的社會認(rèn)知、價值觀念、行為活動造成深遠影響,以及技術(shù)異化已經(jīng)帶來或者可能帶來的社會治理風(fēng)險挑戰(zhàn)。

    (一)政治態(tài)度分化

    人工智能技術(shù)為社會治理體系和治理能力現(xiàn)代化提供了新的治理理念和治理工具,是提升社會治理智能化發(fā)展的重要技術(shù)方法。對信息進行智能化的處理是解決互聯(lián)網(wǎng)信息超載問題、優(yōu)化信息分化配置的有效途徑,個性化定制技術(shù)便是這一途徑的具體手段。然而,“在信息傳播過程中,個性化定制技術(shù)與各個領(lǐng)域的深度結(jié)合,則很可能加劇政治態(tài)度的分化和多極化。公共理性、互利性、包容性是協(xié)商民主系統(tǒng)良好運行不可或缺的條件,而個性化定制技術(shù)對信息的分類、選擇、分發(fā),強化了政治問題的差異性與不可調(diào)和性,不利于社會公共理性、群體間理解與包容的形成,甚至打破了原有協(xié)商的基礎(chǔ)。一方面,該技術(shù)追求人與信息的快速匹配,會過濾掉用戶潛在的需求與偏好,促進了信息“回聲室”的發(fā)展。另一方面,大量匯聚觀點趨同用戶,則更容易聚集成觀點對立陣營,促使同質(zhì)化群體的思維走向更加極端,甚至?xí)鲆暱勺C明其觀點錯誤的事實,并在總體上呈現(xiàn)出“自我延續(xù),自我加強的社會分化狀態(tài)”(18)Bishop B,The Big Sort:Why The Clustering of Like-minded America is Tearing Us Apart,New York:Mariner Books,2008,p.36.。協(xié)商民主是化解社會矛盾分歧,維護社會和諧的有效實現(xiàn)形式,但同質(zhì)化群體的集結(jié)與態(tài)度分化傾向可能會對協(xié)商民主造成一定的危害,對社會穩(wěn)定造成負(fù)面影響。

    (二)治理出現(xiàn)盲區(qū)

    在大數(shù)據(jù)應(yīng)用于社會治理的實踐中,技術(shù)至上的理念造成治理主體在社會治理過程中過度依賴大數(shù)據(jù),忽視了海量信息帶來的識別和篩選模糊的困境。善治的基礎(chǔ)是科學(xué)的決策,而處于發(fā)展階段的算法依賴的數(shù)據(jù)很有可能具有一定的局限性。現(xiàn)實中難免將不具代表性的數(shù)據(jù)作為決策基礎(chǔ),這必然會造成信息時代的缺席者——數(shù)字鴻溝中規(guī)模龐大的邊緣人群的失語,眾多未在網(wǎng)絡(luò)世界中提交主體偏好和利益訴求數(shù)據(jù)的人群,將無法進入決策者的視野。這樣,一些非數(shù)據(jù)化的社會治理問題將會被排除在決策過程之外,決策者甚至可能會在各方的壓力下優(yōu)先回應(yīng)數(shù)據(jù)化的問題。數(shù)字鴻溝是數(shù)字化帶來的技術(shù)制約(technological divide),在先進技術(shù)中占據(jù)制高點的個體將占盡先機,強化政治、經(jīng)濟、文化資源的差序性,導(dǎo)致算法優(yōu)先導(dǎo)向該群體利益相關(guān)的領(lǐng)域,而傾軋非該群體利益關(guān)聯(lián)的關(guān)注空間。數(shù)字鴻溝與治理盲區(qū)存在正相關(guān)的關(guān)系,社會治理的觸角若不能感應(yīng)到非數(shù)據(jù)化的社會問題,便形成了社會治理新的盲區(qū)。

    (三)公共話語去價值化

    治理是穩(wěn)定社會秩序的重要途徑,也包含著不同群體在話語空間中博弈互動的傳播過程。新媒體時代,有效的治理是以有效的傳播為前提的。但由于算法的去價值化,低質(zhì)量的內(nèi)容和有爭議的事實交錯混雜所形成的信息洪流,攪亂了社會治理賴以存在的傳播秩序,去價值化成為整個公共話語生態(tài)的演進狀態(tài)。算法對信息篩選和推薦所遵循的運作邏輯是一切皆可推演,即用戶的行為以及偏好皆可以轉(zhuǎn)換為數(shù)據(jù)。這一邏輯包含了兩個隱喻:用戶的行為偏好是一種算法資源;個人的行為活動是一種有價值的商品。算法將人們的行為偏好進行量化的過程,也是對用戶進行去價值化的過程。同時,利益驅(qū)動下的新聞生產(chǎn)者為追求點擊率,過分迎合用戶喜好,利用算法技術(shù)使用戶看到他們想看到的內(nèi)容。但這種類型的新聞其實質(zhì)是算法量化加工之后呈現(xiàn)給用戶的產(chǎn)品,人們潛在的、不可量化的價值理性被排除在外,使得一些公共性和有價值的內(nèi)容被隱去。在這一認(rèn)知圈套之下,人們自認(rèn)為是在消費社交軟件和新聞平臺的新聞,實則是算法基于人們行為心理學(xué)特征進行行為導(dǎo)向的設(shè)計。這些被生產(chǎn)出來的信息不僅違背新聞倫理,降低媒體公信力,還對社會價值導(dǎo)向造成嚴(yán)重傷害。

    (四)算法公正缺失

    社會公正既是國家治理能力與治理體系現(xiàn)代化在社會層面的具體體現(xiàn),也是國家頂層設(shè)計與社會治理實踐所遵循的價值依據(jù)。人工智能算法雖然有助于社會各個領(lǐng)域治理效率的提升,但算法決策使用的數(shù)據(jù),及其處理的方式、應(yīng)用的規(guī)則,都是由算法設(shè)計人員創(chuàng)建的,作為人類個體我們難以避免都有主觀隱含的偏見。當(dāng)設(shè)計人員的主體性偏差構(gòu)建到軟件中時,偏見便會進入算法中成為一種“無意的不公正”。當(dāng)這些帶有偏見性的算法被廣泛應(yīng)用時,則會產(chǎn)生歧視性或不公正被放大的后果。如銀行根據(jù)地域或性別而不是基于財務(wù)數(shù)據(jù)提供貸款,企業(yè)根據(jù)性別或年齡而非能力招聘錄用人員等。司法系統(tǒng)作為人類公平正義的法律防線,隨著算法在司法領(lǐng)域的應(yīng)用,算法偏見將會侵蝕維護社會公平正義的法律防線。當(dāng)前的司法實踐,人工智能的功能僅在于“輔助”而非“替代”司法人員的獨立判斷,算法對司法結(jié)果并不起直接的決定作用。但人工智能對司法過程的滲透在不斷深化,司法決策對人工智能的依賴日趨增強。由于司法系統(tǒng)運作的特點,具有偏見性的算法帶來的判例,可能會以參考、指引的方式嵌入到之后類似的司法程序中去,破壞個案司法決策的公正,并更加鞏固和強化了算法偏見,有學(xué)者認(rèn)為這將引發(fā)對相關(guān)類型案件司法公正的系統(tǒng)性威脅(19)雷震文:《算法偏見對“智慧司法”的影響及其防范》,《法制日報》2017年12月27日,第11版。。如,美國威斯康星州發(fā)生的一起案件,被告認(rèn)為該州法院將算法模型應(yīng)用到量刑環(huán)節(jié)中違反了正當(dāng)程序原則因而提起上訴,雖然州法院最后駁回了被告的訴訟請求,但也提醒法官需要警惕算法的應(yīng)用可能帶來的偏見(20)李本:《美國司法實踐中的人工智能:問題與挑戰(zhàn)》,《中國法律評論》2018年第2期。。因此,當(dāng)算法技術(shù)應(yīng)用到司法程序中,算法作出的決策是否有效,是否會對司法系統(tǒng)公正性造成不可逆的影響值得長期關(guān)注。

    (五)算法技術(shù)的壟斷

    現(xiàn)代社會治理中,信息資源是權(quán)威的代名詞,社會治理體系中的領(lǐng)導(dǎo)者為實現(xiàn)有效治理,必然通過信息攫取甚至壟斷來獲取更大權(quán)力和影響力。當(dāng)權(quán)威越來越多地通過算法表達時,對技術(shù)的壟斷控制成為數(shù)字資本市場的普遍特征。逐利性驅(qū)動下的資本將算法視為操縱社會的有力武器,它們也成為技術(shù)異化的始作俑者。算法作為人工智能技術(shù)的核心,它的強大之處在于能夠做出選擇,進行類分和優(yōu)先級排序。但人工智能技術(shù)需要海量的基礎(chǔ)數(shù)據(jù)去喂養(yǎng)算法系統(tǒng),進而創(chuàng)建人工智能場景應(yīng)用,而能夠擁有這樣規(guī)模的主體只有商業(yè)巨頭、政府部門以及超級科技型公司,它們具有數(shù)據(jù)抓取、壟斷的資源和需求,相應(yīng)的,社會力量或較小規(guī)模私人組織在數(shù)據(jù)化競爭場域里,權(quán)力被弱化,更不用說原子化的個人。與此同時,用于獲取競爭優(yōu)勢的算法工具又被作為核心商業(yè)機密對公眾加以隔離,這使得在關(guān)于算法透明度、合法性問題上存在著廣泛爭議。當(dāng)互聯(lián)網(wǎng)公司以免費服務(wù)之名獲取個人數(shù)據(jù),侵犯到個人隱私時;當(dāng)算法偏見導(dǎo)致不公正結(jié)果,影響社會公平正義時,技術(shù)壟斷不僅強化了以上風(fēng)險,而且將成為治理能力現(xiàn)代化進程中的阻礙。

    (六)責(zé)任主體模糊

    與西方異化理論學(xué)者指出的異化特征所不同的是,智能社會下技術(shù)應(yīng)用場景的拓展同人類有限認(rèn)知能力之間的張力,使得生產(chǎn)者、勞動產(chǎn)品、消費者三者的社會勞動關(guān)系日益模糊。雖然算法提供的產(chǎn)品和服務(wù)越來越全面,但當(dāng)新聞推送系統(tǒng)生成包含虛假或錯誤信息的新聞文章時,誰應(yīng)對錯誤的內(nèi)容負(fù)責(zé)?當(dāng)人們在信貸、就業(yè)甚至法律上遭到歧視時,誰應(yīng)對偏見性的決策負(fù)責(zé)?由于算法的不透明性和科技產(chǎn)品的非主體性,當(dāng)算法做出錯誤的決策甚至侵犯到人們的權(quán)利時,責(zé)任主體模糊使得監(jiān)管部門陷入審查難、問責(zé)難的困境。這種困境體現(xiàn)在兩個方面:一方面是算法自身的復(fù)雜性。由于算法具有自主決策、學(xué)習(xí)的能力,它的設(shè)計者難以預(yù)測最終的結(jié)果,也無法完全解讀它是如何得出現(xiàn)有結(jié)論的。因此,算法的復(fù)雜性使得相關(guān)部門難以進行合法性審查,這不可避免地產(chǎn)生責(zé)任主體缺失。另一方面是算法的隱蔽性。算法的輸出是“黑箱”過程,當(dāng)因算法缺陷導(dǎo)致決策失誤,或是算法決策的結(jié)果引起社會大眾的爭議時,行政人員傾向于將責(zé)任推卸給算法或算法開發(fā)公司。而算法通常屬于企業(yè)的“商業(yè)機密”,是受到法律保護的對象,導(dǎo)致司法機關(guān)難以對算法和算法開發(fā)公司進行審查,責(zé)任主體之間在算法技術(shù)的遮蔽下相互推諉。如在英國女性乳腺癌篩查漏檢丑聞中,關(guān)于算法錯誤究竟是怎么產(chǎn)生的,國家衛(wèi)生醫(yī)療系統(tǒng)(NHS)、公共衛(wèi)生局(PHE)以及負(fù)責(zé)軟件維護的日立咨詢公司三方互相踢皮球,然而最終結(jié)果很有可能是根據(jù)目前的法律體系無法產(chǎn)生定論(21)汝緒華:《算法政治:風(fēng)險、發(fā)生邏輯與治理》,《廈門大學(xué)學(xué)報》(哲學(xué)社會科學(xué)版)2018年第6期。。

    五、算法治理的進路

    對于異化馬克思雖然沒有直接提出解決方案,但他認(rèn)為這只是特定社會和歷史條件的特征。一定歷史發(fā)展階段下算法技術(shù)必然存在歷史性的缺陷,技術(shù)的問題應(yīng)回到技術(shù)層面解決。但不可否認(rèn)的是,治理困境中技術(shù)異化的實質(zhì)是人的異化。因此,應(yīng)從算法技術(shù)和人的價值層面出發(fā),充分發(fā)揮人的主觀能動性,預(yù)防化解社會治理可能遇到的挑戰(zhàn)和沖擊。

    (一)優(yōu)化算法設(shè)計,避免決策偏差

    加強對智能算法的治理,應(yīng)從技術(shù)本身入手,提高算法技術(shù)的合理性。首先,針對算法本身暴露出的缺陷,技術(shù)研發(fā)人員應(yīng)關(guān)注到現(xiàn)有因果推理技術(shù)對于優(yōu)化算法的重要性。現(xiàn)有成果如Alan Turing Institute的一組研究人員使用因果推理的工具開發(fā)了一套嚴(yán)格的模型,研究結(jié)果表明因果模型能夠有效捕獲社會偏差(22)Matt Kusner,Joshua Loftus,Chris Russell, and Ricardo Silva,“Counterfactual Fairness”,2018-03-08,https:arxiv.orgpdf1703.06856.pdf,2019-12-20.,該模型使算法能夠考慮到對個體產(chǎn)生的不同社會偏見,并有效地補償這些偏差。其次,提高算法推薦的多樣性?;诳啥ㄖ萍夹g(shù)造成的認(rèn)知窄化現(xiàn)象,設(shè)計人員應(yīng)根據(jù)用戶偏好增加算法推薦集的多樣性。盡管有學(xué)者質(zhì)疑,為了多元性而強調(diào)多樣性,可能會導(dǎo)致社會最緊迫的問題被不同的聲音淹沒(23)Duncan J,Reid J,“Toward a Measurement Tool for The Monitoring of Media Diversity and Pluralism in South Africa:A Public-centred Approach”,Communicatio,Vol.39,No.4,2013.。然而,從傳統(tǒng)民主政治的價值來判斷,多樣性能夠促進和激活公民在社會中發(fā)揮更積極的作用。最后,作為算法學(xué)習(xí)的基礎(chǔ),數(shù)據(jù)的代表性與分布的優(yōu)化十分重要。數(shù)據(jù)采樣基于盡可能全面的數(shù)據(jù)優(yōu)于篩選過的“好”的采樣數(shù)據(jù),“好”的采樣數(shù)據(jù)優(yōu)于不均勻分布、不具代表性數(shù)據(jù)的原則。研究人員應(yīng)謹(jǐn)慎使用采集到的數(shù)據(jù)樣本,提高數(shù)據(jù)的代表性。同時,數(shù)據(jù)本身可能有一個偏差的分布,因而對執(zhí)行人工智能訓(xùn)練的數(shù)據(jù)進行審核是降低算法不公正的重要方式,無論是采用人工介入或是開發(fā)相關(guān)技術(shù)的形式對算法進行審核,都能有效對抗算法偏差問題。

    (二)搭建治理合作平臺,促進跨領(lǐng)域交流

    算法源于社會場景并因在實踐中的應(yīng)用而不斷被優(yōu)化,作為智能社會發(fā)展的重要基石,其可持續(xù)發(fā)展,需要整合社會多方力量,以形成立體的協(xié)同合作體系來助力算法的演進。從算法的基礎(chǔ)認(rèn)知、實踐運用到反饋修正,涉及到關(guān)于算法的多學(xué)科理論和編碼的技術(shù)。因此,對于算法的研究需要跨領(lǐng)域的融合,打破知識的邊界,而不是僅留守于計算機學(xué)術(shù)研究領(lǐng)域。算法研究的學(xué)術(shù)社區(qū)有助于推進這一融合發(fā)展的進程,通過建立跨越包括數(shù)學(xué)、計算機、社會學(xué)和法律等學(xué)科領(lǐng)域的學(xué)術(shù)社群,從而基于復(fù)合型理論視角指導(dǎo)技術(shù)處理算法中的倫理、歧視、透明度和問責(zé)制等問題。這一治理結(jié)構(gòu)的建立需要政府統(tǒng)合各方資源,由政府、專家、企業(yè)和公眾組成跨領(lǐng)域的治理結(jié)構(gòu),這是實現(xiàn)算法監(jiān)督與避免算法風(fēng)險的有效途徑。為保障這一架構(gòu)的運行,政府部門可以通過組織化方式,創(chuàng)建研究算法相關(guān)的咨詢機構(gòu)或處理人工智能問題的專業(yè)組織。例如,紐約市議會通過了一項法案,成立了一個以審查紐約市各機構(gòu)對算法的使用及其涉及的政策問題的工作組,該工作組由研究算法透明度、公平性方面的專家和非營利組織的工作人員組成,他們將與最有可能受到有缺陷算法傷害的群體代表一起工作。同時這一組織也將通過一套目標(biāo)方案,以“解決何時公開以及算法公開方式及程度、如何評估算法中的偏見、算法偏見可能帶來的影響等問題的對策”(24)Rashida Richhardson and NewYork Civill Liberties Unionn,“New York City Takes on Algorithmic Discrimination”,2017-12-12,https:www.aclu.orgblogprivacy-technologysurveillance-technologiesnew-york-city-takes-algorithmic-discrimination,2019-12-20.。

    (三)制定相關(guān)法律法規(guī),建立合理的算法問責(zé)制

    面對算法導(dǎo)致的社會治理問題,應(yīng)在政府主導(dǎo)下建立與之對應(yīng)的法律法規(guī)體系與倫理道德框架。開展與人工智能應(yīng)用相關(guān)的法律責(zé)任認(rèn)定、隱私和產(chǎn)權(quán)保護、信息使用限制等法律問題研究,建立追責(zé)制度,明確人工智能設(shè)計者、使用者、推廣者的法律主體身份以及相關(guān)權(quán)利、義務(wù)等。2018年,歐盟AI聯(lián)盟在推進人工智能立法草案中強調(diào):人工智能應(yīng)考量人類能動性和監(jiān)督,穩(wěn)健性和安全性,隱私和數(shù)據(jù)監(jiān)管,透明性、多元化、非歧視性,公平、社會環(huán)境福祉以及問責(zé)制。雖然草案規(guī)定的內(nèi)容較為寬泛,且目前不具有約束力,但給我們提供了一個參照的范例。算法問責(zé)方面,一些歐美國家已有所行動。2019年4月,美國立法者提出了一項名為“算法問責(zé)”的法案。該法案要求“大公司審計其機器學(xué)習(xí)系統(tǒng)的偏見和歧視,并在發(fā)現(xiàn)問題時及時采取糾正措施。與此同時,還需審查涉及隱私和安全風(fēng)險的敏感數(shù)據(jù)的所有流程,包括個人身份識別,生物識別和遺傳信息”(25)Karen Hao,“Congress Wants to Protect You from Biased Algorithms,Deepfakes,and Other Bad AI”,2019-04-15,https:www.technologyreview.coms613310,2019-12-20.。英國、法國、澳大利亞和其他國家也都通過立法等形式,要求科技公司對其算法負(fù)責(zé)。算法問責(zé)制是指“算法開發(fā)人員有責(zé)任提供關(guān)于與算法相關(guān)的解釋說明,即算法可能或?qū)嶋H上已經(jīng)造成的損害,以及算法的責(zé)任分配和危害發(fā)生后的補救機制”(26)Diakopoulos N,“Accountability in Algorithmic Decision Making”,Communications of The ACM,Vol.59,No.2,2016.。結(jié)合我國的實際情況,更具可行性的算法問責(zé)制應(yīng)具備以下幾點:首先,堅持政府主導(dǎo)與行業(yè)驅(qū)動相結(jié)合的原則。人工智能領(lǐng)域的正向發(fā)展不應(yīng)該依賴政府來發(fā)揮這一作用,過多的政府干預(yù)會給企業(yè)帶來阻力并減緩創(chuàng)新,但缺乏外界的限制則會導(dǎo)致企業(yè)在難以舍棄的利益目標(biāo)驅(qū)使下罔顧技術(shù)開發(fā)的邊界。政府建立總體管理框架,應(yīng)用算法的巨頭公司應(yīng)遵循框架要求,自主性地擬定公司準(zhǔn)則,如提升透明度上,允許用戶、公眾或公職人員了解關(guān)于算法“正在發(fā)生的事情”。其次,嚴(yán)格處理惡意掩蓋透明度行為,政府應(yīng)強制執(zhí)行問責(zé)制,明確定義責(zé)任機制和透明化的流程。大數(shù)據(jù)公司、科技型企業(yè)應(yīng)積極地將責(zé)任嵌入其算法系統(tǒng)中,明確行動的責(zé)任邊界。最后,充分考慮透明度的局限性。政府部門、相關(guān)企業(yè)和社會大眾應(yīng)意識到透明化并不是解決算法黑箱的萬靈丹,問責(zé)只能治標(biāo),要治本還需在技術(shù)倫理層面上找到源動力。

    (四)建立人工智能行業(yè)規(guī)范,發(fā)揮價值理性的作用

    在這個由算法技術(shù)構(gòu)成的智能社會中,想要擺脫個體對技術(shù)的過度依賴,人們應(yīng)自覺發(fā)揮價值理性的導(dǎo)向作用,遵循社會共同的道德規(guī)范。一方面,應(yīng)加強行業(yè)從業(yè)人員的道德自律,建立相關(guān)行業(yè)規(guī)范。政府可以通過定義道德準(zhǔn)則和監(jiān)督審查使行業(yè)規(guī)范制度化,建立處理人工智能道德倫理問題的道德委員會,以倡導(dǎo)社會正義和公平為宗旨,以人工智能的道德規(guī)范以及對公民權(quán)利、隱私和安全的保護為目標(biāo)。2017年,美國電氣和電子工程師協(xié)會(IEEE)作出了這樣的嘗試,他們發(fā)出全球倡議,以“在自主和智能系統(tǒng)的設(shè)計和開發(fā)中優(yōu)先考慮倫理問題,鼓勵建立標(biāo)準(zhǔn)和相關(guān)認(rèn)證程序,促進與這些原則相符合的國家和全球政策的出現(xiàn)為目標(biāo),并就如何應(yīng)對人工智能的道德挑戰(zhàn)提出了具體的要求建議”(27)IEEE Global Initiative,“Ethically Aligned Design:A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems(Version 2)”,2017-12-11,https:standards.ieee.orgcontentdamieee-standardsstandardswebdocu-mentsotheread_v2.pdf,2019-12-20.。另一方面,應(yīng)同我國具體實際相結(jié)合,充分發(fā)揮價值理性的引導(dǎo)作用。不管是個人層面表現(xiàn)出的偏見、歧視,還是時代背景下體現(xiàn)的種種社會矛盾和不公正等問題,社會主義核心價值觀作為一種精神力量,都可以發(fā)揮出道德教化和正向的引導(dǎo)作用。在制定人工智能行業(yè)道德規(guī)范時,應(yīng)將社會主義核心價值觀融入制度的框架中,實現(xiàn)行業(yè)規(guī)范與價值導(dǎo)向的有機統(tǒng)一,從而達到約束和引導(dǎo)行業(yè)從業(yè)人員行為的目的。

    (五)提高主體認(rèn)知水平,增強抗風(fēng)險能力

    人工智能技術(shù)的飛躍性與人類社會法治系統(tǒng)迭代的滯后性并存,任何政府都難以完全與時代的發(fā)展同步趕制出調(diào)整其發(fā)展帶來可能后果的法規(guī)。面對日益強大的算法、人工智能等技術(shù),應(yīng)意識到人在實踐活動中的主體性。從社會層面來看,提高公眾應(yīng)對人工智能的相關(guān)認(rèn)知水平,不僅能在社會中建立對人工智能的廣泛理解和接受,還能提高人們的風(fēng)險意識,理性對待智能社會可能面臨的問題,以增強抗風(fēng)險的能力。通過開展更廣泛的人工智能專題科普活動,增加相關(guān)專業(yè)領(lǐng)域書籍的翻譯與出版,以及強化媒體平臺參與宣傳等,提升公民辨別虛假信息以及理性批判思維的能力,全面提升公眾的智能時代生活素養(yǎng),更好地享受智能社會帶來的便捷與福利。從國家層面來說,政府應(yīng)加大人工智能領(lǐng)域人才隊伍的建設(shè),提高整個社會乃至國家的抗風(fēng)險能力。以政府為主導(dǎo),聯(lián)合學(xué)校、科研院所、企業(yè)等主體進行人工智能的產(chǎn)學(xué)研合作,通過職業(yè)教育、產(chǎn)業(yè)扶持以及社會保障等途徑,培育一批人工智能領(lǐng)域的尖端人才,打造科技創(chuàng)新更高平臺,吸納國內(nèi)外智能科技精英,營造人工智能發(fā)展的良好人才環(huán)境。

    當(dāng)我們朝著未來向前邁進時,技術(shù)發(fā)展帶來的社會變革使我們處于一個十字路口,正如霍金先生所憂思的,“成功創(chuàng)造人工智能將是人類歷史最大事件,若不懂如何避開風(fēng)險,這也將是最后的大事”(28)王世梅:《智慧與智慧場》,西安:西北大學(xué)出版社,2016年,第78頁。。面對技術(shù)進步帶來的治理困境和挑戰(zhàn),我們必須正確理解和對待算法技術(shù),充分發(fā)揮人的主觀能動性,謹(jǐn)慎對待智能科技,塑造向善的技術(shù)倫理觀,構(gòu)建以人為本、合乎道德的智能時代治理圖景。

    猜你喜歡
    異化人工智能算法
    農(nóng)村聘禮的異化與治理——基于微治理的視角
    商品交換中的所有權(quán)正義及其異化
    基于MapReduce的改進Eclat算法
    Travellng thg World Full—time for Rree
    異化圖像的人文回歸
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    進位加法的兩種算法
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    當(dāng)前大眾文化審丑異化的批判性解讀
    亚洲精品第二区| 美女主播在线视频| 亚洲av美国av| 国产伦理片在线播放av一区| 午夜福利一区二区在线看| 亚洲精品久久成人aⅴ小说| 亚洲欧美色中文字幕在线| 久久国产精品男人的天堂亚洲| 男女无遮挡免费网站观看| 热99久久久久精品小说推荐| 成人午夜精彩视频在线观看| 国产不卡av网站在线观看| 尾随美女入室| 国产高清不卡午夜福利| 国产一区二区三区av在线| 一级片'在线观看视频| 久久国产精品人妻蜜桃| 国产无遮挡羞羞视频在线观看| 成人午夜精彩视频在线观看| 婷婷色麻豆天堂久久| 国产精品亚洲av一区麻豆| 亚洲av片天天在线观看| 久久久国产欧美日韩av| 男女免费视频国产| 日韩av免费高清视频| 一本久久精品| 欧美97在线视频| 免费女性裸体啪啪无遮挡网站| 99热网站在线观看| av电影中文网址| 亚洲国产精品国产精品| 久久国产精品大桥未久av| 国产成人av教育| 啦啦啦在线免费观看视频4| 亚洲精品中文字幕在线视频| 大香蕉久久网| 国产97色在线日韩免费| 色婷婷久久久亚洲欧美| 男女无遮挡免费网站观看| 男女之事视频高清在线观看 | 精品卡一卡二卡四卡免费| 午夜精品国产一区二区电影| 国产高清不卡午夜福利| 一本—道久久a久久精品蜜桃钙片| 午夜日韩欧美国产| 国产一区有黄有色的免费视频| 欧美日韩亚洲综合一区二区三区_| 日韩制服骚丝袜av| av国产久精品久网站免费入址| 飞空精品影院首页| 久久国产精品大桥未久av| 国产精品秋霞免费鲁丝片| 国产成人免费无遮挡视频| 亚洲国产欧美日韩在线播放| 人人妻人人澡人人爽人人夜夜| 少妇人妻 视频| 99国产精品99久久久久| 波多野结衣av一区二区av| 国产有黄有色有爽视频| 国产成人欧美在线观看 | 永久免费av网站大全| 啦啦啦在线观看免费高清www| 国产精品 欧美亚洲| 天天躁日日躁夜夜躁夜夜| 亚洲熟女毛片儿| 国产在线一区二区三区精| 人人妻人人澡人人爽人人夜夜| 视频区图区小说| 国产免费视频播放在线视频| 波多野结衣av一区二区av| 免费女性裸体啪啪无遮挡网站| 操美女的视频在线观看| 免费在线观看视频国产中文字幕亚洲 | 曰老女人黄片| 国产一卡二卡三卡精品| 国产欧美日韩综合在线一区二区| 亚洲欧美清纯卡通| 久久国产精品男人的天堂亚洲| 国产成人精品久久久久久| 中文精品一卡2卡3卡4更新| a级毛片黄视频| 午夜福利乱码中文字幕| 日本av免费视频播放| 黄色a级毛片大全视频| 亚洲精品中文字幕在线视频| 成人亚洲精品一区在线观看| 爱豆传媒免费全集在线观看| 美女高潮到喷水免费观看| 亚洲色图 男人天堂 中文字幕| 久久久久久久精品精品| www.自偷自拍.com| 欧美xxⅹ黑人| 国产日韩一区二区三区精品不卡| 午夜视频精品福利| 亚洲久久久国产精品| 伊人亚洲综合成人网| 麻豆av在线久日| av视频免费观看在线观看| 精品人妻熟女毛片av久久网站| 中文字幕另类日韩欧美亚洲嫩草| 男女之事视频高清在线观看 | 色网站视频免费| 51午夜福利影视在线观看| 日韩人妻精品一区2区三区| 9色porny在线观看| 大片电影免费在线观看免费| 99香蕉大伊视频| 又大又爽又粗| 久久中文字幕一级| 亚洲,欧美精品.| 国产成人系列免费观看| 天天躁夜夜躁狠狠躁躁| 亚洲精品国产av成人精品| 免费在线观看黄色视频的| 18禁黄网站禁片午夜丰满| 精品久久久精品久久久| 精品一区在线观看国产| 精品国产乱码久久久久久小说| 欧美日韩综合久久久久久| 中国美女看黄片| 99热国产这里只有精品6| 国产男女内射视频| 国产一区二区 视频在线| 一级毛片我不卡| 久久久久久免费高清国产稀缺| 国产亚洲av片在线观看秒播厂| 中文字幕人妻丝袜一区二区| av视频免费观看在线观看| 国产精品二区激情视频| 波野结衣二区三区在线| 视频在线观看一区二区三区| 最黄视频免费看| 十分钟在线观看高清视频www| 久久综合国产亚洲精品| 我要看黄色一级片免费的| 狂野欧美激情性bbbbbb| 三上悠亚av全集在线观看| 男女无遮挡免费网站观看| 欧美黑人欧美精品刺激| 99精品久久久久人妻精品| 亚洲国产欧美网| 午夜影院在线不卡| 男人操女人黄网站| 2021少妇久久久久久久久久久| 青春草视频在线免费观看| 天天躁夜夜躁狠狠久久av| 欧美大码av| 中文字幕亚洲精品专区| 亚洲av日韩在线播放| 久久久久精品国产欧美久久久 | 国产av国产精品国产| 亚洲图色成人| 久久天躁狠狠躁夜夜2o2o | 久久国产精品大桥未久av| 大码成人一级视频| 天堂俺去俺来也www色官网| 看免费成人av毛片| 精品久久蜜臀av无| 久久国产精品影院| 最近中文字幕2019免费版| 国产精品免费大片| 午夜精品国产一区二区电影| 电影成人av| 国产精品欧美亚洲77777| 精品国产超薄肉色丝袜足j| 成人亚洲精品一区在线观看| 一边亲一边摸免费视频| 午夜视频精品福利| 一级片免费观看大全| 久久人人爽av亚洲精品天堂| 亚洲国产毛片av蜜桃av| 国产熟女午夜一区二区三区| 一级毛片我不卡| 国产淫语在线视频| 一区二区av电影网| 国产日韩欧美视频二区| 中文字幕人妻丝袜制服| 精品一区二区三区av网在线观看 | 少妇猛男粗大的猛烈进出视频| 无遮挡黄片免费观看| 视频在线观看一区二区三区| av电影中文网址| 少妇被粗大的猛进出69影院| av片东京热男人的天堂| 久久精品久久久久久久性| 波野结衣二区三区在线| 欧美久久黑人一区二区| 无遮挡黄片免费观看| 婷婷色麻豆天堂久久| 日日摸夜夜添夜夜爱| 天天影视国产精品| 亚洲人成电影免费在线| 秋霞在线观看毛片| 中文字幕人妻丝袜制服| 亚洲,一卡二卡三卡| 午夜影院在线不卡| 久9热在线精品视频| 国语对白做爰xxxⅹ性视频网站| 国产精品香港三级国产av潘金莲 | av线在线观看网站| 欧美在线一区亚洲| netflix在线观看网站| 久久久精品免费免费高清| 精品熟女少妇八av免费久了| 国产老妇伦熟女老妇高清| 亚洲,欧美,日韩| 国产97色在线日韩免费| 黄网站色视频无遮挡免费观看| 久久女婷五月综合色啪小说| 久久国产精品人妻蜜桃| 国产免费又黄又爽又色| 制服诱惑二区| 水蜜桃什么品种好| 国产亚洲欧美在线一区二区| 亚洲三区欧美一区| 亚洲人成网站在线观看播放| 亚洲av成人精品一二三区| 老司机在亚洲福利影院| 天天添夜夜摸| 啦啦啦中文免费视频观看日本| 天天影视国产精品| av福利片在线| 国产精品国产三级国产专区5o| 波野结衣二区三区在线| 黄色a级毛片大全视频| av在线老鸭窝| 免费观看a级毛片全部| 亚洲自偷自拍图片 自拍| 高清视频免费观看一区二区| 高清av免费在线| 纯流量卡能插随身wifi吗| 人成视频在线观看免费观看| 国语对白做爰xxxⅹ性视频网站| 亚洲成人国产一区在线观看 | 精品国产一区二区三区四区第35| 久9热在线精品视频| 中文乱码字字幕精品一区二区三区| 老汉色av国产亚洲站长工具| 欧美国产精品一级二级三级| 亚洲欧美色中文字幕在线| 欧美日韩视频精品一区| 国产精品99久久99久久久不卡| 视频区欧美日本亚洲| 国产精品三级大全| 亚洲成人免费av在线播放| 久久九九热精品免费| 久久精品亚洲熟妇少妇任你| 国产精品一区二区在线观看99| 国产视频首页在线观看| tube8黄色片| 日本色播在线视频| 亚洲成人免费电影在线观看 | 亚洲欧美日韩另类电影网站| 亚洲欧美一区二区三区黑人| 亚洲国产欧美网| 亚洲成人国产一区在线观看 | 宅男免费午夜| 国产精品三级大全| 在线观看一区二区三区激情| 极品人妻少妇av视频| 日韩中文字幕欧美一区二区 | 99国产精品免费福利视频| 成年人黄色毛片网站| 老司机亚洲免费影院| 国产一区二区激情短视频 | 国产精品免费视频内射| 久久99一区二区三区| 91精品国产国语对白视频| 赤兔流量卡办理| 最新在线观看一区二区三区 | 日韩一本色道免费dvd| 亚洲国产最新在线播放| 女性生殖器流出的白浆| 看免费av毛片| 亚洲国产精品999| 又粗又硬又长又爽又黄的视频| 亚洲精品中文字幕在线视频| 免费人妻精品一区二区三区视频| 日韩 亚洲 欧美在线| 亚洲九九香蕉| 日日夜夜操网爽| 午夜免费男女啪啪视频观看| 午夜久久久在线观看| 十八禁高潮呻吟视频| 成年美女黄网站色视频大全免费| 国产欧美日韩综合在线一区二区| 岛国毛片在线播放| 交换朋友夫妻互换小说| 女警被强在线播放| 国产日韩一区二区三区精品不卡| 婷婷色av中文字幕| av欧美777| 最新的欧美精品一区二区| 亚洲精品国产色婷婷电影| 一二三四在线观看免费中文在| 蜜桃在线观看..| 亚洲一码二码三码区别大吗| 一本色道久久久久久精品综合| 亚洲自偷自拍图片 自拍| 考比视频在线观看| 国产精品成人在线| 亚洲情色 制服丝袜| 欧美 日韩 精品 国产| 国产精品.久久久| 成年女人毛片免费观看观看9 | 成人三级做爰电影| 久久久国产欧美日韩av| 色婷婷av一区二区三区视频| 亚洲图色成人| 国产精品秋霞免费鲁丝片| 欧美亚洲日本最大视频资源| 成年人黄色毛片网站| 一二三四在线观看免费中文在| 国产av精品麻豆| 国产99久久九九免费精品| av天堂在线播放| 人成视频在线观看免费观看| 亚洲自偷自拍图片 自拍| 波野结衣二区三区在线| 真人做人爱边吃奶动态| 国产亚洲欧美在线一区二区| 久久国产亚洲av麻豆专区| 人妻一区二区av| 精品一区在线观看国产| 热99久久久久精品小说推荐| 国产视频首页在线观看| 91麻豆精品激情在线观看国产 | 中文乱码字字幕精品一区二区三区| 国产av精品麻豆| 99国产精品99久久久久| 久久久国产精品麻豆| 9色porny在线观看| 亚洲成av片中文字幕在线观看| 久久ye,这里只有精品| 在线观看免费视频网站a站| bbb黄色大片| 免费在线观看影片大全网站 | 在线 av 中文字幕| 久久人妻熟女aⅴ| 一级毛片我不卡| 成人亚洲精品一区在线观看| 精品卡一卡二卡四卡免费| 美女高潮到喷水免费观看| 精品少妇久久久久久888优播| 欧美老熟妇乱子伦牲交| 国产精品一区二区免费欧美 | 超色免费av| 九色亚洲精品在线播放| 免费看十八禁软件| 亚洲中文字幕日韩| 日本av免费视频播放| 激情视频va一区二区三区| 18在线观看网站| 又紧又爽又黄一区二区| 欧美日韩成人在线一区二区| 亚洲精品在线美女| 国产熟女午夜一区二区三区| 久久久久久久国产电影| 精品国产一区二区久久| www.自偷自拍.com| e午夜精品久久久久久久| 亚洲精品一区蜜桃| 老司机午夜十八禁免费视频| 国产欧美日韩一区二区三区在线| 国产成人av教育| 久久久久久久大尺度免费视频| 波多野结衣一区麻豆| 亚洲av综合色区一区| 亚洲成人免费av在线播放| 久久性视频一级片| 一区二区三区激情视频| 日本色播在线视频| 91字幕亚洲| 少妇人妻 视频| 国产深夜福利视频在线观看| 一级毛片 在线播放| 男女午夜视频在线观看| 在线av久久热| 美女中出高潮动态图| 午夜激情久久久久久久| 精品国产一区二区三区四区第35| 国产精品秋霞免费鲁丝片| 自线自在国产av| bbb黄色大片| 成年av动漫网址| 女警被强在线播放| www.自偷自拍.com| 欧美黄色淫秽网站| 国产真人三级小视频在线观看| 日韩大片免费观看网站| 男人添女人高潮全过程视频| 黑人猛操日本美女一级片| 少妇被粗大的猛进出69影院| 国产精品一区二区在线不卡| 亚洲,欧美,日韩| 精品一区二区三区av网在线观看 | 精品国产超薄肉色丝袜足j| 免费高清在线观看视频在线观看| 黄网站色视频无遮挡免费观看| 在线观看免费日韩欧美大片| 亚洲精品国产区一区二| 一级,二级,三级黄色视频| 国产免费一区二区三区四区乱码| 男女床上黄色一级片免费看| 欧美国产精品一级二级三级| 亚洲少妇的诱惑av| av福利片在线| 国产亚洲一区二区精品| 午夜免费成人在线视频| 三上悠亚av全集在线观看| 久9热在线精品视频| 国产成人欧美| 免费在线观看黄色视频的| 亚洲专区中文字幕在线| e午夜精品久久久久久久| 在线观看人妻少妇| 中文精品一卡2卡3卡4更新| 久久久国产欧美日韩av| 欧美日韩亚洲国产一区二区在线观看 | 女人被躁到高潮嗷嗷叫费观| 操出白浆在线播放| 乱人伦中国视频| 亚洲免费av在线视频| 欧美精品高潮呻吟av久久| 婷婷丁香在线五月| 国产主播在线观看一区二区 | 亚洲国产日韩一区二区| 免费一级毛片在线播放高清视频 | 日韩 欧美 亚洲 中文字幕| 美女扒开内裤让男人捅视频| 18禁国产床啪视频网站| 久久综合国产亚洲精品| 女人久久www免费人成看片| 国产成人精品久久二区二区免费| 肉色欧美久久久久久久蜜桃| 69精品国产乱码久久久| 亚洲国产欧美日韩在线播放| 亚洲国产av新网站| 午夜影院在线不卡| www.熟女人妻精品国产| 1024香蕉在线观看| 久久人人爽av亚洲精品天堂| 国产一区二区三区综合在线观看| 国产成人a∨麻豆精品| av有码第一页| 天天躁日日躁夜夜躁夜夜| 国产伦人伦偷精品视频| 久热爱精品视频在线9| 这个男人来自地球电影免费观看| 国产一级毛片在线| 色婷婷av一区二区三区视频| 男人添女人高潮全过程视频| 欧美大码av| 亚洲男人天堂网一区| 一区二区三区四区激情视频| 夫妻性生交免费视频一级片| 又黄又粗又硬又大视频| 欧美在线一区亚洲| 热re99久久精品国产66热6| 日韩伦理黄色片| 日本五十路高清| xxx大片免费视频| 久久亚洲精品不卡| 亚洲国产精品一区三区| 又黄又粗又硬又大视频| 国产精品久久久久久人妻精品电影 | 亚洲av电影在线进入| 久久久久久久精品精品| 国产伦理片在线播放av一区| 欧美少妇被猛烈插入视频| 亚洲第一av免费看| 爱豆传媒免费全集在线观看| av在线app专区| 日本一区二区免费在线视频| 国产高清视频在线播放一区 | 午夜老司机福利片| 好男人电影高清在线观看| 日本色播在线视频| 欧美亚洲日本最大视频资源| 欧美精品一区二区免费开放| 天堂俺去俺来也www色官网| 男女边摸边吃奶| 老汉色∧v一级毛片| 亚洲国产av影院在线观看| 精品国产一区二区三区四区第35| 人人澡人人妻人| 亚洲国产日韩一区二区| 91九色精品人成在线观看| av网站免费在线观看视频| 一区二区三区激情视频| 老司机午夜十八禁免费视频| 日韩欧美一区视频在线观看| 亚洲色图综合在线观看| 51午夜福利影视在线观看| 一级黄片播放器| 别揉我奶头~嗯~啊~动态视频 | 狠狠婷婷综合久久久久久88av| 一级a爱视频在线免费观看| 午夜av观看不卡| 男女午夜视频在线观看| 亚洲精品国产色婷婷电影| 国产精品九九99| 日本欧美国产在线视频| 欧美精品一区二区免费开放| 91成人精品电影| 久久久久精品国产欧美久久久 | 国产伦人伦偷精品视频| 黄网站色视频无遮挡免费观看| 久久久精品国产亚洲av高清涩受| 亚洲精品久久成人aⅴ小说| 精品少妇久久久久久888优播| 精品国产一区二区三区久久久樱花| 美女国产高潮福利片在线看| 日本色播在线视频| 国产日韩欧美在线精品| 国产成人av激情在线播放| 美女脱内裤让男人舔精品视频| 一级a爱视频在线免费观看| 精品国产乱码久久久久久小说| 亚洲第一av免费看| 人人妻人人添人人爽欧美一区卜| 少妇裸体淫交视频免费看高清 | 9热在线视频观看99| 男人操女人黄网站| 国产一区有黄有色的免费视频| 久久国产精品人妻蜜桃| 亚洲九九香蕉| 国产精品一二三区在线看| 色婷婷av一区二区三区视频| 国产又色又爽无遮挡免| 99久久99久久久精品蜜桃| 久久免费观看电影| 韩国精品一区二区三区| 免费av中文字幕在线| 女人久久www免费人成看片| 美女国产高潮福利片在线看| 别揉我奶头~嗯~啊~动态视频 | 亚洲一码二码三码区别大吗| 老司机靠b影院| 91麻豆av在线| 精品人妻熟女毛片av久久网站| 2021少妇久久久久久久久久久| 中文欧美无线码| av在线老鸭窝| 黄色怎么调成土黄色| 成年美女黄网站色视频大全免费| 妹子高潮喷水视频| 在线av久久热| 亚洲久久久国产精品| 2021少妇久久久久久久久久久| 香蕉国产在线看| 国产日韩欧美在线精品| 脱女人内裤的视频| 精品福利永久在线观看| 国产爽快片一区二区三区| 大片电影免费在线观看免费| 大香蕉久久网| 亚洲精品一卡2卡三卡4卡5卡 | av国产久精品久网站免费入址| 麻豆av在线久日| 亚洲精品一区蜜桃| 制服人妻中文乱码| 国产亚洲精品久久久久5区| 欧美日韩黄片免| 国产男人的电影天堂91| 亚洲精品美女久久久久99蜜臀 | 欧美成狂野欧美在线观看| 国产成人系列免费观看| 50天的宝宝边吃奶边哭怎么回事| 国产免费福利视频在线观看| 欧美成人精品欧美一级黄| 色综合欧美亚洲国产小说| 黄色一级大片看看| 一二三四在线观看免费中文在| 亚洲伊人久久精品综合| 久久av网站| 免费日韩欧美在线观看| 日韩伦理黄色片| av视频免费观看在线观看| 亚洲欧美一区二区三区久久| 国产精品成人在线| 国产真人三级小视频在线观看| 啦啦啦在线免费观看视频4| 国产精品 国内视频| 午夜免费成人在线视频| 国产精品一区二区免费欧美 | 又粗又硬又长又爽又黄的视频| 国产在线免费精品| 一二三四在线观看免费中文在| av片东京热男人的天堂| 中文字幕人妻丝袜一区二区| 久久精品亚洲熟妇少妇任你| 国产欧美日韩综合在线一区二区| 国产午夜精品一二区理论片| 午夜91福利影院| 国产一区二区三区av在线| 日韩电影二区| av国产久精品久网站免费入址| 两性夫妻黄色片| 久久精品熟女亚洲av麻豆精品| 色播在线永久视频| 久久九九热精品免费| 国产精品香港三级国产av潘金莲 | 国产精品久久久久久人妻精品电影 | 看免费av毛片| 老鸭窝网址在线观看| videos熟女内射| 亚洲欧美日韩高清在线视频 | 久久女婷五月综合色啪小说| 建设人人有责人人尽责人人享有的| 精品欧美一区二区三区在线| 亚洲av日韩精品久久久久久密 | 亚洲一码二码三码区别大吗| 亚洲图色成人| 我的亚洲天堂|