• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算法公平問題及其價值敏感設(shè)計的解法

    2024-05-08 00:00:00嚴(yán)順
    倫理學(xué)研究 2024年2期

    [摘要]算法歧視現(xiàn)象給個體生活帶來極大困擾,算法的技術(shù)設(shè)計和法律防治是當(dāng)前避免算法歧視的有效方法。但此類方法總在追求算法和公平之間的形式關(guān)系,試圖用形式公平掩蓋實質(zhì)不公平,其根本原因是目前的算法設(shè)計對隱性價值不敏感,采用社會中既定的價值觀作為設(shè)計前提,忽略公平、現(xiàn)實與個體的動態(tài)因果關(guān)系。這對實現(xiàn)算法公平提出了一種超越性要求,即要求算法研究者在算法設(shè)計過程中持續(xù)性追問公平的倫理價值。價值敏感設(shè)計通過不同方式識別和嵌入價值,是實現(xiàn)算法公平的可行路徑。該方法通過概念調(diào)查、經(jīng)驗調(diào)查和技術(shù)調(diào)查研究算法設(shè)計過程中的價值基礎(chǔ),揭示出影響公平的隱性價值,進而引導(dǎo)公平算法的設(shè)計路徑,避免出現(xiàn)算法歧視現(xiàn)象。

    [關(guān)鍵詞]算法公平;價值敏感設(shè)計;隱性價值;算法歧視

    [作者簡介]嚴(yán)順,大連理工大學(xué)人文學(xué)院哲學(xué)系博士生。

    *本文系國家社會科學(xué)基金重大項目“大數(shù)據(jù)環(huán)境下信息價值開發(fā)的倫理約束機制研究”(17ZDA023)的階段性成果。

    從1956年人工智能概念在達特茅斯會議上確立,到2016年AlphaGo擊敗圍棋世界冠軍李世石,再到近年來ChatGPT等自然語言處理技術(shù)的廣泛應(yīng)用,深度學(xué)習(xí)算法引起了社會各界的廣泛關(guān)注和討論。目前流行的算法以其高效、精準(zhǔn)的特性為個體提供了大量的信息,改變了人們的生活方式和工作方式,然而也造成了算法歧視現(xiàn)象。這些現(xiàn)象將人們?nèi)哂嗟哪芰繌膹?fù)雜的統(tǒng)計計算轉(zhuǎn)移到對科技生活的倫理反思上,計算機科學(xué)家、法學(xué)家等專家正真誠地嘗試設(shè)計公平的算法,以減少偏見和歧視產(chǎn)生的可能性。算法設(shè)計的技術(shù)進路和法律防治的法治進路是目前避免算法歧視的重要方案,技術(shù)進路主要是通過技術(shù)設(shè)計實現(xiàn)算法公平,法治進路主要是通過嚴(yán)格司法約束企業(yè)和個體的行為防止算法不公平。然而這些方案在社會實踐中存在一定局限性,現(xiàn)實世界對公平的需求和數(shù)理化后的公平定義之間存在明顯的脫節(jié),公平是動態(tài)的和社會性的,不僅是一個統(tǒng)計問題或法律問題。如果只依靠歷史數(shù)據(jù)和計算模型賦予價值,算法將鎖定過去不公平,并將不公平累積。研究者應(yīng)在算法設(shè)計過程中持續(xù)追問實現(xiàn)公平的基本前提,沉思公平的價值內(nèi)涵。價值敏感設(shè)計在人機交互系統(tǒng)中積極關(guān)注倫理價值,有助于在算法設(shè)計中發(fā)現(xiàn)和區(qū)分不同的價值,比如啟發(fā)卡片法能夠幫助研究者識別和辨認不同場景中的價值。價值敏感設(shè)計積極平衡技術(shù)創(chuàng)新和社會生存空間之間的關(guān)系,使得公平算法的設(shè)計更加符合人類的倫理價值譜系,對人和社會更負責(zé)。

    一、實現(xiàn)算法公平設(shè)計中存在的現(xiàn)實問題

    算法歧視是指計算機系統(tǒng)在進行數(shù)據(jù)統(tǒng)計分析、預(yù)測和決策時,對某些個人或群體產(chǎn)生偏見,以不合理的理由拒絕向他們提供機會或好處,并將不公平的結(jié)果分配給這些個人或群體[1](330-347)。2016年,美國非營利媒體ProPublica發(fā)表調(diào)查性報道《機器偏見》(“Machine Bias”),詳細地討論了算法歧視問題,認為風(fēng)險評估算法將種族與失業(yè)、貧困等因素聯(lián)系起來是不公平的[2]。此后,算法歧視問題逐漸走入大眾視野,算法模型在研究種族、性別和階級等社會因素上存在不公平表現(xiàn),比如個性化推薦系統(tǒng)的連帶歧視、人臉識別技術(shù)的種族歧視等。在這種情形下,代表性不足的人群因不公平的算法進一步被邊緣化,甚至被剝奪享受服務(wù)的權(quán)利。歧視現(xiàn)象的普遍顯現(xiàn)加劇了社會的不平等,引發(fā)了公眾對算法決策合理性的質(zhì)疑和擔(dān)憂。算法公平逐漸成為公眾的一種普遍需求,算法的設(shè)計應(yīng)當(dāng)以促進社會公平為原則,算法公平(algorithmic fairness)的研究領(lǐng)域應(yīng)當(dāng)探討如何防止或減少算法中的偏差,設(shè)計出真正公平的算法[3](136-143)。

    當(dāng)前實現(xiàn)算法公平的主要路徑是技術(shù)進路和法治進路。前者將算法公平轉(zhuǎn)化為一種技術(shù)挑戰(zhàn),試圖通過技術(shù)手段在算法中實現(xiàn)公平;后者利用法律條文約束算法設(shè)計者和使用者的意圖并規(guī)范他們的行為。二者在促進算法公平方面都有明顯作用,但可能忽略現(xiàn)實生活中的隱性價值,掩蓋了實際存在的不公平現(xiàn)象。

    在實現(xiàn)算法公平的技術(shù)進路中,算法將“公平”作為機器系統(tǒng)中的一個良好屬性,努力設(shè)計出價值與現(xiàn)實相匹配的算法決策機制。研究者通過對“公平”多學(xué)科的理解來開發(fā)解決方案,將算法公平轉(zhuǎn)化為一種技術(shù)挑戰(zhàn),試圖通過技術(shù)手段應(yīng)對有偏見的算法,實現(xiàn)算法公平。研究者為了追求簡單且準(zhǔn)確的統(tǒng)計結(jié)果,將解決問題的技術(shù)設(shè)計方案限制在數(shù)學(xué)中,因而算法決策極易陷入數(shù)據(jù)制造的形式主義陷阱。盡管他們努力研究個體平等、群體平等和算法系統(tǒng)之間的關(guān)系,意圖用數(shù)據(jù)上的平等迎合大眾對公平正義的需求,但從算法的機制和實現(xiàn)結(jié)果來看,如果人們只機械地追求算法和公平之間的形式關(guān)系,疏忽其實質(zhì)差異,那就很容易得到形式上公平而實質(zhì)上不公平的結(jié)果。

    具體來說,實現(xiàn)算法公平的技術(shù)進路立足于哲學(xué)中的公平理論,比如算法中實現(xiàn)個人公平的方法源于亞里士多德的一致性原則,強調(diào)相似的個人應(yīng)該得到相似的待遇,而群體公平的方法遵循平等主義,確保受保護群體的不同成員(例如不同性別或種族)實現(xiàn)統(tǒng)計平等[4](514-524)。在理論研究的基礎(chǔ)上,研究者利用技術(shù)方法產(chǎn)生對算法公平的保證,他們將決策的公平視為受約束的優(yōu)化問題,通過約束決策函數(shù)以滿足特定形式的公平,以此作為產(chǎn)生最佳公平性的保證[5](141-163)。分析算法設(shè)計的底層邏輯和實現(xiàn)機制可以發(fā)現(xiàn),公平的算法設(shè)計強調(diào)將公平作為算法設(shè)計過程中的重要因素,意圖賦予算法決策更多的道德意義。然而研究者通常將這些因素設(shè)計為硬約束或度量標(biāo)準(zhǔn),利用量化指標(biāo)產(chǎn)生對公平的保證,采用平等的準(zhǔn)確度作為決策公平的衡量標(biāo)準(zhǔn),使得算法決策帶有濃厚的計量特征,不能實現(xiàn)真正的算法公平。雖然他們期望通過先進的算法和模型實現(xiàn)對目標(biāo)的追求,意圖用嚴(yán)格的數(shù)據(jù)和統(tǒng)計方法獲得公平又準(zhǔn)確的現(xiàn)實結(jié)果,但是忽視了算法捕捉的結(jié)果只是一種數(shù)據(jù)表示、標(biāo)簽和目標(biāo)之間的形式關(guān)系,沒有主動考慮算法與公平之間的隱性價值。比如司法人員認為基于公平標(biāo)準(zhǔn)的COMPAS風(fēng)險評估算法可以提供更高效率和更少偏見的決策,其中預(yù)測正確率(predictive parity)、假陽性(1 positive)和假陰性(1 negative)等標(biāo)準(zhǔn)是實現(xiàn)算法公平的重要方法,但由于計算機系統(tǒng)中的公平測量標(biāo)準(zhǔn)會存在緊張關(guān)系,它們之間存在統(tǒng)計上無法調(diào)和的差異(假陽性與假陰性在預(yù)測白人和黑人被再次逮捕的概率存在不同),算法會作出錯誤評估與預(yù)測[6]。這表明數(shù)學(xué)計算的結(jié)果良好并不代表在現(xiàn)實中同樣能產(chǎn)生良好的結(jié)果,甚至可能誤入陷阱。安德魯·D.塞爾布斯特(Andrew D. Selbst)等人認為將問題限制在數(shù)學(xué)范圍內(nèi),機器學(xué)習(xí)會掉入形式主義的陷阱[7](59-68)。

    在實現(xiàn)算法公平的法治進路中,很多國家從立法層面約束算法歧視現(xiàn)象,以法律明文規(guī)定對算法進行監(jiān)管和治理。歐盟委員會頒發(fā)了《通用數(shù)據(jù)保護條例》(GDPR)等維護網(wǎng)絡(luò)生態(tài)的法律條文,我國國家互聯(lián)網(wǎng)信息辦公室等四部門針對具體領(lǐng)域中出現(xiàn)的歧視現(xiàn)象出臺了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》。法治進路以律法的形式規(guī)范個人或機構(gòu)對數(shù)據(jù)和算法的使用,使得研究者須基于法律框架設(shè)計和使用算法。在設(shè)計算法時,由于研究者過多關(guān)注司法上歧視或公平的觀念與算法之間的形式關(guān)系,忽視法律、算法和社會公平之間的因果關(guān)系,因而某些算法歧視現(xiàn)象游離于法治之外。雖然法律規(guī)定研究者設(shè)計算法的合理視野,有效避免濫用數(shù)據(jù)和過度關(guān)注敏感信息帶來的算法歧視,但如果人們不主動研究算法、數(shù)據(jù)、個體和社會之間的實質(zhì)關(guān)系,只是一味地追求它們之間的形式關(guān)系,那么形式公平將掩蓋實質(zhì)公平,進而帶來不公平的結(jié)果。

    具體來說,國家以律法的形式規(guī)范算法和數(shù)據(jù)的使用,個體或機構(gòu)須基于法律框架設(shè)計算法,在法律允許的范圍內(nèi)使用算法。在國家司法的嚴(yán)格監(jiān)管下,研究者更專注于在法律語境下實現(xiàn)算法公平,這種以法律為導(dǎo)向的研究目的會促使他們更依賴于法律對歧視或公平等概念的解釋,然后將法律解釋融入算法中。然而此類方法具有局限性,法律觀念在司法實踐中是環(huán)境敏感、標(biāo)準(zhǔn)直觀的靜態(tài)指標(biāo),如果研究者總以直接理解法律觀念的方式設(shè)計算法,可能會陷入一種思維困境,即更側(cè)重于研究靜態(tài)的受保護屬性,從而忽視法律觀念與現(xiàn)實之間的動態(tài)相關(guān)性。比如,企業(yè)嚴(yán)格遵守《通用數(shù)據(jù)保護條例》中的數(shù)據(jù)使用規(guī)約對個人敏感信息進行保護,卻忽視條例中未明確規(guī)范的情形,這會導(dǎo)致計算系統(tǒng)中出現(xiàn)法律允許但不符合倫理的不正常現(xiàn)象。又比如商家利用算法有意將某類人或某種物標(biāo)記為具有某種特征,以便達成自身的商業(yè)目的(例如大數(shù)據(jù)“殺熟”、鼓勵沖動性消費、某些網(wǎng)絡(luò)平臺向會員用戶推銷高價商品)。一旦算法將某類人或某種物標(biāo)記為具有某種特征,這些人或物就會陷入算法制造的規(guī)則中[8](36-48)。雖然研究者設(shè)計算法基于法律框架,但他們并未透徹地研究法律層面受保護者與普通群眾之間的關(guān)系,未致力于追尋群體和屬性之間的深層因果關(guān)系。因此,法律監(jiān)管下實現(xiàn)的算法公平只是一種形式公平,無法真正滿足社會公眾對公平的期待。更重要的是,如果人們拘泥于算法和數(shù)據(jù)的形式表達,不深入探究事物之間的實質(zhì)關(guān)系,還將產(chǎn)生一個危險后果,即算法歧視現(xiàn)象將在法治框架外延續(xù)。安娜·勞倫·霍夫曼(Anna Lauren Hoffmann)認為算法和數(shù)據(jù)有可能會延續(xù)社會對弱勢群體產(chǎn)生歷史偏見的“不良行為者框架”(bad actor frame)[9](900-915)。如果研究者為了消除算法歧視而專注于消除負面的數(shù)據(jù),這樣的“不良算法”(bad algorithms)會將把社會結(jié)構(gòu)中固有的偏見置于法律框架之外,使得“不良行為者框架”帶來的負面影響更難以消除。

    二、公平算法設(shè)計中的隱性價值

    算法公平的技術(shù)進路和法治進路之所以存在局限性,是因為算法設(shè)計未充分考慮個體的現(xiàn)實需求,時常采用不合適的倫理價值作為設(shè)計前提。因此,算法公平的實現(xiàn)必須揭示算法設(shè)計中蘊含的隱性價值。

    隱性價值是一種影響算法設(shè)計的隱蔽價值形態(tài),通常不會直接呈現(xiàn)或敞開于算法設(shè)計的過程中,但它極為重要,牽連著技術(shù)與現(xiàn)實之間的關(guān)系,通過習(xí)俗、規(guī)則、社會關(guān)系和市場需求等因素干預(yù)算法的設(shè)計,影響算法決策的公平性。在算法設(shè)計中,隱性價值分為宏觀和微觀兩種形式。宏觀的隱性價值根植于社會、文化、經(jīng)濟等宏觀層面的價值觀,是算法設(shè)計的理念基礎(chǔ);而微觀的隱性價值源于具體場景中影響算法設(shè)計的具體方案或措施,是塑造算法特性的直接力量。它們共同為算法設(shè)計提供基礎(chǔ)和方向,確保算法設(shè)計與社會期望相一致,并在實際應(yīng)用中發(fā)揮積極作用。

    宏觀的隱性價值是指社會環(huán)境中潛移默化地影響算法設(shè)計的價值觀念,它們通常不直接干預(yù)算法的設(shè)計過程,而是通過文化習(xí)俗、社會規(guī)則等社會因素來塑造和影響設(shè)計者的價值判斷,進而影響算法的設(shè)計,包括社會文化環(huán)境中的價值標(biāo)準(zhǔn)、社會階層的價值標(biāo)準(zhǔn)。其中,社會文化環(huán)境中的價值標(biāo)準(zhǔn)來源于文化環(huán)境所蘊含的風(fēng)俗習(xí)慣、價值觀念和審美觀念等因素,通過教育、人際交往等生存性活動不斷反映至人的意識中,進而成為影響人判斷的價值觀念。在算法設(shè)計過程中,研究者受特定價值標(biāo)準(zhǔn)的影響,無意識地將自身的價值觀念融入算法設(shè)計中,例如如果研究者認為某個特定群體在某些情況下應(yīng)受到優(yōu)待,那么他們會將這種價值觀念轉(zhuǎn)化到算法設(shè)計中。這些價值標(biāo)準(zhǔn)通過設(shè)計融入算法中,使得算法決策具有價值傾向。盡管大量專家致力于將公平融入算法設(shè)計中,以期望實現(xiàn)算法公平,但社會中依舊存在算法歧視現(xiàn)象,這主要是因為算法訓(xùn)練和運行的數(shù)據(jù)中蘊含著社會中的固有偏見[10](173-180+214)。這些固有偏見是長期歷史、文化和社會結(jié)構(gòu)等因素共同作用的結(jié)果,根植于人類的思維方式和行為模式中。當(dāng)偏見被帶入數(shù)據(jù)中,算法在進行數(shù)據(jù)處理、特征選擇和模型訓(xùn)練時都會受到偏見的影響,從而產(chǎn)生不公平的結(jié)果。

    社會階層的價值標(biāo)準(zhǔn)主要是指階層的意識形態(tài),不同階層的人擁有不同的思想觀念,而這些思想觀念表征著不同階層的實際利益。通常,算法的設(shè)計過程涉及不同階層的意識形態(tài)。比如在司法部門采用COMPAS算法,法官關(guān)注算法可以正確識別罪犯實例的數(shù)量,而普通民眾擔(dān)心的是被算法錯誤識別為中或高風(fēng)險的可能性,尤其是那些處于社會邊緣的群體會格外擔(dān)憂。這表明一項促進公平的措施可能會涉及不同群體的利益,在算法中選擇多關(guān)注某類群體的相關(guān)利益,將會影響其他群體的利益。由于社會越來越重視算法公平,機構(gòu)和算法研究者在算法設(shè)計過程中格外重視弱勢群體的利益,他們通常采用具有現(xiàn)實意義和符合法律的手段去考慮弱勢群體的利益,然后實現(xiàn)算法公平,比如算法研究者會選擇影響公平的敏感因素(性別、種族等)或者弱勢群體的信息作為算法設(shè)計的重要因素[5](141-163)。這些因素在算法中以中立方式重新塑造,然后人們根據(jù)算法所產(chǎn)生的結(jié)果來評估判斷或選擇的準(zhǔn)確性,不會因為群體特征的不同進行區(qū)別對待而忽視弱勢群體。然而辛西婭·L.貝內(nèi)特(Cynthia L. Bennett)等人在計算機領(lǐng)域研究了兩個有關(guān)殘疾人的案例,認為公平在人工智能中的應(yīng)用雖然有效減少了歧視現(xiàn)象,但并不能防止技術(shù)帶來負面效應(yīng)[11](1),它不是一個僅通過控制數(shù)據(jù)和算法就能解決的計算問題。如果算法中總是將弱勢因素與某類群體聯(lián)系起來,會加強群體間的比較,導(dǎo)致人們對弱勢群體的理解變得扁平化,產(chǎn)生不良印象[9](900-915)。比如在算法決策過程中,研究者或機構(gòu)過度關(guān)注某類人群的利益,將減少關(guān)注大多數(shù)被算法標(biāo)記為普通人的人的利益,這會導(dǎo)致社會中普通群體對資源分配產(chǎn)生誤解,認為組織過度關(guān)注這類人群。

    微觀的隱性價值是指具體社會場景中直接影響算法設(shè)計的價值觀念,通過社會關(guān)系和市場需求等直接影響算法的具體設(shè)計、功能和實際應(yīng)用效果,包括企業(yè)戰(zhàn)略、算法具體的使用價值等。企業(yè)戰(zhàn)略是企業(yè)基于現(xiàn)實狀況和未來趨勢的分析,制定并實施的一系列重大且長遠的戰(zhàn)略規(guī)劃[12](5-9),是算法設(shè)計的出發(fā)點。它要求企業(yè)根據(jù)市場環(huán)境預(yù)測市場趨勢來設(shè)計和應(yīng)用算法,培養(yǎng)以發(fā)展為導(dǎo)向的用戶群體,提升企業(yè)的核心競爭力。因此,為了在自由市場中取得競爭優(yōu)勢,企業(yè)會努力挖掘用戶信息和需求,然后依據(jù)需求和企業(yè)戰(zhàn)略來設(shè)計算法。近年來,網(wǎng)上交易體系的盛行和市場競爭的激烈強化了企業(yè)意圖預(yù)測用戶行為的想法,推薦算法的出現(xiàn)滿足了企業(yè)的需求,它能夠基于用戶行為數(shù)據(jù)生成用戶畫像,以此來預(yù)測用戶行為。根據(jù)美國斯坦福大學(xué)人工智能研究所發(fā)布的《2023年度人工智能指數(shù)報告》,與過去10年相比,人工智能相關(guān)的融資事件總數(shù)和新融資的人工智能公司數(shù)量大幅增加,DALL-E2、ChatGPT等生成式AI模型已成為一種時代潮流[13],這說明人工智能已廣泛應(yīng)用于各行各業(yè),企業(yè)根據(jù)動態(tài)市場環(huán)境設(shè)計和應(yīng)用算法。

    企業(yè)戰(zhàn)略是設(shè)計算法的出發(fā)點,算法具體的使用價值則是設(shè)計算法的落腳點。在一個算法系統(tǒng)中,算法的使用價值影響著算法的功能,而算法的功能受價值的影響。通常情況下,算法內(nèi)部存在多元的價值觀念,比如公平、安全和效率等,它們不是孤立的,而是相互影響、相互制約的。當(dāng)人們考慮設(shè)計以某種價值為核心的算法時,必定要權(quán)衡算法核心價值與其他價值之間的內(nèi)在聯(lián)系。這種權(quán)衡會使得設(shè)計者在設(shè)計算法時會優(yōu)先考慮某種價值,犧牲其他價值,比如重點關(guān)注汽車行駛安全的算法,可能會忽視行駛效率等價值要求。為了確保價值的實現(xiàn),研究者可能會對算法進行特定的設(shè)計或調(diào)整,從而使得算法潛在地偏向于某種功能。算法的核心價值決定算法的使用價值,而技術(shù)實現(xiàn)方法是實現(xiàn)算法使用價值的重要因素。當(dāng)前算法中實現(xiàn)公平的方法主要是把公平的抽象價值形式化為不同的技術(shù)定義,然后經(jīng)過價值考慮、假設(shè)、選擇和約束等,讓設(shè)計對象滿足技術(shù)的功能要求,促進算法決策的公平。技術(shù)實現(xiàn)方法影響算法公平,研究者為了確保公平價值的實現(xiàn),會時刻注意對算法進行特定的設(shè)計或調(diào)整,但如果研究者未充分研究不同事物背后的價值和公平價值之間的關(guān)系,隨意將公平形式化存在搭建事物和公平錯誤關(guān)聯(lián)的可能性,導(dǎo)致算法在決策或預(yù)測過程中作出不公平的判斷,即使對算法設(shè)計進行調(diào)整,也難以實現(xiàn)實質(zhì)正義。

    以上闡明的隱性價值是設(shè)計算法時需要重點考慮的因素。由于事物之間的相關(guān)關(guān)系和因果關(guān)系是復(fù)雜的,現(xiàn)實生活中算法設(shè)計需要考慮的倫理因素是多種多樣的,研究者需要從問題的現(xiàn)實性和當(dāng)下性去挖掘影響算法公平的價值。

    三、價值敏感設(shè)計用于算法公平的實現(xiàn)路徑

    價值敏感設(shè)計是巴蒂亞·弗里德曼(Batya Friedman)等人提出的一種設(shè)計方法,旨在以系統(tǒng)和原則的方式處理人機交互中的倫理問題[14](55-95)。當(dāng)前,算法公平是人機交互領(lǐng)域中一個亟待解決的問題,它不僅涉及技術(shù)合理性,而且與倫理價值緊密相連。價值敏感設(shè)計是一種在設(shè)計中全面考察倫理價值的方法,它要求在設(shè)計和開發(fā)過程中全面評估技術(shù)價值、倫理原則和社會價值,在整個設(shè)計階段充分考慮利益相關(guān)者的價值需求,為算法公平的實現(xiàn)提供可行路徑。算法的價值敏感設(shè)計要求算法研究者具備敏銳的倫理意識,能夠在整個設(shè)計階段主動發(fā)現(xiàn)影響技術(shù)設(shè)計的倫理因素,還要求算法研究者在技術(shù)設(shè)計過程中充分考慮利益相關(guān)者的價值需求,確保算法的實施不會對相關(guān)人群造成不良后果。這種方法全面考慮和評估算法設(shè)計過程中技術(shù)、人類價值和社會倫理之間的內(nèi)在關(guān)聯(lián),構(gòu)建起算法與公平的實質(zhì)關(guān)系,從而彌補技術(shù)進路或法律進路在實現(xiàn)算法公平上存在的缺陷。

    算法的價值敏感設(shè)計以倫理價值為核心,采用概念調(diào)查、經(jīng)驗調(diào)查和技術(shù)調(diào)查的三方迭代研究方法深入探究個體、算法和社會公平之間的復(fù)雜關(guān)系,調(diào)查貫穿算法設(shè)計過程的隱性價值[15](63-125)。概念調(diào)查旨在理解并澄清算法設(shè)計中涉及的倫理和價值觀念,通過探究算法公平背后的哲學(xué)思想和分析利益相關(guān)者的價值需求,為公平算法的設(shè)計提供堅實的理念基礎(chǔ)[16](11-40)。在算法設(shè)計的理論研究階段,有兩個研究任務(wù)。一是概念調(diào)查需要識別算法中公平的價值形式,主要目標(biāo)是對算法公平進行哲學(xué)分析,深入了解實現(xiàn)算法公平的理論基礎(chǔ)。目前計算機專家和倫理學(xué)家正在研究公平的價值,已形成十幾種公平的技術(shù)定義,比如群體公平、個人公平和無意識公平等,然后設(shè)計者根據(jù)公平的定義和場景的需求設(shè)計算法,產(chǎn)生了不同的技術(shù)結(jié)果。通過深入研究算法公平背后的哲學(xué)思想、倫理原則和社會價值觀,研究者更清晰地明確公平的定義和內(nèi)涵,了解算法公平的本質(zhì)和要求,為具體場景的算法設(shè)計提供明確的指導(dǎo)。二是概念調(diào)查確定受技術(shù)影響的利益相關(guān)者,重點關(guān)注受算法影響的群體,其中包括直接與技術(shù)交互的直接利益相關(guān)者,和不直接參與技術(shù)而受技術(shù)活動影響的間接利益相關(guān)者[17](701-715)。直接或間接利益相關(guān)者的區(qū)分取決于群體所處的社會文化環(huán)境,研究者可以根據(jù)工作類型、關(guān)系類型、與技術(shù)的互動和個體在日常生活中扮演的角色等因素進行區(qū)分[16](11-40)。然而這種區(qū)分不是絕對的,某一群體在某些情境下被歸為間接利益相關(guān)者,但在其他情境中可能成為直接利益相關(guān)者。比如銀行貸款算法在進行貸款預(yù)測時,作為銀行職工的個體是直接利益相關(guān)者,但他在外出被電子監(jiān)控拍照時,則是間接利益相關(guān)者。不同情境中的利益相關(guān)者是不同的,研究者需要注重不同階層的算法決策主體,挖掘出技術(shù)應(yīng)用領(lǐng)域中受影響的群體,特別是處于社會邊緣的弱勢群體。通過區(qū)分利益相關(guān)者,研究者能明晰不同群體對公平的價值需求,構(gòu)建起公平、現(xiàn)實和個體之間的因果關(guān)系,彌補技術(shù)進路和法律進路存在的缺陷。

    經(jīng)驗調(diào)查是概念調(diào)查的深化,從經(jīng)驗層面考察算法中公平的價值。它側(cè)重于實證研究,通過收集和分析社會環(huán)境中影響算法決策的數(shù)據(jù),使研究者更深入了解技術(shù)如何影響利益相關(guān)者的行為和價值需求,制定更符合用戶價值需求的技術(shù)產(chǎn)品,為算法公平的實現(xiàn)提供現(xiàn)實依據(jù)和數(shù)據(jù)支撐。這個過程極為重要,因為算法公平不是純粹的數(shù)學(xué)和技術(shù)問題,特定社會環(huán)境和技術(shù)環(huán)境影響公平的具體實現(xiàn)[18](283-296)。研究者需要調(diào)查不同領(lǐng)域中的算法應(yīng)用情況,通過訪談、焦點小組討論等定性測量方法了解不同利益相關(guān)者對算法公平的理解和態(tài)度,通過數(shù)值分析等定量測量方法揭示算法偏見的存在程度和影響。例如,研究者可以通過大規(guī)模問卷調(diào)查或?qū)嶒炘O(shè)計收集關(guān)于算法應(yīng)用的實際數(shù)據(jù),然后運用統(tǒng)計分析工具分析算法系統(tǒng)生成偏見的原因。

    技術(shù)調(diào)查關(guān)注技術(shù)本身,深入研究技術(shù)特性與倫理價值之間的關(guān)聯(lián),分析現(xiàn)有技術(shù)是促進還是妨礙價值的實現(xiàn),為實現(xiàn)實質(zhì)公平提供有力的技術(shù)支持[19](114-119)。在具體的算法研究階段,有二個任務(wù)。一是技術(shù)調(diào)查關(guān)注算法的技術(shù)細節(jié)和性能表現(xiàn),深入分析算法內(nèi)部邏輯和數(shù)據(jù)結(jié)構(gòu),以此來評估該算法是否具備實現(xiàn)公平的技術(shù)基礎(chǔ)。二是技術(shù)調(diào)查關(guān)注算法設(shè)計如何在系統(tǒng)內(nèi)實現(xiàn)公平,研究者應(yīng)調(diào)查算法處理不同用戶群體的數(shù)據(jù)流程,了解算法如何實現(xiàn)公平。在算法公平的現(xiàn)實實踐中,機構(gòu)通常會設(shè)置公平性指標(biāo)約束模型,以確保算法產(chǎn)生公平的結(jié)果。此類方法雖促進了公平的實現(xiàn),但也容易在無意間引入偏見,比如在算法決策過程中,群體公平的方法要求確保受保護群體享有平等的權(quán)益和機會,但卻忽視了群體內(nèi)個體需求的差異。這表明算法在實現(xiàn)公平的過程中,可能會通過其他因素削弱公平的實現(xiàn)。因此,研究者不僅要關(guān)注實現(xiàn)算法公平的技術(shù)表現(xiàn),還要關(guān)注算法設(shè)計是否考慮了公平價值與不同利益相關(guān)者的聯(lián)系。

    概念調(diào)查和經(jīng)驗調(diào)查提供框架識別直接和間接利益相關(guān)者,通過觀察、訪談、問卷和啟發(fā)卡片法等方法辨別公平、社會現(xiàn)實與利益相關(guān)者之間的關(guān)系。技術(shù)調(diào)查通過綜合分析算法的技術(shù)表現(xiàn)和社會表現(xiàn)進一步優(yōu)化算法設(shè)計,為算法公平提供有力的技術(shù)支持。這三個環(huán)節(jié)相互依存,每一環(huán)節(jié)都在為下一環(huán)節(jié)提供信息和基礎(chǔ)。在這個過程中,將價值轉(zhuǎn)化為設(shè)計要求對整個調(diào)查過程起著重要作用。根據(jù)伊博·范·德·普爾(Ibo van de Poel)的價值層次結(jié)構(gòu)(Values Hierarchies)理論,研究者可以從抽象價值中尋找更具體的設(shè)計需求,具體內(nèi)容如圖1所示,價值層次結(jié)構(gòu)由價值、行為規(guī)范和設(shè)計需求組成,呈現(xiàn)為金字塔結(jié)構(gòu)[20](253-266)。價值在金字塔頂層,是一個項目需要實現(xiàn)的核心內(nèi)容,表現(xiàn)出普遍性和抽象性。伴隨研究者對價值的理論研究,構(gòu)建起價值和社會文化環(huán)境的聯(lián)系,進而將價值概念化為具體的行為規(guī)范。金字塔底端是具體的設(shè)計需求,當(dāng)行為規(guī)范融入具體應(yīng)用場景,一般的行為規(guī)范在法律的約束下演化為更具體的設(shè)計需求。

    具體而言,如果研究者意圖在機器中設(shè)計以公平為核心的算法,可以基于價值層次結(jié)構(gòu)理論對公平進行價值分析。公平在哲學(xué)中是一個抽象且復(fù)雜的價值概念,可以詮釋為不偏不倚、完全沒有偏見或在合理的范圍內(nèi)減少偏見,可以理解為一種均衡,相同的付出應(yīng)得到相同的待遇等。這些不同的理解反映出個體在不同環(huán)境中對公平的認識存在差異。因此,研究者應(yīng)根據(jù)算法的具體應(yīng)用情境和涉及的利益相關(guān)者澄清公平的具體內(nèi)涵,將抽象價值轉(zhuǎn)化為當(dāng)前場景所需的具體規(guī)范。以銀行為例,銀行追求的公平是確保算法能平等地對待每一位申請者,不因他們的個人特征或背景而產(chǎn)生歧視或偏見。為了確保規(guī)范的實現(xiàn),研究者需將規(guī)范轉(zhuǎn)化為更精確的設(shè)計需求,并通過具體的行動或技術(shù)手段來實現(xiàn)這些需求,比如針對數(shù)據(jù)端產(chǎn)生的偏見,研究者可以采取數(shù)據(jù)預(yù)處理技術(shù)在算法建模前去除影響公平的數(shù)據(jù),獲得均衡樣本來減少數(shù)據(jù)中潛在的不公平[21](25-34)。

    四、啟發(fā)卡片法在算法設(shè)計中的應(yīng)用

    算法的價值敏感設(shè)計以價值和倫理為導(dǎo)向,旨在將倫理價值有機地嵌入算法中。它強調(diào)在算法的設(shè)計過程中要考慮技術(shù)的功能與倫理價值的關(guān)聯(lián),倫理價值不僅僅是對算法的一種外在約束,而是要內(nèi)化為算法的屬性,即倫理價值有機地融入算法的設(shè)計和實施過程中,成為算法內(nèi)在的一部分。為了析取算法中的價值,人們可以采用啟發(fā)卡片法(envisioning cards),這種方法有助于研究者主動發(fā)現(xiàn)問題,深入挖掘算法決策中的倫理價值[22](75-88)。

    啟發(fā)卡片法是在技術(shù)設(shè)計早期階段重點關(guān)注倫理價值的卡片工具,它由32張實體卡片組成,以利益相關(guān)者、時間、價值觀和普遍應(yīng)用性四個標(biāo)準(zhǔn)為基礎(chǔ)[23](1145-1148)。根據(jù)啟發(fā)卡片法,研究者將活動流程設(shè)計為概念設(shè)計、物理設(shè)計和活動實踐。概念設(shè)計重點關(guān)注開發(fā)卡片的研究內(nèi)容與確定卡片研究重點。在研究算法公平時,卡片的研究內(nèi)容應(yīng)該關(guān)注如何在算法決策過程中促進公平?;诖?,研究者可以根據(jù)利益相關(guān)者、時間、價值觀和普遍應(yīng)用性這四個標(biāo)準(zhǔn)設(shè)計卡片,具體內(nèi)容如表1[24](1-14)所示。

    物理設(shè)計的重點在于設(shè)計卡片??ㄆ?8張主題卡和4張空白卡組成,其中每張主題卡皆有符合標(biāo)準(zhǔn)的主題、與研究問題主題緊密相關(guān)的圖像,而空白卡不包含任何主題信息,為參與者提供了自由發(fā)揮的空間,使他們能夠隨時記錄或補充與算法設(shè)計相關(guān)的想法和觀點[23](1145-1148)。這種獨特的設(shè)計方法利用卡片的有形特性和視覺表現(xiàn),為溝通交流提供了深刻的感官體驗。更重要的是圖像能夠反映用戶的文化價值觀、信仰和傳統(tǒng),從而使抽象的論點具象化,變得有形且可視。這不僅為人們提供了直觀的分析視角,還使人們能夠在相應(yīng)的文化情境下對問題進行深入的分析和理解。

    經(jīng)過概念設(shè)計和物理設(shè)計,研究者創(chuàng)造出獨具問題特色的卡片。基于此,研究者召集算法活動者進行活動實踐,在頭腦風(fēng)暴中討論卡片主題,挖掘出算法設(shè)計中的倫理價值。在討論過程中,每個成員都可以使用卡片探索各種算法應(yīng)用場景,認真考慮公平與應(yīng)用場景之間的關(guān)系。比如,當(dāng)圖片場景是使用AI招聘算法的平臺時,直接利益相關(guān)者是招聘者、企業(yè)等,而間接利益相關(guān)者是應(yīng)聘者等群體。直接利益相關(guān)者期望算法能夠快速準(zhǔn)確地篩選出合適的候選人,提高招聘效率,而間接利益相關(guān)者期待算法能夠公平地評估他們的能力和潛力,避免出現(xiàn)歧視和不公平的情況。這有助于激發(fā)他們從多角度思考算法和利益相關(guān)者之間的關(guān)系,發(fā)現(xiàn)潛在的價值需求[25](32-39)。

    啟發(fā)卡片法具有很高的靈活性,卡片內(nèi)容不是一成不變的,研究者可以根據(jù)具體的場景、目標(biāo)和受眾調(diào)整卡片的設(shè)計和內(nèi)容。當(dāng)卡片內(nèi)容不充分時,活動成員可以交換卡片并相互補充卡片內(nèi)容,或利用空白卡片補充活動沒有考慮到的內(nèi)容。通過概念設(shè)計、物理設(shè)計和活動實踐,啟發(fā)卡片法引導(dǎo)算法活動者從不同場景來認識和理解算法公平,有助于提高他們對倫理問題的敏感性,更好地應(yīng)對算法在不同場景中遇到的“公平”挑戰(zhàn)。

    啟發(fā)卡片法是價值敏感設(shè)計中析取價值的一種有效方法,它通過情景分析和價值分析深入探究個體、技術(shù)和環(huán)境三者之間的互動關(guān)系,啟發(fā)研究者在算法設(shè)計過程中主動認識、發(fā)現(xiàn)問題的本質(zhì),為后續(xù)的算法設(shè)計提供堅實基礎(chǔ)。除此之外,價值壩與價值流(Value Dams and Flows)、價值在線知情同意模式(Model for Informed Consent Online)和技術(shù)與社會結(jié)構(gòu)的共同演化(Co-Evolve Technolo? gy and Social Structure)等方法也是價值敏感設(shè)計中發(fā)現(xiàn)價值的重要方法,它們通過不同方式識別、區(qū)分和嵌入價值,建構(gòu)起公平與現(xiàn)實的關(guān)聯(lián),促使研究者在設(shè)計過程中主動發(fā)現(xiàn)和解決問題,進而推動算法公平的實現(xiàn)。為了保證公平的持續(xù)性,價值敏感設(shè)計要求研究者時刻謹(jǐn)記自身承擔(dān)避免造成算法不公平的消極責(zé)任,以及減少和防止算法歧視的積極責(zé)任[26](533-555)。設(shè)計公平算法不是一件一勞永逸的事情,技術(shù)發(fā)展要求人們在算法設(shè)計過程中持續(xù)進行調(diào)查和實踐,在實踐中進行反復(fù)檢驗和不斷地改進技術(shù)。

    [參考文獻]

    [1]FRIEDMAN B,NISSENBAUM H. Bias in Computer Systems[J]. ACM Transactions on Information Systems,1996,14(3).

    [2]ANGWIN J,LARSON J,MATTU S,et al.Machine Bias[EB/OL].(2016-05-23)[2024-01-08]. https://www.pro? publica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.

    [3]FRIEDLER S A,SCHEIDEGGER C,VENKATASUBRAMANIAN S. The(Im)possibility of Fairness:Different Val? ue Systems Require Different Mechanisms for Fair Decision Making[J].Communications of the ACM,2021,64(4).

    [4]BINNS R.On the Apparent Conflict between Individual and Group Fairness[C]//FAT*20:Proceedings of the 2020 Conference on Fairness,Accountability,and Transparency.New York:Association for Computing Machinery,2020.

    [5]MITCHELL S,POTASH E,BAROCAS S,et al.Algorithmic Fairness:Choices,Assumptions,and Definitions[J]. Annual Review of Statistics and Its Application,2021,8.

    [6]COURTLAND R. Bias Detectives:The Researchers Striving to make Algorithms Fair[EB/OL].(2018-06-20)[2024-01-08].https://www.nature.com/articles/d41586-018-05469-3/.

    [7]SELBST A D,BOYD D,F(xiàn)RIEDLER S A,et al.Fairness and Abstraction in Sociotechnical Systems[C]// FAT’19:Proceedings of the Conference on Fairness,Accountability,and Transparency.New York:Association for Comput? ing Machinery,2019.

    [8]邱仁宗,黃雯,翟曉梅.大數(shù)據(jù)技術(shù)的倫理問題[J].科學(xué)與社會,2014,4(1).

    [9]HOFFMANN A L.Where Fairness Fails:Data,Algorithms,and the Limits of Antidiscrimination Discourse[J]. Information,Communication Society,2019,22(7).

    [10]張春美.“聰明技術(shù)”如何“更聰明”:算法推薦的倫理與治理[J].探索與爭鳴,2022,(12).

    [11]BENNETT C L,KEYES O.What is the Point of Fairness?Disability,AI and the Complexity of Justice[C]//Rodrigues A(ed.).ASSETS 2019 Workshop:AI Fairness for People with Disabilities.New York:Association for Comput? ing Machinery,2019.

    [12]吳秋生.論企業(yè)發(fā)展戰(zhàn)略與內(nèi)部控制的關(guān)系[J].企業(yè)經(jīng)濟,2012,31(10).

    [13]Stanford University Human-Centered Artificial Intelligence. 2023 AI Index Report[R / OL].(2023-04-03)[2024-01-08].https://a-iindex.stanford.edu/report/.

    [14]FRIEDMAN B,KAHN P,BORNING A,et al.Value Sensitive Design and Information Systems[M]//DOORN N,SCHUURBIERS D,VAN DE POEL I,et al(eds.).Early Engagement and New Technologies:Opening up the Labo? ratory. Dordrecht:Springer,2013.

    [15]FRIEDMAN B,HENDRY D G,BORNING A. A Survey of Value Sensitive Design Methods[J].Foundations and Trends?in Human-Computer Interaction,2017,11(2).

    [16]DAVIS J,NATHAN L P. Value Sensitive Design:Applications,Adaptations,and Critiques[M]//VAN DEN HOVEN J,VERMAAS P,VAN DE POEL I(eds.). Handbook of Ethics,Values,and Technological Design. Dordrecht:Springer,2015.

    [17]CUMMINGS M L.Integrating Ethics in Design through the Value-Sensitive Design Approach[J].Science and Engineering Ethics,2006,12.

    [18]UMBRELLO S,VAN DE POEL I.Mapping Value Sensitive Design onto AI for Social Good Principles[J].AI and Ethics,2021,1.

    [19]張貴紅.價值敏感設(shè)計與大數(shù)據(jù)倫理[J].倫理學(xué)研究,2019(2).

    [20]VAN DE POEL I. Translating Values into Design Requirements[M]//MICHELFELDER D,MCCARTHY N,GOLDBERG D(eds.).Philosophy and Engineering:Reflections on Practice,Principles and Process. Dordrecht:Springer,2013.

    [21]DU M,YANG F,ZOU N,et al. Fairness in Deep Learning:A Computational Perspective[J].IEEE Intelligent Systems,2020,36(4).

    [22]于雪,李倫.人工智能的設(shè)計倫理探析[J].科學(xué)與社會,2020,10(2).

    [23]FRIEDMAN B,HENDRY D.The Envisioning Cards:A Toolkit for Catalyzing Humanistic and Technical Imag? inations[C]//CHI ’12:Proceedings of the SIGCHI Conference on Human Factors in Computing System.New York:As? sociation for Computing Machinery,2012.

    [24]ALSHEHRI T,KIRKHAM R,OLIVIER P. Scenario Co-Creation Cards:A Culturally Sensitive Tool for Elicit? ing Values[C]//CHI’20:Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. New York:Association for Computing Machinery,2020.

    [25]ZHANG J,SHU Y,YU H. Fairness in Design:A Framework for Facilitating Ethical Artificial Intelligence De? signs[J].International Journal of Crowd Science,2023,7(1).

    [26]HAYES P,VAN DE POEL I,STEEN M.Algorithms and Values in Justice and Security[J].AI Society,2020,35.

    (責(zé)任編輯:李建磊)

    久久影院123| 国产乱人伦免费视频| 纯流量卡能插随身wifi吗| 99re在线观看精品视频| 亚洲精品粉嫩美女一区| 国产精华一区二区三区| 欧美中文综合在线视频| 香蕉久久夜色| 国产三级在线视频| 在线观看免费日韩欧美大片| 亚洲,欧美精品.| 一夜夜www| 国产精品美女特级片免费视频播放器 | 性色av乱码一区二区三区2| 桃红色精品国产亚洲av| 波多野结衣av一区二区av| 中文字幕人妻丝袜一区二区| 国产成人精品无人区| 无人区码免费观看不卡| 国产片内射在线| 最新美女视频免费是黄的| 欧美黄色淫秽网站| 91麻豆av在线| 婷婷丁香在线五月| 久久影院123| 亚洲精品av麻豆狂野| 一区二区三区国产精品乱码| 91九色精品人成在线观看| 亚洲最大成人中文| 色老头精品视频在线观看| 又紧又爽又黄一区二区| 老熟妇仑乱视频hdxx| 美女大奶头视频| 久久精品aⅴ一区二区三区四区| 国产99久久九九免费精品| 真人做人爱边吃奶动态| 亚洲伊人色综图| av有码第一页| 欧美色欧美亚洲另类二区 | 成在线人永久免费视频| 欧美丝袜亚洲另类 | 免费人成视频x8x8入口观看| 久久久久精品国产欧美久久久| 99国产精品一区二区三区| 国产三级在线视频| 男女下面插进去视频免费观看| 亚洲成国产人片在线观看| 韩国av一区二区三区四区| 嫩草影视91久久| 亚洲熟妇熟女久久| 麻豆国产av国片精品| 久久人人爽av亚洲精品天堂| 久久久久久人人人人人| 国产一区二区三区在线臀色熟女| 亚洲免费av在线视频| 黑人操中国人逼视频| 黑人巨大精品欧美一区二区蜜桃| 日韩欧美免费精品| 国产亚洲欧美98| 午夜日韩欧美国产| 亚洲国产精品sss在线观看| 俄罗斯特黄特色一大片| 久久精品国产99精品国产亚洲性色 | 精品一区二区三区视频在线观看免费| www.999成人在线观看| 亚洲五月天丁香| 亚洲国产中文字幕在线视频| 久久香蕉精品热| 亚洲激情在线av| av超薄肉色丝袜交足视频| 精品久久久久久成人av| 亚洲午夜精品一区,二区,三区| 久久狼人影院| 桃红色精品国产亚洲av| 99国产精品99久久久久| 天天躁狠狠躁夜夜躁狠狠躁| 电影成人av| 日本在线视频免费播放| 身体一侧抽搐| 91成年电影在线观看| 99精品久久久久人妻精品| 国产成人免费无遮挡视频| 亚洲全国av大片| 女性生殖器流出的白浆| 国产亚洲欧美98| 免费在线观看视频国产中文字幕亚洲| 搡老岳熟女国产| 亚洲aⅴ乱码一区二区在线播放 | 亚洲男人的天堂狠狠| 曰老女人黄片| 99热只有精品国产| 99久久国产精品久久久| 熟妇人妻久久中文字幕3abv| 他把我摸到了高潮在线观看| 欧美乱妇无乱码| 啦啦啦观看免费观看视频高清 | e午夜精品久久久久久久| 欧美日本视频| 精品人妻在线不人妻| 国产精品久久视频播放| 夜夜躁狠狠躁天天躁| 成人av一区二区三区在线看| 少妇裸体淫交视频免费看高清 | 69av精品久久久久久| 一卡2卡三卡四卡精品乱码亚洲| 曰老女人黄片| 国产精品,欧美在线| 久久九九热精品免费| 中文字幕久久专区| 亚洲国产精品999在线| 最近最新中文字幕大全免费视频| 亚洲第一电影网av| 天天躁夜夜躁狠狠躁躁| 亚洲精品中文字幕一二三四区| 国产亚洲欧美精品永久| 九色亚洲精品在线播放| 国产精品一区二区三区四区久久 | 国产精品久久久久久精品电影 | 男人舔女人下体高潮全视频| 国产精品自产拍在线观看55亚洲| 国产成人av教育| 波多野结衣巨乳人妻| 国产伦一二天堂av在线观看| 国产成人精品久久二区二区免费| 精品福利观看| ponron亚洲| 一区二区日韩欧美中文字幕| 变态另类丝袜制服| 亚洲av第一区精品v没综合| 精品无人区乱码1区二区| 人人澡人人妻人| 久久精品亚洲精品国产色婷小说| 妹子高潮喷水视频| 中文字幕人成人乱码亚洲影| 露出奶头的视频| av网站免费在线观看视频| 一进一出抽搐动态| 国产精品久久电影中文字幕| 久久 成人 亚洲| 欧美国产精品va在线观看不卡| 自线自在国产av| 亚洲av美国av| 极品人妻少妇av视频| 国产精品乱码一区二三区的特点 | 亚洲色图综合在线观看| 欧美av亚洲av综合av国产av| 久久九九热精品免费| 波多野结衣巨乳人妻| 亚洲国产精品sss在线观看| 最近最新免费中文字幕在线| 看片在线看免费视频| 色在线成人网| 国产av又大| 99久久99久久久精品蜜桃| 好男人电影高清在线观看| 90打野战视频偷拍视频| 国产人伦9x9x在线观看| ponron亚洲| 午夜亚洲福利在线播放| 国产成人av激情在线播放| 人人妻,人人澡人人爽秒播| 精品国产乱码久久久久久男人| 国产精品 欧美亚洲| 每晚都被弄得嗷嗷叫到高潮| 亚洲av美国av| 欧美乱妇无乱码| 伦理电影免费视频| 99精品在免费线老司机午夜| 午夜福利影视在线免费观看| 在线观看66精品国产| 女人高潮潮喷娇喘18禁视频| 国产欧美日韩精品亚洲av| 丝袜人妻中文字幕| 婷婷丁香在线五月| 精品久久久精品久久久| 午夜视频精品福利| 免费在线观看完整版高清| 国产精品 国内视频| 老司机午夜福利在线观看视频| 国产伦一二天堂av在线观看| 国产伦一二天堂av在线观看| 亚洲精品国产精品久久久不卡| 十八禁网站免费在线| 欧美人与性动交α欧美精品济南到| 久久人妻av系列| 亚洲精品国产区一区二| 国产黄a三级三级三级人| 性色av乱码一区二区三区2| 亚洲国产精品久久男人天堂| 亚洲熟女毛片儿| 国产一区二区在线av高清观看| 性欧美人与动物交配| 色婷婷久久久亚洲欧美| 男人舔女人的私密视频| 一区二区日韩欧美中文字幕| 性色av乱码一区二区三区2| 欧美日韩亚洲国产一区二区在线观看| 国产日韩一区二区三区精品不卡| 丝袜美足系列| 一边摸一边做爽爽视频免费| 国产一区二区三区综合在线观看| 黄片大片在线免费观看| 脱女人内裤的视频| 国产精品综合久久久久久久免费 | 国产av一区二区精品久久| 免费人成视频x8x8入口观看| 欧洲精品卡2卡3卡4卡5卡区| 男男h啪啪无遮挡| 亚洲精品国产区一区二| 中文字幕人妻丝袜一区二区| 日韩av在线大香蕉| 成人亚洲精品av一区二区| 午夜福利影视在线免费观看| av中文乱码字幕在线| 亚洲熟妇中文字幕五十中出| 视频在线观看一区二区三区| 欧美丝袜亚洲另类 | 精品第一国产精品| 侵犯人妻中文字幕一二三四区| 免费少妇av软件| 99国产综合亚洲精品| 别揉我奶头~嗯~啊~动态视频| 9色porny在线观看| 国产亚洲精品久久久久久毛片| 一区福利在线观看| 亚洲黑人精品在线| 人妻久久中文字幕网| 麻豆成人av在线观看| 国产精品一区二区三区四区久久 | 人妻久久中文字幕网| 国产精品综合久久久久久久免费 | 中出人妻视频一区二区| 亚洲在线自拍视频| 亚洲自偷自拍图片 自拍| 中文亚洲av片在线观看爽| 精品人妻在线不人妻| 国产精品爽爽va在线观看网站 | 国产欧美日韩一区二区三区在线| 国产不卡一卡二| 国产精品日韩av在线免费观看 | 免费在线观看影片大全网站| 久久亚洲精品不卡| 色精品久久人妻99蜜桃| 亚洲欧洲精品一区二区精品久久久| 久久香蕉精品热| 中文字幕人妻丝袜一区二区| 99香蕉大伊视频| 日日爽夜夜爽网站| 欧美成人午夜精品| 精品人妻在线不人妻| 一边摸一边抽搐一进一小说| svipshipincom国产片| 国产精品免费视频内射| 国产av一区二区精品久久| 嫁个100分男人电影在线观看| 亚洲天堂国产精品一区在线| 麻豆成人av在线观看| 国产91精品成人一区二区三区| 大香蕉久久成人网| 国产精品永久免费网站| 又紧又爽又黄一区二区| 亚洲,欧美精品.| 国产av又大| 亚洲国产日韩欧美精品在线观看 | 十八禁人妻一区二区| 亚洲av成人一区二区三| 成人免费观看视频高清| 窝窝影院91人妻| 日韩欧美一区二区三区在线观看| 国产亚洲欧美精品永久| 人人妻人人澡欧美一区二区 | 国产又色又爽无遮挡免费看| 精品国产乱码久久久久久男人| 国产片内射在线| 悠悠久久av| 99国产综合亚洲精品| 日本撒尿小便嘘嘘汇集6| 91九色精品人成在线观看| 国产成人系列免费观看| 1024视频免费在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 99国产精品一区二区三区| 好男人电影高清在线观看| 88av欧美| 午夜精品在线福利| 久久 成人 亚洲| 日韩精品青青久久久久久| 亚洲aⅴ乱码一区二区在线播放 | 国产精品久久久久久精品电影 | 波多野结衣一区麻豆| 免费一级毛片在线播放高清视频 | 中文字幕色久视频| 男男h啪啪无遮挡| 国产精品影院久久| 国产av精品麻豆| 色综合欧美亚洲国产小说| 国产精品1区2区在线观看.| 黄片小视频在线播放| 在线观看日韩欧美| 黑人操中国人逼视频| 美女免费视频网站| 欧美成人一区二区免费高清观看 | 黄色 视频免费看| 免费高清在线观看日韩| 成熟少妇高潮喷水视频| 999久久久精品免费观看国产| 视频区欧美日本亚洲| x7x7x7水蜜桃| 美女国产高潮福利片在线看| 国产av一区二区精品久久| 欧美成狂野欧美在线观看| 午夜福利影视在线免费观看| 欧美老熟妇乱子伦牲交| 亚洲五月婷婷丁香| 欧美日韩精品网址| 老鸭窝网址在线观看| 色婷婷久久久亚洲欧美| 大型av网站在线播放| 无限看片的www在线观看| 免费高清在线观看日韩| 在线观看舔阴道视频| 国产三级黄色录像| 91精品国产国语对白视频| 99国产精品免费福利视频| 黄色丝袜av网址大全| 亚洲国产精品999在线| 亚洲成a人片在线一区二区| 午夜精品国产一区二区电影| 国产极品粉嫩免费观看在线| 12—13女人毛片做爰片一| 欧美成狂野欧美在线观看| 黄网站色视频无遮挡免费观看| av超薄肉色丝袜交足视频| 国产精品国产高清国产av| 欧美激情高清一区二区三区| 国产伦一二天堂av在线观看| 俄罗斯特黄特色一大片| 搡老熟女国产l中国老女人| 90打野战视频偷拍视频| 欧美日本视频| 99在线人妻在线中文字幕| 成人亚洲精品av一区二区| 亚洲欧美日韩另类电影网站| 19禁男女啪啪无遮挡网站| 精品无人区乱码1区二区| 黑人操中国人逼视频| 日韩 欧美 亚洲 中文字幕| 嫁个100分男人电影在线观看| 日韩欧美国产在线观看| 亚洲精品国产区一区二| 午夜福利免费观看在线| 午夜老司机福利片| 女人爽到高潮嗷嗷叫在线视频| 精品人妻在线不人妻| 69精品国产乱码久久久| 好看av亚洲va欧美ⅴa在| 色综合亚洲欧美另类图片| 亚洲人成电影免费在线| 国产伦一二天堂av在线观看| avwww免费| www.www免费av| 真人做人爱边吃奶动态| 91成人精品电影| 99国产精品一区二区蜜桃av| 黑人欧美特级aaaaaa片| 人人妻人人澡欧美一区二区 | 精品久久久久久久人妻蜜臀av | 欧美激情高清一区二区三区| 日本在线视频免费播放| 自线自在国产av| 视频在线观看一区二区三区| 亚洲国产日韩欧美精品在线观看 | 精品久久久久久成人av| 老熟妇仑乱视频hdxx| 男人操女人黄网站| 伊人久久大香线蕉亚洲五| 国产成人一区二区三区免费视频网站| 最好的美女福利视频网| 狂野欧美激情性xxxx| 精品人妻1区二区| 欧美色欧美亚洲另类二区 | 日韩欧美在线二视频| av欧美777| 欧美国产日韩亚洲一区| 欧美激情 高清一区二区三区| 久久人妻av系列| 中文字幕人妻丝袜一区二区| 一级毛片高清免费大全| 大陆偷拍与自拍| av电影中文网址| 大陆偷拍与自拍| 亚洲自偷自拍图片 自拍| 亚洲精品中文字幕一二三四区| 岛国在线观看网站| 最近最新免费中文字幕在线| 在线观看www视频免费| 久久午夜亚洲精品久久| 好男人电影高清在线观看| 亚洲欧美激情综合另类| 国产真人三级小视频在线观看| 亚洲avbb在线观看| 在线免费观看的www视频| 国内精品久久久久精免费| 啦啦啦 在线观看视频| 男男h啪啪无遮挡| 黄色视频,在线免费观看| 成人永久免费在线观看视频| 高清黄色对白视频在线免费看| 成年版毛片免费区| 亚洲五月婷婷丁香| 日本免费一区二区三区高清不卡 | 午夜福利一区二区在线看| 欧美大码av| 亚洲男人天堂网一区| 国产精品一区二区免费欧美| 欧美日韩中文字幕国产精品一区二区三区 | 国产乱人伦免费视频| 在线观看午夜福利视频| 一区二区三区高清视频在线| 国产亚洲欧美98| 国产精品一区二区免费欧美| 国产精品久久久久久亚洲av鲁大| 一边摸一边抽搐一进一小说| 精品久久久精品久久久| 国产蜜桃级精品一区二区三区| 美女 人体艺术 gogo| 亚洲国产欧美日韩在线播放| 国产高清有码在线观看视频 | 国产精品1区2区在线观看.| 久久久国产精品麻豆| 国产片内射在线| 久久久国产欧美日韩av| 男人操女人黄网站| 激情在线观看视频在线高清| 视频在线观看一区二区三区| 丝袜美足系列| 国产一区二区三区综合在线观看| 高清在线国产一区| 精品一品国产午夜福利视频| 成人18禁高潮啪啪吃奶动态图| 欧美日本中文国产一区发布| 国产精品亚洲美女久久久| 久久久久久久精品吃奶| 亚洲三区欧美一区| 精品国产一区二区久久| 午夜福利欧美成人| 亚洲在线自拍视频| 免费高清在线观看日韩| 成年版毛片免费区| 波多野结衣一区麻豆| 人人妻,人人澡人人爽秒播| 欧美一级毛片孕妇| 亚洲视频免费观看视频| 午夜免费鲁丝| 免费看美女性在线毛片视频| 亚洲专区国产一区二区| av福利片在线| 巨乳人妻的诱惑在线观看| 国产av一区在线观看免费| 亚洲成人国产一区在线观看| 91精品国产国语对白视频| 国产伦人伦偷精品视频| 精品不卡国产一区二区三区| 国产麻豆成人av免费视频| 国产三级在线视频| 伦理电影免费视频| 色综合站精品国产| 少妇熟女aⅴ在线视频| 久久久久九九精品影院| 久久欧美精品欧美久久欧美| 成人三级做爰电影| 男女床上黄色一级片免费看| 亚洲国产欧美网| 欧美激情高清一区二区三区| 国产伦一二天堂av在线观看| 久久久精品欧美日韩精品| 真人做人爱边吃奶动态| 国产亚洲欧美在线一区二区| 久久 成人 亚洲| videosex国产| 精品国产国语对白av| 91成年电影在线观看| 精品高清国产在线一区| 国产精品日韩av在线免费观看 | 国产黄a三级三级三级人| 我的亚洲天堂| 岛国视频午夜一区免费看| 淫妇啪啪啪对白视频| 亚洲第一av免费看| 久久精品国产99精品国产亚洲性色 | 黑人巨大精品欧美一区二区蜜桃| 欧美日韩福利视频一区二区| 黄色 视频免费看| 真人一进一出gif抽搐免费| 欧美成人午夜精品| 18禁裸乳无遮挡免费网站照片 | 精品国产国语对白av| 日韩欧美三级三区| 国产av一区在线观看免费| 巨乳人妻的诱惑在线观看| 欧美中文日本在线观看视频| 丝袜在线中文字幕| 丝袜人妻中文字幕| av免费在线观看网站| 国产亚洲欧美在线一区二区| 国产精品一区二区免费欧美| 亚洲精品久久成人aⅴ小说| 99久久综合精品五月天人人| 久久国产乱子伦精品免费另类| 成年女人毛片免费观看观看9| 亚洲第一av免费看| 久久草成人影院| 久久国产乱子伦精品免费另类| 久久久国产成人精品二区| 午夜福利18| 亚洲第一欧美日韩一区二区三区| 一级a爱片免费观看的视频| 久久久久国产一级毛片高清牌| 亚洲国产毛片av蜜桃av| 久久久国产成人精品二区| 巨乳人妻的诱惑在线观看| 亚洲av电影不卡..在线观看| 婷婷六月久久综合丁香| av天堂久久9| 1024香蕉在线观看| 久久热在线av| 天堂√8在线中文| 真人做人爱边吃奶动态| 亚洲无线在线观看| 久久久久久久久中文| 成在线人永久免费视频| 国产精品亚洲美女久久久| 18禁美女被吸乳视频| 曰老女人黄片| 1024视频免费在线观看| 亚洲中文字幕日韩| 高清毛片免费观看视频网站| 日韩中文字幕欧美一区二区| 两性夫妻黄色片| 国产高清视频在线播放一区| 18禁黄网站禁片午夜丰满| 国产精品影院久久| 久久久国产成人精品二区| 一级a爱片免费观看的视频| 欧美另类亚洲清纯唯美| 欧美午夜高清在线| 夜夜躁狠狠躁天天躁| 女生性感内裤真人,穿戴方法视频| 国产成人免费无遮挡视频| 大陆偷拍与自拍| 91九色精品人成在线观看| 国产成人精品无人区| 午夜福利高清视频| 色尼玛亚洲综合影院| 免费高清在线观看日韩| 日韩中文字幕欧美一区二区| 中文字幕色久视频| 国产黄a三级三级三级人| 亚洲色图av天堂| 国产成人一区二区三区免费视频网站| 一进一出好大好爽视频| 韩国av一区二区三区四区| 青草久久国产| 亚洲国产看品久久| 看片在线看免费视频| 1024视频免费在线观看| 亚洲美女黄片视频| 啦啦啦观看免费观看视频高清 | 亚洲中文字幕一区二区三区有码在线看 | 纯流量卡能插随身wifi吗| www.精华液| 天天添夜夜摸| 国产一级毛片七仙女欲春2 | 亚洲精品一卡2卡三卡4卡5卡| 极品人妻少妇av视频| 久久中文看片网| 亚洲va日本ⅴa欧美va伊人久久| 在线观看日韩欧美| 免费av毛片视频| 又黄又粗又硬又大视频| av福利片在线| 精品国产美女av久久久久小说| 在线观看舔阴道视频| tocl精华| 久热这里只有精品99| 在线观看舔阴道视频| 亚洲色图 男人天堂 中文字幕| 日韩 欧美 亚洲 中文字幕| 男男h啪啪无遮挡| 男人的好看免费观看在线视频 | 婷婷精品国产亚洲av在线| 久久影院123| av视频在线观看入口| 此物有八面人人有两片| 九色国产91popny在线| 高清黄色对白视频在线免费看| 成人国产一区最新在线观看| 国产日韩一区二区三区精品不卡| 最近最新中文字幕大全免费视频| 97碰自拍视频| 欧美久久黑人一区二区| 亚洲av熟女| 嫩草影视91久久| 成人18禁高潮啪啪吃奶动态图| 最近最新中文字幕大全免费视频| 97碰自拍视频| 淫妇啪啪啪对白视频| 国产精品 国内视频| 无遮挡黄片免费观看| 可以在线观看毛片的网站| 99riav亚洲国产免费| 巨乳人妻的诱惑在线观看| 99re在线观看精品视频| 亚洲国产欧美网| 男人操女人黄网站|