人工智能中的算法歧視與應(yīng)對(duì)
——以某公司人工智能簡(jiǎn)歷篩選系統(tǒng)性別歧視為視角

嚴(yán) 景

北京郵電大學(xué)，北京 100876

利用人工智能系統(tǒng)為公司篩選簡(jiǎn)歷，本是一件節(jié)省時(shí)間和人力成本的好事，但是這背后也許會(huì)隱藏著風(fēng)險(xiǎn)。去年，美國(guó)一家著名的電商公司就陷入了這樣一場(chǎng)由人工智能簡(jiǎn)歷篩選系統(tǒng)引發(fā)的算法歧視風(fēng)波。

該公司自2014年起，開(kāi)始將人工智能簡(jiǎn)歷篩選系統(tǒng)用以招聘。該系統(tǒng)能夠根據(jù)應(yīng)聘者簡(jiǎn)歷中的關(guān)鍵詞，判斷這些關(guān)鍵詞與崗位的匹配程度，對(duì)簡(jiǎn)歷進(jìn)行一至五星星級(jí)打分，選出最為“契合”的應(yīng)聘者。這一系統(tǒng)看似高效便捷，然而卻被媒體披露，其算法對(duì)女性具有歧視：它通過(guò)關(guān)鍵詞直接過(guò)濾了女性應(yīng)聘者的簡(jiǎn)歷。

這一切并不是該公司故意而為之。系統(tǒng)的設(shè)計(jì)者以公司在2004到2014年十年間收到的、含有五萬(wàn)個(gè)關(guān)鍵詞的簡(jiǎn)歷為錄入樣本，讓系統(tǒng)通過(guò)研究樣本數(shù)據(jù)，總結(jié)出崗位與簡(jiǎn)歷關(guān)鍵詞的匹配規(guī)律，這樣，系統(tǒng)便知道某一特定崗位通常與哪些關(guān)鍵詞掛鉤。(譬如應(yīng)聘產(chǎn)品經(jīng)理崗位的簡(jiǎn)歷通常含有“決策力”、“邏輯性”等字眼。)因而也就可以直接通過(guò)關(guān)鍵詞篩選應(yīng)聘者。問(wèn)題在于，這十年間的簡(jiǎn)歷絕大多數(shù)都是由男性投遞的，女性樣本非常少。人工智能系統(tǒng)在研究樣本的過(guò)程中，誤以為女性樣本比例小是因?yàn)榕詰?yīng)聘者并不如男性那樣符合公司的招聘需求，于是系統(tǒng)在實(shí)際招聘中傾向給女性應(yīng)聘者打低分。

此消息一經(jīng)披露變引發(fā)了軒然大波。該公司不得不在去年停用了此人工智能簡(jiǎn)歷篩選系統(tǒng)。

當(dāng)攝取的數(shù)據(jù)出現(xiàn)偏差時(shí)，人工智能有可能放大這個(gè)偏差，最終輸出帶有偏見(jiàn)的結(jié)果，這也就是所謂的算法歧視。如今，人工智能已經(jīng)應(yīng)用在公眾生活的諸多領(lǐng)域，算法歧視一旦產(chǎn)生，極有可能會(huì)挑戰(zhàn)到公序良俗、侵犯公民的合法權(quán)益。正如這個(gè)案例中，女性的平等就業(yè)權(quán)就遭受了巨大的沖擊因此。為此，我們有必要探討如何避免人工智能中的算法歧視。

一、人工智能概述

(一)人工智能的定義與分類

探討人工智能算法歧視的前提是厘清什么是人工智能。

人工智能(Artificial Intelligence，AI)，這個(gè)詞包含了兩個(gè)層次：一是人工，二是智能。如今的人工智能是由機(jī)器或軟件所呈現(xiàn)出來(lái)的，故而“人工”一詞指的是人造機(jī)器或軟件。計(jì)算機(jī)科學(xué)上關(guān)于“智能”的定義存在著許多爭(zhēng)論，有學(xué)者認(rèn)為智能就是一種學(xué)習(xí)的能力。有學(xué)者認(rèn)為智能是個(gè)多元概念，包括學(xué)習(xí)、邏輯與探索等等能力。筆者認(rèn)為智能是獲取某些信息并利用這些信息以實(shí)現(xiàn)特定目標(biāo)的能力①。因?yàn)辂溈ㄥa提出人工智能這個(gè)概念的根本目的還是在于希望其能學(xué)會(huì)自我實(shí)現(xiàn)目標(biāo)。所以人工智能就是由機(jī)器或軟件表現(xiàn)出來(lái)的特定目標(biāo)的智能。人工智能實(shí)現(xiàn)特定目標(biāo)的過(guò)程，即軟件或機(jī)器基于數(shù)據(jù)信息，模仿人的思維方式和行為方式，思考問(wèn)題、解決問(wèn)題，并且實(shí)現(xiàn)自我完善。

人工智能可劃分為兩類，一類是廣義的人工智能，也就是強(qiáng)人工智能(Artificial General Intelligence，AGI)。一類是狹義的人工智能，也就是弱人工智能(Artificial Narrow Intelligence，ANI)。②這兩者的區(qū)別在于，廣義人工智能能夠?qū)崿F(xiàn)自我感知，能夠?qū)?duì)周圍環(huán)境做出反應(yīng)。它可以對(duì)人類交付的目標(biāo)進(jìn)行調(diào)整，甚至是構(gòu)建新的目標(biāo)，可以說(shuō)，它是有獨(dú)立意志的。而狹義人工智能，只能簡(jiǎn)單執(zhí)行人類賦予的指令，無(wú)法自我創(chuàng)造目標(biāo)。

(二)人工智能的應(yīng)用

人工智能技術(shù)經(jīng)過(guò)誕生至今幾十年的快速發(fā)展，早已經(jīng)融入人類生活的方方面面。

在經(jīng)濟(jì)領(lǐng)域，人工智能技術(shù)在工農(nóng)業(yè)都發(fā)揮著不容忽視的作用：專家系統(tǒng)、智能控制、遺傳編程等技術(shù)，使得天氣預(yù)測(cè)、物種培育、作物養(yǎng)殖、物流倉(cāng)儲(chǔ)等方面都有了重大突破；智能工廠、智能生產(chǎn)、工業(yè)智能管理逐步成為了現(xiàn)實(shí)。在政治領(lǐng)域，人工智能也扮演著重要的角色：行政執(zhí)法監(jiān)測(cè)、信息收集與檢索等技術(shù)為行政和司法帶來(lái)便利；智能控制系統(tǒng)、人工智能武器、無(wú)人化平臺(tái)等技術(shù)成為評(píng)估一國(guó)國(guó)防力量的重要因素。在社會(huì)生活領(lǐng)域，無(wú)人駕駛、智能醫(yī)療、機(jī)器識(shí)別、智能家居等各種人工智能產(chǎn)品與服務(wù)為人類的生活帶來(lái)了巨大的變革。

人工智能技術(shù)在當(dāng)下被如此廣泛的應(yīng)用，與每個(gè)公民的生存發(fā)展都有著如此緊密的聯(lián)系，而且可以預(yù)見(jiàn)，今后它勢(shì)必會(huì)在人類的生活中走得更深更遠(yuǎn)。我們可以看好人工智能，但不能對(duì)其暗藏的算法歧視視而不見(jiàn)。

二、人工智能算法歧視的產(chǎn)生與危害

(一)算法歧視產(chǎn)生的原因

在公眾的預(yù)想中，人工智能與人不同，它超越了人類認(rèn)知水平的局限，也不受感情因素的影響，人工智能輸出的數(shù)據(jù)和信息，應(yīng)當(dāng)是客觀的、中立的、公平的。那么為什么算法歧視又屢屢發(fā)生呢？

算法歧視產(chǎn)生的原因主要有以下幾種：

第一，數(shù)據(jù)驅(qū)動(dòng)產(chǎn)生了算法歧視。

對(duì)于人工智能而言，其輸入的樣本決定了輸出的數(shù)據(jù)。當(dāng)系統(tǒng)用以訓(xùn)練的數(shù)據(jù)樣本有偏差時(shí)，其產(chǎn)出的結(jié)果也會(huì)不客觀。正如在此案例中，其過(guò)去十年間應(yīng)聘者的男女性別比例極其失衡，設(shè)計(jì)者在開(kāi)發(fā)簡(jiǎn)歷篩選系統(tǒng)之時(shí)忽視了這一點(diǎn)，原封不動(dòng)地把所有的簡(jiǎn)歷信息錄入。他們并沒(méi)有意識(shí)到簡(jiǎn)歷樣本的性別偏差會(huì)導(dǎo)致人工智能產(chǎn)生男性比女性“重要”的判斷，這就造成了后來(lái)的問(wèn)題。

我們會(huì)理所當(dāng)然地認(rèn)為，當(dāng)人工智能系統(tǒng)參考的數(shù)據(jù)樣本規(guī)模足夠大時(shí)，計(jì)算結(jié)果就會(huì)更為精準(zhǔn)，也趨于公正?？蛇@種預(yù)設(shè)的前提是樣本能完整均衡地覆蓋到每個(gè)群體。一旦覆蓋不完整而產(chǎn)生了誤差值，當(dāng)樣本規(guī)模越大，偏差也會(huì)越大。

此案例造成的歧視并非技術(shù)人員故意而為?？涩F(xiàn)實(shí)中不排除有的程序設(shè)計(jì)者本身就對(duì)某一人群或事物抱有歧視態(tài)度，而故意錄入不公正、客觀的數(shù)據(jù)。所以，人為或非人為的原因，都有可能造成數(shù)據(jù)驅(qū)動(dòng)型的算法歧視。

第二種是交互過(guò)程中產(chǎn)生了算法歧視。

有的算法歧視，來(lái)源于人工智能投入使用過(guò)程中接觸到的用戶持有的偏見(jiàn)。由于人工智能能對(duì)獲取的信息加以學(xué)習(xí)和模仿，且這種吸收是對(duì)信息不加甄別的，所以一旦獲取到了用戶歧視性的言論，它便有可能主動(dòng)模仿這些言論，最終成為一個(gè)歧視者。同樣以性別歧視為例，如果將一個(gè)智能聊天系統(tǒng)投入到一個(gè)歧視女性的社交平臺(tái)，而與它互動(dòng)的用戶經(jīng)常發(fā)表一些歧視女性的論調(diào)，那么它也將學(xué)會(huì)這些言論。

第三種是人工智能系統(tǒng)為了實(shí)現(xiàn)用戶需求產(chǎn)生了算法歧視。

用戶都會(huì)按照自己的習(xí)慣和喜好來(lái)使用一項(xiàng)產(chǎn)品。而人工智能產(chǎn)品會(huì)研究用戶的行為模式，迎合用戶的喜好，呈現(xiàn)出用戶想要看到的商品和服務(wù)。算法在這個(gè)過(guò)程中讓用戶看到他們只想看到的信息，過(guò)濾用戶不想看到的信息?？蓡?wèn)題在于，用戶自己既有的傾向不一定是正確的，人工智能在后期對(duì)錯(cuò)誤信息的一次次不斷呈現(xiàn)，有可能會(huì)使用戶在偏差的道路上越走越遠(yuǎn)。比如一個(gè)用戶先入為主地認(rèn)為男性比女性更適合擔(dān)任企業(yè)的管理者職位，為了佐證自己的觀點(diǎn)，他在網(wǎng)絡(luò)問(wèn)答社區(qū)上搜索這類的問(wèn)題。在查看他人評(píng)論的時(shí)候，他有可能著重瀏覽支持自己立場(chǎng)的回答。這時(shí)候，人工智能系統(tǒng)為了“滿足”用戶的需求，往往會(huì)記住他的傾向，主動(dòng)地給他推送一些男性確實(shí)比女性更合適的留言。用戶最終會(huì)認(rèn)為既然有如此多的證據(jù)佐證自己的立場(chǎng)，那么自己的觀點(diǎn)一定是對(duì)的。

人工智能在學(xué)習(xí)用戶偏好之時(shí)，我們尚且可以說(shuō)它是中立的。它如同一個(gè)嬰兒，無(wú)法辨別用戶偏好的好壞?？蛇z憾的是，當(dāng)它為了滿足這種偏好而選擇性地推送信息的時(shí)候，其行為就打上了歧視的烙印了。

(二)算法歧視的危害

人工智能算法歧視并不只是研發(fā)者辯稱的技術(shù)瑕疵那么簡(jiǎn)單。這個(gè)案例告訴世人，算法歧視是能對(duì)公民法定就業(yè)權(quán)造成直接侵害的。除此之外，人工智能的算法歧視還可能侵犯的公民的名譽(yù)權(quán)。(當(dāng)歧視是人工智能系統(tǒng)作為商品或服務(wù)時(shí)產(chǎn)生的，侵犯的則是消費(fèi)者人格尊嚴(yán)受尊重權(quán)。)

除了私法上的法律問(wèn)題外，人工智能系統(tǒng)算法歧視可能還會(huì)引起公法上的法律問(wèn)題。當(dāng)歧視言論涉及到民族、宗教，情節(jié)嚴(yán)重的，可能涉及煽動(dòng)民族仇恨、民族歧視、煽動(dòng)分裂國(guó)家等問(wèn)題。

三、人工智能算法歧視的應(yīng)對(duì)對(duì)策

人工智能算法歧視問(wèn)題的解決不能僅僅等待研發(fā)者突破技術(shù)難關(guān)，而需要法律與政策的支持。

(一)完善相關(guān)法律規(guī)范

技術(shù)中立是當(dāng)今學(xué)界的共識(shí)。許多研發(fā)者認(rèn)為人工的機(jī)器或軟件沒(méi)有情感，也沒(méi)有價(jià)值觀，其輸出的內(nèi)容不過(guò)是對(duì)現(xiàn)實(shí)世界的客觀反映。在非故意錄入歧視性樣本的情況下，研發(fā)人員對(duì)人工智能造成的危害后果沒(méi)有主觀惡意，所以不用對(duì)此承擔(dān)法律責(zé)任。然而，技術(shù)特性不能成為研發(fā)人員逃避法律責(zé)任的借口。即使不能人為干預(yù)輸出過(guò)程，研發(fā)人員至少可以在以下方面做出努力：一、廣泛調(diào)研，保障輸入樣本的完整性、準(zhǔn)確性，將樣本的偏差率僅可能降低。二、保障算法和數(shù)據(jù)的透明性。除了設(shè)計(jì)商業(yè)秘密和國(guó)家秘密的數(shù)據(jù)，研發(fā)者可以選擇將信息公開(kāi)，向公眾展示人工智能做出決策的過(guò)程和依據(jù)，這樣就能讓公眾在一定程度上監(jiān)督系統(tǒng)的運(yùn)作。三、建立救濟(jì)機(jī)制。研發(fā)企業(yè)應(yīng)當(dāng)有相關(guān)的事后救濟(jì)機(jī)制，在歧視產(chǎn)生時(shí)，能將影響降到最低。在這些方面，立法機(jī)關(guān)應(yīng)當(dāng)完善相關(guān)的法律法規(guī)，將企業(yè)的法律責(zé)任明確下來(lái)。

(二)加強(qiáng)政府監(jiān)管

行政機(jī)關(guān)應(yīng)當(dāng)加強(qiáng)對(duì)人工智能商品或服務(wù)的監(jiān)管。有關(guān)部門(mén)可以建立倫理審查制度，重申公平的價(jià)值理念，對(duì)人工智能產(chǎn)品的開(kāi)發(fā)設(shè)立倫理紅線。同時(shí)，可以建立動(dòng)態(tài)監(jiān)測(cè)機(jī)制，對(duì)人工智能的應(yīng)用實(shí)現(xiàn)跨平臺(tái)、全流程跟蹤監(jiān)管，針對(duì)屢次觸碰紅線、造成嚴(yán)重危害的企業(yè)，可以將其納入黑名單中。

(三)強(qiáng)化行業(yè)自律

2016年，日本AI學(xué)會(huì)、英國(guó)標(biāo)準(zhǔn)協(xié)會(huì)相繼出臺(tái)人工智能設(shè)計(jì)倫理標(biāo)準(zhǔn)。在美國(guó)，谷歌等產(chǎn)業(yè)巨頭也不斷提出如機(jī)會(huì)平等“(Equality of Opportunity)”這樣的新的技術(shù)要求以避免算法歧視。我國(guó)也應(yīng)當(dāng)強(qiáng)化行業(yè)自律，發(fā)揮人工智能學(xué)會(huì)的監(jiān)管作用，促進(jìn)相關(guān)企業(yè)的交流與合作，盡快推動(dòng)技術(shù)標(biāo)準(zhǔn)和行業(yè)規(guī)范的出臺(tái)。

[ 注 釋 ]

①這里采用德國(guó)學(xué)者馬庫(kù)斯.胡特和謝恩.萊格的觀點(diǎn)：“智能是用來(lái)衡量一個(gè)個(gè)體在一系列廣泛環(huán)境中實(shí)現(xiàn)目標(biāo)的整體能力.”

②現(xiàn)在也有學(xué)者提出人工智能可以分為弱人工智能、強(qiáng)人工智能、超人工智能(Artificial Superintelligence，ASI)三個(gè)等級(jí).ASI的學(xué)習(xí)能力、獨(dú)立意識(shí)，以及解決問(wèn)題的能力比AGI更強(qiáng).