人工智能教育應用的偏見風險分析與治理

沈苑 汪瓊

[摘? ?要] 在倡導教育包容與公平的時代背景下，教育面臨著以個性化、自適應為特征的智能技術(shù)所帶來的偏見風險。在智能教育產(chǎn)品的研發(fā)過程中，潛在的設計偏見、數(shù)據(jù)偏見和算法偏見會使教育領域面臨多重風險，如教育活動的公平性受阻、教育系統(tǒng)內(nèi)部的歧視加劇、教育中的多元化特質(zhì)消解和學生思想窄化。學校、科技公司、監(jiān)管機構(gòu)等組織應當攜手共進，提前偵測偏見風險并加強治理，包括：提升研發(fā)團隊的教育理解和多元眼光，讓師生成為產(chǎn)品的合作創(chuàng)造者，加強偏見檢測和道德評估過程，建立可解釋、可審查、可糾正的系統(tǒng)優(yōu)化機制，開展面向師生的人工智能素養(yǎng)教育，確立人工智能在教育中的應用范圍和倫理規(guī)范，從而爭取實現(xiàn)人機良性互動，打造多元包容的智能教育環(huán)境。

[關(guān)鍵詞] 人工智能教育應用; 人工智能倫理; 教育包容; 算法偏見; 數(shù)據(jù)偏見

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 沈苑（1996—），女，江蘇蘇州人。博士研究生，主要從事人工智能教育應用倫理研究。E-mail：shenyuan@pku.edu.cn。

一、引? ?言

當前，關(guān)于人工智能教育應用（Artificial Intelligence in Education，簡稱AIED）的討論非常熱烈。無論是作為輔助教學、校園管理的工具，還是學科教育的重要內(nèi)容，人工智能都為教育發(fā)展注入了新動力。有支持者主張，AI是基于真實教育數(shù)據(jù)做出決策的，較之人類決策更加客觀、公正和權(quán)威。然而，真的是這樣嗎？普林斯頓大學的一項研究發(fā)現(xiàn)，AI和人類一樣帶有偏見，它們會將女性群體與“家庭”“藝術(shù)”掛鉤，將男性群體與“事業(yè)”“野心”掛鉤，將有色人種群體與一些令人不悅的詞語掛鉤[1]。隨著AI在各行業(yè)中承擔起愈發(fā)重要的決策角色，諸如此類的偏見足以對我們的真實世界產(chǎn)生影響，教育領域也不例外。

社會心理學家將“偏見”定義為對某一社會群體及其成員的一種不公正態(tài)度，是一種事先或預先就有的判斷[2]。如果教育決策含有偏見，可能會阻礙學生的自由發(fā)展，加劇學生之間的差距，不利于教育公平和包容的發(fā)展。20世紀的美國曾經(jīng)一度施行“紅線政策（Redlining）”——依據(jù)居民的職業(yè)、種族、地區(qū)、房屋狀況等指標劃分居民區(qū)等級，被劃入紅線區(qū)就意味著無法獲得住房貸款，有色人種和貧困人群絕大多數(shù)都在紅線區(qū)內(nèi)[3]。此政策原本是為了高效分配社會資源，卻導致了更加嚴重的歧視。在教育中，學生性別、健康狀況、年齡層次、經(jīng)濟條件、家庭住址等都是隱形的“紅線”，可能導致優(yōu)勢學生和弱勢學生這兩個群體的固化甚至相互隔離。

本研究基于真實案例對AIED偏見研究的背景展開討論，結(jié)合智能技術(shù)和教育場景的特點分析偏見的生成機制和面臨的風險挑戰(zhàn)。本研究結(jié)合當前已有實踐所提出的風險治理的具體策略，對于推動AI賦能教育、提升教育包容、促進教育公平具有重要意義。

二、研究背景

有學者指出：“‘適應與個性和‘包容與公平都是現(xiàn)代教育技術(shù)發(fā)展的重要范疇，但令人驚訝的是，卻鮮有這兩個領域交匯處的研究?！盵4]AIED及相應的創(chuàng)新教育模式一方面能夠促進優(yōu)質(zhì)資源共享，彌合教育鴻溝，推動教育公平進程;但另一方面，因社會權(quán)力結(jié)構(gòu)分布帶來的偏見，可能會因為對適應性教學和個性化學習的追求而被鞏固和加劇。如今，我們站在這個十字路口，應當厘清教育包容與公平和適應與個性之間的關(guān)系，充分認識研究AIED中所存在的偏見問題的意義。

（一）智能時代下教育包容與公平的新局面

包容與公平始終是教育的核心主題。聯(lián)合國教科文組織（UNESCO）將“確保包容和公平的優(yōu)質(zhì)教育，讓全民終身享有學習機會”作為2030年教育分支的可持續(xù)發(fā)展目標之一[5]。經(jīng)濟合作與發(fā)展組織（OECD）將教育公平和教育包容作為衡量教育成功的兩項標準[6]。當AI進入教育場景，教育包容與公平的內(nèi)涵也必將迎來新的變化。只有在確保AIED不會阻礙教育包容與公平的前提條件下，才能真正可持續(xù)性地為教育賦能。

包容與公平不僅意味著使用AI時要涵蓋有特殊需求的學生，還意味著為所有學生群體提供平等的、可獲取的、高質(zhì)量的智能教育支持。AI使用是否會導致受教育機會不均等，AI能否為教育環(huán)境中的所有主體提供服務，AI是否根據(jù)用戶的健康狀況、性別、年齡、家庭社會經(jīng)濟地位、文化背景等因素提供有差異的服務，AI是否會給某些學生群體貼上污名化標簽，學生是否會因為AI的介入而感到不被重視和不被尊重？種種問題亟須明晰的答案。

（二）個性化支持與教育歧視的一線之隔

實現(xiàn)個性化學習基本上是教育領域終極追求的目標[7]。過去數(shù)十年，教育技術(shù)越來越強調(diào)以學生為導向，推動個性化自適應學習的發(fā)展[8]，如智能導師系統(tǒng)、教學機器人、智能學習伙伴、自動化評估系統(tǒng)、虛擬現(xiàn)實技術(shù)教育應用、個性化慕課等[9]。但是，當偏見悄悄潛入其中，“因材施教”可能因此變味，與“教育歧視”僅是一線之隔。

美國公立學校選擇創(chuàng)新機構(gòu)（Institute for Innovation in Public School Choice，IIPSC）開發(fā)出一套高中入學推薦系統(tǒng)，通過收集分析三類數(shù)據(jù)：父母希望孩子去什么學校、每所學校和每個年級的名額以及學校的錄取要求和規(guī)定，從而為紐約、波士頓、丹佛等地區(qū)的學生推薦高中[10]。研究發(fā)現(xiàn)，此系統(tǒng)會迫使家長和學生在信息不透明、不全面的情況下做選擇，而且弱勢學生群體處境并沒有因此而改善，他們大多被推薦去往外地或較差的高中[11]。而且，由于算法的“黑箱”特質(zhì)，缺乏專業(yè)技術(shù)知識的學生、教師、家長和管理者難以對系統(tǒng)輸出的結(jié)果進行審查。

三、AIED的偏見生成機制

有學者指出，社會不公是由社會結(jié)構(gòu)性壁壘和個人認知性壁壘構(gòu)成的[12]。前者是指歷史上的不公在政策、實踐、價值觀中的滲透;后者是指用于維持社會不公結(jié)構(gòu)的個人層面的思考活動會潛在地加深理解、行為、決策中的刻板印象。這兩層壁壘作用于AIED，使之沿襲甚至強化帶有偏見的社會思考模式，導致學習者被無限循環(huán)的偏見所包圍。偏見會貫穿于AIED的生命周期——從系統(tǒng)的初步設計、收集數(shù)據(jù)、建立數(shù)據(jù)庫、算法編寫、模型訓練，直至應用落地，可歸納為以下三種生成機制：

（一）設計偏見：特定群體被排除在目標受眾之外

有報道稱，尼康某型號的相機在拍攝亞洲人時總是會彈出“是否有人眨眼？”的提示。加納裔美國研究員喬伊·布拉姆維尼（Joy Buolawini）在使用實驗室設備的時候，屢次遭到人臉識別系統(tǒng)的“無視”，某天她帶上了一張白色面具，系統(tǒng)居然成功識別了她的“面部信息”[13]。有些產(chǎn)品在設計之初就忽略了某些特殊群體的存在，致使某些特定學習者群體無法與其他學生同等獲取系統(tǒng)的服務。有研究者指出，這是一個教育發(fā)展至今都未曾面臨過的、全新的歧視維度[4]。

從理論上來說，隨著AI的發(fā)展，學生在認知能力、文化背景、身心健康等方面的不同需求能夠獲得更充分的個性化支持。但目前絕大多數(shù)AIED系統(tǒng)面向的仍是一般學生群體，鮮有涵蓋特殊學生群體的特定需求。某些基于眼動追蹤技術(shù)的智能系統(tǒng)，無法準確分析視力障礙、閱讀障礙、注意力集中障礙學生的眼動模式。雖然使用開放學習者模型來提升個性化教學質(zhì)量的做法日漸普遍，但學習者要有一定的認知和技術(shù)能力，才能有效參與這類復雜模型的構(gòu)建與控制[14]，患有認知障礙的學生將會面臨巨大的困難。如果產(chǎn)品設計初期就未將特定群體的需求納入考量范圍內(nèi)，在后續(xù)數(shù)據(jù)收集和模型建構(gòu)過程中，他們很可能會被邊緣化甚至被徹底無視。

（二）數(shù)據(jù)偏見：社會結(jié)構(gòu)性壁壘的復制與重現(xiàn)

數(shù)據(jù)正在重塑著我們的教育，從課堂分析到成績預測，從招生入學到生涯規(guī)劃等，越來越多的教育活動在不斷被數(shù)據(jù)化。數(shù)據(jù)科學家維克托·邁爾-舍恩伯格（Viktor Mayer-Sch？觟nberger）指出，大數(shù)據(jù)和教育的結(jié)合將超越過去那些“力量甚微的創(chuàng)新”而創(chuàng)造真正的變革[15]。用于訓練、學習、挖掘的原始數(shù)據(jù)是AI系統(tǒng)的基石，其中立程度直接影響系統(tǒng)輸出的結(jié)果[16]。

技術(shù)哲學家指出，人們對于技術(shù)經(jīng)常會產(chǎn)生正向偏見（Positivity Bias）[17]，即在沒有足夠信息的情況下，默認信賴技術(shù)，對其客觀程度過分樂觀。“人類歷史被隱藏在數(shù)據(jù)集里，如果我們要用數(shù)據(jù)集來訓練系統(tǒng)做出自動決策，需要深刻意識到這種歷史的存在?！盵18]因此，如果未經(jīng)過嚴格審查和測試，AI不能充當客觀公正的決策者角色，而是會重現(xiàn)隱藏在數(shù)據(jù)集中的人類偏見[19]。如果數(shù)據(jù)樣本不全、邊緣化某些群體或隱含某種偏見，將會導致數(shù)據(jù)庫被污染，無限循環(huán)與強化社會的結(jié)構(gòu)性偏見[15]。

雖然絕大多數(shù)工程師都希望在系統(tǒng)設計時盡量避免嵌入偏見，但很多看似中立的數(shù)據(jù)其實已經(jīng)受到了影響。如監(jiān)督學習算法訓練出的模型會反映出打標簽者的偏見[20]。如某些貧困地區(qū)學生的郵編、電話、學校都會潛在反映出“貧困”特征。數(shù)據(jù)的類型也會影響客觀性，如美國某些州用智能系統(tǒng)篩選需要社會救助的兒童，用到大量田野調(diào)查和自我陳述報告的數(shù)據(jù)，其中包含大量社會情感因素，依據(jù)目前技術(shù)發(fā)展水平，難以排除所有主觀內(nèi)容[12]。AI與用戶互動時還會習得人類偏見，如模擬19歲少女的微軟聊天機器人Tay，不到一天時間Tay就被“教壞”了，不但辱罵用戶，還發(fā)表帶有種族主義、煽動性和攻擊性的言論[21]。

（三）算法偏見：認知性壁壘滲透于算法模型中

算法偏見意味著工程師在編寫算法過程中將自身偏見滲透其中，導致程序會輸出帶有偏見的決策[22]。當我們希望通過算法模型來進行客觀決策的時候，其實我們的價值觀、信仰和偏見都已經(jīng)滲透其中，算法就是“鑲嵌于數(shù)學中的人類觀念”[23]。

受新冠肺炎疫情影響，2020年的英國高考無法如期舉行，英國資歷及考試評審局（The Office of Qualifications and Examinations Regulation，OFQUAL）采用了智能評分系統(tǒng)為考生打分。此算法模型將考生以往的個人成績、排名以及教師對學生今年成績的預測、考生所在考區(qū)三年來的綜合成績水平作為重點指標。如果某個考區(qū)三年內(nèi)總體表現(xiàn)不佳，系統(tǒng)會“無視”此考區(qū)學生當年的努力，默認他們當年也會表現(xiàn)不佳。即使這個較差考區(qū)中有一位非常優(yōu)秀的考生，他也很可能會受到算法偏見的影響，得不到自己應有的高分。雖然研發(fā)此系統(tǒng)的初衷是希望避免教師打分的主觀性，但此模型將“考生所在考區(qū)的水平”作為重要變量，導致最終輸出的結(jié)果帶有嚴重偏見——經(jīng)統(tǒng)計發(fā)現(xiàn)，全國39.1%的考生的系統(tǒng)得分低于教師估分，尤其是位于較差考區(qū)的弱勢學生群體被系統(tǒng)“打壓”得最厲害。在私立學校就讀的學生成績卻沒有受到太大的影響，拿到A等級及以上的學生甚至比之前多了4.7%[24]。

四、AIED的偏見風險分析

隨著AI逐步深入教育場景，背后的偏見問題在應用過程中漸漸暴露和發(fā)酵，社會爭議性事件屢有發(fā)生。如果缺乏對偏見問題的敏感度，事前疏于評估偏見風險，可能導致出現(xiàn)范圍更廣、程度更深的負面影響事件。

（一）教育活動的公平性受到阻礙

隨著AI在教育中的全方位應用，偏見風險會滲透在各類教育活動中。例如：在預測學生下一次統(tǒng)考成績時，某些學生可能因為所在學區(qū)的成績差而被系統(tǒng)認定將會表現(xiàn)不佳;一位學生正在回答簡答題時，智能系統(tǒng)的自動糾正功能改變了她的遣詞造句，甚至違背了她原本想表達的意思;AI在與某學生交流時習得了性別歧視并在和其他學生的交流時復制重現(xiàn)……雖然上述情況也許尚未出現(xiàn)，但在未來一旦發(fā)生，就很可能引發(fā)社會關(guān)注，有損教育公平。

教師智能評估模型曾在美國引起風波。教師謝里·萊德曼（Sheri Lederman）教學能力出色，但紐約州所用的教師增量評價模型（Value-added Model，VAM）卻為她2013—2014年的工作打上“無效”的標簽，使她面臨著被開除的風險，她也因此提起訴訟[25]。此模型會比較學生在中等水平教師指導下可能會取得的成績和學生在某個教師指導下實際取得的成績。前者是系統(tǒng)給出的預測成績，后者是學生的實際成績[26]。通過比較，系統(tǒng)會自動為教師打上“高效”“有效”“發(fā)展中”“無效”的標簽。這些標簽會影響教師的聲譽、薪資和去留。關(guān)于這類智能評估系統(tǒng)的一大爭議就是：教師評級是否應該取決于學生考試成績的進步？如果某學生上一次考試已經(jīng)取得高分，他在下一次考試中就幾乎沒有進步的余地。雖然萊德曼的學生在2014年的進步并不顯著，但他們在2013年成績優(yōu)異，因此，不能武斷地判定她的教學是“無效”的。技術(shù)開發(fā)者帶有“教師付出和學生進步具有因果關(guān)系”的認知偏見，對教師工作的評估過度倚重于學生進步情況，致使一位優(yōu)秀的教師險些被學校開除。

（二）教育系統(tǒng)內(nèi)部的歧視加劇

以學生為中心的智能學習環(huán)境中，偏見可能會導致特定學生群體遭到排斥，在性別、文化、地域、知識水平、家庭經(jīng)濟水平等方面加劇群體之間的歧視和隔離。如果說，不透明的全方位數(shù)據(jù)采集是對學生隱私權(quán)的“一次傷害”，那在此基礎上形成帶有偏見的決策和歧視性干預，對學生所造成“二次傷害”的影響則更深更廣。在“算法中立”的幌子下，雖然我們并非有意制造歧視，但是最脆弱的社會階層很可能會受到不公平的對待[27]。有學者發(fā)現(xiàn)了針對特定學生群體的價格歧視——在報名某權(quán)威的SAT在線輔導服務時，輸入亞洲人社區(qū)的郵編，將會被收取更高的費用，高達其他地區(qū)學生的兩倍[28]。

目前教育系統(tǒng)中存在的各種刻板印象，比如“女生不擅長STEM學習”“來自貧困家庭的學生成績差”，可能會經(jīng)過算法模型而進一步加劇，導致現(xiàn)實中歧視現(xiàn)象愈發(fā)嚴重。而且，目前大多數(shù)系統(tǒng)并沒有考慮到殘障學生的特定需求，其語言、表情、行為可能無法被正確識別。這些學生原本就缺少強有力的支持和發(fā)展機會，處在成長時期的他們還會遭遇被智能系統(tǒng)邊緣化的孤獨無助。并且，算法具有復雜性、隱蔽性和不透明性，他們甚至可能全然不知自己遭受歧視。如果這些學生持續(xù)受到系統(tǒng)“懲罰”，這個過程中會產(chǎn)生更多的帶有偏見的新數(shù)據(jù)，進而加劇教育中的“馬太效應”。

（三）教育中的多元化特質(zhì)消解

教育是一個充滿未知的過程，不同學生做出某種行為可能都有不同原因。如果技術(shù)開發(fā)者難以洞察學生行為背后的真正含義，僅憑自己對于教育的理解，帶有偏見地將學生行為解釋為現(xiàn)有模式的某種子集或變體，不僅會得出錯誤的分析結(jié)果，更會阻礙教育環(huán)境下的多元發(fā)展。每個學習者的知識背景、思考方式、學習風格、興趣愛好和行為習慣都有自己的特點，AIED的目的是達到“因材施教”，為不同的學習者提供適應化和個性化的學習內(nèi)容和策略。然而，當算法模型誤判了學習者的行為，無法正確理解和包容每個學生的特點，無法準確提供學生所需要的針對性支持，很可能造成教師理解狹隘化、學習內(nèi)容同質(zhì)化、教學策略單一化等問題。上述這一切都有悖于AIED的初衷。

（四）“過濾氣泡”窄化學生思想

算法模型具有滲透性，“就像流行病學模型可以用來預測票房，垃圾郵件過濾器被用作檢測AIDS病毒的工具”，社交媒體中常用的精準推薦算法也會被應用在個性化學習領域[22]。這種應用盡管可以為學生提供針對性支持，但很可能會形成“過濾氣泡（Filter Bubble）”——以大數(shù)據(jù)和算法推薦為底層架構(gòu)，根據(jù)學生的搜索結(jié)果或使用習慣進行紀錄與分析，過濾掉與學生觀點相左的或?qū)W生不感興趣的內(nèi)容，只給學生提供他們想看的內(nèi)容，導致學生接收到的資訊被局限于某個范圍內(nèi)，造成認知上和意識形態(tài)上的分化與隔離。

“過濾氣泡”概念的提出者伊萊·帕雷澤（Eli Pariser）察覺到自己在臉書（Facebook）上見到的與他政治立場不同的言論越來越少的情況。臉書所采用的推薦機制是會給用戶推薦其好友所點贊過、分享過的類似內(nèi)容，這致使用戶被包裹在狹小的信息空間里，聽不見異質(zhì)的聲音[29]。而且精準推薦機制恰好符合了人本身所具有的驗證性偏見（Confirmation Bias），即在面臨眾多選擇的時候，人們大多傾向于聽取與自身觀點一致的觀點。當AI在教育中成了“回音壁（Echo Chamber）”般的存在，學生的驗證性偏見將會被不斷地印證和加劇，導致視野和思想不斷窄化，價值觀和言行舉止可能會變得偏激甚至極端[30]。

五、AIED的風險防治策略

智能教育產(chǎn)品的每個發(fā)展環(huán)節(jié)都需要關(guān)注偏見問題，組建團隊、確定用戶需求、產(chǎn)品設計開發(fā)、宣傳推廣、應用落地都須嚴格把關(guān)?？缥幕椒☉摫患{入政策制定、產(chǎn)品研發(fā)、團隊建設等環(huán)節(jié)中。學校管理者和決策者、產(chǎn)品設計者和開發(fā)者、學生、教師、家長、科研工作者應當攜手推進教育環(huán)境包容性和多元化的建設。

（一）提升研發(fā)團隊的教育理解與多元眼光

如果技術(shù)人員對于教育過程不夠熟悉，對于教育本質(zhì)理解不足，缺乏情境體驗和背景知識，就很可能基于錯誤或片面的教育認識在系統(tǒng)開發(fā)過程中嵌入自己的偏見，導致算法模型與教學實踐脫節(jié)。首先，應該提升研發(fā)團隊的教育理解力。智能教育企業(yè)應當注重培養(yǎng)員工對教育的正確認識，比如可以邀請教育學領域?qū)＜议_展面向企業(yè)管理者和工程師的講座、工作坊等培訓活動，修正他們在教育方面的認知偏見。其次，研發(fā)團隊同質(zhì)化也是導致偏見的重要原因。因為人們往往難以察覺自身的內(nèi)隱偏見，對于他人利益敏感度不足，同質(zhì)化的研發(fā)團隊更容易忽視與自身不同的群體需求，收集的數(shù)據(jù)也更多是來自同群體的樣本。如開發(fā)圖像識別系統(tǒng)時，非洲程序員的訓練集里黑人照片更多，而亞洲程序員更多用黃種人的照片。因此，不少倫理專家都提出，組建研發(fā)團隊時要關(guān)注成員在社會屬性上的異質(zhì)程度[4]。最后，還應該關(guān)注成員之間的學科異質(zhì)性，構(gòu)建問題解決的多元眼光。如地域偏見可能不會因為團隊里增加了幾位偏遠地區(qū)的成員就被消除，但當團隊中有計算機專家、數(shù)據(jù)科學家、教育專家、倫理學家等一系列技術(shù)和非技術(shù)角色時，就能夠更全面地理解教育中的地域偏見問題，從而為尋找創(chuàng)新解決方案提供多元視角。

（二）讓師生成為智能教育產(chǎn)品的合作創(chuàng)造者

互聯(lián)網(wǎng)時代下“共同創(chuàng)造”成為匯聚各方力量的創(chuàng)新模式，師生無疑是教育技術(shù)重要的合作創(chuàng)造者[31]。智能教育產(chǎn)品的最終目標是幫助解決教育領域的問題。因此，企業(yè)應鼓勵師生群體充分參與產(chǎn)品研發(fā)，積極與企業(yè)人員對話，清楚地傳達需求和困惑。企業(yè)應對典型群體或特殊群體的需求展開充分的調(diào)研，邀請具有典型性或者特殊性的教師代表和學生代表，通過問卷、訪談、課堂觀察等方式洞察用戶行為，建立起鮮明的、動態(tài)的師生用戶畫像，在此基礎上推進研發(fā)進程。

在AI全生命周期中，師生與企業(yè)應該始終保持互助互惠的關(guān)系，師生代表可以參與產(chǎn)品測試和試點使用，提出反饋建議幫助企業(yè)改進優(yōu)化產(chǎn)品，使研發(fā)出的智能教育產(chǎn)品能直擊教育中的痛點問題，為更廣大的教師和學生群體提供有效支持。

（三）加強偏見檢測和道德評估過程

改善AIED的偏見問題，需加強對數(shù)據(jù)集、算法和模型的偏見檢測。檢查用于訓練系統(tǒng)的數(shù)據(jù)集是否包含了足夠多的樣本量，是否同質(zhì)化過于嚴重，是否存在類別不平衡的現(xiàn)象，是否缺少某特定群體的數(shù)據(jù)樣本，是否呈現(xiàn)出某種傾向性……如果偵測到了數(shù)據(jù)集存在著偏見傾向，要及時加以干預，比如重新選取分布更合理的數(shù)據(jù)源、修正數(shù)據(jù)比例、調(diào)整數(shù)據(jù)精度。同時，也要檢查算法是否在設計之初就包含著某種特定偏見，是否會系統(tǒng)性地忽視或低估某些學生，模型是否通過了某些沒被包含在訓練樣本里的特定學生群體的測試。谷歌開發(fā)的What-If、IBM開發(fā)的AI Fairness 360、芝加哥大學數(shù)據(jù)科學和公共政策中心開發(fā)的Aequitas、微軟開發(fā)的InterpretML等偏見檢測工具都可以被整合至模型開發(fā)過程中，幫助規(guī)避系統(tǒng)正式運行過程中的偏見與歧視。

同時，也需要加強道德評估過程。由數(shù)據(jù)科學家、教育家、技術(shù)專家、教師和學生等共同組成道德評估小組，對技術(shù)開發(fā)、試用、研究過程中可能存在的道德問題開展評估工作，幫助發(fā)現(xiàn)隱藏的錯誤認識或者偏見傾向。道德評估小組可以標記出數(shù)據(jù)抓取、轉(zhuǎn)化、訓練、預測、呈現(xiàn)決策等每個環(huán)節(jié)可能存在的偏見隱患。

（四）建立可解釋、可審查、可糾正的優(yōu)化機制

由于系統(tǒng)訓練和驗證數(shù)據(jù)集的過程往往是不可見的，最終產(chǎn)生的數(shù)據(jù)模型常常缺乏可解釋性。如果要讓帶有風險的技術(shù)工具參與教育決策，應當建立起可解釋、可審查、可糾正的系統(tǒng)優(yōu)化機制，允許用戶預覽和更正決策。讓教師和學生參與算法的形成、修改過程以及決策過程，是提高算法透明性和可解釋性的重要途徑[28]。

假設某學校采用智能分班系統(tǒng)對全年級學生進行分班，每個學生應該對自己的數(shù)據(jù)隱私和身份標簽有較清晰的了解，他們有權(quán)利知道數(shù)據(jù)收集的范圍和進行學生畫像的要素，知道為什么自己會被分到這個班，并且他們應該有途徑可以反對或糾正這項決策[32]。參考垃圾郵件篩選器，用戶可以自主檢查郵件過濾是否準確，也可以將被系統(tǒng)誤判的郵件重新歸類。由于師生不是專業(yè)的技術(shù)人員，應該為他們提供最為方便快捷的反饋路徑，比如在AIED產(chǎn)品外形上或屏幕界面上設置清晰可見的撤回、預覽、標記錯誤等功能按鈕。

（五）開展面向師生的人工智能素養(yǎng)教育

當AI進入教育場景，如果教師不了解其特征和工作原理，可能會對技術(shù)產(chǎn)生過度依賴，盲目相信運算結(jié)果。當不透明的智能算法取代了教師對教學過程的自主判斷，教師也許會面臨著教學技能的退化和因材施教能力的喪失。如果學生不了解AI，不熟悉和AI的相處模式，很可能會對他們的學習產(chǎn)生負面影響，阻礙學生的技術(shù)觀和親社會行為的發(fā)展，某些學生甚至會遭受AI的歧視。通過開展AI素養(yǎng)教育，幫助師生意識到AI并不是絕對正確的，它也像人一樣存在著種種偏見，需要始終保持警惕，始終保留自己獨立思考和自主判斷的能力。引導師生不盲目迷信和依賴AI，理解AI是為教育賦能的一種可選擇的方法，并不是唯一路徑。

（六）確立人工智能在教育中的應用范圍與倫理規(guī)范

AI Now組織曾建議：“‘高風險的核心公共機構(gòu)，如司法機構(gòu)、醫(yī)療機構(gòu)、教育機構(gòu)不應該使用不透明的AI算法?！盵33]相較于徹底禁止教育中應用AI，我們更應該限制AI在教育中的應用范圍。我們不應在教育中模糊AI和人類的邊界，不能任由AI一步步擴大它的控制范圍。AI滲透教育場景的深度、運算結(jié)果對決策制定的影響程度、在支持學生學習中扮演的角色，都需要明確規(guī)定和審慎決策。雖然對于應用范圍的限制并不能完全消除偏見，但至少能夠減少偏見對教育活動的滲透，避免社會偏見在技術(shù)中無限循環(huán)和放大。

嚴格的監(jiān)督機制和明確的倫理規(guī)范也應當建立起來。學校、企業(yè)、科研機構(gòu)、監(jiān)管部門以及第三方組織應當商討各方都接受且受益的監(jiān)管途徑，在已有的AI倫理準則基礎上，建立起可信賴的AIED的具體原則規(guī)范，樹立嚴格的規(guī)章制度以懲處應用中的偏見和歧視現(xiàn)象。

六、結(jié)? ?語

迄今為止，國內(nèi)AI在教學中的應用還沒有達到“廣泛”的水平，絕大多數(shù)智能教育產(chǎn)品都還處于弱AI的范疇，其中的偏見傾向尚不足以造成嚴重后果。但也許在不遠的未來，AI將會獲得更大的能力，足以左右孩子的教育和成長，控制人類的生活與思想。在感嘆著AI為教育帶來深刻變革與全新機遇，享受著智能化的服務與支持的同時，我們應當時刻保持著對于潛在“紅線”的敏感和警惕。正如哲學家羅伯特·所羅門（Robert Solomon）所說：“我們曾經(jīng)建立起來的那些關(guān)系，最終將會被用來塑造我們?！盵34]

[參考文獻]

[1] CALISKANA， BRYSON J J， NARAYANAN A. Semantics derived automatically from language corpora contain human-like biases[J]. Science， 2017， 356（6334）： 183-186.

[2] 張中學，宋娟.偏見研究的進展[J].心理與行為研究，2007（2）：150-155.

[3] 王旭.“紅線政策”與美國住房市場的反歧視立法[J].社會科學戰(zhàn)線，2016（5）：89-98.

[4] KNOX J， WANG Y， GALLAGHER M. Artificial intelligence and inclusive education[M]. Singapore： Springer， 2019.

[5] World Educators Forum. Education 2030： incheon declaration and framework for action towards inclusive and equitable quality education and lifelong learning for all[M]. Paris： United Nations Educational， Scientific and Cultural Organization， 2015.

[6] 劉寶存，屈廖健.PISA 2012教育成功國家和地區(qū)的基本經(jīng)驗[J].比較教育研究，2015，37（6）：14-20，29.

[7] 肖睿，肖海明，尚俊杰.人工智能與教育變革：前景、困難和策略[J].中國電化教育，2020（4）：75-86.

[8] 祝智庭，魏非.教育信息化2.0：智能教育啟程，智慧教育領航[J].電化教育研究，2018，39（9）：5-16.

[9] YU H， MIAO C， LEUNG C， et al. Towards AI-powered personalization in MOOC learning[J]. （npj） Science of learning， 2017，2（1）： 1-5.

[10] HEROLD B. Custom software helps cities manage school choice[EB/OL].（2013-11-03）[2021-01-26]. https：//www.edweek.org/ew/articles/2013/12/04/13algorithm_ep.h33.html.

[11] NATHANSON L， COTCORAN S， BAKER-SMITH C. High school choice in New York city： a report on the school choices and placements of low-achieving students[R]. New York： Research Alliance for New York City Schools， 2013.

[12] CAPATOSTO K. Foretelling the future： a critical perspective on the use of predictive analytics in child welfare[R]. Columbus： Ohio State University， 2017.

[13] ROSE A. Are face-detection cameras racist？[EB/OL].（2010-01-22）[2021-01-26]. http：//content.time.com/time/business/article/0，8599，1954643，00.html.

[14] 危怡，胡夢華，胡藝齡，顧小清.開放學習者模型：讓學習者參與構(gòu)建——訪國際知名教育人工智能專家朱迪·凱教授[J].開放教育研究，2018，24（3）：4-11.

[15] 維克托·邁爾-舍恩伯格.與大數(shù)據(jù)同行——學習和教育的未來[M].趙中建，張燕南，譯.上海：華東師范大學出版社，2015.

[16] 郭小平，秦藝軒.解構(gòu)智能傳播的數(shù)據(jù)神話：算法偏見的成因與風險治理路徑[J].現(xiàn)代傳播（中國傳媒大學學報），2019，41（9）：19-24.

[17] LIN P， ABNEY K， JENKINS R. Robot ethics 2.0： from autonomous cars to artificial intelligence[M]. New York： Oxford University Press， 2017.

[18] ROSENBERG S. Why AI is still waiting for its ethics transplant[EB/OL]. （2017-01-11）[2021-01-26]. https：//www.wired.com/story/why-ai-is-still-waiting-for-its-ethics-transplant/.

[19] MARCINKOWSKI F， KIESLICH K， STARKE C， et al. Implications of AI （un-） fairness in higher education admissions： the effects of perceived AI （un-） fairness on exit， voice and organizational reputation[C]//Proceedings of the 2020 Conference on Fairness， Accountability， and Transparency. New York： ACM， 2020： 122-130.

[20] MITTELSTADT B D， ALLO P， TADDEO M， et al. The ethics of algorithms： mapping the debate[J]. Big data & society， 2016， 3（2）： 2053951716679679.

[21] LEE D. Tay： microsoft issues apology over racist chatbot fiasco[EB/OL]. （2016-03-25）[2021-01-26]. https：//www.bbc.com/news/technology-35902104.

[22] 楊慶峰.數(shù)據(jù)偏見是否可以消除？[J].自然辯證法研究，2019，35（8）：109-113.

[23] O'NEIL C. Weapons of math destruction： how big data increases inequality and threatens democracy[M]. New York： Crown Publisher， 2016.

[24] COUGHLAN S， SELLGREN K， BURNS J. A-levels： anger over 'unfair' results this year[EB/OL].（2020-08-13）[2021-01-26].https：//www.bbc.com/news/education-53759832.

[25] HARRIS E. Court vacates Long Island teacher's evaluation tied to test scores[EB/OL].（2016-05-10）[2021-01-26]. https：//www.nytimes.com/2016/05/11/nyregion/court-vacates-long-island-teachers-evaluation-tied-to-student-test-scores.html.

[26] WALSH E， ISENBERG E. How does value added compare to student growth percentiles？[J]. Statistics and public policy， 2015， 2（1）： 1-13.

[27] WHITE HOUSE. Big data： seizing opportunities， preserving values[R]. Washington： Executive Office of the President， 2014.

[28] ANGWIN J， Mattu S， LARSON J. The tiger mom tax： Asians are nearly twice as likely to get a higher price from Princeton review [EB/OL].（2015-09-01）[2021-01-26]. https：//www.propublica.org/article/asians-nearly-twice-as-likely-to-get-higher-price-from-princeton-review.

[29] PARISER E. The filter bubble： what the Internet is hiding from you[M]. London： Penguin UK， 2011.

[30] FLAXMAN S， GOEL S， RAO J M. Filter bubbles， echo chambers， and online news consumption[J]. Public opinion quarterly， 2016， 80（S1）： 298-320.

[31] PRAHALAD C K， RAMASWAMY V. Co-creation experiences： the next practice in value creation[J]. Journal of interactive marketing， 2004， 18（3）： 5-14.

[32] 張林.智能算法推薦的意識形態(tài)風險及其治理[J].探索，2021（1）：176-188.

[33] VORHIES W. Is model bias a threat to equal and fair treatment？ maybe， maybe not[EB/OL]. （2018-06-05）[2021-01-26]. https：//www.datasciencecentral.com/profiles/blogs/is-model-bias-a-threat-to-equal-and-fair-treatment-maybe-maybe-no.

[34] SOLOMON R C. The passions： the myth and nature of human emotion[M]. New York： Anchor， 1976.