智能教育場景下的算法歧視：潛在風險、成因剖析與治理策略 *

倪 琴，劉 志，郝煜佳，賀 樑,3

(1.上海師范大學 人工智能教育研究院，上海 200234；2.華東師范大學 上海智能教育研究院，上海 200062；3.華東師范大學 計算機科學與技術學院，上海 200062)

一、引言

智能教育系統(tǒng)(AIEd，Artificial Intelligence in Education)是以人工智能為核心的新一代信息技術在教育場景下的具體應用，其獨有的個性化、信息化、立體化等優(yōu)勢助推傳統(tǒng)教育模式的轉型與變革。但另一方面，越來越多的教育教學工作由智能教育系統(tǒng)輔助，甚至一些教育管理和決策工作被智能教育系統(tǒng)所取代，其中存在的算法歧視問題不可避免地沖擊著現(xiàn)有的教育倫理體系與公平公正原則，影響著教育質量的提升。

算法歧視是指以算法為手段實施的歧視行為，主要是在大數(shù)據(jù)支持下，依靠機器計算的智能算法對數(shù)據(jù)主體做出決策分析時，對不同的數(shù)據(jù)主體進行差別對待，造成歧視性后果[1]。智能教育場景下的算法歧視是算法歧視在教育領域中的延伸，隨著智能教育系統(tǒng)的大量出現(xiàn)，該場景下的算法歧視現(xiàn)象層出不窮，其主要歧視對象為教育受眾中的弱勢群體，從而導致諸如“學歷歧視”“性別偏見”等問題，成為社會對教育信息化詬病的主要原因[2]。

算法歧視是人工智能治理領域的重要內(nèi)容，而教育場景作為一個人學習成長的最重要場域，在智能技術的應用過程中，應堅持“以人為本”，促進教育公平，應在智能教育治理過程中最大限度避免產(chǎn)生算法歧視問題?；诖?，本文從“潛在風險→成因剖析→治理策略”的框架出發(fā)，試圖針對教育領域存在的算法歧視問題提出可行的治理路徑，降低新一代智能技術在教育領域的不良影響，以期讓人工智能以更公平更優(yōu)質的姿態(tài)應用于教育領域，服務于學生的健康成長。

二、算法歧視的潛在風險

算法歧視的潛在風險是算法歧視問題研究的前提條件，主要探討算法歧視可能造成的不良影響。本研究列舉了四個較為突出的潛在風險。

(一)教育結果的單一化

社會主流價值中存在的偏見與歧視會在潛移默化中影響著人們的行為，社會層面中存在的算法歧視現(xiàn)象在無形的反映著社會中存在的偏見，從而造成教育結果的單一化[3]。例如，Jon Kleinberg[4]等學者在實例研究中將學生平均學分績點(GPA)作為智能教育算法衡量學生是否成功的依據(jù)，但該評判標準隱含著社會對于成功的偏見，其一是因為學生可以的成功具有多維性和復雜性，而不一定需要在課堂上獲得高分[5]，其二是De Brey[6]等學者指出畢業(yè)生的GPA并不能真實地反應學生的優(yōu)秀程度，由于學習資源的配置格局，教師對某類人的刻板印象等因素都會降低部分弱勢群體的平均學分績點。因此，僅僅以某一標準定義學生的成功，忽略的學生的多元化發(fā)展需求，忽視了教育的多種可能性，必然導致教育目的的單一化，教育結果的單一性。

(二)加劇教育不公平

在智能教育系統(tǒng)的研發(fā)過程中，由于算法歧視的存在，其主要服務對象未能得到優(yōu)質的服務，甚至出現(xiàn)少數(shù)群體得不到服務的現(xiàn)象。Michael[7]等學者指出，智能教育系統(tǒng)的主要受眾為普通學生，但智能教育系統(tǒng)的早期使用者往往為接受精英教育的學生，這導致使用者提供的數(shù)據(jù)在用于智能教育系統(tǒng)改良時，出現(xiàn)不符合實際需求的情況。除此之外，即使數(shù)據(jù)采集的目標為普通學生群體，也有可能出現(xiàn)服務對象不匹配的情況。Harini Suresh[8]等學者指出，抽樣調(diào)查的方式有可能產(chǎn)生代表性偏差，由于不同群體的數(shù)據(jù)采集程度不同，缺乏數(shù)據(jù)采集的群體往往會出現(xiàn)被歧視的現(xiàn)象，例如在2014年就發(fā)現(xiàn)人臉識別系統(tǒng)更傾向于識別自己種族的人而不是其他種族的人[9]。對于智能教育系統(tǒng)而言，服務對象出現(xiàn)偏差意味著學生的受教育權受到損害，不同群體間資源獲取的客觀差距未能得到有效彌補，反而加劇了教育不公的現(xiàn)象。

(三)學習結果兩極分化

學習結果兩級分化是指由于智能教育系統(tǒng)設計時存在偏差，導致不同學習者之間的學習質量差距不僅沒有縮小，反而呈現(xiàn)兩極分化的趨勢。例如，算法模型的誤定會導致學習者間差距變大，Doroudi和Brunskill[10]學者研究了知識追蹤算法對于學生學習的影響，他們指出，與傳統(tǒng)的教育相比，知識追蹤算法在一定程度上能夠幫助學生更好地學習。但若將該模型作為通用型算法模型時，即所有學生均使用該算法模型，學習慢的學生會出現(xiàn)不能得到充足訓練的問題，從而導致其知識掌握程度不夠；同時，如果該算法對學生學習模型產(chǎn)生誤判時，也會產(chǎn)生該現(xiàn)象。又如設計者的潛在偏見導致部分學生群體利益受損，從而導致學習結果兩極分化，最終導致教育公平的缺失。

(四)人機交互加深偏見

在智能教育系統(tǒng)的決策使用過程中，往往存在由交互引起的偏見加深現(xiàn)象。例如，Leeuwen[11]學者指出，在教師教學過程中使用電腦支持的協(xié)作學習，如果該智能教育系統(tǒng)提出的意見與教師本身的刻板意見相符時，會導致教師進一步加深該類型的刻板印象。同時，Pinkwart N指出[12]，人機交互模式的輸入渠道是否多樣也會對教育公平產(chǎn)生影響，目前的智能語音識別系統(tǒng)仍然容易因為外語學習者的語音、背景噪聲等因素造成識別錯誤，這無形中使異于開發(fā)者文化背景的學習者受到歧視，從而破壞教育公平。

三、算法歧視的成因剖析

刁生富等[13]指出算法歧視具有非價值判斷、歧視性和復雜性等特征，因為算法自身無法判斷底層邏輯的運行準則是否“合理、公平”，其不透明性、可解釋性差、服務對象復雜的特性往往會引發(fā)算法歧視和算法濫用等問題。顯然，對于處于“弱人工智能”時代的智能教育而言，算法歧視問題正是教育公平所需要面對并克服的風險與挑戰(zhàn)?；诖?，本節(jié)將從社會背景的復雜性與人工智能技術的局限性兩方面出發(fā)探究算法歧視出現(xiàn)的成因。

(一)設計團隊存在思維定勢

算法歧視就其本質屬性而言，是歷史上的不公在政策、實踐、價值觀中的滲透[14]，設計團隊必然存在社會主流價值中的思維定勢。

首先，設計團隊的目標選擇過于狹隘。由于設計團隊受到社會主流價值的影響，目標變量在簡化過程中，只考慮了人的共性，忽略了每個個體的復雜性與多元性，使算法得到優(yōu)化的同時，也讓算法的結果變得狹隘。例如將學習成績好壞定為學生是否成功的標準，就是算法的目標選擇出現(xiàn)偏差，目標變量的單一化使算法忽略了學生在藝術、體育等多領域的成就與發(fā)展，讓算法無法從全局出發(fā)，判斷學生是否成功。

其次，設計團隊可能存在主觀歧視思想，將個人背景與使用者背景相聯(lián)系，忽略學生來源與學生背景的復雜性。實證研究表明，即使來自不同國家(不同文化背景)的學生使用同樣的智能系統(tǒng)，仍然會導致教育不公平現(xiàn)象。具體而言，使用智能教育系統(tǒng)的用戶，其具體獲益情況會與種族、語言等因素掛鉤。Finkelstein[15]等學者發(fā)現(xiàn)，即使是在人工智能領域有著霸權地位的美國，人工智能在教授非洲裔美國學生時，若系統(tǒng)使用的是非洲裔美國人方言英語(African American Vernacular English)，而非主流美國英語(Mainstream American English)，那么學生的學習效果將會更佳。

(二)人工智能技術的局限性

從影響智能教育決策的內(nèi)外環(huán)境來看，算法歧視包括結構性歧視問題和功能性歧視問題。前者是指算法決策形成過程中系統(tǒng)內(nèi)部各部分(數(shù)據(jù)集、算法模型)可能產(chǎn)生的能反映到算法決策行為的歧視；后者是指算法決策的結果在應用的過程中產(chǎn)生的歧視[16]。當這兩種問題作用于智能教育系統(tǒng)時，算法歧視產(chǎn)生的原因可能以各種排列組合的形式貫穿于智能教育系統(tǒng)決策的生命周期。

1.結構性問題:教育數(shù)據(jù)的偏見和算法模型的困境

(1)教育數(shù)據(jù)的偏見

教育大數(shù)據(jù)是從基于互聯(lián)網(wǎng)的網(wǎng)上教學活動中采樣抽取的，則其勢必會帶有現(xiàn)實社會的特征與屬性。若輸入機器學習算法的數(shù)據(jù)集本身存在偏見，那么依托于教育大數(shù)據(jù)的智能教育的輸出結果有很大可能性具有歧視性，從而使得算法的“歷史偏見”在機器學習的過程中得以延續(xù)和增強，最終造成算法歧視現(xiàn)象。數(shù)據(jù)偏見在采集和處理教育數(shù)據(jù)時常發(fā)生于如下三個過程中：歷史數(shù)據(jù)、采樣策略、特征選取。

其一，歷史數(shù)據(jù)存在偏見。隨著信息技術的迭代發(fā)展，機器學習的訓練數(shù)據(jù)也呈現(xiàn)幾何級增長的趨勢，但是若機器學習的數(shù)據(jù)集本身就是帶有偏見的，那么機器學習用于完成智能決策的模型勢必會受到這種偏見的影響。例如，在線教育平臺會將用戶的全部教與學的活動軌跡以數(shù)據(jù)的方式進行存儲，若用戶在使用平臺過程中天然帶有偏見，那么機器學習算法會對識別到的“本身就有著偏差或偏見”的數(shù)據(jù)進行學習，在此過程中，算法很有可能會不斷重復訓練著有偏差的數(shù)據(jù)，從而導致歧視現(xiàn)象的惡性循環(huán)。

其二，數(shù)據(jù)采樣不充分。從總體抽取樣本數(shù)據(jù)時，所選取的采樣策略導致部分群體的代表性不足，那么這種數(shù)據(jù)分布的不均衡最終往往會使得人工智能產(chǎn)生的算法決策結果出現(xiàn)偏差，進而影響社會公平性問題。以目前絕大多數(shù)的智能教育系統(tǒng)為例，其面向的服務對象是一般學生群體，而鮮有覆蓋“特殊學生群體”(視力障礙、聽力障礙、閱讀障礙等)的特定需求。某些基于眼球追蹤技術的智能系統(tǒng)卻無法準確分析“特殊學生群體”的眼球模式，從而使得特殊群體被邊緣化[17]。由于機器學習算法是基于社會整體“大數(shù)據(jù)集”而形成“規(guī)則集”并應用于具體場景的過程，暗含著以整體特征推斷個體行為的基本邏輯[18]， 因此，一旦社會整體的大數(shù)據(jù)集無法精確代表某一群體的特征，那么算法歧視的問題便會呼之欲出。

其三，數(shù)據(jù)集特征選取不當。若數(shù)據(jù)集中存在性別、種族、宗教信仰等“敏感屬性”或是和敏感屬性高度相關的“代理屬性”，那么歧視性結果或決策便會隨之產(chǎn)生。佩德雷希(Pedreshi)等學者通過實例研究，論證了傳統(tǒng)的識別方式(即，通過判斷敏感屬性是否導致算法結果帶有歧視)并不適用于現(xiàn)實生活中的算法歧視場景，而大多數(shù)算法歧視現(xiàn)象是由與其高度相關的代理屬性導致的[19]。同時，相比于敏感屬性，代理屬性具有易于采集、隱蔽性更強等特點，更易于“騙過”反歧視審查。由此可見，算法結果的是否含有歧視往往與數(shù)據(jù)的多樣性、分布性密切相關。

(2)算法模型的困境

算法模型雖然作為社會生產(chǎn)生活的有力工具，但是以深度學習為代表的人工智能算法具有復雜性、不透明性、隱蔽性等天然特征，使得算法以人類不易審查或理解的方式處理數(shù)據(jù)，這直接導致算法模型存在算法歧視、信息繭房、群體極化和誘導沉迷等現(xiàn)實問題。因此，基于算法模型的建模過程，本文將算法模型困境的產(chǎn)生歸因于開發(fā)者的主觀思想、機器學習過程的偏差、因果概念的引入。

首先，算法開發(fā)者、設計者造成的算法歧視。指的是算法設計者為了攫取某些利益，或者為了表達個人觀點而設計出存在主觀歧視的算法。由于算法的設計目標、數(shù)據(jù)的處理方式、結果的表現(xiàn)形式等均體現(xiàn)著開發(fā)者、設計者的偏好與主觀意愿，而人工智能系統(tǒng)本身不具有判別能力，而會通過機器學習的過程將代碼中存在的歧視進一步放大，最終導致算法決策出現(xiàn)歧視。鑒于此，算法設計者本身的道德素養(yǎng)與能力能否使其編寫的算法保持客觀性的同時，又能符合國家或行業(yè)的法律規(guī)范，這是一件值得商榷的事情。

其次，機器自我學習造成的算法歧視。梁正在談及算法治理相關問題時指出，“從技術特性方面看，機器學習目前還是一個‘黑箱’過程，在透明性和可解釋性上仍存在問題”[20]。相比于白箱和灰箱，黑箱下的算法更具復雜性[21]，這意味著面對日益復雜的智能教育算法做出的決策，我們無法給出合理的解釋，也就無法預測和控制智能教育系統(tǒng)做出的決策，從而可能在應用算法模型的過程中產(chǎn)生不公平現(xiàn)象。

再次，因果的偏差?！敖逃鳛橐豁棯毺囟謴碗s的人類社會活動，以培養(yǎng)人為根本目的，不僅要知其然，更要知其所以然”[22]。這一論點固然正確，但由于教學過程是充分發(fā)揮學生與教師主觀能動性的過程，在算法模型中過分強調(diào)因果關系只會使“相關即意味著因果”的謬論出現(xiàn)[23]。以美國的教師增值評價模型(Value-added Model，VAM)為例，該模型將學生成績的進步程度作為衡量教師教學活動是否有效的標準，在優(yōu)秀教師謝里·萊德曼(Sheri Lederman)的指導下，學生在第一年的成績十分優(yōu)異，這使得學生在第二年成績再次進步的可能性微乎其微，因此模型為她在兩個學年內(nèi)的教育教學工作貼上了“無效”的標簽，從而使其面臨著被開除的風險[24]。概言之，在智能教育產(chǎn)品中簡單的嵌入“成績進步程度=教學效果”因果關系的算法，只會使得算法歧視的現(xiàn)象更為嚴重[25]。

2.功能性問題：交互式?jīng)Q策的危機

人機協(xié)同的智能教育正推動著教育模式不斷變革，智能教育在線平臺的出現(xiàn)為學習者提供了適合其自身特點的個性化教學模式，使得學習者由傳統(tǒng)教育模式下的被動接受者逐步轉變?yōu)橹鲃訁⑴c者，同時也幫助教師精確地制定“因材施教式的教學方案”等。然而，目前的人工智能在教育領域的應用過于突出技術性，忽略了人本身的能動性與主體性，從而導致交互式?jīng)Q策的偏差性并產(chǎn)生算法歧視現(xiàn)象。交互式?jīng)Q策的偏差性通常來自于有決策呈現(xiàn)的偏差、用戶有偏差的行為以及有偏差的反饋[26]。

首先，決策呈現(xiàn)的偏差。在給定相同的數(shù)據(jù)集與算法模型的前提下，智能教育系統(tǒng)給出決策結果的方式不同，也會導致使用者做出的決策不同。Holstein等學者提出，如果智能教育系統(tǒng)給出的結果對教師對學生個人能力和成長潛力的現(xiàn)有看法提出質疑(產(chǎn)生碰撞)，那么該系統(tǒng)有可能推動教師做出更公平的決策；與之相反，如果智能教育系統(tǒng)給出的結果傾向于認可教師現(xiàn)有的觀念，且教師的觀念本身存在歧視，那么該智能系統(tǒng)就會維持甚至加劇的不公平的現(xiàn)象[27]。

其次，用戶反饋的偏差。這種偏差主要產(chǎn)生于需要從與用戶進行互動的過程中從而進行學習的算法中。在交互式智能系統(tǒng)的運行過程中，算法無法決定保留或舍棄哪些數(shù)據(jù)，而是只能使用用戶的所有數(shù)據(jù)(無論好壞)并將其作為基礎從而做出決策，同時，產(chǎn)生歧視決策的算法在得到用戶行為的反饋后，會讓上一次生成的偏差結果作為下一次的輸入。即算法決策是在用“過去預測未來”，過去存在的歧視與偏差可能會在算法中得到鞏固，并有可能在未來得到加強，從而形成如圖1所示的“歧視性反饋循環(huán)鏈”(Feedback Loops)。例如，2016年微軟開發(fā)Tay聊天機器人，旨在Twitter上與千禧一代進行對話，然而僅在試用24小時后，Tay便被灌輸有關種族滅絕的概念而發(fā)表過激言論，從而被停用。這說明人工智能的自動化決策過程在與人類進行相互交互的過程中，人類的反饋發(fā)揮著關鍵作用，只有當確保我們的社會關系變得越來越自動化時，偏見與歧視才不會無形地“引導”著人工智能誤入歧途。

圖1 交互決策的循環(huán)過程

四、算法歧視的治理策略

智能教育系統(tǒng)的每個發(fā)展環(huán)節(jié)都需要關注算法歧視問題，系統(tǒng)設計、數(shù)據(jù)采集、算法模型訓練、智能教育系統(tǒng)應用落地都須嚴格把關。社會、企業(yè)、學校、教師和學生等主體應當共同參與智能教育的算法歧視治理，攜手推動人工智能安全、可控、可靠的發(fā)展。

(一)多主體共同參與

教育公平是社會公平在教育領域的直接體現(xiàn)，社會、企業(yè)、師生三者需協(xié)同守護教育公平的底線。具體策略如下：

首先，以社會實驗的新路徑來研究算法歧視在教育領域的負面影響。社會實驗(Social Experiment) 作為一種檢驗特定政治、經(jīng)濟、科技因素被引入真實社會情境所產(chǎn)生效應的經(jīng)典方法論，為持續(xù)跟蹤和分析人工智能等新興技術的社會影響，探究智能化時代的社會發(fā)展規(guī)律提供了可以借鑒的研究路徑。因此，監(jiān)管機構應當協(xié)同智能教育研究人員提前關注潛在的算法歧視問題，基于智能教育社會實驗框架體系，聚焦智能教育的核心要素和產(chǎn)生的社會影響，在人工智能尚未對人類社會造成大規(guī)模不可逆影響的情況下，提前關注技術應用可能引致的算法歧視等各類問題[28]，有的放矢地針對算法歧視產(chǎn)生的原因加以分析改善，及時修復智能教育中存在的各類問題。

其次，企業(yè)應當預估算法歧視的負面影響?？紤]到人工智能技術對教育領域可能產(chǎn)生沖擊與挑戰(zhàn)，相關從事人工智能技術開發(fā)與應用的企業(yè)也應當樹立風險意識，從全局把控并做出整體性部署，預估可能存在的算法歧視。同時，企業(yè)應當重點提升開發(fā)團隊的教育理解力與教培素養(yǎng)，使其正確認識教育行業(yè)。如果技術人員對教育教學活動本身的理解不足，缺乏情境體驗和背景知識，就很可能基于片面甚至錯誤的教育認識從而在智能教育開發(fā)過程中嵌入主觀偏見，導致算法模型與教育教學實踐活動的脫節(jié)[29]。基于此，企業(yè)應當定期組織面向開發(fā)團隊的教育領域的培訓活動，培養(yǎng)從業(yè)者對于教育教學活動的正確認知。

再次，師生應當參與智能教育系統(tǒng)的設計環(huán)節(jié)。由于師生是智能教育系統(tǒng)的直接接觸者，智能教育系統(tǒng)的設計應當有教師與學生的參與，設計團隊與企業(yè)應積極聽取教師與學生的意見，以師生的需求建立智能教育系統(tǒng)，并在其反饋上進行修改。例如，針對特殊群體的訴求，企業(yè)應當給予關注與調(diào)研，通過問卷、訪談、課堂觀察等方式洞察用戶行為，建立起鮮明的、動態(tài)的師生用戶畫像，并在此基礎上推進研發(fā)進程[30]。

最后，社會、企業(yè)、師生作為算法的監(jiān)督者、設計者和參與者對算法倫理底線應有準確的認知。Jobin等學者統(tǒng)計出了11個最重要的人工智能倫理原則，包含透明、公正、尊嚴等[31]，而智能教育場景下的人工智能倫理原則應當與之類似，并更多側重于教育層面的實踐，為教育主體制定倫理約束。社會作為監(jiān)督者應堅持對算法倫理底線的寸土不讓，企業(yè)作為設計者應銘記算法倫理底線不可逾越，師生作為參與者應牢記算法倫理底線對自身的保護。多主體綜合考量，相互協(xié)助，監(jiān)督并保護算法倫理底線才能讓教育算法健康發(fā)展。

(二)構建多元評價標準

當前，學界圍繞智能教育場景中學生綜合素質評價的困境與難題，已提出構建理論與技術雙向驅動的學生綜合素養(yǎng)評價新范式，建立從理論到技術的“自上而下”和從技術到理論的“自下而上”的雙向驅動機制[32]，這為智能時代的學生評價標準的完善和實施提供了方向和路徑上的指導。針對智能算法“選擇性”的數(shù)據(jù)收集系統(tǒng)[33]、“不透明”的算法模型、“有偏差”的交互模式，導致片面反映學生的學習情況、模糊學習評價過程，以及忽視學生綜合素養(yǎng)等問題，應當突破固有的單一評價體系，構建多主體多維度的多元評價標準，以滿足學生多元發(fā)展需求，規(guī)避算法歧視的潛在風險，其具體措施如下：

其一，應當構建面向“教師、學生、家長”的多主體評價體系。由于智能教育系統(tǒng)的評價過程可能存在偏差，因此，評價結果應當由教師、學生、家長以及智能教育系統(tǒng)共同產(chǎn)生。教師作為課程的主要評價者，應當合理使用智能教育系統(tǒng)給出的評價結果，結合學生實際情況給出教師評價；學生主體作為評價的參與者，應當在教師的指導與智能教育系統(tǒng)的輔助下，開展自我評價；家長作為師生的合作者，參與評價可以更好地了解學生學習情況，給出客觀評價。

其二，應當建立學習、體育、藝術等多維度的綜合性評價體系。智能教育系統(tǒng)往往只關注學生的學習過程與結果，忽視了學生在體育與藝術等方面的發(fā)展情況，以偏概全給出評價。因此，評價者應當注重評價的全面性，在使用智能教育系統(tǒng)評價的基礎上，額外考慮學生思維、情感態(tài)度價值觀等不易考量的綜合素養(yǎng)以及體育、藝術等非基礎學科能力，給出全面綜合的學習評價。

(三)技術賦能算法治理

根據(jù)算法歧視出現(xiàn)的不同時間維度，將解決算法歧視問題的治理方案分為事前治理、事中治理與事后治理。其中，事前是指算法模型訓練之前，收集數(shù)據(jù)及數(shù)據(jù)處理的階段；事中是指接受數(shù)據(jù)后，利用數(shù)據(jù)訓練模型并生成模型的階段[34]；事后是指算法模型應用到實際教學過程的階段。具體的治理方案如圖2所示。

圖2 算法治理方案概念圖

1.事前治理：加強數(shù)據(jù)歧視檢測

其一，加強學生個人隱私保護，審慎處理學生的敏感信息。由于人工智能的特殊性，學生隱私保護并非易事。一方面，企業(yè)對數(shù)據(jù)的需求非常龐大，人工智能對數(shù)據(jù)存在很強的依賴性，數(shù)據(jù)的質量直接影響訓練算法的質量[35]；另一方面，平臺組織有著高度的信息集中度，其掌握的數(shù)據(jù)遠遠超過了政府組織的傳統(tǒng)統(tǒng)計數(shù)據(jù)，數(shù)據(jù)是否被合理采集成為未知[36]。因此，學生的隱私應當在采集階段予以保護，敏感信息的使用應當更加慎重，例如在學校收集學生的數(shù)據(jù)時，學生應被告知數(shù)據(jù)采集的范圍，并有權利查詢自己被采集的數(shù)據(jù)，了解數(shù)據(jù)(尤其是敏感數(shù)據(jù))被使用的過程，明確智能教育系統(tǒng)使用哪些數(shù)據(jù)做出決策，并且有渠道反饋如數(shù)據(jù)濫用等問題。

其二，加強隱藏性數(shù)據(jù)歧視的檢測。智能教育的數(shù)據(jù)應當進行“高質量”治理。圍繞數(shù)據(jù)歧視的隱藏性問題，不妨利用技術手段來檢查訓練算法模型的數(shù)據(jù)集是否存在樣本不平衡、群體涵蓋不充分、敏感數(shù)據(jù)導致算法歧視等問題。例如，Kamishima等學者指出可以使用低估指數(shù)(Underestimation Index)作為識別數(shù)據(jù)集是否存在代表性不足的重要指標；歸一化互信息(Normalized Mutual Information)作為檢測數(shù)據(jù)集是否平衡的指標，有針對性地識別間接的算法歧視[37]。一旦檢測到教育大數(shù)據(jù)存在歧視的傾向，應當以數(shù)據(jù)清洗、數(shù)據(jù)刪除甚至是數(shù)據(jù)重新采集等方法加以干預，保證數(shù)據(jù)集的公正性、多元性、充分性、合理性。因此，監(jiān)管機構應當前瞻性地關注智能教育中潛在的算法歧視問題，對可預見的算法歧視加以防范。

2.事中治理：建立可解釋、可審查的算法優(yōu)化機制

事中治理強調(diào)在算法模型訓練過程中運用技術手段和審查機制來遏制算法歧視，具體措施有以下兩點：

其一，利用技術手段實現(xiàn)算法的部分公開透明。算法的不透明性往往來源于算法過程的復雜性與多樣性，無法探究其運行邏輯與執(zhí)行規(guī)律，從而使得算法決策結果不可解釋。對于算法過度設計而引發(fā)的“黑箱”問題，可以利用技術手段得到改善。即使用技術將算法運行背后的邏輯以人類可以看懂、理解的方式進行可視化描繪，便于社會公眾打消對算法的疑慮。例如 2018 年 3 月 ，谷歌大腦團隊的克里斯·歐拉(Chris Olah)公布了一項題為“可解釋性的基礎構件”的研究成果，該成果解決了神經(jīng)網(wǎng)絡這種最令人難以捉摸的算法的可視化問題，簡化了相關信息，使算法的工作狀態(tài)回到了“人類尺度”， 能夠被普通人看懂和理解[38]。所以，智能教育也應當嘗試將智能教育決策進行可視化、自動化的處理以增加系統(tǒng)的可信度。

其二，利用審查機制進行算法歧視的責任追究。由于算法開發(fā)者、設計者自身的倫理道德水平與技術水平參差不齊，算法模型會因有些人的利益訴求或技術水平不足而產(chǎn)生算法歧視現(xiàn)象。因此，企業(yè)應當確立算法歧視的責任追究體系，在算法開發(fā)階段以審查制的方式對算法模型進行檢測，審查是否出現(xiàn)算法歧視的問題，并對出現(xiàn)的問題進行責任追究，從而使算法開發(fā)者與設計者以更公正的視角進行算法模型的開發(fā)與設計，確保算法模型的公平公正。

3.事后治理：堅持學生在教育教學活動中的主體性

事后治理強調(diào)在實際教學過程中充分發(fā)揮師生的主觀能動性，讓師生以更合理的方式來使用算法結果，避免潛在的算法歧視風險，其具體措施有以下三點：

其一，適應課堂身份的轉變，推進教學活動內(nèi)容的改革。隨著人工智能、大數(shù)據(jù)等新型信息技術的發(fā)展，促進教育行業(yè)由“以教師為核心”轉變?yōu)椤耙詫W習者為中心”，教師的角色從“知識的傳授者”轉變?yōu)椤罢n程的設計者”，這一過程中教師由于對技術的理解不深入，使其難以避免過度依賴人工智能技術。因此，教師應促進教學方式和教學內(nèi)容的改革、發(fā)揮好人的主觀能動性，始終保持對智能教育系統(tǒng)的警惕與懷疑；同時學校應當開展面向師生的人工智能素養(yǎng)教育課程，引導師生不盲目依賴人工智能技術，保有自己的思考力與判斷力。

其二，審慎使用智能教育系統(tǒng)，推進人機協(xié)同的“雙師課堂”。智能教育系統(tǒng)往往會以評分等形式對學習者的“學習能力”加以評判[39]，而忽略學習者獨特的學習潛力、個人特質、興趣愛好等，從而導致學習者被數(shù)字化、機械化，違反了教育本身的目的。為此，應當推動人工智能技術回歸輔助工具的身份，客觀公正的看待智能教育系統(tǒng)給出的決策，如下頁圖3所示，教師面對智能教育系統(tǒng)給出的決策結果應當判斷其是否具有可解釋性：若結果可解釋，則審核決策結果的具體內(nèi)容，決定是否全盤接受決策結果或經(jīng)過修訂后接收算法結果；若結果不可解釋，教師可要求相關人員檢測算法系統(tǒng)。同時，我們也應當遵循“以人為本”的原則以及人才成長規(guī)律，提升學生的創(chuàng)新能力、思維能力以及批判能力；注重發(fā)揮教師在教育教學中人格塑造、情感交互等引導性作用，以此來推動學生全面健康的發(fā)展。

圖3 交互式?jīng)Q策結果的合理使用示意

其三，支持學生個性化發(fā)展，推進教育教學適性化。教育教學適性化是指規(guī)?；c個性化的統(tǒng)一[40]。傳統(tǒng)的教學方式是以班級為單位進行授課，因此，如何在規(guī)?；慕虒W過程中穿插個性化的定制智能教學、避免單一的算法模型對部分“特殊群體”造成歧視，是保證智能教育公正的關鍵環(huán)節(jié)。為此，課程設計應當建立以智能、個性、精準為核心的一體化基礎教育數(shù)字資源服務體系[41]，留有相應課時來滿足學生個性化的教育需求，以學生知識掌握的熟練度為向導，保證學生在規(guī)模化課程教學中接收通識教育的同時，擁有靈活自由的選擇感興趣課程的權利。

五、結語

人工智能技術不斷更新、重塑著教育生態(tài)，并為教育公平帶來了新的挑戰(zhàn)與機遇。一方面，新一代信息技術的出現(xiàn)和教育理念的革新使得“互聯(lián)網(wǎng)+教育”模式的重要性日益凸顯，人工智能算法極大提高了教育生產(chǎn)力、教師的工作效率以及工作能力；另一方面，由于智能教育算法的廣泛應用，隱蔽于其中的算法歧視逐漸發(fā)展為一個顯著的問題，不可避免的破壞了教育公平。因此，在享受當下智能時代的“紅利”同時，也應批判性地探究智能教育發(fā)展中面臨的問題與挑戰(zhàn)，合理的做到防患于未然。

本文從社會條件和技術路徑兩大角度出發(fā)，梳理了智能教育環(huán)境下算法歧視的潛在風險、具體成因和治理策略。社會、企業(yè)、學校等主體應當共同參與智能教育的算法歧視治理，攜手推動人工智能安全、可控、可靠的發(fā)展，包括：監(jiān)管機構應當前瞻性地關注智能教育中潛在的算法歧視問題，對可預見的算法歧視加以防范；開發(fā)者應當重視智能教育中算法歧視的危害性，針對成因給出相應的解決方案；學校與師生應當明確“以人為本”的基本原則，推動智能教育系統(tǒng)回歸教學輔助性工具的職能?？傊?，智能教育對于教育公平的發(fā)展利大于弊，社會、開發(fā)團隊、師生應當始終把握底線，構建多元評價標準，最大程度地發(fā)揮智能教育的有益作用，助力教育公平穩(wěn)步前行。