AI的對齊

最近幾天，各網(wǎng)絡(luò)平臺都被“中專女生姜萍在阿里數(shù)學競賽初賽中取得全球12名的好成績”刷屏，而姜萍也被人們冠以“天才少女”的名號。

但是很快，風向開始反轉(zhuǎn)，從板書錯誤到比賽作弊，質(zhì)疑的聲音不斷出現(xiàn)，造神演變?yōu)闅?。然而拿這件事去問AI，AI的回答卻中規(guī)中矩，表達了欽佩和鼓勵以及公正客觀的評價，仿佛一位三觀很正的智者。尤其是，AI還提到了教育多樣性和包容性。

在網(wǎng)絡(luò)熱點事件中，AI為什么會比常人更為理性、更切合主流價值觀呢？

人工智能的發(fā)展和進步一直暗藏著對人類的威脅，無論是技術(shù)上還是倫理上，一旦失控都會造成災難性的后果，因此，人們對AI的發(fā)展進化也總是小心翼翼。尤其對于機器學習而言，它究竟會“學習”到什么樣的結(jié)論和過程，學到的東西是“正確”還是“錯誤”的，在大模型的訓練中，如何保證“投喂”的數(shù)據(jù)是可靠的，如何標注和剔除有問題的數(shù)據(jù)，如何讓AI的價值觀與人類保持一致，這些都是人工智能研究必須考慮的。

大模型訓練的結(jié)果的對與錯，是以人類的價值觀為導向的。AI的決策和行為是否與人類的價值觀相符？或者說，如何讓AI系統(tǒng)的目標和人類的價值觀與利益保持一致，即保持“價值對齊”？這也成為一個現(xiàn)實問題。

人工智能大模型的對齊問題，即“AI對齊”（AI alignment），這是一個涉及AI控制與AI安全的關(guān)鍵環(huán)節(jié)。大模型的第一步，就是要跟人類的價值觀對齊。價值觀的對齊意味著AI系統(tǒng)在執(zhí)行任務(wù)時，能夠遵循人類的道德標準和社會規(guī)范，避免造成倫理沖突和道德困境。

AI系統(tǒng)是基于數(shù)據(jù)和算法構(gòu)建的，缺乏人類的直覺、情感和經(jīng)驗，這導致AI在處理某些問題時可能與人類的價值觀存在偏差。例如，在自動駕駛汽車的道德困境中，AI可能無法像人類那樣做出符合道德直覺的決策。

AI遵循的規(guī)范來自機器學習，通過大量學習人類行為，讓AI“搞清楚”人類行為規(guī)則，然后按照規(guī)則來行事。布萊恩·克里斯汀在《人機對齊》一書中寫道：“如何確保這些模型捕捉到我們的規(guī)范和價值觀，理解我們的意思或意圖，最重要的是，以我們想要的方式行事，已成為計算機科學領(lǐng)域最核心、最緊迫的問題之一。”

但是人類并沒有統(tǒng)一的價值觀，人類的主流價值觀也不斷變化。不同的文化、宗教和個人背景也會導致價值觀的差異，AI如何在不同的價值觀之間做出平衡，是一個巨大的挑戰(zhàn)。在構(gòu)建AI系統(tǒng)時，應(yīng)確保使用的數(shù)據(jù)集具有多樣性，以反映不同文化和社會的價值觀。許多價值觀并非絕對清晰，它們可能存在灰色地帶，AI如何理解和處理這些模糊的價值觀，也需要深入研究。價值觀的對齊需要哲學、心理學等多個學科的合作，以全面理解人類價值觀的復雜性。

價值觀與AI對齊是一個復雜但至關(guān)重要的過程，它關(guān)系到AI技術(shù)的健康發(fā)展。在醫(yī)療領(lǐng)域，AI的決策可能涉及生命的優(yōu)先權(quán)問題，通過對齊價值觀，AI可以更好地遵循醫(yī)療倫理，做出符合人類價值觀的決策。社交媒體AI在內(nèi)容推薦時可能會表現(xiàn)出偏見，通過價值觀對齊，可以減少偏見，促進信息的公平傳播。AI系統(tǒng)在實際應(yīng)用中也需要持續(xù)的監(jiān)督和調(diào)整，以確保其行為與人類的價值觀保持一致。

價值觀對齊，可以看作AI頭上的緊箍咒。也許只有等到AI系統(tǒng)能夠在各種復雜環(huán)境下自主推理人類的終極價值目標，那時候，才能實現(xiàn)“超級對齊”。