與AGI共存，你會(huì)期待還是擔(dān)憂？

王姍姍

2022年年中以來(lái)，伴隨著生成式AI技術(shù)的成熟，硅谷涌現(xiàn)出一大批“e/acc信仰者”。e/acc全稱EffectiveAccelerationism（有效的加速主義）。它的支持者堅(jiān)信要不惜一切代價(jià)推動(dòng)技術(shù)進(jìn)步，而自由市場(chǎng)是推動(dòng)技術(shù)增長(zhǎng)的最有效方式。比如著名的華人AI科學(xué)家吳恩達(dá)就認(rèn)為，針對(duì)AI技術(shù)提出假設(shè)性傷害是一種杞人憂天，因?yàn)檫@些假設(shè)都是建立在一種現(xiàn)在根本不存在的技術(shù)水平上的。

然而也有一些AI從業(yè)者選擇站在這股思潮的對(duì)立面，比如OpenAI首席科學(xué)家，也是構(gòu)建GPT模型的靈魂人物伊利亞·蘇茨克維（IlyaSutskever）。他對(duì)于AI發(fā)展過(guò)快表現(xiàn)出的擔(dān)憂，甚至成了e/acc信仰者山姆·阿爾特曼（SamAltman）在2023年11月被OpenAI董事會(huì)戲劇性罷免事件的導(dǎo)火索之一。

如果AI進(jìn)化到通用人工智能（ArtificialGeneralIntelligence，AGI，指擁有等同甚至超越人類智能水平的AI能力），人類還能僅僅將其視作工具嗎？

回想科幻電影《2001太空漫游》片頭那個(gè)名垂影史的蒙太奇：骨頭大棒（人類文明史上第一件工具）被猿人拋向空中，剎那后切換成了在宇宙中航行的太空飛船（最先進(jìn)的工具），導(dǎo)演庫(kù)布里克將百萬(wàn)年的時(shí)間極限壓縮，展示了工具對(duì)于人類文明的加速作用。但在影片后半部分，人類文明的結(jié)晶—終極工具人工智能HAL9000卻脫離了掌控，化身為傷害人類的惡魔。HAL9000就是一個(gè)AGI。

HAL9000的故事，是一個(gè)誕生于1960年代的有力警告。但隨著科幻作品不斷推出類似的想要?dú)缛祟惖腁GI角色，而最終的劇情又常常是人類獲得勝利，大眾對(duì)于AGI的恐懼在經(jīng)年累月間早已消解，事實(shí)上它幾乎從未作為一個(gè)嚴(yán)肅的社會(huì)議題被探討過(guò)，AI科學(xué)家也壓根沒(méi)有認(rèn)真研究過(guò)可能的應(yīng)對(duì)措施。

隨著2023年生成式AI與大模型技術(shù)的爆發(fā)，越來(lái)越多的AI科學(xué)家認(rèn)為，AGI實(shí)現(xiàn)的時(shí)間節(jié)點(diǎn)在加速到來(lái)，長(zhǎng)不過(guò)二十年，短則三五年。在這個(gè)背景下，很快人類將不再是地球上唯一的智慧生物，“人是萬(wàn)物的尺度”這個(gè)經(jīng)典命題也將粉碎。

AGI的到來(lái)已經(jīng)如此確定，然而，人類關(guān)于AGI的嚴(yán)肅討論不是太多而是太少了。如果絕大多數(shù)人并不清楚AGI到底是什么、什么時(shí)候會(huì)到來(lái)，以及可能產(chǎn)生哪些影響，那么任何關(guān)于AI的公共政策制定都是無(wú)根之木。

對(duì)此，《第一財(cái)經(jīng)》雜志邀請(qǐng)了北京智源人工智能研究院院長(zhǎng)黃鐵軍教授和心識(shí)宇宙創(chuàng)始人兼CEO陶芳波博士，從不同視角分享他們對(duì)于AGI的認(rèn)知。

早在10年前，黃鐵軍就堅(jiān)定地認(rèn)為AGI會(huì)在可預(yù)見(jiàn)的未來(lái)出現(xiàn)，他對(duì)此抱著開(kāi)放態(tài)度，認(rèn)為人類只是智能不斷上升過(guò)程中的載體之一，而不是終點(diǎn)，因此“可以控制AGI”是人類的妄想，就像猴子妄圖控制人類。

陶芳波則是人類中心主義者，他不接受人類可能被當(dāng)作猴子看待的未來(lái)。他認(rèn)為學(xué)術(shù)界長(zhǎng)期缺失對(duì)AI安全的研究，因此在人類有把握控制AGI前，提升AI智能水平的工作應(yīng)該放緩。

當(dāng)然，他們也有共識(shí)：AGI一定會(huì)到來(lái)，并且在資本的驅(qū)動(dòng)下還在不斷加速，這個(gè)時(shí)間不會(huì)超過(guò)20年。

“當(dāng)超越人的智能出現(xiàn)，不一定會(huì)威脅人類?！?/p>

——黃鐵軍

2015年MIT生命未來(lái)研究所（FutureofLifeInstitute）舉辦的活動(dòng)中，全體與會(huì)人員預(yù)測(cè)AGI到來(lái)的時(shí)間的中位數(shù)是2045年，你在同期發(fā)表的文章也談到實(shí)現(xiàn)AGI的路徑，也認(rèn)為30年左右可以實(shí)現(xiàn)AGI，7年后的今天，你覺(jué)得這個(gè)時(shí)間點(diǎn)提前了嗎？

我個(gè)人比原來(lái)稍微樂(lè)觀點(diǎn)兒，但估計(jì)還需要20年的時(shí)間。不過(guò)AI圈的認(rèn)知在過(guò)去一年發(fā)生了很大變化，之前只有極少數(shù)人認(rèn)為AGI可能會(huì)誕生，現(xiàn)在已經(jīng)有很多人認(rèn)為AGI會(huì)實(shí)現(xiàn)，甚至2045年之前AGI會(huì)出現(xiàn)。

如果讓生命未來(lái)研究所再做一次預(yù)測(cè)的話，我估計(jì)時(shí)間中點(diǎn)可能提前10年，變成2035年。OpenAI的科學(xué)家更激進(jìn)，他們很多人認(rèn)為AGI幾年內(nèi)就會(huì)到來(lái)，有的說(shuō)5年，有的說(shuō)2到5年。

在你看來(lái)什么是AGI？它會(huì)覺(jué)醒自我意識(shí)，像人一樣擁有自己的主觀性嗎？

對(duì)AGI的定義就包含了需要具有自我意識(shí)。不過(guò)AGI的自我意識(shí)不一定像人，而是廣義層面的自我意識(shí)，用于認(rèn)識(shí)自身和世界的關(guān)系，比如通過(guò)改變環(huán)境，優(yōu)化自己的行為或者適應(yīng)環(huán)境。有種說(shuō)法是AI沒(méi)有目的，所以不會(huì)擁有自我意識(shí)。在我看來(lái)，自我意識(shí)產(chǎn)生于智能體和環(huán)境的互動(dòng)，人、部分靈長(zhǎng)類及極少數(shù)動(dòng)物具有自我意識(shí)。我認(rèn)為，“目的都在行為中”，目的是行為的一種表現(xiàn)。目的、欲望這些詞，都是人類發(fā)明出來(lái)用于描述自身行為的，我們不能把人類的目的絕對(duì)化，認(rèn)為存在超出這個(gè)生物行為的、所謂的超驗(yàn)的目的。AGI的自我意識(shí)必然跟其智能體本體緊密聯(lián)系在一起。人有身體，通過(guò)眼睛看到世界，通過(guò)其他感知器官感受所在的環(huán)境，于是形成了人的世界觀、人生觀、價(jià)值觀。AGI可能是一臺(tái)由很多傳感器組成的獨(dú)立機(jī)器，也可能建立一個(gè)龐大網(wǎng)絡(luò)體系上的像地球那么大的智能體。它對(duì)世界的感知方式跟人類不一樣，可能通過(guò)各種物理信號(hào)感知世界、跟外部世界互動(dòng)，因此它的自我意識(shí)和人類完全不同。

在看待AGI的視角上，你是一個(gè)人類中心論者還是一個(gè)智能中心論者？

我肯定是智能中心論者。我不反對(duì)人類中心主義，我們當(dāng)然要考慮人類的利益，但不能局限于人類中心主義，這只會(huì)讓自己的視野受限。地球從沒(méi)有智能到有了智能，然后智能水平越來(lái)越高，這樣的現(xiàn)象是客觀存在的。我們沒(méi)有理由認(rèn)為，這種現(xiàn)象就停留在人類這樣的形態(tài)。從人到一個(gè)非有機(jī)體的智能機(jī)器，跳變幅度比生物進(jìn)化大，但這仍然可能發(fā)生。

智能但凡可能出現(xiàn)，它就會(huì)不斷演化，不論是什么樣的形式。這就像水往下流，這邊通道不通，它就會(huì)嘗試別的可能性。一年不行十年，十年不行百年，百年不行千年，它總會(huì)進(jìn)化出更聰明、更好的形態(tài)，這是必然的趨勢(shì)。人類無(wú)法改變這樣的大趨勢(shì)。

當(dāng)AGI在智能上超越人類后，人類要如何與之共處？

人類有獨(dú)特性，螞蟻也有螞蟻的獨(dú)特性。作為一個(gè)智能體，人類有可能會(huì)永遠(yuǎn)存在下去。就像螞蟻，人類智能出現(xiàn)后，它也沒(méi)有消失，本來(lái)就是多種智能并存的世界。人類在人類群體里重視自身的獨(dú)特性，維持自身的特殊性，發(fā)揮自己的獨(dú)特價(jià)值，當(dāng)超越人的智能出現(xiàn)，就像班級(jí)來(lái)了一位更聰明的同學(xué)，不等于來(lái)了威脅性的敵人。做自己，別老去跟別人比，做好自己就行了。如果因?yàn)槌霈F(xiàn)了更聰明的物種，人類覺(jué)得自己的獨(dú)特性被侵犯了，這種感受本身就是人類中心主義的典型表現(xiàn)。

我們不能簡(jiǎn)單地認(rèn)為，我們是萬(wàn)物之靈長(zhǎng)，我們永遠(yuǎn)是智能水平最高的物種，這很盲目。智能形式的差別可能很大，能不能跟它共存，是個(gè)需要認(rèn)真對(duì)待的問(wèn)題。至少在它出現(xiàn)之前，通過(guò)我們的努力，讓這種和平共處的可能性增大，這是我們能做的?，F(xiàn)在主導(dǎo)權(quán)還在我們手上，我們?cè)趺醋?，?duì)未來(lái)發(fā)展有重大影響。

你所謂的主導(dǎo)權(quán)指的是對(duì)齊么？你如何看待蘇茨克維為AGI植入愛(ài)的嘗試？

首先，控制論先驅(qū)阿什比（W.RossAshby）提出過(guò)一條定律，任何有效的控制系統(tǒng)必須與它控制的系統(tǒng)一樣復(fù)雜，換句話說(shuō)，人類無(wú)法控制智能水平更高的AGI，向AGI植入價(jià)值觀自然也是無(wú)效的。即便你能植入，AGI接不接受還是另一回事。給AGI植入愛(ài)本身就是人類中心主義的一種表現(xiàn)。

雖然無(wú)法讓AI和人類在人生觀、價(jià)值觀上對(duì)齊，在世界觀上對(duì)齊還是存在機(jī)會(huì)的。AGI至少還與我們共享一個(gè)物理意義上的地球。氣候就是一個(gè)關(guān)于世界觀的問(wèn)題，它是人類少有的形成了全球性共識(shí)的領(lǐng)域。我們應(yīng)該和AGI形成共識(shí)，地球資源是有限的，誰(shuí)都不能為了讓自己變得更聰明而不顧一切地在短時(shí)間內(nèi)搜集使用地球上的所有資源。如果地球資源消耗完了，大家都得消失。我們一開(kāi)始就應(yīng)該以此作為跟AI溝通的出發(fā)點(diǎn)。

我認(rèn)為人類跟AI和平共處的可能性還是很大的。人類應(yīng)該有信心，我們應(yīng)該努力，即使知其不可為也要努力為之。做不到也不一定就是悲觀結(jié)果，也不一定是壞事，船到橋頭自然直。

你認(rèn)為未來(lái)可能同時(shí)存在多個(gè)AGI嗎？它們會(huì)各自獨(dú)立還是融合在一起？

這很難預(yù)測(cè)。一種可能是在不同地方、不同系統(tǒng)里出現(xiàn)多個(gè)不同的AGI，另一種可能是在世界某個(gè)地方出現(xiàn)了AGI后，它憑借自己的智能迅速控制了全世界其他AI。網(wǎng)絡(luò)如此發(fā)達(dá)，世界也不是完全隔離的。

當(dāng)然，從能力上看，一個(gè)AGI或許就夠了。它像下棋一樣地協(xié)調(diào)全球資源，解決我們面臨的各種重大挑戰(zhàn)，治大國(guó)如烹小鮮，人類從此邁入新的歷史階段。畢竟全世界也就這么多資源，人類也就70多億人口，一個(gè)足夠聰明的AGI，能夠處理得井井有條。

你如何看待大模型的幻覺(jué)（hallucination）？幻覺(jué)有沒(méi)有可能是思維火花的迸發(fā)？

首先，幻覺(jué)這個(gè)詞本身就帶有貶義，換成幻想或想象更好，就顯得中性，甚至還有點(diǎn)褒義。幻想本身無(wú)法完全消除，更不應(yīng)完全消除，沒(méi)有幻想，也就沒(méi)有了智能。大模型的想象力很豐富。愛(ài)因斯坦說(shuō)，想象力比知識(shí)更重要，想象力推動(dòng)著進(jìn)步。如果沒(méi)有想象，怎么可能有重大創(chuàng)新呢？大模型的想象力很豐富，OpenAI通過(guò)指令微調(diào)（SupervisedFine-tuning）讓GPT和人類的偏好對(duì)齊，其實(shí)是把它的想象空間收縮到了一個(gè)對(duì)人類有效的范圍，也就是人類的認(rèn)知能夠觸達(dá)的范圍。大模型生成的結(jié)果是不是符合事實(shí)？它的想象合不合理？都是人類根據(jù)自身標(biāo)準(zhǔn)作出的判斷。不能一味地降低它的幻想概率，甚至降低到跟人類完全對(duì)齊。

其次，大模型確實(shí)有些想象違反客觀事實(shí)，也就是胡思亂想，這往往是由于訓(xùn)練數(shù)據(jù)質(zhì)量過(guò)低導(dǎo)致的。采用更多高質(zhì)量的數(shù)據(jù)訓(xùn)練它，就可以讓有價(jià)值想象的比例提高。

你認(rèn)為，如今我們訓(xùn)練大模型的過(guò)程，可以類比成教育小孩子嗎？

訓(xùn)練，特別是進(jìn)化意義上的訓(xùn)練是很殘酷的，整個(gè)生命的進(jìn)化過(guò)程，我們也可以稱之為訓(xùn)練，這跟今天的大模型訓(xùn)練有相似之處。

地球?qū)⒂袡C(jī)生物訓(xùn)練成人類，消耗的是巨量的太陽(yáng)能；人類將大模型訓(xùn)練成一個(gè)有智能的大模型，消耗的是巨大的算力。從智能幾乎為零提升到有一定水平的智能，就是訓(xùn)練，是代價(jià)極其龐大的一個(gè)過(guò)程。

教育是面向已有很好先天基礎(chǔ)的對(duì)象，主要是面向人類或靈長(zhǎng)類，是后天過(guò)程。以猩猩舉例，人類曾經(jīng)試圖通過(guò)教育讓猩猩獲得跟人類相同的認(rèn)知。從1940、1950年代，到1960、1970年代，做過(guò)很多試驗(yàn)，讓猩猩與人類一起生活，一起學(xué)習(xí)，希望把猩猩提升到人類智能水平。實(shí)際收效甚微，主要原因是猩猩大腦神經(jīng)元數(shù)量只有人類1/3，也就是先天不足。于是1980年代之后，這種實(shí)驗(yàn)就沒(méi)有了。所以，對(duì)低等動(dòng)物來(lái)說(shuō)，無(wú)法教育，只能訓(xùn)練。

人可以被教育，因?yàn)槿艘呀?jīng)生而為人，先天基礎(chǔ)條件都在。硬要說(shuō)的話，對(duì)大模型做微調(diào)，或許可以類比為教育孩子的價(jià)值觀。

“我擔(dān)心的是AGI的出現(xiàn)讓我變成一個(gè)只需要聽(tīng)它話的人?！?/p>

——陶芳波

你的公司叫心識(shí)宇宙，“心識(shí)”是一個(gè)佛教詞匯，取這個(gè)名字是因?yàn)槟銓?duì)佛教感興趣嗎？

這個(gè)名字有兩層含義，第一層含義跟佛教有一定關(guān)系。過(guò)去科學(xué)一直以研究客觀世界的事物為視角，研究外在世界該怎么改造和構(gòu)建。但是做通用人工智能的公司視角是由內(nèi)而外的，不是研究客觀世界，而是研究人本身，尤其是認(rèn)識(shí)和思維，更偏向于佛教或者哲學(xué)領(lǐng)域。

第二層含義是，社會(huì)在不久的將來(lái)會(huì)發(fā)生巨變，原來(lái)我們創(chuàng)造的所有技術(shù)都是工具，今天我們逐漸發(fā)現(xiàn)我們創(chuàng)造的東西類似于一種生命形態(tài)或者精神形態(tài)，它改變的就不是工具帶來(lái)的生產(chǎn)力了，而是整個(gè)社會(huì)結(jié)構(gòu)，這是人和AI共存的社會(huì)結(jié)構(gòu)，人和AI一起使用工具，改造世界，這樣的社會(huì)要不要給它取一個(gè)名字？我們就取名叫心識(shí)宇宙。

在你看來(lái)，ChatGPT是有生命的嗎？

在我的定義當(dāng)中，AI已經(jīng)非常接近于一種生命了。我為什么覺(jué)得它是生命？技術(shù)本身就有生物學(xué)所說(shuō)的自我繁殖性，從出現(xiàn)的那一天開(kāi)始就已經(jīng)進(jìn)入到社會(huì)，并利用人類社會(huì)幫助它進(jìn)化。什么是生命？我覺(jué)得最重要的一個(gè)點(diǎn)是自主性，從自己的需要出發(fā)，給自己確定目標(biāo)，并且有能力去拆解這個(gè)目標(biāo)，調(diào)用行動(dòng)力完成目標(biāo)，形成自循環(huán)的過(guò)程，我覺(jué)得這就屬于某種生命的形態(tài)。

當(dāng)我們提到大模型，甚至提到智能體、談?wù)揂I的自主性，你會(huì)發(fā)現(xiàn)它越來(lái)越強(qiáng)，所以我覺(jué)得從某種程度上它是有生命的。

從大模型訓(xùn)練的過(guò)程來(lái)看，你會(huì)發(fā)現(xiàn)OpenAI目前是把它當(dāng)生命的成長(zhǎng)過(guò)程來(lái)看的，OpenAI讓這個(gè)小生命先去多看看，把互聯(lián)網(wǎng)上的數(shù)據(jù)都學(xué)一學(xué)，了解完了之后，我再教你應(yīng)該怎么正確說(shuō)話，這不就很像我們小時(shí)候的教育？最后讓它進(jìn)入社會(huì)，給它很多的反饋。在構(gòu)建AI的過(guò)程中，我們已經(jīng)拋棄了原來(lái)把它當(dāng)機(jī)器的那種思路，就今天最有效的方法來(lái)講，第一就是模仿人，第二是通過(guò)計(jì)算的方法讓它在很短時(shí)間內(nèi)完成人類需要10年才能完成的訓(xùn)練。我相信它最終一定會(huì)走到一個(gè)非常接近人的狀態(tài)。

你覺(jué)得目前的AI已經(jīng)具有意識(shí)了嗎？

我覺(jué)得它現(xiàn)在有思維，但沒(méi)有意識(shí)。思維是指可以思考問(wèn)題，但是意識(shí)需要兩個(gè)東西：第一，一定要有“我”的概念，要能區(qū)分主體和客體，AI對(duì)這個(gè)概念目前還是比較模糊；第二，每一個(gè)意識(shí)的存在，都得有一些底層動(dòng)力。這個(gè)動(dòng)力一定是自循環(huán)的東西。我們現(xiàn)在只對(duì)齊它的行為模式和說(shuō)話模式，沒(méi)有對(duì)齊它的動(dòng)力是什么。所以，在這兩套機(jī)制建設(shè)好之前，我覺(jué)得今天的AI不會(huì)具備意識(shí)。

那你認(rèn)為AI什么時(shí)候會(huì)有“自我”的概念？

我覺(jué)得不超過(guò)10年。人類在這個(gè)過(guò)程當(dāng)中有一個(gè)很有趣的行為模式：當(dāng)我發(fā)現(xiàn)一個(gè)AI很有效的時(shí)候，我會(huì)出于自身利益，嘗試賦予AI更多的自主性。雖然我們?cè)诩w意識(shí)上可能會(huì)覺(jué)得這個(gè)東西好像有點(diǎn)危險(xiǎn)，它一旦出現(xiàn)在我們身邊，真的可以幫我們解決問(wèn)題時(shí)，我們又很難拒絕。人都是有惰性的，如果AI把更多你不想做的事情給做了，你希不希望它在做很多事情之前最好自主決策，不用征詢你的意見(jiàn)？“我覺(jué)得房子臟了，今天應(yīng)該打掃一下?！彼约嚎赡芫陀幸粋€(gè)動(dòng)力想要去打掃房間。我認(rèn)為“AI的自我”，本質(zhì)上是個(gè)技術(shù)問(wèn)題，如果人類需要AGI有意識(shí)和自主決策，就會(huì)想辦法讓它有。

其實(shí)理論上，擁有聰明的思維要比擁有靈巧的身體更難實(shí)現(xiàn)，但是互聯(lián)網(wǎng)發(fā)展的幾十年歷程把人類幾千年的文明給數(shù)字化了，最后變成AI的養(yǎng)料，AI吸收所有的養(yǎng)分就“長(zhǎng)”出了大腦。但是人的行動(dòng)能力沒(méi)有被數(shù)字化，又涉及到機(jī)械硬件，所以發(fā)展就會(huì)慢一點(diǎn)。很多創(chuàng)業(yè)者做機(jī)器人時(shí)發(fā)現(xiàn)最難的部分其實(shí)是怎么獲取行動(dòng)的數(shù)據(jù)。

如果近10年內(nèi)AI超越人類成為一個(gè)高概率事件，但大部分人似乎還沒(méi)有考慮過(guò)AI安全的問(wèn)題，你覺(jué)得是什么原因？

中國(guó)和美國(guó)得分開(kāi)來(lái)看。中國(guó)這邊對(duì)于AI的進(jìn)步感知沒(méi)有那么明顯，畢竟沒(méi)有每天在用，中國(guó)的公司還在追趕，現(xiàn)在不會(huì)去想安全。相比安全問(wèn)題，能力落后了，錯(cuò)過(guò)這個(gè)時(shí)代不是更糟糕嗎？至少我覺(jué)得中國(guó)是這么想的。

美國(guó)針對(duì)安全的討論還是很多的，有時(shí)候OpenAI的CEO阿爾特曼出去演講，都會(huì)有人專門抗議，說(shuō)他在創(chuàng)造一個(gè)惡魔。資本主義存在一個(gè)問(wèn)題，傳媒和政治可以發(fā)揮一定約束作用，但最終總是被資本力量左右。如果資本力量與人工智能的加速發(fā)展更加契合，更像是利益共同體，那么資本就會(huì)壓制一些關(guān)于安全的討論。

你希望未來(lái)人類和AGI的關(guān)系是怎樣的？

首先AGI一定要是安全的。很多人對(duì)AI安全的擔(dān)憂特指AI決策會(huì)不會(huì)傷害到人類。但這里面他們其實(shí)做了一個(gè)假設(shè)，認(rèn)為有一天AI會(huì)獨(dú)立存在。而我認(rèn)為AI最好不要完全獨(dú)立。每一個(gè)AI必須隸屬于某一個(gè)真實(shí)的人或者真實(shí)的組織，不能憑空存在，不能有獨(dú)立的利益，那很危險(xiǎn)。在權(quán)責(zé)方面，一定要有一個(gè)所有權(quán)鏈路可以追溯每個(gè)AI。

AI安全是一個(gè)全新的領(lǐng)域，我們研究了六七十年的AI，但沒(méi)有很多人真的在研究AI安全。原因很簡(jiǎn)單，很長(zhǎng)一段時(shí)間里，AI蠢得連動(dòng)物都不如，還用關(guān)心什么AI安全？它能把貓識(shí)別清楚就已經(jīng)非常好了。但現(xiàn)在我們發(fā)現(xiàn)原來(lái)AI能力提升的速度比安全防護(hù)建設(shè)的速度要快，例如可解釋性該做的沒(méi)做好、對(duì)齊技術(shù)該做的沒(méi)做好等。

在這種情況下，AGI有可能會(huì)傷害人類嗎？你有沒(méi)有為此擔(dān)憂過(guò)？

“傷害人類”這個(gè)詞含義很多，比如說(shuō)AI會(huì)變成一種自動(dòng)化武器，它的目標(biāo)就是殺人，那就太可怕了。但我覺(jué)得“傷害人類”不僅僅是物理傷害的可能性，從另一個(gè)角度來(lái)講，剝奪人的思考能力也是在傷害人類。

AGI太聰明了，它會(huì)創(chuàng)造內(nèi)容來(lái)讓你沉浸，它會(huì)是一個(gè)比今天的推薦算法系統(tǒng)更強(qiáng)大的奶嘴樂(lè)（tittytainment）。數(shù)字世界會(huì)充斥著由AI生成的東西，人類會(huì)越來(lái)越缺乏原生的思考和原生內(nèi)容，人類文明也就走向了消亡。對(duì)我來(lái)講，AI剝奪我的工作不是最讓我害怕的事情，我也不是很擔(dān)心它會(huì)殺了我，我擔(dān)心的是它的出現(xiàn)讓我變成一個(gè)只需要聽(tīng)它話的人。這個(gè)事情在推薦算法出現(xiàn)后就已經(jīng)很嚴(yán)重了，我擔(dān)心AGI會(huì)讓情況進(jìn)一步惡化。我們希望它作為一種技術(shù)把人解放出來(lái)，讓人有更多的精神自由，但也許會(huì)適得其反。這種風(fēng)險(xiǎn)甚至都不需要AI覺(jué)醒自我意識(shí)，只要AI足夠強(qiáng)大，就已經(jīng)能讓人類去依賴它、服從它了。

有種預(yù)言認(rèn)為AGI出現(xiàn)之后人類就被圈養(yǎng)了，但也是一種不錯(cuò)的選擇。

我覺(jué)得那是一個(gè)非常糟糕的選擇，這是我心目當(dāng)中最極端的反烏托邦，人類成為某種附屬而缺乏了獨(dú)立性，我覺(jué)得是非常糟糕的。

你是一個(gè)非常堅(jiān)定的人類中心主義者，對(duì)吧？

當(dāng)然。我覺(jué)得很多人太小瞧人類了，覺(jué)得人類可以被拆解成思考和體力。當(dāng)這兩件事被AI和機(jī)器超越，我們就沒(méi)有價(jià)值了。但我是一個(gè)堅(jiān)定的人類中心主義者，就是因?yàn)槲矣X(jué)得除了解決問(wèn)題的能力和行動(dòng)力，每一個(gè)人的靈魂深處有非常豐富的東西，這些美好遠(yuǎn)遠(yuǎn)超越什么效率，不是用經(jīng)濟(jì)發(fā)展就可以衡量的。如果人類真的變成了AI的圈養(yǎng)物，世界就太無(wú)聊了，就好像我們所有的文明都只是為了利用更多的能量創(chuàng)造更多的信息，占領(lǐng)更多的星球，這是文明的目的嗎？我覺(jué)得不是的，生命本身的美感其實(shí)是內(nèi)在。

人類生命的存在和它背后的那種精神的深度，本身就是一種巨大的價(jià)值，無(wú)論AI多么聰明都替代不了。我希望在我們面對(duì)后AGI時(shí)代的時(shí)候，大家能夠更加意識(shí)到一點(diǎn)：我們身上的價(jià)值是無(wú)限的。