自殺的機(jī)器人

波琳娜·葉廖緬科

機(jī)器人時(shí)代不再是未來(lái)，現(xiàn)在機(jī)器人已經(jīng)走進(jìn)了住宅、生產(chǎn)加工廠、我們的日常生活和家庭，甚至還有床上和戰(zhàn)場(chǎng)上。一個(gè)戰(zhàn)斗機(jī)器人在殺死一個(gè)人類時(shí)在想什么？機(jī)器人殺手應(yīng)該具有哪些情感體驗(yàn)？性機(jī)器人有權(quán)拒絕性行為嗎？我們應(yīng)該賦予機(jī)器人意識(shí)嗎？本刊特約記者與國(guó)際相關(guān)領(lǐng)域知名專家對(duì)這類問(wèn)題進(jìn)行了討論。

澳大利亞警方曾報(bào)道一起離奇的機(jī)器人自殺事件，這很可能就是世界上第一起記錄在案的機(jī)器人自殺事件。事件主角是iRobot公司生產(chǎn)的一臺(tái)智能掃地機(jī)器人，據(jù)說(shuō)這臺(tái)掃地機(jī)器人在主人出門后，因感覺(jué)不斷的清潔工作實(shí)在太勞累，便選擇了跑到廚房的電爐上自焚。消防隊(duì)員趕到現(xiàn)場(chǎng)，對(duì)整棟大樓進(jìn)行疏散，機(jī)器人自殺的那層樓更是濃煙滾滾。

據(jù)負(fù)責(zé)處理該事故的消防員赫爾穆特·納塞爾說(shuō)，這家的男主人當(dāng)天讓智能掃地機(jī)器人清理案板上的殘留食物，機(jī)器人完成清理工作后，他就關(guān)閉了機(jī)器人的電源開關(guān)，并將機(jī)器人放到了廚房一側(cè)的廚柜上。然后他就和妻兒一起出門了，機(jī)器人獨(dú)自留在家里。

該事件發(fā)生后，有人猜測(cè)很可能是因?yàn)槟兄魅嗽谥甘箼C(jī)器人干活時(shí)的態(tài)度不太好，或是這家房子的清理工作太過(guò)繁重。在主人全家走后，機(jī)器人就自動(dòng)啟動(dòng)，靠近電爐，并將放在電爐上的鍋挪開，最后自己再蹲坐在電爐上。

位于電爐上的機(jī)器人很快就開始融化，它沒(méi)發(fā)出一點(diǎn)“痛苦的喊叫”聲，融化了的“尸體”粘在電爐上，從而引起了火災(zāi)。消防員趕到時(shí)，已經(jīng)只剩下一片灰燼。安全處理工作近花了消防員大搞一個(gè)鐘頭的時(shí)間，但是因?yàn)闊熝鹿剩@家人暫時(shí)也沒(méi)法住進(jìn)著過(guò)火的公寓了。

這家男主人堅(jiān)稱，他在出門前肯定把這臺(tái)機(jī)器人關(guān)閉了，所以機(jī)器人的自動(dòng)啟動(dòng)和神秘自焚事件就成了一宗懸案。他說(shuō)：“生產(chǎn)這種機(jī)器人的企業(yè)出售的是危險(xiǎn)產(chǎn)品，我要起訴，向他們索要賠償，是他們毀了我的家。我們?cè)凇返窟@臺(tái)機(jī)器人的時(shí)候，也應(yīng)該奉勸其他同類清潔機(jī)器人，沒(méi)有什么大不了的，想開點(diǎn)?！?/p>

美國(guó)紐約倫斯勒理工學(xué)院認(rèn)知研究部主任塞爾默·布林斯特

10年前，我們開始對(duì)機(jī)器人倫理道德問(wèn)題進(jìn)行研究。當(dāng)時(shí)很多人認(rèn)為我們是一群奇異的家伙，甚至有人以為我們瘋了。但令人驚奇的是這10年人們的觀念發(fā)生了翻天覆地的變化：現(xiàn)在不再有人認(rèn)為我們是在做瘋狂的事。目前，我正在進(jìn)行一項(xiàng)研究：從倫理角度出發(fā)，應(yīng)該允許機(jī)器人自殺嗎？我們對(duì)機(jī)器人進(jìn)行的研究，是一種心理治療和精神分析。對(duì)機(jī)器人倫理道德的深入研究，就是人類對(duì)自己精神世界的剖析。

在我的實(shí)驗(yàn)室里，有一系列像科幻小說(shuō)中描述的那樣的類人動(dòng)物，我用它們做試驗(yàn)?，F(xiàn)在，我想弄清楚導(dǎo)致我的機(jī)器人可能會(huì)自殺的原因。我的疑問(wèn)是：機(jī)器人是否會(huì)像人類一樣，因感到生命無(wú)意義或患上抑郁癥，想要結(jié)束自己的生命。此外我們還面臨一個(gè)問(wèn)題：人類是否應(yīng)該允許機(jī)器人自殺？

或許你會(huì)問(wèn)：機(jī)器人怎么會(huì)沮喪？的確，機(jī)器人本身沒(méi)有內(nèi)心世界，也無(wú)法體驗(yàn)情感，因?yàn)樗鼈儧](méi)有思維意識(shí)。但我們即將設(shè)計(jì)出的智能機(jī)器人，會(huì)表現(xiàn)出35種不同的情感狀態(tài)。但計(jì)算程序也有出差錯(cuò)的時(shí)候，如果智能系統(tǒng)崩潰了，機(jī)器人也會(huì)患上“抑郁癥”。

機(jī)器人的情感體驗(yàn)沒(méi)有辦法像人類一樣豐富、自由。例如，機(jī)器人可以抽一支煙，卻無(wú)法自主得到像人類一樣享受、滿足的愉悅感。再例如滑雪。昨天我剛滑過(guò)雪，我感受到了多重情感：從難以描述的喜悅到些許恐懼。但這樣的體會(huì)有時(shí)很難用計(jì)算程序描述，無(wú)法被準(zhǔn)確編程。智能機(jī)器人有35種情感狀態(tài)，但都只是程序結(jié)構(gòu)上的，并非真正的自主情感。

隨著機(jī)器人的不斷發(fā)展，它們會(huì)變得越來(lái)越智能和自主。它們將擁有更多情感，但在某些時(shí)候系統(tǒng)可能會(huì)發(fā)生故障，導(dǎo)致機(jī)器人可能想要結(jié)束自己的生命。但讓機(jī)器人擁有自主決定生命的權(quán)利，首先不利于人類——有誰(shuí)會(huì)想要損失一個(gè)智能機(jī)器人呢？

想象一下，假如你的機(jī)器人有自主決斷的能力，它正在幫你搬重箱子，但突然就決定不想活了，自殺了。誰(shuí)會(huì)在乎這件事呢？當(dāng)然是機(jī)器人的主人。如果我們開發(fā)一個(gè)真正的自主機(jī)器人（我們正在朝著這個(gè)方向努力），那么如何防止機(jī)器人自殺，將是一個(gè)非常重要的問(wèn)題。

當(dāng)然，你可以對(duì)機(jī)器人能做什么或不能做什么做一些限制，但是很難，因?yàn)槟阋呀?jīng)將程序設(shè)定為自由和自主。當(dāng)然，你也可以寫一個(gè)簡(jiǎn)單的程序——機(jī)器人只能自由進(jìn)行一兩個(gè)步驟，就不會(huì)有任何后顧之憂。但隨著時(shí)代的進(jìn)步，誰(shuí)還會(huì)需要這種機(jī)器人？我們想要?jiǎng)?chuàng)造更智能的技術(shù)，而智能則意味著讓機(jī)器人獨(dú)立。

那么問(wèn)題是：如何從計(jì)算的角度研究機(jī)器人自殺的愿望。我們?nèi)绾卫贸绦蛟O(shè)計(jì)使機(jī)器人的情感系統(tǒng)不出故障。這樣做是否合乎道德。我認(rèn)為，患有輕度抑郁癥就選擇自殺是不道德的，還有“我沒(méi)有夢(mèng)想”“我厭倦工作”這類原因。因?yàn)榧幢闶侨祟?，也不?huì)輕易因?yàn)檩p度抑郁選擇結(jié)束生命。因此，我們的研究結(jié)論是：在大多數(shù)情況下，機(jī)器人自殺是不被接受的。但如果機(jī)器人機(jī)能出現(xiàn)障礙，比如大腦損傷，無(wú)法修復(fù)，那么它就失去了存在感，那么只留有驅(qū)殼也沒(méi)有意義，這時(shí)候它就可以選擇殺死自己。我們現(xiàn)在面臨的問(wèn)題是：如果機(jī)器人從一開始就沒(méi)有死亡的概念，我們從未給它輸入此類信息會(huì)怎樣？我們還沒(méi)有弄清這個(gè)問(wèn)題，但目前仍在繼續(xù)探索。這是非常具有挑戰(zhàn)的——把倫理問(wèn)題轉(zhuǎn)變成計(jì)算程序問(wèn)題。

以前人們認(rèn)為給予機(jī)器人道德倫理，是很奇怪的事，但現(xiàn)在，越來(lái)越多的人明白了這是必要的。

我并不為自己現(xiàn)在所做的事?lián)?。我?huì)擔(dān)心我們的未來(lái)嗎？不，相信我，如果現(xiàn)在不解決這些問(wèn)題，置混亂狀態(tài)于不顧，那么我們將釀成非?？膳碌暮蠊?。如果我們只制造自主機(jī)器人，不事先對(duì)可能引起的問(wèn)題進(jìn)行預(yù)估防范，那么真正的大問(wèn)題就會(huì)出現(xiàn)。到那時(shí)智能機(jī)器人會(huì)傷害甚至殺死人類。這就是今天機(jī)器人倫理問(wèn)題的研究如此重要的原因。

英國(guó)廣播電視臺(tái)《戰(zhàn)斗機(jī)器人》的主要評(píng)論員、控制戰(zhàn)斗機(jī)器人國(guó)際委員會(huì)主任諾埃爾·夏基

機(jī)器人殺手有可能成為好斗分子選擇的武器。由于造價(jià)不斷降低，在不久的將來(lái)，機(jī)器人將成為極端組織現(xiàn)實(shí)可行的選擇。問(wèn)題是我們不可能真正把魔鬼放回到瓶子里。新型武器一旦問(wèn)世，復(fù)制起來(lái)就會(huì)非常容易。

政府組織控制戰(zhàn)斗機(jī)器人國(guó)際委員會(huì)于2009年開始對(duì)戰(zhàn)斗機(jī)器人進(jìn)行討論。我們暫且不討論無(wú)人機(jī)，因?yàn)闊o(wú)人機(jī)是由人類操控的。不同于無(wú)人機(jī)，戰(zhàn)斗機(jī)器人是完全自主的：自己選擇目標(biāo)，在沒(méi)有任何人工參與下?lián)魵撤健，F(xiàn)在人權(quán)觀察組織和國(guó)際特赦組織也開始加入我們的討論，我們?cè)诼?lián)合國(guó)聯(lián)合發(fā)起了“停止使用戰(zhàn)斗機(jī)器人”的活動(dòng)。在未來(lái)幾周，我們將在政府層面成立一個(gè)專家小組，將有121個(gè)國(guó)家的代表參加。

我們討論的主要問(wèn)題是新科技如何應(yīng)對(duì)國(guó)際人道主義法規(guī)。我們沒(méi)有十足的信心，能讓自主的戰(zhàn)斗機(jī)器人嚴(yán)格遵守戰(zhàn)斗規(guī)章。

讓我們擔(dān)心的問(wèn)題之一是機(jī)器人如何遵守區(qū)別對(duì)待原則。區(qū)別對(duì)待原則是指軍事力量只能針對(duì)敵人及其武器，而不允許對(duì)平民造成傷害。為了嚴(yán)格遵守這一原則，有必要準(zhǔn)確地識(shí)別允許攻擊的人和物體。這都是《日內(nèi)瓦公約》中闡明的：士兵要區(qū)分平民和士兵。戰(zhàn)斗機(jī)器人的自主能力在現(xiàn)階段還發(fā)展不到這種程度。它們可以區(qū)分坦克和卡車。在人類世界，士兵和平民較易混淆，尤其是一些混在平民中的反叛者——這些人在機(jī)器人眼中都是沒(méi)有區(qū)別的。

另一個(gè)原則是比例原則。我不喜歡這個(gè)原則，其實(shí)質(zhì)在于，你殺死敵方平民的人數(shù)直接與其軍事優(yōu)勢(shì)成正比。沒(méi)有程序可以預(yù)先計(jì)算出平民傷亡數(shù)量——只有經(jīng)驗(yàn)豐富的指揮官才能做出相應(yīng)的決斷。

還有些人認(rèn)為，人類不應(yīng)該允許機(jī)器人殺死人類。人類殺死一個(gè)人和機(jī)器人殺死一個(gè)人的關(guān)鍵區(qū)別在于，前者會(huì)花一定時(shí)間去拿出武器，準(zhǔn)備動(dòng)手，在這個(gè)過(guò)程中他能意識(shí)到自己將要奪去一個(gè)人的生命，而后者直到殺死一個(gè)人以后也沒(méi)有任何情感活動(dòng)。因?yàn)闄C(jī)器人沒(méi)有意識(shí)，人類的生命就這樣在無(wú)意識(shí)的狀態(tài)下被剝奪了。

另一些人認(rèn)為，如果讓戰(zhàn)斗機(jī)器人代替一部分軍隊(duì)上戰(zhàn)場(chǎng)，會(huì)使死亡人數(shù)大大減少。但這種觀點(diǎn)的反對(duì)者說(shuō)，這是非常自私的方法：只想到我方的利益，我們應(yīng)該從全人類的角度出發(fā)，否則整個(gè)國(guó)際安全都將受到威脅。

美國(guó)紐約新學(xué)院大學(xué)哲學(xué)教授彼得·阿斯特羅

我最關(guān)心的問(wèn)題是：我們是否可以讓機(jī)器人實(shí)施蓄意暴力？我們是否應(yīng)該賦予機(jī)器人保護(hù)人類的權(quán)利和軍事實(shí)力？關(guān)于這些，我寫了十幾篇論文，現(xiàn)在準(zhǔn)備出書。在開創(chuàng)了這些領(lǐng)域的機(jī)器人的先例后，全人類將發(fā)現(xiàn)自己的另一面。我們?nèi)绾握{(diào)控機(jī)器人，如何使它們明白哪些暴力行為可以對(duì)人類施加，哪些不可以？

戰(zhàn)爭(zhēng)總歸是錯(cuò)誤的，無(wú)論是機(jī)器人間的還是人類間的。但在這里我們正在談?wù)摰氖侨绾谓⒁粋€(gè)完整的產(chǎn)業(yè)，以優(yōu)化戰(zhàn)爭(zhēng)的死傷過(guò)程，并且更有效地殺死敵方。區(qū)別就在于：是機(jī)器人殺死人還是人殺死人。傳統(tǒng)上認(rèn)為，只有當(dāng)自己的生命處于危險(xiǎn)時(shí)，才能使用暴力。機(jī)器人不會(huì)評(píng)估，它們的生命是否處于危險(xiǎn)境地。我們也可以編程殺死機(jī)器人，因?yàn)闄C(jī)器人不是人，它們沒(méi)有自衛(wèi)權(quán)。

我希望在不久的將來(lái)聯(lián)合國(guó)能簽署一項(xiàng)協(xié)議，在一定程度上規(guī)范戰(zhàn)斗機(jī)器人的行為。現(xiàn)在，越來(lái)越多的人開始關(guān)注這個(gè)問(wèn)題，聯(lián)合國(guó)已經(jīng)為該問(wèn)題官方接見(jiàn)了專家。我認(rèn)為，再過(guò)兩三年，他們就能簽定協(xié)議了。但問(wèn)題是，在兩年或三年內(nèi)，國(guó)家會(huì)開發(fā)新型戰(zhàn)斗機(jī)器人，投資很大一筆錢，沒(méi)有人愿意放棄他們的機(jī)器人。到時(shí)候簽署這項(xiàng)協(xié)議將可能會(huì)變得阻力重重。

參與研究斯坦福大學(xué) “無(wú)人駕駛汽車道德程序”項(xiàng)目的加拿大渥太華卡爾頓大學(xué)教授杰森·米勒

當(dāng)今，機(jī)器人權(quán)利問(wèn)題是一個(gè)熱門話題。如果機(jī)器人有了意識(shí)會(huì)發(fā)生什么？我們必須賦予它們什么權(quán)利？但現(xiàn)今，科幻迷似乎比哲學(xué)家對(duì)這些問(wèn)題更感興趣。智能機(jī)器人的編程人員完全不關(guān)心這些問(wèn)題：他們認(rèn)為答案是“永遠(yuǎn)不”或“還早著呢”。但這對(duì)于媒體來(lái)說(shuō)是一個(gè)非常熱門的話題：無(wú)論它切不切實(shí)際，都大有文章可做。

挪威奧斯陸大學(xué)媒體創(chuàng)新研究中心主任、博士查爾斯·頓斯

當(dāng)我們談到人類與性別機(jī)器人的問(wèn)題時(shí)，曾提到過(guò)機(jī)器人權(quán)利的問(wèn)題。許多人說(shuō)，智能機(jī)器人在某種程度上變得自主，必須承認(rèn)的是，它們有最基本的受尊重權(quán)。那么接下來(lái)的問(wèn)題是：當(dāng)性愛(ài)機(jī)器人不想發(fā)生性行為時(shí)，能拒絕人類嗎？如果性愛(ài)機(jī)器人拒絕人類，人類是否可以強(qiáng)迫它？機(jī)器人是否可以將施暴者告上法庭？

[譯自俄羅斯《精粹》]