福祉亦或?yàn)?zāi)難：智能武器的未來(lái)

袁藝

當(dāng)前，信息化戰(zhàn)爭(zhēng)形態(tài)正由“數(shù)字化+網(wǎng)絡(luò)化”的初級(jí)階段，向“智能化+類(lèi)人化”的高級(jí)階段加速演進(jìn)，以戰(zhàn)斗機(jī)器人為典型代表的智能武器將主宰未來(lái)戰(zhàn)場(chǎng)。我國(guó)著名人工智能專(zhuān)家李德毅院士，把智能機(jī)器人比作是集汽車(chē)、新能源、移動(dòng)通信、衛(wèi)星定位導(dǎo)航、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)，乃至人文藝術(shù)等多個(gè)學(xué)科、多種技術(shù)于一身的人造精靈，是人類(lèi)走向智慧生活的重要伴侶。依此類(lèi)推，未來(lái)的戰(zhàn)斗機(jī)器人則可視為將軍們麾下無(wú)懼死亡、勇往直前的人造忠誠(chéng)戰(zhàn)士。

正如聰明的孩子往往更加調(diào)皮和不聽(tīng)話(huà)一樣，武器智能化一旦超過(guò)一定程度，“聰明過(guò)了頭”，就會(huì)存在自作主張、失去控制，甚至危及人類(lèi)自身安全的危險(xiǎn)。人類(lèi)面臨著既要利用武器高度智能化帶來(lái)的可以替人打仗的無(wú)比好處，又要回避武器高度智能化帶來(lái)的巨大失控風(fēng)險(xiǎn)，軍事技術(shù)和武器發(fā)展由此陷入一個(gè)兩難困境。

智能武器的失控風(fēng)險(xiǎn)

據(jù)稱(chēng)“Robot”（機(jī)器人）一詞，是由捷克作家卡雷爾·恰佩克在1921年的科幻作品《羅薩姆的機(jī)器人萬(wàn)能公司》中首創(chuàng)，原意是“農(nóng)奴式被強(qiáng)迫的勞動(dòng)者”，用來(lái)稱(chēng)呼那些造反的機(jī)器仆人。可以說(shuō)，從一開(kāi)始，機(jī)器人失控對(duì)人類(lèi)的威脅，就成為人類(lèi)心中揮之不去的心理陰影。

人類(lèi)對(duì)機(jī)器人失控的擔(dān)心，不僅反映在科幻小說(shuō)和影視作品中，還反映在很多學(xué)者嚴(yán)肅認(rèn)真的學(xué)術(shù)探討中?！稒C(jī)器人戰(zhàn)爭(zhēng)——機(jī)器人技術(shù)革命與21世紀(jì)的戰(zhàn)爭(zhēng)》的作者彼得·W·辛格就認(rèn)為，機(jī)器人控制世界需要四個(gè)基本條件：第一，機(jī)器人必須獨(dú)立，能夠不依賴(lài)人類(lèi)而自我補(bǔ)充能量、修復(fù)和再造；第二，機(jī)器人必須在智力上勝過(guò)人類(lèi)，但不具有人類(lèi)好的品質(zhì)（如同情心或道德觀念）；第三，機(jī)器人必須具有生存本能，以及控制其周?chē)h(huán)境的某種興趣和意志；第四，人類(lèi)必須不能有介入機(jī)器人決策的有效控制界面，人類(lèi)必須沒(méi)有能力決定、干涉，甚至影響機(jī)器人的決策與行動(dòng)。從發(fā)展趨勢(shì)來(lái)看，這四個(gè)基本條件在技術(shù)上都沒(méi)有不可逾越的紅線(xiàn)。因此，從理論上講，如果不采取有效措施，智能武器失控是完全有可能的。

與民用機(jī)器人相比，軍用機(jī)器人失控的危害性更大，有人甚至擔(dān)心，軍用機(jī)器人會(huì)不會(huì)成為“人類(lèi)終結(jié)者”。這一擔(dān)心，不是杞人憂(yōu)天，更不是天方夜譚。人是萬(wàn)物之靈，靈就靈在“有腦子”。人之所以能控制老虎，不是人比老虎強(qiáng)壯，而是人比老虎聰明。機(jī)器人的體能、技能超過(guò)人類(lèi)并不可怕，但如果機(jī)器人的智能超過(guò)人類(lèi)，人類(lèi)還能不能控制這種比人類(lèi)還“聰明”的機(jī)器人，那就不好說(shuō)了。

智能武器失控的可能形式

不同自主程度的智能武器失控的形式是不一樣的，造成的危害也不盡相同。大致分析，智能武器失控的情況可能主要有以下幾種。

智能武器因發(fā)生故障而失控。在民用機(jī)器人方面，因機(jī)器人故障而出人命的事早有發(fā)生。1985年，蘇聯(lián)發(fā)生了一起家喻戶(hù)曉的智能機(jī)器人棋手殺人事件。全蘇國(guó)際象棋冠軍古德柯夫同機(jī)器人棋手下棋連勝3局，機(jī)器人棋手突然向金屬棋盤(pán)釋放強(qiáng)大的電流，在眾目睽睽之下將這位國(guó)際大師擊倒，這應(yīng)該是智能機(jī)器人發(fā)生故障導(dǎo)致的。

隨著機(jī)械制造水平和智能化程度的提高，未來(lái)智能武器出現(xiàn)機(jī)械故障的可能性減小，但出現(xiàn)軟件故障的可能性大增。

武器系統(tǒng)因軟件故障而導(dǎo)致的事故并不鮮見(jiàn)。2005年，美國(guó)空軍幾架戰(zhàn)斗機(jī)在一次編隊(duì)飛行時(shí)，一架戰(zhàn)斗機(jī)突然自動(dòng)向地面重要設(shè)施發(fā)射了一枚導(dǎo)彈，并造成嚴(yán)重事故。經(jīng)查明，事故原因是飛機(jī)的火控系統(tǒng)電腦出了故障。2011年，在美軍幾次軍演和值勤過(guò)程中，三軍通用戰(zhàn)場(chǎng)態(tài)勢(shì)分析系統(tǒng)多次發(fā)生軟件故障不能正常工作，出現(xiàn)黑屏、無(wú)法顯示友軍信息、無(wú)法完成態(tài)勢(shì)合成，甚至出現(xiàn)運(yùn)行中斷、死機(jī)等故障，導(dǎo)致戰(zhàn)場(chǎng)態(tài)勢(shì)無(wú)法及時(shí)更新、融合，作戰(zhàn)打擊方案無(wú)法按時(shí)生成。

智能武器受到復(fù)雜電磁環(huán)境干擾而失控。據(jù)一名剛從伊拉克歸來(lái)的美軍軍士描述，他的“魔爪”機(jī)器人如果受到無(wú)線(xiàn)電干擾，就會(huì)出現(xiàn)“行為異?！?。另一名軍士講述，如果他的機(jī)器人沒(méi)有信號(hào)，就會(huì)“變得古怪”。按理說(shuō)，如果由于某種原因使得信號(hào)受到干擾或被中斷，機(jī)器人應(yīng)該停止行動(dòng)才對(duì)。當(dāng)追問(wèn)軍士“古怪”究竟是什么意思，他回答說(shuō)：“它會(huì)偏離道路，沖你而來(lái)，四面旋轉(zhuǎn)等等?！蔽磥?lái)戰(zhàn)爭(zhēng)中，戰(zhàn)場(chǎng)電磁環(huán)境只會(huì)變得越來(lái)越復(fù)雜，智能武器能不能適應(yīng)復(fù)雜電磁環(huán)境，能不能在強(qiáng)烈電子干擾條件下，實(shí)時(shí)接收人類(lèi)指令并精準(zhǔn)執(zhí)行作戰(zhàn)任務(wù)，這都需要經(jīng)過(guò)大量的試驗(yàn)和實(shí)戰(zhàn)檢驗(yàn)后才能得出結(jié)論。

智能武器也可能因?yàn)榕袛嗍д`而出現(xiàn)失控。戰(zhàn)場(chǎng)上的敵我識(shí)別不僅對(duì)于人類(lèi)士兵來(lái)說(shuō)是件難事，對(duì)于智能武器來(lái)說(shuō)同樣也不好解決。美國(guó)軍方一位機(jī)器人項(xiàng)目負(fù)責(zé)人說(shuō)：“機(jī)器人戰(zhàn)士可以發(fā)現(xiàn)一個(gè)人并確定他的位置，然后殺死他。但問(wèn)題是，怎樣才能不誤傷自己人。對(duì)于人類(lèi)來(lái)說(shuō)，區(qū)分?jǐn)橙撕妥约憾己茈y，更何況機(jī)器人?！?/p>

事實(shí)上，人工智能控制的武器由于判斷失誤，已經(jīng)造成巨大慘案。1988年7月3日的波斯灣，美國(guó)海軍“文森尼斯”號(hào)巡洋艦正在海上游弋執(zhí)行巡邏任務(wù)。該艦因裝備了自動(dòng)化程度極高的新型“宙斯盾”防空系統(tǒng)，綽號(hào)為“機(jī)器人巡洋艦”。這時(shí)，該艦突然發(fā)現(xiàn)一架伊朗民航的A300客機(jī)將飛過(guò)上空。雖然艦上防空系統(tǒng)處于半自動(dòng)模式，但電腦系統(tǒng)將客機(jī)識(shí)別為伊朗空軍的F-14戰(zhàn)斗機(jī)，結(jié)果艦長(zhǎng)授權(quán)開(kāi)火，發(fā)射“標(biāo)準(zhǔn)”防空導(dǎo)彈擊落了客機(jī)，造成機(jī)上290人全部遇難，包括60多名12歲以下的兒童。

智能武器因無(wú)限自我繁殖而失控。自我繁殖可能是未來(lái)納米級(jí)智能武器的一種高級(jí)功能。納米機(jī)器人借助陽(yáng)光、塵土、海水等物質(zhì)和能量，可像細(xì)菌一樣自我繁殖。殺不絕的納米機(jī)器人軍團(tuán)自然是威力無(wú)窮，但一旦失去控制，后果也是不堪設(shè)想的。據(jù)專(zhuān)家估計(jì)，一個(gè)失去控制的正在自我復(fù)制的納米機(jī)器人，完成130個(gè)復(fù)制周期只需要3個(gè)半小時(shí)，考慮到納米機(jī)器人向外移動(dòng)擴(kuò)張等因素，最多只需數(shù)周時(shí)間就可以摧毀地球上的一切生物。

智能武器因具備獨(dú)立意識(shí)反叛人類(lèi)而失控。從目前來(lái)看，普通電腦的運(yùn)算結(jié)果仍然是明確和可以預(yù)見(jiàn)的，因而是可控的，但未來(lái)隨著人工智能水平的持續(xù)提高，特別是具備自學(xué)習(xí)和自進(jìn)化能力后，電腦的“智商”不斷提高，極可能出現(xiàn)類(lèi)似人類(lèi)“思想”的高級(jí)思維活動(dòng)，以及只有人類(lèi)才具備的喜怒哀樂(lè)、自我認(rèn)同、妒忌羨慕、征服欲望等復(fù)雜情感。那么，運(yùn)算結(jié)果就可能是不確定和不可預(yù)測(cè)的，正是這種隨機(jī)的不確定性思維，潛伏著機(jī)器人威脅人類(lèi)安全的危險(xiǎn)因素。這就是未來(lái)高級(jí)智能武器可能失控的內(nèi)在技術(shù)原理。目前，科學(xué)家正在制造可以產(chǎn)生類(lèi)似人類(lèi)無(wú)意識(shí)反應(yīng)的機(jī)器人，機(jī)器人在緊張時(shí)會(huì)出汗，聽(tīng)到恐怖故事時(shí)甚至?xí)痣u皮疙瘩，這或許是機(jī)器人邁向具備人類(lèi)思想意識(shí)的第一步。

應(yīng)對(duì)智能武器失控的措施

未來(lái)高度智能化的機(jī)器，可能為人類(lèi)帶來(lái)巨大福祉，也可能為人類(lèi)帶來(lái)滅頂之災(zāi)，人類(lèi)即將進(jìn)入歷史上可能最好也可能最壞的時(shí)代。對(duì)于高度智能化的武器會(huì)不會(huì)成為“人類(lèi)終結(jié)者”，人們或許還存在分歧，但對(duì)于必須采取各種措施限制和避免智能武器濫用武力這一點(diǎn)，各方意見(jiàn)高度一致。

著名科幻小說(shuō)家艾薩克·阿西莫夫1940年在其經(jīng)典小說(shuō)《我，機(jī)器人》中，首先提出了“機(jī)器人三原則”，即：機(jī)器人不應(yīng)傷害人類(lèi)；機(jī)器人必須聽(tīng)從人類(lèi)的命令，除非該命令與第一定律相悖；機(jī)器人必須保護(hù)自己，除非這種保護(hù)與以上兩條相矛盾?！皺C(jī)器人三原則”雖然有預(yù)見(jiàn)性地制定了機(jī)器人與人類(lèi)相處的基本準(zhǔn)則，但主要適應(yīng)于民用的服務(wù)型機(jī)器人，如果應(yīng)用到戰(zhàn)斗機(jī)器人身上，還需要做很大的修改才能適應(yīng)。例如，戰(zhàn)斗機(jī)器人應(yīng)該在達(dá)成作戰(zhàn)目的的前提下，以最小傷害程度殺傷敵人，能不奪人性命解決問(wèn)題就不要使用致命性武器；戰(zhàn)斗機(jī)器人必須堅(jiān)決聽(tīng)從己方指令去消滅敵人，不能聽(tīng)從敵方指令，或受外部環(huán)境干擾而改變己方指令；戰(zhàn)斗機(jī)器人必須保護(hù)自己，但接到己方要求其自毀指令時(shí)除外。為努力做到上述幾點(diǎn)，始終把智能武器關(guān)在人類(lèi)“控制圈”內(nèi)，研究人員還真想出了不少點(diǎn)子。

首要和保底的手段，就是在智能武器中嵌入獨(dú)立于其自身控制系統(tǒng)的自毀模塊。在智能武器走出生產(chǎn)線(xiàn)即將正式啟動(dòng)之前，就要設(shè)置好這種“后門(mén)”式的自毀模塊。一旦智能武器失去控制，人類(lèi)可以不受外部環(huán)境或智能武器自身干擾，實(shí)時(shí)啟動(dòng)自毀程序，實(shí)現(xiàn)智能武器不可逆轉(zhuǎn)的徹底死機(jī)或主機(jī)殉爆。這一辦法，對(duì)于“低智商”的智能武器是可行的。將來(lái)一旦出現(xiàn)更加“聰明”的智能武器，能夠“意識(shí)”到這一自毀模塊的存在，它可能就會(huì)想方設(shè)法地去除或干擾自毀模塊，因此必須確保自毀模塊的隱蔽性和可靠性。

在智能武器控制軟件中加入倫理控制程序。智能武器的指揮控制中樞是電腦，而電腦的“智商”全靠預(yù)編軟件來(lái)實(shí)現(xiàn)，在智能武器控制軟件中加入倫理控制程序來(lái)限制智能武器的行為，從理論上講，可以避免其“胡來(lái)”。美國(guó)佐治亞理工學(xué)院移動(dòng)機(jī)器人實(shí)驗(yàn)室的羅納德·阿金，設(shè)計(jì)了名為“潛在行動(dòng)的多維數(shù)學(xué)決策空間”的控制程序，作為戰(zhàn)斗機(jī)器人的“道德適配器”。這套融合了人類(lèi)悔恨、同情、內(nèi)疚等情緒的控制程序，將機(jī)器人攜帶的武器系統(tǒng)根據(jù)殺傷力分組，每組武器都有特定的愧疚臨界值?！暗赖逻m配器”可根據(jù)傳感器接收到的數(shù)據(jù)和情報(bào)，把機(jī)器人所有可能的行動(dòng)分為“道德的”和“不道德的”兩種，并根據(jù)需要選擇適當(dāng)?shù)奈淦飨到y(tǒng)。機(jī)器人在使用大威力武器前，必須經(jīng)過(guò)“道德適配器”的審核，只有當(dāng)使用武器的愧疚臨界值低于標(biāo)準(zhǔn)值才可使用。

精確選擇智能武器的目標(biāo)打擊部位。2006年，美國(guó)國(guó)防部長(zhǎng)辦公室下屬機(jī)構(gòu)——國(guó)防安全工作小組，研究討論了如何通過(guò)允許“武裝自主系統(tǒng)”“開(kāi)火摧毀敵方武器系統(tǒng)而非疑似作戰(zhàn)人員”的做法，以減輕人們對(duì)潛在“機(jī)器人殺手”的種種擔(dān)憂(yōu)。換言之，機(jī)器人應(yīng)該朝坦克或吉普車(chē)開(kāi)火，而不是朝里面的人開(kāi)火。約翰·S·坎寧是美國(guó)海軍水面作戰(zhàn)中心的首席工程師，也是該小組成員之一。他說(shuō)：“我們的武裝無(wú)人系統(tǒng)的設(shè)計(jì)，要能自動(dòng)識(shí)別、瞄準(zhǔn)我們的敵人所用的武器，并能使武器而不是使用這些武器的敵人失效或者遭到摧毀。這樣，我們就有可能解除對(duì)我們構(gòu)成威脅的部隊(duì)的武裝，卻不必殺死相關(guān)人員?！彪S著人工智能的發(fā)展，電腦的模式識(shí)別能力將有極大提高，智能武器完全可以把單獨(dú)的武器和作戰(zhàn)人員區(qū)分開(kāi)來(lái)。

只給智能武器配備非致命性武器，把殺人武器交到機(jī)器人手中始終讓人不放心，因此有人認(rèn)為，如果要給機(jī)器人配備武器，那也應(yīng)該配備非致命性武器。這些武器不是用來(lái)摧毀或者殺戮，而是用來(lái)讓目標(biāo)失去戰(zhàn)斗力但并不對(duì)其造成永久性傷害。正如美國(guó)陸軍戰(zhàn)爭(zhēng)學(xué)院教授史蒂文·梅茨所講的那樣，“機(jī)器人技術(shù)和非殺傷性手段，這兩者的結(jié)合極其重要。這樣，你可以命令系統(tǒng)只是制服目標(biāo)，剩下的事情交給警察，而不是‘將目標(biāo)全部殺死，后事交由上帝處理?！边@一辦法應(yīng)該說(shuō)是完全可行的，未來(lái)戰(zhàn)爭(zhēng)中失能性武器的可選擇范圍很大，對(duì)人員可使用“腦控武器”“嘔吐射線(xiàn)”武器、次生波武器、被稱(chēng)為“痛苦射線(xiàn)”的定向能“主動(dòng)拒止系統(tǒng)”、網(wǎng)罩武器，甚至發(fā)射橡皮子彈的警用武器等非致命性武器，對(duì)裝備可使用電磁脈沖武器、網(wǎng)絡(luò)攻擊武器、高功率微波武器、致發(fā)動(dòng)機(jī)熄火的阻燃泡沫彈等非爆炸性武器。從某種意義上說(shuō)，新機(jī)理、新概念武器為智能武器的失控問(wèn)題提供了很好的解決方案。