• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    針對自主性武器實(shí)施“有意義的人類控制”
    ——國際法視角下的研究

    2022-03-24 17:56:18王玫黎杜陳潔
    關(guān)鍵詞:國際法自主性武器

    王玫黎,杜陳潔

    (西南政法大學(xué) 國際法學(xué)院,重慶 40112)

    人工智能技術(shù)賦予某一特定系統(tǒng)在一個(gè)寬泛的環(huán)境中得以選擇實(shí)現(xiàn)其目標(biāo)的最好方法的能力[1](P.9),該技術(shù)除應(yīng)用于虛擬游戲外,也逐步走進(jìn)了現(xiàn)實(shí)生活,例如駕駛交通工具、圖片識別、聲音識別、語言翻譯以及疾病診斷等。近年來,人工智能技術(shù)已逐步進(jìn)入軍事領(lǐng)域,開始賦予各類武器系統(tǒng)一定程度的自主性。關(guān)于自主性武器所帶來的倫理和法律問題已經(jīng)在世界范圍內(nèi)引發(fā)了熱議,各方以“自主性武器系統(tǒng)”(Autonomous Weapons System)(1)關(guān)于自主性武器系統(tǒng)(Autonomous Weapon Systems)的準(zhǔn)確定義,國際社會尚無統(tǒng)一的見解。國際紅十字委員會(ICRC)認(rèn)為“自主武器系統(tǒng)”是指能夠獨(dú)立選擇和攻擊目標(biāo)的武器,即在捕捉、追蹤、選擇和攻擊目標(biāo)的“關(guān)鍵功能”上具有自主性的武器。美國國防部將其定義為“在激活后,可以在無人操作的情況下自主選擇目標(biāo)并交戰(zhàn)的武器系統(tǒng)”。羅伯特·斯巴羅(Robert Sparrow)認(rèn)為,自主性武器系統(tǒng)是指在任何能夠在沒有人類直接監(jiān)督和人類直接參與致死決策的情況下,瞄準(zhǔn)并啟動潛在致命武力使用的系統(tǒng)。參見ICRC. Report of the ICRC Expert Meeting on “Autonomous weapon sysytems:technical, military, legal and humanitarian aspects.”May 9 , 2014;DoD. Directive No.3000.09, November 21, 2012;Peter Asaro.“banning autonomous weapon systems:human rights, automation, and the dehumanization of lethal decision-making.”International Review of the Red Cross, Vol.94, No.886, 2012, p.690。、“殺人機(jī)器人”(Killer Robots)(2)人權(quán)觀察組織(Human Rights Watch)在他們的報(bào)告中多次將“殺人機(jī)器人”(Killer Robots)作為與“完全自主性武器系統(tǒng)”“自主性武器系統(tǒng)”“致命性自主武器系統(tǒng)”相等同的概念或通俗化的代稱,在其報(bào)告中多次出現(xiàn)“Fully autonomous weapons,also known as killer robost”,“Fully Autonimous Weapons,also called killer robots or lethal autonomous robots”等表述。參見Human Rights Watch. Mind the Gap:the Lack of Accountability for Killer Robots, April 2015, p.1;Human Rights Watch. Losing Humanity :the Case against Killer Robots, November 2012, p.1。、“致命性自主武器系統(tǒng)”(3)在《特定常規(guī)武器公約》(CCW)框架下定期召開的會議中,致命性自主武器系統(tǒng)(Lethal Autonomou Weapons Systems)被作為主要討論對象,有的國家(例如日本)要求將討論對象限定在具有致命性的自主性武器系統(tǒng),而有的國家(如美國)則通常討論的是自主性武器系統(tǒng),并未強(qiáng)調(diào)其“致命性”。參見Japan. Possible outcome of 2019 Group of Governmental Experts and Future actions of international community on Lethal Autonomous Weapons Systems,CCW/GGE.1/2019/WP.3, March 22,2019;USA. Autonomy in Weapon Systems, CCW/GGE.1/2017/WP.6, November 10, 2017。等不同的稱謂為對象進(jìn)行了討論?,F(xiàn)今的人工智能技術(shù)仍存在顯著的弱點(diǎn),在可預(yù)測性、可靠性、可解釋性等問題上均存在局限,而具備自我學(xué)習(xí)能力的機(jī)器可能會因種種因素導(dǎo)致錯(cuò)誤的學(xué)習(xí)結(jié)果而致行為失常,因此,人們擔(dān)心具備高度自主性的武器會挑戰(zhàn)人類倫理和國際人道法。此外,不具備法律人格又缺乏人類控制的自主性武器若違法還可能導(dǎo)致歸責(zé)真空(Accountability Gap)的問題。為應(yīng)對以上人道主義危機(jī),一個(gè)英國的非政府組織“第36條”(Article 36)提出了“有意義的人類控制”的理念,引起了國際社會的關(guān)注和廣泛討論。雖不乏質(zhì)疑聲,但該理念仍為引導(dǎo)國際社會的對自主性武器軍控問題的深入具有啟發(fā)意義。當(dāng)下,國際社會對該提議的討論存在一定的局限,而從國際法的視角對其進(jìn)行解析有利于克服技術(shù)上的界定難題,凝聚共識。本文擬就“有意義的人類控制”理念的產(chǎn)生背景為起點(diǎn),以現(xiàn)有的共識、分歧和界定缺陷為基礎(chǔ),運(yùn)用國際法思維探討其界定要素及判斷標(biāo)準(zhǔn),并提出實(shí)現(xiàn)“有意義的人類控制”的國際法路徑,呼吁將“有意義的人類控制”從理念轉(zhuǎn)向法律原則,以務(wù)實(shí)的心態(tài)促進(jìn)自主性武器國際軍控規(guī)則的形成。

    一、“有意義的人類控制”理念的產(chǎn)生背景

    聯(lián)合國裁軍事務(wù)研究所(UNIDIR)出具報(bào)告稱:人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的飛速發(fā)展對于自主性武器在武器系統(tǒng)中的角色產(chǎn)生了顯著影響。越來越多的智能機(jī)械可以在更為復(fù)雜的環(huán)境中被用于更具挑戰(zhàn)性的任務(wù)。[2]為適應(yīng)不斷加快的戰(zhàn)爭節(jié)奏、加倍放大武力、降低運(yùn)行成本和人力需求,越來越多的國家開始利用人工智能技術(shù)開發(fā)自主性武器,以減少軍隊(duì)的人力開支,提高軍隊(duì)在難以進(jìn)入的地區(qū)進(jìn)行干預(yù)的能力,保持在技術(shù)方面相對于潛在對手的領(lǐng)先地位等。[3]有專家認(rèn)為,在接下來的軍隊(duì)科技改革中,研發(fā)具備自主性的武器系統(tǒng)將是符合邏輯且不可避免的下一步。[4](P.620)

    (一)人工智能軍事化挑戰(zhàn)國際法是實(shí)踐動因

    人工智能技術(shù)的軍事化已經(jīng)被納入了世界主要軍事大國的發(fā)展規(guī)劃中:俄羅斯空軍將領(lǐng)維克多·邦達(dá)列夫(Viktor·Bondarev)表示,最早于2017年2月,俄羅斯已經(jīng)開始致力于研制可以在飛行途中自行切換目標(biāo)的人工智能導(dǎo)彈;俄羅斯總統(tǒng)普京于2017年9月發(fā)表的講話稱:“人工智能技術(shù)不僅對俄羅斯,且對于全人類來說都是未來的發(fā)展方向……不論誰在該領(lǐng)域領(lǐng)先,都將成為世界的統(tǒng)治者?!盵5]2014年,時(shí)任美國國防部長的查克·海戈(Chuck Hagel)以發(fā)展人工智能技術(shù)為核心提出了“第三次抵消戰(zhàn)略”(Third Offset Strategy),認(rèn)為快速發(fā)展的人工智能技術(shù)將決定下一代戰(zhàn)爭的形態(tài)。[6](PP.2-5)2018年,美國國防部發(fā)布了《人工智能戰(zhàn)略》,表示人工智能技術(shù)將作為保障美國應(yīng)對安全威脅的前沿技術(shù),受到高度的重視,甚至聲稱中俄兩國已經(jīng)針對人工智能技術(shù)的軍事化進(jìn)行了顯著的投入,包括采用可能對現(xiàn)行的國際法規(guī)則以及人權(quán)形成挑戰(zhàn)的應(yīng)用方式。[7](P.5)運(yùn)用人工智能技術(shù)研發(fā)和部署自主性武器不僅僅存在于大國的發(fā)展愿景中,事實(shí)上已經(jīng)有具備不同智能程度的自主性武器開始服役。(4)研究表明,目前世界各國已經(jīng)部署的自主性武器主要包括:用于船舶和地面近距離防御的反火箭、火炮、迫擊炮系統(tǒng),用于裝甲車針對導(dǎo)彈、火箭等的“主動防御”武器,可以自主搜索、識別、確定、攻擊目標(biāo)的“自殺無人機(jī)”,可以自主引導(dǎo)魚類偵測、追蹤、攻擊目標(biāo)的“一勞永逸”型魚雷,用于保護(hù)特定場所具有自主鎖定并攻擊的反人員“哨兵”武器等等。參見張衛(wèi)華《人工智能武器對國際人道法的新挑戰(zhàn)》,《政法論壇》,2019年第4期,第145-146頁。基于自主性武器所帶來的巨大效益,在可以預(yù)見的將來,軍隊(duì)所配備武器的自主性程度將越來越高,人類將逐漸抽離對武器的控制,甚至有可能實(shí)現(xiàn)武器的完全自主。一方面,提高武器的自主性可以減少軍隊(duì)的人力成本,提高軍事防御和打擊的效率、速度、準(zhǔn)確性,這正是各國軍隊(duì)所追求的目標(biāo)——強(qiáng)化戰(zhàn)爭的不對稱性;但另一方面,具備高度自主性的武器也引起了國際社會的普遍擔(dān)憂。

    基于人權(quán)與人道的考慮是國際社會對自主性武器擔(dān)憂的核心內(nèi)容。戰(zhàn)術(shù)優(yōu)勢是軍事研究的主要目的,而科技能力在軍事競爭力中占據(jù)核心位置,自主性武器的設(shè)計(jì)者很難找到合理的理由去限制武器的致命潛力,因此自主性武器的運(yùn)用將會導(dǎo)致“高效卻非人道”的戰(zhàn)爭。[8](P.49)機(jī)器并不具備人類獨(dú)有的倫理觀和判斷力,若任其在人道抉擇上發(fā)揮自主性則難以避免違法后果的出現(xiàn)。與此同時(shí),自主性武器法律人格的缺失使得一旦其在脫離人類控制的情況下造成了違法后果,可能產(chǎn)生歸責(zé)的真空。

    1.自主性武器存在守法困難

    國際人道法的核心在于對戰(zhàn)爭手段進(jìn)行限制,以實(shí)現(xiàn)對人道、公共良知的維護(hù),主要表現(xiàn)為“區(qū)分原則”(Principle of Distinction)、“比例原則”(Principle of Proportionality)、“預(yù)防原則”(Principle of Precautious)?!皡^(qū)分原則”要求戰(zhàn)爭和武裝沖突中的各方必須區(qū)分戰(zhàn)斗員與非戰(zhàn)斗員、武裝部隊(duì)與平民、軍事目標(biāo)與非軍事目標(biāo)?!氨壤瓌t”禁止交戰(zhàn)方發(fā)動可能導(dǎo)致平民意外死亡、受傷、民用物體受損或已同時(shí)包含以上情形的損害結(jié)果的襲擊,交戰(zhàn)方對軍事目標(biāo)進(jìn)行攻擊時(shí)應(yīng)當(dāng)最大限度地減少對平民和民用物體的傷害,這種傷害不應(yīng)當(dāng)超過軍事行動中所要求達(dá)到的具體的、直接的軍事利益?!邦A(yù)防原則”要求交戰(zhàn)方在進(jìn)行軍事行動時(shí),必須不斷照顧平民和民用物體,必須采取一切可行的預(yù)防措施,以避免并在任何情況下盡量減少平民受傷、喪生和民用物體損壞。自主性武器在國際人道法的視角下的法律地位是交戰(zhàn)者與武器的結(jié)合,它們能否在發(fā)動攻擊時(shí)運(yùn)用人類的價(jià)值觀和倫理觀進(jìn)行判定和衡量,確保其遵守以上三項(xiàng)原則,是自主性武器給國際人道法帶來的重要挑戰(zhàn)。[9](P.149)

    2.自主性武器引發(fā)“歸責(zé)真空”

    自主性武器不具備人類的道德倫理觀念,更不享有任何意義上的“法律人格”,無法承擔(dān)法律責(zé)任。一旦自主性武器的使用造成了違法后果,應(yīng)當(dāng)由誰來承擔(dān)責(zé)任?除國家責(zé)任以外,操作員或決策者在缺乏主觀犯意的情況下能否從國際法或國內(nèi)法層面受到追責(zé)?此外,根據(jù)現(xiàn)有的國際人道法和國際刑法,缺乏人類控制的自主性武器可能會使編程、開發(fā)等階段的相關(guān)人員因?yàn)槿狈χ饔^的認(rèn)知而難以被歸責(zé)。[10](P.17)在現(xiàn)有的法律體系下,自主性武器的受害者能否得到充分的權(quán)利救濟(jì)?在各國追求軍事優(yōu)勢和國家安全的本能驅(qū)使下,人工智能技術(shù)的軍事化已是大勢所趨,具備自主性能又缺乏人類控制的武器,挑戰(zhàn)著人類社會的倫理和法律,在存在歸責(zé)真空的情況下,自主性武器更容易被非法地研發(fā)、使用和販賣,它不僅是一種“工具”,更有可能是一個(gè)“潘多拉魔盒”。

    (二)針對性軍控規(guī)則的缺失是現(xiàn)實(shí)驅(qū)動

    現(xiàn)行的國際法體系對作戰(zhàn)工具和作戰(zhàn)手段均存在既有的規(guī)范,這些規(guī)范能夠?qū)ψ灾餍晕淦髌鸬揭欢ǖ囊?guī)制作用,但針對性的缺乏也使得這些既定的規(guī)則在面臨自主性武器的特異性時(shí)存在漏洞與不力。此外,人工智能技術(shù)的軍事化被認(rèn)為是繼火藥、核武器后的第三次戰(zhàn)爭革命,這一趨勢將催化出一大批自主和半自主性的武器系統(tǒng),人類戰(zhàn)爭將進(jìn)入“算法戰(zhàn)”的新時(shí)代,數(shù)據(jù)的準(zhǔn)確和運(yùn)算的速度將成為決定未來戰(zhàn)爭勝負(fù)的關(guān)鍵。[11]自主性武器軍控規(guī)則的缺失也將放任大規(guī)模的人工智能軍備競賽,威脅國際和平與安全。

    1.國際人道法不直接規(guī)制自主性武器

    國際人道法的作戰(zhàn)規(guī)則總的來說可分為“區(qū)分原則”“比例原則”和“預(yù)防原則”,其對具體作戰(zhàn)手法的禁止和限制則是對這三個(gè)原則的進(jìn)一步確認(rèn)與延伸。當(dāng)我們在討論自主性武器給人道法帶來的挑戰(zhàn)時(shí)則應(yīng)當(dāng)考慮人道法對武器的要求是什么?美國認(rèn)為:“自主性武器本身并不具有天然的違法性,國際人道法的規(guī)制對象是人,而不是機(jī)器,戰(zhàn)爭法并沒有要求武器做合法的決策,而戰(zhàn)爭中的人為了遵行戰(zhàn)爭法,則應(yīng)當(dāng)以一種非歧視的、成比例的方式去使用武器?!盵12]如前所述,在當(dāng)下的技術(shù)水平內(nèi),運(yùn)用人工智能技術(shù)來強(qiáng)化武器的自主性能是國際趨勢,但其如何做到在復(fù)雜的作戰(zhàn)環(huán)境中對軍事目標(biāo)和民用目標(biāo)進(jìn)行區(qū)分,如何判斷其攻擊范圍和損害程度是符合比例的?盡管國際社會認(rèn)可國際人道法完全適用于所有武器系統(tǒng),包括自主性武器[13],但其引發(fā)的這些問題僅僅依靠國際人道法是無法解決的。

    2.國際武器條約對自主性武器的規(guī)制缺乏針對性

    現(xiàn)行的武器條約主要分為大規(guī)模殺傷性武器(Weapons of Mas Destruction)和對特定常規(guī)武器(Certain Conventional Weapons)的規(guī)制。就大規(guī)模殺傷性武器條約而言,這些條約具有明顯的指向?qū)ο螅春宋淦?、生物武器、化學(xué)武器??v使自主性武器可能會在某些范圍內(nèi)與大規(guī)模殺傷性武器存在交叉,從而受到這些條約的規(guī)制,但就自主性武器本身最具爭議的“自主性能”引發(fā)的守法不確定性以及歸責(zé)真空等問題而言,這些條約是無法觸及的。此外,《特定常規(guī)武器公約》(CCW,下文簡稱CCW)旨在禁止和限制某些具有過分傷害力或?yàn)E殺濫傷作用的常規(guī)武器,如地雷、燃燒武器、特種碎片武器、燃燒空氣彈、激光致盲武器等。公約本身是對區(qū)分原則和比例原則的重申,指出對引起過分殺傷和不必要痛苦的武器的禁止。但同樣的,即便自主性武器完全符合CCW的要求,也不屬于其幾個(gè)附加議定書所明確禁止的武器類型,CCW的規(guī)則也無法回應(yīng)自主性武器的守法不確定性和歸責(zé)真空問題。這源于自主性武器安全問題的根源——“不可預(yù)測性”,即它是否會造成違法后果是不確定的。這個(gè)層面上自主性武器就像戰(zhàn)場上的交戰(zhàn)者一樣,我們不能判斷交戰(zhàn)者本身合法與否(童子軍除外),是否會做出違法行為?;谧灾魑淦鞯淖晕覍W(xué)習(xí)進(jìn)程和算法的設(shè)置,它可能會時(shí)而合法時(shí)而不合法。而對人類交戰(zhàn)者我們尚可以追責(zé),對自主性武器卻不能。因此國際武器條約也無法觸及自主性武器的根本問題。

    二、“有意義的人類控制”理念的國際討論

    針對前述自主性武器給人類倫理以及國際人道法帶來的挑戰(zhàn),國際社會各成員紛紛獻(xiàn)言獻(xiàn)策,有的國家呼吁立即起草一份具有法律約束力的文件對致命性自主武器系統(tǒng)實(shí)施禁令。[3]然而,有部分聲音認(rèn)為自主性武器只要得到合理的運(yùn)用,促使軍事的進(jìn)步,可能在某種程度上使得武裝沖突更為人道化,拯救各方的生命,因此對其進(jìn)行片面的禁止也不利于保護(hù)人的生命權(quán)利。[14](P.85)為此,非政府組織“第36條”提出了“有意義的人類控制”(Meaningful Human Control)這一理念。該組織強(qiáng)調(diào),在任何情況下都應(yīng)當(dāng)對針對個(gè)人的攻擊進(jìn)行“有意義的人類控制”,世界上不存在完全脫離人類設(shè)定的參數(shù)運(yùn)行的全自主武器。[15]此后,該理念受到了國際社會的廣泛討論和青睞,頗有成為引領(lǐng)自主性武器軍控的指導(dǎo)理念之勢。然而,國際社會對“有意義的人類控制”既有的界定嘗試仍然存在明顯的局限性,這意味著對該理念的進(jìn)一步深入探討需要新的思路和視角。

    (一)“有意義的人類控制”引發(fā)國際社會廣泛討論

    “有意義的人類控制”理念一經(jīng)提出即受到來自各界的關(guān)注。盡管內(nèi)涵和實(shí)施方式仍有待明確,但多方仍看好其在解決自主性武器引發(fā)的人道危機(jī)中的有益甚至是核心作用。(5)例如,克里斯托弗·海因斯(Christof Heyns)認(rèn)為,有意義的歸責(zé)取決于有意義的人類控制,自主性武器能否被接受,取決于它是否仍然是人類手中的“工具”,將它們當(dāng)作工具,即是對它們進(jìn)行有意義的人類控制。荷蘭政府認(rèn)為,只要人類在部署自主性武器系統(tǒng)時(shí)針對決策程序進(jìn)行有意義的人類控制,就不會出現(xiàn)歸責(zé)真空,現(xiàn)存的法律制度完全足以懲戒違法者。紅十字國際委員會認(rèn)為“盡管對于其究竟是基于法律、倫理、還是軍事行動或者是政策性的因素,這種控制究竟是‘有意義的’還是‘合適的’抑或是‘有效的’等問題尚不清晰,但各方對于必須保留針對武器系統(tǒng)和使用武力的人為控制已經(jīng)形成了廣泛的共識”,并且紅十字國際委員會也認(rèn)為人類的控制是解決自主性武器系統(tǒng)所帶來的法律、倫理問題的基本路徑之一。參見Christof Heyns. “Panel on Human Rights and Lethal Autonomous Weapons Systems.”CCW Meeting of Experts on LAWS, April 16, 2015, pp.3-5; Netherlands,Examination of various dimensions of emerging technologies in the area of lethal autonomous weapons systems, in the context of the objectives and purposes of the Convention, October 9, 2017, p.3; ICRC. “Views of the International Committee of the Red Cross on Autonomous Weapon system.”CCW Meetings of Experts on LAWS, April 11, 2016, pp.3-4。在此基礎(chǔ)上,“有意義的人類控制”也被納入了自主性武器軍控的國際議題中。2014年起,國際社會以《特定常規(guī)武器公約》締約方會議(CCW會議)(6)該會議最初是以締約方非正式會議的形式進(jìn)行,2017年后轉(zhuǎn)為政府間專家組會議,為敘事簡便,本文統(tǒng)稱為CCW會議。為平臺,對“新興技術(shù)領(lǐng)域的致命性自主武器”進(jìn)行了數(shù)年的討論。2015年,CCW會議就開始了對“有意義的人類控制”這一理念的關(guān)注。其后,部分代表團(tuán)建議可以將“有意義的人類控制”作為評估致命性自主武器的法律、道德和倫理問題的框架。[16]2018年,各國已經(jīng)普遍在CCW會議中達(dá)成共識,認(rèn)定人類控制是專家組未來工作的核心理念。[17]2019年,CCW會議對“有意義的人類控制的討論”已從理念的提出與強(qiáng)調(diào)深入至實(shí)施的方式、實(shí)施的界限等問題。同年,CCW會議還通過了11項(xiàng)專家組確立的針對自主性武器的指導(dǎo)原則[18],這些指導(dǎo)原則成為了2020、2021年會議的討論核心。其中對人類責(zé)任、人機(jī)互動、國家審查、風(fēng)險(xiǎn)評估等措施的強(qiáng)調(diào),實(shí)質(zhì)上都是“有意義的人類控制”理念延伸出來的具體手段。

    然而,美國對“有意義的人類控制”這一理念的表述、操作性等方面表達(dá)了質(zhì)疑,認(rèn)為“有意義的人類控制”這一表述具有較強(qiáng)的主觀性且難以理解,建議以“適當(dāng)?shù)娜祟惻袛唷?Appropriate Levels of Human Judgment)作為替代。[19]美國空軍一研究機(jī)構(gòu)從該理念的判定標(biāo)準(zhǔn)等實(shí)踐操作中的問題上質(zhì)疑該理念的實(shí)踐意義。(7)該報(bào)告肯定了“有意義的人類控制”理念具有直觀吸引力,但指出其仍然需要面臨和定義的問題:“有意義的人類控制”到底是什么?它要求人類從物理層面上真實(shí)地操縱該武器系統(tǒng)嗎?還是說即時(shí)的監(jiān)控就已經(jīng)足夠?人類被抽離出回路外或者說完全自主性的武器能否達(dá)到“有意義的人類控制”的標(biāo)準(zhǔn)?以上這些問題均沒有任何的共識,這使得有意義的控制標(biāo)準(zhǔn)在實(shí)踐中喪失了意義。見Adam Cook, Lieutenant Colonel, USAF. “Taming Killer Roberts:Giving meaning to the ‘Meaningful Human Control’ Standard for Lethal Autonomous Weapon Sysytems.”JAG School Papers, Alabama: Air University Press, 2017, p.18??陀^上來說這些質(zhì)疑有一定的現(xiàn)實(shí)基礎(chǔ),但也不乏維護(hù)其自身利益之嫌。美國信任技術(shù)的發(fā)展可以解決人們的擔(dān)憂,試圖用“判斷”替代“控制”,以充分地利用自主性能的先進(jìn)性。[20]這種論調(diào)下實(shí)際上是將是否運(yùn)用自主性能,多大程度地運(yùn)用自主性能置于操作員和指揮官的主觀決定之下,與客觀上控制自主性能的適用相去甚遠(yuǎn),兩者體現(xiàn)了完全不同的路徑選擇。[21](P.144)而非政府組織“禁止殺人機(jī)器人運(yùn)動”(Campain to Stop Killer Robots)就不認(rèn)同美國的提議,認(rèn)為相比于“控制”,“判斷”和“干預(yù)”等術(shù)語都弱化了人類角色,不足以解決問題,而“有意義”這一修飾語則保障了控制的實(shí)在性。[22](P.2)

    綜上,“有意義的人類控制”由于其易懂性、適當(dāng)?shù)哪:砸约捌渌l(fā)揮的將自主性武器討論焦點(diǎn)從具體的概念問題上轉(zhuǎn)移開,并引導(dǎo)國際社會帶著解決問題的思路前進(jìn)的作用,贏得了國際社會的廣泛青睞。[23](P.5)誠然,質(zhì)疑的聲音告訴我們要具體地描繪這一理念是充滿了現(xiàn)實(shí)挑戰(zhàn)的,但并不代表這不值得國際社會為此而努力。實(shí)現(xiàn)“有意義的人類控制”所面臨的挑戰(zhàn)正是國際社會應(yīng)攜手努力的方向。

    (二)“有意義的人類控制”既有的界定嘗試存在局限

    國際社會深知要想從“有意義的人類控制”這一理念上找到自主性武器軍控的突破口,就必須解決定義問題。于是,部分非政府組織和學(xué)者開始通過列舉控制要素的方式來試圖厘清其定義。這些嘗試主要呈現(xiàn)出以下特征:

    1.聚焦武器應(yīng)用環(huán)節(jié)

    在理念產(chǎn)生之初,各界傾向于將其限制在武器最終的應(yīng)用環(huán)節(jié),關(guān)注在武器被部署、使用的階段內(nèi)實(shí)施控制的抓手。例如,“第36條”作為理念的提出者,概括了“有意義的人類控制”的三大要素:信息、行動和歸責(zé)。(8)第36條認(rèn)為“有意義的人類控制”應(yīng)包含以下要素:1.信息,人類操作員或其他對于攻擊計(jì)劃負(fù)有責(zé)任的人員需要充分了解目標(biāo)區(qū)域的情境、任何特定目標(biāo)被提議作為襲擊對象的理由、任務(wù)的目標(biāo),以及在該情境下該次襲擊所會造成的即刻和嗣后的長效反應(yīng);2.行動,發(fā)動該次襲擊需要人類操作員的積極行動;3.歸責(zé),那些負(fù)責(zé)評估數(shù)據(jù)以及執(zhí)行襲擊的人員應(yīng)當(dāng)對該次襲擊的結(jié)果承擔(dān)責(zé)任。見Article 36.“Killer Robots: UK Government Policy on Fully Autonomous Weapons.”April 2013, pp.3-4, http://www.article36.org/wp-content/uploads/2013/04/Policy_Paper1.pdf。其中歸責(zé)這個(gè)要素看似超出了應(yīng)用環(huán)節(jié),但實(shí)際上仍著眼于應(yīng)用期間進(jìn)行數(shù)據(jù)評估和執(zhí)行襲擊的人員。國際機(jī)器人軍控委員會(ICRAC)認(rèn)為有意義的人類控制意味著指揮官應(yīng)當(dāng)對于目標(biāo)區(qū)域的背景和情境有著足夠的認(rèn)知,并且能夠感知到自計(jì)劃襲擊以來可能出現(xiàn)的任何情境和變化并對其作出反應(yīng)。[24]瑪雅·布雷姆(Maya Brehm)從反面列舉了不能被接受的人類控制的情形,并進(jìn)一步強(qiáng)調(diào),為避免以上三種情況,“信息的獲取”是控制的核心因素,只有獲取了充足信息,相關(guān)人員才能夠合理地預(yù)見使用武力的結(jié)果,才能夠進(jìn)一步做出使用武力的合法性評估。(9)不能接受的控制方式包括:1.使用無法在時(shí)間和空間上對其進(jìn)行控制的武器;2.使用具有移動組件的武器系統(tǒng),該組件可以自由漫游并在多個(gè)位置施加武力,而無需在很長一段時(shí)間內(nèi)向人報(bào)告;3.人類的控制僅僅體現(xiàn)為每次亮燈時(shí)按下按鈕,而并不需要獲取任何信息,因此并非所有形式的人類控制都是充足、有意義的。Maya Brehm. “Meaningful Human Control.” April 14, 2015, p.7, https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-_Informal_Meeting_of_Experts_(2015)/BREHM_Presentation%2Bon%2BMHC_14.04.2015.pdf.新美國安全研究中心(CNAS)在“第36條”等組織和學(xué)者的研究基礎(chǔ)上,結(jié)合當(dāng)下對武器控制的實(shí)踐情形得出“有意義的人類控制”應(yīng)當(dāng)包含以下三個(gè)要素:“(1)人類操作員在獲得信息的基礎(chǔ)上就武器的使用作出理性的決定;(2)人類操作員獲得了充分的信息使其知曉目標(biāo)、武器以及行動的背景等問題,以保障其作出合法的行動;(3)為保證對武器的有效控制,對其進(jìn)行設(shè)計(jì)并測試,人類操作員也應(yīng)當(dāng)?shù)玫胶线m的訓(xùn)練?!盵25](P.15)非政府組織“國際非暴力組織”(Nonviolence International)認(rèn)為,有意義的人類控制意味著人類將參與武器部署的每一個(gè)部分,包括啟動、發(fā)射、選取或取消目標(biāo)、召回以及關(guān)閉等階段。[26](P.10)不難看出,以上對“有意義的人類控制”的界定均重點(diǎn)關(guān)注武器的應(yīng)用環(huán)節(jié),具有較強(qiáng)的實(shí)踐性和技術(shù)性。然而,技術(shù)畢竟是日新月異的,今天關(guān)于具體操作和應(yīng)用的討論或許明天就已經(jīng)不再成立,過分關(guān)注實(shí)際應(yīng)用操作中的控制手段則容易導(dǎo)致“一葉障目”,難以從預(yù)防、追責(zé)的角度宏觀地把握該理念的內(nèi)涵,也難以真正地實(shí)現(xiàn)對自主性武器守法困境和歸責(zé)困境的化解。

    2.缺乏現(xiàn)實(shí)性和靈活性

    部分提議強(qiáng)調(diào)操作員充分的信息獲取以及完美的目標(biāo)及其環(huán)境認(rèn)知,且要求必須存在能夠迅速中止或終止襲擊的方法。實(shí)際上,在現(xiàn)實(shí)的戰(zhàn)場環(huán)境中操作員對信息的獲取時(shí)常是有限的,而這些提議所要求的充分信息究竟到達(dá)什么程度?如果一定要圍繞著這個(gè)技術(shù)性問題進(jìn)行爭論則很可能將議題引入歧途。此外,這些提議在聚焦武器應(yīng)用環(huán)節(jié)的同時(shí),也存在著過于具體化的問題,這就意味著適用范圍的局限。新美國安全研究中心不斷地強(qiáng)調(diào)人類操作員的重要性,但又曾提出過“放手讓機(jī)器自主行動能得到比人類參與更符合國際法的結(jié)果時(shí),也可以說是一種有意義的控制”的說法[27](P.6),兩者存在著潛在沖突。將控制著眼于當(dāng)下人類操作員的顯在角色,同時(shí)也預(yù)見到未來脫離人類操作員的武器可能會產(chǎn)生更加符合“有意義的人類控制”的結(jié)果,這些提議明顯脫離了戰(zhàn)場的現(xiàn)實(shí),過于理想化,不僅沒能涵蓋既存的現(xiàn)實(shí)情況,也沒能延伸到因武器自主性的提升導(dǎo)致的可能出現(xiàn)的新情況。[25](P.10)

    綜上,不論是從正面、反面,抑或是從信息的獲取還是操作員的培訓(xùn)等角度出發(fā),這種從技術(shù)與應(yīng)用層面對“有意義的人類控制”進(jìn)行的定義,往往難以同時(shí)保證其現(xiàn)實(shí)可行性和對科技發(fā)展的預(yù)見性。缺乏詳盡、明確性和高度適應(yīng)性的語言表達(dá)會導(dǎo)致無法發(fā)揮對國家行為有意義的規(guī)制作用,因此“有意義的人類控制”這一術(shù)語并未被納入CCW會議所確立的11項(xiàng)指導(dǎo)原則中。[28](P.2)然而,這并不意味著“有意義的人類控制”這一理念在自主性武器軍控進(jìn)程中的重要性被削弱,相反,11項(xiàng)指導(dǎo)原則所提及的“人類責(zé)任”“人機(jī)互動”等要求均是“有意義的人類控制”的題中之義。因此,國際社會未來應(yīng)以該理念為著力點(diǎn),轉(zhuǎn)變視角,開發(fā)新思路,賦予“有意義的人類控制”更清晰、普適且具有操作性的界定表述。

    三、“有意義的人類控制”理念界定的國際法視角

    如前所述,由于“有意義的人類控制”這一術(shù)語現(xiàn)有的界定嘗試存在缺陷,國際社會對其內(nèi)涵也有著不同的認(rèn)知,所以它尚不具備直接廣泛約束國際社會成員的能力和適應(yīng)性。就武器的自主性和“有意義的人類控制”而言,我們在建立共通定義和術(shù)語方面,還有很長的路要走。[29](P.56)除了要研究人類應(yīng)當(dāng)在自主性武器的哪些方面進(jìn)行“有意義的人類控制”以外,還必須明確由誰來進(jìn)行控制,除非明確控制行為的主體,否則無法使這一理念在法律層面得到確認(rèn)并據(jù)此建立責(zé)任制度。[30](P.867)“有意義的人類控制”需要共同、普適且能適應(yīng)技術(shù)變革的共通定義,也需要在法律層面予以確認(rèn)并保障實(shí)施。首先,法律規(guī)范的抽象性和概括性可以解決界定時(shí)技術(shù)性的細(xì)枝末節(jié)引發(fā)的爭議;其次,自主性武器引發(fā)的是國際安全問題,而同時(shí)又涉及主權(quán)與內(nèi)政,這意味著國家須得以主權(quán)讓渡的形式為“有意義的人類控制”做出承諾?;诖?,國際法的視角或許能為我們提供新的思路。

    (一)國際法是界定“有意義的人類控制”的理想工具

    法律規(guī)則具有兩點(diǎn)特征:其一是有效性,即法律拘束力;其二是一般性,即非僅適用于特定事件。[31](P.125)首先,區(qū)別于道德、倫理、政策等,法律是一種代表著國家意志且具有國家強(qiáng)制性的社會規(guī)范[32](P.93),法律拘束力為“有意義的人類控制”提供了實(shí)施的保障。其次,法律的一般性賦予其抽象且反復(fù)適用的特性[32](P.93),為凝練和概括“有意義的人類控制”的關(guān)鍵要素提供了規(guī)范性的基礎(chǔ)。而國際法作為法律規(guī)范的一種(10)《奧本海國際法》(第8版)在一開始就論述“國際法是法律”。參見勞特派特修訂《奧本海國際法》(平時(shí)法第一分冊),王鐵崖、陳體強(qiáng)譯,北京:商務(wù)印書館,1981年,第3頁。同樣存在有效性與一般性兩個(gè)基本特征,同時(shí)又因其特殊性對自主性武器的規(guī)制和“有意義的人類控制”的界定和實(shí)施有著獨(dú)特的作用。國際法的主體主要是國家,制定者是國家,國際法的強(qiáng)制力依靠國家單獨(dú)或集體的行動。[33](P.3)國際社會是一個(gè)平行社會,各國的國內(nèi)法只能管控其主權(quán)范圍內(nèi)的事務(wù),不得干涉他國的內(nèi)政。由于各國對軍事利好和國家安全的本能追求,“有意義的人類控制”無法依靠主權(quán)國家的道德感與自覺性得到落實(shí),必須通過國際法這種確立國家之間的權(quán)利與義務(wù)的法律形式賦予其法律拘束力?;诖?,國際法因自主性武器受到威脅,而國際法又是自主性武器軍控的目標(biāo),因而也得以成為“有意義的人類控制”的理想界定工具。

    1.國際法的界定方式是一種目標(biāo)導(dǎo)向的務(wù)實(shí)進(jìn)路

    有效的軍控制度應(yīng)當(dāng)包含可信的承諾,而可信的承諾取決于其是否具有法律拘束力,法律拘束力越強(qiáng),則違反該承諾的名譽(yù)成本就越高,在缺乏拘束性義務(wù)的情況下,違背承諾可能成為一種常態(tài)。[34](PP.128-129)為最大限度地降低自主性武器給國際和平與安全帶來的負(fù)面影響,許多CCW與會者表達(dá)了對“搶先性規(guī)制”(Pre-emitive Regulation)的支持(11)國際機(jī)器人軍控委員會(ICRAC)、斯里蘭卡、巴基斯坦、中國等國家和非政府組織均表達(dá)過對搶先性規(guī)制的支持。見ICRAC. International Committe for Robot Arms Control opening statement to the CCW Meetings of Experts on LAWS, April 13, 2015; Sirilanka. Statement by Sirilanka, Informal CCW Meeting of Experts on Lethal Autonomous Weapon Systems (LAWS), April 13, 2015; Pakistan. Statement by Pakistan Delegation during the Session on“Way Ahead”, Informal CCW Meeting of Experts on Lethal Autonomous Weapon Systems (LAWS), April 17, 2015; China. Statement of the Chinese Delegation of the Thematic Discussion on Conventional Arms Control at the First Commitee of the 74th Session of the UNGA, NewYork, October, 2019, p.3。,這意味著國際社會要致力于形成一個(gè)規(guī)范自主性武器的國際條約。若將此作為規(guī)范自主性武器的階段性目標(biāo),則對“有意義的人類控制”的界定方向就變得更加清晰。在以國際條約為導(dǎo)向的界定過程中,技術(shù)性的問題不應(yīng)被忽視,但也不能被作為主要的界定要素。我們應(yīng)當(dāng)思考的是,國際社會需要通過這項(xiàng)國際條約就哪些事項(xiàng)為哪些主體設(shè)置義務(wù)?這些義務(wù)應(yīng)當(dāng)包含哪些具體的事項(xiàng)?簡而言之,運(yùn)用國際法的視角來界定“有意義的人類控制”就是在國際條約中明確哪些國際法主體應(yīng)對涉及自主武器的哪些事項(xiàng)履行哪些義務(wù)。這樣一來即可避免當(dāng)下對該理念界定的局限視角以及缺乏靈活性的問題。

    2.國際法的界定方式是一種問題導(dǎo)向的高效進(jìn)路

    如前所述,國際社會對自主性武器的擔(dān)憂主要集中于其潛在的守法不確定性及其導(dǎo)致的歸責(zé)真空問題。而現(xiàn)行的國際法規(guī)又無法針對性地解決這些問題,因此“有意義的人類控制”這一理念的提出具有內(nèi)在的指向性——針對性地解決自主性武器帶給國際法的獨(dú)特挑戰(zhàn),進(jìn)而言之即解決其守法不確定性和歸責(zé)真空問題。一個(gè)法律漏洞的產(chǎn)生無法通過技術(shù)的發(fā)展得到完美地解決,只有同樣運(yùn)用法律手段才能填補(bǔ)其漏洞。只有運(yùn)用國際法的進(jìn)路才能夠通過確立國際義務(wù)的方式約束主權(quán)國家片面追求自主性武器的自利行為,要求各國在研發(fā)、部署自主性武器時(shí)堅(jiān)持審慎原則,更加謹(jǐn)慎地考量其中的人道因素,以求國際人道法得到更好地遵守;只有運(yùn)用國際法的進(jìn)路才能夠促使國際社會和各主權(quán)國家完善國際國內(nèi)相關(guān)法律制度,確立問責(zé)制度,避免歸責(zé)真空。總而言之,運(yùn)用國際法的進(jìn)路能夠?qū)ψ灾餍晕淦鲙淼膯栴}點(diǎn)對點(diǎn)地進(jìn)行解決,是一種現(xiàn)階段更為高效的選擇。

    (二)國際法視角下“有意義的人類控制”的構(gòu)成要件

    正如美國在CCW會議上提出的關(guān)于“致命性自主武器系統(tǒng)”定義的看法:嘗試去對這種復(fù)雜的機(jī)器智能問題作出準(zhǔn)確的定義是不正確的,問題的關(guān)鍵在于從法律角度而言什么是重要的。[35]依據(jù)這一思路,堅(jiān)持從技術(shù)的角度來探討“有意義的人類控制”的定義或許也是一條“彎路”,要使這一理念能切實(shí)地解決自主性武器所引發(fā)的人道主義危機(jī),就不能將其限定為一個(gè)技術(shù)性的理念,而應(yīng)當(dāng)讓法學(xué)家、倫理學(xué)家、政治學(xué)家以及科學(xué)家甚至普通民眾都能夠讀懂。湯普森·成格塔(Thompson Chengeta)曾嘗試從法律的角度去界定“有意義的人類控制”,認(rèn)為如果要將“有意義的人類控制”定義為一個(gè)法律術(shù)語,至少作為一個(gè)法律責(zé)任的術(shù)語,就需要將其定義縮小至某一特定主體上,即作為該武器最終使用者的戰(zhàn)斗員。[30](PP.868-883)這種法律的進(jìn)路為“有意義的人類控制”的定義提供了一種新的思路,通過界定控制主體、控制目的、控制方式等問題來應(yīng)對科技水平不斷變化,賦予了“有意義的人類控制”較強(qiáng)的靈活性與適應(yīng)性。如前所述,國際法是界定“有意義的人類控制”的理想工具,而國際法作為法律規(guī)范的一種本身所具有的特點(diǎn)為“有意義的人類控制”理念的清晰化提供了獨(dú)特的思路。

    1.國際法視角下“有意義的人類控制”的主體是主權(quán)國家

    除湯普森·成格塔建議將“有意義的人類控制”的主體確立為最終使用者外,也有組織呼吁要求所有與自主性武器有關(guān)的人和組織均應(yīng)當(dāng)保持對其的“有意義的人類控制”,進(jìn)一步擴(kuò)大了主體范圍。[28](P.3)但從國際法的視角來看,“有意義的人類控制”的主體界定為主權(quán)國家才能在符合法理的情況下具備現(xiàn)實(shí)可行性。從法理上來說,國家是國際法的基本主體,國家也是通過締結(jié)條約享有權(quán)利、承擔(dān)義務(wù)的最重要主體。因此,以締結(jié)條約為目標(biāo)的自主性武器軍控中,國家是最重要的軍控實(shí)施者,也是“有意義的人類控制”最基本的實(shí)施主體。從實(shí)踐上來說,國家是主權(quán)的享有者,國家主權(quán)對外表現(xiàn)為獨(dú)立權(quán),對內(nèi)表現(xiàn)為控制權(quán)。[36](P.75)主權(quán)實(shí)質(zhì)上是一種治理權(quán),是社會中一部分人的權(quán)利,它意味著在一個(gè)確定地域之內(nèi)主掌者對于群體的命令,群體因而承受強(qiáng)加的成本,服從于主掌者的意志。[37](P.209)因此,只有擁有對內(nèi)最高控制權(quán)的國家,才可以全面貫徹執(zhí)行人類對自主性武器保持“有意義的人類控制”。

    2.國際法視角下“有意義的人類控制”的范圍是自主性武器生命周期的所有環(huán)節(jié)

    2016年,“第36條”將控制的焦點(diǎn)從單一的應(yīng)用環(huán)節(jié)擴(kuò)大到設(shè)計(jì)和開發(fā)階段,并提出了人類控制的“三層進(jìn)路”——戰(zhàn)前、戰(zhàn)中、戰(zhàn)后,即人類的控制應(yīng)當(dāng)通過戰(zhàn)爭前后的一系列機(jī)制得到保證。[38](P.4)具體而言,除襲擊時(shí)的人類控制外,它建議戰(zhàn)前環(huán)節(jié)制定政策劃定邊界,同時(shí)強(qiáng)調(diào)武器的設(shè)計(jì)、開發(fā)以及獲取和操作人員的訓(xùn)練;而在戰(zhàn)后則強(qiáng)調(diào)歸責(zé)的有力。[38](PP.5-6)以參戰(zhàn)與否作為劃分節(jié)點(diǎn)顯然與現(xiàn)實(shí)存在一定的落差。實(shí)際上,大多數(shù)武器并不會真實(shí)地參與武裝沖突,而即便真實(shí)地參與到了武裝沖突中,其生產(chǎn)者與使用者也可能存在差異,這種界定方式給法律條文的設(shè)置加大了難度。國際機(jī)器人軍控委員會認(rèn)為“有意義的人類控制”應(yīng)當(dāng)設(shè)定為一項(xiàng)普遍性的條文,下設(shè)“訓(xùn)練”“設(shè)計(jì)”“使用”三個(gè)部分。[23](P.4)這些界定雖仍存在局限,但就擴(kuò)大“有意義的人類控制”的適用范圍而言,是具有啟發(fā)性的。只有擴(kuò)大視角,將目光從單純的應(yīng)用層面拔高才能全面地把握問題的解決之道。而考慮到法律條文的一般性,概括性的語言是其具有廣泛適用性的根源,因此“有意義的人類控制”的對象應(yīng)界定為自主性武器生命周期(Life Cycle)的所有環(huán)節(jié)。2020年,瑞典代表團(tuán)提交報(bào)告表示,人類的控制應(yīng)當(dāng)貫穿武器系統(tǒng)的整個(gè)生命周期,包括使決策者充分認(rèn)知到武器系統(tǒng)的特性、賦予復(fù)雜的武器系統(tǒng)以嚴(yán)密的操作規(guī)范等,這些都是人機(jī)交互措施的一部分。[39]這項(xiàng)建議是符合現(xiàn)實(shí)且具有較強(qiáng)適應(yīng)性的。

    3.國際法視角下“有意義的人類控制”目的是平衡軍事利好與人道考量

    湯普森·成格塔提出“有意義的人類控制”目的在于彌補(bǔ)可能存在的歸責(zé)真空。[30](P.870)實(shí)際上,全面地禁止自主性武器也可以防止歸責(zé)真空的出現(xiàn),但與“有意義”這一要求背道而馳。自主性武器不僅給國際社會帶來了挑戰(zhàn),也給各國軍隊(duì)帶來了難以抗拒的軍事利好。以美國為首的部分國家始終強(qiáng)調(diào)自主性武器潛在的守法優(yōu)勢,相信技術(shù)的發(fā)展可以使得這類武器的使用可以產(chǎn)生更好的守法效果,主張自主性武器某種程度上是與國際人道法的要義完全契合的。[12](PP.3-4)基于挑戰(zhàn)與利好的同時(shí)存在,國際社會就不能以禁止和限制人工智能技術(shù)發(fā)展為導(dǎo)向去進(jìn)行“有意義的人類控制”。因此,也只有兼顧了軍事利好與人道考量的控制手段,才是“有意義的”。正如弗蘭克·索爾(Frank Sauer)所說:“將人類與計(jì)算機(jī)的力量結(jié)合在一起,配以做出瞄準(zhǔn)、攻擊目標(biāo)等決策時(shí)的‘有意義的人類控制’,才能夠更好地實(shí)現(xiàn)軍事目標(biāo),從策略、法律以及倫理角度而言,也只有這樣才是最明智的道路?!盵40]如何判斷控制手段達(dá)到了平衡?或者說如何判斷其“有意義”呢?專家們和國際組織倡導(dǎo)人類應(yīng)該“在回路中”(Human in the Loop),但并未明確人類參與程度?!霸诨芈分小笨梢允莾H僅按下按鈕表明目標(biāo)已被檢測到,也可以是在對目標(biāo)發(fā)起攻擊前針對其合法性進(jìn)行完全的人類判斷。[41](P.4)國際機(jī)器人軍控組織認(rèn)為“有意義的人類控制”有三個(gè)層面的要求:首先必須要提供一個(gè)“防錯(cuò)機(jī)制”(Fail-Safe Machanism);其次要促進(jìn)歸責(zé)的進(jìn)行;最后,要確保其具有道德性。[23](P.2)這為我們對控制力度的細(xì)化提供了思路,至少可以明確控制的下限在于保證自主性武器造成違法后果后能夠依法追責(zé)到相關(guān)責(zé)任主體。

    四、“有意義的人類控制”理念實(shí)施的國際法路徑

    運(yùn)用國際法界定“有意義的人類控制”目的在于化解自主性武器對國際法的挑戰(zhàn),實(shí)現(xiàn)國際法對其的有效規(guī)制。因此運(yùn)用國際法實(shí)施“有意義的人類控制”是本文,也是國際社會應(yīng)對自主性武器人道危機(jī)的邏輯必然。

    (一)在CCW框架下形成“有意義的人類控制”法律原則

    1.在CCW框架下形成針對自主性武器的附加議定書

    CCW旨在約束戰(zhàn)爭和武裝沖突中各方的作戰(zhàn)手法,并禁止使用可能引起過分傷害或者不必要的痛苦的武器、彈藥、材料和作戰(zhàn)方法,是一個(gè)致力于在軍事必要性和人道主義考量中達(dá)成平衡的公約。[42](P.2)CCW為自主性武器提供的討論平臺擁有最多元化的參與者,是國際社會對自主性武器討論最深入、成效最突出、影響最廣泛的場合,也是最有可能形成具有針對性的自主性武器軍控制度的場合。[9](P.154)對此,俄羅斯代表表示,CCW作為能夠最大程度地保證人道考慮和國家合法的安全利益之間平衡的國際法工具,是討論自主性武器問題最合適的平臺。[43](P.1)這一觀點(diǎn)也得到了會議專家組的肯定,他們強(qiáng)調(diào)CCW的模塊性質(zhì)和不斷演變的性質(zhì),及其力求在人道主義考慮和軍事必要性之間取得平衡和為多個(gè)利益攸關(guān)方提供參與的機(jī)會,使其成為可以就該議題開展針對性和參與性討論并達(dá)成共識的理想平臺。[17]2018年,智利、奧地利、巴西共同提交了一項(xiàng)提案,表示各國應(yīng)當(dāng)在CCW框架下就針對致命性自主武器進(jìn)行“有意義的人類控制”的問題協(xié)商達(dá)成一項(xiàng)具有法律拘束力的文件。[44]2019年,CCW會議專家組根據(jù)各方共識,將“CCW提供了適當(dāng)?shù)目蚣?,可在CCW的目標(biāo)和宗旨的范圍內(nèi)處理致命性自主武器系統(tǒng)領(lǐng)域新技術(shù)的問題,力求在軍事必要性和人道主義考慮之間求得平衡”確立為當(dāng)下應(yīng)對自主性武器挑戰(zhàn)的原則之一。[45]CCW本身具有一定的宣言性質(zhì),包含五個(gè)涉及特定常規(guī)武器的附加議定書。這種規(guī)范模式正好契合自主性武器的規(guī)制需求。

    2.確立“有意義的人類控制”作為自主性武器軍控的指導(dǎo)性國際法原則

    諾埃爾·沙基(Noel Sharkey)很早就為國際社會有效實(shí)施“有意義的人類控制”提供了一個(gè)建設(shè)性的思路——“國際社會必須將人類的監(jiān)管控制確立為法律原則”[41](P.21)。羅納德·德沃金(Ronald Myles Dworkin)認(rèn)為:法律規(guī)則與法律原則之間存在質(zhì)的差別,他們在適用方式、例外可否被完全列舉、是否具有重要性維度等方面存在差異。[46](P.26)具體而言,法律規(guī)則要么適用,要么不適用,而法律原則的適用則存在一定的權(quán)衡和比對;法律規(guī)則的例外可以完全列舉,而法律原則反之;法律規(guī)則不具有重要性維度,而法律原則具有。[47](P.23)法律原則相較于法律規(guī)則具有一定程度的模糊性和宏觀性,它帶著立法者的價(jià)值判斷,也指導(dǎo)著具體規(guī)則的價(jià)值和文本構(gòu)建。美國學(xué)者莎拉·克雷普斯(Sarah E. Kreps)經(jīng)過對各類軍控協(xié)議文本進(jìn)行研究后認(rèn)為“法律化程度越高并不必然導(dǎo)致合作,相反還可能會阻礙合作”;“當(dāng)涉及簽訂長期協(xié)議所面臨的不確定性時(shí),國家往往更青睞擁有更加靈活機(jī)制的軍控協(xié)議”。[34](PP.131-132)如此一來,由于其模糊性與宏觀性,法律原則的先行確立就是國際社會凝聚共識的可行之路。據(jù)此,國際社會處理國際海底資源的經(jīng)驗(yàn)值得借鑒。

    20世紀(jì)60年代,鑒于國際海底資源的國際法規(guī)制尚處空白,而國際社會已有搶占該區(qū)域之趨勢。1967年,馬耳他駐聯(lián)合國代表阿維爾·帕多(Avrid Pardo)在第22屆聯(lián)大會議上提出宣布深海大洋底是人類共同繼承的財(cái)產(chǎn)的建議。據(jù)此,聯(lián)大通過第2340號決議,即“各國現(xiàn)行管轄范圍以外,公海海洋底及其底土的和平利用,以及資源用于人類福利問題”的決議。[48]阿維爾·帕多后續(xù)的辯論中提出了一系列設(shè)想:遠(yuǎn)期設(shè)想即建立一個(gè)為人類共同利益服務(wù)的特別機(jī)構(gòu),該機(jī)構(gòu)將被賦予充分的權(quán)力以對國家管轄外水域及其底土進(jìn)行管理,但由于時(shí)間倉促以及該設(shè)想尚未得到充分討論,近期應(yīng)以提出相應(yīng)的指導(dǎo)原則為主要任務(wù)。這些原則綜合而言,即是“人類共同繼承的財(cái)產(chǎn)原則”。(12)這些原則包括“(a)國家管轄范圍以外的海床洋底不應(yīng)為任何國家所占有;(b)區(qū)域勘探應(yīng)遵從聯(lián)合國憲章的原則和目的;(c)區(qū)域的利用和經(jīng)濟(jì)開發(fā)應(yīng)保證人類利益為目的,并應(yīng)主要用于促進(jìn)貧窮國家的發(fā)展;(d)區(qū)域應(yīng)保留轉(zhuǎn)為和平目的”。 UNGA.Examination of the question of the reservation exclusively for peaceful purposes of the seabed and the ocean floor, and the subsoil thereof, underlying the high seas beyond the limits of present national jurisdiction, and the use of their resources in the interests of mankind Page General debate, A/C.1/PV.1515, November 1, 1967.此后,聯(lián)合國大會于1970年通過了第2749號決議,即“管理國家管轄范圍以外海床洋底及其底土原則宣言”,正式確立了國際海底及其資源屬于“人類共同繼承財(cái)產(chǎn)”這一法律原則。[49]該原則的確立,極大地提高了后續(xù)第三次海洋法會議制定國際海底開發(fā)制度的效率,成為了指導(dǎo)各國談判的基本原則。

    當(dāng)問題已經(jīng)凸顯,而關(guān)于具體措施的共識尚需醞釀中時(shí),國際海底區(qū)域的經(jīng)驗(yàn)顯示出原則先行是可行且有效的。相似地,隨著人工智能技術(shù)的軍事化,武器的自主性能不斷提升,人道主義危機(jī)已經(jīng)迫在眉睫,而軍控規(guī)則卻仍為赤字。國際法為了協(xié)調(diào)不同國家的利益,必然以一定程度含混模糊的方式呈現(xiàn),以使所有簽字國認(rèn)為該法律文件承認(rèn)其國家利益。[50]就自主性武器軍控而言,國際社會有一定的共識基礎(chǔ),但仍缺乏對具體措施的探討,因?yàn)檫@勢必將觸及某些國家的利益,當(dāng)下對其進(jìn)行談判將是艱難且耗時(shí)長久的,不符合人道危機(jī)迫在眉睫的現(xiàn)狀。此外,這種路徑也能夠避免條約因科技的進(jìn)步而過時(shí)。[51](P.3)因此,以一定程度上含混模糊的方式先行確立指導(dǎo)軍控的法律原則既能鞏固共識,又能初步提高各國對自主性武器管控的意識,是目前應(yīng)對挑戰(zhàn)的最為可行之路。而其本身具有的“有益的模糊性”也是“有意義的人類控制”受到國際社會青睞的重要因素。[23](P.5)國際法為國際社會提供行動的原則和指引,各主權(quán)國家積極響應(yīng)國際法的要求,認(rèn)真貫徹落實(shí)國際法所確立的法律原則,才能實(shí)現(xiàn)一個(gè)國家的國際義務(wù)與國內(nèi)權(quán)力的良性互動。

    (二)在“有意義的人類控制”原則指導(dǎo)下探討締約國的具體義務(wù)

    條約必須遵守被稱為國際社會交往的重要原則之一,它意味著各政治體作為一個(gè)獨(dú)立的機(jī)構(gòu),在與其他政治體進(jìn)行國際交往時(shí),須按照所參加條約的規(guī)范行事;當(dāng)條約的內(nèi)容涉及國內(nèi)民商事主體的行為時(shí),各政治體必須妥善處理所參加的國際條約與國內(nèi)法的關(guān)系。[52](PP.200-201)締約國有義務(wù)通過其對內(nèi)主權(quán)促使“有意義的人類控制”原則在其國內(nèi)得到落實(shí),而這些具體的手段與措施應(yīng)被作為一個(gè)可持續(xù)的議題,以應(yīng)對可能出現(xiàn)的新技術(shù)與新動向。

    1.宏觀上為實(shí)施“有意義的人類控制”做出政策指引

    一個(gè)國家的政策方向影響著其國內(nèi)各行各業(yè)的發(fā)展態(tài)勢,如果一國的宏觀政策僅強(qiáng)調(diào)人工智能技術(shù)的發(fā)展和運(yùn)用,不考慮其中所涉的任何法律和人道因素,則在該政策引導(dǎo)下的相關(guān)行業(yè)、產(chǎn)業(yè)、部門、單位都不會將法律和人道的考量作為研發(fā)、生產(chǎn)或部署自主性武器時(shí)的評估標(biāo)準(zhǔn)。例如,美國國防創(chuàng)新委員會于2019年發(fā)布了《人工智能原則:國防部人工智能應(yīng)用倫理的若干建議》,要求人工智能的軍事應(yīng)用應(yīng)當(dāng)堅(jiān)守“公平、負(fù)責(zé)、可控、可靠、可追蹤”等原則[53],這些原則受到了國防部的認(rèn)可與采納,從而進(jìn)一步為自主性武器的安全運(yùn)用劃定了界限。2019年,中國國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能》,其中強(qiáng)調(diào)了人工智能技術(shù)發(fā)展中的可控性和責(zé)任承擔(dān)問題。[54]2021年,該委員會又發(fā)布《新一代人工智能倫理規(guī)范》,要求將倫理道德融入人工智能全生命周期,再次強(qiáng)調(diào)人工智能的可控可信和人類的責(zé)任擔(dān)當(dāng)。[55]這些均是從宏觀政策層面引導(dǎo)人工智能技術(shù)發(fā)展的有益嘗試。在“有意義的人類控制”原則指導(dǎo)下各締約國通過在其國家政策中強(qiáng)調(diào)軍事人工智能以及自主性武器的安全問題,強(qiáng)調(diào)研制、開發(fā)和后續(xù)一系列進(jìn)程中的倫理和法律考量,可以為后續(xù)的一系列針對“有意義的人類控制”的工作落實(shí)提供有力的政策基礎(chǔ)和價(jià)值指引。

    2.微觀上對自主性武器整個(gè)生命周期進(jìn)行“有意義的人類控制”

    在自主性武器中保持人類的介入需要解決兩個(gè)問題:其一,如何保障人類的介入在“質(zhì)”的層面合適;其二,如何建立屬于人類操作員的控制特權(quán)。要解決這兩個(gè)問題,將目光局限于武器的部署和使用階段顯然是不夠的。[23](P.8)在自主性武器與人類的互通過程中存在“人機(jī)交互界面”,其中有以下接觸點(diǎn):(1)發(fā)展前階段的政治方向;(2)研究與發(fā)展;(3)測試、評估和認(rèn)證;(4)部署、培訓(xùn)、指揮和控制;(5)使用和中止;(6)使用后評估。[17]這些接觸點(diǎn)實(shí)質(zhì)上就是自主性武器生命周期中的關(guān)鍵環(huán)節(jié),各國在履行控制義務(wù)時(shí)可以從以上接觸點(diǎn)入手,對自主性武器保持足夠且適度的控制。例如,前期的法律審核、中期的合法性監(jiān)管、完成后的合法性測評;從立法的層面明確設(shè)計(jì)者、編程者、生產(chǎn)者的責(zé)任;在啟動階段,對任務(wù)類型、目標(biāo)類型、武力類型、運(yùn)作的環(huán)境、時(shí)間等因素進(jìn)行限制。[10](P.13)CCW會議專家組于2019年形成了11項(xiàng)適用于自主性武器的原則,其中許多內(nèi)容都涉及在自主性武器生命周期中的微觀控制。例如,應(yīng)考慮到實(shí)體安保和適當(dāng)?shù)姆菍?shí)體保障(包括針對黑客攻擊或數(shù)據(jù)欺騙等)網(wǎng)絡(luò)安全、落入恐怖主義團(tuán)體手中的風(fēng)險(xiǎn)和擴(kuò)散的風(fēng)險(xiǎn)等問題;應(yīng)考慮在武器的設(shè)計(jì)、發(fā)展、測試和部署周期中采取風(fēng)險(xiǎn)評估和減小風(fēng)險(xiǎn)的措施。[45]除此之外,恐怖分子也在積極尋找這類系統(tǒng),非法的轉(zhuǎn)讓可能意味著致命性自主武器系統(tǒng)落入非國家行為體之手[16],因此有必要考慮設(shè)置流通限制,并建立相關(guān)的問責(zé)制度。

    3.強(qiáng)調(diào)法律審查和問責(zé)機(jī)制的構(gòu)建

    就法律審查而言,1997年的《日內(nèi)瓦公約第一附加議定書》第36條明確要求,在對新武器、新的戰(zhàn)爭手段或方式進(jìn)行研究、開發(fā)、獲取、適用等情形時(shí),締約國有義務(wù)判定其在某些情形下是否受到該議定書或其他于該締約國有效的國際法規(guī)則所禁止。據(jù)此,法律審查義務(wù)本身就存在國際法基礎(chǔ),而在“有意義的人類控制”原則下對其的再次確認(rèn)與強(qiáng)調(diào)集中突出了對自主性武器進(jìn)行法律審查的迫切和必要性。法律通過對于行為模式的后果設(shè)定來指引行為體(法律行為者或者法律主體)何種行為受到鼓勵(lì)、何種行為被容忍、何種行為被限制、何種行為被禁止。[56](P.91)國際法亦然,對違法行為的歸責(zé)是國際法的基礎(chǔ)問題,它不僅關(guān)系到受害者的救濟(jì)權(quán),還能樹立法律權(quán)威,起到警示作用。[57](P.5)“有意義的人類控制”被認(rèn)為是填補(bǔ)可能存在的歸責(zé)真空的重要路徑。由于國際法對于個(gè)人的追責(zé)方式、情形以及涉及的罪名有限,單純依靠國際法來建立對自主性武器在研發(fā)、生產(chǎn)、部署、適用等環(huán)節(jié)的所有相關(guān)人員的問責(zé)制度并不簡單,也不現(xiàn)實(shí),畢竟各國有著不同的意識形態(tài)和法律制度。就目前的國際法而言,除國家、戰(zhàn)斗員與指揮員以外,向自主性武器所涉其他環(huán)節(jié)的相關(guān)企業(yè)、研發(fā)人員進(jìn)行追責(zé)相當(dāng)復(fù)雜與困難。(13)例如《羅馬規(guī)約》《前南國際刑事法庭規(guī)約》以及《盧旺達(dá)國際刑事法庭規(guī)約》都對個(gè)人(無論是自然人還是法人)承擔(dān)國際刑事責(zé)任做出了主觀故意的要求。為此,在“有意義的人類控制”原則的指引下,要求締約國建立相關(guān)問責(zé)制度能夠從國內(nèi)法角度彌補(bǔ)過失犯罪在國際刑法中難以被歸責(zé)的漏洞,保障受害人的權(quán)利得到有效救濟(jì)。

    五、結(jié)語

    雖面臨界定的難題,“有意義的人類控制”仍因其適當(dāng)?shù)哪:院透爬ㄐ猿蔀樽灾餍晕淦飨到y(tǒng)軍控的指引性理念和國際社會達(dá)成共識的潛在焦點(diǎn)。近年來,各方對該理念的界定嘗試未能從實(shí)踐性和預(yù)見性等角度描繪其全貌。而當(dāng)下,人工智能技術(shù)的軍事化已經(jīng)不可避免,主權(quán)國家片面追求武器高自主性的自利行為也難以控制,這種趨勢帶來的人道主義危機(jī)是不容忽視的?;谶@種迫切的危機(jī)和規(guī)范需求,國際社會應(yīng)轉(zhuǎn)換思路,從技術(shù)性的視角轉(zhuǎn)換至法律性的視角,探討如何運(yùn)用國際法的思維界定和實(shí)施“有意義的人類控制”,這是從法理和現(xiàn)實(shí)角度邏輯的必然。中國將“構(gòu)建人類命運(yùn)共同體”作為新時(shí)代大國外交的基本綱領(lǐng)與行動指南,它以人類長遠(yuǎn)、整體利益為出發(fā)點(diǎn),超越了大國爭奪主導(dǎo)權(quán)的思維,將促使各國休戚與共、合作共贏謀求共同發(fā)展,并對地區(qū)和世界的和平繁榮發(fā)展產(chǎn)生了重大而長遠(yuǎn)的影響,更利于人類的可持續(xù)發(fā)展和長久利益。[58](P.21)中國作為安理會常任理事國與國際裁軍事務(wù)的重要參與者應(yīng)當(dāng)在此議題上發(fā)揮更大的作用,但當(dāng)下的參與度仍顯不足。[21](PP.147-148)“有意義的人類控制”這一概念雖然仍有待進(jìn)一步的研究和解釋,但它能夠?yàn)槲覀兲峁┮粋€(gè)思路和方向。于中國而言,保障法律拘束力的同時(shí)賦予其靈活性,不僅有利于在國際社會間達(dá)成共識,也有利于為我國在實(shí)踐中探求軍事利好與人道考量的平衡積累經(jīng)驗(yàn)。在未來的自主性武器軍控議題中,中國對“有意義的人類控制”理念的理解和充實(shí),以及自主性武器國際軍控的中國方案,值得期待。

    猜你喜歡
    國際法自主性武器
    論陳顧遠(yuǎn)之先秦國際法研究及啟示——基于《中國國際法溯源》
    作為國際法淵源的條約
    法律方法(2021年4期)2021-03-16 05:34:44
    一張圖看懂武器發(fā)展史
    國際法上的禁止使用武力
    英語學(xué)習(xí)的自主性及其教學(xué)應(yīng)用
    實(shí)用英語教材與藝術(shù)生自主性培養(yǎng)
    請放下你的武器
    退役武器去哪兒了?
    發(fā)揮主體作用,加強(qiáng)高中數(shù)學(xué)復(fù)習(xí)的自主性
    負(fù)荊請罪
    成年女人看的毛片在线观看| av国产免费在线观看| 国产高清视频在线播放一区| 亚洲精品成人久久久久久| 色综合站精品国产| 麻豆国产av国片精品| 九九爱精品视频在线观看| 精品久久久久久久人妻蜜臀av| 动漫黄色视频在线观看| 国产私拍福利视频在线观看| 国产精品久久视频播放| 欧美成人免费av一区二区三区| 成人欧美大片| 亚洲成人免费电影在线观看| 国产伦精品一区二区三区视频9| 最近视频中文字幕2019在线8| 男人和女人高潮做爰伦理| 蜜桃亚洲精品一区二区三区| 欧美+日韩+精品| 22中文网久久字幕| 变态另类丝袜制服| 午夜精品在线福利| 久久久久久久亚洲中文字幕| 熟女电影av网| 日韩欧美三级三区| 春色校园在线视频观看| 久久精品国产鲁丝片午夜精品 | 偷拍熟女少妇极品色| 国产亚洲精品久久久com| 人妻久久中文字幕网| 看黄色毛片网站| 成人特级黄色片久久久久久久| 美女免费视频网站| 日本a在线网址| 成年免费大片在线观看| 内射极品少妇av片p| 日韩欧美 国产精品| 日韩精品有码人妻一区| 99九九线精品视频在线观看视频| 99在线视频只有这里精品首页| 99国产极品粉嫩在线观看| 搡老岳熟女国产| 欧美一区二区亚洲| 欧美xxxx性猛交bbbb| 直男gayav资源| 亚洲av二区三区四区| 亚洲精品日韩av片在线观看| АⅤ资源中文在线天堂| 别揉我奶头~嗯~啊~动态视频| 精品一区二区三区av网在线观看| 亚洲成人久久性| 美女黄网站色视频| 麻豆成人午夜福利视频| 在线国产一区二区在线| 村上凉子中文字幕在线| 校园人妻丝袜中文字幕| 久久精品国产99精品国产亚洲性色| 免费av观看视频| 成人毛片a级毛片在线播放| 在线免费观看的www视频| 99久久无色码亚洲精品果冻| 亚洲图色成人| 国产精品98久久久久久宅男小说| 国内揄拍国产精品人妻在线| 一区二区三区四区激情视频 | 午夜老司机福利剧场| 别揉我奶头 嗯啊视频| 老熟妇乱子伦视频在线观看| 久久亚洲精品不卡| 久久久久国内视频| 老师上课跳d突然被开到最大视频| 伦理电影大哥的女人| 美女大奶头视频| 听说在线观看完整版免费高清| 一进一出抽搐动态| 色综合婷婷激情| 精品人妻偷拍中文字幕| 欧美性感艳星| 欧美极品一区二区三区四区| 少妇熟女aⅴ在线视频| 亚洲成人精品中文字幕电影| 狠狠狠狠99中文字幕| 如何舔出高潮| 99久久九九国产精品国产免费| 欧美bdsm另类| 亚洲精品久久国产高清桃花| 国产成人a区在线观看| 亚洲第一区二区三区不卡| 欧美黑人欧美精品刺激| 18禁黄网站禁片午夜丰满| 可以在线观看毛片的网站| 麻豆久久精品国产亚洲av| 久久中文看片网| 一边摸一边抽搐一进一小说| 可以在线观看毛片的网站| 大型黄色视频在线免费观看| 黄色视频,在线免费观看| 在线看三级毛片| 国产精品亚洲美女久久久| 最好的美女福利视频网| 最近中文字幕高清免费大全6 | 日韩欧美 国产精品| 一区二区三区高清视频在线| 日韩欧美精品v在线| 热99在线观看视频| 久久亚洲真实| 国产又黄又爽又无遮挡在线| 亚洲一区二区三区色噜噜| 国产一区二区在线av高清观看| 精品人妻熟女av久视频| 两性午夜刺激爽爽歪歪视频在线观看| 国产不卡一卡二| 夜夜爽天天搞| 天堂网av新在线| 日韩人妻高清精品专区| 69人妻影院| 中文字幕免费在线视频6| 亚洲经典国产精华液单| 久久久久久久久久黄片| 韩国av在线不卡| 欧美+日韩+精品| 色噜噜av男人的天堂激情| 亚洲精华国产精华精| 亚洲天堂国产精品一区在线| 午夜福利高清视频| 搡老妇女老女人老熟妇| 老师上课跳d突然被开到最大视频| 永久网站在线| 国产精品自产拍在线观看55亚洲| 成人亚洲精品av一区二区| 老熟妇乱子伦视频在线观看| 国产精品国产三级国产av玫瑰| 国产真实乱freesex| 国产精品人妻久久久久久| 亚洲美女黄片视频| 一区二区三区免费毛片| 少妇的逼水好多| av天堂在线播放| 精品免费久久久久久久清纯| 日本三级黄在线观看| 精品不卡国产一区二区三区| 麻豆国产97在线/欧美| 亚洲欧美激情综合另类| 亚洲无线观看免费| 日韩欧美一区二区三区在线观看| 男人的好看免费观看在线视频| 亚洲av成人精品一区久久| 久久精品人妻少妇| 一夜夜www| 国产久久久一区二区三区| 国产午夜福利久久久久久| 久久久久久国产a免费观看| 国产单亲对白刺激| 身体一侧抽搐| 亚洲av美国av| av视频在线观看入口| 免费在线观看日本一区| 少妇高潮的动态图| 身体一侧抽搐| 99久久中文字幕三级久久日本| 丝袜美腿在线中文| 欧美色欧美亚洲另类二区| 中文字幕久久专区| 一级黄色大片毛片| 亚洲欧美日韩无卡精品| 国产一区二区在线av高清观看| 给我免费播放毛片高清在线观看| 干丝袜人妻中文字幕| 成人一区二区视频在线观看| 久久香蕉精品热| 国产爱豆传媒在线观看| 日韩欧美国产一区二区入口| 男女做爰动态图高潮gif福利片| 日韩欧美一区二区三区在线观看| 欧美zozozo另类| 亚洲成a人片在线一区二区| 啦啦啦观看免费观看视频高清| 女同久久另类99精品国产91| 婷婷精品国产亚洲av在线| 亚洲av成人av| 一区二区三区四区激情视频 | 国产综合懂色| 黄色丝袜av网址大全| 成人欧美大片| 免费av观看视频| 少妇高潮的动态图| 日本免费一区二区三区高清不卡| 久久人人精品亚洲av| 久久精品夜夜夜夜夜久久蜜豆| 婷婷六月久久综合丁香| 国产私拍福利视频在线观看| 国产成人福利小说| 色吧在线观看| 国产伦精品一区二区三区视频9| 亚洲美女黄片视频| 成人国产一区最新在线观看| 久久热精品热| 又紧又爽又黄一区二区| 国产精品国产高清国产av| 九色国产91popny在线| 最新在线观看一区二区三区| 久久久久国内视频| 18禁在线播放成人免费| 成人特级av手机在线观看| 亚洲国产精品sss在线观看| 人人妻,人人澡人人爽秒播| 色哟哟哟哟哟哟| 日韩欧美 国产精品| 亚洲第一区二区三区不卡| 国产精品一区二区三区四区免费观看 | а√天堂www在线а√下载| a级毛片a级免费在线| 国产真实伦视频高清在线观看 | 美女黄网站色视频| 久久这里只有精品中国| 男女做爰动态图高潮gif福利片| 久久久久久九九精品二区国产| 日韩精品有码人妻一区| 午夜老司机福利剧场| 级片在线观看| 在线播放无遮挡| 老熟妇乱子伦视频在线观看| 亚洲经典国产精华液单| 中文字幕av成人在线电影| 欧美日韩精品成人综合77777| 亚洲18禁久久av| 国产男人的电影天堂91| 两个人视频免费观看高清| 一边摸一边抽搐一进一小说| 韩国av在线不卡| 联通29元200g的流量卡| .国产精品久久| 精品一区二区三区人妻视频| 黄片wwwwww| 成人特级av手机在线观看| 午夜老司机福利剧场| 国产单亲对白刺激| 中文字幕久久专区| 波野结衣二区三区在线| 一区二区三区高清视频在线| 丰满的人妻完整版| 噜噜噜噜噜久久久久久91| 在线观看午夜福利视频| 欧美中文日本在线观看视频| 免费在线观看日本一区| 窝窝影院91人妻| 国产探花在线观看一区二区| 国产白丝娇喘喷水9色精品| 色哟哟哟哟哟哟| 亚洲成人中文字幕在线播放| 色综合亚洲欧美另类图片| 成年女人永久免费观看视频| 最近最新免费中文字幕在线| 简卡轻食公司| 亚洲男人的天堂狠狠| 午夜免费男女啪啪视频观看 | 99热精品在线国产| 麻豆成人av在线观看| 午夜福利高清视频| 国产不卡一卡二| a级毛片免费高清观看在线播放| videossex国产| x7x7x7水蜜桃| 一本精品99久久精品77| 亚洲人成网站高清观看| 日韩一本色道免费dvd| 亚洲自偷自拍三级| a在线观看视频网站| 校园春色视频在线观看| 精品久久久久久久人妻蜜臀av| 国产毛片a区久久久久| 久久精品人妻少妇| 99热只有精品国产| 亚洲av熟女| 久久精品国产亚洲网站| 国产 一区 欧美 日韩| 色5月婷婷丁香| 日本与韩国留学比较| 自拍偷自拍亚洲精品老妇| 深夜a级毛片| 成人三级黄色视频| 国产精品av视频在线免费观看| www日本黄色视频网| 亚洲av美国av| 久久久精品欧美日韩精品| 校园人妻丝袜中文字幕| 亚洲欧美清纯卡通| 国产美女午夜福利| 性欧美人与动物交配| 国产精品乱码一区二三区的特点| 亚洲 国产 在线| 3wmmmm亚洲av在线观看| 久久精品国产清高在天天线| 亚洲av日韩精品久久久久久密| 免费搜索国产男女视频| 男人和女人高潮做爰伦理| 精品日产1卡2卡| 久久久久久久亚洲中文字幕| 国产精品亚洲美女久久久| 麻豆成人av在线观看| 亚洲真实伦在线观看| 久久久久久久久大av| 色哟哟·www| 色播亚洲综合网| 国产人妻一区二区三区在| 欧美极品一区二区三区四区| 可以在线观看毛片的网站| 不卡视频在线观看欧美| 国产女主播在线喷水免费视频网站 | 99国产极品粉嫩在线观看| 91麻豆精品激情在线观看国产| 日本免费a在线| 午夜精品在线福利| 婷婷丁香在线五月| 看十八女毛片水多多多| 久久精品国产清高在天天线| 禁无遮挡网站| 久久久国产成人免费| 久久精品国产亚洲av天美| 小蜜桃在线观看免费完整版高清| 999久久久精品免费观看国产| 久久精品国产自在天天线| 亚洲精品粉嫩美女一区| 校园人妻丝袜中文字幕| 国内精品宾馆在线| 内地一区二区视频在线| 国产亚洲精品av在线| 国产精品一区二区性色av| 男人舔女人下体高潮全视频| 最近视频中文字幕2019在线8| 国产欧美日韩一区二区精品| 乱码一卡2卡4卡精品| 波多野结衣巨乳人妻| 免费在线观看影片大全网站| 欧美bdsm另类| 深爱激情五月婷婷| 给我免费播放毛片高清在线观看| 欧美高清性xxxxhd video| 伊人久久精品亚洲午夜| 亚洲精品在线观看二区| 天堂动漫精品| 久久久久国内视频| 老司机福利观看| 欧美日韩国产亚洲二区| 又粗又爽又猛毛片免费看| 国产私拍福利视频在线观看| 免费搜索国产男女视频| 又爽又黄无遮挡网站| 欧美最黄视频在线播放免费| 黄色日韩在线| 精品久久久久久久久亚洲 | 欧美高清性xxxxhd video| av在线亚洲专区| 亚洲专区中文字幕在线| 欧美精品国产亚洲| 亚洲最大成人手机在线| 成人鲁丝片一二三区免费| 午夜精品一区二区三区免费看| 两性午夜刺激爽爽歪歪视频在线观看| 此物有八面人人有两片| 亚洲av美国av| 久久6这里有精品| 午夜精品久久久久久毛片777| 天堂影院成人在线观看| 国产精品99久久久久久久久| 日本黄色视频三级网站网址| 一级a爱片免费观看的视频| 亚洲一级一片aⅴ在线观看| 两个人视频免费观看高清| 韩国av在线不卡| 亚洲在线观看片| 久久久久久久久久成人| 日韩欧美 国产精品| 最好的美女福利视频网| 国产一区二区激情短视频| 亚洲精华国产精华精| 国产精品久久久久久久久免| 天堂影院成人在线观看| 99热这里只有是精品在线观看| 精品久久久久久久久久久久久| 中文字幕av在线有码专区| av福利片在线观看| 午夜a级毛片| 久久久久久久精品吃奶| 国内精品久久久久久久电影| 午夜久久久久精精品| 搞女人的毛片| 欧美又色又爽又黄视频| 久久精品影院6| 高清毛片免费观看视频网站| 欧美国产日韩亚洲一区| 午夜日韩欧美国产| 精品一区二区三区人妻视频| www.色视频.com| 香蕉av资源在线| 久久午夜福利片| 国产v大片淫在线免费观看| 欧美日韩亚洲国产一区二区在线观看| 国产精品亚洲美女久久久| 我的老师免费观看完整版| 亚洲国产欧洲综合997久久,| 国产精品一区www在线观看 | 黄片wwwwww| 午夜福利在线观看吧| 国产综合懂色| 日本黄色视频三级网站网址| 少妇的逼好多水| 国产美女午夜福利| av在线亚洲专区| 男女做爰动态图高潮gif福利片| 男人的好看免费观看在线视频| 99热精品在线国产| 日韩欧美国产一区二区入口| av视频在线观看入口| 最近最新中文字幕大全电影3| 国产精品综合久久久久久久免费| 免费大片18禁| 色尼玛亚洲综合影院| 国产高潮美女av| 欧美日韩乱码在线| 亚洲美女搞黄在线观看 | 老熟妇乱子伦视频在线观看| 亚洲精品色激情综合| 精品无人区乱码1区二区| 伊人久久精品亚洲午夜| 色综合亚洲欧美另类图片| 国产真实乱freesex| 亚洲va日本ⅴa欧美va伊人久久| 国产私拍福利视频在线观看| 热99re8久久精品国产| 看免费成人av毛片| 亚州av有码| 夜夜夜夜夜久久久久| 国产精品1区2区在线观看.| АⅤ资源中文在线天堂| 久久99热6这里只有精品| 九九在线视频观看精品| 国产精品一及| 欧美日韩亚洲国产一区二区在线观看| 永久网站在线| 69av精品久久久久久| 久久久精品大字幕| 99国产极品粉嫩在线观看| 久久亚洲真实| 午夜视频国产福利| av天堂在线播放| 色哟哟·www| 成年免费大片在线观看| 国产精品电影一区二区三区| 日韩中文字幕欧美一区二区| av国产免费在线观看| 啪啪无遮挡十八禁网站| 两人在一起打扑克的视频| 91在线观看av| 亚洲精品乱码久久久v下载方式| 亚洲专区中文字幕在线| 日本爱情动作片www.在线观看 | 国产蜜桃级精品一区二区三区| 色精品久久人妻99蜜桃| 干丝袜人妻中文字幕| 成人一区二区视频在线观看| 午夜亚洲福利在线播放| 黄片wwwwww| 亚洲内射少妇av| 国产精品精品国产色婷婷| 别揉我奶头 嗯啊视频| 国产毛片a区久久久久| 哪里可以看免费的av片| 最近最新免费中文字幕在线| 亚洲精品乱码久久久v下载方式| 亚洲成人久久性| 日本精品一区二区三区蜜桃| 欧美黑人巨大hd| 国产av麻豆久久久久久久| 国产爱豆传媒在线观看| 久久这里只有精品中国| 国产麻豆成人av免费视频| 日韩在线高清观看一区二区三区 | 天天一区二区日本电影三级| 深夜精品福利| 欧美激情在线99| 亚洲美女搞黄在线观看 | a在线观看视频网站| 在线国产一区二区在线| av在线观看视频网站免费| 欧美黑人巨大hd| 亚洲欧美精品综合久久99| 日本熟妇午夜| 亚洲美女黄片视频| 极品教师在线免费播放| 国内久久婷婷六月综合欲色啪| 在线观看66精品国产| eeuss影院久久| 啦啦啦啦在线视频资源| 麻豆一二三区av精品| av中文乱码字幕在线| 久久久久久大精品| 成年人黄色毛片网站| av黄色大香蕉| 成年女人看的毛片在线观看| 日韩欧美免费精品| 如何舔出高潮| ponron亚洲| 久久久久久大精品| 搡老妇女老女人老熟妇| 欧美3d第一页| 少妇熟女aⅴ在线视频| avwww免费| 在线观看午夜福利视频| 亚洲欧美日韩高清在线视频| 婷婷色综合大香蕉| 女人十人毛片免费观看3o分钟| 午夜福利成人在线免费观看| 黄色日韩在线| 在线免费观看的www视频| 日韩av在线大香蕉| 别揉我奶头 嗯啊视频| 国产精品久久久久久久电影| 十八禁网站免费在线| 狂野欧美白嫩少妇大欣赏| 国产免费男女视频| 五月玫瑰六月丁香| 国产成人av教育| 少妇的逼水好多| 少妇人妻一区二区三区视频| 亚洲精品影视一区二区三区av| 午夜视频国产福利| 国产 一区精品| 久久天躁狠狠躁夜夜2o2o| 男女那种视频在线观看| 日本免费一区二区三区高清不卡| 亚洲精品色激情综合| 99国产精品一区二区蜜桃av| 国产欧美日韩精品一区二区| 1000部很黄的大片| 亚洲av日韩精品久久久久久密| 欧美xxxx性猛交bbbb| 欧美日本视频| 国产精品,欧美在线| 久久久国产成人免费| 中文字幕高清在线视频| 久久久久久九九精品二区国产| 欧美性猛交╳xxx乱大交人| 国产成人aa在线观看| 日韩中文字幕欧美一区二区| 精品久久国产蜜桃| 最新在线观看一区二区三区| av福利片在线观看| 久久精品夜夜夜夜夜久久蜜豆| 日韩欧美精品免费久久| 99久久成人亚洲精品观看| 久久久久国产精品人妻aⅴ院| 18禁黄网站禁片免费观看直播| 日韩强制内射视频| 国产人妻一区二区三区在| 亚洲不卡免费看| 色综合婷婷激情| 99久久精品热视频| 桃色一区二区三区在线观看| 久久久久久久久中文| 婷婷精品国产亚洲av在线| 日韩欧美免费精品| 人妻久久中文字幕网| 尾随美女入室| 哪里可以看免费的av片| 无人区码免费观看不卡| 伦精品一区二区三区| 国产91精品成人一区二区三区| 午夜免费激情av| 婷婷精品国产亚洲av| 国产精品一区二区三区四区久久| 久99久视频精品免费| 婷婷亚洲欧美| 欧美性感艳星| 女的被弄到高潮叫床怎么办 | 精华霜和精华液先用哪个| 久久天躁狠狠躁夜夜2o2o| 亚洲av中文字字幕乱码综合| 国产午夜精品久久久久久一区二区三区 | 无遮挡黄片免费观看| 免费人成视频x8x8入口观看| 日本一本二区三区精品| 亚洲av二区三区四区| 日日干狠狠操夜夜爽| 又黄又爽又刺激的免费视频.| 亚洲专区中文字幕在线| 啪啪无遮挡十八禁网站| 99热这里只有是精品50| 国产三级在线视频| 久久午夜福利片| 尾随美女入室| 免费看a级黄色片| 在线免费观看不下载黄p国产 | 一本一本综合久久| 中文字幕久久专区| 国产视频一区二区在线看| 长腿黑丝高跟| 99热这里只有是精品在线观看| 国产毛片a区久久久久| 国产国拍精品亚洲av在线观看| 老师上课跳d突然被开到最大视频| 在线观看av片永久免费下载| 国产伦人伦偷精品视频| 国产v大片淫在线免费观看| 悠悠久久av| 熟女人妻精品中文字幕| 色综合色国产| 女生性感内裤真人,穿戴方法视频| 狂野欧美白嫩少妇大欣赏| 我的老师免费观看完整版| 成人午夜高清在线视频| 国产高清三级在线| 亚洲精品亚洲一区二区| 精品一区二区三区视频在线| 成人国产综合亚洲|