• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    以《民法典》代理權(quán)說構(gòu)建人工智能主體的資格制度研究

    2021-03-14 18:01:34呂群蓉崔力天
    關(guān)鍵詞:理論基礎(chǔ)民法典代理

    呂群蓉 崔力天

    摘 要:通過對以自然人、法人主體資格演進脈絡(luò)為起點,結(jié)合人工智能具備相對獨立的自由意志與認知、具備享有權(quán)利和承擔(dān)義務(wù)的能力的研究顯示,人工智能應(yīng)當(dāng)被賦予法律人格。同時,因人工智能獨立意志的不完全性,其權(quán)利義務(wù)的承擔(dān)可參考“代理人”制度,以人工智能代理自然人、法人實施法律行為視角,建構(gòu)人工智能的民事權(quán)利能力范圍和民事責(zé)任制度。

    關(guān)鍵詞:人工智能;法律人格;理論基礎(chǔ);代理

    中圖分類號: D923??? 文獻標(biāo)志碼: A???? 文章編號:1672-0539(2021)06-0059-09

    一、引言

    隨著社會發(fā)展與技術(shù)進步,特別是在移動互聯(lián)網(wǎng)、大數(shù)據(jù)、超級計算、傳感網(wǎng)、腦科學(xué)等新理論、新技術(shù)以及經(jīng)濟發(fā)展強烈需求的共同驅(qū)動下,人工智能加速發(fā)展,呈現(xiàn)出深度學(xué)習(xí)、跨界融合、人機協(xié)同、群智開放、自主操控等新特征[1]。盡管早在1949年,知名腦科醫(yī)生杰弗里·杰佛遜爵士(Sir Geoffrey Jefferson)提出人工智能只有用自己的思想感情去寫出一首十四行詩,或者做出一部協(xié)奏曲時,才應(yīng)該被承認機器可以等同于人腦[2]。在“深藍”對戰(zhàn)國際象棋冠軍卡斯帕羅夫時,人們也普遍不信任電腦方。但近年來,人工智能已在較高程度上參與人類社會活動,并獲得很大影響力:2016年松琦教授團隊制造的人工智能“有嶺雷太”創(chuàng)作小說《人工智能寫小說的那一天》并入圍日本“星新一獎”;人工智能“小冰”發(fā)表詩集《陽光失了玻璃窗》。這些著述“以假亂真”,幾乎分不清人工智能與一般自然人創(chuàng)作的區(qū)別。

    2016年,Alpha Go通過學(xué)習(xí)人類棋譜,擊敗圍棋世界冠軍李世石和圍棋世界最高分柯潔;AlphaGo Zero更以自我訓(xùn)練的方式,以100∶0的戰(zhàn)績擊敗了前輩;發(fā)展至今,棋類最后的堡壘,用窮舉法窮盡宇宙原子算不盡棋局數(shù)的圍棋也被人工智能輕松攻破。人工智能的發(fā)展程度已經(jīng)遠超李斯特們的想象,對人工智能的規(guī)范與監(jiān)管都刻不容緩:人工智能是否能夠擁有法律人格?如果擁有,應(yīng)擁有何種法律人格?如果擁有法律人格,那么對侵權(quán)行為如何承擔(dān)責(zé)任?

    關(guān)于前述問題,法學(xué)界普遍存在三種觀點:其一,應(yīng)當(dāng)給人工智能自然人或代理人地位的獨立法律人格說;其二,另立主體或比照法人等擬制主體的有限法律人格說;其三,人工智能只是工具和法律關(guān)系客體的法律人格否定說。隨著人工智能獨立性一面的日益發(fā)展,以代理人說、擬制主體說為代表的主體說獲得更多認可,客體說則式微。在兩種主體說的比較中,采有限法律人格說還是獨立法律人格說,仍是學(xué)界亟待解決的問題。

    自2017年以來,國際上以俄羅斯《智能機器人法案草案》(以下簡稱格里申法案)、歐盟“電子代理人決議”等賦予人工智能代理人地位的獨立法律人格說取得重大發(fā)展。恰逢《中華人民共和國民法典》(以下簡稱《民法典》)頒布,對于代理權(quán)進行了概括精要的規(guī)定,本文嘗試以《民法典》代理權(quán)視角作為破局,提供一種人工智能獨立法律人格探索的觀點和制度架構(gòu)路徑。

    二、人工智能法律人格的理論基礎(chǔ)

    法律人格是指享有權(quán)利和履行義務(wù)的資格,包括自然人和法律擬制人。法律賦予每個自然人法律人資格,將其分為無民事行為能力人、限制行為能力人和完全行為能力人,法律人格伴隨自然人終生。法人經(jīng)法律擬制按法定程序成立獲得主體資格,是自然人的永久合伙人[3]。簡言之,法律人格是主體成為法律意義上“人”的能力和資格,人格可以擴展到自然之外的實體[4]。

    (一)法律主體資格的演進

    從歷史發(fā)展的角度看,法律史就是一部法律主體擴張史。法律主體資格從權(quán)貴擴散到下層階級,從少量貴族男性擴散到全體自然人,從僅限人類到“非人可人”。法律主體對象在不斷擴張,各法律主體的地位也在不斷走向平等[5]。

    1.自然人法律主體資格的演進

    自然人法律主體的演進路徑從之前依據(jù)嚴格的身份階級制度確立不同法律地位,到如今“人人平等”被作為基本原則,經(jīng)歷了漫長的過程。

    在羅馬法制度中,就存在著因自然人身份不同導(dǎo)致的差別對待。羅馬法原則上是屬人法,也即一個人的社會身份,很大程度上決定他適用何種法律。在羅馬法實施初期,只有為數(shù)不多的羅馬市民擁有完整的法律主體權(quán)利,而人數(shù)占多數(shù)的奴隸、異邦人則完全不享有權(quán)利[6]。查士丁尼民法典頒布后,萬民法與市民法融合,內(nèi)容上逐漸接近,羅馬非公民才取得市民權(quán)[7]63。

    在我國古代,儒家思想是社會主導(dǎo)思想,法律也隨之儒家化:社會看重身份,法律等級化,各法律主體不平等。如周朝開始到明清才結(jié)束的“八議之辟”制度,就明確規(guī)定特殊身份地位的人可以酌情減免法律處罰,直接體現(xiàn)法律主體的不平等[8]。即使是比較進步的“海瑞定理”,由于受儒家孝悌思想的影響,自然人的法律地位也“與其屈兄,寧屈其弟;與其屈叔伯,寧屈其侄”,身份歧視嚴重[9]。

    直到近代,隨著“人”的自我意識和自由平等博愛思潮逐漸占據(jù)主流,資本主義的發(fā)展和民族意識的覺醒促進民族解放和獨立,也激發(fā)了思想解放運動,經(jīng)過各族人民艱苦卓絕的斗爭,自然人之間在法律上的平等地位逐漸得到確認[10]。如法國的《人權(quán)宣言》宣告“人生來是并且始終是自由平等的”,《法國民法典》稱“所有法國人都享有民事權(quán)利”[11],《普魯士普通邦法》宣告:“人就是每一個自然人?!盵12]至此,人類才實現(xiàn)法律意義上自然人法律主體地位平等。

    2.法人法律主體資格的演進

    與古羅馬一樣,非自然人群體也經(jīng)歷了法律主體的擴張歷程。雖然古羅馬商品經(jīng)濟已經(jīng)有所發(fā)展,但羅馬法對于非自然人群體的法律地位,特別是經(jīng)濟群體的法律地位,并未明確規(guī)定[13]。因為此時的羅馬本質(zhì)上仍然是奴隸社會,盡管有些經(jīng)濟和政治團體,如自由城市、商會、教堂等,但這些群體只是大多數(shù)自然人的組合,并未擁有獨立的法律主體資格[14]。在這一時期,羅馬法不可能建立系統(tǒng)的法人制度,法人制度起源于羅馬法,隨著羅馬領(lǐng)土的擴張,原料貿(mào)易的頻繁,以及私人團體的出現(xiàn)和迅速發(fā)展,羅馬法開始承認社會團體的主體地位。羅馬的法律組織包括公共組織、宗教組織、慈善機構(gòu)、商業(yè)組織,以及工業(yè)組織和非政府政治組織[13]。而現(xiàn)代法律也大體包括兩類法律組織:社會組織和金融組織。

    雖然羅馬法有不少關(guān)于法人的內(nèi)容,但由于當(dāng)時沒有現(xiàn)代法人概念和術(shù)語,法人制度十分粗略。中世紀(jì)時,教會權(quán)力在歐洲國家達到頂峰,當(dāng)時教會已經(jīng)是一個完善的法人團體,其基本特征與現(xiàn)代法人相似[14]。但封建社會自然經(jīng)濟的主導(dǎo)性特征決定當(dāng)時法人組織并不普遍,法人的獨立所有權(quán)相對較低,法人制度尚處于起步階段。

    隨著西方在海洋領(lǐng)域的發(fā)展,大航海時代到來,意大利自治城市出現(xiàn)了航海自治組織——航運協(xié)會。其有自己的代表處,每個股東只承擔(dān)自己投資的風(fēng)險,按比例盈利[15]。此后隨著資本主義經(jīng)濟的進一步發(fā)展,出現(xiàn)了區(qū)分有限合伙人和無限合伙人的“康曼達”合伙企業(yè)[16];15世紀(jì)末,荷蘭和英國出現(xiàn)各種商業(yè)組織[16];隨著16世紀(jì)至18世紀(jì)西歐資產(chǎn)階級革命和19世紀(jì)工業(yè)革命的深入,與經(jīng)濟相適應(yīng)的實體——法人最終在許多國家民法典中的法律主體地位被確認。

    號稱西方第一部民法典的《法國民法典》,注重自然人的影響,沒有將法人等非自然人實體納入民事適用領(lǐng)域:認為生活中的人的規(guī)范是法律產(chǎn)生的先決條件,即民法作用人與人之間的交往中,此稱之為法律關(guān)系。法律關(guān)系相異于早期的財產(chǎn)關(guān)系與血緣關(guān)系[11],在法律關(guān)系中,人的行為被予以強制性評價,因而與權(quán)利義務(wù)直接相聯(lián)系?!兜聡穹ǖ洹肥夹纬芍黧w資格二元結(jié)構(gòu):承襲羅馬法,認為“一切權(quán)利均因人而設(shè)立”[17],但從權(quán)利角度提出“法律行為能力”新概念,并在《法律行為章》中將“法律行為能力”作為區(qū)分人的唯一法律依據(jù)[18]。《德國民法典》創(chuàng)造沒有傳統(tǒng)生物學(xué)意義的法人,將其作為具有權(quán)利能力、與自然人法律地位平等的虛構(gòu)民事實體,參與民事活動。

    (二)人工智能成為法律主體的可行性分析

    1.人工智能具有相對的自由意志與認知能力

    自由意志是法律主體存在的基本前提,判斷能否成為民事主體的根本標(biāo)準(zhǔn)即是否具有“獨立意志”,只有具備獨立意志才能成為民事主體。獨立意志是民事主體為了一定目標(biāo)自覺的組織行為,并深信此類行為切實可行的判斷意識[19]。現(xiàn)有法律主體均具有一定獨立意志:自然人以心理與生理基礎(chǔ)共同作用產(chǎn)生獨立意志,并以主體身份作為意志的載體與實現(xiàn)途徑;法人公司則依據(jù)董事會決策形成獨立的意思表示。

    雖然人工智能在結(jié)構(gòu)上與人類存在較大差異,但仍具有相對獨立意志。人工智能以程序代碼和大量數(shù)據(jù)輸入為基礎(chǔ),在新舊任務(wù)之間有足夠的相似性時,便具備“學(xué)習(xí)遷移能力”,這與自然人腦功能存在相似性。人工智能與人交互的實質(zhì)是對人心理狀態(tài)的認知過程。人工智能在生理基礎(chǔ)與心理基礎(chǔ)方面與自然人均存在實質(zhì)上的相似性,具備成為責(zé)任主體的獨立意志基礎(chǔ)[20]。但人工智能的行為必須基于最初的數(shù)據(jù)輸入與程序設(shè)計,因此其意志獨立性受到一定限制,目前無法擁有與自然人相當(dāng)?shù)淖杂梢庵尽5斯ぶ悄鼙日杖祟愋袨楦哂锌深A(yù)測性,只要求人工智能在其工作范圍內(nèi)具有相對的自由意志代理人說正好可以利用此特點,如Alpha Go等對人類棋譜進行機器與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),達到遠超人類想象的走法與策略能力[21],與自然人與法人“自由意志”相類。

    2.人工智能有享有權(quán)利和承擔(dān)義務(wù)的能力

    民事權(quán)利是法律賦予民事主體享有的利益范圍和實施一定行為或不為一定行為以實現(xiàn)某種利益的意志。民事義務(wù)是指義務(wù)人為滿足權(quán)利人的利益而為一定行為或不得為一定行為的必要性[7]。法律主體需要有相應(yīng)享有權(quán)利和承擔(dān)義務(wù)的能力,而人工智能具備此種能力。

    目前國際上對于人工智能的觀點也呈現(xiàn)出權(quán)利與義務(wù)并重的趨勢,即人工智能應(yīng)該能享有權(quán)利和承擔(dān)義務(wù),不是純粹的客體與工具[22]。以版權(quán)與著作權(quán)為例,微軟人工智能小冰可以根據(jù)不同人群的需求,在不同場景下有針對性地創(chuàng)作。人工智能利用其學(xué)習(xí)能力,對在原有知識基礎(chǔ)上創(chuàng)作的作品享有著作權(quán),同時也應(yīng)承擔(dān)相應(yīng)法律義務(wù)[23]。

    2017年2月16日,歐盟法律事務(wù)委員會表決通過《電子代理人》決議,要求將日益先進的自動化機器確定為“電子代理人”[24],賦予人工智能一定主體資格:為人工智能登記注冊、開立基金賬戶,要求相關(guān)主體履行法律義務(wù)(包括支付法律規(guī)定的費用等);同時人工智能未能履行義務(wù),則應(yīng)承擔(dān)相應(yīng)法律責(zé)任。

    三、《格里申法案》和歐盟“電子代理人”決議關(guān)于人工智能代理人地位觀點的批判與借鑒

    隨著俄羅斯《格里申法案》和歐盟“電子代理人”決議的倡導(dǎo),現(xiàn)行觀點普遍支持人工智能的代理人地位。但兩項法案(議案)對人工智能法律人格的構(gòu)建都有不同程度的缺陷與問題,需要在批判中加以借鑒,并通過實踐進行完善。

    (一)缺少法理價值的引領(lǐng)

    科學(xué)技術(shù)的每一重要應(yīng)用都伴隨著爭議。以20世紀(jì)末討論度較高的克隆人為例,克隆技術(shù)能否在生理上復(fù)制一直是人們的討論焦點:聯(lián)合國制定了有關(guān)基因規(guī)范的《人權(quán)宣言》,明令禁止針對人的生殖性克隆[25];日本通過法案禁止克隆人的出現(xiàn)[26];國際社會大多明確克隆人不具有人的資格,以法律禁止克隆人[26]。但是人工智能與克隆人存在重大差別:克隆人的出生會引起血緣關(guān)系與倫理關(guān)系的爭議,讓血脈親情受阻;而人工智能不是“人造人”,其人格可以獨立,不存在相關(guān)倫理問題。盡管現(xiàn)在普遍擔(dān)心如果人工智能發(fā)展水平太高,可能會反制人類,但人工智能正以不可阻擋之勢向前發(fā)展,賦予其法律人格,這是經(jīng)濟和技術(shù)發(fā)展的要求,無可回避。但因為對人工智能不確定性風(fēng)險的擔(dān)憂以及法律的滯后性等影響因素,使以代理權(quán)為主要觀點的法案(議案)對人工智能法律人格的規(guī)范比較模糊,對人工智能的發(fā)展缺乏相關(guān)法律價值指引。

    1.俄羅斯《格里申法案》的局限

    《格里申法案》立法目的與初衷都偏好實用性,始終貫徹利益最大化原則:人類與人工智能、機器人的關(guān)系應(yīng)當(dāng)在最短時間內(nèi)在立法上予以描述和規(guī)定[27]?!陡窭锷攴ò浮坊诶嬖瓌t對人工智能的規(guī)定過于實用性,只是當(dāng)人工智能作為高度危險來源致人損害時,才明確其作為財產(chǎn)的地位;并未規(guī)定人工智能所有權(quán)人行使其財產(chǎn)權(quán)利不得違背人道主義原則,因此缺乏對人工智能的基本法律人格關(guān)懷。其對人工智能的態(tài)度更多的是功利性的。

    2. 歐盟“電子代理人”決議的法理問題

    歐盟“電子代理人”決議認為,“人工智能的自主性很可能會發(fā)展到必須遵守道德規(guī)范的程度,須為它們編寫專門防止其有害行為(如危害人類或環(huán)境)的道德規(guī)范(ethical codes)”(1)。同時指出,對于飛速發(fā)展的人工智能如果出現(xiàn)故障并傷害人類,誰應(yīng)該在道德和法律上承擔(dān)責(zé)任?人工智能技術(shù)是一個新穎且變化迅速的領(lǐng)域,可能會對人類造成重大的人身與財產(chǎn)傷害(例如,軍用人工智能或失去控制的自動人工智能汽車等),它對現(xiàn)實世界的影響尚難預(yù)測,應(yīng)該在倫理和法律上加強監(jiān)管[28]。

    人工智能規(guī)范的先驅(qū)阿西莫夫曾提出人工智能倫理規(guī)范“三定律”:“第一定律:人工智能不可對人類造成傷害,也不能對人類的危險袖手旁觀。第二定律:人工智能必須服從人類給予的使命,除非違反第一定律。第三定律:人工智能要盡可能地保護自己,除非與第一二定律相違背?!盵29]但這三定律依然尚存難以解決的問題:比如人們要求人工智能去懲罰罪犯,可這就用第二定律違反了第一定律,人工智能不會執(zhí)行命令。再比如,不可對人類造成傷害與對人類袖手旁觀本身就有矛盾點:罪犯劫持人質(zhì),或者正在傷害他人,只有用傷害罪犯的方式才能解除傷害等。甚至人工智能不能對人類做手術(shù)——做手術(shù)會傷害人類的身體。所以又出現(xiàn)了第零定律:人工智能必須保護人類的整體利益不受傷害,且三定律都不可違背第零定律(2)[30]。

    顯而易見,無論我們給人工智能植入何等倫理規(guī)范,人工智能的決策和判斷可能都非常艱難。因為很多倫理問題,人類尚無法作出較優(yōu)判斷,又何談人工智能呢?

    (二)對于人工智能的法律地位規(guī)定不明

    1.《格里申法案》中法律定位的模糊性

    《格里申法案》要求明確人工智能民事行為的性質(zhì)與主體地位,但并未規(guī)定人工智能的法律行為能力,以及是否比照法人或新設(shè)獨立主體確定人工智能是特殊的民事主體[31]。從整個法律文本來看,由于過分強調(diào)代理人、所有人、工作人員和開發(fā)者的獨立責(zé)任,人工智能的獨立民事責(zé)任并未明確界定,尤其是對其所有人、占有人和管理人的獨立民事責(zé)任。人工智能的法律地位可以比照封建時代家長制下的奴隸,即便是生物意義上的“人”,也不能成為法律關(guān)系中獨立法律主體;只有經(jīng)過父母或主人的認可,才能代表父母進行商業(yè)活動,但法律行為的后果和責(zé)任可能是父母或主人承受[31]。

    因此人工智能雖然被法案授予民事主體地位,但人工智能只是其所有者的附屬品,在與所有者、相對人的三方之間僅形成代理與委托關(guān)系,所有人工智能與相對人發(fā)生的民事法律關(guān)系都歸屬于其所有人,人工智能依舊不具有獨立法律人格。盡管該法案還賦予人工智能獨立財產(chǎn)權(quán),不過是基于對所屬者的依附,其財產(chǎn)權(quán)的責(zé)任與義務(wù)受到較大限制。這也引發(fā)了質(zhì)疑:財產(chǎn)權(quán)既然最終歸所有人,那么人工智能擁有獨立財產(chǎn)權(quán)的意義又在哪里?

    同時,《格里申法案》雖然確立了人工智能作為代理人的民事主體地位,但不被視為普通的訴訟主體,只能“在法律規(guī)定的特殊情況下”于法院或法律保護機構(gòu)(如檢察院等)參與民事訴訟,其利益只能由相關(guān)的所有人和法人主體代表。因此,人工智能的法律人格概念不明確,其法律地位也不明確。

    2.歐盟“電子代理人”決議中的人工智能定位問題

    歐盟“電子代理人”決議承認人工智能擁有獨立思想、具有人的部分特性[28]。但如果人工智能被賦予人權(quán),是否就意味著“人工智能與人平等”。決議對于人工智能該屬何種法律實體及是否擁有主體地位并未明確。人人平等是最基本人權(quán),是一切利益和權(quán)利的前提和基礎(chǔ),無論國家國體、政體如何,都可尋求某種方式加以保護。如果人工智能適應(yīng)人權(quán)和人類倫理規(guī)范,它是否具有與人類相同的法律地位?如果它與人類具有同等的法律地位,是否會導(dǎo)致現(xiàn)行法律體系的崩潰,甚至導(dǎo)致人類賴以生存的倫理和社會邏輯的崩潰?這都是“電子代理人”決議亟待解決的問題[32]。

    (三)缺少具體規(guī)則標(biāo)準(zhǔn)與實施能力

    1.《格里申法案》中對比照相關(guān)主體適用法律的模糊以及實施問題

    《格里申法案》對于人工智能主體資格定位多重,無法清晰區(qū)別:規(guī)定人工智能與動物在財產(chǎn)問題上具有特定相似性,但沒有明確人工智能在財產(chǎn)問題上可以適用或準(zhǔn)用相關(guān)的動物法律[33];規(guī)定人工智能在民事權(quán)利方面可以適用法人的民事立法原則,但人工賦予智能的權(quán)利卻遠少于法人,與人工智能的民事主體地位不相匹配?!陡窭锷攴ò浮访鞔_機器人-代理人具有程序上的民事訴訟權(quán)利,可以作為民事訴訟主體(3),但因為民事實體權(quán)利的極大限制,使人工智能的流轉(zhuǎn)只限于相關(guān)主管機關(guān)規(guī)定的類型與范圍,同時因未具體規(guī)定人工智能在何種情形下可以作為民事訴訟主體,只籠統(tǒng)規(guī)定“比照民法典與其他法律類推適用”。歸責(zé)方面也更多將相關(guān)人員作為對象,人工智能僅在于由于自身設(shè)計問題人類不可控的情況下才可作為歸責(zé)對象。

    2.歐盟“電子代理人”決議的實施問題

    盡管歐盟會議通過了人工智能報告,但右翼保守派把人工智能的法律人格問題與外來移民等問題關(guān)聯(lián)起來,認為賦予人工智能法律人格就是將它們看作人,會搶奪普通自然人的工作崗位,這阻礙了對人工智能賦予法律人格的實施(4)[28]。因此,歐盟2020年發(fā)布的《人工智能系統(tǒng)運營責(zé)任立法倡議》已經(jīng)改變立場,明確指出:“對現(xiàn)有法律框架進行任何必要的修改,首先要明確AI系統(tǒng)既不具有法律人格,也不具有人類的良知,其唯一的任務(wù)就是為人類服務(wù)?!盵34]

    四、以《民法典》代理權(quán)的視角構(gòu)建人工智能法律人格

    (一)《民法典》代理權(quán)視角下人工智能法律人格的構(gòu)建

    1. 人工智能法律人格的誕生與消滅

    由于人工智能不具有“天賦人權(quán)”,主體資格系法律后天擬制和構(gòu)建,商業(yè)活動中作為電子代理人的人工智能,是一種具有智能性、交互性能夠獨立回應(yīng)、處理電子數(shù)據(jù)的自動化智能程序[35]。低智能的電子代理人可以提供商業(yè)意見,高智能的電子代理人甚至可以自主作出商業(yè)決定,訂立合同。類比律師事務(wù)所、基金公司等代理權(quán)行使的實踐,賦予人工智能代理人法律主體資格:比照法人主體資格登記制度,建立人工智能主體資格的產(chǎn)生與登記制度。

    (1)人工智能的開始和終止時間。借鑒公司法關(guān)于法人的成立登記和注銷制度確認人工智能法律人格的開始和終止時間,同時配套強制審核登記制度,即人工智能的法律人格應(yīng)該進行強制審核。人工智能自審核通過登記之日獲得法律人格,享有民事權(quán)利能力和行為能力,自注銷登記之日起,主體資格消滅。

    (2)人工智能的注銷登記條件。

    當(dāng)人工智能出現(xiàn)法律規(guī)定的注銷登記條件時,應(yīng)該進行注銷登記,消滅其法律人格[36]。人工智能的消滅條件,包括破產(chǎn)、難以為繼(維持人工智能的成本遠超過其利益),或法律要求銷毀、禁止生產(chǎn)等。格里申法案規(guī)定:“機器人-代理人擁有獨立財產(chǎn)并以此承擔(dān)債務(wù)和責(zé)任,可以自己名義取得并行使民事權(quán)利和承擔(dān)民事義務(wù)。在法律規(guī)定的情況下,機器人-代理人可以作為民事訴訟的參加者”。在《民法典》將來修訂時規(guī)定:人工智能解散、被宣告破產(chǎn)或有法律規(guī)定的其他原因時,可以進行清算、注銷登記,使人工智能人格終止。

    2. 《民法典》代理權(quán)視角下人工智能民事權(quán)利能力范圍

    盡管人工智能越來越具有類人性,但終究不是自然人,法律也不會賦予其自然人同等的法律人格。人工智能雖然與法人具有相似性,但畢竟不同于法人,其人格制度在借鑒法人人格制度之時,也應(yīng)與之有所區(qū)別。在代理權(quán)視角下,人工智能的權(quán)利能力必須是特定且有限的。有限權(quán)利能力是人格要素不完整的主體在法律規(guī)定的特定情況下所享有的民事權(quán)利能力。完整的法律人格應(yīng)該自我負責(zé)、完全獨立,未來的強人工智能可能擁有完全獨立的思維和行為能力,但目前的人工智能尚不具備[37]。目前的人工智能可以參照法人與非法人組織(5),以人類的“代理人”“受委托人”身份行使民事行為。如松琦教授團隊“委托”有嶺雷太寫小說,微軟“委托”小冰創(chuàng)作詩集等。

    隨著人工智能的發(fā)展,企業(yè)開始使用電子代理人開展商事活動,企業(yè)使用的各種智能化交易系統(tǒng)不僅能根據(jù)要求獨立完成特定的商業(yè)事務(wù),還能訂立甚至履行合同[39]。在可預(yù)見的未來,人工智能會出現(xiàn)于商業(yè)、法律等專業(yè)領(lǐng)域,給予其相關(guān)的民事主體資格,有利于使其在職權(quán)范圍內(nèi)發(fā)揮更加積極的作用。

    但“強人工智能”與“弱人工智能”的民事權(quán)利能力范圍應(yīng)該加以區(qū)分:(1)對于沒有獨立意志或獨立意志薄弱的“人類智力仿真”弱人工智能,其行為系由人類設(shè)立相關(guān)程序,仿照人類活動而形成,可以比照《民法典》無行為能力人加以規(guī)定(6),或者直接適用產(chǎn)品責(zé)任的規(guī)定,無需賦予主體資格。(2)對利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí),擁有自主進化和學(xué)習(xí)能力、自主判斷力的人工智能,可以比照《民法典》限制行為能力人。(3)對最終的強人工智能以及超人工智能,是否可以成為民法上的完全民事行為能力人,科技領(lǐng)域?qū)Υ松杏蓄H多爭議(7),法律界現(xiàn)在亦無定論[39]。但當(dāng)人工智能擁有完整的自主意識,能獨立判斷和實施民事行為之時,法律也應(yīng)該給予其完整的民事能力[38]。法律肯定人工智能的權(quán)利能力,但是考慮到技術(shù)發(fā)展、道德和倫理的制約,其權(quán)利能力應(yīng)當(dāng)予以一定限制。事實上,賦予人工智能權(quán)利能力卻又限制其權(quán)利范圍,本質(zhì)上并不矛盾,都是人工智能制度構(gòu)建的應(yīng)有之義。同時,人工智能享有的民事權(quán)利可以通過不完全列舉的方式規(guī)定,使人工智能的主體資格衡平人類社會發(fā)展。

    根據(jù)我國《民法典》人格權(quán)篇規(guī)定,法人擁有民事權(quán)利能力和民事行為能力(8),法人、非法人組織享有名稱權(quán)、名譽權(quán)和榮譽權(quán)(9),此等權(quán)利可以擴展至人工智能。目前,一批優(yōu)秀的人工智能(如Alpha Go、索菲亞等)已經(jīng)在世界范圍有知名度,應(yīng)當(dāng)享有名稱權(quán)、名譽權(quán)等權(quán)利,使其能夠承擔(dān)相應(yīng)責(zé)任。

    (二)《民法典》代理權(quán)視角下人工智能民事責(zé)任制度

    1.《民法典》代理權(quán)視角下人工智能民事責(zé)任制度的內(nèi)容

    《民法典》代理制度規(guī)定,民事主體可以通過代理人實施民事法律行為,委托代理人按照被代理人的委托行使代理權(quán)。

    人工智能大幅解放人類勞動力,提高生產(chǎn)效率,通過賦予其相對獨立的法律人格,使其享有權(quán)利,同時也承擔(dān)相應(yīng)責(zé)任和義務(wù)[40]。法律對人工智能民事責(zé)任承擔(dān)制度的規(guī)定,是人工智能主體資格構(gòu)建的關(guān)鍵點。以代理制度為基礎(chǔ)的人工智能民事責(zé)任制度應(yīng)考慮以下內(nèi)容:

    (1)獨立財產(chǎn)。能夠被法律承認為民事主體的人工智能應(yīng)具有獨立可支配的財產(chǎn),可以利用其本身所擁有的財產(chǎn)履行義務(wù),承擔(dān)民事責(zé)任。

    (2)具體民事責(zé)任承擔(dān)制度的構(gòu)建應(yīng)該考慮弱人工智能,其性質(zhì)只能為“產(chǎn)品”,責(zé)任承擔(dān)應(yīng)依據(jù)“產(chǎn)品責(zé)任”或“替代責(zé)任”制度予以追究。

    (3)人工智能雖然被法律規(guī)定為民事主體,但非法設(shè)計、制造、使用或惡意操控人工智能的第三人,超越登記范圍進行活動,致人損害需要承擔(dān)民事責(zé)任時,應(yīng)該參考“法人人格否認制度”,明確承擔(dān)責(zé)任的主體。人工智能的惡意設(shè)計者、制造者、所有者及惡意操控人應(yīng)該承擔(dān)法律責(zé)任[41]。

    2.《民法典》代理權(quán)視角下人工智能民事責(zé)任承擔(dān)方式

    承認人工智能具有獨立法律人格,擁有獨立財產(chǎn)并享有部分民事權(quán)利,能夠履行義務(wù)和承擔(dān)責(zé)任,在責(zé)任承擔(dān)方式上,人工智能可以承擔(dān)絕大多數(shù)返還性責(zé)任和損害賠償責(zé)任[42]。即使在人工智能自身獨立財產(chǎn)不足以支付賠償且基金制度尚未完善之時,人工智能也可以通過提供公共服務(wù)或由其被代理人來支付罰金,承擔(dān)損害賠償責(zé)任。這一點可以比照公司法人和自然人:由于公司法人擁有財產(chǎn),所以罰金對公司法人而言是最容易的刑罰方式,對人工智能也是如此:自然人犯罪支付罰金,那么他的家人會因此失去金錢;公司法人支付罰金,其員工、主管和客戶便不能再使用其資金。

    但是人工智能防御性責(zé)任的承擔(dān)卻仍存在困難。比如,以自然人特有的羞恥感為基礎(chǔ)設(shè)立的“賠禮道歉”就難以適用于人工智能。因此,有必要針對人工智能的特點增設(shè)其專屬的民事責(zé)任承擔(dān)方式。具體而言,可以增設(shè)修改程序并設(shè)立閾值、清理惡意程序、強制銷毀、禁止生產(chǎn)等專屬人工智能的民事責(zé)任承擔(dān)方式。修改程序并設(shè)立閾值,是通過程序技術(shù)識別分析出人工智能中致人損害的程序進行修改,并要求人工智能的生產(chǎn)者為人工智能設(shè)立安全閾值,將人工智能學(xué)習(xí)和決策的能力限制在合理的安全范圍內(nèi)[43];清理惡意程序,是指通過惡意程序檢驗,將人工智能運行過程產(chǎn)生或外部輸入的惡意代碼刪除(10),若刪除之后,經(jīng)評估人工智能仍然具有可利用和改造價值,可以添加新的程序,使其能夠再次進入市場。在人工智能致人損害程度極其嚴重,社會影響極大,前兩種責(zé)任承擔(dān)方式難以消除影響的情況下,則可以考慮銷毀,同時禁止生產(chǎn)該型號的人工智能。

    同時應(yīng)該加強人工智能的人格建設(shè),如我們熟知的“索菲亞”“阿爾法狗”等人工智能均擁有自己的身份、名號以及一定的知名度。將人工智能與其身份姓名相綁定,即可讓其通過在媒體網(wǎng)站、報紙雜志等發(fā)表道歉聲明,對損害他人人格權(quán)的行為賠禮道歉,消除影響。人工智能本身的公眾人物身份與名氣都可以成為使賠償更為有力的工具。

    3.“揭露人工智能人格面紗”制度的建設(shè)

    刺破人工智能人格面紗制度是指在滿足法律規(guī)定條件的情況下,拒絕承認人工智能法律人格的獨立存在,即使其符合人工智能法律人格的全部構(gòu)成要素。該制度的核心在于,使藏在人工智能背后的惡意制造人、使用或管理人“原形畢露”,使這些惡意者直接承擔(dān)人工智能的侵權(quán)責(zé)任,而非被代理人責(zé)任。

    結(jié)合人工智能法律人格的特點,參照“法人人格否認”制度,建立“人工智能人格否認”制度。人工智能理應(yīng)享有的是以代理權(quán)補充的獨立法律人格,在《民法典》中,應(yīng)規(guī)定代理人和相對人惡意串通、損害被代理人合法權(quán)益的,代理人和相對人應(yīng)當(dāng)承擔(dān)連帶責(zé)任。這是對于人工智能與他人串通損害客戶(被代理人)合法權(quán)益的規(guī)定。

    但是,由于目前強人工智能尚未出現(xiàn),人工智能尚不能完全分辨自己的行為并反抗人類的命令。所以當(dāng)人工智能的制造者或使用管理人惡意利用人工智能的獨立法律人格,實施加害行為,卻將法律責(zé)任加諸人工智能之上。此種情形顯然與人工智能法律人格制度的設(shè)立意愿背離,對人工智能的發(fā)展造成不良影響。因此,參照“揭開公司面紗”制度的表現(xiàn)行為,在以下情況下,可以設(shè)立“揭露人工智能面紗”的制度,使其背后的制造者或使用者承擔(dān)法律責(zé)任:

    (1)申報注冊登記的人工智能用途、使用技術(shù)以及性能報告、人工智能出生日等關(guān)鍵性信息不實,則人工智能法律人格自始不存在;

    (2)惡意編寫損害人類利益的代碼,造成侵權(quán)甚至違反法律行為,危急社會公共和個人人身財產(chǎn)利益的;

    (3)使用者不按照工作說明操作人工智能,使其進行違法犯罪等活動[44]。

    被揭露面紗后的人工智能,其責(zé)任由造成人工智能面紗揭露的主體按照法律規(guī)定承擔(dān)責(zé)任。不能因人工智能為非傳統(tǒng)的法律主體就逃避法律制裁,但需要考慮在不同的責(zé)任類型中設(shè)定人工智能特定的責(zé)任承擔(dān)主體。

    五、結(jié)語

    法律應(yīng)順應(yīng)時代要求和社會發(fā)展規(guī)律進行完善與超越。世界主流觀點認為可以賦予人工智能法律人格:一些國家規(guī)定非人生物也可成為法律訴訟主體,法律主體制度不僅為人而生,亦可為非人而設(shè);沙特阿拉伯承認人工智能“索菲亞”的主體地位,規(guī)定人工智能是獨立法律實體。在一定條件下,傳統(tǒng)法律主體制度可以突破,人工智能亦可成為法律主體。盡管大多數(shù)觀點接受人工智能應(yīng)當(dāng)具有法律主體資格,但在實踐中,如何以《民法典》代理權(quán)視角賦予人工智能法律主體資格、界定人工智能的內(nèi)涵和外延、豐富現(xiàn)有法律概念,還需要解決諸多問題。新的法律人格理論尚須進一步厘清基本人性與法律擬制人格的關(guān)系和區(qū)別,以及人工智能人格的局限性,以適應(yīng)人工智能的發(fā)展和實踐。

    注釋:

    (1)歐盟電子人決議原文“Robots’ autonomy is likely to grow to the extent that their ethical regulation will become necessary, by programming them with ethical codes specifically designed to prevent their harmful behavior (e.g. endangering humans or the environment)”,決議認為機器人自主性增長過快,因而有必要制定道德規(guī)范來防止機器人的危害行為。

    (2)根據(jù)俄羅斯全國門戶網(wǎng)站保安和安全網(wǎng)發(fā)布的信息稱,皇家科學(xué)界和英國科學(xué)院最近發(fā)表的一份報告直言,機器人定律可以用一條普遍的規(guī)則來取代:“人必須成功”。

    (3)格里申法案第一條規(guī)定:“機器人-代理人擁有獨立的財產(chǎn)并以之為自己的債務(wù)承擔(dān)責(zé)任,可以以自己名義取得并行使民事權(quán)利和承擔(dān)民事義務(wù)。在法律規(guī)定的情況下,機器人-代理人可以作為民事訴訟的參加者”。

    (4)如俄羅斯國家杜馬信息政策、信息技術(shù)和通信委員會主席萊昂尼德·萊文說過,機器人化將導(dǎo)致“驅(qū)逐勞動力”,例如銀行、會計和法律服務(wù)、工業(yè)。因此,在不久的將來,可能會面臨失業(yè)上升。這是事實性的闡述,但保守派勢力將這種威脅與移民等問題結(jié)合,過分夸大了人工智能的威脅。

    (5)參照《民法典》第一百七十條規(guī)定:執(zhí)行法人或者非法人組織工作任務(wù)的人員,就其職權(quán)范圍內(nèi)的事項,以法人或者非法人組織的名義實施民事法律行為,對法人或者非法人組織發(fā)生效力。

    (6)《民法典》關(guān)于民事行為能力的規(guī)定有:第十八條 成年人為完全民事行為能力人,可以獨立實施民事法律行為。十六周歲以上的未成年人,以自己的勞動收入為主要生活來源的,視為完全民事行為能力人。

    第十九條 八周歲以上的未成年人為限制民事行為能力人,實施民事法律行為由其法定代理人代理或者經(jīng)其法定代理人同意、追認;但是,可以獨立實施純獲利益的民事法律行為或者與其年齡、智力相適應(yīng)的民事法律行為。

    第二十條 不滿八周歲的未成年人為無民事行為能力人,由其法定代理人代理實施民事法律行為。

    第二十一條 不能辨認自己行為的成年人為無民事行為能力人,由其法定代理人代理實施民事法律行為。八周歲以上的未成年人不能辨認自己行為的,適用前款規(guī)定。

    (7)如北京航空航天大學(xué)教授何立民所言:“(現(xiàn)在)人們有條件開始研究弱人工智能生成機理,展望強人工智能,但卻難以預(yù)測未來的超人工智能?!?/p>

    (8)《民法典》第五十七條規(guī)定:法人是具有民事權(quán)利能力和民事行為能力,依法獨立享有民事權(quán)利和承擔(dān)民事義務(wù)的組織。

    (9)《民法典》第一百一十條規(guī)定:自然人享有生命權(quán)、身體權(quán)、健康權(quán)、姓名權(quán)、肖像權(quán)、名譽權(quán)、榮譽權(quán)、隱私權(quán)、婚姻自主權(quán)等權(quán)利。法人、非法人組織享有名稱權(quán)、名譽權(quán)和榮譽權(quán)。

    (10)外部的惡意代碼主要通過包括病毒、懦蟲、遠控木馬、僵尸程序、勒索軟件等攻擊形態(tài)進入,可以通過傳統(tǒng)計算機安全防護手段與深度學(xué)習(xí)結(jié)合進行防護,具體可參考張銘倫先生的:《面向惡意軟件對抗樣本攻擊的可信人工智能防御方法研究》。

    參考文獻:

    [1]劉辰.國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》:構(gòu)筑我國人工智能發(fā)展先發(fā)優(yōu)勢[J].中國科技產(chǎn)業(yè),2017,(8):78-79.

    [2]A. M. Turing. Computing Machinery and Intelligence[J]. Mind, 1950, 59(236):433-460.

    [3]戴維·M.沃克.牛津法律人辭典[M].光明日報出版社1988,687.

    [4]葉欣.私法上自然人法律人格之解析[J].武漢大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2011,64(6):125-129.

    [5]吳高臣.人工智能法律主體資格研究[J].自然辯證法通訊,2020,42(6):20-26.

    [6]張紹欣.法律位格、法律主體與人工智能的法律地位[J].現(xiàn)代法學(xué),2019,41(4):53-64.

    [7]鄒瑜,顧明. 法學(xué)大辭典[M]. 北京:中國政法大學(xué)出版社, 1991:63.

    [8]宋磊.從爵的法律特權(quán)變革的角度再釋法律儒家化[J].社會科學(xué),2021,(6):161-170.

    [9]黃仁宇. 萬歷十五年[M].北京:生活·讀書·新知三聯(lián)書店, 2008:.

    [10]陳廣文. 重建修正案的評價與解釋[D].濟南:山東大學(xué),2016.

    [11]尹田.論人格權(quán)的本質(zhì)——兼評我國民法草案關(guān)于人格權(quán)的規(guī)定[J].法學(xué)研究,2003,(4):3-14.

    [12]胡長兵.法律主體考略——以近代以來法律人像為中心[J].東方法學(xué),2015,(5):46-54.

    [13]張力.論法人人格否認制度的古羅馬法淵源[J].學(xué)術(shù)論壇,2008,(4):137-143.

    [14]彼德羅·彭梵得..羅馬法教科書( 2017年校訂版)[M]. 黃風(fēng),譯.北京:中國政法大學(xué)出版社, 2017.

    [15]莢振坤. 中世紀(jì)歐洲海商法研究(11 至 15 世紀(jì))[D].上海:華東政法大學(xué),2013.

    [16]馬克斯·韋伯. 中世紀(jì)商業(yè)合伙史[M].上海:東方出版中心, 2010.

    [17]宇培峰.“家長權(quán)”研究[D].北京:中國政法大學(xué),2011.

    [18]德國民法典[M].杜景林,盧諶.譯.北京:中國政法大學(xué)出版社, 2014.

    [19]唐偉元.論民事主體的判斷標(biāo)準(zhǔn)[J].科技創(chuàng)新導(dǎo)報,2008,(18):126.

    [20]許中緣.論人工智能的工具性人格[J].法學(xué)評論,2018,36(5):153-164.

    [21]崔愷旭. 計算機圍棋強化學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)[D].北京:北京郵電大學(xué),2019.

    [22]張悅.論人工智能的法律主體資格[D].石家莊:河北經(jīng)貿(mào)大學(xué),2020.

    [23]曹越.人工智能創(chuàng)作物的著作權(quán)問題研究——以“微軟小冰”為例[J].社會科學(xué)動態(tài),2019,(3):75-82.

    [24]曹建峰.10大建議!看歐盟如何預(yù)測AI立法新趨勢[J].機器人產(chǎn)業(yè),2017,(2):16-20.

    [25]世界人類基因組與人權(quán)宣言——聯(lián)合國教育、科學(xué)及文化組織[J].中國醫(yī)學(xué)倫理學(xué),1998,(2):2-66.

    [26]高奎.生殖性克隆人行為的世界立法應(yīng)對[J].法制與社會,2009,(21):325-326.

    [27]The first rule of robotics... The State Duma will prepare the rules for human communication with robots [DB/OL] (2017-12-20)[2021-06-11].http://guardinfo.online/2017/09/26/pervoe-pravilo-robototexniki-gosduma-podgotovit-pravila-obshheniya-cheloveka-s-robotami/.

    [28]UNESCO science experts explore robots’right [DB/OL](2013-05-06)[2021-06-11].http://www.unesco.org/new/en/media-services/single-view/news/unesco_science_experts_explore_robots_rights/.

    [29]阿西莫夫. 我,機器人[M].國強,等,譯. 北京:科學(xué)普及出版社, 1981.

    [30]艾薩克·阿西莫夫.銀河帝國 12 機器人與帝國[M]. 葉李華,譯. 南京:江蘇鳳凰文藝出版社, 2015.

    [31]王春梅.《格里申法案》機器人二元定性的啟示與反思[J].江漢論壇,2020,(9):127-131.

    [32]袁昭江. 歐盟機器人民事法律規(guī)則研究[D].長沙:湖南師范大學(xué),2020.

    [33]張建文.格里申法案的貢獻與局限——俄羅斯首部人工智能法草案述評[J].華東政法大學(xué)學(xué)報,2018,21(2):32-41.

    [34]鄭志峰.自動駕駛汽車交通事故責(zé)任的立法論與解釋論——以民法典相關(guān)內(nèi)容為視角[J/OL].東方法學(xué),{3},{4}{5}:1-15[2021-07-14].https://doi.org/10.19404/j.cnki.dffx.20210430.010.

    [35]周洪政.網(wǎng)絡(luò)時代電子要約和承諾的特殊法律問題研究[J].清華法學(xué),2012,6(4):162-176.

    [36]沈建銘. 論人工智能實體的法律主體資格[D].武漢:華中師范大學(xué),2017.

    [37]喬芳娥. 人工智能對民事主體地位的挑戰(zhàn)與應(yīng)對——以未來強人工智能的出現(xiàn)為視角的分析[C]. 2021年世界人工智能大會組委會.《上海法學(xué)研究》集刊(2021年第5卷 總第53卷)——2021世界人工智能大會法治論壇文集.2021年世界人工智能大會組委會:上海市法學(xué)會,2021:10.

    [38]張沁芊.電子商務(wù)中人工智能體的民事責(zé)任研究——以“電子代理人”為例[J].湖北工程學(xué)院學(xué)報,2020,40(1):100-105.

    [39]何立民.人工智能系統(tǒng)智能生成機理探索之六 從弱人工智能、強人工智能到超人工智能[J].單片機與嵌入式系統(tǒng)應(yīng)用,2020,20(8):87-89.

    [40]吳戈.人工智能發(fā)展帶來的問題及其倫理思考[J].中州學(xué)刊,2021,(3):93-95.

    [41]梁慧星.《民法總則》重要條文的理解與適用[J].四川大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2017,(4):51-65.

    [42]梁志文.論人工智能創(chuàng)造物的法律保護[J].法律科學(xué)(西北政法大學(xué)學(xué)報),2017,35(5):156-165.

    [43]雷恩·卡羅,鄭志峰.人工智能政策:入門與路線圖[J].求是學(xué)刊,2019,46(2):25-44.

    [44]韓旭.人工智能侵權(quán)責(zé)任主體問題研究[D].大連:大連海事大學(xué),2020.

    Constructing the Qualification System of Artificial

    Intelligence Subject with? Theory of Agency in the Civil

    Code: Based on the Discussion of the Current Robot Draft

    LYU Qunrong,CUI Litian

    (School of Health Management, Southern Medical University,Guangzhou Guangdong 510515, China)

    Abstract:This article takes the evolution of natural persons and legal persons as the research starting point, considering that artificial intelligence should be endowed with legal personality, in combination with the two characteristics of artificial intelligence (AI): relatively independent free will and cognition, and the ability to enjoy rights and bear obligations. Meanwhile, due to the incompleteness of the independent will of artificial intelligence, the assumption of its rights and obligations may be determined by reference to the “agent” system, and the scope of capacity for civil rights and the system of civil liability of artificial intelligence shall be established from the perspective of the implementation of legal acts by natural persons and legal persons on behalf of artificial intelligence.

    Key words:? Artificial Intelligence (AI);subject qualification; theoretical basis; the agency

    編輯:鄒蕊

    3905500338274

    猜你喜歡
    理論基礎(chǔ)民法典代理
    無信不立 無誠不久——民法典中關(guān)于合同的那些規(guī)定
    公民與法治(2022年5期)2022-07-29 00:47:52
    民法典誕生
    云南畫報(2021年1期)2021-06-11 06:04:56
    民法典來了
    中國民法典,誕生!
    金橋(2020年7期)2020-08-13 03:06:56
    代理圣誕老人
    代理手金寶 生意特別好
    實踐性知識視角下教師培訓(xùn)實踐性課程開發(fā)的理論基礎(chǔ)
    淺議中職計算機基礎(chǔ)課自主學(xué)習(xí)教學(xué)模式
    會計準(zhǔn)則變革的非預(yù)期效應(yīng)理論框架構(gòu)建
    商情(2016年40期)2016-11-28 09:40:02
    非法證據(jù)排除規(guī)則的理論基礎(chǔ)
    同心县| 永兴县| 河南省| 招远市| 宣化县| 海晏县| 常宁市| 鹤岗市| 咸阳市| 许昌市| 封丘县| 和平县| 莱芜市| 陇川县| 彭州市| 高陵县| 高阳县| 辛集市| 莱阳市| 桃源县| 通州市| 周口市| 美姑县| 昔阳县| 新昌县| 通城县| 大足县| 普兰县| 故城县| 会同县| 临西县| 满城县| 凤台县| 永春县| 察雅县| 临江市| 汶上县| 丰宁| 界首市| 塔城市| 长兴县|