• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能體醫(yī)療損害責(zé)任分析
    ——以達(dá)芬奇手術(shù)機(jī)器人為例

    2020-04-15 10:21:00丁璐
    關(guān)鍵詞:達(dá)芬奇醫(yī)療機(jī)構(gòu)機(jī)器人

    丁璐

    (南京大學(xué)法學(xué)院,江蘇南京210093)

    一、引言

    伴隨著新一輪的人工智能技術(shù)浪潮,新型智能產(chǎn)品的應(yīng)用幾乎覆蓋了社會(huì)的各個(gè)重要領(lǐng)域。人工智能體的侵權(quán)糾紛也日益凸顯,尤其在自動(dòng)駕駛汽車領(lǐng)域已經(jīng)受到極高關(guān)注,然而,在與人類生命福祉緊密相關(guān)的醫(yī)療領(lǐng)域卻少有人提及。同時(shí),現(xiàn)有的關(guān)于人工智能侵權(quán)糾紛問題的探討往往停留在抽象的產(chǎn)品責(zé)任層面,缺少與具體領(lǐng)域的結(jié)合。原則性的討論固然必不可少,但不同領(lǐng)域侵權(quán)責(zé)任的歸責(zé)方式還是相差甚遠(yuǎn)。作為外科手術(shù)領(lǐng)域中的新星,達(dá)芬奇機(jī)器人手術(shù)系統(tǒng)自2006年進(jìn)入中國以來已經(jīng)完成了上萬臺(tái)手術(shù)。從患者的角度來看,盡管依然會(huì)擔(dān)心機(jī)器人手術(shù)的安全問題[1],但無法阻擋醫(yī)療技術(shù)發(fā)展的必然趨勢,新技術(shù)不僅僅為醫(yī)院及患者提供了工具支持,更創(chuàng)造了一個(gè)有著全新參與方、全新互動(dòng)模式及全新相互關(guān)系的嶄新的醫(yī)療生態(tài)[2]。技術(shù)的發(fā)展總是與風(fēng)險(xiǎn)同在,除醫(yī)療本身的風(fēng)險(xiǎn)以外,人工智能應(yīng)用的風(fēng)險(xiǎn)又被無形地融入其中。美國早在2005年就已經(jīng)出現(xiàn)了有關(guān)達(dá)芬奇機(jī)器人侵權(quán)的醫(yī)療糾紛,我國卻對(duì)這一雙重風(fēng)險(xiǎn)沒有足夠的重視。到目前為止,筆者檢索到的涉及達(dá)芬奇手術(shù)機(jī)器人的醫(yī)療侵權(quán)糾紛案件,幾乎都并未將焦點(diǎn)放在人工智能體本身,而是一味地追究醫(yī)療機(jī)構(gòu)的過失責(zé)任,這與一般的醫(yī)療損害糾紛并無二致。

    不可否認(rèn)的是,達(dá)芬奇機(jī)器人將在很長一段時(shí)間內(nèi)無法跳脫產(chǎn)品的屬性,作為特殊醫(yī)療設(shè)備,現(xiàn)有的《侵權(quán)責(zé)任法》以及《關(guān)于審理醫(yī)療損害責(zé)任糾紛案件適用法律若干問題的解釋》(以下簡稱為“《醫(yī)療解釋》”)似乎能夠勉強(qiáng)應(yīng)對(duì)現(xiàn)階段的產(chǎn)品侵權(quán)糾紛,但《人工智能標(biāo)準(zhǔn)化白皮書(2018)》中已經(jīng)提出了人工智能體獨(dú)立思考的可能性,根據(jù)其是否能實(shí)現(xiàn)思考和推理甚至解決問題,將其劃分為弱人工智能和強(qiáng)人工智能兩個(gè)階段。而面向未來的強(qiáng)人工智能時(shí)代的法律規(guī)制必定要從法律運(yùn)行的首要環(huán)節(jié)即立法活動(dòng)入手,人工智能體終將脫離人工控制進(jìn)行獨(dú)立判斷,屆時(shí)侵權(quán)主體的重新界定將會(huì)突破現(xiàn)行法的局限,在遵循技術(shù)發(fā)展規(guī)律并堅(jiān)持正確價(jià)值導(dǎo)向的基礎(chǔ)上,及時(shí)回應(yīng)在前沿技術(shù)領(lǐng)域中出現(xiàn)的新問題[3],這將是一條漫長而曲折的道路。本文僅就人工智能體在醫(yī)療損害糾紛中的責(zé)任承擔(dān)問題展開論述,不涉及醫(yī)療服務(wù)合同糾紛。

    二、人工智能體作為“賓格”的醫(yī)療損害責(zé)任

    所謂的“賓格”[4]是指人工智能體作為人類作用對(duì)象的定位,即具備產(chǎn)品與工具的屬性。人們往往會(huì)將新的事物與身邊熟悉的事物進(jìn)行類比,這一過程便是尋找“隱喻”的過程[5],通過“隱喻”可以簡單地以既有事物的新版本對(duì)新事物加以理解,恰當(dāng)?shù)碾[喻有利于創(chuàng)設(shè)完備的立法和消費(fèi)保護(hù)措施。人工智能最具有迷惑性的隱喻可能要屬人形機(jī)器人陷阱了,但不可否認(rèn)的是,其在較長一段時(shí)間內(nèi)仍然是人類的工具,擺脫不了產(chǎn)品的屬性,在醫(yī)療損害糾紛中,達(dá)芬奇機(jī)器人的歸責(zé)原則也應(yīng)當(dāng)以產(chǎn)品責(zé)任為邏輯起點(diǎn)。

    (一)達(dá)芬奇機(jī)器人醫(yī)療損害糾紛實(shí)例

    2005年在美國發(fā)生了一起關(guān)于達(dá)芬奇手術(shù)機(jī)器人的醫(yī)療糾紛,當(dāng)事人即患者Roland C.Mracek在進(jìn)行了達(dá)芬奇機(jī)器人輔助手術(shù)后出現(xiàn)后遺癥,便針對(duì)達(dá)芬奇機(jī)器人手術(shù)中出現(xiàn)的故障從產(chǎn)品責(zé)任的角度提出訴求。然而根據(jù)美國侵權(quán)法重述中嚴(yán)格責(zé)任的規(guī)定,原告首先要證明產(chǎn)品是存在缺陷的;其次,產(chǎn)品的缺陷在制造商控制時(shí)已經(jīng)存在;最后,產(chǎn)品的缺陷是損害的主要原因。在原告看來,達(dá)芬奇的缺陷顯而易見,因?yàn)槠湓谑中g(shù)過程中發(fā)出錯(cuò)誤報(bào)告并且關(guān)閉,同時(shí)又有Dr.McGinnis的證言。然而被告卻認(rèn)為原告沒有遞交專家報(bào)告[6],Dr.McGinnis的證言也僅僅證明了達(dá)芬奇在手術(shù)過程中沒有正常運(yùn)行,并不必然存在缺陷,畢竟達(dá)芬奇在此之前輔助醫(yī)生成功實(shí)施了許多手術(shù),Dr.Sinaiko甚至暗示這場手術(shù)是成功的。最后陪審團(tuán)亦缺少專業(yè)背景知識(shí),無法斷定機(jī)器是否存在缺陷,因此認(rèn)定原告并沒有完成舉證責(zé)任,案件的最終結(jié)果竟是以簡易判決的形式駁回了原告的訴求。筆者認(rèn)為,盡管該案以敗訴告終,但是在處理人工智能產(chǎn)品的侵權(quán)問題上給了我們重要啟示。第一個(gè)啟示是在醫(yī)療侵權(quán)損害糾紛中,除了醫(yī)療機(jī)構(gòu)的過失責(zé)任以外,人工智能產(chǎn)品本身更應(yīng)該受到關(guān)注,抽離出醫(yī)療機(jī)構(gòu)的責(zé)任將會(huì)更有利于緩解緊張的醫(yī)患關(guān)系。第二個(gè)啟示在于這一判例凸顯出了專家報(bào)告的重要作用。美國法上通過專家證言來證明產(chǎn)品的缺陷,我國對(duì)于產(chǎn)品缺陷尤其是設(shè)計(jì)缺陷和制造缺陷的證明也需要專門的鑒定,無論是質(zhì)量技術(shù)部門的鑒定,還是司法鑒定機(jī)構(gòu)的鑒定,都面臨著現(xiàn)代科技產(chǎn)品對(duì)鑒定技術(shù)水平以及資質(zhì)的要求較以往更高的困境[7],在人工智能與醫(yī)療領(lǐng)域合作的背景下,醫(yī)療鑒定的內(nèi)容會(huì)更加復(fù)雜。

    近年來隨著我國對(duì)該技術(shù)的引進(jìn)和應(yīng)用,也出現(xiàn)了類似的醫(yī)療糾紛。筆者檢索到的有關(guān)達(dá)芬奇機(jī)器人的醫(yī)療糾紛的有效案例有五個(gè),且都被歸類于醫(yī)療過錯(cuò)責(zé)任糾紛領(lǐng)域。從2018年度的醫(yī)療損害責(zé)任糾紛案件的爭議領(lǐng)域來看(見圖1),醫(yī)療過錯(cuò)責(zé)任更像是一個(gè)兜底框,而有效的五例關(guān)于達(dá)芬奇機(jī)器人的糾紛中,法官所適用的法條也主要集中在《侵權(quán)責(zé)任法》中的醫(yī)療過失責(zé)任(見圖2),尚未提及醫(yī)療產(chǎn)品責(zé)任問題。由此可以得知,達(dá)芬奇手術(shù)機(jī)器人作為特殊的人工智能醫(yī)療產(chǎn)品的定位并沒有得到認(rèn)同,由人工智能產(chǎn)品本身的問題而引起的醫(yī)療損害侵權(quán)問題不能完全納入醫(yī)療過錯(cuò)責(zé)任。原因在于,首先,人工智能產(chǎn)品在醫(yī)療領(lǐng)域的研發(fā)和應(yīng)用受到處于起步階段的人工智能技術(shù)的限制,我們必須要更加關(guān)注產(chǎn)品本身的缺陷引發(fā)的外部問題;其次,從醫(yī)療鑒定角度來看,大部分鑒定結(jié)論都會(huì)聚焦于醫(yī)療機(jī)構(gòu)的過失行為,而對(duì)于醫(yī)療產(chǎn)品本身缺陷的檢測和分析卻往往不到位。如鄒愛敏、趙瀟訴青島大學(xué)附屬醫(yī)院醫(yī)療損害責(zé)任糾紛案中,患者術(shù)后脾動(dòng)脈破裂大出血,醫(yī)療鑒定結(jié)果是醫(yī)院承擔(dān)70%的過錯(cuò)責(zé)任①山東省青島市中級(jí)人民法院(2019)魯02民終5081號(hào)二審民事判決書。;楊邦文訴重慶西南醫(yī)院醫(yī)療損害責(zé)任糾紛案中,患者在達(dá)芬奇機(jī)器人術(shù)后肺部感染,鑒定結(jié)論是醫(yī)方在楊邦文的診療過程中,對(duì)患者病情的嚴(yán)重程度重視不夠,觀察不仔細(xì),病情變化后處理不及時(shí),存在過錯(cuò),該過錯(cuò)與楊邦文“截癱”之損害后果存在因果關(guān)系。醫(yī)方應(yīng)對(duì)損失承擔(dān)50%的賠償責(zé)任②重慶市第一中級(jí)人民法院(2018)渝01民終3540號(hào)二審民事判決書。。但是這樣的鑒定結(jié)論往往是不被醫(yī)療機(jī)構(gòu)所認(rèn)可的,同時(shí)不利于緩解緊張的醫(yī)患關(guān)系,反增醫(yī)療機(jī)構(gòu)的訴訟負(fù)擔(dān)。

    (二)人工智能體的醫(yī)療產(chǎn)品責(zé)任

    我國醫(yī)療產(chǎn)品責(zé)任由于醫(yī)療機(jī)構(gòu)這一特殊主體的介入,實(shí)際上兼具了醫(yī)療損害責(zé)任以及產(chǎn)品責(zé)任的多種屬性。醫(yī)療機(jī)構(gòu)在醫(yī)療損害糾紛中承擔(dān)過錯(cuò)責(zé)任,而在醫(yī)療產(chǎn)品責(zé)任中又承擔(dān)了嚴(yán)格責(zé)任,總體來說似乎并沒有平衡好受害患者、醫(yī)療機(jī)構(gòu)和缺陷產(chǎn)品生產(chǎn)者及銷售者之間的利益關(guān)系[8]。也有觀點(diǎn)認(rèn)為《侵權(quán)責(zé)任法》第59條規(guī)定的醫(yī)療機(jī)構(gòu)對(duì)醫(yī)療產(chǎn)品損害責(zé)任的規(guī)定,其實(shí)是一個(gè)過渡性的規(guī)則,不應(yīng)當(dāng)長期適用[9]。

    就產(chǎn)品缺陷而言,《產(chǎn)品責(zé)任法》的重點(diǎn)集中于制造缺陷[10],即與產(chǎn)品的設(shè)計(jì)意圖相背離的物理狀況。由此類缺陷造成的損害,法院對(duì)于產(chǎn)品的制造商、批發(fā)商和零售商都會(huì)認(rèn)定為無過錯(cuò)的嚴(yán)格責(zé)任。該舉證責(zé)任的分擔(dān)原則是由原告舉證該缺陷在離開制造商時(shí)就存在,若在制造過程后產(chǎn)生,原告需要證明產(chǎn)品在離開經(jīng)銷鏈上的銷售者之時(shí)就存在缺陷。侵權(quán)法的一個(gè)重要功能就是制造產(chǎn)品安全的驅(qū)動(dòng)力,通過將制造商是否存在過錯(cuò)的問題排除在原告的舉證責(zé)任之外來降低訴訟成本。筆者認(rèn)為在人工智能醫(yī)療產(chǎn)品責(zé)任糾紛中,對(duì)于制造缺陷的歸責(zé)原則仍然應(yīng)當(dāng)延續(xù)嚴(yán)格責(zé)任。

    其次,人工智能技術(shù)的研發(fā)和應(yīng)用處于初級(jí)階段,有無限的可能和空間,而就現(xiàn)階段其與醫(yī)療領(lǐng)域的結(jié)合,筆者認(rèn)為更為關(guān)鍵的應(yīng)當(dāng)是產(chǎn)品設(shè)計(jì)缺陷的應(yīng)對(duì)方式。設(shè)計(jì)研發(fā)是成品的首要環(huán)節(jié),設(shè)計(jì)的嚴(yán)謹(jǐn)及科學(xué)與否直接影響到產(chǎn)品的安全性能、自主性并決定人類的參與程度。盡管如此,筆者并不贊同設(shè)計(jì)缺陷需要適用嚴(yán)格的產(chǎn)品責(zé)任,反而,在一項(xiàng)新技術(shù)的研發(fā)過程中,產(chǎn)品設(shè)計(jì)本身就是不斷更迭和摸索的過程,嚴(yán)格的產(chǎn)品責(zé)任不利于技術(shù)的創(chuàng)新和發(fā)展。不僅如此,人工智能產(chǎn)品的研發(fā)需要兼顧多種學(xué)科的交互,在保證技術(shù)創(chuàng)新的同時(shí)還要考慮安全性因素,更何況關(guān)于何為消費(fèi)者適當(dāng)?shù)漠a(chǎn)品設(shè)計(jì)的期望根本難以辨別,設(shè)計(jì)安全程度與質(zhì)量監(jiān)控程度也不能直接對(duì)比。因此,從法理和政策上考量,人工智能產(chǎn)品的設(shè)計(jì)缺陷需要在嚴(yán)格責(zé)任的基礎(chǔ)上適當(dāng)軟化,至少在技術(shù)發(fā)展的起步階段由社會(huì)分擔(dān)責(zé)任成本進(jìn)而鼓勵(lì)創(chuàng)新。當(dāng)然,產(chǎn)品的研發(fā)和設(shè)計(jì)者也不能因此而免責(zé),即便危險(xiǎn)顯而易見,也并不妨礙原告針對(duì)產(chǎn)品設(shè)計(jì)缺陷提出賠償請求[11]。筆者只是強(qiáng)調(diào)需要為技術(shù)的改進(jìn)提供一定的試錯(cuò)空間。這方面可以參考美國《侵權(quán)法重述》修訂中對(duì)設(shè)計(jì)缺陷的規(guī)定,美國法律研究院放棄了“消費(fèi)者合理期待”標(biāo)準(zhǔn),新標(biāo)準(zhǔn)強(qiáng)調(diào)“合理替代設(shè)計(jì)”要素,設(shè)計(jì)缺陷的主流舉證責(zé)任分擔(dān)原則是原告必須證明在產(chǎn)品銷售或者派送之時(shí)存在其他合理的設(shè)計(jì)方案,或者能夠合理存在。如果人工智能產(chǎn)品更合理的設(shè)計(jì)無法被預(yù)見,就不能將責(zé)任強(qiáng)加于設(shè)計(jì)主體[12]。也就是說,在考量一種產(chǎn)品的設(shè)計(jì)缺陷時(shí),依照“風(fēng)險(xiǎn)效用平衡”理論來把握更為合適,即一個(gè)合理的其他設(shè)計(jì)是否能夠以合理的成本,降低該產(chǎn)品帶來的可以預(yù)見的風(fēng)險(xiǎn)。當(dāng)然,若不合理設(shè)計(jì)顯而易見,具有較高的危險(xiǎn)性以及較低的社會(huì)效用,即便沒有證據(jù)表明存在其他合理設(shè)計(jì),也仍然可以認(rèn)定產(chǎn)品責(zé)任。而醫(yī)療領(lǐng)域中人工智能技術(shù)如達(dá)芬奇手術(shù)機(jī)器人的運(yùn)用帶來的社會(huì)效用是極高的,因此,在人工智能產(chǎn)品設(shè)計(jì)缺陷責(zé)任分析中,美國用“合理替代設(shè)計(jì)”代替“消費(fèi)者合理期待”的做法更具有合理性,原來的消費(fèi)者期待變成非決定性控制因素,這一轉(zhuǎn)變顯然更有利于人工智能技術(shù)的發(fā)展。

    最后,醫(yī)療產(chǎn)品的警示說明必不可少,院方必須要嚴(yán)格執(zhí)行并且貫穿整個(gè)診療環(huán)節(jié)。必須將相關(guān)的注意事項(xiàng)以及存在的任何風(fēng)險(xiǎn)毫無保留地告知患者,這將成為患者選擇診療方式的有效參考。醫(yī)療機(jī)構(gòu)的角色更像是人工智能產(chǎn)品的使用經(jīng)營者,我們不能要求其與產(chǎn)品的設(shè)計(jì)制造者一樣擁有同等的知識(shí)技術(shù)水平,只要其遵守技術(shù)規(guī)范,不違背警示操作,通常情況下不應(yīng)當(dāng)成為侵權(quán)責(zé)任的主體[13]。但是,醫(yī)療機(jī)構(gòu)的特殊性決定了其對(duì)于醫(yī)療產(chǎn)品的注意義務(wù)更高。在人工智能應(yīng)用方面,達(dá)芬奇機(jī)器人手術(shù)的操作目前還需要醫(yī)生的操控,在整個(gè)手術(shù)過程中醫(yī)生參與度較高,從這個(gè)角度來說,醫(yī)療機(jī)構(gòu)對(duì)于人工智能醫(yī)療器械和設(shè)備的使用承擔(dān)類似于銷售者的責(zé)任并不會(huì)過重。其次,《侵權(quán)責(zé)任法》第59條之所以將醫(yī)療機(jī)構(gòu)納入到醫(yī)療產(chǎn)品責(zé)任的歸責(zé)主體,并不是對(duì)醫(yī)療機(jī)構(gòu)營利屬性的肯定,而是在解決醫(yī)療機(jī)構(gòu)責(zé)任承擔(dān)問題的同時(shí)更加便利患者的權(quán)利救濟(jì),與銷售者的嚴(yán)格責(zé)任設(shè)定目的相當(dāng),但目的等同并不表明角色定位相同[14]。因此,無需專門梳理《侵權(quán)責(zé)任法》第54條與第59條不同的歸責(zé)原則問題,雖然醫(yī)療產(chǎn)品責(zé)任的最終責(zé)任人是產(chǎn)品提供商,醫(yī)療損害責(zé)任的最終責(zé)任人才是醫(yī)療機(jī)構(gòu)和醫(yī)生,但是這樣的嚴(yán)格責(zé)任的設(shè)定在以高標(biāo)準(zhǔn)要求醫(yī)療機(jī)構(gòu)的注意義務(wù)的同時(shí),也會(huì)大大減少醫(yī)療機(jī)構(gòu)因未盡告知義務(wù)以及注意義務(wù)而引發(fā)的醫(yī)療訴訟糾紛。在醫(yī)療訴訟案件中,醫(yī)療機(jī)構(gòu)的敗訴原因也大多在于未盡注意義務(wù)。

    因此,在人工智能技術(shù)發(fā)展的初級(jí)階段,智能產(chǎn)品將在較長一段時(shí)間內(nèi)依然無法脫離產(chǎn)品屬性,以達(dá)芬奇機(jī)器人為代表的醫(yī)療器械所引發(fā)的醫(yī)療損害責(zé)任更應(yīng)當(dāng)歸類為醫(yī)療產(chǎn)品責(zé)任當(dāng)中。具體而言,制造缺陷當(dāng)延續(xù)一般嚴(yán)格責(zé)任;設(shè)計(jì)缺陷需要在嚴(yán)格責(zé)任的基礎(chǔ)上進(jìn)行軟化,以 “合理替代設(shè)計(jì)”代替“消費(fèi)者合理期待”以平衡技術(shù)創(chuàng)新與社會(huì)效益;最后需要加強(qiáng)醫(yī)療機(jī)構(gòu)的注意義務(wù),不僅是為了應(yīng)對(duì)新技術(shù)帶來的風(fēng)險(xiǎn)以及尊重生命,也是為了減少不必要的醫(yī)療糾紛,緩解長期存在的緊張的醫(yī)患關(guān)系。

    三、人工智能體作為“主格”的醫(yī)療損害責(zé)任

    在弱人工智能向強(qiáng)人工智能發(fā)展的過程中,智能產(chǎn)品本身的自主性會(huì)隨之加強(qiáng),而達(dá)芬奇機(jī)器人的發(fā)展方向必定是成為依靠一系列的數(shù)據(jù)與編程實(shí)施手術(shù)的“人造醫(yī)生”。達(dá)芬奇機(jī)器人經(jīng)過深度學(xué)習(xí),具備一定的思考和判斷能力后可以真正脫離人類醫(yī)生的操控,但也要同時(shí)面對(duì)自己的錯(cuò)誤判斷導(dǎo)致的嚴(yán)重后果[15]。人工智能作為“主格”的地位即代表其具有獨(dú)立的法律人格,獨(dú)自承擔(dān)法律責(zé)任,享有權(quán)利和義務(wù)[16]。關(guān)于人工智能體的主體地位,學(xué)界有多種聲音,既有肯定的也有反對(duì)的,比如有觀點(diǎn)認(rèn)為人工智能體非人類,而我們不應(yīng)當(dāng)放棄人類中心主義的觀念;也有觀點(diǎn)主張人工智能體作為機(jī)器人至少在很長一段時(shí)間內(nèi)是缺少意識(shí)等關(guān)鍵要素的,無法成為獨(dú)立主體;還有觀點(diǎn)指出人工智能體只能被當(dāng)作財(cái)產(chǎn)來看待等等。筆者認(rèn)為,達(dá)芬奇機(jī)器人成為“人造醫(yī)生”是可以預(yù)見的必然趨勢,賦予其法律主體資格使其獨(dú)立承擔(dān)醫(yī)療損害責(zé)任也是現(xiàn)實(shí)需求。更何況,法律并不是第一次要求非人類對(duì)某些損害承擔(dān)責(zé)任,發(fā)生在中世紀(jì)晚期的動(dòng)物審判就是很好的例證,在當(dāng)時(shí)的時(shí)代背景下,莎薩內(nèi)將動(dòng)物視為撒旦無辜的工具,將異端當(dāng)作神性的威脅,對(duì)待動(dòng)物的懲罰手段極為殘忍,甚至施以肉刑[17]。但終究動(dòng)物受刑的本質(zhì)也是為了引起人類的恐懼,并沒有違背人類中心主義原則。同樣,賦予人工智能體以法律人格實(shí)際上也并非出于任何經(jīng)濟(jì)目的,從功能主義方面解釋也僅僅是為了糾紛的解決,從而達(dá)到一定的社會(huì)效果。我們也應(yīng)當(dāng)隨時(shí)做好準(zhǔn)備迎接另一種可能性,對(duì)于法律上“人”的認(rèn)識(shí)并非一成不變,當(dāng)機(jī)器說出它們的感受和感知經(jīng)驗(yàn),而我們相信其所說的是真的時(shí),它們就真正成了有意識(shí)的人[18]。即便我們承認(rèn),機(jī)器人的每一次回應(yīng)都需要大量的運(yùn)算才能完成,其體現(xiàn)出來的“意識(shí)”是基于數(shù)學(xué)運(yùn)算而產(chǎn)生的結(jié)果[19]。但賦予人工智能機(jī)器人以法律人格,對(duì)于糾紛解決來說無疑是更為簡便的,因?yàn)檫@實(shí)際上是一個(gè)完整的類似于人的案件。相反,倘若不承認(rèn)其獨(dú)立的法律人格,那么至少三分之一的法律責(zé)任會(huì)被排除在外,這是法律體系應(yīng)該承認(rèn)機(jī)器人獨(dú)立人格的現(xiàn)實(shí)原因而非概念原因。而理論上,授予機(jī)器人獨(dú)立的法律人格似乎也沒有障礙。合同領(lǐng)域也已經(jīng)將某些機(jī)器人視為適格代理人,人類完全可以給機(jī)器人委派認(rèn)知任務(wù)。法國和意大利民法領(lǐng)域也認(rèn)可機(jī)器成為適格的主體。

    (一)誰來為機(jī)器人的醫(yī)療損害負(fù)責(zé)

    我們賦予人工智能體法律人格的目的并不是為了排除其他主體的責(zé)任,重點(diǎn)是當(dāng)一個(gè)新的主體介入醫(yī)療損害糾紛時(shí),應(yīng)對(duì)其他主體的責(zé)任承擔(dān)方式作出修正,緩和各主體之間的緊張關(guān)系,也為患者的救濟(jì)多提供了一條路徑。深度學(xué)習(xí)后的達(dá)芬奇機(jī)器人相比于一般的醫(yī)療器械更加像手持手術(shù)刀的醫(yī)生,有自己的判定。此時(shí)需要考慮的就不僅僅局限于產(chǎn)品責(zé)任而是誰來為機(jī)器人的行為負(fù)責(zé)[20]。

    首先,使用或者監(jiān)控人工智能體的人應(yīng)當(dāng)承擔(dān)一定的法律責(zé)任。盡管經(jīng)過深度學(xué)習(xí)的人工智能體具備一定程度的專業(yè)能力,醫(yī)療機(jī)構(gòu)的注意義務(wù)有所降低,但不能完全排除醫(yī)療機(jī)構(gòu)或醫(yī)生的手術(shù)方案選擇錯(cuò)誤、監(jiān)控力度不夠以及突發(fā)狀況下的應(yīng)對(duì)措施不及時(shí)等過錯(cuò)責(zé)任。其次,機(jī)器人手術(shù)方式的選擇離不開患者自身對(duì)風(fēng)險(xiǎn)的評(píng)估,是以更高的風(fēng)險(xiǎn)換取更好的治療效果還是追求穩(wěn)妥的治療方式避免風(fēng)險(xiǎn)的發(fā)生,因此從這個(gè)角度來說患者自己也需要為自己的選擇以及科技所附帶的風(fēng)險(xiǎn)買單。除此之外,雖然在這一階段討論的是人工智能體作為獨(dú)立法律主體的醫(yī)療損害責(zé)任,已經(jīng)部分或者完全脫離產(chǎn)品的屬性,但是其設(shè)計(jì)者、制造商以及銷售商是否能夠逃脫責(zé)任呢?筆者認(rèn)為,雖然經(jīng)過深度學(xué)習(xí)后的人工智能體具備了一定的自主能力,也大致脫離了一般的工具屬性,技術(shù)發(fā)展也趨近成熟,但設(shè)計(jì)者、制造商以及銷售商作為最大的經(jīng)濟(jì)受益者,在技術(shù)研發(fā)階段社會(huì)分擔(dān)了他們的風(fēng)險(xiǎn)與責(zé)任,此時(shí),他們也應(yīng)當(dāng)更多地回饋于社會(huì)。因此,人工智能體的設(shè)計(jì)制造者也需要承擔(dān)一部分的社會(huì)責(zé)任。最后,作為獨(dú)立主體的人工智能機(jī)器人自身對(duì)其不當(dāng)行為當(dāng)然也要承擔(dān)法律責(zé)任。經(jīng)過深度學(xué)習(xí)后的手術(shù)機(jī)器人甚至可以達(dá)到專業(yè)醫(yī)生的水準(zhǔn),可以獨(dú)自走進(jìn)手術(shù)室,在醫(yī)療機(jī)構(gòu)承擔(dān)責(zé)任的同時(shí)需要相應(yīng)增加人工智能機(jī)器人自身的責(zé)任。

    (二)如何為機(jī)器人的醫(yī)療損害負(fù)責(zé)

    古羅馬時(shí)代的特有產(chǎn)制度,也是我們可以探尋到的有限責(zé)任公司的原型。羅馬律師發(fā)現(xiàn)行動(dòng)能力的形式和無法律上人格的物品的自主性時(shí),目的是在奴隸主的利益不受奴隸負(fù)面影響的需要和奴隸的交易方能夠安全交易的主張之間取得平衡。人工智能體醫(yī)療損害責(zé)任的承擔(dān)方式或許也可參照特有產(chǎn)制度,通過先行儲(chǔ)備人工智能專門資金池的方式來應(yīng)對(duì)其引發(fā)的侵權(quán)賠償問題。筆者認(rèn)為,這一模式在理論上是沒有阻礙的,問題在于,第一,如何確定資金池的投放數(shù)額才能夠平衡人工智能技術(shù)的創(chuàng)新成本與消費(fèi)者、使用者的損失救濟(jì)保障?第二,資金池由誰來投放、投放比例如何分配?關(guān)于投放數(shù)額問題,標(biāo)準(zhǔn)的設(shè)定最好是建立在一定的經(jīng)驗(yàn)基礎(chǔ)之上,標(biāo)準(zhǔn)過高顯然加重責(zé)任主體的負(fù)擔(dān),不利于技術(shù)的創(chuàng)新發(fā)展,過低又無法保障受害者的權(quán)利救濟(jì)。就目前的現(xiàn)狀來看,谷歌公司在無人駕駛汽車方面有一些成熟的經(jīng)驗(yàn),不妨以此為樣本,參考其事件發(fā)生概率及后果和成本的相關(guān)數(shù)據(jù),以此為基礎(chǔ)進(jìn)行適當(dāng)調(diào)整和預(yù)估,以平衡人工智能技術(shù)的創(chuàng)新需求與消費(fèi)者、使用者的損害救濟(jì)保障。關(guān)于資金投放主體問題,可以結(jié)合上文對(duì)機(jī)器人侵權(quán)損害責(zé)任主體的相關(guān)討論,在人工智能體的使用者、監(jiān)控者、設(shè)計(jì)者、制造商、銷售商以及患者自身中進(jìn)行利益的衡量,進(jìn)而確定該特有產(chǎn)資金池的投放主體。而資金投放比例要區(qū)分于清償比例,清償比例須涉及到個(gè)案中各方主體的責(zé)任大小,但是投放比例大可不必,甚至可以考慮平均投放,但是要將不同主體的投放資金分別管理。

    參照特有產(chǎn)制度建立的人工智能醫(yī)療損害資金池固然可以在一定程度上解決作為獨(dú)立法律主體的人工智能體的醫(yī)療損害賠償問題,保障患者的權(quán)利救濟(jì),同時(shí)減輕醫(yī)療機(jī)構(gòu)的訴訟負(fù)累,緩解醫(yī)患關(guān)系,但是最終的成本難免會(huì)轉(zhuǎn)化為產(chǎn)品本身的成本或服務(wù)成本進(jìn)而疊加在消費(fèi)者身上。因此,構(gòu)建醫(yī)療領(lǐng)域的人工智能醫(yī)療損害專門保險(xiǎn)并由患者自由選擇購買較為合適。實(shí)際上,保險(xiǎn)制度的構(gòu)建也可以相應(yīng)地延伸到人工智能的產(chǎn)品責(zé)任當(dāng)中,以此作為最終責(zé)任人的事先墊付機(jī)制,待追償真正責(zé)任人之后補(bǔ)足資金池即可。

    四、人工智能體醫(yī)療損害糾紛的特殊性

    (一)醫(yī)療鑒定對(duì)事實(shí)認(rèn)定環(huán)節(jié)更為關(guān)鍵

    對(duì)于普通患者來說,醫(yī)療損害糾紛的舉證具有一定難度,舉證證明責(zé)任在患者與醫(yī)療機(jī)構(gòu)之間如何分配是醫(yī)療損害責(zé)任糾紛案件中爭議較大的重要問題[21]。有觀點(diǎn)主張將舉證責(zé)任強(qiáng)加給人工智能產(chǎn)品的生產(chǎn)者和設(shè)計(jì)者以解決事實(shí)查明的難題[22],筆者認(rèn)為并不合理,因?yàn)樵诩夹g(shù)研發(fā)的創(chuàng)新階段給設(shè)計(jì)者與生產(chǎn)者附加過重的訴訟負(fù)擔(dān)本身不利于技術(shù)進(jìn)步,同時(shí),作為產(chǎn)品的設(shè)計(jì)和生產(chǎn)商,其與產(chǎn)品的投入使用無論是在空間還是時(shí)間上都有所隔離,更無法精準(zhǔn)把控和預(yù)測。更為關(guān)鍵的一點(diǎn)是,在醫(yī)療領(lǐng)域,因果關(guān)系與過錯(cuò)的事實(shí)認(rèn)定主要依靠申請鑒定的方式,在人工智能技術(shù)應(yīng)用的背景下更是需要具備醫(yī)學(xué)與人工智能技術(shù)雙重背景的專家來做鑒定才更具有說服力。專家們運(yùn)用專業(yè)的知識(shí)、技能和經(jīng)驗(yàn),輔助法官對(duì)專門性事實(shí)問題作出判斷,以妥當(dāng)?shù)靥幚戆讣WC案件裁判的公正。此外,筆者認(rèn)為無法達(dá)成雙方一致認(rèn)可的鑒定結(jié)論也是一大難點(diǎn),實(shí)踐中普遍存在的諸如鑒定意見公信力不足、鑒定人出庭難等問題很大程度上影響了醫(yī)療案件的公正處理。

    國內(nèi)涉及達(dá)芬奇手術(shù)機(jī)器人的醫(yī)療糾紛案件中,圍繞醫(yī)療機(jī)構(gòu)過失與否的醫(yī)療鑒定結(jié)果,各方的爭議較大,其中不乏對(duì)鑒定機(jī)構(gòu)資質(zhì)的質(zhì)疑,如在陳寧慶訴浙江省人民醫(yī)院醫(yī)療損害責(zé)任糾紛案中,患者術(shù)后出血,被告認(rèn)為本案是醫(yī)療損害責(zé)任糾紛,而紹興文理學(xué)院并不具有鑒定的資質(zhì),在抽簽過程中應(yīng)當(dāng)排除。然而法院以被告未能提交證據(jù)證明紹興文理學(xué)院不具有鑒定資質(zhì)或者鑒定程序違法為由仍然采納了原有的鑒定意見①杭州市下城區(qū)人民法院(2015)杭下民初字第02817號(hào)一審民事判決書。。一方面,盡管出具意見的鑒定機(jī)構(gòu)具備鑒定資質(zhì),但是其鑒定意見的科學(xué)性和真實(shí)性有時(shí)不能讓人滿意,即使能夠保證鑒定意見的科學(xué)性和真實(shí)性,但在如何讓鑒定意見更能貼近民事訴訟證據(jù)要求方面仍有不足之處。另一方面,隨著人工智能技術(shù)的應(yīng)用,對(duì)醫(yī)療鑒定的專業(yè)性有了更高的要求,鑒定范圍也更寬泛,原本有資質(zhì)的鑒定機(jī)構(gòu)未必在將來依然具備相應(yīng)的條件。上述案件中醫(yī)院對(duì)專業(yè)的醫(yī)療鑒定不予認(rèn)可的原因多是在于此類機(jī)器人輔助手術(shù)引起的糾紛與一般的醫(yī)療糾紛不同。法院往往也不會(huì)從醫(yī)療技術(shù)專業(yè)背景方面進(jìn)行過多考量,只要是具備鑒定資質(zhì)的機(jī)構(gòu)經(jīng)合法程序作出的鑒定結(jié)果便予以采納。實(shí)際上,法院更應(yīng)當(dāng)根據(jù)每個(gè)案件的具體情況對(duì)專家的鑒定能力作必要審查。在人工智能醫(yī)療損害糾紛中,鑒定的內(nèi)容還應(yīng)包括人工智能產(chǎn)品本身、在手術(shù)過程中是否出現(xiàn)故障、能否被醫(yī)生所預(yù)見等,鑒定內(nèi)容也需要根據(jù)人工智能產(chǎn)品的特征相應(yīng)增加或改變,如達(dá)芬奇機(jī)器人的機(jī)械臂的使用壽命很短,使用十次就需要更換。當(dāng)醫(yī)療損害是由于人工智能體本身出現(xiàn)故障,如錯(cuò)誤的編程、粗制濫造、在配送過程中受損等原因,或者由于與產(chǎn)品本身出錯(cuò)相關(guān)的任何原因時(shí),醫(yī)療機(jī)構(gòu)的責(zé)任就會(huì)相應(yīng)減少。因此,規(guī)范的醫(yī)療鑒定至關(guān)重要。

    同時(shí),在對(duì)鑒定結(jié)論的質(zhì)證過程中,雙方往往難以達(dá)成一致意見。如在李根澤等訴中國人民解放軍第二炮兵總醫(yī)院醫(yī)療損害責(zé)任糾紛案中①,機(jī)器人實(shí)施下膽囊切除、中轉(zhuǎn)開腹脾臟切除手術(shù),術(shù)后患者嘔血,鑒定意見表示手術(shù)方法選擇不適當(dāng),患者脾臟較大,術(shù)前即不宜考慮進(jìn)行機(jī)器人下切除,應(yīng)直接選擇開腹切除。原、被告均不認(rèn)可鑒定結(jié)論,但是原、被告均未就其異議向法院提供充分有效的證據(jù)予以證明。一般情況下,除非證明鑒定程序違法,否則鑒定意見難以推翻。在專業(yè)的鑒定意見面前,筆者認(rèn)為在雙方對(duì)鑒定意見無法達(dá)成一致時(shí),若想要推翻鑒定結(jié)論,可以借鑒美國產(chǎn)品責(zé)任的 “故障理論(Malfunction Theory)”,允許雙方通過提供間接證據(jù)(Circumstantial Evidence)去證明產(chǎn)品的缺陷,而不再必須提供專家報(bào)告去證明產(chǎn)品的缺陷。在醫(yī)療領(lǐng)域類似于達(dá)芬奇機(jī)器人的人工智能體本身故障以及缺陷的證明責(zé)任方面,允許雙方提供相關(guān)的間接證據(jù)亦未嘗不可。

    (二)技術(shù)創(chuàng)新與法律規(guī)制的動(dòng)態(tài)平衡

    為了減少醫(yī)患糾紛,維護(hù)患者合法權(quán)益,促進(jìn)我國醫(yī)學(xué)事業(yè)的發(fā)展,《侵權(quán)責(zé)任法》專章規(guī)定了醫(yī)療損害責(zé)任。狹義的醫(yī)療損害責(zé)任僅僅指的是醫(yī)療機(jī)構(gòu)和醫(yī)務(wù)人員在診療活動(dòng)中過失侵害患者生命權(quán)、身體權(quán)、健康權(quán)的侵權(quán)責(zé)任。如 《侵權(quán)責(zé)任法》第54—58條及第60條所規(guī)定的內(nèi)容,屬于專家責(zé)任。除此之外,廣義的醫(yī)療侵權(quán)責(zé)任還包括藥品和醫(yī)療器械缺陷給患者造成損害時(shí)醫(yī)療機(jī)構(gòu)的侵權(quán)責(zé)任?,F(xiàn)階段達(dá)芬奇機(jī)器人作為醫(yī)療設(shè)備器械使用,由此引起的糾紛勉強(qiáng)被納入醫(yī)療產(chǎn)品責(zé)任糾紛當(dāng)中,當(dāng)然醫(yī)療機(jī)構(gòu)的注意義務(wù)也不能被忽視。但是現(xiàn)有的規(guī)定仍然十分粗糙,尤其隨著人工智能在醫(yī)療領(lǐng)域的應(yīng)用和發(fā)展,人工智能體將來可能逐漸發(fā)展成有自主意識(shí)的專家醫(yī)生,因此需要從立法論的角度對(duì)醫(yī)療損害責(zé)任作出更加細(xì)致的規(guī)定。人工智能整體而言為社會(huì)帶來了經(jīng)濟(jì)利益,但人工智能產(chǎn)品的初始設(shè)計(jì)者和制造商會(huì)占有其中絕大部分的利潤。人工智能產(chǎn)品也可能在缺乏適當(dāng)測試、安全機(jī)制或者消費(fèi)者提示的前提下投入市場,制造商和人工智能生產(chǎn)商有雄厚的資金實(shí)力來雇傭律師維護(hù)他們的利益,因此,確定法律責(zé)任、用戶義務(wù)和制造商責(zé)任是有必要的。

    從立法論角度考量對(duì)人工智能體的規(guī)制需要衡量人工智能設(shè)計(jì)預(yù)想達(dá)到的效果與法律規(guī)制的邊界之間的平衡。一種產(chǎn)品研發(fā)的預(yù)期用途即產(chǎn)品上市銷售的用途;而法律未禁止的用途(即使會(huì)引起民事責(zé)任)被稱為合法用途;合理用途是指產(chǎn)品的社會(huì)成本不超過社會(huì)效益的用途;最后消費(fèi)者用于實(shí)踐的才是真正的實(shí)際用途。此四種用途并非總能夠相適應(yīng),彼此間的緊張關(guān)系體現(xiàn)出特定的結(jié)構(gòu)性失敗。過分安全的產(chǎn)品并不一定使社會(huì)受益,例如將汽車的時(shí)速設(shè)計(jì)為每小時(shí)20英里,雖然事故可能性大大降低,但是社會(huì)卻因?yàn)榈托г馐芨蟮膿p失,唯有達(dá)到合適的或者最佳的安全水準(zhǔn)時(shí),社會(huì)才受益最多(見圖 3)[23]。

    從公平的角度出發(fā),要求個(gè)人使用者和消費(fèi)者承擔(dān)合理使用產(chǎn)品責(zé)任,有利于防止那些謹(jǐn)慎仔細(xì)的使用者會(huì)補(bǔ)貼草率粗心的消費(fèi)者和使用者的情況發(fā)生,因?yàn)楹笳叩馁r償金來自前者對(duì)產(chǎn)品不得不接受的更高的價(jià)格支付[24]。對(duì)于人工智能產(chǎn)品同樣如此,自動(dòng)化的安全性由其設(shè)計(jì)和使用共同決定,即設(shè)計(jì)者與使用者都應(yīng)當(dāng)分?jǐn)傌?zé)任,共擔(dān)科技創(chuàng)新的代價(jià),共享社會(huì)利益。法律制定與產(chǎn)品設(shè)計(jì)的有機(jī)互動(dòng)過程十分重要,需要一定時(shí)日的檢驗(yàn),在此期間的歸責(zé)問題不可絕對(duì)化。雖然在技術(shù)層面和合同層面的用途限制可能會(huì)提高產(chǎn)品的安全性,但也可能會(huì)使現(xiàn)有的法律趨于僵化、招致干預(yù)并排除一些合理合法的使用用途。因此,法律的規(guī)制要盡量兼顧以上四個(gè)方面,達(dá)到一種動(dòng)態(tài)平衡的效果。

    立法需要順應(yīng)社會(huì)的現(xiàn)實(shí)需要而不斷發(fā)展,在保持自身的穩(wěn)定性的同時(shí)也要關(guān)注特定時(shí)期的技術(shù)背景[25],這也是本文一直強(qiáng)調(diào)的技術(shù)創(chuàng)新與法律制度的平衡問題。規(guī)則看起來是束縛,是對(duì)技術(shù)創(chuàng)新的壓制,但是在筆者看來,任何規(guī)則的設(shè)定都是為了換取自由而付出的代價(jià)。著名的“阿吉里斯悖論”告訴我們,立法的腳步永遠(yuǎn)追趕不上技術(shù)創(chuàng)新的節(jié)奏,而法律的目的是管理技術(shù)進(jìn)步和創(chuàng)新帶來的挑戰(zhàn),雖然具有一定的滯后性但是卻不可或缺。法律的合理適用從經(jīng)濟(jì)學(xué)角度出發(fā),也是對(duì)創(chuàng)新成功的可能經(jīng)濟(jì)效益與可能成本(包括責(zé)任成本)的合理比較。

    五、結(jié)論

    新行為看起來比較危險(xiǎn),因?yàn)槿藗儜?yīng)對(duì)其帶來的危險(xiǎn)時(shí)缺乏經(jīng)驗(yàn)[26],技術(shù)的創(chuàng)新同樣也是危險(xiǎn)的,我們所面臨的是多種沖突之間的合理妥協(xié),不存在唯一答案?;诖?,應(yīng)當(dāng)以怎樣的姿態(tài)來迎接人工智能帶來的新挑戰(zhàn)和機(jī)遇是當(dāng)下最重要的課題。我們既不能趨于保守,風(fēng)險(xiǎn)的預(yù)防并不意味著因無知而禁止行動(dòng),而是采取行動(dòng)以使行動(dòng)效果與持久的人類生命相一致[27]。同樣我們也不能毫無防備地接受人工智能帶來的一切便利而忽視了技術(shù)本身的副作用,而是要理智地看待風(fēng)險(xiǎn)與收益。以醫(yī)療領(lǐng)域?yàn)槔?,考慮到技術(shù)創(chuàng)新的需求,在現(xiàn)階段的醫(yī)療產(chǎn)品責(zé)任分析中,關(guān)于人工智能醫(yī)療產(chǎn)品的設(shè)計(jì)缺陷應(yīng)當(dāng)從嚴(yán)格責(zé)任中抽離,轉(zhuǎn)而采用“合理替代設(shè)計(jì)”代替“消費(fèi)者合理期待”原則。醫(yī)療機(jī)構(gòu)相比于其他主體,需要承擔(dān)更高的注意義務(wù),甚至按照《侵權(quán)責(zé)任法》第59條承擔(dān)與銷售者同等的嚴(yán)格責(zé)任也未嘗不可。當(dāng)人工智能體具備一定的認(rèn)知能力,成為獨(dú)立的行為主體時(shí),醫(yī)療機(jī)構(gòu)、患者自身以及人工智能體的設(shè)計(jì)生產(chǎn)銷售方等都要在不同程度上為機(jī)器人的行為負(fù)責(zé),同時(shí)構(gòu)建特有產(chǎn)制度以及人工智能保險(xiǎn)制度來解決醫(yī)療損害賠償問題。最后,需要注意的是,在人工智能體醫(yī)療損害糾紛中,以醫(yī)療鑒定為核心的事實(shí)認(rèn)定相比于舉證責(zé)任分配而言更加關(guān)鍵。從技術(shù)創(chuàng)新與法律規(guī)制的角度來看,也需要更為精準(zhǔn)地把握法律制度的邊界。

    無論人工智能技術(shù)的發(fā)展在醫(yī)療領(lǐng)域面臨怎樣的機(jī)遇與挑戰(zhàn),誠如蒂姆·庫克在麻省理工學(xué)院演講時(shí)所說的那樣,我們并不需要擔(dān)心人工智能像人類一樣思考,反而可怕的是人類像計(jì)算機(jī)一樣思考,沒有價(jià)值觀、同情心,沒有對(duì)結(jié)果的敬畏之心。

    猜你喜歡
    達(dá)芬奇醫(yī)療機(jī)構(gòu)機(jī)器人
    輕松做完大手術(shù)——聊聊達(dá)芬奇手術(shù)機(jī)器人
    達(dá)芬奇想飛
    手術(shù)室的“阿爾法狗”:達(dá)芬奇機(jī)器人
    醫(yī)生集團(tuán)為什么不是醫(yī)療機(jī)構(gòu)?
    機(jī)器人來幫你
    認(rèn)識(shí)機(jī)器人
    機(jī)器人來啦
    認(rèn)識(shí)機(jī)器人
    醫(yī)療機(jī)構(gòu)面臨“二孩”生育高峰大考
    基層醫(yī)療機(jī)構(gòu)到底啥問題?
    集贤县| 钟山县| 通化市| 宜昌市| 肃南| 上犹县| 普陀区| 娄烦县| 合作市| 陇西县| 法库县| 银川市| 兴隆县| 河北省| 南丹县| 和田市| 达拉特旗| 榆社县| 三都| 武鸣县| 淮南市| 武宣县| 正安县| 确山县| 政和县| 介休市| 临高县| 衡山县| 扶绥县| 胶州市| 青岛市| 台北市| 富阳市| 浑源县| 刚察县| 茌平县| 宁化县| 江陵县| 交口县| 怀远县| 香格里拉县|