• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    社會治理視閾下的金融科技算法風(fēng)險規(guī)制

    2021-03-24 11:27:59鄧陽立
    海南金融 2021年1期
    關(guān)鍵詞:金融科技金融監(jiān)管社會治理

    摘? ?要:算法是大數(shù)據(jù)、人工智能、區(qū)塊鏈及云計(jì)算等技術(shù)的底層運(yùn)行邏輯,在促進(jìn)金融科技進(jìn)一步發(fā)展的同時也因其高度專業(yè)性、不透明性、人為操縱性、替代效果而存在技術(shù)性風(fēng)險、歧視性風(fēng)險、安全性風(fēng)險,破解算法風(fēng)險的核心要素是透明度規(guī)制、道德性約束以及責(zé)任追溯機(jī)制,有必要引入社會治理理念,通過橫向建設(shè)以監(jiān)管部門為核心、各主體參與及縱向?qū)Ω髦黧w進(jìn)行規(guī)范管理與賦權(quán)的包容性監(jiān)管網(wǎng)絡(luò),促進(jìn)金融市場多主體采取多方式對金融科技算法進(jìn)行協(xié)同監(jiān)督與管理,共同實(shí)現(xiàn)算法風(fēng)險規(guī)制和金融生態(tài)健康發(fā)展。

    關(guān)鍵詞:金融科技;金融監(jiān)管;算法風(fēng)險;社會治理

    DOI:10.3969/j.issn.1003-9031.2021.01.007

    中圖分類號:D912.28? ? ? ? ? 文獻(xiàn)標(biāo)識碼:A? ? ? ? ? ?文章編號:1003-9031(2021)01-0061-09

    近年來,依托大數(shù)據(jù)、人工智能、區(qū)塊鏈及云計(jì)算等技術(shù)驅(qū)動而產(chǎn)生的金融科技,給傳統(tǒng)金融行業(yè)帶來了顛覆性改變。隨著越來越多的科技公司及金融機(jī)構(gòu)涉足金融科技領(lǐng)域,其應(yīng)用更新?lián)Q代也愈加迅速,智能投顧、大數(shù)據(jù)應(yīng)用、量化交易等技術(shù)模式已廣泛應(yīng)用于金融市場,有效促進(jìn)了金融行業(yè)的效率和質(zhì)量的提升。作為金融科技底層技術(shù)的人工智能、大數(shù)據(jù)等運(yùn)作的內(nèi)在本質(zhì)以算法為核心,換言之,算法是金融科技運(yùn)用與展開的基礎(chǔ)性要素,也是金融科技持續(xù)發(fā)展的驅(qū)動性力量。

    Tarleton Gilespie定義算法為基于指定計(jì)算將輸入數(shù)據(jù)轉(zhuǎn)換為期望輸出的編碼過程。由此可知,算法是為了實(shí)現(xiàn)某個特定的目的或達(dá)成某個結(jié)果而采取的一系列的步驟。在金融服務(wù)中,通過算法的設(shè)置與運(yùn)行,大數(shù)據(jù)與人工智能等技術(shù)能夠廣泛地參與市場服務(wù),搜集并分析整理數(shù)據(jù),最終呈現(xiàn)符合終端需求的數(shù)據(jù)結(jié)果。如基于人工智能技術(shù)的智能投顧,其通過各種手段獲取投資者資產(chǎn)狀況、理財(cái)需求、風(fēng)險能力及其變化規(guī)律等多重信息,通過既設(shè)的算法范式,將數(shù)據(jù)嵌入預(yù)設(shè)模型之中,為用戶構(gòu)建最優(yōu)資產(chǎn)投資組合方案,并能夠依托平臺對方案進(jìn)行追蹤。大數(shù)據(jù)征信系統(tǒng)亦是如此,通過將用戶特定信息置于既定的算法模型之中,最終得出其信用分值結(jié)果,大大提升了評估效率和準(zhǔn)確性。雖然算法的廣泛應(yīng)用能夠給市場各主體帶來巨大便利,然而算法自身具有迭代性,加之機(jī)器深化學(xué)習(xí)、多層神經(jīng)網(wǎng)絡(luò)技術(shù)的逐步完善,使算法內(nèi)在決策機(jī)制變得更加不可預(yù)測和難以解釋,從而導(dǎo)致算法的不透明度和風(fēng)險性進(jìn)一步提升。首先,金融科技的算法所需要的相當(dāng)?shù)膶I(yè)性實(shí)質(zhì)上為其設(shè)置了近乎“壟斷”的門檻,其過高的技術(shù)性,使其難以被大眾乃至普通投資者所理解;同時由于商業(yè)秘密等限制,算法的結(jié)果是可見的,但算法操作的過程是不透明的。其次,技術(shù)是中性的,而算法本身并非中性,作為金融科技的底層框架,算法的運(yùn)行表面是自動化、流程化的,但其內(nèi)嵌程序仍是人為設(shè)計(jì),不可避免地會帶入設(shè)計(jì)者的價值取向、道德標(biāo)準(zhǔn)等因素,而這將可能造成歧視性風(fēng)險。再次,金融科技的算法是用于分析數(shù)據(jù)并得出解決問題的方案的一種策略,當(dāng)算法代替自然人得出投資決策時,原先以金融從業(yè)人員為義務(wù)主體的法律體系實(shí)際上被架空,在關(guān)涉法律責(zé)任時會引發(fā)安全性風(fēng)險,即產(chǎn)生責(zé)任人主體不清、義務(wù)不明的問題。易言之,算法自身的技術(shù)性、人為可操縱性及其運(yùn)行的替代性效應(yīng)會產(chǎn)生算法風(fēng)險,對整個金融生態(tài)存在著相當(dāng)程度的負(fù)外部性影響,而算法應(yīng)用的風(fēng)險的破解則需要厘清其產(chǎn)生的根源。本文從社會化治理的視角出發(fā),探討金融科技算法風(fēng)險產(chǎn)生的原因及破解算法風(fēng)險的核心要素,以期實(shí)現(xiàn)金融科技算法的潛在風(fēng)險的社會化規(guī)制。

    一、金融科技算法應(yīng)用風(fēng)險

    (一)算法高度專業(yè)化產(chǎn)生技術(shù)性風(fēng)險

    作為金融科技的底層邏輯,算法是其構(gòu)成要件的核心,屬于技術(shù)高度集中的產(chǎn)物,具有相當(dāng)?shù)膹?fù)雜性與專業(yè)性特征,能夠?yàn)榻鹑诳萍嫉挠行н\(yùn)行提供基礎(chǔ)保障,然而算法在其產(chǎn)生和發(fā)展的過程中也伴隨著透明度缺乏和自身存在固有缺陷等問題,導(dǎo)致技術(shù)性風(fēng)險的發(fā)生。

    首先,算法本身的透明度缺乏可從三方面具體理解,一是算法本身的不公開不透明,這是由于金融科技所依托的底層算法往往具有知識產(chǎn)權(quán)屬性,由相關(guān)技術(shù)人員掌握,且通常屬于商業(yè)機(jī)密甚至國家秘密的保護(hù)范疇。二是由于智能算法的動態(tài)化特點(diǎn),自其研發(fā)之初就難以對其有效適用進(jìn)行測量,從而產(chǎn)生不透明性。三是礙于算法所構(gòu)筑的技術(shù)鴻溝,客戶很難窺視算法內(nèi)部的數(shù)據(jù)篩選、分析及模型的演算過程,也無法了解其資金投向的具體邏輯,即使算法完全公開,也難以被普通投資者所理解。透明度缺乏意味著算法開發(fā)者、控制者的自主性增強(qiáng),算法難以被公開理解意味著金融科技的使用者如金融機(jī)構(gòu),以及金融科技的服務(wù)對象如投資者處于相對技術(shù)弱勢地位,而這在某種程度上加劇了金融市場上的信息不平等,使傳統(tǒng)的風(fēng)險與技術(shù)性風(fēng)險相交織,加劇了科技使用者與監(jiān)管者的信息不對稱,監(jiān)管部門基于以往經(jīng)驗(yàn)與數(shù)據(jù)不足難以有效監(jiān)管,而缺乏監(jiān)管的金融科技又反過來形成技術(shù)壁壘,使風(fēng)險更加隱蔽。

    另外,算法自身固有缺陷會導(dǎo)致內(nèi)外雙重技術(shù)性風(fēng)險。算法缺陷的內(nèi)部風(fēng)險是指因編程設(shè)計(jì)更新錯誤、信息系統(tǒng)失靈等非客戶原因造成而使系統(tǒng)無法按照原有算法原理及程序?yàn)榭蛻籼峁┱?、持續(xù)服務(wù)的計(jì)算機(jī)漏洞;外部風(fēng)險則是在技術(shù)性因素的影響下針對特定算法缺陷的攻擊,主要包括病毒侵入、黑客攻擊或網(wǎng)絡(luò)異常癱瘓等。

    (二)算法的人為可操縱性產(chǎn)生歧視性風(fēng)險

    歧視性風(fēng)險是指對形式上平等的主體進(jìn)行區(qū)別對待,從而導(dǎo)致部分主體正當(dāng)利益受損。算法本質(zhì)上是通過輸入數(shù)據(jù)以輸出決策結(jié)論的一系列預(yù)設(shè)步驟,是一種分析、預(yù)測的技術(shù),也是“掩飾在數(shù)學(xué)外表下的個人意見”,展示的是要素的相關(guān)性而非因果性,從輸入數(shù)據(jù)到步驟設(shè)計(jì)本身均存在著歧視性風(fēng)險的可能。

    歧視性風(fēng)險來源之一是算法本身的偏見設(shè)置,又稱為歧視性操控,由于算法的設(shè)計(jì)目的、數(shù)據(jù)運(yùn)用、結(jié)果表征等程序性設(shè)置都是基于開發(fā)者、設(shè)計(jì)者的主觀價值選擇,他們可能會把自己持有的偏見嵌入智能算法之中,算法又可能會把這種歧視傾向進(jìn)一步放大或固化,從而造成“自我實(shí)現(xiàn)的歧視性反饋循環(huán)”。智能投顧公司與負(fù)責(zé)算法設(shè)計(jì)的科技公司利用后者技術(shù)優(yōu)勢在算法中設(shè)置不公平規(guī)則,使某類金融產(chǎn)品總能獲得優(yōu)勢評估而被廣泛推薦給不知情消費(fèi)者,如山西證監(jiān)局在2017年4月份的投資者風(fēng)險提示中就點(diǎn)名批評理財(cái)魔方、拿鐵理財(cái)?shù)葘?shí)際上是在幫助基金做銷售的導(dǎo)流。

    歧視性風(fēng)險的另一來源是偏見性數(shù)據(jù)的輸入,無論是自動抓取還是主動提供,只要初始階段的數(shù)據(jù)存有歧視性特征且未得以改正,那么訓(xùn)練數(shù)據(jù)與學(xué)習(xí)算法都將會進(jìn)一步放大歧視現(xiàn)象,從而形成永久性難以修正的歧視。《Nature》曾以“BIBO”(Bias In, Bias Out)來描述大數(shù)據(jù)算法偏見,即明示了數(shù)據(jù)本身存在的歧視性會輸出類似的分析結(jié)果。位于洛杉磯的科技金融公司Zest開發(fā)的人工智能信用評估平臺ZAML使用用戶的網(wǎng)絡(luò)行為而非實(shí)際的信用記錄來判定用戶的信用值,而其根據(jù)用戶申請中的英文拼寫來判斷該用戶“守規(guī)矩”的傾向,這導(dǎo)致部分不能熟練使用英文的群體的信用利益受損。

    (三)算法使用的替代效應(yīng)產(chǎn)生安全性風(fēng)險

    以智能投顧為例,其基于投資者自身需求,根據(jù)預(yù)設(shè)算法搭建數(shù)據(jù)模型,從而提供理財(cái)顧問服務(wù),在這一過程中,算法替代自然人接觸投資者并完成咨詢業(yè)務(wù),改變了傳統(tǒng)的投顧業(yè)務(wù)中不同主體間的法律關(guān)系。算法為金融科技掩上表觀簡單高效的技術(shù)面紗,從而把結(jié)構(gòu)復(fù)雜的金融中介和法律關(guān)系藏匿于其后,因此,法律關(guān)系、責(zé)任主體都是需要被厘清的對象。

    首先,智能投顧往往跨平臺整合大量關(guān)聯(lián)數(shù)據(jù)來作出決策,其決策依據(jù)是相關(guān)關(guān)系,彈性極大,這也導(dǎo)致監(jiān)管者難以解釋具體的影響算法行為的因素并從中找出責(zé)任主體。其次,在傳統(tǒng)投顧模式下,自然人金融從業(yè)者與金融機(jī)構(gòu)作為受托人需要履行并承擔(dān)相應(yīng)的許可、注冊等合規(guī)義務(wù),同時金融機(jī)構(gòu)也受到嚴(yán)格規(guī)制,責(zé)任劃分較清晰;智能投顧的出現(xiàn)使得傳統(tǒng)的金融決策的作出變成混合的過程,這其中既有幕后主體的設(shè)計(jì)和設(shè)置,也有臺前機(jī)器按照算法作出的判斷,這使金融機(jī)構(gòu)的服務(wù)邊界越來越模糊,而金融機(jī)構(gòu)和技術(shù)機(jī)構(gòu)之間本身通過技術(shù)形成大量連接,從而導(dǎo)致無限中介的現(xiàn)象,如在研發(fā)與應(yīng)用一體化的情景中,機(jī)構(gòu)內(nèi)部的核心主體包括技術(shù)團(tuán)隊(duì)和高管團(tuán)隊(duì)等。前者掌握關(guān)鍵技術(shù)、負(fù)責(zé)算法研發(fā);后者直接控制公司運(yùn)營和經(jīng)營管理,混合形成的金融決策使傳統(tǒng)上對于投顧的監(jiān)管策略難以在此進(jìn)行主體識別和責(zé)任判斷。司法實(shí)務(wù)中,判定被侵權(quán)人所受損害與算法決策之間是否存在某種關(guān)系,以及確認(rèn)侵權(quán)主體,是判斷算法侵權(quán)成立與否的前提。在算法研發(fā)與使用分離的情形下,直接與投資者簽訂委托代理合同的主體為智能投顧機(jī)構(gòu),即算法使用者,此時責(zé)任認(rèn)定能否穿透到作為研發(fā)者的外包機(jī)構(gòu)亦不明朗。概言之,監(jiān)管者面臨著難以識別金融行為的本質(zhì)及其背后的法律關(guān)系和責(zé)任主體的困境,而這即是安全性風(fēng)險的直接表現(xiàn)。

    二、規(guī)制算法風(fēng)險的核心要素

    在金融科技的具體運(yùn)用中,風(fēng)險一方面歸因于算法的“技術(shù)性壁壘”帶來的不透明和固有缺陷,另一方面來自算法設(shè)計(jì)的道德風(fēng)險,即人為因素的介入使算法決策產(chǎn)生“歧視性效果”,除此之外,傳統(tǒng)責(zé)任主體存在剝離可能也成為智能算法的風(fēng)險來源。通過對算法進(jìn)行透明度規(guī)制,責(zé)任追溯規(guī)制及道德性約束,能夠有效控制算法風(fēng)險的產(chǎn)生,進(jìn)而避免“多米諾效應(yīng)”致使宏觀金融市場產(chǎn)生系統(tǒng)性震蕩。

    (一)風(fēng)險破解之有意義的透明度規(guī)制

    透明度對于算法技術(shù)性風(fēng)險規(guī)制的意義重大。當(dāng)算法的操作規(guī)則、創(chuàng)建、驗(yàn)證過程完全公開時,算法過程是完全透明的,但這一要求通常很難達(dá)到。歐美部分學(xué)者認(rèn)為披露計(jì)算機(jī)源代碼并增強(qiáng)算法決策程序透明度是降低算法風(fēng)險的最佳措施。這種觀點(diǎn)亦有待商榷,源代碼的知識產(chǎn)權(quán)問題暫且不表,算法的高技術(shù)性也決定了普通大眾并非其源代碼披露的適格受眾,此種披露存在流于形式的可能。因此,算法的透明度規(guī)制應(yīng)是合理且有意義的。

    “有意義的透明度”應(yīng)允許算法的利益相關(guān)者對算法本身、算法使用和算法實(shí)現(xiàn)進(jìn)行干預(yù),保證算法的決策過程是負(fù)責(zé)任的,這涉及算法可公開的范疇和算法披露的合理性。算法的透明度限制應(yīng)于知識產(chǎn)權(quán)與投資者利益的雙重保護(hù)性要求之間達(dá)成平衡,在限制性范圍之外情景下通過自然語言或邏輯符號的形式進(jìn)行合理披露,尤其在關(guān)涉投資者知情權(quán)的關(guān)鍵信息上,如數(shù)據(jù)來源、決策產(chǎn)出規(guī)則及模型依據(jù)等對決策結(jié)果有重大影響的因素上,應(yīng)要求有關(guān)方嚴(yán)格履行披露義務(wù)。其次算法的披露應(yīng)是合理的,利益相關(guān)者應(yīng)能夠切實(shí)理解算法行為,而這要求算法披露的同時得到合理解釋,即算法的基礎(chǔ)數(shù)據(jù)或?qū)ζ溥M(jìn)行的描述應(yīng)有助于從外部了解其所聲稱的特征與結(jié)果相關(guān)性的實(shí)際聯(lián)系。目前在金融科技的運(yùn)用中,針對具有執(zhí)行性質(zhì)的自動化決策程序而言,其主要依據(jù)既定的模型得出決策,可解釋性相對強(qiáng);針對具有智能化趨勢的算法而言,由于其深度自主學(xué)習(xí)的特點(diǎn),可解釋性相對弱,但一般化的可解釋性規(guī)制仍有其效用。

    (二)算法倫理的道德性約束

    針對算法可產(chǎn)生的“歧視性風(fēng)險”,理應(yīng)從算法倫理的角度對其進(jìn)行約束。作為機(jī)構(gòu)意志的模型,算法的實(shí)施初衷、數(shù)據(jù)運(yùn)用、程序開發(fā)、代碼嵌入、結(jié)果表征往往與機(jī)構(gòu)掌控者的利益追求緊密相連,換言之,算法無法擺脫人為干預(yù)。算法因偏見數(shù)據(jù)而形成的“產(chǎn)生悖論”和偏見設(shè)計(jì)而形成的“結(jié)果悖論”均會導(dǎo)致算法不道德,有違算法倫理,因此,應(yīng)該通過數(shù)據(jù)處理和算法設(shè)計(jì)進(jìn)行倫理約束,促進(jìn)算法公平的實(shí)現(xiàn)。

    數(shù)據(jù)之于算法的意義相當(dāng)于血液之于人,而數(shù)據(jù)的使用包含數(shù)據(jù)的采集與數(shù)據(jù)的分析。其中,數(shù)據(jù)采集包括客戶數(shù)據(jù)采集與金融市場數(shù)據(jù)采集兩方面。數(shù)據(jù)采集項(xiàng)目設(shè)置的合理性、數(shù)據(jù)采集來源的范圍大小、數(shù)據(jù)過濾設(shè)計(jì)的合理性等內(nèi)容都將直接影響算法結(jié)果。同時,數(shù)據(jù)的量化分析是根據(jù)數(shù)據(jù)重要性程度對各類數(shù)據(jù)的價值進(jìn)行賦值,從而將“世俗化”的一條條信息通過量化解析轉(zhuǎn)變?yōu)橐詳?shù)字表達(dá)的輸出結(jié)果。因此,金融科技涉及的數(shù)據(jù)收集、賦值、分析等操作不能因利益驅(qū)使而違背正義、公正、誠信、平等的基本道德原則,不僅應(yīng)限制客戶數(shù)據(jù)畫像的不正當(dāng)使用、信息泄露以及未授權(quán)數(shù)據(jù)抓取,還應(yīng)避免因數(shù)據(jù)不當(dāng)處理而可能導(dǎo)致的“數(shù)字鴻溝”和歧視現(xiàn)象。從算法設(shè)計(jì)的倫理角度,應(yīng)在算法設(shè)置中嵌入“默認(rèn)技術(shù)設(shè)計(jì)”和“默認(rèn)倫理設(shè)計(jì)”。前者是在人工智能技術(shù)中默認(rèn)設(shè)置一些符合技術(shù)倫理的算法,后者則是將公平、正義等價值觀作為模塊嵌入算法本身。

    (三)刺破算法責(zé)任主體“面紗”

    就目前的技術(shù)發(fā)展來看,弱人工智能尚不能成為民事主體,算法的自動化與智能化更不能成為真正責(zé)任主體推卸責(zé)任的理由。當(dāng)算法決策代表自然人服務(wù)為投資者提供建議時,機(jī)器判斷的依據(jù)是預(yù)先設(shè)定的模型、金融產(chǎn)品以及計(jì)算匹配的關(guān)系。在目前現(xiàn)有的法律框架中,與智能金融相似的是電子代理人,以長臂規(guī)則為基礎(chǔ)的衍生即是由運(yùn)營者承擔(dān)電子代理人責(zé)任。

    在金融科技服務(wù)中,運(yùn)營者雖然沒有與投資者面對面進(jìn)行接觸,但其能通過算法運(yùn)用的長臂接觸到投資者,收集信息并做出相應(yīng)反應(yīng)。應(yīng)由運(yùn)營者承擔(dān)責(zé)任并建立相應(yīng)的機(jī)制來確保算法符合運(yùn)營者的意圖,同時運(yùn)營者也需要及時識別并糾正有害結(jié)果的發(fā)生。在侵權(quán)責(zé)任法的過失責(zé)任原則下,設(shè)計(jì)者的責(zé)任僅限于可以控制的算法的輸入和輸出,即機(jī)器的“監(jiān)督學(xué)習(xí)”。如果算法自我深化甚至超出設(shè)計(jì)者預(yù)想的模式時,則由運(yùn)營者來承擔(dān)責(zé)任,這能夠更好地促進(jìn)運(yùn)營者采取有效的監(jiān)督模式謹(jǐn)慎經(jīng)營。

    除了運(yùn)營者之外,在算法的研發(fā)與使用分離的情形下,研發(fā)者義務(wù)的認(rèn)定也需關(guān)注。以智能投顧為例,雖然算法的研發(fā)者并未直接給出具體意見,但他們對最終結(jié)果的形成有決定性或幫助性作用。因?yàn)樗麄兪莻鹘y(tǒng)意義上的單純的技術(shù)提供者,所以應(yīng)將研發(fā)者分為算法中金融模型的提供者與算法程序的開發(fā)者。程序開發(fā)者將金融模型轉(zhuǎn)化為算法程序,在金融科技內(nèi)部起技術(shù)支持的作用,其地位相對中立,除非故意或重大過失,否則并不應(yīng)擔(dān)責(zé),而技術(shù)開發(fā)者亦需要承擔(dān)算法設(shè)計(jì)的倫理性要求。金融模型的提供者是算法程序的來源要素,金融模型關(guān)涉提供者對金融市場的判斷、利益衡量及其他內(nèi)容,實(shí)質(zhì)上與算法決策有著重大利害關(guān)系,換言之,在算法接受現(xiàn)有的金融模型的訓(xùn)練并提供結(jié)論的同時,自然人的專業(yè)判斷、職業(yè)倫理和利益衡量上的瑕疵和偏差也可能遷移給機(jī)器,因此金融模型的提供者應(yīng)承擔(dān)與自然人投顧相一致的信義義務(wù)。

    三、社會化治理參與算法規(guī)制

    金融科技是現(xiàn)代新興技術(shù)行業(yè)與金融行業(yè)高度融合的有力范證,然而其多主體、多方向的發(fā)展亦會呈現(xiàn)多維關(guān)系特征,未來金融科技的算法會更加復(fù)雜,風(fēng)險更加隱蔽,監(jiān)管難度不可同日而語,依靠政府一方難以彌補(bǔ)所有監(jiān)管空白,因此多元主體間的協(xié)同化合作尤為必要。

    (一)算法風(fēng)險規(guī)制語境下的社會治理理念

    社會治理是對傳統(tǒng)政府治理結(jié)構(gòu)和權(quán)力運(yùn)行方式進(jìn)行再造,著力重構(gòu)政府、社會、市場、民眾之間的新型關(guān)系,通過協(xié)商、合作、互動、共贏的方式,實(shí)現(xiàn)資源整合、秩序構(gòu)建和治理效能提升,是為實(shí)現(xiàn)公共目標(biāo),在公共、非盈利及私人部門或跨部門之間的進(jìn)行的權(quán)力與自由裁量權(quán)的共享。社會監(jiān)管即社會化共治在金融科技領(lǐng)域的表達(dá),具體可分為社會化的監(jiān)管主體和社會化的監(jiān)管方式,監(jiān)管主體社會化意味著包括政府相關(guān)部門、金融機(jī)構(gòu)、技術(shù)開發(fā)者、投資者及市場中的中立第三方均可參與算法的監(jiān)管;監(jiān)管方式的社會化意味著監(jiān)管方式不局限于政府出臺的法律規(guī)制,也涵蓋金融行業(yè)自我糾錯、行業(yè)協(xié)會自律、第三方機(jī)構(gòu)或個人技術(shù)監(jiān)督以及投資者通過行使權(quán)利自我保護(hù)等其他方式。針對金融科技算法存在的風(fēng)險,社會化監(jiān)管應(yīng)推動算法的透明度規(guī)制即披露義務(wù)和解釋義務(wù),算法的責(zé)任追溯規(guī)制即責(zé)任主體與義務(wù)以及算法的道德性約束即算法倫理的實(shí)現(xiàn)。社會化監(jiān)管的參與一方面補(bǔ)充傳統(tǒng)的政府單向監(jiān)管的薄弱環(huán)節(jié),形成以政府監(jiān)管為核心、其他監(jiān)管主體參與為輔助的框架,另一方面能夠讓市場其他主體切實(shí)參與金融科技的建設(shè)與規(guī)制,避免“局外人”的產(chǎn)生,多元主體以多元方式參與監(jiān)管能夠有效規(guī)制算法的技術(shù)性、歧視性及安全性風(fēng)險,從而激發(fā)金融市場的活力。

    (二)社會化監(jiān)管推動算法監(jiān)管核心要素的實(shí)現(xiàn)

    1.政府構(gòu)建算法監(jiān)管宏觀框架與微觀約束

    政府是社會化監(jiān)管的核心力量,其在完善現(xiàn)有規(guī)制的同時也應(yīng)為其他主體參與算法監(jiān)管提供基本框架范圍,在宏觀層面上構(gòu)建基本的治理架構(gòu)與頂層設(shè)計(jì),在微觀層面上落實(shí)相應(yīng)的具體規(guī)范補(bǔ)充。

    在宏觀層面,應(yīng)以算法為規(guī)制對象制定相關(guān)法律法規(guī),約束和規(guī)范算法設(shè)計(jì)及決策等行為,立法機(jī)構(gòu)介入的主要方面應(yīng)該包括但不限于:一是厘清算法的概念及應(yīng)用范疇;二是制定對算法的審查規(guī)則;三是把部分倫理規(guī)范融入法律規(guī)則,強(qiáng)化對算法設(shè)計(jì)者遵循倫理道德的法律約束力。

    在微觀層面的舉措。首先,有關(guān)部門針對算法的透明度規(guī)制應(yīng)建立在算法披露義務(wù)機(jī)制之上,算法監(jiān)管的內(nèi)容、流程及金融科技運(yùn)營者的強(qiáng)制披露義務(wù)均為專業(yè)性和技術(shù)性較強(qiáng)的領(lǐng)域,應(yīng)設(shè)立專業(yè)的監(jiān)管部門進(jìn)行算法監(jiān)管,根據(jù)算法的功能進(jìn)行層次不同的信息披露機(jī)制的設(shè)計(jì)。如英國下議院科學(xué)技術(shù)委員會呼吁成立一個專門委員會,對人工智能當(dāng)前以及未來發(fā)展中的社會、倫理和法律影響進(jìn)行研究。其次,借鑒美國數(shù)據(jù)創(chuàng)新研究中心所提出的“兩步問責(zé)法”進(jìn)行算法責(zé)任審查,即采取事前有效控制與事后及時補(bǔ)正的雙重認(rèn)定標(biāo)準(zhǔn)。具體來說是當(dāng)投資者的利益受到損害時,第一步,看運(yùn)營者事前對于該技術(shù)運(yùn)用是否進(jìn)行了有效的控制;第二步,看損害發(fā)生后運(yùn)營者是否及時采取措施補(bǔ)正損害后果,據(jù)此進(jìn)行責(zé)任判定與承擔(dān)。再次,發(fā)展機(jī)器倫理和數(shù)據(jù)倫理是規(guī)制歧視性風(fēng)險的必備手段。一方面將算法設(shè)計(jì)的基本道德規(guī)則上升為強(qiáng)制性要求,促進(jìn)技術(shù)倫理顯性化;另一方面以反歧視目標(biāo)為宗旨,建立健全數(shù)據(jù)清潔制度和算法歧視影響評估制度,強(qiáng)化對算法模型訓(xùn)練數(shù)據(jù)的事前清潔處理和對算法模型的潛在歧視風(fēng)險進(jìn)行預(yù)測評估。

    2.算法開發(fā)、使用者內(nèi)部自我治理

    算法設(shè)計(jì)者與運(yùn)營者內(nèi)部自我糾錯,承擔(dān)相應(yīng)的信義義務(wù)。算法的設(shè)計(jì)者與運(yùn)營者對算法風(fēng)險的產(chǎn)生有相當(dāng)?shù)挠绊懀瑥乃惴ǖ赖碌膫惱砑s束要素的實(shí)現(xiàn)的角度,在算法本身的設(shè)計(jì)與數(shù)據(jù)的應(yīng)用過程中,都應(yīng)遵循算法倫理框架下的金融科技專業(yè)倫理準(zhǔn)則和行業(yè)良好實(shí)踐標(biāo)準(zhǔn)。澳洲的金融科技運(yùn)營機(jī)構(gòu)中均被要求配備至少一名符合投資顧問資質(zhì)并負(fù)責(zé)監(jiān)督檢查的金融人員和進(jìn)行算法日常維護(hù)的專業(yè)技術(shù)人員,金融人員的作用是補(bǔ)充算法決策的不足,在其出現(xiàn)明顯偏見結(jié)果時進(jìn)行介入,使結(jié)果滿足要求。技術(shù)人員的作用是檢測算法漏洞并進(jìn)行維護(hù),防止其產(chǎn)生更大失誤。

    針對算法的設(shè)計(jì)者而言,在將智能金融算法投入市場使用前、使用過程中應(yīng)對其進(jìn)行驗(yàn)證,將公平原則和平等機(jī)會原則納入技術(shù)設(shè)計(jì)之中,通過設(shè)計(jì)算法系統(tǒng)來促進(jìn)公平并增加包容性,從算法運(yùn)轉(zhuǎn)的第一步防止歧視,以確保在為消費(fèi)者提供金融服務(wù)或作出金融決策時已最大化消除歧視偏見。此外,算法運(yùn)營者與設(shè)計(jì)者要樹立正確數(shù)據(jù)使用原則,通過制定包含數(shù)據(jù)處理方法、數(shù)據(jù)保護(hù)措施、數(shù)據(jù)質(zhì)量控制的內(nèi)部數(shù)據(jù)管理制度來合理平衡商業(yè)利益與倫理道德,并隨時根據(jù)數(shù)據(jù)技術(shù)發(fā)展變化調(diào)整數(shù)據(jù)管理制度,確保其時效性。

    3.第三方統(tǒng)一規(guī)范并參與管理

    通過金融行業(yè)內(nèi)部的行業(yè)組織、中立的專門技術(shù)機(jī)構(gòu)及包含各個利益主體的算法專門委員會第三方專業(yè)機(jī)構(gòu)的監(jiān)督,實(shí)現(xiàn)行業(yè)自律。行業(yè)組織應(yīng)通過設(shè)置統(tǒng)一的算法行業(yè)內(nèi)部規(guī)范和出臺具體的行為準(zhǔn)則來對行業(yè)內(nèi)機(jī)構(gòu)進(jìn)行內(nèi)部約束,促進(jìn)市場主體的社會誠信體系建設(shè)來強(qiáng)化管控,并采取對守信者正向激勵、失信者內(nèi)部從嚴(yán)懲戒的機(jī)制推動行業(yè)內(nèi)部互相監(jiān)督。

    技術(shù)專門機(jī)構(gòu)則是通過專業(yè)技術(shù)人才對算法進(jìn)行專業(yè)性檢查來持續(xù)跟進(jìn)監(jiān)督,能夠有效規(guī)避算法因其專業(yè)性而形成的“技術(shù)壁壘”,彌補(bǔ)非專業(yè)部門在算法審查上的困境,如美國證監(jiān)會《機(jī)器顧問監(jiān)管指南》中要求聘請熟悉算法的第三方機(jī)構(gòu)對所使用的算法代碼或軟件模塊進(jìn)行適當(dāng)監(jiān)督,并要求任何對其投資組合產(chǎn)生重大影響的算法代碼變更都需要向監(jiān)管者和投資者進(jìn)行持續(xù)披露。

    算法委員會則是政府牽頭成立的第三方專門機(jī)構(gòu),組成人員應(yīng)包括職能部門人員、技術(shù)專家、行業(yè)內(nèi)部人士、法律專家、社會團(tuán)體或公益機(jī)構(gòu)人員等不同利益方,應(yīng)進(jìn)行全過程的監(jiān)管。在事前,算法設(shè)計(jì)者向?qū)iT機(jī)構(gòu)提供算法相關(guān)技術(shù)及決策依據(jù)的說明,并進(jìn)行備案,不僅可以避免源代碼泄漏,也可避免流于表面的算法披露;在事中,專門機(jī)構(gòu)加大對算法與決策的隨機(jī)抽查力度,從技術(shù)上對算法進(jìn)行審查檢驗(yàn),對錯誤決策進(jìn)行糾正;在事后,通過構(gòu)建算法問責(zé)追溯機(jī)制,為投資者建立算法決策的申訴渠道,要求算法設(shè)計(jì)者針對算法進(jìn)行必要解釋和說明。我國目前已有相關(guān)規(guī)范要求系統(tǒng)、軟件等使用者應(yīng)當(dāng)要求開發(fā)商提供源代碼或?qū)υ创a實(shí)行第三方托管。

    4.投資者自我保護(hù)

    投資者應(yīng)通過行使相關(guān)權(quán)利維護(hù)自身合法權(quán)益,從而實(shí)現(xiàn)監(jiān)管參與?!睹穹ǖ洹穼€人信息權(quán)做出了相應(yīng)規(guī)定,肯定了個人信息的財(cái)產(chǎn)屬性在現(xiàn)實(shí)應(yīng)用中值得保護(hù),作為信息權(quán)主體,金融投資者亦應(yīng)具備占有、使用、收益及處分權(quán)能,投資者對金融信息數(shù)據(jù)的控制應(yīng)貫穿于金融服務(wù)的全過程。首先,在投資者對自身信息數(shù)據(jù)處分行使同意權(quán)之后,金融機(jī)構(gòu)獲授權(quán)才能夠?qū)ζ涫占男畔?shù)據(jù)進(jìn)行分析并使用;其次,投資者對金融機(jī)構(gòu)超范圍利用其金融信息數(shù)據(jù)享有拒絕權(quán)并可隨時撤回授權(quán),在整個流程中享有隨時拒絕金融機(jī)構(gòu)進(jìn)一步進(jìn)行數(shù)據(jù)分析的權(quán)利。金融市場的投資者亦屬于消費(fèi)者的保護(hù)范疇之內(nèi),也有相應(yīng)的知情權(quán),即享有全面、真實(shí)、準(zhǔn)確獲取金融信息數(shù)據(jù)的權(quán)利,作為潛在算法風(fēng)險直接作用的對象,為實(shí)現(xiàn)有效的知情權(quán),投資者也應(yīng)要求直接責(zé)任主體進(jìn)行主動、充分、有效的解釋。通過積極主動的行使個人信息權(quán)及知情權(quán),可以保護(hù)投資者的合法利益,也對算法進(jìn)行直接的監(jiān)督。

    (三)社會治理參與監(jiān)管的路徑選擇

    社會化主體參與金融科技算法風(fēng)險的規(guī)制,能夠極大地?cái)U(kuò)充監(jiān)管范圍與監(jiān)管手段,有效地降低風(fēng)險發(fā)生的可能性,有利于良好金融生態(tài)的發(fā)展。各個主體通過多種途徑推動核心要素的實(shí)現(xiàn),這實(shí)質(zhì)上是參與管理的權(quán)利行使的體現(xiàn)。社會化治理也并非無限度,社會化主體在參與算法治理的同時也應(yīng)遵守相應(yīng)的前提與要求。一是在法律法規(guī)賦予的權(quán)限范圍內(nèi)參與;二是行使權(quán)利不能違反相應(yīng)的規(guī)范。換言之,社會主體參與算法風(fēng)險治理的路徑應(yīng)具有賦權(quán)性質(zhì)與規(guī)范性質(zhì)。

    社會化主體的參與是通過表征為義務(wù)化的措施的權(quán)利行使,即雖然金融機(jī)構(gòu)內(nèi)部自我監(jiān)督、行業(yè)規(guī)范及第三方參與審查算法等都通過履行相關(guān)作為“義務(wù)”而實(shí)現(xiàn)的,如制定行業(yè)規(guī)范、設(shè)置專門人員進(jìn)行管理及算法倫理建設(shè)等,但實(shí)質(zhì)上是屬于“自愿性質(zhì)”的權(quán)利行使。因?yàn)樯鐣髦黧w均需要通過參與算法的管理從而推動金融科技有序、健康應(yīng)用于金融服務(wù),這是各主體為實(shí)現(xiàn)自身利益最大化與其他主體共同做出的專業(yè)性、平衡性及妥協(xié)性的選擇。各主體通過行使對金融科技算法進(jìn)行監(jiān)督管理的權(quán)利維護(hù)各主體的利益,該權(quán)利的行使必須經(jīng)過授權(quán)。由于金融科技仍屬于新生事物,而技術(shù)的發(fā)展瞬息萬變,國內(nèi)外目前對其監(jiān)管也尚不成熟,當(dāng)前無可能也無必要盲目制定嚴(yán)苛的監(jiān)管規(guī)則。對于政府監(jiān)管者而言,當(dāng)務(wù)之急是在維護(hù)市場安全穩(wěn)定和投資者保護(hù)等市場核心原則的前提下,明確監(jiān)管有限介入的限度,給予社會化治理參與算法監(jiān)管的空間。這是因?yàn)樗惴ǖ募夹g(shù)性、專業(yè)性及應(yīng)用范圍的廣泛性使有關(guān)部門難以全面監(jiān)管,強(qiáng)硬的監(jiān)管手段也會相應(yīng)的遏制金融創(chuàng)新的進(jìn)步,尤其是目前我國的金融科技仍處于發(fā)展階段。簡而言之,在針對社會化治理理念參與金融科技算法監(jiān)管的授權(quán)范圍上,可以借鑒“法無禁止即可為”的模式,通過包容性、靈活性的制度設(shè)計(jì)鼓勵多樣化主體采取多樣化方式方法參與金融科技算法風(fēng)險的監(jiān)管與應(yīng)對。當(dāng)然,針對投資者權(quán)益與金融市場安全穩(wěn)定此類強(qiáng)制性保護(hù)目標(biāo),由于投資者在金融市場上屬于相對弱勢地位,金融市場的安全性保護(hù)與穩(wěn)定性維護(hù)的性質(zhì)則類比“公地”,必須依靠政府及有關(guān)部門制定的具體規(guī)范來進(jìn)行嚴(yán)格保護(hù),任何主體行使權(quán)利均不能違反。

    四、結(jié)語

    金融科技的產(chǎn)生、應(yīng)用及發(fā)展的底層框架是算法,算法的發(fā)展與完善在提高金融服務(wù)效率與質(zhì)量的同時也因其高度專業(yè)性、不透明性、人為操縱性及替代效果而存在技術(shù)性風(fēng)險、歧視性風(fēng)險及安全性風(fēng)險,破解算法風(fēng)險的核心要素是透明度規(guī)制、道德性約束及責(zé)任追溯機(jī)制。在算法監(jiān)管的語境下,僅依靠監(jiān)管部門并不足以進(jìn)行充分、完全的規(guī)制,社會治理理念的引入就顯得尤為必要。社會化治理即意味著監(jiān)管主體和監(jiān)管方式的多樣化,從橫向的角度,是推動建立以監(jiān)管部門為核心,以其他主體如金融機(jī)構(gòu)、行業(yè)組織、專門算法委員會、其他技術(shù)中立組織及投資者為輔助的多角度、包圍式監(jiān)管模塊;從縱向的角度,是通過公權(quán)力主體設(shè)置宏觀監(jiān)管框架,其他社會主體在授權(quán)范圍內(nèi)以不違反強(qiáng)制性保護(hù)規(guī)范的方式參與監(jiān)督與管理,充分開發(fā)社會化治理的積極性與動力,從而推動破解算法風(fēng)險核心要素的實(shí)現(xiàn),最終實(shí)現(xiàn)規(guī)制算法風(fēng)險和促進(jìn)金融科技健康、持續(xù)、創(chuàng)新發(fā)展的目的。

    (責(zé)任編輯:張恩娟)

    參考文獻(xiàn):

    [1]Johan,Soederberg.Media Technologies:Essays on Communication,Materiality,and Society[J].Canadian Journal of Communication,2014.

    [2]Burrell J.How the machine‘thinks:Understanding opacity in machine learning algorithms[J].Social Science Electronic Publishing,2015(3).

    [3]Lin T C W.Infinite Financial Intermediation[J].Law & Economy,2016.

    [4]Robert B,Goodman E P.Algorithmic Transparency for the Smart City[J].SSRN Electronic Journal,2017.

    [5]Bruckner M.The Promise and Perils of Algorithmic Lenders' Use of Big Data[J].Social Science Electronic Publishing,2018.

    [6]Merle Temme. Algorithms and Transparency in View of the New General Data Protection Regulation[J].Eur Data Prot L Rev,2017.

    [7]Kim,Pauline T.Auditing Algorithms for Discrimination[J].Social Science Electronic Publishing,2017.

    [8]Chopra S,White L F.A Legal Theory for Autonomous Artificial Agents[J].2011.

    [9]FINRA.Report on Digital Investment Advice[EB/OL].[2016-04-28].https://www.lexology.com/library/detail.aspx?g=8f0ec141-6656-4eda-8832-d8f00238dd2e.

    [10]Gash A A.Collaborative Governance in Theory and Practice[J].Journal of Public Administration Research and Theory,2008,18(4):543-571.

    [11]楊東.監(jiān)管科技:金融科技的監(jiān)管挑戰(zhàn)與維度建構(gòu)[J].中國社會科學(xué),2018(5):69-91.

    [12]王利明.人工智能時代對民法學(xué)的新挑戰(zhàn)[J].東方法學(xué),2018(3):54-66.

    [13]唐峰.金融科技應(yīng)用中金融消費(fèi)者保護(hù)的現(xiàn)實(shí)挑戰(zhàn)與制度回應(yīng)[J].西南金融,2020(11):77-97.

    [14]高絲敏.智能投資顧問模式中的主體識別和義務(wù)設(shè)定[J].法學(xué)研究,2018(5):88-97.

    [15]蔣輝宇.論智能投顧技術(shù)性風(fēng)險的制度防范[J].暨南學(xué)報(哲學(xué)社會科學(xué)版),2019(9):43-56.

    [16]袁康,鄧陽立.道德風(fēng)險視域下的金融科技應(yīng)用及其規(guī)制——以證券市場為例[J],證券市場導(dǎo)報,2019(7):63-79.

    [17]李晴.智能投顧的風(fēng)險分析及法律規(guī)制路徑[J].南方金融,2017(4):43-56.

    [18]巴曙松,白海峰.金融科技的發(fā)展歷程與核心技術(shù)應(yīng)用場景探索[J].清華金融評論,2016(11):25-42.

    [19]敬乂嘉.合作治理:歷史與現(xiàn)實(shí)的路徑[J].南京社會科學(xué),2015(5):64-76.

    [20]李文莉,楊玥捷.智能投顧的法律風(fēng)險及監(jiān)管建議[J].法學(xué),2017(8):15-26.

    [21]孫建麗.算法自動化決策風(fēng)險的法律規(guī)制研究[J].法治研究,2019(4):108-117.

    猜你喜歡
    金融科技金融監(jiān)管社會治理
    百度金融成立國內(nèi)首家“金融科技”學(xué)院
    培訓(xùn)(2017年1期)2017-02-17 16:43:01
    社會轉(zhuǎn)型期基層社會治理創(chuàng)新的實(shí)踐和經(jīng)驗(yàn)研究
    論我國互聯(lián)網(wǎng)金融的發(fā)展現(xiàn)狀與前景
    中小商業(yè)銀行會計(jì)風(fēng)險的成因及防范措施
    互聯(lián)網(wǎng)金融監(jiān)管原則與新模式研究
    社會治理面臨的現(xiàn)實(shí)困境與路徑選擇
    商(2016年27期)2016-10-17 04:47:39
    論金融監(jiān)管與金融行政執(zhí)法風(fēng)險防范
    政府主導(dǎo)型社會治理模式下社會組織發(fā)展理路
    寧夏平羅縣城鄉(xiāng)居民信用信息服務(wù)平臺建設(shè)的實(shí)踐與思考
    西部金融(2015年9期)2015-10-26 18:00:12
    淺談金融科技與金融創(chuàng)新的關(guān)系
    av福利片在线观看| 在线观看www视频免费| 老汉色∧v一级毛片| av欧美777| 亚洲九九香蕉| 欧美3d第一页| 久久精品亚洲精品国产色婷小说| 在线视频色国产色| 搡老妇女老女人老熟妇| 校园春色视频在线观看| 国产精品1区2区在线观看.| 亚洲国产精品999在线| 露出奶头的视频| 久久久国产成人免费| 国产精品永久免费网站| 变态另类成人亚洲欧美熟女| 18禁国产床啪视频网站| 欧美成狂野欧美在线观看| 精品午夜福利视频在线观看一区| 亚洲va日本ⅴa欧美va伊人久久| 日本五十路高清| 久久久久久国产a免费观看| 久久午夜亚洲精品久久| 一级毛片精品| 欧美又色又爽又黄视频| 制服丝袜大香蕉在线| bbb黄色大片| 午夜福利高清视频| 亚洲中文av在线| 精品欧美国产一区二区三| 欧美大码av| 亚洲精品一卡2卡三卡4卡5卡| avwww免费| 亚洲精品中文字幕一二三四区| 日本撒尿小便嘘嘘汇集6| 午夜精品一区二区三区免费看| 国产视频一区二区在线看| 久久99热这里只有精品18| 亚洲黑人精品在线| 制服人妻中文乱码| 少妇粗大呻吟视频| av在线天堂中文字幕| 国产成人av教育| 欧美最黄视频在线播放免费| 我的老师免费观看完整版| 久久久久久久久久黄片| 麻豆av在线久日| 国产精品久久电影中文字幕| 三级男女做爰猛烈吃奶摸视频| 亚洲精品久久成人aⅴ小说| 亚洲七黄色美女视频| 久久久久久亚洲精品国产蜜桃av| 老熟妇乱子伦视频在线观看| 在线免费观看的www视频| 国模一区二区三区四区视频 | 伦理电影免费视频| 夜夜看夜夜爽夜夜摸| 少妇被粗大的猛进出69影院| 久久午夜亚洲精品久久| 中文字幕高清在线视频| 18禁黄网站禁片免费观看直播| 香蕉丝袜av| 两人在一起打扑克的视频| 黑人操中国人逼视频| 日本五十路高清| 99国产综合亚洲精品| x7x7x7水蜜桃| 日韩精品中文字幕看吧| 午夜免费观看网址| 亚洲一卡2卡3卡4卡5卡精品中文| 在线观看舔阴道视频| 人人妻人人澡欧美一区二区| 欧美在线一区亚洲| 91大片在线观看| 亚洲 欧美 日韩 在线 免费| 日韩三级视频一区二区三区| 久久久久久亚洲精品国产蜜桃av| 国产黄片美女视频| 国产精品一区二区三区四区久久| 亚洲色图 男人天堂 中文字幕| 精品国产乱子伦一区二区三区| 国产一区二区三区视频了| 国产欧美日韩精品亚洲av| 午夜精品久久久久久毛片777| 啦啦啦韩国在线观看视频| 亚洲成人久久性| 黄色视频不卡| 性欧美人与动物交配| 老司机深夜福利视频在线观看| 搡老岳熟女国产| 亚洲av第一区精品v没综合| 中出人妻视频一区二区| 小说图片视频综合网站| 99热只有精品国产| 美女 人体艺术 gogo| 国产熟女xx| 亚洲自拍偷在线| 亚洲精品中文字幕一二三四区| 校园春色视频在线观看| 亚洲精品中文字幕在线视频| 天天添夜夜摸| √禁漫天堂资源中文www| 小说图片视频综合网站| 日本 av在线| 男女之事视频高清在线观看| 色精品久久人妻99蜜桃| 亚洲乱码一区二区免费版| 日韩欧美一区二区三区在线观看| 大型av网站在线播放| 午夜福利成人在线免费观看| 窝窝影院91人妻| 曰老女人黄片| 国产精品香港三级国产av潘金莲| 床上黄色一级片| 99久久无色码亚洲精品果冻| 女警被强在线播放| 欧美国产日韩亚洲一区| 精品国产乱子伦一区二区三区| 一级毛片高清免费大全| 三级男女做爰猛烈吃奶摸视频| 男人舔女人的私密视频| 日韩欧美三级三区| 日本 欧美在线| 婷婷丁香在线五月| 成人永久免费在线观看视频| 亚洲真实伦在线观看| 久久香蕉国产精品| 麻豆国产av国片精品| 成人18禁高潮啪啪吃奶动态图| 白带黄色成豆腐渣| 一区福利在线观看| 欧美在线一区亚洲| www.精华液| 亚洲最大成人中文| 亚洲国产精品sss在线观看| 日韩大尺度精品在线看网址| 我的老师免费观看完整版| 久久中文看片网| 俺也久久电影网| svipshipincom国产片| 中文资源天堂在线| av天堂在线播放| 久久久国产精品麻豆| 久久香蕉激情| 久久人妻av系列| av福利片在线观看| 日本 av在线| 欧美成人性av电影在线观看| 国产精品自产拍在线观看55亚洲| 国产欧美日韩一区二区精品| 久久久久精品国产欧美久久久| 一本大道久久a久久精品| 国产精品免费视频内射| 亚洲成人中文字幕在线播放| 精品国产亚洲在线| 美女午夜性视频免费| 日日干狠狠操夜夜爽| e午夜精品久久久久久久| 国产精品一区二区免费欧美| 超碰成人久久| 国产激情久久老熟女| 日韩国内少妇激情av| 亚洲精品国产一区二区精华液| 可以在线观看毛片的网站| 国产97色在线日韩免费| 成人18禁在线播放| 亚洲专区字幕在线| 亚洲成人久久性| 国产私拍福利视频在线观看| 日本a在线网址| 桃红色精品国产亚洲av| 欧美另类亚洲清纯唯美| 中文字幕高清在线视频| 精品不卡国产一区二区三区| 巨乳人妻的诱惑在线观看| 国产精品九九99| 一级作爱视频免费观看| 91大片在线观看| 国产精品1区2区在线观看.| 在线观看一区二区三区| 香蕉丝袜av| 日本撒尿小便嘘嘘汇集6| 免费一级毛片在线播放高清视频| 久久婷婷成人综合色麻豆| 亚洲激情在线av| 一个人观看的视频www高清免费观看 | 国产成+人综合+亚洲专区| 国内少妇人妻偷人精品xxx网站 | 嫩草影院精品99| 欧美成狂野欧美在线观看| 成人精品一区二区免费| 国产私拍福利视频在线观看| 精品午夜福利视频在线观看一区| 又粗又爽又猛毛片免费看| 岛国在线免费视频观看| 久久 成人 亚洲| 精品久久久久久,| 久久久久九九精品影院| 香蕉久久夜色| 天堂√8在线中文| 免费看日本二区| 久久香蕉精品热| 国产精品爽爽va在线观看网站| 欧美日韩亚洲国产一区二区在线观看| 每晚都被弄得嗷嗷叫到高潮| 一夜夜www| 成熟少妇高潮喷水视频| 国产人伦9x9x在线观看| 香蕉国产在线看| 国产精品永久免费网站| netflix在线观看网站| 亚洲精品在线观看二区| 久久精品综合一区二区三区| 亚洲欧美日韩高清专用| 正在播放国产对白刺激| 亚洲av五月六月丁香网| 亚洲自拍偷在线| 久久久久久久午夜电影| 欧美乱妇无乱码| 啦啦啦观看免费观看视频高清| 国产午夜福利久久久久久| 91麻豆精品激情在线观看国产| 大型av网站在线播放| √禁漫天堂资源中文www| 国产精品98久久久久久宅男小说| 99re在线观看精品视频| 一个人免费在线观看电影 | 非洲黑人性xxxx精品又粗又长| 中文字幕高清在线视频| av中文乱码字幕在线| 99国产综合亚洲精品| 天堂影院成人在线观看| 在线观看一区二区三区| 欧美丝袜亚洲另类 | 宅男免费午夜| 熟女少妇亚洲综合色aaa.| 国内少妇人妻偷人精品xxx网站 | 亚洲 欧美一区二区三区| 美女午夜性视频免费| 免费在线观看黄色视频的| 精品福利观看| 亚洲av电影在线进入| 最近最新中文字幕大全电影3| 村上凉子中文字幕在线| 亚洲人与动物交配视频| 999久久久精品免费观看国产| 国产成人精品无人区| 亚洲精品av麻豆狂野| 亚洲精品久久成人aⅴ小说| 国产成人一区二区三区免费视频网站| 精品一区二区三区视频在线观看免费| 麻豆av在线久日| 欧美乱色亚洲激情| 亚洲国产欧洲综合997久久,| 在线播放国产精品三级| 欧美在线黄色| 女人被狂操c到高潮| 老汉色∧v一级毛片| 老鸭窝网址在线观看| 亚洲国产日韩欧美精品在线观看 | 国产欧美日韩一区二区三| 女人被狂操c到高潮| 成人特级黄色片久久久久久久| av有码第一页| 一进一出抽搐gif免费好疼| 亚洲 国产 在线| 精品人妻1区二区| 免费高清视频大片| 男女视频在线观看网站免费 | 国产精品99久久99久久久不卡| 人人妻人人澡欧美一区二区| 亚洲精品中文字幕一二三四区| 美女扒开内裤让男人捅视频| 变态另类成人亚洲欧美熟女| 黄片小视频在线播放| 香蕉国产在线看| 亚洲国产欧美网| 午夜福利欧美成人| 国产精品久久视频播放| 午夜精品一区二区三区免费看| 97碰自拍视频| 午夜久久久久精精品| 三级男女做爰猛烈吃奶摸视频| 在线免费观看的www视频| 最近在线观看免费完整版| 一区二区三区国产精品乱码| 精品久久久久久,| 久久精品成人免费网站| 50天的宝宝边吃奶边哭怎么回事| 丁香欧美五月| 久久久久久亚洲精品国产蜜桃av| 日本免费一区二区三区高清不卡| 男插女下体视频免费在线播放| 欧美激情久久久久久爽电影| 午夜亚洲福利在线播放| 一本大道久久a久久精品| 久久久久久大精品| 日日摸夜夜添夜夜添小说| 国产91精品成人一区二区三区| 一卡2卡三卡四卡精品乱码亚洲| 在线观看www视频免费| av在线天堂中文字幕| 亚洲天堂国产精品一区在线| 国产三级中文精品| 中国美女看黄片| 看黄色毛片网站| 亚洲美女视频黄频| 国产成人一区二区三区免费视频网站| 一级黄色大片毛片| av在线天堂中文字幕| 久久人妻av系列| 丁香欧美五月| 久久九九热精品免费| 搡老熟女国产l中国老女人| 亚洲成人中文字幕在线播放| 欧美zozozo另类| 国产人伦9x9x在线观看| 悠悠久久av| 一个人免费在线观看的高清视频| 日本一区二区免费在线视频| 日韩国内少妇激情av| 国产精品一及| 午夜精品久久久久久毛片777| 国产亚洲精品一区二区www| 18禁黄网站禁片免费观看直播| 两性夫妻黄色片| 香蕉久久夜色| 国内揄拍国产精品人妻在线| 18禁裸乳无遮挡免费网站照片| 50天的宝宝边吃奶边哭怎么回事| 国产精品影院久久| 啪啪无遮挡十八禁网站| 一级毛片女人18水好多| 天天躁狠狠躁夜夜躁狠狠躁| 久久久久国内视频| 一区二区三区国产精品乱码| 亚洲国产看品久久| 国产真实乱freesex| 特级一级黄色大片| 午夜免费观看网址| 免费在线观看成人毛片| 国产精品99久久99久久久不卡| 床上黄色一级片| 精品日产1卡2卡| 12—13女人毛片做爰片一| 搡老妇女老女人老熟妇| 男女那种视频在线观看| 亚洲欧美日韩无卡精品| a在线观看视频网站| 午夜日韩欧美国产| 他把我摸到了高潮在线观看| 国产69精品久久久久777片 | 日韩精品免费视频一区二区三区| 欧洲精品卡2卡3卡4卡5卡区| 久久亚洲精品不卡| 成人18禁在线播放| 久久中文看片网| 制服人妻中文乱码| 国产精品一区二区三区四区久久| 高潮久久久久久久久久久不卡| 精品乱码久久久久久99久播| 免费观看精品视频网站| 视频区欧美日本亚洲| 一级毛片精品| 天天添夜夜摸| 亚洲自偷自拍图片 自拍| 99国产综合亚洲精品| 窝窝影院91人妻| 久久精品国产亚洲av香蕉五月| 免费在线观看黄色视频的| 韩国av一区二区三区四区| 色噜噜av男人的天堂激情| 青草久久国产| 久久国产精品人妻蜜桃| 日韩欧美国产一区二区入口| 99国产精品一区二区蜜桃av| 国产精品久久电影中文字幕| 激情在线观看视频在线高清| 免费av毛片视频| 1024手机看黄色片| 好看av亚洲va欧美ⅴa在| 久久亚洲精品不卡| 久久久久九九精品影院| 欧美乱色亚洲激情| 五月玫瑰六月丁香| www国产在线视频色| 国产99白浆流出| 18禁美女被吸乳视频| 亚洲 欧美一区二区三区| 色综合亚洲欧美另类图片| 在线看三级毛片| 欧美三级亚洲精品| 两个人视频免费观看高清| 国产精品野战在线观看| 国产精品av视频在线免费观看| 99热6这里只有精品| 动漫黄色视频在线观看| 欧美成人性av电影在线观看| 中文字幕高清在线视频| 香蕉av资源在线| 欧美3d第一页| 日韩欧美 国产精品| 精品久久久久久久末码| 香蕉久久夜色| 19禁男女啪啪无遮挡网站| 在线播放国产精品三级| 天天躁狠狠躁夜夜躁狠狠躁| 久99久视频精品免费| 又紧又爽又黄一区二区| 91成年电影在线观看| 国产精品亚洲av一区麻豆| av福利片在线观看| 天堂√8在线中文| 精品日产1卡2卡| 波多野结衣高清无吗| 嫁个100分男人电影在线观看| 国产亚洲精品一区二区www| 久久婷婷人人爽人人干人人爱| 在线看三级毛片| 午夜视频精品福利| 日本一二三区视频观看| 成年版毛片免费区| 嫩草影院精品99| 成人18禁高潮啪啪吃奶动态图| 国产成人系列免费观看| tocl精华| 精品福利观看| 欧美日韩乱码在线| 中文字幕av在线有码专区| 国产高清激情床上av| 精品熟女少妇八av免费久了| 黑人巨大精品欧美一区二区mp4| 久久久国产精品麻豆| xxx96com| 两个人免费观看高清视频| 性欧美人与动物交配| 伊人久久大香线蕉亚洲五| 午夜精品在线福利| 一边摸一边做爽爽视频免费| 国产成人精品无人区| 欧美日韩国产亚洲二区| 国产一区二区在线av高清观看| 国产aⅴ精品一区二区三区波| 中文字幕人成人乱码亚洲影| 国产高清有码在线观看视频 | 两个人的视频大全免费| 精品久久久久久久末码| 欧美激情久久久久久爽电影| 久久中文字幕一级| 一区二区三区国产精品乱码| 亚洲精品美女久久av网站| 最新美女视频免费是黄的| 特级一级黄色大片| 午夜免费观看网址| 国产激情久久老熟女| 亚洲成人中文字幕在线播放| 免费在线观看亚洲国产| 日本免费一区二区三区高清不卡| 国产亚洲av嫩草精品影院| 一二三四在线观看免费中文在| 18禁美女被吸乳视频| 国产伦一二天堂av在线观看| 琪琪午夜伦伦电影理论片6080| 黄色a级毛片大全视频| 免费电影在线观看免费观看| 日本三级黄在线观看| 色噜噜av男人的天堂激情| 免费看日本二区| 亚洲国产精品999在线| xxxwww97欧美| 欧美又色又爽又黄视频| 日本一区二区免费在线视频| 国产精品综合久久久久久久免费| 最新在线观看一区二区三区| 国产欧美日韩一区二区三| 亚洲精品av麻豆狂野| 日本免费a在线| 婷婷精品国产亚洲av| 久久久国产成人免费| 国产亚洲精品第一综合不卡| 久久久久精品国产欧美久久久| 日韩三级视频一区二区三区| 欧美性长视频在线观看| 男插女下体视频免费在线播放| 久久精品人妻少妇| 91麻豆av在线| 波多野结衣高清作品| 久久久久免费精品人妻一区二区| 母亲3免费完整高清在线观看| 身体一侧抽搐| 久久草成人影院| 午夜免费观看网址| 9191精品国产免费久久| 99久久无色码亚洲精品果冻| 每晚都被弄得嗷嗷叫到高潮| 首页视频小说图片口味搜索| 免费电影在线观看免费观看| 91在线观看av| 日韩高清综合在线| www.自偷自拍.com| 国产精品 欧美亚洲| 亚洲精品粉嫩美女一区| 成人国产综合亚洲| 精品欧美国产一区二区三| 午夜影院日韩av| 成人18禁在线播放| 久久久久久大精品| 一二三四在线观看免费中文在| 在线观看免费午夜福利视频| 日韩 欧美 亚洲 中文字幕| 淫妇啪啪啪对白视频| 我要搜黄色片| 亚洲 欧美 日韩 在线 免费| 亚洲欧美激情综合另类| 一进一出好大好爽视频| 久久精品国产综合久久久| 1024视频免费在线观看| 日韩精品青青久久久久久| 亚洲男人的天堂狠狠| 国产av不卡久久| 欧美乱码精品一区二区三区| www.www免费av| 婷婷精品国产亚洲av在线| 高清在线国产一区| 中文字幕熟女人妻在线| 国产精品一区二区精品视频观看| 一进一出抽搐动态| av欧美777| 国产1区2区3区精品| 啪啪无遮挡十八禁网站| 久久精品人妻少妇| 一卡2卡三卡四卡精品乱码亚洲| 国产高清视频在线观看网站| 无限看片的www在线观看| 国产精华一区二区三区| 午夜福利18| 欧美久久黑人一区二区| 男女之事视频高清在线观看| 老汉色∧v一级毛片| 99久久综合精品五月天人人| 国产高清视频在线观看网站| 日本熟妇午夜| 国产av又大| 一级a爱片免费观看的视频| 日韩大尺度精品在线看网址| av视频在线观看入口| 一进一出抽搐gif免费好疼| 校园春色视频在线观看| 视频区欧美日本亚洲| 一级黄色大片毛片| 国产视频内射| 国产91精品成人一区二区三区| 亚洲一区二区三区不卡视频| 国产成人精品无人区| 我的老师免费观看完整版| 精品久久蜜臀av无| 日韩三级视频一区二区三区| 国产黄片美女视频| 国产成人av教育| 久久这里只有精品中国| 中文字幕av在线有码专区| 久久久久国内视频| 精品久久久久久,| 免费观看精品视频网站| 亚洲一码二码三码区别大吗| 伊人久久大香线蕉亚洲五| 精品久久久久久久久久久久久| 极品教师在线免费播放| 亚洲 欧美 日韩 在线 免费| 国产成人aa在线观看| 婷婷六月久久综合丁香| 国产亚洲精品综合一区在线观看 | 妹子高潮喷水视频| 成熟少妇高潮喷水视频| 午夜福利免费观看在线| 国产亚洲av高清不卡| 首页视频小说图片口味搜索| 亚洲精品美女久久av网站| 欧美精品亚洲一区二区| e午夜精品久久久久久久| 国产精品一区二区三区四区久久| 成人国产综合亚洲| 狂野欧美白嫩少妇大欣赏| 久久婷婷人人爽人人干人人爱| 黑人操中国人逼视频| 两性夫妻黄色片| 国产精品香港三级国产av潘金莲| 午夜日韩欧美国产| 久久九九热精品免费| 日韩精品免费视频一区二区三区| 午夜日韩欧美国产| 香蕉国产在线看| 国内揄拍国产精品人妻在线| 欧美日本视频| 一本一本综合久久| 国内揄拍国产精品人妻在线| 欧美日本视频| 麻豆国产av国片精品| 黄色女人牲交| 又黄又粗又硬又大视频| 久9热在线精品视频| 久久亚洲精品不卡| 欧美日韩国产亚洲二区| 在线观看日韩欧美| 宅男免费午夜| 日韩精品中文字幕看吧| 老司机午夜十八禁免费视频| 亚洲国产欧洲综合997久久,| 国产精品一区二区精品视频观看| 国产69精品久久久久777片 | 午夜老司机福利片| 国产成年人精品一区二区| 欧美日韩精品网址| 欧美丝袜亚洲另类 | 黄色片一级片一级黄色片|