• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動(dòng)駕駛數(shù)據(jù)風(fēng)險(xiǎn)及安全防護(hù)技術(shù)

    2020-11-28 05:55:10國家工業(yè)信息安全發(fā)展研究中心等
    工業(yè)經(jīng)濟(jì)論壇 2020年5期
    關(guān)鍵詞:數(shù)據(jù)安全自動(dòng)車輛

    文/國家工業(yè)信息安全發(fā)展研究中心等

    當(dāng)前,汽車在智能化升級(jí)的同時(shí),面臨的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)也在持續(xù)增加,構(gòu)建全面高效的智能汽車網(wǎng)絡(luò)安全體系是智能網(wǎng)聯(lián)汽車快速發(fā)展的基石。本文節(jié)選自《自動(dòng)駕駛數(shù)據(jù)安全白皮書(2020)》,聚焦自動(dòng)駕駛數(shù)據(jù)安全問題,針對(duì)自動(dòng)駕駛數(shù)據(jù)多樣性等特點(diǎn),詳細(xì)剖析自動(dòng)駕駛數(shù)據(jù)在數(shù)據(jù)全生命周期各環(huán)節(jié)潛在的安全威脅,提出了相應(yīng)的防護(hù)技術(shù)措施和防護(hù)手段,以及建設(shè)完整的自動(dòng)駕駛數(shù)據(jù)安全體系目標(biāo)。

    自動(dòng)駕駛功能實(shí)現(xiàn)依賴于海量數(shù)據(jù),其安全運(yùn)行的關(guān)鍵在于數(shù)據(jù)安全。如何在保障安全的基礎(chǔ)上促進(jìn)數(shù)據(jù)的充分利用,是發(fā)展自動(dòng)駕駛及更多“智能+”領(lǐng)域需要面對(duì)和解決的問題。

    一、自動(dòng)駕駛數(shù)據(jù)安全概述

    有別于傳統(tǒng)人工駕駛車輛,自動(dòng)駕駛車輛的最大特點(diǎn)是AI 技術(shù)的主導(dǎo),其駕駛過程是機(jī)器不斷收集駕駛信息并進(jìn)行信息分析和自我學(xué)習(xí)從而達(dá)到自動(dòng)駕駛的系統(tǒng)工程。伴隨自動(dòng)駕駛汽車的發(fā)展,每輛汽車將從過去的封閉轉(zhuǎn)向開放,融入到聯(lián)網(wǎng)的平臺(tái)中進(jìn)行實(shí)時(shí)的信息交互。黑客可以通過網(wǎng)絡(luò)對(duì)車輛進(jìn)行遠(yuǎn)程攻擊,使車輛做出熄火、剎車、加減速、解鎖等操作,也可以通過截獲通訊信息、攻擊云端服務(wù)器,達(dá)到竊取用戶信息和車輛數(shù)據(jù)的目的,嚴(yán)重的還會(huì)威脅駕駛員和乘客的生命安全。同時(shí),在自動(dòng)駕駛產(chǎn)業(yè)鏈中,數(shù)據(jù)的采集、存儲(chǔ)、處理、傳輸、共享等生命周期各環(huán)節(jié)潛在的安全威脅都給自動(dòng)駕駛數(shù)據(jù)防護(hù)帶來了全新的挑戰(zhàn),要想實(shí)現(xiàn)自動(dòng)駕駛汽車規(guī)?;?、商業(yè)化落地,必須解決“數(shù)據(jù)安全”這一“攔路虎”。

    二、自動(dòng)駕駛數(shù)據(jù)風(fēng)險(xiǎn)分析

    根據(jù)自動(dòng)駕駛功能實(shí)現(xiàn)的相關(guān)要求,結(jié)合自動(dòng)駕駛數(shù)據(jù)的特點(diǎn)、產(chǎn)生流程、應(yīng)用技術(shù)與場景,提出了自動(dòng)駕駛技術(shù)應(yīng)用架構(gòu)。該架構(gòu)根據(jù)自動(dòng)駕駛數(shù)據(jù)的采集、傳輸、應(yīng)用和銷毀等全生命周期的過程特點(diǎn),自下而上依次分為采集層、通信層、平臺(tái)層和應(yīng)用層。其中,采集層主要涉及自動(dòng)駕駛數(shù)據(jù)從采集到存儲(chǔ)的全過程;通信層包含了數(shù)據(jù)在車內(nèi)傳輸和車端與云端傳輸?shù)倪^程;平臺(tái)層主要涉及各類平臺(tái)對(duì)相關(guān)數(shù)據(jù)的管理與控制;應(yīng)用層包含了在接收到數(shù)據(jù)后,按功能需求對(duì)數(shù)據(jù)進(jìn)行處理,并將處理后的數(shù)據(jù)送到各個(gè)終端進(jìn)行響應(yīng)和應(yīng)用。

    (一)采集層數(shù)據(jù)安全風(fēng)險(xiǎn)

    1.采集設(shè)備安全風(fēng)險(xiǎn)

    目前,包括實(shí)驗(yàn)室測試車輛、公開道路上路測車輛、封閉園區(qū)的接駁車輛以及城市局部運(yùn)營車輛在內(nèi)的大部分均為二次改裝車輛。由于二次改裝的非工程化作業(yè),致使自動(dòng)駕駛系統(tǒng)的傳感組件(如激光、毫米波、超聲波雷達(dá),攝像頭,組合慣導(dǎo)等)、中央處理器及各種線纜等都裸露在汽車內(nèi)外,除了自動(dòng)駕駛系統(tǒng)組件丟失或損壞造成的直接數(shù)據(jù)丟失之外,系統(tǒng)里的數(shù)據(jù)也很容易被竊取、丟失或遭到不法分子的篡改、破壞。同時(shí)二次改裝也會(huì)存在后增加設(shè)備一致性差、性能不穩(wěn)定的情況,也給自動(dòng)駕駛數(shù)據(jù)安全埋下了隱患。

    2.路測基礎(chǔ)設(shè)施建設(shè)安全風(fēng)險(xiǎn)

    路端基礎(chǔ)設(shè)施改造成本巨大,再加上自動(dòng)駕駛何時(shí)可以規(guī)模量產(chǎn)、落地尚不明朗,國內(nèi)雖有一些省份在試點(diǎn)V2X 樣板工程,但路段長度非常有限。小規(guī)模試點(diǎn)建設(shè)周期漫長,同時(shí)各單位的關(guān)注點(diǎn)更多仍聚焦于V2X 功能的實(shí)現(xiàn),從而導(dǎo)致路測基礎(chǔ)設(shè)施在采集數(shù)據(jù)時(shí),并沒有考慮數(shù)據(jù)安全防護(hù)機(jī)制的設(shè)計(jì)和部署,導(dǎo)致路側(cè)設(shè)施在采集數(shù)據(jù)時(shí)面臨較大的安全風(fēng)險(xiǎn)。

    3.感知數(shù)據(jù)完整性安全風(fēng)險(xiǎn)

    感知類數(shù)據(jù)通過傳感器數(shù)據(jù)采集車速、油門、剎車、車窗,雨刷器等各種有用數(shù)據(jù)信息,這個(gè)過程中,攻擊者可通過干擾,欺騙攻擊等手段造成傳感器設(shè)備失靈,如對(duì)傳感器的干擾易造成感知數(shù)據(jù)的識(shí)別錯(cuò)誤或在采集的樣本數(shù)據(jù)中增加特定的攻擊樣本,也會(huì)造成感知數(shù)據(jù)污染,使得算法無法識(shí)別或識(shí)別錯(cuò)誤。另一方面,在數(shù)據(jù)采集階段,人為偽造的感知設(shè)備也會(huì)造成采集到的數(shù)據(jù)真實(shí)性難以保證,或采集過程被阻斷等風(fēng)險(xiǎn)。

    (二)通信層數(shù)據(jù)安全風(fēng)險(xiǎn)

    1.惡意節(jié)點(diǎn)攻擊風(fēng)險(xiǎn)

    自動(dòng)駕駛數(shù)據(jù)通信是節(jié)點(diǎn)與節(jié)點(diǎn)之間的通信,攻擊者可以通過身份偽造等方式惡意攻擊或威脅數(shù)據(jù)安全。自動(dòng)駕駛汽車在運(yùn)行過程中通過傳感器采集大量感知數(shù)據(jù)上傳至云端進(jìn)行整合分析,在傳感器節(jié)點(diǎn)與云端通信的過程中。由于傳感器節(jié)點(diǎn)和云端接口缺少認(rèn)證機(jī)制,攻擊者可以通過偽造傳感器節(jié)點(diǎn)或者云端接口,從而偽造和篡改自動(dòng)駕駛數(shù)據(jù),威脅自動(dòng)駕駛數(shù)據(jù)安全。

    經(jīng)過云端整合分析向車端下發(fā)的決策和執(zhí)行控制數(shù)據(jù),這些數(shù)據(jù)在自動(dòng)駕駛車端通過車內(nèi)通信總線到達(dá)ECU 執(zhí)行元件,由于通信總線與ECU 之間缺少相應(yīng)的認(rèn)證保護(hù)機(jī)制,攻擊者可以通過偽造ECU 接收數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行重寫、偽造和篡改,使自動(dòng)駕駛汽車做出錯(cuò)誤的執(zhí)行操作,引發(fā)安全問題。

    自動(dòng)駕駛汽車需要不斷地與外界環(huán)境進(jìn)行交互,實(shí)時(shí)的獲取車與車、車與路側(cè)單元等節(jié)點(diǎn)的數(shù)據(jù),但節(jié)點(diǎn)之間缺少認(rèn)證機(jī)制,攻擊者可以通過惡意節(jié)點(diǎn)偽造數(shù)據(jù),給自動(dòng)駕駛數(shù)據(jù)安全帶來安全風(fēng)險(xiǎn)。

    2.傳輸風(fēng)險(xiǎn)

    當(dāng)自動(dòng)駕駛車輛數(shù)據(jù)內(nèi)部交互時(shí),主要還是采用如傳統(tǒng)的CAN總線或以太網(wǎng),保護(hù)措施相對(duì)較弱,存在CAN 報(bào)文被篡改和偽造的安全風(fēng)險(xiǎn),或連接接口、通信總線被阻塞從而導(dǎo)致感知數(shù)據(jù)不可用或無法及時(shí)反饋的風(fēng)險(xiǎn)。

    當(dāng)自動(dòng)駕駛車輛與外部交互時(shí),通過車外通信網(wǎng)絡(luò)(藍(lán)牙/WIFI 等短距或 4G/5G/C-V2X 等遠(yuǎn)距通信)傳輸數(shù)據(jù),會(huì)面臨數(shù)據(jù)在通信鏈路上被竊聽或遭受中間人攻擊的風(fēng)險(xiǎn)。自動(dòng)駕駛車輛在進(jìn)行車道級(jí)輔助駕駛時(shí),會(huì)通過V2V 廣播本車的坐標(biāo)和軌跡信息,此類地理信息數(shù)據(jù)在傳輸時(shí)默認(rèn)不采用加密機(jī)制,一旦惡意車輛有意圖的監(jiān)聽周邊車輛,就會(huì)很容易獲取大量地理信息數(shù)據(jù),進(jìn)而計(jì)算出敏感區(qū)域的信息,嚴(yán)重情況下會(huì)造成國家秘密泄露。

    另外,車輛所產(chǎn)生的個(gè)人信息通常使用短距離無線通信方式傳輸,其中個(gè)人敏感信息會(huì)面臨在通信線路上被竊聽造成隱私泄露的風(fēng)險(xiǎn),如通過不安全的藍(lán)牙及WIFI 連接,通過中間人攻擊或協(xié)議認(rèn)證時(shí)的漏洞,能夠從通信鏈路上獲得用戶敏感數(shù)據(jù)。

    3.協(xié)議風(fēng)險(xiǎn)

    伴隨多種無線通信技術(shù)和接口的廣泛應(yīng)用,自動(dòng)駕駛車輛需要部署多個(gè)無線接口實(shí)現(xiàn)WIFI、藍(lán)牙、5G、V2X 等多種網(wǎng)絡(luò)的連接,從而滿足數(shù)據(jù)獲取和傳輸?shù)囊蟆6祟愅ㄐ艆f(xié)議的安全漏洞會(huì)直接威脅到數(shù)據(jù)傳輸?shù)陌踩?,如自?dòng)駕駛數(shù)據(jù)傳輸至車內(nèi)網(wǎng)絡(luò)時(shí),會(huì)通過CAN 總線或車載以太網(wǎng)傳輸至各個(gè)執(zhí)行單元,而非法分子可以對(duì)通信協(xié)議認(rèn)證機(jī)制進(jìn)行破解,或采取中間人攻擊竊取或篡改敏感數(shù)據(jù)。

    (三)平臺(tái)層數(shù)據(jù)安全風(fēng)險(xiǎn)

    平臺(tái)層作為自動(dòng)駕駛數(shù)據(jù)匯集、存儲(chǔ)、計(jì)算、管理的中心,為自動(dòng)駕駛車輛、道路設(shè)施、應(yīng)用等提供數(shù)據(jù)處理、支持、更新等服務(wù)。作為自動(dòng)駕駛數(shù)據(jù)匯聚和遠(yuǎn)程管控的核心,平臺(tái)層除面臨傳統(tǒng)大數(shù)據(jù)、云平臺(tái)所面臨的安全風(fēng)險(xiǎn)之外,對(duì)應(yīng)于自動(dòng)駕駛數(shù)據(jù)的處理流程,也會(huì)面臨新的安全風(fēng)險(xiǎn)。

    1.云平臺(tái)安全風(fēng)險(xiǎn)

    不同類型、不同級(jí)別的自動(dòng)駕駛數(shù)據(jù)都會(huì)在云平臺(tái)匯聚、處理、流轉(zhuǎn)。其數(shù)據(jù)價(jià)值越大,就越會(huì)成為攻擊的焦點(diǎn)。同時(shí)云平臺(tái)開放的服務(wù)架構(gòu)及按需使用的服務(wù)模式,使得云平臺(tái)越來越成為攻擊的首要目標(biāo),尤其是對(duì)于大量使用云服務(wù)功能的自動(dòng)駕駛車輛,遠(yuǎn)程嘗試入侵云平臺(tái)相比物理接觸攻擊車輛會(huì)更容易,而且?guī)淼奈:Ω?,?duì)于攻擊者而言收益也會(huì)越大。云平臺(tái)往往作為突破車輛控制的第一道關(guān)口,易受到DDos 攻擊、僵尸網(wǎng)絡(luò)、非法授權(quán)訪問、審計(jì)存儲(chǔ)空間消耗等網(wǎng)絡(luò)威脅,或利用手機(jī)APP 入侵云平臺(tái)服務(wù)端從而控制并獲取大量的車輛數(shù)據(jù)。

    2.大數(shù)據(jù)處理安全風(fēng)險(xiǎn)

    自動(dòng)駕駛海量數(shù)據(jù)的分析處理,必然用到大數(shù)據(jù)技術(shù),如感知數(shù)據(jù)中的視頻、圖像以及激光雷達(dá)產(chǎn)生的點(diǎn)云數(shù)據(jù),路測數(shù)據(jù)、測試仿真數(shù)據(jù),大量車輛狀態(tài)監(jiān)控?cái)?shù)據(jù)等。這些非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)平臺(tái)上進(jìn)行批處理或流處理時(shí),對(duì)不同級(jí)別的數(shù)據(jù)如果沒有相應(yīng)的細(xì)粒度訪問控制機(jī)制,就會(huì)存在訪問權(quán)限過大、數(shù)據(jù)遭到濫用的風(fēng)險(xiǎn)。另外,目前大數(shù)據(jù)存儲(chǔ)采用分布式存儲(chǔ)技術(shù),往往對(duì)于不用級(jí)別不同類型的數(shù)據(jù)在物理上是混合存儲(chǔ),不利于進(jìn)行分類隔離和分級(jí)防護(hù)。同時(shí)數(shù)據(jù)在大數(shù)據(jù)平臺(tái)上進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘時(shí),對(duì)于數(shù)據(jù)融合所產(chǎn)生的隱私泄露問題,也是大數(shù)據(jù)處理時(shí)面臨的主要風(fēng)險(xiǎn)之一。

    3.隱私泄漏安全風(fēng)險(xiǎn)

    隱私泄露風(fēng)險(xiǎn)在平臺(tái)層尤為嚴(yán)重,不僅是個(gè)人隱私數(shù)據(jù),也包括商業(yè)秘密等敏感數(shù)據(jù)。這類數(shù)據(jù)在處理的不同環(huán)節(jié)均存在如內(nèi)部權(quán)限濫用、外部攻擊等方式導(dǎo)致的數(shù)據(jù)泄露風(fēng)險(xiǎn)。如感知數(shù)據(jù)中,地理信息數(shù)據(jù)、個(gè)人隱私數(shù)據(jù),仿真測試平臺(tái)積累的商業(yè)化的測試數(shù)據(jù),仿真場景化數(shù)據(jù),以及平臺(tái)提供的高精地圖數(shù)據(jù)等,在平臺(tái)層進(jìn)行存儲(chǔ)、處理時(shí),一些關(guān)鍵隱私數(shù)據(jù)會(huì)流轉(zhuǎn)至非信任區(qū)域,導(dǎo)致數(shù)據(jù)所有者失去對(duì)這些關(guān)鍵數(shù)據(jù)的控制,從而產(chǎn)生隱私數(shù)據(jù)泄露問題。測試、仿真數(shù)據(jù)的泄露不僅會(huì)給企業(yè)帶來較大的經(jīng)濟(jì)損失,還會(huì)影響自動(dòng)駕駛車輛測試、優(yōu)化進(jìn)程,而地圖類數(shù)據(jù)的泄露會(huì)給國家安全帶來重大影響。

    另外,在數(shù)據(jù)銷毀階段,數(shù)據(jù)銷毀之后還存在一些未被擦除的殘留,存在數(shù)據(jù)重新創(chuàng)建和恢復(fù)可能,會(huì)使用戶隱私遭到泄露,造成隱私泄露安全風(fēng)險(xiǎn)。

    4.越權(quán)訪問風(fēng)險(xiǎn)

    主要是防止內(nèi)部人員越權(quán)訪問或?yàn)E用權(quán)限,造成安全機(jī)制被繞過,非法獲取用戶數(shù)據(jù)或造成數(shù)據(jù)的破壞。安全管理制度和相應(yīng)的安全配置基線不完善,也容易給攻擊者可乘之機(jī)。非授權(quán)用戶的訪問,不僅會(huì)導(dǎo)致自動(dòng)駕駛相關(guān)數(shù)據(jù)、用戶個(gè)人隱私數(shù)據(jù)被非法瀏覽,攻擊者還能通過篡改、重寫數(shù)據(jù),影響自動(dòng)駕駛車輛的行車安全和應(yīng)用服務(wù)的質(zhì)量。在OTA 平臺(tái)上,通過越權(quán)訪問篡改未經(jīng)加密的升級(jí)包,致使系統(tǒng)無法升級(jí)至正確的版本,阻止自動(dòng)駕駛車輛安全漏洞、風(fēng)險(xiǎn)的修復(fù)。

    5.系統(tǒng)及軟件漏洞風(fēng)險(xiǎn)

    攻擊者通過對(duì)平臺(tái)系統(tǒng)及其應(yīng)用軟件的惡意修改達(dá)到攻擊車輛的目的,如在軟件中植入木馬、后門,二次打包應(yīng)用程序等。在OTA 平臺(tái)升級(jí)過程中攻擊者可以利用固件校驗(yàn)、簽名漏洞等篡改升級(jí)包、注入惡意代碼,進(jìn)而獲取用戶個(gè)人隱私、自動(dòng)駕駛相關(guān)數(shù)據(jù)甚至獲得車輛控制權(quán)。用戶從服務(wù)平臺(tái)獲取的娛樂、資訊類信息容易被非法注入病毒,會(huì)破壞、刪除、改寫敏感數(shù)據(jù),影響自動(dòng)駕駛系統(tǒng)的運(yùn)行效率。

    (四)應(yīng)用層數(shù)據(jù)安全風(fēng)險(xiǎn)

    1.決策與控制數(shù)據(jù)安全風(fēng)險(xiǎn)

    決策和控制類數(shù)據(jù)通過云端收集的多方數(shù)據(jù)進(jìn)行分析向車端下發(fā)控車指令。攻擊者通過對(duì)云端存儲(chǔ)的數(shù)據(jù)進(jìn)行竊取和篡改,破壞數(shù)據(jù)的可用性和完整性,使其無法用于數(shù)據(jù)分析和決策。當(dāng)從云端向車端下發(fā)決策指令時(shí),攻擊者通過傳輸信道截取指令數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行偽造或者通過偽造接收者和發(fā)送方進(jìn)行數(shù)據(jù)的截取和重寫,使車端接收到錯(cuò)誤的決策和控制指令,引發(fā)安全事故。

    自動(dòng)駕駛汽車通過車輛狀態(tài)估計(jì)、車道保持、車輛加減速等數(shù)據(jù)做出相應(yīng)的控車指令,攻擊者對(duì)存儲(chǔ)此類數(shù)據(jù)的固件進(jìn)行攻擊,竊取、偽造、重寫此類數(shù)據(jù),使自動(dòng)駕駛汽車做出錯(cuò)誤的車輛狀態(tài)估計(jì),威脅駕駛員的生命財(cái)產(chǎn)安全。

    自動(dòng)駕駛數(shù)據(jù)的分析和決策主要借助AI 模型和相應(yīng)的算法來實(shí)現(xiàn)。每一個(gè)AI 模型和相應(yīng)的算法由大量代碼構(gòu)成,在某種程度上也增加了數(shù)據(jù)安全的風(fēng)險(xiǎn)。攻擊者通過惡意代碼注入或非法注入并執(zhí)行惡意程序的方式,使算法產(chǎn)出的數(shù)據(jù)出現(xiàn)偏差或?qū)λ惴ê湍P彤a(chǎn)出的數(shù)據(jù)進(jìn)行篡改,導(dǎo)致決策出現(xiàn)誤差。自動(dòng)駕駛汽車通過聲音、手勢、指紋、面部特征等人機(jī)交互信息和車身控制指令(如開門、啟動(dòng)、車窗控制、啟動(dòng)應(yīng)用等)等數(shù)據(jù)控制車輛,此類信息在應(yīng)用層傳輸過程中一旦遭遇泄露、偽造或重寫,將造成車輛失竊或發(fā)生車輛不受控制的風(fēng)險(xiǎn)。

    2.測試與仿真數(shù)據(jù)安全風(fēng)險(xiǎn)

    測試與仿真數(shù)據(jù)作為自動(dòng)駕駛車輛上路前的實(shí)驗(yàn)數(shù)據(jù)和上路后的參考數(shù)據(jù),起到?jīng)Q策輔助作用。這類數(shù)據(jù)貫穿自動(dòng)駕駛車輛的全生命周期。

    測試場景數(shù)據(jù)是自動(dòng)駕駛車輛在封閉環(huán)境下進(jìn)行自動(dòng)行駛時(shí)所獲取的數(shù)據(jù)信息,包括障礙物信息、交通規(guī)則信息等。此類數(shù)據(jù)的完整性和可用性是決定測試結(jié)果準(zhǔn)確性的重要前提。如果此類數(shù)據(jù)被篡改會(huì)導(dǎo)致測試數(shù)據(jù)集的準(zhǔn)確性降低,直接影響自動(dòng)駕駛功能的安全性和可靠性。確保此類數(shù)據(jù)的存儲(chǔ)安全、使用安全,防止未授權(quán)人對(duì)于數(shù)據(jù)的訪問,是在做數(shù)據(jù)安全防護(hù)時(shí)應(yīng)重點(diǎn)考慮的。

    3.用戶個(gè)人信息安全風(fēng)險(xiǎn)

    車輛信息相關(guān)數(shù)據(jù)、用戶駕駛習(xí)慣、用戶信息這些數(shù)據(jù)是用戶較為隱私的數(shù)據(jù)。越權(quán)訪問、存儲(chǔ)未采用安全措施等導(dǎo)致的數(shù)據(jù)泄露,可能會(huì)致使車輛被盜或在行駛狀態(tài)下被非法控制等后果,造成一定的經(jīng)濟(jì)損失和威脅人們的生命安全。

    除此之外,今后自動(dòng)駕駛車輛在實(shí)際運(yùn)行過程中,將可能面臨的車輛實(shí)體出國出境、高精地圖感知數(shù)據(jù)存儲(chǔ)于車內(nèi)所引發(fā)的數(shù)據(jù)安全風(fēng)險(xiǎn),同樣值得高度關(guān)注。

    三、自動(dòng)駕駛數(shù)據(jù)安全體系

    (一)目標(biāo)體系

    自動(dòng)駕駛不同于單一的應(yīng)用系統(tǒng),而是由整車企業(yè)、軟件平臺(tái)、算法應(yīng)用、tier-1 廠商、研究機(jī)構(gòu)、監(jiān)管部門以及最終用戶等多個(gè)角色構(gòu)成的復(fù)雜生態(tài)系統(tǒng)。因此,自動(dòng)駕駛數(shù)據(jù)不僅涉及算法開發(fā)、道路測試,實(shí)際應(yīng)用等各個(gè)階段所產(chǎn)生收集使用的各類數(shù)據(jù),還包括在產(chǎn)業(yè)生態(tài)鏈上共享利用的各類數(shù)據(jù)。因此,自動(dòng)駕駛數(shù)據(jù)的安全并不是靜態(tài)的數(shù)據(jù)防護(hù),而是圍繞數(shù)據(jù)全生命周期進(jìn)行的動(dòng)態(tài)安全防護(hù),是以數(shù)據(jù)為中心,為保證數(shù)據(jù)的可見、可管、可控以及在自動(dòng)駕駛產(chǎn)業(yè)生態(tài)中協(xié)同共享安全而構(gòu)建的數(shù)據(jù)安全體系。

    其中,在基本原則層面,需要遵守政府制訂的一系列管理規(guī)范,確保所有利益相關(guān)方對(duì)數(shù)據(jù)的使用情況知情,且不可強(qiáng)迫任何一方貢獻(xiàn)出其擁有的數(shù)據(jù);各數(shù)據(jù)的傳輸和使用應(yīng)遵循平等、完整、可溯源的原則;數(shù)據(jù)的使用者還需要遵循《網(wǎng)絡(luò)安全法》《信息安全等級(jí)保護(hù)條例》《數(shù)據(jù)安全管理辦法》等政策法規(guī),并遵循已經(jīng)出臺(tái)的“云計(jì)算服務(wù)安全能力評(píng)估”“移動(dòng)終端安全保護(hù)”“大數(shù)據(jù)服務(wù)安全”“信息系統(tǒng)安全運(yùn)維管理”等相關(guān)國家標(biāo)準(zhǔn)與行業(yè)標(biāo)準(zhǔn)。

    圖1 自動(dòng)駕駛數(shù)據(jù)安全技術(shù)架構(gòu)

    (二)安全防護(hù)技術(shù)

    圍繞自動(dòng)駕駛數(shù)據(jù)全流程安全,其安全防護(hù)技術(shù)的目標(biāo)主要包括以下幾個(gè)部分。

    防止數(shù)據(jù)的過度采集。自動(dòng)駕駛數(shù)據(jù)的采集包括自動(dòng)駕駛車輛在運(yùn)行過程中的采集、路測設(shè)施采集、高精度地圖制圖時(shí)的采集等。在這些采集環(huán)節(jié),主要應(yīng)保障數(shù)據(jù)的采集合規(guī),防止過度采集,尤其是對(duì)地理測繪或涉及敏感及隱私數(shù)據(jù)的過度采集,造成數(shù)據(jù)的不合規(guī)濫用。

    保障數(shù)據(jù)的機(jī)密性、完整性和可用性。數(shù)據(jù)采集后在車端的存儲(chǔ),通過專線、5G、WIFI 等傳輸?shù)铰穫?cè)端或云端時(shí)的存儲(chǔ),均應(yīng)保障數(shù)據(jù)存儲(chǔ)和傳輸時(shí)不被泄露和破壞。

    注重?cái)?shù)據(jù)的隱私保護(hù)。自動(dòng)駕駛過程均會(huì)產(chǎn)生涉及個(gè)人、企業(yè)及組織的隱私數(shù)據(jù),在對(duì)數(shù)據(jù)進(jìn)行集中分析和應(yīng)用的過程中,不同數(shù)據(jù)的融合也會(huì)帶來隱私問題。因此,應(yīng)防止數(shù)據(jù)在全流程環(huán)節(jié)中的隱私泄露。

    保障運(yùn)營服務(wù)數(shù)據(jù)的合規(guī)性。自動(dòng)駕駛涉及多個(gè)不同的產(chǎn)業(yè)生態(tài),包括自動(dòng)駕駛數(shù)據(jù)的生產(chǎn)者、算法及平臺(tái)的開發(fā)者、高精度地圖數(shù)據(jù)運(yùn)營者,以及其他開發(fā)、測試等環(huán)節(jié)所涉及的數(shù)據(jù)提供方等。數(shù)據(jù)在整個(gè)環(huán)節(jié)流通運(yùn)營時(shí),應(yīng)保障數(shù)據(jù)所有者、數(shù)據(jù)使用者、數(shù)據(jù)運(yùn)營者等多方的權(quán)益,分清責(zé)任邊界,保障數(shù)據(jù)生產(chǎn)流轉(zhuǎn)過程中的合規(guī)。

    保障數(shù)據(jù)跨組織、跨平臺(tái)應(yīng)用安全。自動(dòng)駕駛數(shù)據(jù)從管理權(quán)屬來說也會(huì)涉及不同的監(jiān)管部門和管理平臺(tái),因此在數(shù)據(jù)的跨部門和跨平臺(tái)應(yīng)用時(shí),應(yīng)保障數(shù)據(jù)的安全交換及共享,以及對(duì)交換過程的安全監(jiān)管,防止數(shù)據(jù)的非授權(quán)訪問和濫用。

    持續(xù)加強(qiáng)數(shù)據(jù)安全監(jiān)管。自動(dòng)駕駛數(shù)據(jù)涉及不同類型、不同級(jí)別、不同部門,且都是影響安全風(fēng)險(xiǎn)的重要因素。同時(shí),隨著自動(dòng)駕駛技術(shù)的發(fā)展,安全技術(shù)也會(huì)隨之更新,因此應(yīng)建立持續(xù)的安全監(jiān)管機(jī)制,持續(xù)加強(qiáng)自動(dòng)駕駛數(shù)據(jù)安全監(jiān)管。

    技術(shù)手段是構(gòu)建自動(dòng)駕駛數(shù)據(jù)安全體系的關(guān)鍵一環(huán)。結(jié)合自動(dòng)駕駛數(shù)據(jù)架構(gòu)及自動(dòng)駕駛數(shù)據(jù)的分類分級(jí),在自動(dòng)駕駛數(shù)據(jù)安全體系框架下,提出此自動(dòng)駕駛數(shù)據(jù)安全技術(shù)架構(gòu)。該技術(shù)架構(gòu)包括采集層數(shù)據(jù)安全防護(hù)技術(shù)、通信層數(shù)據(jù)安全防護(hù)技術(shù)、平臺(tái)層數(shù)據(jù)安全防護(hù)技術(shù)和應(yīng)用層數(shù)據(jù)安全防護(hù)技術(shù)。在這四層層次中,每一層的數(shù)據(jù)安全防護(hù)均不可或缺,需逐一對(duì)其加以防護(hù),具體的思路和技術(shù)如下。

    1.采集層數(shù)據(jù)安全防護(hù)技術(shù)

    (1)物理防護(hù)

    自動(dòng)駕駛汽車的一些關(guān)鍵部件,例如T-BOX、IVI、OBU 等,通常既可以與車內(nèi)的網(wǎng)絡(luò)進(jìn)行通信,獲取車內(nèi)網(wǎng)絡(luò)數(shù)據(jù),同時(shí)也可以與外界進(jìn)行通信。如果這些關(guān)鍵部件的系統(tǒng)被物理攻擊,很容易通過物理方式將關(guān)鍵數(shù)據(jù)提取出來,所以需要對(duì)關(guān)鍵部件的系統(tǒng)進(jìn)行物理防護(hù)。如采取安全啟動(dòng)、固件防提取等技術(shù),在設(shè)備啟動(dòng)的各個(gè)階段對(duì)啟動(dòng)過程進(jìn)行安全校驗(yàn),防止攻擊者通過串口或者其他方式對(duì)設(shè)備的固件系統(tǒng)進(jìn)行篡改或直接提取。

    (2)采集防護(hù)

    自動(dòng)駕駛汽車依靠大量傳感器對(duì)周邊環(huán)境進(jìn)行感知,首先應(yīng)確保數(shù)據(jù)來源真實(shí)性,對(duì)采集設(shè)備進(jìn)行認(rèn)證防止非法的采集設(shè)備接入車輛;其次,確保數(shù)據(jù)的真實(shí)性,一方面應(yīng)具備對(duì)采集數(shù)據(jù)進(jìn)行完整性驗(yàn)證的機(jī)制,防止數(shù)據(jù)的非法篡改,一方面也應(yīng)針對(duì)不同的采集設(shè)備開發(fā)相應(yīng)的精確感知識(shí)別技術(shù),防止傳感器欺騙和干擾;同時(shí),還應(yīng)對(duì)采集時(shí)的數(shù)據(jù)進(jìn)行限制,不加限制隨意采集數(shù)據(jù),也會(huì)帶來合規(guī)風(fēng)險(xiǎn)。

    (3)安全存儲(chǔ)

    車端運(yùn)行的自動(dòng)駕駛算法,傳輸及認(rèn)證使用的密鑰、證書等自動(dòng)駕駛相關(guān)數(shù)據(jù)非常重要,不能采用常規(guī)的方式存儲(chǔ)在車輛設(shè)備上,需要采用安全的硬件設(shè)備進(jìn)行存儲(chǔ)。通常采用安全芯片、硬件安全模塊(HSM)等技術(shù)確保敏感數(shù)據(jù)在車端的存儲(chǔ)安全,防止證書密鑰被非法獲取。同時(shí)需要開發(fā)針對(duì)自動(dòng)駕駛算法的固件防提取、代碼保護(hù)等技術(shù),防止算法被非法竊取,造成核心商業(yè)秘密的泄露。

    2.通信層數(shù)據(jù)安全防護(hù)技術(shù)

    對(duì)于自動(dòng)駕駛數(shù)據(jù)存在的惡意節(jié)點(diǎn)攻擊風(fēng)險(xiǎn)、傳輸風(fēng)險(xiǎn)和協(xié)議風(fēng)險(xiǎn)提出相應(yīng)的防護(hù)技術(shù)。

    (1)車內(nèi)通信數(shù)據(jù)的認(rèn)證加密技術(shù)

    自動(dòng)駕駛汽車的車內(nèi)通信主要包括CAN 總線通信、車載以太網(wǎng)通信等。其中,由于CAN 總線協(xié)議設(shè)計(jì)簡單、沒有復(fù)雜的分層以及加密擴(kuò)展協(xié)議支持的考慮,易被竊取和偽造。目前主流的技術(shù)是采用AutoSAR 標(biāo)準(zhǔn)組織制定并實(shí)現(xiàn)的SecOC 技術(shù),在發(fā)送端和接受端對(duì)報(bào)文進(jìn)行驗(yàn)證,以抵御第三方的入侵。而車載以太網(wǎng)協(xié)議可滿足高帶寬、低延遲的數(shù)據(jù)傳輸需求,主要應(yīng)用在車內(nèi)控制域和車身控制域之間的通信、激光雷達(dá)的點(diǎn)云數(shù)據(jù)通信等。依據(jù)車載以太網(wǎng)遵循的OSI 分層結(jié)構(gòu),可通過IPSec、MACSec 技術(shù)等進(jìn)行設(shè)備驗(yàn)證和數(shù)據(jù)加密,以保證車內(nèi)網(wǎng)絡(luò)通信數(shù)據(jù)的安全。

    (2)車外通信數(shù)據(jù)認(rèn)證加密技術(shù)

    自動(dòng)駕駛V2X 通信層數(shù)據(jù)安全主要考慮基于DSRC 與LTEV2X 兩種路線的V2X 通信數(shù)據(jù)安全。為保護(hù)車主隱私提高網(wǎng)絡(luò)的安全系數(shù),V2X 設(shè)計(jì)了匿名密鑰體制,周期性變更標(biāo)識(shí)和信息簽名,為此需要在車輛中安裝幾百甚至幾千個(gè)證書,以完成V2X 所需的每秒上千次的簽名和驗(yàn)簽要求?;贚TE 移動(dòng)通信技術(shù)形成的V2X車聯(lián)網(wǎng)無線通信技術(shù),包括蜂窩Uu 和直接通信PC5 兩種工作模式,在已制定的通信標(biāo)準(zhǔn)中兩種模式均已定義了通過TSL 加密、SSL 加密技術(shù)來保障承載層安全和V2X 應(yīng)用層安全的認(rèn)證加密實(shí)現(xiàn)機(jī)制。但是針對(duì)V2V 的數(shù)據(jù)廣播,對(duì)敏感數(shù)據(jù)的保護(hù)需要在現(xiàn)有的廣播加密技術(shù)基礎(chǔ)上進(jìn)行改進(jìn),以適應(yīng)廣播車輛隨機(jī)的情況。

    (3)海量數(shù)據(jù)實(shí)時(shí)安全傳輸技術(shù)

    自動(dòng)駕駛車輛會(huì)實(shí)時(shí)產(chǎn)生海量的數(shù)據(jù),自動(dòng)駕駛算法的訓(xùn)練、實(shí)際路測、車車運(yùn)行情況等也均會(huì)產(chǎn)生大量數(shù)據(jù),如何安全地將這些數(shù)據(jù)以接近零延遲的速度、超高的帶寬上傳到AI 計(jì)算平臺(tái),即時(shí)產(chǎn)生正確地決策控制,數(shù)據(jù)是自動(dòng)駕駛落地的關(guān)鍵問題。對(duì)于自動(dòng)駕駛的某些應(yīng)用程序,短暫的延遲對(duì)于其功能的實(shí)現(xiàn)沒有太大影響,但是它會(huì)影響整體的性能和效率。在某些情況下,汽車內(nèi)部應(yīng)用程序響應(yīng)的延遲就有可能會(huì)釀成悲劇。因此,針對(duì)海量數(shù)據(jù)的實(shí)時(shí)在線傳輸技術(shù)除應(yīng)用當(dāng)前較為成熟的技術(shù)以外,還應(yīng)從解決大流量高速安全傳輸、傳輸設(shè)備認(rèn)證、資質(zhì)監(jiān)管等問題出發(fā),開發(fā)相應(yīng)的實(shí)時(shí)高速傳輸技術(shù)。

    (4)入侵檢測和防護(hù)技術(shù)

    為了防止在自動(dòng)駕駛數(shù)據(jù)傳輸?shù)倪^程中,攻擊者通過流量監(jiān)控,分析獲取數(shù)據(jù)信息,通過采用多層網(wǎng)絡(luò)防護(hù)和多重檢測技術(shù)結(jié)合的理念,實(shí)時(shí)對(duì)自動(dòng)駕駛數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)流量進(jìn)行深度檢測,精準(zhǔn)判斷出攻擊行為和異常行為,對(duì)傳輸中的異常報(bào)文進(jìn)行阻斷或?qū)π袨楫惓5目偩€節(jié)點(diǎn)進(jìn)行通信阻斷。其中包括自動(dòng)駕駛車內(nèi)網(wǎng)絡(luò)CAN總線入侵檢測(CAN 幀深度檢測,行為狀態(tài)機(jī)檢測,上下文分析檢測,DOS 攻擊基于負(fù)載率、信息熵、幀間隔的檢測等)和自動(dòng)駕駛汽車車內(nèi)以太網(wǎng)入侵檢測(以太網(wǎng)報(bào)文深度檢測,車載以太網(wǎng)SOME/IP、DOIP、AVB 應(yīng) 用 協(xié)議檢測)等。外部網(wǎng)絡(luò)接口入侵檢測,包括對(duì)OBD 接口、BLE、WIFIHotspot、USB、其它主流近場無線通信、5G 等接口輸入的流量,提供檢測及防護(hù)功能。

    3.平臺(tái)層數(shù)據(jù)安全防護(hù)技術(shù)

    作為自動(dòng)駕駛汽車數(shù)據(jù)存儲(chǔ)和計(jì)算、分析的平臺(tái),為自動(dòng)駕駛智能決策、規(guī)劃、遠(yuǎn)程服務(wù)等提供數(shù)據(jù)支撐。面對(duì)海量的數(shù)據(jù),平臺(tái)需要從數(shù)據(jù)分級(jí)、分類的角度出發(fā),結(jié)合自動(dòng)駕駛數(shù)據(jù)特點(diǎn)、業(yè)務(wù)應(yīng)用特點(diǎn),在數(shù)據(jù)面臨的安全存儲(chǔ)、越權(quán)訪問、泄露、篡改等方面做好安全防護(hù)。

    (1)安全域邊界隔離技術(shù)

    在各類平臺(tái)網(wǎng)絡(luò)入口、重要網(wǎng)絡(luò)域入口處部署防火墻等安全設(shè)備,對(duì)所有流經(jīng)網(wǎng)絡(luò)邊界的自動(dòng)駕駛感知類、業(yè)務(wù)類數(shù)據(jù)進(jìn)行嚴(yán)格的安全規(guī)則過濾,將所有不符合安全規(guī)則的數(shù)據(jù)屏蔽,嚴(yán)格控制區(qū)域間的數(shù)據(jù)訪問權(quán)限。

    (2)基于標(biāo)記的訪問控制技術(shù)

    對(duì)不同安全等級(jí)的數(shù)據(jù)訪問的權(quán)限不同,因此根據(jù)自動(dòng)駕駛數(shù)據(jù)應(yīng)用場景的多樣性、多方參與等特點(diǎn),在建立完善的分級(jí)分類基礎(chǔ)上,應(yīng)針對(duì)不同級(jí)別、不同類型的數(shù)據(jù)基于用戶角色進(jìn)行標(biāo)記,設(shè)置精細(xì)的訪問控制規(guī)則,控制不同類型數(shù)據(jù)的訪問權(quán)限,從而適應(yīng)復(fù)雜的自動(dòng)駕駛數(shù)據(jù)應(yīng)用場景。同時(shí)設(shè)置不同等級(jí)的鑒權(quán)條件,控制不同優(yōu)先級(jí)數(shù)據(jù)的開放范圍,在保障自動(dòng)駕駛不同場景下的業(yè)務(wù)需求得到滿足的同時(shí),做好數(shù)據(jù)安全工作。

    (3)數(shù)據(jù)脫敏技術(shù)

    平臺(tái)層的自動(dòng)駕駛數(shù)據(jù)在存儲(chǔ)、分析、下發(fā)使用過程中,均需要采用數(shù)據(jù)脫敏技術(shù)來有針對(duì)性的去除數(shù)據(jù)中攜帶的與平臺(tái)業(yè)務(wù)無關(guān)的敏感信息,包括可能出現(xiàn)的圖片、地理位置、用戶隱私、關(guān)聯(lián)信息等。數(shù)據(jù)脫敏技術(shù)對(duì)所采集和存儲(chǔ)的自動(dòng)駕駛數(shù)據(jù)進(jìn)行掃描,形成敏感數(shù)據(jù)分類、分級(jí)分布視圖,對(duì)不同種類、不同級(jí)別敏感數(shù)據(jù)進(jìn)行脫敏處理,同時(shí)保持?jǐn)?shù)據(jù)屬性和數(shù)據(jù)間的依賴關(guān)系,確保脫敏后數(shù)據(jù)的有效性。

    (4)面向自動(dòng)駕駛的高精度地圖專屬云技術(shù)

    自動(dòng)駕駛車輛所依賴的高精度地圖數(shù)據(jù)涉及到地理信息坐標(biāo)等國家秘密范疇,這類數(shù)據(jù)在云端集中存儲(chǔ)、處理和計(jì)算過程均要滿足安全監(jiān)管要求,因此,需要構(gòu)建面向自動(dòng)駕駛的高精度地圖專屬云,利用專屬云安全技術(shù)建立計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源的物理隔離機(jī)制,除應(yīng)用已有的云平臺(tái)安全防護(hù)技術(shù)之外,應(yīng)形成相對(duì)獨(dú)立的高安全等級(jí)的高精度地圖數(shù)據(jù)處理云環(huán)境。

    (5)基于區(qū)塊鏈的數(shù)據(jù)安全共享技術(shù)

    自動(dòng)駕駛數(shù)據(jù)的共享應(yīng)用是促進(jìn)產(chǎn)業(yè)發(fā)展的必然要求,共享數(shù)據(jù)的同時(shí)又會(huì)帶來數(shù)據(jù)失控的風(fēng)險(xiǎn),并且難以追責(zé)。結(jié)合區(qū)塊鏈技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)共享過程的全生命周期管理,采用智能合約對(duì)數(shù)據(jù)共享過程進(jìn)行細(xì)粒度管控,同時(shí)保障數(shù)據(jù)操作的可追溯性,解決數(shù)據(jù)所有者的共享數(shù)據(jù)“誰在用、在哪用、怎么用”等問題,在發(fā)生數(shù)據(jù)安全事件后,有效追責(zé)。通過引入動(dòng)態(tài)安全許可技術(shù),實(shí)現(xiàn)協(xié)同場景下數(shù)據(jù)動(dòng)態(tài)訪問控制和授權(quán);通過標(biāo)簽標(biāo)記技術(shù),實(shí)現(xiàn)數(shù)據(jù)可溯源;使用基于區(qū)塊鏈的分層訪問控制機(jī)制,對(duì)數(shù)據(jù)全生命周期過程中的訪問信息、授權(quán)信息進(jìn)行記錄,保障數(shù)據(jù)操作的可追溯性,解決協(xié)同共享數(shù)據(jù)安全失控問題。

    4.應(yīng)用層數(shù)據(jù)安全防護(hù)技術(shù)

    (1)訪問控制技術(shù)

    自動(dòng)駕駛汽車的車載娛樂系統(tǒng)、智能座艙系統(tǒng)、遠(yuǎn)程診斷接口等負(fù)責(zé)與駕駛員、乘客或遠(yuǎn)程診斷系統(tǒng)進(jìn)行交互,因此會(huì)保存大量涉及用戶個(gè)人的隱私數(shù)據(jù)和車輛狀態(tài)數(shù)據(jù)。這類數(shù)據(jù)的保護(hù)除利用安全存儲(chǔ)技術(shù)保存在安全硬件設(shè)備之外,還應(yīng)考慮采用數(shù)據(jù)訪問控制技術(shù),限制對(duì)個(gè)人隱私類數(shù)據(jù)和車輛敏感狀態(tài)的非法訪問和提取。如結(jié)合生物特征的身份認(rèn)證及授權(quán)技術(shù),基于角色的強(qiáng)制訪問控制技術(shù)、遠(yuǎn)程安全診斷技術(shù)等,保證只有合法用戶或設(shè)備才能訪問車端數(shù)據(jù)。

    (2)自動(dòng)駕駛應(yīng)用加固技術(shù)

    要保護(hù)用戶隱私數(shù)據(jù),可以結(jié)合自動(dòng)駕駛數(shù)據(jù)特點(diǎn),把加固技術(shù)集成到客戶端內(nèi),為客戶提供涵蓋應(yīng)用開發(fā)、打包、發(fā)布、運(yùn)行全生命周期一體化安全保障服務(wù),有效防止針對(duì)移動(dòng)應(yīng)用的反編譯、二次打包、內(nèi)存注入、動(dòng)態(tài)調(diào)試、數(shù)據(jù)竊取、交易劫持、應(yīng)用釣魚等惡意攻擊行為,從而全面保護(hù)應(yīng)用軟件安全。

    (3)自動(dòng)駕駛算法的抗攻擊及保護(hù)技術(shù)

    自動(dòng)駕駛算法應(yīng)能夠具備識(shí)別和檢測正常數(shù)據(jù)樣本和攻擊樣本的能力,增強(qiáng)自動(dòng)駕駛算法的抗攻擊能力。同時(shí),自動(dòng)駕駛算法自身的保護(hù)技術(shù)除傳統(tǒng)的對(duì)算法代碼的保護(hù)之外,通常也會(huì)結(jié)合對(duì)不斷輸入數(shù)據(jù)的反饋增加噪聲的方式來防止對(duì)自動(dòng)駕駛算法的試探攻擊,從而防止竊取算法的關(guān)鍵特征。

    (4)安全測評(píng)自動(dòng)化技術(shù)

    傳統(tǒng)的檢測技術(shù),主要是通過配置文件核查以及反編譯查看靜態(tài)代碼的手段來配置相應(yīng)的檢測項(xiàng)。現(xiàn)有比較突出的測評(píng)技術(shù),均開始使用動(dòng)態(tài)檢測的手段。應(yīng)用層動(dòng)態(tài)檢測技術(shù)主要是構(gòu)造模擬攻擊者的真實(shí)攻擊場景并發(fā)起攻擊行為,通過是否成功取得預(yù)期的攻擊效果,來判斷在自動(dòng)駕駛功能實(shí)現(xiàn)的某個(gè)環(huán)節(jié)上是否存在安全隱患。

    四、發(fā)展建議與展望

    自動(dòng)駕駛作為新一輪科技革命和產(chǎn)業(yè)變革的典型代表,成為各大研究機(jī)構(gòu)、整車廠、互聯(lián)網(wǎng)巨頭公司的重要競爭方向。自動(dòng)駕駛需要針對(duì)海量的多源多維異構(gòu)數(shù)據(jù)進(jìn)行深度學(xué)習(xí),最終達(dá)到無人駕駛、智慧出行的目標(biāo)。針對(duì)前幾章所述自動(dòng)駕駛數(shù)據(jù)安全問題,建議從以下四個(gè)方面著手開展工作。

    (一)規(guī)范數(shù)據(jù)共享治理模式,促進(jìn)自動(dòng)駕駛數(shù)據(jù)開放共享

    自動(dòng)駕駛數(shù)據(jù),需要通過共享和流轉(zhuǎn),才能釋放其最大價(jià)值。在建立數(shù)據(jù)分類分級(jí)的安全技術(shù)防護(hù)架構(gòu)的支撐下,可以將自動(dòng)駕駛數(shù)據(jù)安全使用與區(qū)塊鏈技術(shù)相結(jié)合,推動(dòng)數(shù)據(jù)開放共享體系建設(shè),加快對(duì)生態(tài)鏈上各個(gè)環(huán)節(jié)的參與者的梳理,界定清晰各參與主體的權(quán)利和責(zé)任邊界。并由國家相關(guān)部門通過制定立法、管理?xiàng)l例、標(biāo)準(zhǔn)規(guī)范等方式,加強(qiáng)對(duì)數(shù)據(jù)共享參與方和數(shù)據(jù)共享過程的監(jiān)管。并分階段制定自動(dòng)駕駛數(shù)據(jù)的治理和安全共享的實(shí)施細(xì)則,進(jìn)一步推動(dòng)自動(dòng)駕駛的快速發(fā)展。

    (二)加強(qiáng)對(duì)自動(dòng)駕駛云平臺(tái)的數(shù)據(jù)安全管控

    自動(dòng)駕駛數(shù)據(jù)在云端處理、存儲(chǔ)及應(yīng)用過程中仍然面臨較大風(fēng)險(xiǎn),如對(duì)于涉及國家秘密的地理信息數(shù)據(jù)資源,在云端可能存在跨境傳輸、非授權(quán)訪問等合規(guī)性問題,并且由于云計(jì)算的分布式特點(diǎn),數(shù)據(jù)流轉(zhuǎn)難以監(jiān)管。因此,應(yīng)加強(qiáng)對(duì)云端數(shù)據(jù)安全的管控,綜合應(yīng)用區(qū)塊鏈、數(shù)據(jù)安全標(biāo)記、強(qiáng)制訪問控制、資源隔離等技術(shù)構(gòu)建具有較強(qiáng)數(shù)據(jù)安全防護(hù)能力的云平臺(tái)。建議對(duì)自動(dòng)駕駛應(yīng)用及系統(tǒng)按照國家網(wǎng)絡(luò)安全等級(jí)保護(hù)相關(guān)要求建設(shè),對(duì)于高精地圖等涉及國家秘密范圍的數(shù)據(jù)和系統(tǒng),建議部署具備較強(qiáng)安全隔離機(jī)制和安全監(jiān)管措施的專屬云平臺(tái),滿足等級(jí)保護(hù)四級(jí)要求。

    (三)加強(qiáng)智能網(wǎng)聯(lián)測試示范區(qū)和運(yùn)行區(qū)域的數(shù)據(jù)安全監(jiān)管與防護(hù)體系建設(shè)

    探索建立智能網(wǎng)聯(lián)測試示范區(qū)和運(yùn)行區(qū)域的安全管理機(jī)制,確保示范區(qū)在數(shù)據(jù)采集、處理、存儲(chǔ)和傳輸過程中的機(jī)密性、完整性和可用性,明確相關(guān)主體的數(shù)據(jù)安全保護(hù)責(zé)任。定期開展數(shù)據(jù)風(fēng)險(xiǎn)評(píng)估,加強(qiáng)數(shù)據(jù)安全監(jiān)督檢查。同時(shí),針對(duì)智能網(wǎng)聯(lián)測試示范區(qū)和運(yùn)行區(qū)域可能面臨的非法入侵攻擊和信息安全風(fēng)險(xiǎn),建立端- 管- 云立體的威脅態(tài)勢感知系統(tǒng),確立信息安全評(píng)估機(jī)制,制定應(yīng)急響應(yīng)體系,設(shè)計(jì)針對(duì)不同信息安全等級(jí)的響應(yīng)機(jī)制和恢復(fù)策略,實(shí)現(xiàn)多層面的漏洞資源共享與合作,聯(lián)合建立智能網(wǎng)聯(lián)汽車信息安全漏洞庫。

    (四)加強(qiáng)自動(dòng)駕駛汽車底層固件的安全防護(hù)

    自動(dòng)駕駛汽車運(yùn)行固件支撐著汽車的各個(gè)邏輯功能。從目前的自動(dòng)駕駛實(shí)踐來看,很多重大的安全問題都出現(xiàn)在構(gòu)成自動(dòng)駕駛汽車各個(gè)零部件的固件程序中。因此在汽車投入市場之前,需要對(duì)汽車底層固件進(jìn)行諸如靜態(tài)分析、模擬執(zhí)行、形式化驗(yàn)證之類的安全測試,有助于減少自動(dòng)駕駛汽車在實(shí)際道路上出現(xiàn)安全問題的概率??蒲袉挝慌c企業(yè)也應(yīng)該加強(qiáng)對(duì)自動(dòng)駕駛汽車底層固件的安全研究,以防止可能的攻擊行為,提升自動(dòng)駕駛汽車行駛的安全性和穩(wěn)定性。

    猜你喜歡
    數(shù)據(jù)安全自動(dòng)車輛
    自動(dòng)捕盜機(jī)
    云計(jì)算中基于用戶隱私的數(shù)據(jù)安全保護(hù)方法
    電子制作(2019年14期)2019-08-20 05:43:42
    建立激勵(lì)相容機(jī)制保護(hù)數(shù)據(jù)安全
    基于STM32的自動(dòng)喂養(yǎng)機(jī)控制系統(tǒng)
    電子測試(2018年10期)2018-06-26 05:53:36
    車輛
    大數(shù)據(jù)云計(jì)算環(huán)境下的數(shù)據(jù)安全
    電子制作(2017年20期)2017-04-26 06:57:48
    冬天路滑 遠(yuǎn)離車輛
    車輛出沒,請(qǐng)注意
    關(guān)于自動(dòng)駕駛
    汽車博覽(2016年9期)2016-10-18 13:05:41
    提高車輛響應(yīng)的轉(zhuǎn)向輔助控制系統(tǒng)
    汽車文摘(2015年11期)2015-12-02 03:02:53
    麻豆成人午夜福利视频| 色综合欧美亚洲国产小说| 国产精品 国内视频| 91在线精品国自产拍蜜月 | АⅤ资源中文在线天堂| 黄色女人牲交| 日韩人妻高清精品专区| 午夜免费成人在线视频| 欧美又色又爽又黄视频| 日韩中文字幕欧美一区二区| 一级黄色大片毛片| 国产极品精品免费视频能看的| 亚洲 欧美 日韩 在线 免费| 亚洲电影在线观看av| 国内精品美女久久久久久| 97碰自拍视频| 国产真人三级小视频在线观看| 十八禁网站免费在线| 偷拍熟女少妇极品色| 麻豆av在线久日| 成人鲁丝片一二三区免费| 国内精品久久久久精免费| 超碰成人久久| 精品国产亚洲在线| 无遮挡黄片免费观看| 国产91精品成人一区二区三区| 久久久久久大精品| 亚洲aⅴ乱码一区二区在线播放| 91久久精品国产一区二区成人 | 成人三级黄色视频| 热99在线观看视频| 久久中文看片网| av中文乱码字幕在线| 日本黄色视频三级网站网址| 九九在线视频观看精品| 精品国产亚洲在线| 蜜桃久久精品国产亚洲av| 欧美3d第一页| 一本一本综合久久| 夜夜夜夜夜久久久久| svipshipincom国产片| 午夜成年电影在线免费观看| 国产人伦9x9x在线观看| 国产精品久久电影中文字幕| 国产aⅴ精品一区二区三区波| 欧美一级毛片孕妇| 天堂网av新在线| 欧美激情久久久久久爽电影| 国产亚洲精品久久久久久毛片| 婷婷亚洲欧美| 老熟妇乱子伦视频在线观看| 久久久久久九九精品二区国产| 亚洲国产精品sss在线观看| 香蕉av资源在线| 国产成年人精品一区二区| 女生性感内裤真人,穿戴方法视频| 国产一区二区激情短视频| 国产一区二区在线av高清观看| 淫秽高清视频在线观看| 亚洲av第一区精品v没综合| 欧美日韩福利视频一区二区| 午夜成年电影在线免费观看| 香蕉久久夜色| 国产极品精品免费视频能看的| 成人一区二区视频在线观看| bbb黄色大片| 国产av一区在线观看免费| 亚洲在线观看片| 免费在线观看日本一区| 国产亚洲精品综合一区在线观看| 久久精品国产综合久久久| 欧美不卡视频在线免费观看| 麻豆成人av在线观看| 久久精品91蜜桃| 啦啦啦免费观看视频1| 99精品欧美一区二区三区四区| 波多野结衣高清作品| or卡值多少钱| av在线天堂中文字幕| 久久九九热精品免费| 国产成人av教育| 欧洲精品卡2卡3卡4卡5卡区| 免费一级毛片在线播放高清视频| 不卡av一区二区三区| 国产精品国产高清国产av| 中文亚洲av片在线观看爽| 91字幕亚洲| 香蕉av资源在线| 免费电影在线观看免费观看| 国产av不卡久久| 国产精品日韩av在线免费观看| 国产精品女同一区二区软件 | 他把我摸到了高潮在线观看| 亚洲,欧美精品.| 午夜福利免费观看在线| 最近视频中文字幕2019在线8| 一个人免费在线观看电影 | 亚洲av中文字字幕乱码综合| 国产免费男女视频| h日本视频在线播放| 欧美日韩综合久久久久久 | 国产成人精品久久二区二区免费| 成人国产综合亚洲| 我的老师免费观看完整版| 亚洲电影在线观看av| 波多野结衣高清无吗| 18禁黄网站禁片免费观看直播| 色吧在线观看| 精品国产乱码久久久久久男人| 免费搜索国产男女视频| 一进一出抽搐动态| 欧美黄色淫秽网站| 国产 一区 欧美 日韩| 日日摸夜夜添夜夜添小说| 黑人巨大精品欧美一区二区mp4| 999精品在线视频| 亚洲美女黄片视频| 天天躁狠狠躁夜夜躁狠狠躁| 欧美av亚洲av综合av国产av| 午夜福利在线在线| 三级国产精品欧美在线观看 | 国内毛片毛片毛片毛片毛片| 高清毛片免费观看视频网站| 亚洲成人久久爱视频| www国产在线视频色| 国产欧美日韩精品一区二区| 免费看光身美女| 我的老师免费观看完整版| 国产不卡一卡二| 亚洲av日韩精品久久久久久密| 精品久久久久久久末码| av片东京热男人的天堂| 国产成人av激情在线播放| 欧美不卡视频在线免费观看| 日本五十路高清| 久久久久久大精品| 黄片大片在线免费观看| 久久久久久久久中文| 日韩成人在线观看一区二区三区| 日韩高清综合在线| 久久精品国产综合久久久| 国产真人三级小视频在线观看| 成人无遮挡网站| 怎么达到女性高潮| 91av网一区二区| 69av精品久久久久久| 制服人妻中文乱码| 91字幕亚洲| 黄频高清免费视频| 国产aⅴ精品一区二区三区波| 久久久久久人人人人人| 国产黄色小视频在线观看| 色av中文字幕| 国产高潮美女av| 久久中文字幕一级| 一卡2卡三卡四卡精品乱码亚洲| 变态另类成人亚洲欧美熟女| 90打野战视频偷拍视频| 欧美一级毛片孕妇| ponron亚洲| 国产精品av久久久久免费| 一卡2卡三卡四卡精品乱码亚洲| 全区人妻精品视频| 日韩欧美免费精品| 天堂网av新在线| 亚洲精品在线观看二区| 嫩草影院入口| 黑人操中国人逼视频| 少妇丰满av| 高清毛片免费观看视频网站| 搡老熟女国产l中国老女人| 久久这里只有精品中国| 国产精品美女特级片免费视频播放器 | 国产乱人伦免费视频| 国产精品一及| 日本撒尿小便嘘嘘汇集6| 美女午夜性视频免费| 国模一区二区三区四区视频 | 国产伦人伦偷精品视频| 99久久成人亚洲精品观看| 12—13女人毛片做爰片一| 极品教师在线免费播放| 久久久久久久久免费视频了| 欧美日本亚洲视频在线播放| 国产亚洲av嫩草精品影院| 看片在线看免费视频| 亚洲专区中文字幕在线| 一个人观看的视频www高清免费观看 | 在线a可以看的网站| 亚洲精品国产精品久久久不卡| 日本黄色片子视频| 国产一级毛片七仙女欲春2| 精品久久久久久久毛片微露脸| 成人三级做爰电影| 日韩人妻高清精品专区| 麻豆av在线久日| 制服人妻中文乱码| 人妻夜夜爽99麻豆av| 亚洲av电影在线进入| 欧美另类亚洲清纯唯美| 999精品在线视频| 搡老妇女老女人老熟妇| 日本一本二区三区精品| 国产精品久久久久久亚洲av鲁大| 欧美乱妇无乱码| av黄色大香蕉| 老汉色∧v一级毛片| 国产精品爽爽va在线观看网站| 欧美日韩亚洲国产一区二区在线观看| 久久精品91蜜桃| 在线观看美女被高潮喷水网站 | 国产精品久久视频播放| 免费在线观看视频国产中文字幕亚洲| 欧美黑人欧美精品刺激| 性欧美人与动物交配| 精品国产超薄肉色丝袜足j| 久久久久久大精品| 高清在线国产一区| 国产亚洲精品久久久久久毛片| 久久久水蜜桃国产精品网| 人妻久久中文字幕网| 每晚都被弄得嗷嗷叫到高潮| www.www免费av| 国产亚洲精品一区二区www| 亚洲,欧美精品.| www国产在线视频色| 亚洲一区二区三区色噜噜| 观看美女的网站| av黄色大香蕉| 巨乳人妻的诱惑在线观看| 美女cb高潮喷水在线观看 | 美女大奶头视频| 男人舔女人的私密视频| 一进一出好大好爽视频| 91在线精品国自产拍蜜月 | 国产单亲对白刺激| 岛国在线观看网站| 亚洲成人中文字幕在线播放| 久久亚洲真实| 婷婷丁香在线五月| 欧美又色又爽又黄视频| 18禁裸乳无遮挡免费网站照片| 好看av亚洲va欧美ⅴa在| 精品乱码久久久久久99久播| 国产激情久久老熟女| 成人国产一区最新在线观看| 毛片女人毛片| 激情在线观看视频在线高清| 亚洲九九香蕉| 高潮久久久久久久久久久不卡| 中文字幕人成人乱码亚洲影| 欧美丝袜亚洲另类 | 国产成人一区二区三区免费视频网站| 精品国产亚洲在线| 一边摸一边抽搐一进一小说| 欧美乱色亚洲激情| 国产黄a三级三级三级人| 国产成人啪精品午夜网站| 人人妻,人人澡人人爽秒播| 久久久久九九精品影院| 网址你懂的国产日韩在线| 精品久久久久久久毛片微露脸| 真实男女啪啪啪动态图| 婷婷六月久久综合丁香| 亚洲精品456在线播放app | 久久久国产成人精品二区| 1000部很黄的大片| 给我免费播放毛片高清在线观看| 变态另类成人亚洲欧美熟女| 亚洲国产精品成人综合色| 国产精品 欧美亚洲| 黄色成人免费大全| 极品教师在线免费播放| 国产成人精品久久二区二区免费| 男女床上黄色一级片免费看| 国产成人啪精品午夜网站| 全区人妻精品视频| 综合色av麻豆| 亚洲在线自拍视频| 男女午夜视频在线观看| cao死你这个sao货| 99久久99久久久精品蜜桃| 国产精品一区二区三区四区久久| 国产综合懂色| 精品国产美女av久久久久小说| 性欧美人与动物交配| 午夜福利高清视频| 亚洲色图 男人天堂 中文字幕| 国产精品1区2区在线观看.| 天天添夜夜摸| 午夜精品一区二区三区免费看| 亚洲真实伦在线观看| 国产高清有码在线观看视频| 午夜精品在线福利| 亚洲av片天天在线观看| 日韩 欧美 亚洲 中文字幕| 99久久无色码亚洲精品果冻| 欧美极品一区二区三区四区| www日本在线高清视频| 国产精品av视频在线免费观看| 免费观看的影片在线观看| 99久久精品一区二区三区| 美女免费视频网站| 欧美丝袜亚洲另类 | 青草久久国产| 黄色成人免费大全| 母亲3免费完整高清在线观看| 色综合婷婷激情| 99在线人妻在线中文字幕| 在线播放国产精品三级| 草草在线视频免费看| av片东京热男人的天堂| 午夜福利在线在线| 精品一区二区三区四区五区乱码| 1000部很黄的大片| 两性夫妻黄色片| 欧美不卡视频在线免费观看| 91久久精品国产一区二区成人 | 国产 一区 欧美 日韩| 欧美在线黄色| 精品日产1卡2卡| 国产野战对白在线观看| 成年免费大片在线观看| 日本与韩国留学比较| 99久久国产精品久久久| 999精品在线视频| 欧美在线一区亚洲| 在线十欧美十亚洲十日本专区| 综合色av麻豆| 黑人操中国人逼视频| 成年女人永久免费观看视频| 一级毛片精品| 九色成人免费人妻av| 亚洲在线自拍视频| 一二三四社区在线视频社区8| 制服人妻中文乱码| 黄片小视频在线播放| 国产精品永久免费网站| 国产免费av片在线观看野外av| 色av中文字幕| 亚洲片人在线观看| 精品久久久久久成人av| 日本 av在线| 人妻久久中文字幕网| 在线视频色国产色| 精品午夜福利视频在线观看一区| 亚洲成人精品中文字幕电影| 久久草成人影院| 日本五十路高清| 三级毛片av免费| 18禁观看日本| 精品无人区乱码1区二区| 国产精品综合久久久久久久免费| 国产精品美女特级片免费视频播放器 | 亚洲狠狠婷婷综合久久图片| 亚洲中文日韩欧美视频| 日韩三级视频一区二区三区| 丁香六月欧美| 色综合站精品国产| 中文字幕av在线有码专区| 99精品欧美一区二区三区四区| 国产aⅴ精品一区二区三区波| 国产高清激情床上av| 校园春色视频在线观看| 午夜a级毛片| 精品久久久久久成人av| 一区福利在线观看| www.熟女人妻精品国产| 亚洲,欧美精品.| 最近最新中文字幕大全电影3| 黄色女人牲交| 真实男女啪啪啪动态图| 亚洲精品美女久久久久99蜜臀| 91老司机精品| 亚洲精品粉嫩美女一区| 午夜日韩欧美国产| 成人特级av手机在线观看| 国产伦精品一区二区三区四那| 免费高清视频大片| 真人做人爱边吃奶动态| 欧美性猛交╳xxx乱大交人| 欧美日本视频| 性色av乱码一区二区三区2| 特级一级黄色大片| 久久久久久久精品吃奶| 麻豆成人av在线观看| 又大又爽又粗| 久久精品91蜜桃| 亚洲成av人片免费观看| 国产99白浆流出| 亚洲欧美日韩高清专用| 亚洲专区中文字幕在线| 国产亚洲欧美98| 亚洲精品一区av在线观看| 成年免费大片在线观看| 亚洲国产看品久久| 99久久成人亚洲精品观看| 久久精品国产清高在天天线| 淫妇啪啪啪对白视频| 99精品欧美一区二区三区四区| 精品一区二区三区av网在线观看| 久久香蕉国产精品| 韩国av一区二区三区四区| 成在线人永久免费视频| 欧美精品啪啪一区二区三区| 精品久久久久久久末码| 不卡一级毛片| bbb黄色大片| 午夜福利在线在线| 99久久综合精品五月天人人| 久久精品国产亚洲av香蕉五月| 精品久久久久久久久久久久久| 美女黄网站色视频| 丁香六月欧美| 亚洲性夜色夜夜综合| 特级一级黄色大片| a级毛片在线看网站| 99视频精品全部免费 在线 | 亚洲欧美日韩无卡精品| 成人亚洲精品av一区二区| 久久这里只有精品中国| 亚洲av成人精品一区久久| 久久精品影院6| 99久久精品一区二区三区| 久久久精品欧美日韩精品| 又黄又粗又硬又大视频| 色播亚洲综合网| 欧美日韩综合久久久久久 | 亚洲av五月六月丁香网| 免费看十八禁软件| 三级国产精品欧美在线观看 | 18禁黄网站禁片免费观看直播| 一卡2卡三卡四卡精品乱码亚洲| 黄色女人牲交| 中文字幕久久专区| 久久香蕉国产精品| 国产精品99久久久久久久久| 色播亚洲综合网| 亚洲人成网站在线播放欧美日韩| 一本一本综合久久| 久久久久亚洲av毛片大全| 久久精品国产99精品国产亚洲性色| 美女午夜性视频免费| 亚洲第一电影网av| 日韩三级视频一区二区三区| 亚洲一区二区三区不卡视频| 日韩av在线大香蕉| 国产极品精品免费视频能看的| 可以在线观看的亚洲视频| 2021天堂中文幕一二区在线观| 亚洲精品456在线播放app | 看免费av毛片| 99国产综合亚洲精品| 欧美日韩瑟瑟在线播放| 桃红色精品国产亚洲av| 午夜福利高清视频| 亚洲精品456在线播放app | 脱女人内裤的视频| 国产精品精品国产色婷婷| 少妇熟女aⅴ在线视频| 日本 欧美在线| 欧美日韩黄片免| 欧美大码av| 久久久久久久久久黄片| 少妇的逼水好多| 亚洲欧美一区二区三区黑人| 国产亚洲精品久久久久久毛片| 在线观看日韩欧美| 村上凉子中文字幕在线| 黄色丝袜av网址大全| 天堂√8在线中文| 搡老熟女国产l中国老女人| 日韩av在线大香蕉| 亚洲一区二区三区色噜噜| 亚洲人成伊人成综合网2020| av欧美777| 观看免费一级毛片| 嫩草影院精品99| 亚洲午夜精品一区,二区,三区| 俺也久久电影网| 亚洲 国产 在线| 狂野欧美激情性xxxx| 99久久精品热视频| 免费观看精品视频网站| 国内毛片毛片毛片毛片毛片| 小说图片视频综合网站| 99精品久久久久人妻精品| 最好的美女福利视频网| 国产精品久久电影中文字幕| 亚洲熟妇熟女久久| 成年人黄色毛片网站| 男人舔奶头视频| 校园春色视频在线观看| 亚洲av成人av| 欧美日韩国产亚洲二区| 性色avwww在线观看| 伊人久久大香线蕉亚洲五| 婷婷丁香在线五月| 亚洲国产欧洲综合997久久,| 欧美乱色亚洲激情| 黄片大片在线免费观看| 女人高潮潮喷娇喘18禁视频| 精品日产1卡2卡| 国产成年人精品一区二区| 在线观看舔阴道视频| 99久久无色码亚洲精品果冻| 午夜视频精品福利| 国产v大片淫在线免费观看| 美女午夜性视频免费| 精品久久久久久久久久免费视频| 久久中文字幕人妻熟女| 久久香蕉精品热| 很黄的视频免费| 久久亚洲精品不卡| 亚洲 欧美一区二区三区| 男女之事视频高清在线观看| 午夜两性在线视频| e午夜精品久久久久久久| 中文字幕人成人乱码亚洲影| 免费在线观看日本一区| 两个人视频免费观看高清| 国产一级毛片七仙女欲春2| 最新在线观看一区二区三区| 久久精品国产清高在天天线| 99久久99久久久精品蜜桃| 精品久久久久久久末码| 国产精品综合久久久久久久免费| 午夜福利成人在线免费观看| 欧美黄色片欧美黄色片| 国产精品电影一区二区三区| 欧美性猛交黑人性爽| 欧美激情久久久久久爽电影| 99精品久久久久人妻精品| 国产一区二区在线观看日韩 | 香蕉久久夜色| 国产精华一区二区三区| 在线视频色国产色| 夜夜躁狠狠躁天天躁| 日本免费a在线| 国产一级毛片七仙女欲春2| 少妇的丰满在线观看| 国产高清视频在线观看网站| 亚洲欧美日韩东京热| 欧美乱妇无乱码| 美女免费视频网站| 啦啦啦韩国在线观看视频| 亚洲欧美日韩卡通动漫| 老汉色∧v一级毛片| 国产精品亚洲av一区麻豆| 日韩欧美三级三区| 欧美绝顶高潮抽搐喷水| 麻豆国产av国片精品| 国产不卡一卡二| 国产激情偷乱视频一区二区| 精品久久久久久久末码| 亚洲真实伦在线观看| 观看免费一级毛片| 男女之事视频高清在线观看| 人妻夜夜爽99麻豆av| 亚洲av电影不卡..在线观看| 琪琪午夜伦伦电影理论片6080| 黄色日韩在线| 亚洲欧美激情综合另类| 99热只有精品国产| 不卡av一区二区三区| 最近在线观看免费完整版| 在线观看一区二区三区| 小蜜桃在线观看免费完整版高清| 亚洲五月天丁香| 欧美又色又爽又黄视频| 两个人看的免费小视频| 两个人视频免费观看高清| 久久久久久九九精品二区国产| aaaaa片日本免费| 国产真人三级小视频在线观看| 精品久久久久久成人av| 午夜a级毛片| 在线播放国产精品三级| 日本精品一区二区三区蜜桃| 亚洲国产欧美网| 母亲3免费完整高清在线观看| 日本黄大片高清| 亚洲一区高清亚洲精品| 婷婷六月久久综合丁香| 国产高清三级在线| 久久久久久久午夜电影| 熟妇人妻久久中文字幕3abv| 十八禁人妻一区二区| 欧美+亚洲+日韩+国产| 女人被狂操c到高潮| 色噜噜av男人的天堂激情| 国产在线精品亚洲第一网站| 欧美性猛交╳xxx乱大交人| 国产精品98久久久久久宅男小说| 亚洲国产色片| 久久久国产欧美日韩av| 国产人伦9x9x在线观看| 亚洲国产欧洲综合997久久,| 久久精品国产综合久久久| 最近最新免费中文字幕在线| av在线蜜桃| 又爽又黄无遮挡网站| 精品乱码久久久久久99久播| 国产成人精品久久二区二区免费| 欧美黑人巨大hd| 精品电影一区二区在线| 成年免费大片在线观看| 男女下面进入的视频免费午夜| 亚洲精品乱码久久久v下载方式 | 又粗又爽又猛毛片免费看| 久久这里只有精品19| 精品久久久久久,| 国产精品久久电影中文字幕| 国产精品一及| 国产激情偷乱视频一区二区|