• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    仿生生物感官的感存算一體化系統(tǒng)*

    2022-07-28 07:34:04王童溫娟呂康陳健中汪亮郭新
    物理學(xué)報 2022年14期
    關(guān)鍵詞:阻器模擬信號感官

    王童 溫娟 呂康 陳健中 汪亮 郭新

    (華中科技大學(xué)材料科學(xué)與工程學(xué)院,材料成形與模具技術(shù)國家重點實驗室,武漢 430074)

    生物感官集感知、存儲與運算為一體的架構(gòu)使其可以高效并且實時地采集和處理外界信息,這樣的感存算一體化架構(gòu)可為物聯(lián)網(wǎng)時代面臨的傳感器數(shù)據(jù)爆炸問題提供很好的解決方案.為此,本文提出仿生生物感官的感存算一體化系統(tǒng),采用不同的傳感器模擬生物感受器的功能,以獲取環(huán)境信息,傳感器輸出的模擬信號輸入到模擬信號處理系統(tǒng)進(jìn)行預(yù)處理,這樣信號不需要在模擬域與數(shù)字域之間轉(zhuǎn)換,可極大降低功耗和延時;預(yù)處理后的信號輸入類腦運算芯片中進(jìn)行分析和決策,該芯片由基于憶阻器的人工突觸及人工神經(jīng)元組成,通過控制突觸與神經(jīng)元的連接方式,可以實現(xiàn)不同的算法架構(gòu),如全連接脈沖神經(jīng)網(wǎng)絡(luò)、卷積脈沖神經(jīng)網(wǎng)絡(luò)以及循環(huán)脈沖神經(jīng)網(wǎng)絡(luò)等;通過運行不同的神經(jīng)網(wǎng)絡(luò),類腦運算芯片可以實現(xiàn)對不同傳感器信號的識別、預(yù)測以及分類等任務(wù);更進(jìn)一步,將多種仿生感覺系統(tǒng)的識別或預(yù)測結(jié)果結(jié)合起來,就可以實現(xiàn)多感官融合,這樣的系統(tǒng)架構(gòu)可以用于自動駕駛及智能機(jī)器人等復(fù)雜的場景中.

    1 引言

    人類的感覺主要有8 種:視覺、聽覺、觸覺、嗅覺、味覺、痛覺、溫覺和本體感覺.David Julius 和Ardem Patapoutian 發(fā)現(xiàn)了溫度感受器和壓力感受器,為溫度感知和機(jī)械感知提供了分子和神經(jīng)學(xué)基礎(chǔ),為此,他們榮獲了2021 年諾貝爾生理學(xué)或醫(yī)學(xué)獎.生物的感覺過程可以大致概括為“接受刺激-傳遞信號-大腦接收”3 個步驟,感覺神經(jīng)元的感受器接受刺激,將環(huán)境信息轉(zhuǎn)換為神經(jīng)脈沖,神經(jīng)脈沖再通過突觸傳輸?shù)侥X內(nèi)的中樞神經(jīng)系統(tǒng),中樞神經(jīng)系統(tǒng)由復(fù)雜的神經(jīng)網(wǎng)絡(luò)組成,負(fù)責(zé)對神經(jīng)脈沖進(jìn)行分析與計算.生物感官把感知、存儲以及運算3 個功能集成于一體,從而可以高效并且實時地采集和處理外界信息[1].因此,生物感官在處理很多復(fù)雜任務(wù)時表現(xiàn)出低功耗、高效率等優(yōu)勢[2].

    單一的感官會造成感覺的局限與偏差,人體通過不同感官中的感受器來感受不同的刺激,并將各種感知信號融合在一起,從而獲得對環(huán)境的多方面體驗,例如,在品嘗美食時,至少需要同時使用視覺、嗅覺和味覺來感受食物的“色、香、味”.對于一個特定的場景,通過不同的維度感知不同特性的模態(tài)(如圖像-語音所對應(yīng)的視覺-聽覺),并進(jìn)行數(shù)據(jù)樣本的收集和耦合,這就是多模態(tài)傳感融合[3].多模態(tài)傳感融合可以獲得更全面準(zhǔn)確的信息,增強(qiáng)感知的可靠性與容錯性.

    相比于生物感官,現(xiàn)有的人工感覺和計算系統(tǒng)采用了完全不同的架構(gòu),其中傳感器、存儲器和運算單元是相互分離的,但是,這樣的架構(gòu)已經(jīng)不再適合萬物互聯(lián)的物聯(lián)網(wǎng)時代[4].一方面,隨著物聯(lián)網(wǎng)的發(fā)展,越來越多的傳感器被應(yīng)用到生活的方方面面,這些傳感器會產(chǎn)生巨大的、未經(jīng)處理的原始數(shù)據(jù)[4].但是由于傳感器與信號處理系統(tǒng)的分離,這些由傳感器產(chǎn)生的原始數(shù)據(jù)都需要首先轉(zhuǎn)換為數(shù)字信號,然后傳遞至本地或者云端的信息處理系統(tǒng).這樣的架構(gòu)會帶來額外的功耗、較長的響應(yīng)時間、大量的數(shù)據(jù)存儲、帶寬以及數(shù)據(jù)安全等問題[5].另一方面,存儲與運算單元分離的馮·諾依曼架構(gòu),不再適應(yīng)大數(shù)據(jù)、智能化時代的計算要求.數(shù)據(jù)在內(nèi)存和數(shù)據(jù)處理單元之間的頻繁存取操作帶來了高功耗、高延時等問題,使得基于馮·諾依曼架構(gòu)的計算系統(tǒng)運算效率遠(yuǎn)低于人腦[6].因此,需要探索新的神經(jīng)形態(tài)計算方式來幫助神經(jīng)網(wǎng)絡(luò)應(yīng)用到有功耗限制的場景中去,如用于邊緣計算的終端設(shè)備[7].

    為了模擬生物存儲與運算一體的架構(gòu),研究人員探索了多種新型存儲器件,如憶阻器、鐵電存儲器、磁存儲器等.其中,憶阻器具有并行計算的能力,而且其性能與生物神經(jīng)元和突觸相類似,是構(gòu)建存算一體化系統(tǒng)的有力之選,這樣的新型存算一體化系統(tǒng)可以用來構(gòu)建脈沖神經(jīng)網(wǎng)絡(luò)(spiking neural network,SNN)[8,9].為了模擬生物感知與運算一體的架構(gòu),將模擬信號處理單元集成到傳感器系統(tǒng)中,使其可以處理簡單的任務(wù),如降噪、特征提取或特征增強(qiáng)等.模擬信號處理單元可以有效地減少數(shù)據(jù)的傳輸,降低功耗和延時,簡化后續(xù)信號處理過程[1].此外,為了實現(xiàn)實時環(huán)境檢測與識別,研究人員嘗試將感知、存儲與運算系統(tǒng)集成于一體,使得終端設(shè)備可以具有類似生物感官系統(tǒng)的環(huán)境感知能力[10],目前,這樣的處理系統(tǒng)還處于起步階段,對信息的處理能力也比較有限.

    本文提出一種仿生生物感官的通用架構(gòu).如圖1(a)所示,在生物感官中,感受器接受外界環(huán)境刺激,引起感覺神經(jīng)元膜電位變化,當(dāng)外界刺激達(dá)到閾值后,感覺神經(jīng)元發(fā)出神經(jīng)脈沖;感覺神經(jīng)元發(fā)出的神經(jīng)脈沖經(jīng)過突觸傳遞至中樞神經(jīng)網(wǎng)絡(luò)進(jìn)行信息提取、識別等工作.圖1(b)給出了仿生生物感官的感存算一體化系統(tǒng),該系統(tǒng)模擬了生物感官的工作方式,首先由不同的傳感器來模擬生物感受器,檢測環(huán)境中的氣體、光、震動、壓力等信號;傳感器信號經(jīng)模擬信號處理單元處理及編碼后直接輸入類腦芯片,類腦芯片為通用人工智能架構(gòu),由人工突觸和人工神經(jīng)元組成,通過不同的神經(jīng)元與突觸連接方式,可以運行不同的神經(jīng)網(wǎng)絡(luò)模型,如全連接脈沖神經(jīng)網(wǎng)絡(luò)、卷積脈沖神經(jīng)網(wǎng)絡(luò)和循環(huán)脈沖神經(jīng)網(wǎng)絡(luò)等.在復(fù)雜的環(huán)境中運行時,需要綜合考慮多種感官的輸入信號之后做出決策,通過對各種感官信號進(jìn)行識別以及對預(yù)測結(jié)果進(jìn)行綜合處理,可以模擬生物感官的信息融合,這樣的系統(tǒng)可用于自動駕駛、智能機(jī)器人、生物醫(yī)療等領(lǐng)域.

    圖1 生物感官及仿生感覺系統(tǒng) (a) 生物感官包括感覺神經(jīng)元、突觸及生物神經(jīng)網(wǎng)絡(luò).感覺神經(jīng)元的感受器感知環(huán)境刺激,并引起神經(jīng)元膜電位變化,當(dāng)神經(jīng)元膜電位達(dá)到閾值后,產(chǎn)生神經(jīng)脈沖,神經(jīng)脈沖信號通過突觸傳遞至神經(jīng)網(wǎng)絡(luò)進(jìn)行處理.(b) 仿生感覺系統(tǒng)包含了傳感器、模擬信號處理單元以及類腦運算芯片.傳感器負(fù)責(zé)感知環(huán)境信息,模擬信號處理單元負(fù)責(zé)對傳感器信號進(jìn)行預(yù)處理,類腦芯片負(fù)責(zé)特征提取、分類以及預(yù)測等高級任務(wù)Fig.1.Biological sensory organ and bio-inspired sensory system.(a) Biological sensory organ includes sensory neurons,synapses and neural network.The receptors of the sensory neurons capture the environmental information and cause the increase of the neuron potential.The neurons generate neural spikes when the neuron potential exceeds its threshold.The neural spikes are then transmitted to the neural network through synapses.(b) Bio-inspired sensory system includes sensors,analogue signal processing units and the brain-inspired chip.Sensors acquire the environmental information and convert the information into analogue electrical signals,which are then directly processed by the analogue signal processing units.Finally,the brain-inspired chip receives the pre-processed signals,and performs advanced tasks,such as feature extraction,classification and prediction.

    此外,有研究人員[1]提出使用憶阻器本身的感知能力,如視覺(光信號)、嗅覺(氣體)等,來實現(xiàn)傳感器內(nèi)計算(in-sensor computing),但目前還沒有取得明顯的進(jìn)展.“傳感器內(nèi)計算”對材料和器件結(jié)構(gòu)有非常大的限制,這是因為憶阻器和傳感器對材料和器件結(jié)構(gòu)有不同、甚至是矛盾的要求.以嗅覺模擬為例,器件必須同時具有氣敏性能和憶阻性能,那么可選的材料只有WO3,ZnO 等極少數(shù)幾種,憶阻器要求氧化物薄膜致密,且厚度<100 nm,而傳感器則要求氧化物薄膜疏松多孔,以提供更多的氣體接觸位點來進(jìn)行氣敏反應(yīng),厚度為數(shù)百微米,甚至更厚[11].考慮這些因素,只有在某些特定的條件下才可能實現(xiàn)“傳感器內(nèi)計算”.當(dāng)然,“傳感器內(nèi)計算”具有極高的集成度,在功耗和器件體積等方面具有無與倫比的優(yōu)勢,也是研究人員積極探索的方向.

    2 傳感器及模擬信號處理單元

    如圖2 所示,生物體中分布著不同的感覺系統(tǒng),這些系統(tǒng)幫助生物獲取和處理信息、尋找食物、規(guī)避風(fēng)險等.生物個體通過分布在各器官中的感覺神經(jīng)元將外界信號轉(zhuǎn)變?yōu)樯窠?jīng)脈沖信號,并通過突觸將神經(jīng)脈沖信號傳遞至大腦皮層中的神經(jīng)中樞進(jìn)行運算和處理.不同的感官擁有不同的感受器來感知環(huán)境信息,在嗅覺系統(tǒng)中,分布在鼻腔內(nèi)的嗅覺感覺神經(jīng)元的嗅感受器可以與不同的氣體分子相結(jié)合,將化學(xué)信號轉(zhuǎn)變?yōu)榧?xì)胞膜電位變化,當(dāng)刺激達(dá)到閾值之后,該嗅覺神經(jīng)元產(chǎn)生神經(jīng)脈沖并通過突觸傳遞至嗅球細(xì)胞[12];在視覺系統(tǒng)中,視網(wǎng)膜起到視覺感受器的作用,將光信號轉(zhuǎn)變?yōu)殡娦盘?隨后通過視神經(jīng)傳遞至大腦皮層,此外,人類視網(wǎng)膜還具備預(yù)處理功能,可以提取輸入視覺信息的關(guān)鍵特征,消除無用的輸入信息,加速后續(xù)神經(jīng)網(wǎng)絡(luò)的信息處理進(jìn)程[13];在聽覺系統(tǒng)中,耳蝸基底膜上的柯蒂斯感受器可以將震動轉(zhuǎn)化為電信號傳遞到人的聽覺神經(jīng)中[14];在觸覺系統(tǒng)中,皮膚上分布著不同的觸覺感受器,它們對機(jī)械能某些特定的特征敏感,從而將施加于皮膚上不同類型的機(jī)械能轉(zhuǎn)化為不同頻率的神經(jīng)脈沖[15],由于傳入到大腦皮層的脈沖頻率不同,生物可感知到物體的軟硬程度、大小、形狀等信息[10].

    圖2 傳感器及模擬信號處理單元.用不同的傳感器陣列來模擬不同生物感官的感受器,來實現(xiàn)對氣體、光、聲音、壓力等信號的感知,隨后,傳感器信號直接輸入到模擬信號處理單元中進(jìn)行處理Fig.2.Sensors and analogue signal processing units.Sensors work like the receptors in a biological sensory organ,detecting the environmental information such as gases,light,audio and pressure,and convert them to electrical sensory signals.The sensory signals are then directly processed by the analogue signal processing units.

    隨著材料科學(xué)的進(jìn)步,不同種類的傳感器被開發(fā)出來,用于檢測環(huán)境信息,也可以用于模擬生物感受器的功能.然而,傳感器信號處理系統(tǒng)需要將模擬信號轉(zhuǎn)變?yōu)閿?shù)字信號,再傳輸至信號處理系統(tǒng)中進(jìn)行處理及運算,這個過程需要采用模數(shù)轉(zhuǎn)換器(analogue-digital convertor,ADC)[1].這種將模擬信號轉(zhuǎn)變?yōu)閿?shù)字信號再處理的方式會帶來較大的功耗及延時.而在生物感官中,感受器感受到環(huán)境信息之后,產(chǎn)生動作電位直接引起細(xì)胞膜電位變化,不需要將信息進(jìn)行轉(zhuǎn)化,而是直接被神經(jīng)元處理.因此,借鑒生物系統(tǒng),可以設(shè)計模擬信號處理單元,直接與傳感器相連,在模擬域?qū)π盘栠M(jìn)行預(yù)處理,再由通用的類腦運算芯片完成信號識別及預(yù)測等高級任務(wù).

    下面通過對嗅覺的模擬來解釋環(huán)境信號的獲得與處理過程.用氣體傳感器陣列來模擬嗅覺感受器的功能,將氣體分子的化學(xué)信號轉(zhuǎn)換為模擬型的電信號.為了獲得氣體傳感器對不同氣體的響應(yīng)信號,采用不同的材料制備氣體傳感器以增加輸入信號的區(qū)別,因此,氣體傳感器往往有著不同的基線電阻,且不同器件對不同氣體的響應(yīng)呈現(xiàn)出數(shù)量級的差別,此外,在工作過程中,氣體傳感器的基線電阻會隨時間漂移[16].為此,可采用氣體傳感器基線動態(tài)校準(zhǔn)電路在模擬域中高效地處理氣體傳感器信號[17].針對光學(xué)傳感器的信號處理,可采用模擬電路實現(xiàn)類似視網(wǎng)膜的圖像邊緣提取及特征增強(qiáng)功能,相比于傳統(tǒng)的數(shù)字信號處理方式,這樣的模擬電路集成度更高,還可以把功耗降低至毫瓦級[18].針對語音傳感器的信號處理方法,研究人員模仿耳蝸的柯蒂斯感受器設(shè)計了帶通濾波器來處理聲音傳感器信號,不需要將傳感器信號轉(zhuǎn)變?yōu)閿?shù)字信號,再用傅里葉變換進(jìn)行處理,這樣的設(shè)計既降低了功耗,又減小了電路面積[14].采用壓力傳感器可以模擬人的觸覺,感受環(huán)境中的壓力信息,壓力傳感器的信號一般需要采用半波整流的方式進(jìn)行預(yù)處理.另外,傳感器信號還要進(jìn)行統(tǒng)一的降噪、濾波、放大和編碼等預(yù)處理后再輸入到類腦運算芯片中[1].

    信號預(yù)處理也廣泛地應(yīng)用于現(xiàn)有的傳感器信號處理模塊中,首先也需要對模擬信號進(jìn)行降噪、濾波、放大等預(yù)處理,經(jīng)預(yù)處理的模擬信號經(jīng)過模數(shù)轉(zhuǎn)換后,輸入到中央處理器或者傳輸?shù)皆贫嗽O(shè)備.在這個過程中,模數(shù)轉(zhuǎn)換器需要消耗大量的功耗和芯片面積.此外,大量的數(shù)據(jù)傳輸也會產(chǎn)生功耗和延時.因此,本文提出一個完全工作在模擬域的模擬信號處理單元,與現(xiàn)有的傳感器信號處理系統(tǒng)相比,模擬信號處理單元在功耗與延時等方面均有優(yōu)勢.

    3 可重構(gòu)類腦芯片

    人腦中有大量的神經(jīng)元(約1011量級)及突觸(約1015量級),這些神經(jīng)元與突觸連接起來組成龐大的神經(jīng)網(wǎng)絡(luò)[7].相比于基于現(xiàn)有計算平臺(central processing unit,CPU;graphic processing unit,GPU)的人工神經(jīng)網(wǎng)絡(luò),人腦中的生物神經(jīng)網(wǎng)絡(luò)可以完成各種感官信號的處理、復(fù)雜的記憶及快速的決策,且僅消耗較少的能量[19].因此,人們提出了脈沖神經(jīng)網(wǎng)絡(luò),也被稱為第三代人工神經(jīng)網(wǎng)絡(luò).它模擬生物神經(jīng)網(wǎng)絡(luò)的信息傳遞及處理方式,采用神經(jīng)元來接收并處理脈沖信號,采用突觸來存儲、處理和傳遞脈沖信息,突觸的權(quán)重可由前后神經(jīng)元發(fā)放的脈沖進(jìn)行調(diào)制[20].脈沖神經(jīng)網(wǎng)絡(luò)是基于事件來運算的,當(dāng)有事件發(fā)生的時候,神經(jīng)元才發(fā)出脈沖,而沒有事件的時候神經(jīng)元則處于靜息狀態(tài).這樣的工作方式更加適合處理傳感器相關(guān)的信號,因采用離散的脈沖信號進(jìn)行運算,會極大地降低功耗[21].

    通過傳統(tǒng)的CMOS (complementary metal oxide semiconductor)電路可以實現(xiàn)大規(guī)模的人工突觸及人工神經(jīng)元,進(jìn)而實現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò),例如,IBM 設(shè)計并研制了TrueNorth 芯片,Intel 設(shè)計并研制了Loihi 芯片,它們模擬了神經(jīng)元和突觸對脈沖的響應(yīng),并且具備并行運算的能力,可以降低推理及訓(xùn)練所需的功耗[22].但是,在這些芯片中,每個神經(jīng)元或者突觸都需要采用數(shù)十個CMOS 器件來實現(xiàn)[23],因此,人們嘗試采用憶阻器來實現(xiàn)神經(jīng)元和突觸的功能.憶阻器的電導(dǎo)可以隨著施加的激勵而連續(xù)變化,可以用來模擬突觸可塑性及神經(jīng)元膜電位的連續(xù)變化[24].

    3.1 基于憶阻器的人工神經(jīng)元

    在神經(jīng)科學(xué)中,神經(jīng)元接受上級神經(jīng)元經(jīng)突觸傳入的興奮性或抑制性突觸電位,脂質(zhì)雙分子層細(xì)胞膜的電位則會發(fā)生相應(yīng)變化,當(dāng)累積超過閾值時產(chǎn)生動作電位,再經(jīng)突觸傳向下一級神經(jīng)元,這是神經(jīng)元處理和傳遞信息的過程.為了解釋生物神經(jīng)元的工作模式,科學(xué)家們相繼提出了Hodgkin-Huxley(HH)模型和漏電整合發(fā)放(leaky integrate-andfire,LIF)模型等[25].憶阻器電導(dǎo)的變化與神經(jīng)元細(xì)胞膜上離子通道的電導(dǎo)類似,因此,可以基于這些數(shù)學(xué)模型來模擬神經(jīng)元功能.美國HRL Laboratories[26]利用憶阻器、電容器和電阻搭建了簡單的憶阻神經(jīng)元電路,其中憶阻器模擬離子通道,電容器兩端的電壓模擬神經(jīng)元細(xì)胞膜上的電位,他們利用該電路成功地模擬了神經(jīng)元中動作電位產(chǎn)生的過程.美國南加州大學(xué)楊建華教授課題組[23]利用擴(kuò)散型憶阻器(diffusive memristor)和電容器并聯(lián)后再串聯(lián)一個電阻組成了神經(jīng)元電路(圖3(a)),并聯(lián)電容器上的電壓表示細(xì)胞的膜電位,有脈沖時,電荷在電容器中累積,發(fā)生整合;沒有脈沖時,電容器發(fā)生自發(fā)的漏電.一旦電容器電壓高于憶阻器的閾值,該憶阻器切換到高電導(dǎo)態(tài),此時電容器的電壓無法保持,開始發(fā)放電流脈沖,這成功模擬了神經(jīng)元漏電整合發(fā)放功能.此外,楊建華課題組[27]還實現(xiàn)了一種基于擴(kuò)散型憶阻器的人工痛覺感覺神經(jīng)元,不僅模仿了生物處理信號的方式來處理傳感器傳來的信號,還成功地模擬了神經(jīng)元的關(guān)鍵功能,包括閾值、弛豫和自適應(yīng)等.神經(jīng)元閾值調(diào)節(jié)的高級功能有助于實現(xiàn)深度脈沖神經(jīng)網(wǎng)絡(luò),Zhang等[28]不僅采用閾值轉(zhuǎn)變憶阻器實現(xiàn)了LIF 神經(jīng)元的功能,還設(shè)計了結(jié)構(gòu)復(fù)雜的電路實現(xiàn)了閾值可調(diào)功能;Shaban 等[29]采用了更加簡潔的方式實現(xiàn)了閾值調(diào)節(jié)功能并完成了單層脈沖神經(jīng)網(wǎng)絡(luò)的設(shè)計驗證.

    3.2 基于憶阻器的人工突觸

    如圖3(b)所示,突觸是神經(jīng)元之間的連接節(jié)點,每個突觸具有一定的連接權(quán)值,根據(jù)權(quán)值的大小確定兩個神經(jīng)元之間的信號傳輸效率,突觸連接權(quán)值可以根據(jù)突觸前/后神經(jīng)元的活動進(jìn)行調(diào)節(jié),這被稱為突觸可塑性(synaptic plasticity)[7],是大腦學(xué)習(xí)的基礎(chǔ).單個憶阻器在結(jié)構(gòu)和功能上都表現(xiàn)出與生物突觸的相似性.在結(jié)構(gòu)上,具有金屬/絕緣體/金屬三明治結(jié)構(gòu)的憶阻器是典型的兩端子器件,而突觸和相應(yīng)的前后神經(jīng)元也同樣形成兩端子結(jié)構(gòu);在功能上,憶阻器的電導(dǎo)變化可代表突觸連接強(qiáng)度的變化,在持續(xù)的外部電刺激下,器件電導(dǎo)表現(xiàn)出連續(xù)增加或降低,這類似于突觸之間連接強(qiáng)度的增強(qiáng)或減弱.通過對憶阻器材料與結(jié)構(gòu)的設(shè)計可以實現(xiàn)憶阻器電導(dǎo)態(tài)的連續(xù)可調(diào),即器件電導(dǎo)在外加電脈沖的作用下連續(xù)可調(diào).基于多種材料如金屬氧化物、二維材料和高分子材料的憶阻器都成功模擬了突觸的可塑性[19,30].如圖3(b)所示,將憶阻器制成陣列后,不僅可以模擬單個突觸的性能,還可以實現(xiàn)存內(nèi)運算.根據(jù)歐姆定律和基爾霍夫定律,輸入的電壓信號(V1,V2,V3,···,Vn)與陣列中憶阻器的電導(dǎo)(G)相乘,得到輸出的電流信號(I1,I2,I3,···,In),因此,這種交叉陣列的結(jié)構(gòu)可以在一個時間周期內(nèi)完成矩陣運算,從而提高人工神經(jīng)網(wǎng)絡(luò)的運算速度[31].

    圖3 類腦芯片 (a) 人工神經(jīng)元:采用憶阻器與電容并聯(lián)的結(jié)構(gòu)模擬神經(jīng)元膜電位連續(xù)變化的特性,實現(xiàn)神經(jīng)元漏電流積分點火的功能;(b) 人工突觸:非易失性憶阻器電導(dǎo)的連續(xù)變化可以模擬生物突觸權(quán)重的連續(xù)變化及突觸可塑性,此 外,憶阻器陣列還可以實現(xiàn)存內(nèi)運算;(c) 類腦芯片架構(gòu):由多個神經(jīng)元-突觸核心組成,每個核心由基于憶阻器的人工神經(jīng)元及人工突觸組成,每個核心通過總線連接Fig.3.Brain-inspired chip.(a) Artificial neuron,consisting of a memristor and a parallel capacitor,emulates the continuous change of the neuron potential and realize the leaky integrate-and-fire function of a biological neuron.(b) Artificial synapses.Non-volatile memristors emulate the continuous change of the synaptic plasticity,in addition,the crossbar array based on memristors can realize the in-memory computing.(c) Architecture of the brain-inspired chip.A brain-inspired chip consists of many neuron-synapse cores based on memristors,and the cores are connected by bus lines.

    3.3 基于憶阻器的類腦芯片及其計算架構(gòu)

    類腦芯片架構(gòu)如圖3(c)所示,芯片采用了多分布式人工神經(jīng)元-人工突觸核心的設(shè)計,這些通用的人工神經(jīng)元-人工突觸核心可以通過重構(gòu)來處理不同的任務(wù),核心之間通過可重構(gòu)的片上網(wǎng)絡(luò)方式進(jìn)行連接,經(jīng)過模擬信號處理單元預(yù)處理之后的信號可以通過I/O 口輸入到芯片中,并分配對應(yīng)的核心進(jìn)行運算.神經(jīng)元-突觸核心由基于憶阻器的人工神經(jīng)元、憶阻突觸陣列、數(shù)據(jù)選擇器(multiplexer,MUX)、緩沖區(qū)、特殊功能單元和控制器構(gòu)成.人工神經(jīng)元根據(jù)漏電流積分點火的功能處理來自傳感器或突觸陣列的模擬信號,并將模擬信號轉(zhuǎn)變?yōu)槊}沖信號輸出.憶阻突觸陣列根據(jù)自身權(quán)重傳遞人工神經(jīng)元發(fā)出的脈沖信號,其突觸權(quán)重則根據(jù)突觸可塑性由前后神經(jīng)元脈沖發(fā)放情況進(jìn)行調(diào)節(jié).為了提高芯片的容錯率,突觸陣列及人工神經(jīng)元應(yīng)增加冗余.數(shù)據(jù)選擇器用來選擇固定區(qū)域的突觸陣列及人工神經(jīng)元來完成某項任務(wù).特殊功能單元(special function unit,SFU)則提供突觸訓(xùn)練所需要的計算、神經(jīng)元閾值調(diào)節(jié)、神經(jīng)元特殊互連結(jié)構(gòu)等功能.這種基于人工神經(jīng)元-人工突觸內(nèi)核的計算架構(gòu)將存儲和計算集為一體,消除了由存儲器(memory)和中央處理單元(CPU)之間的性能差異帶來的效率損失,且基于脈沖的信息編碼方式也能夠大大減少運算過程中的能量損耗.

    4 脈沖神經(jīng)網(wǎng)絡(luò)算法

    傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)所具備的神經(jīng)元連接方式也可以在脈沖神經(jīng)網(wǎng)絡(luò)中實現(xiàn),將這些網(wǎng)絡(luò)架構(gòu)應(yīng)用到類腦運算芯片上,最終可以實現(xiàn)對不同傳感器信號的識別、分類、預(yù)測等任務(wù),例如,采用全連接脈沖神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)氣體分類等任務(wù),而采用卷積脈沖神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)圖片特征提取和分類等任務(wù)[32].

    圖4(a)給出了雙層的全連接脈沖神經(jīng)網(wǎng)絡(luò),其中輸入層為簡單的LIF 神經(jīng)元,它可以對輸入脈沖信號進(jìn)行運算并產(chǎn)生新的脈沖信號;突觸根據(jù)自身權(quán)重傳遞脈沖信號到后級神經(jīng)元;輸出層的神經(jīng)元是閾值可調(diào)的LIF 神經(jīng)元,它不僅具備LIF神經(jīng)元的基本功能,還具備神經(jīng)元不應(yīng)期和側(cè)向抑制的高級功能,這些高級功能可以通過神經(jīng)元-突觸核心中的特殊功能單元來實現(xiàn).如圖4(a)所示,神經(jīng)元不應(yīng)期是指當(dāng)輸出層第一個神經(jīng)元被激發(fā)之后,它會傳遞給自己一個信號,在短時間內(nèi)即使有較大的輸入信號,也不會被再次激發(fā).神經(jīng)元不應(yīng)期可以給該層其他神經(jīng)元提供公平的競爭機(jī)會,使神經(jīng)元盡可能學(xué)習(xí)到更多的特征.側(cè)向抑制功能指的則是當(dāng)神經(jīng)元激發(fā)后,會給當(dāng)前層其他神經(jīng)元一個抑制信號,短時間內(nèi)調(diào)高其他神經(jīng)元的閾值[28].采用神經(jīng)元側(cè)向抑制功能可以實現(xiàn)無監(jiān)督學(xué)習(xí)算法,例如,“贏者通吃(winner-takes-all)”法則[21].通過讀取輸出層神經(jīng)元的脈沖發(fā)放情況,就可以判斷分類和識別結(jié)果.

    可以用脈沖時間依賴可塑性(spike-timing dependent plasticity,STDP)或者脈沖頻率依賴可塑性(spike-rate dependent plasticity,SRDP)來訓(xùn)練全連接脈沖神經(jīng)網(wǎng)絡(luò).如圖4(b)所示,STDP指的是根據(jù)突觸連接前后神經(jīng)元的脈沖發(fā)放時間來更改突觸權(quán)重,如果突觸前神經(jīng)元發(fā)放脈沖早于突觸后神經(jīng)元,則增強(qiáng)突觸連接權(quán)重,反之則降低突觸連接權(quán)重.SRDP 則是指根據(jù)突觸前后神經(jīng)元脈沖發(fā)放頻率來對突觸連接權(quán)重進(jìn)行修改,如果突觸前后神經(jīng)元脈沖發(fā)放頻率較高,則增強(qiáng)突觸的連接權(quán)重;如果僅有突觸前神經(jīng)元或突觸后神經(jīng)元發(fā)放脈沖的頻率較高,則降低突觸的連接權(quán)重;如果突觸前后神經(jīng)元發(fā)放脈沖的頻率都較低,則不對突觸權(quán)重進(jìn)行修改.相比于傳統(tǒng)的反向傳播訓(xùn)練法則,這種通過突觸可塑性對網(wǎng)絡(luò)進(jìn)行訓(xùn)練的學(xué)習(xí)法則在硬件電路中更容易實現(xiàn),可以降低硬件電路的復(fù)雜度[20].

    圖4 脈沖神經(jīng)網(wǎng)絡(luò) (a) 全連接脈沖神經(jīng)網(wǎng)絡(luò);(b) 基于突觸可塑性(脈沖時間依賴可塑性(STDP)和脈沖頻率依賴可塑性(SRDP))來訓(xùn)練網(wǎng)絡(luò),修改突觸權(quán)重;c)卷積脈沖神經(jīng)網(wǎng)絡(luò),由卷積層、池化層和全連接層組成Fig.4.Spiking neural network (SNN):(a) Fully connected SNN;(b) learning rules of SNN.The synaptic weights in SNN are updated according to STDP and SRDP;(c) convolutional SNN consisting of convolutional layers,pooling layers and fully connect layers.

    脈沖神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)在線(online)和離線(offline)的兩種訓(xùn)練方式.離線學(xué)習(xí)的具體實施方式如下:首先通過仿真計算得到該脈沖神經(jīng)網(wǎng)絡(luò)所需的突觸權(quán)重,再通過施加脈沖將突觸權(quán)重調(diào)節(jié)至計算所需的狀態(tài).在此,該脈沖神經(jīng)網(wǎng)絡(luò)可以采用STDP 或SRDP 等兼容硬件的學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練,也可以采用反向傳播等更加精確的訓(xùn)練算法獲得突觸權(quán)重.盡管離線學(xué)習(xí)可以獲得更加精準(zhǔn)的突觸權(quán)重,但是這種方式無法使用憶阻突觸陣列來為訓(xùn)練過程加速.因此,我們更期望使用該系統(tǒng)去完成online 的訓(xùn)練,并提出采用與硬件兼容的STDP和SRDP 學(xué)習(xí)規(guī)則.以SRDP 為例,采用兩個計數(shù)器分別記錄輸入神經(jīng)元和輸出神經(jīng)元的脈沖發(fā)放次數(shù),進(jìn)而計算脈沖發(fā)放頻率.如果輸出神經(jīng)元計數(shù)器達(dá)到閾值,則根據(jù)輸入神經(jīng)元的脈沖頻率來修改突觸權(quán)重;如果輸入神經(jīng)元脈沖高于閾值,則施加正向脈沖到突觸器件上,反之則施加負(fù)向脈沖到突觸器件.經(jīng)過學(xué)習(xí)后,每個神經(jīng)元會學(xué)到對應(yīng)的輸入樣本的特征.

    對于比較復(fù)雜的問題,如圖片特征提取及識別,可以采用卷積脈沖神經(jīng)網(wǎng)絡(luò).如圖4(c)所示,卷積脈沖神經(jīng)網(wǎng)絡(luò)包括卷積層、池化層及全連接層[33].傳感器信號經(jīng)過編碼后變?yōu)槊}沖信號輸入到卷積層,在卷積層中,突觸陣列根據(jù)自身權(quán)值傳遞輸入的脈沖信號至閾值可調(diào)的神經(jīng)元,該神經(jīng)元負(fù)責(zé)對接收到的信息進(jìn)行處理并發(fā)放新的動作電位.池化層模仿人的視覺系統(tǒng)對數(shù)據(jù)進(jìn)行降維,用更高層次的特征表示輸入的圖像,常用的有最大值池化、均值池化等.在卷積脈沖神經(jīng)網(wǎng)絡(luò)中可以對卷積層神經(jīng)元發(fā)放脈沖頻率進(jìn)行記錄并進(jìn)行池化操作,因此,這里可以采用簡單的數(shù)字電路來實現(xiàn)池化操作.卷積層及池化層可以進(jìn)行多層的堆疊以實現(xiàn)深度神經(jīng)網(wǎng)絡(luò),輸入信號經(jīng)過卷積層及池化層提取特征之后,可以輸入到全連接層進(jìn)行識別和分類,得到最終的結(jié)果.卷積脈沖神經(jīng)網(wǎng)絡(luò)也可以采用STDP及SRDP 的訓(xùn)練方式逐層進(jìn)行訓(xùn)練.

    此外,在處理語音信號時,目前常用的網(wǎng)絡(luò)算法是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN).相比于前饋式的神經(jīng)網(wǎng)絡(luò)(全連接神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)),神經(jīng)元節(jié)點之間的循環(huán)連接可以有效地處理不同時間節(jié)點的信息,并將時間上的邏輯關(guān)系展現(xiàn)出來.在脈沖神經(jīng)網(wǎng)絡(luò)中,也可以借鑒循環(huán)神經(jīng)網(wǎng)絡(luò)的連接方式,對時間信息進(jìn)行處理[34].除了采用神經(jīng)元之間循環(huán)連接的架構(gòu),還有學(xué)者提出采用神經(jīng)元自身的時域動態(tài)特性來對時間信號進(jìn)行處理,這也驗證了神經(jīng)元的LIF 功能可以等價替代神經(jīng)元的循環(huán)連接結(jié)構(gòu)[35].但是,采用神經(jīng)元自身動態(tài)特性來處理時間信號的方式依然處于理論驗證階段,神經(jīng)元對時序信息的處理仍然需要更多的研究.

    在算法層對硬件系統(tǒng)進(jìn)行調(diào)用可以實現(xiàn)多感官的融合.針對本文提出的仿生生物感官系統(tǒng)有兩種實現(xiàn)多感官融合的可能方式:第一種是將多種感官的信號經(jīng)過模擬信號處理單元預(yù)處理及編碼后一起輸入到脈沖神經(jīng)網(wǎng)絡(luò)中,在這種情況下,多種感官的信號增加了輸入信息的維度,也極大地增加了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度.例如,在機(jī)器人控制系統(tǒng)中,可以將壓力傳感器信號與視覺傳感器信號一起輸入到脈沖神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,從而得到?jīng)Q策結(jié)果.第二種處理方式是將不同的傳感器信號分別輸入到對應(yīng)的神經(jīng)網(wǎng)絡(luò)中,這些神經(jīng)網(wǎng)絡(luò)已經(jīng)針對各自對應(yīng)的傳感器信號類型做了優(yōu)化,處理后的信號再輸入到一個新的決策系統(tǒng)中,由決策系統(tǒng)綜合不同的感官信號給出最終的結(jié)果.比較這兩種實現(xiàn)多感官融合的方式,第一種方式處理信息的能力更強(qiáng),但需要考慮信號同步、延時等問題,因此,所需的脈沖神經(jīng)網(wǎng)絡(luò)規(guī)模會較大;而第二種方式需要新的決策系統(tǒng),比如中央處理器(CPU)或者云端設(shè)備來實現(xiàn).

    5 仿生嗅覺系統(tǒng)

    作為實例,圖5 展示了我們近期研發(fā)的一個仿生嗅覺系統(tǒng)[36].具體來講,首先采用氣體傳感器檢測環(huán)境中的氣體分子,傳感器中的敏感材料可以吸附氣體分子,從而電阻發(fā)生變化,并在一定時間后達(dá)到穩(wěn)態(tài).因此,氣體傳感器可以將環(huán)境中氣體分子的化學(xué)信息轉(zhuǎn)變?yōu)槟M型的電信號.模擬信號處理系統(tǒng)負(fù)責(zé)對傳感器信號進(jìn)行預(yù)處理,首先需要采用氣體傳感器基線動態(tài)校準(zhǔn)電路來解決傳感器基線漂移的問題;然后采用運算放大電路對傳感器信號進(jìn)行放大.經(jīng)過預(yù)處理的傳感器信號最終傳輸至類腦芯片中的神經(jīng)元-突觸核心中進(jìn)行識別.我們采用雙層全連接脈沖神經(jīng)網(wǎng)絡(luò)來處理傳感器采集到的信號,并識別出不同的氣體.在類腦芯片中,傳感器信號(電壓信號)首先輸入到輸入層神經(jīng)元中,輸入層神經(jīng)元為簡單的LIF 神經(jīng)元,可以將輸入的電壓信號轉(zhuǎn)變?yōu)椴煌l率的脈沖信號.LIF 神經(jīng)元的輸出信號經(jīng)過放大后輸入至突觸陣列中,突觸陣列根據(jù)自身權(quán)值對輸入信號進(jìn)行計算,根據(jù)歐姆定律,在一個時間步長內(nèi),就可以得到輸出電流.電流信號首先被轉(zhuǎn)變?yōu)殡妷盒盘?再經(jīng)過放大后被輸入至輸出層神經(jīng)元中,輸出層神經(jīng)元為具有閾值調(diào)節(jié)功能的LIF 神經(jīng)元,可以處理輸入的脈沖信號并得到識別結(jié)果.采用閾值可調(diào)的LIF 神經(jīng)元可以實現(xiàn)無監(jiān)督的學(xué)習(xí)算法,采用STDP 或SRDP的方式來對突觸陣列進(jìn)行訓(xùn)練.在突觸權(quán)重更新過程中,突觸陣列與神經(jīng)元之間的連接斷開,由特殊功能單元來完成突觸訓(xùn)練脈沖的發(fā)放.

    圖5 仿生嗅覺系統(tǒng).氣體傳感器感知環(huán)境中的氣體分子,并將氣體分子的化學(xué)信息轉(zhuǎn)變?yōu)槟M型電信號;傳感信號由模擬信號處理單元作進(jìn)一步處理,該單元主要包含氣體傳感器基線動態(tài)校準(zhǔn)電路以及運算放大電路;經(jīng)過預(yù)處理的傳感信號傳輸至類腦芯片的神經(jīng)元-突觸核心中完成氣體識別的任務(wù)Fig.5.Bio-inspired olfactory system.In the system,sensor array detects the gas molecules in environment,converts the chemical information of gas molecules into electrical sensory signals,which are analogue.The sensory signals are directly processed by the analogue signal processing units which include baseline cancellation and amplifier circuits.After pre-processing,the sensory signals are sent to a neuron-synapse core of the brain-inspired chip to classify the gases.

    該仿生嗅覺系統(tǒng)展現(xiàn)出了強(qiáng)大的魯棒性和泛化能力,能夠完全識別4 種待測揮發(fā)性有機(jī)化合物(甲醛、乙醇、丙酮和甲苯).僅采用24 個氣體訓(xùn)練樣本訓(xùn)練該網(wǎng)絡(luò),就能夠完全識別4 種氣體的64 個測試樣本.盡管傳感器在獲得信號的時候,基線值存在漂移現(xiàn)象并且受到環(huán)境噪聲的影響,該脈沖神經(jīng)網(wǎng)絡(luò)依然獲得了完美的識別結(jié)果[36].采用這樣架構(gòu)的感存算一體化的嗅覺系統(tǒng)可以高效地完成對不同氣體的檢測與識別.由于采用事件驅(qū)使的脈沖神經(jīng)網(wǎng)絡(luò),因此,該系統(tǒng)具備低功耗的特點,可以集成到終端系統(tǒng)之中.

    6 總結(jié)

    對生物感官的模擬可以幫助我們構(gòu)建集感知、存儲與運算為一體的系統(tǒng),從而高效地處理傳感器信號,解決物聯(lián)網(wǎng)時代傳感器數(shù)據(jù)爆炸的問題.首先采用不同的傳感器模擬生物的鼻子、眼睛、耳朵及皮膚中的感受器,感知環(huán)境中的氣體、光、聲音震動及壓力等信息.然后采用模擬信號處理單元直接對傳感器信號進(jìn)行處理和編碼,以獲得類腦運算芯片的輸入信號.類腦運算芯片通過人工神經(jīng)元與人工突觸不同的連接方式來實現(xiàn)不同的脈沖神經(jīng)網(wǎng)絡(luò)算法,用于完成信號識別及預(yù)測等高級任務(wù),最終通過對各個仿生生物感官信號的綜合處理,完成多種感官信息的融合.多感官融合的仿生感覺系統(tǒng)可以用于自動駕駛、智能機(jī)器人等需要多種感官協(xié)調(diào)工作來處理復(fù)雜信號的環(huán)境中,且仿生感覺系統(tǒng)的功耗可得到極大的降低.

    猜你喜歡
    阻器模擬信號感官
    一種基于ADG426多路模擬開關(guān)的模擬信號輸入接口設(shè)計
    電子制作(2019年7期)2019-04-25 13:18:00
    一種模擬信號選通運算電路的設(shè)計
    電子測試(2018年14期)2018-09-26 06:04:08
    感官訓(xùn)練紙模
    感官并用,形象飽滿
    感官訓(xùn)練紙膜
    真實憶阻器數(shù)學(xué)建模以及電學(xué)仿真
    電子制作(2017年24期)2017-02-02 07:14:25
    模擬信號的三種調(diào)制方法比較研究
    電子制作(2017年24期)2017-02-02 07:14:19
    基于單片機(jī)的模擬信號自動追蹤控制器
    具有脈沖的憶阻器神經(jīng)網(wǎng)絡(luò)周期解的穩(wěn)定性
    憶阻器網(wǎng)絡(luò)等效分析電路及其特性研究
    天美传媒精品一区二区| 新久久久久国产一级毛片| 亚洲,欧美精品.| 丝袜美腿诱惑在线| 看非洲黑人一级黄片| 久久影院123| 午夜福利影视在线免费观看| 精品99又大又爽又粗少妇毛片| 亚洲精华国产精华液的使用体验| 麻豆av在线久日| 大片电影免费在线观看免费| 99九九在线精品视频| 超碰97精品在线观看| 少妇被粗大的猛进出69影院| 18在线观看网站| 在线观看三级黄色| 卡戴珊不雅视频在线播放| 青春草国产在线视频| 日韩一区二区视频免费看| 叶爱在线成人免费视频播放| 亚洲成国产人片在线观看| 久久国产亚洲av麻豆专区| 另类精品久久| 国产探花极品一区二区| av福利片在线| 亚洲色图综合在线观看| 中文字幕制服av| 亚洲成av片中文字幕在线观看 | 亚洲一级一片aⅴ在线观看| 丝袜美足系列| 丁香六月天网| 熟女电影av网| 亚洲av.av天堂| 国产成人a∨麻豆精品| 精品国产超薄肉色丝袜足j| 国产午夜精品一二区理论片| 一区二区三区精品91| av一本久久久久| 下体分泌物呈黄色| 成年动漫av网址| 欧美xxⅹ黑人| 多毛熟女@视频| av女优亚洲男人天堂| 久久国产精品男人的天堂亚洲| 叶爱在线成人免费视频播放| 十分钟在线观看高清视频www| 午夜老司机福利剧场| 精品人妻一区二区三区麻豆| 亚洲成色77777| 久久精品久久久久久噜噜老黄| 日本av手机在线免费观看| 久久人人爽人人片av| 80岁老熟妇乱子伦牲交| av网站免费在线观看视频| 国产精品亚洲av一区麻豆 | 欧美成人午夜免费资源| 最近中文字幕2019免费版| 久久久精品国产亚洲av高清涩受| 久久97久久精品| 三上悠亚av全集在线观看| 亚洲欧美成人精品一区二区| 午夜av观看不卡| 亚洲欧洲日产国产| 亚洲av综合色区一区| 中文字幕人妻丝袜一区二区 | 日本av手机在线免费观看| 激情视频va一区二区三区| 热99久久久久精品小说推荐| 日韩中字成人| 国产精品久久久久久av不卡| 波多野结衣av一区二区av| 亚洲av电影在线进入| 国产麻豆69| 成年美女黄网站色视频大全免费| 亚洲成国产人片在线观看| 最近手机中文字幕大全| 精品人妻一区二区三区麻豆| 叶爱在线成人免费视频播放| 国产男人的电影天堂91| 精品少妇一区二区三区视频日本电影 | 一级黄片播放器| 欧美变态另类bdsm刘玥| 亚洲精品久久久久久婷婷小说| 伦理电影免费视频| 久久久久久久大尺度免费视频| 国产精品.久久久| 国产国语露脸激情在线看| 国产精品久久久久久av不卡| 老女人水多毛片| 国产男女超爽视频在线观看| 少妇被粗大猛烈的视频| 国产1区2区3区精品| 久久久久久人人人人人| 国产精品av久久久久免费| 亚洲伊人久久精品综合| 中文字幕av电影在线播放| 午夜福利在线免费观看网站| 日韩人妻精品一区2区三区| 中文字幕最新亚洲高清| 18禁动态无遮挡网站| 黄色配什么色好看| 十分钟在线观看高清视频www| 热99国产精品久久久久久7| 在线观看人妻少妇| 日韩一本色道免费dvd| 免费av中文字幕在线| 水蜜桃什么品种好| 亚洲男人天堂网一区| 交换朋友夫妻互换小说| 777米奇影视久久| a级毛片黄视频| 国产成人午夜福利电影在线观看| 欧美日韩成人在线一区二区| 午夜福利视频精品| 欧美97在线视频| 亚洲欧美一区二区三区黑人 | 亚洲视频免费观看视频| 在线观看免费日韩欧美大片| 我的亚洲天堂| 日日啪夜夜爽| 美女脱内裤让男人舔精品视频| 可以免费在线观看a视频的电影网站 | 99热全是精品| 久久久久国产网址| 日本vs欧美在线观看视频| 高清欧美精品videossex| 精品视频人人做人人爽| 91aial.com中文字幕在线观看| 久久99热这里只频精品6学生| 狠狠精品人妻久久久久久综合| 伦理电影大哥的女人| 日本vs欧美在线观看视频| 久久久久网色| 久久精品国产亚洲av涩爱| 免费在线观看黄色视频的| av国产久精品久网站免费入址| 欧美av亚洲av综合av国产av | 制服人妻中文乱码| 亚洲图色成人| 日韩av在线免费看完整版不卡| 中文字幕最新亚洲高清| 久久久久久久国产电影| 男女下面插进去视频免费观看| 久久ye,这里只有精品| 亚洲国产成人一精品久久久| 成人毛片a级毛片在线播放| 成人影院久久| 女人被躁到高潮嗷嗷叫费观| 高清黄色对白视频在线免费看| 中国国产av一级| 亚洲国产欧美日韩在线播放| 日本-黄色视频高清免费观看| 精品一区在线观看国产| 丝瓜视频免费看黄片| 日本-黄色视频高清免费观看| 国产片内射在线| 中文字幕制服av| 黄频高清免费视频| 久久青草综合色| 亚洲精品一区蜜桃| 一区二区三区精品91| 嫩草影院入口| 午夜免费男女啪啪视频观看| 搡女人真爽免费视频火全软件| 99久久精品国产国产毛片| 精品人妻在线不人妻| 五月伊人婷婷丁香| 亚洲国产色片| 国产成人精品福利久久| 免费观看a级毛片全部| av一本久久久久| 丝袜在线中文字幕| 人人妻人人爽人人添夜夜欢视频| 亚洲国产av影院在线观看| 欧美日韩av久久| 深夜精品福利| 自拍欧美九色日韩亚洲蝌蚪91| 天堂俺去俺来也www色官网| 在线天堂中文资源库| 成人国产av品久久久| 91成人精品电影| 亚洲一区二区三区欧美精品| 日韩免费高清中文字幕av| 蜜桃在线观看..| 亚洲美女视频黄频| 亚洲五月色婷婷综合| 五月开心婷婷网| 精品午夜福利在线看| 热re99久久精品国产66热6| 一级a爱视频在线免费观看| 国产精品香港三级国产av潘金莲 | 精品人妻偷拍中文字幕| 精品卡一卡二卡四卡免费| 午夜福利乱码中文字幕| 日韩中字成人| 欧美成人午夜精品| 最近最新中文字幕大全免费视频 | 欧美国产精品一级二级三级| 丁香六月天网| av福利片在线| 日韩中文字幕欧美一区二区 | 国产一区二区三区综合在线观看| 七月丁香在线播放| 亚洲国产欧美日韩在线播放| 丰满饥渴人妻一区二区三| 国产在线免费精品| 久久午夜综合久久蜜桃| 97在线人人人人妻| 91国产中文字幕| 丰满少妇做爰视频| 亚洲第一青青草原| 精品久久蜜臀av无| 女的被弄到高潮叫床怎么办| 亚洲第一区二区三区不卡| 2018国产大陆天天弄谢| 亚洲精品国产av蜜桃| 日本-黄色视频高清免费观看| 国产成人av激情在线播放| 女人高潮潮喷娇喘18禁视频| 午夜日本视频在线| 亚洲av免费高清在线观看| 国产日韩欧美在线精品| 国产女主播在线喷水免费视频网站| 精品酒店卫生间| 九草在线视频观看| 91aial.com中文字幕在线观看| 久久青草综合色| 亚洲精品国产av蜜桃| 亚洲在久久综合| 又大又黄又爽视频免费| 亚洲精品国产av成人精品| 女人高潮潮喷娇喘18禁视频| 国产成人精品在线电影| 久久精品久久久久久噜噜老黄| 久久国产亚洲av麻豆专区| 精品99又大又爽又粗少妇毛片| 老汉色av国产亚洲站长工具| 99香蕉大伊视频| xxxhd国产人妻xxx| 黄色 视频免费看| 捣出白浆h1v1| 99热国产这里只有精品6| 国产成人a∨麻豆精品| 欧美日韩亚洲高清精品| 国产探花极品一区二区| 精品国产乱码久久久久久小说| 观看美女的网站| 九九爱精品视频在线观看| 99精国产麻豆久久婷婷| 青青草视频在线视频观看| 国产精品久久久av美女十八| 日本wwww免费看| 亚洲精品成人av观看孕妇| 欧美日韩一区二区视频在线观看视频在线| 大片免费播放器 马上看| 亚洲精华国产精华液的使用体验| 午夜久久久在线观看| 熟妇人妻不卡中文字幕| 中文欧美无线码| 下体分泌物呈黄色| 丰满乱子伦码专区| 亚洲av在线观看美女高潮| 国产黄色免费在线视频| 国产成人aa在线观看| 90打野战视频偷拍视频| 日本爱情动作片www.在线观看| 男女无遮挡免费网站观看| 又大又黄又爽视频免费| 晚上一个人看的免费电影| 亚洲av欧美aⅴ国产| 精品久久久精品久久久| 精品酒店卫生间| 中国国产av一级| 男人添女人高潮全过程视频| 国产精品人妻久久久影院| 女的被弄到高潮叫床怎么办| 久久99精品国语久久久| 麻豆乱淫一区二区| a级毛片在线看网站| 美国免费a级毛片| 人妻一区二区av| 自拍欧美九色日韩亚洲蝌蚪91| 黑人巨大精品欧美一区二区蜜桃| 国产极品天堂在线| 美国免费a级毛片| 精品人妻熟女毛片av久久网站| 亚洲综合色惰| 好男人视频免费观看在线| 亚洲内射少妇av| 一区二区三区四区激情视频| 精品国产超薄肉色丝袜足j| 另类亚洲欧美激情| 日本色播在线视频| 青青草视频在线视频观看| 蜜桃国产av成人99| 在线天堂中文资源库| 亚洲综合色惰| 丝袜脚勾引网站| 亚洲视频免费观看视频| 精品国产乱码久久久久久小说| 性色avwww在线观看| 精品一品国产午夜福利视频| 久久99蜜桃精品久久| 午夜日韩欧美国产| 欧美97在线视频| 91国产中文字幕| 亚洲婷婷狠狠爱综合网| 久久久久久久亚洲中文字幕| 男的添女的下面高潮视频| 日韩成人av中文字幕在线观看| 乱人伦中国视频| 国产精品偷伦视频观看了| 高清欧美精品videossex| 国产又色又爽无遮挡免| 国产 一区精品| 黄色视频在线播放观看不卡| 伊人亚洲综合成人网| 亚洲四区av| 在线天堂最新版资源| 国产免费一区二区三区四区乱码| 国产在线视频一区二区| 在线观看美女被高潮喷水网站| 18+在线观看网站| 国产亚洲欧美精品永久| 成年女人在线观看亚洲视频| 亚洲内射少妇av| 哪个播放器可以免费观看大片| 热re99久久精品国产66热6| 久久女婷五月综合色啪小说| 丰满乱子伦码专区| 日韩制服丝袜自拍偷拍| 日韩av不卡免费在线播放| 亚洲精品av麻豆狂野| 久久精品国产亚洲av天美| 制服丝袜香蕉在线| 亚洲精品久久午夜乱码| 男女午夜视频在线观看| 人人妻人人澡人人爽人人夜夜| 久久久精品国产亚洲av高清涩受| 午夜福利视频精品| 久久久国产欧美日韩av| 1024视频免费在线观看| 午夜久久久在线观看| av在线app专区| 国产极品天堂在线| 欧美bdsm另类| 欧美日韩精品网址| 十八禁网站网址无遮挡| 国产精品亚洲av一区麻豆 | 国产日韩一区二区三区精品不卡| 国产深夜福利视频在线观看| 免费高清在线观看视频在线观看| 好男人视频免费观看在线| 亚洲欧美成人精品一区二区| 七月丁香在线播放| 一级黄片播放器| 亚洲成人av在线免费| 黑人猛操日本美女一级片| 日韩制服丝袜自拍偷拍| 日韩人妻精品一区2区三区| 99久久综合免费| 1024香蕉在线观看| 久久久久久伊人网av| 97精品久久久久久久久久精品| 亚洲成色77777| 亚洲欧洲精品一区二区精品久久久 | 亚洲av福利一区| 飞空精品影院首页| 最近最新中文字幕大全免费视频 | 精品少妇久久久久久888优播| 天天影视国产精品| 国产极品粉嫩免费观看在线| 在线免费观看不下载黄p国产| 免费高清在线观看日韩| 777米奇影视久久| 欧美成人精品欧美一级黄| 日本-黄色视频高清免费观看| 91精品国产国语对白视频| 国产不卡av网站在线观看| 多毛熟女@视频| 亚洲国产看品久久| 最近最新中文字幕免费大全7| 丝袜在线中文字幕| 18在线观看网站| 好男人视频免费观看在线| 国产伦理片在线播放av一区| 国产国语露脸激情在线看| 性色av一级| 永久免费av网站大全| 黄色毛片三级朝国网站| 伦精品一区二区三区| 久久久久视频综合| 男人舔女人的私密视频| 欧美日韩成人在线一区二区| 国产 精品1| 日韩 亚洲 欧美在线| 秋霞在线观看毛片| 国产av码专区亚洲av| 男女边吃奶边做爰视频| 一个人免费看片子| 日本vs欧美在线观看视频| 亚洲精品成人av观看孕妇| 久久人妻熟女aⅴ| 啦啦啦在线免费观看视频4| 亚洲国产毛片av蜜桃av| 婷婷色综合大香蕉| a 毛片基地| 99国产综合亚洲精品| 久久精品久久精品一区二区三区| 免费黄网站久久成人精品| 精品福利永久在线观看| 在线观看免费高清a一片| 亚洲三级黄色毛片| 国产精品亚洲av一区麻豆 | 久久 成人 亚洲| 欧美变态另类bdsm刘玥| 免费播放大片免费观看视频在线观看| 黄色视频在线播放观看不卡| 日韩,欧美,国产一区二区三区| √禁漫天堂资源中文www| 国产一区有黄有色的免费视频| 久久精品久久久久久噜噜老黄| 亚洲精品成人av观看孕妇| 午夜福利在线观看免费完整高清在| 又黄又粗又硬又大视频| 久久久亚洲精品成人影院| 久久精品夜色国产| 美女主播在线视频| 十八禁高潮呻吟视频| 亚洲av福利一区| 少妇被粗大的猛进出69影院| 亚洲精品久久午夜乱码| 亚洲精品美女久久av网站| 大片免费播放器 马上看| 狠狠婷婷综合久久久久久88av| 国产精品熟女久久久久浪| 日韩一本色道免费dvd| 在线观看www视频免费| 久久精品久久久久久噜噜老黄| 精品亚洲成a人片在线观看| 精品久久蜜臀av无| 宅男免费午夜| 人人妻人人爽人人添夜夜欢视频| 国产又爽黄色视频| 这个男人来自地球电影免费观看 | 免费av中文字幕在线| 熟妇人妻不卡中文字幕| av在线观看视频网站免费| 国产精品嫩草影院av在线观看| 国产一区二区激情短视频 | 国产老妇伦熟女老妇高清| 黄色配什么色好看| 天堂8中文在线网| 欧美在线黄色| 少妇人妻久久综合中文| 看非洲黑人一级黄片| 午夜激情av网站| 国产黄频视频在线观看| 精品99又大又爽又粗少妇毛片| 日本av免费视频播放| 在线观看www视频免费| 日韩av不卡免费在线播放| 男男h啪啪无遮挡| 精品少妇黑人巨大在线播放| 亚洲成国产人片在线观看| 欧美日韩亚洲高清精品| 老鸭窝网址在线观看| 丝袜人妻中文字幕| 黄色毛片三级朝国网站| 免费大片黄手机在线观看| 久久国产亚洲av麻豆专区| 黄频高清免费视频| 黄网站色视频无遮挡免费观看| 国产欧美日韩综合在线一区二区| 在线观看一区二区三区激情| 国产日韩一区二区三区精品不卡| 国产成人精品在线电影| 午夜激情av网站| 男人操女人黄网站| 亚洲国产毛片av蜜桃av| 国产一区二区 视频在线| 亚洲经典国产精华液单| av电影中文网址| 日韩一本色道免费dvd| 久热久热在线精品观看| 一区二区av电影网| www.自偷自拍.com| 少妇人妻 视频| 麻豆av在线久日| 老司机影院成人| 黄色一级大片看看| 91久久精品国产一区二区三区| 午夜免费男女啪啪视频观看| 男女国产视频网站| 高清视频免费观看一区二区| 久久热在线av| 美女高潮到喷水免费观看| 91精品伊人久久大香线蕉| 在线天堂最新版资源| 亚洲精品日本国产第一区| 母亲3免费完整高清在线观看 | 一级爰片在线观看| 在线观看三级黄色| 午夜影院在线不卡| 久久久国产一区二区| 精品国产一区二区三区四区第35| 成年女人毛片免费观看观看9 | 亚洲精品美女久久久久99蜜臀 | 在线天堂最新版资源| 天天躁日日躁夜夜躁夜夜| 久久久国产精品麻豆| 一二三四中文在线观看免费高清| 99国产精品免费福利视频| 免费观看性生交大片5| 久久久久国产网址| 在线观看免费高清a一片| 亚洲经典国产精华液单| 久久午夜福利片| 久久女婷五月综合色啪小说| 丰满少妇做爰视频| 免费观看在线日韩| 欧美国产精品va在线观看不卡| 满18在线观看网站| 成年人午夜在线观看视频| 天天操日日干夜夜撸| 欧美日韩精品网址| 天天躁夜夜躁狠狠久久av| 秋霞在线观看毛片| 两性夫妻黄色片| 老汉色∧v一级毛片| 亚洲av男天堂| 久久亚洲国产成人精品v| 精品久久久精品久久久| 国产精品成人在线| 午夜福利视频在线观看免费| 青青草视频在线视频观看| 免费观看av网站的网址| 婷婷成人精品国产| 日韩三级伦理在线观看| 亚洲男人天堂网一区| 免费在线观看视频国产中文字幕亚洲 | 丝袜美足系列| 这个男人来自地球电影免费观看 | 狠狠婷婷综合久久久久久88av| 性色av一级| 国产一区亚洲一区在线观看| 国产一区二区三区综合在线观看| av女优亚洲男人天堂| 视频区图区小说| 午夜福利一区二区在线看| 好男人视频免费观看在线| 汤姆久久久久久久影院中文字幕| 亚洲国产精品国产精品| 两个人看的免费小视频| 制服丝袜香蕉在线| 国产精品久久久久久久久免| 极品人妻少妇av视频| 免费少妇av软件| 激情五月婷婷亚洲| 国产1区2区3区精品| 90打野战视频偷拍视频| 亚洲欧美清纯卡通| 母亲3免费完整高清在线观看 | 亚洲精品一区蜜桃| av片东京热男人的天堂| 天天影视国产精品| 国产成人精品婷婷| 考比视频在线观看| 免费观看性生交大片5| 精品国产国语对白av| 在线天堂最新版资源| 国产日韩一区二区三区精品不卡| 伦精品一区二区三区| 久久韩国三级中文字幕| 色网站视频免费| 高清欧美精品videossex| 国产成人精品久久久久久| 人妻少妇偷人精品九色| 亚洲av国产av综合av卡| 欧美亚洲日本最大视频资源| 亚洲美女视频黄频| 国产野战对白在线观看| 在线观看三级黄色| 久久久国产欧美日韩av| 看十八女毛片水多多多| 色播在线永久视频| 中文字幕人妻丝袜制服| 侵犯人妻中文字幕一二三四区| 亚洲熟女精品中文字幕| 自线自在国产av| 最近最新中文字幕免费大全7| 宅男免费午夜| 99九九在线精品视频| 国产成人精品无人区| 中文乱码字字幕精品一区二区三区| 纵有疾风起免费观看全集完整版| 国产精品久久久久久精品电影小说| 中文天堂在线官网| 韩国高清视频一区二区三区| 国产 一区精品| 狠狠精品人妻久久久久久综合| 精品国产一区二区久久| 亚洲美女搞黄在线观看| 亚洲精品自拍成人| www日本在线高清视频| a级毛片在线看网站| 久久久久久免费高清国产稀缺| 在线观看免费日韩欧美大片| 久久精品久久久久久久性| 国产成人91sexporn| 精品一区二区三卡| 亚洲欧洲精品一区二区精品久久久 | 成人18禁高潮啪啪吃奶动态图| 亚洲人成77777在线视频| 午夜激情av网站|