• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    仿生生物感官的感存算一體化系統(tǒng)*

    2022-07-28 07:34:04王童溫娟呂康陳健中汪亮郭新
    物理學(xué)報 2022年14期
    關(guān)鍵詞:阻器模擬信號感官

    王童 溫娟 呂康 陳健中 汪亮 郭新

    (華中科技大學(xué)材料科學(xué)與工程學(xué)院,材料成形與模具技術(shù)國家重點實驗室,武漢 430074)

    生物感官集感知、存儲與運算為一體的架構(gòu)使其可以高效并且實時地采集和處理外界信息,這樣的感存算一體化架構(gòu)可為物聯(lián)網(wǎng)時代面臨的傳感器數(shù)據(jù)爆炸問題提供很好的解決方案.為此,本文提出仿生生物感官的感存算一體化系統(tǒng),采用不同的傳感器模擬生物感受器的功能,以獲取環(huán)境信息,傳感器輸出的模擬信號輸入到模擬信號處理系統(tǒng)進(jìn)行預(yù)處理,這樣信號不需要在模擬域與數(shù)字域之間轉(zhuǎn)換,可極大降低功耗和延時;預(yù)處理后的信號輸入類腦運算芯片中進(jìn)行分析和決策,該芯片由基于憶阻器的人工突觸及人工神經(jīng)元組成,通過控制突觸與神經(jīng)元的連接方式,可以實現(xiàn)不同的算法架構(gòu),如全連接脈沖神經(jīng)網(wǎng)絡(luò)、卷積脈沖神經(jīng)網(wǎng)絡(luò)以及循環(huán)脈沖神經(jīng)網(wǎng)絡(luò)等;通過運行不同的神經(jīng)網(wǎng)絡(luò),類腦運算芯片可以實現(xiàn)對不同傳感器信號的識別、預(yù)測以及分類等任務(wù);更進(jìn)一步,將多種仿生感覺系統(tǒng)的識別或預(yù)測結(jié)果結(jié)合起來,就可以實現(xiàn)多感官融合,這樣的系統(tǒng)架構(gòu)可以用于自動駕駛及智能機(jī)器人等復(fù)雜的場景中.

    1 引言

    人類的感覺主要有8 種:視覺、聽覺、觸覺、嗅覺、味覺、痛覺、溫覺和本體感覺.David Julius 和Ardem Patapoutian 發(fā)現(xiàn)了溫度感受器和壓力感受器,為溫度感知和機(jī)械感知提供了分子和神經(jīng)學(xué)基礎(chǔ),為此,他們榮獲了2021 年諾貝爾生理學(xué)或醫(yī)學(xué)獎.生物的感覺過程可以大致概括為“接受刺激-傳遞信號-大腦接收”3 個步驟,感覺神經(jīng)元的感受器接受刺激,將環(huán)境信息轉(zhuǎn)換為神經(jīng)脈沖,神經(jīng)脈沖再通過突觸傳輸?shù)侥X內(nèi)的中樞神經(jīng)系統(tǒng),中樞神經(jīng)系統(tǒng)由復(fù)雜的神經(jīng)網(wǎng)絡(luò)組成,負(fù)責(zé)對神經(jīng)脈沖進(jìn)行分析與計算.生物感官把感知、存儲以及運算3 個功能集成于一體,從而可以高效并且實時地采集和處理外界信息[1].因此,生物感官在處理很多復(fù)雜任務(wù)時表現(xiàn)出低功耗、高效率等優(yōu)勢[2].

    單一的感官會造成感覺的局限與偏差,人體通過不同感官中的感受器來感受不同的刺激,并將各種感知信號融合在一起,從而獲得對環(huán)境的多方面體驗,例如,在品嘗美食時,至少需要同時使用視覺、嗅覺和味覺來感受食物的“色、香、味”.對于一個特定的場景,通過不同的維度感知不同特性的模態(tài)(如圖像-語音所對應(yīng)的視覺-聽覺),并進(jìn)行數(shù)據(jù)樣本的收集和耦合,這就是多模態(tài)傳感融合[3].多模態(tài)傳感融合可以獲得更全面準(zhǔn)確的信息,增強(qiáng)感知的可靠性與容錯性.

    相比于生物感官,現(xiàn)有的人工感覺和計算系統(tǒng)采用了完全不同的架構(gòu),其中傳感器、存儲器和運算單元是相互分離的,但是,這樣的架構(gòu)已經(jīng)不再適合萬物互聯(lián)的物聯(lián)網(wǎng)時代[4].一方面,隨著物聯(lián)網(wǎng)的發(fā)展,越來越多的傳感器被應(yīng)用到生活的方方面面,這些傳感器會產(chǎn)生巨大的、未經(jīng)處理的原始數(shù)據(jù)[4].但是由于傳感器與信號處理系統(tǒng)的分離,這些由傳感器產(chǎn)生的原始數(shù)據(jù)都需要首先轉(zhuǎn)換為數(shù)字信號,然后傳遞至本地或者云端的信息處理系統(tǒng).這樣的架構(gòu)會帶來額外的功耗、較長的響應(yīng)時間、大量的數(shù)據(jù)存儲、帶寬以及數(shù)據(jù)安全等問題[5].另一方面,存儲與運算單元分離的馮·諾依曼架構(gòu),不再適應(yīng)大數(shù)據(jù)、智能化時代的計算要求.數(shù)據(jù)在內(nèi)存和數(shù)據(jù)處理單元之間的頻繁存取操作帶來了高功耗、高延時等問題,使得基于馮·諾依曼架構(gòu)的計算系統(tǒng)運算效率遠(yuǎn)低于人腦[6].因此,需要探索新的神經(jīng)形態(tài)計算方式來幫助神經(jīng)網(wǎng)絡(luò)應(yīng)用到有功耗限制的場景中去,如用于邊緣計算的終端設(shè)備[7].

    為了模擬生物存儲與運算一體的架構(gòu),研究人員探索了多種新型存儲器件,如憶阻器、鐵電存儲器、磁存儲器等.其中,憶阻器具有并行計算的能力,而且其性能與生物神經(jīng)元和突觸相類似,是構(gòu)建存算一體化系統(tǒng)的有力之選,這樣的新型存算一體化系統(tǒng)可以用來構(gòu)建脈沖神經(jīng)網(wǎng)絡(luò)(spiking neural network,SNN)[8,9].為了模擬生物感知與運算一體的架構(gòu),將模擬信號處理單元集成到傳感器系統(tǒng)中,使其可以處理簡單的任務(wù),如降噪、特征提取或特征增強(qiáng)等.模擬信號處理單元可以有效地減少數(shù)據(jù)的傳輸,降低功耗和延時,簡化后續(xù)信號處理過程[1].此外,為了實現(xiàn)實時環(huán)境檢測與識別,研究人員嘗試將感知、存儲與運算系統(tǒng)集成于一體,使得終端設(shè)備可以具有類似生物感官系統(tǒng)的環(huán)境感知能力[10],目前,這樣的處理系統(tǒng)還處于起步階段,對信息的處理能力也比較有限.

    本文提出一種仿生生物感官的通用架構(gòu).如圖1(a)所示,在生物感官中,感受器接受外界環(huán)境刺激,引起感覺神經(jīng)元膜電位變化,當(dāng)外界刺激達(dá)到閾值后,感覺神經(jīng)元發(fā)出神經(jīng)脈沖;感覺神經(jīng)元發(fā)出的神經(jīng)脈沖經(jīng)過突觸傳遞至中樞神經(jīng)網(wǎng)絡(luò)進(jìn)行信息提取、識別等工作.圖1(b)給出了仿生生物感官的感存算一體化系統(tǒng),該系統(tǒng)模擬了生物感官的工作方式,首先由不同的傳感器來模擬生物感受器,檢測環(huán)境中的氣體、光、震動、壓力等信號;傳感器信號經(jīng)模擬信號處理單元處理及編碼后直接輸入類腦芯片,類腦芯片為通用人工智能架構(gòu),由人工突觸和人工神經(jīng)元組成,通過不同的神經(jīng)元與突觸連接方式,可以運行不同的神經(jīng)網(wǎng)絡(luò)模型,如全連接脈沖神經(jīng)網(wǎng)絡(luò)、卷積脈沖神經(jīng)網(wǎng)絡(luò)和循環(huán)脈沖神經(jīng)網(wǎng)絡(luò)等.在復(fù)雜的環(huán)境中運行時,需要綜合考慮多種感官的輸入信號之后做出決策,通過對各種感官信號進(jìn)行識別以及對預(yù)測結(jié)果進(jìn)行綜合處理,可以模擬生物感官的信息融合,這樣的系統(tǒng)可用于自動駕駛、智能機(jī)器人、生物醫(yī)療等領(lǐng)域.

    圖1 生物感官及仿生感覺系統(tǒng) (a) 生物感官包括感覺神經(jīng)元、突觸及生物神經(jīng)網(wǎng)絡(luò).感覺神經(jīng)元的感受器感知環(huán)境刺激,并引起神經(jīng)元膜電位變化,當(dāng)神經(jīng)元膜電位達(dá)到閾值后,產(chǎn)生神經(jīng)脈沖,神經(jīng)脈沖信號通過突觸傳遞至神經(jīng)網(wǎng)絡(luò)進(jìn)行處理.(b) 仿生感覺系統(tǒng)包含了傳感器、模擬信號處理單元以及類腦運算芯片.傳感器負(fù)責(zé)感知環(huán)境信息,模擬信號處理單元負(fù)責(zé)對傳感器信號進(jìn)行預(yù)處理,類腦芯片負(fù)責(zé)特征提取、分類以及預(yù)測等高級任務(wù)Fig.1.Biological sensory organ and bio-inspired sensory system.(a) Biological sensory organ includes sensory neurons,synapses and neural network.The receptors of the sensory neurons capture the environmental information and cause the increase of the neuron potential.The neurons generate neural spikes when the neuron potential exceeds its threshold.The neural spikes are then transmitted to the neural network through synapses.(b) Bio-inspired sensory system includes sensors,analogue signal processing units and the brain-inspired chip.Sensors acquire the environmental information and convert the information into analogue electrical signals,which are then directly processed by the analogue signal processing units.Finally,the brain-inspired chip receives the pre-processed signals,and performs advanced tasks,such as feature extraction,classification and prediction.

    此外,有研究人員[1]提出使用憶阻器本身的感知能力,如視覺(光信號)、嗅覺(氣體)等,來實現(xiàn)傳感器內(nèi)計算(in-sensor computing),但目前還沒有取得明顯的進(jìn)展.“傳感器內(nèi)計算”對材料和器件結(jié)構(gòu)有非常大的限制,這是因為憶阻器和傳感器對材料和器件結(jié)構(gòu)有不同、甚至是矛盾的要求.以嗅覺模擬為例,器件必須同時具有氣敏性能和憶阻性能,那么可選的材料只有WO3,ZnO 等極少數(shù)幾種,憶阻器要求氧化物薄膜致密,且厚度<100 nm,而傳感器則要求氧化物薄膜疏松多孔,以提供更多的氣體接觸位點來進(jìn)行氣敏反應(yīng),厚度為數(shù)百微米,甚至更厚[11].考慮這些因素,只有在某些特定的條件下才可能實現(xiàn)“傳感器內(nèi)計算”.當(dāng)然,“傳感器內(nèi)計算”具有極高的集成度,在功耗和器件體積等方面具有無與倫比的優(yōu)勢,也是研究人員積極探索的方向.

    2 傳感器及模擬信號處理單元

    如圖2 所示,生物體中分布著不同的感覺系統(tǒng),這些系統(tǒng)幫助生物獲取和處理信息、尋找食物、規(guī)避風(fēng)險等.生物個體通過分布在各器官中的感覺神經(jīng)元將外界信號轉(zhuǎn)變?yōu)樯窠?jīng)脈沖信號,并通過突觸將神經(jīng)脈沖信號傳遞至大腦皮層中的神經(jīng)中樞進(jìn)行運算和處理.不同的感官擁有不同的感受器來感知環(huán)境信息,在嗅覺系統(tǒng)中,分布在鼻腔內(nèi)的嗅覺感覺神經(jīng)元的嗅感受器可以與不同的氣體分子相結(jié)合,將化學(xué)信號轉(zhuǎn)變?yōu)榧?xì)胞膜電位變化,當(dāng)刺激達(dá)到閾值之后,該嗅覺神經(jīng)元產(chǎn)生神經(jīng)脈沖并通過突觸傳遞至嗅球細(xì)胞[12];在視覺系統(tǒng)中,視網(wǎng)膜起到視覺感受器的作用,將光信號轉(zhuǎn)變?yōu)殡娦盘?隨后通過視神經(jīng)傳遞至大腦皮層,此外,人類視網(wǎng)膜還具備預(yù)處理功能,可以提取輸入視覺信息的關(guān)鍵特征,消除無用的輸入信息,加速后續(xù)神經(jīng)網(wǎng)絡(luò)的信息處理進(jìn)程[13];在聽覺系統(tǒng)中,耳蝸基底膜上的柯蒂斯感受器可以將震動轉(zhuǎn)化為電信號傳遞到人的聽覺神經(jīng)中[14];在觸覺系統(tǒng)中,皮膚上分布著不同的觸覺感受器,它們對機(jī)械能某些特定的特征敏感,從而將施加于皮膚上不同類型的機(jī)械能轉(zhuǎn)化為不同頻率的神經(jīng)脈沖[15],由于傳入到大腦皮層的脈沖頻率不同,生物可感知到物體的軟硬程度、大小、形狀等信息[10].

    圖2 傳感器及模擬信號處理單元.用不同的傳感器陣列來模擬不同生物感官的感受器,來實現(xiàn)對氣體、光、聲音、壓力等信號的感知,隨后,傳感器信號直接輸入到模擬信號處理單元中進(jìn)行處理Fig.2.Sensors and analogue signal processing units.Sensors work like the receptors in a biological sensory organ,detecting the environmental information such as gases,light,audio and pressure,and convert them to electrical sensory signals.The sensory signals are then directly processed by the analogue signal processing units.

    隨著材料科學(xué)的進(jìn)步,不同種類的傳感器被開發(fā)出來,用于檢測環(huán)境信息,也可以用于模擬生物感受器的功能.然而,傳感器信號處理系統(tǒng)需要將模擬信號轉(zhuǎn)變?yōu)閿?shù)字信號,再傳輸至信號處理系統(tǒng)中進(jìn)行處理及運算,這個過程需要采用模數(shù)轉(zhuǎn)換器(analogue-digital convertor,ADC)[1].這種將模擬信號轉(zhuǎn)變?yōu)閿?shù)字信號再處理的方式會帶來較大的功耗及延時.而在生物感官中,感受器感受到環(huán)境信息之后,產(chǎn)生動作電位直接引起細(xì)胞膜電位變化,不需要將信息進(jìn)行轉(zhuǎn)化,而是直接被神經(jīng)元處理.因此,借鑒生物系統(tǒng),可以設(shè)計模擬信號處理單元,直接與傳感器相連,在模擬域?qū)π盘栠M(jìn)行預(yù)處理,再由通用的類腦運算芯片完成信號識別及預(yù)測等高級任務(wù).

    下面通過對嗅覺的模擬來解釋環(huán)境信號的獲得與處理過程.用氣體傳感器陣列來模擬嗅覺感受器的功能,將氣體分子的化學(xué)信號轉(zhuǎn)換為模擬型的電信號.為了獲得氣體傳感器對不同氣體的響應(yīng)信號,采用不同的材料制備氣體傳感器以增加輸入信號的區(qū)別,因此,氣體傳感器往往有著不同的基線電阻,且不同器件對不同氣體的響應(yīng)呈現(xiàn)出數(shù)量級的差別,此外,在工作過程中,氣體傳感器的基線電阻會隨時間漂移[16].為此,可采用氣體傳感器基線動態(tài)校準(zhǔn)電路在模擬域中高效地處理氣體傳感器信號[17].針對光學(xué)傳感器的信號處理,可采用模擬電路實現(xiàn)類似視網(wǎng)膜的圖像邊緣提取及特征增強(qiáng)功能,相比于傳統(tǒng)的數(shù)字信號處理方式,這樣的模擬電路集成度更高,還可以把功耗降低至毫瓦級[18].針對語音傳感器的信號處理方法,研究人員模仿耳蝸的柯蒂斯感受器設(shè)計了帶通濾波器來處理聲音傳感器信號,不需要將傳感器信號轉(zhuǎn)變?yōu)閿?shù)字信號,再用傅里葉變換進(jìn)行處理,這樣的設(shè)計既降低了功耗,又減小了電路面積[14].采用壓力傳感器可以模擬人的觸覺,感受環(huán)境中的壓力信息,壓力傳感器的信號一般需要采用半波整流的方式進(jìn)行預(yù)處理.另外,傳感器信號還要進(jìn)行統(tǒng)一的降噪、濾波、放大和編碼等預(yù)處理后再輸入到類腦運算芯片中[1].

    信號預(yù)處理也廣泛地應(yīng)用于現(xiàn)有的傳感器信號處理模塊中,首先也需要對模擬信號進(jìn)行降噪、濾波、放大等預(yù)處理,經(jīng)預(yù)處理的模擬信號經(jīng)過模數(shù)轉(zhuǎn)換后,輸入到中央處理器或者傳輸?shù)皆贫嗽O(shè)備.在這個過程中,模數(shù)轉(zhuǎn)換器需要消耗大量的功耗和芯片面積.此外,大量的數(shù)據(jù)傳輸也會產(chǎn)生功耗和延時.因此,本文提出一個完全工作在模擬域的模擬信號處理單元,與現(xiàn)有的傳感器信號處理系統(tǒng)相比,模擬信號處理單元在功耗與延時等方面均有優(yōu)勢.

    3 可重構(gòu)類腦芯片

    人腦中有大量的神經(jīng)元(約1011量級)及突觸(約1015量級),這些神經(jīng)元與突觸連接起來組成龐大的神經(jīng)網(wǎng)絡(luò)[7].相比于基于現(xiàn)有計算平臺(central processing unit,CPU;graphic processing unit,GPU)的人工神經(jīng)網(wǎng)絡(luò),人腦中的生物神經(jīng)網(wǎng)絡(luò)可以完成各種感官信號的處理、復(fù)雜的記憶及快速的決策,且僅消耗較少的能量[19].因此,人們提出了脈沖神經(jīng)網(wǎng)絡(luò),也被稱為第三代人工神經(jīng)網(wǎng)絡(luò).它模擬生物神經(jīng)網(wǎng)絡(luò)的信息傳遞及處理方式,采用神經(jīng)元來接收并處理脈沖信號,采用突觸來存儲、處理和傳遞脈沖信息,突觸的權(quán)重可由前后神經(jīng)元發(fā)放的脈沖進(jìn)行調(diào)制[20].脈沖神經(jīng)網(wǎng)絡(luò)是基于事件來運算的,當(dāng)有事件發(fā)生的時候,神經(jīng)元才發(fā)出脈沖,而沒有事件的時候神經(jīng)元則處于靜息狀態(tài).這樣的工作方式更加適合處理傳感器相關(guān)的信號,因采用離散的脈沖信號進(jìn)行運算,會極大地降低功耗[21].

    通過傳統(tǒng)的CMOS (complementary metal oxide semiconductor)電路可以實現(xiàn)大規(guī)模的人工突觸及人工神經(jīng)元,進(jìn)而實現(xiàn)脈沖神經(jīng)網(wǎng)絡(luò),例如,IBM 設(shè)計并研制了TrueNorth 芯片,Intel 設(shè)計并研制了Loihi 芯片,它們模擬了神經(jīng)元和突觸對脈沖的響應(yīng),并且具備并行運算的能力,可以降低推理及訓(xùn)練所需的功耗[22].但是,在這些芯片中,每個神經(jīng)元或者突觸都需要采用數(shù)十個CMOS 器件來實現(xiàn)[23],因此,人們嘗試采用憶阻器來實現(xiàn)神經(jīng)元和突觸的功能.憶阻器的電導(dǎo)可以隨著施加的激勵而連續(xù)變化,可以用來模擬突觸可塑性及神經(jīng)元膜電位的連續(xù)變化[24].

    3.1 基于憶阻器的人工神經(jīng)元

    在神經(jīng)科學(xué)中,神經(jīng)元接受上級神經(jīng)元經(jīng)突觸傳入的興奮性或抑制性突觸電位,脂質(zhì)雙分子層細(xì)胞膜的電位則會發(fā)生相應(yīng)變化,當(dāng)累積超過閾值時產(chǎn)生動作電位,再經(jīng)突觸傳向下一級神經(jīng)元,這是神經(jīng)元處理和傳遞信息的過程.為了解釋生物神經(jīng)元的工作模式,科學(xué)家們相繼提出了Hodgkin-Huxley(HH)模型和漏電整合發(fā)放(leaky integrate-andfire,LIF)模型等[25].憶阻器電導(dǎo)的變化與神經(jīng)元細(xì)胞膜上離子通道的電導(dǎo)類似,因此,可以基于這些數(shù)學(xué)模型來模擬神經(jīng)元功能.美國HRL Laboratories[26]利用憶阻器、電容器和電阻搭建了簡單的憶阻神經(jīng)元電路,其中憶阻器模擬離子通道,電容器兩端的電壓模擬神經(jīng)元細(xì)胞膜上的電位,他們利用該電路成功地模擬了神經(jīng)元中動作電位產(chǎn)生的過程.美國南加州大學(xué)楊建華教授課題組[23]利用擴(kuò)散型憶阻器(diffusive memristor)和電容器并聯(lián)后再串聯(lián)一個電阻組成了神經(jīng)元電路(圖3(a)),并聯(lián)電容器上的電壓表示細(xì)胞的膜電位,有脈沖時,電荷在電容器中累積,發(fā)生整合;沒有脈沖時,電容器發(fā)生自發(fā)的漏電.一旦電容器電壓高于憶阻器的閾值,該憶阻器切換到高電導(dǎo)態(tài),此時電容器的電壓無法保持,開始發(fā)放電流脈沖,這成功模擬了神經(jīng)元漏電整合發(fā)放功能.此外,楊建華課題組[27]還實現(xiàn)了一種基于擴(kuò)散型憶阻器的人工痛覺感覺神經(jīng)元,不僅模仿了生物處理信號的方式來處理傳感器傳來的信號,還成功地模擬了神經(jīng)元的關(guān)鍵功能,包括閾值、弛豫和自適應(yīng)等.神經(jīng)元閾值調(diào)節(jié)的高級功能有助于實現(xiàn)深度脈沖神經(jīng)網(wǎng)絡(luò),Zhang等[28]不僅采用閾值轉(zhuǎn)變憶阻器實現(xiàn)了LIF 神經(jīng)元的功能,還設(shè)計了結(jié)構(gòu)復(fù)雜的電路實現(xiàn)了閾值可調(diào)功能;Shaban 等[29]采用了更加簡潔的方式實現(xiàn)了閾值調(diào)節(jié)功能并完成了單層脈沖神經(jīng)網(wǎng)絡(luò)的設(shè)計驗證.

    3.2 基于憶阻器的人工突觸

    如圖3(b)所示,突觸是神經(jīng)元之間的連接節(jié)點,每個突觸具有一定的連接權(quán)值,根據(jù)權(quán)值的大小確定兩個神經(jīng)元之間的信號傳輸效率,突觸連接權(quán)值可以根據(jù)突觸前/后神經(jīng)元的活動進(jìn)行調(diào)節(jié),這被稱為突觸可塑性(synaptic plasticity)[7],是大腦學(xué)習(xí)的基礎(chǔ).單個憶阻器在結(jié)構(gòu)和功能上都表現(xiàn)出與生物突觸的相似性.在結(jié)構(gòu)上,具有金屬/絕緣體/金屬三明治結(jié)構(gòu)的憶阻器是典型的兩端子器件,而突觸和相應(yīng)的前后神經(jīng)元也同樣形成兩端子結(jié)構(gòu);在功能上,憶阻器的電導(dǎo)變化可代表突觸連接強(qiáng)度的變化,在持續(xù)的外部電刺激下,器件電導(dǎo)表現(xiàn)出連續(xù)增加或降低,這類似于突觸之間連接強(qiáng)度的增強(qiáng)或減弱.通過對憶阻器材料與結(jié)構(gòu)的設(shè)計可以實現(xiàn)憶阻器電導(dǎo)態(tài)的連續(xù)可調(diào),即器件電導(dǎo)在外加電脈沖的作用下連續(xù)可調(diào).基于多種材料如金屬氧化物、二維材料和高分子材料的憶阻器都成功模擬了突觸的可塑性[19,30].如圖3(b)所示,將憶阻器制成陣列后,不僅可以模擬單個突觸的性能,還可以實現(xiàn)存內(nèi)運算.根據(jù)歐姆定律和基爾霍夫定律,輸入的電壓信號(V1,V2,V3,···,Vn)與陣列中憶阻器的電導(dǎo)(G)相乘,得到輸出的電流信號(I1,I2,I3,···,In),因此,這種交叉陣列的結(jié)構(gòu)可以在一個時間周期內(nèi)完成矩陣運算,從而提高人工神經(jīng)網(wǎng)絡(luò)的運算速度[31].

    圖3 類腦芯片 (a) 人工神經(jīng)元:采用憶阻器與電容并聯(lián)的結(jié)構(gòu)模擬神經(jīng)元膜電位連續(xù)變化的特性,實現(xiàn)神經(jīng)元漏電流積分點火的功能;(b) 人工突觸:非易失性憶阻器電導(dǎo)的連續(xù)變化可以模擬生物突觸權(quán)重的連續(xù)變化及突觸可塑性,此 外,憶阻器陣列還可以實現(xiàn)存內(nèi)運算;(c) 類腦芯片架構(gòu):由多個神經(jīng)元-突觸核心組成,每個核心由基于憶阻器的人工神經(jīng)元及人工突觸組成,每個核心通過總線連接Fig.3.Brain-inspired chip.(a) Artificial neuron,consisting of a memristor and a parallel capacitor,emulates the continuous change of the neuron potential and realize the leaky integrate-and-fire function of a biological neuron.(b) Artificial synapses.Non-volatile memristors emulate the continuous change of the synaptic plasticity,in addition,the crossbar array based on memristors can realize the in-memory computing.(c) Architecture of the brain-inspired chip.A brain-inspired chip consists of many neuron-synapse cores based on memristors,and the cores are connected by bus lines.

    3.3 基于憶阻器的類腦芯片及其計算架構(gòu)

    類腦芯片架構(gòu)如圖3(c)所示,芯片采用了多分布式人工神經(jīng)元-人工突觸核心的設(shè)計,這些通用的人工神經(jīng)元-人工突觸核心可以通過重構(gòu)來處理不同的任務(wù),核心之間通過可重構(gòu)的片上網(wǎng)絡(luò)方式進(jìn)行連接,經(jīng)過模擬信號處理單元預(yù)處理之后的信號可以通過I/O 口輸入到芯片中,并分配對應(yīng)的核心進(jìn)行運算.神經(jīng)元-突觸核心由基于憶阻器的人工神經(jīng)元、憶阻突觸陣列、數(shù)據(jù)選擇器(multiplexer,MUX)、緩沖區(qū)、特殊功能單元和控制器構(gòu)成.人工神經(jīng)元根據(jù)漏電流積分點火的功能處理來自傳感器或突觸陣列的模擬信號,并將模擬信號轉(zhuǎn)變?yōu)槊}沖信號輸出.憶阻突觸陣列根據(jù)自身權(quán)重傳遞人工神經(jīng)元發(fā)出的脈沖信號,其突觸權(quán)重則根據(jù)突觸可塑性由前后神經(jīng)元脈沖發(fā)放情況進(jìn)行調(diào)節(jié).為了提高芯片的容錯率,突觸陣列及人工神經(jīng)元應(yīng)增加冗余.數(shù)據(jù)選擇器用來選擇固定區(qū)域的突觸陣列及人工神經(jīng)元來完成某項任務(wù).特殊功能單元(special function unit,SFU)則提供突觸訓(xùn)練所需要的計算、神經(jīng)元閾值調(diào)節(jié)、神經(jīng)元特殊互連結(jié)構(gòu)等功能.這種基于人工神經(jīng)元-人工突觸內(nèi)核的計算架構(gòu)將存儲和計算集為一體,消除了由存儲器(memory)和中央處理單元(CPU)之間的性能差異帶來的效率損失,且基于脈沖的信息編碼方式也能夠大大減少運算過程中的能量損耗.

    4 脈沖神經(jīng)網(wǎng)絡(luò)算法

    傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)所具備的神經(jīng)元連接方式也可以在脈沖神經(jīng)網(wǎng)絡(luò)中實現(xiàn),將這些網(wǎng)絡(luò)架構(gòu)應(yīng)用到類腦運算芯片上,最終可以實現(xiàn)對不同傳感器信號的識別、分類、預(yù)測等任務(wù),例如,采用全連接脈沖神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)氣體分類等任務(wù),而采用卷積脈沖神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)圖片特征提取和分類等任務(wù)[32].

    圖4(a)給出了雙層的全連接脈沖神經(jīng)網(wǎng)絡(luò),其中輸入層為簡單的LIF 神經(jīng)元,它可以對輸入脈沖信號進(jìn)行運算并產(chǎn)生新的脈沖信號;突觸根據(jù)自身權(quán)重傳遞脈沖信號到后級神經(jīng)元;輸出層的神經(jīng)元是閾值可調(diào)的LIF 神經(jīng)元,它不僅具備LIF神經(jīng)元的基本功能,還具備神經(jīng)元不應(yīng)期和側(cè)向抑制的高級功能,這些高級功能可以通過神經(jīng)元-突觸核心中的特殊功能單元來實現(xiàn).如圖4(a)所示,神經(jīng)元不應(yīng)期是指當(dāng)輸出層第一個神經(jīng)元被激發(fā)之后,它會傳遞給自己一個信號,在短時間內(nèi)即使有較大的輸入信號,也不會被再次激發(fā).神經(jīng)元不應(yīng)期可以給該層其他神經(jīng)元提供公平的競爭機(jī)會,使神經(jīng)元盡可能學(xué)習(xí)到更多的特征.側(cè)向抑制功能指的則是當(dāng)神經(jīng)元激發(fā)后,會給當(dāng)前層其他神經(jīng)元一個抑制信號,短時間內(nèi)調(diào)高其他神經(jīng)元的閾值[28].采用神經(jīng)元側(cè)向抑制功能可以實現(xiàn)無監(jiān)督學(xué)習(xí)算法,例如,“贏者通吃(winner-takes-all)”法則[21].通過讀取輸出層神經(jīng)元的脈沖發(fā)放情況,就可以判斷分類和識別結(jié)果.

    可以用脈沖時間依賴可塑性(spike-timing dependent plasticity,STDP)或者脈沖頻率依賴可塑性(spike-rate dependent plasticity,SRDP)來訓(xùn)練全連接脈沖神經(jīng)網(wǎng)絡(luò).如圖4(b)所示,STDP指的是根據(jù)突觸連接前后神經(jīng)元的脈沖發(fā)放時間來更改突觸權(quán)重,如果突觸前神經(jīng)元發(fā)放脈沖早于突觸后神經(jīng)元,則增強(qiáng)突觸連接權(quán)重,反之則降低突觸連接權(quán)重.SRDP 則是指根據(jù)突觸前后神經(jīng)元脈沖發(fā)放頻率來對突觸連接權(quán)重進(jìn)行修改,如果突觸前后神經(jīng)元脈沖發(fā)放頻率較高,則增強(qiáng)突觸的連接權(quán)重;如果僅有突觸前神經(jīng)元或突觸后神經(jīng)元發(fā)放脈沖的頻率較高,則降低突觸的連接權(quán)重;如果突觸前后神經(jīng)元發(fā)放脈沖的頻率都較低,則不對突觸權(quán)重進(jìn)行修改.相比于傳統(tǒng)的反向傳播訓(xùn)練法則,這種通過突觸可塑性對網(wǎng)絡(luò)進(jìn)行訓(xùn)練的學(xué)習(xí)法則在硬件電路中更容易實現(xiàn),可以降低硬件電路的復(fù)雜度[20].

    圖4 脈沖神經(jīng)網(wǎng)絡(luò) (a) 全連接脈沖神經(jīng)網(wǎng)絡(luò);(b) 基于突觸可塑性(脈沖時間依賴可塑性(STDP)和脈沖頻率依賴可塑性(SRDP))來訓(xùn)練網(wǎng)絡(luò),修改突觸權(quán)重;c)卷積脈沖神經(jīng)網(wǎng)絡(luò),由卷積層、池化層和全連接層組成Fig.4.Spiking neural network (SNN):(a) Fully connected SNN;(b) learning rules of SNN.The synaptic weights in SNN are updated according to STDP and SRDP;(c) convolutional SNN consisting of convolutional layers,pooling layers and fully connect layers.

    脈沖神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)在線(online)和離線(offline)的兩種訓(xùn)練方式.離線學(xué)習(xí)的具體實施方式如下:首先通過仿真計算得到該脈沖神經(jīng)網(wǎng)絡(luò)所需的突觸權(quán)重,再通過施加脈沖將突觸權(quán)重調(diào)節(jié)至計算所需的狀態(tài).在此,該脈沖神經(jīng)網(wǎng)絡(luò)可以采用STDP 或SRDP 等兼容硬件的學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練,也可以采用反向傳播等更加精確的訓(xùn)練算法獲得突觸權(quán)重.盡管離線學(xué)習(xí)可以獲得更加精準(zhǔn)的突觸權(quán)重,但是這種方式無法使用憶阻突觸陣列來為訓(xùn)練過程加速.因此,我們更期望使用該系統(tǒng)去完成online 的訓(xùn)練,并提出采用與硬件兼容的STDP和SRDP 學(xué)習(xí)規(guī)則.以SRDP 為例,采用兩個計數(shù)器分別記錄輸入神經(jīng)元和輸出神經(jīng)元的脈沖發(fā)放次數(shù),進(jìn)而計算脈沖發(fā)放頻率.如果輸出神經(jīng)元計數(shù)器達(dá)到閾值,則根據(jù)輸入神經(jīng)元的脈沖頻率來修改突觸權(quán)重;如果輸入神經(jīng)元脈沖高于閾值,則施加正向脈沖到突觸器件上,反之則施加負(fù)向脈沖到突觸器件.經(jīng)過學(xué)習(xí)后,每個神經(jīng)元會學(xué)到對應(yīng)的輸入樣本的特征.

    對于比較復(fù)雜的問題,如圖片特征提取及識別,可以采用卷積脈沖神經(jīng)網(wǎng)絡(luò).如圖4(c)所示,卷積脈沖神經(jīng)網(wǎng)絡(luò)包括卷積層、池化層及全連接層[33].傳感器信號經(jīng)過編碼后變?yōu)槊}沖信號輸入到卷積層,在卷積層中,突觸陣列根據(jù)自身權(quán)值傳遞輸入的脈沖信號至閾值可調(diào)的神經(jīng)元,該神經(jīng)元負(fù)責(zé)對接收到的信息進(jìn)行處理并發(fā)放新的動作電位.池化層模仿人的視覺系統(tǒng)對數(shù)據(jù)進(jìn)行降維,用更高層次的特征表示輸入的圖像,常用的有最大值池化、均值池化等.在卷積脈沖神經(jīng)網(wǎng)絡(luò)中可以對卷積層神經(jīng)元發(fā)放脈沖頻率進(jìn)行記錄并進(jìn)行池化操作,因此,這里可以采用簡單的數(shù)字電路來實現(xiàn)池化操作.卷積層及池化層可以進(jìn)行多層的堆疊以實現(xiàn)深度神經(jīng)網(wǎng)絡(luò),輸入信號經(jīng)過卷積層及池化層提取特征之后,可以輸入到全連接層進(jìn)行識別和分類,得到最終的結(jié)果.卷積脈沖神經(jīng)網(wǎng)絡(luò)也可以采用STDP及SRDP 的訓(xùn)練方式逐層進(jìn)行訓(xùn)練.

    此外,在處理語音信號時,目前常用的網(wǎng)絡(luò)算法是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN).相比于前饋式的神經(jīng)網(wǎng)絡(luò)(全連接神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)),神經(jīng)元節(jié)點之間的循環(huán)連接可以有效地處理不同時間節(jié)點的信息,并將時間上的邏輯關(guān)系展現(xiàn)出來.在脈沖神經(jīng)網(wǎng)絡(luò)中,也可以借鑒循環(huán)神經(jīng)網(wǎng)絡(luò)的連接方式,對時間信息進(jìn)行處理[34].除了采用神經(jīng)元之間循環(huán)連接的架構(gòu),還有學(xué)者提出采用神經(jīng)元自身的時域動態(tài)特性來對時間信號進(jìn)行處理,這也驗證了神經(jīng)元的LIF 功能可以等價替代神經(jīng)元的循環(huán)連接結(jié)構(gòu)[35].但是,采用神經(jīng)元自身動態(tài)特性來處理時間信號的方式依然處于理論驗證階段,神經(jīng)元對時序信息的處理仍然需要更多的研究.

    在算法層對硬件系統(tǒng)進(jìn)行調(diào)用可以實現(xiàn)多感官的融合.針對本文提出的仿生生物感官系統(tǒng)有兩種實現(xiàn)多感官融合的可能方式:第一種是將多種感官的信號經(jīng)過模擬信號處理單元預(yù)處理及編碼后一起輸入到脈沖神經(jīng)網(wǎng)絡(luò)中,在這種情況下,多種感官的信號增加了輸入信息的維度,也極大地增加了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度.例如,在機(jī)器人控制系統(tǒng)中,可以將壓力傳感器信號與視覺傳感器信號一起輸入到脈沖神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練,從而得到?jīng)Q策結(jié)果.第二種處理方式是將不同的傳感器信號分別輸入到對應(yīng)的神經(jīng)網(wǎng)絡(luò)中,這些神經(jīng)網(wǎng)絡(luò)已經(jīng)針對各自對應(yīng)的傳感器信號類型做了優(yōu)化,處理后的信號再輸入到一個新的決策系統(tǒng)中,由決策系統(tǒng)綜合不同的感官信號給出最終的結(jié)果.比較這兩種實現(xiàn)多感官融合的方式,第一種方式處理信息的能力更強(qiáng),但需要考慮信號同步、延時等問題,因此,所需的脈沖神經(jīng)網(wǎng)絡(luò)規(guī)模會較大;而第二種方式需要新的決策系統(tǒng),比如中央處理器(CPU)或者云端設(shè)備來實現(xiàn).

    5 仿生嗅覺系統(tǒng)

    作為實例,圖5 展示了我們近期研發(fā)的一個仿生嗅覺系統(tǒng)[36].具體來講,首先采用氣體傳感器檢測環(huán)境中的氣體分子,傳感器中的敏感材料可以吸附氣體分子,從而電阻發(fā)生變化,并在一定時間后達(dá)到穩(wěn)態(tài).因此,氣體傳感器可以將環(huán)境中氣體分子的化學(xué)信息轉(zhuǎn)變?yōu)槟M型的電信號.模擬信號處理系統(tǒng)負(fù)責(zé)對傳感器信號進(jìn)行預(yù)處理,首先需要采用氣體傳感器基線動態(tài)校準(zhǔn)電路來解決傳感器基線漂移的問題;然后采用運算放大電路對傳感器信號進(jìn)行放大.經(jīng)過預(yù)處理的傳感器信號最終傳輸至類腦芯片中的神經(jīng)元-突觸核心中進(jìn)行識別.我們采用雙層全連接脈沖神經(jīng)網(wǎng)絡(luò)來處理傳感器采集到的信號,并識別出不同的氣體.在類腦芯片中,傳感器信號(電壓信號)首先輸入到輸入層神經(jīng)元中,輸入層神經(jīng)元為簡單的LIF 神經(jīng)元,可以將輸入的電壓信號轉(zhuǎn)變?yōu)椴煌l率的脈沖信號.LIF 神經(jīng)元的輸出信號經(jīng)過放大后輸入至突觸陣列中,突觸陣列根據(jù)自身權(quán)值對輸入信號進(jìn)行計算,根據(jù)歐姆定律,在一個時間步長內(nèi),就可以得到輸出電流.電流信號首先被轉(zhuǎn)變?yōu)殡妷盒盘?再經(jīng)過放大后被輸入至輸出層神經(jīng)元中,輸出層神經(jīng)元為具有閾值調(diào)節(jié)功能的LIF 神經(jīng)元,可以處理輸入的脈沖信號并得到識別結(jié)果.采用閾值可調(diào)的LIF 神經(jīng)元可以實現(xiàn)無監(jiān)督的學(xué)習(xí)算法,采用STDP 或SRDP的方式來對突觸陣列進(jìn)行訓(xùn)練.在突觸權(quán)重更新過程中,突觸陣列與神經(jīng)元之間的連接斷開,由特殊功能單元來完成突觸訓(xùn)練脈沖的發(fā)放.

    圖5 仿生嗅覺系統(tǒng).氣體傳感器感知環(huán)境中的氣體分子,并將氣體分子的化學(xué)信息轉(zhuǎn)變?yōu)槟M型電信號;傳感信號由模擬信號處理單元作進(jìn)一步處理,該單元主要包含氣體傳感器基線動態(tài)校準(zhǔn)電路以及運算放大電路;經(jīng)過預(yù)處理的傳感信號傳輸至類腦芯片的神經(jīng)元-突觸核心中完成氣體識別的任務(wù)Fig.5.Bio-inspired olfactory system.In the system,sensor array detects the gas molecules in environment,converts the chemical information of gas molecules into electrical sensory signals,which are analogue.The sensory signals are directly processed by the analogue signal processing units which include baseline cancellation and amplifier circuits.After pre-processing,the sensory signals are sent to a neuron-synapse core of the brain-inspired chip to classify the gases.

    該仿生嗅覺系統(tǒng)展現(xiàn)出了強(qiáng)大的魯棒性和泛化能力,能夠完全識別4 種待測揮發(fā)性有機(jī)化合物(甲醛、乙醇、丙酮和甲苯).僅采用24 個氣體訓(xùn)練樣本訓(xùn)練該網(wǎng)絡(luò),就能夠完全識別4 種氣體的64 個測試樣本.盡管傳感器在獲得信號的時候,基線值存在漂移現(xiàn)象并且受到環(huán)境噪聲的影響,該脈沖神經(jīng)網(wǎng)絡(luò)依然獲得了完美的識別結(jié)果[36].采用這樣架構(gòu)的感存算一體化的嗅覺系統(tǒng)可以高效地完成對不同氣體的檢測與識別.由于采用事件驅(qū)使的脈沖神經(jīng)網(wǎng)絡(luò),因此,該系統(tǒng)具備低功耗的特點,可以集成到終端系統(tǒng)之中.

    6 總結(jié)

    對生物感官的模擬可以幫助我們構(gòu)建集感知、存儲與運算為一體的系統(tǒng),從而高效地處理傳感器信號,解決物聯(lián)網(wǎng)時代傳感器數(shù)據(jù)爆炸的問題.首先采用不同的傳感器模擬生物的鼻子、眼睛、耳朵及皮膚中的感受器,感知環(huán)境中的氣體、光、聲音震動及壓力等信息.然后采用模擬信號處理單元直接對傳感器信號進(jìn)行處理和編碼,以獲得類腦運算芯片的輸入信號.類腦運算芯片通過人工神經(jīng)元與人工突觸不同的連接方式來實現(xiàn)不同的脈沖神經(jīng)網(wǎng)絡(luò)算法,用于完成信號識別及預(yù)測等高級任務(wù),最終通過對各個仿生生物感官信號的綜合處理,完成多種感官信息的融合.多感官融合的仿生感覺系統(tǒng)可以用于自動駕駛、智能機(jī)器人等需要多種感官協(xié)調(diào)工作來處理復(fù)雜信號的環(huán)境中,且仿生感覺系統(tǒng)的功耗可得到極大的降低.

    猜你喜歡
    阻器模擬信號感官
    一種基于ADG426多路模擬開關(guān)的模擬信號輸入接口設(shè)計
    電子制作(2019年7期)2019-04-25 13:18:00
    一種模擬信號選通運算電路的設(shè)計
    電子測試(2018年14期)2018-09-26 06:04:08
    感官訓(xùn)練紙模
    感官并用,形象飽滿
    感官訓(xùn)練紙膜
    真實憶阻器數(shù)學(xué)建模以及電學(xué)仿真
    電子制作(2017年24期)2017-02-02 07:14:25
    模擬信號的三種調(diào)制方法比較研究
    電子制作(2017年24期)2017-02-02 07:14:19
    基于單片機(jī)的模擬信號自動追蹤控制器
    具有脈沖的憶阻器神經(jīng)網(wǎng)絡(luò)周期解的穩(wěn)定性
    憶阻器網(wǎng)絡(luò)等效分析電路及其特性研究
    亚洲欧美日韩无卡精品| 亚洲va在线va天堂va国产| 高清午夜精品一区二区三区 | 日日摸夜夜添夜夜添av毛片| 中文字幕久久专区| 国产激情偷乱视频一区二区| 国产欧美日韩精品一区二区| 熟妇人妻久久中文字幕3abv| 国产 一区 欧美 日韩| 尤物成人国产欧美一区二区三区| 国产又黄又爽又无遮挡在线| 日本三级黄在线观看| 麻豆av噜噜一区二区三区| 女人被狂操c到高潮| 欧美极品一区二区三区四区| 午夜精品国产一区二区电影 | av天堂在线播放| 18禁黄网站禁片免费观看直播| 亚洲成人精品中文字幕电影| 一进一出抽搐gif免费好疼| 男人舔奶头视频| 亚洲美女黄片视频| 日韩中字成人| 免费av毛片视频| 深夜精品福利| 国产精品三级大全| 国产一区二区激情短视频| 久久久久久大精品| 嫩草影院精品99| 日日干狠狠操夜夜爽| 丝袜美腿在线中文| 久久久久九九精品影院| 中国美女看黄片| 麻豆国产av国片精品| 国产视频内射| 高清毛片免费看| 99久久精品一区二区三区| 97超碰精品成人国产| 伊人久久精品亚洲午夜| 老熟妇乱子伦视频在线观看| 免费无遮挡裸体视频| 亚洲国产高清在线一区二区三| 身体一侧抽搐| 人人妻,人人澡人人爽秒播| 国产真实伦视频高清在线观看| 婷婷色综合大香蕉| 精品久久久久久久久亚洲| 国产精品久久久久久精品电影| 99在线人妻在线中文字幕| 亚洲国产欧美人成| 久久久精品欧美日韩精品| 狂野欧美激情性xxxx在线观看| 免费观看人在逋| 在线观看美女被高潮喷水网站| 亚洲婷婷狠狠爱综合网| 麻豆国产av国片精品| 免费看av在线观看网站| 午夜福利成人在线免费观看| 亚洲久久久久久中文字幕| 99热这里只有是精品50| 国产精品亚洲美女久久久| 日韩精品中文字幕看吧| 国产精品亚洲一级av第二区| 寂寞人妻少妇视频99o| 欧美日本亚洲视频在线播放| 国产不卡一卡二| 亚洲内射少妇av| 日本免费a在线| 超碰av人人做人人爽久久| 毛片一级片免费看久久久久| 禁无遮挡网站| 成人av在线播放网站| 老司机福利观看| 最近最新中文字幕大全电影3| 99久久精品一区二区三区| 看免费成人av毛片| 国产老妇女一区| 男人舔奶头视频| 免费av毛片视频| 深爱激情五月婷婷| 免费人成视频x8x8入口观看| 成人无遮挡网站| 给我免费播放毛片高清在线观看| 最近在线观看免费完整版| 日本黄色片子视频| 高清毛片免费看| 日韩一区二区视频免费看| 欧美激情久久久久久爽电影| 91久久精品电影网| 色在线成人网| 久久久久久久久大av| 97在线视频观看| 舔av片在线| 欧美在线一区亚洲| 毛片女人毛片| 欧美xxxx性猛交bbbb| 成年女人毛片免费观看观看9| 久久久a久久爽久久v久久| 少妇的逼水好多| 又黄又爽又免费观看的视频| 久久久久久九九精品二区国产| 国内揄拍国产精品人妻在线| 成年女人永久免费观看视频| 亚洲欧美日韩卡通动漫| 1024手机看黄色片| 男人狂女人下面高潮的视频| 午夜久久久久精精品| 欧美日韩国产亚洲二区| 亚洲电影在线观看av| 1000部很黄的大片| 国产亚洲精品av在线| 在线观看免费视频日本深夜| 国内少妇人妻偷人精品xxx网站| 少妇被粗大猛烈的视频| АⅤ资源中文在线天堂| 日本免费a在线| 在线免费十八禁| 晚上一个人看的免费电影| 一级毛片aaaaaa免费看小| 看免费成人av毛片| 女同久久另类99精品国产91| 日韩欧美 国产精品| 日韩中字成人| 亚洲精品粉嫩美女一区| 日韩av在线大香蕉| 一本一本综合久久| 韩国av在线不卡| 天堂影院成人在线观看| 中国美白少妇内射xxxbb| 熟女电影av网| 五月伊人婷婷丁香| 国产欧美日韩精品亚洲av| 一个人免费在线观看电影| 久久久国产成人免费| 中出人妻视频一区二区| 中文字幕久久专区| 色综合色国产| 此物有八面人人有两片| 久久久久久久久大av| 午夜亚洲福利在线播放| 精品一区二区三区视频在线| 在线播放国产精品三级| 国产午夜精品论理片| 国产一级毛片七仙女欲春2| 成人三级黄色视频| 久久久久久久午夜电影| 俺也久久电影网| 久久精品国产99精品国产亚洲性色| 国产av麻豆久久久久久久| 久久精品91蜜桃| 男女下面进入的视频免费午夜| 91久久精品国产一区二区三区| videossex国产| 国产亚洲欧美98| 赤兔流量卡办理| 夜夜看夜夜爽夜夜摸| 日韩精品有码人妻一区| 国产黄色小视频在线观看| 最近在线观看免费完整版| 观看免费一级毛片| 老熟妇乱子伦视频在线观看| 国产av在哪里看| 亚洲精品色激情综合| 久久6这里有精品| 国产精品美女特级片免费视频播放器| 日本三级黄在线观看| 久久久久久久久久成人| 老熟妇仑乱视频hdxx| 一进一出好大好爽视频| 偷拍熟女少妇极品色| 午夜爱爱视频在线播放| 免费黄网站久久成人精品| 伦精品一区二区三区| 日日啪夜夜撸| 国产av不卡久久| 国产精华一区二区三区| 九九爱精品视频在线观看| 亚洲性久久影院| 国产乱人视频| 国产成年人精品一区二区| 91久久精品国产一区二区成人| 99热全是精品| 国产欧美日韩精品一区二区| 在线a可以看的网站| 人人妻人人澡欧美一区二区| 国产成人福利小说| 最近手机中文字幕大全| 中文字幕免费在线视频6| 日韩在线高清观看一区二区三区| 亚洲中文字幕一区二区三区有码在线看| 精华霜和精华液先用哪个| 成人漫画全彩无遮挡| 亚洲欧美中文字幕日韩二区| 老女人水多毛片| 国产老妇女一区| 少妇被粗大猛烈的视频| 免费看美女性在线毛片视频| 99久国产av精品国产电影| 国产av一区在线观看免费| 不卡视频在线观看欧美| 亚洲真实伦在线观看| 欧美一区二区国产精品久久精品| 别揉我奶头~嗯~啊~动态视频| 又爽又黄a免费视频| 白带黄色成豆腐渣| 美女免费视频网站| or卡值多少钱| 一进一出抽搐动态| 国产色婷婷99| 少妇高潮的动态图| 无遮挡黄片免费观看| 听说在线观看完整版免费高清| 亚洲国产色片| 国产色爽女视频免费观看| av天堂中文字幕网| 看非洲黑人一级黄片| 一级毛片久久久久久久久女| 久久久久性生活片| av专区在线播放| 国产免费一级a男人的天堂| 丰满人妻一区二区三区视频av| 久久6这里有精品| 一卡2卡三卡四卡精品乱码亚洲| 久久久欧美国产精品| 日韩av不卡免费在线播放| 哪里可以看免费的av片| 在现免费观看毛片| 久久久久久久亚洲中文字幕| 99视频精品全部免费 在线| 亚洲美女视频黄频| 亚洲五月天丁香| 最近最新中文字幕大全电影3| 内地一区二区视频在线| 欧美3d第一页| 欧美+日韩+精品| 黄片wwwwww| 卡戴珊不雅视频在线播放| 国内久久婷婷六月综合欲色啪| 欧美激情国产日韩精品一区| av中文乱码字幕在线| 欧美性感艳星| 日本撒尿小便嘘嘘汇集6| 欧美最黄视频在线播放免费| 亚洲精品亚洲一区二区| 国产一区二区亚洲精品在线观看| 国内精品宾馆在线| 亚洲欧美日韩高清在线视频| 变态另类成人亚洲欧美熟女| 久久久成人免费电影| 99久久无色码亚洲精品果冻| 国产精品一二三区在线看| 搞女人的毛片| www日本黄色视频网| 日本a在线网址| 高清毛片免费看| h日本视频在线播放| www.色视频.com| 美女内射精品一级片tv| 国产大屁股一区二区在线视频| 一级黄色大片毛片| 日本色播在线视频| 亚洲精品影视一区二区三区av| 欧美成人免费av一区二区三区| 欧美区成人在线视频| 精品久久久久久久久亚洲| 91久久精品国产一区二区成人| 蜜桃久久精品国产亚洲av| 天天一区二区日本电影三级| 精品国产三级普通话版| 日韩高清综合在线| 又爽又黄a免费视频| 亚洲欧美精品自产自拍| 黑人高潮一二区| 国产片特级美女逼逼视频| 大又大粗又爽又黄少妇毛片口| 国产精品综合久久久久久久免费| 久久久久久大精品| 性欧美人与动物交配| 国产色爽女视频免费观看| 国产片特级美女逼逼视频| 日本五十路高清| 精品久久国产蜜桃| 日韩欧美在线乱码| 五月玫瑰六月丁香| 丰满的人妻完整版| 欧美成人一区二区免费高清观看| 国产色爽女视频免费观看| 日韩一本色道免费dvd| 在线观看美女被高潮喷水网站| 美女高潮的动态| 国产免费男女视频| 少妇被粗大猛烈的视频| 久久午夜福利片| 青春草视频在线免费观看| 人人妻,人人澡人人爽秒播| 一夜夜www| 级片在线观看| 悠悠久久av| 噜噜噜噜噜久久久久久91| 中出人妻视频一区二区| 网址你懂的国产日韩在线| 天堂动漫精品| 日韩 亚洲 欧美在线| 尾随美女入室| 日韩精品有码人妻一区| 亚洲va在线va天堂va国产| 国产欧美日韩精品一区二区| 午夜福利18| 一区二区三区免费毛片| 午夜精品一区二区三区免费看| 亚洲精品亚洲一区二区| 91在线精品国自产拍蜜月| 亚洲天堂国产精品一区在线| 成人毛片a级毛片在线播放| 国国产精品蜜臀av免费| 久久草成人影院| 国产精品久久久久久久电影| 国产成年人精品一区二区| 三级毛片av免费| 亚洲国产精品合色在线| 99久久中文字幕三级久久日本| 99在线视频只有这里精品首页| 免费av观看视频| 男女做爰动态图高潮gif福利片| 精品欧美国产一区二区三| 亚洲人成网站在线观看播放| eeuss影院久久| 日韩亚洲欧美综合| 亚洲国产日韩欧美精品在线观看| 欧美日韩精品成人综合77777| 国产亚洲精品久久久com| 日韩在线高清观看一区二区三区| 日韩中字成人| 给我免费播放毛片高清在线观看| 久久久欧美国产精品| 欧美日韩精品成人综合77777| 一级毛片我不卡| 人人妻人人看人人澡| 精品国产三级普通话版| 久久午夜亚洲精品久久| 18+在线观看网站| 一a级毛片在线观看| 亚洲国产精品成人久久小说 | 搡老熟女国产l中国老女人| 婷婷六月久久综合丁香| 人妻少妇偷人精品九色| 亚洲,欧美,日韩| 91麻豆精品激情在线观看国产| 亚洲人与动物交配视频| 三级经典国产精品| 欧美性猛交黑人性爽| 成人亚洲精品av一区二区| 熟女电影av网| 国产精品女同一区二区软件| 级片在线观看| 日本五十路高清| 六月丁香七月| 国产精品野战在线观看| 欧美日韩精品成人综合77777| 1024手机看黄色片| 免费看光身美女| АⅤ资源中文在线天堂| 国产美女午夜福利| 中文字幕久久专区| 成人三级黄色视频| 国产高清视频在线观看网站| 成年av动漫网址| 久久鲁丝午夜福利片| 99热只有精品国产| a级毛色黄片| 永久网站在线| 免费大片18禁| av在线老鸭窝| 亚洲真实伦在线观看| 亚洲欧美清纯卡通| 国产伦一二天堂av在线观看| 丰满人妻一区二区三区视频av| 国产精品一二三区在线看| 熟女电影av网| 国产精品女同一区二区软件| 亚洲av成人精品一区久久| av国产免费在线观看| 亚洲欧美中文字幕日韩二区| 中国美白少妇内射xxxbb| 黑人高潮一二区| 美女高潮的动态| 亚洲电影在线观看av| 成人漫画全彩无遮挡| 国产高清三级在线| 少妇人妻一区二区三区视频| 久久国内精品自在自线图片| 少妇熟女aⅴ在线视频| 国产高清视频在线观看网站| 亚洲精品456在线播放app| 国产成人精品久久久久久| 69av精品久久久久久| 久久久精品大字幕| 自拍偷自拍亚洲精品老妇| 免费观看的影片在线观看| 日韩成人伦理影院| 黑人高潮一二区| 免费看日本二区| 国产女主播在线喷水免费视频网站 | 黄色配什么色好看| 精品久久国产蜜桃| 日本在线视频免费播放| 日韩人妻高清精品专区| 亚洲精品影视一区二区三区av| 国产亚洲精品综合一区在线观看| 久久99热这里只有精品18| 熟女人妻精品中文字幕| 国语自产精品视频在线第100页| 九九热线精品视视频播放| 尤物成人国产欧美一区二区三区| 99国产极品粉嫩在线观看| 久久国内精品自在自线图片| 精品少妇黑人巨大在线播放 | 国内精品一区二区在线观看| 欧美精品国产亚洲| 午夜精品国产一区二区电影 | 精品日产1卡2卡| 男女啪啪激烈高潮av片| 国模一区二区三区四区视频| 日韩成人伦理影院| 欧美精品国产亚洲| 欧美成人免费av一区二区三区| 天天躁夜夜躁狠狠久久av| 99riav亚洲国产免费| 亚洲欧美日韩东京热| 综合色av麻豆| 天堂网av新在线| 久久精品国产亚洲av香蕉五月| av女优亚洲男人天堂| 在线观看免费视频日本深夜| 69人妻影院| 午夜免费男女啪啪视频观看 | 久久精品国产鲁丝片午夜精品| 欧美日本亚洲视频在线播放| 久久久国产成人免费| 熟女电影av网| 成人午夜高清在线视频| 成人精品一区二区免费| 国产精品人妻久久久影院| 欧美高清性xxxxhd video| 亚洲精品一区av在线观看| 可以在线观看的亚洲视频| 久久精品91蜜桃| 一区二区三区免费毛片| 欧美日韩国产亚洲二区| 国产精品三级大全| 十八禁国产超污无遮挡网站| 一级a爱片免费观看的视频| 精品无人区乱码1区二区| 精品一区二区三区视频在线观看免费| 成人午夜高清在线视频| 91在线观看av| 国产亚洲91精品色在线| 日韩欧美国产在线观看| 男女下面进入的视频免费午夜| 日本撒尿小便嘘嘘汇集6| 国产爱豆传媒在线观看| 一级毛片我不卡| 亚洲av二区三区四区| 最近中文字幕高清免费大全6| 赤兔流量卡办理| АⅤ资源中文在线天堂| 欧美绝顶高潮抽搐喷水| 三级男女做爰猛烈吃奶摸视频| 观看美女的网站| 18+在线观看网站| 国产精品av视频在线免费观看| 男人狂女人下面高潮的视频| 日产精品乱码卡一卡2卡三| 麻豆成人午夜福利视频| av.在线天堂| 亚洲高清免费不卡视频| av在线亚洲专区| 色综合站精品国产| 人妻丰满熟妇av一区二区三区| 日日撸夜夜添| 亚洲图色成人| 黄片wwwwww| 免费看日本二区| 亚洲真实伦在线观看| 亚洲成人久久爱视频| 国产极品精品免费视频能看的| 最近手机中文字幕大全| 波野结衣二区三区在线| 国产高清有码在线观看视频| 中文资源天堂在线| 国产一区二区激情短视频| 国产色婷婷99| 97超视频在线观看视频| 国产综合懂色| 国产精品久久久久久精品电影| 蜜桃久久精品国产亚洲av| 午夜a级毛片| 成人亚洲精品av一区二区| 村上凉子中文字幕在线| 国产亚洲欧美98| 神马国产精品三级电影在线观看| 午夜爱爱视频在线播放| 亚洲欧美精品自产自拍| 最近手机中文字幕大全| 看片在线看免费视频| 99热网站在线观看| 如何舔出高潮| 搡老岳熟女国产| 久久草成人影院| 国产 一区精品| 免费看日本二区| 久久国产乱子免费精品| 美女 人体艺术 gogo| 你懂的网址亚洲精品在线观看 | 亚洲电影在线观看av| 97热精品久久久久久| 变态另类成人亚洲欧美熟女| 久久韩国三级中文字幕| 日韩在线高清观看一区二区三区| 欧美一区二区国产精品久久精品| 国产激情偷乱视频一区二区| 国产精品三级大全| 可以在线观看毛片的网站| 深夜精品福利| 乱码一卡2卡4卡精品| 日韩欧美一区二区三区在线观看| 欧美成人免费av一区二区三区| 五月伊人婷婷丁香| 亚洲精品456在线播放app| 免费看a级黄色片| 色视频www国产| 日韩精品青青久久久久久| 麻豆国产av国片精品| 国产女主播在线喷水免费视频网站 | 有码 亚洲区| 天堂av国产一区二区熟女人妻| 国产精品日韩av在线免费观看| 可以在线观看毛片的网站| 亚洲熟妇熟女久久| 国产欧美日韩精品一区二区| 亚洲熟妇熟女久久| 久久久久久久亚洲中文字幕| 日本精品一区二区三区蜜桃| 丝袜喷水一区| 国产高清视频在线观看网站| 亚洲人成网站高清观看| 亚洲国产欧洲综合997久久,| 国产探花在线观看一区二区| 麻豆国产97在线/欧美| 少妇的逼水好多| 美女xxoo啪啪120秒动态图| 欧美日韩国产亚洲二区| 一级毛片久久久久久久久女| 久久久久久久久久成人| 亚洲欧美日韩卡通动漫| 亚洲精品一卡2卡三卡4卡5卡| 一级毛片我不卡| 午夜福利在线观看免费完整高清在 | 国产精品一及| 国产大屁股一区二区在线视频| 色综合亚洲欧美另类图片| 国产aⅴ精品一区二区三区波| 久久99热这里只有精品18| 尤物成人国产欧美一区二区三区| 精品乱码久久久久久99久播| 亚洲欧美日韩高清在线视频| 精品久久国产蜜桃| 亚洲欧美成人精品一区二区| 欧美性感艳星| 亚洲欧美日韩东京热| 久久午夜福利片| 亚洲第一区二区三区不卡| 国产真实乱freesex| 午夜福利在线在线| 亚洲精品456在线播放app| 日韩精品有码人妻一区| 久久久久精品国产欧美久久久| 日本精品一区二区三区蜜桃| 日韩一区二区视频免费看| 中文字幕熟女人妻在线| 久久精品国产亚洲av涩爱 | 给我免费播放毛片高清在线观看| 麻豆久久精品国产亚洲av| 51国产日韩欧美| 亚洲欧美日韩无卡精品| 午夜精品国产一区二区电影 | 国产在线精品亚洲第一网站| 色哟哟·www| 97超碰精品成人国产| 两个人视频免费观看高清| 欧美最新免费一区二区三区| 一本久久中文字幕| ponron亚洲| 亚洲成a人片在线一区二区| 亚洲精品日韩在线中文字幕 | 亚洲国产精品国产精品| 亚洲国产欧洲综合997久久,| 看片在线看免费视频| 少妇裸体淫交视频免费看高清| 欧美不卡视频在线免费观看| 插阴视频在线观看视频| 悠悠久久av| 啦啦啦啦在线视频资源| 久久精品国产亚洲av香蕉五月| 久久久久久久亚洲中文字幕| 亚洲国产欧美人成| 伊人久久精品亚洲午夜| 97热精品久久久久久| 国产爱豆传媒在线观看| 色视频www国产| 黄片wwwwww| 丝袜喷水一区| 综合色av麻豆| 国产毛片a区久久久久| 日本欧美国产在线视频|