• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    面向圖卷積神經(jīng)網(wǎng)絡(luò)的FPGA部署及加速研究

    2024-09-16 00:00:00高強(qiáng)邵春霖李京潤(rùn)沈宗凱
    現(xiàn)代電子技術(shù) 2024年10期
    關(guān)鍵詞:存儲(chǔ)模塊

    摘" 要: 圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)算法在處理圖結(jié)構(gòu)數(shù)據(jù)任務(wù)中取得了突破性的成功,然而訓(xùn)練圖卷積神經(jīng)網(wǎng)絡(luò)需要大量的內(nèi)存空間及多次的隨機(jī)內(nèi)存訪問(wèn)等,這限制該算法的進(jìn)一步部署應(yīng)用?,F(xiàn)有圖卷積神經(jīng)網(wǎng)絡(luò)的部署及加速方案大多基于VitisHLS工具,該工具利用C/C++進(jìn)行開發(fā),幾乎沒(méi)有采用硬件描述語(yǔ)言的方案,存在軟硬件加速不徹底問(wèn)題。針對(duì)上述問(wèn)題,設(shè)計(jì)一種面向GCN的FPGA部署及加速架構(gòu)。該架構(gòu)主要由計(jì)算模塊和存儲(chǔ)模塊構(gòu)成,兩者都是利用硬件描述語(yǔ)言實(shí)現(xiàn)。計(jì)算模塊主要是用硬件描述語(yǔ)言來(lái)實(shí)現(xiàn)圖卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵算法,即將圖卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵算法映射到現(xiàn)場(chǎng)可編程門陣列中以實(shí)現(xiàn)硬件加速;緩存模塊主要是調(diào)用ROM IP核以及定義二維寄存器組,對(duì)輸入節(jié)點(diǎn)特征、歸一化后的鄰接矩陣、各個(gè)層的量化參數(shù)以及中間變量進(jìn)行存儲(chǔ),從而提高GCN算法的并行度。首先在Pycharm平臺(tái)上進(jìn)行模型訓(xùn)練并提取參數(shù)進(jìn)行量化,然后在Vivado平臺(tái)上對(duì)圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)和仿真測(cè)試,對(duì)比CPU、GPU的運(yùn)算性能。實(shí)驗(yàn)結(jié)果表明,所設(shè)計(jì)的圖卷積神經(jīng)網(wǎng)絡(luò)加速架構(gòu)提升了模型的推理速度。

    關(guān)鍵詞: 圖卷積神經(jīng)網(wǎng)絡(luò); FPGA加速器; 硬件描述語(yǔ)言; 計(jì)算模塊; 存儲(chǔ)模塊; 參數(shù)量化

    中圖分類號(hào): TN919?34; TP311" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼: A" " " " " " " " " " " 文章編號(hào): 1004?373X(2024)10?0039?08

    Research on FPGA deployment and acceleration of graph convolutional neural network

    Abstract: The graph convolutional neural network (GCN) algorithm has achieved breakthrough success in processing graph structured data tasks. However, training GCN requires a large amount of memory space and multiple random memory accesses, which limits the further deployment and application of the algorithm. Existing deployment and acceleration solutions for GCN mostly rely on the Vitis HLS tool, which is developed by means of C/C++. These solutions almost entirely neglect hardware description language, leading to incomplete software?hardware acceleration. To address these issues, a FPGA deployment and acceleration architecture tailored for GCN is proposed. The architecture is composed of computing modules and storage modules, which can be implemented by means of hardware description languages. In the computing module, the hardware description language is used to implement the key algorithm of GCN, mapping it to the field?programmable gate array (FPGA) for hardware acceleration. In the caching module, the read?only memory (ROM) IP core is primarily called and a two?dimensional register file is defined to store input node features, normalized adjacency matrices, quantized parameters of various layers, and intermediate variables, enhancing the parallelism of the GCN algorithm. The model training is conducted on the Pycharm platform and parameters are extracted for quantization, then the design and simulation test for GCN are conducted on the Vivado platform, and the computational performance of CPU and GPU are compared. The experimental results show that the designed GCN acceleration architecture can improve the inference speed of the model.

    Keywords: GCN; FPGA accelerator; hardware description language; calculation module; storage module; parameter quantification

    近年來(lái),隨著大數(shù)據(jù)和人工智能的快速發(fā)展,機(jī)器學(xué)習(xí)技術(shù)取得了革命性的進(jìn)展。在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等任務(wù)中,常用的機(jī)器學(xué)習(xí)算法適用于大小維度確定且排列有序的歐氏(Euclidean)數(shù)據(jù)。然而,實(shí)際場(chǎng)景中的數(shù)據(jù)越來(lái)越多地以圖的形式呈現(xiàn),這是一種復(fù)雜的非歐氏(non?Euclidean)數(shù)據(jù)表示形式。這種復(fù)雜的非歐氏數(shù)據(jù)表達(dá)方式包含了數(shù)據(jù)本身以及數(shù)據(jù)之間的依賴關(guān)系。例如,社交網(wǎng)絡(luò)[1]、蛋白質(zhì)分子結(jié)構(gòu)[2]、化學(xué)分子[3]、電商平臺(tái)客戶數(shù)據(jù)[4]等都可以用圖來(lái)表示。圖數(shù)據(jù)的復(fù)雜性對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)算法的設(shè)計(jì)和實(shí)現(xiàn)提出了更高的要求。然而,傳統(tǒng)的深度學(xué)習(xí)模型不能很好地處理圖結(jié)構(gòu)數(shù)據(jù),因此,研究人員開始關(guān)注如何將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖結(jié)構(gòu)數(shù)據(jù)上,并提出了各種圖神經(jīng)網(wǎng)絡(luò)模型[5]。在此背景之下,大量涌現(xiàn)出諸多基于圖結(jié)構(gòu)數(shù)據(jù)的新型機(jī)器學(xué)習(xí)算法模型——圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network, GNN)[6]。

    GNN算法需要進(jìn)行大量的矩陣計(jì)算和內(nèi)存訪問(wèn)操作,對(duì)處理器的算力和存儲(chǔ)器的要求非常高。然而目前的軟件實(shí)現(xiàn)方式在效率上存在一定的不足,這使得GNN的硬件加速方案成為亟需研究的領(lǐng)域[7?9]。目前可實(shí)現(xiàn)的硬件加速方案有GPU、CPU、ASIC、FPGA,新型GPU的應(yīng)用對(duì)圖神經(jīng)網(wǎng)絡(luò)(GNN)的運(yùn)算速度和能效比有顯著的影響。然而,GPU在處理海量節(jié)點(diǎn)的圖數(shù)據(jù)時(shí)存在一些限制,主要包括:內(nèi)存擴(kuò)展性不足和高功耗[7];CPU顯然有較高的同構(gòu)性和靈活性,但它的性能最差,無(wú)法勝任需要實(shí)時(shí)計(jì)算圖數(shù)據(jù)的場(chǎng)景;專用ASIC是定制的,可以解決性能和功耗問(wèn)題,但是靈活性很差,設(shè)計(jì)周期長(zhǎng),且需要專門的定制,這使得專用ASIC硬件加速方案成本非常之高。相比之下,F(xiàn)PGA在靈活性、可擴(kuò)展性、同構(gòu)性、功耗和成本方面都達(dá)到了理想水平,能更好地適應(yīng)網(wǎng)絡(luò)模型的升級(jí)、調(diào)整,集成了以上優(yōu)點(diǎn),因此圖神經(jīng)網(wǎng)絡(luò)的FPGA部署及硬件加速方案研究具有重要意義[10]。但是,F(xiàn)PGA因其特殊硬件結(jié)構(gòu),沒(méi)有一套簡(jiǎn)易的開發(fā)流程,需要一定的硬件電路知識(shí)作為支撐,所以存在著開發(fā)復(fù)雜、耗時(shí)較多等問(wèn)題[11]。為了減輕開發(fā)難度,眾多FPGA設(shè)計(jì)公司紛紛推出高層次綜合工具(High Level Synthesis, HLS),如Xilinx公司最新推出的Vitis平臺(tái)、Intel的OpenCL等[12]。開發(fā)者可以用C、C++等語(yǔ)言更快地搭建自己的硬件平臺(tái),但是該方法存在加速不徹底問(wèn)題[13?16]。

    綜合以上背景,本文基于FPGA設(shè)計(jì)一種面向圖卷積神經(jīng)網(wǎng)絡(luò)硬件加速方法,利用基于硬件描述語(yǔ)言的方法實(shí)現(xiàn)一個(gè)圖卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),完成實(shí)例設(shè)計(jì)并進(jìn)行仿真驗(yàn)證。

    1" 圖卷積神經(jīng)網(wǎng)絡(luò)和FPGA加速器

    1.1" 圖卷積神經(jīng)網(wǎng)絡(luò)

    圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network, GNN)的架構(gòu)與傳統(tǒng)的CNN存在許多相似之處,這些相似之處使得本文能夠借鑒傳統(tǒng)CNN的設(shè)計(jì)思想,并將其應(yīng)用于GNN的架構(gòu)設(shè)計(jì)中,以實(shí)現(xiàn)更高效、可擴(kuò)展的圖數(shù)據(jù)處理。

    圖1所示為一個(gè)典型的GNN架構(gòu)。

    GNN中的圖結(jié)構(gòu)數(shù)據(jù)Graph卷積計(jì)算與傳統(tǒng)CNN中的2D卷積計(jì)算是不同的。如圖2所示,針對(duì)黑色目標(biāo)節(jié)點(diǎn)的卷積計(jì)算,其計(jì)算過(guò)程如下。

    1) Graph卷積:通過(guò)鄰居函數(shù)對(duì)周圍節(jié)點(diǎn)特征進(jìn)行采樣,并計(jì)算其均值。這些鄰居節(jié)點(diǎn)的數(shù)量是不確定的,并且它們是無(wú)序的,因此適用于處理非歐氏數(shù)據(jù)。

    2) 2D卷積:通過(guò)卷積核對(duì)周圍節(jié)點(diǎn)特征進(jìn)行采樣,并計(jì)算其加權(quán)平均值。這些鄰居節(jié)點(diǎn)的數(shù)量是確定的,并且它們的順序是有序的,因此適用于處理歐氏數(shù)據(jù)。

    GCN是圖神經(jīng)網(wǎng)絡(luò)的里程碑,它首次將CNN中的卷積操作應(yīng)用于圖結(jié)構(gòu)數(shù)據(jù)處理中。GCN作為一種神經(jīng)網(wǎng)絡(luò)層,其層與層之間的傳播方式為:

    圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3所示。其中,[Xi]表示節(jié)點(diǎn)i的輸入特征向量,[C]表示節(jié)點(diǎn)特征維度,[F]為節(jié)點(diǎn)真實(shí)標(biāo)簽維度,[Zi]表示節(jié)點(diǎn)i的輸出特征向量,[Yi]表示節(jié)點(diǎn)i的真實(shí)標(biāo)簽[1]。

    1.2" FPGA加速器

    FPGA加速器是一種基于可編程邏輯門陣列(FPGA)的硬件加速器,如圖4所示。其基本結(jié)構(gòu)由6個(gè)部分組成:可編程輸入/輸出單元、基本可編程邏輯單元、嵌入式塊RAM、豐富的布線資源、底層嵌入功能單元和內(nèi)嵌專用硬核,通過(guò)利用FPGA的可編程性和并行處理能力,加快模型的運(yùn)算和推理速度。

    FPGA加速器的原理是:將深度學(xué)習(xí)模型的關(guān)鍵算法和數(shù)據(jù)流映射到FPGA邏輯門陣列中,可以獲得比通用處理器(CPU、GPU)更高的處理性能。

    2" 面向圖卷積神經(jīng)網(wǎng)絡(luò)的FPGA部署及加速設(shè)計(jì)

    2.1" 圖卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)及訓(xùn)練

    GCN的主要思想是將每個(gè)節(jié)點(diǎn)的特征與其周圍節(jié)點(diǎn)的特征進(jìn)行聚合,形成新的節(jié)點(diǎn)表示。本文使用GCN來(lái)實(shí)現(xiàn)圖節(jié)點(diǎn)分類,其一般模型訓(xùn)練流程如圖5所示。

    2.1.1" 數(shù)據(jù)集選取

    本次實(shí)驗(yàn)硬件加速器是基于現(xiàn)場(chǎng)可編程門陣列,F(xiàn)PGA片內(nèi)資源有限,GCN涉及到大量的矩陣運(yùn)算,將占用很多的邏輯資源,所以選擇一個(gè)節(jié)點(diǎn)相對(duì)較少的數(shù)據(jù)集KarateClub進(jìn)行實(shí)驗(yàn)。KarateClub數(shù)據(jù)集是一個(gè)社交網(wǎng)絡(luò)數(shù)據(jù)集,記錄了一個(gè)小型空手道俱樂(lè)部的成員之間的關(guān)系。如圖6所示,它由34個(gè)成員和78個(gè)關(guān)系組成,其中數(shù)據(jù)集的節(jié)點(diǎn)代表俱樂(lè)部成員,邊則代表他們之間的友誼。本次實(shí)驗(yàn)將使用該數(shù)據(jù)集作為GCN的訓(xùn)練數(shù)據(jù)集,需把該數(shù)據(jù)集的信息轉(zhuǎn)化成矩陣作為GCN的輸入。

    2.1.2" 讀取節(jié)點(diǎn)特征

    KarateClub數(shù)據(jù)集并沒(méi)有節(jié)點(diǎn)特征,只有節(jié)點(diǎn)和邊(關(guān)系)兩種元素,每個(gè)節(jié)點(diǎn)被用數(shù)字1~34作為唯一標(biāo)識(shí)符和名稱。因此采用單位矩陣作為GCN模型的特征矩陣,即將每個(gè)節(jié)點(diǎn)表示為一個(gè)n維的特征向量,其中n是網(wǎng)絡(luò)中節(jié)點(diǎn)的總數(shù)。

    2.1.3" 讀取鄰接矩陣并進(jìn)行歸一化

    KarateClub數(shù)據(jù)集的鄰接矩陣A是一個(gè)34×34的矩陣,其中每個(gè)元素A_ij表示節(jié)點(diǎn)i和節(jié)點(diǎn)j之間是否存在一條邊(有關(guān)系)。在該數(shù)據(jù)集中,如果節(jié)點(diǎn)i和節(jié)點(diǎn)j之間存在一條邊,則A_ij=1,否則A_ij=0。由于該圖是無(wú)向圖,矩陣A也是對(duì)稱的,即A_ij=A_ji。通常鄰接矩陣還包括自己和自己連接的信息,即[A=A+IN],[IN]為34×34單位矩陣。

    為了計(jì)算某個(gè)節(jié)點(diǎn)的嵌入向量,通常需要考慮其鄰居節(jié)點(diǎn)的度數(shù)。如果鄰居節(jié)點(diǎn)的度數(shù)較大,那么它們的特征將會(huì)對(duì)該節(jié)點(diǎn)的嵌入向量產(chǎn)生更大的影響。在圖神經(jīng)網(wǎng)絡(luò)中,通常會(huì)對(duì)鄰接矩陣進(jìn)行歸一化,使得每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)信息對(duì)節(jié)點(diǎn)的影響相對(duì)平衡。常見的歸一化方法包括行歸一化、列歸一化和對(duì)稱歸一化。行歸一化和列歸一化互為轉(zhuǎn)置,該方式是將每個(gè)節(jié)點(diǎn)與其相連的邊權(quán)值除以這些邊權(quán)值之和,公式如下:

    因此本文選用對(duì)稱歸一化,計(jì)算過(guò)程如式(4)所示,歸一化后的節(jié)點(diǎn)特征的范數(shù)不超過(guò)一個(gè)固定的值,有效地控制不同特征之間的相對(duì)重要性。該方法既考慮了自己的度,又考慮了對(duì)方節(jié)點(diǎn)的度,防止某些特征對(duì)模型結(jié)果的貢獻(xiàn)過(guò)大,從而提高模型的泛化能力和魯棒性。

    2.1.4" GCN模型的搭建及訓(xùn)練

    選用三層圖卷積網(wǎng)絡(luò)層,外加一個(gè)分類器來(lái)搭建GCN模型?;镜腉CN模型搭建及訓(xùn)練的步驟如下。

    步驟2:將得到歸一化后的鄰接矩陣和特征矩陣輸入圖卷積層,目標(biāo)函數(shù)為公式(1),圖卷積層的網(wǎng)絡(luò)框架如圖7所示,第一層圖卷積層中計(jì)算得到每一節(jié)點(diǎn)新的嵌入表示[H(1)],目標(biāo)函數(shù)為:

    式中:[H(0)]為數(shù)據(jù)集原始特征向量,即[H(0)]=[X];[W(0)]為第一層的可學(xué)習(xí)參數(shù)矩陣;[σ(?)]激活函數(shù)選取[ReLU(?)]函數(shù),目標(biāo)函數(shù)為:

    第二層圖卷積目標(biāo)函數(shù)如下:

    式中:第一層的輸出特征[H(1)]作為第二層的輸入特征;[W(1)]為第二層的可學(xué)習(xí)參數(shù)矩陣。

    第三層圖卷積目標(biāo)函數(shù)如下:

    式中:第二層的輸出特征[H(2)]作為第三層的輸入特征;[W(2)]為第三層的可學(xué)習(xí)參數(shù)矩陣。

    最后再經(jīng)過(guò)一個(gè)分類層,輸出每個(gè)節(jié)點(diǎn)的真實(shí)特征維度,目標(biāo)函數(shù)如下:

    [out=H(3)W(3)]" " (9)

    式中:第三層的輸出特征[H(3)]作為分類器的輸入;[W(3)]為分類器的可學(xué)習(xí)參數(shù)矩陣。

    在訓(xùn)練時(shí),需要根據(jù)實(shí)際數(shù)據(jù)集情況設(shè)置各個(gè)圖卷積層中權(quán)重矩陣維度大小,在最后線性層輸出中要保證分類器輸出每個(gè)節(jié)點(diǎn)的特征維度與真實(shí)標(biāo)簽維度保持一致。

    步驟3:訓(xùn)練時(shí)通過(guò)反向傳播算法更新每一層網(wǎng)絡(luò)的參數(shù),其中損失函數(shù)采用交叉熵?fù)p失函數(shù)。

    步驟4:建立優(yōu)化器Adam,設(shè)置學(xué)習(xí)率為0.01。

    根據(jù)上述分析,基于圖卷積神經(jīng)網(wǎng)絡(luò)的圖節(jié)點(diǎn)分類模型具體訓(xùn)練步驟和算法如下:

    算法1:基于卷積神經(jīng)網(wǎng)絡(luò)的分類算法

    輸入:根據(jù)公式(3)得到的歸一化后的鄰接矩陣[A]以及特征矩陣[Η(0)]、網(wǎng)絡(luò)訓(xùn)練層數(shù)L、初始化權(quán)重矩陣[W(L)]。

    輸出:網(wǎng)絡(luò)模型中各個(gè)圖卷積層不同的權(quán)重參數(shù)矩陣以及節(jié)點(diǎn)的特征向量。

    計(jì)算步驟:

    1.for [l]=0 to [L]-1

    2.for k=0 to K do

    3.根據(jù)式(1),計(jì)算第L+1層圖卷積層的輸出特征[H(L+1)]

    4.end for

    5.end for

    6.[H(L-1)]輸入到分類器,根據(jù)交叉熵?fù)p失函數(shù)計(jì)算損失值

    7.使用反向傳播算法更新圖卷積層權(quán)重參數(shù)

    2.2" 面向GCN的FPGA加速架構(gòu)設(shè)計(jì)

    面向GCN的FPGA加速架構(gòu)是一種利用FPGA的特性加速GCN網(wǎng)絡(luò)的方法。將GCN網(wǎng)絡(luò)中的關(guān)鍵算法映射到底層的可編程邏輯單元中,通過(guò)FPGA高效的并行計(jì)算能力,以提高GCN網(wǎng)絡(luò)的計(jì)算效率和能效。其中,F(xiàn)PGA的計(jì)算速度和系統(tǒng)時(shí)鐘頻率息息相關(guān),計(jì)算模塊和數(shù)據(jù)的傳輸是依據(jù)系統(tǒng)時(shí)鐘來(lái)設(shè)計(jì)的。本實(shí)驗(yàn)的計(jì)算模塊和存儲(chǔ)模塊是采用硬件描述語(yǔ)言來(lái)設(shè)計(jì)的,可以充分利用硬件描述語(yǔ)言的優(yōu)勢(shì)來(lái)提高算法的并行度,從而加快模型的推理速度。面向GCN的FPGA加速架構(gòu)的主要設(shè)計(jì)內(nèi)容是模型參數(shù)提取量化、存儲(chǔ)模塊設(shè)計(jì)、算法模塊設(shè)計(jì)。

    2.2.1" 參數(shù)的量化

    由于FPGA處理浮點(diǎn)數(shù)需要調(diào)用IP核,實(shí)現(xiàn)起來(lái)相對(duì)較麻煩,但是處理整數(shù)比較容易實(shí)現(xiàn);所以在進(jìn)行參數(shù)量化時(shí)需要進(jìn)行左移取整,在FPGA資源允許的情況下,左移位寬越大計(jì)算出來(lái)的精度損失越小。

    在本次設(shè)計(jì)中,選擇左移12位。首先,在Pycharm平臺(tái)中將訓(xùn)練完成的GCN網(wǎng)絡(luò)模型各個(gè)層的參數(shù)提取出來(lái)進(jìn)行量化,將各個(gè)層的參數(shù)以及歸一化后的鄰接矩陣左移12位寬再向下取整,即乘以4 096后向下取整;其次,將參數(shù)轉(zhuǎn)化為二進(jìn)制的補(bǔ)碼進(jìn)行存儲(chǔ)運(yùn)算,因?yàn)閰?shù)中有正有負(fù),使用二進(jìn)制的補(bǔ)碼表示可以方便地表示正負(fù)數(shù),其中正數(shù)的補(bǔ)碼等于其原碼,而負(fù)數(shù)的補(bǔ)碼需要進(jìn)行按位取反,并在最低位加1。補(bǔ)碼的最高位用于表示符號(hào),即最高位為1表示負(fù)數(shù),為0表示正數(shù)。這種表示方法使得正負(fù)數(shù)的表示更加一致和便捷。

    2.2.2" 存儲(chǔ)模塊設(shè)計(jì)

    由于GCN是屬于直推式(transductive)的學(xué)習(xí)模型,所以本次實(shí)驗(yàn)需將整個(gè)數(shù)據(jù)集量化之后存儲(chǔ)于FPGA中,設(shè)計(jì)一個(gè)合理的存儲(chǔ)結(jié)構(gòu)非常重要。根據(jù)本次實(shí)驗(yàn)的數(shù)據(jù)集的大小和參數(shù)矩陣維度,選擇ROM結(jié)合寄存器變量方式進(jìn)行存儲(chǔ),實(shí)驗(yàn)中選用單端口的ROM只讀存儲(chǔ)器。

    將量化之后的參數(shù)寫入coe文件中,載入ROM IP核初始化文件時(shí),在SystemVerilog中定義二維寄存器組,相當(dāng)于一個(gè)寄存器矩陣,在Verilog中不能定義二維數(shù)組變量。然后設(shè)計(jì)一個(gè)橫向計(jì)數(shù)器和縱向計(jì)數(shù)器來(lái)對(duì)二維數(shù)組的每行和每列的位置進(jìn)行操控。具體來(lái)說(shuō),就是把各個(gè)GCN網(wǎng)絡(luò)層的權(quán)重參數(shù)矩陣[W(l)]和特征矩陣[H(l)]分別自動(dòng)存儲(chǔ)到不同的二維寄存器組中,直接供算法模塊計(jì)算,以便提高算法的并行度。其中,各個(gè)網(wǎng)絡(luò)層輸出特征矩陣也存儲(chǔ)于二維寄存器組中,作為下一網(wǎng)絡(luò)層的輸入。由于各個(gè)網(wǎng)絡(luò)層的偏置是一維的,因此直接將偏置存儲(chǔ)在寄存器中。需要注意的是,定義二維寄存器組變量時(shí),各個(gè)對(duì)應(yīng)的二維寄存器組的維度要保證和GCN網(wǎng)絡(luò)層的權(quán)重參數(shù)以及數(shù)據(jù)集的特征矩陣維度保持一致,偏置的維度要和各個(gè)網(wǎng)絡(luò)層輸出特征矩陣的列數(shù)保持一致。

    2.2.3" 計(jì)算模塊設(shè)計(jì)

    GCN網(wǎng)絡(luò)結(jié)構(gòu)中涉及大量的矩陣相乘運(yùn)算,其關(guān)鍵算法也是矩陣相乘運(yùn)算,因此設(shè)計(jì)一個(gè)高效的矩陣運(yùn)算架構(gòu)至關(guān)重要。在矩陣相乘操作中,用硬件描述語(yǔ)言設(shè)計(jì)了如算法2所示的架構(gòu)。設(shè)計(jì)一個(gè)三層嵌套for循環(huán)來(lái)實(shí)現(xiàn)矩陣相乘,將各個(gè)網(wǎng)絡(luò)層輸出特征矩陣的每個(gè)元素分別加上該層的偏置項(xiàng),再將結(jié)果輸入到激活函數(shù)[ReLU(?)]中。對(duì)于激活函數(shù)[ReLU(?)]的實(shí)現(xiàn),根據(jù)式(6),設(shè)計(jì)一個(gè)組合邏輯電路來(lái)判斷各個(gè)網(wǎng)絡(luò)層輸出的特征矩陣的每個(gè)元素的最高位,最高位為0則保留該數(shù)據(jù),為1則對(duì)該元素賦值為0。

    算法2:基于嵌套for循環(huán)實(shí)現(xiàn)矩陣相乘操作,如[Cm×s=Am×n×Bn×s]。

    輸入:矩陣[Am×n]和矩陣[Bn×s]

    輸出:矩陣[Cm×s]

    計(jì)算步驟:

    1.for m=0 to M-1 do

    2.for s=0 to S-1 do

    3.C[m][s]=0

    4.for n=0 to N-1 do

    5.C[m][s]=C[m][s]+A[m][n]*B[n][s]

    6.end for

    7.end for

    8.end for

    在設(shè)計(jì)矩陣運(yùn)算代碼時(shí),需將中間變量定義成logic類型,而不是reg類型,否則將導(dǎo)致輸出信號(hào)為一個(gè)不確定的值。由于歸一化后的鄰接矩陣和初始特征矩陣是經(jīng)量化處理后的,根據(jù)式(1)的乘法關(guān)系,在第一個(gè)網(wǎng)絡(luò)層輸出的特征矩陣中,輸出特征向量實(shí)際上是在原始量化的基礎(chǔ)上放大了4 0962倍,所以需將第一層的偏置放大4 0963倍再向下取整;輸入到第二層的特征矩陣也是在原始量化的基礎(chǔ)上放大4 0962倍之后的結(jié)果,第二層的輸出結(jié)果將是在原始量化的基礎(chǔ)上放大4 0964倍后的結(jié)果。根據(jù)每個(gè)變量的位寬和精度損失情況,將第二層輸出的結(jié)果除以4 096,第二層的偏置就應(yīng)放大4 0964倍再向下取整。第三層的輸出結(jié)果將會(huì)是在原始量化的基礎(chǔ)上的4 0965倍,將結(jié)果除以4 0962,第三層偏置也應(yīng)放大4 0964倍再向下取整,最后線性層的輸出結(jié)果將會(huì)是在原始量化的基礎(chǔ)上的4 0964倍,將結(jié)果除以4 0962,線性層的偏置也應(yīng)放大4 0963倍再向下取整。

    3" 實(shí)驗(yàn)及結(jié)果

    3.1" 實(shí)驗(yàn)環(huán)境

    數(shù)據(jù)集的預(yù)處理及GCN模型訓(xùn)練使用Python 3.7編程語(yǔ)言,在PyCharm 2019.2中進(jìn)行GCN對(duì)圖數(shù)據(jù)節(jié)點(diǎn)分類的實(shí)現(xiàn),CPU為9th Gen Intel Core i7?9750H,內(nèi)存大小為16 GB,GPU為 NVIDIA GeForce RTX 1650。硬件系統(tǒng)是基于XilinxArtix 7 xc7a35tfgg484實(shí)現(xiàn)的,系統(tǒng)時(shí)鐘為50 MHz,在Vivado 2019.2平臺(tái)上設(shè)計(jì)硬件架構(gòu)系統(tǒng)。

    3.2" 實(shí)驗(yàn)結(jié)果

    3.2.1" GCN實(shí)驗(yàn)結(jié)果

    表1所示為CPU、GPU訓(xùn)練時(shí)間對(duì)比結(jié)果。

    圖9所示為KarateClub網(wǎng)絡(luò)中節(jié)點(diǎn)嵌入在多次訓(xùn)練迭代中的變化過(guò)程,顏色表示類別。該模型僅依靠最小監(jiān)督和圖結(jié)構(gòu),成功實(shí)現(xiàn)了群體的線性分離。

    本文采用節(jié)點(diǎn)較多的Cora數(shù)據(jù)集進(jìn)行CPU和GPU對(duì)比實(shí)驗(yàn)。該數(shù)據(jù)集是一個(gè)根據(jù)科學(xué)論文之間相互引用關(guān)系而構(gòu)建的Graph數(shù)據(jù)集合,共有2 708個(gè)頂點(diǎn),每個(gè)頂點(diǎn)有1 443個(gè)特征,共有7個(gè)類別。實(shí)驗(yàn)結(jié)果如表2所示,從中可知GPU在訓(xùn)練和推理小型模型的時(shí)候加速作用不明顯,在大型模型中效果顯著。

    如圖10所示,GCN模型經(jīng)過(guò)多次半監(jiān)督訓(xùn)練迭代后得到的KarateClub網(wǎng)絡(luò)節(jié)點(diǎn)嵌入的演化,將該數(shù)據(jù)集的34個(gè)節(jié)點(diǎn)分成4類,顏色代表類別。觀察損失值隨訓(xùn)練次數(shù)的變化情況,可以發(fā)現(xiàn)訓(xùn)練次數(shù)在第1~250次之間,損失值隨著訓(xùn)練次數(shù)的增大呈大幅度下降趨勢(shì),直到第250次以后,損失值逐漸趨于穩(wěn)定。

    3.2.2" 面向GCN的FPGA部署及加速實(shí)驗(yàn)結(jié)果

    經(jīng)過(guò)三層GCN網(wǎng)絡(luò)結(jié)構(gòu)輸出的特征向量是2個(gè)維度的,通過(guò)一個(gè)Linear層使輸出的特征維度等于真實(shí)標(biāo)簽的維度。其中,Linear層的in_features為2,out_features為4,在最終輸出的節(jié)點(diǎn)特征向量中,每個(gè)節(jié)點(diǎn)特征向量中的最大值所在序號(hào)為該點(diǎn)的屬性類別。FPGA中Linear層所輸出的節(jié)點(diǎn)特征向量是放大4 0963后的一個(gè)結(jié)果,查看節(jié)點(diǎn)的真實(shí)輸出特征值需除以4 0963。如表3和表4所示,在FPGA平臺(tái)輸出的特征向量和Pycharm平臺(tái)輸出的特征向量進(jìn)行對(duì)比,可看出特征向量會(huì)有精度損失,但損失很小,輸出節(jié)點(diǎn)的類別一致。

    表5所示為GCN模型在不同的處理器上推理的時(shí)間。從表中可以看出,F(xiàn)PGA的推理速度比CPU快約4.8倍,比GPU快約8 350倍,充分體現(xiàn)了FPGA并行度高的優(yōu)勢(shì),可以實(shí)現(xiàn)復(fù)雜的并行計(jì)算任務(wù)并提高計(jì)算效率。

    4" 結(jié)" 語(yǔ)

    本文設(shè)計(jì)了一種面向GCN的FPGA部署及加速架構(gòu),其主要設(shè)計(jì)內(nèi)容包括參數(shù)提取量化、算法模塊設(shè)計(jì)和存儲(chǔ)模塊設(shè)計(jì)。仿真和測(cè)試結(jié)果表明,F(xiàn)PGA的模型推理速度比CPU、GPU快,充分體現(xiàn)了FPGA并行度高的優(yōu)勢(shì),可以實(shí)現(xiàn)復(fù)雜的并行計(jì)算任務(wù)并提高計(jì)算效率。

    因此,本文所述的設(shè)計(jì)方法在深度學(xué)習(xí)FPGA加速器方面具有重要意義和實(shí)用價(jià)值。

    參考文獻(xiàn)

    [1] YANG P, TONG L, QIAN B, et al. Hyperspectral image classification with spectral and spatial graph using inductive representation learning network [J]. IEEE journal of selected topics in applied earth observations and remote sensing, 2021(14): 791?800.

    [2] GAO P, ZHANG J, SUN Y, et al. Toward accurate predictions of atomic properties via quantum mechanics descriptors augmented graph convolutional neural network: application of this novel approach in nmr chemical shifts predictions [J]. The journal of physical chemistry letters, 2020, 11(22): 9812?9818.

    [3] YING R, HE R, CHEN K, et al. Graph convolutional neural networks for web?scale recommender systems [C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. London: ACM, 2018: 947?983.

    [4] ZHANG Z, CUI P, ZHU W. Deep learning on graphs: a survey [J]. IEEE transactions on knowledge and data engineering, 2020, 34(1): 249?270.

    [5] ZHOU J, CUI G, HU S, et al. Graph neural networks: a review of methods and applications [J]. AI open, 2020, 1: 57?81.

    [6] WEN X M, FANG S L, XU Z J, et al. Joint multidimensional pattern for spectrum prediction using GNN [J]. Sensors, 2023, 23(21): 234?260.

    [7] WU Z, PAN S, CHEN F, et al. A comprehensive survey on graph neural networks [J]. IEEE transactions on neural networks and learning systems, 2020, 32(1): 4?24.

    [8] SUN K, LIN Z, ZHU Z. Multi?stage self?supervised learning for graph convolutional networks on graphs with few labeled nodes [J]. Proceedings of the AAAI conference on artificial intelligence, 2020, 34(4): 5892?5899.

    [9] 吳李煜,張紫龍,張華君,等.基于嵌入式FPGA的航拍目標(biāo)檢測(cè)解決方案[J].現(xiàn)代電子技術(shù),2022,45(2):1?6.

    [10] 張海龍,杜旭,張萌,等.基于Vitis HLS的FIR濾波器設(shè)計(jì)及其性能分析[J/OL].吉林大學(xué)學(xué)報(bào)(工學(xué)版):1?11[2023?09?15].https://doi.org/10.13229/j.cnki.jdxbgxb.20230566.

    [11] 梅冰笑,滕文彬,張弛,等.FPGA平臺(tái)上動(dòng)態(tài)硬件重構(gòu)的Winograd神經(jīng)網(wǎng)絡(luò)加速器[J/OL].計(jì)算機(jī)工程與應(yīng)用:1?13[2023?10?26].http://kns.cnki.net/kcms/detail/11.2127.tp.20231025.1528.018.html.

    [12] 劉彬宇.基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)硬件加速器設(shè)計(jì)及應(yīng)用研究[D].綿陽(yáng):西南科技大學(xué),2022.

    [13] 吳進(jìn),趙博,汶恒等.一種異構(gòu)架構(gòu)的圖神經(jīng)網(wǎng)絡(luò)加速器優(yōu)化研究[J].北京郵電大學(xué)學(xué)報(bào),2023,46(3):19?24.

    [14] 李天陽(yáng),張帆,王松,等.基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)和視覺(jué)Transformer通用加速器[J/OL].電子與信息學(xué)報(bào):1?10[2023?10?10]. http://kns.cnki.net/kcms/detail/11.4494.TN.20231008.1528.004.html.

    [15] 楊正,闞宏偉,劉鐵軍,等.FPGA異構(gòu)加速卡電源完整性分析[J].北京郵電大學(xué)學(xué)報(bào),2018,41(4):76?80.

    猜你喜歡
    存儲(chǔ)模塊
    基于MinI0分布式存儲(chǔ)的微服務(wù)模塊開發(fā)應(yīng)用
    全國(guó)產(chǎn)化NVMe存儲(chǔ)模塊方案設(shè)計(jì)實(shí)現(xiàn)
    火箭測(cè)試平臺(tái)多通道脈動(dòng)壓力的同步采集與數(shù)據(jù)回收
    基于Zynq-7100數(shù)據(jù)存儲(chǔ)模塊的設(shè)計(jì)
    Burden of Cirrhosis and Other Chronic Liver Diseases Caused by Specific Etiologies in China, 1990?2016:Findings from the Global Burden of Disease Study 2016
    應(yīng)用SpaceWire網(wǎng)絡(luò)的航天器分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)
    航天器工程(2019年2期)2019-05-10 08:59:00
    雷達(dá)內(nèi)嵌式偵測(cè)信號(hào)高速數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)
    MiR-125a-5p is Upregulated in Plasma of Residents from An Electronic Waste Recycling Site
    數(shù)據(jù)采集系統(tǒng)在環(huán)保工程中的應(yīng)用研究
    超級(jí)存儲(chǔ)模塊
    CHIP新電腦(2016年3期)2016-03-10 14:13:01
    色婷婷av一区二区三区视频| 亚洲欧美中文字幕日韩二区| 美女脱内裤让男人舔精品视频| av线在线观看网站| 国产成人aa在线观看| 在线观看免费高清a一片| 毛片一级片免费看久久久久| 高清不卡的av网站| 在线观看免费高清a一片| 老司机亚洲免费影院| 国产美女午夜福利| 欧美丝袜亚洲另类| 亚洲精品国产av蜜桃| 老女人水多毛片| 一级毛片aaaaaa免费看小| 免费看不卡的av| 亚洲久久久国产精品| 亚洲在久久综合| 亚洲精品自拍成人| 日韩强制内射视频| 日本黄色片子视频| 色5月婷婷丁香| 在线观看av片永久免费下载| 国产视频首页在线观看| 国产黄色视频一区二区在线观看| kizo精华| 久久99精品国语久久久| 在线观看美女被高潮喷水网站| 亚洲精品成人av观看孕妇| 日韩精品免费视频一区二区三区 | 简卡轻食公司| 日韩电影二区| 亚洲欧美精品自产自拍| 国产精品欧美亚洲77777| 中文乱码字字幕精品一区二区三区| 少妇精品久久久久久久| 亚洲电影在线观看av| 我的女老师完整版在线观看| 国产精品嫩草影院av在线观看| 91成人精品电影| av福利片在线观看| 国产欧美另类精品又又久久亚洲欧美| 老司机影院成人| 国产日韩欧美在线精品| 久久免费观看电影| 色哟哟·www| 国产精品久久久久久精品电影小说| 精品久久久噜噜| 高清午夜精品一区二区三区| 午夜激情久久久久久久| 秋霞在线观看毛片| 亚洲精华国产精华液的使用体验| 国产 一区精品| 青青草视频在线视频观看| 久久精品国产亚洲网站| 人妻一区二区av| 汤姆久久久久久久影院中文字幕| 一区二区三区四区激情视频| 亚洲av综合色区一区| 国产毛片在线视频| 日韩伦理黄色片| 亚洲欧洲精品一区二区精品久久久 | 国产免费又黄又爽又色| 又黄又爽又刺激的免费视频.| 成人午夜精彩视频在线观看| 国产成人午夜福利电影在线观看| 九草在线视频观看| 中文字幕人妻丝袜制服| 蜜臀久久99精品久久宅男| 美女主播在线视频| 高清av免费在线| 国产高清有码在线观看视频| 国语对白做爰xxxⅹ性视频网站| 日本欧美国产在线视频| 国产精品99久久99久久久不卡 | 久久青草综合色| 久久久久网色| 91精品国产九色| 久久久久久久亚洲中文字幕| 国产成人一区二区在线| 新久久久久国产一级毛片| 亚洲三级黄色毛片| 成年人免费黄色播放视频 | www.色视频.com| 亚洲欧洲精品一区二区精品久久久 | 国产综合精华液| 国产无遮挡羞羞视频在线观看| 在线精品无人区一区二区三| 亚洲伊人久久精品综合| 亚洲欧美清纯卡通| 大又大粗又爽又黄少妇毛片口| 亚洲精品aⅴ在线观看| 国产精品免费大片| 免费看av在线观看网站| 高清午夜精品一区二区三区| 狂野欧美激情性xxxx在线观看| 久久精品国产亚洲网站| 欧美激情极品国产一区二区三区 | 街头女战士在线观看网站| 欧美日韩视频高清一区二区三区二| 91精品国产九色| 亚洲成色77777| 一本—道久久a久久精品蜜桃钙片| 国产精品嫩草影院av在线观看| 秋霞伦理黄片| 日本午夜av视频| 午夜福利视频精品| 久久婷婷青草| 久久精品国产自在天天线| 六月丁香七月| 青春草国产在线视频| 国产日韩欧美视频二区| 成年av动漫网址| 啦啦啦在线观看免费高清www| 美女国产视频在线观看| 18禁在线无遮挡免费观看视频| 精品亚洲成a人片在线观看| 大话2 男鬼变身卡| 一级二级三级毛片免费看| 中文乱码字字幕精品一区二区三区| 亚洲国产欧美在线一区| 草草在线视频免费看| 精品一区在线观看国产| 亚洲精品久久午夜乱码| 国产成人午夜福利电影在线观看| 日韩欧美一区视频在线观看 | 精华霜和精华液先用哪个| 久久久国产一区二区| 99九九线精品视频在线观看视频| 夜夜骑夜夜射夜夜干| 午夜视频国产福利| 精品人妻一区二区三区麻豆| 精品久久久噜噜| 日韩成人伦理影院| 国产熟女欧美一区二区| 日韩一本色道免费dvd| 99久久中文字幕三级久久日本| 在线观看国产h片| 精品国产国语对白av| 天堂俺去俺来也www色官网| 日韩,欧美,国产一区二区三区| 26uuu在线亚洲综合色| 性色avwww在线观看| 成年女人在线观看亚洲视频| 精品久久久久久久久亚洲| 18禁在线无遮挡免费观看视频| 乱人伦中国视频| 日日摸夜夜添夜夜添av毛片| 中文天堂在线官网| 国产成人免费观看mmmm| 中国国产av一级| 国产亚洲精品久久久com| 国产精品国产三级国产专区5o| 美女中出高潮动态图| 国产av码专区亚洲av| 国内揄拍国产精品人妻在线| 一级a做视频免费观看| 人妻人人澡人人爽人人| 狠狠精品人妻久久久久久综合| 蜜桃在线观看..| 国产女主播在线喷水免费视频网站| 亚洲怡红院男人天堂| 日本av手机在线免费观看| 少妇熟女欧美另类| 在线观看免费视频网站a站| 永久网站在线| 亚洲色图综合在线观看| 一级爰片在线观看| 最新中文字幕久久久久| 99热全是精品| 高清午夜精品一区二区三区| 天堂8中文在线网| 久久精品国产亚洲av天美| 国产免费一级a男人的天堂| 久久综合国产亚洲精品| 精品一区二区三卡| 日韩伦理黄色片| 五月天丁香电影| 亚洲国产精品999| 少妇人妻久久综合中文| 精品人妻熟女av久视频| 成人免费观看视频高清| 91久久精品国产一区二区三区| 国产91av在线免费观看| 男女边摸边吃奶| 国精品久久久久久国模美| 久久久久久久亚洲中文字幕| 日韩伦理黄色片| 在线 av 中文字幕| 国产精品.久久久| 亚洲av福利一区| 免费看日本二区| 国产男女超爽视频在线观看| 最新中文字幕久久久久| av在线播放精品| 亚洲精品成人av观看孕妇| 成人美女网站在线观看视频| 大陆偷拍与自拍| 日韩不卡一区二区三区视频在线| 国产亚洲欧美精品永久| 99久久综合免费| 中文字幕免费在线视频6| 在线精品无人区一区二区三| 中文欧美无线码| 国产精品女同一区二区软件| 性色av一级| av视频免费观看在线观看| 国产一区二区在线观看日韩| 最近2019中文字幕mv第一页| 欧美区成人在线视频| 我要看日韩黄色一级片| 免费看av在线观看网站| 亚洲无线观看免费| 亚洲精品自拍成人| 午夜激情久久久久久久| 男人和女人高潮做爰伦理| 观看免费一级毛片| 久久国产精品大桥未久av | videossex国产| 一个人免费看片子| 美女脱内裤让男人舔精品视频| 亚洲av.av天堂| 人妻人人澡人人爽人人| 少妇精品久久久久久久| 免费观看av网站的网址| 在线观看三级黄色| 少妇人妻精品综合一区二区| 高清午夜精品一区二区三区| 黄色毛片三级朝国网站 | 91久久精品国产一区二区成人| 男人添女人高潮全过程视频| 我的女老师完整版在线观看| 内地一区二区视频在线| 午夜av观看不卡| 亚洲国产色片| 最近中文字幕2019免费版| 中国国产av一级| 少妇精品久久久久久久| 99久久精品热视频| 国产欧美日韩一区二区三区在线 | 亚洲内射少妇av| 高清毛片免费看| 这个男人来自地球电影免费观看 | 国产免费又黄又爽又色| 美女国产视频在线观看| 女的被弄到高潮叫床怎么办| 街头女战士在线观看网站| 国产精品嫩草影院av在线观看| 黄色配什么色好看| 色视频在线一区二区三区| 男女无遮挡免费网站观看| 免费播放大片免费观看视频在线观看| 国产精品久久久久久精品古装| 亚洲av日韩在线播放| 少妇猛男粗大的猛烈进出视频| 国产成人午夜福利电影在线观看| 少妇的逼好多水| 又爽又黄a免费视频| 亚洲精品,欧美精品| 最近手机中文字幕大全| 国产精品一区二区三区四区免费观看| 18禁在线播放成人免费| 日韩欧美一区视频在线观看 | 人人妻人人看人人澡| 97超视频在线观看视频| 国产日韩欧美亚洲二区| 视频区图区小说| 韩国高清视频一区二区三区| 亚洲激情五月婷婷啪啪| 简卡轻食公司| 高清午夜精品一区二区三区| 一区二区三区免费毛片| 精品亚洲成a人片在线观看| 亚洲av免费高清在线观看| 中文字幕制服av| 国产在线视频一区二区| 久久久久精品久久久久真实原创| 能在线免费看毛片的网站| 国产精品麻豆人妻色哟哟久久| 久久热精品热| 人人澡人人妻人| 女的被弄到高潮叫床怎么办| 久久久久久久久久人人人人人人| 国产精品国产三级国产av玫瑰| 国产 精品1| 国产成人午夜福利电影在线观看| 最黄视频免费看| 精品国产国语对白av| 国产淫语在线视频| freevideosex欧美| 黄色视频在线播放观看不卡| 三级国产精品欧美在线观看| 婷婷色综合www| www.av在线官网国产| 久久影院123| 久久这里有精品视频免费| 桃花免费在线播放| av在线app专区| 免费观看a级毛片全部| 少妇熟女欧美另类| 美女大奶头黄色视频| 大香蕉97超碰在线| 全区人妻精品视频| 最近手机中文字幕大全| 夜夜看夜夜爽夜夜摸| 91精品伊人久久大香线蕉| 亚洲国产精品999| 欧美少妇被猛烈插入视频| 夜夜爽夜夜爽视频| 大码成人一级视频| 又黄又爽又刺激的免费视频.| 亚洲怡红院男人天堂| 超碰97精品在线观看| 男女边摸边吃奶| 中文乱码字字幕精品一区二区三区| 大陆偷拍与自拍| 91精品国产国语对白视频| 国产av一区二区精品久久| 大码成人一级视频| 欧美一级a爱片免费观看看| 国产一区二区在线观看av| 18禁动态无遮挡网站| 亚洲欧美一区二区三区黑人 | 一级片'在线观看视频| 久久久久国产精品人妻一区二区| 亚洲无线观看免费| 国产伦精品一区二区三区视频9| 日韩亚洲欧美综合| 人人妻人人看人人澡| 日韩中字成人| 国产在视频线精品| 国产在线男女| 亚洲美女视频黄频| 亚洲四区av| 亚洲无线观看免费| 国产成人91sexporn| 欧美xxxx性猛交bbbb| 不卡视频在线观看欧美| av免费在线看不卡| 日本黄色片子视频| 免费观看在线日韩| 久久综合国产亚洲精品| 少妇精品久久久久久久| 亚洲精品,欧美精品| 日韩欧美精品免费久久| 久热这里只有精品99| 黄片无遮挡物在线观看| 日韩欧美精品免费久久| 久久久久久久国产电影| 国产成人freesex在线| 桃花免费在线播放| 国产日韩欧美视频二区| 国产精品一区二区在线观看99| 国国产精品蜜臀av免费| 久久久久久久国产电影| 成人毛片a级毛片在线播放| 久久人人爽av亚洲精品天堂| 中文在线观看免费www的网站| 国内少妇人妻偷人精品xxx网站| 免费观看无遮挡的男女| 日韩电影二区| 国产熟女午夜一区二区三区 | 99久久精品国产国产毛片| 麻豆成人av视频| 成人18禁高潮啪啪吃奶动态图 | av天堂中文字幕网| 婷婷色综合www| 国产白丝娇喘喷水9色精品| 男女边吃奶边做爰视频| 九九爱精品视频在线观看| 亚洲精品乱码久久久久久按摩| av国产久精品久网站免费入址| 国产伦理片在线播放av一区| 一区二区av电影网| 免费在线观看成人毛片| .国产精品久久| 成人特级av手机在线观看| 熟妇人妻不卡中文字幕| 午夜福利在线观看免费完整高清在| 伦理电影免费视频| 亚洲av在线观看美女高潮| 亚洲一区二区三区欧美精品| 精品少妇内射三级| 亚洲精华国产精华液的使用体验| 久久久久久伊人网av| 日韩一区二区三区影片| 高清午夜精品一区二区三区| 综合色丁香网| 免费人成在线观看视频色| 成人国产麻豆网| 国产精品国产三级国产专区5o| 欧美三级亚洲精品| 一本一本综合久久| 成人毛片a级毛片在线播放| 国产淫片久久久久久久久| 国产精品一区二区性色av| 色婷婷久久久亚洲欧美| 日韩av在线免费看完整版不卡| 水蜜桃什么品种好| 亚洲av国产av综合av卡| 热re99久久精品国产66热6| 汤姆久久久久久久影院中文字幕| 综合色丁香网| 亚洲av电影在线观看一区二区三区| 一级av片app| 免费观看在线日韩| 好男人视频免费观看在线| 国产欧美日韩精品一区二区| 亚洲熟女精品中文字幕| 在线观看www视频免费| 久久久亚洲精品成人影院| 午夜福利影视在线免费观看| 久久久久久久久久久免费av| 美女xxoo啪啪120秒动态图| 亚洲精品乱码久久久v下载方式| 三级国产精品欧美在线观看| 91在线精品国自产拍蜜月| 另类亚洲欧美激情| 亚洲自偷自拍三级| 99热这里只有精品一区| 日产精品乱码卡一卡2卡三| 一级毛片我不卡| 十八禁网站网址无遮挡 | 18禁动态无遮挡网站| 久久久午夜欧美精品| 男人和女人高潮做爰伦理| 亚洲av二区三区四区| 久久99热这里只频精品6学生| av视频免费观看在线观看| 各种免费的搞黄视频| 久久久久久久国产电影| 欧美日韩视频精品一区| 建设人人有责人人尽责人人享有的| 两个人的视频大全免费| 王馨瑶露胸无遮挡在线观看| 日本黄色日本黄色录像| a级毛片免费高清观看在线播放| 国产色爽女视频免费观看| 极品人妻少妇av视频| 国产精品久久久久久久久免| 汤姆久久久久久久影院中文字幕| av女优亚洲男人天堂| 夫妻性生交免费视频一级片| 最近中文字幕高清免费大全6| h视频一区二区三区| 日韩视频在线欧美| 街头女战士在线观看网站| 国产精品嫩草影院av在线观看| 国产在线免费精品| 国精品久久久久久国模美| 五月开心婷婷网| 一级毛片 在线播放| 免费看av在线观看网站| 高清黄色对白视频在线免费看 | 欧美老熟妇乱子伦牲交| 日韩三级伦理在线观看| 亚洲av在线观看美女高潮| 久久99蜜桃精品久久| 国产精品久久久久久精品电影小说| 国产精品久久久久久久电影| 亚洲成人手机| 大香蕉久久网| 黄色怎么调成土黄色| 亚洲无线观看免费| 91久久精品国产一区二区三区| 日韩精品免费视频一区二区三区 | 内地一区二区视频在线| 免费观看a级毛片全部| 丰满饥渴人妻一区二区三| 亚洲精品自拍成人| 人妻少妇偷人精品九色| 两个人的视频大全免费| 国产精品久久久久成人av| 天天操日日干夜夜撸| 99热这里只有是精品在线观看| 精华霜和精华液先用哪个| 在线观看人妻少妇| 久久午夜综合久久蜜桃| 夫妻性生交免费视频一级片| 国产精品一区www在线观看| 国产精品无大码| 亚洲精品一区蜜桃| 夫妻午夜视频| www.av在线官网国产| 国产精品久久久久成人av| 日日啪夜夜撸| 久久久久久久久久久丰满| 国产男女内射视频| 亚洲在久久综合| 一本久久精品| 亚洲精品乱码久久久久久按摩| 亚洲国产成人一精品久久久| 一本色道久久久久久精品综合| 国产精品国产av在线观看| 久久国产亚洲av麻豆专区| 肉色欧美久久久久久久蜜桃| 99热全是精品| 少妇人妻久久综合中文| 亚洲人成网站在线观看播放| 91精品伊人久久大香线蕉| 亚洲精品aⅴ在线观看| 美女视频免费永久观看网站| 亚洲精品色激情综合| 国产又色又爽无遮挡免| 美女内射精品一级片tv| 男女边摸边吃奶| 熟妇人妻不卡中文字幕| 精品久久国产蜜桃| 女人久久www免费人成看片| av不卡在线播放| 街头女战士在线观看网站| 新久久久久国产一级毛片| 黑人猛操日本美女一级片| 亚洲在久久综合| 一本大道久久a久久精品| 国产永久视频网站| 自线自在国产av| 一级a做视频免费观看| 91精品一卡2卡3卡4卡| 少妇人妻精品综合一区二区| 精品国产一区二区久久| 日韩电影二区| 91久久精品国产一区二区成人| 寂寞人妻少妇视频99o| 另类精品久久| 五月玫瑰六月丁香| 国产成人freesex在线| 日本欧美国产在线视频| 汤姆久久久久久久影院中文字幕| 97在线人人人人妻| 亚洲精品国产成人久久av| 五月开心婷婷网| 乱系列少妇在线播放| 久久久久精品久久久久真实原创| 午夜免费观看性视频| 少妇猛男粗大的猛烈进出视频| 伊人亚洲综合成人网| 熟妇人妻不卡中文字幕| 成人特级av手机在线观看| 免费av不卡在线播放| 亚洲欧美日韩另类电影网站| 99热网站在线观看| 久久av网站| 夜夜骑夜夜射夜夜干| av播播在线观看一区| videos熟女内射| 久久久久人妻精品一区果冻| 色网站视频免费| 国产精品一二三区在线看| 成人国产av品久久久| 国产成人精品无人区| 中文字幕制服av| 国产国拍精品亚洲av在线观看| 岛国毛片在线播放| 国产成人aa在线观看| 日韩精品有码人妻一区| 国产精品国产av在线观看| 一级毛片我不卡| 日日啪夜夜撸| 久久精品国产亚洲av天美| 狂野欧美激情性xxxx在线观看| 美女脱内裤让男人舔精品视频| 色视频www国产| 大码成人一级视频| 国产成人freesex在线| 简卡轻食公司| 国产极品粉嫩免费观看在线 | 欧美老熟妇乱子伦牲交| av国产久精品久网站免费入址| 国产亚洲5aaaaa淫片| 国产色爽女视频免费观看| 日本av手机在线免费观看| 亚洲欧美一区二区三区黑人 | 午夜久久久在线观看| 波野结衣二区三区在线| 亚洲精品成人av观看孕妇| 色婷婷av一区二区三区视频| 伦精品一区二区三区| 我要看黄色一级片免费的| 少妇人妻一区二区三区视频| 一级毛片aaaaaa免费看小| 少妇猛男粗大的猛烈进出视频| 在线观看av片永久免费下载| 极品少妇高潮喷水抽搐| 人人澡人人妻人| 国产女主播在线喷水免费视频网站| 男人狂女人下面高潮的视频| 免费不卡的大黄色大毛片视频在线观看| 免费看光身美女| 狂野欧美激情性bbbbbb| 最近最新中文字幕免费大全7| 国产精品99久久久久久久久| 丝袜脚勾引网站| 亚洲国产av新网站| 亚洲,欧美,日韩| 人妻少妇偷人精品九色| 亚洲av男天堂| 久久精品国产亚洲av涩爱| 精品一区二区三区视频在线| 亚洲国产av新网站| 亚洲久久久国产精品| 熟女人妻精品中文字幕| 亚洲av男天堂| 久久鲁丝午夜福利片| 免费黄色在线免费观看| 国产欧美另类精品又又久久亚洲欧美| 大香蕉久久网| 青春草国产在线视频| 国产亚洲欧美精品永久| 国产在线免费精品| 人妻系列 视频| 亚洲国产欧美在线一区| 国产精品一区二区在线观看99| 欧美xxxx性猛交bbbb| 各种免费的搞黄视频|