• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于量子卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別新模型

    2022-10-29 01:57:48范興奎劉廣哲王浩文馬鴻洋王淑梅
    關(guān)鍵詞:池化層量子態(tài)比特

    范興奎,劉廣哲,王浩文,馬鴻洋,李 偉,王淑梅*

    (1. 青島理工大學(xué)理學(xué)院 山東 青島 266520;2. 青島理工大學(xué)信息與控制工程學(xué)院 山東 青島 266520)

    在過去幾年中,機(jī)器學(xué)習(xí)作為一個(gè)跨學(xué)科領(lǐng)域迅速發(fā)展。機(jī)器學(xué)習(xí)技術(shù)也成功應(yīng)用于計(jì)算機(jī)視覺、數(shù)據(jù)挖掘等多個(gè)領(lǐng)域[1-5]。20 世紀(jì)初葉,物理學(xué)家對(duì)原子和輻射原理的逐漸了解,推動(dòng)了量子力學(xué)現(xiàn)代理論的誕生。量子力學(xué)的出現(xiàn)成為科學(xué)中不可缺少的一部分,其中包括原子結(jié)構(gòu)、恒星核聚變、超導(dǎo)體、DNA 結(jié)構(gòu)和自然界基本粒子等。量子計(jì)算是基于量子力學(xué)而非經(jīng)典物理學(xué)的思想進(jìn)行計(jì)算,比經(jīng)典計(jì)算更強(qiáng)大。20世紀(jì)后,量子物理和機(jī)器學(xué)習(xí)的結(jié)合,提出了一個(gè)新穎、實(shí)用的概念?量子神經(jīng)網(wǎng)絡(luò)(quantum neural network, QNN)。在量子計(jì)算機(jī)上,量子神經(jīng)網(wǎng)絡(luò)是一種有用的學(xué)習(xí)工具,量子計(jì)算機(jī)能夠?qū)α孔討B(tài)的疊加進(jìn)行大規(guī)模并行計(jì)算,提供潛在的指數(shù)加速,以較低的成本提取最優(yōu)網(wǎng)絡(luò)框架[6-11]。量子神經(jīng)網(wǎng)絡(luò)提高了網(wǎng)絡(luò)的準(zhǔn)確性、泛化性和魯棒性等性能[12-14],這得到了學(xué)界的深度重視。早在1995 年,文獻(xiàn)[15]最先提出了量子神經(jīng)網(wǎng)絡(luò)的概念。之后,國(guó)內(nèi)外研究人員開始對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行進(jìn)一步的研究。2003 年,文獻(xiàn)[16]提出一種簡(jiǎn)單的量子神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練方法,證明了量子神經(jīng)網(wǎng)絡(luò)與經(jīng)典的學(xué)習(xí)算法相比具有一些優(yōu)勢(shì)。之后,研究更加深入,學(xué)者們開始著重探索QNN 模型。2005 年,文獻(xiàn)[17]利用QNN 和CNN(convolution neural network)對(duì)倒立擺的擺動(dòng)和穩(wěn)定控制進(jìn)行了仿真實(shí)驗(yàn),該實(shí)驗(yàn)具有很強(qiáng)的非線性關(guān)系,需要快速的識(shí)別能力。仿真結(jié)果表明,與CNN 相比,QNN 能夠更有效地控制運(yùn)動(dòng)目標(biāo),是一種利用神經(jīng)計(jì)算提高非完整對(duì)象控制能力的有效方法。2013 年,文獻(xiàn)[18]結(jié)合薛定諤波動(dòng)方程,提出了一種新的神經(jīng)信息處理體系結(jié)構(gòu),該結(jié)構(gòu)稱為遞歸量子神經(jīng)網(wǎng)絡(luò)(recurrent quantum neural network, RQNN)。RQNN 可以將非平穩(wěn)隨機(jī)信號(hào)描述為時(shí)變的波包,文獻(xiàn)[18]使用簡(jiǎn)單信號(hào)對(duì)RQNN 進(jìn)行評(píng)估,結(jié)果表明RQNN 在對(duì)含有3 種不同噪聲水平的直流信號(hào)進(jìn)行濾波時(shí),效果明顯優(yōu)于卡爾曼濾波。2014 年,文獻(xiàn)[19]介紹了一種系統(tǒng)的QNN 研究方法,將神經(jīng)計(jì)算的非線性耗散動(dòng)力學(xué)與量子計(jì)算的線性統(tǒng)一動(dòng)力學(xué)結(jié)合起來,充分利用了基于耗散量子計(jì)算的開放量子神經(jīng)網(wǎng)絡(luò)思想。2018 年,文獻(xiàn)[20]證明了對(duì)于一大類合理的參數(shù)化量子電路,沿任何合理方向的梯度從非零到某一固定精度的概率是量子比特?cái)?shù)的指數(shù)函數(shù)。2021 年,文獻(xiàn)[21]將費(fèi)希爾信息譜與貧瘠高原聯(lián)系起來,首次證明,設(shè)計(jì)良好的量子神經(jīng)網(wǎng)絡(luò)比經(jīng)典神經(jīng)網(wǎng)絡(luò)具有更高的有效維數(shù)和更快的訓(xùn)練能力。多年來,量子神經(jīng)網(wǎng)絡(luò)取得了非凡的發(fā)展,這對(duì)更快的計(jì)算需求產(chǎn)生了巨大影響,為解決經(jīng)典計(jì)算機(jī)無法解決的問題提供了前所未有的可能性。

    卷積神經(jīng)網(wǎng)絡(luò)(CNN)是人工神經(jīng)網(wǎng)絡(luò)的一種,卷積神經(jīng)網(wǎng)絡(luò)的研究始于20 世紀(jì)80~90 年代。1987 年,文獻(xiàn)[22]提出了第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)?時(shí) 間 延 遲 網(wǎng) 絡(luò)(time delay neural network,TDNN),TDNN 使用BP 框架進(jìn)行學(xué)習(xí),實(shí)驗(yàn)證明,在同等條件下TDNN 的性能超過了當(dāng)時(shí)的主流算法?隱馬爾可夫模型(hidden markov model,HMM)。1995 年,文獻(xiàn)[23]開發(fā)了幾種用于醫(yī)學(xué)圖像模式識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。為了提高神經(jīng)網(wǎng)絡(luò)的性能,還提出了一種利用旋轉(zhuǎn)和平移不變性的非常規(guī)方法。該人工神經(jīng)網(wǎng)絡(luò)通過反向傳播訓(xùn)練形成卷積核的權(quán)值,神經(jīng)網(wǎng)絡(luò)可作為最終的檢測(cè)分類器來確定可疑圖像區(qū)域上是否顯示了疾病模式。性能研究表明,該技術(shù)在臨床環(huán)境中具有潛在的應(yīng)用前景。隨著深度學(xué)習(xí)的發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)開始進(jìn)入人們的視線。相應(yīng)地,互聯(lián)網(wǎng)時(shí)代的到來,信息量呈爆炸式增長(zhǎng),對(duì)內(nèi)存和時(shí)間效率的要求越來越高,這成為了一個(gè)難以解決的問題。量子計(jì)算由于其固有的疊加和糾纏特性,不僅使得量子計(jì)算范式優(yōu)于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò),而且量子計(jì)算機(jī)可以同時(shí)存儲(chǔ)更多的比特信息,其存儲(chǔ)單元是經(jīng)典計(jì)算機(jī)存儲(chǔ)單元的指數(shù)倍,這為解決卷積神經(jīng)網(wǎng)絡(luò)內(nèi)存不足的問題提供了方向。一方面,量子卷積神經(jīng)網(wǎng)絡(luò)從量子物理學(xué)的角度出發(fā),利用量子計(jì)算的高并行性,在處理海量數(shù)據(jù)方面時(shí),顯著提高了傳統(tǒng)機(jī)器學(xué)習(xí)的運(yùn)算效率,實(shí)現(xiàn)了高效的信息提取和分類[24];另一方面,在量子卷積層中,單個(gè)量子門僅對(duì)相鄰的量子比特施加運(yùn)算,并且在同一個(gè)量子卷積層內(nèi),所有量子門具有相同的可調(diào)參數(shù),保留了卷積神經(jīng)網(wǎng)絡(luò)中局部連接和權(quán)值共享的特性。這兩個(gè)特性使得量子卷積神經(jīng)網(wǎng)絡(luò)能夠有效地提取圖像特征,降低網(wǎng)絡(luò)模型復(fù)雜度,顯著提升模型的運(yùn)算效率。正是由于這種優(yōu)勢(shì),為未來量子機(jī)器學(xué)習(xí)帶來更廣泛的應(yīng)用能力[25-26]。然而,如何設(shè)計(jì)更高效的量子態(tài)編碼方式,如何構(gòu)造更通用的量子電路模型體現(xiàn)卷積的特性,如何實(shí)現(xiàn)更有效的優(yōu)化算法等問題仍待進(jìn)一步研究。面向經(jīng)典圖像數(shù)據(jù)處理任務(wù)。

    本文在前人工作的基礎(chǔ)上提出了一種基于參數(shù)化量子電路的量子卷積神經(jīng)網(wǎng)絡(luò)模型。首先,對(duì)圖像數(shù)據(jù)進(jìn)行預(yù)處理,包括下采樣和歸一化處理。預(yù)處理后,對(duì)圖像采用量子比特編碼的方式,編碼為量子態(tài)。接著構(gòu)建參數(shù)化量子卷積神經(jīng)網(wǎng)絡(luò)模型,簡(jiǎn)單來說,是量子卷積層、量子池化層、量子全連接層的組合。最后,固定測(cè)量指定量子比特位,對(duì)輸出結(jié)果采用隨機(jī)梯度下降(stochastic gradient descent, SGD)方法優(yōu)化模型參數(shù),促使輸出結(jié)果接近期望值。

    本文的突出貢獻(xiàn)主要表現(xiàn)在設(shè)計(jì)了一種全新的具有強(qiáng)糾纏特性的參數(shù)化量子線路,該量子線路能夠高效地提取出圖像的高維特征信息,并對(duì)特征信息進(jìn)行較為準(zhǔn)確的分類。實(shí)驗(yàn)結(jié)果表明,通過和其他研究者提出的模型進(jìn)行對(duì)比,該量子線路在包含較少的量子參數(shù)前提下,量子線路仍具有很高的分類準(zhǔn)確率和較快的收斂速度。不僅簡(jiǎn)化了量子線路的深度和復(fù)雜度,而且提高了量子參數(shù)的利用率,為以后對(duì)量子卷積神經(jīng)網(wǎng)絡(luò)的研究打下了基礎(chǔ)。

    1 卷積神經(jīng)網(wǎng)絡(luò)

    卷積神經(jīng)網(wǎng)絡(luò)是一種包含卷積計(jì)算的深層前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)的代表算法之一[27-28]。該網(wǎng)絡(luò)算法尤其適用于處理具有網(wǎng)格結(jié)構(gòu)的圖像數(shù)據(jù)[29-30],是目前圖像處理領(lǐng)域應(yīng)用最廣泛的模型之一。CNN的成功與人類大腦視覺原理的研究息息相關(guān),人類視覺通過逐層分級(jí)對(duì)物體認(rèn)知,從瞳孔攝入像素開始,首先通過大腦皮層做一些提取特征的初步處理,接著對(duì)特征進(jìn)行高級(jí)提取,并組合成相應(yīng)圖像,最終大腦達(dá)到區(qū)分物體的效果。CNN 的靈感來源于人類視覺原理的這個(gè)特點(diǎn)。

    常見的CNN 模型由5 個(gè)基本模塊組成:輸入層、卷積層、池化層、全連接層和輸出層。在圖像分類中,輸入層需要對(duì)輸入的數(shù)據(jù)進(jìn)行預(yù)處理操作,其中包括:像素歸一化、像素中心化、像素標(biāo)準(zhǔn)化、PCA/SVD 降維等;對(duì)預(yù)處理后的數(shù)據(jù)作為卷積層的輸入,卷積層的主要功能是利用卷積運(yùn)算從輸入數(shù)據(jù)中提取矩形特征圖,其中每一次卷積運(yùn)算都與卷積核的大小、步長(zhǎng)、個(gè)數(shù)有關(guān)。卷積核具有局部感受野的特性,用來提取圖像數(shù)據(jù)的局部特征,組成這一層卷積層的特征圖;特征圖作為池化層的輸入,進(jìn)行特征選擇和信息過濾。為了降低數(shù)據(jù)維度,采用池化操作,進(jìn)行下采樣。下采樣的方法分為最大值下采樣(max-pooling)與平均值下采樣(mean-pooling);卷積神經(jīng)網(wǎng)絡(luò)中的全連接層位于隱含層的最后部分,全連接層的作用則是對(duì)提取的特征進(jìn)行非線性組合以得到輸出,利用現(xiàn)有的高階特征完成學(xué)習(xí)目標(biāo);對(duì)于圖像分類問題,由輸出層使用邏輯函數(shù)或歸一化指數(shù)函數(shù)輸出分類標(biāo)簽。CNN 包括多重卷積層和池化層,它們結(jié)構(gòu)復(fù)雜,通過多重非線性變換對(duì)大量數(shù)據(jù)進(jìn)行學(xué)習(xí),在計(jì)算機(jī)視覺中表現(xiàn)出非常高的性能,取得了超越傳統(tǒng)算法的效果。經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的過程示意圖如圖1所示。

    圖1 卷積神經(jīng)網(wǎng)絡(luò)流程圖

    2 經(jīng)典圖像預(yù)處理和量子數(shù)據(jù)編碼

    為了盡可能地提取圖像的特征信息。預(yù)處理包括圖像下采樣和圖像歸一化。圖像下采樣不但可以保留圖像的大部分特征信息,而且可以降低對(duì)量子比特位數(shù)的需求。圖像歸一化影響網(wǎng)絡(luò)反向傳播的梯度,具有防止梯度消失和梯度爆炸的作用,同時(shí)也加快了網(wǎng)絡(luò)的訓(xùn)練和收斂的速度。圖像預(yù)處理完成后,采用量子比特?cái)?shù)據(jù)編碼的方式對(duì)特征信息量子化,將量子態(tài)信息輸入提出的新模型中。

    2.1 經(jīng)典圖像的預(yù)處理

    2.1.1 圖像下采樣

    在 NISQ (noisy intermediate-scale quantum)時(shí)代,量子計(jì)算機(jī)受到量子比特位數(shù)和量子電路深度的限制,使得量子分類變得困難,目前還無法構(gòu)建出不受限制的量子計(jì)算機(jī)。簡(jiǎn)單來說,圖像的大小決定量子比特的位數(shù),圖像的大小對(duì)于當(dāng)前的量子計(jì)算機(jī)會(huì)有一定的限制。為了減輕量子比特位數(shù)的限制,采用高斯金字塔下采樣的方式[31],高斯金字塔示意圖如圖2 所示。將原始圖像進(jìn)行高斯濾波操作,設(shè)Gl作為高斯金字塔的第l層,原始圖像為G0,則有:

    式中,i和j表示高斯金字塔第l層圖像中像素點(diǎn)的坐標(biāo);w(m,n)是一個(gè)二維的5×5 高斯濾波器,表達(dá)式為:

    濾波操作完成后,刪除原始圖像信息的偶數(shù)行和偶數(shù)列,原始圖像的大小尺寸變成了原先的一半。按照上述步驟生成的G0,G1,···,GN構(gòu)成了圖像的高斯金字塔,其中G0為 金字塔底層,GN為金字塔頂層。圖2 簡(jiǎn)要概括了高斯金字塔的采樣過程,其中G0為8×8 像素的金字塔底層,經(jīng)過高斯低通濾波后,轉(zhuǎn)換為4×4 像素的G1層,完成了數(shù)據(jù)的一次下采樣。該實(shí)驗(yàn)數(shù)據(jù)集為28×28 大小的MNIST 數(shù)據(jù)集,經(jīng)過3 次高斯金字塔下采樣后,原始圖像大小尺寸變?yōu)?×4 像素的灰度圖像,保留了原始圖像的部分特征信息。

    圖2 高斯金字塔采樣過程

    2.1.2 圖像歸一化

    對(duì)于圖像數(shù)據(jù)來說,圖像的像素值是介于0~255 之間的整數(shù)。在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練進(jìn)行擬合時(shí),一般使用較小的權(quán)重值,如果當(dāng)訓(xùn)練數(shù)據(jù)的值較大時(shí),可能會(huì)減慢模型訓(xùn)練的過程,因此,對(duì)圖像數(shù)據(jù)進(jìn)行像素歸一化是有必要的。本文采用Min-max 歸一化,目的在于去除圖像數(shù)據(jù)的像素單位,將數(shù)據(jù)轉(zhuǎn)化為無量綱的純數(shù)值,具體來說,像素歸一化后將圖像像素值縮放到[0,1]之間,Minmax 歸一化可由下式得出:

    式中,p(i,j)為 在像素位置 (i,j)的 像素值;pmax和pmin分別為圖像像素值的最大值和最小值;pnew(i,j)為像素歸一化后像素位置 (i,j)的新像素值。歸一化后,圖像的特征信息在數(shù)值上有了一定的比較性,大大提高了分類器的準(zhǔn)確性。

    2.2 量子數(shù)據(jù)編碼

    圖像數(shù)據(jù)經(jīng)過預(yù)處理后,利用量子旋轉(zhuǎn)門Rx(θ)對(duì)圖像數(shù)據(jù)進(jìn)行量子態(tài)編碼轉(zhuǎn)換為量子態(tài)信息,量子態(tài)信息作為量子卷積神經(jīng)網(wǎng)絡(luò)模型的輸入,經(jīng)過一系列變換后完成圖像的分類。本文采用量子比特編碼的方式,將像素值信息映射為量子態(tài),圖像像素值信息pnew(i,j) 與 量子旋轉(zhuǎn)門Rx(θ)的旋轉(zhuǎn)角度θ 具有如下關(guān)系[32]:

    θ(i,j)=pnew(i,j)×π

    圖像的特征信息被轉(zhuǎn)換為量子旋轉(zhuǎn)門的角度,每一個(gè)像素值都為量子旋轉(zhuǎn)門Rx(θ)提供了相應(yīng)的參數(shù),不同的量子旋轉(zhuǎn)門Rx(θ)作用在相應(yīng)的量子位初始態(tài) |0?上,特征信息保留在量子態(tài)中,完成了圖像數(shù)據(jù)的量子態(tài)制備,量子態(tài)信息即可作為量子卷積神經(jīng)網(wǎng)絡(luò)模型的輸入。數(shù)據(jù)的量子態(tài)制備示意圖如圖3 所示。

    圖3 數(shù)據(jù)的量子態(tài)制備

    3 量子卷積神經(jīng)網(wǎng)絡(luò)框架

    本節(jié)詳細(xì)介紹該網(wǎng)絡(luò)的量子卷積層、量子池化層、量子全連接層的內(nèi)部結(jié)構(gòu)。

    3.1 量子卷積層的電路介紹

    量子卷積層由多個(gè)參數(shù)化量子濾波器組成,量子濾波器類似于經(jīng)典卷積層中的卷積核,量子卷積層使用參數(shù)化量子濾波器對(duì)數(shù)據(jù)的局部空間所有量子位進(jìn)行特征提取(特征圖)。對(duì)整個(gè)網(wǎng)絡(luò)模型起到了提取量子位復(fù)雜特征信息的重要作用。量子濾波器包含多種類的量子比特門,其中包括單量子比特門和雙量子比特門,它們可以對(duì)相應(yīng)的量子比特位進(jìn)行幺正變換,雙量子比特門作用于相鄰的量子比特上,實(shí)現(xiàn)了相鄰量子比特的量子糾纏。該網(wǎng)絡(luò)既融入了量子力學(xué)中的獨(dú)有特性,也保留了卷積核權(quán)值共享的特點(diǎn)。本文采用類似于文獻(xiàn)[33]提出的量子線路,該量子線路由CNOT 門、Rx(θ)旋轉(zhuǎn)門和旋轉(zhuǎn)門組成,如圖4 所示,卷積核U具有7 個(gè)可調(diào)整的參數(shù)。

    圖4 量子卷積層的線路結(jié)構(gòu)

    3.2 量子池化層的電路介紹

    量子池化層和經(jīng)典池化層相似,為了對(duì)量子卷積層所提取的特征進(jìn)行降維,該網(wǎng)絡(luò)使用量子池化層,對(duì)量子態(tài)特征進(jìn)行量子池化操作,去除了冗余信息、簡(jiǎn)化網(wǎng)絡(luò)的復(fù)雜度。同時(shí)量子池化層提取到了復(fù)雜的特征信息,提高了模型的準(zhǔn)確精度。量子池化層包含多個(gè)量子測(cè)量操作和經(jīng)典受控量子門,其中經(jīng)典受控量子門依據(jù)測(cè)量結(jié)果,對(duì)所作用的量子位施加不同的幺正變換。本文精心設(shè)計(jì)了量子池化層的電路結(jié)構(gòu),如圖5 所示。在量子線路中加入CNOT 門、Ry(θ)旋 轉(zhuǎn)門和Rz(θ)旋轉(zhuǎn)門,參數(shù)化量子門施加于相鄰量子比特上,完成對(duì)量子態(tài)局部概率幅進(jìn)行特征融合的同時(shí)作降維采樣處理。其中,R?z(θ)表 示Rz(θ)的共軛轉(zhuǎn)置量子門,有6 個(gè)可調(diào)參數(shù)。

    圖5 量子池化層的線路結(jié)構(gòu)

    3.3 量子全連接層的電路介紹

    量子全連接層和經(jīng)典全連接層相似,出現(xiàn)在網(wǎng)絡(luò)模型的末尾。經(jīng)過量子池化層降維運(yùn)算,量子系統(tǒng)中相干量子比特的數(shù)量減少。當(dāng)數(shù)量足夠少時(shí),對(duì)剩余量子比特施加量子全連接層,將特征映射到樣本標(biāo)記空間,量子全連接層起到了分類器的作用。本文采用強(qiáng)糾纏量子線路作為全連接層,它由多個(gè)通用單量子比特門和CNOT 門組成。量子全連接層內(nèi)部各個(gè)量子門的參數(shù)相互獨(dú)立,并且強(qiáng)糾纏電路具有線路效率高、計(jì)算量少的優(yōu)點(diǎn)。文獻(xiàn)[34]已經(jīng)證明,強(qiáng)糾纏低深度線路被視為一種強(qiáng)大的分類器。量子全連接層線路結(jié)構(gòu)如圖6 所示。共包含12 個(gè)可訓(xùn)練的參數(shù)。所提取的特征信息仍保留在輸出量子比特的量子態(tài)中,需要通過量子測(cè)量進(jìn)行提取利用,固定選取一個(gè)量子比特進(jìn)行測(cè)量,并將測(cè)量結(jié)果映射為量子卷積神經(jīng)網(wǎng)絡(luò)的判別結(jié)果。其中,量子測(cè)量的原理是對(duì)該量子態(tài)進(jìn)行測(cè)量,使疊加態(tài)波包塌縮到一個(gè)基態(tài),對(duì)量子系統(tǒng)的輸出執(zhí)行Z 基測(cè)量,得到量子系統(tǒng)的輸出。即:

    圖6 量子全連接層的線路結(jié)構(gòu)

    式中, | φ?in為 輸入圖像的量子態(tài);U(θ1)為網(wǎng)絡(luò)卷積層中具有訓(xùn)練參數(shù)的酉算子的乘積;V(θ2)、F(θ3)為網(wǎng)絡(luò)池化層、全連接層中具有訓(xùn)練參數(shù)的酉算子。

    考慮到量子測(cè)量的概率性,為減少量子卷積神經(jīng)網(wǎng)絡(luò)模型的輸出方差,實(shí)驗(yàn)選取多次測(cè)量結(jié)果的均值作為單個(gè)量子比特的輸出值。

    4 模擬仿真實(shí)驗(yàn)和結(jié)果對(duì)比

    仿真實(shí)驗(yàn)使用TensorFlow Quantum 量子計(jì)算框架[35]作為模型搭建平臺(tái),實(shí)驗(yàn)數(shù)據(jù)都是在配備11th Gen Intel(R) Core(TM) i7-11800H 和16 GB RAM的筆記本電腦上收集的。本文展示了一種在MNIST數(shù)據(jù)集上的圖像識(shí)別任務(wù),通過結(jié)果分析來驗(yàn)證量子卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。該實(shí)驗(yàn)?zāi)M了圖像的預(yù)處理、圖像量子態(tài)的制備、完整的量子卷積神經(jīng)網(wǎng)絡(luò)模型。模型由量子卷積層、量子池化層和量子全連接層組合而成。對(duì)比不同層數(shù)的QCNN 模型的學(xué)習(xí)能力,即一個(gè)具有三層量子卷積層和三層量子池化層結(jié)構(gòu)的模型;另一個(gè)有兩層量子卷積層和兩層量子池化層結(jié)構(gòu)的模型。兩種QCNN 模型分別對(duì)兩類灰度圖像識(shí)別任務(wù){(diào)0,1}、{2,7}進(jìn)行實(shí)驗(yàn)分析,采用控制變量法,兩種模型使用相同的預(yù)處理方法、量子態(tài)制備方法、損失函數(shù)、梯度下降函數(shù)、數(shù)據(jù)集、測(cè)試集。隨機(jī)選取{0,1}、{2,7}兩類數(shù)據(jù)集組成訓(xùn)練集和測(cè)試集,訓(xùn)練集包括1 000個(gè)訓(xùn)練樣本,分別包含500 張數(shù)字0 和1 的樣本,測(cè)試集包括250 個(gè)測(cè)試樣本,分別包含125 張數(shù)字0 和1 的樣本,{2,7}數(shù)據(jù)集樣本分布和{0,1}相同。

    4.1 不同量子神經(jīng)網(wǎng)絡(luò)模型的性能分析

    本文將28×28 像素的手寫數(shù)字樣本采用高斯金字塔下采樣的方式,將手寫數(shù)字樣本下采樣為4×4 像素的灰度圖像?;叶葓D像通過Min-max 歸一化操作和量子數(shù)據(jù)編碼后,會(huì)有16 個(gè)輸入量子比特作為QCNN 的輸入,每經(jīng)過一層量子池化,量子比特的數(shù)量縮減為原來的一半。由于量子卷積層和量子池化層具有權(quán)值共享的特點(diǎn),每一層的參數(shù)數(shù)量保持不變。本文使用不同層數(shù)的量子卷積層和量子池化層做對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)a 按照兩層量子卷積層和兩層量子池化層的比例構(gòu)建模型,包含42 個(gè)可訓(xùn)練參數(shù);實(shí)驗(yàn)b 按照三層量子卷積層和三層池化層的比例構(gòu)建模型,包含51 個(gè)可訓(xùn)練參數(shù)。實(shí)驗(yàn)a 和b 所用模型如圖7 所示。

    圖7 實(shí)驗(yàn)a 和實(shí)驗(yàn)b 的QCNN 網(wǎng)絡(luò)模型的線路結(jié)構(gòu)

    實(shí)驗(yàn)a 的訓(xùn)練迭代次數(shù)為100;批次大小為64;學(xué)習(xí)率為0.3,損失函數(shù)定義為均方誤差(mean square error, MSE),它是預(yù)測(cè)值f(x)與 目標(biāo)值y之間差值平方和的均值,如下式所示:

    兩個(gè)數(shù)據(jù)集的損失值和準(zhǔn)確率曲線如圖8 所示。分析曲線分布可以明顯地看出,實(shí)驗(yàn)b 相比實(shí)驗(yàn)a 有更高的分類準(zhǔn)確率和更穩(wěn)定的損失函數(shù)。其中,{0,1}分類中實(shí)驗(yàn)a 的準(zhǔn)確率為96%,實(shí)驗(yàn)b 的準(zhǔn)確率100%;{2,7}分類中實(shí)驗(yàn)a 的準(zhǔn)確率為96%,實(shí)驗(yàn)b 的準(zhǔn)確率100%。三層網(wǎng)絡(luò)模型結(jié)構(gòu)對(duì){0,1},{2,7}分類效果顯著,準(zhǔn)確率達(dá)到了100%,并且損失函數(shù)收斂的速度更快。三層網(wǎng)絡(luò)模型結(jié)構(gòu)相比于兩層網(wǎng)絡(luò)模型結(jié)構(gòu),三層網(wǎng)絡(luò)模型結(jié)構(gòu)具有更強(qiáng)的學(xué)習(xí)能力和泛化性能。增加模型層數(shù)和模型參數(shù)對(duì)分類效果的提升較大,提高了模型的分類準(zhǔn)確率和泛化能力。

    圖8 不同QCNN 模型的分類準(zhǔn)確率函數(shù)和損失函數(shù)

    4.2 基于QCNN 的二元分類

    所提出的三層網(wǎng)絡(luò)模型的QCNN 結(jié)構(gòu)在{0,1}分類和{2,7}分類中,準(zhǔn)確率可達(dá)到100%。為了提高量子線路的特征提取率和分辨率,更好地適應(yīng)其他二分類任務(wù),本文改變數(shù)據(jù)集樣本的下采樣方法,采用平均池化下采樣策略,對(duì)圖像預(yù)處理進(jìn)行進(jìn)一步的改善。2022 年,文獻(xiàn)[36]提出了一種混合量子神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)現(xiàn)實(shí)世界數(shù)據(jù)集的多分類任務(wù),證明了平均池化下采樣策略的可行性。平均池化下采樣通過空白切割和平均池化操作,首先將28×28 像素的數(shù)據(jù)樣本空白切割為20×20 灰度圖像,丟棄每個(gè)邊界上幾乎沒有有用信息的像素塊。再對(duì)20×20 灰度圖像進(jìn)行平均池化,將20×20灰度圖像分為16 組5×5 的像素塊,計(jì)算每個(gè)5×5像素塊的平均值,得到4×4 灰度圖像。

    實(shí)驗(yàn)使用經(jīng)過平均池化預(yù)處理后的4×4 像素的灰度圖像,經(jīng)過量子態(tài)制備后作為模型的輸入,執(zhí)行{0-9}中每對(duì)數(shù)字的二分類任務(wù)。該實(shí)驗(yàn)使用三層量子卷積層和三層池化層的模型,包含51 個(gè)可訓(xùn)練參數(shù)。實(shí)驗(yàn)批次大小為8;學(xué)習(xí)率為0.1;損失函數(shù)定義為交叉熵函數(shù),公式如下所示:

    通過分析圖9,除了{(lán)0,1}分類和{2,7}分類外,三層網(wǎng)絡(luò)結(jié)構(gòu)的QCNN 對(duì)數(shù)字0 和數(shù)字2 的分類準(zhǔn)確率最高,達(dá)到了99.68%。對(duì)數(shù)字4 和數(shù)字9 的分類準(zhǔn)確率最低,但也達(dá)到了93.22%。經(jīng)過平均池化策略后的數(shù)字4 和數(shù)字9 視覺觀察效果相似,提取的特征相似度大,相比于其他數(shù)字,模型的識(shí)別難度會(huì)增大許多。但是,該模型是基于16 位量子比特的輸入,當(dāng)量子位可以不再受到嚴(yán)格的限制時(shí),模型對(duì)量子態(tài)特征的提取將會(huì)更加全面,相信這個(gè)問題在不久的將來會(huì)得到一個(gè)合理的解決。

    圖9 MNIST 數(shù)據(jù)集的45 個(gè)二分類結(jié)果

    此外,將本文提出的三層網(wǎng)絡(luò)結(jié)構(gòu)與其他方法進(jìn)行了比較。文獻(xiàn)[37]訓(xùn)練了一個(gè)張量網(wǎng)絡(luò),該模型可以減少處理高維數(shù)據(jù)所需的量子比特?cái)?shù),共包含1 008 個(gè)參數(shù)。文獻(xiàn)[37]使用MNIST數(shù)據(jù)集執(zhí)行二分類任務(wù),得到了45 個(gè)分類任務(wù)的結(jié)果,其中該模型對(duì){0,1}、{0,4}、{1,9}分類準(zhǔn)確率最高,對(duì){3,5}、{4,9}、{7,9}分類準(zhǔn)確率最低。文獻(xiàn)[38]使用Tree Tensor Network (TTN)、Multiscale Entanglement Renormalization Ansatz (MERA)和一個(gè)經(jīng)過TTN 預(yù)訓(xùn)練的MERA 來處理4 個(gè)二分類任務(wù),包括{0,1}、{2,7}和奇偶數(shù),是否大于4 進(jìn)行分類。在相同的任務(wù)上,該實(shí)驗(yàn)使用三層結(jié)構(gòu)的QCNN 網(wǎng)絡(luò)模型,下采樣采用平均池化策略,實(shí)驗(yàn)結(jié)果如表1 所示??梢钥闯?,本文的網(wǎng)絡(luò)模型和張量網(wǎng)絡(luò)模型相比,在6 個(gè)分類任務(wù)中,分類準(zhǔn)確率更突出,模型性能更穩(wěn)定,對(duì)MNIST 數(shù)據(jù)集適用性更高。另外,本文模型包含51 個(gè)參數(shù),參數(shù)個(gè)數(shù)遠(yuǎn)小于文獻(xiàn)[37]提出的張量網(wǎng)絡(luò)模型,充分發(fā)揮了量子卷積層和量子池化層的特征提取的作用,減少了計(jì)算復(fù)雜度。QCNN模型和文獻(xiàn)[38]提出的模型相比,在對(duì)數(shù)字{0,1}和{2,7}和對(duì)大于4 的數(shù)分類任務(wù)中,本文網(wǎng)絡(luò)模型準(zhǔn)確率超過了文獻(xiàn)[38]提出的模型,但在奇偶分類任務(wù)中,準(zhǔn)確率并不突出,但準(zhǔn)確率也達(dá)到了81.35%。QCNN 模型的性能在多數(shù)方面超過了它們,但在奇偶分類中還需要網(wǎng)絡(luò)模型的進(jìn)一步完善,表明了QCNN 對(duì)這些任務(wù)有一定的處理能力,并且還可以通過完善模型線路,使模型分類準(zhǔn)確率進(jìn)一步提升。

    表1 本文與其他模型的性能分析

    5 結(jié) 束 語

    本文提出了一種面向圖像識(shí)別的強(qiáng)糾纏參數(shù)化量子卷積神經(jīng)網(wǎng)絡(luò),詳細(xì)闡述了網(wǎng)絡(luò)模型內(nèi)部結(jié)構(gòu)的理論基礎(chǔ),該網(wǎng)絡(luò)模型對(duì)MNIST 數(shù)據(jù)集進(jìn)行多種二分類任務(wù)。通過對(duì)參數(shù)個(gè)數(shù)為51 的三層網(wǎng)絡(luò)模型和參數(shù)個(gè)數(shù)為42 的兩層網(wǎng)絡(luò)模型進(jìn)行對(duì)比,三層網(wǎng)絡(luò)的QCNN 模型在{0,1}和{2,7}分類中,性能表現(xiàn)更加出色,具有較強(qiáng)的學(xué)習(xí)能力,分類準(zhǔn)確率均達(dá)到了100%,并且損失函數(shù)收斂速度更快。為了進(jìn)一步提高模型的泛化能力,同時(shí)考慮到NISQ 設(shè)備中可用的量子位數(shù)量的有限性,本文采用平均池化策略對(duì)原始圖像進(jìn)行下采樣處理。與傳統(tǒng)方法相比,它保留了更多的數(shù)據(jù)特征。對(duì)采用平均池化策略的模型模擬了一個(gè)相對(duì)全面的數(shù)值實(shí)驗(yàn),與其他方法進(jìn)行比較,本文提出的QCNN 模型在MNIST 數(shù)據(jù)集識(shí)別方面有效地完成了圖像的二分類任務(wù),顯示出了競(jìng)爭(zhēng)性的識(shí)別結(jié)果,并且在學(xué)習(xí)時(shí)具有穩(wěn)定的量子機(jī)器性能。與經(jīng)典CNN 相比,利用量子力學(xué)的量子態(tài)疊加和量子態(tài)糾纏特性,解決了模型對(duì)內(nèi)存和時(shí)間問題,證明了QCNN在圖像分類任務(wù)中具有良好的應(yīng)用前景。但在奇偶分類方面,還需要研究更高效、學(xué)習(xí)性能更好的QCNN 模型來提高奇偶分類的準(zhǔn)確率。接下來,計(jì)劃將QCNN 模型應(yīng)用于更復(fù)雜的數(shù)據(jù)分類任務(wù),這些問題將是未來的研究重點(diǎn)。相信隨著大規(guī)模量子設(shè)備的出現(xiàn),量子位數(shù)量的有限性將會(huì)得到合理解決,從而可以最大限度地提取原始圖像的特征信息,達(dá)到優(yōu)化模型的學(xué)習(xí)能力和適應(yīng)能力的效果。

    猜你喜歡
    池化層量子態(tài)比特
    卷積神經(jīng)網(wǎng)絡(luò)模型研究分析*
    基于卷積神經(jīng)網(wǎng)絡(luò)的紙幣分類與點(diǎn)鈔
    基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別研究
    科技傳播(2020年6期)2020-05-25 11:07:46
    一類兩體非X-型量子態(tài)的量子失諧
    基于全卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)分類*
    比特幣還能投資嗎
    海峽姐妹(2017年10期)2017-12-19 12:26:20
    比特幣分裂
    比特幣一年漲135%重回5530元
    銀行家(2017年1期)2017-02-15 20:27:20
    極小最大量子態(tài)區(qū)分
    蘋果封殺比特幣應(yīng)用另有隱情?
    国产色婷婷99| 十八禁网站网址无遮挡 | 色5月婷婷丁香| 秋霞伦理黄片| 美女国产视频在线观看| 99热这里只有精品一区| 夫妻午夜视频| 免费观看性生交大片5| videossex国产| 久久久色成人| 精品99又大又爽又粗少妇毛片| 99热这里只有精品一区| 韩国高清视频一区二区三区| 精品久久久久久久久av| 日韩av在线免费看完整版不卡| 综合色av麻豆| 国产亚洲午夜精品一区二区久久 | 日韩av在线大香蕉| 日韩三级伦理在线观看| 97在线视频观看| 一区二区三区乱码不卡18| 简卡轻食公司| 日本一本二区三区精品| 免费观看精品视频网站| 日韩亚洲欧美综合| 亚洲最大成人av| 国产真实伦视频高清在线观看| 国产精品国产三级专区第一集| 男女下面进入的视频免费午夜| 久久久久久久久久黄片| 激情 狠狠 欧美| 2021少妇久久久久久久久久久| 婷婷色综合大香蕉| 亚洲成色77777| 嫩草影院新地址| 看黄色毛片网站| 一本久久精品| 精品午夜福利在线看| 亚洲激情五月婷婷啪啪| 成人亚洲精品一区在线观看 | 亚洲久久久久久中文字幕| www.色视频.com| 18禁在线播放成人免费| 久久这里有精品视频免费| 成人漫画全彩无遮挡| 婷婷色av中文字幕| 国产精品人妻久久久影院| 国产黄色免费在线视频| 十八禁网站网址无遮挡 | 男的添女的下面高潮视频| 久久这里有精品视频免费| 国产成人aa在线观看| 噜噜噜噜噜久久久久久91| 三级国产精品欧美在线观看| 日日摸夜夜添夜夜添av毛片| 少妇熟女欧美另类| 亚洲国产欧美人成| 肉色欧美久久久久久久蜜桃 | 最后的刺客免费高清国语| 五月伊人婷婷丁香| 欧美日韩一区二区视频在线观看视频在线 | 日韩欧美三级三区| 中文天堂在线官网| 看十八女毛片水多多多| 国产色婷婷99| 日本黄色片子视频| 欧美成人一区二区免费高清观看| 97超视频在线观看视频| 自拍偷自拍亚洲精品老妇| 欧美最新免费一区二区三区| 精品久久久久久久人妻蜜臀av| 免费在线观看成人毛片| 女人十人毛片免费观看3o分钟| 日韩不卡一区二区三区视频在线| 日本黄大片高清| 看黄色毛片网站| 秋霞伦理黄片| 国产国拍精品亚洲av在线观看| 国产又色又爽无遮挡免| 亚洲成人久久爱视频| 国产黄片视频在线免费观看| 久久国产乱子免费精品| 十八禁网站网址无遮挡 | 日本色播在线视频| 人人妻人人看人人澡| 丝瓜视频免费看黄片| 国产精品熟女久久久久浪| 自拍偷自拍亚洲精品老妇| 中文字幕av在线有码专区| av女优亚洲男人天堂| 国产成人福利小说| 亚洲成人精品中文字幕电影| 搞女人的毛片| 久久久久久久国产电影| 免费观看的影片在线观看| 一边亲一边摸免费视频| 精品人妻视频免费看| 国产高清不卡午夜福利| 精品久久久精品久久久| 五月伊人婷婷丁香| 免费大片黄手机在线观看| 老师上课跳d突然被开到最大视频| 午夜精品在线福利| 国产精品三级大全| 26uuu在线亚洲综合色| 中文资源天堂在线| 亚洲欧美一区二区三区国产| 国产精品三级大全| 婷婷色综合大香蕉| 国产av码专区亚洲av| 久久久精品免费免费高清| 国产精品久久久久久av不卡| 黑人高潮一二区| 午夜福利高清视频| 91狼人影院| 高清毛片免费看| 国语对白做爰xxxⅹ性视频网站| 床上黄色一级片| 亚洲av日韩在线播放| 赤兔流量卡办理| 韩国高清视频一区二区三区| 亚洲熟妇中文字幕五十中出| 永久网站在线| 日日摸夜夜添夜夜添av毛片| 大香蕉97超碰在线| 日韩欧美精品v在线| 国产精品.久久久| 在线观看人妻少妇| 国产精品一二三区在线看| 乱人视频在线观看| 婷婷色麻豆天堂久久| 黄色欧美视频在线观看| 高清欧美精品videossex| 最近最新中文字幕免费大全7| 特级一级黄色大片| 尤物成人国产欧美一区二区三区| av国产久精品久网站免费入址| 精品久久久久久久久亚洲| 免费无遮挡裸体视频| 亚洲三级黄色毛片| 中文字幕亚洲精品专区| 日韩亚洲欧美综合| 69av精品久久久久久| 色综合亚洲欧美另类图片| 精品国产一区二区三区久久久樱花 | 人妻少妇偷人精品九色| 日韩av在线大香蕉| 69人妻影院| 在线 av 中文字幕| 99热这里只有是精品在线观看| 麻豆av噜噜一区二区三区| 久热久热在线精品观看| 色视频www国产| 亚洲精品国产av蜜桃| 中文字幕人妻熟人妻熟丝袜美| 午夜视频国产福利| 国产探花极品一区二区| 国产男女超爽视频在线观看| 国产精品一区二区性色av| 精品少妇黑人巨大在线播放| h日本视频在线播放| 少妇高潮的动态图| 免费无遮挡裸体视频| 亚洲欧美中文字幕日韩二区| 岛国毛片在线播放| 免费观看精品视频网站| 日日啪夜夜爽| 久久99热6这里只有精品| 成人性生交大片免费视频hd| 一区二区三区免费毛片| 一级毛片久久久久久久久女| 国产成年人精品一区二区| 深夜a级毛片| 全区人妻精品视频| 99久久九九国产精品国产免费| videos熟女内射| 国产精品伦人一区二区| 国产精品嫩草影院av在线观看| 少妇猛男粗大的猛烈进出视频 | 国产成人aa在线观看| 久久97久久精品| 国产亚洲91精品色在线| 亚洲国产精品sss在线观看| 成人毛片a级毛片在线播放| www.av在线官网国产| 观看免费一级毛片| 色尼玛亚洲综合影院| 国产69精品久久久久777片| 亚洲精品国产av成人精品| 有码 亚洲区| 美女国产视频在线观看| 国产精品av视频在线免费观看| 国产爱豆传媒在线观看| 在线a可以看的网站| 人妻一区二区av| 别揉我奶头 嗯啊视频| 麻豆av噜噜一区二区三区| 国产黄色小视频在线观看| 美女xxoo啪啪120秒动态图| 国产黄色免费在线视频| 日本免费在线观看一区| 联通29元200g的流量卡| 中文字幕免费在线视频6| 婷婷色av中文字幕| 亚洲成人久久爱视频| 男女国产视频网站| 亚洲精品乱久久久久久| 久久精品国产自在天天线| 网址你懂的国产日韩在线| 国产成人精品福利久久| 久久精品国产亚洲av涩爱| 亚洲在久久综合| 亚洲欧美一区二区三区黑人 | 韩国高清视频一区二区三区| 春色校园在线视频观看| 一区二区三区乱码不卡18| 亚洲国产精品专区欧美| 日韩不卡一区二区三区视频在线| 国产亚洲5aaaaa淫片| 国产乱人视频| 日本-黄色视频高清免费观看| 亚洲最大成人中文| 国产中年淑女户外野战色| 日本欧美国产在线视频| 国内精品宾馆在线| 大片免费播放器 马上看| 校园人妻丝袜中文字幕| 在线免费观看的www视频| av免费观看日本| 日韩人妻高清精品专区| 色网站视频免费| 国产精品麻豆人妻色哟哟久久 | 乱码一卡2卡4卡精品| 特级一级黄色大片| 国产免费一级a男人的天堂| 只有这里有精品99| 在线免费观看的www视频| 在线观看美女被高潮喷水网站| 国产亚洲一区二区精品| 午夜久久久久精精品| 成人国产麻豆网| 国产一区二区在线观看日韩| 午夜激情久久久久久久| 亚洲婷婷狠狠爱综合网| 建设人人有责人人尽责人人享有的 | 九九久久精品国产亚洲av麻豆| 91av网一区二区| 久久久久精品久久久久真实原创| 亚洲伊人久久精品综合| 亚洲综合色惰| 国产精品人妻久久久影院| 床上黄色一级片| 国产精品三级大全| 亚洲欧洲日产国产| 久久久精品欧美日韩精品| 激情 狠狠 欧美| 国精品久久久久久国模美| 一区二区三区四区激情视频| 国产综合精华液| 国产精品人妻久久久影院| 国产精品一区二区三区四区久久| 久久精品人妻少妇| 午夜福利高清视频| 亚洲av国产av综合av卡| 精品国产露脸久久av麻豆 | 欧美激情在线99| 热99在线观看视频| 亚洲av国产av综合av卡| 日韩精品青青久久久久久| 亚洲精品日韩在线中文字幕| 一区二区三区高清视频在线| 一区二区三区高清视频在线| 汤姆久久久久久久影院中文字幕 | 最近的中文字幕免费完整| 亚洲欧美清纯卡通| 国产精品嫩草影院av在线观看| 亚洲va在线va天堂va国产| 午夜福利视频精品| 九色成人免费人妻av| 久久久精品94久久精品| 国产精品日韩av在线免费观看| 男女边吃奶边做爰视频| 亚洲精品国产成人久久av| 亚洲av电影在线观看一区二区三区 | 少妇熟女aⅴ在线视频| 国产成人freesex在线| 久久久欧美国产精品| 精品少妇黑人巨大在线播放| 免费大片黄手机在线观看| 色网站视频免费| 日韩av在线免费看完整版不卡| 少妇丰满av| 日本午夜av视频| 一级毛片 在线播放| 少妇的逼好多水| 超碰av人人做人人爽久久| 少妇裸体淫交视频免费看高清| 搡老妇女老女人老熟妇| 国产高清有码在线观看视频| 女人十人毛片免费观看3o分钟| 日韩成人av中文字幕在线观看| 一级a做视频免费观看| 国产亚洲午夜精品一区二区久久 | 亚洲精品久久午夜乱码| 国产亚洲午夜精品一区二区久久 | 成年女人在线观看亚洲视频 | 成人欧美大片| 欧美 日韩 精品 国产| 免费看日本二区| 特大巨黑吊av在线直播| 精品人妻熟女av久视频| 两个人视频免费观看高清| 观看美女的网站| 69人妻影院| 国产精品av视频在线免费观看| 高清av免费在线| 亚洲四区av| 成人鲁丝片一二三区免费| 精品国内亚洲2022精品成人| 欧美区成人在线视频| 男人舔女人下体高潮全视频| 免费看美女性在线毛片视频| 久99久视频精品免费| 午夜久久久久精精品| 白带黄色成豆腐渣| 男女边摸边吃奶| 日本av手机在线免费观看| 欧美 日韩 精品 国产| 久久久精品免费免费高清| 99久久九九国产精品国产免费| 久久99精品国语久久久| 色吧在线观看| 99热网站在线观看| 国产伦一二天堂av在线观看| 国产一级毛片在线| 一个人免费在线观看电影| 亚洲精华国产精华液的使用体验| 99久久人妻综合| 最近最新中文字幕大全电影3| 国产大屁股一区二区在线视频| 亚洲经典国产精华液单| 男女下面进入的视频免费午夜| 91久久精品国产一区二区成人| 日本黄色片子视频| 熟妇人妻久久中文字幕3abv| 亚洲自拍偷在线| 视频中文字幕在线观看| 成人鲁丝片一二三区免费| 免费人成在线观看视频色| 国产有黄有色有爽视频| 免费不卡的大黄色大毛片视频在线观看 | av在线播放精品| 久久草成人影院| 99re6热这里在线精品视频| 亚洲欧美日韩无卡精品| 激情 狠狠 欧美| 日韩 亚洲 欧美在线| 成人午夜精彩视频在线观看| 男的添女的下面高潮视频| 久久久国产一区二区| 日韩欧美精品免费久久| 欧美极品一区二区三区四区| 亚洲av二区三区四区| 欧美日韩在线观看h| 欧美一区二区亚洲| 99热6这里只有精品| 日日摸夜夜添夜夜添av毛片| 日日啪夜夜撸| 色哟哟·www| 精品久久久久久久末码| 色尼玛亚洲综合影院| 不卡视频在线观看欧美| 国产黄频视频在线观看| 国产黄色小视频在线观看| 国产精品伦人一区二区| 欧美变态另类bdsm刘玥| 国产三级在线视频| 男女视频在线观看网站免费| 国产大屁股一区二区在线视频| 大香蕉久久网| 国产伦精品一区二区三区视频9| 午夜福利视频1000在线观看| 亚洲在线自拍视频| 中文天堂在线官网| 搡老乐熟女国产| 国产单亲对白刺激| 精品酒店卫生间| 免费不卡的大黄色大毛片视频在线观看 | 亚洲精品中文字幕在线视频 | 高清在线视频一区二区三区| 国产男女超爽视频在线观看| 亚洲18禁久久av| 亚洲欧美中文字幕日韩二区| 成人午夜精彩视频在线观看| 久久久久久九九精品二区国产| 国产视频首页在线观看| 欧美3d第一页| 97超碰精品成人国产| 国产不卡一卡二| 久久午夜福利片| 精品一区二区三卡| 亚洲精品日韩在线中文字幕| 国产黄片视频在线免费观看| 久久久久久久久久久丰满| 国内精品美女久久久久久| 国产高清国产精品国产三级 | 久久久久精品久久久久真实原创| 最近手机中文字幕大全| 少妇的逼水好多| 3wmmmm亚洲av在线观看| 午夜老司机福利剧场| 久久精品熟女亚洲av麻豆精品 | 国产亚洲最大av| 内地一区二区视频在线| 身体一侧抽搐| 综合色丁香网| 国产亚洲av片在线观看秒播厂 | 亚洲国产欧美人成| 成人鲁丝片一二三区免费| 老司机影院毛片| 日韩av免费高清视频| 乱系列少妇在线播放| 99久久精品一区二区三区| 精品久久久久久久久亚洲| 免费观看的影片在线观看| 久久这里有精品视频免费| 蜜臀久久99精品久久宅男| 69av精品久久久久久| 精品久久久噜噜| 只有这里有精品99| 天天躁日日操中文字幕| 久久精品熟女亚洲av麻豆精品 | 亚洲内射少妇av| 国产乱来视频区| 九草在线视频观看| 亚洲一级一片aⅴ在线观看| 少妇熟女欧美另类| h日本视频在线播放| 国产男人的电影天堂91| 建设人人有责人人尽责人人享有的 | 成人一区二区视频在线观看| 亚洲乱码一区二区免费版| 亚洲国产最新在线播放| 99久久精品一区二区三区| 欧美日韩精品成人综合77777| 亚洲最大成人手机在线| 精品少妇黑人巨大在线播放| 搡老乐熟女国产| 免费观看精品视频网站| 日日啪夜夜撸| 久久精品国产亚洲网站| 久久久久国产网址| 又粗又硬又长又爽又黄的视频| 97精品久久久久久久久久精品| 久久鲁丝午夜福利片| 日韩大片免费观看网站| 国产成人aa在线观看| 久久久久久久久久久免费av| 日韩av免费高清视频| 精品久久久久久成人av| 欧美精品一区二区大全| 亚洲aⅴ乱码一区二区在线播放| 亚洲av成人精品一区久久| 中文字幕人妻熟人妻熟丝袜美| 高清在线视频一区二区三区| 精品人妻偷拍中文字幕| 丝袜美腿在线中文| 大又大粗又爽又黄少妇毛片口| 久久国产乱子免费精品| 亚洲av免费高清在线观看| 人妻制服诱惑在线中文字幕| 亚洲精品乱久久久久久| 超碰97精品在线观看| 中文天堂在线官网| 国产精品久久久久久av不卡| 国产伦精品一区二区三区四那| 国内揄拍国产精品人妻在线| 亚洲欧美一区二区三区国产| 网址你懂的国产日韩在线| 亚洲精品国产成人久久av| 别揉我奶头 嗯啊视频| 免费高清在线观看视频在线观看| 日韩欧美精品免费久久| 欧美激情国产日韩精品一区| 亚洲18禁久久av| 蜜桃久久精品国产亚洲av| 免费看a级黄色片| 久久国内精品自在自线图片| 少妇熟女aⅴ在线视频| 成人特级av手机在线观看| 直男gayav资源| 国产三级在线视频| 99久国产av精品国产电影| 不卡视频在线观看欧美| 日本猛色少妇xxxxx猛交久久| 亚洲av电影不卡..在线观看| 国产女主播在线喷水免费视频网站 | 18禁在线无遮挡免费观看视频| 日韩在线高清观看一区二区三区| 日韩精品有码人妻一区| 99热6这里只有精品| 色网站视频免费| 一夜夜www| 亚洲av中文字字幕乱码综合| 国产精品国产三级国产av玫瑰| 又爽又黄无遮挡网站| 国产乱人视频| 插阴视频在线观看视频| 岛国毛片在线播放| 夫妻午夜视频| 国产高清三级在线| 亚洲精品,欧美精品| 好男人在线观看高清免费视频| 国产成人精品福利久久| 我要看日韩黄色一级片| 免费人成在线观看视频色| 99久久精品热视频| 嘟嘟电影网在线观看| 中文字幕av成人在线电影| 婷婷色综合www| 白带黄色成豆腐渣| 欧美性感艳星| 国产日韩欧美在线精品| 亚洲美女视频黄频| 美女高潮的动态| 亚洲精品亚洲一区二区| 精品欧美国产一区二区三| 伦理电影大哥的女人| 美女xxoo啪啪120秒动态图| 啦啦啦韩国在线观看视频| 日韩制服骚丝袜av| 国产精品国产三级国产专区5o| 麻豆久久精品国产亚洲av| 一区二区三区乱码不卡18| 白带黄色成豆腐渣| 最近中文字幕高清免费大全6| 亚洲精华国产精华液的使用体验| 欧美精品国产亚洲| 亚洲精品一区蜜桃| 婷婷色综合大香蕉| 精品欧美国产一区二区三| 老司机影院毛片| 啦啦啦中文免费视频观看日本| 国产在线男女| 色吧在线观看| av线在线观看网站| 国产乱人视频| 午夜爱爱视频在线播放| av在线蜜桃| 久久午夜福利片| 人妻制服诱惑在线中文字幕| 嫩草影院精品99| 大又大粗又爽又黄少妇毛片口| 亚洲美女视频黄频| 18禁动态无遮挡网站| 亚洲熟女精品中文字幕| 人妻系列 视频| av网站免费在线观看视频 | 狂野欧美白嫩少妇大欣赏| 人妻夜夜爽99麻豆av| 亚洲av免费高清在线观看| 成人亚洲欧美一区二区av| 亚洲精品影视一区二区三区av| 大香蕉久久网| 免费看美女性在线毛片视频| 国产欧美日韩精品一区二区| 中文精品一卡2卡3卡4更新| 国产成人精品一,二区| 国产 亚洲一区二区三区 | 久久精品国产亚洲网站| av网站免费在线观看视频 | 国产乱人偷精品视频| 在线观看一区二区三区| 狠狠精品人妻久久久久久综合| 91av网一区二区| 亚洲一区高清亚洲精品| 亚洲乱码一区二区免费版| a级毛色黄片| 亚洲欧美日韩无卡精品| 国产亚洲一区二区精品| 国产av在哪里看| 三级国产精品片| 免费看a级黄色片| 久热久热在线精品观看| 欧美日韩精品成人综合77777| 亚洲一区高清亚洲精品| 97人妻精品一区二区三区麻豆| 国产v大片淫在线免费观看| 五月伊人婷婷丁香| 内地一区二区视频在线| 亚洲伊人久久精品综合| 亚洲久久久久久中文字幕| 又大又黄又爽视频免费| 精品99又大又爽又粗少妇毛片| 我的女老师完整版在线观看| 午夜免费观看性视频| 亚洲国产欧美人成| 欧美激情国产日韩精品一区| 日韩精品有码人妻一区| 欧美成人精品欧美一级黄| 少妇丰满av| 中文在线观看免费www的网站| 日韩大片免费观看网站| 国产 一区 欧美 日韩| 亚洲av成人av| 国产伦精品一区二区三区四那| 国产一区亚洲一区在线观看| 日韩电影二区| 舔av片在线| 亚洲在久久综合| 亚洲aⅴ乱码一区二区在线播放| 人人妻人人澡人人爽人人夜夜 | 女的被弄到高潮叫床怎么办| 亚洲av成人精品一二三区| 亚洲精品一区蜜桃|