基于空洞卷積的快速背景自動(dòng)更換

張　浩，竇奇?zhèn)ィ瑱韫饎P，姚紹文，周　維

(云南大學(xué) 軟件學(xué)院，昆明 650091)(*通信作者電子郵箱zwei@ynu.edu.cn)

0　引言

圖像背景更換是指通過圖像語(yǔ)義分割算法提取圖像的目標(biāo)物體，然后應(yīng)用圖像融合技術(shù)將目標(biāo)對(duì)象與背景圖像很好地融合。隨著圖像處理軟件日趨流行以及在圖像處理和影視制作等方面的廣泛應(yīng)用，背景更換的功能顯得尤為重要。傳統(tǒng)的處理方式基于圖像分割操作來(lái)完成[1]，往往需要復(fù)雜的人工操作，不能夠自動(dòng)地完成圖像背景更換[2]。因此，一些自動(dòng)化的方法被提出。Qian等[3]提出一種通過檢測(cè)視頻中靜態(tài)物體的方法更換視頻中的背景圖像；Levin等[4]提出了一種封閉形式的自然圖像消光解決方案，根據(jù)前景和背景顏色的局部平滑度的不同計(jì)算出圖像的alpha通道，該方法也能實(shí)現(xiàn)背景更換操作。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)是一種多層感知機(jī)(Multi-Layer Perceptron， MLP)的優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，近年來(lái)，已經(jīng)在圖像處理和圖像識(shí)別方面廣泛應(yīng)用，由此使得圖像背景更換方面的研究也取得了很大的進(jìn)展。Shen等[1]基于深度網(wǎng)絡(luò)全卷積網(wǎng)絡(luò)(Fully Convolutional Network, FCN)和matting Laplacian matrix的方式實(shí)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)自動(dòng)摳圖功能，并獲得了較好的效果；Zhu等[5]提出了一種基于深度學(xué)習(xí)的方法對(duì)人臉頭像進(jìn)行摳圖實(shí)現(xiàn)背景更換；Xu等[6]采用encoder-decoder的方式進(jìn)行圖像分割中的細(xì)節(jié)優(yōu)化，獲得了較好的效果。卷積神經(jīng)網(wǎng)絡(luò)雖然基于局部感受視野和計(jì)算權(quán)值共享的理念，能夠大幅度降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度，但是隨著應(yīng)用需求的復(fù)雜性增加，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性越來(lái)越高，計(jì)算量同樣可觀。尤其是在圖像分割領(lǐng)域中，首先需要經(jīng)過計(jì)算復(fù)雜的向下卷積和池化(pooling)的過程來(lái)獲得全局視野[7]，然后再通過多次反卷積操作獲得原始圖像尺寸的圖像。為了提高圖像背景更換網(wǎng)絡(luò)模型的效率，Yu等[8]和Chen等[9]在研究中提出了空洞卷積(Dilated Convolution)，能夠通過卷積核的尺寸在不增加參數(shù)并且網(wǎng)絡(luò)在不采用向下卷積的情況下獲得更大的感觀視野，該方法已經(jīng)在圖像語(yǔ)義分割研究方面取得了很好的效果[10-12]。

結(jié)合上述方法，本文采用空洞卷積和殘差網(wǎng)絡(luò)結(jié)合的方式，提出一種端到端圖像背景更換方法FABRNet(Fast Automatic Background Replacement neural Network)。本文的工作主要包括：1)提出一種端到端的自動(dòng)圖像背景更換方法，采用空洞卷積，能在不增加參數(shù)數(shù)量的同時(shí)有效地控制卷積核的視野；2)在卷積網(wǎng)絡(luò)中采用雙線性插值，降低模型的計(jì)算復(fù)雜度，同時(shí)減少圖像變換過程中的失真對(duì)模型準(zhǔn)確率的影響，優(yōu)化卷積效果。

1　相關(guān)工作

背景更換是一個(gè)比較復(fù)雜的工作，傳統(tǒng)的圖像背景多數(shù)基于圖像分割處理完成。Yang等[13]最早提出對(duì)兩個(gè)圖像的相應(yīng)像素之間的光強(qiáng)差進(jìn)行比較，分別在場(chǎng)景的前景和背景區(qū)域中具有不同強(qiáng)度的兩個(gè)紅外圖像(IR圖像)，以形成區(qū)分圖像的前景和背景區(qū)域的alpha通道；然后將alpha通道應(yīng)用于場(chǎng)景的可見光圖像，并且使用預(yù)選背景來(lái)替換原始背景。Penta等[14]提出一種基于圖像分割技術(shù)的自動(dòng)搜索合適背景、更換圖片背景的方法，將搜索得到的最佳背景圖片與前景圖片合成更換好的圖片。Swanson等[15]通過獲取圖片中明暗差異的方式來(lái)獲取圖片的前景圖像和圖像的alpha通道，從而通過alpha通道將圖像中的背景去除，替換上其他所需的背景。Chen等[16]通過K最近鄰(K-Nearest Neighbors, KNN)算法進(jìn)行圖像語(yǔ)義分割，得到圖像的前景和背景區(qū)域，通過該方法替換背景區(qū)域也可以達(dá)到背景更換的效果。

CNN最早由Lecun等[17]提出并在手寫數(shù)字識(shí)別應(yīng)用中取得了突破性的進(jìn)展，之后被廣泛應(yīng)用于圖像識(shí)別[18]、語(yǔ)音檢測(cè)[19]、生物信息學(xué)[20-21]、文檔分析等多個(gè)領(lǐng)域。因?yàn)镃NN在圖像處理中可以直接作用于圖像中像素值，能夠提取更廣泛、更深層次和更有區(qū)別度的特征信息[22]。通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征可以避免傳統(tǒng)方法中特征提取不充分以及特征提取過程中信息丟失的問題。目前已有學(xué)者將深度學(xué)習(xí)應(yīng)用于圖像語(yǔ)義分割和圖像目標(biāo)對(duì)象提取當(dāng)中。Shelhamer等[7]率先提出一種“完全卷積”網(wǎng)絡(luò)模型，經(jīng)過像素級(jí)的訓(xùn)練能夠得到一個(gè)端到端的圖像語(yǔ)義分割模型，可以適應(yīng)任何尺寸大小的圖片輸入，該方法在后續(xù)研究中得到了廣泛的應(yīng)用。Chen等[9]結(jié)合空洞卷積網(wǎng)絡(luò)處理圖像語(yǔ)義分割任務(wù)，通過空洞卷積可以在不增加計(jì)算量和參數(shù)個(gè)數(shù)的同時(shí)控制卷積核的視野；此外還提出了空間金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)網(wǎng)絡(luò)模型，該模型可以劃分不同尺寸的圖片對(duì)象。Xu等[6]提出方法分為兩個(gè)部分：第一部分采用的是自動(dòng)編碼和解碼的深度卷積網(wǎng)絡(luò)得到一個(gè)灰度圖，第二部分網(wǎng)絡(luò)是一個(gè)小型網(wǎng)絡(luò)結(jié)構(gòu)對(duì)第一部分得到的結(jié)果進(jìn)行微調(diào)得到更精細(xì)的結(jié)果。Shen等[1]提出了一種用于人像的自動(dòng)摳圖方法。這種方法不需要用戶交互，不僅考慮圖像語(yǔ)義預(yù)測(cè)，還考慮像素級(jí)圖像優(yōu)化。

本文基于上述研究提出一種端到端的自動(dòng)背景更換網(wǎng)絡(luò)系統(tǒng)：通過CNN提取圖像特征，實(shí)現(xiàn)背景自動(dòng)更換；為了保證CNN效率，引入空洞卷積操作以取代encoder-decoder操作；此外，網(wǎng)絡(luò)中還加入了雙線性插值操作來(lái)有效降低上采樣過程帶來(lái)的圖像失真率。

2　自動(dòng)背景更換方法

2.1　數(shù)據(jù)集的準(zhǔn)備

為了驗(yàn)證FABRNet的可行性，首先收集了Shen等[1]提供的2 000張包含原始圖片和alpha通道的公共數(shù)據(jù)集，為了擴(kuò)大訓(xùn)練數(shù)據(jù)集，使網(wǎng)絡(luò)得到更大的泛化能力，采用COCO數(shù)據(jù)集[25]作為背景圖像，對(duì)每個(gè)訓(xùn)練樣本更換120張不同的背景圖片，保留其輸入圖片和背景圖片作為訓(xùn)練樣本，從而得到204×103個(gè)訓(xùn)練數(shù)據(jù)，采用其中的1 700個(gè)數(shù)據(jù)對(duì)象作為訓(xùn)練數(shù)據(jù)，另外300個(gè)數(shù)據(jù)對(duì)象作為測(cè)試數(shù)據(jù)。

此外為了提高FABRNet對(duì)圖像細(xì)節(jié)信息的獲取能力，還收集了alphamatting.com[23]提供的公共數(shù)據(jù)集，該數(shù)據(jù)集中提供了較為精確的alpha通道，但由于此公共數(shù)據(jù)集數(shù)據(jù)樣本僅包含27個(gè)樣本數(shù)據(jù)，仍采用上述的方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)張，實(shí)驗(yàn)中使用該數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行微調(diào)。

2.2　網(wǎng)絡(luò)模型

2.2.1空洞卷積

背景更換圖像特征提取需要充分考慮局部信息和全局信息，該網(wǎng)絡(luò)中需要一個(gè)對(duì)全局特征和細(xì)節(jié)特征都敏感的模型，因此需要設(shè)計(jì)一種新穎的CNN結(jié)構(gòu)模型來(lái)進(jìn)行圖像背景更換。經(jīng)典的CNN中通過pooling操作可以使卷積核獲得較大的感受視野，但是對(duì)于圖像背景更換需要輸出的是與原圖像尺寸相同的圖像，所以pooling后得到的較小的尺寸需要通過反卷積操作擴(kuò)大圖像，但是如果向下pooling操作過多容易導(dǎo)致反卷積過程中信息損失量過大，而空洞卷積能夠控制卷積核的rate的大小，從而得到不同大小的卷積視野，如圖1所示。

圖1　空洞卷積示意圖Fig. 1　Dilated convolution illustration

圖1(a)中顯示的是經(jīng)典的3×3的卷積核心作用的視野效果，每次覆蓋3×3的視野；圖1(b)中對(duì)應(yīng)的是3×3的rate=2空洞卷積，實(shí)際上卷積核的大小仍然是3×3，但是卷積核的計(jì)算視野增大到了7×7，而實(shí)際參數(shù)只有3×3。感受野大小可以表示為：

v=((ksizse+1)×(rrate-1)+ksizse)2

此外，很容易看出，rate=1和rate=2的卷積同時(shí)作用的效果和傳統(tǒng)卷積核7×7單獨(dú)作用的效果相同，F(xiàn)ABRNet通過四種不同rate的卷積核心作用于同一輸入能夠感受不同視野的特征。

2.2.2FABRNet結(jié)構(gòu)

結(jié)合圖像背景更換的特定需求，本文提出一種新穎的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示。網(wǎng)絡(luò)主要分為三個(gè)主要部分：第一部分采用了VGG(Visual Geometry Group network)模型中的部分結(jié)構(gòu)，該結(jié)構(gòu)已經(jīng)在計(jì)算機(jī)視覺中取得了顯著的成果，這部分中包含三個(gè)階段，第一階段和第二階段中分別包含兩個(gè)卷積層和一個(gè)maxpooling層，第三階段包含三個(gè)卷積層和一個(gè)向下卷積層；第二部分采用五種不同大小的卷積核和不同的rate的空洞卷積對(duì)網(wǎng)絡(luò)前一層輸出的結(jié)果進(jìn)行卷積操作，為了保持圖像中信息位置分布，該部分還增加了殘差網(wǎng)絡(luò)結(jié)構(gòu)；最后一部分為了得到原圖像尺寸，結(jié)構(gòu)中采用1×1的卷積對(duì)得到的結(jié)果進(jìn)行微調(diào)之后輸出3通道的圖像，為了減小圖像縮放中的誤差，網(wǎng)絡(luò)中額外增加了雙線性插值操作得到與原圖大小相同的尺寸。

圖2　FABRNet的網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2　Architecture of FABRNet

2.2.3雙線性插值

雙線性插值是圖像縮放中比較常用的算法，模型中使用該方法將卷積過程中縮小的圖片放大到原圖像尺寸，通過計(jì)算預(yù)測(cè)得到的圖片與真實(shí)圖片之間的損失，通過反向傳播的方法得到最優(yōu)模型。具體計(jì)算過程如下：

假設(shè)圖片中存在點(diǎn)p(x,y)需要通過插值方式得到，但是我們已經(jīng)知道圖片中存在確定的點(diǎn){q1(x1,y1),q2(x2,y2),q3(x3,y3),q4(x4,y4),}滿足函數(shù)y=f(x)。如圖3所示,為了得到點(diǎn)p的像素值，首先需要在橫坐標(biāo)方向進(jìn)行插值得到點(diǎn)t1、t2的坐標(biāo)值，插值的方法為：

同理得到y(tǒng)方向的插值：

通過上述三個(gè)公式即可得到p(x,y)：

圖3　雙線性插值示意圖Fig. 3　Bilinear interpolation illustration

如圖2所示，F(xiàn)ABRNet為雙線性插值操作層，目的是將圖片放大到原始圖像尺寸，通過該方法：一方面可以取代復(fù)雜的反卷積操作，降低模型的計(jì)算復(fù)雜度；另一方面可以減少圖像變換過程中的失真對(duì)模型準(zhǔn)確率的影響。

2.3　損失函數(shù)

模型采用的損失函數(shù)為預(yù)測(cè)生成圖片與真實(shí)圖片像素值的歐幾里得距離，并且加上常數(shù)ε以保證損失函數(shù)可微，具體表示形式如下：

該損失函數(shù)可以計(jì)算出預(yù)測(cè)圖像與標(biāo)準(zhǔn)圖像之間的像素差值，計(jì)算產(chǎn)生的誤差通過反向傳播的方法回傳到網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)，可以幫助網(wǎng)絡(luò)學(xué)習(xí)到圖像中主體特征、背景特征以及前景與背景之間的邊緣特征等。

3　實(shí)驗(yàn)結(jié)果與分析

3.1　實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)中訓(xùn)練數(shù)據(jù)集中有204×103個(gè)訓(xùn)練樣本，網(wǎng)絡(luò)輸入是大小為224×224像素的目標(biāo)圖片和背景圖片，當(dāng)模型在該數(shù)據(jù)集下訓(xùn)練趨于穩(wěn)定后再采用alphamatting.com[23]提供的數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)，使得模型能夠?qū)W到更多細(xì)節(jié)特征，尤其是邊緣細(xì)節(jié)特征。模型的訓(xùn)練和測(cè)試基于tensorflow[24]框架實(shí)現(xiàn),具體結(jié)構(gòu)如圖2所示。首先采用VGG-16[26]中訓(xùn)練好的參數(shù)對(duì)網(wǎng)絡(luò)中第一部分進(jìn)行初始化，其余部分采用隨機(jī)的初始化方式，訓(xùn)練過程中學(xué)習(xí)率的范圍設(shè)置為[10-6,10-3]，調(diào)整不同的學(xué)習(xí)率使網(wǎng)絡(luò)達(dá)到最優(yōu)效果。

模型的訓(xùn)練在NVIDIA TASLA T40M顯卡上完成，訓(xùn)練過程大概需要4個(gè)epochs，訓(xùn)練時(shí)間大概是7小時(shí)；測(cè)試過程中還對(duì)比了模型在GPU和CPU(intel i7 3.40 GHz)兩種設(shè)備上的表現(xiàn)能力。

3.2　評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)中通過公共數(shù)據(jù)測(cè)試集評(píng)測(cè)模型的有效性，并且與其他傳統(tǒng)的機(jī)器學(xué)習(xí)(KNN matting[16])、深度學(xué)習(xí)的方法(Portrait matting[1]和Deep matting[6])進(jìn)行了比較分析。首先采用兩個(gè)通用衡量指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)測(cè)，分別是Rhemann等[23]提出的G(αp,αgt)和C(αp,αgt)，它們已經(jīng)被廣泛應(yīng)用于比較圖片之間的差異。其中:G(αp,αgt)表示預(yù)測(cè)圖片與真實(shí)圖片之間的梯度誤差，C(αp,αgt)表示預(yù)測(cè)圖片與真實(shí)圖片的像素之間的均方差。計(jì)算公式如下：

其中:αp表示的是預(yù)測(cè)圖像，αgt是通過手工更換背景得到的圖像，k是圖像的像素點(diǎn)數(shù)，表示計(jì)算圖像的梯度。

3.3　實(shí)驗(yàn)預(yù)測(cè)分析

實(shí)驗(yàn)中首先比較了FABRNet與KNN matting[16]、Portrait matting和Deep matting在不同數(shù)量測(cè)試數(shù)據(jù)下的平均梯度差和像素內(nèi)容差(為了能減少誤差，實(shí)驗(yàn)中分別測(cè)試5次取平均值)。從表1中可以看出，F(xiàn)ABRNet在不同數(shù)量的數(shù)據(jù)集的預(yù)測(cè)結(jié)果比其他三種方法都好。以1 000個(gè)測(cè)試樣本為例，F(xiàn)ABRNet模型的G(αp,αgt)為3.82×10-2，比其他三種方法中表現(xiàn)最好的還低0.35×10-2；同樣FABRNet模型的C(αp,αgt)為2.94×10-1，比其他三種方法中表現(xiàn)最好的還低0.09×10-1。另外在測(cè)試樣本量為200和500時(shí)也有同樣的表現(xiàn)趨勢(shì)，最主要的原因有兩方面：首先，深度卷積網(wǎng)絡(luò)能識(shí)別復(fù)雜的圖片特征，充分提取背景更換需要的特征信息，并且空洞卷積有效兼顧了網(wǎng)絡(luò)中全局特征和細(xì)節(jié)特征的提取；其次，網(wǎng)絡(luò)模型中最后一層通過雙線性插值的方法調(diào)整圖片的大小，有效減少了圖像變換過程中的失真對(duì)模型準(zhǔn)確率的影響，從而減小了整個(gè)網(wǎng)絡(luò)的誤差。

為了能更直觀地體現(xiàn)FABRNet的生成結(jié)果，圖4展示了FABRNet與其他三種模型得到的背景更換后的結(jié)果圖片。從圖4可以看出，KNN matting[16]和Portrait matting[1]兩種方法容易將背景區(qū)域分割為前景內(nèi)容，且兩種方法中得到的圖像邊緣信息過于明顯；而Deep matting[6]方法中出現(xiàn)了前景區(qū)域被分割為背景區(qū)域的情況；本文提出的FABRNet模型通過增加空洞卷積和殘差網(wǎng)絡(luò)的方式使網(wǎng)絡(luò)有效獲取到了圖片的全局視野，并且通過不同大小的空洞卷積組合實(shí)現(xiàn)不同大小的視野信息，有效解決了上述這兩種缺陷。此外，從圖中還可以看出，本文方法可以有效彌補(bǔ)結(jié)果圖片中邊界信息過于明顯的缺陷。但是也可以發(fā)現(xiàn)，相比KNN matting[16]和Portrait matting[1]，F(xiàn)ABRNet模型也引入了一個(gè)新的問題：在得到的結(jié)果圖片與原圖之間存在微弱色差，這是因?yàn)樵贑NN的計(jì)算過程中存在數(shù)值計(jì)算誤差，導(dǎo)致結(jié)果圖片中像素與真實(shí)像素之間有略微的差異。

表1　不同測(cè)試樣本量的結(jié)果比較Table 1　Comparison of the results of different test samples

圖4　不同方法背景更換結(jié)果比較Fig. 4　Background replacement result comparison of different methods

3.4　FABRNet性能分析

實(shí)驗(yàn)中還測(cè)試了不同模型分別在CPU和GPU上預(yù)測(cè)100～1 000張圖片背景更換過程的時(shí)間消耗，結(jié)果如圖5所示。圖5(a)為在CPU(intel i7 3.40 GHz)上加載訓(xùn)練好的模型進(jìn)行預(yù)測(cè)過程所消耗的時(shí)間，F(xiàn)ABRNet相比其他方法在10個(gè)不同數(shù)量的測(cè)試數(shù)據(jù)集中消耗的時(shí)間都是最少的，而且數(shù)據(jù)量越大，與其他三種方法差異就越明顯，而傳統(tǒng)的KNN方法隨著數(shù)據(jù)量的增大其效率會(huì)有所下降；圖5(b)是在GPU上運(yùn)行所消耗的時(shí)間對(duì)比，可以看出這四種方法的運(yùn)行時(shí)間消耗趨勢(shì)基本相似。FABRNet的計(jì)算時(shí)間消耗無(wú)論是在GPU還是CPU上均有明顯優(yōu)勢(shì)，這是因?yàn)槠湓谀Ｐ椭胁捎昧丝斩淳矸e和雙線性插值的方式，使得網(wǎng)絡(luò)計(jì)算量相比其他幾種方法有所降低。

4　結(jié)語(yǔ)

本文提出的FABRNet方法是一種高效的圖像背景替換方法，基于具有優(yōu)良圖像處理能力的CNN模型構(gòu)建，將傳統(tǒng)的卷積操作替換為空洞卷積操作，并引入雙線性插值操作。該方法和傳統(tǒng)CNN相比，空洞卷積能夠在不增加參數(shù)數(shù)量的同時(shí)，擴(kuò)大卷積操作過程中的視野感受區(qū)域，而雙線性插值操作的引入，也使得處理后的圖片更為接近真實(shí)圖片。實(shí)驗(yàn)結(jié)果表明，F(xiàn)ABRNet方法在效果上和運(yùn)算速度上均優(yōu)于對(duì)比模型。除此之外，F(xiàn)ABRNet方法也有一些待優(yōu)化之處，如模型參數(shù)選取的合理性、圖像縮放階段產(chǎn)生的誤差以及生成圖像和原圖像之間的色差等，這也將是我們下一步深入研究的內(nèi)容。

圖5　不同方法之間時(shí)間消耗比較Fig. 5　Time consumption comparison of different models

參考文獻(xiàn):

[1]SHEN X, TAO X, GAO H, et al. Deep automatic portrait matting [C]// ECCV 2016: Proceedings of the 2016 European Conference on Computer Vision. Cham: Springer, 2016: 92-107.

[2]LI B. Image background replacement method: US, US6912313 [P]. 2005- 06- 28.

[3]QIAN R J, SEZAN M I. Video background replacement without a blue screen [C]// ICIP 99: Proceedings of the 1999 International Conference on Image Processing. Piscataway, NJ: IEEE, 1999, 4: 143-146.

[4]LEVIN A, LISCHINSKI D, WEISS Y. A closed-form solution to natural image matting [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242.

[5]ZHU B, CHEN Y, WANG J, et al. Fast deep matting for portrait animation on mobile phone [C]// MM ’17: Proceedings of the 2017 ACM on Multimedia Conference. New York: ACM, 2017: 297-305.

[6]XU N, PRICE B, COHEN S, et al. Deep image matting [J/OL]. arXiv:1703.03872, (2017- 04- 11) [2017- 05- 16]. https://arxiv.org/abs/1703.03872.

[7]SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[8]YU F, KOLTUN V. Multi-scale context aggregation by dilated convolutions [J/OL]. arXiv:1511.07122, (2016- 04- 30) [2017- 05- 16]. https://arxiv.org/abs/1511.07122.

[9]CHEN L-C, PAPANDREOU G, KOKKINOS I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs [J/OL]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017 [2017- 05- 26]. http://ieeexplore.ieee.org/document/7913730/.

[10]CHEN L-C, PAPANDREOU G, KOKKINOS I, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs [J/OL]. arXiv:1412.7062, (2016- 06- 07) [2017- 04- 08]. https://arxiv.org/abs/1412.7062.

[11]CHEN L-C, YANG Y, WANG J, et al. Attention to scale: scale-aware semantic image segmentation [C]// CVPR 2016: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 3640-3649.

[12]MOESKOPS P, VETA M, LAFARGE M W, et al. Adversarial training and dilated convolutions for brain MRI segmentation [C]// DLMIA 2017, ML-CDS 2017: Proceedings of the 2017 Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Cham: Springer, 2017: 56-64.

[13]YANG Y, SOINI R F. Background replacement for an image: US, US5574511 [P]. 1996- 11- 12.

[14]PENTA S K. Background replacement [C]// SIGGRAPH 2008: Proceedings of the 2008 International Conference on Computer Graphics and Interactive Techniques. New York: ACM, 2008: Article No. 59.

[15]SWANSON R L, ADOLPHI E J, SURMA M J, et al. Method and apparatus for background replacement in still photographs: US, US7834894 [P]. 2010- 11- 16.

[16]CHEN Q, LI D, TANG C-K. KNN matting [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(9): 2175-2188.

[17]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[18]GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]// CVPR 2014: Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 580-587.

[19]SWIETOJANSKI P, GHOSHAL A, RENALS S. Convolutional neural networks for distant speech recognition [J]. IEEE Signal Processing Letters, 2014, 21(9): 1120-1124.

[20]SINGH R, LANCHANTIN J, ROBINS G, et al. DeepChrome: deep-learning for predicting gene expression from histone modifications [J]. Bioinformatics, 2016, 32(17): i639-i648.

[21]PRASOON A, PETERSEN K, IGEL C, et al. Deep feature learning for knee cartilage segmentation using a triplanar convolutional neural network [C]// MICCAI 2013: Proceedings of the 2013 International Conference on Medical Image Computing and Computer-Assisted Intervention, LNCS 8150. Berlin: Springer, 2013: 246-253.

[22]唐智川,張克俊,李超,等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象分類及其在腦控外骨骼中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào),2017,40(6): 1367-1378. (TANG Z C, ZHANG K J, LI C, et al. Motor imagery classification based on deep convolutional neural network and its application in exoskeleton controlled by EEG [J]. Chinese Journal of Computers, 2016, 40(6): 1367-1378.)

[23]RHEMANN C, ROTHER C, WANG J, et al. A perceptually motivated online benchmark for image matting [C]// CVPR 2009: Proceedings of the 2009 International Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2009: 1826-1833.

[24]ABADI M, AGARWAL A, BARHAM P, et al. TensorFlow: large-scale machine learning on heterogeneous distributed systems [J/OL]. arXiv:1603.04467, (2016- 03- 16) [2017- 04- 06]. https://arxiv.org/abs/1603.04467v1.

[25]LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context [C]// ECCV 2014: Proceedings of the 2014 European Conference on Computer Vision, LNCS 8693. Cham: Springer, 2014: 740-755.

[26]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J/OL]. arXiv:1409.1556, (2015- 04- 10) [2017- 03- 05]. https://arxiv.org/abs/1409.1556.