沙莎 李怡 蔣惠敏 陳雅卓
摘要:針對(duì)真實(shí)圖像與漢繡圖像在風(fēng)格遷移融合過程中產(chǎn)生的針法工藝模糊和邊界偽影問題,提出了基于ChipGAN-ViT模型的漢繡風(fēng)格遷移方法。由于刺繡紋樣內(nèi)部與背景留白具有不同的線跡填充效果,算法首先利用ChipGAN-ViT模型對(duì)前景進(jìn)行紋理重構(gòu),再利用循環(huán)生成對(duì)抗網(wǎng)絡(luò)對(duì)風(fēng)格圖像和內(nèi)容圖像進(jìn)行風(fēng)格遷移;其次,采用 Sobel算子對(duì)漢繡圖像進(jìn)行邊緣輪廓提取,以滿足漢繡數(shù)字化模擬的內(nèi)容圖像需求;最后,對(duì)生成的風(fēng)格遷移圖像進(jìn)行超分辨率處理獲得最終漢繡數(shù)字化圖像。實(shí)驗(yàn)結(jié)果表明:該方法可有效模擬出漢繡平順且配色豐富的藝術(shù)特點(diǎn),相比傳統(tǒng)的ChipGAN、CNN算法遷移時(shí)間縮減了30.58%和41.52%。所提出的漢繡風(fēng)格遷移方法是對(duì)風(fēng)格遷移技術(shù)的有效補(bǔ)充,為漢繡圖案的創(chuàng)新設(shè)計(jì)提供了新的可能。
關(guān)鍵詞:風(fēng)格遷移;生成對(duì)抗網(wǎng)絡(luò);ChipGAN-ViT模型;損失函數(shù);畫稿模擬
中圖分類號(hào):TS195.644??? 文獻(xiàn)標(biāo)志碼:A?? 文章編號(hào):2097-2911-(2023)02-0068-10
Transfer and Simulation of Chinese Embroidery Art Style BasedonChipGAN-ViT Model
SHA Shaa,b,LI Yic,JING Huiminc,CHEN Yazhuoc
(a. Institute of Design Innovation and Fiber Science;b. Wuhan Textile and Garment Digital Engineering TechnologyResearch Center;c. School of Fashion, Wuhan Textile University, Wuhan 430073, China)
Abstract:To address the issues of ambiguity in the stitch process and boundary artifacts during style transfer and fusion between real images and Han embroidery images, this paper proposes a method for Han embroidery style transfer based on the ChipGAN-ViT model. Firstly, the algorithm utilizes the ChipGAN-ViT model to re- construct the texture of the foreground, taking into consideration that different stitch filling effects exist between the interior of embroidery patterns and blank backgrounds. Then, a cyclic generation adversarial network is em- ployed to transfer both style and content images. Additionally, Sobel operator is utilized to extract edge contours from Han embroidery images in order to meet content image requirements for digital simulation of Han embroi- dery. Finally, super resolution processing is applied to enhance details in the style transferred image, resulting in a final digital representation of Han embroidery. Experimental results demonstrate that this approach effectively simulates smoothness and vibrant artistic features of Han embroidery while reducing migration time by 30.58% compared with traditional ChipGAN algorithms and 41.52% compared with CNN algorithms respectively. Thismethod serves as an effective supplement to style transfer technology while offering new possibilities for inno- vative design of Han embroidery patterns.
Key words: style transfer;generative adversarial networks;ChipGAN-ViT model;loss function;Draft simulation
引言
作為湖北地區(qū)獨(dú)特的繡種,漢繡以其粗獷的針法,多變的造型手法和充滿活力的構(gòu)圖在文化藝術(shù)中占據(jù)重要地位。漢繡作品注重色彩搭配,還受到傳承人針法技藝水平的影響,這導(dǎo)致了現(xiàn)代實(shí)用價(jià)值較低且應(yīng)用較少。隨著計(jì)算機(jī)技術(shù)和圖像處理方法的發(fā)展,學(xué)者已經(jīng)開始對(duì)民族烙畫[1]、刺繡[2]和云錦[3]等工藝美術(shù)作品進(jìn)行風(fēng)格遷移研究。近年來(lái),越來(lái)越多的學(xué)者和設(shè)計(jì)師將目光聚焦于民族圖案,并深入探索傳統(tǒng)歷史文化中蘊(yùn)含的特色元素,致力于設(shè)計(jì)具有中國(guó)特色的民族圖案[4, 5]。因此,在數(shù)字化科技賦能民族圖案創(chuàng)新的背景下,如何在保留民族圖案藝術(shù)特色基礎(chǔ)上進(jìn)行風(fēng)格化遷移[6]是亟需解決并突破的問題。本文以漢繡的工藝圖案為例,探索真實(shí)圖案與漢繡風(fēng)格之間存在的差異,并采用圖像風(fēng)格遷移方法增加漢繡元素及針法應(yīng)用。
風(fēng)格遷移方法指在保留圖像語(yǔ)義內(nèi)容不變的情況下對(duì)圖像進(jìn)行不同風(fēng)格的藝術(shù)渲染。GAT- YS等人[7]利用深度神經(jīng)網(wǎng)絡(luò)和Gram矩陣分別提取內(nèi)容和風(fēng)格特征,使用中間激活層將兩者進(jìn)行融合,最終獲得了風(fēng)格化結(jié)果;JOHNSON等人[8]引入基于前饋風(fēng)格化模型實(shí)現(xiàn)快速風(fēng)格遷移,大大地提高了風(fēng)格遷移的速度;ULYANOV等人[9]通過多尺度架構(gòu)產(chǎn)生更多的并行通道,強(qiáng)調(diào)更復(fù)雜的網(wǎng)絡(luò)和富有表現(xiàn)力的損失函數(shù)從而獲得了輕量級(jí)的網(wǎng)絡(luò)和質(zhì)量相當(dāng)?shù)娘L(fēng)格圖像。以上方法主要研究對(duì)圖像全局的遷移,為了實(shí)現(xiàn)局部風(fēng)格遷移, EFROS和LEUNG[10]采用一種紋理合成的非參數(shù)方法,基于馬爾科夫隨機(jī)場(chǎng)(Markov Random Field,MRF)模型選取與待填充像素周圍紋理對(duì)該點(diǎn)進(jìn)行填充,實(shí)現(xiàn)局部紋理結(jié)構(gòu)的填充;繆永偉等人[11]針對(duì)局部遷移對(duì)象與未遷移區(qū)域的銜接問題,提出了曼哈頓距離的求解算法,實(shí)現(xiàn)了邊緣的平滑過渡;孫冬等人[12]提出了局部區(qū)域控制的圖像樣式轉(zhuǎn)移算法,獲得了更精細(xì)完整的目標(biāo)輪廓。
在漢繡圖案研究領(lǐng)域,許多學(xué)者主要關(guān)注于刺繡的藝術(shù)特點(diǎn)[13, 14]、可持續(xù)傳承[15, 16]以及在現(xiàn)代服裝中的應(yīng)用[17, 18],但對(duì)于模擬漢繡圖案風(fēng)格的作品還不夠充分。由于傳統(tǒng)風(fēng)格遷移模型容易產(chǎn)生針法工藝模糊和邊界偽影等問題,導(dǎo)致遷移效果不清晰美觀。因此,本文將從真實(shí)漢繡的勾形、打底和針法特征出發(fā),首先利用ChipGAN- ViT網(wǎng)絡(luò)來(lái)重構(gòu)前景紋理,以植物為例填充齊平針的紋理,如圖1所示,通過transformer提取全局像素的輸入序列來(lái)增強(qiáng)漢繡圖像的語(yǔ)義特征;其次,對(duì)獲取到的紋理圖像進(jìn)行分類除雜,并使用 Sobel算子提取目標(biāo)圖像的輪廓以將前景與背景分離開;最后對(duì)前景和背景進(jìn)行紋理填充,并將二者進(jìn)行圖像融合,從而生成具有真實(shí)漢繡藝術(shù)風(fēng)格的高質(zhì)量圖像。
1漢繡風(fēng)格遷移實(shí)現(xiàn)框架
荊州地區(qū)漢繡題材紋樣種類繁多,包括動(dòng)物、植物、人物、建筑等圖案,背景大多都為純色的棉麻絲毛面料等。在制作漢繡作品時(shí),前景背景需要不同粗細(xì)、方向或角度的針法走向,如圖1所示,齊平針從圖案的內(nèi)緣起針且針腳整齊,與圖案邊緣線跡無(wú)出入,齊整針密。因此,提取目標(biāo)圖像的邊緣輪廓,對(duì)漢繡特定的針法進(jìn)行紋理模擬,有利于將前景圖案邊緣和背景針法自然銜接,產(chǎn)生更加逼真,紋理平滑的藝術(shù)風(fēng)格圖像。本文提取齊平針的紋理特征,通過模擬該針法的走向擴(kuò)充漢繡背景圖像,控制漢繡背景紋理方向。
圖2為本文風(fēng)格模擬系統(tǒng)框架圖。在前景合成之前,利用 Sobel算子提取收集到的圖像邊緣輪廓,生成不同題材的漢繡白描圖,并根據(jù)形態(tài)學(xué)對(duì)畫稿圖像邊緣進(jìn)行平滑處理,模擬漢繡的畫稿紋樣;為了更好對(duì)前景的紋理進(jìn)行填充,將ChipGAN模型中生成器替換為Vit Generator,不斷的優(yōu)化邊緣損失和紋理?yè)p失,生成具有漢繡針法的紋理效果。
2漢繡藝術(shù)風(fēng)格遷移模型
本文提出一種組合型的風(fēng)格遷移模型,在原始ChipGAN網(wǎng)絡(luò)的基礎(chǔ)上引入了ViT(vi- sion of transformer)視覺網(wǎng)絡(luò),從而實(shí)現(xiàn)對(duì)輸入圖像先分類再遷移的過程。ChipGAN-ViT模型表現(xiàn)出高度的靈活性和擴(kuò)展性,通過訓(xùn)練來(lái)適應(yīng)不同類型的風(fēng)格遷移任務(wù),并且能夠處理各種規(guī)模和復(fù)雜度的計(jì)算框架。其次,與傳統(tǒng)方法相比,該模型能夠更好的捕捉全局信息和長(zhǎng)距離依賴關(guān)系,充分理解整體的遷移場(chǎng)景以更快的速度完成任務(wù)。此外,該模型還具備自動(dòng)化特征提取和學(xué)習(xí)能力。通過深度學(xué)習(xí)技術(shù),它可以從大量樣本中自動(dòng)提取關(guān)鍵特征,并將其應(yīng)用于新樣本上,這種自動(dòng)化特征提取功能使得模型變得更智能化和高效化??傊?,基于靈活性、準(zhǔn)確性、效率、自動(dòng)化特征提取以及并行計(jì)算等優(yōu)點(diǎn),Chip- GAN-ViT在計(jì)算機(jī)視覺領(lǐng)域展現(xiàn)了強(qiáng)大的潛力和優(yōu)勢(shì),它不僅擴(kuò)展了對(duì)深度學(xué)習(xí)框架應(yīng)用范圍,還為解決復(fù)雜、全局感知相關(guān)問題提供了新思路和方法。
ChipGAN-ViT的工作流程如圖3所示,輸入真實(shí)的荷花圖像,經(jīng)過生成器A生成具有漢繡針法風(fēng)格圖像的荷花,再利用生成器B重建生成荷花的圖片,計(jì)算真實(shí)的荷花圖像和重構(gòu)后的荷花圖片的循環(huán)一致性損失,將真實(shí)的荷花圖像和生成的荷花圖像輸入邊緣提取器 Sobel,并計(jì)算筆觸邊緣損失;在網(wǎng)絡(luò)結(jié)構(gòu)中加入紋理?yè)p失,對(duì)輸出的圖像進(jìn)行超分辨率處理,從而得到更大像素密度、更多紋理細(xì)節(jié)的漢繡風(fēng)格遷移圖像。
2.1生成器模型
ChipGAN-ViT的生成器主要由兩部分構(gòu)成——UNet-ViT Generator 和 Pixel-Wise Vision,如圖4所示。UNet-ViT Generator由編碼器(Encod- er)和解碼器(Decoder)組成,首先對(duì)輸入的圖像x 進(jìn)行預(yù)處理,通過卷積層和下采樣層對(duì)矩陣圖像進(jìn)行特征提??;其次提取的信息經(jīng)過Pixel-Wise Vision Transformer 結(jié)構(gòu),利用 PE 層將輸出的圖像拉平分塊處理,并根據(jù)token將劃分后的圖像塊組合成序列,通過 Transformer 特有的 Multi- head Self-attention 結(jié)構(gòu)關(guān)注不同區(qū)塊的重要程度,加上一個(gè)全連接層分類就形成了整個(gè)Trans- former Block結(jié)構(gòu);最后對(duì)分類得到的圖像進(jìn)行多層卷積和上采樣轉(zhuǎn)換為域Y的元素。
2.1.1 UNet-ViT Generation
UNet結(jié)構(gòu)整體外觀呈U 型結(jié)構(gòu),左半部分為encoding,由兩個(gè)3×3的卷積層(RELU)和2×2的最大池化層組合成下采樣(down-sampling);右半部分由兩個(gè)3×3的卷積層(RELU)、一個(gè)上采樣(up-sampling)去卷積層和特征拼接的 con- cat循環(huán)構(gòu)成decoding模塊。下采樣模塊通過收縮路徑降低輸入圖像的分辨率,增大特征通道的數(shù)量,生成對(duì)應(yīng)圖像的縮略圖;上采樣利用反卷積法恢復(fù)圖像的維度和部分特征。為了保留更多的信息特征,在編碼器輸出真實(shí)圖像和decod- ing之前加入 Pixel-Wise Vision Transformer 模塊改善圖像風(fēng)格遷移的效果,如圖4所示。
2.1.2 Pixel-Wise Vision Transformer
Vision Transformer被稱為像素級(jí)Transform- er 編碼器,通過對(duì)圖像進(jìn)行拉平切塊處理減少了在卷積過程中信息丟失的問題,針對(duì)本文的漢繡針法工藝和風(fēng)格,提高了ChipGAN-ViT算法在復(fù)雜環(huán)境下對(duì)細(xì)小紋理的有效性和可行性。
該結(jié)構(gòu)主要由Positional Embedding(PE)層、 Transformer Encoder block 和 FFN(前饋網(wǎng)絡(luò))三部分組成。首先,利用語(yǔ)義切塊將圖像像素劃分為尺寸相同的區(qū)域塊,由PE層對(duì)像素進(jìn)行特征提取,將大小為224×244的圖像分割為16×16的像素塊,因此每個(gè)圖片的序列長(zhǎng)度為196。每個(gè)像素矩陣是三維的,通過線性卷積層,在每個(gè)區(qū)塊特征加入位置編碼Cls,輸入維度的總特征數(shù)為197×768。其次,Transformer編碼器的多頭注意力機(jī)制(MSA)可以辨識(shí)各個(gè)區(qū)域塊的特征,將特征塊與其他像素信息進(jìn)行映射,融合不同圖片Cls特征。最后,通過 FFN 對(duì) MSA 特征進(jìn)行分類,具體計(jì)算公式如(1)-(4)所示:
式中Epos 表示PE層輸入特征序列,ZL(0)、Z0、z?為不同狀態(tài)下圖像空間卷積矢量,xclass代表某類標(biāo)簽圖像,xp(n)∈?(P2? C)? D 表示二維像素塊,左上角1~n代表像素塊編號(hào),C為通道數(shù)維數(shù),P為像素塊大小,一共有 N 個(gè)像素塊,N=HW/P2,x ∈?H ? W ? C 為輸入圖片;MLP表示淺層全連接神經(jīng)網(wǎng)絡(luò),為多層感知機(jī)函數(shù);Z為輸出分類結(jié)果。
將U-Net與GAN結(jié)合起來(lái),可以進(jìn)一步提高分割結(jié)果的質(zhì)量和細(xì)節(jié)。通過使用生成器來(lái)生成更精細(xì)的分割結(jié)果,判別器可以指導(dǎo)生成器生成更逼真的分割結(jié)果。生成器和判別器之間的對(duì)抗性訓(xùn)練可以推動(dòng)兩者相互提升,最終獲得更好的分割效果。
2.2損失函數(shù)設(shè)計(jì)
2.2.1對(duì)抗損失
為了將生成的漢繡圖像更加貼近真實(shí)的目標(biāo)漢繡風(fēng)格圖片,采用對(duì)抗損失來(lái)減少輸出圖像分布于真實(shí)漢繡圖像的標(biāo)注。由于傳統(tǒng)的交叉熵?fù)p失通常會(huì)訓(xùn)練學(xué)習(xí)到每一個(gè)樣本,分配所有的概率到每一個(gè)實(shí)際標(biāo)簽上,從而導(dǎo)致模型的泛化能力較差。針對(duì)真實(shí)的植物數(shù)據(jù)集樣本和漢繡圖像樣本y,模型包含了兩個(gè)映射G:X→ Y和 F:Y→ X,對(duì)于生成器 G:X→ Y及判別器 Dy 二者的對(duì)抗性損失如式(5)所示:
式中G從域Y中擬合與真實(shí)植物類似的數(shù)據(jù),Dy 判斷輸入的數(shù)據(jù)是真實(shí)還是虛假。其中 E(*)表示分布函數(shù)的期望值,Pdata (x)為真實(shí)的植物樣本分布。當(dāng)參數(shù)不斷交替迭代,G 取得最大值 Dy 取得最小值時(shí),生成樣本的質(zhì)量較好,取得全局最優(yōu)解。
2.2.2循環(huán)一致性損失
循環(huán)一致性指輸入圖像經(jīng)過生成模型后再經(jīng)過生成器的反向模型得到的循環(huán)過程,其輸出的圖像與原圖像一致性的過程。輸入真實(shí)的荷花圖像 x 和漢繡風(fēng)格圖像 y ,輸入生成器GA 產(chǎn)生GA (x,y)圖像;其次再經(jīng)過生成器GB 得到重構(gòu)圖像GB (GA (x,y)x),最終輸出的圖像最大可能接近原圖像 x ,即GB (GA (x,y),x)≈ x 。因此,循環(huán)一致性的損失定義為式(6)所示:
式中:GA、GB 分別代表A 和 B 生成器;pdata (x)、pdata (y)分別為真實(shí)的植物樣本分布和漢繡圖像數(shù)據(jù)集;GA(GB (y,x),y)表示重構(gòu)真實(shí)植物圖像; GB (GA(x,y),x)表示重構(gòu)漢繡風(fēng)格圖像。
2.2.3邊緣損失
為了確保重構(gòu)的圖像整體的準(zhǔn)確性,結(jié)構(gòu)損失指導(dǎo)網(wǎng)絡(luò)產(chǎn)生突出的圖像結(jié)構(gòu),利用邊緣損失作為結(jié)構(gòu)損失的基礎(chǔ),約束真實(shí)植物圖像和預(yù)測(cè)植物圖像之間的高頻分量。在訓(xùn)練過程中將高頻成分限制在真實(shí)邊緣與生成器生成的邊緣之間,定義邊緣損失如式(7)所示:
式中:Lap(Ireal)和 Lap(IG)分別表示通過拉普拉斯算子從真實(shí)圖像和生成器輸出圖像中提取的邊緣圖像,ε為非負(fù)閾值,用于減少噪聲和提高模型的魯棒性。
2.2.4紋理?yè)p失
紋理?yè)p失也稱為風(fēng)格重建損失,通常利用不同特征通道的相關(guān)性來(lái)衡量與原有圖像的相似風(fēng)格(色彩、紋理、飽和度等)。紋理?yè)p失函數(shù)通過感知圖像在訓(xùn)練模型的高位特征空間中進(jìn)行相似性計(jì)算,在卷積過程中提取生成器與判別器輸出的特征映射圖從而計(jì)算對(duì)應(yīng)的格拉姆矩陣(Gram),迭代的生成輸出圖像,其網(wǎng)絡(luò)的紋理?yè)p失函數(shù)為式(8)所示:
其中,G表示Gram矩陣,可訓(xùn)練出一個(gè)生成全局紋理的神經(jīng)網(wǎng)絡(luò),G(F)=FFT 。根據(jù)紋理?yè)p失最小化引導(dǎo)生成模型輸出更接近真實(shí)圖像的紋理特征,從而提高生成圖像的質(zhì)量。
2.3漢繡畫稿圖的邊緣提取
傳統(tǒng)漢繡的完成首先需要漢繡設(shè)計(jì)者對(duì)圖案進(jìn)行構(gòu)圖設(shè)計(jì),其次需根據(jù)不同對(duì)象選擇相應(yīng)針法,并對(duì)繡娘的縫紉技巧有較高要求。為了降低漢繡漫長(zhǎng)的工期和傳承人的刺繡難度,本文對(duì)搜集和拍攝不同類型的真實(shí)圖像進(jìn)行數(shù)據(jù)清洗,提取需要的漢繡紋樣,生成不同題材的畫稿,通過最小值法獲取目標(biāo)圖像的邊緣輪廓,最后對(duì)得到的畫稿圖進(jìn)行齊平針的紋理填充,從而模擬真實(shí)漢繡的繡制過程。
邊緣輪廓提取通常指在圖像中高頻分量和低頻分量變化強(qiáng)度較大的像素區(qū)域,以灰度突變?yōu)榛A(chǔ)劃分出目標(biāo)邊緣。Sobel算子[19]屬于一階離散微分算子,結(jié)合了高斯平滑與微分求導(dǎo)計(jì)算圖像灰度函數(shù)的近似梯度,具有原理簡(jiǎn)單、運(yùn)行速度快、計(jì)算量小的優(yōu)勢(shì)。因此,采用 Sobel算子對(duì)漢繡圖像進(jìn)行邊緣檢測(cè)。假設(shè) f(x,y)表示一幅漢繡圖像,其在點(diǎn) f(x,y)的梯度為矢量,定義如式(9)所示。
其中?fx,y表示梯度的模。
在 Sobel算子提取邊緣輪廓前,采用高斯濾波(Gauss filtering)的方法,用卷積掃描目標(biāo)圖像的逐個(gè)像素,經(jīng)過卷積核確定鄰域像素加權(quán)平均灰度值替代中心像素點(diǎn)的值。Sobel算子的具體步驟如下:
(1)設(shè)置水平和垂直兩個(gè)方向3×3的卷積核,同時(shí)從上到下,從左到右逐像素進(jìn)行遍歷,對(duì)掃描目標(biāo)圖像所有像素點(diǎn)組成的卷積核進(jìn)行離散卷積運(yùn)算。
(2)將兩個(gè)離散卷積結(jié)果的最大值代替中心像素點(diǎn)的最大值,用 Pmax 表示。
(3)選取合適的閾值 t 進(jìn)行二值化處理,當(dāng) Pmax ≥ t ,判斷該區(qū)域?yàn)閳D像的輪廓,否則該區(qū)域?yàn)楸尘啊?/p>
圖5(a)為輸入的原圖,圖5(b)為經(jīng)過 Sobel 算子輸出的結(jié)果圖像,從圖中可以看出生成的輪廓邊緣清晰,紋路線條平滑,為模擬漢繡的畫稿奠定基礎(chǔ)。
圖像噪聲去除是改善圖像視覺效果的重要手段之一,其基本的原理是設(shè)置不同大小的濾波器對(duì)目標(biāo)圖像進(jìn)行不斷的迭代獲取最優(yōu)解,實(shí)現(xiàn)邊緣平滑和噪聲去除的步驟。為了凸顯紋樣與繡底之間的色彩反差,讓圖案在繡面中更立體生動(dòng),根據(jù)各向異性擴(kuò)散[20]對(duì)圖像進(jìn)行處理,增強(qiáng)邊緣和內(nèi)部的紋理特征,使最終的圖像更加接近真實(shí)的畫稿紋樣,如圖6符合刺繡前期繡底的紋樣效果,且線條均勻流暢,確保圖案的完整性。
3實(shí)驗(yàn)結(jié)果與分析
本實(shí)驗(yàn)在Windows10操作系統(tǒng)進(jìn)行,計(jì)算機(jī)硬件系統(tǒng)為 Intel(R) Core(TM) i7-10700 CPU @2.90GHz 2.90 GHz,32GB 內(nèi)存;運(yùn)行環(huán)境為py- thon3.9,Pytorch和Anaconda3。實(shí)驗(yàn)采用爬蟲的2000張數(shù)據(jù)集進(jìn)行訓(xùn)練,其中數(shù)據(jù)集比例為訓(xùn)練集:驗(yàn)證集:測(cè)試集=8:2:2,通過圖像裁剪拉平處理擴(kuò)展數(shù)據(jù)集。
3.1定量結(jié)果分析
為了驗(yàn)證漢繡風(fēng)格圖像生成質(zhì)量的有效性,本文使用弗雷歇距離(FID)、結(jié)構(gòu)相似性(SSIM)、峰值信噪比(PSNR)、風(fēng)格遷移時(shí)間(Time)作為圖像生成效果的評(píng)價(jià)指標(biāo)。FID 表示生成圖像與真實(shí)圖像之間的距離,SSIM從亮度、對(duì)比度和結(jié)構(gòu)評(píng)價(jià)圖片的相似性,PSNR則根據(jù)像素點(diǎn)的差異判斷圖像的失真度。ChipGAN模型、CNN 和ChipGAN-ViT模型實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比如表1所示。
表1可得,本文ChipGAN-ViT對(duì)比 Chip- GAN 模型、CNN,弗雷歇距離數(shù)值分別減少了1.30%、2.78%;結(jié)構(gòu)相似性增加了10.20%、15.37%;峰值信噪比增長(zhǎng)了4.19%、5.90%;風(fēng)格遷移時(shí)間減小了30.58%和41.52%。綜合上述數(shù)據(jù)分析,本文的模型算法能夠快速的生成風(fēng)格化圖像,生成的漢繡風(fēng)格圖像質(zhì)量較高,驗(yàn)證了該方法的有效性。
3.2定性結(jié)果分析
圖7展示了ChipGAN、CNN 和本文提出的ChipGAN-ViT模型風(fēng)格遷移的結(jié)果。由圖7(c)可以看出,根據(jù)ChipGAN模型輸出的遷移結(jié)果輪廓完整,但背景色彩雜亂且不完整,無(wú)針法紋理的遷移。這源于筆觸約束與循環(huán)一致性損失學(xué)習(xí)了圖像的輪廓和色彩紋理,從而像素之間生成了相應(yīng)的遷移。采用CNN模型生成的結(jié)果雖然實(shí)現(xiàn)了整體的風(fēng)格遷移,但遷移的邊緣產(chǎn)生了偽影區(qū)域和背景模糊問題,如圖7(d)所示。
本文的優(yōu)化模型在提取畫稿邊緣的基礎(chǔ)上增加了紋理、邊緣損失,由圖7(e)可知,放大五倍查看細(xì)節(jié)圖,前景和背景都填充齊平針的針法;前景的花瓣為嫩粉色,背景襯托綠色的荷葉,色彩邊界清晰;最終的遷移效果完整的保留了畫稿的輪廓及細(xì)節(jié)線條,突出了漢繡齊平針的針法工藝和熱鬧的主題特點(diǎn),模擬出真實(shí)刺繡作品的生動(dòng)立體、層次分明、色彩豐富的藝術(shù)特點(diǎn)。
4結(jié)論
針對(duì)風(fēng)格遷移技術(shù)中漢繡藝術(shù)模擬中出現(xiàn)的邊界偽影、針法模糊和輪廓不清晰問題,提出基于ChipGAN-ViT模型的漢繡風(fēng)格遷移方法。利用循環(huán)一致性損失減小生成圖像與原始圖像的差異,得到更真實(shí)和自然的針法線跡。在上述基礎(chǔ)上,加入邊緣損失和紋理?yè)p失實(shí)現(xiàn)針法色彩填充的風(fēng)格遷移。實(shí)驗(yàn)結(jié)果表明,本文模型相較于ChipGAN、CNN等風(fēng)格遷移方法,遷移速度更快,生成的風(fēng)格化圖像質(zhì)量更高,為風(fēng)格遷移的藝術(shù)表現(xiàn)形式提供了更多的可能。算法遷移的結(jié)果可應(yīng)用于服飾作品,文創(chuàng)產(chǎn)品制作以及非遺文化保護(hù)工作等領(lǐng)域。
盡管本文的遷移工作取得良好的效果,但還存在一些不足之處需要在后續(xù)工作中加以改善,例如:選擇多種針法進(jìn)行不同對(duì)象的遷移、遷移的結(jié)果僅限于靜態(tài)的圖片等。在今后的研究工作中,對(duì)不同特色的繡種進(jìn)行充分的收集和分類,構(gòu)建交互式的刺繡風(fēng)格遷移系統(tǒng),將獨(dú)特而精致的刺繡紋樣應(yīng)用到虛擬試衣技術(shù)中,讓更多的人們深刻地感受民族服飾特色之美,對(duì)傳統(tǒng)的刺繡文化的保護(hù)與傳承具有重要的意義。
參考文獻(xiàn):
[1]吳航,徐丹.葫蘆烙畫的藝術(shù)風(fēng)格遷移與模擬[J].中國(guó)科技論文, 2019, 14(3):278-284.
WU Hang, XU Dan. Artistic style transfer and sim- ulation of gourd pyrography[J]. Chinese scientific and technological papers, 2019, 14(3):278-284.
[2]馮培超,錢文華,徐丹,等.苗繡藝術(shù)風(fēng)格針跡模擬研究[J].圖學(xué)學(xué)報(bào), 2019, 40(4):802-809.
FENG Peichao, QIAN Wenhua, XU Dan, et al. Miao embroidery art style stitch simulation re- search[J]. Journal of Graphics, 2019, 40(4):802-809.
[3]邱雪琳,孫迎,劉正,等.基于色彩優(yōu)化的云錦局部風(fēng)格遷移[J].絲綢, 2022, 59(12):64-70.
QIU Xulin, SUN Ying, LIU Zheng, et al. Local style transfer of Yun brocade based on color opti- mization[J]. Journal of Silk, 2022, 59(12):64-70.
[4]何文澤.基于生成式對(duì)抗網(wǎng)絡(luò)的民族圖案生成研究[D].長(zhǎng)春:吉林大學(xué), 2022.1-2.
HE Wenze. Research on ethnic pattern generationbased? on? generative? adversarial? network[D].Changchun: Jilin University, 2022.1-2.
[5]秦臻,劉永紅,鄭棟毅.語(yǔ)義驅(qū)動(dòng)的侗族織錦圖案輔助設(shè)計(jì)路徑研究[J].包裝工程, 2021, 42(14):65-73.
QIN Zhen, LIU Yonghong, ZHENG Dongyi. A se- mantic-driven approach to aided design of Dong brocade patterns[J]. Journal of Packaging Engi- neering, 2021, 42(14):65-73.
[6]陳鋆純,季鐵,彭堅(jiān).基于風(fēng)格特征的花瑤挑花圖案智能設(shè)計(jì)路徑[J].絲綢, 2023, 60(9):112-119. CHEN Yunchun, JI Tie, PENG Jian. Intelligent de- sign path of Huayao cross-stitch pattern based on style characteristics[J]. Journal of Silk, 2023, 60(9):112-119.
[7]GATYS L A, ECKER A S, BETHGE M. A neural algorithm of artistic style[J]. Journal of Vision,2015, arXiv:1508.06576.
[8]JOHNSON J, ALAHI A, FEI- FEI L. Perceptual losses for real-time style transfer and super-resolu-tion[C]// European? conference on computer vi-sion, 2016.694-711.
[9]ULYANOV D, LEBEDEV V, VEDALDI A, et al. Texture networks: Feed - forward synthesis of tex- tures and stylized images[J]. arXiv e-prints, 2016,arXiv:1603.03417.
[10]EFROS A A, LEUNG,T K. Texture synthesis by non-parametric sampling[C]//Proceedings of theSeventh IEEE International Conference on Com-puter Vision, Kerkyra, Greece, 1999, 1033-1038.
[11]繆永偉,李高怡,鮑陳.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像局部風(fēng)格遷移[J].計(jì)算機(jī)科學(xué), 2019, 46(9):259-264.
MIAO Yongwei, LI Gaoyi, BAO Chen. Image lo- cal style transfer based on convolutional neural network[J]. Computer Science, 2019, 46(9):259-264.
[12]孫冬,時(shí)宇,高劉雅.局部圖像風(fēng)格遷移繪制算法[J].安徽大學(xué)學(xué)報(bào)(自然科學(xué)版), 2022, 46(3):72-78.
SUN Dong, SHI Yu, GAO Liuya. Local image style transfer rendering algorithm[J]. Journal of Anhui? University (Natural? Science? Edition), 2022, 46(3):72-78.
[13]宋漫,劉安定,李斌.漢繡與荊楚刺繡關(guān)系考辨[J].絲綢, 2023, 60(10):124-131.
SONG Man, LIU Anding, LI Bin. Discussion on the relationship between Han? embroidery and Jingchu embroidery[J]. Journal of Silk, 2023, 60(10):124-131.
[14]鐘蔚.漢繡紋樣的藝術(shù)特征提取研究[J].服飾導(dǎo)刊, 2018, 7(2):23-29.
ZHONG Wei. Research on the extraction of artis-tic features of Han embroidery patterns[J]. Fash- ion Guide, 2018, 7(2):23-29.
[15]沈藝婷.文旅融合視域下漢繡的可持續(xù)發(fā)展模式研究[J].西部皮革, 2022, 44(20):88-90.
SHEN Yiting. Study on the sustainable develop- ment model of Han embroidery from the perspec-tive of cultural and tourism integration[J]. Jour-nal of Western Leather, 2022, 44(20):88-90.
[16]顏雪晨.漢繡文化的數(shù)字化保護(hù)與傳承模式[J].紡織報(bào)告, 2022, 41(6):113-115.
YAN Xuechen. Digital protection and inheri- tance mode of Han embroidery culture[J]. Textile Report, 2022, 41(6):113-115.
[17]劉丹丹.漢繡元素在現(xiàn)代產(chǎn)品設(shè)計(jì)中的應(yīng)用研究[D].武漢:湖北美術(shù)學(xué)院, 2022.1-4.
LIU Dan. Research on the application of Han em- broidery elements in modern product design[D].Wuhan: Hubei Institute of Fine Arts, 2022.1-4.
[18]李素媛,何佳琦.荊楚漢繡在現(xiàn)代女性婚禮服設(shè)計(jì)中的應(yīng)用研究[J].化纖與紡織技術(shù), 2022, 51(2):152-155.
LI Suyan, HE Jiaqi. Research on the applicationof Jingchu and Han embroidery in modern wom- en's wedding dress design[J]. Chemical Fiber and Textile Technology, 2022, 51(2):152-155.
[19]劉源,夏春蕾.一種基于 Sobel算子的帶鋼表面缺陷圖像邊緣檢測(cè)算法[J].電子測(cè)量技術(shù), 2021, 44(3):138-143.
LIU Yuan, XIA Chunlei. An algorithm for edge detection of strip surface defect image based on Sobel operator[J]. Electronic Measurement Tech- nology, 2021, 44(3):138-143.
[20]YU J, WANG Y, SHEN Y. Noise reduction and edge detection via kernel anisotropic diffusion [J]. Pattern Recognition Letters, 2008, 29(10):1496-1503.
(責(zé)任編輯:周莉)