基于顯著性信息的數(shù)字繪畫圖像自主分類系統(tǒng)

趙媛媛

摘? 要： 數(shù)字繪畫圖像中存在大量內(nèi)容增加了自主分類的難度，因此文中研究一種基于顯著性信息的數(shù)字繪畫圖像自主分類系統(tǒng)。該系統(tǒng)由圖像預(yù)處理模塊、顯著性信息特征提取模塊以及卷積神經(jīng)網(wǎng)絡(luò)自主分類模塊三部分組成。圖像預(yù)處理模塊將輸入數(shù)字繪畫圖像通過中值濾波方法過濾，然后發(fā)送至顯著性信息特征提取模塊，顯著性信息特征提取模塊接收過濾后的圖像，利用流形排序算法計(jì)算圖像顯著性信息獲取得到顯著性信息圖，將顯著性信息圖輸入卷積神經(jīng)網(wǎng)絡(luò)中，利用卷積神經(jīng)網(wǎng)絡(luò)分析輸入樣本建立分類模型，將待分類圖像輸入卷積神經(jīng)網(wǎng)絡(luò)中，利用已訓(xùn)練分類模型實(shí)現(xiàn)數(shù)字繪畫圖像自主分類，并將分類結(jié)果發(fā)送至用戶界面。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)數(shù)字繪畫圖像分類精度高達(dá)99%以上。

關(guān)鍵詞： 數(shù)字繪畫圖像; 自主分類; 系統(tǒng)設(shè)計(jì); 顯著性信息; 圖像預(yù)處理; 卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TN911.73?34; TP301? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）22?0132?04

Abstract： There are a large number of content in digital painting images， which increase the difficulty of autonomous classification. A digital painting image autonomous classification system based on saliency information is researched. The system is imposed of the image preprocessing module， saliency information feature extraction module， and convolutional neural network autonomous classification module. The image preprocessing module is used to filter the inputted digital painting image by means of the median filtering method and send it to the saliency information feature extraction module. The saliency information feature extraction module is used to receive the filtered image and calculate the saliency information by means of the manifold ranking algorithm to obtain the saliency information map. The saliency information map is inputted into the convolutional neural network， and the sample is analyzed by means of the convolutional neural network to establish the classification model. The image to be classified is inputted into the convolutional neural network to realize the autonomous classification of the digital painting image through the trained classification model， and the classification result is sent to the user interface. The experimental results show that the classification accuracy of this system for digital painting images is more than 99%.

Keywords： digital painting image; autonomous classification; system design; saliency information; image preprocess; convolutional neural network

0? 引? 言

隨著科技高速發(fā)展，圖像已經(jīng)發(fā)展至數(shù)字化，數(shù)字繪畫已逐漸代替了傳統(tǒng)繪畫藝術(shù)的角色，因其具有傳播速度快、存儲(chǔ)便利且節(jié)省材料成本等眾多優(yōu)勢(shì)，已成為現(xiàn)代繪畫的主要方式[1]。數(shù)字繪畫圖像作為電子信息化發(fā)展的必然產(chǎn)物，為人們查閱、檢索以及管理圖像提供了便利的條件。我國繪畫歷史源遠(yuǎn)流長，具有眾多藝術(shù)風(fēng)格以及繪畫流派，因此數(shù)字繪畫圖像的特征提取成為了圖像分類中的難題。數(shù)字繪畫圖像包括內(nèi)容眾多，采用傳統(tǒng)圖像分類方法僅限于淺層結(jié)構(gòu)學(xué)習(xí)，較難準(zhǔn)確提取圖像特征[2]，且分類過程中容易造成特征提取不精準(zhǔn)導(dǎo)致部分特征丟失，對(duì)于復(fù)雜分類問題無法有效泛化且計(jì)算較為繁瑣。數(shù)字繪畫圖像在自主分類中存在眾多難題，因此圖像分類是圖像處理領(lǐng)域重要的研究方向[3]。

本文研究基于利用數(shù)字繪畫神經(jīng)網(wǎng)絡(luò)的自主分類系統(tǒng)，學(xué)習(xí)不同風(fēng)格、不同題材繪畫作品的基本原理，通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）將圖像分解成若干部分，將顯著性信息與深度學(xué)習(xí)方法中卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，并進(jìn)行有效的自主結(jié)合和分類，從而更快速地找到一張新圖片的目標(biāo)圖形結(jié)果。

1? 數(shù)字繪畫圖像自主分類系統(tǒng)

1.1? 系統(tǒng)總體結(jié)構(gòu)

基于顯著性信息的數(shù)字繪畫圖像自主分類系統(tǒng)主要包括圖像預(yù)處理模塊、顯著性信息特征提取模塊以及卷積神經(jīng)網(wǎng)絡(luò)自主分類模塊三部分。系統(tǒng)整體結(jié)構(gòu)如圖1所示。

由德國的Bethge實(shí)驗(yàn)室（Bethge Lab）研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)，可以學(xué)習(xí)和模仿任何一種繪畫流派的風(fēng)格，然后將這種風(fēng)格應(yīng)用到新的數(shù)字繪畫自主分類程序中，這是當(dāng)今最先進(jìn)的人工智能數(shù)字繪畫。在2018年佳士得的全球拍賣會(huì)上，一幅由人工智能完成的數(shù)字繪畫，以1萬歐元拍賣成功。數(shù)字繪畫自主分類系統(tǒng)是設(shè)計(jì)師利用用戶接口隨機(jī)選取待分類數(shù)字繪畫圖像資源庫中的圖像參與訓(xùn)練，并將訓(xùn)練后圖像依據(jù)不同類別進(jìn)行標(biāo)注，通過圖像預(yù)處理模塊將訓(xùn)練圖像信息載入，并將載入圖像通過數(shù)字處理方法對(duì)與顯著性特征無關(guān)的信息進(jìn)行過濾[5]。將過濾后的圖像發(fā)送至顯著性信息特征提取模塊，提取其顯著性特征得到數(shù)字繪畫圖像特征向量，將訓(xùn)練完成圖像的特征向量輸入數(shù)字繪畫網(wǎng)絡(luò)訓(xùn)練樣本中。

例如：要完成一幅人物繪畫作品，數(shù)字繪畫設(shè)計(jì)師會(huì)給計(jì)算機(jī)輸入一些同類風(fēng)格的繪畫作品，再由神經(jīng)網(wǎng)絡(luò)對(duì)這些作品在視覺風(fēng)格上進(jìn)行自主分類的計(jì)算和分析，按照之前學(xué)習(xí)到的視覺風(fēng)格，將之轉(zhuǎn)變?yōu)閿?shù)字圖像。假如讓它學(xué)習(xí)一組印象派大師克勞德·莫奈的繪畫作品，它能夠?qū)⑷魏我粡堈掌D(zhuǎn)變成莫奈繪畫風(fēng)格的數(shù)字繪畫。如圖2所示，就是出自數(shù)字繪畫時(shí)代下的人工智能之手。

卷積神經(jīng)網(wǎng)絡(luò)會(huì)將分類模型保存至數(shù)據(jù)庫中，神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)利用已訓(xùn)練完成的分類模型實(shí)現(xiàn)數(shù)字繪畫圖像自主分類[6]，并將分類結(jié)果發(fā)送至用戶界面，再根據(jù)這些規(guī)則創(chuàng)建新圖像。系統(tǒng)的圖像庫以及數(shù)據(jù)庫內(nèi)包含大量紋理貼圖、環(huán)境貼圖、海量圖片等信息，為系統(tǒng)的自主分類提供數(shù)據(jù)支持。

1.2? 顯著性信息

數(shù)字繪畫圖像中圖像邊緣通常作為圖像背景區(qū)域，遠(yuǎn)離目標(biāo)的圖像中心，周圍是圖像顯著目標(biāo)存在的位置[7]，將圖像背景區(qū)域作為圖像邊緣的超像素塊，從顏色空間角度將背景區(qū)域與剩余區(qū)域進(jìn)行對(duì)比獲取不同區(qū)域的顯著性信息。

數(shù)字繪畫圖像背景先驗(yàn)顯著性信息獲取過程如下：

1） 獲取圖像流形排序

設(shè)數(shù)字繪畫圖像背景區(qū)域?yàn)閳D像邊緣處超像素塊，將全部超像素塊與背景超像素塊的顏色空間對(duì)比獲取圖像中全部部位的顯著性信息。利用流形排序算法計(jì)算圖像顯著性信息。該算法依據(jù)設(shè)置固定節(jié)點(diǎn)與其他節(jié)點(diǎn)的相關(guān)性排序獲取排序函數(shù)[8]，依據(jù)所獲取排序函數(shù)度量設(shè)定節(jié)點(diǎn)與其他節(jié)點(diǎn)間的相關(guān)性。

利用數(shù)據(jù)內(nèi)在流形結(jié)構(gòu)的排序方法獲取各點(diǎn)相關(guān)性。設(shè)存在數(shù)據(jù)向量[M=m1，m2，…，mnT]，將排序值分配至數(shù)據(jù)向量內(nèi)各點(diǎn)[mi]，獲取函數(shù)最終輸出[g=g1，g2，…，gnT]。設(shè)[p=p1，p2，…，pnT]為標(biāo)記向量，當(dāng)[pi=1]以及[pi=0]時(shí)分別表示[mi]為設(shè)定查詢節(jié)點(diǎn)以及非設(shè)定查詢節(jié)點(diǎn)。設(shè)存在圖[Q=U，R]于數(shù)據(jù)集內(nèi)，其中[U]與[R]分別表示數(shù)據(jù)節(jié)點(diǎn)集合以及圖像邊集合，利用加權(quán)相似性矩陣[K=kijn×n]可獲取以上參數(shù)。

3? 結(jié)? 論

數(shù)字繪畫圖像的自主分類系統(tǒng)是數(shù)字繪畫領(lǐng)域中及深度學(xué)習(xí)方法中運(yùn)算較為高效的一種，可有效提升圖像分類及模仿性能。數(shù)字繪畫圖像中包含的顯著性信息可有效體現(xiàn)圖像顯著性特征，提升自主分類精準(zhǔn)度，將顯著性信息與卷積神經(jīng)網(wǎng)絡(luò)方法相結(jié)合，并依據(jù)數(shù)字繪畫圖像特點(diǎn)提取不同風(fēng)格繪畫圖像中包含的顯著性特征，將所提取特征傳送至數(shù)字繪畫圖像自主分類系統(tǒng)，建立分類模型，利用分類模型提升計(jì)算機(jī)對(duì)圖像分類識(shí)別、學(xué)習(xí)的精準(zhǔn)性，從而創(chuàng)作出更加絢麗多樣的數(shù)字圖像作品。

參考文獻(xiàn)

[1] 唐紅梅，王碧瑩，韓力英，等.基于目標(biāo)緊密性與區(qū)域同質(zhì)性策略的圖像顯著性檢測(cè)[J].電子與信息學(xué)報(bào)，2019，41（10）：2532?2540.

[2] 李東民，李靜，梁大川，等.基于多尺度先驗(yàn)深度特征的多目標(biāo)顯著性檢測(cè)方法[J].自動(dòng)化學(xué)報(bào)，2019，45（11）：2058?2070.

[3] 岳星宇，趙應(yīng)丁，楊文姬，等.多特性融合的多尺度顯著性檢測(cè)[J].小型微型計(jì)算機(jī)系統(tǒng)，2019，40（8）：1734?1739.

[4] 鄧志華，李華鋒.低秩稀疏分解與顯著性度量的醫(yī)學(xué)圖像融合[J].光學(xué)技術(shù)，2018，44（4）：461?468.

[5] 趙嬋娟，周紹光，劉麗麗，等.基于同質(zhì)區(qū)和遷移成分分析的高光譜圖像分類[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（19）：198?206.

[6] 金志剛，李靜昆.基于對(duì)象性和多層線性模型的協(xié)同顯著性檢測(cè)[J].光學(xué)精密工程，2019，27（8）：1845?1853.

[7] 宮劍，呂俊偉，劉亮.基于顏色空間融合與上下文顯著性的紅外偏振圖像目標(biāo)增強(qiáng)[J].光學(xué)學(xué)報(bào)，2019，39（10）：23?32.

[8] 于劍楠，李輝勇，李青鋒，等.DM+：一種融合數(shù)字編碼的可掃描圖像生成技術(shù)[J].計(jì)算機(jī)學(xué)報(bào)，2019，42（9）：2035?2048.

[9] 顧廣華，劉小青.融合前景和背景種子點(diǎn)擴(kuò)散的顯著性目標(biāo)檢測(cè)[J].小型微型計(jì)算機(jī)系統(tǒng)，2019，40（3）：635?640.

[10] 原立格，徐音，郝洋洲.基于深度層次模型的圖像分類算法[J].控制工程，2018，25（10）：1882?1886.

[11] 林相澤，張俊媛，朱賽華，等.基于K?SVD和正交匹配追蹤稀疏表示的稻飛虱圖像分類方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（19）：216?222.

[12] 張鵬飛，董敏周，端軍紅.基于集成GMM聚類的少標(biāo)記樣本圖像分類[J].西北工業(yè)大學(xué)學(xué)報(bào)，2019，37（3）：465?470.

[13] 王學(xué)濱，侯文騰，董偉，等.基于局部位移場最小二乘擬合數(shù)字圖像相關(guān)方法的剪切帶應(yīng)變測(cè)量[J].計(jì)量學(xué)報(bào)，2019，40（4）：655?661.

[14] 李仲德，盧向日，崔桂梅.數(shù)字圖像識(shí)別的代價(jià)函數(shù)選擇和性能評(píng)價(jià)[J].電光與控制，2019，26（12）：44?48.

[15] 李翌昕，鄒亞君，馬盡文.基于特征提取和機(jī)器學(xué)習(xí)的文檔區(qū)塊圖像分類算法[J].信號(hào)處理，2019，35（5）：747?757.