基于多維特征分布的設(shè)計(jì)風(fēng)格偏好度量模型研究

姜鑫玉，欒 寬，唐 智,*，王 平

(1.東華大學(xué)機(jī)械工程學(xué)院，上海 201620；2.哈爾濱工程大學(xué)智能科學(xué)與工程學(xué)院，黑龍江 哈爾濱150001)

0 引言

在設(shè)計(jì)作品中，色彩、線條、紋理、筆觸等畫面內(nèi)容之外的特點(diǎn)，代表作品的風(fēng)格[1]。風(fēng)格偏好度量的核心思想是提取圖像的風(fēng)格特征，計(jì)算不同圖像特征間的距離可以衡量風(fēng)格相似的程度。設(shè)計(jì)風(fēng)格在繪畫、服裝設(shè)計(jì)、家具設(shè)計(jì)、計(jì)算機(jī)繪圖等多個(gè)領(lǐng)域有所體現(xiàn)。在繪畫領(lǐng)域，文獻(xiàn) [2]提出一種基于顏色、著色、紋理和筆畫四種特征的風(fēng)格相似性的測(cè)量方法，為用戶創(chuàng)作風(fēng)格一致的剪貼畫開發(fā)了相應(yīng)的應(yīng)用程序。文獻(xiàn) [3]為理解人類視覺復(fù)雜性，基于心理學(xué)和藝術(shù)理論從繪畫作品中篩選出29個(gè)全局、局部和突出特征，這些特征與人類視覺高度相關(guān)。文獻(xiàn) [4]設(shè)計(jì)了一種基于簽名風(fēng)格的自動(dòng)識(shí)別畫家和藝術(shù)流派的方法。該方法使用Fisher評(píng)分對(duì)描述符進(jìn)行評(píng)估，并使用最具信息性的特征對(duì)繪畫、畫家和藝術(shù)流派進(jìn)行分類和相似性測(cè)量。文獻(xiàn) [5]為將繪畫圖像進(jìn)行分類，從人腦認(rèn)知機(jī)制出發(fā)，建立藝術(shù)風(fēng)格相似性規(guī)則，并對(duì)風(fēng)格特征進(jìn)行量化，從而實(shí)現(xiàn)對(duì)繪畫圖像進(jìn)行分類。在服裝設(shè)計(jì)領(lǐng)域，文獻(xiàn) [6]針對(duì)不同風(fēng)格服裝匹配問題，對(duì)服裝風(fēng)格相似度進(jìn)行定量分析，提出一種基于面料圖像梯度的服裝風(fēng)格相似性匹配算法。在家具設(shè)計(jì)領(lǐng)域，文獻(xiàn) [7]從家具的雕刻裝飾圖案入手，利用文獻(xiàn)研究法對(duì)雕刻圖案進(jìn)行歸納總結(jié)，采用方差分析法研究了圖案出現(xiàn)部位與圖案類型之間的關(guān)系。在計(jì)算機(jī)輔助繪制設(shè)計(jì)領(lǐng)域，文獻(xiàn) [8]針對(duì)非真實(shí)感繪制，利用人眼對(duì)圖像最亮信息特征的提取，提出一種基于紋理合成的多種藝術(shù)風(fēng)格的計(jì)算機(jī)手繪圖像方法。文獻(xiàn) [9]為識(shí)別釣魚網(wǎng)站，提出一種衡量可疑網(wǎng)頁與實(shí)際網(wǎng)站的相似度方法。在建筑領(lǐng)域，文獻(xiàn) [10]發(fā)現(xiàn)建筑樣式、顏色搭配、建筑材料的搭配是影響建筑風(fēng)格的主要因素。通過對(duì)以上文獻(xiàn)分析發(fā)現(xiàn)這些研究多針對(duì)某單一領(lǐng)域的藝術(shù)風(fēng)格的測(cè)量，還沒有一種通用的方法能夠?qū)Χ囝I(lǐng)域風(fēng)格進(jìn)行量化。而研究方法上，一些研究從人腦工作機(jī)制入手，探索影響風(fēng)格的因素，視角相對(duì)狹小。另一些研究則采用傳統(tǒng)機(jī)器學(xué)習(xí)方法，試圖通過有限的特征來量化藝術(shù)風(fēng)格，具有局限性。

本研究提出一種基于多維特征分布的通用風(fēng)格偏好評(píng)價(jià)方法。該方法通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，利用格萊姆矩陣表征圖像的藝術(shù)風(fēng)格。在評(píng)價(jià)用戶風(fēng)格偏好時(shí)，通過計(jì)算用戶挑選的不同圖像間的特征分布的均方差來評(píng)價(jià)圖像間風(fēng)格的相似程度，根據(jù)相似程度對(duì)圖像進(jìn)行排序，從而準(zhǔn)確把握用戶風(fēng)格偏好。

1 藝術(shù)風(fēng)格偏好度量模型設(shè)計(jì)

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像多維特征提取

利用卷積神經(jīng)網(wǎng)絡(luò)[13-14](Convolutional Neural Networks)進(jìn)行高效、多層和深度的[15]圖像特征提取的原理如圖1所示，通過卷積核在圖像上滑動(dòng)，與各像素點(diǎn)做內(nèi)積輸出特征圖，不同的卷積核提取到不同的特征信息。通過設(shè)置卷積核的數(shù)量和卷積層數(shù)，使其能夠提取的特征信息更多且復(fù)雜。低層卷積輸出低維的特征如色彩和邊界，高層卷積輸出高維特征如形態(tài)和細(xì)節(jié)等[16]。輸入圖像在網(wǎng)絡(luò)中進(jìn)行層層映射，最終得到各層對(duì)于圖像不同的表示形式，實(shí)現(xiàn)圖像的深度表示[17]。

圖1 卷積神經(jīng)網(wǎng)絡(luò)提取特征過程Fig.1 Feature extraction process of convolution neural network

1.2 基于格萊姆矩陣的圖像風(fēng)格表征

格萊姆矩陣[18]是指n維歐氏空間中任意n個(gè)向量之間兩兩的內(nèi)積所組成的矩陣，表示為公式(1)。根據(jù)向量?jī)?nèi)積的定義，格萊姆矩陣中對(duì)角線上的元素anan表示向量an本身，其他元素aman則表示向量am和an之間的關(guān)系。

(1)

在風(fēng)格遷移[19-20]任務(wù)中將圖像特征作為圖像內(nèi)容，而用這些特征向量的格萊姆矩陣表示圖像風(fēng)格，從而實(shí)現(xiàn)了圖像內(nèi)容和風(fēng)格的分離重組。特征的格萊姆矩陣能夠表示特征的分布，例如特征圓形通常與特征紅色同時(shí)出現(xiàn)，出現(xiàn)直角的地方通常沒有曲線等，而這種特征相關(guān)性則作為意義上的風(fēng)格[21]。兩張圖片的風(fēng)格相似度等同于其特征分布的相似度，圖像特征分布越相近，則風(fēng)格越相似。

1.3 藝術(shù)風(fēng)格相似性度量模型設(shè)計(jì)

由于設(shè)計(jì)風(fēng)格的評(píng)價(jià)是主觀的，取決于設(shè)計(jì)師對(duì)風(fēng)格特點(diǎn)的準(zhǔn)備把握，因而很難用統(tǒng)一的標(biāo)準(zhǔn)(例如相似度高、中、低或70%相似等)進(jìn)行描述[22]。為了便于機(jī)器對(duì)風(fēng)格的相似程度進(jìn)行比較，本研究提出的模型能夠?qū)崿F(xiàn)對(duì)于輸入的任意兩張圖片進(jìn)行多維特征提取，計(jì)算其不同維度上的特征分布差異，最終輸出風(fēng)格差值。多種風(fēng)格圖片兩兩相互比較就能根據(jù)風(fēng)格差值給出排序，從而準(zhǔn)確判斷用戶的風(fēng)格偏好。模型描述如圖2所示。

學(xué)生會(huì)或?qū)W生社團(tuán)中，學(xué)生的自我意識(shí)強(qiáng)烈，官僚現(xiàn)象普遍存在。學(xué)生會(huì)各部門、社團(tuán)相互之間缺乏有效合作與交流，成員缺乏團(tuán)結(jié)奉獻(xiàn)精神，團(tuán)隊(duì)組織性有待提高；相比班主任及科任教師，因?qū)W院輔導(dǎo)員掌握學(xué)生獎(jiǎng)懲決定權(quán)，學(xué)生更惟命是從，若出現(xiàn)取舍學(xué)習(xí)及社團(tuán)任務(wù)時(shí)，常舍棄課堂擇參與社團(tuán)活動(dòng)，影響了正常的本職學(xué)習(xí)任務(wù)。

圖2 設(shè)計(jì)風(fēng)格相似性度量模型Fig.2 Design style similarity measurement model

模型具體參數(shù)設(shè)置如下：

1) 根據(jù)卷積層數(shù)越高提取的圖像特征越復(fù)雜的特點(diǎn)，高卷積層提取的特征更傾向圖像內(nèi)容，并直接影響到圖像的風(fēng)格。因此本研究受圖像風(fēng)格遷移的啟發(fā)，選用圖像風(fēng)格遷移任務(wù)中常用的VGG-19[23]模型。由于風(fēng)格遷移前需要對(duì)圖像風(fēng)格進(jìn)行提取，因此本研究的思路是借助預(yù)訓(xùn)練的VGG-19卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像的風(fēng)格做特征抽取，其相關(guān)參數(shù)如下：filter為3×3的卷積核，stride步長(zhǎng)為1，為保留邊界處的卷積結(jié)果padding為1個(gè)像素，maxpool窗口大小為2×2，步長(zhǎng)為2，用Relu作為激活函數(shù)。

利用前5個(gè)卷積層輸出特征圖，每層卷積提取的特征為

(2)

2) 計(jì)算圖像特征的分布關(guān)系描述圖像的風(fēng)格，其中每個(gè)卷積層上圖像的特征分布計(jì)算方法為

(3)

3) 計(jì)算圖像特征分布的均方誤差作為風(fēng)格差異，其計(jì)算方法為

(4)

2 風(fēng)格相似性度量實(shí)驗(yàn)

2.1 實(shí)驗(yàn)方法

實(shí)驗(yàn)在本地計(jì)算機(jī)上進(jìn)行，主要參數(shù)如下：GPU為NVIDIA RTX 2080，8GB顯存，CPU為Intel i7-7700，內(nèi)存為16 GB。先行研究的風(fēng)格以繪畫作品為載體，為了驗(yàn)證本研究方法在現(xiàn)代數(shù)字化設(shè)計(jì)風(fēng)格評(píng)估中的有效性，實(shí)驗(yàn)對(duì)象的選擇遵循以下原則：1)圖像內(nèi)容一致，均選擇臥室設(shè)計(jì)圖像；2)對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化處理，尺寸、清晰度、比例一致。具體使用Python的圖像處理庫Opencv2、OS、Pillow，將圖片全部轉(zhuǎn)換為3個(gè)色彩通道的jpg格式。以圖像的短邊為目標(biāo)尺寸，將圖像居中裁剪為正方形。最后基于局部像素重新采樣，將圖像尺寸處理成224×224 pixel。

由于風(fēng)格的相似程度是相對(duì)的，通常同類風(fēng)格作品間的相似度大于異類風(fēng)格，且作品間的風(fēng)格相似度是可以進(jìn)行比較。所以實(shí)驗(yàn)選取20名專業(yè)的設(shè)計(jì)師，對(duì)圖像風(fēng)格進(jìn)行分類和排序，對(duì)比本研究的模型輸出是否與設(shè)計(jì)師的主觀評(píng)價(jià)一致。

2.2 異/同類風(fēng)格差異主客觀評(píng)價(jià)一致性實(shí)驗(yàn)

在國內(nèi)外7個(gè)設(shè)計(jì)網(wǎng)站，選擇美式、中式、歐式、工業(yè)風(fēng)、日式、地中海、現(xiàn)代和東南亞8種高頻次出現(xiàn)在室內(nèi)設(shè)計(jì)風(fēng)格分類中的風(fēng)格。實(shí)驗(yàn)以這8種風(fēng)格為目標(biāo)，檢索了535張臥室設(shè)計(jì)的圖片，設(shè)計(jì)師分別對(duì)圖片進(jìn)行重新分類，最后僅保留設(shè)計(jì)師挑選圖片數(shù)量占網(wǎng)站分類數(shù)量半數(shù)以上的風(fēng)格，具體數(shù)據(jù)如表1所示。根據(jù)篩選結(jié)果最后挑選中式、歐式、地中海這3種風(fēng)格的圖片作為實(shí)驗(yàn)數(shù)據(jù)。此外，為避免不同風(fēng)格圖片數(shù)量不均衡產(chǎn)生偏差，以數(shù)量最少的地中海風(fēng)格圖片數(shù)量9張為基準(zhǔn)，并分別從中式和歐式風(fēng)格中隨機(jī)選取9張圖片。三種風(fēng)格圖片一共27張進(jìn)行風(fēng)格相似性度量。

表1 實(shí)驗(yàn)圖像的數(shù)量Tab.1 Number of experimental images

三種設(shè)計(jì)風(fēng)格兩兩一組，共形成三組數(shù)據(jù)。每組內(nèi)計(jì)算同類作品間的風(fēng)格差距，記作Plabel1_label2，異類作品間的風(fēng)格差距記作Clabel1_label2，label1和label2為數(shù)據(jù)所屬的風(fēng)格，其中中式簡(jiǎn)寫為Ch，地中海簡(jiǎn)寫為Med，歐式簡(jiǎn)寫為Eu。以中式與地中海組為例，PCh_Med表示先在中式的9張圖片中分別計(jì)算兩兩圖片間的均方誤差，得到36個(gè)計(jì)算結(jié)果，然后在地中海式9張圖片中進(jìn)行同樣的計(jì)算，得到36個(gè)計(jì)算結(jié)果。因此，PCh_Med共得到72個(gè)計(jì)算結(jié)果。CCh_Med表示中式和地中海式各取一張圖片，計(jì)算兩圖片間的均方誤差，共得到81個(gè)計(jì)算結(jié)果。其他組采用同樣的計(jì)算方式，客觀度量數(shù)據(jù)統(tǒng)計(jì)如表2所示。

2.3 風(fēng)格偏好排序主客觀評(píng)價(jià)一致性實(shí)驗(yàn)

設(shè)計(jì)者在用戶風(fēng)格偏好評(píng)價(jià)時(shí)，即使是同類風(fēng)格的圖片，用戶也會(huì)有偏好傾向。因此，為更加精準(zhǔn)地在同類風(fēng)格中把握用戶的風(fēng)格偏好，本研究設(shè)計(jì)了風(fēng)格偏好排序主客觀評(píng)價(jià)一致性實(shí)驗(yàn)。實(shí)驗(yàn)根據(jù)設(shè)計(jì)師的分類結(jié)果，從同類風(fēng)格中選取3張不同的圖片分為一組，每種風(fēng)格選取10組，三種風(fēng)格共設(shè)置30組。每組圖片中任選一張作為目標(biāo)，標(biāo)記為So，設(shè)計(jì)師比較另外兩張圖片與So的風(fēng)格相似程度，其中更相似的一張圖像標(biāo)記為Si，另一張標(biāo)記為Di。將大多數(shù)設(shè)計(jì)師的排序結(jié)果作為最終的排序結(jié)果，即

B(So[i]，Si[i]) >B(So[i],Di[i])，

(5)

其中，i表示案例所在的組別，取值范圍為[1,30]。根據(jù)設(shè)計(jì)師的排序結(jié)果，采用本文方法分別對(duì)30組案例中的Si、Di與So之間的相似程度進(jìn)行計(jì)算。

表2 異/同類風(fēng)格相似性客觀度量數(shù)據(jù)表示Tab.2 The representation of objective measurementdata of dissimilar/similar style similarity

3 實(shí)驗(yàn)結(jié)果及分析

3.1 異/同類風(fēng)格差異主客觀評(píng)價(jià)一致性結(jié)果及分析

采用箱形圖分析異/同類作品的風(fēng)格差異，如圖3所示，其中淺色區(qū)塊代表兩種設(shè)計(jì)風(fēng)格組內(nèi)的相似度差距，與其對(duì)應(yīng)的深色區(qū)塊描述該兩種設(shè)計(jì)風(fēng)格組間的相似度差距。組間作品的風(fēng)格差異分布離散，中位數(shù)和上下四分位數(shù)高于組內(nèi)的相似度差距。

圖3 異/同類風(fēng)格作品風(fēng)格差值箱式圖Fig.3 Distribution of MSE from different/similar styles

選取數(shù)據(jù)范圍、平均值、標(biāo)準(zhǔn)差和方差作為評(píng)價(jià)方法性能的基準(zhǔn)。發(fā)現(xiàn)6組異/同類風(fēng)格相似性客觀評(píng)價(jià)中，組間風(fēng)格差異的范圍，平均值，標(biāo)準(zhǔn)差和方差都高于組內(nèi)風(fēng)格。

表3 異/同類設(shè)計(jì)作品風(fēng)格差值分布Tab.3 Statistical analysis of different/similar styles

從該實(shí)驗(yàn)結(jié)果可以看出，該模型給出的相似度數(shù)值在組內(nèi)圖片風(fēng)格處于較低區(qū)間，在組間圖片風(fēng)格中處于較高區(qū)間。盡管組內(nèi)與組間有重合區(qū)域，但是組內(nèi)圖片風(fēng)格的平均值與組間圖片風(fēng)格平均值有較大差異，不同組圖片風(fēng)格能夠利用該模型給出的均方誤差進(jìn)行區(qū)分，并與設(shè)計(jì)師的分類結(jié)果具有較高的一致性。

3.2 風(fēng)格偏好排序主客觀評(píng)價(jià)一致性結(jié)果及分析

根據(jù)設(shè)計(jì)師的主觀排序結(jié)果，分別計(jì)算Di、Si與目標(biāo)風(fēng)格So之間的風(fēng)格差異，獲得如圖4所示的風(fēng)格排序客觀度量折線圖。D分布在S上方，說明Di與So的風(fēng)格差異大于Si與So，即本方法的度量結(jié)果與設(shè)計(jì)師的主觀評(píng)價(jià)一致。統(tǒng)計(jì)30組數(shù)據(jù)的結(jié)果，得出本方法與設(shè)計(jì)師評(píng)價(jià)結(jié)果一致的正確率為90%。

圖4 風(fēng)格偏好排序客觀度量Fig.4 Objective measurement of style ranking

從該實(shí)驗(yàn)結(jié)果可以看出，該模型在同類風(fēng)格圖片中仍然能夠準(zhǔn)確地評(píng)價(jià)出風(fēng)格偏好，盡管結(jié)果中有3例模型與設(shè)計(jì)師排序結(jié)果相反，但在實(shí)際用戶風(fēng)格偏好評(píng)價(jià)時(shí)，設(shè)計(jì)師通常會(huì)給出幾十張圖片讓用戶進(jìn)行比較和挑選。因此，該模型的評(píng)價(jià)精度符合實(shí)際需要。

4 結(jié)語

用戶風(fēng)格偏好的準(zhǔn)確把握直接影響到設(shè)計(jì)工作的效率。本研究提出一種藝術(shù)風(fēng)格偏好評(píng)價(jià)模型，該模型能夠綜合考慮圖像多維特征分布。該模型在其性能評(píng)估實(shí)驗(yàn)中，對(duì)同/異類風(fēng)格作品間風(fēng)格的相似性度量結(jié)果呈明顯差異，符合風(fēng)格相似性的規(guī)則。在風(fēng)格偏好排序任務(wù)中，本模型與設(shè)計(jì)師的排序結(jié)果符合率達(dá)到90%。與其他風(fēng)格評(píng)價(jià)方法相比較，該模型不受設(shè)計(jì)作品類型限制，尤其能夠在同類風(fēng)格中給出偏好評(píng)價(jià)。這些表現(xiàn)說明該模型能夠作為設(shè)計(jì)師評(píng)價(jià)用戶風(fēng)格偏好的有力工具，具有良好的實(shí)用價(jià)值。