基于馬爾可夫鏈的書畫時序感量化方法

律睿慜，梅莉琳*，邢紅姹，孟 磊，昃躍峰

（1.江南大學(xué)人工智能與計算機學(xué)院，江蘇無錫 214122；2.江蘇省媒體設(shè)計與軟件技術(shù)重點實驗室（江南大學(xué)），江蘇無錫 214122；3.江南大學(xué)設(shè)計學(xué)院，江蘇無錫 214122）

0 引言

書法審美過程中的時序還原是指在欣賞過程中對時序開展過程的想象性重構(gòu)［1］，即觀賞者可以根據(jù)作品的靜態(tài)筆觸痕跡重構(gòu)書寫時的筆順關(guān)系和書寫過程，體會創(chuàng)作者的情緒情感等產(chǎn)生獨特的審美體驗。這種回溯式的審美方式在書法理論中存在較多討論。例如，宋代姜夔在《續(xù)書譜》中寫到：“余嘗歷觀古之名書，無不點畫振動，如見其揮運之時?！蔽墨I［2］中論述到：書法的每一個階段通過運動留下的痕跡都成為可見的，觀者在這種準(zhǔn)筆跡的追溯中，通過探問書法作品的外表特質(zhì)而窺測到了書者的個性。文獻［3］中認為從結(jié)果找過程的審美方式是書法獨有的，體現(xiàn)了書法藝術(shù)最深刻的美學(xué)價值。其實，時序還原并非書法獨有的審美現(xiàn)象，神經(jīng)美學(xué)研究發(fā)現(xiàn)，視覺藝術(shù)作品中的筆觸都能觸發(fā)類似的感知體驗。文獻［4］認為觀看靜態(tài)圖像時能夠重構(gòu)其暗示的感官運動過程，并提出認識一件事物等于認識它的創(chuàng)建過程。這種現(xiàn)象的生理基礎(chǔ)是鏡像神經(jīng)元的“ 具身模仿（Embodied Simulation）”能力，具身模仿讓觀賞者能夠根據(jù)筆觸痕跡回溯書畫作品或手寫符號的操作動作和創(chuàng)作過程，進而體會藝術(shù)家的情感，達成“共情”［5-7］。文獻［8］通過對腦神經(jīng)活動的探測發(fā)現(xiàn)，當(dāng)Franz Kline 的作品中強烈的筆觸特征被人為削弱后，其引起的動態(tài)感受也明顯減弱。由此帶來一個問題：筆觸特征是否是引發(fā)時序還原的主要因素？

傳統(tǒng)美學(xué)對書法體現(xiàn)的時序還原只給予定性的討論，未對時序還原進行量化，因此本文研究的主要內(nèi)容是：

問題1 時序還原是否可以度量？它屬于審美心理行為的度量。在以往的視覺藝術(shù)審美心理研究中主要使用問卷調(diào)查方法和眼動方法［9］。問卷調(diào)查方法常采用李克特量表對圖像的相關(guān)屬性（復(fù)雜度、美感、好感等）劃分不同等級［10-12］，研究者可以依據(jù)評分了解人類的主觀審美感受，然而對語義等級評分的高低不足以反映被試真實的時序感。眼動方法相較其他方法更為客觀，眼動儀常常被用來探測觀賞者的目光移動過程。然而，眼動過程會受到觀賞者意圖的嚴重影響，它也不能直接反映時序感。在眼動軌跡的相關(guān)研究中，常用感興趣區(qū)域（Region Of Interest，ROI）來測量眼動軌跡的特性，例如，根據(jù)對應(yīng)領(lǐng)域的先驗經(jīng)驗來選取和劃分ROI［13］，將作品劃分為有人物的前景和無人物的背景［14］，將臉部按五官劃分ROI［15］；然后將這些ROI 作為馬爾可夫鏈的狀態(tài)，通過測量眼動軌跡在這些ROI 間轉(zhuǎn)移的頻率，估計馬氏鏈的轉(zhuǎn)移概率矩陣。文獻［14］提出的“注視轉(zhuǎn)移熵（Gaze Transition Entropy）”，實驗通過統(tǒng)計目光在離散的感興趣區(qū)域之間轉(zhuǎn)移的次數(shù)，構(gòu)建馬爾可夫鏈模型，再計算其靜態(tài)熵和穩(wěn)定熵，以度量目光移動過程的不確定性，并由此量化判斷個體對繪畫作品的熟悉度和好奇度。借鑒上述研究中的建模思想，本文將觀賞者對于書法作品的時序感知看作為其對于離散感興趣區(qū)域的排序過程，并構(gòu)建為馬爾可夫鏈模型，再基于馬氏鏈熵率，提出時序還原的度量指標(biāo)——時序感。

量化時序感有什么價值呢？幾百年來，人類逐漸量化了力、能量、電、磁、熵、信息等原本模糊的概念，可以說，科技的發(fā)展，其基礎(chǔ)就是量化能力的不斷提升。時序感原本是一種模糊的審美感受，以往的研究中還未見對其量化的嘗試，本文嘗試用馬氏鏈模型對其進行量化，其潛在應(yīng)用價值其實是很難預(yù)期的。不過，本文仍然嘗試給出它的應(yīng)用實例，將其應(yīng)用于解決藝術(shù)理論、審美心理的命題，即研究了另外兩個問題：

問題2 時序感的度量值是否能作為藝術(shù)風(fēng)格的一種特征量？針對這個問題，本文測量了25 幅視覺藝術(shù)作品的時序感，發(fā)現(xiàn)不同風(fēng)格流派具有顯著不同的時序感，其中書法具有高水平的時序感。于是，時序感可作為一種高區(qū)分度的藝術(shù)風(fēng)格度量，這一成果體現(xiàn)于實驗1，表明時序感度量在實證美學(xué)領(lǐng)域的應(yīng)用。

問題3 鏡像、旋轉(zhuǎn)等圖形變換對時序感的影響有多大？有研究表明，圖形變換（鏡像、旋轉(zhuǎn)）對抽象繪畫的審美有一定影響［16-17］。例如，文獻［18］比較了抽象繪畫圖像在四個旋轉(zhuǎn)方向（0°、90°、180°、270°）上的美學(xué)感知，原始方向被認為有比較高的審美評價，但還未研究它對于時序感知的影響。本文通過實驗發(fā)現(xiàn)，在不同的視覺呈現(xiàn)下，時序感總體上保持較高的數(shù)值，而正確率的變化很大，說明筆觸特征并非時序判斷的主要因素，筆序規(guī)則的先驗經(jīng)驗更加重要，其實驗成果呈現(xiàn)于實驗2，體現(xiàn)了時序感度量在審美心理研究方面的應(yīng)用。

1 基于馬爾可夫鏈的時序感量化

對于一幅作品，藝術(shù)家在創(chuàng)作時有一個完全確定的順序，即一條“時間線”，從數(shù)學(xué)視角可將其看作一個確定的運筆軌跡。但是，作品完成后只保留了關(guān)于創(chuàng)作過程的部分信息，并且觀者的“解碼”能力并不恒定。于是，觀者從作品感受的運筆時序可看作一個不確定的軌跡，在數(shù)學(xué)上其對應(yīng)的是一個在二維平面上的隨機游走過程，若觀測者獲得的時序信息越多，則該隨機游走的隨機性越弱，也即確定性越高；反之，該隨機游走將越隨機，即越不確定?？紤]一幅作品帶來的順序感受，它相當(dāng)于降低了全隨機過程的隨機性，其隨機性降低的程度，就相當(dāng)于作品帶來的有關(guān)順序的信息量，即可定義為時序感的度量。該隨機過程類似于文獻［14］中的眼動軌跡，皆為作品平面上的隨機游走，于是可以借鑒該文中采取的建模思想，將其擬合到一個馬爾可夫鏈模型，并度量它的熵率以衡量其隨機程度，并由此衡量時序感。

馬爾可夫鏈?zhǔn)且环N描述動態(tài)隨機過程的數(shù)學(xué)模型，簡稱馬氏鏈［19］。其具有“無后效性”，即隨機過程{Xn，n≥1}在n+1 時刻所處狀態(tài)的概率分布只取決于n時刻所處的狀態(tài)，與n時刻以前的狀態(tài)無關(guān)。離散時間馬爾可夫鏈{Xn，n≥1}滿足：

其中：i1，i2，…，i，j∈S，S為狀態(tài)空間。

1.1 馬爾可夫鏈建模

本文將馬爾可夫鏈方法應(yīng)用于書法運筆時序建模。時序還原感知可以由一個馬爾可夫鏈模型來表達，其建模過程如下。

1）進行狀態(tài)分類。

一次完整的運筆包括三個基本部分：起筆、行筆和收筆，從起筆到收筆形成了一條筆鋒隨時間運行的軌跡。因此，起筆和收筆是判斷運筆順序重要節(jié)點，故將筆畫軌跡上的起點和終點等重要轉(zhuǎn)變標(biāo)記為ROI，同時ROI 的選取應(yīng)避免兩個筆觸的交叉區(qū)域，當(dāng)筆畫的起點或終點與其他筆畫存在相交時，適當(dāng)將ROI 移到?jīng)]有交叉的區(qū)域。這些ROI 構(gòu)成狀態(tài)空間S。

2）確定狀態(tài)轉(zhuǎn)移概率。

每個狀態(tài)的轉(zhuǎn)移概率由測試者對標(biāo)記點的排序結(jié)果來估計。若當(dāng)前狀態(tài)（標(biāo)記點）為排序結(jié)果的最后一位，則將其視作當(dāng)前狀態(tài)的下一時刻與此刻狀態(tài)相同，即：當(dāng)i=j且i，j∈S時，Pij=其中：Ni為處于狀態(tài)i的樣本數(shù)，即當(dāng)前作品的被試數(shù)量；Nz為當(dāng)前狀態(tài)為排序最后一位的樣本數(shù)。否則，直接相鄰的兩個順序，前一個順序為當(dāng)前時刻所在的狀態(tài)，后一順序為下一時刻所在的狀態(tài)，即：當(dāng)i≠j且i，j∈S時，Pij=，其中Nij為樣本中由狀態(tài)i一步轉(zhuǎn)移到j(luò)的樣本數(shù)，即Pij的最大似然估計。已知轉(zhuǎn)移概率可以得到狀態(tài)轉(zhuǎn)移矩陣P：

其中：P中的所有元素都大于等于0，每行元素之和等于1。

3）求得平穩(wěn)分布。

根據(jù)馬爾可夫鏈的知識，當(dāng)系統(tǒng)經(jīng)過k步轉(zhuǎn)移，且k→∞時，將趨于穩(wěn)定，即為狀態(tài)j的穩(wěn)態(tài)概率，可以通過求解下列方程組得到：

則μ=(μ1，μ2，…，μm)稱為馬氏鏈的平穩(wěn)分布。

隨機過程的不確定性，由熵率來度量，馬爾可夫鏈熵率計算公式［20］如下：

其中：χ={Xn，n≥1}為平穩(wěn)馬氏鏈；μ為平穩(wěn)分布，P=[Pij]為轉(zhuǎn)移矩陣。

1.2 時序感量化

通過實驗獲得測定的熵率Ht，并衡量它相對于該馬爾可夫鏈的最大熵率的下降程度，即度量作品的時序還原感受確定程度。

最大熵表示隨機變量最不確定，即熵為最大的時候。在離散馬爾可夫鏈中最大熵為每個狀態(tài)轉(zhuǎn)移的概率都相等，最大熵率Hmax的計算公式如下：

其中m為狀態(tài)數(shù)。

作品的時序感相當(dāng)于從完全無序降低的隨機性，即有序程度：

其中：Oh為時序的信息量，O為歸一化后的時序感，其取值在0到1之間。

1.3 時序正確率度量

當(dāng)一幅藝術(shù)作品被創(chuàng)作完成后會形成一個軌跡，且這個軌跡的創(chuàng)作時序是唯一的，不會隨圖形變換而改變，可將該創(chuàng)作時序視為作品的正確順序。然而一個完成的靜態(tài)作品其原本的創(chuàng)作順序并不能直接體現(xiàn)，獲得正確順序的方式有兩種：其一，直接由創(chuàng)作者提供操作時的順序；其二，當(dāng)無法得到原作者的順序時，可由經(jīng)驗豐富的專家根據(jù)靜態(tài)軌跡推斷實際順序。被試對標(biāo)記點的排列順序與原作本身的創(chuàng)作順序的一致性，可用正確率A來衡量，一位被試時序正確率計算方式如下：

其中：i和j為圖中兩個標(biāo)記點；m為標(biāo)記點數(shù)；t為測試者對標(biāo)記點i和j的先后順序的判斷結(jié)果；w為創(chuàng)作者對這兩個標(biāo)記點的時序結(jié)果。當(dāng)t與w相同時，f(t，w)=1，反之取值為f(t，w)=0。所有被試的正確率均值可作為當(dāng)前作品時序正確率的度量。

2 時序感評估實驗

對復(fù)雜筆畫的書畫作品，可以將筆鋒運動時序簡單看作筆畫順序，不深入考慮起筆和收筆處的筆鋒運動，將時序感測量簡化為筆畫順序測量。本章共分為兩個實驗：

1）實驗1。以25件風(fēng)格不同的視覺藝術(shù)作品為實例來展示時序感量化在不同類型作品中的應(yīng)用，并驗證該方法在審美感受評價中的可行性。

2）實驗2。應(yīng)用該度量方法，探索旋轉(zhuǎn)和鏡像圖形變換對作品時序感的影響。

2.1 實驗1——時序感測量

2.1.1 實驗設(shè)計

本實驗共有155 名被試參與，視力均在正常范圍內(nèi)或校正后正常。實驗材料為圖1 所示的25 件藝術(shù)作品，每件作品由人工在每個筆畫的端點和轉(zhuǎn)折點上標(biāo)記若干個用于測量感知時序的點（即ROI），圖1中用圓圈標(biāo)注。每位被試被隨機分配5 幅圖片，并需仔細觀察作品體會其創(chuàng)作時的運筆過程，根據(jù)感受到的運筆先后順序?qū)?biāo)記點進行排序。使用在線測評平臺完成時序評估，實驗時不限制觀察圖片以及排序的時間，以確保被試提交滿意的結(jié)果，并剔除未完整作答的數(shù)據(jù)。

圖1 實驗1中測試素材Fig.1 Experimental materials in experiment 1

2.1.2 結(jié)果分析

根據(jù)所提方法可以計算出每件作品的時序感，結(jié)果如表1 所示。可以看出，不同書畫作品的時序感存在較大差異，抽象畫具有最低的時序感0.19，書法字“有”具有最高的時序感0.90，且文字的時序感普遍高于繪畫，這說明觀者對文字順序的感知具有較高的一致性。因此，時序感可以作為評價不同藝術(shù)作品的審美指標(biāo)之一。

表1 藝術(shù)品的時序感Tab.1 Sequentiality perception of artworks

2.2 實驗2——圖形變換對時序感的影響

2.2.1 實驗設(shè)計

本實驗共有320 名被試參與，視力均在正常范圍內(nèi)或校正后正常。實驗自變量為圖形變換，由圖2 所示90°旋轉(zhuǎn)和鏡像翻轉(zhuǎn)的疊加共計8種。

圖2 書法字“走”的8種圖形變換Fig.2 Eight graph transformations of calligraphy character"Zou"

實驗材料來為圖3 中的三幅圖片，分別為書法字“走”、一筆畫“人像”和“汽車”。每張圖中筆畫的起筆、收筆和轉(zhuǎn)折點處共標(biāo)記13 個點（用A～M 表示）作為ROI，即圖3 中圓圈標(biāo)記處。而后在這些圖片上施加90°旋轉(zhuǎn)和鏡像變換，共生成24張實驗素材。被試隨機抽取一張圖片，并對所呈現(xiàn)圖片中筆畫運筆順序進行還原，即完成圖中13 個標(biāo)記點的排序，實驗方法和實驗平臺與實驗1 相同，實驗完成時被試需要報告時序判斷的主要方法。

圖3 實驗2中測試素材Fig.3 Experimental materials in experiment 2

2.2.2 結(jié)果分析

剔除未完整排序的數(shù)據(jù)后剩余311 個有效數(shù)據(jù)，每種情況樣本數(shù)平均為13。每種情況的時序感和正確率結(jié)果如表2所示。時序感和正確率為衡量書畫作品的不同指標(biāo)，前者用來衡量觀者對運筆時序還原的確定性，后者用來衡量時序判斷的正確性，即觀者對標(biāo)記點的排序與書法家本身書寫順序的一致性。

表2 圖形變換下的時序感Tab.2 Sequentiality perception under graph transformation

可以看出，圖形變換對書畫作品的時序感具有影響，在各種不同的圖形變換下，時序感總體上保持較高的數(shù)值（0.55～0.83），而正確率的變化很大（0.17～0.95），換句話說，在8 種不同的圖形變換下觀測者大體上比較一致地判斷筆序，但有些圖形變換可能導(dǎo)致明顯的錯誤判斷。時序感的值均大于0.55，說明所有被試感受到的順序具有一定共性，這可能是被試具有類似的先驗經(jīng)驗；圖形變換對正確率具有顯著影響，最小值0.17，最大值0.95，這說明在改變作品的呈現(xiàn)方式時，觀者難以僅根據(jù)圖片中筆觸的細節(jié)特征作出正確的順序判斷。此外，根據(jù)觀者自己報告的時序判斷方法可知，82.48%的人依據(jù)從上到下、從左到右等書寫規(guī)則來對時序作出判斷，53.78%的人依據(jù)筆觸視覺特征及筆畫間連接關(guān)系作出判斷。

綜上可以得到一個推論：筆觸的細節(jié)特征對于時序感的影響非常有限，而觀賞者自身的筆序經(jīng)驗，例如從上到下、從左到右等，反而更為重要。對比文獻［8］的實驗結(jié)果可以推得，筆觸細節(jié)影響的是觀者感受到的運動刺激強度，然而運動過程的時序判斷卻是獨立于運動強度的另一種感知。此外，這也一定程度上解釋了傳統(tǒng)書法為何不容易為外國觀眾理解，即他們不具有判斷漢字時序的先驗經(jīng)驗，因此難以從書法作品中正確地重建書法家的運筆動作和過程，于是無法感知到文獻［2］中描述到的那種“想象著站在書法家身后，觀看他的每一筆的書寫過程”，也就無法實現(xiàn)唐代孫過庭在《書譜》中描述的書法的傳情作用——達其情性，形其哀樂。

3 結(jié)語

目前對于時序還原這一審美現(xiàn)象的探討，主要集中于傳統(tǒng)的書法美學(xué)領(lǐng)域，在神經(jīng)美學(xué)領(lǐng)域也有一定涉及，而本文對書畫作品時序感進行度量，類似的嘗試還未見先例。對時序感的量化，是將時序還原這一審美現(xiàn)象引入科學(xué)研究的基礎(chǔ)。本文展示了一種時序感度量指標(biāo)，以馬氏鏈模型作為基礎(chǔ)，但并非意味著這是唯一方法，其他數(shù)學(xué)模型也值得探索。本文還初步展示了時序感度量的應(yīng)用價值，包括用于風(fēng)格度量、研究圖像變換對時序感的影響，其他應(yīng)用還有待發(fā)掘。通過測量25 幅作品的時序感，驗證了提出的度量指標(biāo)對于不同風(fēng)格流派具有很好的區(qū)分度，是良好的風(fēng)格度量指標(biāo)，同時也量化地展示出書法作品具有高度的時序感。通過測量幾種不同類型作品在鏡像、旋轉(zhuǎn)的圖形變化下的時序感，發(fā)現(xiàn)圖形變換對時序感有一定影響，說明時序感與觀者對于順序的先驗認知有顯著關(guān)聯(lián)性。

盡管本文提出了時序感的理論度量，采取問卷法可以比較粗略地測量觀者對藝術(shù)作品時序的主觀感受，但測量精度并未做出嚴密的理論推算，今后的實驗研究需要在測試負荷與測量精度方面改進。研究更可靠的時序感測定方法，以避免個人經(jīng)驗式的論證，實證地研究一些懸而未決的藝術(shù)理論命題，如：抽象表現(xiàn)主義繪畫被認為受到了東方書法的影響，發(fā)源于日本的現(xiàn)代書法又被認為是受到了西方抽象藝術(shù)的影響，相較于傳統(tǒng)書法作品，它們帶來的時序還原感受有何差異？梵高、莫奈的作品也具有強烈的筆觸特征，它們是否也能引起類似的時序還原感受？除了應(yīng)用于美學(xué)理論研究，它在計算機書法、人工智能藝術(shù)等領(lǐng)域，也具備作為一種審美評估指標(biāo)的潛在應(yīng)用價值。