智媒視域下語言標簽的多模態(tài)意義建構

■ 周 冰

一、問題的提出

媒體信息技術的強勢創(chuàng)新從根本上改變了信息的生產方式與傳播方式。廖祥忠認為,融合媒體是媒體在傳輸平臺和接收終端的融合,而智能媒體則是內容生產端的革命。①隨著大數(shù)據算法和互聯(lián)網技術全面浸入日常生活場景,傳統(tǒng)媒體與新媒體交融并存,從接收端到傳輸端再到生產端的智能化重構時代即將來臨。用戶的感官體驗維度不斷豐富,社會連結方式趨于多樣化,把握現(xiàn)實的成本代價不斷簡化。在互聯(lián)網的下半場,語言模態(tài)和非語言模態(tài)的深度擬合使得“人的邏輯”②得以強化。

但是反過來看,在視聽形式已經成為主流內容，而文字功能凝練為“檢索關鍵詞”或語言標簽的今天,作為信息傳播主體和信息接收主體的“人”又將受到何種影響？

透過智媒視域審視語言標簽的多模態(tài)維度,有助于揭示內容生產端的智能化重構對于網絡語義生成和受眾心理認知的深度影響,為媒體轉型時期智能傳播方式與認知建構關系的探討提供新視角。具體研究問題主要包含以下兩個方面:在智能傳媒技術的強勢創(chuàng)新下,受眾對語言進行認知的環(huán)境與方式將受到何種影響？海量多模態(tài)信息流對媒體與現(xiàn)實互動融合有何意義？

二、智媒時代的多模態(tài)認知:語言符號與非語言符號的合作與競爭

多模態(tài)研究是話語分析的一個分支,其理論基礎是英國語言學家韓禮德(Halliday)在符號學理論下創(chuàng)立的系統(tǒng)功能語言學。系統(tǒng)功能語言學將廣義的語言看作是一種符號體系,或者說是一種“處于持續(xù)擴展之中的意義潛勢”③,而多模態(tài)研究則將符號拆解為語言模態(tài)與非語言模態(tài),并認為它們同時為內容建構提供資源。西方學界研究的重點在于對兩種關系的思考:不同符號之間的語法關系,以及文字和圖像之間的關系。而在傳媒技術日新月異的今天,后者將逐漸從二維分析走向三維分析、從靜態(tài)分析走向動態(tài)分析。④從“物”的視角來看,新科技的出現(xiàn)推動新的語篇形式產生,正如斯科倫(Scollen)指出,多模態(tài)化的語篇正是社會經驗的科技化表現(xiàn)。⑤從“人”的視角來看,媒體科技與語篇形式會形塑用戶的認知模式。勒約汶(Leeuven)在探討科技與語篇形態(tài)關系時認為,占據主導地位的媒體技術會很大程度影響讀者在接收信息時的感知:例如在黑白片時代,彩色甚至會讓人覺得“不自然”。⑥網絡技術在過去20年的飛躍式發(fā)展,推動了媒體語篇形式與用戶閱讀習慣不斷走向多模態(tài)化。

早期的互聯(lián)網信息內容以文字為主,研究往往著重于分析非語言模態(tài)對語言的闡釋性作用。例如耿敬北、陳子娟以特定QQ群中的聊天記錄為研究對象,通過對文字與非文字模態(tài)的量化統(tǒng)計,分析文字與表情、圖片、超文本的模態(tài)組合形式,認為文字在社區(qū)語境、交際內容建構與表達層面起主導作用。⑦這類研究通常對個案研究對象及其價值意義理解較深,但普適性相對不強。⑧

隨著5G技術的推廣,一方面,智媒視域中的文字、圖片、視頻等模態(tài)在網絡新營銷邏輯下深度擬合；另一方面,語言模態(tài)與非語言模態(tài)之間的競爭性趨勢開始顯現(xiàn)。今天除了有聲書、無線廣播等純音頻軟件之外,主流系統(tǒng)的熱門應用客戶端大多開始內嵌直播平臺或短視頻,文字信息從大屏與小屏的視覺中心遷移到了屏幕頂端或底端,占屏比遠低于關聯(lián)圖片或視頻。抖音、快手等短視頻應用在近年來熱度驟升；微博、微信提升了用戶圖片發(fā)布數(shù)量,并增加了“視頻號”的賬號類別；個人博客(Blog)出現(xiàn)了照片博客(Plog)與視頻博客(Vlog)的變體；淘寶、京東等購物類應用在首頁顯要位置及相關商品鏈接中設置直播入口與直播回放功能；大眾點評、小紅書等商戶推薦類應用鼓勵商家與個人發(fā)布圖文、視頻結合的文案與評價；攜程旅行等旅游出行類應用以及支付寶、天天基金等理財類應用與用戶的接觸原本僅限于專門類服務,但自2020年以來同樣推出了“攜程直播”“基金直播”等板塊,最大程度地實現(xiàn)了引流與流量的快速變現(xiàn)。諸如百度、搜狐等仍然以文字類為主的門戶網站在互聯(lián)網興起之初是新媒體的代表,但在近年來的應用迭代中已逐漸向傳統(tǒng)媒體形象靠攏。

多模態(tài)的語篇形式形塑了新一代網絡用戶多模態(tài)的閱讀習慣與認知方式,這就對多模態(tài)語篇研究方法提出了新的挑戰(zhàn)。事實上,從文本話語分析到多模態(tài)話語分析的發(fā)展,是智媒時代對語言學研究的必然要求,也是對語言認知機制的重新思考。

從語篇內容上來說,文字在傳統(tǒng)媒介與在智媒視域中的地位與作用顯然不同。傳統(tǒng)媒介以文字為主線,有明確的內容主體；但智媒時代,用戶對話語篇幅的容忍度在不斷降低,以流量為主的商業(yè)模式促使語篇內容與用戶閱讀時間都呈現(xiàn)愈發(fā)明顯的碎片化特征:無論是微博和推特曾經的140字限定,微信朋友圈和抖音的15秒短視頻,多模態(tài)的信息發(fā)布模式,各類門戶網站的“10萬+爆款文章”,或是淘寶、京東等購物網站的銷售文案以及各種口號標語,都要求在盡量精悍的文字中不斷突顯核心信息；在長文開頭標明文章字數(shù)與預計閱讀時長、圖解電影等形式則是對用戶閱讀偏好的另一種適應邏輯。

從信息傳播路徑上來說,平面媒體及電視節(jié)目中的互動主要是一種從傳播主體(即作者或主持人)到傳播客體(即讀者或觀眾)的單向互動。智媒技術則使多模態(tài)語篇的互動性更加多元化:新媒體平臺用戶既是內容的消費者,也可以是相同或類似內容的生產者與傳播者；打上某個語言標簽的內容不僅會被推送到特定群體的信息流中,也很容易在群體內與群體間被不斷評論、轉載、模仿。

三、沉浸:智媒視域中的用戶認知環(huán)境

(一)信息傳播邏輯:語言標簽的多模態(tài)維度

如果認為智媒視域中的多模態(tài)研究是對信息流的研究,那從語言學上對語篇意義建構的探討將陷入“人一次也不能踏入同一條河流”的不可知論之中。在語篇包含的各類模態(tài)中,語言標簽可被視作研究多模態(tài)語篇意義建構的關鍵依據,原因有二:其一,語言標簽本身雖然屬于語言維度,但在算法主導下,語言標簽是用戶進入某一主題多模態(tài)語篇的主要途徑。目前,除去購物平臺和圖片檢索網站之外,大多數(shù)的內容平臺尚不支持直接對圖片、音頻或視頻進行檢索,用戶搜尋某一內容仍需借助關鍵詞語；其二,人工智能也將語言標簽用作信息歸類整理計算的依據⑨,實現(xiàn)對用戶畫像與閱讀偏好的過程化動態(tài)迭代,并相應對用戶接受的信息流進行個性化設置。

匡文波認為,與傳統(tǒng)媒體相比,新媒體的本質特征是技術上的數(shù)字化和傳播上的互動性。⑩在新媒體平臺上,用戶可以作為多模態(tài)語篇的生產者,主動利用語言標簽實現(xiàn)多模態(tài)語篇的創(chuàng)建:微博、抖音客戶端支持用戶編輯文字內容時,在關鍵詞前加上#號,使語言標簽從簡單文字變?yōu)槌溄?提升其閱讀熱度；其他用戶只需點擊語言標簽即可進入相關話題的討論頁面,并觀看該關鍵詞鏈接的圖片與視頻,這就賦予了語言標簽以社交功能；大眾點評、小紅書等推薦類應用在內容編輯頁面主動向用戶提供“+標簽/話題/地點”按鈕,同時向用戶實時呈現(xiàn)所選標簽下的討論次數(shù),這就在用戶的潛意識中植入了“話題群體”的概念。此外,用戶也可以作為語篇的受眾,實時關注某一平臺上頻繁出現(xiàn)的語言標簽,從而增強社會討論的參與感:例如百度、微博等應用向所有用戶展示實時熱搜榜,而抖音、快手則根據用戶畫像推送“你可能感興趣的話題”——這兩者都是以語言標簽為抓手,引導讀者通過點擊、閱讀的方式增加相關內容的討論熱度與觀看時長。

事實上,語言標簽在人工智能推薦系統(tǒng)的算法引導下不斷固化,對用戶來說易于形成信息繭房。與此同時,文字、音樂、視頻疊加的多模態(tài)語篇則使得用戶在語言標簽的引導下獲得某種沉浸式的閱讀體驗。

(二)內容建構邏輯:從語義驅動到語境驅動

一般認為,文字表達生成并主導語篇邏輯。但這一認知機制在智媒時代逐漸受到挑戰(zhàn)。

從純語言層面來看,新媒體語言在內容和使用上都與普通語言有不同的范式:前者與語境的關聯(lián)更為直接。崔希亮基于北京語言大學BCC語料庫,認為新媒體語言主要包括“新詞、新的用法,或者舊詞被賦予新的意義,還有不合常規(guī)的縮略語、短時流行的話語形式、字母詞”等等。自2006年起,國家語言資源監(jiān)測與研究中心和商務印書館共同發(fā)起“漢語盤點”活動,在發(fā)布“十大流行語”“十大新詞語”“十大網絡用語”的同時,公布由網友投票選出的“年度字詞”。歷年流行語有2016年度網絡用語“洪荒之力”“葛優(yōu)躺”“藍瘦香菇”,2019年度網絡用語“道路千萬條,安全第一條”“雨女無瓜”等等。受現(xiàn)代語言表達習慣與營銷邏輯影響,智媒平臺上的語言較為簡短凝練,其語境相對復雜,但語義內涵較為固定,同時因其新奇表達而極具傳播力與感染力。為了傳達這一語境,這類詞的出現(xiàn)通常是與圖像、動態(tài)表情包或視頻等畫面相結合而得以產生及廣泛傳播的。例如“藍瘦香菇”實際只是“難受想哭”的南寧方言版本,但其因結合語言標簽傳播的語境而在基本語義之外富有調侃色彩。換言之,用戶理解“藍瘦香菇”等新媒體語言時,首先需要在認知中驅動詞條關聯(lián)的語境,再從情境中提取出相關語義；新媒體語言傳播范圍越廣、越為人所知,意味著其包含的語境越廣泛地嵌入大眾的集體記憶,其語義本身反而被空心化。

從多模態(tài)維度來看,語篇的符號化特征在不斷重復中得以強化,“爆款”思維主導內容的創(chuàng)作與衍生。以淘寶直播為例,其頭部主播李佳琦的標志性口號“OMG,買它！”和薇婭的直播開篇語“廢話不多說,先來抽波獎”都因其超高辨識度和個人風格而成為二人直播內容的標志性構件,并以此固化了用戶在直播間購物時的認知。再以抖音為例,用戶在發(fā)布一段短視頻時,可以選擇熱門濾鏡、熱門配樂等填充視頻內容,這就使用戶在內容生成時進入某種熱門的模式化的思維方式中；動態(tài)濾鏡和配樂本身提供的情景與框架常常是視頻內容的主導,“用戶扮演著流水線上的工人,為內容的商業(yè)化提供零件”,反過來繼續(xù)為熱門模態(tài)積累流量。

綜上,智媒視域下用戶對內容的理解更多地受到語境驅動,而非語言內涵本身——某種程度上,這其實是語言理解的本質,多模態(tài)的語篇模式只是將之更加直觀地呈現(xiàn)了出來。人類的認知系統(tǒng)在概念加工時處于情境仿真信息和語言信息共同作用之下,其中仿真信息指的是“基于情境的仿真”所帶來的信息流,仿真資源包括外在感知(視覺、聽覺、觸覺、嗅覺、味覺)和內在感知等；概念加工雖是由情境仿真加工機制與語言加工機制共同完成,但情境仿真加工機制是概念加工的主要驅動。需要注意的是,疊加多模態(tài)維度的語言標簽,在語境驅動上顯然具備更豐富的視覺與聽覺材料,這就意味著用戶僅需要調動較少的認知資源就可以對復雜語境加以理解與再傳播；熱門語言標簽在被頻繁重復之后,用戶在認知中形成某種條件反射式的理解范式,語義標簽背后的深層內涵與傳播過程中可能帶來的信息失真反倒容易被忽略。

四、共鳴:語義扁平化與圈層劃分

(一)語言標簽+非語言模態(tài)的傳播力

美國社會學家丹尼爾·貝爾(Daniel Bell)提出,“當代文化正在變成一種以視覺文化為主的文化,而不是一種印刷文化”。圖像提供了一種“替代性經驗,讓沒有親身體驗過的場景變得可感可知”,而存在于多模態(tài)語篇中的語言標簽一方面是用戶注意力的重要抓手,另一方面也是算法動態(tài)塑造用戶身份畫像的重要依據。爆款語言標簽成為傳播語篇的有力手段,但正因如此,多模態(tài)符號共同建構起的“符號真實”使用戶容易脫離客觀事實的土壤,推動后真相時代的到來。

語言標簽為了貼合傳播邏輯而需要具備“易于理解”“感染力強”等特征,這就決定了語言標簽必然走向語義扁平化,用戶基于語言本身去判斷語篇內容合理性的認知資源相對有限,對“語篇—現(xiàn)實”二元關系的解讀走向單一；“‘弱事實—強情緒’成為網絡輿論的新型表達方式,身處其中的人們陷入情緒的漩渦并被其左右”,而多模態(tài)的語篇形式則使得情緒表達的象征意義越發(fā)濃厚。以2020年席卷美國的平權運動為例:在弗洛伊德事件以視頻形式在網絡曝光之后,“我不能呼吸”(I can’t breath)、“黑人的命也是命”(Black Lives Matter)等口號迅速以標簽形式傳播開去,并衍生出“#BLM”的縮寫形式以及以弗洛伊德事件為主題的各類海報——其中占據各大社群網站并極具代表性的是“黑方塊”(Black Square),英國《衛(wèi)報》對此評論到:包括各界名人在內的全球數(shù)百萬用戶以“#BLM”標簽標記一張純黑的方塊,來表達對黑人平權運動“沉默而團結的支持”。

(二)多模態(tài)語篇中的圈層劃分

仍以BLM事件為例,英國《衛(wèi)報》在上述報道中同樣指出:在社交平臺上發(fā)布“黑方塊”的行為“引爆爭論”,因為其他人認為這種行為是對平權運動內涵的極端“簡化”,阻礙了對平權運動深層探討。

扁平化的語言標簽驅動的是一種非黑即白的二元選擇邏輯:支持或反對、參與或拒絕參與、選擇或不選擇、轉發(fā)或不轉發(fā)、觀看或不觀看,等等。一方面,要從這種二元思維中驅動多元價值探討,是違背傳播邏輯的:在爭議性事件的新媒體場景中,話語的合法性很大程度上取決于是否能快速引發(fā)多數(shù)的支持和共鳴；另一方面,BLM事件中,是否發(fā)布“黑方塊”變成某種劃分派別的直接依據,而用戶在網絡話語場域做的其他二元選擇同理——這就意味著用戶畫像在搭建之初就處于多種圈層的動態(tài)交疊中,用戶身份由多個語言標簽共同建構而形成智媒時代“千人千面”的景象。每一個身份標簽都標定了一個群體,同時也與其對立群體劃清界限。換言之,語言標簽可以凝聚群體力量,但從更大的范圍來看,同樣易于引發(fā)群體認同危機。

在智媒視域中,語言標簽本質上是將語言邏輯內化為算法邏輯、將語義符號固化為語境之匙。在語篇形式多模態(tài)化的今天,調動多重感官營造的沉浸式閱讀體驗使得語言標簽對圈層劃分的推動作用得以進一步放大。

五、結語:智媒視域下語言標簽的多模態(tài)研究思考

(一)重視語言標簽聚焦的社會價值引導

從網絡環(huán)境的建構來看,多種語言標簽筑起了帶有紛繁身份認同的碎片化符號世界,因此可以說:用戶偏好與身份政治的產生并不以智媒技術為緣由,但卻在海量二元選擇中得以迅速凝聚,并追求在各自圈層中獲得回應。

從意見表達的方式來看,在各類網絡平臺上,紛繁復雜的圖片、視頻、音頻聚集在某個語言標簽之下,成為其語義建構的多模態(tài)素材,使得特定表達富有感染力或煽動性。語言標簽本身的交互性則使得多模態(tài)信息傳播速度的幾何式增長成為可能。

無論是用戶對自身圈層的選擇,還是對網絡信息的閱讀和評價,從個體角度上看都具有充分的自主性與自由度。但隨著5G技術與現(xiàn)實生活的深度融合,對于互聯(lián)網“烏托邦”式的想象顯然已不切實際,在從“互聯(lián)網”到“人聯(lián)網”的轉變中,相應的技術路線、產業(yè)發(fā)展和政策管理等“社會配套設施”也正在發(fā)生范式轉變。語言標簽是人工智能算法服務于資本管理邏輯的技術依據,因此用戶在基于語言標簽建構個性化網絡話語生態(tài)的過程中,應當也必須留有資本監(jiān)管與國家治理空間,以實現(xiàn)對社會價值的正確引導:無論是臉書對“仇恨言論”的管理,還是微博對“不實信息”的標記,都體現(xiàn)了這一點。

(二)重視語言標簽觸發(fā)的認知范式轉變

在多模態(tài)信息的快速迭代下,從一方面來說,語言標簽有助于快速大范圍傳播語境情緒,節(jié)省用戶的閱讀成本；但另一方面,需要注意的是,標簽化的敘述與多模態(tài)的閱讀趨勢所帶來的負面效果已經顯現(xiàn):諸如“YYDS”等新式語言標簽正在排擠傳統(tǒng)表達,互聯(lián)網語言在富有創(chuàng)新性的同時,呈現(xiàn)出了一定程度的詞匯匱乏化。因此在智媒時代,語言標簽觸發(fā)的認知范式使得用戶表達更加千人千面還是千人一面,無疑是值得進一步思考的問題。

(三)擁抱變革:模態(tài)擬合呼喚學科融合

在網絡與現(xiàn)實的不斷融合中,信息的洪流成為日常生活的客觀組成部分。無論是多模態(tài)技術為用戶提供的便利,還是與技術便利伴生的負面影響,都是智媒時代信息傳播的既定事實。傳統(tǒng)的語言學研究工具已不足以刻畫多模態(tài)語篇的語義建構范式,傳播學的分析視角顯然也亟待來自其他學科的支持與補充。

注釋:

① 廖祥忠:《從媒體融合到融合媒體:電視人的抉擇與進路》,《現(xiàn)代傳播》,2020年第1期,第4頁。

② 喻國明:《互聯(lián)網發(fā)展的“下半場”:傳媒轉型的價值標尺與關鍵路徑》,《當代傳播》,2017年第4期,第4頁。

③ 周海明:《論韓禮德的語言進化觀》,《外語教學》,2019年第3期,第51頁。

④ 朱永生:《多模態(tài)話語分析的理論基礎與研究方法》,《外語學刊》,2007年第5期,第86頁。

⑤ Ron Scollen.MediatedDiscourse.TheNexusofPractice.London and New York:Routledge.2001.p.15.

⑥ Theo Van Leeuven.IntroducingSocialSemiotics.London:Routledge.2005.p.168.

⑦ 耿敬北、陳子娟:《網絡社區(qū)多模態(tài)話語分析——以QQ群話語為例》,《外語教學》,2016年第3期,第38頁。

⑧ 王振華、瞿桃:《多模態(tài)語篇的評價研究:過去、現(xiàn)在與未來》,《外國語》(上海外國語大學學報),2020年6期,第49頁。

⑨ 張炎亮、張超、李靜:《基于動態(tài)用戶畫像標簽的KNN分類推薦算法研究》,《情報科學》,2020年第8期,第12頁。

⑩ 匡文波:《“新媒體”概念辨析》,《國際新聞界》,2008年第6期,第68頁。