關(guān)于互聯(lián)網(wǎng)視覺媒體若干問題的探討

柴功昊+劉微

摘要：互聯(lián)網(wǎng)的飛速發(fā)展擴(kuò)大了圖片、視頻、文字等多媒體信息的傳播范圍。圖片和視頻在社交網(wǎng)絡(luò)中已經(jīng)成為了最為活躍的一類信息載體。該文初步探討了互聯(lián)網(wǎng)視覺媒體的基本內(nèi)容、視覺媒體的關(guān)鍵技術(shù)以及互聯(lián)網(wǎng)視覺媒體的發(fā)展前景等相關(guān)內(nèi)容。

關(guān)鍵詞：互聯(lián)網(wǎng)視覺媒體；多媒體信息處理；發(fā)展前景

中圖分類號(hào)：TP37 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）04-0202-02

作為第三次工業(yè)革命重要產(chǎn)物的信息技術(shù)，是20世紀(jì)以來對(duì)人類社會(huì)造成影響最大的產(chǎn)物。在其誕生后的短短幾十年間，迅速地得到了發(fā)展和普及，并且對(duì)人們生產(chǎn)、生活和工作等等多個(gè)領(lǐng)域產(chǎn)生了長(zhǎng)遠(yuǎn)而深入的影響，使人們的各項(xiàng)工作都變得更加的便利和高效。在眾多的互聯(lián)網(wǎng)應(yīng)用技術(shù)中，互聯(lián)網(wǎng)視覺媒體的應(yīng)用對(duì)社會(huì)的發(fā)展和人們的生活息息相關(guān)，具有重要意義。而網(wǎng)絡(luò)上越來越多的圖片、視頻和文字等多媒體信息被用戶不斷上傳到互聯(lián)網(wǎng)上。

1 互聯(lián)網(wǎng)視覺媒體的研究意義

目前，大多數(shù)互聯(lián)網(wǎng)視覺媒體數(shù)據(jù)的開發(fā)和應(yīng)用已經(jīng)可以達(dá)到讓非專業(yè)用戶輕松創(chuàng)造和編輯新的視覺媒體的商業(yè)價(jià)值。但是，這些軟件只是提供了最基礎(chǔ)的圖像和視頻處理操作，用戶無法根據(jù)自己的意圖對(duì)圖片和視頻等進(jìn)行更加高級(jí)或?qū)I(yè)的編輯和智能的調(diào)整。現(xiàn)在的互聯(lián)網(wǎng)視頻媒體資源大多為非結(jié)構(gòu)化，缺乏對(duì)后續(xù)應(yīng)用開發(fā)的考慮。其中，圖片和視頻在社交網(wǎng)絡(luò)中已經(jīng)成為了最為活躍的一類信息載體，能夠高效地提供直觀的視覺效果。新的實(shí)時(shí)平臺(tái)開始崛起且增長(zhǎng)強(qiáng)勁。而互聯(lián)網(wǎng)的技術(shù)更新和普及發(fā)展極大地?cái)U(kuò)大了圖片、視頻、文字等多媒體信息的傳播范圍，加之當(dāng)前移動(dòng)互聯(lián)網(wǎng)技術(shù)的革新，使得多媒體信息更是由以往的點(diǎn)對(duì)點(diǎn)傳播方式轉(zhuǎn)變?yōu)榱它c(diǎn)向面的輻射式傳播模式。因此，如何借助多媒體計(jì)算技術(shù)和社交網(wǎng)絡(luò)上存在的大量圖片及相關(guān)信息，來對(duì)系統(tǒng)工具實(shí)現(xiàn)進(jìn)一步的開發(fā)，已經(jīng)成為互聯(lián)網(wǎng)比較關(guān)注的方向。

多媒體計(jì)算即多種多媒體信息通過計(jì)算機(jī)的交互式綜合處理后建立起邏輯連接，集成為一個(gè)具有交互性的系統(tǒng)。多媒體技術(shù)主要處理的對(duì)象包括文字、圖像、圖形、音頻和視頻等。另外，目前網(wǎng)絡(luò)上存在的大量圖片或視頻等媒質(zhì)，以及對(duì)這些媒質(zhì)所附帶的標(biāo)注、評(píng)論、用戶喜好等信息，常常被用來進(jìn)行多源異質(zhì)的媒體信息分析、處理及應(yīng)用，這就是基于互聯(lián)網(wǎng)視覺媒體的信息處理。其研究?jī)?nèi)容涉及廣泛，而且可以充分利用現(xiàn)有的視覺媒體資源。通過文本進(jìn)行簡(jiǎn)單的索引效果并不準(zhǔn)確，這些困難給互聯(lián)網(wǎng)上視覺媒體資源的開發(fā)利用帶來了一定的阻礙。因此，對(duì)互聯(lián)網(wǎng)視覺媒體的改進(jìn)和完善刻不容緩。

2 多媒體視覺信息處理簡(jiǎn)介

目前，在計(jì)算機(jī)的多媒體信息中，文本、圖像、視頻和音頻這四類素材是構(gòu)成計(jì)算機(jī)多媒體信息的主要部分，而且在多媒體檢索領(lǐng)域以及與多媒體有關(guān)其他研究領(lǐng)域的應(yīng)用也已經(jīng)成為研究的熱點(diǎn)?；ヂ?lián)網(wǎng)視覺媒體處理流程一般包括三個(gè)步驟：視覺內(nèi)容的獲取，視覺數(shù)據(jù)集的收集整理和基于數(shù)據(jù)的開發(fā)和應(yīng)用。視覺內(nèi)容的獲取即從互聯(lián)網(wǎng)的海量視覺數(shù)據(jù)的資源中選擇收集有意義的目標(biāo)圖片或視頻建立數(shù)據(jù)集。視覺數(shù)據(jù)集的收集整理即通過特征提取、目標(biāo)分割等方法找到采集到的圖片、視頻等視覺媒體的基本關(guān)系，確保視覺媒體資源可以直接運(yùn)用于下一步的研究和開發(fā)。對(duì)數(shù)據(jù)的開發(fā)和應(yīng)用即可通過改進(jìn)方法等使圖像和視頻處理適應(yīng)多媒體的應(yīng)用。

近年來，隨著計(jì)算機(jī)成本的降低，使得計(jì)算機(jī)和網(wǎng)絡(luò)得到的迅速的普及，而互聯(lián)網(wǎng)用戶數(shù)量的激增極大地促進(jìn)了互聯(lián)網(wǎng)多媒體創(chuàng)新和應(yīng)用的發(fā)展。計(jì)算機(jī)圖像學(xué)、計(jì)算機(jī)視覺技術(shù)和多媒體信息處理技術(shù)針對(duì)互聯(lián)網(wǎng)視覺媒體的研究和應(yīng)用已經(jīng)取得豐富的成果。目前，給予互聯(lián)網(wǎng)多媒體視覺信息處理的研究主要集中在基于內(nèi)容的圖像、視頻檢索；視覺媒體的數(shù)據(jù)庫的創(chuàng)建；視覺內(nèi)容合成；視覺媒體編輯等四個(gè)方面。基于內(nèi)容的圖像、視頻檢索即通過提取關(guān)鍵特征檢索到客戶所需要的圖片、視頻等資源；視覺媒體的數(shù)據(jù)庫的創(chuàng)建即通過互聯(lián)網(wǎng)及互聯(lián)網(wǎng)上的搜索引擎等建立一個(gè)附帶高語義標(biāo)簽和高效率索引的大型多媒體數(shù)據(jù)庫，減少查詢所需時(shí)間；視覺內(nèi)容合成即利用已有的視覺媒體資源來生成新的內(nèi)容；視覺媒體編輯即基于圖片和視頻進(jìn)行音頻編輯、著色、去霧、邊緣感知等編輯。

3 視覺媒體處理的關(guān)鍵技術(shù)分析

3.1 視覺媒體的圖像渲染技術(shù)

計(jì)算機(jī)圖形學(xué)作為一門新興學(xué)科，得到了迅速的發(fā)展和廣泛的應(yīng)用。其主要內(nèi)容為研究如何在計(jì)算機(jī)中表示圖形以及用計(jì)算機(jī)進(jìn)行圖形的計(jì)算、處理和顯示的相關(guān)原理和算法。數(shù)字圖像的數(shù)量由于互聯(lián)網(wǎng)的發(fā)揮在那和圖像獲取設(shè)備的普及呈現(xiàn)出幾何級(jí)的增長(zhǎng)狀況，用戶對(duì)圖像關(guān)注點(diǎn)已經(jīng)從如何獲取照片上傳到網(wǎng)絡(luò)轉(zhuǎn)移至如何在分享的過程中更好更生動(dòng)地展示圖形的內(nèi)容。因此，圖像渲染技術(shù)隨之成為計(jì)算機(jī)圖形學(xué)中一項(xiàng)重要的研究?jī)?nèi)容。

按照不同的渲染風(fēng)格劃分，渲染技術(shù)主要分為兩大類：真實(shí)效果的渲染和非真實(shí)效果的渲染。具體來說，真實(shí)效果渲染一直是學(xué)術(shù)界和工業(yè)界研究的主流。真實(shí)感要求在計(jì)算機(jī)中生成具有真實(shí)感的圖像，如構(gòu)建幾何場(chǎng)景或光照模型等，其效果及其逼真，能夠使觀眾產(chǎn)生身臨其境的感覺。然而在有些情況下，用戶更希望計(jì)算機(jī)能夠生成一些和真實(shí)照片不同的圖像效果，如將自己拍攝的照片轉(zhuǎn)換成油畫、素描、水墨畫等。因此，非真實(shí)感繪制也逐漸得到了重視和發(fā)展，開始成為計(jì)算機(jī)圖形圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)問題。非真實(shí)效果的圖像渲染不以生成類似照片的圖像為目標(biāo)，而是通過省略與圖形無關(guān)的細(xì)節(jié)，簡(jiǎn)化物體的形狀，甚至暴露被消隱的細(xì)節(jié)等來表達(dá)繪制者的意圖。非真實(shí)效果的渲染還包括基于筆畫的渲染、基于區(qū)域的渲染、基于樣本的渲染等?；诠P畫的渲染即通過控制畫筆的形狀、顏色、方向等元素產(chǎn)生各種藝術(shù)風(fēng)格的圖像，繪制離散的繪畫元素，來模擬一個(gè)特定的風(fēng)格。基于區(qū)域的渲染可以分為渲染區(qū)域內(nèi)的渲染基礎(chǔ)單元的排列布局和改變圖像的外形、繪圖形式或者各區(qū)域的組合，在分析圖像結(jié)構(gòu)時(shí)被大量使用，可以對(duì)基于圖像局部?jī)?nèi)容信息進(jìn)行渲染。基于樣本的渲染就是通過模仿藝術(shù)家繪畫的風(fēng)格來對(duì)現(xiàn)有景象進(jìn)行藝術(shù)風(fēng)格的創(chuàng)作，對(duì)原畫像和渲染風(fēng)格目標(biāo)圖像之間進(jìn)行映射轉(zhuǎn)換。

3.2 視覺媒體圖像的特征提取

視覺媒體圖像的特征提取，即計(jì)算機(jī)為識(shí)別圖像而去提取作為圖像構(gòu)成的相關(guān)像素點(diǎn)，并對(duì)像素點(diǎn)進(jìn)行分析以確定其特征歸屬的過程。有效的視覺特征的提取對(duì)后續(xù)的圖像分類識(shí)別、圖像檢索等研究有著重要的意義，一直是計(jì)算機(jī)視覺領(lǐng)域里重要的研究問題。圖像特征可以作為區(qū)分不同目標(biāo)類別的依據(jù)，具有可重復(fù)性、可區(qū)分性、集中性等，能夠應(yīng)對(duì)亮度、旋轉(zhuǎn)、尺度等變化的影響。圖像視覺特征的提取和表示是將圖像的視覺信息轉(zhuǎn)化成計(jì)算機(jī)能夠識(shí)別和處理的定量形式的過程。視覺特征的提取主要包括以下幾種：1）顏色特征。顏色特征是人類認(rèn)識(shí)世界的最基本視覺特征，屬于全局特征，常被使用的表示方法有顏色直方圖、顏色矩、顏色聚合向量、顏色相關(guān)圖等。2）LBP特征。LBP特征是局部二值模式的簡(jiǎn)稱，用來描述空間結(jié)構(gòu)的非參數(shù)算子。3）SLFT特征，即尺度不變特征變換，基于圖像局部特征的描述，可以對(duì)圖像的初讀和旋轉(zhuǎn)變化保持不變性。4）彩色SLFT特征。彩色SLFT特征具有尺度旋轉(zhuǎn)不變性，廣泛應(yīng)用于以特征提取為基礎(chǔ)的工作中。5）HOG特征，即方向梯度直方圖，對(duì)圖像的微小幾何形變和局部對(duì)比度變化可以保持很好的不變性，通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。

3.3 視覺媒體圖像的分類

視覺媒體圖像的分類主要有兩種方法：傳統(tǒng)的圖像分類方法和基于深度學(xué)習(xí)的圖像分類方法。傳統(tǒng)的分類方法是利用圖像特征提取算法，利用K-Means算法構(gòu)造單詞表，最終利用單詞表中的詞匯表示圖像。在圖像中提取獨(dú)立的視覺詞匯通常需要經(jīng)過特征檢測(cè)、特征標(biāo)識(shí)和單詞本的生成三個(gè)步驟?；谏疃葘W(xué)習(xí)的圖像分類方法是通過底層特征形成更加抽象的高層表示屬性類別或特征，從而能夠發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

4 互聯(lián)網(wǎng)視覺媒體的應(yīng)用與發(fā)展前景

4.1 多模態(tài)圖像渲染系統(tǒng)

所謂的多模態(tài)融合渲染，即是指通過對(duì)文字的卷繞和對(duì)圖像的包裝來實(shí)現(xiàn)將兩種模態(tài)融合的效果，將圖像、文字、視頻、音頻等進(jìn)行有機(jī)地結(jié)合，進(jìn)而呈現(xiàn)出一種更加藝術(shù)性的效果，通過這一方式不僅能實(shí)現(xiàn)照片的圖像，而且還能傳達(dá)出簡(jiǎn)要的文字信息。在現(xiàn)實(shí)生活中，我們經(jīng)?？梢钥吹礁鞣N文字拼接的廣告和海報(bào)，這也是多模態(tài)圖像渲染的表現(xiàn)。通過多模態(tài)渲染系統(tǒng)，可以讓計(jì)算機(jī)自動(dòng)生成具有這種效果的圖像，讓人類的視覺系統(tǒng)同時(shí)獲得整體的圖像效果與細(xì)節(jié)的文字效果，感受到圖像和組成圖像的文字之間的一種動(dòng)態(tài)的張力。

多模態(tài)圖像渲染系統(tǒng)結(jié)合了圖像和文字多模態(tài)，包含圖像模塊、文字模塊、兩種模態(tài)的結(jié)合模塊以及后處理部分四個(gè)部分。具體來說，圖像模塊作為文字模塊輸出的容器，在圖像模塊里，給定一張圖片，首先生成圖像的二值化剪影，然后對(duì)保留下來的圖塊根據(jù)單詞變形的合適程度進(jìn)行排序，生成用來填充關(guān)鍵詞的圖像塊；文字模塊輸出經(jīng)過排序的包含文字的圖片；兩種模態(tài)金融結(jié)合后，通過后處理部分進(jìn)一步改善視覺效果。多模態(tài)圖像渲染系統(tǒng)屬于非真實(shí)圖像渲染，具有藝術(shù)化的展示效果。

4.2 皮影戲的繼承與發(fā)揚(yáng)

皮影戲又稱“影子戲”或“燈影戲”，是一種以獸皮或紙板做成的人物剪影，在蠟燭或燃燒的酒精等光源的照射下用隔亮布進(jìn)行演戲。對(duì)于皮影戲的繼承與發(fā)揚(yáng)，主要利用互聯(lián)網(wǎng)上現(xiàn)存的皮影戲圖片和皮影戲視頻等視覺媒體資源，設(shè)計(jì)出一個(gè)皮影戲的遺產(chǎn)電子化系統(tǒng)，從而將皮影戲的創(chuàng)作個(gè)性化、操作簡(jiǎn)潔化。皮影戲的遺產(chǎn)電子化系統(tǒng)主要包括兩個(gè)模塊，分別是創(chuàng)作模塊和操作模塊。創(chuàng)作模塊的輸入時(shí)兩張人臉圖像，自動(dòng)生成類似人物的皮影戲頭部，提取輸入人臉圖像的中部側(cè)影線，并將皮影的眼睛卷繞進(jìn)世紀(jì)人臉的眼睛區(qū)域中。另外，系統(tǒng)還將皮影的文理轉(zhuǎn)移到側(cè)影線中。操作模塊中，重點(diǎn)是在操作皮影戲的過程中保持皮影戲中角色原有的運(yùn)動(dòng)模式和特點(diǎn)，生動(dòng)再現(xiàn)皮影戲中人物的動(dòng)作獨(dú)特性，最終實(shí)現(xiàn)元?jiǎng)幼鞯钠交Ч?、?dòng)畫整體的平滑效果和皮影戲短視頻的表演效果等。

近年來，遺產(chǎn)的電子化保護(hù)逐漸受到人們的重視，越來越多的人想要通過計(jì)算機(jī)技術(shù)的應(yīng)用開發(fā)來保護(hù)文化遺產(chǎn)。遺產(chǎn)的電子化保護(hù)已經(jīng)成為了熱門的研究課題，主要是物質(zhì)遺產(chǎn)保護(hù)和非物質(zhì)遺產(chǎn)保護(hù)兩種。物質(zhì)遺產(chǎn)包括建筑、古跡、文物等；非物質(zhì)遺產(chǎn)包括傳統(tǒng)節(jié)日、民俗風(fēng)情、口頭藝術(shù)等。

4.3 家具風(fēng)格的視覺分類

家具風(fēng)格是家具最具判別力的外觀視覺特征。人們?cè)谠O(shè)計(jì)和選擇家具時(shí)常常將家具美學(xué)價(jià)值作為一項(xiàng)重要的參考指標(biāo)，結(jié)合功能和美學(xué)，通過家具的類型、顏色和材料等傳達(dá)出室內(nèi)裝修的視覺效果。隨著經(jīng)濟(jì)的發(fā)展和人們物質(zhì)需求的不斷提高，家具也不斷地發(fā)展和創(chuàng)新，門類繁多，用料各異，品種齊全，用途不一。家具的研究主要包括家具設(shè)計(jì)和室內(nèi)家具擺放。將互聯(lián)網(wǎng)視覺媒體與家具風(fēng)格設(shè)計(jì)的具體應(yīng)用就是設(shè)計(jì)出一個(gè)交互設(shè)計(jì)家具的框架，開發(fā)出實(shí)用的家具幾何構(gòu)造和實(shí)體，通過在系統(tǒng)中加入幾何元素來幫助用戶設(shè)計(jì)出可靠的家具外形。具體操作該系統(tǒng)時(shí)，首先提取家具之間的空間關(guān)系，然后根據(jù)最小化能量方程來迭代地調(diào)整家具的位置，在對(duì)目標(biāo)檢測(cè)和識(shí)別后，根據(jù)家具的功能進(jìn)行分類，最終實(shí)現(xiàn)對(duì)家居風(fēng)格的分類的識(shí)別和分析。

為了更好地對(duì)家具風(fēng)格的視覺特征進(jìn)行詳細(xì)的分析，還可以構(gòu)建家居風(fēng)格數(shù)據(jù)庫，包含室內(nèi)圖片和家居圖片等，應(yīng)用于對(duì)家居風(fēng)格的研究。目前市場(chǎng)上主要流行的家具風(fēng)格主要是美式風(fēng)格、巴洛克風(fēng)格、帝政式風(fēng)格、哥特式風(fēng)格、文藝復(fù)興風(fēng)格、洛可可風(fēng)格、中式明朝風(fēng)格、中式清朝風(fēng)格、新古典主義風(fēng)格、地中海風(fēng)格、鄉(xiāng)村風(fēng)格、現(xiàn)代法式風(fēng)格、日式風(fēng)格、現(xiàn)代中式風(fēng)格、東南亞風(fēng)格以及現(xiàn)代主義風(fēng)格等十六種風(fēng)格。數(shù)據(jù)庫中的圖片來自于不同的網(wǎng)絡(luò)資源，每張圖片都標(biāo)注了特定的家居風(fēng)格的標(biāo)簽和家居功能標(biāo)簽，簡(jiǎn)單直觀。

4.4 互聯(lián)網(wǎng)視覺媒體的發(fā)展前景

雖然當(dāng)前基于視覺媒體信息的研究和應(yīng)用開發(fā)已經(jīng)取得了很大的進(jìn)展，但隨著互聯(lián)網(wǎng)媒體信息的不斷增長(zhǎng)，仍然具有廣闊的研究空間。第一，對(duì)圖像的藝術(shù)化渲染不僅存在真實(shí)效果渲染和非真實(shí)效果渲染，還有多種的角度。并且，對(duì)圖像的藝術(shù)化渲染已經(jīng)從圖像圖形學(xué)領(lǐng)域延伸至計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域。但是，在視頻領(lǐng)域中圖像渲染仍面臨很多挑戰(zhàn)。第二，深度學(xué)習(xí)作為現(xiàn)在的研究熱點(diǎn)，已經(jīng)得到廣泛應(yīng)用，如圖像分類、場(chǎng)景識(shí)別、圖像分割等方面。今后值得研究的問題之一就是如何將深度學(xué)習(xí)和圖像、視頻藝術(shù)化渲染結(jié)合在一起。第三，視覺媒體資源的豐富性提供了大量豐富的素材可供視覺媒體的開發(fā)應(yīng)用。同時(shí)，社交網(wǎng)絡(luò)下用戶之間的互動(dòng)也為多媒體提供了更多的輔助信息和應(yīng)用環(huán)境。如何將多媒體信息處理和社交網(wǎng)絡(luò)進(jìn)行有機(jī)結(jié)合，仍然值得研究。

5 總結(jié)

綜上所述，隨著信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)視覺媒體的應(yīng)用范圍將會(huì)不斷有所拓展和創(chuàng)新。由此，相關(guān)從業(yè)人員應(yīng)當(dāng)把握當(dāng)前這個(gè)良好的機(jī)遇加強(qiáng)對(duì)互聯(lián)網(wǎng)視覺媒體相關(guān)技術(shù)的開發(fā)和應(yīng)用，不斷完善和改進(jìn)，為社會(huì)的進(jìn)步和人們生活質(zhì)量的提升產(chǎn)生積極作用，從而實(shí)現(xiàn)互聯(lián)網(wǎng)技術(shù)的不斷進(jìn)步與社會(huì)經(jīng)濟(jì)的不斷發(fā)展。

參考文獻(xiàn)：

[1] 劉麗娜. 淺談日本報(bào)紙視覺呈現(xiàn)——探討互聯(lián)網(wǎng)時(shí)代下傳統(tǒng)媒體視覺突圍[J].設(shè)計(jì)，2012（10）：134-135.

[2] 杜比視覺（Dolby Vision）技術(shù)提升互聯(lián)網(wǎng)媒體圖像質(zhì)量[J].現(xiàn)代電影技術(shù)，2014（3）：61-62.

[3] 謝薇. 基于互聯(lián)網(wǎng)的視覺傳達(dá)設(shè)計(jì)的研究[J].才智，2011（13）：59.