跨媒體智能的發(fā)展現(xiàn)狀及教育應(yīng)用研究*

朱 珂 王 瑋 李倩楠

（河南師范大學(xué) 教育學(xué)院，河南新鄉(xiāng) 453007）

一、引言

人工智能歷經(jīng)60多年的發(fā)展，已經(jīng)逐步服務(wù)于工業(yè)、經(jīng)濟、醫(yī)療、教育等眾多領(lǐng)域，被視為推動現(xiàn)代社會進(jìn)步的核心技術(shù)力量之一[1]。近年來，隨著感知融合智能、跨媒體智能等技術(shù)的不斷突破，人工智能技術(shù)有了質(zhì)的飛躍[2]。教育部頒布的《教育信息化“十三五”規(guī)劃》中指出，我國未來將重點突破人工智能技術(shù)、大數(shù)據(jù)以及云計算等關(guān)鍵技術(shù)，人工智能的研發(fā)與應(yīng)用將成為新一代科技革命和產(chǎn)業(yè)變革的風(fēng)向標(biāo)[3]。2016年發(fā)布的《“互聯(lián)網(wǎng)+”人工智能三年行動實施方案》強調(diào)，未來我國要圍繞跨媒體智能、大數(shù)據(jù)智能、互聯(lián)網(wǎng)群體智能、自主智能系統(tǒng)等領(lǐng)域，來推動人工智能的發(fā)展[4]。

2017年7月，國務(wù)院正式頒布了《新一代人工智能發(fā)展規(guī)劃》，明確指出要逐步實現(xiàn)智能技術(shù)與人才培養(yǎng)、智慧校園建設(shè)、課程模式改革等領(lǐng)域的深度融合[5]。跨媒體智能作為人工智能2.0時代的核心技術(shù)，其在智能檢索、分析推理以及知識建構(gòu)等方面具有獨特優(yōu)勢；在商業(yè)領(lǐng)域得到普遍應(yīng)用的同時，為教育領(lǐng)域中的網(wǎng)絡(luò)空間多維資源搜索、語義分析以及教育游戲自主化學(xué)習(xí)等提供了技術(shù)支撐[6]。潘云鶴院士指出，跨媒體智能要從分類型處理多媒體數(shù)據(jù)，邁向跨媒體認(rèn)知、學(xué)習(xí)和推理的新水平[7]。

目前，跨媒體智能的關(guān)鍵技術(shù)主要集中在智能信息檢索、分析與推理、知識圖譜構(gòu)建、智能存儲等方面，其應(yīng)用聚焦于跨媒體智能刊物出版、檔案信息智能管理、智慧城市建設(shè)、互聯(lián)網(wǎng)智能信息趨勢分析等領(lǐng)域。隨著人工智能技術(shù)在教育領(lǐng)域的不斷融合，跨媒體智能逐步在跨媒體教育數(shù)據(jù)智能處理、跨媒體智能數(shù)據(jù)檢索與共享、教育活動平臺設(shè)計等領(lǐng)域，得到深入應(yīng)用。

當(dāng)前，國家對智能技術(shù)與教育深度融合的重視，以及對智能技術(shù)在教育中的應(yīng)用探索，推動著教育不斷創(chuàng)新發(fā)展。因此，我們要及時了解與掌握國際智能技術(shù)領(lǐng)域的發(fā)展方向和最新動態(tài)，在整合跨媒體智能信息檢索、分析與推理、知識圖譜構(gòu)建、智能存儲等技術(shù)的基礎(chǔ)上，通過關(guān)鍵技術(shù)研發(fā)、應(yīng)用模式構(gòu)建、實踐案例總結(jié)，不斷深化跨媒體智能技術(shù)在教育領(lǐng)域中的應(yīng)用。

二、跨媒體智能的概念及關(guān)鍵技術(shù)

（一）跨媒體智能的起源

2015年，中國工程院發(fā)布了《人工智能2.0重大研究計劃》，將跨媒體智能列為人工智能2.0時代未來發(fā)展的五個關(guān)鍵技術(shù)之一[8]。在國務(wù)院印發(fā)的“人工智能三步走戰(zhàn)略目標(biāo)”中，提出跨媒體智能是機器認(rèn)知外界環(huán)境的基礎(chǔ)，而語言、視覺、圖形和聽覺的語義貫通是實現(xiàn)聯(lián)想、設(shè)計、概括、創(chuàng)造等智能行為的關(guān)鍵[9]?！丁笆濉眹覒?zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》中指出，要投入更多的資金、資源來研發(fā)跨媒體智能技術(shù)[10]?？梢?，跨媒體智能技術(shù)研究已經(jīng)上升到國家戰(zhàn)略發(fā)展的高度，日益受到國家重視。

在諸多前沿科技領(lǐng)域，如，信息生物感知技術(shù)、信息高速傳輸技術(shù)、信息安全等領(lǐng)域，都引入了跨媒體智能技術(shù)的研發(fā)體系。由于人工智能數(shù)據(jù)基礎(chǔ)的改變，使得人工智能的基本方法，更多地轉(zhuǎn)向跨媒體驅(qū)動計算、大數(shù)據(jù)驅(qū)動計算等方面，跨媒體智能、感知融合智能、大數(shù)據(jù)智能的發(fā)展勢在必行[11]。

（二）跨媒體智能的概念

2010年，Norvig在 Nature的“2020 Vision”專欄中對“跨媒體”做出了界定，即跨媒體就是將文本、圖像、語音、視頻等媒體資源及其交互屬性緊密混合[12]。通俗地說，跨媒體主要體現(xiàn)為信息在不同媒體之間的傳播與互動。從基本屬性的角度來講，跨媒體是具有跨模態(tài)和跨平臺屬性、豐富的表達(dá)和呈現(xiàn)力屬性、媒體數(shù)據(jù)的社會性屬性這三個基本屬性的新媒體表現(xiàn)形式[13]。它從不同渠道獲取不同形態(tài)的媒體信息，并和相關(guān)的自然、社會屬性信息緊密混合在一起，形象地表達(dá)綜合性知識，并反映個體與群體的社會行為信息[14]。

跨媒體智能目前還沒有較為統(tǒng)一的定義，學(xué)者們從不同角度進(jìn)行了概念總結(jié)。高文院士在分析跨媒體的基礎(chǔ)上，結(jié)合智能化的時代背景，提出跨媒體智能是新一代人工智能的重要組成部分，通過視聽感知、機器學(xué)習(xí)和語言計算等理論和方法，構(gòu)建出實體世界的統(tǒng)一語義表達(dá)；通過跨媒體分析與推理，把數(shù)據(jù)轉(zhuǎn)換為智能，從而使各類信息系統(tǒng)實現(xiàn)智能化[15]。彭宇新等人從媒體形態(tài)的角度給出如下定義：所謂跨媒體智能，是指智能系統(tǒng)處理的是由文字、圖像、音頻、視頻等信息融合而成的多媒體信息形態(tài)，而非單一的媒體形式[16]。潘云鶴院士等認(rèn)為，跨媒體智能是人們綜合利用視覺、語言、聽覺等各種感知所記憶的信息，進(jìn)而完成一些識別、推理、設(shè)計、創(chuàng)作、預(yù)測等功能[17]。

（三）跨媒體智能的關(guān)鍵技術(shù)

在信息爆炸的時代，知識與信息的呈現(xiàn)形式更加多元化、跨媒介化，知識的傳播方式也更加靈活[18]。跨媒體智能技術(shù)將多種感知信息實現(xiàn)統(tǒng)一語義表達(dá)，同時，成為各類信息系統(tǒng)智能化的使用工具。即跨媒體智能技術(shù)以計算機科學(xué)為理論基礎(chǔ)，綜合運用電腦圖形學(xué)、圖像處理、分布式計算、網(wǎng)格計算、并行計算以及超媒體資料挖掘檢索等技術(shù)，最終實現(xiàn)跨媒體的智能化[19]。

1.跨媒體智能檢索

隨著多媒體技術(shù)的不斷發(fā)展，以及基于內(nèi)容的多媒體檢索研究的不斷深入，人們越來越關(guān)注不同模態(tài)媒體間的信息檢索，跨媒體智能檢索作為“新一代媒體內(nèi)容服務(wù)”的主流趨勢，引起了人們的廣泛關(guān)注。人類社會對跨媒體智能檢索技術(shù)的需要，主要體現(xiàn)在以下兩個方面：一方面，由于跨媒體數(shù)據(jù)的不斷涌現(xiàn)，使得僅限于檢索和瀏覽單一形式的媒體內(nèi)容，已經(jīng)無法滿足網(wǎng)絡(luò)用戶的需求，用戶希望通過更加靈活的方式，對信息進(jìn)行查找和搜索；另一方面，未來的數(shù)據(jù)檢索技術(shù)要求更加人性化，應(yīng)能對用戶輸入的任何類型的數(shù)據(jù)進(jìn)行處理，并在此基礎(chǔ)上對用戶意圖加以正確理解，從而更加準(zhǔn)確地反饋出用戶所需的跨媒體數(shù)據(jù)。

近年來，研究熱點從基于內(nèi)容的多媒體檢索逐漸轉(zhuǎn)向跨媒體智能檢索。跨媒體智能檢索實現(xiàn)了多個知識領(lǐng)域的融合，包括模式識別、人機交互、人工智能、統(tǒng)計分析、網(wǎng)絡(luò)通訊、數(shù)據(jù)庫等[20]。其過程可以理解為用戶向互聯(lián)網(wǎng)平臺提交一種類型的多媒體對象作為查詢請求條件，系統(tǒng)通過跨媒體智能搜索引擎，自動找到類型不同、語義相似的多種多媒體對象；然后，通過跨媒體綜合處理對檢索結(jié)果排序；最后，通過檢索平臺，將符合用戶需求的結(jié)果反饋給用戶?？缑襟w信息檢索結(jié)構(gòu)示意圖如圖1所示。

圖1 跨媒體信息檢索系統(tǒng)結(jié)構(gòu)

隨著跨媒體智能檢索領(lǐng)域的不斷深入發(fā)展，跨媒體智能檢索方法也成為人們研究的重點方向，業(yè)界提出了一種基于本體（Ontology）用來存儲多媒體語義信息的方法[21]。它采用機器學(xué)習(xí)的方法計算本體中的各個概念，對比不同模態(tài)媒體的特征進(jìn)而得到類中心，再將獲得的類中心與特征向量進(jìn)行相似度對比，最后，利用得到的本體間的從屬概念，檢索不同模態(tài)的媒體。在基于本體的方法形成的跨媒體檢索框架中，用戶先提出檢索的要求，系統(tǒng)對媒體進(jìn)行預(yù)處理獲取其特征，得到所需的特征值。通過訪問本體的概念節(jié)點，對特征值與相應(yīng)概念進(jìn)行相似度對比，得到媒體語義信息。將該節(jié)點下的各種媒體構(gòu)成的結(jié)果返回給用戶，完成跨媒體智能檢索。圖2是一個基于Ontology的跨媒體檢索方法而構(gòu)建的跨媒體檢索系統(tǒng)框架[22]。

圖2 基于Ontology的跨媒體檢索系統(tǒng)框架

2.跨媒體分析推理

隨著人類文明的進(jìn)步和信息技術(shù)的發(fā)展，多媒體信息的獲取、傳輸、加工以及分析，已經(jīng)從一種媒體形式轉(zhuǎn)變?yōu)槎喾N媒體形式。信息的傳播也呈現(xiàn)出從單一媒體形態(tài)，逐步過渡到多種媒體相互融合形態(tài)的特征，跨媒體特性日益凸顯。

認(rèn)知科學(xué)研究表明，人類對環(huán)境的認(rèn)知是通過多種感覺器官融合而成的。由于信息多樣性的局限，傳統(tǒng)的單一媒體分析方法，已經(jīng)難以實現(xiàn)多種語義的提取目標(biāo)，無法進(jìn)行跨媒體數(shù)據(jù)的分析。因此，跨媒體分析與推理的研究和應(yīng)用，成為人們關(guān)注的重點[23]。同時，跨媒體分析與推理是計算機科學(xué)領(lǐng)域的研究熱點，也是人工智能中一個重要的研究方向[24]。推理是指從一個命題合理演繹到另一個命題，跨媒體推理就是從一種類型的多媒體數(shù)據(jù)，經(jīng)過問題求解，轉(zhuǎn)換為另一種類型的多媒體數(shù)據(jù)?？缑襟w推理囊括了對這些不同類型的多媒體數(shù)據(jù)之間轉(zhuǎn)換的研究?？缑襟w分析推理是指將多模式和跨領(lǐng)域的跨媒體數(shù)據(jù)及其復(fù)雜性和相關(guān)性，進(jìn)行統(tǒng)一表示、關(guān)聯(lián)學(xué)習(xí)、知識演化和推理的整合過程，進(jìn)而適應(yīng)日益復(fù)雜的跨媒體場景中一般任務(wù)和具體任務(wù)之需求[25]。

潘云鶴院士指出，跨媒體智能推理是一個新的趨勢，計算機雖然可以處理多種媒體信息，例如，語言信息、視覺信息、圖形信息、聽覺信息等，但基于目前的技術(shù)基礎(chǔ)，還很難實現(xiàn)多種媒體之間的語義互通[26]。隨著人工智能時代的到來，我們獲得的大量跨媒體數(shù)據(jù)在許多行業(yè)領(lǐng)域產(chǎn)生了重大影響。其中，跨媒體網(wǎng)絡(luò)內(nèi)容監(jiān)控、網(wǎng)絡(luò)信息趨勢分析以及醫(yī)療數(shù)據(jù)融合和推理，是當(dāng)前三個關(guān)鍵應(yīng)用。

在跨媒體網(wǎng)絡(luò)內(nèi)容監(jiān)控方面，許多國家都建立了智能系統(tǒng)，比如，美國的 PRISM系統(tǒng)[27]、英國的ANPR系統(tǒng)[28]、俄羅斯的SORM系統(tǒng)[29]等。在跨媒體網(wǎng)絡(luò)信息的趨勢分析方面，目前，已經(jīng)有許多關(guān)于社會媒體分析、情緒分析和新聞驗證的研究。

而在醫(yī)療分析方面，許多IT巨頭加入了醫(yī)療分析社區(qū)，例如，IBM 的沃森醫(yī)療[30]、谷歌的 DeepMind[31]、百度的醫(yī)學(xué)腦[32]等。跨媒體分析和推理，在監(jiān)測系統(tǒng)、信息趨勢分析、醫(yī)療分析等領(lǐng)域表現(xiàn)出較大潛力，具有非常廣闊的應(yīng)用前景。

3.跨媒體知識圖譜構(gòu)建

知識圖譜是以科學(xué)知識為對象，運用可視化技術(shù)來顯示學(xué)科發(fā)展進(jìn)程與結(jié)構(gòu)關(guān)系的一種圖形[33]，具有直觀、定量、簡單等諸多優(yōu)點。知識圖譜概念的提出是在2003年美國國家科學(xué)院組織的一次以Mapping Knowledge Domains為主題的研討會上[34]，之后，人們對知識圖譜進(jìn)行了深入研究。

隨著互聯(lián)網(wǎng)信息總量的急劇增長，傳統(tǒng)的搜索引擎技術(shù)，已經(jīng)很難滿足人們對知識信息快速獲取的需求，知識圖譜技術(shù)的出現(xiàn)，為信息檢索問題提供了新的思路。知識圖譜技術(shù)通過自底向上的構(gòu)建過程，將多種網(wǎng)絡(luò)資源作為主要數(shù)據(jù)來源，自動利用知識抽取和加工技術(shù)，來構(gòu)建相對豐富和完善的知識庫。

2012年，谷歌公司發(fā)布了知識圖譜項目，目的是構(gòu)建下一代智能化搜索引擎[35]。隨著谷歌知識圖譜產(chǎn)品的不斷上線，這一技術(shù)引起了我國業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。例如，在業(yè)界，出現(xiàn)了百度知心、搜狗知立方等商業(yè)應(yīng)用；在學(xué)術(shù)界，清華大學(xué)建成了第一個大規(guī)模中英文跨語言知識圖譜XLore、上海交通大學(xué)構(gòu)建并發(fā)布了中文知識圖譜研究平臺zhishi.me等[36]。目前，知識圖譜技術(shù)，主要應(yīng)用于智能語義搜索、移動個人助理（如，Google Now、Apple Siri等）以及深度問答系統(tǒng)（如，IBM Watson、Wolfram Alpha）等[37]。在智能語義搜索應(yīng)用中，搜索引擎可以通過知識圖譜，對用戶請求進(jìn)行解析和推理；在深度問答應(yīng)用中，知識圖譜幫助系統(tǒng)對用戶的問題進(jìn)行語義分析，并將其轉(zhuǎn)化為結(jié)構(gòu)化的查詢語句。知識圖譜技術(shù)基于多個學(xué)科領(lǐng)域的研究成果，是一門集信息檢索、自然語言處理、萬維網(wǎng)和人工智能等領(lǐng)域應(yīng)用技術(shù)于一體的實用技術(shù)。

構(gòu)建跨媒體知識圖譜，是指將文本、圖像、語音、視頻等多種媒體及其交互屬性進(jìn)行多元融合、知識演化和系統(tǒng)演化。首先，構(gòu)建知識圖譜的知識庫，將知識庫中存儲的內(nèi)容，進(jìn)行廣泛的知識獲取及充分的知識融合，將自然語言進(jìn)行語義分析處理；其次，進(jìn)入檢索系統(tǒng)和知識庫進(jìn)行內(nèi)容匹配；最后，整合成可視化形式的反饋結(jié)果。

其中，清華大學(xué)建立的跨語言知識圖譜XLore，是基于分布的在線異構(gòu)百科資源，如，百度百科、互動百科、中文維基和英文維基等資源庫，通過單語言百科知識抽取、跨語言結(jié)構(gòu)化知識抽取等跨語言知識鏈接技術(shù)，進(jìn)行知識圖譜建構(gòu)，進(jìn)而創(chuàng)建了一個中英文知識量比較平衡的大規(guī)?？缯Z言知識圖譜?？偟膩碚f，它的實現(xiàn)過程是通過跨語言知識抽取出目標(biāo)語言知識，將不同語言表示的相同知識進(jìn)行鏈接?？缯Z言知識圖譜，不僅僅基于言語，還有文本、圖像、視頻等多種媒體形式，為跨媒體知識圖譜的構(gòu)建，開創(chuàng)了一個良好開端。

4.跨媒體智能存儲

目前，信息的傳播不再局限于文字、圖形、照片等靜態(tài)信息媒體，還包括各種動態(tài)信息媒體，如，視頻、音頻等。存儲介質(zhì)也由傳統(tǒng)的紙張、磁帶、軟盤，發(fā)展為多樣化的磁介質(zhì)、光介質(zhì)及半導(dǎo)體介質(zhì)[38]。存儲就是采取安全有效的方式，將數(shù)據(jù)臨時或長久地保存在某些介質(zhì)上，以保證數(shù)據(jù)完整安全和用戶的有效訪問?，F(xiàn)有處理海量數(shù)據(jù)的檢索技術(shù)，主要針對的是文本信息，如，谷歌和百度等搜索引擎。跨媒體存儲主要研究高效壓縮、索引和分片等方法，以及對用戶行為的個性化索引等技術(shù)，用于提高海量環(huán)境下的跨媒體檢索效率，以更好地支持跨媒體海量數(shù)據(jù)的檢索應(yīng)用[39]。

跨媒體存儲在教育領(lǐng)域的發(fā)展，得益于和現(xiàn)有的智能技術(shù)進(jìn)行融合與發(fā)展，它將采集到的各類教育數(shù)據(jù)，采用數(shù)據(jù)庫、文件系統(tǒng)、內(nèi)存存儲系統(tǒng)等不同的方式，來存儲不同屬性的海量教育數(shù)據(jù)。

三、跨媒體智能技術(shù)的應(yīng)用領(lǐng)域

（一）刊物出版領(lǐng)域

隨著智能化的普及，特別是人工智能技術(shù)的迅猛發(fā)展，傳統(tǒng)媒體受到了新媒體的巨大沖擊[40]。為了擺脫困境，傳統(tǒng)媒體必須整合自身資源，利用新一代智能技術(shù)，與新興媒體逐漸融合、發(fā)展，通過智能化轉(zhuǎn)型迸發(fā)出新的活力。在傳播過程中，傳統(tǒng)期刊采取單一的采編模式；在網(wǎng)絡(luò)環(huán)境下，要求單一的內(nèi)容表現(xiàn)形式向跨媒體、互動性方向轉(zhuǎn)變。同時，現(xiàn)今讀者更喜歡按照自己的意愿和需求，選擇性地獲取信息。

隨著智能技術(shù)、云計算等高新技術(shù)驅(qū)動期刊出版業(yè)務(wù)的不斷拓展，技術(shù)的嵌入使期刊出版產(chǎn)業(yè)與其相關(guān)產(chǎn)業(yè)融合發(fā)展。例如：康泰納仕集團(tuán)旗下Vogue雜志，通過網(wǎng)站向讀者提供了不同于紙質(zhì)刊物的閱讀體驗。刊物出版除了與網(wǎng)站結(jié)合，讀者還可以通過手機App，隨時隨地觀看和下載期刊內(nèi)容[41]。基于電子紙的電子閱讀器具有便于閱讀、攜帶，能夠快捷接入互聯(lián)網(wǎng)獲取所需內(nèi)容的特征，因而，得到了越來越廣泛的使用，逐步成為書籍、雜志、期刊的主要出版模式。未來，也會影響到教材類出版物。

（二）檔案管理領(lǐng)域

跨媒體智能技術(shù)的應(yīng)用范圍越來越廣，已經(jīng)滲透到了教育、科技、管理等各個領(lǐng)域，并在實際工作中發(fā)揮著重要的作用。由于智能技術(shù)和信息技術(shù)的迅速發(fā)展，傳統(tǒng)檔案管理模式已經(jīng)無法滿足社會日益發(fā)展的需求；同時，由于現(xiàn)代檔案形式多樣化，不僅有文字、圖片等傳統(tǒng)形式，還存在一些多種媒體融合呈現(xiàn)的媒體形式，智能化的檔案管理便應(yīng)運而生。與傳統(tǒng)檔案的分類管理相比，利用跨媒體智能技術(shù)管理檔案的優(yōu)勢尤為突出：

第一，關(guān)聯(lián)性強，跨媒體智能技術(shù)盤活了傳統(tǒng)的檔案，使檔案中的個體資源轉(zhuǎn)變?yōu)闄n案共享空間的節(jié)點，相關(guān)節(jié)點間相互鏈接；第二，表達(dá)性強，采用跨媒體智能技術(shù)建立的檔案管理空間，在表達(dá)具體內(nèi)容方面更加直觀、形象[42]。

隨著檔案數(shù)字化的快速發(fā)展，檔案部門所保管的電子檔案急劇增加，對傳統(tǒng)意義上的檔案和檔案管理，都提出了更高的要求和更多的挑戰(zhàn)。高校檔案管理是一項包括檔案收集、整理和保管等一系列過程的復(fù)雜工作，是衡量學(xué)校管理水平、評估教育教學(xué)質(zhì)量的重要依據(jù)。高校檔案包含大量的文字、圖片、音頻、視頻等材料，為了迅速、準(zhǔn)確地將這些數(shù)據(jù)進(jìn)行收集、歸類、整理，需要建立起智能化的高校檔案管理系統(tǒng)。將跨媒體智能技術(shù)引入到高校檔案管理過程中，可以實現(xiàn)跨媒體檔案信息獲取、分類、存儲、查詢的全流程智能化。

（三）智慧城市建設(shè)領(lǐng)域

跨媒體智能的一個典型綜合應(yīng)用是智慧城市建設(shè)。隨著信息技術(shù)的飛速發(fā)展，智慧城市概念引領(lǐng)城市發(fā)展，解決城市問題，以促進(jìn)城市的智能化、個性化、持續(xù)性發(fā)展，日益成為人們的共識?？缑襟w智能通過城市全維度智能感知推理引擎，解決城市發(fā)展過程中存在的感知碎片化、信息孤島化等問題，建立起以“大跨度、大視角、大信息和大服務(wù)”為特征的城市全維度智能感知推理引擎，實現(xiàn)對人、車、物、事件等的多維度、跨時空協(xié)同感知和綜合推理[43]。

自2008年“物聯(lián)網(wǎng)”概念興起以來，智慧城市建設(shè)從圍繞人口、資源、環(huán)境、經(jīng)濟等因素的數(shù)字化、網(wǎng)絡(luò)化、可視化趨勢，轉(zhuǎn)向以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等技術(shù)為核心的城市生態(tài)系統(tǒng)。2017年12月，中國在提出建設(shè)“新型智慧城市”時，重新定義了新型智慧城市建設(shè)的“四化”目標(biāo)：一是基礎(chǔ)設(shè)施的信息化；二是包括生活、生產(chǎn)、服務(wù)的互聯(lián)網(wǎng)化；三是體現(xiàn)大數(shù)據(jù)、云計算、人工智能技術(shù)應(yīng)用的基礎(chǔ)設(shè)施智能化；四是智慧化，包括智慧學(xué)習(xí)、智慧管理、智慧決策、智慧創(chuàng)新等[44]。

智慧城市建設(shè)包括教育文化、醫(yī)療衛(wèi)生、住房保障、交通出行等多項公共服務(wù)領(lǐng)域。其中，跨媒體智能技術(shù)在智慧化城市建設(shè)過程中，起到了重要的支撐作用（如圖3所示），主要體現(xiàn)在以下幾方面：（1）在智慧教育中，跨媒體智能通過可視化技術(shù)，進(jìn)行多元認(rèn)知信息融合、學(xué)習(xí)數(shù)據(jù)分析，進(jìn)而實現(xiàn)精準(zhǔn)學(xué)情判斷[45]；（2）智慧醫(yī)療運用跨媒體分析推理技術(shù)，實現(xiàn)從單純的院內(nèi)疾病治療逐漸轉(zhuǎn)化為 “院前預(yù)測、干預(yù)，院內(nèi)診療，院外監(jiān)測等”為一體的服務(wù)模式；（3）智慧交通以實現(xiàn)便捷的交通信息服務(wù)為目標(biāo)，深度挖掘交通運輸相關(guān)數(shù)據(jù)，實時監(jiān)測道路交通狀態(tài)，同時，實現(xiàn)智能停車管理；（4）智慧社區(qū)運用跨媒體智能存儲技術(shù)，整合區(qū)域人、物、事、房屋等信息，提供以社區(qū)居民為核心的安全、高效、便捷的智慧化服務(wù)。

圖3 跨媒體智能支持下的新型智慧城市建設(shè)

（四）互聯(lián)網(wǎng)市場領(lǐng)域

隨著移動智能終端的廣泛應(yīng)用和日益普及，移動設(shè)備等手持終端在網(wǎng)絡(luò)上的登錄行為、消費行為、行動區(qū)域、以及在不同媒體平臺上瀏覽信息內(nèi)容等信息，逐漸成為跨媒體數(shù)據(jù)的研究方向。跨媒體技術(shù)的發(fā)展是隨著移動智能終端設(shè)備的廣泛應(yīng)用，結(jié)合海量的視頻、音頻、文本文件以及各種觸感數(shù)據(jù)，構(gòu)成了當(dāng)前移動互聯(lián)網(wǎng)領(lǐng)域中信息共享、傳播的主體內(nèi)容[46]。智能移動終端帶來的變革使信息量迅猛激增，借助數(shù)據(jù)分析程序，對信息內(nèi)容進(jìn)行深入研究，成為一種研究潮流和方向。例如，分析人們的消費習(xí)慣、閱讀習(xí)慣、個人社交、運動軌跡等。

我國三大互聯(lián)網(wǎng)巨頭公司百度、阿里、騰訊，在跨媒體數(shù)據(jù)的技術(shù)研發(fā)及商業(yè)應(yīng)用方面成效顯著。例如：百度公司在運用跨媒體智能系統(tǒng)技術(shù)時，只要用戶輸入關(guān)鍵詞，就能分析出其搜索行為，進(jìn)而匹配精準(zhǔn)的廣告，大大提高了廣告的展示效果；阿里巴巴公司通過精細(xì)的云計算技術(shù)，分析用戶在天貓、淘寶平臺上進(jìn)行的所有購物行為、瀏覽數(shù)據(jù)，甚至包括支付賬單等用戶行為，然后對用戶行為進(jìn)行精準(zhǔn)地預(yù)測，從而達(dá)到為用戶推送商品信息的目標(biāo)；騰訊公司通過對數(shù)億QQ用戶以及微信用戶的社交數(shù)據(jù)、消費數(shù)據(jù)、娛樂數(shù)據(jù)等進(jìn)行跨媒體數(shù)據(jù)智能研究，分析了用戶的社會關(guān)系、性格稟賦、興趣愛好等數(shù)據(jù)，進(jìn)而開發(fā)出滿足用戶需求的產(chǎn)品。

四、跨媒體智能的教育應(yīng)用前景與分析

跨媒體智能作為一種新興技術(shù)，不僅在商業(yè)領(lǐng)域引起重視，在教育界也得到普遍關(guān)注。教育信息的多元、多維以及多平臺整合的現(xiàn)實需求，為跨媒體智能在教育教學(xué)中應(yīng)用提供了條件[47]。進(jìn)入智能化時代，以物聯(lián)網(wǎng)、智能技術(shù)等為核心的現(xiàn)代信息技術(shù)不斷推動著教育的發(fā)展進(jìn)步，跨媒體智能作為人工智能領(lǐng)域的重要核心技術(shù)，為今后教育教學(xué)的進(jìn)一步發(fā)展開拓了新的途徑。

（一）跨媒體教育數(shù)據(jù)智能處理

隨著物聯(lián)網(wǎng)、云計算以及多種傳感技術(shù)的不斷發(fā)展，以圖片、文字、聲音、視頻等形式融合表現(xiàn)的多元跨媒體信息，呈現(xiàn)“爆發(fā)式”涌現(xiàn)。同時，由于教育信息化水平的不斷提升，數(shù)據(jù)化的學(xué)習(xí)信息和學(xué)生信息逐漸增多。在信息化條件下，各種數(shù)據(jù)的獲取手段日趨豐富，媒體數(shù)據(jù)表現(xiàn)形式多樣，數(shù)據(jù)信息的存儲、處理、檢索和共享等方式也隨之產(chǎn)生。多元跨媒體數(shù)據(jù)具有復(fù)雜、海量、異質(zhì)多元、大范圍時空關(guān)聯(lián)等特點，它們構(gòu)成了復(fù)雜的數(shù)據(jù)感知網(wǎng)絡(luò)[48]。面對如此復(fù)雜多維的數(shù)據(jù)，要想在短時間內(nèi)迅速找到我們需要的有效數(shù)據(jù)信息，必然要通過網(wǎng)絡(luò)學(xué)習(xí)空間中的跨媒體信息智能處理技術(shù)來實現(xiàn)。

在“互聯(lián)網(wǎng)+”時代，云計算、大數(shù)據(jù)、人工智能等新技術(shù)已經(jīng)廣泛地應(yīng)用于教育領(lǐng)域[49]。面對如此復(fù)雜、大量的跨媒體教育數(shù)據(jù)，如何進(jìn)行有效的分析、處理與挖掘，成為當(dāng)下教育領(lǐng)域的迫切問題。近年來，基于人工智能的信息獲取和識別技術(shù)不斷涌現(xiàn)，例如，基于視覺對象識別、場景文字識別、圖像或視頻的文本識別等技術(shù)，在跨媒體數(shù)據(jù)智能處理過程中起到了一定的輔助作用。跨媒體數(shù)據(jù)智能處理，將多種識別技術(shù)得到的文本信息，采用多模態(tài)深度學(xué)習(xí)的方法，獲得視覺對象和關(guān)鍵文本的特征，得到其間的相關(guān)關(guān)系，進(jìn)而實現(xiàn)跨媒體數(shù)據(jù)對象的分類識別。

伴隨著具有知覺和自我意識，能夠完成推理、問題解決等任務(wù)的跨媒體智能的發(fā)展，智能分析、智能圖譜構(gòu)建、智能存儲等跨媒體智能技術(shù)，在不同領(lǐng)域得以廣泛應(yīng)用。跨媒體智能技術(shù)與各類數(shù)字教育資源、學(xué)習(xí)資源環(huán)境等深度融合，構(gòu)成了智能化學(xué)習(xí)資源環(huán)境[50]。它能構(gòu)建起動態(tài)的知識圖譜，不斷完善教育資源的多樣屬性，實現(xiàn)智能學(xué)習(xí)資源環(huán)境的層次化和系統(tǒng)化?？缑襟w智能技術(shù)通過獲取學(xué)習(xí)者的基本信息，進(jìn)行學(xué)習(xí)者特征分析，針對學(xué)習(xí)者的需求而提供一對一的學(xué)習(xí)指導(dǎo)。除此以外，跨媒體智能技術(shù)還能為學(xué)習(xí)者提供智能化的學(xué)習(xí)診斷、個性化學(xué)習(xí)支持、網(wǎng)絡(luò)學(xué)習(xí)交互等多種智能化服務(wù)。

（二）跨媒體教育信息檢索共享

隨著計算機、互聯(lián)網(wǎng)和數(shù)字媒體的日益發(fā)展，以多種媒體形式呈現(xiàn)的信息急劇增加，用戶對多媒體信息的應(yīng)用越來越普遍，多媒體信息的檢索和提取技術(shù)，引起了人們的廣泛關(guān)注。在實際應(yīng)用中，大部分用戶不完全具有明確敘述查詢意愿的能力，需要用戶按照某種媒體信息或多種媒體信息的形式，來描述查詢意愿?；趦?nèi)容的跨媒體信息系統(tǒng)的出現(xiàn)，滿足了這種需求，它可以完成從單一媒體檢索到其它多種媒體的查詢檢索任務(wù)?？缑襟w信息檢索系統(tǒng)，通過挖掘特征層面上多種媒體的直接相關(guān)性，找出跨媒體語義之間的隱含關(guān)系，再通過其相關(guān)性檢索到包含相同語義的不同類型媒體對象。

多媒體技術(shù)在少數(shù)民族地區(qū)的信息化應(yīng)用，促使跨媒體信息共享在少數(shù)民族語言中得到廣泛應(yīng)用。少數(shù)民族電子語言文件類型繁多，包括少數(shù)民族語言文本文件、語音文件、圖像文件、圖形文件、視頻文件[51]。少數(shù)民族語言跨媒體信息共享策略，主要是提取不同類型的少數(shù)民族電子語言文件內(nèi)容和特征信息，將其轉(zhuǎn)換為文本形式，從而實現(xiàn)跨媒體信息共享。圖4是少數(shù)民族語言電子文件跨媒體信息共享策略的整體框架[52]。

圖4 少數(shù)民族語言電子文件跨媒體信息共享策略

跨媒體信息共享策略，是通過元數(shù)據(jù)對少數(shù)民族語言數(shù)據(jù)類型進(jìn)行統(tǒng)一檢索，對于多媒體電子文件中存在的如特定手勢、臉部表情、音效氛圍等非語言信息，借助基于概念的策略來提高信息檢索的深度。同時，語義網(wǎng)絡(luò)技術(shù)應(yīng)用到少數(shù)民族語言多媒體信息檢索中，提升了語義信息檢索的智能化程度，最終提高了信息檢索的精準(zhǔn)程度。

（三）跨媒體互動教育平臺設(shè)計與應(yīng)用

隨著計算機技術(shù)的快速發(fā)展以及人機交互方式的不斷改善，各種各樣的新媒體以及信息平臺，出現(xiàn)在我們的生活中，也出現(xiàn)在我們的學(xué)校教育中。隨著手機移動媒體和數(shù)字網(wǎng)絡(luò)電視等多元媒體的出現(xiàn)，學(xué)習(xí)者獲取知識的途徑越來越多；同時，信息類型和呈現(xiàn)形式也急劇增加。面對大量的信息，我們需要迅速、準(zhǔn)確地獲取所需的目的信息，跨媒體互動教育平臺的出現(xiàn)，為此提供了一個良好的途徑?？缑襟w互動教育平臺，能對學(xué)生的狀態(tài)變化進(jìn)行智能處理和分析，向?qū)W生及時推送相關(guān)的學(xué)習(xí)資源和服務(wù)。

除此以外，教育游戲成為一種新的教育方式。傳統(tǒng)的電腦游戲不再僅限于娛樂內(nèi)容方面，而是擴展至科學(xué)、健康、教育等各個社會領(lǐng)域。其中，互動教育游戲已成為教育培訓(xùn)的重要部分，這種以游戲為手段的學(xué)習(xí)方式，在教育領(lǐng)域得到了初步應(yīng)用，并且發(fā)展前景廣闊。基于網(wǎng)絡(luò)平臺的互動教育游戲軟件還可以進(jìn)行數(shù)據(jù)統(tǒng)計，幫助教師具體、及時、準(zhǔn)確地掌握學(xué)習(xí)者的學(xué)習(xí)進(jìn)展?fàn)顩r?；咏逃螒?，通過全新的個性化、自主化學(xué)習(xí)體驗來提高學(xué)習(xí)效率，激發(fā)學(xué)習(xí)者的創(chuàng)造力和創(chuàng)新靈感。在教育領(lǐng)域，互動教育游戲可用于教育和吸引各個年齡層的學(xué)生，并激發(fā)學(xué)生的學(xué)習(xí)興趣。

目前，“跨媒體互動教育游戲平臺”得到了廣泛應(yīng)用。中國科學(xué)院建立的“虛擬博物館”則是國內(nèi)最早以虛擬博物館形式來傳播科學(xué)知識的網(wǎng)站[53]，旨在發(fā)揮科學(xué)院在多年科學(xué)考察、科學(xué)研究中積累并掌握的大量科學(xué)信息資源的優(yōu)勢，為公眾尤其是青少年提供豐富的科學(xué)知識儲備，進(jìn)而成為豐富交互的科學(xué)傳播平臺?？缑襟w教育平臺將“教育理念”與“跨媒體智能”相結(jié)合，運用跨媒體智能技術(shù)，實現(xiàn)語言、視覺、聽覺等多種感官認(rèn)知的語義貫通，建立邏輯推理、歸納演繹相互協(xié)調(diào)補充的新型模型和方法[54]，以幫助學(xué)生進(jìn)行自主探究、協(xié)同學(xué)習(xí)、智能評價。借助跨媒體教育平臺，教師可以實時掌握學(xué)生的學(xué)習(xí)動態(tài)，準(zhǔn)確把握學(xué)生的學(xué)習(xí)情況，進(jìn)而適時調(diào)整教學(xué)方案，實現(xiàn)學(xué)生的個性化學(xué)習(xí)。

五、總結(jié)

由于數(shù)據(jù)和信息在人類社會、物理空間和信息空間之間的交叉融合與相互作用，以及新技術(shù)、新產(chǎn)業(yè)的不斷涌現(xiàn)，使得對人工智能基本理論和方法的研究，開始出現(xiàn)新的變化趨勢。跨媒體智能作為計算機科學(xué)一個活躍的新研究領(lǐng)域，也是人工智能的一個重要的發(fā)展方向。

正如Pan所討論的那樣，跨媒體智能在人工智能中扮演著基石的角色，通過這種機制，機器可以識別外部環(huán)境[55]?？缑襟w智能與教育教學(xué)的深度融合，為獲得教學(xué)與教育管理過程中的多元異構(gòu)數(shù)據(jù)，解析學(xué)習(xí)者認(rèn)知過程，構(gòu)建學(xué)習(xí)者知識圖譜模型，實現(xiàn)個性化精準(zhǔn)推薦，帶來了巨大的機遇[56]。

雖然跨媒體智能在跨媒體教育數(shù)據(jù)智能處理、跨媒體智能數(shù)據(jù)檢索與共享、跨媒體教育平臺整合等領(lǐng)域，有著廣闊的應(yīng)用前景，但在理論研究、技術(shù)研發(fā)和示范應(yīng)用領(lǐng)域，目前仍處于起步階段。為此，我們提出以下建議：

第一，開展跨媒體智能相關(guān)理論研究。跨媒體智能理論主要圍繞跨媒體感知計算理論展開，通過把外部環(huán)境信息轉(zhuǎn)化為自身認(rèn)知模型，逐步實現(xiàn)對現(xiàn)實世界的智能化感知和認(rèn)識。圍繞人類感知能力模型以及復(fù)雜場景的自適應(yīng)策略進(jìn)行基礎(chǔ)理論探索，可實現(xiàn)對環(huán)境的全景、全光與透徹感知，探索構(gòu)建主動感知、情感建模和多媒體內(nèi)容交互融合的理論框架[57]。

第二，攻克跨媒體智能的關(guān)鍵技術(shù)?？缑襟w智能的關(guān)鍵技術(shù)，主要涵蓋跨媒體智能檢索、跨媒體分析推理、跨媒體知識圖譜構(gòu)建及跨媒體智能存儲等領(lǐng)域。通過跨媒體知識表征、分析、挖掘、推理、演化和利用分析推理系統(tǒng)，形成跨媒體智能綜合技術(shù)，進(jìn)而為服務(wù)平臺構(gòu)建和應(yīng)用領(lǐng)域融合提供技術(shù)支撐。

第三，積極推進(jìn)跨媒體智能在教育領(lǐng)域的示范應(yīng)用。要依賴全維度智能感知和推理引擎，解決教學(xué)活動過程中存在的感知碎片化、信息孤島化等問題，建立以“大跨度、大視角、大信息和大服務(wù)”為特征的綜合信息處理平臺，實現(xiàn)對教學(xué)內(nèi)容、教學(xué)環(huán)境、學(xué)習(xí)者等對象的多維度、跨時空協(xié)同感知和綜合推理，形成一批跨媒體智能與教育教學(xué)深度融合的典型案例。比如，在網(wǎng)絡(luò)學(xué)習(xí)空間、智慧校園、智慧教室等多維空間進(jìn)行示范應(yīng)用。

總之，面向智能時代，對“人工智能+教育”的相關(guān)研究，既要積極，也要穩(wěn)妥推進(jìn)[58]。我們應(yīng)該積極開展跨媒體智能的教育應(yīng)用研究與實踐，將《教育信息化2.0行動計劃》中提出的“構(gòu)建智慧學(xué)習(xí)支持環(huán)境”“加快面向下一代網(wǎng)絡(luò)的高校智能學(xué)習(xí)體系建設(shè)”落到實處，為教育的創(chuàng)新發(fā)展提供動力。