多模態(tài)信息搜索行為實(shí)驗(yàn)研究

朱佳雨 李志義 王振芳

1.中國(guó)科學(xué)院廬山植物園 九江 332900；

2.華南師范大學(xué)經(jīng)濟(jì)與管理學(xué)院 廣州 510006；

3.福建師范大學(xué)文學(xué)院 福州 350007

引言

信息搜索行為鏈接著被搜索信息與信息系統(tǒng)的主客體兩端，在圖片掃描檢索、語(yǔ)音識(shí)別檢索等技術(shù)發(fā)展完善之前，通常以文字描述進(jìn)行搜索，至今仍有大量人使用這種搜索方式，無(wú)論搜索文字、圖片還是音樂(lè)，文字語(yǔ)義描述不可避免的一點(diǎn)就是必須克服“語(yǔ)義鴻溝”，這一問(wèn)題在圖片、音樂(lè)這些跨模態(tài)搜索中尤其突出。早在2005 年，溫超等[1]就關(guān)注過(guò)圖像檢索中的語(yǔ)義差異問(wèn)題，王靖豪等也認(rèn)為目前網(wǎng)絡(luò)環(huán)境中的多模態(tài)信息缺乏信息層次結(jié)構(gòu)之間的關(guān)聯(lián)，缺少多種模態(tài)數(shù)據(jù)的信息融合，致使相關(guān)研究大多依賴于某一種模態(tài)數(shù)據(jù)的信息[2]，從而影響搜索的查全率和查準(zhǔn)率。對(duì)此，胡文婷[3]利用眼動(dòng)跟蹤技術(shù)記錄人瀏覽圖像時(shí)的眼動(dòng)行為，證實(shí)眼動(dòng)行為可表達(dá)語(yǔ)義，克服文字與圖片之間的語(yǔ)義邊界，網(wǎng)站利用這一點(diǎn)，將可以更高效地推送用戶需要的圖片。秦靜、林鴻飛等[4]提出了一種基于示例語(yǔ)義的音樂(lè)檢索模型，使用語(yǔ)義相關(guān)標(biāo)簽來(lái)標(biāo)記未知，將音樂(lè)映射到“語(yǔ)義空間”滿足語(yǔ)義音樂(lè)檢索的需求。邵曦、郁青玲[5]分析了文本特征和音樂(lè)內(nèi)容特征潛在的統(tǒng)計(jì)關(guān)系，通過(guò)子空間映射解決了不同模態(tài)之間的特征異構(gòu)問(wèn)題，再根據(jù)歐氏距離的大小衡量?jī)烧叩南嚓P(guān)性，從而實(shí)現(xiàn)了音樂(lè)跨模態(tài)搜索。由于用戶的知識(shí)背景不同，所以對(duì)文字、圖片、音樂(lè)等信息特征的提煉和歸納能力有所不同，使得每個(gè)檢索者面臨的語(yǔ)義差異問(wèn)題也有相應(yīng)的不同。但隨著技術(shù)發(fā)展，網(wǎng)站可以直接掃描圖片，匹配相同或相似的圖片，音樂(lè)也可以通過(guò)語(yǔ)音識(shí)別，查找或匹配相似信息，王培培等[6]提出一種基于語(yǔ)句特征的音樂(lè)哼唱快速檢索技術(shù)，將音樂(lè)數(shù)據(jù)庫(kù)和用戶提供的哼唱片段，按自然停頓方式劃分音樂(lè)語(yǔ)句，使用BDTW 算法對(duì)音樂(lè)語(yǔ)句片段進(jìn)行音高相似性計(jì)算，能夠減少用戶的檢索時(shí)間。這些技術(shù)的突破意味著不再需要用戶對(duì)被搜索信息進(jìn)行特征提煉，繞開了“語(yǔ)義鴻溝”這個(gè)問(wèn)題，使單模態(tài)信息的查準(zhǔn)率和查全率得到了較好解決。

隨著信息技術(shù)的深化與推廣，各種文字、圖像和視頻等互動(dòng)分享網(wǎng)站日新月異，催生了大量相同語(yǔ)義而有著多種表現(xiàn)方式的信息——多模態(tài)信息。多模態(tài)信息搜索問(wèn)題便成為了學(xué)者關(guān)注的重點(diǎn)，學(xué)者Li[7]等研究了多模態(tài)信息搜索行為影響因素，該研究基于TAM 理論模型，認(rèn)為多模態(tài)信息搜索行為與多模態(tài)信息的搜索意愿直接相關(guān)，而搜索意愿與多模態(tài)信息搜索有用性和容易度感知相關(guān)，且用戶的信息檢索能力及信息環(huán)境直接影響多模態(tài)信息的多模態(tài)信息搜索有用性和容易度感知。邱瑾、吳丹[8]進(jìn)行了用戶協(xié)同信息檢索行為實(shí)驗(yàn)及結(jié)果分析，發(fā)現(xiàn)任務(wù)類型不同，用戶“瀏覽網(wǎng)頁(yè)”“檢索”和“使用圖片”行為差距較大，導(dǎo)航類任務(wù)涉及專業(yè)知識(shí)，用戶需要輸入更多的檢索式以便對(duì)其有一個(gè)全面的認(rèn)識(shí)。對(duì)于專業(yè)性任務(wù)，許多專業(yè)人士已經(jīng)做了一些總結(jié)和分析，可能一個(gè)圖片就包含了大量有用的信息，事務(wù)類任務(wù)解決的是實(shí)踐問(wèn)題，用戶在檢索過(guò)程中思考、探索的時(shí)間較多，而瀏覽頁(yè)面和檢索次數(shù)都較少。檢索任務(wù)類型不同對(duì)用戶選擇的檢索式也會(huì)有較大影響。

綜上，不難發(fā)現(xiàn)用戶的信息需求已呈現(xiàn)出由慢到快、由少到多、由單一到多樣的變化，信息搜索行為也逐漸從單一模態(tài)信息搜索向多模態(tài)信息搜索轉(zhuǎn)移。而當(dāng)前國(guó)內(nèi)學(xué)者缺乏對(duì)多模態(tài)信息搜索行為特征的挖掘，使多模態(tài)信息搜索行為研究存在空白，為提高多模態(tài)信息搜索效率，有必要堅(jiān)持以人為本的研究理念，以用戶為中心，圍繞用戶在信息技術(shù)、網(wǎng)絡(luò)技術(shù)發(fā)展進(jìn)程中突現(xiàn)的日益增長(zhǎng)的多模態(tài)信息需求，研究其搜索多模態(tài)信息行為特征。因此，本文通過(guò)設(shè)計(jì)多模態(tài)搜索任務(wù)，研究用戶的多模態(tài)信息行為特征，將有利于豐富信息搜索理論，為實(shí)現(xiàn)多模態(tài)信息系統(tǒng)建設(shè)、提升多模態(tài)信息素養(yǎng)提供依據(jù)。

1 研究設(shè)計(jì)

1.1 多模態(tài)信息搜索行為分析指標(biāo)

對(duì)于信息搜索行為研究，基于用戶信息搜索過(guò)程的，比較著名的有 Willson 模型、Kuhlthau 模型和 Choo 三階段模型[9]。其中Willson 模型重點(diǎn)對(duì)影響搜索需求到搜索行為發(fā)生整個(gè)過(guò)程的因素進(jìn)行了較全面的分析。Kuhlthau 模型重點(diǎn)對(duì)信息搜索全過(guò)程中的用戶認(rèn)知影響進(jìn)行了分析[10]。Choo 模型將信息搜索活動(dòng)分為信息需要、信息搜索和信息利用3 個(gè)過(guò)程，并檢驗(yàn)了認(rèn)知、情感和情境因素對(duì)這些過(guò)程的影響[11]。國(guó)內(nèi)學(xué)者甘利人將用戶的多模態(tài)信息搜索行為過(guò)程劃分為信息定義、信息搜索和信息收集三個(gè)階段，并根據(jù)不同階段的具體行為表現(xiàn)歸納用戶的行為特征[12]。對(duì)此本文在借鑒前人研究成果的基礎(chǔ)上，將多模態(tài)信息搜索行為分成三個(gè)階段進(jìn)行分析，并確定了多模態(tài)信息搜索行為特征分析指標(biāo)，如表1 所示。

表1 多模態(tài)信息搜索行為分析指標(biāo)

1.2 實(shí)驗(yàn)任務(wù)與流程

在搜索任務(wù)劃分上，有依據(jù)搜索路徑將搜索任務(wù)分為水平性任務(wù)、簡(jiǎn)單性任務(wù)和垂直性任務(wù)[20]；或根據(jù)任務(wù)的多個(gè)屬性將信息任務(wù)劃分為事實(shí)性、解釋性和探索性任務(wù)[21]。Broder[22]則將搜索任務(wù)劃分為導(dǎo)航型任務(wù)、事實(shí)型任務(wù)和事務(wù)性任務(wù)。孫麗[23]根據(jù)任務(wù)的實(shí)際應(yīng)用情景將網(wǎng)絡(luò)健康信息搜尋任務(wù)類型劃分為開放式任務(wù)和封閉式任務(wù)。

考慮多模態(tài)信息搜索不僅搜索模態(tài)多，搜索路徑也多，因此本文按照不同模態(tài)進(jìn)行劃分，分別從文本、圖片和音頻三個(gè)搜索模態(tài)設(shè)計(jì)實(shí)驗(yàn)任務(wù)，三類實(shí)驗(yàn)任務(wù)定義如表2。每個(gè)被試者均需依次完成三個(gè)任務(wù)，在執(zhí)行任務(wù)的過(guò)程中可以根據(jù)實(shí)際情況運(yùn)用一種或多種模態(tài)進(jìn)行搜索。

表2 任務(wù)類型定義

任務(wù)1（文本搜索任務(wù)）：假設(shè)你看完某個(gè)電影后便喜歡上了李安導(dǎo)演。你想通過(guò)上網(wǎng)搜索了解更多的關(guān)于他的信息，現(xiàn)請(qǐng)你把他的基本信息、照片和他的相關(guān)視頻通過(guò)網(wǎng)絡(luò)搜索整理出來(lái)。（參考用時(shí)8 分鐘）

任務(wù)2（圖片搜索任務(wù)）：請(qǐng)你根據(jù)圖片1，通過(guò)網(wǎng)絡(luò)搜索，將圖片名稱、作者的基本信息以及其他相似圖片搜索出來(lái)。（參考用時(shí)10 分鐘）

圖1 實(shí)驗(yàn)圖例

任務(wù)3（音頻搜索任務(wù)）：請(qǐng)你根據(jù)實(shí)驗(yàn)員播放的音頻，通過(guò)網(wǎng)絡(luò)搜索，將音頻名稱、作者的基本信息和及其他相似音樂(lè)搜索出來(lái)。（參考用時(shí)12 分鐘）

1.3 實(shí)驗(yàn)流程

實(shí)驗(yàn)流程主要包括被試者招募、實(shí)驗(yàn)平臺(tái)安排和實(shí)驗(yàn)過(guò)程設(shè)計(jì)等。

在被試者招募方面，筆者根據(jù)研究目的，并考慮實(shí)驗(yàn)任務(wù)需具備一定知識(shí)儲(chǔ)備，因此將招募對(duì)象設(shè)為受過(guò)高等教育的群體。通過(guò)微博、微信等發(fā)布有償招募實(shí)驗(yàn)志愿者公告，并根據(jù)報(bào)名情況篩選符合研究條件的被試者。周曉英等[24]在研究互聯(lián)網(wǎng)信息搜索用戶行為模型時(shí)的樣本數(shù)量為32 人。吳丹等[25]在研究移動(dòng)搜索策略時(shí)選取了30 名大學(xué)生為研究對(duì)象。因此本研究最終招募了45 名被試者。

在實(shí)驗(yàn)平臺(tái)設(shè)計(jì)方面，本研究考慮到實(shí)驗(yàn)過(guò)程的連續(xù)性，實(shí)驗(yàn)數(shù)據(jù)的完整性，且為了避免用戶實(shí)驗(yàn)受陌生機(jī)型及應(yīng)用的影響，故將本研究的實(shí)驗(yàn)平臺(tái)設(shè)定為被試者自帶的智能移動(dòng)手機(jī)。實(shí)驗(yàn)前統(tǒng)一安裝錄屏軟件，用于錄制多模態(tài)信息搜索全過(guò)程?？紤]到錄制過(guò)程會(huì)涉及到隱私信息，如搜索歷史等，故在實(shí)驗(yàn)開始前會(huì)溫馨提示被試者整理手機(jī)可能會(huì)涉及到的隱私信息。

在實(shí)驗(yàn)前，組織者向受試者講解實(shí)驗(yàn)過(guò)程和注意事項(xiàng)。實(shí)驗(yàn)順序依次為任務(wù)1、2、3，每個(gè)任務(wù)流程為：閱讀題目-實(shí)施搜索-保存搜索結(jié)果。每項(xiàng)搜索任務(wù)完成后，被試者需將每個(gè)任務(wù)的搜索結(jié)果收集整理發(fā)給實(shí)驗(yàn)負(fù)責(zé)人，以此類推，直至三個(gè)任務(wù)全部完成。在實(shí)驗(yàn)過(guò)程中，為使被試者端正態(tài)度提高搜索效率，每項(xiàng)搜索任務(wù)提供參考用時(shí)，且實(shí)驗(yàn)員將進(jìn)行計(jì)時(shí)操作，但為了體現(xiàn)實(shí)驗(yàn)的完整性，故即使被試者用時(shí)超過(guò)參考用時(shí)也不會(huì)被打斷。實(shí)驗(yàn)完成后，評(píng)委會(huì)根據(jù)網(wǎng)絡(luò)信息搜索常用指標(biāo)“準(zhǔn)確性”“完整性”[26]對(duì)被試者的搜索結(jié)果進(jìn)行評(píng)分，并以此獎(jiǎng)勵(lì)被試者。準(zhǔn)確性表示搜索目標(biāo)與搜索任務(wù)的匹配度，分值為5。完整性指搜索到的信息在模態(tài)、數(shù)量以及任務(wù)完成的情況，分值為5。每項(xiàng)任務(wù)的分值為10，三個(gè)任務(wù)總分為30 分。

2 結(jié)果與討論

本研究共有45 名符合研究條件的志愿者參與。其中女性被試者為26 人，占比約57.78%，男性被試者為19 人，占比約42.22%。被試者學(xué)歷大專有1 人，本科有19 人，研究生學(xué)歷25 人（含碩士研究生23 人，博士研究生2 人），群體涉及有社會(huì)在職人員與在校學(xué)生，專業(yè)涉及生物工程、農(nóng)學(xué)、法學(xué)、金融學(xué)、理論物理、光學(xué)工程、中國(guó)現(xiàn)當(dāng)代文學(xué)、情報(bào)學(xué)和圖書館學(xué)等。刪除畫質(zhì)不清、實(shí)驗(yàn)不完整視頻，最終獲得有效實(shí)驗(yàn)數(shù)據(jù)41 份。41 份實(shí)驗(yàn)數(shù)據(jù)共約691 分48 秒，減去程序加載、網(wǎng)頁(yè)緩沖和其他與任務(wù)搜索無(wú)關(guān)時(shí)間等，最終具有統(tǒng)計(jì)分析意義時(shí)間約606 分52 秒。

2.1 多模態(tài)信息搜索結(jié)果分析

本研究邀請(qǐng)了來(lái)自圖情領(lǐng)域與非圖情領(lǐng)域的三名學(xué)者為評(píng)委，對(duì)實(shí)驗(yàn)者的搜索結(jié)果進(jìn)行評(píng)分，用三者評(píng)分的平均分作為被試者多模態(tài)信息搜索結(jié)果的最終得分，以此分析調(diào)查者的多模態(tài)信息搜索的效率，其中包括了多模態(tài)信息搜索的準(zhǔn)確性、完整性。如表3。

表3 多模態(tài)信息搜索任務(wù)完成情況

數(shù)據(jù)顯示，從整體上看，多模態(tài)信息搜索準(zhǔn)確性較好，在完整性上表現(xiàn)較差。從不同模態(tài)看，文本信息搜索的整體完成情況最好，準(zhǔn)確性和完整性平均分超9 分；音頻搜索整體評(píng)分居中；圖片搜索的整體平均分最低，且準(zhǔn)確性分?jǐn)?shù)最低。說(shuō)明文本為搜索模態(tài)搜索多模態(tài)信息，仍是目前效率最高的搜索方式；圖片搜索的準(zhǔn)確性則有待提高。

2.2 多模態(tài)信息搜索行為分析

圖2 反映的是用戶的多模態(tài)信息搜索各個(gè)階段人均耗時(shí)。數(shù)據(jù)顯示，多模態(tài)的搜索任務(wù)人均耗時(shí)約983 秒，結(jié)合錄屏，文本搜索單人最高耗時(shí)645 秒，圖片搜索單人最高耗時(shí)923秒，音頻搜索單人最高耗時(shí)690 秒，這三人所在專業(yè)均屬生物類。從不同階段上看，搜索階段耗時(shí)最長(zhǎng)，其次是信息收集階段，定義階段耗時(shí)最短。從不同搜索模態(tài)上看，文本搜索耗時(shí)最短，圖片搜索耗時(shí)最長(zhǎng)，音頻搜索居中。結(jié)合錄屏可知，用戶向信息系統(tǒng)輸入搜索需求時(shí)，文本輸入速度普遍較快且系統(tǒng)識(shí)別的準(zhǔn)確率和完整性較高；輸入圖片或音頻時(shí)，信息系統(tǒng)在識(shí)別音頻或圖片時(shí)需要較長(zhǎng)時(shí)間，且識(shí)別失敗率較高，迫使被試者重新檢索，從而一定程度上增加耗時(shí)。說(shuō)明當(dāng)前階段用戶的多模態(tài)信息搜索速度，特別是圖片搜索和音頻搜索，受信息系統(tǒng)的響應(yīng)速度和識(shí)別精準(zhǔn)度影響較大。

（1）多模態(tài)信息需求定義階段

在信息搜索過(guò)程中，用戶需理解所找到的信息，從而確定自己的需求[27]。圖3 統(tǒng)計(jì)的是被試者理解搜索任務(wù)的時(shí)長(zhǎng)，即從打開任務(wù)文檔到打開搜索軟件這一時(shí)間段的時(shí)長(zhǎng)。由圖可知，圖片搜索需求理解平均耗時(shí)最長(zhǎng)達(dá)30.84 秒，音頻搜索平均耗時(shí)最短，文本搜索居中。結(jié)合錄屏，被試者在進(jìn)行圖片搜索時(shí)，用戶除理解搜索任務(wù)外，還會(huì)對(duì)圖片細(xì)節(jié)進(jìn)行放大確認(rèn)，在細(xì)節(jié)確認(rèn)過(guò)程中耗時(shí)較長(zhǎng)。對(duì)于音頻搜索，大部分被試者在聽到音頻后便第一時(shí)間打開音樂(lè)軟件進(jìn)行識(shí)別，在選擇搜索方法與途徑上反應(yīng)迅速。

圖3 信息定義階段需求理解耗時(shí)

表4 反映的是被試者確認(rèn)搜索需求情況，即重復(fù)閱讀任務(wù)題目的次數(shù)。實(shí)驗(yàn)顯示，大部分被試者在確定搜索任務(wù)需求時(shí)需重復(fù)確認(rèn)，最高重復(fù)閱讀次數(shù)多達(dá)5 次。音頻搜索重復(fù)閱讀任務(wù)題目次數(shù)最少，且出現(xiàn)較多不需要重復(fù)閱讀的情況，而文本搜索需求確認(rèn)次數(shù)最多。

表4 信息定義階段需求重復(fù)確定次數(shù)

綜上，在多模態(tài)信息搜索需求定義階段，用戶對(duì)音頻搜索需求的理解能力較強(qiáng)，在確認(rèn)和選擇音頻搜索方法與途徑上比較迅速；而對(duì)于圖片搜索，雖然大部分用戶依賴圖片識(shí)別工具，但由于圖片細(xì)節(jié)較多，用戶在對(duì)圖片細(xì)節(jié)捕捉上需耗費(fèi)一定精力與時(shí)間。而文本搜索符合大部分用戶現(xiàn)階段的閱讀習(xí)慣，所以用戶在此階段無(wú)需花費(fèi)過(guò)多的時(shí)間。

（2）多模態(tài)信息搜索階段

信息搜索是多模態(tài)信息搜索的核心階段，具體行為表現(xiàn)有：選擇搜索途徑、選擇檢索方式、篩選搜索結(jié)果和搜索策略調(diào)整等。

①搜索路徑

搜索途徑選擇是用戶進(jìn)行多模態(tài)信息搜索動(dòng)作的第一步，本文從用戶所選的搜索路徑來(lái)分析用戶搜索不同模態(tài)信息的行為特征。圖4顯示，目前多模態(tài)信息搜索選擇最多的搜索方式為搜索引擎，其次是瀏覽器。結(jié)合實(shí)驗(yàn)，發(fā)現(xiàn)被試者在進(jìn)行文本搜索時(shí)大都選擇瀏覽器，而在圖片搜索時(shí)則傾向于具有圖片識(shí)別功能的搜索引擎，其次是電商類APP 如淘寶等；音頻搜索傾向于專業(yè)APP 如網(wǎng)易云等，其次是搜索引擎。由此可以說(shuō)明搜索引擎是當(dāng)前多模態(tài)信息搜索的主要途徑，但用戶會(huì)根據(jù)搜索模態(tài)選擇多種且具有針對(duì)性的方式，這與前人的研究結(jié)果保持一致，無(wú)論哪種類型的搜索問(wèn)題都有大部分大學(xué)生選擇搜索引擎作為信息檢索的第一工具[28]。

圖4 搜索路徑

②選擇搜索方式

構(gòu)造檢索式是信息需求的外化過(guò)程，是用戶的認(rèn)知靈活性與知識(shí)遷移、應(yīng)用和創(chuàng)新能力的具體表現(xiàn)。根據(jù)圖5 可知，短語(yǔ)搜索多模態(tài)信息是搜索過(guò)程中使用最多的檢索方式，圖片搜索和音頻搜索除了依賴專業(yè)的圖片識(shí)別和音頻識(shí)別工具外，均使用文本搜索輔助搜索。此外，值得注意的是語(yǔ)音輸入僅是個(gè)別用戶選擇。說(shuō)明目前關(guān)鍵詞搜索仍是多模態(tài)信息搜索的主流，而圖片識(shí)別和音頻識(shí)別也成為了重要的搜索方法之一。

圖5 短語(yǔ)、句子、圖片和音頻識(shí)別使用頻次

圖6 反映的是用文本、圖片和音頻作為搜索模態(tài)占全部搜索方式的比例及搜索詞從實(shí)驗(yàn)題材中提取的情況。數(shù)據(jù)顯示，被試者使用圖片識(shí)別和音頻識(shí)別作為搜索方式各占9.77%，使用文本搜索的高達(dá)80.46%。結(jié)合錄屏，發(fā)現(xiàn)在音頻搜索任務(wù)中，檢索關(guān)鍵詞取詞來(lái)源大部分取自歌詞本身，而圖片搜索和文本搜索部分搜索詞源于自身對(duì)搜索任務(wù)的認(rèn)知，并在此基礎(chǔ)上思考并提出新的檢索詞。說(shuō)明在完成信息搜索任務(wù)的過(guò)程中，音頻搜索僅依靠直觀理解，并沒(méi)有做出太多個(gè)人的判斷與評(píng)價(jià)，缺乏對(duì)檢索詞的深度加工，而圖片搜索和文本搜索則相反，這一結(jié)論進(jìn)一步驗(yàn)證了信息搜索受用戶的學(xué)習(xí)認(rèn)知投入的影響[29]。

圖6 搜索方式比例

③篩選搜索結(jié)果

信息篩選是指用戶根據(jù)信息系統(tǒng)反饋的信息查找和篩選目標(biāo)信息，具體行為表現(xiàn)有網(wǎng)頁(yè)瀏覽。表5 數(shù)據(jù)顯示，網(wǎng)頁(yè)瀏覽占整個(gè)多模態(tài)信息搜索階段的耗時(shí)一半以上，其中音頻搜索中的網(wǎng)頁(yè)瀏覽耗時(shí)最長(zhǎng)，在整個(gè)搜索過(guò)程的耗時(shí)占比也最大，文本搜索則相反。結(jié)合實(shí)驗(yàn)發(fā)現(xiàn)，音頻搜索用戶點(diǎn)擊瀏覽網(wǎng)頁(yè)的數(shù)量最多，人均點(diǎn)擊量約為7.34 頁(yè)；網(wǎng)頁(yè)點(diǎn)擊瀏覽數(shù)量最少的是文本搜索，人均點(diǎn)擊量約為5.9 頁(yè)。由此反映用戶及信息系統(tǒng)均對(duì)文本信息搜索需求捕捉較精準(zhǔn)，反饋效率高，而圖片和音頻信息需求捕捉和信息反饋的準(zhǔn)確性和時(shí)效有待提高，這也說(shuō)明信息系統(tǒng)在滿足用戶偏好可視化和娛樂(lè)性強(qiáng)的新媒體信息需求上[30]，還需做進(jìn)一步改進(jìn)和提升。

表5 網(wǎng)頁(yè)瀏覽耗時(shí)

④搜索策略調(diào)整

相較于搜索方法，搜索策略立足于整體，強(qiáng)調(diào)對(duì)整個(gè)搜索過(guò)程的計(jì)劃與變通[31]。表6數(shù)據(jù)顯示，大部分被試者在進(jìn)行多模態(tài)信息搜索過(guò)程中都需要調(diào)整搜索策略，不需要調(diào)整或調(diào)整次數(shù)3 次及以上的是少數(shù)。結(jié)合錄屏，發(fā)現(xiàn)多模態(tài)信息搜索策略調(diào)整主要是平臺(tái)切換，如文本搜索主要從瀏覽器轉(zhuǎn)為百度搜索引擎，而圖片和音頻搜索則主要從專業(yè)識(shí)別工具轉(zhuǎn)為瀏覽器或百度搜索引擎。另外，圖片搜索和音頻搜索在搜索策略調(diào)整上比較頻繁且主觀性較強(qiáng)，文本搜索則相反。從搜索模態(tài)上看，目前圖片搜索和音頻搜索則存在較頻繁的圖文、音文相互轉(zhuǎn)換的情況，而文字搜索則沒(méi)有這種情況。

表6 多模態(tài)信息搜索策略調(diào)整情況

綜上，可以說(shuō)明當(dāng)前被試者的多模態(tài)搜索仍以跨平臺(tái)搜索為主，大部分多模態(tài)信息搜索與收集無(wú)法集中在一個(gè)平臺(tái)內(nèi)完成。這與此前研究成果中的發(fā)現(xiàn)一致：信息搜索行為在不同任務(wù)環(huán)節(jié)存在一定差異，尤其是檢索次數(shù)、檢索工具等[32]。

（3）多模態(tài)信息收集階段

圖7 反映的是多模態(tài)信息搜索結(jié)果的信息來(lái)源情況。數(shù)據(jù)顯示，用戶的多模態(tài)信息收集渠道比較集中，百科類網(wǎng)頁(yè)特別是百度百科占了絕大多數(shù)，且百度系列網(wǎng)頁(yè)是絕大部分被試者的多模態(tài)信息來(lái)源。說(shuō)明百度作為搜索引擎的代表，在多模態(tài)信息融合方面具有較大的優(yōu)勢(shì)，普遍被用戶所接受。值得注意的是，新興的社交媒體如豆瓣和應(yīng)用軟件如淘寶、京東等電商網(wǎng)站也逐漸成為了用戶的多模態(tài)信息來(lái)源，這一結(jié)果驗(yàn)證了社交網(wǎng)絡(luò)逐漸成為除搜索引擎與數(shù)據(jù)庫(kù)之外的主要信息來(lái)源渠道[33]。

圖7 多模態(tài)信息收集來(lái)源

綜上，縱觀整個(gè)多模態(tài)信息搜索過(guò)程，可以發(fā)現(xiàn)多模態(tài)信息搜索在準(zhǔn)確性上表現(xiàn)較好，而完整性上則表現(xiàn)較差。在需求階段需求理解上比較費(fèi)時(shí)，普遍存在重復(fù)確認(rèn)現(xiàn)象。在搜索方式上仍以文字搜索和跨平臺(tái)搜索為主，且搜索策略調(diào)整次數(shù)較多，在搜索模態(tài)上轉(zhuǎn)變較頻繁。在信息收集上集中于百科類網(wǎng)頁(yè)，特別是百度百科占了絕大多數(shù)，而社交媒體和電商應(yīng)用軟件也成為用戶的多模態(tài)信息來(lái)源之一。

3 研究建議

通過(guò)本研究，發(fā)現(xiàn)當(dāng)前的信息系統(tǒng)還無(wú)法兼顧文本、圖片和音頻信息搜索的查全率和查準(zhǔn)率，致使用戶在搜索多模態(tài)信息時(shí)，需跨平臺(tái)、換模態(tài)和多次重復(fù)搜索，且搜索結(jié)果還不完整。在內(nèi)容上也無(wú)法滿足用戶的可視化、娛樂(lè)性和富含文化底蘊(yùn)的信息需求。此外，實(shí)驗(yàn)還發(fā)現(xiàn)用戶本身對(duì)多模態(tài)信息搜索也存在認(rèn)知不足，包含對(duì)信息的多模態(tài)表現(xiàn)形式、獲取方式和信息整合等認(rèn)知，具體表現(xiàn)在需求確定過(guò)程中重復(fù)確認(rèn)搜索任務(wù)的次數(shù)多，搜索策略調(diào)整次數(shù)多，在搜索模態(tài)上轉(zhuǎn)換頻繁。對(duì)此本研究從多模態(tài)信息系統(tǒng)設(shè)計(jì)與開發(fā)與用戶信息素養(yǎng)教育方面提出建議。

3.1 多模態(tài)信息系統(tǒng)開發(fā)與設(shè)計(jì)

在多模態(tài)信息搜索系統(tǒng)開發(fā)與設(shè)計(jì)方面，本研究認(rèn)為，要兼顧查全率和查準(zhǔn)率，需在檢索頁(yè)面設(shè)計(jì)方面，探索圖像、視頻、文本、語(yǔ)音等多模態(tài)輸入的高效感知與綜合理解手段[34]，提供文字輸入的同時(shí)，增加語(yǔ)音、圖片和音頻輸入功能，放置顯眼區(qū)域，強(qiáng)化引導(dǎo)用戶用多模態(tài)進(jìn)行檢索，擴(kuò)大檢索面。此外，針對(duì)用戶的跨屏信息搜索需求也應(yīng)提供更好的跨屏檢索服務(wù)[35]。在多模態(tài)信息融合方面，建立多模態(tài)信息語(yǔ)義系統(tǒng)，將語(yǔ)義相同的不同模態(tài)信息進(jìn)行多維度關(guān)聯(lián)，擴(kuò)充信息系統(tǒng)的不同模態(tài)的信息資源，以提升整個(gè)系統(tǒng)的查全率和查準(zhǔn)率。在多模態(tài)信息呈現(xiàn)方面，改變以文本信息為主的傳統(tǒng)網(wǎng)頁(yè)呈現(xiàn)形式，呈現(xiàn)兼顧可視化、娛樂(lè)性和文化底蘊(yùn)的多模態(tài)信息，具體可通過(guò)語(yǔ)義關(guān)聯(lián)將文本信息、圖片信息和音頻信息深度融合并分類呈現(xiàn)，努力做到多模態(tài)信息一站式檢索，需求一站式滿足。

3.2 多模態(tài)信息素養(yǎng)提升

在數(shù)字化媒體盛行的新時(shí)代，信息素養(yǎng)是學(xué)生適應(yīng)當(dāng)下、迎接未來(lái)所必須具備的能力素養(yǎng)之一[36]。因此在多模態(tài)信息素養(yǎng)培養(yǎng)方面，學(xué)校應(yīng)根據(jù)多模態(tài)信息特征，努力幫助學(xué)生避免因信息表現(xiàn)形式多而導(dǎo)致信息迷航，跳出因精準(zhǔn)推薦導(dǎo)致的信息繭房。重點(diǎn)圍繞幫助學(xué)生明確問(wèn)題對(duì)象-“要何種信息做什么”；明確信息搜索目標(biāo)-“滿足什么樣的需求”；明確時(shí)間-解決問(wèn)題的時(shí)間節(jié)點(diǎn)；明確信息內(nèi)容-信息的表現(xiàn)方式（文本、圖片或音頻等模態(tài)）；明確信息搜索策略（不同搜索模態(tài)的不同搜索路徑、搜索方法和信息源等）。增設(shè)多模態(tài)信息搜索、加工利用教學(xué)課程，培養(yǎng)相關(guān)能力。一方面，針對(duì)不同信息對(duì)象靈活開展各種模態(tài)信息的相關(guān)檢索策略、語(yǔ)言和路徑等系統(tǒng)的理論指導(dǎo)教育，培養(yǎng)學(xué)生多模態(tài)搜索信息的意識(shí)，引導(dǎo)學(xué)生善于利用知識(shí)整合需求信息、構(gòu)造檢索式、多途徑搜索。另一方面，學(xué)校需在理論指導(dǎo)上輔以合作基地進(jìn)行實(shí)踐教學(xué)，例如建立以文字為主的中國(guó)知網(wǎng)數(shù)據(jù)庫(kù)、圖片為主的淘寶電商網(wǎng)站、以視頻為主的抖音短視頻開發(fā)商等校企合作鏈，定期安排學(xué)生到合作基地進(jìn)行學(xué)習(xí)，加強(qiáng)學(xué)生對(duì)圖片和音頻信息的特征挖掘、信息融合和檢索技術(shù)等方面的認(rèn)識(shí)與實(shí)踐。

3.3 加強(qiáng)多模態(tài)信息搜索行為倫理與法規(guī)引導(dǎo)

多模態(tài)信息涉及到了許多知識(shí)產(chǎn)權(quán)、設(shè)計(jì)專利和個(gè)人隱私等信息，規(guī)范多模態(tài)信息行為的重要性不言而喻。規(guī)范多模態(tài)信息行為，從源頭上看是要用戶形成信息自覺(jué)，實(shí)現(xiàn)則從培養(yǎng)信息用戶的信息倫理意識(shí)著手。要使用戶在主觀上尊重知識(shí)產(chǎn)權(quán)，保護(hù)隱私信息，抵制不良信息，在行動(dòng)上杜絕網(wǎng)絡(luò)謠言、信息暴力和網(wǎng)絡(luò)詐騙等行為。重點(diǎn)是完善相關(guān)的法律法規(guī)，特別是知識(shí)產(chǎn)權(quán)和個(gè)人信息方面的法律，增加多模態(tài)信息違法成本，將法律監(jiān)管覆蓋多模態(tài)信息的產(chǎn)生、加工和傳播等全過(guò)程。建立多模態(tài)信息誠(chéng)信黑名單制度，一旦發(fā)現(xiàn)有相關(guān)不良信息記錄的用戶或平臺(tái)立即發(fā)出警告，嚴(yán)重者將其列入信息誠(chéng)信黑名單、封鎖相關(guān)賬號(hào)并追究其相關(guān)法律責(zé)任，限制其對(duì)多模態(tài)信息發(fā)表、下載、轉(zhuǎn)發(fā)和保存的權(quán)限。

4 結(jié)束語(yǔ)

本文依據(jù)信息搜索行為階段理論，分析多模態(tài)信息搜索行為特征，通過(guò)實(shí)驗(yàn)研究，發(fā)現(xiàn)多模態(tài)信息搜索在準(zhǔn)確性上表現(xiàn)較好，而完整性上則表現(xiàn)較差；對(duì)多模態(tài)信息搜索在需求階段需求理解上比較費(fèi)時(shí)，普遍存在重復(fù)確認(rèn)現(xiàn)象。在搜索階段仍以文字搜索和跨平臺(tái)搜索為主，且搜索策略調(diào)整次數(shù)較多，在搜索模態(tài)上轉(zhuǎn)變較頻繁。在信息收集階段，收集渠道集中于百科類網(wǎng)頁(yè)特別是百度百科占了絕大多數(shù)，而社交媒體和電商應(yīng)用軟件也成為用戶的多模態(tài)信息來(lái)源之一。

本研究也存在一定的局限性。一方面人工對(duì)錄屏數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析可能存在一定誤差，個(gè)人理解差異也可能對(duì)分析結(jié)果產(chǎn)生一定的影響；另一方面研究群體覆蓋面不夠廣，分析指標(biāo)也需要進(jìn)一步豐富。未來(lái)可針對(duì)以上不足，擴(kuò)大樣本，采用多種統(tǒng)計(jì)分析方法，提高研究的科學(xué)性和全面性。