社交媒體歸檔工具的功能分析與設計

張 雪 周 毅/蘇州大學社會學院

信息時代，社交媒體的影響力日益增加，2020年社交媒體用戶超過38億[1]。社交媒體作為發(fā)布權威信息以及與公眾交流的重要平臺，其內(nèi)容在構建社會記憶、留存歷史憑證、提供決策支持方面發(fā)揮重要作用[2]。2019年1月1日實施的《機關檔案管理規(guī)定》指出機關檔案包括業(yè)務數(shù)據(jù)、公務電子郵件、網(wǎng)頁信息和社交媒體檔案，肯定了社交媒體信息的歸檔價值并賦予社交媒體檔案一級門類代碼，為該類檔案管理實踐提供指導。

社交媒體的動態(tài)內(nèi)容、龐大數(shù)據(jù)集和富媒體增加了歸檔難度，Archive Social、Archive It等歸檔工具應運而生，為機構組織提供專業(yè)的歸檔服務。學界對這類工具的研究分為三種：第一種是針對后續(xù)利用和管理痛點對歸檔工具的功能進行考察評估[3]；第二種是針對檔案歸檔不同階段的社交媒體歸檔工具進行分析和比較[4][5]；第三種是基于不同社交媒體平臺特性進行歸檔工具的研發(fā)和功能探討[6][7]。從總體上看，現(xiàn)有研究多是在歸檔的某個環(huán)節(jié)上進行社交媒體歸檔的功能設計，以及實現(xiàn)從捕獲—保存—利用的社交媒體全流程歸檔工具的功能設計。因此，本文在解析國外主流社交媒體歸檔工具的實踐與應用進展基礎上，從全流程上探討社交媒體歸檔工具設計的原則和功能要求，以期為我國社交媒體文件歸檔軟件的開發(fā)提供指導。

1 國外社交媒體歸檔工具應用進展分析

目前在實踐中使用的社交媒體歸檔工具主要有以下幾種：由存檔主體自行開發(fā)的網(wǎng)絡存檔工具；使用技術公司、國際網(wǎng)絡存檔組織開發(fā)的開源工具；將不同開源工具組合使用以實現(xiàn)自身網(wǎng)絡存檔目標等。這些工具在社交媒體檔案的捕獲、保存和利用等不同階段發(fā)揮著不同作用。

1.1 社交媒體歸檔工具的捕獲功能分析

不同捕獲工具在捕獲方式、捕獲內(nèi)容、捕獲格式、捕獲數(shù)量、內(nèi)容安全保護、操作難度上各有不同。歸檔工具對于內(nèi)容的捕獲包括調(diào)用API接口、網(wǎng)頁快照、網(wǎng)頁爬行三種方式，捕獲的內(nèi)容以HTML網(wǎng)頁、圖像、音視頻文件為主，分為多格式內(nèi)容捕獲和單格式內(nèi)容捕獲；部分工具僅支持靜態(tài)內(nèi)容的捕獲。對于圖片、音視頻等動態(tài)內(nèi)容，需溯源社交媒體平臺獲取其數(shù)據(jù)，若存檔主體對其動態(tài)內(nèi)容進行刪除、更改等操作，這些內(nèi)容面臨丟失的風險，因此單格式內(nèi)容的捕獲往往同其他開源工具組合使用。大部分工具都支持WARC格式和ARC格式，部分工具提供定期檢測和更新存檔內(nèi)容功能。相比Httrack等工具需用戶手動輸入指令監(jiān)測并更新，Archive Social能夠自動檢測隱藏和刪除的內(nèi)容，并實時記錄。在捕獲內(nèi)容的數(shù)量方面，部分工具受社交媒體平臺自身和瀏覽器的服務限制，捕獲內(nèi)容數(shù)量和速率受到限制。如TAGS允許消費者賬戶每日捕獲20000條記錄，政府和教育機構用戶的上限更高。捕獲準確性受檢索方式和內(nèi)容權限影響，如Heritrix爬行未經(jīng)授權訪問網(wǎng)頁時可能會破壞爬行結果，導致文件刪除、損壞、替換。TAGS采取關鍵詞檢索方式獲取記錄，檢索結果查全率低。在操作難度方面，部分工具需要用戶掌握IT專業(yè)知識，操作難度高。Web Curator Tool、Archive Social由圖書館和存檔服務公司自行開發(fā)，降低了對用戶的技術要求，其工具界面設置簡易、操作便捷，并且功能設計模塊化，允許用戶根據(jù)其需求調(diào)用不同組件組成業(yè)務模塊，供不同功能使用。

1.2 社交媒體歸檔工具的保存功能分析

社交媒體歸檔工具的保存功能涉及歸檔內(nèi)容安全管控和保存期限兩方面，其中歸檔內(nèi)容的安全管控包括時間戳認證、權限訪問和備份。社交媒體記錄存檔應當保障內(nèi)容完整且未經(jīng)修改。大部分工具在生成數(shù)據(jù)記錄時附帶生成時間戳，這一時間戳格式符合官方認證的時間戳標準，保證記錄的存在性和完整性。可訪問性方面分為兩種，一種是用戶通過身份驗證后對所有內(nèi)容進行訪問和更改等操作；另一種用戶的操作權限依用戶等級而定。就后者而言，操作權限通常分為三種：安全管理員權限、只讀管理員權限和社交媒體賬戶所有者權限，其中安全管理員可以訪問所有存檔內(nèi)容并進行更改、刪除等操作；只讀管理員僅可訪問存檔內(nèi)容；社交媒體賬戶所有者只能對自身賬戶內(nèi)容進行相關操作。部分工具考慮到安全風險會導致數(shù)據(jù)丟失，對數(shù)據(jù)庫進行定期快照備份，并將這些文件旋轉(zhuǎn)到二級存儲環(huán)境，幫助用戶在風險發(fā)生后快速重建。在保存期限方面，部分工具設置了靈活的保留規(guī)則，如Mirror Web和Archive Social允許用戶設置記錄的保留規(guī)則，并且當用戶注銷賬號時仍然在一定期限內(nèi)為用戶保留記錄。

1.3 社交媒體歸檔工具的利用功能分析

社交媒體歸檔工具利用功能側(cè)重于記錄的查找和導出，部分工具提供了基于記錄的分析功能。歸檔工具提供關鍵字、日期、網(wǎng)絡、用戶名、內(nèi)容類型、全文檢索或標簽等多種檢索途徑，可在組織的所有社交媒體上進行搜索。過濾器可以快速細化結果，查找范圍包括已刪除的存檔記錄。不同檢索方式的查全率和查準率也不同，如SFM等工具支持關鍵詞檢索，檢索結果僅顯示推文中包含了檢索詞的記錄，查全率低；Mirror Web對所有數(shù)字資產(chǎn)進行完全索引，提高了檢索的速度和準確性。在格式輸出方面，各工具將歸檔記錄以PDF、HTML和Excel多種格式導出，用戶按需執(zhí)行導出，并生成具有突出顯示的搜索結果和詳細導出描述的演示文稿[8]。

除了檢索、格式導出等基本功能，部分工具還有償提供高級功能，如元數(shù)據(jù)分析、可視化、輿情監(jiān)測控制等。Archive Social等工具提供存檔記錄的元數(shù)據(jù)，并根據(jù)元數(shù)據(jù)分析生成高級抓取報告，其中包括MIME類型的完整細分。TAGS安裝了Nodexl和Gephi插件，通過標簽和記錄分析能夠找到最具影響力的用戶。數(shù)據(jù)可視化方面，Web Curator Tool提供Heat Map功能，顯示一段時間內(nèi)的預定收獲。TAGS安裝了谷歌地圖插件，能夠顯示twitter貢獻者地圖。為總結各類不同歸檔工具的功能差異，在此我們對國外主要社交媒體歸檔工具的功能特點通過表1方式進行比較。

2 社交媒體歸檔工具設計原則

基于上文對國外社交媒體歸檔工具功能及其基本特點的分析，可以看出社交媒體歸檔工具的功能始終圍繞社交媒體記錄內(nèi)容恒久且可讀、證據(jù)效力保全、檢索提取便利展開。本文結合上述實踐案例，總結出了社交媒體歸檔工具設計的基本原則。

2.1 真實性。真實性指歸檔文件的內(nèi)容和形成過程記錄真實完整。社交媒體文件逐漸成為電子證據(jù)的主要組成部分，但其證據(jù)效力仍然受到質(zhì)疑，真實性是歸檔的社交媒體文件行政有效性和法律證據(jù)性的基礎。電子文件成為電子證據(jù)需要具備兩個條件：一是內(nèi)容真實，二是形成過程可靠[9]。對于社交媒體文件來說，首先保障社交媒體文件記錄完整性，即社交媒體記錄內(nèi)容、背景和結構信息真實，在記錄生成、保管、遷移過程中保持原有的信息固化形式，確保內(nèi)容完整。其次保障社交媒體文件記錄真實性。社交媒體記錄的形成過程被認可，歸檔記錄傳輸、保管等一系列數(shù)據(jù)變更操作可驗證和回溯，保證歸檔內(nèi)容未被篡改。

2.2 有效性。有效性指信息使用的有效性，即保存的記錄能夠被永久地讀取[10]。存儲格式的公開化和標準化是保障社交媒體歸檔文件持久生命力的必要條件，社交媒體歸檔文件應依據(jù)公開的格式標準進行存儲和記錄，公開的標準能夠保障文件的長期可訪問性，減少歸檔機構由于自身制定的規(guī)則不符合規(guī)范導致電子文件不可訪問的可能性。

2.3 通用性。通用性指社交媒體文件在保存的過程中，文件存儲格式被相關行業(yè)的認同度和現(xiàn)有軟件的支持力度，即該格式能否得到商業(yè)使用者和開發(fā)資源者的廣泛支持。目前國內(nèi)提出《網(wǎng)絡資源歸檔格式標準》《文獻管理長期保存的電子文檔文件格式第一部分：PDF1.4（PDF/A—1）的使用》等文件，規(guī)范電子文件長期保存格式。社交媒體歸檔工具應該充分了解權威機構和行業(yè)規(guī)范，選取行業(yè)內(nèi)認可度高的格式標準作為歸檔文件捕獲、描述和存儲的標準格式，并在用戶使用時將這類格式設置為默認推薦格式。除了歸檔文件的信息內(nèi)容格式需符合國家標準化組織（ISO）標準和行業(yè)規(guī)范，歸檔記錄的歸檔內(nèi)容格式、數(shù)字簽名和時間戳等底層數(shù)據(jù)格式也應該符合相關權威標準。

2.4 靈活性。靈活原則指社交媒體歸檔工具為用戶服務時，考慮到用戶需求不同，為用戶提供靈活的處理和保留原則。社交媒體文件歸檔時，由于歸檔文件重要性不同，其保留期限會有所變化。社交媒體歸檔工具在設計時應盡可能考慮用戶需求，為用戶提供選擇范圍，允許用戶根據(jù)自身需求靈活處理和保留歸檔文件。

表1：國外社交媒體歸檔工具功能分析簡表

2.5 便利性。便利性原則指社交媒體降低工具使用難度，提高用戶使用效率和用戶體驗。社交媒體歸檔工具界面應盡量做到頁面簡潔、功能設計直觀，可以提供相關功能使用說明或者界面導航功能；在頁面上插入文字、圖片等多樣化元素，豐富頁面內(nèi)容；在頁面返回等地方設置醒目引導標識，引導用戶快速熟悉內(nèi)部功能。此外，在歸檔文件利用方面，該工具應支持多途徑、智能化的檢索功能，如提供自定義標簽、歸檔時間、歸檔主題、用戶等多個途徑檢索相關歸檔文件，提高用戶的檢索效率。

3 社交媒體歸檔工具的功能需求及其設計

本文參照上文有關國外社交媒體歸檔工具的應用進展、功能特點和設計原則，結合數(shù)字檔案信息的完整性、可用性以及證據(jù)性的目標[11]，從以下方面對社會媒體歸檔工具的功能需求進行表達和設計。

3.1 歸檔范圍和深度鏈接設置

通過歸檔范圍和深度鏈接設置幫助機構用戶自定義歸檔范圍。在歸檔范圍層面，社交媒體頁面不僅包含機構賬戶發(fā)布內(nèi)容，也包含其他賬戶評論、回復與私信等互動內(nèi)容。不同機構由于需求不同，所需歸檔范圍也不同，盲目地將所有頁面內(nèi)容捕獲歸檔會增加存儲空間和內(nèi)容管理的壓力，造成資源浪費。社交媒體捕獲工具應提供多種歸檔范圍供機構用戶選擇，將最常用的歸檔范圍設置為默認范圍，當用戶沒有設置歸檔范圍類型時，系統(tǒng)默認按照標準格式進行捕獲。以Archive Social為例，該工具嚴格按照用戶指定的社交媒體賬戶和頁面范圍捕獲內(nèi)容，以社交媒體賬戶為單位進行捕獲，不僅可以捕獲目標賬戶中評論、回復和私信等完整的社交媒體活動信息，還可以追溯該賬戶建立之初的信息[12]。

深度鏈接包括同一站點的內(nèi)部深度鏈接和外部深度鏈接兩種類型。由于深度鏈接的作用不同，一些深度鏈接作為補充內(nèi)容，幫助用戶更加明確直觀地了解發(fā)布內(nèi)容，也有一些鏈接用于廣告營銷[13]。因此社交媒體歸檔軟件在設計功能時，應允許用戶根據(jù)鏈接的有效性和重要性選擇是否歸檔。此外，在歸檔時應考慮深度鏈接的可用性。Web Preserver.com以PNF和HTML靜態(tài)頁面格式呈現(xiàn)捕獲內(nèi)容，子頁面信息和超鏈接內(nèi)容無法查看，給用戶訪問利用深度鏈接內(nèi)容帶來不便。因此社交媒體歸檔工具應該以正確格式捕獲鏈接，同時提取該鏈接網(wǎng)頁快照，保證歸檔后的深度鏈接能夠通過內(nèi)部跳轉(zhuǎn)實現(xiàn)訪問和利用，如果該鏈接網(wǎng)頁由于刪除等原因無法跳轉(zhuǎn)，用戶可通過網(wǎng)頁快照瀏覽其內(nèi)容。

3.2 集成多源捕獲渠道

社交媒體歸檔工具應豐富其信息捕獲渠道，支持多個主流社交平臺，幫助用戶全面搜集關聯(lián)賬戶內(nèi)容。社交媒體歸檔工具應考慮兩個問題：一是社交媒體記錄場景多樣。社交媒體已成為政府、企業(yè)和個人線上活動的主要場所[14]。為了提高宣傳和互動效果，用戶在多個社交媒體平臺上發(fā)布內(nèi)容，而這就為信息收集歸檔工作帶來困難。因此，應該根據(jù)用戶要求，既能夠?qū)蝹€平臺信息內(nèi)容進行捕獲，又能夠即時且持續(xù)地捕獲關聯(lián)同一賬戶的多個社交媒體平臺信息內(nèi)容，解決由多平臺發(fā)布信息導致信息捕獲不全面、不同平臺信息獲取規(guī)則不同等問題，實現(xiàn)同一組織機構賬號不同平臺信息內(nèi)容的全面收集。二是多賬號持有者的社交媒體組合。傳統(tǒng)社交媒體信息歸檔需要獲取管理者登錄信息和信息訪問權限才能進行信息的捕獲歸檔，但一些組織機構的社交媒體組合分布在多個部門或者由單人管理，這為歸檔內(nèi)容的真實性、私密性和安全性帶來隱患。社交媒體歸檔工具可以通過快速關聯(lián)相關賬戶捕獲信息解決這一問題，無需獲取登錄和訪問權限，實現(xiàn)低成本且高效的集中社會媒體存檔。

3.3 實時高效捕獲信息

社交媒體歸檔工具應注重社交媒體信息捕獲效率，高效捕捉動態(tài)的社交媒體信息，這主要體現(xiàn)在信息捕捉持續(xù)性、即時性和準確性三個方面。首先，社交媒體信息存在于組織網(wǎng)絡之外，具有高度動態(tài)性，信息內(nèi)容的產(chǎn)生和刪除具有不確定性。社交媒體歸檔工具應提供連續(xù)存檔解決方案，24小時自動捕捉并保存新的社交媒體記錄，降低丟失已刪除記錄的風險。其次，社交媒體信息內(nèi)容更新速度快，社交媒體歸檔工具應持續(xù)跟蹤關聯(lián)賬戶更新內(nèi)容，即時捕捉更新監(jiān)測信息內(nèi)容。最后，在注重信息搜集速度的同時，也要保障捕獲信息質(zhì)量。持續(xù)對目標賬戶的社交媒體歷史進行重復驗證，以確保即使網(wǎng)絡停機或社交媒體平臺設置更改能準確、完整地捕獲社交媒體賬戶信息。

3.4 格式多樣化操作

社交媒體歸檔工具應注重歸檔格式可持續(xù)性。格式可持續(xù)性是數(shù)字檔案資源長期保存的目標之一，直接關系到檔案資源的真實性、完整性和可靠性[15]。因此，在歸檔信息捕獲、保存、輸出三個環(huán)節(jié)都需要考慮格式問題。捕獲階段支持多種記錄格式的信息捕捉。社交媒體網(wǎng)絡的數(shù)據(jù)傳播格式包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)，應準確捕捉社交媒體記錄使用的各種數(shù)據(jù)格式，并直觀地顯示結果記錄。保存階段，真實且完整地記錄文件格式。捕捉歸檔社交媒體記錄時，不僅對記錄拍攝HTML快照，同時記錄社交媒體記錄的底層數(shù)據(jù)，以便后期利用時還原檔案。

利用階段，提供可用格式記錄的定位和生成功能。社交媒體記錄格式多樣，根據(jù)用戶的使用要求提供不同輸出格式選項，讓用戶能以各種靜態(tài)格式導出記錄。此外，數(shù)字簽名、本機格式、圖像等底層數(shù)據(jù)內(nèi)容也應允許用戶根據(jù)自身需要選擇性地輸出。

3.5 歸檔文件保全

社交媒體歸檔工具必須保全歸檔記錄的證據(jù)效力。社交媒體信息作為社會記憶，有利于在未來重現(xiàn)過去的文化規(guī)范、對話、趨勢和事件[16]。只有當社交媒體歸檔記錄的證據(jù)效力得到保障，該記錄在司法鑒定審查時才可以被法律接受。因此，主要從三個方面入手：一是保證社交媒體文件的原始性。捕獲社交媒體文件時，應以原生格式捕獲并保留數(shù)據(jù)，保證社交媒體文件與生成時狀態(tài)一致，內(nèi)容完整且沒有被篡改。二是社交媒體文件的完整性。捕捉社交媒體記錄時，不僅需要拍攝HTML快照，還應提供記錄的底層數(shù)據(jù)格式，內(nèi)容包括記錄內(nèi)容、結構、背景信息和記錄機構長期保存行為與活動的詳細記錄。如Archive Social允許用戶按時間順序查看之前所有的編輯行為，確保用戶擁有可以合法提交的認證記錄[17]。三是社交媒體文件的真實性。社交媒體記錄不能使用網(wǎng)頁編輯器、圖像處理軟件或其他手段偽造。社交媒體歸檔工具應對歸檔中的每個記錄應用一個可信時間戳，處理數(shù)據(jù)格式時，時間戳被打包進社交媒體記錄的底層數(shù)據(jù)?？尚艜r間戳作為數(shù)字簽名證明歸檔記錄在歷史上特定時間存在，并且沒有被編輯或以任何方式偽造，從而確保捕獲社交媒體記錄具有真實性。

3.6 歸檔數(shù)據(jù)深度分析

社交媒體歸檔工具應注重歸檔數(shù)據(jù)的價值挖掘。社交媒體已成為社會情緒的主要宣泄場地[18]，數(shù)據(jù)背后體現(xiàn)了用戶的熱門關注內(nèi)容、評論者情緒趨勢、參與度、平臺使用情況等內(nèi)容，因此社交媒體歸檔工具的功能不應局限于記錄的捕獲和歸檔，而是應當提供歸檔數(shù)據(jù)的分析功能以挖掘歸檔記錄的價值。使用捕獲的數(shù)據(jù)記錄幫助組織執(zhí)行其社交媒體政策并快速回應問題，分析數(shù)據(jù)中背后的評論者情緒趨勢、參與度、平臺使用情況等內(nèi)容，將定制的監(jiān)控和警報功能與可視化報告相結合，增強機構對整個社會媒體組合的控制、響應能力和洞察力。如Archive Social重視挖掘歸檔數(shù)據(jù)深度價值，該軟件有償提供管理和分析（Archive Social's Risk Management And Analytics）套件，該套件允許用戶利用預填充字典自定義設置關鍵字警報，RMA持續(xù)監(jiān)控某一社交媒體組合，并在發(fā)現(xiàn)特定的單詞、短語或模式時發(fā)出警告，從而減少風險。此外該套件將檔案中捕獲的數(shù)據(jù)轉(zhuǎn)為動態(tài)報告，清楚地展示社交媒體活動的影響，幫助機構尋找潛在合作者。

3.7 歸檔記錄定位

社交媒體歸檔工具提供高級檢索和標簽功能，實現(xiàn)歸檔記錄再利用。從檔案的生命周期來看，歸檔記錄的再利用是社交媒體歸檔的最終目的。在數(shù)量龐大、格式多樣的社交文件記錄中快速且準確地定位所需記錄，需要復雜搜索引擎和社會化標簽系統(tǒng)的支持。高級檢索功能允許用戶按照內(nèi)容類型、日期范圍、網(wǎng)絡、關鍵字、參與者或者標簽進行搜索，過濾器幫助用戶快速優(yōu)化檢索結果，提高用戶檢索效率。標簽標注功能實現(xiàn)歸檔內(nèi)容的組織和過濾。用戶制定分類標準，并提交Tag標簽，檢索系統(tǒng)根據(jù)用戶自定義標簽來決定歸檔信息內(nèi)容組織方式，幫助用戶自由組織歸檔[19]。此外，社會化標簽功能還能夠幫助組織機構過濾用戶。Tweet Archivist為每個活動提供哈希主題標簽，當用戶發(fā)布活動相關推文就會自動攜帶活動主題標簽，通過分析所有攜帶主題標簽的用戶的影響指數(shù)，尋找最有影響力和發(fā)言權的用戶尋求合作[20]。

3.8 個性化處理和保留

個性化處理保留功能可為用戶提供更多選擇空間。首先，在信息捕獲環(huán)節(jié)，用戶根據(jù)需求自行設置捕獲記錄內(nèi)容、頻次、日期，捕獲內(nèi)容可以是某個標簽、用戶、復雜查詢、布爾邏輯搜索、術語等，并根據(jù)用戶的設置提取記錄。其次，部分社交媒體文件由于文件類型、內(nèi)容的不同在保留和處理時需要特別考慮，應允許用戶根據(jù)需要定制的處置規(guī)則，這些規(guī)則包括保留規(guī)則名稱、歸檔文件描述、保留時間范圍設定、文件所有者設定等內(nèi)容，且設置記錄在系統(tǒng)后臺可以查看。最后，用戶能夠設置黑名單和白名單權限，快速、安全地進行數(shù)據(jù)遷移，搜索重放內(nèi)容，查看報告和通知。