國外社交媒體歸檔項目研究及啟示

王志宇 袁馨怡

摘要：隨著web2.0技術(shù)的不斷進(jìn)步和發(fā)展，微博、博客、微信等社交媒體平臺越來越受到公眾的歡迎。海量的社交媒體信息記錄著大量零散的生活記憶和社會記憶。國外如美國、英國、澳大利亞等國家對社交媒體信息歸檔的研究處于理論與實踐結(jié)合并不斷深入的過程中，而我國目前還處在理論多、實踐少的起步階段。本文具體從捕獲、鑒定、保存、利用方面分析了國外社交媒體歸檔項目，為今后我國的研究提供可行性的參考。

關(guān)鍵詞：社交媒體歸檔Twitter歸檔社會記憶

作為延續(xù)人類社會記憶的形式，社交媒體信息在本質(zhì)上具有與檔案相同的屬性，它反映了社會現(xiàn)象與人類活動，其內(nèi)容應(yīng)被歸檔保存，蘊(yùn)含的潛在價值也應(yīng)被挖掘。這種非結(jié)構(gòu)化的社交媒體信息，其管理過程應(yīng)以傳統(tǒng)檔案的歸檔方法為基礎(chǔ)，但又與其存在差異。在對社交媒體信息檔案化管理的道路上，美、英、澳等發(fā)達(dá)國家正在進(jìn)行的歸檔項目值得我國檔案部門研究與借鑒。

一、社交媒體信息的捕獲

（一）美國國會圖書館歸檔Twitter項目

美國是社交媒體信息歸檔研究的代表性國家，早在2010年12月8日，美國國家檔案與文件署（NARA）在其官網(wǎng)上發(fā)布了《社交媒體戰(zhàn)略》。該戰(zhàn)略提到“社交媒體作為一種工具，能夠使機(jī)構(gòu)職能和服務(wù)公眾的方式發(fā)生一定程度的轉(zhuǎn)變。機(jī)構(gòu)也會因此越來越公開、透明，促進(jìn)機(jī)構(gòu)間的參與及合作。它將幫助檔案機(jī)構(gòu)完成作為國家記錄保存者的任務(wù)——保護(hù)國家文件記錄，并由此增強(qiáng)對公眾的可用性?！盵1]同年4月14日，美國國會圖書館（LC）啟動了Twitter歸檔項目，“LC與Twitter簽署了《捐贈協(xié)議》，Twitter向LC捐贈自其建立時起的全部公開推文，歸檔對象即2006年3月至2010年4月的公開推文，美國國會圖書館作為此次歸檔主體。Twitter歸檔項目正式啟動，消息首次通過LC官方推特賬號@LibraryCongress發(fā)布?！盵2]并在2013年1月發(fā)布了Twitter存檔的白皮書，題為《Update on the Twitter Archive at the Library of Congress》，其目標(biāo)是“采集并保存2006-2010年的tweets檔案；建立一個安全可持續(xù)的計劃，以接收和存儲每天不斷流動的推文流；并創(chuàng)建一個按日期組織所有推文文件的系統(tǒng)結(jié)構(gòu)?！盵3]國會圖書館和Twitter已經(jīng)獲得了通過捐贈存檔社交媒體信息的權(quán)利。

（二）美國社交媒體信息捕獲的保障

NARA在《社交媒體文件捕獲最佳指南》中聲明，“承諾響應(yīng)聯(lián)邦政府部分機(jī)構(gòu)工作人員的要求與指導(dǎo)請求并予以兌現(xiàn)”[4]，因此，可知社交媒體有一個獨立的捕獲主體就是政府機(jī)構(gòu)，為社交媒體信息的捕獲與歸檔工作提供機(jī)構(gòu)保障。對此，“美國制定了《隱私權(quán)法》《聯(lián)邦記錄法》《信息自由法》，美國政府問責(zé)局頒布了《聯(lián)邦機(jī)構(gòu)所需的信息管理及保護(hù)的政策和程序GAO-11-60文件》、美國國家檔案與文件管理署發(fā)布了《美國國家檔案與文件管理署2014-02布告》”[5]等一系列法律法規(guī)，共同組成了美國社交媒體信息捕獲歸檔的規(guī)范性法規(guī)體系。

可見，捕獲社交媒體信息，首先需要明確捕獲主體，是檔案部門、政府機(jī)構(gòu)還是多重主體，還要求具備法律政策、捕獲技術(shù)的保障，否則社交媒體信息捕獲并歸檔的實施很難步入正軌，然而目前來看我國只有《檔案法及實施辦法》《電子公文歸檔管理暫行辦法》《文書類電子文件元數(shù)據(jù)方案》《電子檔案移交與接收辦法》等與社交媒體記錄捕獲歸檔有一定關(guān)系，但尚未制定與捕獲社交媒體信息直接相關(guān)的法規(guī)政策。

（三）社交媒體信息的捕獲技術(shù)

綜合國外社交媒體歸檔項目的數(shù)據(jù)捕獲與采集技術(shù)可以看到，對于社交媒體信息的捕獲往往采用以下幾種方式：1.可采用網(wǎng)頁截圖技術(shù)。這是一種常見的將信息以圖片的形式捕獲下來的技術(shù)，由于社交媒體信息多以HTML形式在瀏覽器中呈現(xiàn)，而保證其原始性最直接的辦法就是網(wǎng)頁截圖。截圖技術(shù)并不是很難做到的高深技術(shù)，但如何按歸檔需求截取海量且實時更新的社交媒體信息并將如此大批量的非結(jié)構(gòu)化圖片文件歸檔保存則是一種需要探索的管理方案。2.網(wǎng)絡(luò)爬蟲技術(shù)?！八且环N利用一定的規(guī)則，自動抓取萬維網(wǎng)的信息的程序或者腳本”[6]的技術(shù)。其優(yōu)點在于科學(xué)性，爬蟲的捕獲速度非常迅捷，也是最為廣泛使用的捕獲技術(shù)，很多國內(nèi)外從事社交媒體分析的科研人員都采用網(wǎng)絡(luò)爬蟲的方式將社交媒體信息以JSON或XML等格式保存到電腦中并用數(shù)據(jù)挖掘技術(shù)予以統(tǒng)計和分析。3.使用API應(yīng)用程序接口。此即由社交媒體運(yùn)營服務(wù)器提供開放后臺接口，將數(shù)據(jù)從后臺數(shù)據(jù)庫通過API直接下載到本地，這往往需要和社交媒體公司簽訂協(xié)約，令其對檔案部門供應(yīng)數(shù)據(jù)。此外使用RSS訂閱、聚合的方法來捕獲社交媒體信息也具有很多優(yōu)勢，如捕獲信息準(zhǔn)確、成本低、時效性強(qiáng)等特點，但需要社交媒體服務(wù)器提供數(shù)據(jù)聚合用到的Feed。

二、社交媒體信息的鑒定

（一）美、英、澳的社交媒體信息的鑒定工作

對社交媒體的鑒定工作，各個國家在探索中逐漸形成了自己的顯著特色。英國國家檔案館對社交媒體信息內(nèi)容的歸檔規(guī)定，不是全部的推文都將被歸檔，其中的轉(zhuǎn)載和評論不屬于歸檔范疇，其歸檔范圍包括正文和背景信息。澳大利亞和美國的社交媒體信息存檔并不直接對其政府負(fù)責(zé)?！皣噎h(huán)境保護(hù)機(jī)構(gòu)與美國海岸警衛(wèi)隊聲明，與該部門無關(guān)的社交媒體信息政務(wù)性的言語應(yīng)被刪掉”[7]，澳大利亞國家檔案館提出“鑒定技術(shù)與方法政策隨著工具的變化而選擇，還將對有關(guān)部門進(jìn)行咨詢”[8]，澳大利亞和美國在國家級方面暫時還沒有準(zhǔn)確的標(biāo)準(zhǔn)制定，因此在具體選擇歸檔哪些社交媒體信息方面具有自主性，與此同時要遵循國家及有關(guān)部門的相關(guān)規(guī)定與法律政策。

社交媒體信息歸檔的法規(guī)中，在鑒定這一環(huán)節(jié)，澳大利亞和美國的有關(guān)檔案部門相繼規(guī)定了社交媒體信息的鑒定標(biāo)準(zhǔn)，這一標(biāo)準(zhǔn)具體到價值鑒定，其中的核心思想是“機(jī)構(gòu)與業(yè)務(wù)相關(guān)性”。但是應(yīng)用到實際問題中，該問題被當(dāng)作導(dǎo)向及大綱性的建議，所產(chǎn)生的作用及后果還需要進(jìn)一步研究。在2010年美國國會圖書館發(fā)起Twitter歸檔項目的時候，其Twitter歸檔對象是從2006年3月到2010年4月全部的公開推文，但事實上，它并不會采集私人用戶信息以及刪掉的推文，網(wǎng)頁鏈接的信息包括網(wǎng)址及圖片也不會被歸檔。

（二）社交媒體信息鑒定主體與對象

相對于傳統(tǒng)檔案的鑒定，社交媒體信息鑒定主體更加的多元化。首先，社交媒體用戶應(yīng)積極識別他們發(fā)布的信息的價值；其次，檔案工作人員及檔案部門，應(yīng)制定法規(guī)政策、標(biāo)準(zhǔn)等來規(guī)范社交媒體信息的鑒定工作，對總體鑒定工作進(jìn)行指導(dǎo)；再次，社交媒體平臺應(yīng)依據(jù)檔案部門制定的法規(guī)政策等標(biāo)準(zhǔn)，其相關(guān)技術(shù)人員進(jìn)一步完善鑒定功能；最后，第三方技術(shù)公司應(yīng)做好社交媒體信息鑒定的輔助工作，輔助檔案部門及社交媒體平臺的鑒定工作，起到技術(shù)支持的作用。

從鑒定對象來看，與傳統(tǒng)檔案不同，傳統(tǒng)檔案的鑒定對象是檔案。但由于社交媒體平臺所產(chǎn)生的是“信息”“記錄”，這種社會記憶是非結(jié)構(gòu)化的，所以鑒定對象由“檔案”“文件”轉(zhuǎn)化為“信息”“記錄”，這種非結(jié)構(gòu)化數(shù)據(jù)的管理問題也需要新的技術(shù)和方法來解決。

（三）社交媒體信息鑒定標(biāo)準(zhǔn)與工具

依據(jù)科學(xué)的衡量來制定有力的鑒定標(biāo)準(zhǔn)，就國內(nèi)而言，社交媒體信息歸檔還處在理論階段，而各學(xué)者對此標(biāo)準(zhǔn)也各抒己見，主要分為以下幾類：“按照定義表述分，包括價值標(biāo)準(zhǔn)和真?zhèn)螛?biāo)準(zhǔn)；按照應(yīng)用性分，包括操作與理論標(biāo)準(zhǔn)；按照內(nèi)容分，包括技術(shù)與內(nèi)容標(biāo)準(zhǔn)；按照主體分，包括政府版標(biāo)準(zhǔn)和公眾版標(biāo)準(zhǔn)?！盵9]其中理論性標(biāo)準(zhǔn)是指導(dǎo)社交媒體信息鑒定的基礎(chǔ)標(biāo)準(zhǔn)，它包括來源、價值與關(guān)聯(lián)。

社交媒體信息具有實時性且信息量大的特征，根據(jù)社交媒體信息的特點與鑒定原則標(biāo)準(zhǔn)，各鑒定主體在判定社交媒體信息后，由社交媒體信息保存系統(tǒng)與社交媒體平臺提供的鑒定工具進(jìn)行鑒定，其工具主要有兩種：“一是只讀電子記錄表，就是在保存社交媒體信息的系統(tǒng)中具有固定格式的只讀表格；二是讀寫電子記錄表，是指在保存社交媒體信息的系統(tǒng)中具有固定格式的可讀寫表格。”[10]

三、社交媒體信息的保存

（一）英、澳的社交媒體信息的保存工作

“根據(jù)1983年英國檔案法，并通過為期兩年的項目實驗，從2014年5月8日開始，英國國家檔案館網(wǎng)絡(luò)檔案管理部門（UKGWA）已在Twitter和Youtube上正式統(tǒng)一為英國中央政府部門提交社交媒體平臺文件。標(biāo)志著檔案館開始積累并永久保存復(fù)雜的社交媒體信息?！盵11]在項目啟動時，該社交媒體檔案庫共有視頻資源七千個，從2008年到2013年9月的Twitter文件共六萬五千多份，多為大型的歷史活動，如2012年的倫敦奧運(yùn)會、女王的加冕典禮等。英國的在線社交媒體庫保存的文件包含網(wǎng)頁鏈接、發(fā)布日期和時間、JSON和XML文件等詳細(xì)信息，同時為方便公眾利用還將數(shù)據(jù)格式轉(zhuǎn)為開放的CSV格式。這也是英國國家檔案館在此次初次嘗試對政務(wù)社交媒體進(jìn)行歸檔保存，其在與歐洲網(wǎng)絡(luò)記憶基金一起應(yīng)對社交媒體歸檔保存等技術(shù)問題時，使用共同研發(fā)的收集工具以確保文件內(nèi)容和結(jié)構(gòu)的原創(chuàng)性。

“1996年，澳大利亞圖書館開始建設(shè)國家網(wǎng)頁檔案館項目。澳大利亞中央政府機(jī)構(gòu)所有相關(guān)的網(wǎng)絡(luò)檔案都由澳大利亞國家圖書館負(fù)責(zé)收集，是該項目的重點，存檔內(nèi)容除網(wǎng)頁信息外，還包括詳細(xì)的出版者信息、允許存檔的日期、收集頻率、存檔的元數(shù)據(jù)等，并于2014年3月開始對公眾開放數(shù)據(jù)庫。”[12]圖書館的歸檔方法采用網(wǎng)頁快照的形式，公眾可以通過在線平臺搜索政府社交媒體信息來檢索。“澳大利亞國家檔案館對政務(wù)社交媒體的歸檔緣由基于數(shù)字連續(xù)性理論。數(shù)字連續(xù)性理論強(qiáng)調(diào)社會數(shù)字信息的長期可用以保障社會數(shù)字記憶的延續(xù)性?！盵13]以這個理論為基礎(chǔ)，澳大利亞國家檔案館制定了政府社交媒體的歸檔政策，其中明確了政務(wù)社交媒體的信息保存的三個要點：1.對數(shù)字信息可以通過在線和離線以及可移動介質(zhì)進(jìn)行保存；2.以云計算技術(shù)進(jìn)行云端存儲時應(yīng)受1983年澳大利亞檔案法的約束，云端存儲的數(shù)據(jù)應(yīng)真實、準(zhǔn)確、值得信賴，應(yīng)與云服務(wù)商簽定明確的存儲規(guī)范合同；3.嚴(yán)格的數(shù)據(jù)外包服務(wù)規(guī)定。除此以外政策還明確了存儲數(shù)據(jù)設(shè)備的物理保護(hù)規(guī)范等。

（二）社交媒體文本信息的存儲

鑒于國外對社交媒體信息的存儲方法與社交媒體信息的特點，為了有效地對其利用，選擇一種能長期保存信息的技術(shù)方法尤為重要。近年來的NOSQL類型的數(shù)據(jù)庫被越來越多地使用在非結(jié)構(gòu)化數(shù)據(jù)存儲上，而針對海量社交媒體數(shù)據(jù)存儲的特點，國外社交媒體歸檔項目多采用Mon？ goDB作為存儲數(shù)據(jù)庫工具?！癕ongoDB是一種強(qiáng)大、靈活、可擴(kuò)展的數(shù)據(jù)存儲方式?！盵14]它能夠存儲比較煩瑣復(fù)雜的數(shù)據(jù)類型，能夠?qū)崿F(xiàn)對海量數(shù)據(jù)的存儲管理，其采用BSON的數(shù)據(jù)存儲格式，是JSON的一種拓展格式，支持嵌入復(fù)合型的數(shù)據(jù)類型，且支持非常松散的數(shù)據(jù)結(jié)構(gòu)，這使得MongoDB十分適合文檔的存儲與查詢，在利用時也十分方便靈活。但是，到目前為止，由于MongoDB中的單個BSON對象小于16MB，因此該方法較適用于存儲小文件。

（三）社交媒體信息中非結(jié)構(gòu)化大文件的存儲

社交媒體信息除了文本往往還包含圖片、視頻等非結(jié)構(gòu)化的大型文件，這種大型文件（如大圖像文件和視頻文件）無法直接保存到MongoDB文檔中。但通過分布式存儲技術(shù)，可使用MongoDB把大文件拆分成小塊的GridFS機(jī)制，以完成較大文件的存儲。對于社交媒體信息本身而言，其格式存在差異，文件自身的大小也不能標(biāo)準(zhǔn)統(tǒng)一化，MongoDB的GridFS機(jī)制在處理大文件的時候，具有很好的擴(kuò)容性，甚至可以存儲成百上千萬的海量文件?！癎ridFS文件系統(tǒng)是用于在MongoDB數(shù)據(jù)庫中存儲大文件的規(guī)范”，GridFS文件系統(tǒng)的工作原理是“該文件被分成幾個小塊，每個塊通常大小為256k，每個塊作為單獨的記錄存儲在塊集合中。對于文件，將有一個文件塊與若干塊。”[15]為了便于訪問與檢索，社交媒體的大文件信息必須按規(guī)則組織與存入，并與原包含相關(guān)內(nèi)容社交媒體信息進(jìn)行數(shù)據(jù)關(guān)聯(lián)與掛接。

四、社交媒體信息的開發(fā)與利用

（一）美、英、澳的社交媒體信息的開發(fā)與利用工作

目前美、英、澳等發(fā)達(dá)國家已經(jīng)建立了完善的社交媒體庫，不但實現(xiàn)了對社交媒體資源的有序化和統(tǒng)一化的管理，其平臺的構(gòu)建還方便了利用者對目標(biāo)資源的利用與開發(fā)。

2014年英國國家檔案館開放了在線社交媒體庫——英國政府網(wǎng)絡(luò)檔案館（UK Government Web Ar？ chive），如圖1所示。通過訪問英國國家檔案館媒體庫網(wǎng)站，能夠很直觀地看到一系列查詢功能，主要部分包括了Twitter庫和YouTube視頻庫、存儲在Twitter上的推文和YouTube上發(fā)布的視頻，如圖2、圖3所示，作為政府的在線檔案館，這些已歸檔的社交媒體信息以英國政府相關(guān)政務(wù)文件為主，在以不同類型政務(wù)活動為分類依據(jù)的條件下，瀏覽者可以以英國政府官方各部門的Twitter賬號和YouTube賬號發(fā)布的內(nèi)容為線索進(jìn)行瀏覽。

澳大利亞國家圖書館自2012年以來就使用PAN？ DORA網(wǎng)絡(luò)歸檔系統(tǒng)存檔在線博客文件，有選擇地存檔博客文章，并創(chuàng)建“社交媒體網(wǎng)絡(luò)檔案庫”，如圖4所示。該網(wǎng)站的服務(wù)內(nèi)容可追溯到1996年P(guān)ANDORA檔案系統(tǒng)開發(fā)計劃的實施，由于澳大利亞國家圖書館在互聯(lián)網(wǎng)技術(shù)發(fā)展的過程中不斷開發(fā)與完善了PANDAS（PAN？ DORA數(shù)字存檔系統(tǒng)）網(wǎng)頁歸檔管理系統(tǒng)，使澳大利亞國家圖書館與檔案館的網(wǎng)頁信息的收集和歸檔項目變?yōu)楝F(xiàn)實，并通過網(wǎng)站的形式提供檢索與利用。

在2011年12月24日，美國國家檔案館根據(jù)“眾包”的理念，鼓勵大眾參與到檔案館的各項事務(wù)中來，從而創(chuàng)立了一個公民檔案員平臺：“我們的檔案”（Our Ar？ chives），如圖5所示?！斑@是一個專門為研究者、歷史學(xué)家、檔案工作者、Citizen Archivist（公民檔案員）建立的維基網(wǎng)站。”[16]這個網(wǎng)站是美國國家檔案館“開放政府計劃”的一部分，也是Citizen Archivist項目的資源整合平臺。該網(wǎng)站分五個模塊，其中涉及檔案管理內(nèi)容的主要有檔案著錄、檔案編纂、檔案數(shù)字化等，這樣使得大眾可以參與到美國國家檔案館的各項工作中來。

（二）社交媒體信息專業(yè)領(lǐng)域的智能化開發(fā)與利用

社交媒體信息在專業(yè)領(lǐng)域中的應(yīng)用，如網(wǎng)絡(luò)信息挖掘、大數(shù)據(jù)輿情以及智能化分析等領(lǐng)域的開發(fā)與利用是目前在數(shù)據(jù)分析領(lǐng)域非常熱門的。借鑒國外先進(jìn)的理論與技術(shù)，并結(jié)合我國現(xiàn)有的研究水平來積極開展我國的社交媒體歸檔信息的智能化利用工作是十分必要的。目前對社交媒體數(shù)據(jù)分析的應(yīng)用主要包括社交媒體信息關(guān)鍵詞抽取、社交媒體信息主題分類、情感分析、構(gòu)建用戶畫像、網(wǎng)絡(luò)輿情分析、人類行為預(yù)測分析、網(wǎng)絡(luò)營銷等方面。

隨著web2.0的不斷發(fā)展，社交媒體平臺的使用愈來愈普及，作為延續(xù)人類社會記憶的形式，社交媒體信息在本質(zhì)上具有與檔案相同的屬性，其價值應(yīng)該被予以重視。對這種非結(jié)構(gòu)化的社交媒體信息的檔案化管理工作而言，在歸檔過程中以歸檔傳統(tǒng)電子檔案理論和方法為依據(jù)，但又與其存在著顯著差異，美、英、澳等發(fā)達(dá)國家在對社交媒體信息無論是從捕獲、鑒定、保存還是開發(fā)利用等方面都做得相對完善，對它們的社交媒體歸檔項目的研究對于我國的相關(guān)工作的開展有著重要的參考價值和啟示。

*本文為國家社會科學(xué)基金項目“非結(jié)構(gòu)化電子文件管理研究”（16BTQ089）研究成果之一。

注釋及參考文獻(xiàn)：

[1]U.S.National Archives and Records Administration， Social Media Strategy [EB/OL].[2010- 12- 8].https：// www.archives.gov/social-media/strategies/2010.

[2]萬凱莉.美國Twitter存檔項目對我國社交媒體信息歸檔的啟示[J].浙江檔案，2014（5）：8-11.

[3]周文泓.社交媒體信息檔案化管理的挑戰(zhàn)與對策探析——基于美國國會圖書館Twitter檔案館項目的調(diào)查與啟示[J].檔案管理，2018（6）：51-53.

[4][7] NARA. White Paper on Best Practices for the Capture of Social Media Records [EB/OL].[2013-5-28]. https：//www.archives.gov/files/records- mgmt/resources/ socialmediacapture.pdf.

[5]張江珊.美國社交媒體記錄捕獲歸檔的思考[J].檔案學(xué)研究，2016（4）：119-123.

[6]常家豪.基于社交媒體的安全態(tài)勢信息采集方法[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2014（7）：5-9.

[8]National Archives of Australia. Your Social Media Policy -what about Records.[EB/OL].[2018-11-14]. http：//www.naa.gov.au/information- management/managinginformation-and-records/types-information/social-me？ dia/social-media-policy/index.aspx.

[9][10]萬凱莉.論社交媒體信息的檔案化鑒定[J].檔案學(xué)研究，2016（1）：62-66.

[11][13]王煥.國外政務(wù)社交媒體文件歸檔研究[J].檔案學(xué)研究，2015（6）：99-105.

[12]張曉娟，李沐妍.政務(wù)社交媒體文件的管理模式研究[J].信息資源管理學(xué)報，2018，8（3）：45-53.

[14]紅丸.MongoDB管理與開發(fā)精要[M].北京：機(jī)械工業(yè)出版社，2012.

[15]李興武.大數(shù)據(jù)下MongoDB數(shù)據(jù)庫數(shù)據(jù)文檔存儲去重研究[J].數(shù)字技術(shù)與應(yīng)用，2017（9）：99-101.

[16]施少欽.美國國家檔案館“Citizen Archivist”項目研究及其啟示[D].福建師范大學(xué)，2012.

作者單位：遼寧大學(xué)歷史學(xué)院檔案系