互聯(lián)網(wǎng)信息長期保存中可視化分析技術(shù)應(yīng)用研究*

2018-05-24 11:10:34魏大威

圖書館 2018年5期

呂琳魏大威

（1.國家圖書館北京 100081；2.中央司法警官學院河北保定 071000）

1 引言

在過去的十多年中，國際互聯(lián)網(wǎng)存檔相關(guān)組織的成員及科研團體嘗試開發(fā)各種采集工具、索引工具、訪問工具，來實現(xiàn)互聯(lián)網(wǎng)信息采集和長期保存。Internet Archive通過各種技術(shù)、戰(zhàn)略和伙伴關(guān)系，獲取了龐大的歷史網(wǎng)絡(luò)數(shù)據(jù)集，其資源總量已超過13PB[1]。互聯(lián)網(wǎng)長期保存的資源與其他數(shù)字資源相比顯得更為復(fù)雜，如前者的網(wǎng)頁正文信息具有多樣化的特征（文本、圖像、視頻等），網(wǎng)頁之間存在相互鏈接，網(wǎng)頁采用腳本和樣式等技術(shù)手段也不同。數(shù)字資源保存過程中，與之相關(guān)的參考信息、出處信息、上下文信息、固定信息等也需要一并進行長期保存。如何高效地保存、管理和交換這些數(shù)據(jù)對象本身就是一個挑戰(zhàn)。

展開對互聯(lián)網(wǎng)信息長期保存的可視化分析研究，其主要原因是面對多樣的數(shù)據(jù)類型、異構(gòu)的數(shù)據(jù)源、對多維度數(shù)據(jù)展示的需求，網(wǎng)絡(luò)軟硬件環(huán)境的變化，借助于數(shù)理統(tǒng)計分析方法、大數(shù)據(jù)分析技術(shù)，將一些無序的、潛在的、隱藏在原始數(shù)據(jù)背后的信息轉(zhuǎn)變?yōu)轱@現(xiàn)的知識，通過圖形技術(shù)及交互技術(shù)，以更加直觀、更易于認知的方式展示，達到互聯(lián)網(wǎng)信息更好地長期保存，利于管理及服務(wù)的目的。

2 互聯(lián)網(wǎng)長期保存的數(shù)字資源可視化相關(guān)理論及工作流程

2.1 可視化相關(guān)研究

Stephen Few[2]給出的數(shù)據(jù)可視化定義是：“數(shù)據(jù)可視化的主要目標是通過統(tǒng)計圖形、繪圖和信息圖形清晰有效地傳達信息，可以使用點、線或條來對數(shù)字數(shù)據(jù)進行編碼，以視覺傳達定量消息，有效的可視化幫助用戶分析和推理數(shù)據(jù)和證據(jù)?！睌?shù)字可視化主要處理兩種類型的數(shù)據(jù)：分類（如文本標簽）和定量數(shù)據(jù)（時間序列、偏差、頻率分布、相關(guān)名、地理空間等）。它可以使抽象的數(shù)據(jù)以更易于理解、訪問和可用的方式呈現(xiàn)。目前，人們常說的可視化分析則更關(guān)注視覺表示與數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘技術(shù)相結(jié)合，其應(yīng)用范圍主要為分析推理技術(shù)、數(shù)據(jù)表示與轉(zhuǎn)換、交互技術(shù)相結(jié)合。

將可視化分析技術(shù)引入互聯(lián)網(wǎng)信息保存領(lǐng)域旨在利用數(shù)理統(tǒng)計或大數(shù)據(jù)分析方法對已采集的互聯(lián)網(wǎng)信息進行基于鏈接、時序、空間、趨勢、決策等多維度的應(yīng)用，從原始資源中挖掘出所需信息，并借助于計算機學圖形學與圖像學處理技術(shù)，將抽象的數(shù)據(jù)以計算機所支持的可視化形式展現(xiàn)，以增加人的認知能力。其主要表現(xiàn)在以下三個方面：

（1）數(shù)據(jù)推理分析。分析推理技術(shù)，使用戶能夠直接在支持評估、規(guī)劃和決策方面，獲得深刻見解。根據(jù)Card和Pirolli[3-4]等人的信息覓食理論，信息管理人員和使用者對原始存檔的信息使用聚類、時序、關(guān)聯(lián)、回歸分析等方法提取出所需數(shù)據(jù)，然后通過可視化界面對其顯示圖像進行一維或多維數(shù)據(jù)疊加顯示、放大縮小查看細節(jié)信息、降維處理、人機交互等操作，從視覺角度來發(fā)現(xiàn)新問題，在此基礎(chǔ)上提出假設(shè)條件并通過推理驗證形成新知識，為下一步的決策分析提供幫助。

（2）數(shù)據(jù)表示與轉(zhuǎn)換。數(shù)據(jù)表示和轉(zhuǎn)換是指轉(zhuǎn)換所有類型的沖突和動態(tài)數(shù)據(jù)，用以支持可視化和分析的方式。數(shù)據(jù)表示是適用于基于計算機轉(zhuǎn)換的結(jié)構(gòu)化形式。這些結(jié)構(gòu)必須存在于原始數(shù)據(jù)中，或者可以從數(shù)據(jù)本身導出。它們必須盡可能保留原始數(shù)據(jù)中的信息、知識內(nèi)容以及相關(guān)內(nèi)容。底層數(shù)據(jù)表示的結(jié)構(gòu)對于視覺分析工具的用戶通常既不可訪問也不直觀，其性質(zhì)也往往比原始數(shù)據(jù)復(fù)雜得多，并不一定比原始數(shù)據(jù)小。數(shù)據(jù)表示的結(jié)構(gòu)可以包含數(shù)百或數(shù)千個維度，并且對于人來說是不可理解的，但是它們必須可變換成用于可視化和分析的低維表示[5]。

存檔的原始資料經(jīng)過數(shù)據(jù)分析處理轉(zhuǎn)換，再到被人們視覺所感知的數(shù)據(jù)形式，要經(jīng)過一系列的轉(zhuǎn)換過程，即要將數(shù)據(jù)映射成帶有可視化表征（空間基、圖形屬性）的可視化結(jié)構(gòu)，再根據(jù)大小、比例、位置在指定設(shè)備上顯示。

（3）視覺表現(xiàn)方面。視覺表現(xiàn)主要是借助于計算機圖形、圖像學技術(shù)，數(shù)據(jù)之間的位置關(guān)系（如不同的位置表示關(guān)系，多種坐標軸）、數(shù)據(jù)屬性及表現(xiàn)方式的差異，突出共同點與異常點。使用者可以更快速地察覺數(shù)據(jù)的顯著變化，通過視覺的獲取分析數(shù)據(jù)可增加其對推理過程的感知，從而使推理分析過程變得更為集中。

2.2 可視化分析的工作流程

目前，互聯(lián)網(wǎng)信息采集歸檔資源的可視化研究是針對互聯(lián)網(wǎng)信息采集和長期保存整體工作流程展開的，尤其是對互聯(lián)網(wǎng)信息歸檔周期各階段相應(yīng)的任務(wù)及產(chǎn)生的相關(guān)數(shù)據(jù)進行收集整理?；ヂ?lián)網(wǎng)采集信息歸檔資源的可視化分析工作流程圖借鑒了Bolette Jurik[6]的理論研究，并在此基礎(chǔ)上與實際工作相結(jié)合，進行部分調(diào)整，最終確定工作流程。如圖1所示：

圖1 互聯(lián)網(wǎng)存檔資源可視化工作流程圖

互聯(lián)網(wǎng)信息采集歸檔的可視化分析可分為如下幾個階段：

（1）數(shù)據(jù)的獲取。根據(jù)專題確定的采集策略和采集范圍，通過網(wǎng)絡(luò)爬蟲軟件獲取數(shù)據(jù)存儲在本地數(shù)據(jù)庫中，通過手工/自動抽取技術(shù)來錄入描述、管理、使用性元數(shù)據(jù)[7]。

（2）語料庫的建立。建立語料庫索引文件和派生語料庫。語料庫索引文件中包含了互聯(lián)網(wǎng)歸檔中的所有Web對象地址，并為不同的目的分析提供基礎(chǔ)。派生語料庫可以針對某一特定類型文件展開研究，它基于語料庫索引文件派生出來。

（3）數(shù)據(jù)分析?；谡Z料庫已有的數(shù)據(jù)，根據(jù)分析需求采用關(guān)聯(lián)、聚類、時序方法進行數(shù)據(jù)深度挖掘，生成目標數(shù)據(jù)集。

（4）分析數(shù)據(jù)可視化。不同的目標數(shù)據(jù)集根據(jù)其自身數(shù)據(jù)特征，采用不同的可視化顯示工具，為使用者提供更直觀、更易于分析與決策的圖形界面模式。

3 互聯(lián)網(wǎng)保存資源的可視化數(shù)據(jù)獲取

互聯(lián)網(wǎng)采集與長期保存工作可分為網(wǎng)絡(luò)信息采集、加工、管理、維護及數(shù)字資源長期保存這五個部分。需要長期保存的數(shù)據(jù)資源除了互聯(lián)網(wǎng)信息采集資源外，還需要保留關(guān)于結(jié)構(gòu)的、上下文、來源和訪問信息，確保保存期數(shù)據(jù)的真實性和完整性，以更好地實現(xiàn)對網(wǎng)絡(luò)歸檔資源生命周期的管理[8]。

3.1 可視化分析數(shù)據(jù)的來源

（1）采集資源內(nèi)容保存文件。網(wǎng)絡(luò)爬蟲根據(jù)一定策略從某一個URL開始，沿著頁面所有超鏈接，按廣度優(yōu)先或深度優(yōu)先方式沿某一路徑展開相關(guān)數(shù)據(jù)的抓取，并將它們添加到遞歸訪問的URL中。對抓取的信息進行存儲時需要一個容器格式，允許一個文件簡單而安全地攜帶大量的組成數(shù)據(jù)對象，保留原始網(wǎng)頁鏈接邏輯關(guān)系，用于存儲管理和交換。1996年以來，互聯(lián)網(wǎng)存檔（IA）使用原始的ARC格式文件來管理數(shù)十億個對象。WARC（Web Archive）文件格式是互聯(lián)網(wǎng)信息采集存檔時所常用的文件保存格式。它是國際互聯(lián)網(wǎng)保存聯(lián)盟（IIPC）標準工作組于2005年向ISO TC46 / SC4 / WG12提出，2009年被公布的國際標準，已被澳大利亞國家圖書館、加拿大圖家圖書館、美國國會圖書館、英國國家圖書館、法國國家圖書館、中國國家圖書館等所采用。它所存儲的范圍包含：網(wǎng)頁資源信息、存儲互聯(lián)應(yīng)用層協(xié)議的有效載荷內(nèi)容和控制信息、存儲和其他存儲相關(guān)聯(lián)的數(shù)據(jù)轉(zhuǎn)換結(jié)果、超長記錄的管理等多方面內(nèi)容。

（2）采集的相關(guān)過程數(shù)據(jù)。在進行互聯(lián)網(wǎng)信息采集過程中，除了WARC文件之外，還有一些數(shù)據(jù)資源需要被合理保存?；ヂ?lián)網(wǎng)信息長期保存的技術(shù)方法根據(jù)操作規(guī)模有所不同，目前對于大規(guī)模的互聯(lián)網(wǎng)信息長期保存確定了三種主要的技術(shù)方法：客戶端歸檔、事物歸檔、服務(wù)器歸檔[9]。在客戶端的網(wǎng)絡(luò)爬取工具Heritrix或HTTrack，其抓取工具遵循“種子”指令,將與種子關(guān)聯(lián)的一些數(shù)據(jù)信息（如URL、爬網(wǎng)的頻率范圍、爬網(wǎng)的深度、數(shù)據(jù)字節(jié)數(shù)）存儲在特定的文件中。

（3）手工錄入數(shù)據(jù)和系統(tǒng)自動生成。根據(jù)數(shù)字圖書館長期保存元數(shù)據(jù)標準規(guī)范[10]、數(shù)字資源對象管理規(guī)范[11]的要求及實際工作需要的部分元數(shù)據(jù)，確定最終在互聯(lián)網(wǎng)信息歸檔的全部元數(shù)據(jù)集合。一部分元數(shù)據(jù)可以通過采集獲取的原始數(shù)據(jù)分析的基礎(chǔ)上獲得，另一部分則需要從事互聯(lián)網(wǎng)信息長期保存相關(guān)的操作人員及管理人員通過手工的方式錄進相應(yīng)的系統(tǒng)中；對于系統(tǒng)中的固定屬性（如唯一標識符）則由系統(tǒng)程序自動生成并存儲至相應(yīng)的元數(shù)據(jù)管理單元中。

3.2 數(shù)據(jù)的自動抽取

除了手工錄入的數(shù)據(jù)之外，前兩種數(shù)據(jù)來源可以通過數(shù)據(jù)分析方法實現(xiàn)自動提取。研究采用的網(wǎng)絡(luò)信息采集工具為國際互聯(lián)網(wǎng)保存聯(lián)盟（IIPC）推薦的網(wǎng)絡(luò)爬蟲工具Heritrix，其文件保存格式為WARC。

3.2.1 Heritrix采集信息提取

在指定了采集專題后，對相關(guān)專題的互聯(lián)網(wǎng)信息進行采集時，采集軟件中會留下大量的參數(shù)信息?；ヂ?lián)網(wǎng)信息抓取工具Heritrix用來獲取完整的、精確的、站點內(nèi)容的深度復(fù)制，包括獲取圖像以及其他非文本內(nèi)容，抓取并存儲相關(guān)內(nèi)容[12]。在采集過程中，Heritrix會產(chǎn)生大量的日志文件及報告，包含大量用于描述、結(jié)構(gòu)性、管理相關(guān)的特征參數(shù)。在進行統(tǒng)計時，經(jīng)常會用到的幾個日志文件見表1。

表1 Heritrix采集過程中的特征數(shù)據(jù)

3.2.2 WARC文件特征數(shù)據(jù)提取

對WARC進行分析，并從文件讀取出相應(yīng)的數(shù)據(jù)資源，進行分別存儲。主要可獲取的資源有特征數(shù)據(jù)和內(nèi)容數(shù)據(jù)。特征資源如時間戳、IP地址、MIME媒體類型等，內(nèi)容數(shù)據(jù)主要是指網(wǎng)頁的正文相關(guān)的數(shù)據(jù)資源。

國際標準化組織給出的WARC（Web Archive）文件格式定義為：“提供將多個資源記錄（數(shù)據(jù)對象）連接在一起的約定，每個資源記錄由一組簡單文本標題和任意數(shù)據(jù)塊組成一個長文件”[13]。換句話說，WARC格式文件就是由一個或多個WARC記錄的簡單連接，其中第一個記錄通常是描述要記錄的記錄[14]。記錄內(nèi)容包含與檢索直接結(jié)果相關(guān)的內(nèi)容（如網(wǎng)頁、內(nèi)聯(lián)圖像、獨立文件等）或是歸檔相關(guān)的附加信息（如元數(shù)據(jù)、變換內(nèi)容）。WARC記錄一般由一個記錄頭、記錄內(nèi)容塊及兩個換行符組成。記錄頭格式具有強制命名字段，大部分遵循HTTP / 1.1 [RFC2616]和[RFC2822]標題的傳統(tǒng)，主要用于記錄記錄的日期、類型和長度，并支持每個收獲的資源（文件）的方便檢索。如圖2所示：

圖2 WARC文件格式解析[15]

（1）特征屬性提取。有8種WARC記錄類型：WARC信息、響應(yīng)、資源、請求、元數(shù)據(jù)、回訪、轉(zhuǎn)換和延續(xù)。從WARC文件頭中來獲取時間戳、元數(shù)據(jù)、重訪、MIME媒體類型、轉(zhuǎn)換、數(shù)據(jù)分割等。目前，已開發(fā)的關(guān)于WARC文件格式內(nèi)容自動抽取相關(guān)的軟件有： WGET、Warc-Tools、WarcBase、ArchiveSpark、WEAR等。

（2）內(nèi)容數(shù)據(jù)提取?；ヂ?lián)網(wǎng)信息歸檔資源內(nèi)容挖掘主要是從網(wǎng)頁內(nèi)挖掘、提取和整合有用的數(shù)據(jù)、信息和知識。采集歸檔的網(wǎng)頁信息中包含了文本信息、圖像、視頻、音頻等多媒體資料。從目前已存儲的各類資源總量上來看，文本資源、圖像資源所占比例較大。本文在網(wǎng)頁內(nèi)容提取研究過程中，側(cè)重于文本和圖像數(shù)據(jù)提取的相關(guān)研究與技術(shù)。

互聯(lián)網(wǎng)信息歸檔資源文本內(nèi)容可視化是將蘊含于其中的語義特征（如主題聚類、詞頻分析等），以網(wǎng)絡(luò)云標簽、時間軸等可視化模式顯示在指定的終端設(shè)備上。在對文本資源進行提取時，可以應(yīng)用已有的網(wǎng)頁文本提取工具（如Apache Tika、Jsoup）進行信息提取。按使用者的需求不同，可以將信息按提取粒度大小不同分為：粗粒度（篇章級）：標簽提取、文章分類、情感分析、垃圾評論的過濾等；中粒度（短串級）：詞重要性、句法結(jié)構(gòu)、近義詞替換、語義歸一化等；細粒度（詞匯級）：中文分詞、專有名詞識別、詞性標注、需求詞識別、同義詞分析、詞匯關(guān)系計算、語義網(wǎng)分析等。

圖像數(shù)據(jù)同樣也是網(wǎng)絡(luò)歸檔資源的網(wǎng)頁內(nèi)容信息中的重要組成部分。將可視化技術(shù)應(yīng)用于圖像信息資源檢索研究，對圖像數(shù)據(jù)進行語義分析、特征提取、圖像自動標注，是對網(wǎng)絡(luò)存檔資源粒度的進一步細化。這既可以改善用戶體驗、擴展檢索模式，又可以提高圖像檢索系統(tǒng)的性能。

4 可視化技術(shù)應(yīng)用效果

采集的內(nèi)容包含的媒體類型不斷增加，管理數(shù)據(jù)包含相應(yīng)的元數(shù)據(jù)總量也在不斷增長。在此基礎(chǔ)上，通過大數(shù)據(jù)分析技術(shù)將挖掘信息和知識發(fā)現(xiàn)作為目標，將網(wǎng)頁原始內(nèi)容提取的信息或特征屬性數(shù)據(jù)通過一維信息、多維信息、時序信息、空間信息等方式進行可視化展示[16-17]。

4.1 基于時間的內(nèi)容分析

互聯(lián)網(wǎng)信息歸檔的網(wǎng)頁包含的文本內(nèi)容進行的文本挖掘技術(shù)，可用于分析當前新聞熱點，常采用的可視化方式主要有文本可視化、圖像可視化和圖（網(wǎng)絡(luò)）可視化。

英國網(wǎng)絡(luò)檔案館采用N-Gram搜索對互聯(lián)網(wǎng)歸檔資源文本進行可視化分析，發(fā)現(xiàn)其網(wǎng)絡(luò)存檔中隨時間推移，用戶每月定義的搜索詞或短語的變化情況。荷蘭阿姆斯特丹大學的WebART團隊[18]基于荷蘭國家圖書館網(wǎng)絡(luò)存檔收集的Nu.nl每日快照數(shù)據(jù)進行分析，通過ANTA對搜索結(jié)果進行共詞分析，再利用GEPHI修正圖中的時間戳，顯示與主要新聞事件相關(guān)的詞頻可視化和隨時間推移的術(shù)語同時發(fā)生的分析，如圖3所示。

圖3 基于時間的共詞分析[19]

基于圖像的可視化方式來使用互聯(lián)網(wǎng)信息歸檔資源，探索和敘述事件歷史記錄。Chorit和Rasmussen在對1999年美國歷史系師生做的基于美國國會圖書館歷史圖片庫的實驗中發(fā)現(xiàn)，用戶對時事性感知在整個檢索過程中起到重要作用[20]。荷蘭阿姆斯特丹大學基于互聯(lián)網(wǎng)信息歸檔資料，從包含圖像的文件夾進行特征數(shù)據(jù)提取，并作為單獨的圖像返回到每一個URL的文件夾。通過WebARTist進行關(guān)鍵字查找，結(jié)果調(diào)用JavaScript可視化工具，自動在交互式時間軸上搜索相應(yīng)的結(jié)果，如圖4所示：

圖4 基于時間的圖像分析

圖4是互聯(lián)網(wǎng)歸檔資料中對穆罕默德·胡斯尼·穆巴拉克所有的新聞專題、事件進行圖像語義標注及圖像檢索的系統(tǒng)。圖4右側(cè)圖像下方顯示的內(nèi)容是以時間軸的方式列舉出每次事件相關(guān)的單獨圖像或圖像集，使用者可通過時間軸交互的方式去查找某一事件的相關(guān)圖像。

4.2 鏈接分析

在網(wǎng)絡(luò)理論中，鏈接分析是用于評估節(jié)點之間的關(guān)系（連接）的數(shù)據(jù)分析技術(shù)[21]?；ヂ?lián)網(wǎng)中，不同的網(wǎng)站和網(wǎng)頁通過鏈接而建立起相互之間的連接，它不僅可以將不同社交媒體的用戶連接起來，還可以讓不同公司、組織、政府機構(gòu)建立起連接。鏈接分析不僅可以揭示某一熱點討論的核心，分析哪些用戶扮演了重要角色，也可以分析在線組和內(nèi)聚區(qū)域之間的分數(shù)，實體的大小和實體之間的關(guān)系。

隨著大型網(wǎng)站被捕獲，它們之間的鏈接和連接也被捕獲。這些網(wǎng)絡(luò)鏈接的網(wǎng)站和數(shù)據(jù)可以被挖掘以觀察個人、組織及其他事物隨時間的關(guān)系變化。正如在實時網(wǎng)絡(luò)上的網(wǎng)站和社交網(wǎng)絡(luò)上進行的這種分析一樣，它可以與互聯(lián)網(wǎng)歸檔數(shù)據(jù)集一起使用，以查看隨時間或過去點的變化。互聯(lián)網(wǎng)信息歸檔研究允許多維度數(shù)據(jù)基于時間進行分析[22]。

對于給定的域，可以使用鏈接分析來了解在線機構(gòu)的結(jié)構(gòu)，它們之間的關(guān)系以及它們與外界的交互以及它們對用戶的導航性。對于英國政府二級域名（包括以.gov.uk結(jié)尾的所有網(wǎng)站），鏈接分析可用于分析政府部門和機構(gòu)之間的變化結(jié)構(gòu)和關(guān)系；他們在社會和信息網(wǎng)絡(luò)中的地位，公民與政府互動的水平和層次。英國網(wǎng)絡(luò)檔案館的互聯(lián)網(wǎng)信息歸檔，鏈接分析的可視化研究主要基于JISC UK Web域數(shù)據(jù)集（1996—2010），分析HTML頁面并從每個鏈接中提取“href”屬性，再將這些公共后綴聚合（如所有“* .ac.uk”被計算為“ac.uk”，所有“* .com”為“com”等），使用d3.js可視化引擎相結(jié)合，生成可視化的和弦圖，用于趨勢分析。圖5所采用的數(shù)據(jù)集為原始數(shù)據(jù)集的六分之一所計算出的結(jié)果：