大數(shù)據(jù)環(huán)境下數(shù)字圖書資源多維評價(jià)研究

石丹 閆實(shí) 付佳

摘 ?要： 數(shù)字圖書正在作為一種新型的信息傳播媒體進(jìn)入人們的日常生活，也不斷的影響著人們的學(xué)習(xí)習(xí)慣和生活習(xí)慣。如何評價(jià)數(shù)字圖書資源成為了數(shù)字圖書運(yùn)營商的主要運(yùn)營工作，也是支撐數(shù)字圖書運(yùn)營的主要目標(biāo)之一。數(shù)字圖書運(yùn)營方的方案既需要考慮數(shù)據(jù)的組織、數(shù)據(jù)維度的選取，又需要考慮技術(shù)的實(shí)現(xiàn)。在維度選擇上考慮了從數(shù)字圖書資源、數(shù)字媒體運(yùn)營數(shù)據(jù)、數(shù)字媒體消費(fèi)用戶數(shù)據(jù)三個(gè)立體層面。本文在數(shù)字圖書底層資源管理的基礎(chǔ)上，增加了數(shù)字媒體運(yùn)營的數(shù)據(jù)結(jié)構(gòu)和用于收集數(shù)字媒體消費(fèi)用戶數(shù)據(jù)的結(jié)構(gòu)，擴(kuò)展了數(shù)字圖書底層的數(shù)據(jù)結(jié)構(gòu)，便于從多個(gè)立體角度建立分析模型。利用云計(jì)算可以將資源虛擬化，再通過Hadoop的就近計(jì)算原則，實(shí)現(xiàn)了大數(shù)據(jù)環(huán)境下數(shù)字圖書資源的多維評價(jià)。

關(guān)鍵詞： 大數(shù)據(jù);數(shù)字圖書;多維評價(jià);Hadoop

中圖分類號(hào)： TP3 ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.06.016

本文著錄格式：石丹，閆實(shí)，付佳. 大數(shù)據(jù)環(huán)境下數(shù)字圖書資源多維評價(jià)研究[J]. 軟件，2020，41（06）：7476+107

【Abstract】： Digital books have been entering daily life of people as a new type of information communication media， and affecting people's learning and living habits constantly. How to evaluate digital book resources has been main operation work of digital book operators， and also one of main objectives of supporting digital book operation. Scheme of digital book operators needs to consider organization of data， selection of data dimensions， and realization of technology. In terms of dimension selection， it is necessary to consider three dimensions： digital book resources， digital media operation data and digital media consumer data. Based on management of digital books' underlying resources， the paper adds data structure of digital media operation and structure to collect data of digital media users， expand data structure of digital books underlying， and facilitate establishment of analysis models from multiple perspectives. Cloud computing can virtualize resources， and realize multi-dimensional evaluation of digital book resources in big data environment through Hadoops nearby computing principle.

【Key words】： Big data; Digital books; Multidimensional evaluation; Hadoop

0 ?引言

數(shù)字圖書正在作為一種新型的信息傳播媒體進(jìn)入人們的日常生活，也不斷的影響著人們的學(xué)習(xí)習(xí)慣和生活習(xí)慣[1]。數(shù)字圖書除了傳統(tǒng)紙質(zhì)圖書的閱讀方式，更多的是能夠提供更高效的檢索、記錄、分享等能力。更加重要的是數(shù)字圖書和通信網(wǎng)絡(luò)的結(jié)合，可以讓圖書本身也具有了收集用戶數(shù)據(jù)的能力。對于紙質(zhì)圖書，用戶攜帶多少圖書取決于用戶的書包有多大，而數(shù)字圖書用戶只用攜帶一個(gè)圖書閱讀器，就擁有了一座圖書館用戶可以根據(jù)喜好閱讀各種圖書。而隨著用戶數(shù)量的增加，數(shù)以萬計(jì)的用戶使用數(shù)字圖書資源產(chǎn)生了大量的數(shù)據(jù)，如何評價(jià)數(shù)字圖書資源成為了數(shù)字圖書運(yùn)營商的主要運(yùn)營工作，也是支撐數(shù)字圖書運(yùn)營的主要目標(biāo)之一。一方面數(shù)字圖書資源的評價(jià)是站在數(shù)字圖書資源的角度選擇數(shù)據(jù)維度，另一方面數(shù)字圖書由于具有數(shù)字媒體的運(yùn)營屬性，因此可以從數(shù)字媒體的維度選擇數(shù)據(jù)維度，再一方面由于用戶的參與可以比較直觀在數(shù)字圖書數(shù)據(jù)中收集到，并且用戶也是數(shù)據(jù)的主要生產(chǎn)者。

因此，數(shù)字圖書資源的評價(jià)是立體的，在多個(gè)角度抽取多個(gè)數(shù)據(jù)維度圍繞運(yùn)營目標(biāo)進(jìn)行評價(jià)。而立體的數(shù)據(jù)往往是在數(shù)字圖書資源平臺(tái)下的數(shù)據(jù)產(chǎn)物，數(shù)據(jù)圖書資源平臺(tái)往往是建設(shè)在云計(jì)算和大數(shù)據(jù)環(huán)境下的技術(shù)平臺(tái)，這就需要采用大數(shù)據(jù)的處理技術(shù)作為分析的技術(shù)平臺(tái)。本文將從數(shù)字圖書資源、數(shù)字媒體運(yùn)營數(shù)據(jù)、數(shù)字媒體消費(fèi)用戶數(shù)據(jù)三個(gè)立體層面抽取多維數(shù)據(jù)更為客觀的評價(jià)數(shù)字圖書資源對于運(yùn)營的價(jià)值，通過大數(shù)據(jù)技術(shù)平臺(tái)來支撐多維評價(jià)。

1 ?數(shù)字圖書資源大數(shù)據(jù)與數(shù)據(jù)挖掘

面對數(shù)字圖書資源所產(chǎn)生的大量數(shù)據(jù)，首先要根據(jù)數(shù)據(jù)圖書資源系統(tǒng)的應(yīng)用情況，分離出業(yè)務(wù)系統(tǒng)和分析系統(tǒng)，業(yè)務(wù)系統(tǒng)是與圖書參與者直接交互的數(shù)據(jù)，而分析系統(tǒng)是通常是離線的數(shù)據(jù)集。一般分析系統(tǒng)是建設(shè)在數(shù)據(jù)倉庫架構(gòu)下的多維分析系統(tǒng)，針對數(shù)字圖書資源一般以圖書主題來組織建設(shè)多維分析模型。就目前的技術(shù)發(fā)展趨勢而言，傳統(tǒng)的數(shù)據(jù)倉庫系統(tǒng)建設(shè)以及難以滿足大數(shù)據(jù)系統(tǒng)的建設(shè)需求，取而代之的是基于Hadoop的離線大數(shù)據(jù)分析系統(tǒng)，通過數(shù)據(jù)集群的透明訪問網(wǎng)關(guān)和用于數(shù)據(jù)分析的BI（Business Intelligence，即商務(wù)智能）分析框架構(gòu)建底層的數(shù)據(jù)分析系統(tǒng)[2]。

大數(shù)據(jù)挖掘是從早期的數(shù)據(jù)倉庫技術(shù)產(chǎn)生的，BI框架的本質(zhì)是從海量的信息中挖掘出有價(jià)值的信息和知識(shí)，也是早期知識(shí)工程的技術(shù)產(chǎn)物。BI作為一個(gè)數(shù)據(jù)工程，一般保函數(shù)據(jù)的抽取、轉(zhuǎn)換和加載稱之為ETL;構(gòu)建的信息模型存儲(chǔ)在數(shù)據(jù)倉庫（DW）內(nèi);數(shù)據(jù)的分析一般采用聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘（DM）等過過程。輔助這些工程一般由專門的計(jì)算機(jī)軟件負(fù)責(zé)，而構(gòu)建一套系統(tǒng)則需要硬件服務(wù)器、網(wǎng)絡(luò)系統(tǒng)、軟件環(huán)境、由于數(shù)據(jù)的來源比較多元，所以通常是異構(gòu)的系統(tǒng)互聯(lián)，還要考慮數(shù)據(jù)的格式標(biāo)準(zhǔn)，構(gòu)建異構(gòu)系統(tǒng)之間的通信。因此，數(shù)據(jù)挖掘是一項(xiàng)非常復(fù)雜的技術(shù)綜合體[3]。

由于數(shù)字圖書資源的業(yè)務(wù)系統(tǒng)是數(shù)據(jù)的生產(chǎn)方也就是數(shù)據(jù)倉庫的離線數(shù)據(jù)的數(shù)據(jù)來源，而數(shù)字圖書資源的業(yè)務(wù)系統(tǒng)，一般包括終端用戶的閱讀數(shù)據(jù)、數(shù)字圖書分享數(shù)據(jù)、數(shù)字圖書資源運(yùn)營分析平臺(tái)數(shù)據(jù)、圖書分享交流信息平臺(tái)等多個(gè)業(yè)務(wù)的業(yè)務(wù)群，其數(shù)據(jù)源也是分散在不同的物理環(huán)境中。按照常規(guī)的數(shù)據(jù)挖掘的分析系統(tǒng)構(gòu)建，可以將系統(tǒng)分為數(shù)據(jù)預(yù)處理層、數(shù)據(jù)倉庫層和數(shù)據(jù)分析層共三個(gè)層次[4]。

數(shù)據(jù)預(yù)處理會(huì)定期從業(yè)務(wù)群的數(shù)據(jù)源抽取數(shù)據(jù)，并按數(shù)據(jù)倉庫的建模標(biāo)準(zhǔn)裝載到數(shù)據(jù)倉庫中去。一般閱讀數(shù)據(jù)會(huì)產(chǎn)生用戶信息、閱讀記錄、每本書的閱讀詳細(xì)信息、閱讀過程中的過程數(shù)據(jù);數(shù)字圖書分析數(shù)據(jù)，可以獲取分享的用戶關(guān)聯(lián)信息、分享源等信息;在數(shù)字圖書運(yùn)營過程中會(huì)產(chǎn)生數(shù)字圖書資源目錄、摘要、關(guān)鍵字、信息檢索信息、數(shù)字圖書資源本身的數(shù)據(jù)等。上述這些數(shù)據(jù)是分散的，并且數(shù)據(jù)的結(jié)構(gòu)和模式是差異比較大的，通過抽取、轉(zhuǎn)化預(yù)處理構(gòu)成標(biāo)準(zhǔn)的數(shù)據(jù)集模式就可以以統(tǒng)一的結(jié)構(gòu)存儲(chǔ)到數(shù)據(jù)倉庫中。

在數(shù)據(jù)挖掘環(huán)境構(gòu)建完成后，就可以在數(shù)據(jù)倉庫中按主題選擇數(shù)據(jù)維度，根據(jù)分析場景分析數(shù)據(jù)維度建立多維評價(jià)指標(biāo)[5]。

2 ?數(shù)字圖書數(shù)據(jù)維度選擇

在大數(shù)據(jù)時(shí)代誕生的數(shù)字圖書，從一出生就具有了數(shù)據(jù)屬性和傳統(tǒng)的紙質(zhì)圖書相比，更加迎合了人們不限時(shí)間不限空間的獲取知識(shí)的需求。由于數(shù)字時(shí)代用戶的口味是多元，閱讀習(xí)慣也是多元，所以如何評價(jià)數(shù)字圖書資源挖掘圖書資源的價(jià)值對于運(yùn)營方來說是一個(gè)挑戰(zhàn)。如何分析數(shù)字圖書資源產(chǎn)品屬于“高質(zhì)量”、“高水準(zhǔn)”、“受歡迎”等評價(jià)標(biāo)準(zhǔn)是什么？如何找到這些標(biāo)準(zhǔn)？這就需要利用數(shù)字圖書大數(shù)據(jù)屬性和數(shù)據(jù)挖掘技術(shù)來尋找。雖然數(shù)據(jù)本身是客觀的，但是并不是所有數(shù)據(jù)的生產(chǎn)者都是客觀，例如：用戶的評價(jià)數(shù)據(jù)是一個(gè)非常主觀的偏好數(shù)據(jù)。因此多維的評價(jià)數(shù)字資源需要考慮到主觀數(shù)據(jù)和客觀數(shù)據(jù)的差異。在數(shù)據(jù)維度的選擇上更需要辯證的觀念來選擇。在信息維度的選取上，本文傾向于從客觀和主觀數(shù)據(jù)的結(jié)合、圖書主題與內(nèi)容的結(jié)合、專家評價(jià)與讀者評價(jià)信息的結(jié)合、定量分析和定性評價(jià)相結(jié)合[6]。

在圖書數(shù)字資源評價(jià)體系，可以參考期刊的評價(jià)方法，通過借鑒并調(diào)整的方式進(jìn)行選擇數(shù)據(jù)維度。在期刊中通行的做法是計(jì)算轉(zhuǎn)引率等數(shù)據(jù)，這是一種相對客觀的評價(jià)方法。對于數(shù)字圖書顯然不能直接使用，因?yàn)槠诳窃谧髡呔帉懙臅r(shí)候引用其他期刊，而數(shù)字圖書是一種共享資源，針對數(shù)字圖書共享的性質(zhì)，可以將轉(zhuǎn)引率調(diào)整為分享率。分享率即一套數(shù)字圖書被用戶閱讀的過程中分享的次數(shù)，S表示分享率，R表示用戶閱讀的總量，RS表示閱讀過該圖書發(fā)生分享的數(shù)量，可以用以下公式表達(dá)。

顯然分享率也是一個(gè)概率事件，如果把平臺(tái)中所有單個(gè)圖書的分享事件綜合來看，還可以發(fā)現(xiàn)單套圖書在整個(gè)概率事件里的分布情況，如果將圖書進(jìn)行分類還可以進(jìn)一步發(fā)現(xiàn)更多的概率事件。例如可以將圖書按內(nèi)容分類分成管理、計(jì)算機(jī)、金融、文化、文學(xué)、小說、基礎(chǔ)科學(xué)、科普等類型那么分享率可以進(jìn)一步按場景進(jìn)行劃分。

然而，分享率只能表達(dá)圖書的關(guān)注度，并不能表達(dá)圖書的的價(jià)值。例如一本專業(yè)性很強(qiáng)的圖書，不會(huì)比一本暢銷小說的分享率高，但是其價(jià)值可能在其專業(yè)領(lǐng)域內(nèi)是非常高的。這就需要從內(nèi)容來判斷其價(jià)值。這種情況以引入專家建議，讓專家建議的權(quán)重高于普通用戶，通過評價(jià)和打分參考專家評價(jià)，并結(jié)合普通用戶的評價(jià)來綜合判斷。這種評價(jià)可以縱向的來評價(jià)，即同類型的圖書之間的比較[7]。

上述評價(jià)體系，都是基于數(shù)值的量化比較，這種方式易于統(tǒng)計(jì)建立統(tǒng)計(jì)模型從數(shù)量關(guān)系和概率分布的方式建立評價(jià)體系。但是這種方式會(huì)忽略待評價(jià)圖書的諸多細(xì)節(jié)，甚至忽視其的本質(zhì)。皮之不存，毛將焉附？如果過渡的忽略細(xì)節(jié)，只強(qiáng)調(diào)統(tǒng)計(jì)意義顯然會(huì)讓看似客觀的大廈轟然坍塌，評價(jià)的客觀性蕩然無存。這就需要定性分析，從電子出版物本身出發(fā)進(jìn)行定性，例如出版方、發(fā)行方的立場、出版物的文學(xué)價(jià)值、學(xué)術(shù)價(jià)值、審編校質(zhì)量等多個(gè)定性維度進(jìn)行評價(jià)。

3 ?多維評價(jià)在Hadoop環(huán)境下的構(gòu)建

只有綜合客觀的數(shù)據(jù)并引入權(quán)威的導(dǎo)向性，再將評價(jià)體系建立在統(tǒng)計(jì)數(shù)值量化和定性分析的信息才更加綜合。那么對于海量的數(shù)字圖書資源，除了建立多維綜合評價(jià)體系和原則就是要講這種體系和原則轉(zhuǎn)化為技術(shù)實(shí)現(xiàn)。由于海量的數(shù)據(jù)存儲(chǔ)在以HFDS為基礎(chǔ)的數(shù)據(jù)倉庫中，那么就要通過基于Map/Reduce的離線分布式計(jì)算模型實(shí)現(xiàn)多維綜合評價(jià)體系，這就需要借助Hadoop環(huán)境[8]。

其基礎(chǔ)架構(gòu)是建立在數(shù)字圖書資源業(yè)務(wù)架構(gòu)的數(shù)據(jù)模型分離基礎(chǔ)上的。通?，F(xiàn)有的數(shù)字圖書資源系統(tǒng)采用微服務(wù)的架構(gòu)模式，將系統(tǒng)分解為多個(gè)子系統(tǒng)和子模塊，子模塊又是建立在業(yè)務(wù)相對隔離和自治的微服務(wù)。這些業(yè)務(wù)系統(tǒng)模塊產(chǎn)生的業(yè)務(wù)數(shù)據(jù)也是分布式的，分散在各個(gè)業(yè)務(wù)單一。因此，上述章節(jié)建立的ETL模型就是用于抽取多數(shù)據(jù)源的基礎(chǔ)服務(wù)。在數(shù)據(jù)倉庫建設(shè)中一方面存儲(chǔ)基礎(chǔ)的數(shù)據(jù)集，另一方面通過統(tǒng)計(jì)和模式化將數(shù)據(jù)按主題構(gòu)建到一個(gè)框架下。數(shù)字圖書資源的數(shù)據(jù)倉庫建設(shè)一般采用分布式結(jié)構(gòu)化存儲(chǔ)，主題一般通過發(fā)布及訂閱模式構(gòu)建。對于圖書資源數(shù)據(jù)，一般會(huì)增加一個(gè)ODS（Operation Data Store）中間層，主要用于緩存便于數(shù)據(jù)分析層優(yōu)化查詢，提高數(shù)據(jù)分析的效率，避免直接分析數(shù)據(jù)源和底層數(shù)據(jù)。在圖書業(yè)務(wù)數(shù)據(jù)的抽取和復(fù)制過程，通過ODS層開發(fā)客觀和定性的評價(jià)模塊，就可以對基礎(chǔ)數(shù)據(jù)進(jìn)行整合和過濾，為數(shù)據(jù)的多維評價(jià)提供標(biāo)準(zhǔn)的數(shù)據(jù)單元。其標(biāo)準(zhǔn)的數(shù)據(jù)單元由系統(tǒng)的元數(shù)據(jù)服務(wù)進(jìn)行定義，元數(shù)據(jù)的設(shè)計(jì)是建立在上一節(jié)綜合客觀的基礎(chǔ)上，既有定量又有定性的邏輯基礎(chǔ)之上的[9]。

再根據(jù)此基礎(chǔ)根據(jù)業(yè)務(wù)邏輯建立數(shù)據(jù)交換模型，數(shù)據(jù)交換本身提供了一個(gè)業(yè)務(wù)共用的分析模型層，這一層是根據(jù)業(yè)務(wù)場景建立的。例如評價(jià)體系可以是圍繞終端用戶為中心的，評價(jià)圖書的質(zhì)量、專業(yè)性、內(nèi)容權(quán)威性對這一類用戶的影響，評價(jià)體系可以是按圖書目錄分類，也可以是按圖書性質(zhì)分類，圍繞用戶產(chǎn)生更為客觀的評價(jià)。而用戶在上層可以訂閱這一類數(shù)據(jù)主題，當(dāng)在多維分析處理完成時(shí)可以提供事件通知。供結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一融合存儲(chǔ)，以建立數(shù)據(jù)資產(chǎn)為核心;以監(jiān)管數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性為關(guān)鍵;以數(shù)據(jù)開放、 ? 共享為目的;加快數(shù)據(jù)技術(shù)發(fā)展，加速數(shù)據(jù)價(jià)值轉(zhuǎn)化率。

4 ?結(jié)語

數(shù)字圖書領(lǐng)域在經(jīng)過了多年的發(fā)展，隨著用戶數(shù)量的增長，逐步形成了用戶群體多元、數(shù)字圖書資源多樣的綜合性強(qiáng)的系統(tǒng)模式。數(shù)字圖書資源由于涉及面廣，運(yùn)營數(shù)字圖書資源就面臨系統(tǒng)的異構(gòu)、地域的多元、數(shù)據(jù)的分布、圖書基礎(chǔ)數(shù)據(jù)差異等問題。如何評價(jià)數(shù)字圖書資源成為了數(shù)字圖書運(yùn)營商的主要運(yùn)營工作。這就需要運(yùn)營方的方案既需要考慮數(shù)據(jù)的組織、數(shù)據(jù)維度的選取，又需要考慮技術(shù)的實(shí)現(xiàn)。在維度選擇上考慮了從數(shù)字圖書資源、數(shù)字媒體運(yùn)營數(shù)據(jù)、數(shù)字媒體消費(fèi)用戶數(shù)據(jù)三個(gè)立體層面。由于數(shù)字圖書資源平臺(tái)都是采用分布式的解決方案，因此數(shù)據(jù)是分散在不同的物理位置上的。利用云計(jì)算可以將資源虛擬化，再通過Hadoop的就近計(jì)算原則，將分散在不同物理位置的數(shù)據(jù)統(tǒng)一在一個(gè)分析框架內(nèi)是實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下數(shù)字圖書資源評估的基礎(chǔ)底層技術(shù)方案。另一方面，數(shù)字圖書資源的底層數(shù)據(jù)結(jié)構(gòu)建設(shè)是數(shù)據(jù)分析的關(guān)鍵，本文在數(shù)字圖書底層資源管理的基礎(chǔ)上，增加了數(shù)字媒體運(yùn)營的數(shù)據(jù)結(jié)構(gòu)和用于收集數(shù)字媒體消費(fèi)用戶數(shù)據(jù)的結(jié)構(gòu)，擴(kuò)展了數(shù)字圖書底層的數(shù)據(jù)結(jié)構(gòu)，便于從多個(gè)立體角度建立分析模型[10]。

參考文獻(xiàn)

[1] 曾新紅. 基于XML/SOAP實(shí)現(xiàn)數(shù)字圖書館系統(tǒng)互操作的研究[J]. 現(xiàn)代圖書情報(bào)技術(shù)， 2003（02）： 37-41.

[2] 何奇峰. WebService在數(shù)字圖書館互操作中的應(yīng)用[J]. 廣西教育學(xué)院學(xué)報(bào)， 2004（01）： 125-128.

[3] 一哲. 學(xué)術(shù)期刊是引領(lǐng)學(xué)術(shù)發(fā)展的旗幟[N]. 中國社會(huì)報(bào)， 2013-07-12（A04）.

[4] 孟耀. 學(xué)術(shù)期刊質(zhì)量的評價(jià)方法與指標(biāo)分析[J]. 東北財(cái)經(jīng)大學(xué)學(xué)報(bào)， 2013（05）： 90-93.

[5] 曹琴仙， 王雯潔， 張凱巍. 加拿大國家圖書檔案館數(shù)字資源服務(wù)實(shí)踐及啟示[J]. 河北科技圖苑， 2019， 32（05）： 19- 23+30.

[6] 于景琪， 劉佳. 首都圖書館推進(jìn)北京市圖書館總分館制建設(shè)探索與研究[J]. 山東圖書館學(xué)刊， 2018（06）： 55-58+63.

[7] 王麗英， 阿貴， 次仁普赤. 西藏高校圖書館教育資源配置研究[J]. 圖書館雜志， 2018， 37（08）： 67-75.

[8] 劉麗麗. 三網(wǎng)融合背景下數(shù)字圖書館電視服務(wù)用戶滿意度研究[D]. 山東大學(xué)， 2018.

[9] 李莘. 數(shù)字出版環(huán)境下圖書館紙質(zhì)圖書采訪面臨的困境及路徑選擇[J]. 中國中醫(yī)藥圖書情報(bào)雜志， 2018， 42（01）： 39-41+45.

[10] 超星閱覽器SSREADER3.6——全力打造數(shù)字圖書閱讀軟件至尊[J]. 軟件， 2002（01）： 21-22.