網(wǎng)絡(luò)灰色文獻(xiàn)信息源及其挖掘與利用

彭海濤

（廣東技術(shù)師范學(xué)院圖書館，廣東 廣州 510665）

1 灰色文獻(xiàn)的概念

灰色文獻(xiàn)的概念產(chǎn)生于20世紀(jì)70年代，是從英文“Grey Literature”翻譯而來?；疑墨I(xiàn)是相對于白色文獻(xiàn)和黑色文獻(xiàn)而言的，白色文獻(xiàn)是指正式出版并在社會成員中公開流通的文獻(xiàn)，包括圖書、報紙、期刊等；黑色文獻(xiàn)是指非公開出版發(fā)行、或者發(fā)行范圍狹窄、內(nèi)容保密的文獻(xiàn)，如軍事情報資料、技術(shù)機(jī)密資料、個人隱私材料等。灰色文獻(xiàn)介于兩者之間，一般指非公開出版或已出版但不公開發(fā)行，通過正常發(fā)售渠道難以獲取的非秘密文獻(xiàn)，是一種新型信息源。

自從灰色文獻(xiàn)提出以來，國內(nèi)外對其定義還有許多爭論。目前被廣泛接受的定義大多數(shù)取自1997年在盧森堡舉行的“第三次國際灰色文獻(xiàn)會議”所提出的：灰色文獻(xiàn)系指不經(jīng)商業(yè)出版者控制，而由各級政府部門、學(xué)術(shù)機(jī)構(gòu)、工商業(yè)界所生產(chǎn)的各類印刷與電子形式的文獻(xiàn)資料。主要包括預(yù)印本、政府報告與文件、技術(shù)檔案（技術(shù)規(guī)范、標(biāo)準(zhǔn)和工具手冊等）、學(xué)位論文、科技報告、調(diào)查報告、會議論文、內(nèi)部刊物等。近年來，專門從事灰色文獻(xiàn)研究與開發(fā)的機(jī)構(gòu)紛紛成立，尤其是歐盟、美國、日本等發(fā)達(dá)國家已建立了各種類型的灰色文獻(xiàn)數(shù)據(jù)。

2 網(wǎng)絡(luò)灰色文獻(xiàn)及其信息源

隨著網(wǎng)絡(luò)的普及以及傳統(tǒng)出版費(fèi)用的增加，通過網(wǎng)絡(luò)出版、傳播和獲取灰色文獻(xiàn)成為重要的手段。網(wǎng)絡(luò)灰色文獻(xiàn)是指以互聯(lián)網(wǎng)為載體，不經(jīng)盈利部門控制、發(fā)行，并且允許用戶免費(fèi)檢索、獲取、整理與利用的灰色文獻(xiàn)資源。主要包括兩部分：一是傳統(tǒng)灰色文獻(xiàn)經(jīng)數(shù)字化后上傳到互聯(lián)網(wǎng)各節(jié)點(diǎn)上的數(shù)據(jù)資源；二是網(wǎng)絡(luò)電子期刊、動態(tài)報道、索引數(shù)據(jù)庫、個人網(wǎng)頁、即時通訊記錄等。互聯(lián)網(wǎng)上網(wǎng)絡(luò)灰色文獻(xiàn)數(shù)量巨大、增長迅速、更新速度快、時效性強(qiáng)，其信息來源主要由Web站點(diǎn)、數(shù)字圖書館、博客、新聞組信息、網(wǎng)絡(luò)灰色電子期刊、索引數(shù)據(jù)庫等幾個部分組成。

2.1 Web站點(diǎn)

筆者通過訪問Netcraft公司網(wǎng)站，了解到2009年10月全球共有230443449個站點(diǎn)，相比上個月增加了4343608個站點(diǎn)。這些網(wǎng)站隸屬于不同的單位、機(jī)構(gòu)和個人，可簡單分為政府網(wǎng)站、門戶網(wǎng)站（綜合網(wǎng)站）、行業(yè)網(wǎng)站、娛樂網(wǎng)站、個人網(wǎng)站等。這些網(wǎng)站提供的信息資源豐富，且各有所偏重，是網(wǎng)絡(luò)灰色文獻(xiàn)的主要來源。如政府網(wǎng)站一般提供政策法規(guī)、政府機(jī)構(gòu)概況、政府各部門的文件、最新政務(wù)動態(tài)、熱點(diǎn)新聞、政府公告公示、發(fā)展規(guī)劃、政府工作報告、重點(diǎn)項(xiàng)目建設(shè)信息等資料；門戶網(wǎng)站主要提供新聞、搜索引擎、網(wǎng)絡(luò)接入、聊天室、電子公告牌、免費(fèi)郵箱、影音資訊、電子商務(wù)、網(wǎng)絡(luò)社區(qū)、網(wǎng)絡(luò)游戲、免費(fèi)網(wǎng)頁空間等；行業(yè)網(wǎng)站提供行業(yè)內(nèi)最新資訊、研究成果、科研報告、調(diào)查報告、政策調(diào)研資料等；個人網(wǎng)站可提供某種專業(yè)技術(shù)資訊、某種服務(wù)或自己的作品等。

目前，社交網(wǎng)站是人們相互交流的常用工具，備受用戶青睞。據(jù)ComScore公司公布的數(shù)據(jù)顯示，在美國，截止2008年6月，MySpace的用戶數(shù)量為7280萬人，F(xiàn)acebook網(wǎng)站用戶數(shù)達(dá)到3740萬人。在社交網(wǎng)站里，用戶是網(wǎng)站內(nèi)容的提供者。社交網(wǎng)站幫助用戶創(chuàng)建、消費(fèi)、共享和討論各種形式的媒體，提供博客、即時通訊、郵件、音樂、圖書、電影、視頻、相冊、論壇、分類、交友、聊天室、招聘等服務(wù)。通過社交網(wǎng)站，用戶可以掌握個人信息、站內(nèi)郵件和聊天記錄等信息，也可以獲得各注冊用戶提供的圖片、視頻、評論等信息。如在以照片和視頻共享為主的Photobucket網(wǎng)站上，每天都有大量由用戶自己拍攝的照片和視頻上傳，首頁上顯示的照片和視頻數(shù)量每一瞬間都在以十位數(shù)、百位數(shù)遞增。據(jù)統(tǒng)計，用戶每天上傳到Photobucket的視頻片斷多達(dá)4.5萬個。

2.2 數(shù)字圖書館

數(shù)字圖書館存儲的信息資源十分豐富，集中了許多學(xué)術(shù)價值高的灰色文獻(xiàn)信息資源。數(shù)字圖書館的建立使人們在任何時間和任何地點(diǎn)通過網(wǎng)絡(luò)獲取所需的信息變?yōu)楝F(xiàn)實(shí)，大大促進(jìn)了資源的共享與利用。如由聯(lián)合國教科文組織及32個合作的公共團(tuán)體共同成立，由美國國會圖書館主導(dǎo)開發(fā)的世界數(shù)字圖書館，為全球讀者免費(fèi)提供圖書、地圖、手抄本、影片與照片等服務(wù)。讀者可利用阿拉伯語、漢語、英語、法語、葡萄牙語、俄語、西班牙語七種語言搜尋信息。隨著數(shù)字信息的發(fā)展，數(shù)字圖書館已成為網(wǎng)絡(luò)灰色文獻(xiàn)的主要來源。

2.3 博客

博客最初的名稱是Weblog，意思是指網(wǎng)絡(luò)日記。博客內(nèi)容豐富，涉及日記、照片、詩歌、散文、科技動態(tài)、各領(lǐng)域最新研究成果等，是網(wǎng)絡(luò)灰色文獻(xiàn)的主要信息源。用戶通過博客可快速傳遞信息。2009年6月，中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)發(fā)布的 《2008-2009博客市場及博客行為研究報告》顯示，截至2009年6月底，擁有個人博客或個人空間的用戶規(guī)模已經(jīng)達(dá)到1.81億人。

2.4 新聞組信息

NewsGroup即新聞組，它是互聯(lián)網(wǎng)提供的重要服務(wù)內(nèi)容之一，同時也是互聯(lián)網(wǎng)上使用最廣泛的信息交流手段之一，具有海量信息、直接交互、全球互聯(lián)、主題鮮明等優(yōu)點(diǎn)。它通過互聯(lián)網(wǎng)的電子郵件發(fā)表個人關(guān)于某個問題的觀點(diǎn)和看法，也可能是對某人的觀點(diǎn)和看法的回復(fù)。其討論的話題五花八門、包羅萬象，涉及電腦科技、社會生活的方方面面。這些信息都是以電子郵件的方式發(fā)送到某個新聞組服務(wù)器(News Server)，并以不同的新聞組名組織起來。然后由這個服務(wù)器通過互聯(lián)網(wǎng)向世界各地的新聞組服務(wù)器傳送。

2.5 網(wǎng)絡(luò)灰色電子期刊

網(wǎng)絡(luò)灰色電子期刊主要是一些大學(xué)、科研單位、企業(yè)編印的內(nèi)部流通的電子期刊（沒有ISSN），主要包括：（1）高等院校出版的內(nèi)部交流刊物、論文集。高等院校既是教學(xué)機(jī)構(gòu)也是研究機(jī)構(gòu)，常出版一些供內(nèi)部教學(xué)研究交流用的刊物，具有針對性強(qiáng)、目錄項(xiàng)較全等特點(diǎn)；（2）論壇刊物和企業(yè)期刊。網(wǎng)絡(luò)論壇是一個和網(wǎng)絡(luò)技術(shù)有關(guān)的網(wǎng)上交流場所。有些專業(yè)論壇專注于某主題，涉及音樂、短片、圖片、解決方案、行業(yè)動態(tài)等內(nèi)容。擁有共同興趣的網(wǎng)絡(luò)用戶在論壇上交流心得，或提出對某一問題的解決方案及新方法、新思想，管理人員定期或不定期將論壇內(nèi)發(fā)布的參考價值高的資料進(jìn)行整理，制作成電子期刊，提供給論壇內(nèi)用戶或網(wǎng)絡(luò)用戶使用。如PHPChina論壇制作的《PHPer》等。企業(yè)期刊是企業(yè)向顧客和消費(fèi)者發(fā)行的一種期刊，其內(nèi)容一般包括企業(yè)最新研究成果、產(chǎn)品介紹或研究開發(fā)項(xiàng)目等，一般發(fā)布在企業(yè)網(wǎng)站上，供用戶下載閱覽。

2.6 索引數(shù)據(jù)庫

索引數(shù)據(jù)庫是網(wǎng)絡(luò)灰色文獻(xiàn)重要的信息源，通過它可以加快數(shù)據(jù)的檢索速度，提高原始文獻(xiàn)的檢索效率。很多網(wǎng)站在網(wǎng)上發(fā)布產(chǎn)品信息索引、公司索引、機(jī)構(gòu)索引數(shù)據(jù)庫、文獻(xiàn)索引信息庫及分類索引信息庫等，用戶可依據(jù)索引找到相關(guān)資源。

3 網(wǎng)絡(luò)灰色文獻(xiàn)資源的挖掘與利用

3.1 鏈接提供網(wǎng)絡(luò)灰色文獻(xiàn)的資源網(wǎng)站和灰色文獻(xiàn)數(shù)據(jù)庫

互聯(lián)網(wǎng)上一些大型研究性網(wǎng)站，集中了許多學(xué)術(shù)價值高的灰色文獻(xiàn)信息資源，值得挖掘和利用。

一是國外大型灰色文獻(xiàn)數(shù)據(jù)庫：（1）歐洲灰色文獻(xiàn)信息系統(tǒng)(System for Information on Grey Literature in Europe，簡稱 SIGLE)。SIGLE 創(chuàng)建于 1980年，是一個多學(xué)科數(shù)據(jù)庫，包括基礎(chǔ)科學(xué)、應(yīng)用科學(xué)、技術(shù)科學(xué)、人文社會科學(xué)。它搜集與整理歐共體所屬成員生產(chǎn)的灰色文獻(xiàn)，并通過在線數(shù)據(jù)庫的形式發(fā)布，提供涵蓋各種學(xué)科的報告、學(xué)位論文及其他形式的英文灰色文獻(xiàn)信息800000多條；（2）灰色文獻(xiàn)網(wǎng)（GreyNet）。GreyNet創(chuàng)建于1992年，以推動灰色文獻(xiàn)領(lǐng)域的個人和組織之間的對話交流為己任，不斷探索網(wǎng)絡(luò)環(huán)境下灰色文獻(xiàn)的鑒別和傳播方面的問題。從1993年到2009年，GreyNet組織召開了10次國際灰色文獻(xiàn)會議；（3）大英圖書館灰色文獻(xiàn)供應(yīng)中心（BLDSC）。BLDSC采用集中式的開發(fā)利用模式，從事灰色文獻(xiàn)的收集并提供查詢與利用服務(wù)，主要負(fù)責(zé)英國國內(nèi)灰色文獻(xiàn)的收集并提供相應(yīng)服務(wù)。BLDSC館藏包括報告、博士論文和碩士論文、翻譯作品、非營利性會議論文集、官方文件等。

二是其他提供相關(guān)信息資源的網(wǎng)站。其他提供網(wǎng)絡(luò)灰色文獻(xiàn)的網(wǎng)站包括政府網(wǎng)站、科研機(jī)構(gòu)和社會團(tuán)體門戶網(wǎng)站等，如中華人民共和國中央人民政府門戶網(wǎng)站、中國科學(xué)院網(wǎng)站等。這些網(wǎng)站提供了大量各類有價值的灰色文獻(xiàn)，包括法律、法規(guī)、部門規(guī)章、規(guī)范性政府文件及其準(zhǔn)確的解讀和分析、科研報告和調(diào)查報告等。

3.2 利用搜索引擎，挖掘網(wǎng)絡(luò)灰色文獻(xiàn)

搜索引擎作為互聯(lián)網(wǎng)海量信息的主要檢索工具，成為人們獲取信息的重要途徑和入口。據(jù)ComScore公司公布的統(tǒng)計數(shù)據(jù)顯示，2009年7月全球用戶搜索數(shù)已達(dá)1137億次。搜索引擎以一定的檢索策略在互聯(lián)網(wǎng)上搜集、發(fā)現(xiàn)信息，對信息進(jìn)行提取、組織和處理，并為用戶提供檢索服務(wù)。常用的搜索引擎有中文搜索引擎、英文搜索引擎、FTP搜索引擎、垂直搜索引擎等。

以Google和百度為代表的新一代搜索引擎擁有內(nèi)容豐富、數(shù)量龐大的網(wǎng)頁信息庫和索引數(shù)據(jù)庫，能快速搜索出包含關(guān)鍵詞的信息，對網(wǎng)頁關(guān)鍵詞的接近度進(jìn)行分析，并且能按照關(guān)鍵詞的接近度確定搜索結(jié)果的先后次序，優(yōu)先顯示與關(guān)鍵詞較為接近的結(jié)果。利用各種各樣的搜索引擎對網(wǎng)絡(luò)灰色文獻(xiàn)進(jìn)行搜集，可以快速、高效及準(zhǔn)確地搜索到接近度較高的灰色信息資源。

3.3 購買商業(yè)灰色文獻(xiàn)數(shù)據(jù)庫

網(wǎng)絡(luò)灰色文獻(xiàn)由于數(shù)量龐大、學(xué)科種類多樣和質(zhì)量參差不齊，需要投入大量資金進(jìn)行收集、加工和整理。國內(nèi)外一些數(shù)據(jù)服務(wù)提供商已開發(fā)出較為成熟的大型商業(yè)灰色文獻(xiàn)數(shù)據(jù)庫系統(tǒng)，這些數(shù)據(jù)庫系統(tǒng)具有文獻(xiàn)資料齊全、質(zhì)量高、持續(xù)更新等特點(diǎn)，是利用網(wǎng)絡(luò)灰色文獻(xiàn)資源的主要信息源。我國已建立的學(xué)位論文數(shù)據(jù)庫、會議論文數(shù)據(jù)庫等，能為用戶提供網(wǎng)絡(luò)灰色文獻(xiàn)服務(wù)。例如：（1）中國學(xué)位論文全文數(shù)據(jù)庫。該庫由中國科技信息研究所提供，并委托萬方數(shù)據(jù)公司加工建庫，收錄了自1977年以來我國各學(xué)科領(lǐng)域的博士、碩士研究生論文，涵蓋自然科學(xué)、數(shù)理化、天文、地球、生物、醫(yī)藥、衛(wèi)生、工業(yè)技術(shù)、航空、環(huán)境、社會科學(xué)、人文地理等各學(xué)科領(lǐng)域；（2）中國優(yōu)秀碩士學(xué)位論文全文數(shù)據(jù)庫。該庫收錄了1999年以來全國460家碩士培養(yǎng)單位的優(yōu)秀碩士學(xué)位論文；（3）中國學(xué)術(shù)會議論文全文數(shù)據(jù)庫。該庫是我國最具權(quán)威性的學(xué)術(shù)會議論文全文數(shù)據(jù)庫，收錄了1998-2004年國家一級學(xué)會在國內(nèi)組織召開的全國性學(xué)術(shù)會議近7000余次會議，45萬余篇會議論文全文；（4）CNKI的中國重要會議論文全文庫。該數(shù)據(jù)庫收錄我國2000年以來國家二級以上學(xué)會、協(xié)會、高等院校、科研院所、學(xué)術(shù)機(jī)構(gòu)等單位的論文集，年更新約10萬篇論文。

3.4 利用數(shù)據(jù)挖掘軟件及競爭情報系統(tǒng)開發(fā)網(wǎng)絡(luò)灰色文獻(xiàn)

網(wǎng)絡(luò)信息挖掘是根據(jù)一定的限定條件在網(wǎng)絡(luò)中有目的地進(jìn)行信息提取。目前，國內(nèi)外已開發(fā)出很多基于特定算法、適用特定數(shù)據(jù)類型的數(shù)據(jù)挖掘軟件。競爭情報系統(tǒng)是基于信息采集、全文檢索、文本挖掘等核心技術(shù)，對網(wǎng)絡(luò)灰色信息進(jìn)行收集、存儲、處理、分析的應(yīng)用管理系統(tǒng)，用戶可利用其獲取網(wǎng)上潛藏的灰色信息資源。近年來，我國的軟件企業(yè)也推出了簡單易用的信息系統(tǒng)軟件產(chǎn)品，如天下互聯(lián)中國網(wǎng)絡(luò)情報中心開發(fā)的企業(yè)情報門戶系統(tǒng)軟件(CIPS)、谷尼國際軟件公司開發(fā)的Goonie企業(yè)競爭情報系統(tǒng)（Goonie Competitive Intelligence System）等。用戶利用這些軟件可對網(wǎng)絡(luò)灰色文獻(xiàn)資源進(jìn)行挖掘與收集、自動批量采集與加工處理、分析，實(shí)現(xiàn)網(wǎng)絡(luò)灰色信息的整合。

3.5 分布模式開發(fā)網(wǎng)絡(luò)灰色文獻(xiàn)

目前，網(wǎng)絡(luò)灰色文獻(xiàn)開發(fā)利用模式主要有集中模式、分散模式、分布模式和集成模式四種。由于網(wǎng)絡(luò)灰色文獻(xiàn)數(shù)據(jù)量大、分布廣泛、學(xué)科結(jié)構(gòu)復(fù)雜、格式多樣且數(shù)量快速增長，單獨(dú)一個部門難以承擔(dān)開發(fā)任務(wù)。根據(jù)目前的實(shí)際，筆者認(rèn)為可采用具有集中管理、分散開發(fā)和分散服務(wù)特點(diǎn)的分布模式開發(fā)網(wǎng)絡(luò)灰色文獻(xiàn)。各地方圖書館收集、整理本地區(qū)內(nèi)灰色文獻(xiàn)，建立地區(qū)性網(wǎng)絡(luò)灰色文獻(xiàn)數(shù)據(jù)庫；各高校圖書館負(fù)責(zé)本?；蛐?nèi)各學(xué)科的網(wǎng)絡(luò)灰色文獻(xiàn)數(shù)據(jù)庫；各專業(yè)研究機(jī)構(gòu)或組織收集、建設(shè)本學(xué)科內(nèi)或本機(jī)構(gòu)內(nèi)的網(wǎng)絡(luò)灰色文獻(xiàn)數(shù)據(jù)庫，然后通過互聯(lián)網(wǎng)把分布在各地區(qū)、各部門的網(wǎng)絡(luò)灰色文獻(xiàn)數(shù)據(jù)庫聯(lián)結(jié)起來，實(shí)現(xiàn)聯(lián)合檢索。采用此方式可避免重復(fù)建設(shè)、加快網(wǎng)絡(luò)灰色文獻(xiàn)數(shù)據(jù)庫的建設(shè)與開發(fā)進(jìn)程。由于采用統(tǒng)一的建庫標(biāo)準(zhǔn)，各種灰色文獻(xiàn)數(shù)據(jù)庫質(zhì)量較高。

4 結(jié)束語

隨著網(wǎng)絡(luò)技術(shù)、通訊技術(shù)、存儲技術(shù)等技術(shù)的進(jìn)步，互聯(lián)網(wǎng)上的灰色文獻(xiàn)資源必將在網(wǎng)絡(luò)信息中占有越來越大的比重。用戶利用灰色文獻(xiàn)意識的提高，促進(jìn)了網(wǎng)絡(luò)灰色文獻(xiàn)的開發(fā)利用。網(wǎng)絡(luò)灰色文獻(xiàn)開發(fā)的核心是灰色文獻(xiàn)數(shù)據(jù)庫的建設(shè)。加強(qiáng)網(wǎng)絡(luò)灰色文獻(xiàn)源研究，加快已有灰色文獻(xiàn)全文數(shù)字化、網(wǎng)絡(luò)化及網(wǎng)絡(luò)灰色文獻(xiàn)的標(biāo)準(zhǔn)化、規(guī)范化研究工作，是滿足用戶網(wǎng)絡(luò)灰色文獻(xiàn)需求的必由之路。高質(zhì)量的網(wǎng)絡(luò)灰色文獻(xiàn)在科技創(chuàng)新和社會發(fā)展中起著基礎(chǔ)作用，是國內(nèi)外圖書情報界公認(rèn)的重要情報源，其獨(dú)特的情報價值、特殊的參考價值和社會功能也必將越來越受到重視。

[1] October 2009 Web Server Survey[EB/OL].[2010-07-30].http://news.netcraft.com/archives/2010/07/16/july-2010-web-server-survey-16.html.

[2] 徐劉靖,劉細(xì)文.國外網(wǎng)絡(luò)灰色文獻(xiàn)開發(fā)利用模式及服務(wù)方式研究[J].圖書情報知識，2006(1):78-80.

[3] 孟齊霞.有效利用網(wǎng)絡(luò)灰色信息[J].現(xiàn)代情報,2004(6):69-70.

[4] 盧培煌,楊新涯,彭曉東.數(shù)字圖書館灰色文獻(xiàn)資源的建設(shè)與利用[J].西南農(nóng)業(yè)大學(xué)學(xué)報(社會科學(xué)版),2008(3):220-224.

[5] 劉海航,黃碧云,張暢.網(wǎng)絡(luò)環(huán)境下灰色文獻(xiàn)的白色化及獲取[J].新世紀(jì)圖書館,2003(5):34-36.

[6] 王新.因特網(wǎng)上灰色文獻(xiàn)的開發(fā)與利用[J].信息系統(tǒng),2003(5):209-212.

[7] 欒秀梅.網(wǎng)上灰色文獻(xiàn)資源建設(shè)初探[J].山東圖書館季刊,2003(2):79-80.

[8] 《2008-2009博客市場及博客行為研究報告》簡介[EB/OL].[2010-07-30].http://cnmedia.org/blog/?p=21.

[9] 程慧榮,鐘惠燕.挖掘網(wǎng)上灰色文獻(xiàn) 提升圖書館信息服務(wù)能力[J].現(xiàn)代情報,2006(4):159-161.