基于主題搜索的通用教學(xué)資源共享平臺設(shè)計＊

□ 徐朝軍

基于主題搜索的通用教學(xué)資源共享平臺設(shè)計＊

□ 徐朝軍

本文提出利用主題搜索技術(shù)從互聯(lián)網(wǎng)搜集分散教學(xué)資源的共享平臺的設(shè)計思想，并借助于Lucene索引和檢索技術(shù)為用戶提供高效的教學(xué)資源服務(wù)，避免了資源庫建設(shè)過程中出現(xiàn)的以開發(fā)為主、來源單一、更新動力不足、維護(hù)工作量大等問題。提高了現(xiàn)有互聯(lián)網(wǎng)閑散資源的利用率，從而減少資源重復(fù)開發(fā)所導(dǎo)致的人、財、物的浪費及時間上的低效，從技術(shù)上為教學(xué)資源建設(shè)和共享提供了新的思路和方法。

主題搜索；教學(xué)資源共享

在教育信息化大背景下，教學(xué)資源建設(shè)是各級、各類教育主管部門、機構(gòu)、培訓(xùn)部門教育、教學(xué)改革的重要內(nèi)容。從上世紀(jì)90年代初的CAI課件開發(fā)、資源庫建設(shè)，到本世紀(jì)初提出、現(xiàn)已全國遍地開花的網(wǎng)絡(luò)課程資源建設(shè)，以及突破部門、地區(qū)等區(qū)域限制的教學(xué)資源聯(lián)盟，其資源來源不外乎兩種渠道：一是自行開發(fā)，二是引進(jìn)共享。

本著集約、共享原則，本文提出通用教學(xué)資源共享平臺的設(shè)計思想，期望借力于主題蜘蛛技術(shù)搜集分散在互聯(lián)網(wǎng)各個節(jié)點的教學(xué)資源，根據(jù)用戶的需求進(jìn)行分類索引，提供統(tǒng)一的教學(xué)資源服務(wù)。該平臺具有低成本、通用性強、資源更新快等特點。實驗數(shù)據(jù)表明，該方案具有較高的可行性。

一、概述

隨著教育信息化的推進(jìn)，教學(xué)資源的應(yīng)用需求日益旺盛，為滿足此需求，從教師個體到學(xué)校、區(qū)縣教育局，乃至市、省、國家級的教育主管部門都開始了聲勢浩大、形式多樣的教學(xué)資源開發(fā)、建設(shè)工作，課件、資源庫、主題網(wǎng)站、網(wǎng)絡(luò)課程等不一而足[1]。

網(wǎng)絡(luò)使用成本的下降及“校校通”工程等政策的推動，為資源表達(dá)和交流提供了網(wǎng)絡(luò)平臺和空間，Web2.0理念及技術(shù)的深入，更是激發(fā)了教師資源發(fā)布和交流的欲望，互聯(lián)網(wǎng)上個人教學(xué)網(wǎng)站、博客、空間比比皆是，以“教學(xué)資源網(wǎng)”為主題的網(wǎng)站更是數(shù)不勝數(shù)。

在這些網(wǎng)站中除了部分商業(yè)資源外，很大一部分是免費的，可以共享使用。如果能充分利用這些分散在各個網(wǎng)絡(luò)空間站點的教學(xué)資源，可以極大地節(jié)約資源開發(fā)建設(shè)所需的人、財、物，避免了自主開發(fā)在時間上的低效，還可以保證教學(xué)資源的持續(xù)更新。

二、共享平臺設(shè)計

1.設(shè)計思路

基于上述想法，結(jié)合已有工作，本文提出以主題搜索技術(shù)為核心的通用教學(xué)資源共享平臺。

首先，采用主題蜘蛛技術(shù)[3][4][5]，從給定的種子網(wǎng)站開始，下載存儲來源于種子網(wǎng)站的所有鏈接資源，并根據(jù)網(wǎng)頁Title、URL錨文本、URL鏈接字符串等信息，按主題資源目錄樹進(jìn)行規(guī)則分類[6]；對于種子網(wǎng)站外的鏈接，則隨機從這些網(wǎng)站下載10個網(wǎng)頁，抽取這些網(wǎng)頁的文本信息，計算這些網(wǎng)頁與主題的相關(guān)度，如果達(dá)到設(shè)定的閾值，則該外部網(wǎng)站作為候選種子網(wǎng)站，在人工確認(rèn)后加入種子網(wǎng)站。

為便于用戶資源使用，平臺除了提供主題目錄檢索外，還提供按文字全文檢索。開源軟件Lucene提供了便捷的全文索引和檢索功能，平臺可以根據(jù)網(wǎng)頁Title、網(wǎng)頁正文、URL錨文本、URL鏈接字符串進(jìn)行資源檢索。

為減少自動系統(tǒng)可能存在的信息抽取的不準(zhǔn)確，保證資源描述信息的規(guī)范性，系統(tǒng)采用Web2.0技術(shù)，向注冊用戶開放資源描述信息修正接口，以資源描述信息修正積分、最新資源推送服務(wù)激勵注冊用戶共同努力，維護(hù)資源信息的規(guī)范性。

2.平臺結(jié)構(gòu)

筆者研究小組設(shè)計了如圖1所示教學(xué)資源共享平臺，其核心模塊包括：主題蜘蛛、主題規(guī)則庫、主題網(wǎng)站識別三個部分。

3.核心技術(shù)

為充分展示平臺的工作原理和特點，下面對平臺中設(shè)計的核心技術(shù)作詳細(xì)介紹。

（1）教學(xué)資源表示

式1是多媒體資源在共享平臺中的表示方法，其中部分冗余類別信息是為了提高資源分類精度。

（2）主題數(shù)與主題庫

圖2是基礎(chǔ)教育資源主題樹與分類目錄。主題樹是系統(tǒng)的靈魂，它是整個基礎(chǔ)教育資源體系的代表，也是資源分類依據(jù)和資源檢索目錄樹的組成部分，它的構(gòu)建應(yīng)在基礎(chǔ)教育專家和互聯(lián)網(wǎng)專家共同合作下完成。在每個子目錄（非終端節(jié)點）下都有若干專業(yè)主題詞條ti（ti∈T,T是主題詞庫），即每一個主題詞條都屬于一定的類別，ti為葉子節(jié)點。樹中每個節(jié)點的詞條都作為主題詞納入主題詞庫T。

（3）資源分類過程

平臺采用規(guī)則分類算法進(jìn)行資源分類。錨文本是對它所指向資源的描述，而網(wǎng)頁標(biāo)題則是對本網(wǎng)頁或網(wǎng)站主題的概括，所以根據(jù)網(wǎng)頁錨文本和標(biāo)題進(jìn)行分類可以取得較高的精度，而規(guī)則分類算法比較適合于短文本分類。具體分類步驟如下：

① 下載網(wǎng)頁，對網(wǎng)頁內(nèi)容進(jìn)行解析，提取出網(wǎng)頁標(biāo)題、所有超級鏈接等信息；

② 分析網(wǎng)頁中的每一個超級鏈接，如果超級鏈接的錨文本、ALT說明文本中包括主題詞ti，則根據(jù)其在主題分類樹中的節(jié)點位置，結(jié)合模糊規(guī)則理論，綜合判斷其所屬學(xué)段、學(xué)科等類別屬性，如：“高二物理（靜電場部分）測試題”是來源于中國基礎(chǔ)教育網(wǎng)物理欄首頁（http://www.cbe21.com/subject/physics/index.php）的一個鏈接，根據(jù)錨文本的關(guān)鍵詞條“高二”、“物理”、“靜電場”、“測試題”，可以得出式2所示信息：

③ 根據(jù)網(wǎng)頁間的鏈接關(guān)系、超級鏈接信息、網(wǎng)頁正文，抽取資源的描述、簡介、文件類型等其它屬性；

④ 保存上述資源信息至教學(xué)資源庫。

（4）主題網(wǎng)站識別

識別新的主題網(wǎng)站是為了在已有種子網(wǎng)站的基礎(chǔ)上，進(jìn)一步充實種子網(wǎng)站庫。過程如下：

① 從每個初始種子網(wǎng)站下載10個網(wǎng)頁，并抽取其文本，以主題詞庫T為分詞詞典，采用TF/IDF算法（見式3）[7]進(jìn)行文檔訓(xùn)練；

② 隨機抽取外部網(wǎng)站的10個網(wǎng)頁文本，根據(jù)VSM算法（見式4）[8]，計算其與初始主題的相關(guān)度，將高于預(yù)設(shè)值（本文實驗值為0.8）的網(wǎng)站列入候選種子網(wǎng)站，供進(jìn)一步手工確認(rèn)，在豐富資源來源的同時，保證種子網(wǎng)站的權(quán)威性。

三、實驗

實踐中，開發(fā)小組以Windows 2003 Server/IIS6.0/SQL Server 2003/.net 2003為開發(fā)運行平臺，實現(xiàn)了基礎(chǔ)教育資源服務(wù)平臺，主題蜘蛛運行于普通PC平臺，并對相關(guān)數(shù)據(jù)進(jìn)行了統(tǒng)計。

基礎(chǔ)教育資源初始種子網(wǎng)站為20個，主題樹如圖2所示，其下主題詞共為32729條。系統(tǒng)在連續(xù)運行15天后，共得到URL鏈接23717個，其中有效資源為205394，新發(fā)現(xiàn)種子網(wǎng)站53個，對有效的資源，研究按表1、表2進(jìn)行了統(tǒng)計，從數(shù)據(jù)來看主題搜索技術(shù)可以從互聯(lián)網(wǎng)發(fā)現(xiàn)多種文件類型的教學(xué)資源，為教學(xué)資源建設(shè)提供新的思路。

表1 按文件類型進(jìn)行資源分類的統(tǒng)計結(jié)果

表2 按媒體類型進(jìn)行資源分類的統(tǒng)計結(jié)果（不包含網(wǎng)頁類資源）

四、結(jié)論

本研究構(gòu)建的平臺避免了資源庫建設(shè)過程中出現(xiàn)的以自主開發(fā)為主、來源單一、更新動力不足、維護(hù)工作量大等問題，而是著眼于提高現(xiàn)有互聯(lián)網(wǎng)資源的利用率，減少資源重復(fù)開發(fā)，在技術(shù)上通用性較強。

1.低成本

資源平臺通過主題搜索技術(shù)，發(fā)掘互聯(lián)網(wǎng)現(xiàn)有閑散資源，提高現(xiàn)有資源的利用率，而不是重新開發(fā)。因此，資源服務(wù)所需人、財、物及時間成本較低。

2.通用性強

如果根據(jù)新的主題資源服務(wù)需求，更換平臺中新主題相關(guān)種子初始網(wǎng)站庫（20個左右） 和主題庫，該平臺就可以適用于新的主題資源服務(wù)。在實踐中，我們以該平臺為核心，先后用于基礎(chǔ)教育資源、中學(xué)物理教育資源、學(xué)前教育資源、職業(yè)教育資源等系統(tǒng)服務(wù)項目的開發(fā)，并得到用戶的認(rèn)可。

3.資源更新快

主題蜘蛛是不斷連續(xù)運行的程序，它周期性地掃描種子網(wǎng)站，發(fā)現(xiàn)新的資源，更新、刪除死的資源鏈接，持續(xù)動態(tài)的提供資源服務(wù)，對個人興趣愛好、行政政策、經(jīng)濟利益等依賴很小。主題蜘蛛遍歷種子網(wǎng)站的周期即為資源更新周期，在一般情況下，一個月即可對所有資源遍歷一次，一個星期內(nèi)即可發(fā)現(xiàn)網(wǎng)站上95%的最新資源。

[1]徐恩芹，劉美鳳.中小學(xué)教學(xué)資源現(xiàn)存問題透析[J].中小學(xué)信息技術(shù)教育，2006，（11）.

[2]羅志勇.知識共享機制研究[M].北京：北京圖書館出版社，2003.

[3]徐根寶.搜索引擎與信息獲取技術(shù)[M].北京：清華大學(xué)出版社，2003.

[4]ALTING(O)VDE IS，ULUSOY(O).Exploiting interclass rules for focused crawling[J].IEEE Intelligent Systems,2004,19(6)：66-73.

[5]Jun Li，Kazutaka Furuse，Kazunori Yamaguchi：Focused crawling by exploiting anchor text using decision tree[J].WWW(Special interest tracks and posters)2005：1190-1191

[6]李渝勤，孫麗華.基于規(guī)則的自動分類在文本分類中的應(yīng)用[J].中文信息學(xué)報，2004，18（4）：9-14.

[7]錢愛兵，江嵐.基于改進(jìn)TF-IDF的中文網(wǎng)頁關(guān)鍵詞抽取-以新聞網(wǎng)頁為例[J].情報理論與實踐：2008，31（6）：945-950.

[8]郭慶琳，李艷梅，唐琦.基于VSM的文本相似度計算的研究[J].計算機應(yīng)用研究，2008，25（11）：3256-3258.

2009－09－30

徐朝軍,講師，在讀博士,南京師范大學(xué)教育技術(shù)系（210097）。

責(zé)任編輯 鄭 重

Developing educational resources is an integral component of educational reform in the information age.This article puts forward the design concept of using Lucene's indexing and retrieval technology to effectively provide educational resources for users.The platform designed in this way can overcome deficiencies in the construction of resources banks.For example,resources banks tend to focus on the development of resources so that the resources are from a single source.Moreover,resources are not timely updated and maintenance represents a huge workload.In contrast,the new platform aims to increase the availability of resources distributed over the Internet,hence avoiding repetition in resources development and providing a new way of developing and sharing educational resources.Experiment results show that this design concept is feasible.

Designing an Educational Resources Sharing Platform Supported by Theme-based Retrieval Technology

Xu Chaojun

theme-based retrieval;educational resources sharing

G40-057

B

1009—458x（2010）03—0064—03

*全國教育科學(xué)“十一五”規(guī)劃2009年度教育部青年專項課題“網(wǎng)絡(luò)課程使用現(xiàn)狀自動量化評價系統(tǒng)研究”（課題編號：ECA090441）的研究成果之一。