面向C語(yǔ)言題庫(kù)的相似試題辨別方法研究

劉全超 山西農(nóng)業(yè)大學(xué)信息學(xué)院

面向C語(yǔ)言題庫(kù)的相似試題辨別方法研究

劉全超 山西農(nóng)業(yè)大學(xué)信息學(xué)院

按照傳統(tǒng)的教育模式，教師的教學(xué)方式主要是面對(duì)面教學(xué)，練習(xí)和考試，其一律采用手動(dòng)出題，手工閱卷的方式，這種教學(xué)方式不僅效率低下，而且限制了教學(xué)的靈活度。近年來(lái)，隨著計(jì)算機(jī)技術(shù)的網(wǎng)路技術(shù)的高速發(fā)展，無(wú)紙化考試系統(tǒng)廣泛的運(yùn)用于遠(yuǎn)程教育系統(tǒng)中，這種運(yùn)用主要是通過(guò)電子題庫(kù)實(shí)現(xiàn)的。在這種電子題庫(kù)中，手工錄入大量的試題，一次錄入就可以長(zhǎng)期的使用，但是隨之試題越來(lái)越多，越來(lái)越復(fù)雜，出現(xiàn)了大量重復(fù)的試題，導(dǎo)致在錄入過(guò)程中，無(wú)法被篩選和去除，如何在一定的程度上有效的去除電子題庫(kù)中重復(fù)的或者相似的試題，這個(gè)節(jié)約資源，提高考試和試卷質(zhì)量的一個(gè)十分重要的問(wèn)題。本文根據(jù)這個(gè)問(wèn)題，以C語(yǔ)言試題為研究對(duì)象，逐漸的以語(yǔ)句的相似度為核心的電子試題去解決這個(gè)問(wèn)題。

C語(yǔ)言題庫(kù) 語(yǔ)句相似度 詞相似度

1 試題預(yù)處理和相似模型的建立

1.1 詞法標(biāo)注研究

詞法標(biāo)注研究是對(duì)中文內(nèi)容處理，分析和理解的必要條件，詞法的優(yōu)劣直接影響程序后面的處理的結(jié)果，通過(guò)詞法標(biāo)注可以得到語(yǔ)句中的單個(gè)詞匯的詞性，和詞義信息。目前這種技術(shù)已經(jīng)非常成熟，在許多詞性標(biāo)注程序可以使用，詞法分析過(guò)程中采用的現(xiàn)有分詞磁性的標(biāo)注接口。這次分詞詞性標(biāo)注接口用了題庫(kù)中抽取的一系列C語(yǔ)言試題進(jìn)行測(cè)試，這個(gè)測(cè)試結(jié)果能夠?qū)芏嗟脑~切分的很好，能夠滿足程序的后面一系列的操作要求。

1.2 C語(yǔ)言詞匯提取

詞法標(biāo)注的詞表不只是單單針對(duì)C語(yǔ)言，所以在這種結(jié)果下，對(duì)于一些專(zhuān)業(yè)詞匯的切分效果不是很讓人滿意，像數(shù)組這種C語(yǔ)言中經(jīng)常出現(xiàn)的詞匯被切分成了多個(gè)詞匯，而這樣的詞匯是一定詞匯上不可分割的，如果強(qiáng)行分割，會(huì)給后面的程序操作帶來(lái)各種各樣的麻煩，所以要單獨(dú)處理C語(yǔ)言詞匯。為了對(duì)詞法標(biāo)注后的試題做出進(jìn)一步的處理，識(shí)別其中的專(zhuān)業(yè)詞匯，必須建立一個(gè)C語(yǔ)言的專(zhuān)業(yè)詞匯表，這個(gè)詞匯表必須包含這個(gè)語(yǔ)言的各個(gè)方面。然后，根據(jù)后續(xù)處理，需要將這個(gè)專(zhuān)業(yè)的領(lǐng)域詞匯分為兩類(lèi)，第一類(lèi)為標(biāo)志性的專(zhuān)有名詞，第二類(lèi)為一般的普通的詞匯。當(dāng)?shù)谝活?lèi)專(zhuān)有詞匯出現(xiàn)在試題中時(shí)，因?yàn)槭菍?zhuān)有名詞，C語(yǔ)言試題對(duì)這種情況的處理方式就會(huì)出現(xiàn)有所不同，因此，這樣兩個(gè)的試題相似的可能性就會(huì)比較大，那么，在計(jì)算這種試題時(shí)，就要賦予這種試題最高的權(quán)重。第二類(lèi)詞匯一般涉及各種程序操作的相關(guān)詞匯，對(duì)于這種詞匯，就賦予一個(gè)較高的權(quán)重。

2 相似度模型

相似度模型是在一定的運(yùn)算程序下，找出合適的算法計(jì)算試題相似度，通過(guò)相似度來(lái)判斷是否出現(xiàn)了重復(fù)，這個(gè)模型是研究相似度的核心問(wèn)題。語(yǔ)言相似度是一個(gè)非常抽象的概念，因?yàn)樗撾x了實(shí)際的具體的應(yīng)用背景談?wù)撓嗨贫?，?dǎo)致在一定的程度上很難得到一個(gè)統(tǒng)一的定義。然而在一定的實(shí)際生活中，在各種各樣的具體應(yīng)用中，相似度的含義也有所不同。相似度模型對(duì)于不同的應(yīng)用有不同的要求，雖然人們?cè)岢龃罅康南嗨贫鹊脑O(shè)計(jì)方法，但是對(duì)與各個(gè)不同的領(lǐng)域最佳的，統(tǒng)一的計(jì)算方法并不存在。

3 相似度模型分析

3.1 布爾模型

布爾模型是一種基于集合論和布爾代數(shù)的一種簡(jiǎn)單模型。因?yàn)榧系亩x是非常直觀的，所以這種模型計(jì)算起來(lái)是非常簡(jiǎn)單易懂，快速的。這種模型雖然十分簡(jiǎn)單，比較容易實(shí)現(xiàn)，但是也有它的不足，它很粗糙的計(jì)算實(shí)體的相似度，導(dǎo)致結(jié)算結(jié)果和實(shí)際的要求會(huì)出現(xiàn)很大的偏差。

3.2 向量模型

向量模型是針對(duì)布爾模型中的一些缺點(diǎn)和不足，相應(yīng)提出的一個(gè)適合部分匹配的框架，在布爾模型中，只有相關(guān)和不相關(guān)兩種模型但是在向量模型中，不同的詞匯有一個(gè)相似度值，在這種模式中，要首先把試題表示為相應(yīng)的向量。

4 面向C語(yǔ)言的相似度模型

布爾模型是用來(lái)計(jì)算試題的相似度時(shí)雖然速度快，效率高，但是計(jì)算過(guò)程粗糙，計(jì)算結(jié)果不準(zhǔn)確，一些意思相似的詞，依然意思相似，但是寫(xiě)法還是有所不同，布爾模型則在計(jì)算時(shí)自動(dòng)忽略了這個(gè)差異性，不能完全的反應(yīng)試題的相似程度，因此不適合在這種專(zhuān)業(yè)的領(lǐng)域上使用。TF*IDF是一種運(yùn)用在信息檢索常用的方法，這種方法只是一種統(tǒng)計(jì)的方法，只有在句子包含的詞有很多時(shí)，相似的詞有很多時(shí)，這種方法才能體現(xiàn)它的價(jià)值。但是在計(jì)算C語(yǔ)言試題的相似度時(shí)，面對(duì)的是單個(gè)的句子，句子包含的詞的數(shù)量不能夠體現(xiàn)這種方法的效果?；谠~的相似度模型主要是第一時(shí)間要計(jì)算實(shí)體之間的詞匯的相似度，雖然這考慮了語(yǔ)句意思，但是卻忽略了句法結(jié)構(gòu)的信息，并沒(méi)有從整個(gè)句子上考慮句子的相似度。

結(jié)語(yǔ)：這種相似模型實(shí)現(xiàn)了對(duì)C語(yǔ)言試題的處理和數(shù)學(xué)模型的建立。第一，對(duì)試題進(jìn)行了詞法標(biāo)注，在這個(gè)基礎(chǔ)上，對(duì)語(yǔ)言詞匯進(jìn)行了提取，經(jīng)過(guò)預(yù)處理的試題為一系列相似度的模型的建立提供了非常重要的基礎(chǔ)。