“三項崗位人員”考試題庫建設(shè)的評價與質(zhì)量監(jiān)測

姚文龍 韋瑞雪

【摘 要】文章結(jié)合在“三項崗位人員”考試題庫建設(shè)中的工作，對考試題庫建設(shè)的流程和質(zhì)量評價指標進行了綜述，闡述了實施“三項崗位人員”考試題庫質(zhì)量評價與監(jiān)測的意義，介紹了“三項崗位人員”考試題庫質(zhì)量評價與監(jiān)測的指標參數(shù)，并對題庫評價監(jiān)測的實施方式進行了探討。

【關(guān)鍵詞】考試題庫；質(zhì)量評價指標；正態(tài)分布；評價

【中圖分類號】G424.74 【文獻標識碼】A 【文章編號】1674-0688（2016）10-0106-03

0 引言

“三項崗位人員”是指企業(yè)主要負責人、安全生產(chǎn)管理人員和特種作業(yè)人員。這三項崗位必須依法參加培訓，并通過考試考核，獲取安全管理人員資格證或特種作業(yè)操作資格證書，方能上崗。

安全資格考試，作為行業(yè)準入的安全門檻，是推動行業(yè)注重安全意識的一個非常有效的手段，通過考試檢驗安全管理人員和特種作業(yè)人員的安全知識掌握程度，促使企業(yè)加強對安全管理人員和特種作業(yè)人員的安全培訓，從而有效預(yù)防安全事故的發(fā)生，保障國家的經(jīng)濟民生和社會的穩(wěn)定。

一般的選拔考試，主要是依據(jù)大綱對考生的智力能力進行區(qū)分，目標是從考生中選擇拔尖的人才。而作為安全資格考試，其目標是要反映出行業(yè)的安全要求，是保證行業(yè)活動安全的基礎(chǔ)，與行業(yè)的安全直接相關(guān)，資格考試與一般的選擇考試或是職業(yè)水平考試有很大的不同，對題庫題目的要求不同，相應(yīng)的題庫質(zhì)量評價監(jiān)測也不一樣。

1 “三項崗位人員”考試考核制度的執(zhí)行方式

判斷一個安全管理人員和特種作業(yè)人員的安全知識和能力是否達到要求，一般使用如下的方式進行考核。

首先，參照地方行業(yè)的發(fā)展情況和國家對行業(yè)安全的基本要求，制定符合地方行業(yè)發(fā)展現(xiàn)狀的考試考核大綱。這是進行質(zhì)量評價的前提和標準。要確定行業(yè)的準入門檻，應(yīng)先對地方的行業(yè)現(xiàn)狀進行調(diào)研，組織行業(yè)的專家，就地方的發(fā)展現(xiàn)狀制定考試大綱，從實際的行業(yè)安全生產(chǎn)需要考慮，確定考試考核的具體知識點。

其次，依據(jù)考核大綱，組織行業(yè)專家出題，建立試題庫。有了考試大綱，專家按照行業(yè)的安全知識要求，結(jié)合地方安全生產(chǎn)的案例，針對知識點出題，并對試題的難度進行區(qū)分。為了方便信息化考試的要求，試題類型多以判斷題、單項選擇題、多項選擇題3種客觀題出題。

最后，組織相關(guān)人員考試。為了能更好地反映考試人員的真實水平，一般采用按指定方案組卷抽題的方式進行考試，將考試的結(jié)果與大綱的要求對比，判定考生的安全知識水平是否達到相關(guān)行業(yè)的要求。如果不能達到要求，應(yīng)再次進行培訓，重新進行考核。

可見，試卷的考核結(jié)果是作為判斷考試人員是否符合要求的主要依據(jù)，這樣，試卷的質(zhì)量就很重要了。那么，該如何對題庫的質(zhì)量進行評價和監(jiān)測呢？

從上面的題庫建立和使用可以看出，考試大綱的確定是最為重要的，它不但是培訓的依據(jù)，也是建立題庫的依據(jù)。下面將在已經(jīng)確定大綱的前提下，探討題庫的質(zhì)量評價與監(jiān)測的方法。

2 “三項崗位人員”考試題庫質(zhì)量評價與監(jiān)測的意義

作為安全資格考試標準的具體試卷，其質(zhì)量的重要性不言而喻。一份質(zhì)量好的試題，應(yīng)該符合大綱的要求，考試的結(jié)果應(yīng)能反映出考生的實際認知水平，從而可以對行業(yè)的安全生產(chǎn)要求進行指導(dǎo)。反之，如果試題偏離大綱，與實際的生產(chǎn)要求不符，則會使安全培訓偏離目標，無益于安全生產(chǎn)工作的推行。因為考核對象是安全管理人員和特種作業(yè)人員，對題庫的質(zhì)量評價和監(jiān)測就更為重要。

各行業(yè)都在不斷發(fā)展和變化之中，對題目進行質(zhì)量監(jiān)測正是為了提高試題的質(zhì)量。為了適應(yīng)不斷發(fā)展的行業(yè)安全要求，題庫在使用一定時間之后，要對試題的各個方面進行統(tǒng)計和分析，對不符合要求的題目進行修改、淘汰，必要時也要對相關(guān)大綱進行修訂。

3 “三項崗位人員”考試題庫質(zhì)量評價與監(jiān)測的指標參數(shù)

參考國內(nèi)外文獻對試題的質(zhì)量評估方式，結(jié)合安全資格考試在行業(yè)生產(chǎn)中的地位，我們認為可以從以下5個方面的指標參數(shù)對題庫質(zhì)量進行衡量。

3.1 試題的難度指標P

難度指標P=1-x/y，其中x是所有考試的該題目的得分，y是該題目的指定分值。對于標準化試題，只有對與錯這兩種狀態(tài)，很容易識別?？忌梅衷礁撸瑒tP值越小，說明難度較低，反之認為該試題難度較高。一般認為0.3以下為低難度，0.3～0.6為中等難度，0.6以上為高難度。作為行業(yè)生產(chǎn)中的安全常識，P值也可以小一些。在抽題時，難度指標是控制分數(shù)的一個重要依據(jù)，作為安全常識內(nèi)容，難度不應(yīng)過大，目前國家對安全資格考試的成績要求是80分。“三項崗位人員”的文化素質(zhì)普遍不高，因此從安全管理人員和特種作業(yè)人員的構(gòu)成考慮，題目本身的表達意思應(yīng)當明白易懂，相關(guān)的知識是行業(yè)的應(yīng)知應(yīng)會的內(nèi)容，其難度不宜過大，一般以P值為0.3～0.6較為合適。

3.2 試題的區(qū)分度指標D

區(qū)分度指標D=PH/PL，是用來區(qū)分考生的能力水平的。PH是排名前27%的考生成績的平均分，PL是排名后27%的考生成績的平均分，D值越大，表示區(qū)分度越大，該題目越能拉開考生考試的分數(shù)，區(qū)分其知識掌握程度，對于選拔考試來說，這個指標是有要求的。而對于安全資格的考核，安全管理人員和特種作業(yè)人員的水平相差較大，不是作為一種選拔考試，因此試題區(qū)分指標D不必過大，考慮D值為0.3就可以了。

3.3 試題的效度指標V

效度指標V是表達試題在多大程度上有效體現(xiàn)大綱的要求。而對于安全資格的考核，效度指標V是一個很重要的指標，直接體現(xiàn)了考試大綱的知識點要求，需要認真進行評估，要求V值達到0.5以上。

3.4 試題的信度指標R

信度指標R是指考試結(jié)果的可靠可信程度，就是指考試結(jié)果是否能真實地反映考試生的實際認知能力水平，理想值R=1。但考生的認知水平很難進行準確測評，在只使用一份試題的情況下，雖然力圖通過各種題型去實施檢測，但總是與人的真實水平有差異。一般在確?？荚囀仟毩⑼瓿汕闆r下的標準化考試，信度指標R應(yīng)達到0.9指標R。

3.5 考試結(jié)果的分布

考生的能力水平和認知是有差別的，理論上說，在外界作用相同的情況下，比如接受同樣的培訓，因受考生智力的影響，考試的結(jié)果不會完全相同，應(yīng)呈現(xiàn)為正態(tài)分布，則可以認為試卷的質(zhì)量是較好的。

從以上5個指標可以看出，對于安全資格考試，試題庫應(yīng)該是難度適中，有一定的區(qū)分度，能客觀地反映考生的實際認知水平，符合行業(yè)安全考試大綱要求，考生的考試成績?yōu)檎龖B(tài)分布，那么這樣的試題庫就是質(zhì)量好的試題庫。

4 “三項崗位人員”考試題庫質(zhì)量評價與監(jiān)測的實施方式探討

針對試題使用的前后，實施試題庫質(zhì)量評價與監(jiān)測可以使用如下2種方式。

4.1 試題庫使用之前進行質(zhì)量評價

主要是組織行業(yè)專家在試題庫驗收時對試題的質(zhì)量從4個指標進行質(zhì)量評估。建議由3個專家對各題的難度進行初步評估，取其平均值作為試題的難度。由3個專家對題目和大綱的效度進行評估，取其平均值得到試題的效度。由企業(yè)的專家對試題進行信度的評估，評估試題對行業(yè)的適應(yīng)性，檢查試題是否符合行業(yè)的實際要求，能否考出考生的實際水平。此外，在每一類題庫驗收前，組織一次模擬考試，考試人員可由2名安全培訓教師和2名經(jīng)過短時復(fù)習的相關(guān)企業(yè)安全崗位人員參加，以評估試題的題量和難度是否適合當前安全管理人員和特種作業(yè)人員的水平和要求。

4.2 試題庫使用一段時間之后進行質(zhì)量評價與監(jiān)測

經(jīng)過一段時間的使用之后，考試系統(tǒng)對行業(yè)考試的情況進行積累，記錄了各題目的答題情況，可以使用計算機對試題的答題情況進行自動處理，主要是針對題目難度和考試結(jié)果的分布狀態(tài)進行分析，從而得出試題對當前安全管理人員和特種作業(yè)人員的實際難度，可以使用這個結(jié)果對試題的難度進行調(diào)整。對于分析結(jié)果表示難度偏大的試題，應(yīng)組織專家分析該試題與大綱的符合程度，進行修正或淘汰。通過分析成績的分布曲線，對考試的抽題規(guī)則進行調(diào)整，使之更符合考試大綱的要求，更符合實際生產(chǎn)安全的要求，也可以對考試大綱進行修訂，使之適應(yīng)當前行業(yè)發(fā)展的要求。

5 總結(jié)

綜上所述，安全資格考試的質(zhì)量評價和監(jiān)測，就是先確定考試大綱，然后對題目進行四維度狀態(tài)的評價，在使用一定時間之后利用計算機對考試的結(jié)果進行分析，根據(jù)分析反饋的結(jié)果對題庫進行修正，盡量做到難度適中，符合大綱的要求，試卷的知識點做到全面覆蓋，能反映考生的實際認知水平，并能適度按考生的能力進行區(qū)分。從而指導(dǎo)培訓機構(gòu)的培訓方向，切實提高“三項崗位人員”的安全意識和安全知識，對安全生產(chǎn)和社會穩(wěn)定有重大的現(xiàn)實意義。

參 考 文 獻

[1]李光明.如何做好題庫建設(shè)——來自英美考試機構(gòu)的啟示[J].中國考試，2011（12）.

[2]李永華.網(wǎng)絡(luò)化考試的題庫建設(shè)及應(yīng)用研究[J].高教論壇，2013（10）.

[3]高升.題庫建設(shè)中的試題沉積問題及其應(yīng)對策略分析[J].中國考試，2010（3）.

[責任編輯：高海明]