計算機(jī)自適應(yīng)測驗(Computerized Adaptive Testing,簡稱CAT)是近年來發(fā)展起來的一種新的測驗形式。計算機(jī)自適應(yīng)測驗不同于傳統(tǒng)的紙筆測驗,它的測驗試題的呈現(xiàn)和被試對試題的解答都是通過計算機(jī)完成的。計算機(jī)自適應(yīng)測驗也不同于一般的計算機(jī)化測驗,計算機(jī)在測驗過程中不光是呈現(xiàn)題目,輸入答案、自動評分、得出結(jié)果,而且根據(jù)被試對試題的不同回答,它能自動選擇最適宜的試題讓被試回答,最終達(dá)到對被試能力作出最恰當(dāng)?shù)墓烙嫛1疚膶⒑唵谓榻B計算機(jī)自適應(yīng)測驗的原理和方法。
1? 題庫的分析與實現(xiàn)
1.1? 原理
計算機(jī)自適應(yīng)題庫要解決的關(guān)鍵問題是建立適合每一個應(yīng)試者能力的個性化測驗。
一般將測量理論分為經(jīng)典測量理論、概化理論和項目反應(yīng)理論三大類,或稱三種理論模型。人們將以真分?jǐn)?shù)理論(True Score Theory)為核心理論假設(shè)的測量理論及其方法體系,統(tǒng)稱為經(jīng)典測驗理論(Classical Test Theory,CTT),也稱真分?jǐn)?shù)理論。它對建立試卷、考分轉(zhuǎn)換、等值等均有一套較為完整的方法。但隨著測驗實踐的深入,此理論暴露了難以克服的弱點: (1)題目難度、區(qū)分度等嚴(yán)重依賴于應(yīng)試者;(2)對應(yīng)試者的某項能力或特質(zhì)水平的估計值,只有當(dāng)所有應(yīng)試者使用的都是同一個或并行測驗時才是可以比較的,而對于同一能力或特質(zhì)的不同測驗的測量效果則無法進(jìn)行直接比較;(3)在應(yīng)用方面,經(jīng)典測量理論也表現(xiàn)出許多不足。
項目反應(yīng)理論(item response theory)也稱潛在特質(zhì)理論或潛在特質(zhì)模型,是一種現(xiàn)代心理測量理論,其意義在于可以指導(dǎo)項目篩選和測驗編制。項目反應(yīng)理論假設(shè)被試有一種“潛在特質(zhì)”,潛在特質(zhì)是在觀察分析測驗反應(yīng)基礎(chǔ)上提出的一種統(tǒng)計構(gòu)想,在測驗中,潛在特質(zhì)一般是指潛在的能力,并經(jīng)常用測驗總分作為這種潛力的估算。項目反應(yīng)理論認(rèn)為被試在測驗項目的反應(yīng)和成績與他們的潛在特質(zhì)有特殊的關(guān)系。但在實際考試中,存在有應(yīng)試者猜題的因素,因此本題庫中采用了特征函數(shù)的三參數(shù)模式。三參數(shù)模式的公式為:
式中,D=1.702;θ是應(yīng)試者能力值;a是題目的區(qū)分度;b是題目的難度;c是題目的猜測系數(shù);P(θ)能力為θ的人答對此題目的概率。
根據(jù)特征函數(shù)可畫出題目的特征曲線,圖1為典型的三參數(shù)模式的特征曲線。從該圖中可以看出:
?。?)a參數(shù),即特征曲線的斜率。它的值越大說明題目對應(yīng)試者的區(qū)分程度越高。
(2)b參數(shù),即特征曲線在橫坐標(biāo)上的投影。
?。?)c參數(shù),即特征曲線的截距。它的值越大,說明不論應(yīng)試者能力高低,都容易猜對本道題目。
項目反應(yīng)理論同經(jīng)典測量理論相比,最大優(yōu)點就是項目參數(shù)的不變性。對項目各參數(shù)值的確定,采用了2種途徑:一是經(jīng)試測后進(jìn)行統(tǒng)計分析,另一種是由專家進(jìn)行評估后,再采用統(tǒng)計方法確定參數(shù)。這2種途徑都存在著統(tǒng)計中使用的樣本采集異常困難的問題,因此本題庫設(shè)計中使用CTT采集樣本,結(jié)合IRT的三參數(shù)模式,確定了試題的3個質(zhì)量參數(shù)。
1.2? 題庫的建立
本題庫建立過程中,首先要錄入試題編號及題干等信息,其次錄入?yún)⒓釉囶}參數(shù)測試人員做題情況的信息,最后進(jìn)行試題的三質(zhì)量參數(shù)測試,并將測試結(jié)果寫入數(shù)據(jù)庫。
1.3? 模塊設(shè)計
本題庫中的模塊及功能如下:
?。?)試題質(zhì)量參數(shù)測試
該模塊包括試題的CTT參數(shù)計算和IRT參數(shù)計算等功能。
?、僭囶}的CTT參數(shù)計算。根據(jù)參加試題參數(shù)測試人員的做題情況,使用CTT獲取標(biāo)準(zhǔn)分Z:
式中,RH、RL分別表示高分組和低分組通過該題的人數(shù);n為每組的人數(shù)。
②試題的IRT參數(shù)計算。對IRT能力參數(shù)和質(zhì)量參數(shù)的估計如下:
首先,按下列方式為能力參數(shù)、質(zhì)量參數(shù)指定初值:
IRT能力參數(shù)的初值=經(jīng)典測量理論中的標(biāo)準(zhǔn)分Z;
IRT區(qū)分度參數(shù)的初值=經(jīng)典測量理論中的難度值
+2(2是比例因子),其中難度;
IRT猜測參數(shù)的初值=試題j的可選項數(shù)倒數(shù)。
然后,按以下步驟進(jìn)行迭代運(yùn)算:
●把3個質(zhì)量參數(shù)看作已知值,用極大似然估計法[2]估算出能力參數(shù);
●將上一步中估需出的能力參數(shù)作為已知值,用極大似然估計法估算出3個質(zhì)量參數(shù);
●判別結(jié)束條件是否滿足,若滿足,則最后1次的估計值即為最終估計值;若不滿足,則返回第1步繼續(xù)迭代運(yùn)算。結(jié)束條件可以是指定的迭代次數(shù),也可以是趨于穩(wěn)定的參數(shù)值。
(2)試題庫維護(hù)
該模塊包括試題、樣本信息的錄入和增添等功能。
?、僭囶}和樣本信息的錄入。該功能包括試題錄入和樣本信息錄入,其中前者錄入的是試題編號及題干等信息;后者錄入的是參加試題參數(shù)測試人員做題情況的信息。
?、?試題和樣本信息的增添。試題管理員可以及時添加樣本信息和試題。系統(tǒng)管理員可以根據(jù)情況重新計算試題的質(zhì)量參數(shù)。
1.4? 數(shù)據(jù)庫表的結(jié)構(gòu)設(shè)計
在本系統(tǒng)建立的自適應(yīng)試題庫中,有單選題、多選題、判斷題等3類題型。在單選題題型中需要用到單選表single_choice、單選分析表single_choice_analysis。單選表、單選分析表single_choice_analysis以及二表之間的主外鍵關(guān)系如圖2所示。
本系統(tǒng)涉及到的人員有教師、管理員、應(yīng)試者和參加試題參數(shù)測試人員,他們的相關(guān)信息如圖3所示。其中,student_info表用來存放應(yīng)試者和參加試題參數(shù)測試人員的基本信息, login表用來存放所有人員的登錄信息。
1.5 題庫的實現(xiàn)
以經(jīng)典測量理論(CTT)和項目反應(yīng)理論(IRT)為基礎(chǔ),使用三參數(shù)模式建立了計算機(jī)自適應(yīng)題庫,從而能夠根據(jù)題目的參數(shù)及應(yīng)試者的反應(yīng)情況估計應(yīng)試者的能力參數(shù),然后根據(jù)“最大信息量原則”從題庫中選取符合應(yīng)試者能力的題目進(jìn)行測試。
由于篇幅有限,下面只給出其中的幾個實現(xiàn)算法。
(1) 計算一階導(dǎo)數(shù)的函數(shù)
yijiedaoshu(parameters para[ ],integer j, integer n),返回 double 類型的值。其中parameters{ double a,double b,double c,double? ability,double? u}是一個結(jié)構(gòu)體,由某試題的三質(zhì)量參數(shù)a、b、c、應(yīng)試者當(dāng)前能力值 ability和做題情況u 組成。
該函數(shù)的功能是計算對某試題的第j次迭代的一階導(dǎo)數(shù),用于計算具備初始能力值ability的受測者的真實能力值。實現(xiàn)代碼如下:
double result;
int i;
for i=1 to n
result +=? para[i].a * (para[i].u - calculate(para[i].? a,para[i].b,para[i].c,para[i].ability)) & * (calculate
?。╬ara[i].a,para[i].b,para[i].c,para[i].ability) - para? [i].c)
next i
if (calculate(para[j].a,para[j].b,para[j].c,para[j].ability))
* (1 - para[j].c) <> 0 then result = (1.702 *
result) / (calculate(para[j].a,para[j].b,para[j].c,para [j].ability)) & *(1 - para[j].c);
else
MessageBox(“錯誤提示”,“錯誤編號:005~r~n計算錯誤!程序終止!”);
halt;
end if
// 第j次迭代一階導(dǎo)
return result
(2) 計算概率的函數(shù)
calculate(double a ,double b, double c,double ability),返回double 類型的值。
該函數(shù)的功能是計算某試題被答對的概率。實現(xiàn)代碼如下:
double resultnum,mid;
mid= - 1.702*a*(ability - b);
if (1+exp(mid)) < > 0 then
resultnum=(1 - c)/(1+exp(mid))+c;
else
MessageBox(“錯誤提示”,“錯誤編號:
006~r~n計算 錯誤!程序終止
!”);
halt;
end if
return resultnum;
?。?) 計算信息函數(shù)
information(parameters para[],integer j, double? ability),返回double類型的值。
該函數(shù)的功能是用來計算某試題的信息量,用來為具備ability初始能力值的應(yīng)試者選擇合適的下一道試題。實現(xiàn)代碼如下:
double result=0
result = (1.702 * 1.702 * para[j].a * para[j].a) * (1 -
para[j].c);
if ((para[j].c + exp(1.702 * para[j].a * ((1 - (calculate
(para[j].a,para[j].b,para[j].c,ability)) &-para[j].b))))* (1 + exp(- 1.702 * para[j].a * (1 -
?。╟alculate(para[j].a,para[j].b,para[j].c,ability)) & - para[j].b))) * (1 + exp(- 1.702 * para[j].a * (1 -
?。╟alculate(para[j].a,para[j].b,para[j].c,ability)) &- para[j].b)))) < > 0 then
result=result/((para[j].c+exp(1.702*para[j].a*((1-(calcu- late(para[j].a,para[j].b,para[j].c,&
ability))-para[j].b))))*(1+exp(-1.702*para[j].a*(1 - (calculate(para[j].a,para[j].b,para[j].c,&
ability))-para[j].b)))*(1+exp(-1.702*para[j].a * (1 -? (calculate(para[j].a,para[j].b,para[j].c,&
ability)) - para[j].b))))
else
MessageBox(“錯誤提示”,“錯誤編號:007~r~n計算錯誤!程序終止!”);
halt;
end if
return result
本計算機(jī)自適應(yīng)題庫以經(jīng)典測量理論和項目反應(yīng)理論為基礎(chǔ),采用Newton-Raphson迭代法,解決了基于IRT的考試系統(tǒng)建設(shè)中出現(xiàn)的系統(tǒng)題庫建設(shè)的最大難題。
?
評論