试卷是考试运行的重要载体,其质量的高低不仅直接影响着考试的可靠度和准确度,往往还直接或间接地影响到学生的学习态度和学习行为。
试卷信度是教育测量及评价中一个重要概念,人们通过计算信度来考察此次试卷能否反映出被测试者的真实水平。试卷是由不同题型、不同难易度的试题组成的,难免会带有一定的主观随意性,并可能造成测试结果的偏差,所以如何确定考试的客观性和可靠性是个十分重要的问题。影响考试信度的因素有很多,如考试的组织形式、试卷的信度评分是否客观等。要想从根本上提高试卷的信度,就要对影响试卷信度的因素进行深入的研究和讨论,从而更好的利用试卷这个检验工具。
1
信度分析
信度(reliability)指可靠性或可靠的程度,试卷信度就是指试卷结果的可靠程度。
信度也可以用来指示实测值和真值相差的程度,实测值是对测验对象进行实际测验所获得的测定值,真值是测验对象真实水平的取值。如果实测值与真值相差较小,说明结果的信度较高,反之信度较低。为了能够真实、准确地反映测量对象的实际水平,必须重视对试卷信度的研究,从而正确地判断测量结果的价值。在实际工作中,既可以对测量信度的高低进行定性分析,也可以通过信度系数进行定量的分析,例如用克龙巴赫a系数度量结果的一致性程度,再用统计方法检验它是否达到了显著水平。
2
检验分析
本节对某学院工商管理班高等数学考试的30分试卷进行试卷信度的检验分析。数据如下所示:
依次单击菜单“分析—度量—可靠性分析”执行信度分析过程,在变量列表中选中从第1题得分(sl)至第6题得分(s6)的6个变量,在模型栏后的列表采用默认的Alpha方法(Cronbacha系数)。
单击统计按钮,依次勾选如下复选框,单击继续按钮返回主界面。
设置完毕后,点击确定,输出结果。
3
结果分析
“摘要”表格给出了数据中有关缺失值的统计信息,本例的30个观测没有缺失,都用于分析。“可靠性统计量”表格给出了Cronbacha系数的计算结果,表中的0.703是对真实α系数的估计(下界),由此判断利用此试卷所进行的测试结果可信度还是不错的。
“项统计量”表格给出了单个题目得分(变量)的基本统计量,可见第2题的平均待分最高,第6题的平均得分最低。
“矩阵”表格给出的是各个问题得分间的相关矩阵,各题目间的相关性不是很明显。
“标度统计量”表格给出的是6个题目总分的描述信息,30个学生总分的平均分为72.4。
本例的F=135.28,且其显著性水平远小于0.01,故而F统计量的取值是显著的大,由此推断本试卷的可信度不错。
在“类内相关系数”表格里,平均测量的类内相关性的95%置信区间为0.50~0.84,它用来衡量用平均分(总分)对学生进行评价的一致性程度,比如说好学生的总得分应该高于平均的总得分,此指标的取值越高试卷的可信度越高。由单个题目所得的类内相关性(0.28),要低于用平均分(总分)所得的类内相关度(0.70),这是符合常理的。
4
建议和推广
有了测试试卷信度的方法,如果测出试卷的信度不高,应该如何改进呢?下面给出儿条常用的提高试卷信度的方法,仅供参考。
(1)适当增加试题的数量。由于试卷题量太小会降低测量的信度,因而提高测量信度的一个常用的方法就是增加一些与原测验中的题目具有较好同质性的题目,增大测验的长度。
但是有两点必须注意:新增的题目必须与试卷中原有的题目具有同质性,即测试目标保持致;新增项目的数量必须适度,事实上增加测验长度的效果是符合报酬递减规律的,即测验的数量和时间过长可能引起被试者的疲劳和反感,从而降低测量信度。
(2)保持所有试题的难度程度接近正态分布。当测验中所有试题的难度接近正态分布并控制在中等难度水平时,被试团体的得分分布也会接近正态分布,以相关性为基础的信度值也会增大。
(3)努力提高测验试题的区分度。区分度是测验题目的质量指标,试题的区分度高低会直接影响测验的信度,努力提高测验中所有试题的区分度,可望获取较高的测验信度。
(4)监考和评分。主考官要严格执行实测规程;评分者严格按标准给分。