当前位置:首考文秘网>范文大全 > 公文范文 > 网上阅卷在高校应用研究

网上阅卷在高校应用研究

时间:2023-06-19 15:35:03 公文范文 来源:网友投稿

摘 要:文中简要介绍网上阅卷概念、工作原理及优点,重点指出高校网上阅卷在客观题识别,评分质量监控,成绩趋中,网上阅卷数据利用等方面的问题。针对这些问题,文中提出对评卷员评分质量进行考量的维度及监控方法。指出造成成绩趋中这现象的主要原因,并提出一套适应高校网上阅卷的成绩计算方法。面对网上阅卷产生的大量数据,文中指出如何利用这些分析数据来指导教学和提高命题质量。

关键词:网上阅卷;评分质量监控;分析数据;命题质量

与传统的人工纸笔阅卷模式相比,客观题自动评分,主观题网上阅卷的阅卷模式更受人们喜爱,它既保留了多年积累的阅卷经验,又实现了计算机辅助控制评分误差。不仅高考、中考等大型考试,越来越多高校也采取网上阅卷来组织实施阅卷。网上阅卷不仅可以节省大量人力物力,提高阅卷效率,而且可以提高阅卷的准确性,真正实现阅卷的公平公正,因此它代表着未来阅卷工作的主要方向。

1 網上阅卷的概念和特点

网上阅卷是以高速扫描技术、计算机网络技术、图像处理技术和数据库技术为依托,评卷人可以在网上对电子化的考生答卷进行评阅的一种阅卷手段。网上阅卷采取试卷随机分发、多人评阅、专家仲裁的评卷模式。

网上阅卷由计算机对考生答题卡,通过扫描仪以图像的方式扫描到计算机,按照既定的程序进行图像切割、编码,存入服务器。客观题部分进行OMR识别,并对比标准答案给分。主观题部分则通过终端计算机屏幕显示相应的答题图像,图像隐去答题以外的任何信息。评卷员依据评分标准,通过键盘与鼠标进行评阅[1]。网上阅卷与人工阅卷的区别在于试卷随机分发,屏蔽了除阅卷试题外的任何信息,且是在电子化的图像上阅卷,因此,它具有如下优点:

1)阅卷的公平性。网上阅卷屏蔽考生信息,随机分发考生答卷,使得阅卷更加透明化,有效避免了人为干预考试分数的可能性,保证评卷过程公平公正[2]。

2)成绩的准确性。阅卷系统通过双评或多评的误差控制机制,保证阅卷的科学准确性;系统的自动登分与统分功能,避免人工操作可能导致的错误[2]。

3)阅卷的高效率性。网上阅卷实现客观题自动评分,主观题网上评阅,评阅完成,系统自动统分,极大程度的减少工作量,提高工作效率。

4)阅卷的可监控性。网上阅卷实时全程监控,随时查询阅卷的总体进度、每位评卷员的阅卷评分情况,这些便捷的阅卷工作检查和监控方式,是传统阅卷方式无法达到的。

5)强大的数据分析功能。网上阅卷系统能够及时地提供考试后的数据分析,可以轻松的计算试卷(各题)难度、区分度、信度、标准差,以及学生在每道小题的答题情况都能清晰的反映出来。

2 高校网上阅卷现状及问题

2.1 OMR系统识别缺陷

网上阅卷用到OMR有两个方面,一是考生信息的OMR区域识别,考生信息填涂不清晰,不正确和漏填,都需要考试工作人员耗费不少人力物力来检查信息填写情况。二是客观题OMR块识别,OMR块识别就是统计OMR块内的黑色像素百分比,如果达到某个值就认为某选项被学生选中,填涂过淡或过浓的试卷容易导致识别率降低。

2.2 评分质量监控不到位

高校考试具有规模小,课程多的特点。而且,它是参照性考试,考查的是学生对课程知识的掌握情况,参照点局限于优良率,及格率,平均分,知识模块得分率等信息。高校考试的特点、规模限定了它在如下提高阅卷质量监控措施方面相对薄弱:1)组织专家细化评分细则,制定合理的评分标准;2)制定合理的评分误差值;3)对评分员进行阅卷前培训;4)组织专家组与评卷员试评,对比分析评分结果来检验评卷员对评分标准掌握情况;5)组织专家组对试卷进行抽查,复评;6)一些检测评分误差控制质量的硬件设施等。如上环节少有高校有正规的组织检查,且少有高校网上阅卷有对评卷员评分质量监控,评分质量一致性检查。有些阅卷系统自身有简单的对评卷员评分质量监控,但也很少高校重视这些数据。这些现状导致主观题评分受评卷员业务知识水平,教学工作经验,对问题叙述方式爱好,评卷时工作态度影响极大。

2.3 趋中效应加剧问题

高校考试人们关注的是少量高分,不及格人员信息,不会太关注成绩中等考生具体分数,高校主要从平均分、优良率、及格率,某题得分率等角度来评价课程教学情况和学生对知识掌握情况,这些导致打中间分就成为高校网上阅卷常见现象。

趋中效应加剧是评分员打中间分和成绩计算方法采取平均分法等因素造成的。由于人力物力等现实状况限制,高校网上阅卷基本采取双评,用平均分法计算考生成绩,很少用三评、四评。这些因素导致高校一些主观题占主导的课程既没有高分,也没有低分,加剧了分数集中,不利于考生能力区分。

2.4 利用网上阅卷数据对命题组卷指导不够

网上阅卷提供全样本量的全部分数,为命题和题库建设提供详细的统计数据。目前少有研究如何利用这些统计数据来指导命题质量和题库建设质量。

2.5 利用网上阅卷数据对教学指导不够

如何利用网上阅卷强大的分析数据,更加深入的分析学生学业质量,从而更加有效地指导日常教学。目前鲜少有人从这个角度进行较为深入的探讨和研究,从而导致当前的情况基本上是网上阅卷得到的数据和日常教学相互分离的状态。

3 应对措施

3.1 增强OMR识别

提高OMR识别率,系统采取设置两个有效填涂黑度值,在扫描识别时使用两个不同的值进行图像识别,以找出填涂过淡的客观题。OMR识别有效填涂黑度值的大小根据OMR块图像中的黑色素来设置,不足之处是值得大小的把握目前没有好的方便快捷的方法,基本上是依靠经验或通过重复的测试与验证。提高OMR识别准确性,在网上阅卷系统中增加客观题的查错与校正模块,并使用视图和存储过程将可能的问题卷提取出来,用人工的方式进行校正。

3.2 评分员评分质量监控

对评分员阅卷质量的监控一般采取计算评分员的标准差、平均分、全距、评分速度、有效评分率等质量来进行考量[3-6]。

1)标准差。标准差代表了评卷员评分的离散程度,标准差越大,说明给分越分散,其评分结果可能不够稳定,标准差越小,说明给分越集中,有可能出现打中间分情况。

2)平均分。通过对评卷员在某题的平均分与该题所有评卷员的平均分进行比较分析,可以判断出该评卷员评分的宽严程度。

3)全距。评卷员评分的最高分与最低分只差叫全距,全距越低,可能出现打中间分情况。

4)评分速度。评卷员的评分速度过快,超出正常范围,就有可能出现打中间分情况。

5)有效评分率。评卷员对某试题的评分与其他评卷员评分的差值不超出评分误差阈值,则这份试卷属于有效评卷。该评分员的有效评卷数量与其评卷总数量的比率称有效评分率,该值越大,说明评卷质量越好。

评卷员评分质量监控方法有三种。一是在不同时段,或一定工作量内,对部分评卷员评卷的标准差、平均分、有效度和评卷速度等进行综合比较分析,数据越接近,说明稳定性越好;二是抽取部分评分速度快、全距小的评卷员试卷,尤其是分值相同试卷,由专家进行复评,比较评卷员与专家评分分布,检测评卷员的评分标准把握情况及严宽程度;三是随机抽取部分评分速度快、全距小的评卷员的已评试卷,尤其相同分值试卷,重新发给本人重新评分,比较两次评分差值,差值越小或者零差值,说明其一致性好。

3.3 控制趋中效应加剧

由于人力物力和文中上述提到的种种现实因素导致高校主观题为主课程分数集中,区分度低。主要原因:一是评分要点不明确,没有合理评分标准;对评卷员评分没有约束机制,评卷员打分随意,打中间分现象常见。针对这些情况,可以采取制定合理的评分标准,采用上述监控评卷员评分质量方法加以控制。二是成绩计算方法不合理。平均值法对评分要点,评分标准明确的计算类题型,影响不大,但对于论述题,写作题,这种评分方式就有一定的局限性。

设置评分误差A(取总分1/6),X1,X2为评卷员对同一题的评分,该题优秀分数值设为E(试题总分的85%),及格分数值P(试题总分60%),成绩计算方法:| X1-X2|A,若X1,X2中一值大于E,一值小于P,则说明该题两评卷员评分存在较大争议,那这两次评分作废,该试卷重新投入到未评试卷中重新评阅;否则进行三评,成绩为X3,当| X1-X3|

3.4 网上阅卷对提高命题质量作用

高校课程考试试卷每年考题是可以出现类似或重题,若组卷系统和网上阅卷系统之间兼容,评分误差控制阈值A可以采取试题总分1/6,也可以采取更精准的误差值(历年网上阅卷该题或相似试题评分误差平均值)。网上阅卷该题批改所计算的难度、区分度、效度等评价试题质量的指标数据反馈与组卷系统,组卷系统统计该题或相似试题总考核次数,原难度、原区分度,本次难度,本次区分度,效度等,及时修正试题库该题的各项指标值。通过这些指标值可以筛选出一些不合理试题,还能为智能组卷系统提供可靠、科学的参考数据,提高命题质量。

3.5 网上阅卷对教学指导

目前人们对网上阅卷数据基本局限于平均分、分数段人数等,这些统计结果往往只能体现出校与校、班与班之间的大体差异。通过网上阅卷数据可以计算班级、个人在某知识点、某题的得分情况,比较班级、个人在具体知识点、章节、某题的差异。如:利用网上阅卷各题的具体得分情况,可以计算章节、知识点的得分率,能有效评价教师该章节、知识点的教学质量。提供的具体考生在各题的具体得分,可以精确计算出考生在具体章节、知识点的得分率,可用于指导考生找出学习的薄弱环节。网上阅卷提供的大量的具体的数据,需要我们利用不同方法、算法,从多角度多层次进行分析,从而指导教与学。

4 结束语

网上阅卷是未来阅卷发展的总体方向和趋势,其发展前景是从局域网网上评卷发展到远程网网上评卷,从固定场所集中阅卷发展为分散的个体化评卷。面对这样的趋势,人们只有完善网上阅卷评分质量,加强对网上阅卷数据大量分析数据的利用,才能更好的帮助教师了解学生学习情况、发现日常教学中存在的问题,进行总结与反思,调整和改进教学方法。

参考文献

[1]李美华.网上阅卷工作原理与误差控制[J].中国考试,2005(10):46-47.

[2]王文成.“人机对抗”视域下主观题评分误差控制策略研究[J].中国考试,2013(9):11-19.

[3]贾志先.基于谱聚类的网上阅卷质量控制研究[J].智能计算机与应用,2014(5):76-79.

[4]曹建莉,张强.评卷质量监控模型及其统计分析[J].统计与决策,2012(18):29-31.

[5]刘建华,马睿等.主观题网上评分员队伍建设与误差控制研究[J].中国考试,2012(9):32-39.

[6]宋涛.网上阅卷评分员阅卷质量评价分析体系及模型研究[D].河南大学硕士毕业论文,2010.

作者简介

许小红(1979-),女,汉族,江西万安,硕士,讲師,研究方向:考试管理。

推荐访问:阅卷 高校 研究 网上

版权所有:首考文秘网 2015-2024 未经授权禁止复制或建立镜像[首考文秘网]所有资源完全免费共享

Powered by 首考文秘网 © All Rights Reserved.。备案号:冀ICP备15026071号-91