冰果英语智能作文评阅系统,作文评分器在线
冰果英语
冰果英语是全智能英语在线学习平台。
在大学英语听、说、读、写、译五项基本能力中,写作是最难培养的能力之一(陈凤、陈彩芬2016)。
但由于教师教学任务繁重,疲于主课,批改作业时间大大减少,久而久之,批改作业的时间得不到保证,批改的质量也受到影响,这不仅有碍教师对学生需求的认识和分析,也降低他们教学的针对性,减少学生学习的有效反馈。
若长期如此,有效的或基本的教学质量很难得到保证(张雪梅2006)。因此,在线写作自动评价(Automated Essay Scoring)系统在日常教学中应用越来越广。
随着大学英语教学模式改革的不断深入,多媒体技术和网络教学平台正越来越受到教师的推崇。针对当前大学英语写作教学的这种状况,有必要把网络和计算机技术融入高校英语写作教学中,从而实现“英语写作教学—自主写作—写作测评—写作教研”几个步骤相结合的教学模式。
目前,我校人文与外语学院专门建有实验室——英语自主学习中心。该学习中心英语学习平台上有许多英语学习的资源,特别是为了提升学生英语写作能力,学校专门购买了“冰果英语智能作文评阅系统”软件。
它是基于语料库和云计算的英语作文自动批改在线服务。通过计算学生作文和标准语料库之间的距离,即时生成学生作文的得分和评语及内容分析结果,帮助学生通过自主练习提升写作能力(马卫华、甄强2016)。
它既能激发学生修改英语作文的积极性,又能减轻教师的作文批改工作量,帮助教师更加直观地了解学生的英文写作水平,同时帮助英语学习者提高英文写作水平。此外,电脑还能为我们提供更多有效的教学材料,提高学生阅读、写作、交流能力(Valenti et al2003)。
几个英语作文自动评分系统的原理与评述
在英语作文教学中,对学生作文进行批改一直被师生共识为提高写作能力的有效手段。但是,考虑到时间、精力、作文收发等方面,又不得不承认效率不高。在大规模语言考试中,作文又是必不可少的题型,阅卷工作量和阅卷的信度等问题一直以来都不能让我们如意。针对这一难题,电脑智能自动评分系统提供了可以信赖、值得期盼的解决方案。
在PEG、IEA、E-rater、冰果、MY Access、IntelliMetric等几种智能评分系统中,本文选取IntelliMetric系统进行研究,对其评价标准进行理论分析,对其所评分的作文进行跟踪评析,发现其通过对学生作文按照若干评分标准问题进行回应和打分的方法能够快速、有效地解决了作文评分的效率问题,可靠性和准确性不亚于人工评分的水平,完全可以作为人工评分的补充手段。由此看来,智能评分系统的发展值得期盼。
一、IntelliMetric系统概述
IntelliMetric系统发布于1998年1月,是第一个提供给教育机构的智能作文评分软件,相比传统的人工评阅具有许多优点,如:准确度大于个人评分,尤其大于单人人工评分;提供即时反馈等等。发布以后,系统得到了广泛的应用。
IntelliMetric系统作为一个智能评分系统,充分模拟了人工评分的过程。系统开发时经过了大量的测试培训,即不断通过人工纠正其自动认定的给分点,直至契合。值得提出的是,系统不是将所有的给分点简单地相加,而是通过分析给分点之间的聚合关系,模拟人工从整体上看待作文并给出判断,这一点上跟人工评分的过程是一致的。
对于每一个给分点刺激和提示,IntelliMetric系统创建了一个独特的解决方案,主要的给分点、次要的给分点、聚群给分点和分散给分点,都有不同的分数赋值。每一个刺激或提示,这相当于人工阅卷时我们先将作文的得分点做上标记,然后回过头来审视通篇看所有的这些给分点是否形成整体,主题是否突出,连贯是否流畅。正因为如此,IntelliMetric系统能够实现令人满意的高匹配的评阅结果。
二、IntelliMetric系统评分依据
IntelliMetric系统的评分依据主要根据其对作文进行的300多个变量的分析,这些变量包括语义学、造句法等与主题有关的一切因素,其数量和认定的准确度还在发展当中。概括起来,IntelliMetric系统评分依据从宏观到微观具有几个方面功能特征:
首先是聚焦度(Focus)和整体性(Unity),系统高度关注指向写作目的的聚焦度和一致性,对给分点的聚合关系赋值有统筹考虑,同时,也不排斥出现的单个观点的出现,注意到意义的关联度,做到点和面的全盘考虑。
其次是深化(Development)和拓展(Elaboration),系统关注文章内容的.广度和概念的拓展深度,关注对主题的深化表述论述过程,注意意义点之间的线性关联,做到点与点的流程考虑。
三、IntelliMetric系统局限性及关于智能评分系统的思考
IntelliMetric系统再好,它还是属于工具,少不了它的局限性。首先,系统测试时大大依赖于标准的人工评阅专家。系统需要明确的给分点提示和整体把握流程,而这样的专家往往也是仁者见仁智者见智的,很难取得统一。输入不够导致输出局限,使用系统进行机评时我们会发现系统遗漏了给分点或整体把握不灵的情况。
从目前各种智能评分系统的使用看来,各种系统的设计都利用了多种现代信息处理技术,主要包括自然语言微观和宏观处理技术、检索技术和统计分析技术等,但由于所使用的各种技术成熟程度不同,主要由于对自然语言处理微观宏观标准的建立和人工智能化程度还远远不够,系统的分析能力难免存在较大局限性。目前,由于涉及专利问题,各种智能评分系统所采用的自然语言处理微宏技术都还没有公开,这是一个遗憾,对我们进一步开展研究很不利。
智能评分系统在对评分模型进行训练并建立基础数据库、形成建模,是提高其工作质量,即作文评分的信度的关键。接下来,我们应充分借鉴语言测试领域的成果,充分发展自然语言处理微宏技术,在语言表述、思想内容和结构等方面进行联动赋值,并植入智能系统。还要在程序上进一步模拟人工流程,对自动评分模型进行反复训练调试,才能提高机评的信度,为语言教学提供强有力的辅助。
本文链接:http://www.ahdhgm.com/html/87965992.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件举报,一经查实,本站将立刻删除。