主观题智能阅卷到底有多远?
人工智能和大数据分析这几年来一直都是科技行业最热门的话题。小冰、小娜、小度等人工智能机器人也不断在全社会引起一系列的讨论。微软、百度等行业参与者通过一系列的技术研究和相关主题活动将“人工智能和大数据”这几个字成功地烙刻进极客们的心里。
人工智能和大数据这几个字真的很火,但对于很多围观群众来说,具体的实用还是非常遥远。目前大家对于人工智能和大数据的理解也仅仅停留在和人工智能机器人聊天、利用语音助手做日程安排、今日头条的算法推荐等一直被企业所强化传播的案例上。
在教育领域,人工智能和大数据分析的通俗新闻也非常的少。但这几天,笔者的亲身经历不禁让自己脑洞大开:人工智能和大数据分析如果利用在主观题智能阅卷上,将是一种怎样的存在?
人工阅卷:一场草芥人命的审判
笔者算是半个教育工作者,这些天来有幸参与了一所中学的语文阅卷。笔者所负责的两道题一个是古诗文赏析,一个则是漫画分析。在评分标准上,负责阅卷工作的前辈告诉我们,两道题目实际上都是按照要点给分,关键字答到的越多,要点覆盖则越全,分数也随之越高。
在阅卷过程中,笔者在网上阅卷系统上快速敲击键盘,随着对题目以及答案了解程度的不断提升,最后两道大题的阅卷速度几乎达到了2秒每份。指尖不断在键盘上敲击着数字键和回车键,整个阅卷室都是键盘的喀嚓声。短短一个小时内,笔者就将700余份试卷全部批阅完成。而据阅卷组负责老师介绍,这只是高考阅卷的正常速度。
这些其实是走过高考的过来人都懂的一些给分潜规则。后来笔者将阅卷的“门门道道”告诉了一位门户的编辑同学,这位同学在感概当年自己就如此被“草菅人命”的同时,说了这样一句脑洞大开的一句话:主观题阅卷其实也可以将人工智能和大数据分析运用其中啊。
这句话对笔者来说颇有启发。在各类考试系统中,客观题阅卷技术已经非常成熟,在考试系统中,针对选择题和填空题的自动阅卷技术被广泛得应用到各个考试系统中。但主观题阅卷技术却一直进展缓慢,其主要原因是一些核心技术还在发展阶段,例如:自然语言的理解、模式识别、人工智能等一些技术还处于研究的初级阶段。但在前沿技术上,实际上也已经有人对基于人工智能和大数据的主观题智能阅卷技术进行研究。
智能阅卷:一个真实存在的幻想
主观题智能阅卷主要采用的技术路线是基于人工智能和大数据分析的自然语言处理技术。按照主观题的评分流程,阅卷系统主要分为五个部分:分句、分词、句法分析、词语相似度计算以及句子的相似度计算。主观题智能阅卷系统在进行阅卷评分时,通过对语句语法的相似度直接进行机器打分。
利:提升效率,降低误差
这一技术拥有极大的优势。主观题阅卷虽然在阅卷过程中有一套相对客观的标准,但是由于具体操作,最后的评分结果往往收到阅卷老师的心情、考生书面整洁程度等第三方因素的影响。而在在高强度、高密度的阅卷工作中,阅卷老师很容易由于眼疾手快地失误导致阅卷过程中出现纰漏。
传统的人工阅卷为了减小误差往往还会出现三评卷、四评卷等人力成本极大的场景。但是,基于人工智能和大数据分析不会存在这类弊端。主观题智能阅卷系统评分结果比较客观,不会受到人主观因素的影响,同时使用计算机阅卷的效率远远高于人工阅卷。
更值得期待的是,通过智能阅卷还可以对学生得分点失分点进行大数据分析,以此全面分析学生试卷并得出诊断书,对学生改进学习提出可行的解决方案。
以温州市某中学试水的网上云阅卷平台为例,虽然该平台依旧依靠教师人工阅卷,但在阅卷结束之后,云阅卷平台也会继续完善,对汇总的数据进行挖掘分析,学生登录系统后会收到一份类似账单的成绩诊断书,不仅可以帮助考生将错题汇总保存,有针对性地制订考前复习计划,还可得出本次考试中相关科目的数据分析报告,为教师后续的学科教学提供参考。
弊:技术瓶颈,社会障碍
但对于汉语来说,自然语言处理技术实现难度很大,迄今为止,在国内还没有一个实用化的、能真正实现的主观题智能阅卷系统还没有。由于汉语的复杂性,考生对于语言的发挥空间极大,一旦算法没有将相关关键语义囊括在内的话,将直接导致阅卷时的误判。
更遗憾的是,由于考察方式和答题角度的不同,主观题智能阅卷往往只能运用在浅层信息结构和语意结构的题目之中,主观题智能阅卷应付简述题、名词解释马马虎虎,但在应对相对复杂的主观题(如小作文、大作文)时,只能望洋兴叹。
即使主观题智能阅卷系统成熟之后,强大的社会障碍也是推进主观题智能阅卷的一大因素。任何家长和学生都不会将自己的命运交给一套不成熟的机器。人对于人工智能的不信任将成为主观题智能阅卷推行的最大难题。
实际运用:“考试后市场”的初体验
目前来看,虽然没有专门用于主观题阅卷的人工智能和大数据技术,但却人工智能和大数据分析却已经初步运用在了高考后的估分之中。
以BAT中某家见长于人工智能的巨头为例,其针对高考推出的估分系统依托人工智能和大数据分析能力,采用OCR识别、语义分析、智能检索等先进技术,针对试题场景进行深度优化,把以往年试题、答案和得分点作为训练样本,并根据今年真题和答案,自动识别题目类型,智能定位得分点,可以为考生准确估分提供重要依据。
按照人工智能和大数据分析技术目前发展的趋势来看,在教育领域中,试卷自动评阅是教育系统智能化必然的方向。一方面,计算机智能阅卷能避免人为的误差,能够更客观的反映出评阅结果,保证了阅卷的客观公正性。另一方面,电脑阅卷省去了老师在传统阅卷模式中主观题阅卷的体力劳动,让老师省出更多时间和精力用在教学工作中。
由于技术目前依旧不够成熟,这一天的到来恐怕还很远,利用人工智能和大数据分析推动自然语言处理技术的发展,进一步完善主观题智能阅卷系统在未来教育领域将是一个非常重要的课题。
———分割线————
本文作者吴俊宇。微信号:852405518,微信公众号“深几度”,期待交流沟通。网络推广网站推广转载请保留版权内容,否则禁止网络推广网站推广转载。