2019年美国国家教育测量委员会(National Council on Measurement in Education,以下简称NCME)峰会4月4-8日在风景如画的多伦多召开。全球近1.4万名教育行业的研究人员和教育专家齐集多伦多城市会议中心和费尔蒙德酒店,在5天内集中交流一年来行业在教育评测体系研究和教育评测实践中的重要成果。
4月8日中午,NCME的一个重要交流汇报会-“评估和分类准确度的研究新方向”(New Directions in Scoring and Classification Accuracy)在酒店如期进行。乂学教育-松鼠AI作为中国教育行业人工智能评估与量化的代表也受邀参加了此次会议。SRI斯坦福国际研究院的教育研究员Yuning Xu作为松鼠AI合作项目组的核心成员,向与会者做了主题为”在线学习所需的集成专家评估与诊断分类模型”(Integrating Expert Review and Diagnostic Classification Models for Online Assessments)的研究报告,详细介绍了松鼠AI利用Q矩阵和其上的DINA模型建立认知诊断测量系统的核心过程,并提供了仿真研究的具体结果。
美国国家教育测量委员会(National Council on Measurement in Education 以下简称NCME)是美国全国性的教育测评行业协会。该委员会定期发布美国教育行业指导性文件和质量标准。NCME对于美国教育行业评测标准具有重大影响力,其制定的《教育与心理测量标准》,明确了各类考试应该达到的信度、效度、公平性等方面的标准。中国人所熟知的考试机构-美国教育考试服务中心(Educational Testing Service,简称ETS)就是按照NCMS制定的教育评测标准设计其所属的托福、GRE、GMAT、托业和SAT等全球知名的语言和学术能力评估考试的。
2019年NCME峰会的主题是“与公众交流教育评测” (Communicating with the Public about Educational Measurement.)。在这个主题下,“公众”被定义为是各种各样的和教育相关的受众,其中包括普通民众,家长,教育工作者,教育政策制定者,关注教育的新闻界和各个年龄层的学生,而受众沟通中和学生的直接沟通尤为受会议重视。
在互联网颠覆和改造教育行业的今天,个性化教育成为学生的普遍需求。如何精确测评学生的知识水平,诊断知识结构中的问题,成为了个性化教育必不可少的基础。传统的潜在特质模型和因子分析模型所能够达到的精度已经不能满足互联网教育的要求。取而代之的是认知诊断模型等新型的教育评测模型。
松鼠AI在国内的K12教育环节已经全面地进行了新型评测模型的应用,涵盖了数学、物理、化学、英语和语文等多个核心学科,通过设计完善的知识图谱和精准的知识点,并对知识点之间的关联与依赖关系加以准确勾勒,形成了面向整个知识体系的人工智能评测方法论。这套科学方法论为“评估->学习->再评估”的循环提升流程构建了坚实的基础。
在松鼠AI的这套评测方法中,研究人员把知识图谱和测试内容分为“知识点”(knowledge Point)和“要素”(item)两个核心对象。知识点描述知识图谱中的一个基本知识单元。“要素”描述评测中的一个评测基本内容,比如一道测试题。在一个标准化测试中,即包含多个知识点,也包含多个要素,两者是交叉关联的。如一个知识点有可能在多道考题中被使用,同样一道考题内会使用多个知识点。
松鼠AI的评测分析方法最终希望找出知识点和要素的不同组合对于评测准确度的影响,如简单要素(包含少量知识点)与复杂要素(包含众多知识点)对于评测准确度的影响等等。
在介绍交流中,徐研究员谈到了项目组在线性方程、根号和平行四边形等知识领域,针对相应的知识点通过教育专家设计的考试内容进行评测实验,希望建立知识点和要素之间的分类预测模型。
在使用认知诊断DINA模型和双重Q学习矩阵建模后,研究人员提炼出具有共性的四种“认知模式”(skill),并构成了要素和认知模式的函数模型,最终完成了边际认知模式分类的精确度验证。
通过这一模型的建立,人工智能系统可以构建各个知识领域有关知识点、评测要素和认知模式的数学模型,将这三者有机地结合在一起,帮助教学与评测人员全面了解知识点与评测内容的关联关系,并可以全面描述学生对于知识的掌握与技巧使用的熟练程度。这就为提升“评估->学习->再评估”的效率创造了良好的条件。
松鼠AI与斯坦福国际研究院(SRI)在两年前成立了人工智能联合实验室,松鼠AI与SRI联合实验室专注于利用SRI在人工智能和教育技术方面的独特优势。联合实验室目前在三个关键领域进行合作研究:1)核心自适应教育模型和技术 2)自然语言处理和语义分析,以实现虚拟个性化学习助理(VPA)功能,用基于对话的界面来诊断学生错因和吸取教练和学生对人工智能的反馈。 3)多模式综合行为分析(MIBA)研究,使松鼠AI能够在智适应学习环境中理解学生的情感和心理状态,并更好地预测学生行为,以及为人类教练的干预,补救和支持的机会提供信号,或者通过系统对学生进行提醒、推荐和放松。
目前松鼠AI已经把这种评测方法应用于中国的中学教育评测中,取得了相当好的反馈。我们期待松鼠AI能够进一步扩展人工智能的应用范围,为中国教育行业走人人工智能时代提供强大的推动力。
豫公网安备 41010402002388号 网站地图 http://www.ur10.com/