Learners Teaching Novices: An Uplifting Alternative Assessment
提出通过教学进行评估(AVT)的形成性评估新方法,让学习者辅导新手以展示理解。随机对照试验表明,AVT显著提升学习者考试成绩与学习动力,且天然防作弊,有望替代传统考试。
2024-03-22 cs.CY
MedSimAI: Simulation and Formative Feedback Generation to Enhance Deliberate Practice in Medical Education
Cornell University(康奈尔大学);UCSF School of Medicine(旧金山加利福尼亚大学医学院);Yale School of Medicine(耶鲁大学医学院)
MedSimAI通过模拟和形成性反馈提升医学教育中的刻意练习,通过AI生成临床互动并提供自动评估,提高病史采集和沟通技能。
2026-01-22 cs.AI cs.CL cs.CY
The Challenges of Assessing and Evaluating the Students at Distance
COVID-19疫情对高等教育机构造成强烈影响,课堂教学活动关闭。在这场前所未有的全球性危机中,教育工作者和家庭不得不应对不可预测性,并学习新的教学方法。这篇短文旨在探讨葡萄牙高等教育机构面临的挑战,并分析评估模式面临的挑战。为此,形成性和终结性评估模式在远程教育中的相关性进行了探讨,并通过远程评估的做法,教师和学生的看法进行了讨论。在教师方面,人们高度关注采用无欺诈模式,并过度关注总结性评估部分,而在远程学习模式中,与学生的逐步监测和评估过程相比,总结性评估部分的优势较小,而在学生方面,出现了有关教学课程设备的问题,并关注他们的隐私,特别是当侵入式IT解决方案请求访问其摄像头、音频和桌面时。
2021-01-30 cs.CY
An LLM -Powered Assessment Retrieval-Augmented Generation (RAG) For Higher Education
Nottingham Trent University(诺丁汉特伦特大学);London South Bank University(伦敦南岸大学)
本研究提出基于RAG架构的大语言模型驱动评估系统,通过整合评分标准和范文生成高质量反馈,实现大规模、一致的评估反馈,提升学生自主学习能力。
2026-01-05 cs.CY
Hybrid Instructor Ai Assessment In Academic Projects: Efficiency, Equity, And Methodological Lessons
本研究提出一种教师监督的生成式AI辅助评估系统,用于水力学报告评分,实现评分时间减少88%、生产力提升733%,且反馈质量与公平性显著提高,符合UNESCO伦理原则。
2025-10-25 cs.CY
PyBryt: auto-assessment and auto-grading for computational thinking
我们不断与计算机系统互动,以实现目标,并在我们的个人和职业生活中执行任务。因此,编程这种系统的能力是每个人都需要的技能。因此,计算思维技能对每个人来说都是必不可少的,这就给教育系统带来了挑战,要求大规模教授这些技能,并允许学生练习这些技能。为了应对这一挑战,我们提出了一种新的方法来提供形成性反馈给学生的编程作业。我们的方法使用动态评估跟踪学生的代码生成的中间结果,并将它们与教师提供的参考实现进行比较。我们已经实现了这种方法作为一个Python库,并展示了它的使用,给学生的工作,同时允许教师挑战他们的学生的计算思维技能的相关反馈。
2021-12-03 cs.CY cs.HC
The end of multiple choice tests: using AI to enhance assessment
本文提出用AI分析学生对选择题答案的解释,以弥补传统选择题无法揭示学生思维过程的局限,并通过BCI概念验证研究证明该方法能提供可操作反馈、改善学习效果。
2024-06-11 cs.CY
Enhanced well-being assessment as basis for the practical implementation of ethical and rights-based normative principles for AI
人工智能(AI)对人们生活的各个领域产生越来越大的影响。详细研究现有的跨学科和跨学科指标框架可以带来新的见解,并使从业者能够应对理解和评估自主智能系统(A/IS)影响的挑战。学者、政府、民权组织和科技公司提出的基于基本道德和权利的人工智能原则已经形成共识。为了从原则转向现实世界的实施,我们采用了监管影响评估和公共政策中的福祉运动的视角。与公共政策干预类似,人工智能系统实施的结果可能会产生深远的复杂影响。在公共政策中,指标只是更广泛的工具箱的一部分,因为衡量标准必然导致激励措施和目标的博弈和瓦解。同样,在A/IS的情况下,需要一个更大的工具箱,以便对已确定的影响进行迭代评估,将新的影响纳入分析,并确定新出现的权衡。在本文中,我们提出了一个增强的A/IS福祉影响评估框架的实际应用,该框架可用于解决人工智能中基于道德和权利的规范性原则。这一过程可以实现以人为中心的算法支持的方法来理解人工智能系统的影响。最后,我们提出了一个新的测试基础设施,这将允许政府,民权组织和其他人,从事与A/IS开发人员合作,以实现增强的福祉影响评估。
2020-09-15 cs.CY
Scaling Equitable Reflection Assessment in Education via Large Language Models and Role-Based Feedback Agents
本文提出利用多代理LLM系统实现公平、高质量的形成性反馈,通过角色化代理生成公平、简洁的反馈,提升教育公平性与教学效率。
2025-11-27 cs.AI cs.CY
Adesua: Development and Feasibility Study of an AI WhatsApp Bot for Science Learning in West Africa
ETH Zurich, Switzerland(苏黎世联邦理工学院,瑞士);Charité - Universitätsmedizin Berlin, Germany(柏林夏里特医学院,德国);Kwame AI Inc., U.S.(瓦卡姆人工智能公司,美国)
Adesua通过WhatsApp平台为西非初中和高中学生提供科学学习支持,利用生成式AI实现问答和自动评估,初步测试显示高使用价值。
2026-05-14 cs.CL cs.CY
Towards an Electronic Health Record System in Vietnam: A Core Readiness Assessment
以往的研究表明,卫生信息技术对卫生系统有积极影响。电子健康记录(EHR)系统是最有前途的应用之一,在高收入国家显示出积极的影响。另一方面,关于低收入和中等收入国家的有力证据仍然不足。本研究的目的是通过评估核心准备情况,在越南启动一个精心规划的全国性电子健康记录系统。评估结构主要基于以前的研究,建议在EHR系统实施之前进行准备评估。本研究采参与观察、文献分析及深度访谈法搜集资料。这项研究揭示了越南EHR现状的新见解。卫生部目前正在努力改善今后实施越南电子健康记录系统的条件。目前处理健康记录的方式存在问题。这些问题正在鼓励卫生部努力确定电子健康记录系统实施的下一步。EHR系统与当前系统的集成似乎具有挑战性,因为大多数系统都是商业化的,封闭源代码的,并且很可能没有标准化的接口。总之,本研究确定了在实施之前需要进一步调查的要点。一般来说,卫生保健工作者对新技术有很好的认识。由于越南的医疗保健系统是集中组织的,因此有可能在全国范围内实施。这可能会对医疗保健系统产生积极影响,但是,除了严格的规划外,还需要遵循标准,并实施共同的接口。最后,本评估仅侧重于一个级别的准备情况评估。需要进一步研究才能完成评估。
2020-05-28 cs.CY
Human-Centered Design for AI-based Automatically Generated Assessment Reports: A Systematic Review
本文系统综述了K-12 STEM课堂中AI自动生成评估报告的设计与实施,基于认知负荷理论提出概念框架,以平衡可用性与功能性,促进教师数据驱动决策。
2024-12-30 cs.CY cs.HC
Towards a low-cost universal access cloud framework to assess STEM students
针对封控下教育转型的评估适配需求,研究人员定制了可复刻线下监考环境的编程课云评估框架,其易集成、适配多教学场景,还能便利残障学生,且比本地部署更经济灵活。
2024-01-31 cs.CY
Quantitative Assessment of Solution Innovation in Engineering Education
探讨了工程系统构件创新的定量评价方法。该方法的有效性是基于专家评估的大学的电子信息教育环境组件和测量工程解决方案创新的工程教育。论证并描述了目标创新评估的批处理的实现。
2021-03-26 cs.CY
From GPT-3 to GPT-4: On the Evolving Efficacy of LLMs to Answer Multiple-choice Questions for Programming Classes in Higher Education
本研究评估了从 GPT-3 到 GPT-4 的三个 GPT 模型在高等教育 Python 编程课程 530 道多项选择题上的能力演变,揭示了模型日益增强的答题能力对现有评估体系的挑战。
2023-11-16 cs.CY
Design and Implementation of Performance Metrics for Evaluation of Assessments Data
本文的目的是设计绩效指标和相应的公式,以定量评估在课程和项目层面上设定的目标和预期成果的实现。评价被定义为一个或多个过程,用于解释通过评估过程获得的数据,以确定既定目标和成果的实现情况。尽管认证的评估过程有很好的文件记录,但假定存在评价过程。本文着重于评估过程,为数据解释提供见解和技术。它提供了一个完整的评估过程,从数据收集,通过各种评估方法,性能指标,以表格和图表的形式呈现。作者希望通过对评价公式的清晰描述,有助于在评价过程中向高质量标准靠拢。
2015-08-22 cs.CY physics.ed-ph
The AI Assessment Scale (AIAS) in action: A pilot implementation of GenAI supported assessment- A Preprint
Deakin University(德金大学);British University Vietnam(越南英国大学);James Cook University Singapore(新加坡詹姆斯库克大学)
本文提出AIAS框架,通过试点研究展示GenAI在高等教育中的有效应用,显著降低学术不端,提升学生成绩和课程通过率。
2025-02-25 cs.AI cs.CY
Developing an Evidence-Based Framework for Grading and Assessment of Predictive Tools for Clinical Decision Support
背景资料:临床预测工具量化相关患者特征的贡献,以得出疾病的可能性或预测临床结果。当选择一个预测工具,在临床实践中实施或在临床指南中推荐时,临床医生面临着压倒性的和不断增长的工具数量的挑战,其中大多数从未实施或评估比较有效性。目的:制定一个综合框架,以分级和评估预测工具(GRASP),并为临床医生提供一个标准化的,基于证据的系统,以支持他们的搜索和选择有效的工具。方法:对文献进行重点回顾,以提取应评估工具的标准。设计了一个初始框架,并应用于评估和分级五种工具:LACE指数,Centor评分,Wells标准,改良早期预警评分和渥太华膝关节规则。经过专家临床医生和医疗保健研究人员的同行评议,对框架进行了修订,并更新了工具的分级。结果如下:GRASP框架基于三个维度的已发表证据对预测工具进行评级:1)评估阶段; 2)证据水平; 3)证据方向。工具的最终等级基于最高评价阶段,由最高水平的积极证据或支持积极结论的混合证据支持。讨论和结论:GRASP框架建立在完善的模型和广泛接受的概念上,以提供标准化的评估和基于证据的预测工具分级。与其他方法不同,GRASP是基于对已发表的证据的严格评估,这些证据报告了预测工具在实施前的预测性能、实施过程中的潜在效果和可用性以及实施后的影响。
2019-06-19 cs.CY
The Role of Implicit and Explicit Demographic Signals in Large Language Model-based Student Assessment
Bocconi University(博科尼大学);Télécom SudParis(巴黎电信南巴黎);Institut Polytechnique de Paris(巴黎综合理工学院)
本研究通过受控提示词测试显性与隐性人口统计信号对六种大语言模型在自动作文评分、形成性反馈和元语言问答中的影响,发现模型会据此调整输出并产生潜在偏差,证实了教育评估中的人口统计敏感性。
2026-09-16 cs.AI cs.CL cs.CY
Leveraging Generative AI for Enhancing Automated Assessment in Programming Education Contests
University of Bucharest Faculty of Mathematics and Computer Science(布加勒斯大学数学与计算机科学学院);Softbinator Technologies(Softbinator技术公司);Delft University of Technology(代尔夫特理工大学)
本文提出利用生成式 AI 自动生成编程竞赛高质量测试用例的 NLP 方法,并在 OJI、Kilonova.ro 和 IIOT 数据集上验证其可发现隐藏错误、减轻教师负担。
2025-06-06 cs.AI cs.CY cs.LG
Socratic Mind: Impact of a Novel GenAI-Powered Assessment Tool on Student Learning and Higher-Order Thinking
Georgia Institute of Technology(佐治亚理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本研究评估了生成式AI评估工具苏格拉底心智在在线计算机课程中的效果,发现其能提升学生参与度、测验成绩及高阶思维技能,尤其惠及低成就学生。
2025-10-16 cs.AI cs.CY
Creating and Evaluating K-12 GenAI Assessment Graders Through Context Engineering
University of Washington(华盛顿大学);Colleague AI
本研究通过上下文工程利用商用基础模型构建LLM评分器,基于MCAS数据评估其在数学、科学和ELA上的评分一致性,发现大参数模型在数学和科学上表现良好,而ELA上差异较大,表明AI更适合作为形成性工具。
2026-06-12 cs.AI cs.CY cs.HC
Group Fairness in Prediction-Based Decision Making: From Moral Assessment to Implementation
University of Zurich(苏黎世大学);Zurich University of Applied Sciences(苏黎世应用科学大学)
确保基于预测的决策的公平性是基于统计组公平性标准。这些标准中哪一个在道德上是最合适的取决于上下文,它的选择需要伦理分析。在本文中,我们提出了一个逐步的过程,集成了三个要素:(a)根据最近提出的“公平机会均等”的一般原则,对特定情况下公平的含义进行道德评估的框架;(b)将评估结果与既定统计群体公平标准相对应,以及(c)一种用于将如此定义的公平性集成到最优决策中的方法。作为第二个贡献,我们展示了FEC原则的新应用,并表明,通过这种扩展,FEC框架涵盖了所有类型的组公平性标准:独立性,分离性和充分性。第三,我们引入了FEC原则的扩展版本,它还允许考虑公平性评估中与道德无关的元素,并链接到众所周知的公平性标准放宽。本文提出了一个框架,开发公平的决策系统在一个概念上健全的方式,结合道德和计算元素的公平预测为基础的决策在一个综合的方法。复制我们结果的数据和代码可在https://github.com/joebaumann/fair-prediction-based-decision-making上获得。
2022-10-19 cs.CY cs.LG
Implementation of Big Data Analytics for Diabetes Management: Needs Assessment in the Rwanda Healthcare System
University of Rwanda(卢旺达大学)
本研究通过利益相关者研讨会评估卢旺达医疗系统采用大数据分析管理糖尿病的准备情况,并提出了一个基于可解释机器学习模型的实用框架。
2026-05-26 cs.AI cs.CY cs.LG
Evaluation of Large Language Models' educational feedback in Higher Education: potential, limitations and implications for educational practice
本研究评估了大语言模型在高等教育中的教育反馈潜力,发现其能生成结构良好的反馈,但需明确指导以提升教育实践效果。
2026-01-24 cs.AI cs.CY
Computer Administering of the Psychological Investigations: Set-relational Representation
心理调查的计算机管理是心理评估的整个过程的计算机表示-测试的构建,测试的实施,结果的评估,开发的数据库的存储和维护,其统计处理,分析和解释。本文讨论了人格测验辅助下的心理评估的数学描述。集合论和关系代数被用在这个描述中。本文给出了一个用于设计自动化心理评估的计算机系统所需的数据的关系模型。描述了建立人格心理测验所必需的有限集合及其关系。所描述的模型可用于开发真正的软件,用于任何心理测试的计算机管理,并且整个过程完全自动化:测试构建,测试实施,结果评估,开发的数据库的存储,统计实施,分析和解释。本文提出了一个计算机管理人格心理测验的软件方案。
2012-07-03 cs.CY cs.HC