Applying IRT to Distinguish Between Human and Generative AI Responses to Multiple-Choice Assessments
Weizmann Institute of Science（魏茨曼科学研究所）
针对多项选择评估中AI作弊检测研究空白，提出基于项目反应理论、利用个人拟合统计量建模作答偏差的检测方法，验证了其区分人类与主流聊天机器人作答的有效性及对作弊占比的敏感性，为该领域提供理论与实证支撑。
2024-12-12 cs.AI
On a notion of independence proposed by Teddy Seidenfeld
Ghent University（根特大学）
Teddy Seidenfeld长期以来一直认为二元偏好模型不足以处理不确定性推理和决策中的不精确性和不确定性的许多关键方面。正是在他的坚持下，我们开始了对所谓的理想选项集的研究，我们在其他地方论证过，它提供了一种优雅而强大的方法来处理一般的、二元的以及非二元的不确定性决策。我们在这里使用这种方法来探索一个有趣的概念无关性（和独立性），首先提出的Seidenfeld在一个例子中，旨在作为一个批评的一些具体的决策方法的基础上（凸）二元偏好。我们表明，这样一个无关性或独立性评估的后果是非常强大的，并可能被用来主张使用所谓的混合选择功能，和E-受理作为决策方案。
2021-02-20 cs.AI math.PR
AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments
Chegg, Inc.（Chegg公司）；Stanford University（斯坦福大学）
在虚拟教育和招聘时代，多项选择题（MCQ）为技能评估提供了最有前途的途径，在这个时代，传统的基于绩效的替代方案（如项目和论文）变得不那么可行，评分资源也受到限制。MCQ的自动生成将允许大规模创建评估。自然语言处理的最新进展产生了许多复杂问题生成方法。然而，在特定领域中产生可部署结果的少数方法需要大量的特定于领域的训练数据，这可能是非常昂贵的获取。我们的工作提供了一个初步的进军MCQ生成下的高数据采集成本的情况下，战略性地强调释义的问题上下文（相比的任务）。除了保持问答对之间的语义相似性外，我们称之为AGenT Zero的管道仅由预先训练的模型组成，不需要微调，从而最大限度地减少了问题生成的数据采集成本。AGenT Zero在流畅性和语义相似性方面成功地优于其他预先训练的方法。此外，通过一些小的变化，我们的评估管道可以推广到更广泛的问题和答案空间，包括简短的答案或填写空白的问题。
2020-12-18 cs.AI cs.CL cs.CY
Question Difficulty Ranking for Multiple-Choice Reading Comprehension
ALTA Institute, University of Cambridge（剑桥大学ALTA研究所）
针对多项选择阅读理解题人工难度排序成本高、可扩展性差且训练数据有限的问题，对比任务迁移与零样本难度排序方法，发现零样本相对评估效果最优，系统融合可进一步提升排序相关性。
2024-04-16 cs.AI cs.CL
Inference with Choice Functions Made Practical
Ghent University（根特大学）
我们研究如何以保守的方式从以前的选择中推断出新的选择。为了做出这样的推论，我们使用选择函数理论：保守决策的统一数学框架，允许人们直接将公理强加于所代表的决策。我们在这里采用De Bock和De Cooman（2019）的一致性公理。我们展示了如何自然地将任何给定的选择评估扩展到这样一个连贯的选择函数，只要有可能，并使用这种自然扩展来做出新的选择。我们提出了一个实用的算法来计算这个自然的扩展，并提供了几种方法，可以用来提高其可扩展性。
2020-07-15 cs.AI
Large Language Models (GPT) Struggle to Answer Multiple-Choice Questions about Code
Carnegie Mellon University（卡内基梅隆大学）
我们分析了三个生成式预训练Transformer（GPT）模型在回答多项选择题（MCQ）评估时的有效性，这些评估通常涉及中学后入门和中级编程课程的简短代码片段。这项新兴技术激起了无数关于其潜在用途的讨论（例如，练习生成、代码解释）以及编程教育中的误用（例如，作弊）。然而，GPT模型的能力及其在教育环境中推理和/或分析代码的局限性尚未得到充分探讨。我们评估了OpenAI的几个GPT模型对三门Python课程（530个问题）的形成性和总结性MCQ评估。我们发现，包含代码片段的MCQ的回答不如仅包含自然语言的MCQ那么成功。虽然要求在代码中填充空白或完成关于片段的自然语言语句的问题被相当成功地处理，但是要求关于代码的分析和/或推理的MCQ（例如，关于片段的什么是真/假，或者它的输出是什么）看起来是最具挑战性的。这些研究结果可以被教育工作者用来调整他们的教学实践和评估编程课程，使GPT成为学习者的一个有价值的助手，而不是在学习过程中的混乱和/或潜在的障碍。
2023-03-09 cs.AI cs.CL
A Forced-Choice Neural Cognitive Diagnostic Model of Personality Testing
School of Education, Yangzhou University（扬州大学教育学院）；Lab of Artificial Intelligence for Education, East China Normal University（华东师范大学教育人工智能实验室）；Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学教育人工智能研究所）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Department of Educational Psychology, East China Normal University（华东师范大学教育心理学系）
本文提出迫选神经认知诊断模型FCNCD，通过可解释参数、非线性映射、多层神经网络和单调性假设，解决传统模型在人格迫选测验中的局限，并在真实与模拟数据上验证了其准确性、可解释性和鲁棒性。
2025-07-20 cs.AI
LANTERN: Language Model Assessment on Noisy and Transformed Tasks for Understanding Error and Robustness Nuances
Samsung（三星）
本研究构建合成增强数据集，系统评估不同规模及微调变体LLM在词错误率、字符重复、选项修改和指令遵循等扰动下的鲁棒性，揭示响应变异性，为开发更稳健模型和评估方法提供见解。
2026-09-09 cs.AI cs.CL
Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions
Carnegie Mellon University（卡内基梅隆大学）
本研究利用GPT-4为高等教育多选题自动生成知识组件，并通过专家评估和聚类算法验证了LLM生成的KCs在准确率和偏好上优于人工，推进了评估项目KCs生成与分类的自动化。
2024-05-30 cs.AI cs.CL
Managing Multi-Granular Linguistic Distribution Assessments in Large-Scale Multi-Attribute Group Decision Making
Dalian University of Technology（大连理工大学）；University of Jáen（哈恩大学）
语言型大规模群体决策问题越来越普遍。在这类问题中，大量的决策者参与到决策过程中，并得出语言信息，这些信息通常在不同的语言尺度上进行评估，由于决策者的不同知识和背景，这些语言信息具有不同的粒度。为了在语言LGDM问题的初始阶段保持最大的信息，使用多粒度语言分布评估似乎是一个合适的选择，但是要管理这样的多粒度语言分布评估，有必要开发一种新的语言计算方法。本文提出了一种新的计算模型的基础上使用扩展的语言层次，它不仅可以用来操作与多粒度的语言分布评估，但也可以提供可解释的语言结果的决策者。基于这种新的语言计算模型，提出了一种语言大规模多属性群决策方法，并将其应用于高校人才选拔过程。
2015-11-18 cs.AI
From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items
Midjourney；Institute for Creative Technologies（创意技术研究所）；University of Southern California（南加州大学）
本文研究大语言模型编写常识推理评估题目的能力，以COPA基准为风格模板生成题目，并通过自动与人工分析发现，擅长回答COPA问题的模型在自主命题方面表现也更优。
2024-10-18 cs.AI cs.CL
When is using AI the rational choice? The importance of counterfactuals in AI deployment decisions
The MITRE Corporation（MITRE公司）
本文提出将反事实结果纳入期望效用评估的方法，揭示 AI 部署中反事实失误与命中对决策者和利益相关者的不对称影响，并分析互补性、交互变化及认知偏差的作用，以指导理性部署 AI。
2025-04-04 cs.AI cs.CY
(WhyPHI) Fine-Tuning PHI-3 for Multiple-Choice Question Answering: Methodology, Results, and Challenges
Cairo University（开罗大学）
本文通过微调 PHI-3 并在 TruthfulQA 上优化提示，使其 MCQ 问答准确率从 62% 提升至 90.8%，展示了高效模型在教育评估中的应用潜力。
2025-01-03 cs.AI cs.CL
Harnessing Structured Knowledge: A Concept Map-Based Approach for High-Quality Multiple Choice Question Generation with Effective Distractors
Indian Institute of Science（印度科学研究院）
本文提出基于分层概念图引导大语言模型生成高质量物理多项选择题的框架，通过结构化知识注入有效干扰项，实验表明其在专家评估和学生测评中均显著优于基础LLM和RAG基线方法。
2025-08-19 cs.AI cs.CL cs.CY
Choices Speak Louder than Questions
Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）；Department of Computer Science, Seoul National University（计算机科学系，首尔国立大学）
本文提出NPSQ方法，用于更准确评估大语言模型对问题的理解能力，通过实验发现传统方法易受答案选项影响，而NPSQ在修改答案选项时保持稳定。
2026-01-12 cs.AI cs.CL
No Task Left Behind: Multi-Task Learning of Knowledge Tracing and Option Tracing for Better Student Assessment
Riiid AI Research（Riiid人工智能研究院）
学生评价是人工智能教育（AIEd）领域最基本的任务之一。知识追踪（Knowledge Tracing，KT）是一种最常见的学生评估方法，它通过预测学生是否正确回答给定的问题来评估学生的知识状态。然而，在多项选择（多分类）问题的上下文中，常规KT方法的局限性在于它们仅考虑二元（二分法）正确性标签（即，正确或不正确），并忽略学生选择的特定选项。同时，选项跟踪（OT）试图通过预测学生将选择哪个选项来为给定问题建模，但忽略了正确性信息。在本文中，我们提出了二分-多分多任务学习（DP-MTL），一个多任务学习框架，结合KT和OT更精确的学生评估。特别是，我们证明了KT目标在DP-MTL框架中作为OT的正则化项，并提出了一个适当的架构，用于在现有的基于深度学习的KT模型之上应用我们的方法。我们的实验证实，DP-MTL显着提高KT和OT性能，也有利于下游任务，如得分预测（SP）。
2022-04-08 cs.AI cs.CY cs.LG
