Extending RLVR to Open-Ended Tasks via Verifiable Multiple-Choice Reformulation
Baidu Ernie Team（百度文心团队）
本文提出VMR-RLVR方法，通过将开放性任务数据转化为可验证的多选格式，提升LLM在无明确真实值情况下开放性任务的推理能力。
2026-02-04 cs.AI
AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments
Chegg, Inc.（Chegg公司）；Stanford University（斯坦福大学）
在虚拟教育和招聘时代，多项选择题（MCQ）为技能评估提供了最有前途的途径，在这个时代，传统的基于绩效的替代方案（如项目和论文）变得不那么可行，评分资源也受到限制。MCQ的自动生成将允许大规模创建评估。自然语言处理的最新进展产生了许多复杂问题生成方法。然而，在特定领域中产生可部署结果的少数方法需要大量的特定于领域的训练数据，这可能是非常昂贵的获取。我们的工作提供了一个初步的进军MCQ生成下的高数据采集成本的情况下，战略性地强调释义的问题上下文（相比的任务）。除了保持问答对之间的语义相似性外，我们称之为AGenT Zero的管道仅由预先训练的模型组成，不需要微调，从而最大限度地减少了问题生成的数据采集成本。AGenT Zero在流畅性和语义相似性方面成功地优于其他预先训练的方法。此外，通过一些小的变化，我们的评估管道可以推广到更广泛的问题和答案空间，包括简短的答案或填写空白的问题。
2020-12-18 cs.AI cs.CL cs.CY
GIRAFFE: Design Choices for Extending the Context Length of Visual Language Models
The University of Hong Kong（香港大学）
针对视觉语言模型长上下文能力不足的问题，提出Giraffe，通过数据配方ETVLM、位置扩展方法M-RoPE++及混合分辨率训练，将Qwen-VL扩展至128K长度，在长上下文基准上达到开源最优并媲美GPT-4V。
2024-12-17 cs.AI cs.CL cs.CV
Question Difficulty Ranking for Multiple-Choice Reading Comprehension
ALTA Institute, University of Cambridge（剑桥大学ALTA研究所）
针对多项选择阅读理解题人工难度排序成本高、可扩展性差且训练数据有限的问题，对比任务迁移与零样本难度排序方法，发现零样本相对评估效果最优，系统融合可进一步提升排序相关性。
2024-04-16 cs.AI cs.CL
Inference with Choice Functions Made Practical
Ghent University（根特大学）
我们研究如何以保守的方式从以前的选择中推断出新的选择。为了做出这样的推论，我们使用选择函数理论：保守决策的统一数学框架，允许人们直接将公理强加于所代表的决策。我们在这里采用De Bock和De Cooman（2019）的一致性公理。我们展示了如何自然地将任何给定的选择评估扩展到这样一个连贯的选择函数，只要有可能，并使用这种自然扩展来做出新的选择。我们提出了一个实用的算法来计算这个自然的扩展，并提供了几种方法，可以用来提高其可扩展性。
2020-07-15 cs.AI
Large Language Models (GPT) Struggle to Answer Multiple-Choice Questions about Code
Carnegie Mellon University（卡内基梅隆大学）
我们分析了三个生成式预训练Transformer（GPT）模型在回答多项选择题（MCQ）评估时的有效性，这些评估通常涉及中学后入门和中级编程课程的简短代码片段。这项新兴技术激起了无数关于其潜在用途的讨论（例如，练习生成、代码解释）以及编程教育中的误用（例如，作弊）。然而，GPT模型的能力及其在教育环境中推理和/或分析代码的局限性尚未得到充分探讨。我们评估了OpenAI的几个GPT模型对三门Python课程（530个问题）的形成性和总结性MCQ评估。我们发现，包含代码片段的MCQ的回答不如仅包含自然语言的MCQ那么成功。虽然要求在代码中填充空白或完成关于片段的自然语言语句的问题被相当成功地处理，但是要求关于代码的分析和/或推理的MCQ（例如，关于片段的什么是真/假，或者它的输出是什么）看起来是最具挑战性的。这些研究结果可以被教育工作者用来调整他们的教学实践和评估编程课程，使GPT成为学习者的一个有价值的助手，而不是在学习过程中的混乱和/或潜在的障碍。
2023-03-09 cs.AI cs.CL
A Forced-Choice Neural Cognitive Diagnostic Model of Personality Testing
School of Education, Yangzhou University（扬州大学教育学院）；Lab of Artificial Intelligence for Education, East China Normal University（华东师范大学教育人工智能实验室）；Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学教育人工智能研究所）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Department of Educational Psychology, East China Normal University（华东师范大学教育心理学系）
本文提出迫选神经认知诊断模型FCNCD，通过可解释参数、非线性映射、多层神经网络和单调性假设，解决传统模型在人格迫选测验中的局限，并在真实与模拟数据上验证了其准确性、可解释性和鲁棒性。
2025-07-20 cs.AI
MASEval: Extending Multi-Agent Evaluation from Models to Systems
Parameter Lab（参数实验室）；University of Oxford（牛津大学）；University of Tübingen（图宾根大学）；TU Darmstadt（德累斯顿理工大学）；MBZUAI；NAVER AI Lab（NAVER AI实验室）；KAIST（韩国科学技术院）
MASEval通过系统层面的比较揭示框架选择与模型选择同等重要，为智能体系统设计提供新途径。
2026-03-09 cs.AI cs.CL cs.LG
LANTERN: Language Model Assessment on Noisy and Transformed Tasks for Understanding Error and Robustness Nuances
Samsung（三星）
本研究构建合成增强数据集，系统评估不同规模及微调变体LLM在词错误率、字符重复、选项修改和指令遵循等扰动下的鲁棒性，揭示响应变异性，为开发更稳健模型和评估方法提供见解。
2026-09-09 cs.AI cs.CL
Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions
Carnegie Mellon University（卡内基梅隆大学）
本研究利用GPT-4为高等教育多选题自动生成知识组件，并通过专家评估和聚类算法验证了LLM生成的KCs在准确率和偏好上优于人工，推进了评估项目KCs生成与分类的自动化。
2024-05-30 cs.AI cs.CL
Mitigating Bias in Algorithmic Hiring: Evaluating Claims and Practices
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
人们对在招聘中使用算法的兴趣迅速增长，特别是作为解决或减轻偏见的一种手段。然而，到目前为止，人们对这些方法在实践中如何使用知之甚少。算法评估是如何建立、验证和检查偏差的？在这项工作中，我们记录和分析的索赔和实践的公司提供算法的就业评估。特别是，我们确定了算法就业前评估的供应商（即，筛选候选人的算法），记录他们披露的关于他们的开发和验证程序的信息，并评估他们的实践，特别关注检测和减轻偏见的努力。我们的分析考虑了技术和法律两个方面。从技术上讲，我们考虑供应商在数据汇集和预测目标方面做出的各种选择，并探讨这些选择带来的风险和权衡。我们还讨论了如何算法去偏置技术接口，并创造挑战，反歧视法。
2019-12-06 cs.AI cs.CY cs.LG
When is using AI the rational choice? The importance of counterfactuals in AI deployment decisions
The MITRE Corporation（MITRE公司）
本文提出将反事实结果纳入期望效用评估的方法，揭示 AI 部署中反事实失误与命中对决策者和利益相关者的不对称影响，并分析互补性、交互变化及认知偏差的作用，以指导理性部署 AI。
2025-04-04 cs.AI cs.CY
Extending the UXR Point of View Pyramid: A Generative AI-Augmented Methodology for Human-Centred AI Systems
School of Computing and Engineering, Bournemouth University（伯恩茅斯大学计算机与工程学院）
针对英国债务管理中的AI金融系统，通过扩展UXR观点金字塔，提出一种结合生成式AI的增强方法论，包括AI增强观点金字塔、结构化提示架构和AI驱动的Playbook卡片系统，以提升可解释性、公平性和问责性。
2026-05-29 cs.AI cs.HC
Extending quantum theory with AI-assisted deterministic game theory
本文提出用AI辅助的确定性博弈理论扩展量子理论，通过学习博弈奖励函数和非纳什解算法，探索本地隐变量理论的可能性。
2026-02-19 cs.AI cs.GT quant-ph
(WhyPHI) Fine-Tuning PHI-3 for Multiple-Choice Question Answering: Methodology, Results, and Challenges
Cairo University（开罗大学）
本文通过微调 PHI-3 并在 TruthfulQA 上优化提示，使其 MCQ 问答准确率从 62% 提升至 90.8%，展示了高效模型在教育评估中的应用潜力。
2025-01-03 cs.AI cs.CL
Harnessing Structured Knowledge: A Concept Map-Based Approach for High-Quality Multiple Choice Question Generation with Effective Distractors
Indian Institute of Science（印度科学研究院）
本文提出基于分层概念图引导大语言模型生成高质量物理多项选择题的框架，通过结构化知识注入有效干扰项，实验表明其在专家评估和学生测评中均显著优于基础LLM和RAG基线方法。
2025-08-19 cs.AI cs.CL cs.CY
Extending the Abstraction of Personality Types based on MBTI with Machine Learning and Natural Language Processing
以数据为中心的方法与自然语言处理（NLP）预测人格类型的基础上MBTI（一个内省的自我评估问卷，表明不同的心理偏好，人们如何看待世界和决策）通过系统的丰富的文本表示，基于域的区域，根据三种类型的分析生成的功能：情感，语法和方面。实验有一个强大的堆叠模型基线，通过网格搜索提前优化超参数，逐步反馈，对于MBTI的四个分类器（二分法）中的每一个。结果表明，对数据迭代循环的关注集中在质量，解释力和代表性上，以便为所研究的现象提取更相关/重要的资源，这使得有可能比复杂的模型（如LSTM或最先进的模型，如BERT）更快地改进评估指标结果，并且成本更低，以及通过从各种角度进行比较来确定这些结果的重要性。此外，该研究还展示了任务的演变和深化的广泛范围，以及更大程度地扩展人格类型抽象的可能方法。
2021-05-25 cs.AI cs.CL cs.LG
