Automated Educational Question Generation at Different Bloom's Skill Levels using Large Language Models: Strategies and Evaluation
Indian Institute of Science（印度科学学院）；VIT-AP University（VIT-AP大学）
本研究考察了五种不同规模的最先进大型语言模型结合高级提示技术，生成不同布鲁姆认知水平教育问题的能力，发现LLMs在信息充足时能生成高质量问题，但模型间性能差异显著且自动评估不及人工评估。
2024-08-08 cs.AI cs.CL
MIRROR: A Novel Approach for the Automated Evaluation of Open-Ended Question Generation
IIT Kharagpur（印度理工学院克勒格布尔分校）
本文提出MIRROR系统，利用大型语言模型自动评估开放式问题生成质量，通过反馈迭代提升评分与人类评估一致性，显著改善相关性和适当性。
2025-03-25 cs.AI cs.CL
A-SEA3L-QA: A Fully Automated Self-Evolving, Adversarial Workflow for Arabic Long-Context Question-Answer Generation
Humain
本研究提出面向阿拉伯语长上下文问答生成的全自动自进化对抗工作流A-SEA3L-QA，通过多LVLM闭环迭代优化，支持可控难度问题生成，发布大规模基准AraLongBench，显著提升阿拉伯语LVLM长上下文理解能力，还构建了文档自动收集工作流。
2025-09-02 cs.AI cs.CL
Modeling Worlds in Text
Georgia Institute of Technology（佐治亚理工学院）
我们提供了一个数据集，使学习代理的创建，可以建立基于知识图谱的世界模型的互动叙事。交互式叙事-或文本冒险游戏-是部分可观察的环境，结构为长的谜题或任务，其中智能体纯粹通过文本自然语言感知世界并与世界互动。每个单独的游戏通常包含数百个地点、角色和对象--每个都有自己独特的描述--提供了一个机会来研究为基于语言的代理提供在这样的世界中操作所需的结构化内存的问题。我们的数据集提供了丰富的自然语言观察与以下内容之间的24198个映射：（1）以地图形式反映世界状态的知识图谱;（2）保证引起特定世界状态变化的自然语言动作。训练数据是在多种类型的27场比赛中收集的，并且包含测试集中9场额外比赛的另外7836个保持实例。我们进一步提供基线模型，使用基于规则的，问答和序列学习方法，除了数据和相应的学习任务的分析。
2021-06-17 cs.AI cs.CL
The Future of Learning in the Age of Generative AI: Automated Question Generation and Assessment with Large Language Models
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本章探讨大型语言模型在自动问题生成与答案评估中的变革潜力，评估零样本和思维链等提示技术及微调方法，展示其在简化教育流程中取代人工评估的能力。
2024-10-12 cs.AI cs.CL
An Automated Multiple-Choice Question Generation Using Natural Language Processing Techniques
Nnamdi Azikiwe University（纳姆迪·阿齐基韦大学）
选择题自动生成是自然语言处理中一个重要而又具有挑战性的课题。它是从文本数据自动生成正确和相关问题的任务。尽管它的有用性，手动创建相当大的，有意义的和相关的问题是一个耗时和具有挑战性的任务，教师。本文提出了一个基于自然语言处理技术的计算机辅助考试（CBTE）自动阅卷系统，该系统利用自然语言处理技术抽取出教材中的关键词。为了验证该系统是不是反常的，五个教训的材料被用来检查系统的有效性和效率。将教师手工提取的关键词与自动生成的关键词进行比较，结果表明，该系统能够从教材中提取关键词设置考试题。这一结果以用户友好的界面呈现，便于查阅。
2021-03-26 cs.AI cs.CL
Semantically Aligned Question and Code Generation for Automated Insight Generation
Microsoft（微软公司）
本文提出利用大语言模型同时生成数据问题与对应代码，并通过嵌入过滤语义未对齐的问题-代码对，从而提升自动洞察生成的准确性与问题多样性。
2024-03-21 cs.AI cs.CL cs.SE
Automated Story Generation as Question-Answering
基于神经语言模型的自动故事生成方法受到两个重要限制。首先，基于语言模型的故事生成器通常不朝着给定的目标或结局工作。第二，随着故事越来越长，它们往往失去连贯性。我们提出了一种新的方法来自动生成的故事，把问题作为一个生成的问答。我们提出的故事生成系统从封装故事的最终事件的句子开始。然后，系统迭代地（1）分析描述最近事件的文本，（2）生成关于“为什么”角色正在做他们在事件中正在做的事情的问题，并且然后（3）尝试生成回答该问题的另一个先前事件。
2021-12-07 cs.CL
Subjective Question Generation and Answer Evaluation using NLP
School of Data and Sciences（数据与科学学院）；Brac University（布拉大学）
本研究旨在通过改进NLP模型实现从文本输入中自动进行主观问题生成和答案评估，以帮助教师评估学生学习成果并提升学习体验。
2025-12-19 cs.AI cs.CL
GenQ: Automated Question Generation to Support Caregivers While Reading Stories with Children
University of Pittsburgh（匹兹堡大学）；Ball State University（鲍尔州立大学）；Arizona State University（亚利桑那州立大学）
GenQ通过众包拉丁裔照护者与其他人群的提问数据，分析文化与情境因素对提问的影响，并自动提取模板生成开放式问题，以支持儿童共读中的智能辅导。
2023-09-25 cs.AI cs.CL cs.HC
Automated Generation of Curriculum-Aligned Multiple-Choice Questions for Malaysian Secondary Mathematics Using Generative AI
Fakulti Komputeran dan Meta-Teknologi (META), Universiti Pendidikan Sultan Idris（计算机与元技术学院（META），苏丹依德里斯教育大学）
本文提出并比较四种基于GPT-4o的流水线，用于生成马来语初一数学选择题，采用RAG方法显著提升课程对齐与事实准确性，并引入RAG-QA评估技术。
2025-08-06 cs.AI cs.CL
LLM Evaluation Based on Aerospace Manufacturing Expertise: Automated Generation and Multi-Model Question Answering
Chengdu Aircraft Industrial (Group) Co., Ltd.（成都飞机工业（集团）有限责任公司）；School of Computer Science, Beihang University（北京航空航天大学计算机学院）
本文针对大型语言模型在航空航天制造领域易产生幻觉的问题，基于经典教材提取关键信息并自动生成多选题，通过多模型问答实验评估其准确性，发现现有模型专业能力亟待提高，为该领域应用提供了理论与实践指导。
2025-02-01 cs.AI cs.CL
Automated Question Generation on Tabular Data for Conversational Data Exploration
IBM Research（IBM研究院）
针对非技术用户难以从表格数据中获取洞察的问题，提出一个在对话式环境中基于数据切片推荐自然语言问题的系统，利用微调T5生成问题并排序，实验证明其有效性。
2024-07-10 cs.AI cs.CL
Bench4KE: Benchmarking Automated Competency Question Generation
University of Bologna, Bologna, Italy（博洛尼亚大学）；CNR - Institute of Cognitive Sciences and Technologies（意大利认知科学与技术研究院）；University of Pisa, Pisa, Italy（比萨大学）
Bench4KE是一个用于评估自动能力问题生成工具的基准测试系统，通过标准化评估和比较不同LLM驱动的CQ生成系统，推动KE自动化研究。
2025-12-09 cs.AI cs.CL
Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions
Carnegie Mellon University（卡内基梅隆大学）
本研究利用GPT-4为高等教育多选题自动生成知识组件，并通过专家评估和聚类算法验证了LLM生成的KCs在准确率和偏好上优于人工，推进了评估项目KCs生成与分类的自动化。
2024-05-30 cs.AI cs.CL
QUIS: Question-guided Insights Generation for Automated Exploratory Data Analysis
IBM Research, India（IBM研究院印度分部）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
QUIS 提出一种两阶段全自动探索性数据分析方法，通过迭代问题生成引导洞察生成，无需人工预设目标或重新训练即可适应新数据集。
2024-10-21 cs.AI cs.CL cs.DB
Focusing on Students, not Machines: Grounded Question Generation and Automated Answer Grading
Zurich University of Applied Sciences（苏黎世应用科学大学）
本研究针对教育中开放式题目命制与评分繁琐的问题，提出带视觉布局的文档分块方法以提升RAG等任务效果，构建了短答案自动评分基准，验证了LLMs可用于该任务且参数越大性能越好，但仍需人工监督。
2025-06-02 cs.CL
Automated Regulatory Compliance Question Answering in Financial Services with Domain-Adapted Retrieval-Augmented Generation
University of Bonn（波恩大学）；Lamarr-Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）；Universitat Rovira i Virgili（罗维拉-维尔吉利大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析和信息系统研究所）
本研究针对金融合规问答中紧凑模型幻觉问题，提出基于LegalBERT的三阶段检索器与RAFT-LoRA生成器的领域自适应RAG流水线，在ObliQA上显著提升检索与答案质量，但发现生成增益未证明接地性且跨域迁移受限。
2026-09-25 cs.AI cs.CL
Automated Benchmark Generation from Domain Guidelines Informed by Bloom's Taxonomy
University of Notre Dame, USA（诺丁汉大学）
基于布卢姆分类法的自动基准生成框架，通过专家指南生成多选题和对话，评估模型在实践领域中的上下文推理能力。
2026-01-28 cs.AI cs.CL
Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Eedi
本文研究利用大型语言模型和上下文学习自动生成数学多选题的干扰项与反馈消息，并提出生成式 AI 评估指标，通过真实数据集实验揭示了该任务的改进空间与未来方向。
2024-01-11 cs.CL
Automated Generation of Challenging Multiple-Choice Questions for Vision Language Model Evaluation
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；MIT（麻省理工学院）
本文提出智能体框架AutoConverter，将开放式VQA问题自动转换为多项选择题，并构建包含9,018道题的VMCBench基准，用于对33个视觉语言模型进行可扩展且可复现的客观评估。
2025-04-09 cs.AI cs.CL cs.CV
Exploring Automated Distractor Generation for Math Multiple-choice Questions via Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Eedi；Stanford University（斯坦福大学）；Kitco Design
本研究探索利用大型语言模型自动生成数学选择题干扰项，比较上下文学习与微调等方法，发现模型虽能生成有效干扰项，但难以预测学生常见错误。
2024-04-18 cs.CL
Leveraging In-Context Learning and Retrieval-Augmented Generation for Automatic Question Generation in Educational Domains
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）
本研究提出结合上下文学习（ICL）与检索增强生成（RAG）的混合模型，利用GPT-4和BART在教育领域自动生成更符合上下文且教学法合理的问题，实验证明ICL与混合模型优于基线方法。
2025-01-29 cs.CL
Quiz Design Task: Helping Teachers Create Quizzes with Automated Question Generation
Salesforce AI Research（赛富时人工智能研究院）
问题生成（QGen）模型通常使用基于n-gram重叠的标准化NLG指标进行评估。在本文中，我们衡量这些指标的改进是否转化为实际环境中的收益，重点是帮助教师自动生成阅读理解测验的用例。在我们的研究中，教师建立一个测验收到的问题建议，他们可以接受或拒绝的理由。尽管我们发现QGen的最新进展导致问题接受率显着提高，但仍有很大的改进空间，最好的模型只有68.4%的问题被参与我们研究的十位教师接受。然后，我们利用我们收集的注释来分析标准的NLG指标，发现模型性能已经达到了预期的上限，这表明需要新的自动指标来指导QGen研究。
2022-05-03 cs.CL cs.HC
Automated Utterance Generation
University of Pennsylvania（宾夕法尼亚大学）；Passage AI
对话式人工智能助理越来越受欢迎，问答是任何对话式助理的重要组成部分。使用相关的话语作为特征的问答已被证明可以提高准确率和召回率，用于检索正确的答案由会话助理。因此，话语生成已经成为一个重要的问题，其目标是从由标题和描述组成的知识库文章中生成相关的话语（句子或短语）。然而，生成好的话语通常需要大量的手动工作，从而产生了对自动话语生成的需求。在本文中，我们提出了一个话语生成系统，1）使用提取摘要提取重要的句子的描述，2）使用多种释义技术，以产生一个不同的标题和摘要句的释义集，和3）选择好的候选释义的帮助下，一个新的候选选择算法。
2020-04-08 cs.AI cs.CL cs.LG
Framework for Question-Answering in Sanskrit through Automated Construction of Knowledge Graphs
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出一个自动构建知识图谱的梵语问答框架，在摩诃婆罗多、罗摩衍那及阿育吠陀文本上实现实例，能正确回答约50%的事实性问题，并分析了系统不足与改进方向。
2023-10-11 cs.CL
Automated Question Generation for Science Tests in Arabic Language Using NLP Techniques
Arab American University（阿拉伯美国大学）；Columbia University（哥伦比亚大学）；CARRS-Q, Queensland University of Technology（昆士兰科技大学交通事故与道路安全研究中心）
针对阿拉伯语试题自动生成中的解析、命名实体识别和规则转换错误，本文提出关键词提取、问题生成与排序三阶段框架，并取得精确率83.50%、F1分数80.95%及人工均分84%。
2024-06-11 cs.CL cs.CY
Reflecting in the Reflection: Integrating a Socratic Questioning Framework into Automated AI-Based Question Generation
Czech Technical University in Prague（捷克技术大学）
本文提出一种基于苏格拉底质疑框架的双代理模型，通过多轮对话生成高质量反思问题，提升教学效果。
2026-01-21 cs.CL cs.CY cs.LG
LLM-Rubric: A Multidimensional, Calibrated Approach to Automated Evaluation of Natural Language Texts
Microsoft（微软）
本文提出LLM-Rubric框架，通过训练小型前馈神经网络校准多个LLM对评分标准问题的回答分布，以预测人类评判者的多维标注，在对话系统评估中将用户满意度预测误差降至0.5以下，较未校准基线提升2倍。
2024-12-31 cs.CL
Automating question generation from educational text
Merlyn Mind Inc.（梅林思维公司）
针对教师设计QBAs的负担，本文提出基于transformer语言模型的模块化MCQ自动生成框架，并通过教师调查及多模型定量与定性评估验证其效用与权衡。
2023-09-26 cs.AI cs.CL cs.LG
Automated Answer Validation using Text Similarity
IBM Research India（IBM印度研究院）；Tata Consultancy Services（塔塔咨询服务公司）
本文面向自动化答案验证，实现 Siamese neural network 监督模型，提出泛化的文本相似度方案，并与同类方法比较。
2024-01-13 cs.CL cs.IR
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation
AWS AI Labs（亚马逊云科技人工智能实验室）
提出基于任务特定考试生成的RAG自动化评估方法，利用IRT优化考试，发现检索算法选择比模型规模更影响性能。
2024-05-22 cs.CL cs.IR
Automated CVE Analysis: Harnessing Machine Learning In Designing Question-Answering Models For Cybersecurity Information Extraction
Colorado State University（科罗拉多州立大学）
本文针对网络安全非结构化文本信息抽取的挑战，构建了特定领域的问答数据集并训练了机器学习模型，为自动化构建网络安全知识图谱提供了关键支撑。
2024-12-21 cs.CL cs.CR cs.LG
A Lightweight Method to Generate Unanswerable Questions in English
Saarland University（萨尔兰大学）
本文提出一种无需训练的轻量级数据增强方法，通过对可回答问题进行反义词和实体替换生成不可回答问题，在 SQuAD 2.0 和 TydiQA-MinSpan 上以 BERT-large 分别提升 1.6 和 9.3 个 F1 点，证明简单替换即可作为强基线。
2023-10-30 cs.CL
DoGMaTiQ: Automated Generation of Question-and-Answer Nuggets for Report Evaluation
Google Inc.（谷歌公司）；Johns Hopkins University（约翰霍普金斯大学）；University of Maryland（马里兰大学）；Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）；University of New Hampshire（新罕布什尔大学）
提出DoGMaTiQ流水线，通过文档锚定生成、释义聚类和基于质量准则的子选择三步自动生成高质量QA片段，实现报告的全自动评估，在跨语言任务中与人工判断高度相关。
2026-06-23 cs.CL cs.IR
