ExplanationLP: Abductive Reasoning for Explainable Science Question Answering
University of Manchester（曼彻斯特大学）；Department of Computer Science（计算机科学系）
我们提出了一种新的方法来回答和解释多项选择科学问题的推理接地和抽象推理链。本文将问答问题归结为一个溯因推理问题，为每个选择构建合理的解释，然后选择具有最佳解释的候选者作为最终答案。我们的系统，elementation LP，elementary解释，通过构建一个加权图的相关事实为每个候选答案，并提取满足一定的结构和语义约束的事实。为了提取解释，我们采用了线性规划形式主义，旨在选择最佳的子图。图的加权函数由一组参数组成，我们可以微调这些参数以优化答案选择性能。我们在WorldTree和ARC-Challenge语料库上进行实验，以实证证明以下结论：（1）接地抽象推理链提供语义控制，以执行可解释的溯因推理（2）通过在类似设置中优于当代可解释和基于变换器的方法，以较少数量的参数进行学习的效率和鲁棒性（3）通过在一般科学问题集上优于SOTA可解释方法来实现普遍性。
2020-10-25 cs.AI cs.CL cs.IR
BioTABQA: Instruction Learning for Biomedical Table Question Answering
Arizona State University（亚利桑那州立大学）
表格式问答是一项重要但尚未被充分研究的任务。大多数现有的QA数据集都是非结构化的文本格式，只有少数使用表格作为上下文。据我们所知，没有一个TQA数据集存在于生物医学领域，在生物医学领域中，表格经常用于呈现信息。在本文中，我们首先策划了一个表问答数据集，BioTABQA，使用22个模板和上下文从生物医学教科书上的鉴别诊断。BioTABQA不仅可以用来教模型如何回答表格中的问题，还可以评估模型如何推广到看不见的问题，这是生物医学应用的一个重要场景。为了实现泛化评估，我们将模板分为17个训练和5个跨任务评估。然后，我们在BioTABQA上使用单任务和多任务学习开发了两个基线。此外，我们探讨了教学学习，最近的技术表现出令人印象深刻的概括性能。实验结果表明，在各种评估设置中，我们的预防调整模型的平均性能优于单任务和多任务基线约23%和约6%，更重要的是，预防调整模型在跨任务上优于基线约5%。
2022-07-06 cs.AI cs.CL cs.LG
Science Checker: Extractive-Boolean Question Answering For Scientific Fact Checking
Opscidia（Opscidia公司）
随着科学出版物的爆炸式增长，使科学知识的综合和事实核查成为一项日益复杂的任务。在本文中，我们提出了一个多任务的方法来验证科学问题的基础上，联合推理的事实和证据的研究文章。我们提出了一个智能的组合（1）一个自动的信息摘要和（2）一个布尔问答，它允许生成一个答案的科学问题，从总结后获得的提取。因此，在给定的主题上，我们提出的方法基于论文摘要进行结构化内容建模，以回答科学问题，同时突出显示讨论该主题的论文中的文本。我们的最终系统基于端到端的提取问答（EQA），结合三个输出分类模型，对问题进行深入的语义理解，以说明多个响应的聚合。通过我们提出的轻巧快速的架构，我们实现了4%的平均出错率和95.6%的F1分数。我们的研究结果支持通过实验与两个QA模型（BERT，RoBERTa）超过300万开放获取（OA）的文章在医疗和健康领域的欧洲PMC。
2022-04-29 cs.AI cs.CL cs.IR
SciQAG: A Framework for Auto-Generated Science Question Answering Dataset with Fine-grained Evaluation
GreenDynamics Pty. Ltd（格林动力私人有限公司）；City University of Hong Kong（香港城市大学）；University of Chicago（芝加哥大学）；University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）
本研究提出基于大语言模型的科学问答自动生成框架SciQAG，构建了含18万余条问答对的多领域数据集与SciQAG-24D基准，验证了微调后模型的性能提升，并开源相关资源。
2024-07-10 cs.AI cs.CL
Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering
University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Arizona State University（亚利桑那州立大学）
在回答问题时，人类利用不同模态的可用信息来合成一致且完整的思维链（CoT）。对于大规模语言模型等深度学习模型，这个过程通常是一个黑盒。最近，科学问题基准已被用于诊断人工智能系统的多跳推理能力和可解释性。然而，现有的数据集无法为答案提供注释，或者仅限于文本模态，小尺度和有限的域多样性。为此，我们提出了科学问答（ScienceQA），一个新的基准，由~21k多模态多项选择题与一组不同的科学主题和注释的答案与相应的讲座和解释。我们进一步设计语言模型来学习生成讲座和解释作为思维链（CoT）来模拟回答ScienceQA问题时的多跳推理过程。ScienceQA证明了CoT在语言模型中的实用性，因为CoT在Few-Shot GPT-3中将问题回答性能提高了1.20%，在微调的UnifiedQA中提高了3.99%。我们还探索了模型的上限，以通过在输入中提供解释来利用解释;我们观察到它将GPT-3的Few-Shot性能提高了18.96%。我们的分析进一步表明，与人类类似，语言模型受益于解释，可以从更少的数据中学习，并仅用40%的数据实现相同的性能。数据和代码可在www.example.com上获得。
2022-10-17 cs.AI cs.CL cs.CV
Encoding Explanatory Knowledge for Zero-shot Science Question Answering
University of Manchester（曼彻斯特大学）；Cancer Research UK Manchester Institute（英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap研究所）
本文介绍了N-XKT（基于解释性知识转移的神经编码），一种通过神经编码机制自动转移解释性知识的新方法。我们证明了N-XKT能够提高科学问答（QA）的准确性和概括性。具体而言，通过利用来自背景解释性知识语料库的事实，N-XKT模型显示出对zero-shot QA的明显改进。此外，我们还证明了N-XKT可以在目标QA数据集上进行微调，从而实现更快的收敛和更准确的结果。通过系统分析，定量分析了N-XKT模型的性能以及不同知识类别对zero-shot泛化任务的影响。
2021-05-19 cs.CL cs.LG
YTCommentQA: Video Question Answerability in Instructional Videos
LG AI Research（LG AI研究院）
针对现有视频问答模型未考虑真实用户问题可能超出视频信息边界的问题，研究者提出包含YouTube自然生成问题、按可回答性及所需模态分类的YTCommentQA数据集，实验验证了其复杂性及多模态协同理解的重要性。
2024-01-30 cs.AI cs.CV
Challenge Closed-book Science Exam: A Meta-learning Based Question Answering System
Lenovo Research（联想研究院）
标准化科学考试中的先前工作需要来自大型文本语料库的支持，例如来自Wikipedia或SimpleWikipedia的目标科学语料库。然而，从大型语料库中检索知识是耗时的，并且嵌入在复杂语义表示中的问题可能会干扰检索。受认知科学中的双重加工理论的启发，我们提出了一个元问答框架，其中系统1是一个直观的元分类器，系统2是一个推理模块。具体而言，该方法基于元学习方法和大语言模型BERT，能够在不依赖于外部知识库的情况下，通过从相关示例问题中学习，有效地解决科学问题。我们评估我们的方法在AI 2推理挑战（ARC），实验结果表明，元分类器产生相当大的分类性能新兴的问题类型。元分类器提供的信息显著提高了推理模块的准确率，从46.6%提高到64.2%，这与基于检索的QA方法相比具有竞争优势。
2020-04-26 cs.AI cs.CL
EXAMS: A Multi-Subject High School Examinations Dataset for Cross-Lingual and Multilingual Question Answering
Sofia University “St. Kliment Ohridski”（索非亚大学“圣克里门特·奥赫里德斯基”）；Heidelberg University（海德堡大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们提出了EXAMS --一个新的高中考试跨语言和多语言问答的基准数据集。我们收集了16种语言的24，000多道高质量高中考试题，涵盖8个语系和24个自然科学和社会科学等学科。EXAMS提供了一个跨多种语言和学科的细粒度评估框架，可以对各种模型进行精确的分析和比较。我们使用现有的性能最好的多语言预训练模型进行了各种实验，我们表明EXAMS提供了多个挑战，需要多个领域的多语言知识和推理。我们希望EXAMS将使研究人员能够探索具有挑战性的推理和知识转移方法，以及用于各种语言的学校问答的预训练模型，这在以前是不可能的。数据、代码、预训练模型和评估可在https://github.com/mhardalov/exams-qa上获得。
2020-11-05 cs.AI cs.CL cs.IR
WorldTree: A Corpus of Explanation Graphs for Elementary Science Questions supporting Multi-Hop Inference
University of Arizona（亚利桑那大学）
开发自动推理方法，能够为用户提供令人信服的人类可读的理由，说明为什么问题的答案是正确的，这对于科学和医学等领域至关重要，在这些领域，用户信任和检测代价高昂的错误是采用的限制因素。在可解释推理任务上训练问答模型的主要障碍之一是缺乏黄金解释作为训练数据。在本文中，我们提出了一个语料库的解释标准化科学考试，最近的挑战性任务问答。我们手动构建了几乎所有公开的标准化基础科学问题（大约1，680个三年级到五年级的问题）的详细解释的语料库，并将其表示为“解释图”-词汇重叠的句子集，描述如何通过领域和世界知识的组合来获得问题的正确答案。我们还提供了一个以解释为中心的表库，一个包含构建这些基本科学解释的知识的半结构化表的集合。这两个知识资源一起映射出回答和解释小学科学考试所需的知识的相当大的一部分，并为可解释的推理任务提供结构化和自由文本训练数据。
2018-02-08 cs.AI cs.CL cs.IR
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents
University of Science and Technology of China（中国科学技术大学）
本文提出指令性文档对话式问答基准 InsCoQA 及 LLM 辅助评估器 InsEval，用于评测大型语言模型在多文档中检索、解释和总结分步指导的能力。
2024-10-01 cs.CL
Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering
Shandong University（山东大学）；University of Electronic Science and Technology of China（电子科技大学）；Leiden University（莱顿大学）
针对多跳问答中检索增强生成范式受检索器和文档噪声限制的问题，提出GenGround框架，通过交替生成单跳答案与文档落地修正的方式协同参数化知识与外部文档，还提出指令落地蒸馏适配小模型，在四个数据集上表现更优。
2024-09-16 cs.CL cs.IR
A Survey of Question Answering for Math and Science Problem
Indian Institute of Technology, Delhi（印度理工学院德里分校）
图灵测试一直被认为是衡量人工智能的标准。但随着人工智能的进步，它已被证明是不够的措施。我们现在可以像测量人类智能一样测量机器智能。标准化数学和科学测试是一种被广泛接受的智力测量方法。在本文中，我们将探讨我们在实现使机器足够智能以通过标准化测试的目标方面所取得的进展。我们看到了该领域带来的挑战和机遇，并注意到我们距离真正让一个系统像一个中学学者一样聪明还有很长的路要走。
2017-05-10 cs.AI
Answering Science Exam Questions Using Query Rewriting with Background Knowledge
IBM Research（IBM研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tulane University（杜兰大学）
开放域问答（QA）是人工智能和自然语言处理中的一个重要问题，它是人工智能方法和技术推广进展的领头羊。开放领域问答系统的许多进展是通过信息检索方法和语料库建设的进步实现的。在本文中，我们专注于最近推出的ARC挑战数据集，其中包含2，590个为小学科学考试编写的多项选择题。这些问题被选为当前QA系统最具挑战性的问题，并且当前最先进的性能仅略优于随机机会。我们提出了一个系统，重写一个给定的问题到查询，用于检索支持文本从一个大的语料库的科学相关的文本。我们的重写器能够结合来自ConceptNet的背景知识，并且-与在SciTail上训练的通用文本蕴涵系统一起识别检索结果中的支持-在端到端QA任务上优于几个强大的基线，尽管只接受了识别原始源问题中的基本术语的训练。我们使用一个可推广的决策方法，检索到的证据和答案候选人，以选择最佳答案。通过结合查询重写，背景知识和文本蕴涵，我们的系统能够超越ARC数据集上的几个强基线。
2019-04-06 cs.AI cs.CL
Exploiting Reasoning Chains for Multi-hop Science Question Answering
The Chinese University of Hong Kong（香港中文大学）
我们提出了一种新的链引导检索器-阅读器（{ \tt CGR}）框架来建模多跳科学问答的推理链。我们的框架能够执行可解释的推理，而不需要任何特定于语料库的注释，如地面实况推理链，或人类注释的实体提及。具体来说，我们首先从检索到的证据事实的抽象意义表示构造的语义图生成推理链。一个\textit{Chain-aware loss}，涉及本地和全球链信息，也被设计成使生成的链作为远程监督信号，用于训练检索器，其中强化学习也被采用，以最大限度地提高推理链的效用。我们的框架允许检索器捕获一步一步的线索，整个推理过程中，这不仅是有效的两个具有挑战性的多跳科学QA任务，即OpenBookQA和ARC挑战，但也有利于解释。
2021-09-07 cs.CL
SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question Answering over a Life Science Knowledge Graph
Department of Ecology and Evolution, University of Lausanne, Switzerland（生态与进化系，洛桑大学，瑞士）；SIB Swiss Institute of Bioinformatics, Lausanne, Switzerland（瑞士生物信息学研究所，洛桑，瑞士）
针对特定领域知识图谱问答任务中问题转SPARQL查询训练数据稀缺的问题，本研究提出端到端数据增强方法并评估OpenLlama微调策略，结合语义线索（如有意义变量名）在Bgee图谱上使性能提升33%。
2024-02-07 cs.AI cs.CL cs.DB
Can Multimodal LLMs See Science Instruction? Benchmarking Pedagogical Reasoning in K-12 Classroom Videos
Department of Computer Science, Drexel University（德雷塞尔大学计算机科学系）；Department of Teaching and Learning, Washington State University（华盛顿州立大学教学与学习系）；College of Chemistry, Beijing Normal University（北京师范大学化学学院）；Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
本文提出SciIBI视频基准，用于分析科学课堂讨论，评估多模态模型在教学推理中的表现，发现模型在区分教学实践时存在局限，需更深入的推理。
2026-03-17 cs.AI cs.CV cs.CY
Markov Logic Networks for Natural Language Question Answering
我们的目标是使用从科学教科书中自动提取的知识来回答初级科学问题，这些知识以一阶逻辑的子集表示。考虑到这些自动提取的规则的不完整性和噪声性，马尔可夫逻辑网络（MLN）似乎是一个自然的模型，但利用MLN的确切方法并不明显。我们研究了三种方法应用MLN到我们的任务。在第一种方法中，我们简单地使用提取的科学规则直接作为MLN子句。与典型的MLN应用程序不同，我们的域具有漫长而复杂的规则，导致无法管理的接地数量。我们利用硬约束中存在的结构来提高易处理性，但该公式仍然无效。在第二种方法中，我们将科学规则解释为描述原型实体，从而将规则直接映射到接地MLN断言，然后使用现有的实体解析方法对其常量进行聚类。这大大简化了网络，但仍然存在脆性。最后，我们的第三种方法，称为Praline，使用MLN来对齐词汇元素，并定义和控制在此任务中应如何执行推理。我们的实验，展示了15\%的准确率提升和10倍的运行时间减少，表明Praline的灵活性和不同的推理语义是一个更好的适合自然语言问答任务。
2015-07-10 cs.AI cs.CL
MoDA: Modulation Adapter for Fine-Grained Visual Grounding in Instructional MLLMs
University of California, Berkeley（加州大学伯克利分校）
提出MoDA调制适配器，通过指令引导的通道级乘法调制增强细粒度视觉定位，在12个基准上对三种MLLM架构取得一致提升，计算开销极小。
2026-06-05 cs.AI cs.CV cs.LG
Multi-hop Inference for Sentence-level TextGraphs: How Challenging is Meaningfully Combining Information for Science Question Answering?
School of Information, University of Arizona（亚利桑那大学信息学院）
复杂问题的问答通常被建模为图构造或遍历任务，其中求解器必须构建或遍历回答和解释给定问题的事实的图。这种“多跳”推理已被证明是极具挑战性的，很少有模型能够在被“语义漂移”或长链事实迅速偏离主题的趋势所淹没之前聚合两个以上的事实。这是当前推理模型的一个主要障碍，因为即使是基本的科学问题也需要平均4到6个事实来回答和解释。在这项工作中，我们经验性地描述了构建或遍历由词汇重叠连接的句子图的难度，通过评估机会句子聚合质量，通过从三个自由文本语料库（包括学习指南和简单维基百科）构建的知识图谱中的9,784个手动注释的判断。我们证明语义漂移往往是高和聚合质量低，在0.04%和3%之间，并突出的情况下，最大限度地有意义地结合信息的可能性。
2018-05-29 cs.CL
MoCA: Incorporating Multi-stage Domain Pretraining and Cross-guided Multimodal Attention for Textbook Question Answering
教科书问答（TQA）是一个复杂的多模态任务，以推断答案给定的大型上下文描述和丰富的图表。与可视化问答（VQA）相比，TQA包含了大量的非常用术语和各种图表输入。这对语言模型的跨领域表示能力提出了新的挑战。它也将多模态融合推向了一个更复杂的层次。为了解决上述问题，我们提出了一种名为MoCA的新模型，它结合了多阶段领域预训练和多模态交叉注意的TQA任务。首先，我们引入了一个多阶段的领域预训练模块进行无监督的后预训练与跨度掩模策略和监督预微调。特别是领域后预训练，我们提出了一个启发式生成算法，采用术语语料库。其次，为了充分考虑上下文和图表的丰富输入，我们提出了交叉引导的多模态注意，以更新文本，问题图和教学图的特征的基础上的渐进策略。此外，采用双选通机制来改善模型集成。实验结果表明，我们的模型的优越性，它优于国家的最先进的方法分别为2.21%和2.43%的验证和测试分裂。
2021-12-06 cs.AI cs.MM
Türkçe Dil Modellerinin Performans Karşılaştırması Performance Comparison of Turkish Language Models
Yildiz Technical University（伊尔德兹理工大学）；Cosmos AI Research Group（宇宙人工智能研究集团）
本研究针对土耳其语缺乏开源语言模型性能全面比较的问题，基于上下文学习和问答能力对七个模型进行自动与人工评估，发现微调前继续预训练能更好适应土耳其语，且上下文学习与问答性能关联不大。
2024-04-25 cs.AI cs.CL
Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了一个新的问题集，文本语料库和基线组装，以鼓励在先进的问答人工智能研究。这些共同构成了AI 2推理挑战（ARC），它需要比SQuAD或SNLI等以前的挑战更强大的知识和推理。ARC问题集被划分为挑战集和简单集，其中挑战集仅包含由基于检索的算法和词共现算法错误回答的问题。该数据集只包含自然的、小学的科学问题（为人类测试而编写），是此类公共领域中最大的集合（7，787个问题）。我们在挑战集上测试了几个基线，包括SQuAD和SNLI任务中的领先神经模型，发现没有一个能够显著优于随机基线，反映了这项任务的困难性质。我们还发布了ARC语料库，这是一个与任务相关的1400万个科学句子的语料库，以及测试的三个神经基线模型的实现。你的模型能做得更好吗？我们将ARC视为对社区的挑战。
2018-03-14 cs.AI cs.CL cs.IR
Comparing the Performance of LLMs in RAG-based Question-Answering: A Case Study in Computer Science Literature
University of Moratuwa（穆塔瓦大学）
本研究比较了四个开源LLM与GPT-3.5在RAG支持下于计算机科学文献问答任务中的表现，发现GPT-3.5和Mistral-7b-instruct表现最佳，同时分析了各模型在准确率、排名和延迟上的差异，证明开源LLM可与专有模型竞争。
2025-11-05 cs.AI cs.CL
Leveraging Term Banks for Answering Complex Questions: A Case for Sparse Vectors
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
虽然开放域问答（QA）系统已被证明对回答简单问题是有效的，但它们难以处理更复杂的问题。我们的目标是可靠地回答更复杂的问题，而不会在支持QA的知识资源建设方面产生重大成本。一个现成的知识资源是术语库，列举了一个领域中的关键概念。我们开发了一种无监督学习方法，利用术语库来指导QA系统，通过用数千个专门的向量空间表示术语知识。在复杂的科学问题的实验中，我们表明，这种方法显着优于几个国家的最先进的QA系统，表明显着的杠杆作用，可以从连续的向量表示领域术语。
2017-04-11 cs.CL cs.IR cs.LG
ConvoLearn: A Learning Sciences Grounded Dataset for Fine-Tuning Dialogic AI Tutors
Stanford University（斯坦福大学）
ConvoLearn通过六个对话教学维度构建了2134个半合成对话数据集，展示了基于知识建构理论的对话教学信号，证明了其在真实课堂中的有效性。
2026-04-09 cs.AI cs.HC cs.LG
Question Answering via Integer Programming over Semi-Structured Knowledge
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for Artificial Intelligence (AI2)（艾伦人工智能研究所（AI2））
用自然语言表达科学问题是人工智能面临的一个重要挑战。回答这些问题通常需要非平凡的推理和超越事实检索的知识。然而，这项任务的大多数系统是基于相对较浅的信息检索（IR）和统计相关技术操作大型非结构化语料库。我们提出了一个结构化的推理系统，制定为一个线性规划（ILP），回答自然语言的问题，使用半结构化的知识库来自文本，包括需要多步推理和多个事实的组合的问题。在一个真实的、看不见的科学问题的数据集上，我们的系统显著优于（+14%）之前使用马尔可夫逻辑网络（MLN）进行结构化推理的最佳尝试。它也比以前的ILP配方提高了17.7%。当与非结构化推理方法相结合时，ILP系统显着提高了整体性能（+10%）。最后，我们表明，我们的方法是一个简单的答案扰动相比，统计相关性方法更强大。
2016-04-20 cs.AI cs.CL
Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering
The Chinese University of Hong Kong（香港中文大学）
知识检索和推理是网络环境下多跳问答的两个关键阶段。现有的方法在检索证据事实以填补知识空白时置信度低，并且缺乏透明的推理过程。在本文中，我们提出了一个新的框架，利用更多的有效事实，同时获得可解释性的多跳QA通过动态构建一个语义图和推理。我们采用抽象意义表示（AMR）的语义图表示。我们的框架包含三个新的想法：（a）{ \tt AMR-SG}，一个基于AMR的语义图，由候选事实AMR构建，以揭示问题，答案和多个事实之间的任何跳跃关系。(b)一种新的基于路径的事实分析方法，利用{ \tt AMR-SG}从大型事实池中提取活动事实以回答问题。(c)事实级关系建模利用图卷积网络（GCN）来指导推理过程。两个科学多跳QA数据集的结果表明，我们可以超越最近的方法，包括使用额外的知识图谱，同时保持OpenBookQA的高可解释性，并在计算上可行的设置实现ARC挑战的最先进的新结果。
2021-05-25 cs.CL
Knowledge Graph Question Answering for Materials Science (KGQA4MAT): Developing Natural Language Interface for Metal-Organic Frameworks Knowledge Graph (MOF-KG) Using LLM
College of Computing and Informatics（计算与信息学院）；Drexel University（德雷塞尔大学）；University of Central Florida（中佛罗里达大学）；Colorado School of Mines（科罗拉多矿业学院）
本文构建了面向金属有机框架知识图谱的KGQA4MAT基准（含161个复杂问题及644个变体），并提出利用ChatGPT将自然语言问题转换为形式化知识图谱查询的方法，以加速材料发现。
2024-06-06 cs.AI
Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering
Singapore University of Technology and Design（新加坡科技设计大学）；University of Michigan（密歇根大学）
我们提出了一个简单的重构多选择问答（MCQA）任务作为一系列的二元分类。MCQA任务通常通过对所有对标准化的每个（问题，答案）对进行评分，然后从产生最高分数的对中选择答案来执行。对于n个答案选择，这相当于一个n类分类设置，其中只有一个类（正确答案）是正确的。相反，我们表明，将（问题，正确答案）分类为正面实例，将（问题，错误答案）分类为负面实例，在各种模型和数据集中显着更有效。我们在不同的任务--溯因推理，常识问答，科学问答和句子完成中展示了我们提出的方法的有效性。我们的DeBERTa二进制分类模型在这些任务的公共排行榜上达到或接近最高性能。所提出的方法的源代码可在https://github.com/declare-lab/TEAM上获得。
2022-10-29 cs.AI cs.CL cs.LG
PlantExpertVQA: A Visual Question Answering Dataset for Benchmarking Vision-Language Models in Plant Science
Department of Robotics and Mechatronics Engineering, University of Dhaka（达卡大学机器人与机电工程系）；Department of Botany, University of Dhaka（达卡大学植物学系）
PlantExpertVQA数据集旨在提升视觉语言模型在农业决策中的应用，包含765,186个高质量问答对，涵盖38种作物和89种病害，通过多阶段流程生成并经专家审核，验证了参数高效微调的有效性。
2026-06-27 cs.AI cs.CV cs.LG
ScienceWorld: Is your Agent Smarter than a 5th Grader?
University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
我们目前的ScienceWorld，一个基准测试代理的科学推理能力在一个新的交互式文本环境中的一个标准的小学科学课程的水平。尽管在问答和科学文本处理中看到了基于transformer的进步，但我们发现，当前的模型无法在新的背景下推理或解释所学的科学概念。例如，模型可以很容易地回答已知材料的导电性是什么，但当被问及如何在接地环境中进行实验以找到未知材料的导电性时，模型就很难回答了。这就引出了一个问题，即当前的模型是否只是通过查看大量类似的示例来检索答案，或者它们是否已经学会了以可重用的方式对概念进行推理。我们假设，代理需要接地在交互式环境中实现这样的推理能力。我们的实验提供了支持这一假设的经验证据--表明一个150万参数的交互式训练10万步的智能体，优于一个110亿参数的静态训练模型，用于科学问答和数百万专家演示的推理。
2022-11-14 cs.AI cs.CL
A doctrine-grounded visual question answering dataset for Tactical Combat Casualty Care
Duke University（杜克大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Korea Military Academy（韩国陆军军官学校）
针对战术战伤救护（TC3）场景，构建了基于教义的视觉问答数据集TC3-VQA，含581个项目、1860个问题，用于训练和评估视觉-语言模型的干预识别、教义回忆及弃权（不执行）能力。
2026-10-07 cs.AI cs.CL cs.CV
LLaMa-SciQ: An Educational Chatbot for Answering Science MCQ
EPFL（洛桑联邦理工学院）；The Wordsmiths
本文提出教育聊天机器人LLaMa-SciQ，通过微调LLaMa-8B并结合量化压缩技术，帮助大学生解答STEM领域的多项选择题，在GSM8k数据集上准确率达74.5%，且量化模型仅损失5%性能。
2024-09-25 cs.AI
Improving Retrieval-Based Question Answering with Deep Inference Models
University Politehnica of Bucharest（布加勒斯特理工大学）
问答是信息检索和自然语言处理的边缘领域中最重要也是最困难的应用之一，尤其是当我们谈论需要某种形式的推理来确定正确答案的复杂科学问题时。在本文中，我们提出了一种两步方法，该方法将针对问答优化的信息检索技术与用于自然语言推理的深度学习模型相结合，以解决科学领域中的多选择问答。对于每个问题-答案对，我们使用标准的基于检索的模型来找到相关的候选上下文，并将主要问题分解为两个不同的子问题。首先，使用Lucene的检索模型，根据上下文为每个候选答案分配正确性分数。其次，我们使用深度学习架构来计算候选答案是否可以从一些精心选择的上下文中推断出来，这些上下文由从知识库中检索到的句子组成。最后，所有这些求解器结合使用一个简单的神经网络来预测正确的答案。这个建议的两步模型比最好的基于检索的求解器的绝对精度超过3%。
2019-05-06 cs.CL
Question-Answering (QA) Model for a Personalized Learning Assistant for Arabic Language
Arab American University（阿拉伯美国大学）；Columbia University（哥伦比亚大学）；Queensland University of Technology（昆士兰科技大学）
本文构建并评估了一个基于阿拉伯语定制 BERT 的问答模型，通过巴勒斯坦高中生物教材微调，在科学教育问答中取得20% EM和51% F1，验证其辅助阿拉伯语学生学习的潜力。
2024-06-11 cs.CL cs.CY
Semantic Parsing to Probabilistic Programs for Situated Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
情境问答是回答有关环境（如图像或图表）的问题。这个问题需要使用背景知识来联合解释问题和环境以选择正确答案。我们提出了解析概率程序（P3），一种新的情景问答模型，可以使用背景知识和全球功能的问题/环境的解释，同时保留有效的近似推理。我们的主要见解是把语义解析作为概率程序，执行非确定性和其可能的执行代表环境的不确定性。我们在一个新的公开发布的5000个科学图表问题的数据集上评估了我们的方法，优于几个有竞争力的经典和神经基线。
2016-09-24 cs.CL
DBLP-QuAD: A Question Answering Dataset over the DBLP Scholarly Knowledge Graph
Universität Hamburg（汉堡大学）
在这项工作中，我们创建了一个问答数据集的DBLP学术知识图谱（KG）。DBLP是一个在线参考书目信息的主要计算机科学出版物，索引超过440万出版物出版的220多万作者。我们的数据集由10，000个问题答案对和相应的SPARQL查询组成，这些查询可以在DBLP KG上执行以获取正确的答案。DBLP-QuAD是最大的学术问答数据集。
2023-03-29 cs.CL cs.DL
Multimodal Commonsense Knowledge Distillation for Visual Question Answering
University of Melbourne（墨尔本大学）；University of Western Australia（西澳大学）
提出基于图的多模态常识知识蒸馏框架，通过GCN统一常识、视觉与问题，无需微调即可提升VQA常识问答性能。
2024-11-05 cs.AI cs.CL
YESciEval: Robust LLM-as-a-Judge for Scientific Question Answering
TIB Leibniz Information Centre for Science and Technology（蒂宾根科学与技术信息中心）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
本文提出开源框架YESciEval，结合细粒度评分标准评估与强化学习，缓解LLM评估者的乐观偏差，并发布多学科科学问答数据集，实现可扩展、零成本的鲁棒评估，支持AI对齐与科学探究。
2025-05-29 cs.AI cs.CL
AnalyticsGPT: An LLM Workflow for Scientometric Question Answering
Elsevier B.V.（埃塞尔弗斯有限公司）
AnalyticsGPT通过LLM实现科学度量问答，结合检索增强生成和代理概念，提升科学数据分析效率。
2026-02-10 cs.CL cs.DL
A Graph-Guided Reasoning Approach for Open-ended Commonsense Question Answering
Baidu Research（百度研究院）
最近，用于多项选择常识问答（QA）的端到端训练模型已经取得了可喜的成果。然而，这样的问答系统不能直接应用于不提供答案候选的真实世界场景中。因此，最近发布了一个新的开放式常识推理（OpenCSR）基准挑战集，其中包含没有任何预定义选择的自然科学问题。在OpenCSR挑战集中，许多问题需要隐式多跳推理，并且具有很大的决策空间，这反映了这项任务的困难性。OpenCSR的现有工作主要集中在改进检索过程，从文本知识库中提取相关的事实句子，将重要和重要的推理任务排除在外。在这项工作中，我们扩展的范围，包括一个推理机，构建一个依赖于问题的开放知识图谱检索支持的事实的基础上，并采用顺序子图推理过程来预测答案。子图可以被看作是对预测的一个简洁而紧凑的图形解释。在两个OpenCSR数据集上的实验表明，该模型在基准OpenCSR数据集上取得了良好的性能.
2023-03-18 cs.CL cs.LG
Enhancing Science Classroom Discourse Analysis through Joint Multi-Task Learning for Reasoning-Component Classification
Department of Computer Science, Kennesaw State University（肯纳邦大学计算机科学系）；Bagwell College of Education, Kennesaw State University（肯纳邦大学巴格威尔教育学院）
本文提出ADAS系统，通过联合多任务学习对教师和学生话语进行类型和推理组件分类，解决少数类标签不平衡问题，提升课堂话语分析效率。
2026-08-18 cs.AI cs.CL
Improving Student-AI Interaction Through Pedagogical Prompting: An Example in Computer Science Education
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；University of Toronto（多伦多大学）；Colgate University（科尔盖特大学）；University of Toronto Mississauga（多伦多大学密西根分校）
本研究提出pedagogical prompting理论框架，设计交互式学习干预系统，通过场景化教学训练CS初学者有效提示LLM的求助技能，实验证明其能显著提升学习效果并改善对AI的态度。
2025-06-28 cs.AI cs.HC
FabKG: A Knowledge graph of Manufacturing Science domain utilizing structured and unconventional unstructured knowledge source
随着对大规模信息处理的需求的增长，基于知识图谱的方法在表示一般和领域知识方面获得了突出地位。这种一般表示的发展是必不可少的，特别是在智能过程和适应性教育可以增强的制造业等领域。尽管这些领域的文本不断积累，但结构化数据的缺乏造成了信息抽取和知识转移的障碍。在本文中，我们报告的工作，发展强大的知识图谱的基础上，实体和关系数据的商业和教育用途。为了创建FabKG（制造知识图谱），我们利用教科书索引词、研究论文关键词、FabNER（制造NER）来提取Wikidata中包含的子知识库。此外，我们提出了一种新颖的众包方法KG创建利用学生笔记，其中包含宝贵的信息，但没有被捕获为有意义的信息，不包括他们在个人准备学习和笔试。我们已经创建了一个知识图谱包含65000+三元组使用所有数据源。我们还展示了用于教育目的的特定于领域的问答和基于表达式/公式的问答的用例。
2022-05-24 cs.AI cs.CL cs.SC
What makes us curious? analysis of a corpus of open-domain questions
University of Bristol（布里斯托大学）；We the Curious
每天，人们都会通过智能设备或在线论坛提出简短的问题，以寻求各种问题的答案。随着收集的问题数量的增加，很难为每个问题提供答案，这是对自动问答越来越感兴趣的原因之一。有些问题与已经回答的现有问题类似，而另一些问题可以通过外部知识来源（如维基百科）来回答。一个重要的问题是，通过分析大量问题可以揭示什么。2017年，布里斯托尔的“我们好奇”科学中心启动了一个项目，以捕捉布里斯托尔人的好奇心：该项目收集了10，000多个关于各种主题的问题。由于在收集过程中没有给出任何规则，这些问题是真正的开放领域，涉及各种主题。科学中心的一个重要目标是了解参观者在科学之外的关切，特别是在社会和文化问题上。我们通过开发一个人工智能工具来解决这个问题，该工具可用于执行各种处理任务：检测问题之间的等价性;检测主题和类型;以及回答问题。当我们专注于创建一个“通才”工具时，我们用来自不同数据集的标记数据对其进行了训练。我们将生成的模型称为QBERT。本文介绍了我们从WTC开放域问题语料库的自动分析中提取的信息。
2021-10-28 cs.AI cs.CL cs.LG
TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；American International University - Bangladesh（孟加拉国美国国际大学）；Jashore University of Science and Technology（杰索尔科技大学）
TeachMateGPT作为多智能体知识基框架，通过四项改进解决现有RAG系统局限，生成的科学评估题提升了忠实度与相关性，相关数据集经教师评分验证。
2026-08-17 cs.AI cs.CL
Beyond Single Plots: A Benchmark for Question Answering on Multi-Charts
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）
本文提出PolyChartQA数据集，用于评估多图表问答性能，通过九种先进多模态语言模型测试，发现人类生成问题的LLM准确率下降27.4%，而本文提出的提示方法提升了5.39%。
2026-04-23 cs.AI cs.CL cs.CV
Fine-Tuning vs. RAG for Multi-Hop Question Answering with Novel Knowledge
本文比较了微调与RAG在多跳问答中处理新颖知识的效果，发现RAG在时间新颖信息问答中表现更优，而有监督微调整体准确率最高。
2026-01-11 cs.CL cs.LG
Sanity Check: A Strong Alignment and Information Retrieval Baseline for Question Answering
University of Arizona（亚利桑那大学）
虽然越来越复杂的方法，问答（QA）已被提出，这些系统的真正收益，特别是关于其昂贵的培训要求，可以夸大时，他们没有足够的基线相比。在这里，我们提出了一个无监督的，简单的，快速的对齐和信息检索基线，其中包括两个新的贡献：一个\textit{one-to-many alignment}之间的查询和文档条款和\textit{negative alignment}作为一个代理的歧视性信息。我们的方法不仅优于所有传统的基线以及许多有监督的递归神经网络，而且在三个QA数据集上接近有监督系统的最新水平。仅用三个超参数，我们在8年级的Science QA数据集上实现了47\% P@1，在Yahoo！回答QA数据集和WikiQA上的64\% MAP。在ARC Challenge和Easy数据集上分别获得了26.56%和58.36%。除了在本版本的论文中包括额外的ARC结果外，对于ARC简单集，我们还试验了一个额外的参数-检索的理由数量。
2018-07-05 cs.CL cs.IR
Human-in-the-Loop Control of Objective Drift in LLM-Assisted Computer Science Education
Asheville Institute for Memory and Longevity（阿什维尔记忆与长寿研究所）；University of North Carolina Asheville（北卡罗来纳大学阿什维尔分校）
本文提出一种人机协同的教学方法，通过分离规划与执行，训练学生在代码生成前指定接受标准和架构约束，以稳定AI辅助学习过程。
2026-03-31 cs.AI
Question Answering as Global Reasoning over Semantic Abstractions
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for Artificial Intelligence (AI2)（艾伦人工智能研究所（AI2））
我们提出了一种新的方法，利用文本的语义结构来回答多项选择题。该方法特别适用于需要对不同语言结构进行推理但训练数据有限的领域。为了解决这些挑战，我们提出了第一个系统，据我们所知，原因在广泛的语义抽象的文本，这是使用现成的，通用的，预先训练的自然语言模块，如语义角色标签，共指解析器和依赖解析器。代表多个抽象作为一个家庭的图形，我们翻译问答（QA）到一个最佳的子图，满足一定的全球和当地的属性搜索。该公式概括了几个先前的结构化QA系统。我们的系统SEMANTICILP同时在两个领域表现出强大的性能。特别是，在一系列具有挑战性的科学QA数据集上，它的表现优于各种最先进的方法，包括神经模型、广泛覆盖的信息检索和使用结构化知识库的专业技术，提高了2%-6%。
2019-06-09 cs.AI cs.CL
Explanation Container in Case-Based Biomedical Question-Answering
国家推进转化科学中心（NCATS）生物医学数据翻译器（翻译器）旨在减轻转化科学家面临的问题。翻译器是一个多代理体系结构，由六个自主中继代理（ARA）和八个知识提供者（KP）。在本文中，我们提出了设计的澄清剂（xARA），一个基于案例的ARA，回答生物医学查询访问多个KP，排名结果，并解释结果的排名。解释Agent设计了五个知识容器，包括四个原始知识容器和一个额外的解释容器-解释容器。解释容器是基于案例的，并设计有自己的知识容器。
2021-12-22 cs.AI
Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts
Singapore University of Technology and Design（新加坡科技设计大学）；University of Michigan（密歇根大学）
本文提出 LG-VQA 多模态框架，通过理由、图像描述、场景图等语言引导增强 CLIP 和 BLIP 模型，在 A-OKVQA、Science-QA、VSR 和 IconQA 上显著提升视觉问答准确率。
2023-10-31 cs.AI cs.CV
