Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering
University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）；Arizona State University（亚利桑那州立大学）
在回答问题时，人类利用不同模态的可用信息来合成一致且完整的思维链（CoT）。对于大规模语言模型等深度学习模型，这个过程通常是一个黑盒。最近，科学问题基准已被用于诊断人工智能系统的多跳推理能力和可解释性。然而，现有的数据集无法为答案提供注释，或者仅限于文本模态，小尺度和有限的域多样性。为此，我们提出了科学问答（ScienceQA），一个新的基准，由~21k多模态多项选择题与一组不同的科学主题和注释的答案与相应的讲座和解释。我们进一步设计语言模型来学习生成讲座和解释作为思维链（CoT）来模拟回答ScienceQA问题时的多跳推理过程。ScienceQA证明了CoT在语言模型中的实用性，因为CoT在Few-Shot GPT-3中将问题回答性能提高了1.20%，在微调的UnifiedQA中提高了3.99%。我们还探索了模型的上限，以通过在输入中提供解释来利用解释;我们观察到它将GPT-3的Few-Shot性能提高了18.96%。我们的分析进一步表明，与人类类似，语言模型受益于解释，可以从更少的数据中学习，并仅用40%的数据实现相同的性能。数据和代码可在www.example.com上获得。
2022-10-17 cs.AI cs.CL cs.CV
Answering Science Exam Questions Using Query Rewriting with Background Knowledge
IBM Research（IBM研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tulane University（杜兰大学）
开放域问答（QA）是人工智能和自然语言处理中的一个重要问题，它是人工智能方法和技术推广进展的领头羊。开放领域问答系统的许多进展是通过信息检索方法和语料库建设的进步实现的。在本文中，我们专注于最近推出的ARC挑战数据集，其中包含2，590个为小学科学考试编写的多项选择题。这些问题被选为当前QA系统最具挑战性的问题，并且当前最先进的性能仅略优于随机机会。我们提出了一个系统，重写一个给定的问题到查询，用于检索支持文本从一个大的语料库的科学相关的文本。我们的重写器能够结合来自ConceptNet的背景知识，并且-与在SciTail上训练的通用文本蕴涵系统一起识别检索结果中的支持-在端到端QA任务上优于几个强大的基线，尽管只接受了识别原始源问题中的基本术语的训练。我们使用一个可推广的决策方法，检索到的证据和答案候选人，以选择最佳答案。通过结合查询重写，背景知识和文本蕴涵，我们的系统能够超越ARC数据集上的几个强基线。
2019-04-06 cs.AI cs.CL
Markov Logic Networks for Natural Language Question Answering
我们的目标是使用从科学教科书中自动提取的知识来回答初级科学问题，这些知识以一阶逻辑的子集表示。考虑到这些自动提取的规则的不完整性和噪声性，马尔可夫逻辑网络（MLN）似乎是一个自然的模型，但利用MLN的确切方法并不明显。我们研究了三种方法应用MLN到我们的任务。在第一种方法中，我们简单地使用提取的科学规则直接作为MLN子句。与典型的MLN应用程序不同，我们的域具有漫长而复杂的规则，导致无法管理的接地数量。我们利用硬约束中存在的结构来提高易处理性，但该公式仍然无效。在第二种方法中，我们将科学规则解释为描述原型实体，从而将规则直接映射到接地MLN断言，然后使用现有的实体解析方法对其常量进行聚类。这大大简化了网络，但仍然存在脆性。最后，我们的第三种方法，称为Praline，使用MLN来对齐词汇元素，并定义和控制在此任务中应如何执行推理。我们的实验，展示了15\%的准确率提升和10倍的运行时间减少，表明Praline的灵活性和不同的推理语义是一个更好的适合自然语言问答任务。
2015-07-10 cs.AI cs.CL
Science Checker: Extractive-Boolean Question Answering For Scientific Fact Checking
Opscidia（Opscidia公司）
随着科学出版物的爆炸式增长，使科学知识的综合和事实核查成为一项日益复杂的任务。在本文中，我们提出了一个多任务的方法来验证科学问题的基础上，联合推理的事实和证据的研究文章。我们提出了一个智能的组合（1）一个自动的信息摘要和（2）一个布尔问答，它允许生成一个答案的科学问题，从总结后获得的提取。因此，在给定的主题上，我们提出的方法基于论文摘要进行结构化内容建模，以回答科学问题，同时突出显示讨论该主题的论文中的文本。我们的最终系统基于端到端的提取问答（EQA），结合三个输出分类模型，对问题进行深入的语义理解，以说明多个响应的聚合。通过我们提出的轻巧快速的架构，我们实现了4%的平均出错率和95.6%的F1分数。我们的研究结果支持通过实验与两个QA模型（BERT，RoBERTa）超过300万开放获取（OA）的文章在医疗和健康领域的欧洲PMC。
2022-04-29 cs.AI cs.CL cs.IR
Explanation Container in Case-Based Biomedical Question-Answering
国家推进转化科学中心（NCATS）生物医学数据翻译器（翻译器）旨在减轻转化科学家面临的问题。翻译器是一个多代理体系结构，由六个自主中继代理（ARA）和八个知识提供者（KP）。在本文中，我们提出了设计的澄清剂（xARA），一个基于案例的ARA，回答生物医学查询访问多个KP，排名结果，并解释结果的排名。解释Agent设计了五个知识容器，包括四个原始知识容器和一个额外的解释容器-解释容器。解释容器是基于案例的，并设计有自己的知识容器。
2021-12-22 cs.AI
Comparing the Performance of LLMs in RAG-based Question-Answering: A Case Study in Computer Science Literature
University of Moratuwa（穆塔瓦大学）
本研究比较了四个开源LLM与GPT-3.5在RAG支持下于计算机科学文献问答任务中的表现，发现GPT-3.5和Mistral-7b-instruct表现最佳，同时分析了各模型在准确率、排名和延迟上的差异，证明开源LLM可与专有模型竞争。
2025-11-05 cs.AI cs.CL
WorldTree: A Corpus of Explanation Graphs for Elementary Science Questions supporting Multi-Hop Inference
University of Arizona（亚利桑那大学）
开发自动推理方法，能够为用户提供令人信服的人类可读的理由，说明为什么问题的答案是正确的，这对于科学和医学等领域至关重要，在这些领域，用户信任和检测代价高昂的错误是采用的限制因素。在可解释推理任务上训练问答模型的主要障碍之一是缺乏黄金解释作为训练数据。在本文中，我们提出了一个语料库的解释标准化科学考试，最近的挑战性任务问答。我们手动构建了几乎所有公开的标准化基础科学问题（大约1，680个三年级到五年级的问题）的详细解释的语料库，并将其表示为“解释图”-词汇重叠的句子集，描述如何通过领域和世界知识的组合来获得问题的正确答案。我们还提供了一个以解释为中心的表库，一个包含构建这些基本科学解释的知识的半结构化表的集合。这两个知识资源一起映射出回答和解释小学科学考试所需的知识的相当大的一部分，并为可解释的推理任务提供结构化和自由文本训练数据。
2018-02-08 cs.AI cs.CL cs.IR
SPARQL Generation: an analysis on fine-tuning OpenLLaMA for Question Answering over a Life Science Knowledge Graph
Department of Ecology and Evolution, University of Lausanne, Switzerland（生态与进化系，洛桑大学，瑞士）；SIB Swiss Institute of Bioinformatics, Lausanne, Switzerland（瑞士生物信息学研究所，洛桑，瑞士）
针对特定领域知识图谱问答任务中问题转SPARQL查询训练数据稀缺的问题，本研究提出端到端数据增强方法并评估OpenLlama微调策略，结合语义线索（如有意义变量名）在Bgee图谱上使性能提升33%。
2024-02-07 cs.AI cs.CL cs.DB
Question Answering via Integer Programming over Semi-Structured Knowledge
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for Artificial Intelligence (AI2)（艾伦人工智能研究所（AI2））
用自然语言表达科学问题是人工智能面临的一个重要挑战。回答这些问题通常需要非平凡的推理和超越事实检索的知识。然而，这项任务的大多数系统是基于相对较浅的信息检索（IR）和统计相关技术操作大型非结构化语料库。我们提出了一个结构化的推理系统，制定为一个线性规划（ILP），回答自然语言的问题，使用半结构化的知识库来自文本，包括需要多步推理和多个事实的组合的问题。在一个真实的、看不见的科学问题的数据集上，我们的系统显著优于（+14%）之前使用马尔可夫逻辑网络（MLN）进行结构化推理的最佳尝试。它也比以前的ILP配方提高了17.7%。当与非结构化推理方法相结合时，ILP系统显着提高了整体性能（+10%）。最后，我们表明，我们的方法是一个简单的答案扰动相比，统计相关性方法更强大。
2016-04-20 cs.AI cs.CL
PlantExpertVQA: A Visual Question Answering Dataset for Benchmarking Vision-Language Models in Plant Science
Department of Robotics and Mechatronics Engineering, University of Dhaka（达卡大学机器人与机电工程系）；Department of Botany, University of Dhaka（达卡大学植物学系）
PlantExpertVQA数据集旨在提升视觉语言模型在农业决策中的应用，包含765,186个高质量问答对，涵盖38种作物和89种病害，通过多阶段流程生成并经专家审核，验证了参数高效微调的有效性。
2026-06-27 cs.AI cs.CV cs.LG
ScienceWorld: Is your Agent Smarter than a 5th Grader?
University of Arizona（亚利桑那大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
我们目前的ScienceWorld，一个基准测试代理的科学推理能力在一个新的交互式文本环境中的一个标准的小学科学课程的水平。尽管在问答和科学文本处理中看到了基于transformer的进步，但我们发现，当前的模型无法在新的背景下推理或解释所学的科学概念。例如，模型可以很容易地回答已知材料的导电性是什么，但当被问及如何在接地环境中进行实验以找到未知材料的导电性时，模型就很难回答了。这就引出了一个问题，即当前的模型是否只是通过查看大量类似的示例来检索答案，或者它们是否已经学会了以可重用的方式对概念进行推理。我们假设，代理需要接地在交互式环境中实现这样的推理能力。我们的实验提供了支持这一假设的经验证据--表明一个150万参数的交互式训练10万步的智能体，优于一个110亿参数的静态训练模型，用于科学问答和数百万专家演示的推理。
2022-11-14 cs.AI cs.CL
An Intelligent Question Answering System based on Power Knowledge Graph
Envision Digital（远景智能）；State Grid Sichuan Electric Power Company（国网四川省电力公司）；Hitachi ABB Power Grids（日立ABB电网）
智能问答（IQA）系统通过理解自然语言问题，从海量知识库中高效搜索相关内容，并将答案直接返回给用户，从而准确捕捉用户的搜索意图。由于IQA系统在数据搜索和推理方面可以节省不可估量的时间和劳动力，因此它在数据科学和人工智能领域受到越来越多的关注。本文从电力行业的海量异构数据出发，利用图数据库和图计算技术，提出了一种领域知识图谱。提出了一种基于电力知识图谱的IQA系统，基于自然语言处理（NLP）方法提取自然询问的意图和约束，通过知识推理构建图数据查询语句，完成准确的知识搜索和分析，为用户提供直观的可视化信息。该方法将知识图谱和图计算的特点充分结合，实现了海量知识中的高速多跳知识关联推理分析。本文的工作也为上下文感知的智能问答提供了基础。
2021-06-16 cs.AI
HANIA: Planner-Guided Multimodal Graph Evidence Selection for Grounded Question Answering
Southeast University（东南大学）；Portland Institute（波特兰研究所）；Aristotle University of Thessaloniki（亚里士多德大学）；Shandong University（山东大学）
本文提出HANIA框架，通过规划器引导的多模态图证据选择处理ScienceQA问答任务，无需目标数据集微调或迭代检索即可实现具竞争力的多模态问答。
2026-09-24 cs.AI
VIALS: A Benchmark for Visual Interpretation of Artifacts in the Life Sciences
Handshake AI
研究针对生命科学人工产物视觉解释的需求，构建含161项任务的VIALS基准，发现前沿视觉语言模型在该任务上存在领域知识与推理局限，凸显AI需具备此类能力以服务生命科学工作流。
2026-09-22 cs.AI
Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts
Singapore University of Technology and Design（新加坡科技设计大学）；University of Michigan（密歇根大学）
本文提出 LG-VQA 多模态框架，通过理由、图像描述、场景图等语言引导增强 CLIP 和 BLIP 模型，在 A-OKVQA、Science-QA、VSR 和 IconQA 上显著提升视觉问答准确率。
2023-10-31 cs.AI cs.CV
Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了一个新的问题集，文本语料库和基线组装，以鼓励在先进的问答人工智能研究。这些共同构成了AI 2推理挑战（ARC），它需要比SQuAD或SNLI等以前的挑战更强大的知识和推理。ARC问题集被划分为挑战集和简单集，其中挑战集仅包含由基于检索的算法和词共现算法错误回答的问题。该数据集只包含自然的、小学的科学问题（为人类测试而编写），是此类公共领域中最大的集合（7，787个问题）。我们在挑战集上测试了几个基线，包括SQuAD和SNLI任务中的领先神经模型，发现没有一个能够显著优于随机基线，反映了这项任务的困难性质。我们还发布了ARC语料库，这是一个与任务相关的1400万个科学句子的语料库，以及测试的三个神经基线模型的实现。你的模型能做得更好吗？我们将ARC视为对社区的挑战。
2018-03-14 cs.AI cs.CL cs.IR
Multimodal Commonsense Knowledge Distillation for Visual Question Answering
University of Melbourne（墨尔本大学）；University of Western Australia（西澳大学）
提出基于图的多模态常识知识蒸馏框架，通过GCN统一常识、视觉与问题，无需微调即可提升VQA常识问答性能。
2024-11-05 cs.AI cs.CL
YESciEval: Robust LLM-as-a-Judge for Scientific Question Answering
TIB Leibniz Information Centre for Science and Technology（蒂宾根科学与技术信息中心）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
本文提出开源框架YESciEval，结合细粒度评分标准评估与强化学习，缓解LLM评估者的乐观偏差，并发布多学科科学问答数据集，实现可扩展、零成本的鲁棒评估，支持AI对齐与科学探究。
2025-05-29 cs.AI cs.CL
Towards Verifiable Agentic Data Science: Solving Irregular TSQA Via Tool-Grounded Reasoning
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现实世界时间序列数据的不规则性，提出IRTS-ToolBench基准（1700个问题，10种任务类型，13个领域），通过标准化输入和可复现评估协议，研究LLM和AI代理在不规则条件下的表现。
2026-06-16 cs.AI
ChatGPT in the Classroom: An Analysis of Its Strengths and Weaknesses for Solving Undergraduate Computer Science Questions
IIIT Delhi（德里英迪拉·甘地信息技术学院）；IIT Jodhpur（焦特布尔印度理工学院）
本研究针对ChatGPT可能被学生用于作弊的学术担忧，通过定量分析证实其解答本科计算机科学各类问题的高度不可靠性，提醒学生盲目依赖会自我损害，并为师生提供建设性建议。
2023-10-06 cs.AI cs.CY cs.HC
MathChat: Benchmarking Mathematical Reasoning and Instruction Following in Multi-Turn Interactions
University of Notre Dame（圣母大学）；Tencent AI Lab（腾讯AI实验室）
本文提出MathChat基准，评估LLMs在多轮交互和开放式数学任务中的表现，并构建MathChat sync数据集以提升模型交互与指令遵循能力。
2024-05-29 cs.AI
Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering
Singapore University of Technology and Design（新加坡科技设计大学）；University of Michigan（密歇根大学）
我们提出了一个简单的重构多选择问答（MCQA）任务作为一系列的二元分类。MCQA任务通常通过对所有对标准化的每个（问题，答案）对进行评分，然后从产生最高分数的对中选择答案来执行。对于n个答案选择，这相当于一个n类分类设置，其中只有一个类（正确答案）是正确的。相反，我们表明，将（问题，正确答案）分类为正面实例，将（问题，错误答案）分类为负面实例，在各种模型和数据集中显着更有效。我们在不同的任务--溯因推理，常识问答，科学问答和句子完成中展示了我们提出的方法的有效性。我们的DeBERTa二进制分类模型在这些任务的公共排行榜上达到或接近最高性能。所提出的方法的源代码可在https://github.com/declare-lab/TEAM上获得。
2022-10-29 cs.AI cs.CL cs.LG
Bridging Technology and Humanities: Evaluating the Impact of Large Language Models on Social Sciences Research with DeepSeek-R1
School of Physics and Information Technology, Shaanxi Normal University（陕西师范大学物理与信息技术学院）；School of Foreign Languages, Northwest University（西北大学外国语学院）；School of Computing, University of Georgia（佐治亚大学计算学院）
本文从七个方面分析大型语言模型DeepSeek-R1在人文社科领域的表现，对比其与o1-preview的差异，发现DeepSeek-R1推理过程详细适合深度学习，o1-preview适合快速阅读，LLMs在该领域有广阔应用潜力。
2025-04-15 cs.AI cs.CY
Question Answering as Global Reasoning over Semantic Abstractions
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for Artificial Intelligence (AI2)（艾伦人工智能研究所（AI2））
我们提出了一种新的方法，利用文本的语义结构来回答多项选择题。该方法特别适用于需要对不同语言结构进行推理但训练数据有限的领域。为了解决这些挑战，我们提出了第一个系统，据我们所知，原因在广泛的语义抽象的文本，这是使用现成的，通用的，预先训练的自然语言模块，如语义角色标签，共指解析器和依赖解析器。代表多个抽象作为一个家庭的图形，我们翻译问答（QA）到一个最佳的子图，满足一定的全球和当地的属性搜索。该公式概括了几个先前的结构化QA系统。我们的系统SEMANTICILP同时在两个领域表现出强大的性能。特别是，在一系列具有挑战性的科学QA数据集上，它的表现优于各种最先进的方法，包括神经模型、广泛覆盖的信息检索和使用结构化知识库的专业技术，提高了2%-6%。
2019-06-09 cs.AI cs.CL
Where Was COVID-19 First Discovered? Designing a Question-Answering System for Pandemic Situations
Technische Universität Dresden（德累斯顿工业大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Otto-von-Guericke-Universität Magdeburg（奥托·冯·格里克大学马格德堡）
COVID-19大流行伴随着大规模的“信息流行病”，这使得很难为COVID-19相关问题（如潜伏时间、感染率或疫苗的有效性）确定简明可信的信息。作为一种新的解决方案，我们的论文关注的是设计一个问答系统的基础上，从自然语言处理的现代技术，以克服信息过载和流行病的情况下错误的信息。为了开展我们的研究，我们遵循设计科学的研究方法，并应用Ingwersen的信息检索交互的认知模型，从社会技术的角度来告知我们的设计过程。在此基础上，我们推导出设计需求和设计原则方面的规范性设计知识，并将其转化为原型实例的构建。我们的实现基于全面的CORD-19数据集，我们通过基于生物医学专家标记的COVID-19问题样本评估其答案质量来证明我们的工件的有用性。
2022-04-19 cs.AI cs.CL
RECIPER: A Dual-View Retrieval Pipeline for Procedure-Oriented Materials Question Answering
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文提出RECIPER双视角检索流程，通过结合段落上下文和紧凑的LLM提取的工艺摘要，提升材料科学论文中工艺细节的检索效果，实验表明在多个检索模型上均取得显著提升。
2026-04-13 cs.AI cs.CL eess.SP
Can an AI Win Ghana's National Science and Maths Quiz? An AI Grand Challenge for Education
Kwame AI Inc.（夸梅人工智能公司）；ETH Zurich（苏黎世联邦理工学院）；Charite Berlin（柏林夏里特医学院）；University of Ghana（加纳大学）
非洲各地缺乏足够的合格教师，这妨碍了向学生提供适当的学习支助，如教育问答。一个可以让学生通过文本或语音提问并获得即时答案的人工智能系统将使高质量的教育变得容易。尽管人工智能领域取得了进展，但在非洲背景下建立这样一个（EQA）人工智能并不存在强有力的基准或挑战。加纳的国家科学和数学问答比赛（NATIONAL）是评估这种人工智能潜力的完美竞争，因为它覆盖了广泛的科学领域，各种问题类型，高度竞争性以及实时的真实世界格式。The Necessity是一个危险风格的年度现场问答比赛，其中3队2名学生通过回答生物，化学，物理和数学的问题进行竞争，在5轮中进行5个渐进阶段，直到获胜的团队获得该年度的冠军。在这份立场文件中，我们提出了一个人工智能教育大挑战，以加纳的国家科学和数学问答比赛（NATIONAL）为案例研究。我们提出的重大挑战是“构建一个人工智能，在加纳的国家科学和数学测验（NATURAL）比赛中现场竞争并获胜-在比赛的各个回合和阶段中表现得比最好的参赛者更好。“我们描述了竞争和关键的技术挑战，以及机器学习的最新进展，可以用来解决这一挑战的想法。这份立场文件是克服这一挑战的第一步，重要的是，在非洲范围内推动人工智能教育，实现非洲高质量教育的民主化。
2023-01-30 cs.AI cs.CL cs.HC
Multi-class Hierarchical Question Classification for Multiple Choice Science Exams
University of Arizona（亚利桑那大学）；University of Birmingham（伯明翰大学）
先前的工作已经证明，问题分类（QC），识别问题的问题域，可以帮助更准确地回答它。然而，开发强大的质量控制算法一直受到有限的规模和复杂性的注释数据。为了解决这个问题，我们提出了QC最大的挑战数据集，包含7，787个科学考试问题，以及来自406个问题领域的细粒度层次分类的详细分类标签。然后，我们表明，与以前的方法相比，在此数据集上训练的基于BERT的模型实现了较大的（+0.12 MAP）增益，同时在基准开放域和生物医学QC数据集上也实现了最先进的性能。最后，我们表明，使用这个模型的问题主题的预测显着提高了+1.7%P@1的问答系统的准确性，随着QC性能的提高，未来可能会有很大的收益。
2019-08-15 cs.AI cs.CL
TheoremQA: A Theorem-driven Question Answering dataset
University of Waterloo（滑铁卢大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）；University of California Los Angeles（加州大学洛杉矶分校）
本文提出定理驱动问答数据集 TheoremQA，覆盖多学科 350 个定理、800 个问题，并评估 16 个模型，发现 GPT-4 仅达 51% 准确率，开源模型不足 15%。
2023-12-06 cs.AI cs.CL
From 'F' to 'A' on the N.Y. Regents Science Exams: An Overview of the Aristo Project
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
人工智能已经在国际象棋、围棋、扑克甚至危险边缘等游戏上取得了令人瞩目的成就，但丰富多样的标准化考试仍然是一个具有里程碑意义的挑战。即使在2016年，最好的人工智能系统在8年级科学考试中的成绩也只有59.3%。本文报道了8年级纽约摄政科学考试的空前成功，其中第一次一个系统得分超过90%的考试的非图表，多项选择（NDMC）的问题。此外，我们的Aristo系统，建立在最近的语言模型的成功，超过83%的相应等级12科学考试NDMC问题。在看不见的测试问题上，结果在不同的测试年份和这种测试的不同变化中是稳健的。他们证明，现代NLP方法可以导致对这项任务的掌握。虽然不是一般问答的完整解决方案（问题是多项选择，并且该领域仅限于8年级科学），但它代表了该领域的一个重要里程碑。
2021-02-02 cs.AI cs.CL
Confident RAG: Enhancing the Performance of LLMs for Mathematics Question Answering through Multi-Embedding and Confidence Scoring
Faculty of Education, The University of Hong Kong（香港大学教育学院）；Department of Civil and Environmental Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学土木与环境工程系）
Confident RAG通过多嵌入和置信度评分提升LLM在数学问题回答中的性能，实验表明其在准确率上比普通LLMs和RAG分别提升10%和5%。
2025-11-30 cs.AI cs.CL
Beyond Single Plots: A Benchmark for Question Answering on Multi-Charts
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）
本文提出PolyChartQA数据集，用于评估多图表问答性能，通过九种先进多模态语言模型测试，发现人类生成问题的LLM准确率下降27.4%，而本文提出的提示方法提升了5.39%。
2026-04-23 cs.AI cs.CL cs.CV
SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark
University of Notre Dame（圣母大学）；New York University（纽约大学）；Hong Kong University of Science and Technology（香港科技大学）
SceMQA是一个大学入学水平的科学多模态问答基准，覆盖数学、物理、化学和生物，通过多项选择和自由回答题型评估AI模型，实验显示最强模型准确率仅50%-60%，表明需进一步发展。
2024-02-06 cs.AI cs.CL
Ontology-Aware RAG for Improved Question-Answering in Cybersecurity Education
本文提出CyberRAG，一种面向本体的检索增强生成方法，用于提升网络安全教育中问答系统的可靠性与准确性。
2025-11-24 cs.AI cs.CY
SemViQA: A Semantic Question Answering System for Vietnamese Information Fact-Checking
Industrial University of Ho Chi Minh City（胡志明市工业大学）；University of Science VNU-HCM（VNU-HCM大学）
针对越南语等低资源语言事实核查现有方法的不足，提出整合语义证据检索与两步判定分类的SemViQA框架，兼顾精度与速度，在相关基准和挑战赛中取得最优成绩，其快速版还能在保持准确率的同时大幅提升推理速度。
2025-10-05 cs.AI cs.CL
MMClima: A Framework for Multimodal Climate Science Data and Evaluation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Missouri（密苏里大学）
提出MMClima，一个包含10万+专家验证问答对的多模态气候问答框架，覆盖文本、视频和图表，用于评估多模态语言模型在气候科学中的表现。
2026-06-08 cs.AI cs.LG
CryptoQA: A Large-scale Question-answering Dataset for AI-assisted Cryptography
University of Stuttgart（斯图加特大学）
CryptoQA是一个大规模问答数据集，旨在评估和训练LLMs在密码学任务中的能力，揭示LLMs在形式推理和数学知识上的不足，推动密码学研究的发展。
2025-12-02 cs.AI cs.CR
Continuous Training and Fine-tuning for Domain-Specific Language Models in Medical Question Answering
MIT EECS（麻省理工学院电气工程与计算机科学系）；Harvard School of Public Health（哈佛大学公共卫生学院）
本文通过持续训练和指令微调将 Llama 2 快速适配到中文医学领域，在 10 亿 token 医学语料和 5.4 万条医师考试数据上训练后，模型性能可比肩 GPT-3.5-turbo 且计算成本更低，为其他专业领域模型训练提供了模板。
2023-11-01 cs.AI cs.CL
AI for Mathematics: A Cognitive Science Perspective
MIT（麻省理工学院）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
本文从认知科学视角反思AI在数学领域的应用，指出认知科学的经典研究方向对构建人类或超人类水平的数学AI系统具有重要价值，并强调需跨学科合作以推动数学AI发展并揭示人类认知机制。
2023-10-19 cs.AI q-bio.NC
Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on a Math Textbook
Carnegie Mellon University（卡内基梅隆大学）
研究在本科数学教科书页面级问答中比较RAG和GraphRAG，用477个问答对数据集在检索准确率和答案质量两指标上对比五个RAG模型、BM25基线及GraphRAG，发现基于嵌入的RAG更优，还通过开源模型复制实验，为AI辅导系统设计提供参考。
2026-07-29 cs.AI cs.HC cs.IR
SPARC: A Multi-Agent System for Electrical Circuit Question Answering
University of Michigan（密歇根大学）；Bangladesh University of Engineering and Technology（孟加拉工程与技术大学）
提出SPARC多智能体系统，通过可执行的物理仿真程序进行推理，在电路问答任务上实现83%准确率，较基线提升高达58%。
2026-06-23 cs.AI cs.CV
What makes us curious? analysis of a corpus of open-domain questions
University of Bristol（布里斯托大学）；We the Curious
每天，人们都会通过智能设备或在线论坛提出简短的问题，以寻求各种问题的答案。随着收集的问题数量的增加，很难为每个问题提供答案，这是对自动问答越来越感兴趣的原因之一。有些问题与已经回答的现有问题类似，而另一些问题可以通过外部知识来源（如维基百科）来回答。一个重要的问题是，通过分析大量问题可以揭示什么。2017年，布里斯托尔的“我们好奇”科学中心启动了一个项目，以捕捉布里斯托尔人的好奇心：该项目收集了10，000多个关于各种主题的问题。由于在收集过程中没有给出任何规则，这些问题是真正的开放领域，涉及各种主题。科学中心的一个重要目标是了解参观者在科学之外的关切，特别是在社会和文化问题上。我们通过开发一个人工智能工具来解决这个问题，该工具可用于执行各种处理任务：检测问题之间的等价性;检测主题和类型;以及回答问题。当我们专注于创建一个“通才”工具时，我们用来自不同数据集的标记数据对其进行了训练。我们将生成的模型称为QBERT。本文介绍了我们从WTC开放域问题语料库的自动分析中提取的信息。
2021-10-28 cs.AI cs.CL cs.LG
Unification-based Reconstruction of Multi-hop Explanations for Science Questions
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
提出了一种新的科学问答（QA）多跳解释重构框架。虽然现有的多跳推理方法建立解释考虑每个问题孤立，我们提出了一种方法来利用解释模式出现在一个语料库的科学解释。具体而言，该框架通过将词汇相关性与统一力的概念相结合来对一组原子事实进行排名，估计分析语料库中类似问题的解释。一个广泛的评价进行的Worldtree语料库，集成k-NN聚类和信息检索（IR）技术。我们提出以下结论：（1）所提出的方法实现了与Transformers竞争的结果，但速度快了几个数量级，这一特征使其可扩展到大型解释性语料库（2）基于统一的机制在减少语义漂移方面具有关键作用，有助于许多啤酒花解释的重建（6个或更多事实）和复杂推理事实的排名（+12.0平均平均精度）（3）至关重要的是，构建的解释可以支持下游QA模型，将BERT的准确性整体提高高达10%。
2021-02-10 cs.AI cs.CL cs.IR
SPIQA: A Dataset for Multimodal Question Answering on Scientific Papers
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对现有科学论文问答数据集规模小、仅覆盖文本的问题，本文推出首个多模态大规模数据集SPIQA，含27万问题，结合图文内容，评估12个基础模型并提出带检索的CoT策略提升性能。
2025-01-10 cs.AI cs.CL cs.CV
Tri-VQA: Triangular Reasoning Medical Visual Question Answering for Multi-Attribute Analysis
School of Computing；Artificial Intelligence Southwest Jiaotong University Chengdu, China；Artificial Intelligence Southwest Jiaotong University Chengdu, China z\ c\；Institute of Innovative Research Tokyo Institute of Technology Yokohama, Japan
针对现有医学视觉问答方法结果可信度不足的问题，提出基于因果效应的Tri-VQA三角推理框架，通过构建反向因果问题优化推理过程，在多中心内镜超声等医学VQA数据集上表现优于现有方法。
2024-06-21 cs.AI cs.CL cs.CV
Mixture of Rationale: Multi-Modal Reasoning Mixture for Visual Question Answering
Microsoft（微软）
针对零样本视觉问答中单一 rationale 难以捕捉复杂性的问题，提出 Mixture of Rationales (MoR) 方法，利用冻结的 VLPM 动态生成、检索与融合多模态思维，在 NLVR2 和 OKVQA 数据集上显著提升准确率。
2024-06-03 cs.AI cs.CV cs.LG
Implications of Deep Circuits in Improving Quality of Quantum Question Answering
Banasthali Vidyapith（班斯塔里·维迪亚皮斯）
本文利用Qiskit中的QSVM和VQC算法对SelQA数据集进行问题分类，研究电路深度的影响，并结合基于规则的QA系统显著提升了问答质量。
2023-05-12 cs.AI cs.CL quant-ph
Improving Natural Language Inference Using External Knowledge in the Science Questions Domain
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
自然语言推理（NLI）是许多自然语言处理（NLP）应用（包括语义搜索和问答）的基础。由于大规模、具有挑战性的数据集的发布，NLI问题得到了极大的关注。目前的解决方法主要集中在基于学习的方法，只使用文本信息，以分类是否一个给定的前提需要，矛盾，或相对于一个给定的假设是中性的。令人惊讶的是，使用基于结构化知识的方法--人工智能的一个中心主题--在NLI问题上并没有得到太多的关注。虽然有许多开放的知识库，包含各种类型的推理信息，它们的使用NLI还没有得到很好的探索。为了解决这个问题，我们提出了一个技术的组合，利用知识图谱，以提高性能的NLI问题的科学问题域。我们提出了我们的技术应用于文本，图形和文本到图形为基础的模型的结果，并讨论了使用外部知识解决NLI问题的影响。我们的模型在SciTail科学问题数据集上实现了NLI问题的最新性能。
2018-11-20 cs.AI cs.CL cs.LG
Brilla AI: AI Contestant for the National Science and Maths Quiz
Kwame AI Inc.（夸米人工智能公司）；ETH Zurich（苏黎世联邦理工学院）
本文提出 Brilla AI，作为首个在加纳国家科学与数学竞赛中现场参赛的人工智能，通过集成语音转文本、问题提取、问答和文本转语音系统，在 2023 年总决赛谜语轮中非正式获得并列第二名，展示了人工智能辅助科学教育的潜力。
2024-04-30 cs.AI cs.CL cs.CY
KG^2: Learning to Reason Science Exam Questions with Contextual Knowledge Graph Embeddings
Georgia Institute of Technology（佐治亚理工学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
AI2 Reasoning Challenge（ARC）是一个新的问答（QA）基准数据集。ARC只包含为人类考试编写的自然科学问题，这些问题很难回答，需要高级逻辑推理。在ARC挑战集上，现有最先进的QA系统未能显著优于随机基线，反映了该任务的困难性质。本文提出了一种新的科学考试答题框架，该框架模拟了人类在开卷考试中的解题过程，并针对问题本身和支持句子分别构建了上下文知识图谱，以解决推理问题。我们的模型学习使用两个知识图谱的神经嵌入进行推理。ARC挑战集上的实验表明，我们的模型优于以前的国家的最先进的问答系统。
2018-05-31 cs.AI cs.CL cs.LG
EXAMS: A Multi-Subject High School Examinations Dataset for Cross-Lingual and Multilingual Question Answering
Sofia University “St. Kliment Ohridski”（索非亚大学“圣克里门特·奥赫里德斯基”）；Heidelberg University（海德堡大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们提出了EXAMS --一个新的高中考试跨语言和多语言问答的基准数据集。我们收集了16种语言的24，000多道高质量高中考试题，涵盖8个语系和24个自然科学和社会科学等学科。EXAMS提供了一个跨多种语言和学科的细粒度评估框架，可以对各种模型进行精确的分析和比较。我们使用现有的性能最好的多语言预训练模型进行了各种实验，我们表明EXAMS提供了多个挑战，需要多个领域的多语言知识和推理。我们希望EXAMS将使研究人员能够探索具有挑战性的推理和知识转移方法，以及用于各种语言的学校问答的预训练模型，这在以前是不可能的。数据、代码、预训练模型和评估可在https://github.com/mhardalov/exams-qa上获得。
2020-11-05 cs.AI cs.CL cs.IR
Answering Fuzzy Queries over Fuzzy DL-Lite Ontologies
University of Milano-Bicocca（米兰比可卡大学）
知识表示中的一个突出问题是如何回答查询，同时考虑表示领域知识的本体的隐含后果。虽然这个问题已经在描述逻辑本体论的领域内得到了广泛的研究，但令人惊讶的是，在模糊或不精确知识的背景下，特别是从数学模糊逻辑的角度来看，它被忽视了。在本文中，我们研究的问题，回答合取查询和阈值查询w.r.t.模糊DL-Lite中的本体。具体来说，我们通过重写的方法，阈值查询回答w.r.t.在数据复杂度方面，一致的本体保持在$AC_0$中，但是合取查询应答高度依赖于所选择的三角范数，这对底层语义有影响。对于幂等的哥德尔t-范数，我们提供了一个有效的方法的基础上减少到经典的情况。这篇论文是在逻辑程序设计理论与实践（TPLP）中考虑的。
2021-11-23 cs.AI
Think about it! Improving defeasible reasoning by first modeling the question scenario
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
可废止推理是一种推理模式，其中结论可以通过考虑新的证据而被推翻。现有的关于可废止推理的认知科学文献表明，一个人在回答问题之前会形成一个问题场景的心理模型。我们的研究目标是询问神经模型是否可以在回答可撤销查询之前同样受益于设想问题场景。我们的方法是，给定一个问题，让模型首先创建一个相关影响的图，然后在回答问题时利用该图作为额外的输入。我们的系统，好奇，实现了一个新的国家的最先进的三个不同的可废止推理数据集。这一结果意义重大，因为它说明了可以通过引导系统“思考”问题并显式地对场景建模来提高性能，而不是反射性地回答。代码、数据和预训练模型位于https://github.com/madaan/thinkaboutit。
2021-10-24 cs.AI cs.CL
ConEQsA: Concurrent and Asynchronous Embodied Questions Scheduling and Answering
Software Engineering Institute, East China Normal University（东华大学软件工程学院）；Department of Computer Science, Yale University（耶鲁大学计算机科学系）；School of Computer Science, The University of Sydney（悉尼大学计算机科学学院）；College of Connected Computing, Vanderbilt University（范德比大学连接计算学院）
ConEQsA通过并发与异步机制提升具身问题回答的效率与响应能力
2026-03-03 cs.AI cs.CV cs.RO
