Mitigating Knowledge Conflicts in Language Model-Driven Question Answering
University of California, San Diego(加利福尼亚大学圣迭戈分校);Washington University in St. Louis(圣路易斯华盛顿大学)
针对语言模型驱动问答中模型固有知识与训练数据真实答案不一致易引发幻觉的问题,本研究提出通过建立源输入与生成输出的显式关联缓解知识冲突,并探究训练时实体与上下文的对应关系对推理性能的影响。
2025-01-15 cs.AI cs.CL
Structural Deep Encoding for Table Question Answering
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(巴黎索邦大学计算机科学与智能系统研究所);LERIA(安热大学信息学研究实验室)
本文针对表格问答中展平表格结构导致信息丢失与可扩展性挑战的问题,全面分析了表格编码技术,并提出新型稀疏注意力掩码设计,在提升计算效率的同时保持结构完整性,显著改善了整体性能。
2025-03-03 cs.AI cs.CL
MTBench: A Multimodal Time Series Benchmark for Temporal Reasoning and Question Answering
Yale University, New Haven, CT, USA(耶鲁大学);McGill University, Montreal, QC, Canada(麦吉尔大学);University of Texas Rio Grande Valley, TX, USA(德克萨斯大学里奥格兰德谷分校)
MTBench是一种多模态时间序列基准,用于评估大型语言模型在金融和天气领域的时间推理和问答能力。
2026-02-11 cs.AI cs.CL
Whatcha lookin' at? DeepLIFTing BERT's Attention in Question Answering
Saarland University(萨尔大学)
最近,神经网络在处理具有挑战性的NLP任务方面取得了巨大的成功,这些神经网络已经在大量任务数据上进行了预训练和微调。在本文中,我们研究了一个这样的模型,BERT的问答,目的是分析为什么它能够取得显着优于其他模型的结果。我们在模型预测上运行DeepLIFT,并测试结果,以监控输入的注意力值的变化。我们还对结果进行聚类,以根据模型试图回答的输入段落和问题的类型来分析任何类似于人类推理的可能模式。
2019-10-14 cs.CL
Abductive Reasoning as Self-Supervision for Common Sense Question Answering
Oklahoma State University(俄克拉荷马州立大学);University of South Florida(南佛罗里达大学)
问答近年来取得了重大进展,特别是引入了越来越大的基于transformer的模型,这些模型是在大量数据上进行预训练的。虽然在许多基准测试中取得了令人印象深刻的结果,但它们的性能似乎与目标域中可用的训练数据量成正比。在这项工作中,我们探讨了目前的问答模型推广到其他领域以及有限的训练数据的能力。我们发现,大量的训练数据是必要的,无论是预训练,以及微调到一个任务,模型在指定的任务上表现良好。我们介绍了一种新的溯因推理方法的基础上Grenander的模式理论框架,提供自我监督的领域自适应线索或“伪标签”,它可以用来代替昂贵的人类注释。所提出的自监督训练方案允许有效的领域自适应,而不损失性能相比,完全监督基线。两个公开的基准上的广泛实验表明,所提出的方法的有效性。我们表明,使用自标记数据训练的神经网络模型可以保留高达$75\%$的性能,在大量的人类注释的训练数据上训练的模型。
2019-09-13 cs.AI cs.CL
Challenges in Generalization in Open Domain Question Answering
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院)
开放领域问答的最新研究表明,新的测试问题和那些与训练问题重叠的问题在模型性能上存在很大差异。然而,目前还不清楚哪些方面的新问题使他们具有挑战性。基于对系统泛化的研究,我们根据三个类别来引入和注释问题,这些类别衡量不同的泛化水平和类型:训练集重叠,合成泛化(comp-gen)和新实体泛化(novel-entity)。在评估六个流行的参数和非参数模型时,我们发现,对于已建立的Natural Questions和TriviaQA数据集,即使是comp-gen/novel-entity的最强模型性能也比完整测试集低13.1/5.4%和9.6/1.5%,这表明了这些类型问题带来的挑战。此外,我们表明,虽然非参数模型可以处理的问题,包含新的实体相对较好,他们的斗争与那些需要组成的概括。最后,我们发现关键的问题难度因素是:级联错误从检索组件,频率的问题模式,和频率的实体。
2022-05-15 cs.AI cs.CL
MobQA: A Benchmark Dataset for Semantic Understanding of Human Mobility Data through Question Answering
The University of Tokyo \ AIP Japan Tokyo;Nara Institute of Science;The University of Tokyo \ AIP
本文提出MobQA基准数据集,通过5,800个涵盖事实检索、多项选择推理和自由解释的问答对评估LLMs对人类移动数据的语义理解,发现模型在事实检索上表现好但语义推理和解释能力不足。
2025-08-15 cs.CL
Organizing Encyclopedic Knowledge based on the Web and its Application to Question Answering
我们提出了一种方法来产生大规模的百科知识,这是有价值的许多自然语言处理的研究,基于Web。我们首先在Web上搜索包含有问题的术语的页面。然后,我们使用语言模式和HTML结构来提取描述该术语的文本片段。最后,我们根据词义和领域组织提取的术语描述。此外,我们将自动生成的百科全书应用于针对日本信息技术工程师考试的问答系统。
2001-06-10 cs.CL
Question Answering in Natural Language: the Special Case of Temporal Expressions
LISN-CNRS, Université Paris-Saclay(法国巴黎萨克雷大学、法国国家科学研究中心(CNRS)所属的信息、信号与图像处理实验室(LISN))
针对时间问答关注不足的问题,本文提出受 SQuAD 启发的新数据集,并利用 WikiWars 语料库训练深度学习模型,验证了通用问答中的答案抽取与模式匹配方法可成功应用于时间问答。
2023-11-23 cs.CL
Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
本研究提出基于项目反应理论的CAIMIRA框架,通过分析超30万份人机问答回答,揭示二者在不同推理类型上的能力差异,为未来QA任务设计与AI发展提供方向。
2024-10-09 cs.AI cs.CL cs.LG
Robust Question Answering Through Sub-part Alignment
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
目前的文本问答模型在域内测试集上取得了很好的性能,但通常是通过拟合数据中的表面模式来实现的,因此它们无法推广到分布外的设置。为了使问答系统更加健壮和易于理解,我们将问答建模为对齐问题。我们根据现成的语义表示(这里是语义角色)将问题和上下文分解为更小的单元,并将问题与上下文的子图对齐,以便找到答案。我们将我们的模型制定为结构化SVM,通过BERT计算对齐分数,尽管使用束搜索进行近似推理,我们仍然可以进行端到端的训练。我们显式使用对齐允许我们探索一组约束,通过这些约束,我们可以禁止跨域设置中出现的某些类型的不良模型行为。此外,通过调查不同潜在答案的得分差异,我们可以试图了解输入的哪些特定方面导致模型选择答案,而不依赖于事后解释技术。我们在SQuAD v1.1上训练我们的模型,并在几个对抗性和域外数据集上对其进行测试。结果表明,我们的模型是更强大的跨域比标准的BERT QA模型,来自比对分数的约束,使我们能够有效地权衡覆盖率和准确性。
2021-04-19 cs.AI cs.CL
Trick Me If You Can: Human-in-the-loop Generation of Adversarial Examples for Question Answering
University of Maryland(马里兰大学);Studio Ousia(Ousia工作室)
对抗评估压力测试模型对自然语言的理解。虽然过去的方法暴露了肤浅的模式,但由此产生的对抗性例子在复杂性和多样性方面是有限的。我们提出了人在回路对抗生成,其中人类作者被引导打破模型。我们通过交互式用户界面帮助作者解释模型预测。我们将此生成框架应用于一个名为Quizbowl的问答任务,其中琐事爱好者制作对抗性问题。由此产生的问题通过实时人机匹配进行验证:尽管这些问题对人类来说很普通,但它们系统地难倒了神经和信息检索模型。对抗性问题涵盖了从多跳推理到实体类型干扰的各种现象,暴露了鲁棒问答中的开放性挑战。
2019-07-16 cs.CL
A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series
Shandong University(山东大学);University of Auckland(奥克兰大学)
针对不规则临床时间序列问答,提出ClinPRISM框架。该框架含不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略,通过构建训练数据,在40亿参数大语言模型主干上实现最优性能,兼具低时间序列令牌数和低推理延迟。
2026-07-29 cs.AI cs.CL
End-to-End Learning for Answering Structured Queries Directly over Text
University of Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔)
用语言(如SQL、SPARQL或XQuery)表达的结构化查询为用户提供了一种方便而明确的方式来表达他们对许多任务的信息需求。在这项工作中,我们提出了一种方法来回答这些直接在文本数据,而不存储在数据库中的结果。我们特别关注知识库的情况,其中查询是在实体和它们之间的关系。我们的方法结合了分布式查询回答(例如三重模式片段)与模型建立提取问答。重要的是,通过应用分布式查询应答,我们能够简化模型学习问题。我们为维基数据中的大部分(572)关系训练训练模型,并在所有模型中实现平均0.70 F1测量。我们还提出了一个系统的方法来构建必要的训练数据,这个任务从知识图谱,并描述了一个原型实现。
2018-11-16 cs.CL
Unsupervised Evaluation for Question Answering with Transformers
University of Copenhagen(哥本哈根大学);Max-Planck-Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Aalborg University(奥尔堡大学)
在推理时自动评估QA模型的答案是具有挑战性的。虽然许多模型提供了置信度分数,并且简单的算法可以在很大程度上表明答案的正确性,但这些措施严重依赖于数据集,不太可能推广。在这项工作中,我们开始调查的问题,答案和上下文的隐藏表示在基于transformer的QA架构。我们观察到一个一致的模式的答案表示,我们可以用来自动评估是否预测的答案跨度是正确的。我们的方法不需要任何标记数据,并且在2个数据集和7个域上优于强启发式基线。我们能够预测模型的答案是否正确,SQuAD的准确率为91.37%,SubjQA的准确率为80.7%。我们希望这种方法将有广泛的应用,例如,在QA数据集的半自动开发中,
2020-10-07 cs.AI cs.CL
Attention-guided Generative Models for Extractive Question Answering
AWS AI Labs(亚马逊云科技人工智能实验室)
我们提出了一种新的方法应用Transformer模型提取问答(QA)任务。近年来,预训练的生成序列到序列(seq2seq)模型在问答中取得了巨大的成功。这些模型的成功得益于内部注意力机制,例如交叉注意力。我们提出了一个简单的策略,通过利用解码器的交叉注意模式,从生成模型中获得一个提取的答案跨度。将交叉注意力视为架构优先级,我们应用联合训练来进一步提高QA性能。实证结果表明,在NaturalQuestions和TriviaQA等开放域问答数据集上,我们的方法在生成和提取推理方面都接近最先进的性能,同时使用更少的参数。此外,这种策略允许我们执行无幻觉的推理,同时显著提高模型对相关段落进行重新排序的能力。
2021-10-12 cs.CL cs.IR
On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
在对抗性数据汇集(ADC)中,人类劳动力与模型进行实时的交互,试图产生导致错误预测的示例。研究人员希望,在这些更具挑战性的数据集上训练的模型将更少地依赖于表面模式,从而不那么脆弱。然而,尽管ADC具有直观的吸引力,但在对抗性数据集上进行训练何时会产生更强大的模型仍不清楚。在本文中,我们进行了一项大规模的对照研究,重点是问答,随机分配工人组成的问题(i)对抗(在循环中的模型);或(ii)在标准的方式(没有模型)。在各种模型和数据集中,我们发现在对抗数据上训练的模型通常在其他对抗数据集上表现更好,但在不同的域外评估集上表现更差。最后,我们对对抗性(与标准)数据进行了定性分析,确定了关键差异,并为未来的研究提供了指导。
2021-06-02 cs.AI cs.CL cs.LG
Siamese Networks for Semantic Pattern Similarity
Symanto(Symanto公司);Mainiway(Mainiway公司);Elemental Cognition(Elemental Cognition公司)
语义模式相似性是一个有趣的,但不经常遇到的NLP任务,其中两个句子不是通过它们的具体含义进行比较,而是通过它们更抽象的语义模式(例如,介词或框架)。我们利用暹罗网络模型的任务,并显示其有用性,在确定SQL模式看不见的问题,在数据库支持的问答的情况下。我们的方法实现了高精度,并包含一个内置的代理的信心,它可以用来保持精度任意高。
2018-12-17 cs.CL
Understanding Knowledge Gaps in Visual Question Answering: Implications for Gap Identification and Testing
The Ohio State University(俄亥俄州立大学);Wright State University(莱特州立大学);AFRL(美国空军研究实验室)
视觉问答(VQA)系统的任务是回答与所呈现的图像相对应的自然语言问题。传统的VQA数据集通常包含与对象的空间信息、对象属性或一般场景问题相关的问题。最近,研究人员已经认识到需要改善这些数据集的平衡,以减少系统对记忆语言特征和统计偏差的依赖,同时旨在增强视觉理解。然而,目前还不清楚是否存在任何潜在的模式来量化和解释这些失败。作为更好地量化我们对VQA模型性能的理解的第一步,我们使用知识缺口(KG)的分类来标记具有一种或多种类型KG的问题。每一个知识缺口(KG)都描述了达成解决方案所需的推理能力。在确定每个问题的KG之后,我们检查每个KG的问题分布的偏斜。然后,我们引入了一个有针对性的问题生成模型来减少这种偏差,这使我们能够为图像生成新类型的问题。这些新问题可以添加到现有的VQA数据集中,以增加问题的多样性并减少偏差。
2020-06-03 cs.AI cs.CL cs.CV
CoPA: Benchmarking Personalized Question Answering with Data-Informed Cognitive Factors
East China Normal University(东华师范大学);Zhongguancun Academy(中关村学院)
本文提出CoPA基准,通过挖掘社区-个体偏好分歧,提炼六个个性化因素,用于细粒度评估模型输出与用户认知偏好的匹配程度,提升个性化问答评估的全面性与区分度。
2026-04-16 cs.CL
Overinformative Question Answering by Humans and Machines
University of Tübingen(图宾根大学);Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
本文通过实验证明人类回答极性问句时的过度信息性受相关性驱动,并评估神经语言模型,发现多数模型表现不佳,GPT-3仅在特定提示下接近人类表现。
2023-05-11 cs.CL
TopBench: A Benchmark for Implicit Predictive Reasoning in Tabular Question Answering
School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学,中国);National Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国)
提出TopBench基准,包含779个样本和四个子任务,评估大语言模型在表格问答中识别隐式预测意图并进行可靠推理的能力,发现当前模型在意图识别上存在困难。
2026-06-18 cs.AI cs.CL cs.LG
UH-PRHLT at SemEval-2016 Task 3: Combining Lexical and Semantic-based Features for Community Question Answering
Universitat Politècnica de València(瓦伦西亚理工大学);University of Houston(休斯顿大学)
在这项工作中,我们描述了由休斯顿大学(UH)计算机科学系和模式识别和人类语言技术(PRHLT)研究中心- Universitat Polit`ecnica de Val` Valle:UH-PRHLT为SemEval 2016任务3的三个英语子任务构建的系统。我们的系统代表的实例,同时使用基于词汇和语义的文本对之间的相似性度量。我们的语义功能包括使用分布式表示的话,知识图谱生成的BabelNet多语言语义网络,和FrameNet词汇数据库。实验结果优于随机和谷歌搜索引擎基线在三个英语子任务。与其他任务参与者相比,我们的方法获得了子任务B的最高结果。
2018-07-30 cs.CL
Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models
University of Trento(特伦托大学);Gran Sasso Science Institute(格兰萨索科学研究所);University of Essex(埃塞克斯大学);University of Bath(巴斯大学)
本文针对视频语言模型在多选题问答中的选择性偏差问题,提出后处理校准技术BOLD,通过抑制盲猜有效缓解偏差并提升模型整体性能。
2025-05-30 cs.CL
Evaluating the Ebb and Flow: An In-depth Analysis of Question-Answering Trends across Diverse Platforms
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究分析六个高人气社区问答平台,发现首个响应时间与元数据、问题表述及用户互动相关,并利用传统机器学习模型预测快速获得初始响应的查询。
2024-03-15 cs.CL cs.IR cs.LG
An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Alexandria University(亚历山大大学)
研究异构医学视觉问答持续学习,通过系统评估多种临床目标任务,探究现有CL方法减轻灾难性遗忘能力、对任务排序敏感性及低秩适应参数演变,发现交错不同任务时现有方法难维持稳定性 - 可塑性平衡。
2026-07-15 cs.AI cs.CL cs.CV
Spider4SPARQL: A Complex Benchmark for Evaluating Knowledge Graph Question Answering Systems
Zurich University of Applied Sciences(苏黎世应用科技大学);University of Fribourg(弗里堡大学)
本文提出Spider4SPARQL,一个包含9,693个自然语言问题和4,721个复杂SPARQL查询的新基准,覆盖138个领域,用于评估知识图谱问答系统,现有系统最高仅达45%执行准确率。
2023-12-08 cs.CL
TRACE: An Experiential Framework for Coherent Multi-hop Knowledge Graph Question Answering
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Hebei University of Technology(河北工业大学);City University of Hong Kong(香港城市大学)
TRACE框架通过整合语言模型驱动的上下文推理与探索先验,提升多跳知识图谱问答的连贯性和鲁棒性,实验表明其优于现有方法。
2026-04-13 cs.CL
Grounded Graph Decoding Improves Compositional Generalization in Question Answering
University of California, Berkeley(加州大学伯克利分校)
问答模型很难推广到训练模式的新组合,例如更长的序列或更复杂的测试结构。当前的端到端模型学习一个平面输入嵌入,这可能会丢失输入语法上下文。以前的方法通过学习置换不变模型来提高泛化能力,但这些方法不能扩展到更复杂的训练测试分割。我们提出了接地图解码,一种方法,以提高合成概括的语言表示接地结构化预测与注意力机制。接地使模型能够保留来自输入的语法信息,从而显着提高复杂输入的泛化能力。通过预测一个包含查询子句的连接的结构化图,我们学习了一个组不变表示,而无需对目标域进行假设。我们的模型在组合自由基问题(CFQ)数据集上的表现显着优于最先进的基线,CFQ数据集是问答中组合泛化的一个具有挑战性的基准。此外,我们以98%的准确率有效地解决了MCD1分裂。
2021-11-05 cs.CL cs.LG
ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);J.P. Morgan(摩根大通)
随着大型预训练语言模型的最新进展,研究人员在主要关注语言模式匹配的NLP任务中取得了创纪录的成绩。社区正在经历从如何建模语言到模仿人类复杂推理能力的挑战。在这项工作中,我们调查的应用领域的金融,涉及现实世界中,复杂的数值推理。我们提出了一个新的大规模数据集,ConvFinQA,旨在研究会话问答中的数值推理链。我们的数据集在建模现实世界对话中的长距离,复杂的数值推理路径方面提出了巨大的挑战。我们对神经符号方法和基于推理的方法进行了全面的实验和分析,以深入了解这两种方法的推理机制。我们相信我们的新数据集应该作为一个宝贵的资源,推动对现实世界的探索,复杂的推理任务作为下一个研究重点。我们的数据集和代码可在https://github.com/czyssrs/ConvFinQA上公开获取。
2022-10-07 cs.CL
IPQA: A Benchmark for Core Intent Identification in Personalized Question Answering
Yonsei University(延世大学);University of Washington(华盛顿大学)
本文提出IPQA基准,用于评估个性化问答中用户优先的意图识别能力,揭示现有系统在复杂问题中识别核心意图的不足。
2026-04-17 cs.CL
Interactive Language Learning by Question Answering
Microsoft Research(微软研究院);Polytechnique Montréal(蒙特利尔综合理工学院);Université de Montréal(蒙特利尔大学);Mila(米拉研究院)
人类通过观察和与世界互动来获取知识。然而,大多数现有的机器阅读理解(MRC)的任务错过了互动,信息寻求理解的组成部分。这些任务为模型提供包含所有必要信息的静态文档,这些信息通常集中在一个简短的子字符串中。因此,模型可以通过简单的基于单词和短语的模式匹配来实现强大的性能。我们解决这个问题,制定一个新的基于文本的问答任务:问答与交互式文本(QAit)。在QAit中,代理必须与部分可观察的基于文本的环境进行交互,以收集回答问题所需的信息。QAit提出了关于环境中物体的存在、位置和属性的问题。这些数据是使用基于文本的游戏生成器构建的,该生成器定义了与环境交互的基本动态。我们提出并评估了一组基线模型的QAit任务,包括深度强化学习代理。实验表明,这项任务对机器阅读系统来说是一个重大挑战,而人类相对容易地解决了它。
2019-08-28 cs.CL cs.LG
Towards Probabilistic Question Answering Over Tabular Data
Megagon Labs(梅加贡实验室);Adobe(Adobe公司)
本文针对表格数据问答在不确定性推理上的不足,提出新基准LUCARIO和概率问答框架,通过归纳贝叶斯网络、转化查询并利用LLMs生成答案,实现混合符号-神经推理,显著优于基线。
2026-10-06 cs.CL
Learned, Lagged, LLM-splained: LLM Responses to End User Security Questions
该研究通过定性评估3款主流大语言模型在900个终端用户安全问题上的表现,发现其存在答案过时失准、应答不当等局限,据此提出模型改进方向与用户使用策略。
2025-10-27 cs.AI cs.CL cs.CR
SEGRA: A Structured Experience Guided Reasoning Agent for Property Graph Question Answering
University of British Columbia(英属哥伦比亚大学);Amazon(亚马逊)
针对企业文本到Gremlin问答难题,SEGRA引入经验引导代理,集成多种技术,包括意图路由、查询生成等。在企业IT支持基准测试中成绩出色,平均评判分数大幅提高,技能库还降低了成本,提升了企业图问答的准确性与效率。
2026-08-31 cs.AI
HistoriQA-ThirdRepublic: Multi-Hop Question Answering Corpus for Historical Research, Parliamentary Debates from the French Third Republic (1870-1940)
LRE;EPITA;EPITECH;Bpifrance;CJM
提出一个法语多跳历史问答数据集,基于第三共和国议会辩论和报纸,由历史学家协作构建,涵盖跨源综合、时间推理等复杂推理模式,共1782个问题,用于评估检索增强和大型语言模型在特定领域的效果。
2026-07-01 cs.AI
Creating Causal Embeddings for Question Answering with Minimal Supervision
University of Arizona(亚利桑那大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
问答(QA)的一个常见模型是,一个好的答案是一个密切相关的问题,其中相关性往往是使用通用的词汇模型,如词嵌入确定。我们认为,一个更好的方法是寻找答案,相关的问题,在相关的方式,根据问题的信息需求,这可能是通过特定任务的嵌入确定。以因果关系为用例,我们分三步实现这一见解。首先,我们通过使用一小部分种子模式从自由文本中提取因果对,以经济高效的方式生成因果嵌入。其次,我们训练使用特定于任务的上下文,即,一个原因的背景就是它的结果。最后,我们扩展了一个国家的最先进的重新排序的方法,QA将这些因果嵌入。我们评估因果嵌入模型直接与一个偶然的含义任务,并间接地,在下游因果QA任务使用数据从雅虎!答案我们表明,明确建模的因果关系,提高了这两个任务的性能。在QA任务中,我们的最佳模型实现了37.3%P@1,显著优于强基线7.7%(相对)。
2016-09-26 cs.CL
Context Quality Matters in Training Fusion-in-Decoder for Extractive Open-Domain Question Answering
NEC Corporation(日本电气公司)
本文研究了训练时的上下文质量对Fusion-in-Decoder模型在抽取式开放域问答中性能的影响,发现模型会对上下文质量过拟合,并提出通过向交叉注意力分布引入偏置来有效缓解此问题。
2024-03-21 cs.CL
Multi-Scale Attention for Audio Question Answering
Beijing Key Laboratory of Big Data Management and Analysis Methods(大数据管理与分析方法北京市重点实验室)
针对音频问答在细粒度场景中时间推理不足的问题,提出多尺度窗口注意力融合模型MWAFM,通过异步混合注意力和多尺度窗口注意力聚合跨模态时间上下文并捕获不同长度声音事件,实验证明其有效性。
2023-05-29 cs.AI cs.MM cs.SD
ASPER: Attention-based Approach to Extract Syntactic Patterns denoting Semantic Relations in Sentential Context
Indiana University Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
句子中两个实体之间的语义关系,如上下义关系、因果关系、前后义关系等,通常通过句法模式反映出来。这些模式的自动提取有益于若干下游任务,包括实体提取、本体构建和问答。不幸的是,这种模式的自动提取还没有得到NLP和信息检索研究人员的重视。在这项工作中,我们提出了一个基于注意力的监督深度学习模型,ASPER,它提取的实体之间表现出给定的语义关系在语义上下文的句法模式。我们验证了三个不同的语义关系的性能-hyper-hypernym,因果关系,和mercury-holonym六个数据集上的ASPER。实验结果表明,对于所有这些语义关系,ASPER可以自动识别一个集合的句法模式,反映存在的一对实体之间的这种关系在一个句子。与现有的句法模式提取方法相比,ASPER的性能明显优于其他方法。
2021-04-04 cs.CL
Integrating Neural and Symbolic Components in a Model of Pragmatic Question-Answering
University of Tübingen(图宾根大学);Stanford University(斯坦福大学)
本文提出一个神经-符号框架,将LLM模块整合进概率认知模型以替代人工指定,并通过语用问答案例表明混合模型可达到或超过传统模型性能,同时揭示了LLM在真值条件语义评估上的局限。
2025-06-02 cs.CL
WSI-VQA: Interpreting Whole Slide Images by Generative Visual Question Answering
Zhejiang University(浙江大学);Research Center for Industries of the Future, Westlake University(西湖大学未来产业研究中心);School of Engineering, Westlake University(西湖大学工程学院)
提出WSI-VQA生成式视觉问答框架与W2T模型,将多种WSI切片级任务统一为问答,并构建数据集,实现优于判别模型的医学诊断与可解释预测。
2024-07-08 cs.AI cs.CV
DocIntent: Answerability-Guided Agentic Restoration for Real-World Document Visual Question Answering
South China University of Technology(华南理工大学)
针对真实场景退化影响多模态大语言模型文档问答的问题,提出无需训练的DocIntent框架,通过评估可回答性、选择性调用恢复工具及比较式回滚机制,提升了各类MLLM在WildDoc基准上的表现。
2026-09-01 cs.AI cs.CV
ReXVQA: A Large-scale Visual Question Answering Benchmark for Generalist Chest X-ray Understanding
Saama AI Research(Saama AI研究机构);Seoul National University(首尔国立大学);Harvard Medical School(哈佛医学院)
ReXVQA构建了约69.6万问题的大规模胸部X光VQA基准,覆盖五项放射学推理技能,评估显示MedGemma以83.84%准确率超越人类放射科住院医师,为通用放射学AI评估建立新标准。
2025-06-04 cs.AI cs.CE cs.CL
Quantifying and Alleviating the Language Prior Problem in Visual Question Answering
Shandong University(山东大学);Shandong Computer Science Center (National Supercomputer Center in Jinan)(山东计算机科学中心(国家超级计算济南中心));Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));National University of Singapore(新加坡国立大学)
随着计算机视觉、自然语言处理和信息检索等技术的发展,以图像或视频为对象的视觉问答(VQA)在过去的几年里受到了广泛的关注。尽管到目前为止已经取得了一些进展,但一些研究指出,当前的VQA模型受到\emph{language prior problem}的严重影响,这意味着它们倾向于基于问题关键字的共现模式来回答问题(例如,多少)和答案(例如,2)而不是理解图像和问题。现有的方法试图通过平衡有偏差的数据集或迫使模型更好地理解图像来解决这个问题。然而,只有边际效应,甚至性能恶化观察到的第一和第二种解决方案,分别。此外,另一个重要的问题是缺乏定量测量语言先验效应的程度,这严重阻碍了相关技术的发展。本文从两个方面对解决上述问题做出了贡献。首先,我们设计了一个度量标准来定量度量VQA模型的语言先验效应。在我们的实证研究中,该指标已被证明是有效的。其次,我们提出了一种正则化方法(即,评分正则化模块),通过缓解语言先验问题以及提升骨干模型性能来增强当前的VQA模型。所提出的分数正则化模块采用成对学习策略,这使得VQA模型基于图像的推理(基于这个问题)来回答问题,而不是基于在有偏训练集中观察到的问答模式。分数正则化模块可以灵活地集成到各种VQA模型中。
2019-05-13 cs.CL cs.CV cs.IR
Spatial Audio Question Answering and Reasoning on Dynamic Source Movements
Qualcomm Technologies Inc.(高通技术公司)
本文提出了一种空间音频问答方法,通过运动推理和多模态微调提升动态声源识别与理解能力。
2026-02-18 cs.AI cs.SD
Neural Reasoning, Fast and Slow, for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所)
设计一台机器来学习回答关于视频的自然问题需要什么?视频QA系统必须同时理解语言,表示时空上的视觉内容,并迭代地转换这些表示以响应查询中的语言内容,并最终得到合理的答案。虽然语言和视觉问答的最新进展已经实现了复杂的表示和神经推理机制,但视频QA的主要挑战仍然是支持推理过程的概念,关系和动作的动态基础。受人类推理的双进程帐户的启发,我们设计了一个双进程神经架构,它由一个问题引导的视频处理模块(系统1,快速和反应),其次是一个通用的推理模块(系统2,缓慢和审议)。系统1是一个分层模型,它根据问题中的文本线索,对关于物体、动作和时空关系的视觉模式进行编码。编码表示是一组高级视觉特征,然后将其传递给系统2。在这里,多步推理按照文本元素的指示迭代地链接视觉元素。在SVQA(合成)和TGIF-QA数据集(真实)上对该系统进行了评估,证明了竞争结果,在多步推理的情况下具有很大的优势。
2020-04-11 cs.AI cs.CV cs.LG
Modeling Relational Patterns for Logical Query Answering over Knowledge Graphs
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southampton(南安普顿大学)
本文提出一种新颖的查询嵌入方法RoConE,通过在复数空间利用几何锥体和旋转算子建模关系模式,有效增强了一阶逻辑查询的回答性能。
2025-03-04 cs.AI cs.DB cs.LG
A Neuro-Symbolic Framework for Answering Graph Pattern Queries in Knowledge Graphs
University of Antwerp(安特卫普大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Elsevier(爱思唯尔);Universidad Católica de Chile(智利天主教大学);CENIA Chile(智利CENIA机构);Inst. for Math. and Comp. Eng.(数学与计算工程研究所);IMFD Chile(智利IMFD机构)
提出一种神经符号框架,通过近似方案支持在不完整知识图谱上回答包含循环和存在量词的任意图模式查询,在多数据集上表现具竞争力并扩展了现有模型能力。
2024-06-05 cs.AI cs.DB cs.LG
SAT-Based Algorithms for Regular Graph Pattern Matching
OutSystems;Zharta
针对图同构仅能校验严格相等、无法检测复杂结构性质的局限,研究提出受正则表达式启发的正则图模式ReGaP及基于SAT的匹配算法,还设计了预处理优化技术,经CodeSearchNet基准实验验证有效。
2023-12-15 cs.AI
Effective Instruction Parsing Plugin for Complex Logical Query Answering on Knowledge Graphs
Hefei University of Technology(合肥工业大学);Beijing University of Technology(北京工业大学)
针对查询模式学习中的模式—实体对齐偏差,提出即插即用的 QIPP,用类代码指令和 PLM 编码完整 FOL 查询模式,并通过注入与自适应归一化提升 8 类 KGQE 模型性能。
2024-10-27 cs.AI
Counting Still Counts: Understanding Neural Complex Query Answering Through Query Relaxation
Translational AI Laboratory, Department of Laboratory Medicine Amsterdam University Medical Center, Vrije Universiteit Amsterdam(阿姆斯特丹大学医学中心转化人工智能实验室,实验室医学系,自由大学阿姆斯特丹);Vrije Universiteit Amsterdam(自由大学阿姆斯特丹);University of Stuttgart(斯图加特大学);ELLIS Institute Finland & Abo Akademi University, Turku, Finland(芬兰埃利斯研究所及图尔库芬兰阿博阿卡迪米大学);Elsevier discovery lab, Amsterdam(埃斯勒尔发现实验室,阿姆斯特丹)
通过比较神经模型与基于查询放松的策略,研究发现两者在某些情况下表现相似,且结合两者输出可提升性能,提示需重新评估神经查询回答的进展。
2026-05-11 cs.AI cs.DB cs.LG
Towards Researcher Agents for Knowledge-Graph Question Answering
Liber AI Research(Liber AI研究院)
本研究提出研究者智能体式文本转SPARQL系统,在DBpedia上迭代优化后,其在2025年DBpedia验证集上总体准确率达0.22,发现瓶颈在谓词选择,建议基准采用多指标评分。
2026-08-11 cs.AI cs.DB
Combining Inductive and Deductive Reasoning for Query Answering over Incomplete Knowledge Graphs
AIT Austrian Institute of Technology(奥地利技术研究所);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Edinburgh(爱丁堡大学)
针对不完整知识图谱查询回答仅依赖归纳推理的局限,提出将本体融入嵌入模型,通过数据增强和损失函数调整实现演绎推理,在LUBM和NELL基准上HITS@3提升20%-55%。
2023-08-31 cs.AI cs.DB cs.LG