A Learn-Then-Reason Model Towards Generalization in Knowledge Base Question Answering
Renmin University of China(中国人民大学);Zhongguancun Laboratory(中关村实验室)
针对现有知识库问答模型泛化受限的问题,本文提出遵循先学习后推理框架的KBLLaMA,将知识库知识注入大语言模型,在多个基准上取得了优于基线的性能。
2024-06-20 cs.AI cs.CL
Reassessing Evaluation Practices in Visual Question Answering: A Case Study on Out-of-Distribution Generalization
DeepMind(深度思维);University of Copenhagen(哥本哈根大学);University of Oxford(牛津大学)
本文通过跨数据集评估发现,预训练视觉与语言模型在VQA分布外设置下泛化能力差,倾向于解决基准而非学习高级技能,且自动评估指标的严苛性会错误惩罚正确响应。
2023-04-01 cs.AI cs.CL cs.CV
Causal Reasoning through Two Layers of Cognition for Improving Generalization in Visual Question Answering
Tokyo Institute of Technology(东京工业大学)
针对视觉问答泛化能力不足的问题,提出两层认知架构的CopVQA模型,通过多通路因果推理与专家模块协作提升性能,在多数据集上取得优异表现且模型规模更小。
2023-10-09 cs.AI
Encoding Explanatory Knowledge for Zero-shot Science Question Answering
University of Manchester(曼彻斯特大学);Cancer Research UK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
本文介绍了N-XKT(基于解释性知识转移的神经编码),一种通过神经编码机制自动转移解释性知识的新方法。我们证明了N-XKT能够提高科学问答(QA)的准确性和概括性。具体而言,通过利用来自背景解释性知识语料库的事实,N-XKT模型显示出对zero-shot QA的明显改进。此外,我们还证明了N-XKT可以在目标QA数据集上进行微调,从而实现更快的收敛和更准确的结果。通过系统分析,定量分析了N-XKT模型的性能以及不同知识类别对zero-shot泛化任务的影响。
2021-05-19 cs.CL cs.LG
Zero-shot Generalization in Dialog State Tracking through Generative Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门);UC San Diego(加州大学圣地亚哥分校);AWS AI(亚马逊云服务人工智能部门)
对话状态跟踪(DST)是现代对话系统的一个组成部分,旨在跟踪面向任务的对话中的用户偏好和约束(槽)。在服务不断变化的现实环境中,DST系统必须推广到新的域和不可见的插槽类型。现有的DST方法不能很好地推广到新的插槽名称,并且许多方法需要插槽类型和值的已知本体进行推理。我们介绍了一种新的本体自由框架,支持自然语言查询看不见的约束和插槽在多领域面向任务的对话。我们的方法是基于生成式问答使用条件语言模型预先训练的实质性英语句子。我们的模型在zero-shot领域自适应设置中将联合目标精度提高了9%(绝对值),超过了MultiWOZ 2.1数据集上的先前最先进水平。
2021-01-20 cs.CL
Knowledge Graph Question Answering Datasets and Their Generalizability: Are They Enough for Future Research?
University Hamburg(汉堡大学)
现有的基于知识图谱的问答方法普遍性不强。这通常是由于标准的i.i.d.对底层数据集的假设。最近,定义了KGQA的三个泛化级别,即i.i.d.,构图,zero-shot。我们分析了25个著名的KGQA数据集5个不同的知识图谱(KG)。我们表明,根据这个定义,许多现有的和在线可用的KGQA数据集要么不适合训练一个可推广的KGQA系统,或者数据集是基于中断和过时的KG。生成新的数据集是一个昂贵的过程,因此,它不是小型研究团体和公司的替代方案。在这项工作中,我们提出了一种缓解方法,用于重新分割可用的KGQA数据集,以使其适用于评估泛化,而无需任何成本和手动工作。我们在三个KGQA数据集上测试我们的假设,即,LC-QuAD、LC-QuAD 2.0和QALD-9)。在重新分裂的KGQA数据集上的实验证明了该方法的有效性。访问18个可用数据集的代码和统一方式可在https://github.com/semantic-systems/KGQA-datasets和https://github.com/semantic-systems/KGQA-datasets-generalization上在线查看。
2022-05-13 cs.AI cs.CL
Penalizing Confident Predictions on Largely Perturbed Inputs Does Not Improve Out-of-Distribution Generalization in Question Answering
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
问答(QA)模型被证明是不敏感的大扰动输入,也就是说,他们作出正确和自信的预测,即使在很大程度上扰动输入,人类不能正确地得出答案。此外,QA模型无法推广到其他领域和对抗性测试集,而人类则保持了高准确性。基于这些观察,我们假设QA模型不使用人类阅读所需的预期特征,而是依赖于虚假特征,导致缺乏泛化能力。因此,我们试图回答这样一个问题:如果QA模型对各种类型的扰动的过度自信的预测受到惩罚,是否会改善分布外(OOD)的推广?为了防止模型对扰动输入做出自信的预测,我们首先遵循现有的研究,并最大化扰动输入的输出概率的熵。然而,我们发现,训练成对某种扰动类型敏感的QA模型往往对看不见的扰动类型不敏感。因此,我们同时最大化四种扰动类型的熵(即,单词和重复级别的洗牌和删除),以进一步缩小模型和人类之间的差距。与我们的预期相反,虽然模型变得敏感的四种类型的扰动,我们发现,面向对象的推广并没有得到改善。此外,面向对象的推广有时会退化后熵最大化。对很大程度上受到干扰的输入本身进行不自信的预测可能有利于获得人类的信任。然而,我们的负面结果表明,研究人员应该注意熵最大化的副作用。
2022-11-29 cs.CL
Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);SynthLabs;Carnegie Mellon University(卡内基梅隆大学)
本文提出分布记忆概念和task-gram语言模型,通过统计预训练语料中n-gram共现频率,在Pythia模型上分析四项任务,发现记忆在知识密集型任务中作用更大,泛化是推理任务关键。
2025-03-02 cs.AI cs.CL cs.LG
D3: Data Diversity Design for Systematic Generalization in Visual Question Answering
Massachusetts Institute of Technology (MIT)(麻省理工学院);Fujitsu Research of America, Inc.(富士通美国研究所);Fujitsu Limited(富士通株式会社)
本研究通过视觉问答任务证明,简单任务的数据多样性对系统性泛化至关重要,且该结论独立于训练与测试数据相似性,适用于多种神经网络架构,为数据设计、架构与泛化关系提供了初步见解。
2024-11-05 cs.AI cs.CV
Can Out-of-Distribution Evaluations Uncover Reliance on Shortcuts? A Case Study in Question Answering
Language Technology, University of Helsinki(赫尔辛基大学语言技术中心);Kempelen Institute of Intelligent Technologies(智能技术研究所)
本研究以问答任务为例,挑战了分布外评估可反映模型实际故障的假设,发现不同分布外评估数据集对模型捷径鲁棒性的估计质量差异大,部分不及分布内评估,进而提出更稳健的泛化评估方法与建议。
2025-08-25 cs.AI cs.CL
DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出无监督指标DecompEval,通过指令式PLM问答并将文本质量问题分解为句子级子问题,以提升NLG评估的泛化性与可解释性。
2023-07-13 cs.AI cs.CL
Entity-Based Knowledge Conflicts in Question Answering
Apple(苹果公司);University of California, Irvine(加州大学尔湾分校)
知识依赖型任务通常使用两种知识来源:参数,在训练时学习,以及上下文,在推理时作为段落给出。为了理解模型如何一起使用这些资源,我们将知识冲突问题形式化,即上下文信息与学习信息相矛盾。通过分析流行模型的行为,我们测量了它们对记忆信息的过度依赖(幻觉的原因),并发现了加剧这种行为的重要因素。最后,我们提出了一种简单的方法来减轻对参数知识的过度依赖,该方法最大限度地减少了幻觉,并将分布外泛化提高了4%-7%。我们的研究结果证明了从业者评估模型倾向于产生幻觉而不是阅读的重要性,并表明我们的缓解策略鼓励对不断变化的信息进行概括(即,时间相关查询)。为了鼓励这些实践,我们发布了生成知识冲突的框架。
2022-01-12 cs.CL cs.LG
Multi-Sourced Compositional Generalization in Visual Question Answering
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China(北京智能信息科技重点实验室,计算机科学与技术学院,北京理工大学,中国);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China(广东机器感知与智能计算实验室,深圳MSU-BIT大学,中国)
本文探索视觉问答中的多源组合泛化(MSCG),提出检索增强训练框架,通过为不同模态基本元素学习统一表示增强模型泛化能力,并构建GQA-MSCG数据集验证有效性。
2025-05-29 cs.AI cs.CV
SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval
SOCO Inc(索科公司);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了SPARTA,一种新的神经检索方法,表现出很大的承诺,在性能,泛化和解释性的开放域问答。与许多使用密集向量最近邻搜索的神经排名方法不同,SPARTA学习了一种稀疏表示,可以有效地实现为倒排索引。由此产生的表示使可扩展的神经检索,不需要昂贵的近似向量搜索,并导致更好的性能比其密集的对应。我们在4个开放域问答(OpenQA)任务和11个检索问答(ReQA)任务上验证了我们的方法。SPARTA实现了新的国家的最先进的结果,在各种开放领域的问答任务在英语和中文数据集,包括开放SQuAD,自然问题,CMRC等分析也证实,所提出的方法创建人类可解释的表示,并允许灵活控制性能和效率之间的权衡。
2020-09-28 cs.CL cs.LG
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本研究探讨利用LLM生成数据增强问答数据集,以提升模型在自然分布偏移下的鲁棒性,通过两步生成上下文和问答对,实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
Learning to Explain: Datasets and Models for Identifying Valid Reasoning Chains in Multihop Question-Answering
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Allen Institute for AI(艾伦人工智能研究所)
尽管在多跳问答(QA)方面取得了快速进展,但模型仍然难以解释为什么答案是正确的,可供学习的解释训练数据有限。为了解决这个问题,我们引入了三个解释数据集,其中从语料库事实形成的解释被注释。我们的第一个数据集eQASC包含多跳问答数据集QASC的超过98K的解释注释,并且是第一个为每个答案注释多个候选解释的数据集。第二个数据集eQASC扰动是通过QASC中的解释子集的众包扰动(同时保持其有效性)来构建的,以测试解释预测模型的一致性和泛化。第三个数据集eOBQA是通过向OBQA数据集添加解释注释来构建的,以测试在eQASC上训练的模型的泛化。我们表明,使用基于BERT的分类器,这些数据可用于显着提高解释质量(在强检索基线上增加14%的绝对F1),但仍然落后于上限,为未来的研究提供了新的挑战。我们还探索了一种去词汇化的链表示,其中重复的名词短语被变量替换,从而将它们转化为广义推理链(例如:“X是Y”和“Y有Z”暗示“X有Z”)。我们发现,广义链保持性能,同时也更强大的某些扰动。
2020-10-07 cs.AI cs.CL
Omne-R1: Learning to Reason with Memory for Multi-hop Question Answering
Tanka Inc.(Tanka公司)
本文提出Omne-R1方法,通过多阶段训练流程(含强化学习和监督微调)结合领域无关知识图谱构建与问答对自动生成,增强无模式知识图谱多跳问答能力,尤其提升3+跳复杂问题性能并实现跨领域泛化。
2025-08-24 cs.AI cs.CL
Ontology-Guided, Hybrid Prompt Learning for Generalization in Knowledge Graph Question Answering
University of Hamburg(汉堡大学);Leuphana University Lüneburg(吕讷堡勒法纳大学);Institute for Information Systems(信息系统研究所)
本文提出 OntoSCPrompt,通过两阶段架构与本体引导的混合提示学习,使基于大语言模型的知识图谱问答系统无需重新训练即可泛化到未见知识图谱,并在多个数据集上达到 SOTA 水平。
2025-02-06 cs.AI cs.CL
Biomedical Entity Linking as Multiple Choice Question Answering
Jarvis Research Center, Tencent YouTu Lab(贾维斯研究中心,腾讯优图实验室)
针对生物医学实体链接中细粒度与长尾实体的挑战,提出将该任务转化为多项选择题问答的BioELQA模型,通过显式比较候选实体、拼接相似标注实例提升泛化,在多数据集上超越现有最优基线。
2024-05-17 cs.AI cs.CL cs.LG
Building the Intent Landscape of Real-World Conversational Corpora with Extractive Question-Answering Transformers
Bell Canada(加拿大贝尔)
对于提供客户服务的公司来说,在会话数据中映射意图对于构建基于自然语言理解(NLU)的应用程序至关重要。然而,目前还没有建立自动化技术来从嘈杂的在线聊天或语音记录中收集意图。简单的聚类方法不适合意图稀疏的对话。为了解决这个意图景观任务,我们提出了一个无监督的管道,从现实世界的对话中提取意图和意图的分类。我们的管道使用提取问答Electra模型挖掘意图跨度候选项,并利用句子嵌入应用低级别密度聚类,然后是顶级层次聚类。我们的研究结果证明了在SQuAD 2数据集上微调的ELECTRA大型模型的泛化能力,以理解对话。通过正确的提示问题,该模型实现了超过85%的意图跨度的语言验证率。我们还从MultiDoGo数据集重建了五个领域的意图方案,平均召回率为94.3%。
2022-08-30 cs.AI cs.CL cs.LG
Encoder Adaptation of Dense Passage Retrieval for Open-Domain Question Answering
David R. Cheriton School of Computer Science(大卫·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
密集通道检索器(DPR)的一个关键特征是在双向编码器设计中使用单独的问题和通道编码器。以前的DPR的推广工作主要集中在测试两个编码器串联在分布外(OOD)问答(QA)任务,这也被称为领域自适应。然而,DPR的单个问题/段落编码器如何影响泛化仍然是未知的。具体来说,在本文中,我们想知道如果与来自另一个域的OOD通道/问题编码器配对,分发(IND)问题/通道编码器将如何泛化。我们将此挑战称为\textit{encoder adaptation}。为了回答这个问题,我们检查DPR的问题和通道编码器的不同组合,从五个基准QA数据集上的域内和域外的问题。我们发现通道编码器对泛化下限的影响更大,而问题编码器似乎在总体上影响上界。例如,应用OOD段落编码器通常会损害检索准确性,而OOD问题编码器有时甚至会提高准确性。
2021-10-04 cs.CL cs.IR
Dynamic Few-Shot Learning for Knowledge Graph Question Answering
University of Bologna(博洛尼亚大学)
针对大型语言模型在KGQA查询生成及域外泛化上的不足,本文提出融合上下文学习与语义相似性的DFSL方法,并在多基准、多架构配置下验证其先进性能。
2024-07-01 cs.AI cs.CL
BioTABQA: Instruction Learning for Biomedical Table Question Answering
Arizona State University(亚利桑那州立大学)
表格式问答是一项重要但尚未被充分研究的任务。大多数现有的QA数据集都是非结构化的文本格式,只有少数使用表格作为上下文。据我们所知,没有一个TQA数据集存在于生物医学领域,在生物医学领域中,表格经常用于呈现信息。在本文中,我们首先策划了一个表问答数据集,BioTABQA,使用22个模板和上下文从生物医学教科书上的鉴别诊断。BioTABQA不仅可以用来教模型如何回答表格中的问题,还可以评估模型如何推广到看不见的问题,这是生物医学应用的一个重要场景。为了实现泛化评估,我们将模板分为17个训练和5个跨任务评估。然后,我们在BioTABQA上使用单任务和多任务学习开发了两个基线。此外,我们探讨了教学学习,最近的技术表现出令人印象深刻的概括性能。实验结果表明,在各种评估设置中,我们的预防调整模型的平均性能优于单任务和多任务基线约23%和约6%,更重要的是,预防调整模型在跨任务上优于基线约5%。
2022-07-06 cs.AI cs.CL cs.LG
FC-KBQA: A Fine-to-Coarse Composition Framework for Knowledge Base Question Answering
Renmin University of China(中国人民大学);Tsinghua University(清华大学)
针对KBQA中粗粒度建模导致的泛化差和细粒度建模导致的不可执行问题,提出FC-KBQA框架,通过提取细粒度知识组件并重组为中粒度知识对生成逻辑表达式,兼顾泛化与可执行性,在GrailQA和WebQSP上达到SOTA且速度提升4倍。
2023-06-26 cs.AI
On the Transferability of Minimal Prediction Preserving Inputs in Question Answering
Apple Inc.(苹果公司)
最近的工作(Feng et al.,2018)建立了短的,不可解释的输入片段的存在,这些片段在神经模型中产生高置信度和准确性。我们将其称为最小预测保持输入(MPPI)。在问答的背景下,我们研究了MPPI存在的竞争假设,包括神经模型的后验校准差,缺乏预训练和“数据集偏差”(其中模型学会关注训练数据中的虚假,不可推广的线索)。我们发现MPPI对随机训练种子、模型架构、预训练和训练域具有令人困惑的不变性。MPPI表现出显著的跨域可移植性,实现了比短查询更高的性能。此外,惩罚MPPI上的过度自信无法提高泛化或对抗鲁棒性。这些结果表明MPPI的可解释性不足以表征这些模型的泛化能力。我们希望这种集中的调查鼓励更系统地分析模型行为以外的人类可解释的分布的例子。
2021-03-25 cs.CL
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院)
知识图谱(KG)是事实的符号结构化存储。KG嵌入包含用于NLP任务的简洁数据,这些任务需要关于真实世界的隐式信息。此外,在实际NLP分配中可能有用的KG的大小是巨大的,并且在其上创建嵌入具有内存成本问题。我们将KG表示为三阶二进制张量,并通过使用其特定数据的广义版本超越标准CP分解。标准CP-ALS算法的泛化允许在没有反向传播机制的情况下获得优化梯度。它减少了训练所需的内存,同时提供了计算优势。我们提出了一个MEKER,一个内存高效的KG嵌入模型,它产生SOTA的链接预测任务和KG为基础的问答相当的性能。
2022-05-24 cs.AI cs.CL cs.IR
Domain-agnostic Question-Answering with Adversarial Training
Maru(42Maru);Samsung Research(三星研究院)
在深度学习中,在不进行微调的情况下使模型适应新的领域是一个具有挑战性的问题。在本文中,我们利用对抗训练框架的领域泛化在问答(QA)任务。我们的模型包括一个传统的QA模型和一个QA模型。训练以对抗的方式进行,两个模型不断竞争,因此QA模型可以学习域不变特征。我们在MRQA共享任务2019中应用了这种方法,并显示出比基线模型更好的性能。
2019-10-22 cs.CL
SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning
IBM Research(IBM研究院);EPFL(洛桑联邦理工学院)
在知识图谱上进行推理和问答的现有方法通常随着边的数量而缩放,并且只能有效地应用于小的实例依赖子图。在本文中,我们解决这个问题,表明多跳和更复杂的逻辑推理可以单独完成,而不会失去表达能力。出于这种认识,我们提出了一种多跳推理的方法,该方法与图中的关系类型的数量呈线性关系,通常比边或节点的数量要小得多。这会产生一组候选解决方案,这些解决方案可以被证明是精炼的,以恢复原始问题的解决方案。我们对基于知识的问答的实验表明,我们的方法解决了多跳MetaQA数据集,实现了一个新的国家的最先进的更具挑战性的WebbrowsSP,是数量级的可扩展性比竞争对手的方法,并可以实现合成泛化的训练分布。
2021-10-27 cs.AI cs.CL cs.IR
More Bang for Your Buck: Natural Perturbation for Robust Question Answering
Allen Institute for AI(艾伦人工智能研究所)
虽然最近的模型在许多NLP数据集上取得了人类水平的分数,但我们观察到它们对输入的微小变化相当敏感。作为一种替代的标准方法,解决这个问题,通过构建训练集的全新的例子,我们建议这样做,通过最小的扰动的例子。具体来说,我们的方法包括首先收集一组种子示例,然后应用人类驱动的自然扰动(而不是基于规则的机器扰动),这通常也会改变黄金标签。局部扰动的优点是创建起来相对容易(因此也更便宜),而不是写出全新的例子。为了评估这种现象的影响,我们考虑了最近的问答数据集(BoolQ),并研究了我们的方法作为扰动成本比的函数的好处,扰动现有问题与从头开始创建新问题的相对成本。我们发现,当自然扰动是适度便宜的创建,它是更有效的训练模型使用它们:这样的模型表现出更高的鲁棒性和更好的泛化,同时保留性能的原始布尔Q数据集。
2020-10-06 cs.AI cs.CL cs.LG
MetaGen Blended RAG: Unlocking Zero-Shot Precision for Specialized Domain Question-Answering
IBM
针对企业专业领域RAG零样本精度低的问题,提出MetaGen Blended RAG,通过元数据生成与混合查询索引增强检索,在PubMedQA上超越现有零样本基准并媲美微调模型。
2025-08-05 cs.AI cs.CL cs.IR
TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense Question Answering
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
无监督常识问答要求在不依赖于已标记任务数据的情况下挖掘有效的常识知识。以往的方法通常从传统的知识库中提取或使用预训练的语言模型(PrLM)来生成固定类型的知识,泛化能力较差。在本文中,我们的目标是解决上述限制,利用存储在PrLM中的隐式知识,并提出了一个两阶段的无监督的常识问答框架(TSGP)。具体来说,我们首先使用知识生成提示生成所需的知识,无限类型的问题和可能的候选答案独立于指定的选择。然后,我们进一步利用答案生成提示生成可能的候选答案独立于指定的选择。在CommonsenseQA、OpenBookQA和SocialIQA三个不同的常识推理任务上的实验结果和分析表明,TSGP显著提高了无监督环境下语言模型的推理能力。我们的代码可在https://github.com/Yueqing-Sun/TSGP上获得。
2022-11-24 cs.AI cs.CL
Generative Visual Question Answering
针对现有VQA模型缺乏时间泛化能力的问题,本文提出基于stable diffusion生成的GenVQA增强数据集,测试7款模型在时间分布偏移下的表现并分析有效架构特征,为提升模型鲁棒性提供数据支撑。
2023-07-18 cs.AI cs.CV
RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce Research(赛富时研究院)
现有的KBQA方法,尽管在i.i.d.测试数据通常难以归纳出涉及不可见的KB模式项的问题。先前的基于排名的方法已经在推广方面取得了一些成功,但受到覆盖问题的困扰。我们提出了RnG-KBQA,排名和生成方法KBQA,它补救了覆盖问题的生成模型,同时保持了强大的泛化能力。我们的方法首先使用一个对比排序器来排列一组通过搜索知识图谱获得的候选逻辑形式。然后,它引入了一个定制的生成模型的问题和排名靠前的候选人组成的最终逻辑形式的条件。我们在GrailQA和WebQSP数据集上取得了最新的成果。特别是,我们的方法在GrailQA排行榜上远远超过了现有的最先进的方法。此外,RnG-KBQA在流行的WebQSP基准测试中优于所有先前的方法,甚至包括使用Oracle实体链接的方法。实验结果表明,排名和生成之间的相互作用的有效性,这导致我们提出的方法在所有设置的优越性能,特别是强大的改进zero-shot泛化。
2022-03-21 cs.CL
DyREx: Dynamic Query Representation for Extractive Question Answering
FI Group(FI集团);Université Sorbonne Paris Nord(索邦巴黎北大学);CNRS(法国国家科学研究中心)
抽取式问答是自然语言处理的一项重要任务。ExQA的主要方法是用预训练的Transformer表示输入序列标记(问题和段落),然后使用两个学习的查询向量来计算开始和结束答案跨度位置的分布。这些查询向量缺乏输入的上下文,这可能是模型性能的瓶颈。为了解决这个问题,我们提出了\textit{DyREx},\textit{vanilla}方法的推广,我们动态计算查询向量的输入,通过Transformer层使用的注意力机制。经验观察表明,我们的方法始终提高性能的标准之一。用于运行实验的代码和随附文件可在\url{https://github.com/urchade/DyReX}获得。
2022-10-26 cs.AI cs.CL
Relation-Guided Pre-Training for Open-Domain Question Answering
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
解决复杂的开放域问题需要理解涉及实体之间的潜在关系。然而,我们发现现有的QA数据集在某些类型的关系中非常不平衡,这损害了长尾关系问题的泛化性能。为了解决这个问题,在本文中,我们提出了一个指导性的预训练(RGPT-QA)框架。我们首先生成一个关系QA数据集,涵盖了维基数据三元组和维基百科超链接的广泛关系。然后,我们预训练一个QA模型来推断问题中的潜在关系,然后进行提取QA以获得目标答案实体。我们证明,通过使用建议的RGPT-QA技术进行预训练,流行的开放域QA模型Dense Passage Retriever(DPR)在Natural Questions,TriviaQA和WebQuestions上的精确匹配准确率分别提高了2.2%,2.4%和6.3%。特别是,我们表明,RGPT-QA显着改善长尾关系的问题
2021-09-21 cs.CL cs.LG
Answering Unanswered Questions through Semantic Reformulations in Spoken QA
Macquarie University(麦考瑞大学);Amazon.com, Inc.(亚马逊公司)
针对口语问答中因言语不流利、复杂句法和高具体性导致的未解答问题,提出SURF语义重构模型,并通过离线与线上实验验证其显著提升回答率和用户满意度。
2023-06-03 cs.AI cs.CL
ProQA: Structural Prompt-based Pre-training for Unified Question Answering
Sun Yat-sen University(中山大学);Tsinghua University(清华大学);Langboat Technology(澜舟科技);Microsoft Research Asia(微软亚洲研究院);Chinese University of Hong Kong(香港中文大学)
问答(QA)是自然语言处理中的一个长期挑战。现有的问答工作大多集中在特定的问题类型,知识领域,或推理技能。QA研究的专业性阻碍了系统对任务之间的共性建模和更广泛应用的泛化。为了解决这个问题,我们提出了ProQA,一个统一的QA范式,通过一个单一的模型来解决各种任务。ProQA以统一的结构化提示为桥梁,通过基于结构化提示的预训练提高以QA为中心的能力。通过一个结构化设计的基于知识的输入模式,ProQA同时模型的知识概括的所有QA任务,同时保持知识定制的每一个特定的QA任务。此外,ProQA是预先训练的结构化的格式化的大规模合成语料库,这赋予了通常所需的QA能力的模型。在11个QA基准测试上的实验结果表明,ProQA在全数据微调、少样本学习和zero-shot测试场景下都能持续提高性能。此外,ProQA利用结构提示的优势,在持续学习和迁移学习方面表现出较强的能力。
2022-12-09 cs.CL
An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift
School of Computer Science University of Sheffield, UK(计算机科学学院 谢菲尔德大学)
本研究通过比较不同对齐目标和适应策略,探讨领域转移下偏好微调的泛化性和多样性,发现伪标签法能有效缓解领域转移带来的性能下降。
2026-08-25 cs.AI cs.CL cs.LG
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);The Chinese University of Hong Kong(香港中文大学)
近年来,问答技术在性能上取得了显著的进步,一些问答模型的性能甚至超过了人工。然而,这些模型在真正理解语言方面的能力仍然值得怀疑,并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力,提出了一种基于语义和上下文约束的表示增强(ESC)方法来提高词汇嵌入的鲁棒性。具体来说,我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失,以更好地区分上下文线索的正确答案。实验结果表明,该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Hierarchical Poset Decoding for Compositional Generalization in Language
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
我们将人类的语言理解形式化为一个结构化的预测任务,其输出是一个偏序集(poset)。现有的编码器-解码器体系结构没有充分考虑语义的偏序集结构,因此组合泛化能力较差。在本文中,我们提出了一个新的层次偏序集解码范式的合成概括的语言。直觉:(1)所提出的范例在语义上强制执行部分置换不变性,从而避免对偏置排序信息的过拟合;(2)分层机制允许捕获偏序集的高级结构。我们评估我们提出的解码器上的组合自由基问题(CFQ),一个大的和现实的自然语言问答数据集,是专门设计来衡量组成的泛化。结果表明,它优于目前的解码器。
2020-10-15 cs.AI cs.CL
Discrepancy Detection at the Data Level: Toward Consistent Multilingual Question Answering
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);University of Maryland, College Park(马里兰大学帕克分校)
本文提出MIND,一种用户参与的事实核查流程,用于检测多语言问答系统中的事实和文化差异,在母婴健康领域及其他数据集上验证了其有效性,以支持构建更一致且具文化意识的问答系统。
2025-10-13 cs.AI cs.CL
General Table Question Answering via Answer-Formula Joint Generation
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);Kuaishou Technology(快手科技)
针对现有表格问答方法通用性不足的问题,提出将电子表格公式作为可执行表示,构建FormulaQA数据集和TabAF通用框架,在多个基准上取得同规模模型下的最优性能。
2025-08-31 cs.AI cs.CL
TIARA: Multi-grained Retrieval for Robust Question Answering over Large Knowledge Bases
Microsoft Research(微软研究院);Nanjing University(南京大学);Nankai University(南开大学);Harbin Institute of Technology(哈尔滨工业大学)
预训练的语言模型(PLM)在多种场景中显示出其有效性。然而,KBQA仍然具有挑战性,特别是在覆盖和泛化设置方面。这是由于两个主要因素:i)理解问题和来自KB的相关知识的语义; ii)生成具有语义和语法正确性的可执行逻辑形式。在本文中,我们提出了一个新的KBQA模型,TIARA,它通过应用多粒度检索来帮助PLM关注最相关的KB上下文,即,实体、示例性逻辑形式和模式项。此外,约束解码用于控制输出空间和减少生成错误。重要基准的实验证明了我们的方法的有效性。TIARA比之前的SOTA(包括那些使用PLM或Oracle实体注释的SOTA)在GrailQA和Websites SP上分别至少高出4.1和1.1个F1点。
2022-10-24 cs.AI cs.CL
Rethinking Data Augmentation for Robust Visual Question Answering
Columbia University(哥伦比亚大学);Zhejiang University(浙江大学)
数据增强(DA)--在原始训练集之外生成额外的训练样本--已被广泛用于当今无偏的VQA模型中,以减轻语言偏见。目前主流的DA策略是基于合成的方法,通过编辑一些视觉区域/单词或从头开始重新生成新的样本来合成新的样本。然而,这些合成的样本总是不自然的并且容易出错。为了避免这个问题,最近的DA工作通过随机配对原始图像和其他人类书写的问题来组成新的增强样本。不幸的是,为了保证增强样本具有合理的地面真理答案,他们手动设计了一套启发式规则,这极大地限制了其泛化能力。为此,我们提出了一个新的知识蒸馏为VQA的数据增强,被称为KDDAug。具体来说,我们首先放宽了合理的图像问题对的要求,这可以很容易地应用于任何问题类型。然后,我们设计了一个基于知识蒸馏(KD)的答案分配,以产生伪答案的所有组成的图像问题对,这是鲁棒的域内和外的分布设置。由于KDDAug是一种与模型无关的DA策略,因此它可以无缝地集成到任何VQA架构中。对多个主干和基准的广泛消融研究已经证明了KDDAug的有效性和推广能力。
2022-09-15 cs.AI cs.CL cs.CV
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University(哈尔滨工程大学);Monash University(莫纳什大学)
医学图像视觉问答(VQA)是在给定的射线图像下回答临床问题的任务,这是一个具有挑战性的问题,需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题,预训练-微调范式被广泛用于提高模型的泛化能力。在本文中,我们提出了一种自监督的方法,应用掩码图像建模,屏蔽语言建模,图像文本匹配和图文对齐通过对比学习(M2 I2)的预训练的医学图像字幕数据集,并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
Training Table Question Answering via SQL Query Decomposition
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);University of Angers(昂热大学)
本文提出在表格问答训练中通过模仿受限SQL类代数运算的执行流程提供中间监督,从而提升泛化与结构化推理能力,并探讨了生成架构与外部算法在操作预测上的分工。
2024-02-19 cs.AI cs.DB
MetaQA: Combining Expert Agents for Multi-Skill Question Answering
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Koç University(科奇大学)
最近问答(QA)数据集和模型的爆炸式增长增加了人们对通过在多个数据集上训练或通过组合多个模型来跨多个领域和格式泛化模型的兴趣。尽管多数据集模型的结果很有希望,但某些领域或QA格式可能需要特定的架构,因此这些模型的适应性可能受到限制。此外,目前用于组合模型的方法忽略了诸如问答兼容性之类的线索。在这项工作中,我们建议将专家代理与一种新颖,灵活,高效的训练架构相结合,该架构考虑问题,答案预测和答案预测置信度得分,以在候选答案列表中选择最佳答案。通过定量和定性实验,我们表明,我们的模型i)创建代理之间的协作,优于以前的多代理和多数据集的方法,在域内和域外的情况下,ii)是高度数据效率的训练,和iii)可以适应任何QA格式。我们在https://github.com/UKPLab/MetaQA上发布了我们的代码和来自专家代理的16个QA数据集的答案预测数据集,以促进多代理系统的未来发展。
2023-02-07 cs.CL cs.LG
Uni-Parser: Unified Semantic Parser for Question Answering on Knowledge Base and Database
Salesforce Research(Salesforce研究院);Yale University(耶鲁大学)
将自然语言问题解析成可执行的逻辑形式是对诸如知识库(KB)或数据库(DB)之类的结构化数据执行问答的有用且可解释的方式。然而,现有的语义解析方法不能适应这两种模式,因为它们遭受的逻辑形式候选人的指数增长,很难推广到看不见的数据。在这项工作中,我们提出了Uni-Parser,一个统一的语义解析器的问答(QA)的知识库和数据库。我们引入原语(KB中的关系和实体,DB中的表名、列名和单元值)作为框架中的基本元素。基元的数量随着KB和DB中检索到的关系的数量而线性增长,这使我们无法处理指数逻辑形式的候选者。我们利用生成器来预测最终的逻辑形式,通过改变和组合具有不同操作(例如选择,在哪里,计数)的顶级原语。通过对比基元排序器对搜索空间进行充分的修剪,生成器能够捕获基元的组合,从而增强了其泛化能力。我们在多个KB和DB QA基准测试中更有效地获得了有竞争力的结果,特别是在组合和zero-shot设置中。
2022-11-09 cs.AI cs.CL cs.PL
It's High Time: A Survey of Temporal Question Answering
University of Innsbruck(因斯布鲁克大学);Delft University of Technology(代尔夫特理工大学)
该综述全面梳理时间问答(TQA)领域,聚焦神经架构特别是Transformer和LLM在时间建模、RAG及推理上的进展,并讨论相关基准与评估策略。
2025-08-04 cs.CL cs.IR
EHRNavigator: A Multi-Agent System for Patient-Level Clinical Question Answering over Heterogeneous Electronic Health Records
EHRNavigator通过多智能体系统在异构电子健康记录上实现患者级临床问答,展示出高准确率和高效响应,有效连接基准评估与临床应用。
2026-01-15 cs.CL
The combination of context information to enhance simple question answering
Wuhan University of Technology(武汉理工大学)
随着知识库的迅速发展,基于知识库的问答系统已经成为研究的热点。本文主要研究基于知识库的单关系类事实问题的求解。我们建立了一个问答系统,研究了上下文信息对事实选择的影响,如实体的显著性类型、出度等。实验结果表明,上下文信息可以改善简单问答的结果。
2018-10-09 cs.AI cs.CL
Chart-HQA: A Benchmark for Hypothetical Question Answering in Charts
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);DAMO Research(达摩研究院)
本文提出图表假设性问题回答基准Chart-HQA及人机交互数据合成方法HAI,通过施加假设条件迫使多模态大语言模型进行反事实推理,并揭示现有模型在该任务上存在泛化与推理不平衡问题。
2025-03-07 cs.AI cs.CL
Improving Answer Extraction in Context-based Question Answering Systems Using LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有问答系统在复杂或模糊查询下答案提取不准确的问题,提出基于微调预训练大语言模型的方法,在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。
2026-07-21 cs.AI cs.CL
GraphWalker: Agentic Knowledge Graph Question Answering via Synthetic Trajectory Curriculum
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统认知与决策智能重点实验室);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
GraphWalker通过自动化轨迹合成和分阶段微调解决知识图谱问答中的探索与泛化问题,提升轻量强化学习性能,在CWQ和WebQSP上取得最优效果。
2026-08-11 cs.CL