Better Retrieval May Not Lead to Better Question Answering
The University of Arizona(亚利桑那大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
近年来,开放领域的问答(QA)问题取得了很大的进展,这些问题需要信息检索(IR)和阅读理解(RC)。一个流行的方法来提高系统的性能是提高从IR阶段检索的上下文的质量。在这项工作中,我们表明,对于StrategyQA,一个具有挑战性的开放域QA数据集,需要多跳推理,这种常见的方法是令人惊讶的无效-提高检索上下文的质量几乎没有提高系统的性能。我们进一步分析系统的行为,以确定潜在的原因。
2022-05-07 cs.CL
Adaptive Document Retrieval for Deep Question Answering
ETH Zurich(苏黎世联邦理工学院)
深度问答中的现有技术系统如下进行:(1)初始文档检索选择相关文档,(2)然后由神经网络处理这些文档以便提取最终答案。然而,这两个组件之间的确切相互作用知之甚少,特别是关于应该检索的候选文档的数量。我们发现,选择一个静态的文件数量-在以前的研究中使用-遭受噪声信息权衡,并产生次优的结果。作为补救措施,我们提出了一个自适应的文档检索模型。它学习文档检索的最佳候选数量,条件是语料库和查询的大小。我们报告了大量的实验结果,表明我们的自适应方法在多个基准数据集以及不同大小的语料库中的性能优于最先进的方法。
2018-08-20 cs.CL
Towards Graph-hop Retrieval and Reasoning in Complex Question Answering over Textual Database
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多链多跳检索推理新范式 Graph-Hop,构建了提供细粒度证据图的新基准 ReasonGraphQA,并提出双向图检索(BGR)基线方法,实验表明该方向有潜力但仍存局限。
2023-05-23 cs.CL
XOR QA: Cross-lingual Open-Retrieval Question Answering
University of Washington(华盛顿大学);Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Allen Institute for AI(艾伦人工智能研究所)
多语言问答任务通常假设答案与问题的语言相同。然而,在实践中,许多语言面临着信息稀缺和信息不对称两种情况,信息稀缺是指语言中几乎没有参考文章,信息不对称是指问题引用了来自其他文化的概念。这项工作扩展了开放检索问答的跨语言设置,使问题从一种语言回答通过回答内容从另一种语言。我们构建了一个大规模的数据集,该数据集基于缺乏相同语言答案的TyDi QA问题。我们的任务制定,称为跨语言开放检索问答(XOR QA),包括来自7种不同的非英语语言的40k信息搜索问题。基于这个数据集,我们介绍了三个新的任务,涉及跨语言的文档检索使用多语言和英语资源。我们使用最先进的机器翻译系统和跨语言预训练模型建立基线。实验结果表明,异或问答是一个具有挑战性的任务,将促进新技术的发展,多语言问答。我们的数据和代码可在https://nlp.cs.washington.edu/xorqa上获得。
2021-04-13 cs.CL
TreeRare: Syntax Tree-Guided Retrieval and Reasoning for Knowledge-Intensive Question Answering
University of Rochester(罗切斯特大学)
TreeRare通过语法树引导的检索与推理方法,提升知识密集型问答任务的性能。
2025-12-04 cs.CL
Memory-Aware and Uncertainty-Guided Retrieval for Multi-Hop Question Answering
University of Pittsburgh(匹兹堡大学);Salesforce Research(Salesforce研究院)
提出MIND框架,通过实体提取、基于熵和注意力信号的动态检索触发及记忆感知过滤,解决多跳问答中检索步骤固定和已检索知识利用不足的问题。
2025-03-29 cs.CL
Generating Followup Questions for Interpretable Multi-hop Question Answering
NEC Laboratories America(美国电气通信技术研究所(NEC实验室美国));Princeton, NJ 08540(普林斯顿,新泽西州08540)
我们提出了一个回答开放域多跳问题的框架,其中部分信息被读取并用于生成后续问题,最终由预训练的单跳答案提取器回答。该框架使得每个跳可解释,并且使得与稍后的跳相关联的检索与第一跳一样灵活和具体。作为该框架的第一个实例,我们训练一个指针生成器网络来预测后续问题的问题和部分信息的基础上。这提供了神经问题生成网络的新应用,该神经问题生成网络被应用于基于最终答案及其支持事实给出弱基础事实单跳后续问题。学习生成后续问题,选择相关的答案跨度对下游的支持事实,同时避免分散注意力的前提,提出了一个令人兴奋的语义文本生成的挑战。我们提出了一个评估使用两跳桥问题的HotpotQA。
2020-02-27 cs.CL
Few-Shot Data Synthesis for Open Domain Multi-Hop Question Answering
Meta
提出一种仅需不到10对标注数据的少样本数据合成框架,通过合成数百万多跳问答微调小模型,使其在参数量仅约三分之一时即可媲美GPT-3.5的性能。
2024-02-12 cs.CL
HopPG: Self-Iterative Program Generation for Multi-Hop Question Answering over Heterogeneous Knowledge
Harbin Institute of Technology(哈尔滨工业大学);JD AI Research(京东人工智能研究院)
提出面向异构知识多跳问答的自迭代程序生成框架HopPG,利用先前执行结果逐跳检索事实并生成程序,在MMQA-T^2上优于现有基线。
2023-09-10 cs.CL
Pivot Through English: Reliably Answering Multilingual Questions without Document Retrieval
University of Washington(华盛顿大学);Apple Inc.(苹果公司)
现有的开放检索问答方法在低资源语言(LRL)明显落后于英语。他们不仅遭受非英语文献检索的缺点,但依赖于特定语言的监督任务或翻译。我们制定了一个任务设置更现实的可用资源,绕过文档检索可靠地转移知识从英语到较低的资源语言。假设一个强大的英语问答模型或数据库,我们比较和分析的方法,以英语为中心:映射外国查询到英语,然后英语回答回目标语言的答案。在这个任务设置中,我们提出了重新排序的多语言最大内积搜索(RM-MIPS),类似于在英语训练集上进行重新排序的语义相似性检索,在XQuAD和MKQA上分别比最强基线高出2.7%和6.2%。分析表明,在具有挑战性的环境中,这种策略比最先进的替代方案具有特殊的功效:低资源语言,具有广泛的干扰数据和查询分布不一致。绕过检索,我们的分析表明,这种方法提供了快速的答案生成几乎任何现成的语言,而不需要任何额外的训练数据在目标语言。
2021-07-16 cs.CL
MRAG: A Modular Retrieval Framework for Time-Sensitive Question Answering
Nanyang Technological University(南洋理工大学);Alibaba-NTU JRI(阿里巴巴-南洋理工大学联合研究院);NYU Shanghai(上海纽约大学);Zhejiang University(浙江大学);Center for Data Science, New York University(纽约大学数据科学中心)
针对大语言模型问答系统在时间敏感问题上的推理短板,该研究提出无需训练的模块化检索框架MRAG,构建TempRAGEval基准,实验证明其检索性能和答案准确率均优于基线方法。
2025-05-21 cs.CL
Hierarchical Graph Network for Multi-hop Question Answering
Microsoft Dynamics 365 AI Research(微软Dynamics 365 AI研究院)
在本文中,我们提出了层次图网络(HGN)的多跳问答。为了从分散在多个段落中的文本中聚合线索,通过在不同粒度级别(问题,段落,句子,实体)上构建节点来创建分层图,其表示使用预先训练的上下文编码器进行初始化。给定该分层图,通过图传播来更新初始节点表示,并且经由遍历每个后续子任务的图边缘来执行多跳推理(例如,段落选择、支持事实提取、答案预测)。通过将异构节点编织成一个完整的统一图,这种节点粒度的分层区分使HGN能够同时支持不同的问答子任务。在HotpotQA基准测试上的实验表明,该模型达到了新的技术水平,优于现有的多跳QA方法。
2020-10-06 cs.CL
Open Domain Question Answering over Tables via Dense Retrieval
Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
开放域QA的最新进展已经导致了基于稠密检索的强大模型,但仅专注于检索文本段落。在这项工作中,我们解决了开放域QA表的第一次,并表明检索可以提高检索器设计来处理表格上下文。我们提出了一个有效的预训练程序,我们的检索和提高检索质量与挖掘硬负。由于相关数据集缺失,我们提取了自然问题的子集(Kwiatkowski等人,2019年)到表QA数据集。我们发现,我们的检索器提高检索结果从72.0到81.1 recall@10和端到端的QA结果从33.8到37.7的精确匹配,超过一个BERT为基础的检索器。
2021-06-09 cs.CL
Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering
University of Auckland(奥克兰大学)
有效的多跳问答(QA)需要对多个分散的段落进行推理,并为答案提供解释。大多数现有的方法不能提供一个可解释的推理过程来说明这些模型是如何得出答案的。本文提出了一种基于抽象意义表示的多跳QA问题分解方法(QDAMR),通过将多跳问题分解为简单的子问题并按顺序回答,实现了可解释的推理。由于注释分解是昂贵的,我们首先将理解多跳问题的复杂性委托给AMR解析器。然后,我们实现了多跳问题的分解,通过分割相应的AMR图的基础上所需的推理类型。最后,我们使用AMR到文本生成模型生成子问题,并使用现成的QA模型回答它们。HotpotQA上的实验结果表明,我们的方法是有竞争力的可解释的推理和QDAMR生成的子问题是良好的形式,优于现有的基于问题分解的多跳QA方法。
2022-06-16 cs.CL
Generative Context Pair Selection for Multi-hop Question Answering
University of California, Irvine(加利福尼亚大学尔湾分校);Amazon Web Services(亚马逊云服务);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
组合推理任务,如多跳问答,需要做出潜在的决定,以获得最终的答案,给定的问题。然而,众包数据集通常只捕获底层任务分布的一部分,这可能会在执行组合推理的模型中引起意想不到的偏差。此外,区分训练的模型利用这些偏差来获得更好的表现,而不需要学习正确的推理方式,因为它们不需要关注整个问题表示(条件变量)来估计答案的可能性。在这项工作中,我们提出了一个生成的上下文选择模型的多跳问答的原因如何给定的问题可能已经产生了一个上下文对。虽然与最先进的回答性能相当,但我们提出的生成通道选择模型在对抗性保留集上具有更好的性能(比基线高4.9%),这测试了模型的多跳推理能力的鲁棒性。
2021-04-18 cs.CL
MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages
University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院);Penn State University(宾夕法尼亚州立大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Studio Ousia(Ousia工作室);RIKEN(日本理化学研究所);Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们介绍了多语言信息访问(MIA)2022共享任务研讨会的结果,评估了16种类型多样的语言的跨语言开放式检索问答(QA)系统。在这项任务中,我们采用了两个大规模的跨语言的开放检索QA数据集在14种不同类型的语言,和新注释的开放检索QA数据在2个代表性不足的语言:泰米尔语和泰米尔语。四个团队提交了他们的系统。利用迭代挖掘的不同负面示例和更大的预训练模型的最佳系统达到32.2 F1,比我们的基线高出4.5分。第二个最好的系统使用实体感知的上下文表示的文档检索,并取得了显着的改善,泰米尔语(20.8 F1),而大多数其他系统产生的分数几乎为零。
2022-07-02 cs.CL
Uncertainty Quantification in Retrieval Augmented Question Answering
University of Edinburgh(爱丁堡大学)
本研究提出通过估计检索段落的效用来量化检索增强QA模型的不确定性,训练轻量级模型预测效用,高效接近或超越采样方法。
2025-09-11 cs.CL
Latent Retrieval for Weakly Supervised Open Domain Question Answering
Google Research(谷歌研究院)
最近的工作开放域问答(QA)假设强有力的监督的支持证据和/或假设一个黑盒信息检索(IR)系统来检索候选证据。我们认为,这两个都是次优的,因为黄金证据并不总是可用的,QA是从根本上不同于IR。我们第一次表明,它是可以共同学习的检索器和读者从问答字符串对,没有任何IR系统。在这种情况下,从维基百科的所有证据检索被视为一个潜在的变量。由于从头开始学习是不切实际的,我们用反向完形填空任务对检索器进行了预训练。我们评估五个QA数据集的开放版本。在提问者已经知道答案的数据集上,传统的IR系统(如BM 25)就足够了。在用户真正寻求答案的数据集上,我们证明了学习检索是至关重要的,在精确匹配方面超过BM 25高达19个点。
2019-06-27 cs.CL
Is Graph Structure Necessary for Multi-hop Question Answering?
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
近年来,试图将文本建模为图结构,并引入图神经网络来处理它已成为许多NLP研究领域的一个趋势。在本文中,我们调查图结构是否是必要的多跳问答。我们的分析集中在HotpotQA上。我们构建了一个强大的基线模型,通过正确使用预训练模型,图结构可能不是多跳问答所必需的。指出图的结构和邻接矩阵都是与任务相关的先验知识,图的注意可以看作是自注意的一种特殊情况。实验和可视化分析表明,图的注意力或整个图的结构可以被自注意力或Transformers所取代。
2020-10-29 cs.CL
MARAGS: A Multi-Adapter System for Multi-Task Retrieval Augmented Generation Question Answering
Darkhive(达克海夫)
本文提出MARAGS多适配器检索增强生成系统,用于CRAG竞赛多任务问答,采用标准RAG流程与交叉编码器排序,在任务1和任务2中分别获得第二和第三名。
2024-11-04 cs.CL
One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了跨语言开放检索答案生成(CORA),第一个统一的多对多问答(QA)模型,可以回答问题,在许多语言,即使是没有特定语言的注释数据或知识源。我们引入了一种新的密集通道检索算法,该算法经过训练可以针对一个问题跨语言检索文档。结合多语言自回归生成模型,CORA直接回答目标语言,没有任何翻译或语言检索模块,在以前的工作。我们提出了一种迭代训练方法,可以自动将仅在高资源语言中可用的注释数据扩展到低资源语言。我们的研究结果表明,CORA在26种语言的多语言开放QA基准测试中的表现大大优于以前的最先进水平,其中9种在训练过程中是不可见的。我们的分析表明,跨语言检索和生成在许多语言,特别是在低资源设置的意义。
2021-10-28 cs.CL
Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
独立地将问题和答案投影到共享嵌入空间中的神经模型允许从大型语料库中进行有效的连续空间检索。独立地计算问题和答案的嵌入导致与匹配问题到其答案相关的信息的后期融合。虽然对于有效检索至关重要,但后期融合的性能低于利用早期融合的模型(例如,基于BERT的分类器,在问题-答案对之间具有交叉关注)。我们提出了一种监督数据采掘方法,使用一个准确的早期融合模型,以提高一个有效的后期融合检索模型的训练。我们首先训练一个准确的分类模型,问题和答案之间的交叉注意。准确的交叉注意模型然后被用来注释附加的通道,以便生成用于神经检索模型的加权训练样本。由此产生的具有额外数据的检索模型显著优于直接使用黄金注释在$N$(P@N)和平均倒数秩(MRR)的精度上训练的检索模型。
2020-09-29 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
Answering Any-hop Open-domain Questions with Iterative Document Reranking
Peking University(北京大学);Georgia Institute of Technology(佐治亚理工学院);Siemens Corporate Technology(西门子企业技术部)
现有的开放域问答(QA)方法通常是针对需要单跳或多跳推理的问题而设计的,这些推理对要回答的问题的复杂性做出了很强的假设。此外,多步骤文档检索通常会导致更多相关但不支持的文档,这会抑制下游噪声敏感的阅读器模块进行答案提取。为了解决这些挑战,我们提出了一个统一的QA框架来回答任何跳开放域的问题,迭代检索,重新排序和过滤文件,并自适应地确定何时停止检索过程。为了提高检索精度,我们提出了一个基于图的重排序模型,执行多文档交互作为我们的迭代重排序框架的核心。我们的方法在单跳和多跳开放域QA数据集(包括Natural Questions Open,SQuAD Open和HotpotQA)上始终实现与最先进的性能相当或更好的性能。
2021-05-24 cs.CL
Subgraph Retrieval Enhanced Model for Multi-hop Knowledge Base Question Answering
Renmin University of China(中国人民大学);Tsinghua University(清华大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
知识库问答(KBQA)检索子图更容易推理的最新作品。一个期望的子图是至关重要的,因为一个小的可能会排除答案,但一个大的可能会引入更多的噪音。然而,现有的检索要么是启发式的,要么与推理交织在一起,导致在部分子图上进行推理,这增加了中间监督缺失时的推理偏差。本文提出了一个可训练的子图检索器(SR)解耦的后续推理过程,这使得一个即插即用的框架,以增强任何面向子图的KBQA模型。大量的实验表明,SR实现了显着更好的检索和QA性能比现有的检索方法。通过弱监督的预训练以及端到端的微调,SRl在与NSM(一种面向子图的推理器)相结合时,实现了新的最先进的性能,用于基于嵌入的KBQA方法。
2022-07-27 cs.CL
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出RetrievalQA基准评估自适应检索增强生成,并发现现有方法依赖阈值或提示不足,进而提出无需校准与训练的TA-ARE方法以有效判断检索必要性。
2024-06-05 cs.CL
Exploiting Hybrid Semantics of Relation Paths for Multi-hop Question Answering Over Knowledge Graphs
Peking University(北京大学);Tencent(腾讯)
在知识图谱(KGQA)上表达自然语言问题对于通过多跳推理理解复杂问题仍然是一个巨大的挑战。以往的研究通常利用大规模的实体相关文本语料库或知识图谱(KG)作为辅助信息,以促进答案的选择。然而,丰富的语义隐含在现成的实体之间的关系路径远未得到很好的探索。本文提出利用关系路径的混合语义来改进多跳KGQA。具体来说,我们集成了显式的文本信息和隐含的KG结构特征的关系路径的基础上一个新的旋转和缩放实体链接预测框架。在现有的三个KGQA数据集上的大量实验证明了该方法的优越性,特别是在多跳场景中。进一步的研究证实了我们的方法的系统协调问题和关系路径识别答案实体。
2022-09-02 cs.CL
Prompt-based Conservation Learning for Multi-hop Question Answering
University of Auckland(奥克兰大学)
多跳问答(QA)需要对多个文档进行推理,以回答复杂的问题并提供可解释的支持证据。然而,提供支持证据不足以证明模型已经执行了所需的推理以获得正确的答案。大多数现有的多跳QA方法无法回答大部分的子问题,即使他们的父问题被正确回答。在本文中,我们提出了一种基于知识的保护学习(PCL)框架,用于多跳QA,它从多跳QA任务中获取新知识,同时保存在单跳QA任务中学习到的旧知识,从而减轻遗忘。具体来说,我们首先训练现有的单跳QA任务的模型,然后冻结这个模型,并通过分配额外的子网络的多跳QA任务扩展它。此外,为了调节预训练的语言模型以刺激特定多跳问题所需的推理,我们学习了新子网络的软提示以执行特定类型的推理。在HotpotQA基准测试上的实验结果表明,PCL对于多跳QA具有竞争力,并且在相应的单跳子问题上保持了良好的性能,证明了PCL在减轻遗忘引起的知识丢失方面的有效性。
2022-09-14 cs.CL
Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering
Southeast University(东南大学)
针对零样本常识问答中忽略知识图谱多跳关系的问题,提出多跳常识知识注入框架,通过两种多跳问答生成方法和对比学习预训练,在五个基准上取得最优性能。
2023-05-10 cs.CL
MrRank: Improving Question Answering Retrieval System through Multi-Result Ranking Model
Kasikorn Labs Co., Ltd.(Kasikorn实验室有限公司);Kasikorn Business-Technology Group(Kasikorn商业技术集团);Chulalongkorn University(朱拉隆功大学)
本文提出MrRank,利用学习排序技术融合异构信息检索系统,以缓解LLM幻觉和知识过时问题,并在ReQA SQuAD上取得最先进性能。
2024-06-09 cs.CL
Improving Retrieval Augmented Open-Domain Question-Answering with Vectorized Contexts
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究院)
本文提出一种通用方法,利用小型编码器语言模型对上下文进行向量化编码并与原始输入交叉注意力,使大语言模型在计算需求接近基线的情况下能处理数倍长的上下文,并在多个数据集和上下文学习设置中提升开放域问答性能。
2024-12-23 cs.CL
UHop: An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based Question Answering
Institute of Information Science Academia Sinica(中央研究院资讯科学研究所);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);National Institute of Technology Rourkela(鲁尔克拉国家理工学院);Most Joint Research Center for AI Technology(Most人工智能技术联合研究中心);All Vista Healthcare(全景医疗保健)
在用于基于知识的问答的关系抽取中,经由单个关系从一个实体搜索到另一个实体被称为“单跳”。在相关工作中,从知识图谱中的所有单跳关系、两跳关系等到最大跳关系的穷举搜索是必要的,但代价很高。因此,跳数通常限制为两个或三个。在本文中,我们提出了UHop,一个不受限制的跳框架,放宽了这一限制,通过使用一个基于转换的搜索框架,以取代基于关系链的搜索。我们对传统的1-和2-hop问题以及冗长的问题进行实验,包括WebQSP,PathQuestion和Grid World等数据集。结果表明,所提出的框架能够停止的能力,以及与国家的最先进的模型,实现竞争力的性能,而无需穷举搜索,并打开长关系路径的性能差距。
2019-04-02 cs.CL
Mitigating Lost-in-Retrieval Problems in Retrieval Augmented Multi-Hop Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国);University of California, Merced, USA(加州大学默塞德分校,美国);National Institute of Healthcare Data Science, Nanjing University, China(健康数据科学国家研究院,南京大学,中国)
本文揭示了检索增强多跳问答中LLM子问题分解遗漏关键实体的“迷失于检索”问题,提出渐进式检索与重写方法ChainRAG,通过逐步补全缺失实体并从句子图检索相关句子,在三个数据集和三个大模型上均有效提升了问答准确性与效率。
2025-05-28 cs.CL
Hybrid-IR: Dual-Path Hybrid Retrieval with Iterative Reasoning for Complex Medical Question Answering
College of Artificial Intelligence, Nanjing Agricultural University(南京农业大学人工智能学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
提出Hybrid-IR框架,结合图检索与稠密检索的双路径检索机制,并通过迭代检索-推理循环逐步优化推理轨迹,有效解决复杂医学问答中知识碎片化和静态检索不足的问题。
2026-06-25 cs.CL
PubMed Reasoner: Dynamic Reasoning-based Retrieval for Evidence-Grounded Biomedical Question Answering
PayPal;Worcester Polytechnic Institute(伍斯特理工学院)
PubMed Reasoner通过动态推理机制提升生物医学问答的准确性与证据可靠性,采用三阶段框架优化检索过程并生成有据可查的回答。
2026-03-28 cs.CL
Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering
Fudan University(复旦大学)
多跳推理需要聚合多个文档来回答一个复杂的问题。现有的方法通常将多跳问题分解为简单的单跳问题来求解,以说明可解释的推理过程。然而,他们忽略了每个推理步骤的支持事实,这往往会产生不准确的分解。在本文中,我们提出了一个可解释的逐步推理框架,将单跳支持句子识别和单跳问题生成在每个中间步骤,并利用当前跳下一个推理,直到推理出最终结果。我们采用一个统一的阅读器模型的中间跳推理和最终跳推理,并采用联合优化更准确和强大的多跳推理。我们在两个基准数据集HotpotQA和2WikiMultiHopQA上进行实验。结果表明,我们的方法可以有效地提高性能,也产生了一个更好的解释推理过程中没有分解监督。
2022-08-22 cs.CL
Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering
Microsoft Research(微软研究院);Microsoft Semantic Machines(微软语义机器公司)
提出TASER架构,通过交替共享和特化块实现参数共享,在五个问答数据集上以约60%参数超越BM25及双编码器,提升准确率与域外鲁棒性。
2023-05-22 cs.CL
MuGER$^2$: Multi-Granularity Evidence Retrieval and Reasoning for Hybrid Question Answering
Harbin Institute of Technology(哈尔滨工业大学);JD AI Research(京东人工智能研究院)
混合问答(HQA)旨在回答异构数据的问题,包括表格和链接到表格单元格的段落。异构数据可以为HQA模型提供不同粒度的证据,例如,列、行、单元格和链接。传统的HQA模型通常检索粗粒度或细粒度的证据来推理答案。通过比较,我们发现粗粒度的证据更容易检索,但对推理机的贡献较小,而细粒度的证据则相反。为了保留不同粒度证据的优点,消除其缺点,我们提出了MuGER $^2$,一种多粒度证据检索和推理方法。在证据检索中,设计了一个统一的检索器,用于从异构数据中学习多粒度证据。在答案推理中,提出了一种证据选择器,用于根据学习到的多粒度证据为答案阅读器导航细粒度证据。在HybridQA数据集上的实验结果表明,MuGER $^2$显著提高了HQA性能.进一步的消融分析验证了检索和推理设计的有效性。
2022-10-19 cs.CL
Clickbait Spoiling via Question Answering and Passage Retrieval
Martin-Luther-Universität Halle-Wittenberg(马丁·路德·哈勒-维腾贝格大学);Leipzig University(莱比锡大学)
我们介绍和研究的点击诱饵破坏的任务:生成一个简短的文本,满足好奇心引起的点击诱饵后。点击诱饵链接到一个网页,并通过引起好奇心而不是提供信息摘要来解释其内容。我们的贡献是分类所需扰流板类型的方法(即,短语或段落),并生成适当的剧透。一个大规模的评估和错误分析的一个新的语料库的5,000手动破坏clickbait职位-Webis Clickbait破坏语料库2022 -表明,我们的剧透类型分类器实现了80%的准确率,而问答模型DeberTa-large优于所有其他人在生成两种类型的剧透。
2022-03-19 cs.CL
Understanding Retrieval Augmentation for Long-Form Question Answering
Department of Computer Science University of Texas at Austin(计算机科学系 德克萨斯大学奥斯汀分校)
针对长文本问答中检索文档利用机制研究不足的问题,通过两项对照实验和SALAD数据集分析发现,语言模型虽能利用上下文文档但答案归因度有限,揭示了检索增强对长文本生成的影响并指明未来方向。
2025-10-03 cs.CL
Answer Generation for Retrieval-based Question Answering Systems
University of Chicago(芝加哥大学);Amazon Alexa(亚马逊Alexa)
基于转换器的模型的最新进展极大地提高了问答(QA)系统提供正确答案的能力;特别是,答案句子选择(AS 2)模型,基于检索的系统的核心组件,已经取得了令人印象深刻的结果。虽然这些模型通常是有效的,但当所有检索到的候选人质量较差时,即使它们包含正确的信息,也无法提供令人满意的答案。在AS 2中,模型被训练为从针对给定问题检索到的一组候选中选择最佳答案句子。在这项工作中,我们建议从一组AS 2顶级候选人生成答案。我们不是选择最佳候选,而是训练一个序列到序列的Transformer模型,以从候选集合中生成答案。我们对三个英语AS 2数据集的测试显示,与最先进的技术相比,准确性提高了32个绝对点。
2021-06-02 cs.CL
Enhancing Open-Domain Table Question Answering via Syntax- and Structure-aware Dense Retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
本文提出语法与结构感知的稠密检索方法,通过问题语法表示、表格结构化表示及语法到结构聚合器,在NQ-tables和新开放域Text-to-SQL数据集上取得最优或显著领先效果。
2023-09-19 cs.CL
Question-Aware Memory Network for Multi-hop Question Answering in Human-Robot Interaction
National University of Defense Technology(国防科技大学);Charles Darwin University(查尔斯·达尔文大学);Waseda University(早稻田大学)
知识图问答是智能人机交互中的一项重要技术,其目的是利用已知的知识图谱自动回答人类自然语言问题。对于复杂度和多样性较高的多关系问题,在推理步骤中,问题的表征对三元组的选择具有不同的优先级。针对现有模型将问题作为一个整体,忽略了问题中的优先级信息的问题,提出了一种面向多跳问答的问题感知记忆网络QA2MN,在推理过程中及时更新对问题的关注度。此外,我们将图的上下文信息加入到知识图谱嵌入模型中,以增加实体和关系的表示能力。我们使用它来初始化QA2MN模型,并在训练过程中对其进行微调。我们在PathQuestion和WorldCup 2014上评估了QA2MN,这是两个复杂多跳问答的代表性数据集。结果表明,QA2MN在两个数据集上都达到了最先进的Hits@1准确率,这验证了我们模型的有效性。
2021-04-27 cs.CL
ViLegalExpert: A Large-Scale Benchmark for Vietnamese Legal Retrieval and Question Answering from Real-World Consultations
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh city(胡志明市越南国家大学)
针对越南法律咨询领域基准缺失的问题,构建了基于真实咨询的大规模基准ViLegalExpert,涵盖172K问题与34个法律领域,实验显示混合检索最优,为可靠越南法律AI提供挑战性基准。
2026-10-01 cs.CL
$π$-CoT: Prolog-Initialized Chain-of-Thought Prompting for Multi-Hop Question-Answering
cornell(康奈尔大学)
$π$-CoT通过结合逻辑编程与语言模型,提升多跳问答性能,优于传统RAG和CoT方法。
2026-10-15 cs.CL
HRoT: Hybrid prompt strategy and Retrieval of Thought for Table-Text Hybrid Question Answering
Institute of Automation, CAS(中国科学院自动化研究所);University of Science and Technology Beijing(北京科技大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出HRoT提示策略,通过上下文学习赋予模型在表格-文本混合数据上的检索思维能力,并在MultiHiertt数据集少样本设置下超越全监督SOTA。
2023-09-22 cs.CL
Calibrating Trust of Multi-Hop Question Answering Systems with Decompositional Probes
Georgia Institute of Technology(佐治亚理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多跳问答(QA)是一项具有挑战性的任务,因为它需要准确地聚合来自多个上下文段落的信息,并彻底理解底层的推理链。最近在多跳QA方面的工作表明,可以通过首先将问题分解为更简单的单跳问题来提高性能。在本文中,我们从可解释的NLP的角度探索了多跳分解的一个额外效用:通过探测神经QA模型来创建解释。我们假设这样做,用户将能够更好地预测底层QA系统何时给出正确答案。通过人类参与者的研究,我们验证了暴露的分解探针和答案的探针给用户可以提高他们的能力,预测系统性能的问题实例的基础上。我们发现,分解是一种有效的形式探测QA系统,以及一个有前途的方法来解释生成。深入的分析表明,需要改进的分解系统。
2022-11-01 cs.CL
Multimodal Multi-Hop Question Answering Through a Conversation Between Tools and Efficiently Finetuned Large Language Models
University of Waterloo(滑铁卢大学);Mila(米拉人工智能研究院);Université de Montréal(蒙特利尔大学)
本文提出一种工具交互的分而治之策略,将多模态多跳问题分解为单模态单跳子问题交由工具回答,并利用chatGPT生成数据集高效微调大语言模型,在两个复杂问答数据集上显著超越现有方法。
2023-09-16 cs.CL
Modeling Multi-hop Question Answering as Single Sequence Prediction
Salesforce Research(赛富时研究院)
解码器融合(Fid)(Izacard和Grave,2020)是一种生成式问答(QA)模型,它利用预先训练的Transformer进行段落检索,并将最先进的技术推向单跳QA。然而,多跳QA的复杂性阻碍了生成式QA方法的有效性。在这项工作中,我们提出了一个简单的生成方法(PathFid),通过明确建模的推理过程来解决多跳问题的答案,扩展任务不仅仅是答案生成。通过线性化支持段落、其关键句子以及最终事实答案的分层推理路径,我们将问题视为单个序列预测任务。为了方便复杂的推理与多个线索,我们进一步扩展了统一的平面表示的多个输入文档的编码交叉通道的相互作用。我们广泛的实验表明,PathFid导致两个多跳QA数据集:HotpotQA和IIRC强大的性能增益。除了性能的提高,PathFid更具有可解释性,这反过来又会产生与基线Fid模型相比更忠实地基于支持段落和事实的答案。
2022-05-18 cs.CL
What's Missing: A Knowledge Gap Guided Approach for Multi-hop Question Answering
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多跳文本问答需要组合来自多个句子的信息。我们关注的是一个自然的环境,与典型的阅读理解不同,每个问题只提供部分信息。模型必须检索并使用额外的知识来正确回答问题。为了应对这一挑战,我们开发了一种新的方法,明确识别所提供的知识和答案选择的关键跨度之间的知识差距。该模型GapQA通过确定跨度和答案选择之间的关系,基于检索到的针对此差距的知识来学习填补此差距。我们建议联合训练一个模型,同时填补这一知识缺口,并将其与提供的部分知识组合在一起。在OpenBookQA数据集上,给定部分知识,明确识别缺失的内容远远优于以前的方法。
2019-09-19 cs.CL
Mitigating False-Negative Contexts in Multi-document Question Answering with Retrieval Marginalization
Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所)
需要来自多个文档的信息的问答(QA)任务通常依赖于检索模型来识别用于推理的相关信息。检索模型通常被训练以最大化标记的支持证据的可能性。然而,当从维基百科等大型文本语料库中检索时,通常可以从多个候选证据中获得正确答案。此外,并非所有这样的候选者在注释期间都被标记为阳性,从而使训练信号变得微弱和嘈杂。当问题无法回答或答案是布尔值时,这个问题会加剧,因为模型不能依赖词汇重叠来建立答案和支持证据之间的联系。我们开发了一种新的参数化集值检索,处理无法回答的查询,我们表明,在训练过程中边缘化这个集合允许模型,以减轻假阴性支持证据注释。我们在两个多文档QA数据集IIRC和HotpotQA上测试了我们的方法。在IIRC上,我们证明了带边缘化的联合建模将模型性能提高了5.5 F1点,并实现了50.5 F1的最新性能。我们还表明,检索边缘化的结果在4.1 QA F1的改进,在fullwiki设置在HotpotQA的非边缘化的基线。
2021-09-08 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology(韩国科学技术院)
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率,实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对大语言模型多跳问答存在推理不准、幻觉及可解释性不足的问题,本研究构建并利用抽取的语义结构图开展推理,在两个基准上提升了问答性能,且生成的结构化解释更受人类青睐。
2023-11-07 cs.CL
Memory Augmented Sequential Paragraph Retrieval for Multi-hop Question Answering
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
从相关段落或文档中检索信息来回答开放域多跳问题是非常具有挑战性的。为了应对这一挑战,大多数现有的作品认为段落作为节点的图,并提出基于图的方法来检索它们。然而,在本文中,我们指出了这种方法的内在缺陷。相反,我们提出了一个新的架构,模型段落作为顺序数据,并认为多跳信息检索作为一种序列标记任务。具体来说,我们设计了一个可扩展的外部存储器来模拟段落之间的依赖关系。此外,提出了一种阈值门机制,以消除噪音段落的分心。我们评估我们的方法上完整的维基和分心子任务的HotpotQA,一个公共的文本多跳QA数据集,需要多跳信息检索。实验表明,我们的方法取得了显着的改善,在检索和下游QA任务的性能比发表的最先进的方法。
2021-02-07 cs.CL