Retrieval Augmented Visual Question Answering with Outside Knowledge
University of Cambridge(剑桥大学)
外部知识视觉问答(OK-VQA)是一个具有挑战性的VQA任务,需要检索外部知识来回答有关图像的问题。最近的OK-VQA系统使用密集段落检索(DPR)从外部知识库(如维基百科)检索文档,但DPR与答案生成分开训练,对整体系统性能带来了潜在的限制。相反,我们提出了一个联合训练方案,其中包括微分DPR与答案生成集成,使系统可以在一个端到端的方式进行训练。我们的实验表明,我们的计划优于最近的OK-VQA系统具有强大的DPR检索。我们还引入了新的诊断指标来分析检索和生成如何相互作用。我们的模型的强大检索能力显着减少了训练所需的检索文档的数量,在训练所需的答案质量和计算方面产生了显着的好处。
2022-10-29 cs.CL
Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation
Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
独立地将问题和答案投影到共享嵌入空间中的神经模型允许从大型语料库中进行有效的连续空间检索。独立地计算问题和答案的嵌入导致与匹配问题到其答案相关的信息的后期融合。虽然对于有效检索至关重要,但后期融合的性能低于利用早期融合的模型(例如,基于BERT的分类器,在问题-答案对之间具有交叉关注)。我们提出了一种监督数据采掘方法,使用一个准确的早期融合模型,以提高一个有效的后期融合检索模型的训练。我们首先训练一个准确的分类模型,问题和答案之间的交叉注意。准确的交叉注意模型然后被用来注释附加的通道,以便生成用于神经检索模型的加权训练样本。由此产生的具有额外数据的检索模型显著优于直接使用黄金注释在$N$(P@N)和平均倒数秩(MRR)的精度上训练的检索模型。
2020-09-29 cs.CL
Improving Retrieval-Based Question Answering with Deep Inference Models
University Politehnica of Bucharest(布加勒斯特理工大学)
问答是信息检索和自然语言处理的边缘领域中最重要也是最困难的应用之一,尤其是当我们谈论需要某种形式的推理来确定正确答案的复杂科学问题时。在本文中,我们提出了一种两步方法,该方法将针对问答优化的信息检索技术与用于自然语言推理的深度学习模型相结合,以解决科学领域中的多选择问答。对于每个问题-答案对,我们使用标准的基于检索的模型来找到相关的候选上下文,并将主要问题分解为两个不同的子问题。首先,使用Lucene的检索模型,根据上下文为每个候选答案分配正确性分数。其次,我们使用深度学习架构来计算候选答案是否可以从一些精心选择的上下文中推断出来,这些上下文由从知识库中检索到的句子组成。最后,所有这些求解器结合使用一个简单的神经网络来预测正确的答案。这个建议的两步模型比最好的基于检索的求解器的绝对精度超过3%。
2019-05-06 cs.CL
Mitigating Lost-in-Retrieval Problems in Retrieval Augmented Multi-Hop Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国);University of California, Merced, USA(加州大学默塞德分校,美国);National Institute of Healthcare Data Science, Nanjing University, China(健康数据科学国家研究院,南京大学,中国)
本文揭示了检索增强多跳问答中LLM子问题分解遗漏关键实体的“迷失于检索”问题,提出渐进式检索与重写方法ChainRAG,通过逐步补全缺失实体并从句子图检索相关句子,在三个数据集和三个大模型上均有效提升了问答准确性与效率。
2025-05-28 cs.CL
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出RetrievalQA基准评估自适应检索增强生成,并发现现有方法依赖阈值或提示不足,进而提出无需校准与训练的TA-ARE方法以有效判断检索必要性。
2024-06-05 cs.CL
Answer Generation for Retrieval-based Question Answering Systems
University of Chicago(芝加哥大学);Amazon Alexa(亚马逊Alexa)
基于转换器的模型的最新进展极大地提高了问答(QA)系统提供正确答案的能力;特别是,答案句子选择(AS 2)模型,基于检索的系统的核心组件,已经取得了令人印象深刻的结果。虽然这些模型通常是有效的,但当所有检索到的候选人质量较差时,即使它们包含正确的信息,也无法提供令人满意的答案。在AS 2中,模型被训练为从针对给定问题检索到的一组候选中选择最佳答案句子。在这项工作中,我们建议从一组AS 2顶级候选人生成答案。我们不是选择最佳候选,而是训练一个序列到序列的Transformer模型,以从候选集合中生成答案。我们对三个英语AS 2数据集的测试显示,与最先进的技术相比,准确性提高了32个绝对点。
2021-06-02 cs.CL
Multi-step Entity-centric Information Retrieval for Multi-Hop Question Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院);Google Research(谷歌研究院)
多跳问答(QA)需要一个信息检索(IR)系统,该系统可以找到回答问题所需的支持证据\emph{multiple},这使得检索过程非常具有挑战性。本文介绍了一种IR技术,它使用的信息实体存在于最初检索的证据,学习“\emph{hop}”到其他相关的证据。在设置中,超过\textbf{5 million}维基百科的段落,我们的方法导致检索性能显着提高。检索到的证据还提高了现有QA模型(未经任何培训)在\textbf{10.59} F1的\hotpot基准测试中的性能。
2019-09-17 cs.CL
1-PAGER: One Pass Answer Generation and Evidence Retrieval
Google Research(谷歌研究院);Google Deepmind(谷歌DeepMind)
提出首个基于单个Transformer模型一次解码完成问答与证据检索的1-Pager系统,通过受限解码增量划分语料库,性能优于闭卷模型,为归因生成和可解释神经检索提供新范式。
2023-10-25 cs.CL
Pivot Through English: Reliably Answering Multilingual Questions without Document Retrieval
University of Washington(华盛顿大学);Apple Inc.(苹果公司)
现有的开放检索问答方法在低资源语言(LRL)明显落后于英语。他们不仅遭受非英语文献检索的缺点,但依赖于特定语言的监督任务或翻译。我们制定了一个任务设置更现实的可用资源,绕过文档检索可靠地转移知识从英语到较低的资源语言。假设一个强大的英语问答模型或数据库,我们比较和分析的方法,以英语为中心:映射外国查询到英语,然后英语回答回目标语言的答案。在这个任务设置中,我们提出了重新排序的多语言最大内积搜索(RM-MIPS),类似于在英语训练集上进行重新排序的语义相似性检索,在XQuAD和MKQA上分别比最强基线高出2.7%和6.2%。分析表明,在具有挑战性的环境中,这种策略比最先进的替代方案具有特殊的功效:低资源语言,具有广泛的干扰数据和查询分布不一致。绕过检索,我们的分析表明,这种方法提供了快速的答案生成几乎任何现成的语言,而不需要任何额外的训练数据在目标语言。
2021-07-16 cs.CL
One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了跨语言开放检索答案生成(CORA),第一个统一的多对多问答(QA)模型,可以回答问题,在许多语言,即使是没有特定语言的注释数据或知识源。我们引入了一种新的密集通道检索算法,该算法经过训练可以针对一个问题跨语言检索文档。结合多语言自回归生成模型,CORA直接回答目标语言,没有任何翻译或语言检索模块,在以前的工作。我们提出了一种迭代训练方法,可以自动将仅在高资源语言中可用的注释数据扩展到低资源语言。我们的研究结果表明,CORA在26种语言的多语言开放QA基准测试中的表现大大优于以前的最先进水平,其中9种在训练过程中是不可见的。我们的分析表明,跨语言检索和生成在许多语言,特别是在低资源设置的意义。
2021-10-28 cs.CL
ViLegalExpert: A Large-Scale Benchmark for Vietnamese Legal Retrieval and Question Answering from Real-World Consultations
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh city(胡志明市越南国家大学)
针对越南法律咨询领域基准缺失的问题,构建了基于真实咨询的大规模基准ViLegalExpert,涵盖172K问题与34个法律领域,实验显示混合检索最优,为可靠越南法律AI提供挑战性基准。
2026-10-01 cs.CL
Latent Retrieval for Weakly Supervised Open Domain Question Answering
Google Research(谷歌研究院)
最近的工作开放域问答(QA)假设强有力的监督的支持证据和/或假设一个黑盒信息检索(IR)系统来检索候选证据。我们认为,这两个都是次优的,因为黄金证据并不总是可用的,QA是从根本上不同于IR。我们第一次表明,它是可以共同学习的检索器和读者从问答字符串对,没有任何IR系统。在这种情况下,从维基百科的所有证据检索被视为一个潜在的变量。由于从头开始学习是不切实际的,我们用反向完形填空任务对检索器进行了预训练。我们评估五个QA数据集的开放版本。在提问者已经知道答案的数据集上,传统的IR系统(如BM 25)就足够了。在用户真正寻求答案的数据集上,我们证明了学习检索是至关重要的,在精确匹配方面超过BM 25高达19个点。
2019-06-27 cs.CL
Adaptive Document Retrieval for Deep Question Answering
ETH Zurich(苏黎世联邦理工学院)
深度问答中的现有技术系统如下进行:(1)初始文档检索选择相关文档,(2)然后由神经网络处理这些文档以便提取最终答案。然而,这两个组件之间的确切相互作用知之甚少,特别是关于应该检索的候选文档的数量。我们发现,选择一个静态的文件数量-在以前的研究中使用-遭受噪声信息权衡,并产生次优的结果。作为补救措施,我们提出了一个自适应的文档检索模型。它学习文档检索的最佳候选数量,条件是语料库和查询的大小。我们报告了大量的实验结果,表明我们的自适应方法在多个基准数据集以及不同大小的语料库中的性能优于最先进的方法。
2018-08-20 cs.CL
Question Answering from Unstructured Text by Retrieval and Comprehension
Sony Corporation(索尼公司);Carnegie Mellon University(卡内基梅隆大学)
开放域问答(QA)系统必须与外部知识源(例如网页)交互以查找相关信息。然而,像维基百科这样的信息源与知识库(KBs)相比结构不好并且难以利用。在这项工作中,我们提出了一个两步的方法来从非结构化文本的问答,包括检索步骤和理解步骤。对于理解,我们提出了一个基于RNN的注意力模型,该模型具有一种新的混合机制,用于从检索到的文章或固定词汇中选择答案。为了检索,我们引入了一个手工制作的模型和一个神经模型来对相关文章进行排名。我们在W IKI M OVIES数据集上实现了最先进的性能,将误差降低了40%。我们的实验结果进一步证明了每个引入的组件的重要性。
2017-03-26 cs.CL
AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications
Qualcomm AI Research(高通人工智能研究)
AccurateRAG通过高效流程和本地构建能力,在问答任务中实现更高性能和新状态的SOTA表现。
2026-03-03 cs.CL
MuGER$^2$: Multi-Granularity Evidence Retrieval and Reasoning for Hybrid Question Answering
Harbin Institute of Technology(哈尔滨工业大学);JD AI Research(京东人工智能研究院)
混合问答(HQA)旨在回答异构数据的问题,包括表格和链接到表格单元格的段落。异构数据可以为HQA模型提供不同粒度的证据,例如,列、行、单元格和链接。传统的HQA模型通常检索粗粒度或细粒度的证据来推理答案。通过比较,我们发现粗粒度的证据更容易检索,但对推理机的贡献较小,而细粒度的证据则相反。为了保留不同粒度证据的优点,消除其缺点,我们提出了MuGER $^2$,一种多粒度证据检索和推理方法。在证据检索中,设计了一个统一的检索器,用于从异构数据中学习多粒度证据。在答案推理中,提出了一种证据选择器,用于根据学习到的多粒度证据为答案阅读器导航细粒度证据。在HybridQA数据集上的实验结果表明,MuGER $^2$显著提高了HQA性能.进一步的消融分析验证了检索和推理设计的有效性。
2022-10-19 cs.CL
Understanding Retrieval Augmentation for Long-Form Question Answering
Department of Computer Science University of Texas at Austin(计算机科学系 德克萨斯大学奥斯汀分校)
针对长文本问答中检索文档利用机制研究不足的问题,通过两项对照实验和SALAD数据集分析发现,语言模型虽能利用上下文文档但答案归因度有限,揭示了检索增强对长文本生成的影响并指明未来方向。
2025-10-03 cs.CL
Double Retrieval and Ranking for Accurate Question Answering
School of Information, The University of Arizona(亚利桑那大学信息学院);Amazon Alexa AI(亚马逊 Alexa AI)
最近的工作表明,在基于转换器的答案选择模型中引入的答案验证步骤可以显着提高问答的最新技术水平。该步骤是通过聚合前$k$答案候选的嵌入来执行的,以支持目标答案的验证。尽管该方法是直观的并且合理的,但仍然显示出两个限制:(i)仅根据与问题而不是与答案的相关性来对支持候选进行排名,以及(ii)由其他答案候选提供的支持是次优的,因为这些是独立于目标答案来检索的。在本文中,我们通过提出(i)双重重新排序模型来解决这两个缺点,该模型针对每个目标答案选择最佳支持;以及(ii)第二个神经检索阶段,旨在将问题和答案对编码为查询,从而找到更具体的验证信息。在三个著名的AS 2数据集上的结果显示了对现有技术的一致和显著的改进。
2022-01-16 cs.CL
TreeRare: Syntax Tree-Guided Retrieval and Reasoning for Knowledge-Intensive Question Answering
University of Rochester(罗切斯特大学)
TreeRare通过语法树引导的检索与推理方法,提升知识密集型问答任务的性能。
2025-12-04 cs.CL
ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval
University of Innsbruck(因斯布鲁克大学)
本文提出ASRank,一种利用预训练大语言模型计算零样本答案线索似然度的文档重排序方法,显著提升了多种问答数据集的检索准确率。
2025-01-25 cs.CL
ZusammenQA: Data Augmentation with Specialized Models for Cross-lingual Open-retrieval Question Answering System
University of Mannheim(曼海姆大学);University of Verona(维罗纳大学);University of Würzburg(维尔茨堡大学)
本文介绍了我们提出的跨语言开放检索问答(COQA)MIA共享任务系统。在这个具有挑战性的场景中,给定一个输入问题,系统必须从多语言池中收集证据文件,并从这些文件中生成问题语言的答案。我们设计了几种方法,将不同的模型变体结合起来,用于三个主要组件:数据增强、段落检索和答案生成。对于段落检索,我们根据基于多语言预训练语言模型(PLM)和共享任务基线变体的重新排序器集合评估了单语BM 25排名器,使用最近引入的对比损失从头开始重新训练,通过混合负样本在整个训练过程中保持强梯度信号。对于答案生成,我们通过对现有多语言编码器进行持续的语言模型(LM)预训练,专注于语言和领域的专业化。此外,对于段落检索和答案生成,我们使用从维基百科段落创建的自动生成的问答对来增强任务组织者提供的训练数据,以缓解数据稀缺的问题,特别是对于没有提供训练数据的低资源语言。我们的研究结果表明,语言和领域的专业化以及数据增强的帮助,特别是对低资源的语言。
2022-05-30 cs.CL
Dense Passage Retrieval for Open-Domain Question Answering
Facebook AI(脸书人工智能研究院);University of Washington(华盛顿大学);Princeton University(普林斯顿大学)
开放域问答依赖于有效的段落检索来选择候选上下文,传统的稀疏向量空间模型,如TF-IDF或BM 25,是事实上的方法。在这项工作中,我们表明,检索实际上可以单独使用密集表示,其中嵌入是通过一个简单的双编码器框架从少量的问题和段落中学习。当在广泛的开放域QA数据集上进行评估时,我们的密集检索器在前20个段落检索准确率方面的绝对性能大大超过强大的Lucene-BM 25系统9%-19%,并帮助我们的端到端QA系统在多个开放域QA基准上建立新的最先进水平。
2020-09-30 cs.CL
MRAG: A Modular Retrieval Framework for Time-Sensitive Question Answering
Nanyang Technological University(南洋理工大学);Alibaba-NTU JRI(阿里巴巴-南洋理工大学联合研究院);NYU Shanghai(上海纽约大学);Zhejiang University(浙江大学);Center for Data Science, New York University(纽约大学数据科学中心)
针对大语言模型问答系统在时间敏感问题上的推理短板,该研究提出无需训练的模块化检索框架MRAG,构建TempRAGEval基准,实验证明其检索性能和答案准确率均优于基线方法。
2025-05-21 cs.CL
PubMed Reasoner: Dynamic Reasoning-based Retrieval for Evidence-Grounded Biomedical Question Answering
PayPal;Worcester Polytechnic Institute(伍斯特理工学院)
PubMed Reasoner通过动态推理机制提升生物医学问答的准确性与证据可靠性,采用三阶段框架优化检索过程并生成有据可查的回答。
2026-03-28 cs.CL
Better Retrieval May Not Lead to Better Question Answering
The University of Arizona(亚利桑那大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
近年来,开放领域的问答(QA)问题取得了很大的进展,这些问题需要信息检索(IR)和阅读理解(RC)。一个流行的方法来提高系统的性能是提高从IR阶段检索的上下文的质量。在这项工作中,我们表明,对于StrategyQA,一个具有挑战性的开放域QA数据集,需要多跳推理,这种常见的方法是令人惊讶的无效-提高检索上下文的质量几乎没有提高系统的性能。我们进一步分析系统的行为,以确定潜在的原因。
2022-05-07 cs.CL
Mitigating False-Negative Contexts in Multi-document Question Answering with Retrieval Marginalization
Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所)
需要来自多个文档的信息的问答(QA)任务通常依赖于检索模型来识别用于推理的相关信息。检索模型通常被训练以最大化标记的支持证据的可能性。然而,当从维基百科等大型文本语料库中检索时,通常可以从多个候选证据中获得正确答案。此外,并非所有这样的候选者在注释期间都被标记为阳性,从而使训练信号变得微弱和嘈杂。当问题无法回答或答案是布尔值时,这个问题会加剧,因为模型不能依赖词汇重叠来建立答案和支持证据之间的联系。我们开发了一种新的参数化集值检索,处理无法回答的查询,我们表明,在训练过程中边缘化这个集合允许模型,以减轻假阴性支持证据注释。我们在两个多文档QA数据集IIRC和HotpotQA上测试了我们的方法。在IIRC上,我们证明了带边缘化的联合建模将模型性能提高了5.5 F1点,并实现了50.5 F1的最新性能。我们还表明,检索边缘化的结果在4.1 QA F1的改进,在fullwiki设置在HotpotQA的非边缘化的基线。
2021-09-08 cs.CL
HyperProve: Answer-Guided Hypergraph Expansion for Multi-Hop Question Answering
Hanoi University of Science and Technology(河内科技大学);Monash University(莫纳什大学);University of Oregon(俄勒冈大学)
HyperProve通过将问题分解与答案引导的超图扩展相结合,实现状态化、以事实为中心的检索,在多跳问答基准上显著提升答案准确率和F1。
2026-09-15 cs.CL
Towards Graph-hop Retrieval and Reasoning in Complex Question Answering over Textual Database
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多链多跳检索推理新范式 Graph-Hop,构建了提供细粒度证据图的新基准 ReasonGraphQA,并提出双向图检索(BGR)基线方法,实验表明该方向有潜力但仍存局限。
2023-05-23 cs.CL
Memory-Aware and Uncertainty-Guided Retrieval for Multi-Hop Question Answering
University of Pittsburgh(匹兹堡大学);Salesforce Research(Salesforce研究院)
提出MIND框架,通过实体提取、基于熵和注意力信号的动态检索触发及记忆感知过滤,解决多跳问答中检索步骤固定和已检索知识利用不足的问题。
2025-03-29 cs.CL
Open Domain Question Answering over Tables via Dense Retrieval
Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
开放域QA的最新进展已经导致了基于稠密检索的强大模型,但仅专注于检索文本段落。在这项工作中,我们解决了开放域QA表的第一次,并表明检索可以提高检索器设计来处理表格上下文。我们提出了一个有效的预训练程序,我们的检索和提高检索质量与挖掘硬负。由于相关数据集缺失,我们提取了自然问题的子集(Kwiatkowski等人,2019年)到表QA数据集。我们发现,我们的检索器提高检索结果从72.0到81.1 recall@10和端到端的QA结果从33.8到37.7的精确匹配,超过一个BERT为基础的检索器。
2021-06-09 cs.CL
Subgraph Retrieval Enhanced Model for Multi-hop Knowledge Base Question Answering
Renmin University of China(中国人民大学);Tsinghua University(清华大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
知识库问答(KBQA)检索子图更容易推理的最新作品。一个期望的子图是至关重要的,因为一个小的可能会排除答案,但一个大的可能会引入更多的噪音。然而,现有的检索要么是启发式的,要么与推理交织在一起,导致在部分子图上进行推理,这增加了中间监督缺失时的推理偏差。本文提出了一个可训练的子图检索器(SR)解耦的后续推理过程,这使得一个即插即用的框架,以增强任何面向子图的KBQA模型。大量的实验表明,SR实现了显着更好的检索和QA性能比现有的检索方法。通过弱监督的预训练以及端到端的微调,SRl在与NSM(一种面向子图的推理器)相结合时,实现了新的最先进的性能,用于基于嵌入的KBQA方法。
2022-07-27 cs.CL
Uncertainty Quantification in Retrieval Augmented Question Answering
University of Edinburgh(爱丁堡大学)
本研究提出通过估计检索段落的效用来量化检索增强QA模型的不确定性,训练轻量级模型预测效用,高效接近或超越采样方法。
2025-09-11 cs.CL
End-to-End Table Question Answering via Retrieval-Augmented Generation
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心)
大多数现有的端到端的表格问答(表格QA)模型包括一个两阶段的框架,检索器从语料库中选择相关的表格候选人和读者从表格候选人中找到正确的答案。即使读者模型的准确性显着提高与最近的transformer为基础的方法,这样的框架的整体性能仍然遭受使用传统的信息检索技术作为检索器的准确性差。为了缓解这个问题,我们引入了T-RAG,一个端到端的表QA模型,其中非参数密集向量索引与BART(一个参数序列到序列模型)联合微调以生成答案令牌。对于任何自然语言问题,T-RAG利用统一的管道自动搜索表格语料库,直接从表格单元格中定位正确答案。我们将T-RAG应用于最近的开放域表QA基准测试,并证明了微调的T-RAG模型能够在端到端表QA和表检索任务中实现最先进的性能。
2022-03-30 cs.CL
MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages
University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院);Penn State University(宾夕法尼亚州立大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Studio Ousia(Ousia工作室);RIKEN(日本理化学研究所);Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们介绍了多语言信息访问(MIA)2022共享任务研讨会的结果,评估了16种类型多样的语言的跨语言开放式检索问答(QA)系统。在这项任务中,我们采用了两个大规模的跨语言的开放检索QA数据集在14种不同类型的语言,和新注释的开放检索QA数据在2个代表性不足的语言:泰米尔语和泰米尔语。四个团队提交了他们的系统。利用迭代挖掘的不同负面示例和更大的预训练模型的最佳系统达到32.2 F1,比我们的基线高出4.5分。第二个最好的系统使用实体感知的上下文表示的文档检索,并取得了显着的改善,泰米尔语(20.8 F1),而大多数其他系统产生的分数几乎为零。
2022-07-02 cs.CL
Knowledge-Aided Open-Domain Question Answering
Tsinghua University(清华大学)
开放域问答(QA)的目标是从大量的文档中找到问题的答案,虽然许多单文档机器理解模型已经取得了很好的性能,但由于文档检索和答案重排序的不足,开放域QA系统仍有很大的改进空间。包含正确答案的黄金文档可能不会被检索组件正确地评分,并且已经提取的正确答案可能被重新排序组件错误地排序在其他候选答案之后。其中一个原因来自独立原则,即每个候选文档(或答案)都是独立评分的,而不考虑其与其他文档(或答案)的关系。在这项工作中,我们提出了一个知识辅助的开放领域的QA(KAQA)方法,其目标是提高相关的文档检索和候选答案重新排序,通过考虑问题和文件之间的关系(称为问题-文档图),和候选文件之间的关系(称为文档-文档图)。这些图是使用来自外部知识资源的知识三元组构建的。在文档检索过程中,通过考虑候选文档与问题和其他文档的关系来对候选文档进行评分。在答案重排序过程中,候选答案不仅使用其自身的上下文,而且还使用来自其他文档的线索进行重排序。实验结果表明,我们提出的方法提高了文档检索和答案重排序,从而提高了开放域问答的整体性能。
2020-06-09 cs.CL
Adaptive Information Seeking for Open-Domain Question Answering
University of Chinese Academy of Sciences(中国科学院大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
信息搜索是开放领域问答从大规模语料库中有效收集证据的重要步骤。最近,迭代方法已被证明是有效的复杂问题,递归检索新的证据在每一步。然而,几乎所有现有的迭代方法都使用预定义的策略,或者多次应用相同的检索函数,或者固定不同检索函数的顺序,这不能满足不同问题的不同需求。本文提出了一种新的开放域问答自适应信息搜索策略AISO。具体地,整个检索和应答过程被建模为部分观察的马尔可夫决策过程,其中三种类型的检索操作(例如,BM25、DPR和超链接)和一个应答操作被定义为动作。根据学习策略,AISO可以根据收集到的证据和重构后的查询自适应地选择合适的检索动作来寻找每一步缺失的证据,或者在证据集足够时直接输出答案。SQuAD Open和HotpotQA fullwiki作为单跳和多跳开放域QA基准测试,实验表明AISO在检索和答案评估方面优于所有具有预定义策略的基线方法。
2021-09-14 cs.CL
MARAGS: A Multi-Adapter System for Multi-Task Retrieval Augmented Generation Question Answering
Darkhive(达克海夫)
本文提出MARAGS多适配器检索增强生成系统,用于CRAG竞赛多任务问答,采用标准RAG流程与交叉编码器排序,在任务1和任务2中分别获得第二和第三名。
2024-11-04 cs.CL
Answerability in Retrieval-Augmented Open-Domain Question Answering
University of Tartu(塔尔图大学);University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
针对ODQA检索中高语义重叠的不相关文本识别难题,本文利用SQuAD 2.0不可回答配对训练模型,将准确率从随机配对策略的1%提升至约100%。
2024-03-03 cs.CL
Enhancing Open-Domain Table Question Answering via Syntax- and Structure-aware Dense Retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
本文提出语法与结构感知的稠密检索方法,通过问题语法表示、表格结构化表示及语法到结构聚合器,在NQ-tables和新开放域Text-to-SQL数据集上取得最优或显著领先效果。
2023-09-19 cs.CL
Memory Augmented Sequential Paragraph Retrieval for Multi-hop Question Answering
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
从相关段落或文档中检索信息来回答开放域多跳问题是非常具有挑战性的。为了应对这一挑战,大多数现有的作品认为段落作为节点的图,并提出基于图的方法来检索它们。然而,在本文中,我们指出了这种方法的内在缺陷。相反,我们提出了一个新的架构,模型段落作为顺序数据,并认为多跳信息检索作为一种序列标记任务。具体来说,我们设计了一个可扩展的外部存储器来模拟段落之间的依赖关系。此外,提出了一种阈值门机制,以消除噪音段落的分心。我们评估我们的方法上完整的维基和分心子任务的HotpotQA,一个公共的文本多跳QA数据集,需要多跳信息检索。实验表明,我们的方法取得了显着的改善,在检索和下游QA任务的性能比发表的最先进的方法。
2021-02-07 cs.CL
Hybrid-IR: Dual-Path Hybrid Retrieval with Iterative Reasoning for Complex Medical Question Answering
College of Artificial Intelligence, Nanjing Agricultural University(南京农业大学人工智能学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
提出Hybrid-IR框架,结合图检索与稠密检索的双路径检索机制,并通过迭代检索-推理循环逐步优化推理轨迹,有效解决复杂医学问答中知识碎片化和静态检索不足的问题。
2026-06-25 cs.CL
BYOKG-RAG: Multi-Strategy Graph Retrieval for Knowledge Graph Question Answering
Amazon(亚马逊)
BYOKG-RAG通过LLM生成图构件并结合多种图检索工具迭代优化,在五个基准上比次优方法高4.5个百分点,提升自定义知识图谱问答的泛化性与鲁棒性。
2025-07-05 cs.CL
CLTR: An End-to-End, Transformer-Based System for Cell Level Table Retrieval and Table Question Answering
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了第一个端到端的,基于transformer的表格问答(QA)系统,该系统以自然语言问题和大量的表格语料库作为输入,以检索最相关的表格,并定位正确的表格单元格来回答问题。我们的系统,CLTR,扩展了目前国家的最先进的QA表模型,建立一个端到端的表QA架构。该系统已经成功地解决了许多现实世界的表QA问题,一个简单的,统一的管道。我们提出的系统还可以在复杂的表格上生成候选列和行的热图,并允许用户快速识别正确的单元格来回答问题。此外,我们还介绍了两个新的开放域基准测试,E2E_WTQ和E2E_GNQ,由76,242个表上的2,005个自然语言问题组成。这些基准测试旨在验证CLTR,并适应未来的表检索和端到端表QA研究和实验。我们的实验表明,我们的系统是目前国家的最先进的模型上的表检索任务,并产生有前途的结果端到端的表QA。
2021-06-09 cs.CL
Entity-Memory Graph Retrieval Improves Evidence Coverage in Long-Conversation Question Answering
Tsinghua University(清华大学)
该研究提出实体记忆图检索方法,在10个LoCoMo对话的1986个问题上,使top-k=25的证据召回率提升约4.74个百分点,实现检索覆盖增益。
2026-08-31 cs.CL
Joint Passage Ranking for Diverse Multi-Answer Retrieval
University of Washington(华盛顿大学);Google Research(谷歌研究院)
我们研究多答案检索,一个未充分探索的问题,需要检索段落,以涵盖多个不同的答案为一个给定的问题。这项任务需要对检索到的段落进行联合建模,因为模型不应该以错过不同的有效答案为代价重复检索包含相同答案的段落。在本文中,我们介绍了JPR,第一个联合通道检索模型的多答案检索。JPR利用自回归重排序器选择一系列通道,每个通道以先前选择的通道为条件。JPR被训练为在每个时间步选择覆盖新答案的段落,并使用树解码算法来实现多样性程度的灵活性。与现有方法相比,JPR在三个多答案数据集上实现了更好的答案覆盖。当与下游问答相结合时,改进的检索能够实现更大的答案生成模型,因为它们需要考虑更少的段落,从而建立新的最先进的技术。
2021-09-19 cs.AI cs.CL
Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval
Ping An Technology(平安科技);Beihang University(北京航空航天大学)
双编码器是问答系统中一种很有前途的答案检索机制。目前,大多数传统的双编码器学习的语义表示的问题和答案仅仅通过匹配的分数。研究者提出在评分函数中引入问答交互特征,但代价是推理阶段效率低下。为了在推理阶段保持问题和答案的独立编码,在训练阶段进一步引入变分自动编码器来从问题(答案)嵌入重构答案(问题)作为辅助任务,以增强表示学习中的QA交互。然而,文本生成和答案检索的需求是不同的,这导致了训练的难度。在这项工作中,我们提出了一个框架,以增强双编码器模型与问答交叉嵌入和一个新的几何对齐机制(GAM),以对齐的几何嵌入从双编码器从交叉编码器。大量的实验结果表明,我们的框架显着改善了双编码器模型,并优于国家的最先进的方法在多个答案检索数据集。
2022-06-07 cs.AI cs.CL
Predicting the Benefit of Retrieval Augmentation in Open-Domain Question Answering
Technion(技术学院);Technology Innovation Institute (TII)(技术创新研究所)
本文研究了RAG在问答中的性能预测,提出了一种新的监督预测器,通过建模问题、检索段落和生成答案之间的语义关系,提升了预测效果。
2026-08-20 cs.CL cs.IR
Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation
Harbin Institute of Technology(哈尔滨工业大学)
本文提出SKURG方法,通过实体中心融合编码器和统一检索-生成解码器解决多模态多跳问答中检索与生成割裂的问题,在MultimodalQA和WebQA上以更少参数超越现有最优模型。
2023-08-07 cs.CL cs.CV
Entity Retrieval for Answering Entity-Centric Questions
School of Computing Science(计算科学学院);Simon Fraser University(西蒙菲莎大学)
针对以实体为中心的问答,本文提出 Entity Retrieval,利用问题中的显著实体而非问题—文档相似性检索文档,并证明其相比稠密与稀疏检索更准确、更高效。
2024-08-05 cs.CL cs.IR
Towards Universal Dense Retrieval for Open-domain Question Answering
Princeton University(普林斯顿大学)
在开放域问答中,模型接收文本问题作为输入,并使用大型证据语料库搜索正确答案。检索步骤是特别困难的,因为典型的证据语料库具有\textit{millions}的文档,每个文档可能有也可能没有问题的正确答案。最近,密集模型已经取代稀疏方法作为事实上的检索方法。密集方法不是专注于词汇重叠来确定相似性,而是构建一个编码函数,通过从一小部分问题-答案或问题-上下文对中学习来捕获语义相似性。在本文中,我们研究稠密检索模型的背景下,开放域问答在不同的输入分布。为此,首先,我们引入了一个从Wikidata事实构建的实体丰富的问答数据集,并证明密集模型无法推广到看不见的输入问题分布。其次,我们进行分析,旨在更好地了解问题的根源,并提出新的训练技术,以提高各种数据集的域外性能。我们鼓励该领域进一步研究创建一个单一的,通用的稠密检索模型,以及在所有输入分布的推广。
2021-09-23 cs.CL cs.IR
Enhancing Document-Level Question Answering via Multi-Hop Retrieval-Augmented Generation with LLaMA 3
Independent Researcher(独立研究者);Cornell University(康奈尔大学);University of Southern California(南加州大学)
本文提出基于LLaMA 3的多跳检索增强生成框架,通过密集检索、上下文融合及联合优化,提升长文档问答的准确性与连贯性,实验优于现有基线。
2025-06-19 cs.CL cs.LG
Entity-Focused Dense Passage Retrieval for Outside-Knowledge Visual Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
大多数外部知识视觉问答(OK-VQA)系统采用两阶段框架,首先检索给定视觉问题的外部知识,然后基于检索到的内容预测答案。然而,检索到的知识往往是不够的。检索往往过于笼统,无法涵盖回答问题所需的特定知识。此外,自然可用的监督(文章是否包含正确答案)很弱,不能保证问题的相关性。为了解决这些问题,我们提出了一个以知识为中心的检索(EnFoRe)模型,该模型在训练过程中提供更强的监督,并识别与问题相关的实体,以帮助检索更具体的知识。实验表明,我们的EnFoRe模型在目前最大的外部知识VQA数据集OK-VQA上取得了优异的检索性能。我们还将检索到的知识与最先进的VQA模型相结合,并在OK-VQA上实现了新的最先进的性能。
2022-10-20 cs.CL cs.CV
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre(语言技术研究中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
通常,提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题,因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中,我们解决了多答案检索,需要检索的段落,可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法,使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落,都是查询相关的和不同的。结果表明,我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
Unsupervised Alignment-based Iterative Evidence Retrieval for Multi-hop Question Answering
University of Arizona(亚利桑那大学)
证据检索是问答(QA)的关键阶段,不仅是提高性能所必需的,而且是解释相应QA方法的决策所必需的。我们介绍了一种简单,快速,无监督的迭代证据检索方法,它依赖于三个想法:(a)仅使用GloVe嵌入来软对齐问题和答案与理由句子的无监督对齐方法,(b)重新制定关注现有理由未覆盖的术语的查询的迭代过程,其中(c)当给定问题和候选答案中的词语被检索到的理由覆盖时终止检索的停止准则。尽管它很简单,但我们的方法在两个数据集上的证据选择任务上优于所有以前的方法(包括监督方法):MultiRC和QASC。当这些证据句子被输入到RoBERTa答案分类组件中时,我们在这两个数据集上实现了最先进的QA性能。
2020-05-04 cs.CL cs.IR