Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
Facebook AI Research(脸书人工智能研究院);ENS, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所)
开放领域问答的生成模型已经被证明是有竞争力的,而不诉诸外部知识。虽然很有前途,但这种方法需要使用具有数十亿个参数的模型,这些参数的训练和查询成本很高。在本文中,我们研究了这些模型可以从检索文本段落中受益多少,可能包含证据。我们在Natural Questions和TriviaQA开放基准测试中获得了最先进的结果。有趣的是,我们观察到,当增加检索通道的数量时,这种方法的性能显着提高。这证明生成模型擅长聚合和组合来自多个通道的证据。
2021-02-03 cs.CL cs.LG
Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification
Baidu Inc.(百度公司);Peking University(北京大学)
基于真实网络数据的机器阅读理解(MRC)通常要求机器通过分析搜索引擎检索到的多个段落来回答问题。与单篇文章的MRC相比,多篇文章的MRC更具挑战性,因为我们很可能从不同的文章中得到多个令人困惑的答案候选者。为了解决这个问题,我们提出了一个端到端的神经模型,使这些答案候选人从不同的段落,以验证对方的基础上,他们的内容表示。具体来说,我们联合训练了三个模块,可以根据答案边界、答案内容和交叉通道答案验证三个因素来预测最终答案。实验结果表明,该方法在英文MS-MARCO数据集和中文DuReader数据集上的性能均优于基线,达到了最先进的性能,这两个数据集都是为真实环境中的MRC设计的。
2018-05-10 cs.CL
GripRank: Bridging the Gap between Retrieval and Generation via the Generative Knowledge Improved Passage Ranking
Beihang University(北京航空航天大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Tencent Cloud AI(腾讯云人工智能)
针对检索与生成目标不一致的问题,本文提出 GripRank,利用生成式段落估计器和课程知识蒸馏改进段落排序,并在 KILT 上提升排序与答案生成性能。
2023-08-15 cs.AI cs.CL
Grape: Knowledge Graph Enhanced Passage Reader for Open-domain Question Answering
University of Notre Dame(圣母大学);Snap Inc.(色拉布公司);Brandeis University(布兰迪斯大学)
开放域问答(QA)模型的一个常见思路是采用检索者-读者管道,首先从维基百科检索一些相关段落,然后仔细阅读这些段落以产生答案。然而,即使是最先进的读者也无法捕捉问题中出现的实体和检索到的段落之间的复杂关系,导致答案与事实相矛盾。鉴于此,我们提出了一种新的知识图谱增强的通道阅读器,即葡萄,以提高阅读器的性能,开放领域的问答。具体来说,对于每一对问题和检索到的段落,我们首先构建一个本地化的二分图,归因于从读者模型的中间层提取的实体嵌入。然后,图神经网络学习关系知识,同时将图和上下文表示融合到读者模型的隐藏状态中。在三个开放域QA基准测试上的实验表明,在相同的检索器和检索段落的情况下,Grape可以将最先进的性能提高高达2.2的精确匹配分数,而开销增加可以忽略不计。我们的代码可在https://github.com/jumxglhf/GRAPE上公开获取。
2022-10-10 cs.AI cs.CL
Top K Relevant Passage Retrieval for Biomedical Question Answering
University of Kentucky(肯塔基大学)
本文针对生物医学问答中Wikipedia源不足的问题,在DPR框架上改用Pubmed文章进行微调,并在BioASQ数据集上取得0.81的F1分数。
2023-08-08 cs.AI cs.CL cs.IR
Biomedical Question Answering via Weighted Neural Network Passage Retrieval
ETH Zurich(苏黎世联邦理工学院)
近年来,可公开获得的生物医学文献的数量一直在快速增长,然而问答系统仍在努力开发这种数据源的全部潜力。在初步处理步骤中,许多问答系统依赖于检索模型来识别相关文档和段落。提出了一种基于神经网络词嵌入的加权余弦距离检索方案。我们的实验基于BioASQ生物医学问答挑战赛的公开数据和任务,并在各种最先进的模型中表现出显着的性能提升。
2018-01-09 cs.AI cs.CL cs.IR
CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering
Department of Computer Science, University of Warwick, UK(英国华威大学计算机科学系)
我们介绍了CHIME,一个跨通道层次记忆网络的问答(QA)通过文本生成。它扩展了XLNet,引入了一个由两个组件组成的辅助记忆模块:收集交叉证据的上下文记忆和作为缓冲区不断完善生成的答案的答案记忆。从经验上讲,我们展示了所提出的架构在多通道生成QA中的有效性,表现优于最先进的基线,具有更好的语法结构良好的答案,并在解决AmazonQA评论数据集的问题时提高了精度。一个额外的定性分析揭示了由内存模块引入的可解释性。
2020-11-01 cs.CL
S-Net: From Answer Extraction to Answer Generation for Machine Reading Comprehension
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);Microsoft Research(微软研究院)
在本文中,我们提出了一种新的方法来机器阅读理解的MS-MARCO数据集。与SQuAD数据集不同的是,MS-MARCO数据集将任务定义为回答多个段落中的问题,并且答案中的单词在段落中是不必要的。因此,我们开发了一个提取然后合成框架,从提取结果合成答案。具体而言,首先采用答案提取模型来预测文章中最重要的子跨度作为证据,然后答案合成模型将证据作为与问题和文章一起的附加特征来进一步阐述最终答案。我们使用最先进的神经网络建立了单篇文章阅读理解的答案抽取模型,并提出了一个额外的任务,即文章排序,以帮助多篇文章的答案抽取。答案合成模型是基于序列到序列的神经网络与提取的证据作为特征。实验表明,我们的提取,然后合成方法优于国家的最先进的方法。
2018-01-02 cs.CL
GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval
deepset GmbH(deepset 公司)
面向问答(QA)的非英语机器阅读研究的一个主要挑战是缺乏标注数据集。在本文中,我们介绍了GermanQuAD,一个包含13,722个提取问题/答案对的数据集。为了提高数据集创建方法的可重复性,并促进对其他语言的QA研究,我们总结了经验教训,并评估了问题/答案对的重新表述,以加快注释过程。在GermanQuAD上训练的提取QA模型显著优于多语言模型,并且还表明机器翻译的训练数据不能完全替代目标语言中的手动注释训练数据。最后,我们展示了广泛的应用GermanQuAD通过适应GermanDPR,密集通道检索(DPR)的训练数据集,和训练和评估的第一个非英语DPR模型。
2021-04-26 cs.CL cs.LG
Modeling Contextual Passage Utility for Multihop Question Answering
Adobe Research, India(Adobe研究印度)
本文提出了一种基于上下文依赖的轻量级方法,用于建模多跳问答中段落的效用,以提高重排和问答性能。
2025-12-06 cs.CL
QPaug: Question and Passage Augmentation for Open-Domain Question Answering of LLMs
Korea University(高丽大学);Hanbat National University(韩巴大学)
提出QPaug方法,通过LLMs将问题分解为多步子问题并生成辅助段落,增强查询与检索质量,显著提升了开放域问答中RAG的性能。
2024-09-27 cs.AI cs.CL
Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Facebook AI Research(Facebook人工智能研究院);Allen Institute for AI(艾伦人工智能研究所)
我们介绍了一种方法,开放域的问答(QA)检索和阅读的通道图,其中顶点是文本和边缘的通道表示的关系,来自外部的知识库或同现在同一篇文章。我们的目标是通过使用知识引导的检索来找到比文本匹配方法更相关的段落,以提高覆盖率,并通过允许更好的知识引导融合相关段落的信息来提高准确性。我们的图检索方法扩展了一组种子关键字检索通道通过遍历知识库的图结构。我们的阅读器扩展了基于BERT的架构,并通过传播相关段落及其关系的信息来更新段落表示,而不是孤立地阅读每个段落。在三个开放域QA数据集(WebQuestions,Natural Questions和TriviaQA)上的实验显示,与非图形基线相比,性能绝对提高了2-11%。我们的方法在每种情况下都达到或超过了最先进的水平,而无需使用昂贵的端到端培训制度。
2020-04-13 cs.AI cs.CL
Inter-Passage Verification for Multi-evidence Multi-answer QA
NYU Shanghai(上海纽约大学);New York University(纽约大学);Princeton Language and Intelligence(普林斯顿语言与智能)
针对多答案问答中检索与合成大量证据段落的挑战,提出RI$^2$VER框架,通过段落间验证流水线验证候选答案,在QAMPARI和RoMQA数据集上平均F1提升11.17%。
2025-05-31 cs.CL
Tag and Correct: Question aware Open Information Extraction with Two-stage Decoding
Microsoft(微软)
问题感知开放信息抽取(问题感知开放IE)将问题和段落作为输入,输出包含主语、谓语和一个或多个参数的答案元组。每个答案字段是一个自然语言单词序列,并且是从文章中提取的。半结构化答案比跨度答案具有更好的可读性和可证伪性。有两种方法可以解决这个问题。一种是抽取方法,利用Open IE模型从文章中抽取候选答案,并通过与问题的匹配进行排序。它在抽取阶段充分利用了篇章信息,但抽取过程与问题无关。另一种是生成式方法,该方法使用序列到序列模型直接生成答案。它将问题和文章同时作为输入,但它从头开始生成答案,这并没有使用大多数答案词来自文章的事实。为了指导段落生成,我们提出了一个两阶段的解码模型,其中包括一个标记解码器和一个校正解码器。在第一阶段,标记解码器将标记文章中的关键词。在第二阶段,校正解码器将基于标记的关键字生成答案。我们的模型可以进行端到端的训练,尽管它有两个阶段。与以前的生成模型相比,我们通过生成粗到细来生成更好的答案。我们在WebAssertions上评估我们的模型(Yan等人,2018),这是一个问题感知的Open IE数据集。我们的模型获得了59.32的BLEU分数,优于以前的生成方法。
2020-09-16 cs.AI cs.CL
Rider: Reader-Guided Passage Reranking for Open-Domain Question Answering
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
当前的开放域问答系统通常遵循检索器-读者体系结构,其中检索器首先检索相关段落,然后读者阅读检索到的段落以形成答案。在本文中,我们提出了一个简单而有效的段落重新排序方法,命名为读者引导的重新排序器(RIDER),它不涉及训练和重新排序检索的段落完全基于前读者的预测。我们表明,RIDER,尽管它的简单性,实现了10至20的绝对增益在前1检索精度和1至4精确匹配(EM)增益没有完善检索器或读者。此外,RIDER在没有任何训练的情况下,性能优于最先进的基于transformer的监督重排序器。值得注意的是,RIDER在Natural Questions数据集上实现了48.3 EM,在TriviaQA数据集上实现了66.4 EM,其中只有1,024个标记(平均7.8个段落)被用作段落重新排序后的读者输入。
2021-08-06 cs.AI cs.CL cs.IR
A Study of BERT for Non-Factoid Question-Answering under Passage Length Constraints
IBM Research AI(IBM研究AI);Haifa University(海法大学)
我们研究了BERT在非事实性问答中的应用,重点研究了不同段落长度下的段落重新排序任务。为此,我们探讨了微调的BERT在不同的学习排名设置,包括逐点和成对的方法,从而在国家的最先进的实质性改进。然后,我们分析了不同的通道长度的有效性BERT,并建议如何应付大通道。
2019-08-19 cs.CL cs.IR
Microsoft AI Challenge India 2018: Learning to Rank Passages for Web Question Answering with Deep Attention Networks
IIIT-Hyderabad(海得拉巴国际信息技术学院)
本文介绍了我们的系统为微软人工智能挑战赛印度2018:排名网页问答通道。该系统使用biLSTM网络,在查询和段落表示之间具有协同注意力机制。此外,我们使用自我注意嵌入,以增加词汇覆盖率,允许系统采取工会在不同的嵌入。我们还结合了手工制作的功能,以提高系统性能。我们的系统在eval-1数据集上实现了0.67的平均倒数秩(MRR)。
2019-06-14 cs.CL
Evidence Aggregation for Answer Re-Ranking in Open-Domain Question Answering
School of Information System, Singapore Management University(新加坡管理大学信息系统学院);AI Foundations - Learning, IBM Research AI(IBM研究人工智能部 - 学习基础)
最近流行的回答开放域问题的方法是首先搜索与问题相关的段落,然后应用阅读理解模型来提取答案。现有的方法通常从单个段落中独立地提取答案。但有些问题需要结合不同来源的证据才能正确回答。在本文中,我们提出了两个模型,利用多个通道,以产生他们的答案。两者都使用一个答案重新排序的方法,重新排序的答案候选人产生的现有国家的最先进的QA模型。我们提出了两种方法,即基于强度的重新排名和基于覆盖率的重新排名,利用不同段落的汇总证据,以更好地确定答案。我们的模型在三个公共开放域QA数据集上取得了最先进的结果:Quasar-T,SearchQA和TriviaQA的开放域版本,比前两个数据集提高了约8个百分点。
2018-04-26 cs.AI cs.CL
Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models
Santa Clara University(圣克拉拉大学);Walmart Global Tech(沃尔玛全球科技);Docomo Innovations(docomo创新公司)
针对开放域问答中LLM段落重排序依赖硬提示、全量微调成本高的问题,提出参数高效的段落特定提示调优方法PSPT,融入段落特定知识提升排序能力,实验验证其有效性。
2024-06-21 cs.CL cs.IR
KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain Question Answering
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软);University of Notre Dame(圣母大学);University of Southern California(南加州大学)
现有的开放领域问答模型通常包含一个检索模块和一个阅读模块。给定一个输入问题,阅读模块从检索器检索到的相关段落中预测答案。最近提出的融合解码器(FiD)建立在预训练的生成模型T5之上,在阅读模块中实现了最先进的性能。虽然它是有效的,但它仍然受到所有包含大量噪音的检索段落的低效注意的限制。在这项工作中,我们提出了一种新的方法KG-FiD,利用检索到的通道与知识图谱之间的结构关系过滤噪声通道。我们从FiD编码器启动通道节点嵌入,然后使用图神经网络(GNN)更新表示进行重新排序。为了提高效率,我们在FiD编码器的中间层输出之上构建GNN,并且只将少数重新排序的通道传递到编码器和解码器的更高层以生成答案。我们还提出了基于GNN的重排序方法,以提高检索模块中的段落检索结果。在常见的ODQA基准数据集(Natural Question和TriviaQA)上进行的大量实验表明,KG-FiD可以将普通FiD的答案精确匹配分数提高1.5%,并在计算成本仅为40%的情况下实现与FiD相当的性能。
2022-06-06 cs.CL cs.LG
Multi Document Reading Comprehension
Indian Institute Of Technology (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校)
阅读理解(RC)是从给定的文章或一组文章中回答问题的任务。在多个段落的情况下,任务是找到问题的最佳答案。最近在自然语言处理(NLP)领域的试验和实验已经证明,机器不仅可以处理文章中的文本并理解其含义以回答文章中的问题,而且还可以在许多数据集上超越人类表现,例如斯坦福的问答数据集(SQuAD)。本文介绍了近几十年来自然语言处理领域对阅读理解的研究及其进展。我们还将研究如何单文档阅读理解任务作为我们的多文档阅读理解系统的构建块。在本文的后半部分,我们将研究最近提出的多文档阅读理解模型-RE 3QA,该模型由阅读器,检索器和基于重新排序的网络组成,以从给定的段落集合中获取最佳答案。
2022-01-05 cs.AI cs.CL
Encoder Adaptation of Dense Passage Retrieval for Open-Domain Question Answering
David R. Cheriton School of Computer Science(大卫·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
密集通道检索器(DPR)的一个关键特征是在双向编码器设计中使用单独的问题和通道编码器。以前的DPR的推广工作主要集中在测试两个编码器串联在分布外(OOD)问答(QA)任务,这也被称为领域自适应。然而,DPR的单个问题/段落编码器如何影响泛化仍然是未知的。具体来说,在本文中,我们想知道如果与来自另一个域的OOD通道/问题编码器配对,分发(IND)问题/通道编码器将如何泛化。我们将此挑战称为\textit{encoder adaptation}。为了回答这个问题,我们检查DPR的问题和通道编码器的不同组合,从五个基准QA数据集上的域内和域外的问题。我们发现通道编码器对泛化下限的影响更大,而问题编码器似乎在总体上影响上界。例如,应用OOD段落编码器通常会损害检索准确性,而OOD问题编码器有时甚至会提高准确性。
2021-10-04 cs.CL cs.IR
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune(浦那陆军技术学院)
多项选择机器阅读理解是一项困难的任务,它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人(或机器)阅读给定的文章、问题对,并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案,或者通过消除最差匹配答案。在这里,我们提出了GenNet模型,一个基于神经网络的模型。在这个模型中,我们首先从文章中生成问题的答案,然后将生成的答案与给定的答案进行匹配,最佳匹配的选项将是我们的答案。对于答案生成,我们使用S-网(Tan等人,2017)在SQuAD上训练的模型,为了评估我们的模型,我们使用了大规模RACE(来自考试的阅读理解数据集)(Lai et al.,2017年)的报告。
2020-03-18 cs.AI cs.CL
CLAPNQ: Cohesive Long-form Answers from Passages in Natural Questions for RAG systems
IBM Research AI(IBM研究院人工智能部门)
提出了ClapNQ,一个用于完整RAG流水线的基准长文本问答数据集,包含来自NQ的简洁连贯长答案及语料库,并通过基线实验揭示了基础RAG系统仍有显著改进空间。
2024-12-23 cs.CL
Dense Passage Retrieval for Open-Domain Question Answering
Facebook AI(脸书人工智能研究院);University of Washington(华盛顿大学);Princeton University(普林斯顿大学)
开放域问答依赖于有效的段落检索来选择候选上下文,传统的稀疏向量空间模型,如TF-IDF或BM 25,是事实上的方法。在这项工作中,我们表明,检索实际上可以单独使用密集表示,其中嵌入是通过一个简单的双编码器框架从少量的问题和段落中学习。当在广泛的开放域QA数据集上进行评估时,我们的密集检索器在前20个段落检索准确率方面的绝对性能大大超过强大的Lucene-BM 25系统9%-19%,并帮助我们的端到端QA系统在多个开放域QA基准上建立新的最先进水平。
2020-09-30 cs.CL
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答(QA)是语音助理的重要用例。一种流行的问答方法是提取阅读理解(RC),它在文本段落中找到答案跨度。然而,提取的答案在会话上下文中通常是不自然的,这导致次优的用户体验。在这项工作中,我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型,它将多个段落的答案生成与段落排名和可回答性相结合。此外,在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结,以评估真实性。实验结果表明,与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比,EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
LODESTAR: Robust Entropy-Based Answer Selection in Retrieval-Augmented Generation for Question Answering -- Directing Frozen-LLM Entropy with a Reinforcement-Learned Prompt Polarizer under Misleading Passages
LODESTAR是首个通过强化学习训练偏振器、依据第三方冻结型LLM的不确定性评分文本干预的方法,可提升检索增强问答的F1值等指标,减少模型读取误导性段落的概率。
2026-08-21 cs.CL cs.IR cs.LG
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre(语言技术研究中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
通常,提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题,因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中,我们解决了多答案检索,需要检索的段落,可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法,使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落,都是查询相关的和不同的。结果表明,我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
Enhanced vectors for top-k document retrieval in Question Answering
现代应用程序,特别是涉及“搜索”作为其用例的信息检索网络应用程序,正逐渐向“应答”模块移动。会话式聊天机器人已被证明对用户更具吸引力,使用问答作为其核心。由于精确的回答在计算上是昂贵的,因此已经开发了几种方法来从包含答案的数据库中预取最相关的文档/段落。我们提出了一种不同的方法,可以高效、准确地检索证据文档,确保不会错过给定用户查询的相关文档。我们通过为每个文档(或本文中的段落)分配一个唯一的标识符,并使用它们来创建可以有效索引的密集向量。更准确地说,我们使用标识符来预测与段落对应的相关问题的随机采样的上下文窗口单词以及段落本身的单词。这自然地将通道标识符嵌入到向量空间中,使得嵌入更接近问题而不损害信息内容。这种方法可以在约4毫秒内高效地创建实时查询向量。
2022-10-08 cs.CL cs.IR cs.LG
Efficient Passage Retrieval with Hashing for Open-domain Question Answering
Studio Ousia(Ousia工作室);RIKEN(理化学研究所);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
大多数最先进的开放域问答系统使用神经检索模型将段落编码为连续向量并从知识源中提取它们。然而,这样的检索模型往往需要大量的内存来运行,因为它们的通道索引的大小。在本文中,我们介绍了二进制通道检索器(BPR),一个内存高效的神经检索模型,集成了学习哈希技术到国家的最先进的密集通道检索器(DPR)表示通道索引使用紧凑的二进制代码,而不是连续向量。BPR是用两个任务的多任务目标进行训练的:基于二进制代码的有效候选生成和基于连续向量的精确重新排序。与DPR相比,BPR在两个标准的开放域问答基准测试(Natural Questions和TriviaQA)上将内存成本从65 GB大幅降低到2 GB,而不损失准确性。我们的代码和训练模型可以在https://github.com/studio-ousia/bpr上找到。
2021-06-02 cs.CL cs.IR
Simple yet Effective Bridge Reasoning for Open-Domain Multi-Hop Question Answering
University of California, Santa Barbara(加州大学圣巴巴拉分校);IBM Research(IBM研究院)
开放域环境下多跳问答(QA)的一个关键挑战是从大型语料库中准确地检索支持段落。关于开放域QA的现有工作通常依赖于现成的信息检索(IR)技术来检索\textbf{answer passages},即,包含地面实况答案的段落。然而,基于IR的方法对于多跳问题是不够的,因为第二跳或进一步跳的主题没有被问题明确地覆盖。为了解决这个问题,我们引入了一个新的子问题的开放域多跳问答,其目的是识别桥梁(\emph{i.e.},锚链接到答案通道)从上下文的一组开始段落的阅读理解模型。该模型\textbf{bridge reasoner}使用弱监督信号进行训练,并为\textbf{passage reader}生成候选答案通道以提取答案。在完整的wiki HotpotQA基准测试中,我们将基线方法显著改进了14点F1。在不使用任何内存效率低下的上下文嵌入,我们的结果也是具有竞争力的国家的最先进的应用BERT在多个模块。
2019-11-01 cs.CL
Detrimental Contexts in Open-Domain Question Answering
KAIST AI(韩国科学技术院人工智能学院)
本文分析了开放域问答中过多检索段落对 retrieve-then-read 架构的负面影响,发现过滤有害段落可在两个数据集上提升10%准确率,并讨论了识别有害段落的挑战。
2023-10-27 cs.AI cs.CL
ReadTwice: Reading Very Large Documents with Memories
University of Southern California(南加州大学);Google Research(谷歌研究院)
诸如问答之类的知识密集型任务通常需要从诸如书籍或文章集合之类的大量输入的不同部分吸收信息。我们提出了ReadTwice,一个简单而有效的技术,结合了几个优势,以前的方法来建模与Transformers的远程依赖关系。其主要思想是以小段的形式并行阅读文本,将每个片段汇总到一个内存表中,以便在第二次阅读文本时使用。我们表明,该方法在几个问答(QA)数据集上的表现优于大小相当的模型,并在具有挑战性的NarrativeQA任务上开创了一个新的领域,其中包括关于整本书的问题。ReadTwice的源代码和预先训练的检查点可以在https://goo.gle/research-readtwice上找到。
2021-05-11 cs.CL cs.LG
Weak Supervision Enhanced Generative Network for Question Generation
Zhejiang University(浙江大学)
根据给定段落内的答案自动生成问题对于许多应用是有用的,例如问答系统、对话系统等。当前基于神经的方法主要采取两个步骤,即基于候选答案通过人工规则或有监督的神经网络提取几个重要句子,然后使用编码器-解码器框架来生成关于这些句子的问题。这些方法忽略了答案和整个篇章语境之间的语义关系,而这种关系有时是回答问题所必需的。为了解决这个问题,我们提出了弱监督增强生成网络(WeGen),它以弱监督的方式自动发现给定答案跨度的段落的相关特征,以提高生成问题的质量。更具体地说,我们设计了一个工具,关系向导,捕捉整个通道和相关的答案之间的关系,然后多交互机制部署到我们的问题生成系统的知识动态传输。实验表明,我们的方法在自动评价和人类评价的有效性。
2019-07-01 cs.AI cs.CL
Silver Retriever: Advancing Neural Passage Retrieval for Polish Question Answering
Polish Academy of Sciences(波兰科学院)
本文提出面向波兰语的神经段落检索模型 Silver Retriever,在多样化标注数据上训练,性能显著优于现有波兰语模型,并开源五个新数据集。
2024-02-22 cs.CL cs.IR
RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering
Baidu Inc.(百度公司);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
在开放领域的问答中,密集段落检索已经成为一种新的检索相关段落以寻找答案的范式。通常,采用双编码器架构来学习问题和段落的密集表示以进行语义匹配。然而,由于训练和推理之间的不一致、未标记的肯定的存在以及有限的训练数据等挑战,难以有效地训练双编码器。为了解决这些挑战,我们提出了一种优化的训练方法,称为RocketQA,以提高密集通道检索。我们在RocketQA中做出了三大技术贡献,即跨批次底片、去噪硬底片和数据增强。实验结果表明,RocketQA在MSMARCO和Natural Questions上的性能明显优于以前的最先进的模型。我们还进行了广泛的实验,以检查在RocketQA的三个策略的有效性。此外,我们证明了端到端的QA的性能可以提高我们的RocketQA检索器的基础上。
2021-05-12 cs.CL cs.IR
In Situ Answer Sentence Selection at Web-scale
School of Information, The University of Arizona(亚利桑那大学信息学院);Amazon Alexa AI(亚马逊 Alexa AI)
在开放域问答(ODQA)中应用的当前答案句子选择(AS 2)通过对可能的候选的大集合进行排序来选择答案,即,句子,从检索到的文本中提取。在本文中,我们提出了基于通道的提取答案句到位(PEASI),一种新的设计AS 2优化Web规模的设置,而不是计算这样的答案,而不单独处理每个候选人。具体来说,我们设计了一个基于Transformer的框架,该框架联合(i)对针对问题检索的段落进行重新排序,以及(ii)从适当的顶部段落中识别可能的答案。我们在一个多任务学习框架中训练PEASI,该框架鼓励组件之间的特征共享:段落重排器和基于文本的答案句子提取器。为了促进我们的开发,我们构建了一个新的Web来源的大规模QA数据集,包括800,000+标记的段落/句子,60,000+问题。实验表明,我们提出的设计有效地优于目前最先进的AS 2设置,即,一个独立的句子排序模型,准确率从48.86%提高到55.37%,提高了6.51%。此外,PEASI在计算答案句子方面非常高效,与标准设置相比,仅需要约20%的推理,即,重新排列所有可能的候选人我们相信PEASI的发布,无论是数据集还是我们提出的设计,都有助于推进在Web规模上部署问答服务的研究和开发。
2022-01-16 cs.CL
Knowledge Corpus Error in Question Answering
Seoul National University(首尔大学);KAIST AI(韩国科学技术院人工智能研究所)
本文提出知识语料库误差概念,解释LLM生成段落优于检索段落的原因,并通过改写实验在三个QA基准上验证了该误差的存在及性能提升。
2023-10-27 cs.AI cs.CL
Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions
Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
针对开放域歧义问题需整合多段落多解释信息的挑战,本文提出利用 Wikipedia 生成的无歧义问题数据库进行检索与推理,在 ASQA 基准上取得最先进性能并显著提升召回、消歧和多样化段落检索。
2023-08-16 cs.AI cs.CL
Clickbait Spoiling via Question Answering and Passage Retrieval
Martin-Luther-Universität Halle-Wittenberg(马丁·路德·哈勒-维腾贝格大学);Leipzig University(莱比锡大学)
我们介绍和研究的点击诱饵破坏的任务:生成一个简短的文本,满足好奇心引起的点击诱饵后。点击诱饵链接到一个网页,并通过引起好奇心而不是提供信息摘要来解释其内容。我们的贡献是分类所需扰流板类型的方法(即,短语或段落),并生成适当的剧透。一个大规模的评估和错误分析的一个新的语料库的5,000手动破坏clickbait职位-Webis Clickbait破坏语料库2022 -表明,我们的剧透类型分类器实现了80%的准确率,而问答模型DeberTa-large优于所有其他人在生成两种类型的剧透。
2022-03-19 cs.CL
R$^3$: Reinforced Reader-Ranker for Open-Domain Question Answering
School of Information System, Singapore Management University(新加坡管理大学信息系统学院);AI Foundations - Learning, IBM Research AI(IBM人工智能研究院AI基础学习部)
近年来,研究人员已经取得了相当大的成功,应用神经网络方法的问答(QA)。这些方法已经在简化的闭域设置中实现了现有技术的结果,例如SQuAD(Rajpurkar等人,2016)数据集,该数据集提供预先选择的段落,可以从该段落提取给定问题的答案。最近,研究人员已经开始解决开放域QA,其中模型被赋予一个问题并访问大型语料库(例如,wikipedia)而不是预先选择的段落(Chen等人,2017年a)。这种设置更复杂,因为它需要通过信息检索组件对相关段落进行大规模搜索,并结合“阅读”段落以生成问题答案的阅读理解模型。这种设置的性能大大落后于闭域性能。在本文中,我们提出了一种新的开放域问答系统称为加强排名读者$(R^3)$,基于两个算法的创新。首先,我们提出了一个新的管道开放域QA与排名组件,它学会排名检索段落的可能性生成地面真理的答案给一个给定的问题。其次,我们提出了一种新的方法,联合训练的排名与答案生成阅读器模型,基于强化学习。我们报告了大量的实验结果,表明我们的方法显着提高了多个开放域QA数据集的最新技术水平。
2017-11-21 cs.AI cs.CL
On the Impact of Speech Recognition Errors in Passage Retrieval for Spoken Question Answering
University of Amsterdam(阿姆斯特丹大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
与语音接口交互以查询问答(QA)系统正变得越来越流行。通常,QA系统依赖于段落检索来选择候选上下文,并依赖于阅读理解来提取最终答案。虽然已经有一些注意力,以提高阅读理解部分的QA系统对错误的自动语音识别(ASR)模型介绍,段落检索部分仍然是未开发的。然而,这样的错误会影响段落检索的性能,导致较差的端到端性能。为了解决这一差距,我们增加了两个现有的大规模通道排名和开放域QA数据集与合成ASR噪声和研究词汇和密集检索器对ASR噪声的问题的鲁棒性。此外,我们还研究了数据增强技术在不同领域的可推广性;每个领域都是不同的语言方言或口音。最后,我们创建了一个新的数据集,其中包含人类用户提出的问题,并使用它们的透明度来表明,当处理自然ASR噪声而不是合成ASR噪声时,检索性能会进一步降低。
2022-09-26 cs.CL cs.IR
Entity-Focused Dense Passage Retrieval for Outside-Knowledge Visual Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
大多数外部知识视觉问答(OK-VQA)系统采用两阶段框架,首先检索给定视觉问题的外部知识,然后基于检索到的内容预测答案。然而,检索到的知识往往是不够的。检索往往过于笼统,无法涵盖回答问题所需的特定知识。此外,自然可用的监督(文章是否包含正确答案)很弱,不能保证问题的相关性。为了解决这些问题,我们提出了一个以知识为中心的检索(EnFoRe)模型,该模型在训练过程中提供更强的监督,并识别与问题相关的实体,以帮助检索更具体的知识。实验表明,我们的EnFoRe模型在目前最大的外部知识VQA数据集OK-VQA上取得了优异的检索性能。我们还将检索到的知识与最先进的VQA模型相结合,并在OK-VQA上实现了新的最先进的性能。
2022-10-20 cs.CL cs.CV
Composing Answer from Multi-spans for Reading Comprehension
针对非抽取式机器阅读理解(MRC)问题,提出了一种新的答案生成方法。当地面实况答案由人类注释者给出或从部分段落高度重新释义时,针对这种类型的MRC使用指针网络式提取解码器可能导致不令人满意的性能。另一方面,当遇到长句时,使用生成式解码器不能很好地保证结果具有良好的语法和语义。因此,为了减轻双方的明显缺点,我们提出了一个答案弥补方法,从提取的多跨度,我们的模型学习作为高度自信的$n$ -gram候选人在给定的通道。也就是说,返回的答案是由不连续的多个跨度组成的,而不仅仅是给定段落中的一个连续的跨度。该方法简单有效:在MS MARCO上的实验表明,该方法在准确生成长答案方面具有更好的性能,并大大优于两种典型的单跨度和Seq 2Seq基线解码器。
2021-08-23 cs.AI cs.CL cs.IR
Conversational QA Dataset Generation with Answer Revision
Graduate School of Artificial Intelligence(人工智能研究生院);POSTECH(浦项科技大学);Computer Science and Engineering(计算机科学与工程系)
会话问答生成是一个基于输入段落自动生成大规模会话问答数据集的任务。在本文中,我们介绍了一种新的框架,提取值得提问的短语从一个通道,然后生成相应的问题,考虑以前的对话。特别是,我们的框架在生成问题后修改了提取的答案,以便答案与配对问题完全匹配。实验结果表明,我们的简单的答案修正方法导致显着提高合成数据的质量。此外,我们证明了我们的框架可以有效地利用会话问答的领域自适应。
2022-09-23 cs.AI cs.CL
Finding Generalizable Evidence by Learning to Convince Q&A Models
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
我们提出了一个系统,使用基于段落的问答(QA)作为测试平台,为问题的给定答案找到最强有力的支持证据。我们训练证据代理来选择最能说服预先训练的QA模型的给定答案的段落句子,如果QA模型接收到这些句子而不是完整的段落。我们发现,代理人选择的证据,而不是单独说服一个模型的证据;代理人选择的证据增加了支持的答案的可验证性,由其他QA模型和人类判断。鉴于其一般性质,这种方法以一种稳健的方式改进了QA:使用代理选择的证据(i)人类可以正确回答只有完整段落的20%的问题,(ii)QA模型可以推广到更长的段落和更难的问题。
2019-09-12 cs.AI cs.CL cs.IR
One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了跨语言开放检索答案生成(CORA),第一个统一的多对多问答(QA)模型,可以回答问题,在许多语言,即使是没有特定语言的注释数据或知识源。我们引入了一种新的密集通道检索算法,该算法经过训练可以针对一个问题跨语言检索文档。结合多语言自回归生成模型,CORA直接回答目标语言,没有任何翻译或语言检索模块,在以前的工作。我们提出了一种迭代训练方法,可以自动将仅在高资源语言中可用的注释数据扩展到低资源语言。我们的研究结果表明,CORA在26种语言的多语言开放QA基准测试中的表现大大优于以前的最先进水平,其中9种在训练过程中是不可见的。我们的分析表明,跨语言检索和生成在许多语言,特别是在低资源设置的意义。
2021-10-28 cs.CL
CoQA: A Conversational Question Answering Challenge
Stanford University(斯坦福大学);Computer Science Department(计算机科学系)
人类通过参与涉及一系列相互关联的问题和答案的对话来收集信息。因此,对于帮助收集信息的机器来说,使它们能够回答会话问题至关重要。我们介绍了CoQA,一种用于构建会话式问答系统的新型数据集。我们的数据集包含127k个问题和答案,这些问题和答案来自七个不同领域的8k个文本段落对话。问题是对话式的,答案是自由形式的文本,并在文章中突出显示相应的证据。我们深入分析了CoQA,并表明会话问题具有现有阅读理解数据集中不存在的挑战性现象,例如,共指和语用推理。我们在CoQA上评估强大的会话和阅读理解模型。最好的系统获得了65.4%的F1分数,比人类的表现(88.8%)落后23.4分,这表明有足够的改进空间。我们在http://stanfordnlp.github.io/coqa/上推出CoQA作为对社区的挑战
2019-03-29 cs.AI cs.CL cs.LG
Conversational Question Answering over Passages by Leveraging Word Proximity Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
文本段上的问答是信息检索领域的一个重要问题。最近,会话设置引起了人们的注意,其中用户询问一系列问题以满足她围绕主题的信息需求。虽然这种设置是一种自然的设置,类似于人类彼此交谈,但它引入了两个关键的研究挑战:理解用户在后续问题中留下的隐含上下文,以及处理特设问题公式。在这项工作中,我们展示了CROWN(通过词网络推理的会话段落排名):一个无监督但有效的系统,用于会话QA与通道响应,支持多种模式的上下文传播多个回合。为此,CROWN首先从大型语料库中构建一个词邻近网络(WPN)来存储统计上显著的术语共现。在回答时,段落通过其与问题的相似性和查询术语的一致性的组合进行排名:这些因素通过从WPN读取节点和边权重来测量。CROWN提供了一个界面,既直观的最终用户,并为专家的洞察力,重新配置到个人设置。在TREC CAsT数据上评估了CROWN,其中它在神经方法池中实现了高于中值的性能。
2020-05-25 cs.CL cs.IR
Distilling a Small Utility-Based Passage Selector to Enhance Retrieval-Augmented Generation
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(人工智能安全国家重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc(百度公司)
提出将大语言模型的效用判断能力蒸馏至小型模型,实现基于效用的动态段落选择,以降低计算成本并提升RAG复杂查询的答案生成质量。
2025-10-09 cs.AI cs.CL cs.IR
DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering
Stony Brook University(石溪大学)
基于transformer的QA模型在所有层都使用输入范围内的自我注意力-即在问题和输入段落中-导致它们缓慢且内存密集。事实证明,我们可以在所有层都没有输入范围的自我注意,特别是在较低的层。我们引入了DeFormer,一个分解的Transformer,它在较低层中用问题范围和问题范围的自注意力代替完全的自注意力。这允许对输入文本表示进行与问题无关的处理,这反过来又使预计算段落表示能够大幅减少运行时计算。此外,由于DeFormer与原始模型非常相似,因此我们可以使用标准Transformer的预训练权重初始化DeFormer,并直接在目标QA数据集上进行微调。我们展示了DeFormer版本的BERT和XLNet可用于将QA速度提高4.3倍以上,并且在简单的基于蒸馏的损失下,它们的准确性仅下降1%。我们在https://github.com/StonyBrookNLP/deformer上开源代码。
2020-05-02 cs.AI cs.CL cs.LG
GenSco: Can Question Decomposition based Passage Alignment improve Question Answering?
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Adobe Research, India(印度奥多比研究院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
针对大语言模型RAG问答中的幻觉问题,提出基于问题分解的段落选择框架GenSco,用双LLM结构实现高效段落对齐,在三个多跳问答数据集上取得显著性能提升。
2024-07-14 cs.CL cs.IR
Graph Neural Network Enhanced Retrieval for Question Answering of LLMs
Hong Kong University of Science and Technology(香港科技大学);Microsoft Research(微软研究院);Tsinghua University(清华大学)
本文提出 GNN-Ret 和 RGNN-Ret,利用图神经网络建模段落间关联以增强大语言模型问答检索,在单次查询下超越多次查询基线,并在 2WikiMQA 上准确率提升达 10.4%。
2024-10-18 cs.AI cs.CL cs.IR
Single Sequence Prediction over Reasoning Graphs for Multi-hop QA
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出基于局部推理图的单序列预测方法,通过图神经网络编码实体与段落连接关系并融合至模型表示,显著提升了多跳问答的答案准确率和推理路径忠实度。
2023-07-01 cs.CL cs.LG