KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering
Soochow University(苏州大学)
提出KEPR方法,通过知识增强与合理性排序提升生成式常识问答的答案多样性与排序质量,在ProtoQA上取得最佳性能。
2023-05-15 cs.AI cs.CL
Incremental Improvement of a Question Answering System by Re-ranking Answer Candidates using Machine Learning
German Research Center for Artificial Intelligence(德国人工智能研究中心)
我们实现了一种方法,重新排名的前10名的结果,一个国家的最先进的问答(QA)系统。我们重新排序方法的目标是在给定用户问题和前10名候选人的情况下改进答案选择。我们专注于改进已部署的QA系统,这些系统不允许重新培训或重新培训的成本很高。我们的重新排名方法使用基于n-gram的特征,使用查询,答案和初始系统置信度作为输入来学习相似性函数。我们的贡献是:(1)我们从T-Mobile奥地利客户服务领域的877个答案开始生成QA训练语料库,(2)我们使用神经句子嵌入实现了最先进的QA管道,这些句子嵌入在与答案索引相同的空间中对查询进行编码,以及(3)我们使用单独提供的测试集评估QA管道和我们的重新排名方法。测试集可以被认为是在系统部署之后可用的,例如,根据用户的反馈。我们的研究结果表明,系统的性能,在前n精度和平均倒数排名,受益于使用梯度提升回归树重新排名。平均而言,平均倒数排名提高了9.15%。
2019-08-27 cs.CL cs.IR cs.LG
Graph-Based Tri-Attention Network for Answer Ranking in CQA
East China Normal University(华东师范大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tsinghua University(清华大学)
在基于社区的问答(CQA)平台中,给定问题的自动答案排名对于在早期发现潜在流行答案至关重要。主流的方法学习基于问题和答案表征之间的匹配程度以及回答者的影响力来产生答案排名分数。然而,他们遇到了两个主要的局限性:(1)在同一个问题的答案之间的相关性往往被忽视。(2)问题和回答者表示在影响回答表示之前独立于特定答案构建。为了解决这些局限性,我们设计了一种新的基于图的三注意力网络,即GTAN,它有两个创新。首先,GTAN提出为每个问题构建一个图,并通过图神经网络(GNNs)从每个图中学习答案相关性。其次,基于从GNN学习的表征,开发了交替三注意方法,通过注意计算交替地构建目标感知的应答者表征、特定于答案的问题表征和上下文感知的答案表征。GTAN最后整合上述表示以生成答案排名分数。在三个真实CQA数据集上的实验表明,GTAN的性能明显优于最先进的答案排序方法,验证了网络架构的合理性。
2021-03-20 cs.CL
Legal Question Answering using Ranking SVM and Deep Convolutional Neural Network
Japan Advanced Institute of Science and Technology (JAIST)(日本北陆先端科学技术大学院大学);Hung Yen University of Education and Technology (UTEHY)(兴安教育与技术大学)
本文提出了一种将排序支持向量机和卷积神经网络用于法律信息抽取/蕴涵竞赛中的两个任务:法律信息检索和问答的研究。对于第一个任务,我们提出的模型使用了三重功能(LSI,曼哈顿,Jaccard),并基于段落级别,而不是在以前的研究中的文章级别。事实上,每个单段文章对应于一个巨大的多段文章中的一个特定段落。对于法律问答任务,额外的统计特征,从信息检索任务集成到卷积神经网络有助于更高的准确性。
2017-03-16 cs.AI cs.CL
Joint Passage Ranking for Diverse Multi-Answer Retrieval
University of Washington(华盛顿大学);Google Research(谷歌研究院)
我们研究多答案检索,一个未充分探索的问题,需要检索段落,以涵盖多个不同的答案为一个给定的问题。这项任务需要对检索到的段落进行联合建模,因为模型不应该以错过不同的有效答案为代价重复检索包含相同答案的段落。在本文中,我们介绍了JPR,第一个联合通道检索模型的多答案检索。JPR利用自回归重排序器选择一系列通道,每个通道以先前选择的通道为条件。JPR被训练为在每个时间步选择覆盖新答案的段落,并使用树解码算法来实现多样性程度的灵活性。与现有方法相比,JPR在三个多答案数据集上实现了更好的答案覆盖。当与下游问答相结合时,改进的检索能够实现更大的答案生成模型,因为它们需要考虑更少的段落,从而建立新的最先进的技术。
2021-09-19 cs.AI cs.CL
Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering
Arizona State University(亚利桑那州立大学)
开放领域问答需要系统检索外部知识,并通过组合分布在多个句子上的知识来执行多跳推理。在最近引入的开放领域问答挑战数据集QASC和OpenBookQA中,我们需要执行事实检索并组合事实以正确回答问题。在我们的工作中,我们学习了一个语义知识排序模型,通过Lucene的信息检索系统检索到的知识重新排名。我们进一步提出了一个“知识融合模型”,利用外部检索的知识和基于BERT的语言模型的知识,并提高了基于BERT的语言模型的知识理解。在OpenBookQA和QASC数据集上,具有语义重新排序的知识的知识融合模型优于以前的尝试。
2020-04-17 cs.AI cs.CL cs.LG
Learning to Focus when Ranking Answers
Technion — Israel Institute of Technology(以色列理工学院);Emory University(埃默里大学)
排名的主要挑战之一是将查询和文档对嵌入到联合特征空间中,然后将其馈送到学习排名算法。为了实现这种表示,现有技术的常规方法执行对查询-答案对的相似性进行编码的广泛的特征工程。最近,深度学习解决方案已经表明,在某些情况下,通过直接从数据中学习相似性表示,可以实现相当的性能。不幸的是,以前的模型表现不佳较长的文本,或与显着部分的不相关的信息,或语法不正确的文本。为了克服这些局限性,我们提出了一种新的排名算法问答,QARAT,它使用了注意力机制,以了解哪些单词和短语的重点时,建立相互表示。我们在几个真实世界的问答排名数据集上展示了卓越的排名性能,并提供了注意力机制的可视化,以更深入地了解我们的注意力模型如何有利于困难的问答挑战的排名。
2018-08-08 cs.CL
Learning to Rank Question-Answer Pairs using Hierarchical Recurrent Encoder with Latent Topic Clustering
Dept. of Electrical and Computer Engineering(电子与计算机工程系);Seoul National University(首尔国立大学)
在本文中,我们提出了一种新的端到端的神经网络架构的候选答案排名,适应分层递归神经网络和潜在的主题聚类模块。通过我们提出的模型,文本被编码为从词级到块级的矢量表示,以有效地捕获整个含义。特别是,通过调整层次结构,我们的模型表现出非常小的性能下降,在较长的文本理解,而其他国家的最先进的循环神经网络模型遭受它。此外,潜在主题聚类模块提取语义信息的目标样本。这个聚类模块对于任何与文本相关的任务都很有用,它允许每个数据样本找到其最近的主题聚类,从而帮助神经网络模型分析整个数据。我们评估我们的模型上的Ubuntu对话语料库和消费电子领域的问答数据集,这是相关的三星产品。该模型显示了最先进的结果排名问答对。
2018-04-09 cs.AI cs.CL
Question Dependent Recurrent Entity Network for Question Answering
University of Pisa(比萨大学)
问答是一项需要构建能够为用人类语言表达的问题提供答案的模型的任务。完整的问答涉及某种形式的推理能力。我们介绍了一个神经网络架构,这是一种形式的$Memory\ Network$,通过一个焦点注意力机制,认识到实体和它们的关系的答案。我们的模型被命名为$Question\ Dependent\ Recurrent\ Entity\ Network$,并扩展了$Recurrent\ Entity\ Network$,利用在记忆过程中的问题的方面。我们在合成数据集和真实数据集上验证了该模型:$bAbI$问答数据集和$CNN\ \&\ Daily\ News$ $reading\ comprehension$数据集。在我们的实验中,模型在前者中取得了最先进的技术水平,在后者中取得了竞争性的结果。
2017-10-06 cs.CL
aNMM: Ranking Short Answer Texts with Attention-Based Neural Matching Model
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
作为基于特征工程的问答方法的替代方案,最近已经提出了诸如卷积神经网络(CNN)和长短期记忆模型(LSTM)的深度学习方法,用于问题和答案的语义匹配。然而,为了达到良好的效果,这些模型已经与额外的功能相结合,如单词重叠或BM 25分数。如果没有这种组合,这些模型的表现明显不如基于语言特征工程的方法。在本文中,我们提出了一个基于注意力的神经匹配模型的排名简答文本。我们采用值共享的加权方案,而不是位置共享的加权方案,以结合不同的匹配信号,并结合使用问题注意力网络的问题术语重要性学习。使用流行的基准TREC QA数据,我们表明,相对简单的aNMM模型可以显着优于其他神经网络模型,已用于问答任务,并与模型相结合的其他功能是有竞争力的。当aNMM与其他功能相结合时,它的性能优于所有基线。
2019-06-01 cs.CL cs.IR
Hierarchical Gated Recurrent Neural Tensor Network for Answer Triggering
Key Laboratory of Computational Linguistics (Peking University), Ministry of Education(北京大学计算语言学教育部重点实验室);School of Electronic Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
在本文中,我们专注于回答触发的问题由杨等。(2015),这是一个现实世界的问答系统的关键组成部分。我们采用分层门控递归神经张量(HGRNT)模型来捕获上下文信息以及候选答案与问题之间的深层交互。F值达到42.6%,超过基线值10%以上。
2017-09-17 cs.CL
Training a Ranking Function for Open-Domain Question Answering
New York University(纽约大学)
近年来,用于机器阅读的深度学习方法取得了惊人的进展。在机器阅读中,机器阅读器必须从给定的地面真理段落中提取答案。近年来,最先进的机器阅读模型在SQuAD(一种阅读理解风格的问答(QA)任务)中达到了人类水平的性能。机器阅读的成功启发了研究人员将信息检索与机器阅读相结合来解决开放领域的问答问题。然而,与阅读理解式QA相比,这些系统的表现很差,因为很难检索包含问题答案的段落片段。在这项研究中,我们提出了两个神经网络排名器,根据它们包含给定问题答案的可能性为不同的段落分配分数。此外,我们还分析了语义相似度和词级相关匹配在开放域问答中的相对重要性。
2018-04-12 cs.CL cs.IR
RankQA: Neural Question Answering with Answer Re-Ranking
ETH Zurich(苏黎世联邦理工学院)
用于叙事内容的神经问答(QA)中的常规范例限于两阶段过程:首先,检索相关文本段落,随后,用于机器理解的神经网络提取最可能的答案。然而,这两个阶段在现状中基本上是孤立的,因此,来自这两个阶段的信息从未被适当地融合。相比之下,这项工作提出了RankQA:RankQA扩展了神经QA中的传统两阶段过程,第三阶段执行额外的答案重新排名。重新排序利用直接从QA管道提取的不同特征,即,检索和理解功能的组合。虽然我们有意简单的设计允许有效的,数据稀疏的估计,但它仍然比更复杂的QA系统有显著的优势:事实上,RankQA在4个基准数据集中的3个上达到了最先进的性能。此外,它的性能在语料库的大小是动态的设置中特别优越。这里的答案重新排名提供了一个有效的补救措施,对潜在的噪声信息的权衡,由于一个可变的语料库大小。因此,RankQA代表了一种新颖的,强大的,因此具有挑战性的基线,为未来的研究在基于内容的QA。
2019-08-12 cs.CL
Answer ranking in Community Question Answering: a deep learning approach
Universidad Nacional de Educación a Distancia(西班牙国立远程教育大学)
社区问答(英语:Community Question Questioning)是计算语言学的一个领域,它处理的是从Quora或Stack Overflow等网站上发布的问题和答案中衍生出来的问题。在这些问题中,我们发现了一个问题,即对每个问题的多个答案进行排名,通过它们在试图解决原始问题时的信息量来排名。这项工作试图通过深度学习方法来推进社区问答的答案排名。我们首先创建了一个大型的问题和答案数据集,发布到Stack Overflow网站上。然后,我们利用密集嵌入和LSTM网络的自然语言处理功能来生成对接受答案属性的预测,并以排名形式呈现答案,并根据提问者将其标记为接受的可能性进行排序。我们还制作了一组数字特征来协助答案排名任务。这些数字特征要么是从Stack Overflow帖子中的元数据中提取的,要么是从问答文本中提取的。我们将我们的深度学习模型的性能与一组森林和增强树集成方法进行了比较,发现我们的模型无法提高最佳基线结果。我们推测,与基线模型相比,这种性能改进的缺乏可能是由于问题和答案文本中的编程代码片段中存在大量词汇表外的单词造成的。我们的结论是,虽然深度学习方法可能有助于回答排名问题,但应该开发新方法来帮助解决编程代码片段中存在的大量词汇表外的单词
2022-10-16 cs.CL
Query Expansion for Cross-Language Question Re-Ranking
Johns Hopkins University(约翰斯·霍普金斯大学)
社区问答(CQA)平台已经成为每天提问和回答问题的非常受欢迎的论坛。虽然这些论坛是社区知识的丰富宝库,但由于非正式讨论的开放性质,它们对寻找相关答案和类似问题提出了挑战。此外,如果该平台允许以多种语言提问和回答,我们将面临匹配跨语言信息的额外挑战。在这项工作中,我们专注于跨语言问题重新排序共享任务,其目的是找到可能用不同语言编写的现有问题。我们的贡献是探索查询扩展技术,这个问题。我们调查的基础上的扩展词嵌入,DBpedia的概念链接,和Hypernym,并表明,他们优于现有的国家的最先进的方法。
2019-04-16 cs.CL cs.IR
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University(高丽大学)
最近,开放域问答(QA)已经与机器理解模型相结合,以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题,其性能在很大程度上取决于文档检索器的性能。然而,由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档,因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量,这也会降低QA系统的性能。在本文中,我们介绍了段落排名检索到的文件的段落,以更高的答案召回,噪音更少。我们发现,使用段落排名器对段落进行排名并聚合答案,平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension
IBM Watson(IBM沃森)
本文提出了动态组块阅读器(DCR),一个端到端的神经阅读理解(RC)模型,能够从给定的文档中提取和排序一组答案候选回答问题。DCR能够预测不同长度的答案,而以前的神经RC模型主要集中在预测单个令牌或实体。DCR使用递归神经网络对文档和输入问题进行编码,然后应用逐词注意力机制来获取文档的问题感知表示,然后生成组块表示和排名模块以提出排名最高的组块作为答案。实验结果表明,DCR在SQuAD数据集上实现了最先进的精确匹配和F1得分。
2016-11-02 cs.CL
RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open Domain Question Answering
Facebook AI(脸书人工智能研究院);University of Washington(华盛顿大学)
用于开放域问答(QA)的最先进的机器阅读理解(MRC)模型通常使用远距离监督的正例和间接检索的负例来训练跨度选择。这种训练方案可能解释了经验观察,即这些模型在其前几个预测中实现了高召回率,但总体准确率较低,从而激发了对答案重新排名的需求。我们为跨度提取任务开发了一种简单有效的重新排序方法(RECONSIDER),该方法提高了大型预训练MRC模型的性能。RECONSIDER在从MRC模型的高置信度预测中提取的正面和负面示例上进行训练,并使用通道内跨度注释在较小的候选集上执行以跨度为中心的重新排名。因此,RECONSIDER学会了消除接近的假阳性段落,并在四个QA任务上达到了新的技术水平,包括自然问题与真实用户问题的45.5%精确匹配准确率,以及TriviaQA的61.7%。
2020-10-21 cs.CL
Likelihood Ranking doesn't Scale Like Prompting in LLMs
University of Pisa(比萨大学)
该研究比较了LLM在陈述句似然排序与提示回答两种评估方式下的表现,发现前者随规模增长保持稳定,后者显著提升,表明两者不可互换。
2026-09-28 cs.CL
Attentive Recurrent Tensor Model for Community Question Answering
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
社区问答问题的一个主要挑战是句子表征之间的词汇和语义差距。最小化这一差距的一些解决方案包括向深度模型引入额外的参数或增强外部手工制作的功能。本文提出了一种新的注意递归张量网络,用于解决社区问答中的词汇和语义鸿沟问题。我们引入了标记级和短语级注意力策略,该策略使用可训练参数将输入序列映射到输出。此外,我们使用张量参数在向量空间中引入问题、答案和外部特征之间的3向交互。我们引入了简化的张量矩阵和L2正则化,从而在训练过程中实现平滑优化。该模型在回答句子选择任务(TrecQA和WikiQA数据集)上实现了最先进的性能,同时在最佳答案选择任务(Yahoo!L4)和回答触发任务(WikiQA)。
2018-01-21 cs.CL
Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation
The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们提出了一种新的和易于应用的数据增强策略,即双边生成(BiG),具有对比训练目标,以提高现有标记数据的问答对排名的性能。具体来说,我们用两个预训练的生成模型来合成伪正QA对,而不是原始的负QA对,一个用于问题生成,另一个用于答案生成,这些模型是在原始数据集中有限的正QA对上进行微调的。利用增强后的数据集,我们设计了一个对比训练目标,用于学习排序问题答案对。在三个基准数据集上的实验结果表明,该方法充分利用了已有的标记数据,显著提高了排序模型的性能,并且可以方便地应用于不同的排序模型。
2021-09-30 cs.CL cs.IR
Dual Recurrent Attention Units for Visual Question Answering
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
视觉问答(VQA)要求AI模型理解视觉和文本两个领域的数据。当前最先进的模型使用学习的注意力机制从输入域提取相关信息来回答某个问题。因此,强大的注意力机制是强大的VQA模型必不可少的。在本文中,我们提出了一个循环的注意力机制,并显示其优势相比,传统的卷积方法。我们进行了两项消融研究,以评估复发性注意。首先,我们引入了一个具有视觉注意力的基线VQA模型,并在VQA 2.0数据集上测试了卷积注意力和递归注意力之间的性能差异。其次,我们设计了一个架构VQA,它利用双重(文本和视觉)循环注意单元(RAU)。使用这个模型,我们展示了所有可能的递归和卷积双重注意组合的效果。我们的单一模型在VQA 2016挑战赛中的表现优于第一名,据我们所知,它是VQA 1.0数据集上表现第二好的单一模型。此外,我们的模型在VQA 2017挑战赛的获胜者身上有明显的改进。此外,我们实验用我们的RAU替换最先进模型中的注意力机制,并显示出更高的性能。
2019-03-26 cs.AI cs.CL cs.CV
Ranking Facts for Explaining Answers to Elementary Science Questions
TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学与技术信息中心);University of Bonn(波恩大学)
在多项选择题考试中,学生通常从四个选项中选择一个答案,并解释他们为什么做出这个选择。学生们善于理解自然语言问题,并根据他们的领域知识,可以很容易地推断出问题的答案,通过“连接点”在各种相关的事实。考虑到自动推理的基础科学问答,我们解决的新任务,从人类创作的事实产生的答案的解释。为此,我们研究了功能丰富的支持向量机利用领域为目标的,手工制作的功能,几乎可扩展的框架。解释是从WorldTree语料库中近5,000个候选事实的人工注释集创建的。我们的目标是获得更好的匹配有效的事实的一个问题的正确答案的解释,在可用的事实候选人。为此,我们的功能提供了一个全面的语言和语义统一的范式。机器学习问题是事实的偏好排序,我们测试逐点回归与成对学习排序。我们的贡献是:(1)系统比较两种偏好排序方法的案例研究;(2)它是一种实际可行的方法,可以优于基于BERT的重新排序模型的一些变体;(3)人类工程特征使其成为任务的可解释机器学习模型。
2021-10-18 cs.AI cs.CL cs.IR
WikiHint: A Human-Annotated Dataset for Hint Ranking and Generation
University of Innsbruck(因斯布鲁克大学)
本文提出WikiHint数据集和HintRank评估方法,通过生成和排名提示来增强人类推理,实验表明数据集提升提示有效性,结合答案信息改善质量,编码器模型排名更优。
2025-04-20 cs.CL cs.IR
Ranking suspected answers to natural language questions using predictive annotation
在本文中,我们描述了一个系统,排名可疑的答案自然语言的问题。我们使用一种新技术(预测注释)来处理语料库和查询,该技术在文本中添加短语,并带有标签,预测它们是某些类型问题的目标。给定一个自然语言问题,IR系统返回一组匹配的段落,然后根据本文描述的各种标准对这些段落进行分析和排名。我们提供了一个评估的技术的基础上,从TREC Q&A评估,我们的系统参与的结果。
2000-05-30 cs.CL
Knowledge Transfer from Answer Ranking to Answer Generation
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能);Allen Institute for AI(艾伦人工智能研究所)
最近的研究表明,问答(QA)的答案句子选择(AS 2)的基础上,可以通过生成一个改进的答案从前k排名的答案句子(称为GenQA)。这允许将来自多个候选人的信息综合成一个简洁、自然的答案。然而,为GenQA模型创建大规模监督训练数据是非常具有挑战性的。在本文中,我们提出训练一个GenQA模型从训练的AS 2模型转移知识,以克服上述问题。首先,我们使用AS 2模型来生成一组问题的答案候选者的排名。然后,我们使用排名最高的候选者作为生成目标,接下来的k个排名最高的候选者作为训练GenQA模型的上下文。我们还建议使用AS 2模型预测分数进行损失加权和分数条件输入/输出整形,以帮助知识转移。我们对三个公共数据集和一个大型工业数据集的评估表明,我们的方法优于AS 2基线,GenQA使用监督数据进行训练。
2022-10-23 cs.CL cs.LG
Double Retrieval and Ranking for Accurate Question Answering
School of Information, The University of Arizona(亚利桑那大学信息学院);Amazon Alexa AI(亚马逊 Alexa AI)
最近的工作表明,在基于转换器的答案选择模型中引入的答案验证步骤可以显着提高问答的最新技术水平。该步骤是通过聚合前$k$答案候选的嵌入来执行的,以支持目标答案的验证。尽管该方法是直观的并且合理的,但仍然显示出两个限制:(i)仅根据与问题而不是与答案的相关性来对支持候选进行排名,以及(ii)由其他答案候选提供的支持是次优的,因为这些是独立于目标答案来检索的。在本文中,我们通过提出(i)双重重新排序模型来解决这两个缺点,该模型针对每个目标答案选择最佳支持;以及(ii)第二个神经检索阶段,旨在将问题和答案对编码为查询,从而找到更具体的验证信息。在三个著名的AS 2数据集上的结果显示了对现有技术的一致和显著的改进。
2022-01-16 cs.CL
Aligning LLMs through Multi-perspective User Preference Ranking-based Feedback for Programming Question Answering
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Hefei University of Technology(合肥工业大学);School of Artificial Intelligence and Data Science, University of Science and Technology of China(中国科学技术大学人工智能与数据科学学院);University of Toronto(多伦多大学)
提出ALMupQA框架,通过多视角偏好排序对齐和检索增强上下文学习模块,结合新构建的StaCCQA数据集,有效提升了LLM在代码社区问答中满足用户多样化偏好和准确性的能力。
2024-05-27 cs.AI cs.CL
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida(佛罗里达大学)
提出RAMQA统一框架,结合学习排序与生成式排列增强技术,用于多模态检索增强问答,在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
Generating Factoid Questions With Recurrent Neural Networks: The 30M Factoid Question-Answer Corpus
University of Montreal(蒙特利尔大学)
在过去的十年中,大规模的监督学习语料库使机器学习研究人员取得了实质性的进展。然而,到目前为止,还没有大规模的问答语料库。在本文中,我们提出了30 M Factoid的问答语料库,一个巨大的问答对语料库,通过应用一种新的神经网络架构的知识库Freebase将事实转化为自然语言的问题。所产生的问题答案对由人工评估者和使用自动评估度量(包括完善的机器翻译和句子相似性度量)来评估。在所有评价标准中,问题生成模型的表现优于竞争性的基于模板的基线。此外,当呈现给人类评估者时,生成的问题在质量上与真正的人类生成的问题相当。
2016-05-29 cs.AI cs.CL cs.LG
PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chains
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院)
PiCSAR通过联合对数似然度评估推理链和最终答案的置信度,无需训练即可提升大语言模型和推理模型的准确性,在多个基准测试中表现优异。
2026-07-14 cs.AI cs.CL
Boosting Self-Consistency with Ranking
AIRI;Skoltech(斯克利切夫斯基因工大学);EPFL(瑞士联邦理工学院)
提出RISC方法,将自洽性中的答案选择转化为排序问题,使用轻量级LambdaRank模型结合五个特征,在多个数据集上实现了比标准自洽性更好的准确率-效率权衡。
2026-06-03 cs.CL
Pentagon at MEDIQA 2019: Multi-task Learning for Filtering and Re-ranking Answers using Language Inference and Question Entailment
Carnegie Mellon University(卡内基梅隆大学)
像微调的BERT和MT-DNN这样的并行深度学习架构已经迅速成为最先进的技术,大大绕过了以前的深度和浅层学习方法。最近,来自大型相关数据集的预训练模型已经能够在许多下游任务上表现良好,只需对特定领域的数据集进行微调。然而,由于并行架构的输入大小限制和极小的数据集(不足以进行微调),在非平凡任务(如排名和大型文档分类)上使用强大的模型仍然是一个挑战。在这项工作中,我们引入了一个端到端的系统,在多任务设置中进行训练,以过滤和重新排列医疗领域的答案。我们使用特定于任务的预训练模型作为深度特征提取器。在ACL-BioNLP研讨会MediQA问答共享任务上,我们的模型达到了最高的Spearman的Rho和平均倒数秩分别为0.338和0.9622。
2019-07-01 cs.CL cs.IR cs.LG
GripRank: Bridging the Gap between Retrieval and Generation via the Generative Knowledge Improved Passage Ranking
Beihang University(北京航空航天大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Tencent Cloud AI(腾讯云人工智能)
针对检索与生成目标不一致的问题,本文提出 GripRank,利用生成式段落估计器和课程知识蒸馏改进段落排序,并在 KILT 上提升排序与答案生成性能。
2023-08-15 cs.AI cs.CL
Promotion of Answer Value Measurement with Domain Effects in Community Question Answering Systems
University of Science and Technology of China(中国科学技术大学);Baidu, Inc.(百度公司)
在社区问答领域,答案选择和答案排序是帮助用户快速获取有价值答案的两个任务。现有的解决方案主要利用问题和相关答案之间的句法或语义相关性,其中CQA中的多方面领域效应仍然没有得到充分的研究。在本文中,我们提出了一个统一的模型,增强的注意递归神经网络(EARNN),通过充分利用问答语义和多方面的领域效应(即,主题效果和时效性)。具体来说,我们开发了一个序列化的LSTM来学习Q & A的统一表示,其中设计了两个注意力机制,用于捕获主题的深层效果。同时,可以自动区分问答的重点。此外,我们设计了一个时间敏感的排序函数来模拟CQA中的时间性。为了有效地训练EARNN,问题相关的成对学习策略也被开发。最后,我们在Quora的真实数据集上进行了大量的实验。实验结果验证了我们提出的EARNN模型的有效性和可解释性。
2019-07-14 cs.CL cs.IR
Learning Recurrent Span Representations for Extractive Question Answering
University of Washington(华盛顿大学);Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
阅读理解任务是对给定的证据文件提出问题,是自然语言理解的核心问题。该任务的最新公式通常集中在从手动或通过使用外部NLP管道预定义的候选集合中选择答案。然而,Rajpurkar等人(2016)最近发布了SQuAD数据集,其中答案可以是来自所提供文本的任意字符串。在本文中,我们专注于这个答案提取任务,提出了一种新的模型架构,有效地建立固定长度表示的证据文件中的所有跨度与循环网络。我们表明,得分显着提高性能显着的跨度表示比其他方法,因素的预测到单独的预测词或开始和结束标记。我们的方法比Wang & Jiang(2016)发表的最佳结果提高了5%,并降低了Rajpurkar等人的误差。的基线> 50%。
2017-03-17 cs.CL
Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen University of Advanced Technology(深圳理工大学)
本文提出 PFR-LQA 三阶段框架,通过法律领域预训练、任务微调和上下文重排序提升双编码器在法律问答中的稠密检索性能,实验证明其优于现有强基线方法。
2024-12-27 cs.CL
Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering
Computer Science (EECS) University of Toledo Toledo, OH, USA
本文通过实证评估,比较了RAG架构在政策文件问答中的有效性,发现Advanced RAG在忠实度上表现更优,但文档分段限制影响多步骤推理。
2026-01-21 cs.AI cs.CL cs.IR
Recurrent Neural Network Encoder with Attention for Community Question Answering
Massachusetts Institute of Technology(麻省理工学院)
我们将通用循环神经网络(RNN)编码器框架应用于社区问答(cQA)任务。我们的方法不依赖于任何语言处理,可以应用于不同的语言或领域。当我们用神经注意力机制扩展RNN编码器时,可以观察到进一步的改进,该机制鼓励对整个序列进行推理。为了解决数据稀疏和标签不平衡等实际问题,我们采用了各种技术,如迁移学习和多任务学习。我们在SemEval-2016 cQA任务上的实验显示,与基于信息检索的方法相比,MAP得分提高了10%,并且实现了与基于特征的强大手工方法相当的性能。
2016-03-23 cs.CL cs.LG cs.NE
ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval
University of Innsbruck(因斯布鲁克大学)
本文提出ASRank,一种利用预训练大语言模型计算零样本答案线索似然度的文档重排序方法,显著提升了多种问答数据集的检索准确率。
2025-01-25 cs.CL
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
Google DeepMind(谷歌DeepMind)
本文提出一种利用LLM长上下文能力从整本书自动生成阅读理解数据的流水线,通过成对比较和Bradley-Terry模型排名的相对评估方法,验证了整本书上下文在阅读理解任务上的优越性。
2024-05-31 cs.AI cs.CL
Simple Question Answering with Subgraph Ranking and Joint-Scoring
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊 Alexa 人工智能)
基于知识图谱的简单问答(KBSQA)是问答的一个重要研究领域。虽然只处理简单的问题,即,事实上,这个任务既不简单,也不接近解决。针对两个主要步骤,子图选择和事实选择,研究界已经开发了复杂的方法。然而,子图排名和利用的主题-关系依赖的知识库事实的重要性还没有得到充分的探讨。出于这一动机,我们提出了一个统一的框架来描述和分析现有的方法。使用这个框架作为出发点,我们专注于两个方面:通过一种新的排名方法,提高子图的选择和利用的主题-关系依赖,提出了一个联合评分CNN模型与一个新的损失函数,强制执行良好的秩序的分数。我们的方法在SimpleQuestions数据集上达到了最新的水平(准确率为85.44%)。
2019-04-04 cs.CL cs.LG stat.ML
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre(语言技术研究中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
通常,提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题,因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中,我们解决了多答案检索,需要检索的段落,可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法,使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落,都是查询相关的和不同的。结果表明,我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering
Baidu Research - Institute of Deep Learning(百度研究院 - 深度学习研究所)
近年来,基于神经网络的问答(QA),即神经QA,取得了可喜的成果,但缺乏大规模的真实问答数据集仍然是开发和评估神经QA系统的一个挑战。为了缓解这个问题,我们提出了一个大规模的人类注释的真实世界的QA数据集WebQA超过42 k的问题和556 k的证据。由于现有的神经QA方法将QA解决为序列生成或分类/排名问题,因此它们面临着昂贵的softmax计算,看不见的答案处理或单独的候选答案生成组件的挑战。在这项工作中,我们将神经QA转换为序列标记问题,并提出了一个端到端的序列标记模型,克服了上述所有挑战。在WebQA上的实验结果表明,我们的模型在基于单词的输入下的F1得分为74.69%,显著优于基线,并且在更具有挑战性的基于字符的输入下,性能仅下降3.72 F1点。
2016-09-01 cs.AI cs.CL cs.NE
Analysing the Effect of Clarifying Questions on Document Ranking in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近对会话搜索的研究强调了混合主动性在会话中的重要性。为了实现混合主动性,系统应该能够向用户提出澄清问题。然而,在对文档进行排名时,还没有分析基本排名模型(支持对话式搜索)解决这些澄清问题和答案的能力。为此,我们分析了一个词汇排名模型的会话搜索数据集的性能与澄清的问题。我们调查,定量和定性,澄清问题和用户的答案的不同方面如何影响排名的质量。我们认为,需要有一些细粒度的治疗整个会话轮的澄清,明确的反馈的基础上,这是目前在这种混合的主动设置。根据我们的研究结果,我们引入了一个简单的基于知识的词汇基线,显着优于现有的天真基线。我们的工作旨在提高我们对这一特定任务中存在的挑战的理解,并为设计更合适的会话排名模型提供信息。
2020-08-11 cs.AI cs.CL cs.HC
No Need to Pay Attention: Simple Recurrent Neural Networks Work! (for Answering "Simple" Questions)
Comcast Labs(康卡斯特实验室)
一阶拟事实问答假设问题可以由知识库(KB)中的单个事实回答。虽然这似乎不是一项具有挑战性的任务,但最近许多应用复杂语言推理或深度神经网络的尝试在基准集上实现了65%-76%的准确率。我们的方法制定的任务为两个机器学习问题:检测问题中的实体,并在知识库中的关系类型之一分类的问题。我们训练一个递归神经网络来解决每个问题。在SimpleQuestions数据集上,我们的方法比以前发表的结果有了实质性的改进--甚至是基于更复杂架构的神经网络。我们的方法的简单性也有实际的优势,如效率和模块化,这是有价值的,特别是在行业设置。事实上,我们提出了一个初步的分析,我们的模型对来自康卡斯特的X1娱乐平台,每天有数百万用户的真实查询的性能。
2017-07-28 cs.CL
Enhancing Visual Question Answering through Ranking-Based Hybrid Training and Multimodal Fusion
Oregon State University(俄勒冈州立大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);McGill University(麦吉尔大学)
提出Rank VQA模型,通过结合Faster R-CNN视觉特征与BERT文本特征,利用多头自注意力机制融合,并采用分类与排序损失结合的混合训练策略,显著提升了视觉问答的准确率和MRR。
2024-09-23 cs.CL cs.CV cs.LG
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol(布里斯托大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
对于许多NLP应用程序,例如问答和摘要,目标是从大量候选项中选择最佳解决方案,以满足特定用户的需求。为了解决缺乏用户特定的训练数据,我们提出了一个交互式的文本排名方法,积极选择对候选人,用户从中选择最好的。与以前的策略不同,这些策略试图在整个候选空间中学习排名,我们的方法采用贝叶斯优化,将用户的标签工作集中在高质量的候选人上,并以贝叶斯方式整合先验知识,以更好地应对小数据场景。我们将我们的方法应用于社区问答(cQA)和提取摘要,发现它显着优于现有的交互式方法。我们还表明,通过我们的方法学习的排名函数是强化学习的有效奖励函数,它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
Machine Reading Comprehension for Answer Re-Ranking in Customer Support Chatbots
Sofia University(索非亚大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar Computing Research Institute(卡塔尔计算研究所)
深度神经网络、语言建模和语言生成的最新进展为会话代理领域引入了新的想法。因此,序列到序列、记忆网络和Transformer等深度神经模型已成为最先进对话系统的关键组成部分。虽然这些模型即使在看不见的情况下也能够生成有意义的响应,但它们需要大量的训练数据来构建可靠的模型。因此,大多数现实世界的系统坚持基于信息检索的传统方法,甚至是手工制作的规则,因为它们的鲁棒性和有效性,特别是对于狭窄的对话。在这里,我们提出了一种方法,该方法采用了来自机器阅读理解领域的深度神经架构,以使用问题作为上下文,对来自不同模型的建议答案进行重新排序。我们训练我们的模型使用负采样的基础上的问题,答案对从Twitter的客户支持数据集。实验结果表明,我们的重新排名框架可以提高性能方面的单词重叠和语义的单独模型以及模型组合。
2019-02-26 cs.CL
Multi-step Reasoning via Recurrent Dual Attention for Visual Dialog
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院);Microsoft Research(微软研究院)
本文提出了一种新的视觉对话模型--递归双注意网络(ReDAN),它使用多步推理来回答一系列关于图像的问题。在对话的每个问答环节中,ReDAN通过多个推理步骤逐步推断答案。在推理过程的每个步骤中,基于图像和先前的对话历史更新问题的语义表示,并且在后续步骤中使用循环细化的表示进行进一步推理。在VisDial v1.0数据集上,所提出的ReDAN模型达到了64.47% NDCG分数的最新水平。推理过程的可视化进一步证明,ReDAN可以通过迭代细化来定位上下文相关的视觉和文本线索,从而逐步得出正确的答案。
2019-06-04 cs.CL cs.CV
Red Dragon AI at TextGraphs 2020 Shared Task: LIT : LSTM-Interleaved Transformer for Multi-Hop Explanation Ranking
Red Dragon AI(红龙人工智能)
科学问题的可解释问答是一项具有挑战性的任务,需要对大量事实句子进行多跳推理。为了克服孤立地查看每个查询文档对的方法的局限性,我们提出了LSTM交织Transformer,它结合了跨文档的交互,以提高多跳排名。LIT架构可以在重新排名设置中利用先前的排名位置。我们的模型在TextGraphs 2020共享任务的当前排行榜上具有竞争力,测试集MAP为0.5607,如果我们在比赛截止日期前提交,我们将获得第三名。我们的代码实现可在https://github.com/mdda/worldtree_corpus/tree/textgraphs_2020上获得
2020-12-28 cs.AI cs.CL cs.IR
Recurrent and Contextual Models for Visual Question Answering
Stanford University(斯坦福大学)
我们在Visual 7 W数据集上提出了一系列用于多项选择视觉问答的循环和上下文神经网络模型。在文献中的模型复杂性的不同趋势的动机,我们探索模型的表达能力和简单性之间的平衡,通过研究越来越复杂的架构。我们从输入问题和答案的LSTM编码开始;在此基础上,通过神经图像和问题表示的LSTM编码以及图像上的注意力来生成上下文;并评估我们的模型及其集成的多样性和预测能力。所有模型都是根据当前最先进技术的简单基线进行评估的,包括分别针对文本和图像的词袋和CNN表示的简单串联。一般来说,我们观察到我们的模型之间的图像推理性能的显着变化,从它们的整体性能来看并不明显,以及数据集偏差的证据。我们的独立模型可实现高达$64.6\%$的精度,而所有模型的集成可实现$66.67\%$的最佳精度,在Visual 7 W当前最先进水平的$0.5\%$范围内。
2017-03-23 cs.CL cs.CV
Using Recurrent Neural Network for Learning Expressive Ontologies
FBK-irst;University of Trento(特伦托大学)
最近,神经网络已被证明在许多自然语言处理任务中非常有效,例如情感分析,问答或机器翻译。为了在本体学习过程中利用这些优势,在本技术报告中,我们详细描述了用于实现这一目标的基于循环神经网络的系统。
2016-07-14 cs.AI cs.CL
MrRank: Improving Question Answering Retrieval System through Multi-Result Ranking Model
Kasikorn Labs Co., Ltd.(Kasikorn实验室有限公司);Kasikorn Business-Technology Group(Kasikorn商业技术集团);Chulalongkorn University(朱拉隆功大学)
本文提出MrRank,利用学习排序技术融合异构信息检索系统,以缓解LLM幻觉和知识过时问题,并在ReQA SQuAD上取得最先进性能。
2024-06-09 cs.CL