Incremental Improvement of a Question Answering System by Re-ranking Answer Candidates using Machine Learning
German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们实现了一种方法，重新排名的前10名的结果，一个国家的最先进的问答（QA）系统。我们重新排序方法的目标是在给定用户问题和前10名候选人的情况下改进答案选择。我们专注于改进已部署的QA系统，这些系统不允许重新培训或重新培训的成本很高。我们的重新排名方法使用基于n-gram的特征，使用查询，答案和初始系统置信度作为输入来学习相似性函数。我们的贡献是：（1）我们从T-Mobile奥地利客户服务领域的877个答案开始生成QA训练语料库，（2）我们使用神经句子嵌入实现了最先进的QA管道，这些句子嵌入在与答案索引相同的空间中对查询进行编码，以及（3）我们使用单独提供的测试集评估QA管道和我们的重新排名方法。测试集可以被认为是在系统部署之后可用的，例如，根据用户的反馈。我们的研究结果表明，系统的性能，在前n精度和平均倒数排名，受益于使用梯度提升回归树重新排名。平均而言，平均倒数排名提高了9.15%。
2019-08-27 cs.CL cs.IR cs.LG
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs（汤森路透实验室）；University of Montreal（蒙特利尔大学）；Huawei Poisson Lab.（华为泊松实验室）；Tshinghua Univeristy（清华大学）
除了主题相关性之外，开放域类事实问答的段落排名还需要段落包含答案（可回答性）。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性，但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍，其将包含答案实体的任何段落视为阳性样本。然而，文章中的答案实体不一定与给定的问题相关。为了解决这个问题，我们提出了一种称为\ttt{PReGAN}的方法，用于基于生成对抗神经网络的通道重新排序，该方法除了包含主题相关性外，还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明，\ttt{PReGAN}能够更好地对合适的段落进行排序，从而提高了问答系统的有效性，并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
RankQA: Neural Question Answering with Answer Re-Ranking
ETH Zurich（苏黎世联邦理工学院）
用于叙事内容的神经问答（QA）中的常规范例限于两阶段过程：首先，检索相关文本段落，随后，用于机器理解的神经网络提取最可能的答案。然而，这两个阶段在现状中基本上是孤立的，因此，来自这两个阶段的信息从未被适当地融合。相比之下，这项工作提出了RankQA：RankQA扩展了神经QA中的传统两阶段过程，第三阶段执行额外的答案重新排名。重新排序利用直接从QA管道提取的不同特征，即，检索和理解功能的组合。虽然我们有意简单的设计允许有效的，数据稀疏的估计，但它仍然比更复杂的QA系统有显著的优势：事实上，RankQA在4个基准数据集中的3个上达到了最先进的性能。此外，它的性能在语料库的大小是动态的设置中特别优越。这里的答案重新排名提供了一个有效的补救措施，对潜在的噪声信息的权衡，由于一个可变的语料库大小。因此，RankQA代表了一种新颖的，强大的，因此具有挑战性的基线，为未来的研究在基于内容的QA。
2019-08-12 cs.CL
Answer ranking in Community Question Answering: a deep learning approach
Universidad Nacional de Educación a Distancia（西班牙国立远程教育大学）
社区问答（英语：Community Question Questioning）是计算语言学的一个领域，它处理的是从Quora或Stack Overflow等网站上发布的问题和答案中衍生出来的问题。在这些问题中，我们发现了一个问题，即对每个问题的多个答案进行排名，通过它们在试图解决原始问题时的信息量来排名。这项工作试图通过深度学习方法来推进社区问答的答案排名。我们首先创建了一个大型的问题和答案数据集，发布到Stack Overflow网站上。然后，我们利用密集嵌入和LSTM网络的自然语言处理功能来生成对接受答案属性的预测，并以排名形式呈现答案，并根据提问者将其标记为接受的可能性进行排序。我们还制作了一组数字特征来协助答案排名任务。这些数字特征要么是从Stack Overflow帖子中的元数据中提取的，要么是从问答文本中提取的。我们将我们的深度学习模型的性能与一组森林和增强树集成方法进行了比较，发现我们的模型无法提高最佳基线结果。我们推测，与基线模型相比，这种性能改进的缺乏可能是由于问题和答案文本中的编程代码片段中存在大量词汇表外的单词造成的。我们的结论是，虽然深度学习方法可能有助于回答排名问题，但应该开发新方法来帮助解决编程代码片段中存在的大量词汇表外的单词
2022-10-16 cs.CL
Evidence Aggregation for Answer Re-Ranking in Open-Domain Question Answering
School of Information System, Singapore Management University（新加坡管理大学信息系统学院）；AI Foundations - Learning, IBM Research AI（IBM研究人工智能部 - 学习基础）
最近流行的回答开放域问题的方法是首先搜索与问题相关的段落，然后应用阅读理解模型来提取答案。现有的方法通常从单个段落中独立地提取答案。但有些问题需要结合不同来源的证据才能正确回答。在本文中，我们提出了两个模型，利用多个通道，以产生他们的答案。两者都使用一个答案重新排序的方法，重新排序的答案候选人产生的现有国家的最先进的QA模型。我们提出了两种方法，即基于强度的重新排名和基于覆盖率的重新排名，利用不同段落的汇总证据，以更好地确定答案。我们的模型在三个公共开放域QA数据集上取得了最先进的结果：Quasar-T，SearchQA和TriviaQA的开放域版本，比前两个数据集提高了约8个百分点。
2018-04-26 cs.AI cs.CL
RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open Domain Question Answering
Facebook AI（脸书人工智能研究院）；University of Washington（华盛顿大学）
用于开放域问答（QA）的最先进的机器阅读理解（MRC）模型通常使用远距离监督的正例和间接检索的负例来训练跨度选择。这种训练方案可能解释了经验观察，即这些模型在其前几个预测中实现了高召回率，但总体准确率较低，从而激发了对答案重新排名的需求。我们为跨度提取任务开发了一种简单有效的重新排序方法（RECONSIDER），该方法提高了大型预训练MRC模型的性能。RECONSIDER在从MRC模型的高置信度预测中提取的正面和负面示例上进行训练，并使用通道内跨度注释在较小的候选集上执行以跨度为中心的重新排名。因此，RECONSIDER学会了消除接近的假阳性段落，并在四个QA任务上达到了新的技术水平，包括自然问题与真实用户问题的45.5%精确匹配准确率，以及TriviaQA的61.7%。
2020-10-21 cs.CL
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University（高丽大学）
最近，开放域问答（QA）已经与机器理解模型相结合，以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题，其性能在很大程度上取决于文档检索器的性能。然而，由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档，因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量，这也会降低QA系统的性能。在本文中，我们介绍了段落排名检索到的文件的段落，以更高的答案召回，噪音更少。我们发现，使用段落排名器对段落进行排名并聚合答案，平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
Promotion of Answer Value Measurement with Domain Effects in Community Question Answering Systems
University of Science and Technology of China（中国科学技术大学）；Baidu, Inc.（百度公司）
在社区问答领域，答案选择和答案排序是帮助用户快速获取有价值答案的两个任务。现有的解决方案主要利用问题和相关答案之间的句法或语义相关性，其中CQA中的多方面领域效应仍然没有得到充分的研究。在本文中，我们提出了一个统一的模型，增强的注意递归神经网络（EARNN），通过充分利用问答语义和多方面的领域效应（即，主题效果和时效性）。具体来说，我们开发了一个序列化的LSTM来学习Q & A的统一表示，其中设计了两个注意力机制，用于捕获主题的深层效果。同时，可以自动区分问答的重点。此外，我们设计了一个时间敏感的排序函数来模拟CQA中的时间性。为了有效地训练EARNN，问题相关的成对学习策略也被开发。最后，我们在Quora的真实数据集上进行了大量的实验。实验结果验证了我们提出的EARNN模型的有效性和可解释性。
2019-07-14 cs.CL cs.IR
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre（语言技术研究中心）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
通常，提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题，因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中，我们解决了多答案检索，需要检索的段落，可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法，使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落，都是查询相关的和不同的。结果表明，我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
Double Retrieval and Ranking for Accurate Question Answering
School of Information, The University of Arizona（亚利桑那大学信息学院）；Amazon Alexa AI（亚马逊 Alexa AI）
最近的工作表明，在基于转换器的答案选择模型中引入的答案验证步骤可以显着提高问答的最新技术水平。该步骤是通过聚合前$k$答案候选的嵌入来执行的，以支持目标答案的验证。尽管该方法是直观的并且合理的，但仍然显示出两个限制：（i）仅根据与问题而不是与答案的相关性来对支持候选进行排名，以及（ii）由其他答案候选提供的支持是次优的，因为这些是独立于目标答案来检索的。在本文中，我们通过提出（i）双重重新排序模型来解决这两个缺点，该模型针对每个目标答案选择最佳支持;以及（ii）第二个神经检索阶段，旨在将问题和答案对编码为查询，从而找到更具体的验证信息。在三个著名的AS 2数据集上的结果显示了对现有技术的一致和显著的改进。
2022-01-16 cs.CL
Knowledge Transfer from Answer Ranking to Answer Generation
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Allen Institute for AI（艾伦人工智能研究所）
最近的研究表明，问答（QA）的答案句子选择（AS 2）的基础上，可以通过生成一个改进的答案从前k排名的答案句子（称为GenQA）。这允许将来自多个候选人的信息综合成一个简洁、自然的答案。然而，为GenQA模型创建大规模监督训练数据是非常具有挑战性的。在本文中，我们提出训练一个GenQA模型从训练的AS 2模型转移知识，以克服上述问题。首先，我们使用AS 2模型来生成一组问题的答案候选者的排名。然后，我们使用排名最高的候选者作为生成目标，接下来的k个排名最高的候选者作为训练GenQA模型的上下文。我们还建议使用AS 2模型预测分数进行损失加权和分数条件输入/输出整形，以帮助知识转移。我们对三个公共数据集和一个大型工业数据集的评估表明，我们的方法优于AS 2基线，GenQA使用监督数据进行训练。
2022-10-23 cs.CL cs.LG
KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering
Soochow University（苏州大学）
提出KEPR方法，通过知识增强与合理性排序提升生成式常识问答的答案多样性与排序质量，在ProtoQA上取得最佳性能。
2023-05-15 cs.AI cs.CL
Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering
Arizona State University（亚利桑那州立大学）
开放领域问答需要系统检索外部知识，并通过组合分布在多个句子上的知识来执行多跳推理。在最近引入的开放领域问答挑战数据集QASC和OpenBookQA中，我们需要执行事实检索并组合事实以正确回答问题。在我们的工作中，我们学习了一个语义知识排序模型，通过Lucene的信息检索系统检索到的知识重新排名。我们进一步提出了一个“知识融合模型”，利用外部检索的知识和基于BERT的语言模型的知识，并提高了基于BERT的语言模型的知识理解。在OpenBookQA和QASC数据集上，具有语义重新排序的知识的知识融合模型优于以前的尝试。
2020-04-17 cs.AI cs.CL cs.LG
Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University of Advanced Technology（深圳理工大学）
本文提出 PFR-LQA 三阶段框架，通过法律领域预训练、任务微调和上下文重排序提升双编码器在法律问答中的稠密检索性能，实验证明其优于现有强基线方法。
2024-12-27 cs.CL
Pentagon at MEDIQA 2019: Multi-task Learning for Filtering and Re-ranking Answers using Language Inference and Question Entailment
Carnegie Mellon University（卡内基梅隆大学）
像微调的BERT和MT-DNN这样的并行深度学习架构已经迅速成为最先进的技术，大大绕过了以前的深度和浅层学习方法。最近，来自大型相关数据集的预训练模型已经能够在许多下游任务上表现良好，只需对特定领域的数据集进行微调。然而，由于并行架构的输入大小限制和极小的数据集（不足以进行微调），在非平凡任务（如排名和大型文档分类）上使用强大的模型仍然是一个挑战。在这项工作中，我们引入了一个端到端的系统，在多任务设置中进行训练，以过滤和重新排列医疗领域的答案。我们使用特定于任务的预训练模型作为深度特征提取器。在ACL-BioNLP研讨会MediQA问答共享任务上，我们的模型达到了最高的Spearman的Rho和平均倒数秩分别为0.338和0.9622。
2019-07-01 cs.CL cs.IR cs.LG
ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval
University of Innsbruck（因斯布鲁克大学）
本文提出ASRank，一种利用预训练大语言模型计算零样本答案线索似然度的文档重排序方法，显著提升了多种问答数据集的检索准确率。
2025-01-25 cs.CL
Legal Question Answering using Ranking SVM and Deep Convolutional Neural Network
Japan Advanced Institute of Science and Technology (JAIST)（日本北陆先端科学技术大学院大学）；Hung Yen University of Education and Technology (UTEHY)（兴安教育与技术大学）
本文提出了一种将排序支持向量机和卷积神经网络用于法律信息抽取/蕴涵竞赛中的两个任务：法律信息检索和问答的研究。对于第一个任务，我们提出的模型使用了三重功能（LSI，曼哈顿，Jaccard），并基于段落级别，而不是在以前的研究中的文章级别。事实上，每个单段文章对应于一个巨大的多段文章中的一个特定段落。对于法律问答任务，额外的统计特征，从信息检索任务集成到卷积神经网络有助于更高的准确性。
2017-03-16 cs.AI cs.CL
Joint Passage Ranking for Diverse Multi-Answer Retrieval
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
我们研究多答案检索，一个未充分探索的问题，需要检索段落，以涵盖多个不同的答案为一个给定的问题。这项任务需要对检索到的段落进行联合建模，因为模型不应该以错过不同的有效答案为代价重复检索包含相同答案的段落。在本文中，我们介绍了JPR，第一个联合通道检索模型的多答案检索。JPR利用自回归重排序器选择一系列通道，每个通道以先前选择的通道为条件。JPR被训练为在每个时间步选择覆盖新答案的段落，并使用树解码算法来实现多样性程度的灵活性。与现有方法相比，JPR在三个多答案数据集上实现了更好的答案覆盖。当与下游问答相结合时，改进的检索能够实现更大的答案生成模型，因为它们需要考虑更少的段落，从而建立新的最先进的技术。
2021-09-19 cs.AI cs.CL
Mitigating the Position Bias of Transformer Models in Passage Re-Ranking
TU Wien（维也纳工业大学）；University College London（伦敦大学学院）
受监督的机器学习模型及其评估在很大程度上取决于底层数据集的质量。当我们搜索一条相关的信息时，它可能出现在给定段落的任何地方。然而，我们观察到一个偏见的正确答案在文本中的位置在两个流行的问答数据集用于通道重新排名。过度偏爱通道内的较早位置是不想要的人工制品。这导致了三种常见的基于transformer的重新排序模型，以忽略未看到的段落中的相关部分。更令人担忧的是，由于评估集来自相同的偏置分布，因此过拟合该偏置的模型高估了它们的真实有效性。在这项工作中，我们分析了数据集上的位置偏差，上下文表示，以及它们对检索结果的影响。我们提出了一个去偏方法检索数据集。我们的研究结果表明，在位置偏置数据集上训练的模型在去偏置数据集上进行评估时，重新排名的有效性显着降低。我们证明，通过减轻位置偏差，基于transformer的重新排序模型在有偏和去偏数据集上同样有效，并且在两个不同偏数据集之间的迁移学习设置中更有效。
2021-01-18 cs.CL cs.IR
Machine Reading Comprehension for Answer Re-Ranking in Customer Support Chatbots
Sofia University（索非亚大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
深度神经网络、语言建模和语言生成的最新进展为会话代理领域引入了新的想法。因此，序列到序列、记忆网络和Transformer等深度神经模型已成为最先进对话系统的关键组成部分。虽然这些模型即使在看不见的情况下也能够生成有意义的响应，但它们需要大量的训练数据来构建可靠的模型。因此，大多数现实世界的系统坚持基于信息检索的传统方法，甚至是手工制作的规则，因为它们的鲁棒性和有效性，特别是对于狭窄的对话。在这里，我们提出了一种方法，该方法采用了来自机器阅读理解领域的深度神经架构，以使用问题作为上下文，对来自不同模型的建议答案进行重新排序。我们训练我们的模型使用负采样的基础上的问题，答案对从Twitter的客户支持数据集。实验结果表明，我们的重新排名框架可以提高性能方面的单词重叠和语义的单独模型以及模型组合。
2019-02-26 cs.CL
Simple Question Answering with Subgraph Ranking and Joint-Scoring
Carnegie Mellon University（卡内基梅隆大学）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
基于知识图谱的简单问答（KBSQA）是问答的一个重要研究领域。虽然只处理简单的问题，即，事实上，这个任务既不简单，也不接近解决。针对两个主要步骤，子图选择和事实选择，研究界已经开发了复杂的方法。然而，子图排名和利用的主题-关系依赖的知识库事实的重要性还没有得到充分的探讨。出于这一动机，我们提出了一个统一的框架来描述和分析现有的方法。使用这个框架作为出发点，我们专注于两个方面：通过一种新的排名方法，提高子图的选择和利用的主题-关系依赖，提出了一个联合评分CNN模型与一个新的损失函数，强制执行良好的秩序的分数。我们的方法在SimpleQuestions数据集上达到了最新的水平（准确率为85.44%）。
2019-04-04 cs.CL cs.LG stat.ML
MrRank: Improving Question Answering Retrieval System through Multi-Result Ranking Model
Kasikorn Labs Co., Ltd.（Kasikorn实验室有限公司）；Kasikorn Business-Technology Group（Kasikorn商业技术集团）；Chulalongkorn University（朱拉隆功大学）
本文提出MrRank，利用学习排序技术融合异构信息检索系统，以缓解LLM幻觉和知识过时问题，并在ReQA SQuAD上取得最先进性能。
2024-06-09 cs.CL
Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA
Technical University of Munich（慕尼黑技术大学）
针对法律问答中检索增强生成系统的引用质量问题，提出基于扰动归因分数训练轻量级交叉编码器对候选段落重排序，显著提升引用忠实度并与专家答案对齐。
2026-06-02 cs.CL cs.IR
Diverse and Non-redundant Answer Set Extraction on Community QA based on DPPs
Tokyo Institute of Technology（东京工业大学）；Yahoo Japan Corporation（雅虎日本公司）
在基于社区的问答（CQA）平台中，用户需要花费时间从许多答案中获得有用的信息。虽然一种解决方案是答案排名方法，但用户仍然需要仔细阅读排名靠前的答案。本文提出了一个新的任务，选择一个多样化的和非冗余的答案集，而不是排名的答案。我们的方法是基于决定点过程（DPPs），它计算答案的重要性和答案之间的相似性，通过使用BERT。我们建立了一个集中在日本CQA网站的数据集，在这个数据集上的实验表明，所提出的方法优于几个基线方法。
2020-11-18 cs.CL
Ranking Facts for Explaining Answers to Elementary Science Questions
TIB Leibniz Information Centre for Science and Technology（TIB莱布尼茨科学与技术信息中心）；University of Bonn（波恩大学）
在多项选择题考试中，学生通常从四个选项中选择一个答案，并解释他们为什么做出这个选择。学生们善于理解自然语言问题，并根据他们的领域知识，可以很容易地推断出问题的答案，通过“连接点”在各种相关的事实。考虑到自动推理的基础科学问答，我们解决的新任务，从人类创作的事实产生的答案的解释。为此，我们研究了功能丰富的支持向量机利用领域为目标的，手工制作的功能，几乎可扩展的框架。解释是从WorldTree语料库中近5,000个候选事实的人工注释集创建的。我们的目标是获得更好的匹配有效的事实的一个问题的正确答案的解释，在可用的事实候选人。为此，我们的功能提供了一个全面的语言和语义统一的范式。机器学习问题是事实的偏好排序，我们测试逐点回归与成对学习排序。我们的贡献是：（1）系统比较两种偏好排序方法的案例研究;（2）它是一种实际可行的方法，可以优于基于BERT的重新排序模型的一些变体;（3）人类工程特征使其成为任务的可解释机器学习模型。
2021-10-18 cs.AI cs.CL cs.IR
RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Salesforce Research（赛富时研究院）
现有的KBQA方法，尽管在i.i.d.测试数据通常难以归纳出涉及不可见的KB模式项的问题。先前的基于排名的方法已经在推广方面取得了一些成功，但受到覆盖问题的困扰。我们提出了RnG-KBQA，排名和生成方法KBQA，它补救了覆盖问题的生成模型，同时保持了强大的泛化能力。我们的方法首先使用一个对比排序器来排列一组通过搜索知识图谱获得的候选逻辑形式。然后，它引入了一个定制的生成模型的问题和排名靠前的候选人组成的最终逻辑形式的条件。我们在GrailQA和WebQSP数据集上取得了最新的成果。特别是，我们的方法在GrailQA排行榜上远远超过了现有的最先进的方法。此外，RnG-KBQA在流行的WebQSP基准测试中优于所有先前的方法，甚至包括使用Oracle实体链接的方法。实验结果表明，排名和生成之间的相互作用的有效性，这导致我们提出的方法在所有设置的优越性能，特别是强大的改进zero-shot泛化。
2022-03-21 cs.CL
Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出uRAG框架，通过统一检索引擎服务多个下游RAG系统，并构建含36个RAG系统的大规模实验生态，以研究面向机器的搜索引擎的核心问题。
2024-04-30 cs.CL cs.IR
Question-Answer Selection in User to User Marketplace Conversations
Carousell Pte. Ltd.（Carousell私人有限公司）
用户对用户市场中的卖家可能会被潜在买家的问题淹没。答案往往已经在产品说明中提供。我们从在线市场的对话中收集了大约59万个这样的问题和答案。我们提出了一个问答系统，选择一个句子，从产品说明使用神经网络排名模型。我们探索了多种编码策略，使用递归神经网络和前馈注意力层产生了良好的效果。本文提出了一个演示，以交互方式提出买家的问题，并可视化的排名分数的产品描述句子从现场在线列表。
2018-02-06 cs.CL
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida（佛罗里达大学）
提出RAMQA统一框架，结合学习排序与生成式排列增强技术，用于多模态检索增强问答，在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
AGRaME: Any-Granularity Ranking with Multi-Vector Embeddings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Apple（苹果公司）；Adobe（奥多比公司）
本文提出任意粒度排序方法AGRaME，利用多向量嵌入在单一编码粒度下实现多粒度排序，通过多粒度对比损失训练，并应用于检索增强生成的引用添加，性能优于提示驱动方法。
2024-05-23 cs.CL cs.IR
Shifting from Ranking to Set Selection for Retrieval Augmented Generation
LG AI Research（LG人工智能研究）
针对RAG中现有重排序方法忽视段落集合整体性的问题，提出SETR方法，通过思维链识别查询信息需求并选择最优段落集合，在多跳基准上优于重排序基线。
2025-07-10 cs.CL cs.IR
Understanding the Behaviors of BERT in Ranking
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
研究了BERT在排序任务中的性能和行为。我们探索了几种不同的方法来利用预训练的BERT，并在两个排名任务上对其进行微调：MS MARCO段落重新排名和TREC Web Track ad hoc文档排序。在MS MARCO上的实验结果证明了BERT在问答式段落排序任务中的有效性，同时也证明了BERT是一种基于强交互的seq2seq匹配模型。TREC上的实验结果显示了在周围上下文上预训练的BERT与ad hoc文档排序的需求之间的差距。分析说明了BERT如何在其Transformer层中的查询文档标记之间分配注意力，它如何偏好释义标记之间的语义匹配，以及这与点击训练的神经排名器学习的软匹配模式有何不同。
2019-04-26 cs.CL cs.IR
Beyond [CLS] through Ranking by Generation
Amazon（亚马逊）
生成模型的信息检索，其中排名的文件被视为从一个文件的语言模型生成一个查询的任务，是非常成功的各种IR任务在过去。然而，随着现代深度神经网络的出现，注意力已经转移到对文档和查询的语义相似性进行建模的判别排名函数。最近，GPT2和BART等深度生成模型已被证明是优秀的文本生成器，但它们作为排名器的有效性尚未得到证明。在这项工作中，我们重新审视了生成框架信息检索，并表明我们的生成方法是有效的最先进的基于语义相似性的判别模型的答案选择任务。此外，我们证明了IR的不可能损失的有效性。
2020-10-06 cs.CL cs.IR
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business（雅典经济与商业大学）；Google AI（谷歌人工智能）
我们探索了几种新的文档相关性排名模型，建立在Guo et al.（2016）的深度相关性匹配模型（DRMM）基础上。与DRMM不同，DRMM使用术语的上下文不敏感编码和查询-文档术语交互，我们在整个模型中注入了丰富的上下文敏感编码，灵感来自PACRR（Hui等人，卷积n-gram匹配功能，但以多种方式扩展，包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型（Tsatsaronis等人，2015年）和TREC ROBUST 2004年（Voorhees，2005年），显示它们优于基于BM 25的基线，DRMM和PACRR。
2018-09-11 cs.CL cs.IR
GripRank: Bridging the Gap between Retrieval and Generation via the Generative Knowledge Improved Passage Ranking
Beihang University（北京航空航天大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tencent Cloud AI（腾讯云人工智能）
针对检索与生成目标不一致的问题，本文提出 GripRank，利用生成式段落估计器和课程知识蒸馏改进段落排序，并在 KILT 上提升排序与答案生成性能。
2023-08-15 cs.AI cs.CL
Hyperbolic Representation Learning for Fast and Efficient Neural Question Answering
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）
问题答案检索中的主导神经架构基于配置有复杂单词匹配层的递归或卷积编码器。鉴于最近的架构创新大多是新词交互层或基于注意力的匹配机制，这些组件对于良好的性能是强制性的，这似乎是一个公认的事实。不幸的是，由这些复杂机制引起的存储器和计算成本对于实际应用是不期望的。因此，本文解决的问题是，是否有可能实现简单的神经架构的竞争力的表现。我们提出了一个简单但新颖的深度学习架构，用于快速有效的问答排名和检索。更具体地说，我们提出的模型，\textsc{HyperQA}，是一个参数有效的神经网络，优于其他参数密集型模型，如注意池BiLSTM和多视角CNN在多个QA基准测试。\textsc{HyperQA}背后的新颖之处是一个成对排序目标，它在双曲空间而不是欧几里得空间中对问题和答案嵌入之间的关系进行建模。这使我们的模型具有自组织能力，并在学习问题和答案的嵌入时自动发现潜在的层次结构。我们的模型不需要特征工程，没有相似性矩阵匹配，没有复杂的注意力机制，也没有过度参数化的层，但优于许多模型，并保持竞争力，具有这些功能的多个基准。
2017-11-23 cs.CL cs.IR
Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering
Computer Science (EECS) University of Toledo Toledo, OH, USA
本文通过实证评估，比较了RAG架构在政策文件问答中的有效性，发现Advanced RAG在忠实度上表现更优，但文档分段限制影响多步骤推理。
2026-01-21 cs.AI cs.CL cs.IR
A Study of BERT for Non-Factoid Question-Answering under Passage Length Constraints
IBM Research AI（IBM研究AI）；Haifa University（海法大学）
我们研究了BERT在非事实性问答中的应用，重点研究了不同段落长度下的段落重新排序任务。为此，我们探讨了微调的BERT在不同的学习排名设置，包括逐点和成对的方法，从而在国家的最先进的实质性改进。然后，我们分析了不同的通道长度的有效性BERT，并建议如何应付大通道。
2019-08-19 cs.CL cs.IR
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
Google DeepMind（谷歌DeepMind）
本文提出一种利用LLM长上下文能力从整本书自动生成阅读理解数据的流水线，通过成对比较和Bradley-Terry模型排名的相对评估方法，验证了整本书上下文在阅读理解任务上的优越性。
2024-05-31 cs.AI cs.CL
A strong baseline for question relevancy ranking
University of Copenhagen（哥本哈根大学）
SemEval-16和SemEval-17社区中最好的系统是问答共享任务（相当于问题相关性排名的任务），涉及复杂的管道和手动功能工程。尽管如此，其中许多仍然未能击败IR基线，即，谷歌搜索引擎提供的排名。我们提出了一个强大的基线问题相关性排名训练一个简单的多任务前馈网络上的一袋14个距离措施的输入问题对。这个基线模型，这是快速的训练，只使用语言无关的功能，优于最好的共享任务系统检索相关的先前提出的问题的任务。
2018-08-27 cs.CL cs.IR cs.LG
Ensemble Transformer for Efficient and Accurate Ranking Tasks: an Application to Question Answering Systems
University of California, Irvine（加利福尼亚大学欧文分校）；Allen Institute for AI（艾伦人工智能研究所）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出CERBERUS多头学生架构，通过将多个异构大型Transformer分别蒸馏到不同排序头中，在保持集成多样性的同时以少量额外参数实现高效准确的答案句选择，性能媲美参数多2.7倍的大模型。
2022-12-06 cs.CL
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt（达姆施塔特工业大学）
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景，然而，对于信息搜索场景，用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此，在这项工作中，我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说，我们引入了一个kNN的方法，重新排名的文件的基础上，他们的相似性与查询和用户认为相关的文件。此外，我们还探索了交叉编码器模型，我们使用元学习进行预训练，随后针对每个查询进行微调，仅在反馈文档上进行训练。为了评估我们不同的集成策略，我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明，将相关反馈直接集成到神经重排序模型中可以提高它们的性能，并且将词汇排序与我们表现最好的神经重排序器融合在一起，比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models
Santa Clara University（圣克拉拉大学）；Walmart Global Tech（沃尔玛全球科技）；Docomo Innovations（docomo创新公司）
针对开放域问答中LLM段落重排序依赖硬提示、全量微调成本高的问题，提出参数高效的段落特定提示调优方法PSPT，融入段落特定知识提升排序能力，实验验证其有效性。
2024-06-21 cs.CL cs.IR
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol（布里斯托大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
对于许多NLP应用程序，例如问答和摘要，目标是从大量候选项中选择最佳解决方案，以满足特定用户的需求。为了解决缺乏用户特定的训练数据，我们提出了一个交互式的文本排名方法，积极选择对候选人，用户从中选择最好的。与以前的策略不同，这些策略试图在整个候选空间中学习排名，我们的方法采用贝叶斯优化，将用户的标签工作集中在高质量的候选人上，并以贝叶斯方式整合先验知识，以更好地应对小数据场景。我们将我们的方法应用于社区问答（cQA）和提取摘要，发现它显着优于现有的交互式方法。我们还表明，通过我们的方法学习的排名函数是强化学习的有效奖励函数，它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
Passage Re-ranking with BERT
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
最近，神经模型在语言建模任务上进行了预训练，例如ELMo（Peters等人，2017）、OpenAI GPT（Radford等人，2018）和BERT（Devlin et al.，2018年），在各种自然语言处理任务上取得了令人印象深刻的成果，如问答和自然语言推理。在本文中，我们描述了一个简单的重新实现BERT的查询为基础的段落重新排名。我们的系统是TREC-CAR数据集的最新技术水平，也是MS MARCO通道检索任务排行榜的最佳条目，在MRR@10中比以前的最新技术水平高出27%（相对）。可在https://github.com/nyu-dl/dl4marco-bert上获得重现我们结果的代码
2020-04-14 cs.CL cs.IR cs.LG
IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with Special Tokens, Re-Ranking, Siamese Encoders and Back Translation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文介绍了SemEval-2021任务4：抽象意义的阅读理解的所有三个子任务的系统。为了帮助我们的模型更好地表示和理解自然语言中的抽象概念，我们精心设计了许多简单而有效的方法，适用于骨干模型（RobERTa）。具体地说，我们将子任务形式化为多项选择问答格式，并在抽象概念中添加特殊的标记，然后将问答的最终预测结果视为子任务的结果。此外，我们采用了许多微调技巧来提高性能。实验结果表明，我们的方法取得了显着的性能相比，基线系统。我们的方法子任务-1和子任务-2的第十等级上实现第八等级。
2021-02-25 cs.CL
Retrieving and ranking short medical questions with two stages neural matching model
University of Nottingham（诺丁汉大学）；University of Melbourne（墨尔本大学）；Ping An Health Cloud（平安健康云）；Ping An（平安）
互联网医院是一个新兴的业务，这要归功于移动网络技术的最新进展和医疗保健服务的高需求。在线医疗服务变得越来越受欢迎和活跃。根据美国2018年的数据，80%的互联网用户在网上提出了与健康相关的问题。大量数据以前所未有的速度和规模生成。这些医学领域中具有代表性的问题和答案为医学数据采掘提供了宝贵的原始数据源。从信息检索和机器学习方法的角度来看，对这些大量数据的自动机器解释提供了帮助医生回答常见的医疗相关问题的机会。在这项工作中，我们提出了一个新的两阶段的框架查询级的医学问题的语义匹配。
2020-11-16 cs.CL
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的，但仍然未充分探索的领域。在本文中，我们表明，问题重写（QR）的会话背景下，可以更清楚地揭示这种现象，也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架，使会话问答（QA）的性能使用问题重写的自动分析，并提出了这种分析的结果TREC CAST和QuAC（CANARD）数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型，阅读理解和文章排名。我们的研究结果表明，阅读理解模型是不敏感的问题制定，而文章的排名变化显着的输入问题的一点变化。QR的好处是，它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务，还是只是在数据集中找到捷径，并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
Cooperative Retrieval-Augmented Generation for Question Answering: Mutual Information Exchange and Ranking by Contrasting Layers
Department of Artificial Intelligence, Hanyang University（人工智能学院，翰阳大学）；Department of Data Science, Hanyang University（数据科学学院，翰阳大学）
CoopRAG通过协作检索与生成机制，提升问答任务中检索与生成的准确性。
2025-12-17 cs.AI cs.CL
Addressing Community Question Answering in English and Arabic
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；University of Trento（特伦托大学）
本文研究了在社区问答中，不同类型的特征应用于问题重排序学习的影响。我们在SemEval-2016任务3“社区问答“中发布的两个数据集上测试了我们的模型。任务3以英语和阿拉伯语的现实生活网络论坛为目标。我们的模型包括词袋特征（BoW）、语法树内核（TK）、等级特征、嵌入和机器翻译评估特征。据我们所知，结构内核几乎没有被应用到问题重排序任务，在那里他们必须模型释义关系。在英语问题重新排名任务的情况下，我们比较我们的学习排序（L2 R）算法对谷歌生成的排名（GR）给出了一个强大的基线。结果表明：i）我们的TK中使用的浅层结构对噪声数据足够鲁棒; ii）改进GR是可能的，但需要有效的BoW特征和TK以及所使用的L2 R算法中的GR特征的准确模型。在阿拉伯语问题重新排序任务的情况下，我们第一次应用树核的阿拉伯语句子的句法树。我们对这两个任务的方法在SemEval-2016子任务B（英语）和D（阿拉伯语）上获得了第二好的结果。
2016-10-18 cs.CL
FinCARDS: Card-Based Analyst Reranking for Financial Document Question Answering
ShanghaiTech University（上海科技大学）；The University of Tokyo（东京大学）；MBZUAI
FinCARDS通过结构化重排序框架，将财务证据选择转化为在财务意识模式下的约束满足问题，提升长文档问答的稳定性与可追溯性。
2026-04-30 cs.AI cs.CL cs.IR
In Situ Answer Sentence Selection at Web-scale
School of Information, The University of Arizona（亚利桑那大学信息学院）；Amazon Alexa AI（亚马逊 Alexa AI）
在开放域问答（ODQA）中应用的当前答案句子选择（AS 2）通过对可能的候选的大集合进行排序来选择答案，即，句子，从检索到的文本中提取。在本文中，我们提出了基于通道的提取答案句到位（PEASI），一种新的设计AS 2优化Web规模的设置，而不是计算这样的答案，而不单独处理每个候选人。具体来说，我们设计了一个基于Transformer的框架，该框架联合（i）对针对问题检索的段落进行重新排序，以及（ii）从适当的顶部段落中识别可能的答案。我们在一个多任务学习框架中训练PEASI，该框架鼓励组件之间的特征共享：段落重排器和基于文本的答案句子提取器。为了促进我们的开发，我们构建了一个新的Web来源的大规模QA数据集，包括800，000+标记的段落/句子，60，000+问题。实验表明，我们提出的设计有效地优于目前最先进的AS 2设置，即，一个独立的句子排序模型，准确率从48.86%提高到55.37%，提高了6.51%。此外，PEASI在计算答案句子方面非常高效，与标准设置相比，仅需要约20%的推理，即，重新排列所有可能的候选人我们相信PEASI的发布，无论是数据集还是我们提出的设计，都有助于推进在Web规模上部署问答服务的研究和开发。
2022-01-16 cs.CL
Machine Translation Evaluation Meets Community Question Answering
Qatar Computing Research Institute, HBKU（HBKU卡塔尔计算研究所）
我们探讨了机器翻译评估（MTE）方法对一个非常不同的问题的适用性：社区问答中的答案排名。特别是，我们采用了成对的神经网络（NN）架构，它结合了MTE功能，以及丰富的语法和语义嵌入，并有效地模拟复杂的非线性交互。评估结果显示了最先进的性能，MTE功能和成对NN架构都有相当大的贡献。
2019-12-06 cs.CL cs.IR cs.LG
Contrastive Representation Learning for Conversational Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；University of Siegen（锡根大学）；Amazon（亚马逊）；Institute for Applied Informatics（应用信息学研究所）
研究了基于知识图谱的会话式问答问题。大多数现有的ConvQA方法依赖于完整的监督信号，严格假设查询的黄金逻辑形式的可用性，以从KG中提取答案。然而，在现实世界的场景中，创建这样一个黄金逻辑形式对于每个潜在问题都是不可行的。因此，在缺少黄金逻辑形式的情况下，现有的基于信息检索的方法通过启发式或强化学习使用弱监督，将ConvQA公式化为KG路径排序问题.尽管缺少黄金逻辑形式，丰富的会话上下文，如整个对话历史与流畅的反应和域信息，可以有效地达到正确的KG path.This工作提出了一个对比表示学习为基础的方法来排名KG路径有效。我们的方法解决了两个关键挑战。首先，它允许基于弱监督的学习，忽略了黄金注释的必要性。其次，它结合了会话上下文（整个对话历史和域信息），以联合学习其同质表示与KG路径，以提高有效的路径排名的对比表示。我们在ConvQA的标准数据集上评估了我们的方法，在这些数据集上，它在所有领域和整体上都显着优于现有的基线。具体而言，在某些情况下，与最先进的性能相比，平均倒数排名（MRR）和Hit@5排名度量分别提高了绝对10和18个点。
2022-10-09 cs.CL
