Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University of Advanced Technology（深圳理工大学）
本文提出 PFR-LQA 三阶段框架，通过法律领域预训练、任务微调和上下文重排序提升双编码器在法律问答中的稠密检索性能，实验证明其优于现有强基线方法。
2024-12-27 cs.CL
RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Salesforce Research（赛富时研究院）
现有的KBQA方法，尽管在i.i.d.测试数据通常难以归纳出涉及不可见的KB模式项的问题。先前的基于排名的方法已经在推广方面取得了一些成功，但受到覆盖问题的困扰。我们提出了RnG-KBQA，排名和生成方法KBQA，它补救了覆盖问题的生成模型，同时保持了强大的泛化能力。我们的方法首先使用一个对比排序器来排列一组通过搜索知识图谱获得的候选逻辑形式。然后，它引入了一个定制的生成模型的问题和排名靠前的候选人组成的最终逻辑形式的条件。我们在GrailQA和WebQSP数据集上取得了最新的成果。特别是，我们的方法在GrailQA排行榜上远远超过了现有的最先进的方法。此外，RnG-KBQA在流行的WebQSP基准测试中优于所有先前的方法，甚至包括使用Oracle实体链接的方法。实验结果表明，排名和生成之间的相互作用的有效性，这导致我们提出的方法在所有设置的优越性能，特别是强大的改进zero-shot泛化。
2022-03-21 cs.CL
Legal Question Answering using Ranking SVM and Deep Convolutional Neural Network
Japan Advanced Institute of Science and Technology (JAIST)（日本北陆先端科学技术大学院大学）；Hung Yen University of Education and Technology (UTEHY)（兴安教育与技术大学）
本文提出了一种将排序支持向量机和卷积神经网络用于法律信息抽取/蕴涵竞赛中的两个任务：法律信息检索和问答的研究。对于第一个任务，我们提出的模型使用了三重功能（LSI，曼哈顿，Jaccard），并基于段落级别，而不是在以前的研究中的文章级别。事实上，每个单段文章对应于一个巨大的多段文章中的一个特定段落。对于法律问答任务，额外的统计特征，从信息检索任务集成到卷积神经网络有助于更高的准确性。
2017-03-16 cs.AI cs.CL
Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering
Arizona State University（亚利桑那州立大学）
开放领域问答需要系统检索外部知识，并通过组合分布在多个句子上的知识来执行多跳推理。在最近引入的开放领域问答挑战数据集QASC和OpenBookQA中，我们需要执行事实检索并组合事实以正确回答问题。在我们的工作中，我们学习了一个语义知识排序模型，通过Lucene的信息检索系统检索到的知识重新排名。我们进一步提出了一个“知识融合模型”，利用外部检索的知识和基于BERT的语言模型的知识，并提高了基于BERT的语言模型的知识理解。在OpenBookQA和QASC数据集上，具有语义重新排序的知识的知识融合模型优于以前的尝试。
2020-04-17 cs.AI cs.CL cs.LG
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University（高丽大学）
最近，开放域问答（QA）已经与机器理解模型相结合，以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题，其性能在很大程度上取决于文档检索器的性能。然而，由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档，因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量，这也会降低QA系统的性能。在本文中，我们介绍了段落排名检索到的文件的段落，以更高的答案召回，噪音更少。我们发现，使用段落排名器对段落进行排名并聚合答案，平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
Learning to Focus when Ranking Answers
Technion — Israel Institute of Technology（以色列理工学院）；Emory University（埃默里大学）
排名的主要挑战之一是将查询和文档对嵌入到联合特征空间中，然后将其馈送到学习排名算法。为了实现这种表示，现有技术的常规方法执行对查询-答案对的相似性进行编码的广泛的特征工程。最近，深度学习解决方案已经表明，在某些情况下，通过直接从数据中学习相似性表示，可以实现相当的性能。不幸的是，以前的模型表现不佳较长的文本，或与显着部分的不相关的信息，或语法不正确的文本。为了克服这些局限性，我们提出了一种新的排名算法问答，QARAT，它使用了注意力机制，以了解哪些单词和短语的重点时，建立相互表示。我们在几个真实世界的问答排名数据集上展示了卓越的排名性能，并提供了注意力机制的可视化，以更深入地了解我们的注意力模型如何有利于困难的问答挑战的排名。
2018-08-08 cs.CL
Evidence Aggregation for Answer Re-Ranking in Open-Domain Question Answering
School of Information System, Singapore Management University（新加坡管理大学信息系统学院）；AI Foundations - Learning, IBM Research AI（IBM研究人工智能部 - 学习基础）
最近流行的回答开放域问题的方法是首先搜索与问题相关的段落，然后应用阅读理解模型来提取答案。现有的方法通常从单个段落中独立地提取答案。但有些问题需要结合不同来源的证据才能正确回答。在本文中，我们提出了两个模型，利用多个通道，以产生他们的答案。两者都使用一个答案重新排序的方法，重新排序的答案候选人产生的现有国家的最先进的QA模型。我们提出了两种方法，即基于强度的重新排名和基于覆盖率的重新排名，利用不同段落的汇总证据，以更好地确定答案。我们的模型在三个公共开放域QA数据集上取得了最先进的结果：Quasar-T，SearchQA和TriviaQA的开放域版本，比前两个数据集提高了约8个百分点。
2018-04-26 cs.AI cs.CL
SemanticZ at SemEval-2016 Task 3: Ranking Relevant Answers in Community Question Answering Using Semantic Similarity Based on Fine-tuned Word Embeddings
Research Training Group AIPHES（AIPHES研究培训组）；Institute for Computational Linguistics（计算语言学研究所）；Heidelberg University（海德堡大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们描述了我们在社区论坛中寻找好答案的系统，如SemEval-2016，关于社区问答的任务3中所定义的。我们的方法依赖于几个语义相似性特征的基础上微调词嵌入和主题的相似性。在主要的子任务C中，我们的主要提交排名第三，MAP为51.68，准确率为69.94。在子任务A中，我们的主要提交也是第三名，MAP为77.58，准确率为73.39。
2019-11-20 cs.AI cs.CL cs.IR
A Numerical Reasoning Question Answering System with Fine-grained Retriever and the Ensemble of Multiple Generators for FinQA
Nanjing University（南京大学）
财务领域的数值推理--进行定量分析和汇总财务报告中的信息--可以大大提高业务效率，减少数十亿美元的成本。在这里，我们提出了一个数值推理问答系统，回答金融文本和表格数据源之间的数值推理问题，包括检索器模块，生成器模块和集成模块。具体来说，在检索器模块中，除了检索整行数据，我们创新地设计了一个单元检索器，检索黄金细胞，以避免将不相关的和相似的细胞在同一行的发生器模块的输入。在生成器模块中，我们利用多个生成器生成程序，这些程序是回答问题的操作步骤。最后，在集成模块中，我们集成多个程序，选择最好的程序作为我们的系统的输出。在FinQA竞赛的最终私有测试集上，我们的系统获得了69.79的执行准确率。
2022-06-17 cs.CL
Simple Question Answering with Subgraph Ranking and Joint-Scoring
Carnegie Mellon University（卡内基梅隆大学）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
基于知识图谱的简单问答（KBSQA）是问答的一个重要研究领域。虽然只处理简单的问题，即，事实上，这个任务既不简单，也不接近解决。针对两个主要步骤，子图选择和事实选择，研究界已经开发了复杂的方法。然而，子图排名和利用的主题-关系依赖的知识库事实的重要性还没有得到充分的探讨。出于这一动机，我们提出了一个统一的框架来描述和分析现有的方法。使用这个框架作为出发点，我们专注于两个方面：通过一种新的排名方法，提高子图的选择和利用的主题-关系依赖，提出了一个联合评分CNN模型与一个新的损失函数，强制执行良好的秩序的分数。我们的方法在SimpleQuestions数据集上达到了最新的水平（准确率为85.44%）。
2019-04-04 cs.CL cs.LG stat.ML
Training a Ranking Function for Open-Domain Question Answering
New York University（纽约大学）
近年来，用于机器阅读的深度学习方法取得了惊人的进展。在机器阅读中，机器阅读器必须从给定的地面真理段落中提取答案。近年来，最先进的机器阅读模型在SQuAD（一种阅读理解风格的问答（QA）任务）中达到了人类水平的性能。机器阅读的成功启发了研究人员将信息检索与机器阅读相结合来解决开放领域的问答问题。然而，与阅读理解式QA相比，这些系统的表现很差，因为很难检索包含问题答案的段落片段。在这项研究中，我们提出了两个神经网络排名器，根据它们包含给定问题答案的可能性为不同的段落分配分数。此外，我们还分析了语义相似度和词级相关匹配在开放域问答中的相对重要性。
2018-04-12 cs.CL cs.IR
Addressing Community Question Answering in English and Arabic
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；University of Trento（特伦托大学）
本文研究了在社区问答中，不同类型的特征应用于问题重排序学习的影响。我们在SemEval-2016任务3“社区问答“中发布的两个数据集上测试了我们的模型。任务3以英语和阿拉伯语的现实生活网络论坛为目标。我们的模型包括词袋特征（BoW）、语法树内核（TK）、等级特征、嵌入和机器翻译评估特征。据我们所知，结构内核几乎没有被应用到问题重排序任务，在那里他们必须模型释义关系。在英语问题重新排名任务的情况下，我们比较我们的学习排序（L2 R）算法对谷歌生成的排名（GR）给出了一个强大的基线。结果表明：i）我们的TK中使用的浅层结构对噪声数据足够鲁棒; ii）改进GR是可能的，但需要有效的BoW特征和TK以及所使用的L2 R算法中的GR特征的准确模型。在阿拉伯语问题重新排序任务的情况下，我们第一次应用树核的阿拉伯语句子的句法树。我们对这两个任务的方法在SemEval-2016子任务B（英语）和D（阿拉伯语）上获得了第二好的结果。
2016-10-18 cs.CL
BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering
Department of Engineering（工程系）
BERAG通过将语言模型条件于单个检索文档而非单一上下文，解决检索增强生成中文档贡献不明和长上下文中的信息丢失问题，提升视觉问答任务性能。
2026-10-27 cs.CL
LoRE: Logit-Ranked Retriever Ensemble for Enhancing Open-Domain Question Answering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出 LoRE 方法，通过集成多样检索器并结合 LLM 的 logit 分数与段落检索排名来缓解位置偏差，显著提升了开放域问答的准确性与相关性。
2024-10-13 cs.CL
Incremental Improvement of a Question Answering System by Re-ranking Answer Candidates using Machine Learning
German Research Center for Artificial Intelligence（德国人工智能研究中心）
我们实现了一种方法，重新排名的前10名的结果，一个国家的最先进的问答（QA）系统。我们重新排序方法的目标是在给定用户问题和前10名候选人的情况下改进答案选择。我们专注于改进已部署的QA系统，这些系统不允许重新培训或重新培训的成本很高。我们的重新排名方法使用基于n-gram的特征，使用查询，答案和初始系统置信度作为输入来学习相似性函数。我们的贡献是：（1）我们从T-Mobile奥地利客户服务领域的877个答案开始生成QA训练语料库，（2）我们使用神经句子嵌入实现了最先进的QA管道，这些句子嵌入在与答案索引相同的空间中对查询进行编码，以及（3）我们使用单独提供的测试集评估QA管道和我们的重新排名方法。测试集可以被认为是在系统部署之后可用的，例如，根据用户的反馈。我们的研究结果表明，系统的性能，在前n精度和平均倒数排名，受益于使用梯度提升回归树重新排名。平均而言，平均倒数排名提高了9.15%。
2019-08-27 cs.CL cs.IR cs.LG
KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering
Soochow University（苏州大学）
提出KEPR方法，通过知识增强与合理性排序提升生成式常识问答的答案多样性与排序质量，在ProtoQA上取得最佳性能。
2023-05-15 cs.AI cs.CL
IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with Special Tokens, Re-Ranking, Siamese Encoders and Back Translation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文介绍了SemEval-2021任务4：抽象意义的阅读理解的所有三个子任务的系统。为了帮助我们的模型更好地表示和理解自然语言中的抽象概念，我们精心设计了许多简单而有效的方法，适用于骨干模型（RobERTa）。具体地说，我们将子任务形式化为多项选择问答格式，并在抽象概念中添加特殊的标记，然后将问答的最终预测结果视为子任务的结果。此外，我们采用了许多微调技巧来提高性能。实验结果表明，我们的方法取得了显着的性能相比，基线系统。我们的方法子任务-1和子任务-2的第十等级上实现第八等级。
2021-02-25 cs.CL
LLM Ensemble for RAG: Role of Context Length in Zero-Shot Question Answering for BioASQ Challenge
University of Technology Sydney (UTS), Australia（悉尼技术大学（UTS））
本研究提出基于多个LLM集成的零样本方法用于生物医学问答，在BioASQ任务上超越单个模型，并揭示上下文长度与性能的关系，证明结合RAG的集成方法可替代领域调优系统。
2025-09-10 cs.CL
Microsoft AI Challenge India 2018: Learning to Rank Passages for Web Question Answering with Deep Attention Networks
IIIT-Hyderabad（海得拉巴国际信息技术学院）
本文介绍了我们的系统为微软人工智能挑战赛印度2018：排名网页问答通道。该系统使用biLSTM网络，在查询和段落表示之间具有协同注意力机制。此外，我们使用自我注意嵌入，以增加词汇覆盖率，允许系统采取工会在不同的嵌入。我们还结合了手工制作的功能，以提高系统性能。我们的系统在eval-1数据集上实现了0.67的平均倒数秩（MRR）。
2019-06-14 cs.CL
Contrastive Representation Learning for Conversational Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；University of Siegen（锡根大学）；Amazon（亚马逊）；Institute for Applied Informatics（应用信息学研究所）
研究了基于知识图谱的会话式问答问题。大多数现有的ConvQA方法依赖于完整的监督信号，严格假设查询的黄金逻辑形式的可用性，以从KG中提取答案。然而，在现实世界的场景中，创建这样一个黄金逻辑形式对于每个潜在问题都是不可行的。因此，在缺少黄金逻辑形式的情况下，现有的基于信息检索的方法通过启发式或强化学习使用弱监督，将ConvQA公式化为KG路径排序问题.尽管缺少黄金逻辑形式，丰富的会话上下文，如整个对话历史与流畅的反应和域信息，可以有效地达到正确的KG path.This工作提出了一个对比表示学习为基础的方法来排名KG路径有效。我们的方法解决了两个关键挑战。首先，它允许基于弱监督的学习，忽略了黄金注释的必要性。其次，它结合了会话上下文（整个对话历史和域信息），以联合学习其同质表示与KG路径，以提高有效的路径排名的对比表示。我们在ConvQA的标准数据集上评估了我们的方法，在这些数据集上，它在所有领域和整体上都显着优于现有的基线。具体而言，在某些情况下，与最先进的性能相比，平均倒数排名（MRR）和Hit@5排名度量分别提高了绝对10和18个点。
2022-10-09 cs.CL
Ensemble approach for natural language question answering problem
University of Science and Technology Cracow（克拉科夫科技大学）
机器理解，根据给定的上下文段落回答问题，是自然语言理解的典型任务。它需要对问题和上下文段落之间存在的复杂依赖关系进行建模。有许多神经网络模型试图解决问答问题。对最佳模型进行了选择、研究和相互比较。所有的模型都是基于神经注意力机制的概念。此外，还对SQUAD数据集进行了研究。提取查询子集，然后分析每个模型如何处理特定的查询组。基于这三个模型的集成模型的创建和测试SQUAD数据集。它优于最好的助记符阅读器模型。
2019-08-28 cs.AI cs.CL cs.LG
ArgHiTZ at ArchEHR-QA 2025: A Two-Step Divide and Conquer Approach to Patient Question Answering for Top Factuality
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心-伊萨，巴斯克大学UPV/EHU）
针对 ArchEHR-QA 2025 患者问答任务，研究提出三种无外部知识的方法，其中基于重排序器的两步法表现最优，获事实性指标第一、总榜第8的成绩。
2025-06-15 cs.CL
Query Expansion for Cross-Language Question Re-Ranking
Johns Hopkins University（约翰斯·霍普金斯大学）
社区问答（CQA）平台已经成为每天提问和回答问题的非常受欢迎的论坛。虽然这些论坛是社区知识的丰富宝库，但由于非正式讨论的开放性质，它们对寻找相关答案和类似问题提出了挑战。此外，如果该平台允许以多种语言提问和回答，我们将面临匹配跨语言信息的额外挑战。在这项工作中，我们专注于跨语言问题重新排序共享任务，其目的是找到可能用不同语言编写的现有问题。我们的贡献是探索查询扩展技术，这个问题。我们调查的基础上的扩展词嵌入，DBpedia的概念链接，和Hypernym，并表明，他们优于现有的国家的最先进的方法。
2019-04-16 cs.CL cs.IR
TCE at Qur'an QA 2022: Arabic Language Question Answering Over Holy Qur'an Using a Post-Processed Ensemble of BERT-based Models
Tanta University（坦塔大学）
近年来，我们见证了使用机器学习在自然语言理解的不同任务中取得的巨大进展。问答是搜索引擎和社交媒体平台用于改善用户体验的这些任务之一。阿拉伯语是《古兰经》的语言，是全世界18亿人的神圣文本。阿拉伯语是一种具有挑战性的语言，自然语言处理（NLP），由于其复杂的结构。在这篇文章中，我们描述了我们在OSACT 5古兰经问答2022共享任务中的尝试，这是一个关于阿拉伯语古兰经的问答挑战。我们提出了一个集成学习模型的基础上阿拉伯语变体的BERT模型。此外，我们还进行了后处理以增强模型预测。我们的系统在官方测试集上获得了56.6%的部分倒数排名（pRR）分数。
2022-06-03 cs.CL cs.IR
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
Google DeepMind（谷歌DeepMind）
本文提出一种利用LLM长上下文能力从整本书自动生成阅读理解数据的流水线，通过成对比较和Bradley-Terry模型排名的相对评估方法，验证了整本书上下文在阅读理解任务上的优越性。
2024-05-31 cs.AI cs.CL
Cooperative Retrieval-Augmented Generation for Question Answering: Mutual Information Exchange and Ranking by Contrasting Layers
Department of Artificial Intelligence, Hanyang University（人工智能学院，翰阳大学）；Department of Data Science, Hanyang University（数据科学学院，翰阳大学）
CoopRAG通过协作检索与生成机制，提升问答任务中检索与生成的准确性。
2025-12-17 cs.AI cs.CL
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol（布里斯托大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
对于许多NLP应用程序，例如问答和摘要，目标是从大量候选项中选择最佳解决方案，以满足特定用户的需求。为了解决缺乏用户特定的训练数据，我们提出了一个交互式的文本排名方法，积极选择对候选人，用户从中选择最好的。与以前的策略不同，这些策略试图在整个候选空间中学习排名，我们的方法采用贝叶斯优化，将用户的标签工作集中在高质量的候选人上，并以贝叶斯方式整合先验知识，以更好地应对小数据场景。我们将我们的方法应用于社区问答（cQA）和提取摘要，发现它显着优于现有的交互式方法。我们还表明，通过我们的方法学习的排名函数是强化学习的有效奖励函数，它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering
本文提出基于ColBERT检索和集成响应评分的方法，提升小语言模型在电信领域问答任务中的性能，Phi-2模型达到81.9%准确率，Falcon-7B模型达到57.3%准确率。
2024-10-13 cs.CL cs.IR
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的，但仍然未充分探索的领域。在本文中，我们表明，问题重写（QR）的会话背景下，可以更清楚地揭示这种现象，也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架，使会话问答（QA）的性能使用问题重写的自动分析，并提出了这种分析的结果TREC CAST和QuAC（CANARD）数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型，阅读理解和文章排名。我们的研究结果表明，阅读理解模型是不敏感的问题制定，而文章的排名变化显着的输入问题的一点变化。QR的好处是，它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务，还是只是在数据集中找到捷径，并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida（佛罗里达大学）
提出RAMQA统一框架，结合学习排序与生成式排列增强技术，用于多模态检索增强问答，在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
BERT Knows Punta Cana is not just beautiful, it's gorgeous: Ranking Scalar Adjectives with Contextualised Representations
Université Paris-Saclay（巴黎萨克雷大学）；CNRS, LIMSI（法国国家科学研究中心、LIMSI实验室）；University of Helsinki（赫尔辛基大学）
漂亮、美丽和华丽等形容词描述了它们所修饰的名词的积极性质，但强度不同。这些差异对于自然语言理解和推理是重要的。提出了一种基于BERT的标量形容词强度检测方法。我们模型强度向量直接来自上下文表示，并表明他们可以成功地排名标量形容词。我们评估我们的模型本质上，在黄金标准数据集，并在一个间接的问答任务。我们的研究结果表明，BERT编码的标量形容词的语义丰富的知识，并能够提供更好的质量强度排名比静态嵌入和以前的模型访问专用资源。
2020-10-06 cs.CL
Question Answering from Unstructured Text by Retrieval and Comprehension
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
开放域问答（QA）系统必须与外部知识源（例如网页）交互以查找相关信息。然而，像维基百科这样的信息源与知识库（KBs）相比结构不好并且难以利用。在这项工作中，我们提出了一个两步的方法来从非结构化文本的问答，包括检索步骤和理解步骤。对于理解，我们提出了一个基于RNN的注意力模型，该模型具有一种新的混合机制，用于从检索到的文章或固定词汇中选择答案。为了检索，我们引入了一个手工制作的模型和一个神经模型来对相关文章进行排名。我们在W IKI M OVIES数据集上实现了最先进的性能，将误差降低了40%。我们的实验结果进一步证明了每个引入的组件的重要性。
2017-03-26 cs.CL
Promotion of Answer Value Measurement with Domain Effects in Community Question Answering Systems
University of Science and Technology of China（中国科学技术大学）；Baidu, Inc.（百度公司）
在社区问答领域，答案选择和答案排序是帮助用户快速获取有价值答案的两个任务。现有的解决方案主要利用问题和相关答案之间的句法或语义相关性，其中CQA中的多方面领域效应仍然没有得到充分的研究。在本文中，我们提出了一个统一的模型，增强的注意递归神经网络（EARNN），通过充分利用问答语义和多方面的领域效应（即，主题效果和时效性）。具体来说，我们开发了一个序列化的LSTM来学习Q & A的统一表示，其中设计了两个注意力机制，用于捕获主题的深层效果。同时，可以自动区分问答的重点。此外，我们设计了一个时间敏感的排序函数来模拟CQA中的时间性。为了有效地训练EARNN，问题相关的成对学习策略也被开发。最后，我们在Quora的真实数据集上进行了大量的实验。实验结果验证了我们提出的EARNN模型的有效性和可解释性。
2019-07-14 cs.CL cs.IR
SPBERTQA: A Two-Stage Question Answering System Based on Sentence Transformers for Medical Texts
University of Information Technology（信息技术大学）；Vietnam National University Ho Chi Minh City（越南胡志明市国家大学）
近年来，问答（QA）系统获得了爆炸性的关注。然而，越南语的QA任务没有太多的数据集。值得注意的是，在医学领域几乎没有数据集。因此，我们建立了一个越南医疗保健问答数据集（ViHealthQA），包括10，015个问答段落对，其中对健康感兴趣的用户在著名的健康网站上提出的问题和高素质专家的答案。本文提出了一种基于句子BERT（SBERT）的两阶段问答系统，该系统使用多个否定排序（MNR）损失并结合BM 25。然后，我们进行了不同的实验与许多袋的话模型，以评估我们的系统的性能。与传统的方法相比，该系统取得了更好的性能。
2022-06-20 cs.CL
ArcaneQA: Dynamic Program Induction and Contextualized Encoding for Knowledge Base Question Answering
The Ohio State University（俄亥俄州立大学）
基于知识库的问答（KBQA）是语义解析研究中的一个独特的挑战，这是由于两个相互交织的挑战：大的搜索空间和模式链接中的歧义。传统的基于排序的KBQA模型依赖于候选枚举步骤来减少搜索空间，在预测复杂查询时难以实现灵活性，并且具有不切实际的运行时间。在本文中，我们提出了ArcaneQA，一种新的代为基础的模型，解决了大搜索空间和模式链接的挑战，在一个统一的框架与两个相互促进的成分：动态程序归纳处理大搜索空间和动态上下文编码模式链接。在多个流行的KBQA数据集上的实验结果表明，ArcaneQA在有效性和效率方面都具有很强的竞争力。
2022-10-24 cs.CL
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答（QA）是语音助理的重要用例。一种流行的问答方法是提取阅读理解（RC），它在文本段落中找到答案跨度。然而，提取的答案在会话上下文中通常是不自然的，这导致次优的用户体验。在这项工作中，我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型，它将多个段落的答案生成与段落排名和可回答性相结合。此外，在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结，以评估真实性。实验结果表明，与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比，EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
A Method of Query Graph Reranking for Knowledge Base Question Answering
Soochow University（苏州大学）
针对知识库问答系统中的输入问题，提出了一种新的重排序方法，以更好地选择最优的查询图（知识图谱的一个子图）来检索答案。现有的方法遭受一个严重的问题，有一个显着的差距之间的前1名的性能和前n个结果的oracle得分。为了解决这个问题，我们的方法分为两个步骤：查询图排序和查询图重新排序的选择过程。在第一步中，我们为每个问题提供前n个查询图。然后，我们提出了重新排名的前n个查询图结合答案类型的信息。在两个广泛使用的数据集上的实验结果表明，我们提出的方法在WebQuestions数据集上取得了最好的结果，在ComplexQuestions数据集上取得了第二好的结果。
2022-04-27 cs.CL
MARAGS: A Multi-Adapter System for Multi-Task Retrieval Augmented Generation Question Answering
Darkhive（达克海夫）
本文提出MARAGS多适配器检索增强生成系统，用于CRAG竞赛多任务问答，采用标准RAG流程与交叉编码器排序，在任务1和任务2中分别获得第二和第三名。
2024-11-04 cs.CL
FAQ-based Question Answering via Word Alignment
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们提出了一种新的基于词对齐的方法来解决基于常见问题的问答任务。首先，我们采用一个神经网络模型来计算问题的相似度，其中两个问题之间的词对齐用于提取特征。其次，我们设计了一个基于Bootstrap的特征提取方法来提取一小部分有效的词汇特征。第三，我们提出了一个学习排名算法，训练参数更适合的排名任务。在英语、西班牙语和日语三种语言上进行的实验结果表明，问题相似度模型比基线系统更有效，稀疏特征使top-1准确率提高了5%，学习排名算法的效果明显优于传统方法。我们进一步评估我们的方法上的答案句子选择任务。我们的方法优于所有以前的系统上的标准TREC数据集。
2015-07-09 cs.CL
Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering
Computer Science (EECS) University of Toledo Toledo, OH, USA
本文通过实证评估，比较了RAG架构在政策文件问答中的有效性，发现Advanced RAG在忠实度上表现更优，但文档分段限制影响多步骤推理。
2026-01-21 cs.AI cs.CL cs.IR
Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
目前的开放领域问答方法通常采用先检索相关文档，然后将强阅读理解模型应用于检索到的文本的流水线。然而，现代RC模型运行起来复杂且昂贵，因此修剪检索文本空间的技术对于允许这种方法扩展至关重要。在本文中，我们专注于应用中间句子选择步骤来解决这个问题的方法，并研究这种方法的最佳实践。我们描述了两组模型的句子选择：基于QA的方法，它运行一个完整的QA系统，以确定答案候选人，和检索为基础的模型，它发现每个段落的部分具体涉及到每个问题。我们研究这两种方法的处理速度和任务性能之间的权衡，并展示了一个合奏模块，代表了两者的混合。从Open-SQuAD和TriviaQA的实验中，我们发现非常轻量级的QA模型可以很好地完成这项任务，但基于检索的模型仍然更快。集成模块，我们描述了两者之间的平衡和推广以及跨域。
2020-09-18 cs.CL
A Study of BERT for Non-Factoid Question-Answering under Passage Length Constraints
IBM Research AI（IBM研究AI）；Haifa University（海法大学）
我们研究了BERT在非事实性问答中的应用，重点研究了不同段落长度下的段落重新排序任务。为此，我们探讨了微调的BERT在不同的学习排名设置，包括逐点和成对的方法，从而在国家的最先进的实质性改进。然后，我们分析了不同的通道长度的有效性BERT，并建议如何应付大通道。
2019-08-19 cs.CL cs.IR
aNMM: Ranking Short Answer Texts with Attention-Based Neural Matching Model
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
作为基于特征工程的问答方法的替代方案，最近已经提出了诸如卷积神经网络（CNN）和长短期记忆模型（LSTM）的深度学习方法，用于问题和答案的语义匹配。然而，为了达到良好的效果，这些模型已经与额外的功能相结合，如单词重叠或BM 25分数。如果没有这种组合，这些模型的表现明显不如基于语言特征工程的方法。在本文中，我们提出了一个基于注意力的神经匹配模型的排名简答文本。我们采用值共享的加权方案，而不是位置共享的加权方案，以结合不同的匹配信号，并结合使用问题注意力网络的问题术语重要性学习。使用流行的基准TREC QA数据，我们表明，相对简单的aNMM模型可以显着优于其他神经网络模型，已用于问答任务，并与模型相结合的其他功能是有竞争力的。当aNMM与其他功能相结合时，它的性能优于所有基线。
2019-06-01 cs.CL cs.IR
Better Query Graph Selection for Knowledge Base Question Answering
Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
本文提出了一种基于语义解析的知识库问答（KBQA）改进方法。具体来说，我们专注于如何选择一个最佳的查询图从候选集，以便检索答案的知识库（KB）。在我们的方法中，我们首先提出线性化的查询图成一个序列，这是用来形成一个序列对的问题。它允许我们使用成熟的序列建模，如BERT，来编码序列对。然后，我们使用一个排名的方法来排序候选查询图。与以前的研究相比，我们的方法可以有效地建模图和问题之间的语义交互，以及从全局视图的候选图的排名。实验结果表明，我们的系统在复杂问题上取得了最好的性能和第二个最好的性能上的WebQuestions。
2022-04-27 cs.CL
PerCQA: Persian Community Question Answering Dataset
School of Computer Science, Institute for Research in Fundamental Sciences（基础科学研究学院计算机科学系）；School of Electrical and Computer Engineering, College of Engineering, University of Tehran（德黑兰大学工程学院电气与计算机工程系）
社区问答（CQA）论坛为许多现实生活中的问题提供了答案。由于规模庞大，这些论坛在机器学习研究人员中非常受欢迎。自动答案选择、答案排名、问题检索、专家发现和事实检查是使用CQA数据执行的示例学习任务。在本文中，我们介绍了PerCQA，CQA的第一个波斯数据集。这个数据集包含了从最知名的波斯语论坛上抓取的问题和答案。在数据采集之后，我们在迭代过程中提供严格的注释指南，然后以SemEvalCQA格式对问答对进行注释。PerCQA包含989个问题和21，915个注释答案。我们公开PerCQA，以鼓励更多的波斯语CQA研究。我们还通过使用单语言和多语言预训练的语言模型为PerCQA中的答案选择任务构建了强大的基准
2021-12-25 cs.CL
A Novel DeBERTa-based Model for Financial Question Answering Task
LYZD-FinTech Co., LTD（LYZD金融科技有限公司）
作为自然语言处理领域的一颗冉冉升起的新星，问答系统（Q&A Systems）被广泛应用于各行各业。与其他场景相比，金融场景的应用对问答系统的可追溯性和可解释性有很强的要求。此外，由于对人工智能技术的需求已经从最初的计算智能逐渐转向认知智能，因此本研究主要针对金融数值推理数据集-- FinQA。在共享任务中，目标是根据给定的包含文本和表格的财务报告生成推理程序和最终答案。该方法基于DeBERTa预训练的语言模型，在此基础上增加了多模型融合、训练集合并等优化方法。我们最终获得了68.99的执行准确率和64.53的程序准确率，在2022年FinQA挑战赛中排名第四。
2022-07-12 cs.CL
Graph-Based Tri-Attention Network for Answer Ranking in CQA
East China Normal University（华东师范大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tsinghua University（清华大学）
在基于社区的问答（CQA）平台中，给定问题的自动答案排名对于在早期发现潜在流行答案至关重要。主流的方法学习基于问题和答案表征之间的匹配程度以及回答者的影响力来产生答案排名分数。然而，他们遇到了两个主要的局限性：（1）在同一个问题的答案之间的相关性往往被忽视。(2)问题和回答者表示在影响回答表示之前独立于特定答案构建。为了解决这些局限性，我们设计了一种新的基于图的三注意力网络，即GTAN，它有两个创新。首先，GTAN提出为每个问题构建一个图，并通过图神经网络（GNNs）从每个图中学习答案相关性。其次，基于从GNN学习的表征，开发了交替三注意方法，通过注意计算交替地构建目标感知的应答者表征、特定于答案的问题表征和上下文感知的答案表征。GTAN最后整合上述表示以生成答案排名分数。在三个真实CQA数据集上的实验表明，GTAN的性能明显优于最先进的答案排序方法，验证了网络架构的合理性。
2021-03-20 cs.CL
ATLANTIS at SemEval-2025 Task 3: Detecting Hallucinated Text Spans in Question Answering
Airbus AI Research（空客人工智能研究）
本文介绍 ATLANTIS 团队在 SemEval-2025 任务 3 中检测问答系统幻觉文本片段的方法，通过少样本提示、词元分类及微调模型，在西班牙语中获最高排名，凸显上下文整合与微调的重要性。
2025-08-07 cs.CL
SetExpan: Corpus-Based Set Expansion via Context Feature Selection and Rank Ensemble
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于语料库的集合扩展（即，基于给定的语料库和极小的种子集合，找到属于相同语义类的实体的“完整”集合）是知识发现中的关键任务。它可以促进许多下游应用，例如信息抽取、分类归纳、问答和web搜索。为了在扩展集合中发现新的实体，以前的方法要么基于分布相似性进行一次性实体排名，要么采用基于迭代模式的自举。这些方法的核心挑战是如何处理来自自由文本语料库的噪声上下文特征，这可能会导致实体入侵和语义漂移。在这项研究中，我们提出了一个新的框架，SetExpan，它解决了这个问题，有两个技术：（1）上下文特征选择方法，选择干净的上下文功能计算实体实体分布相似性，和（2）基于排名的无监督集成方法扩展实体集的基础上去噪的上下文功能。在三个数据集上的实验表明，SetExpan是鲁棒的，在平均精度方面优于以前的最先进的方法。
2019-10-17 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率，实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Denoising Table-Text Retrieval for Open-Domain Question Answering
POSTECH（浦项科技大学）；aiXplain, Inc.（aiXplain公司）
为解决表格-文本开放域问答中假阳性标签和跨表格推理证据检索困难的问题，提出DoTTeR模型，通过去噪训练集和引入表格级排序信息微调列编码器，显著提升了检索召回率与下游QA性能。
2024-03-26 cs.AI cs.CL
BUCA: A Binary Classification Approach to Unsupervised Commonsense Question Answering
University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）
本文提出 BUCA 方法，通过将知识图谱三元组转化为合理与不合理文本，把无监督常识问答转化为二分类任务，在多个基准上取得有效结果且数据需求更低。
2025-04-11 cs.CL
Passage-specific Prompt Tuning for Passage Reranking in Question Answering with Large Language Models
Santa Clara University（圣克拉拉大学）；Walmart Global Tech（沃尔玛全球科技）；Docomo Innovations（docomo创新公司）
针对开放域问答中LLM段落重排序依赖硬提示、全量微调成本高的问题，提出参数高效的段落特定提示调优方法PSPT，融入段落特定知识提升排序能力，实验验证其有效性。
2024-06-21 cs.CL cs.IR
A strong baseline for question relevancy ranking
University of Copenhagen（哥本哈根大学）
SemEval-16和SemEval-17社区中最好的系统是问答共享任务（相当于问题相关性排名的任务），涉及复杂的管道和手动功能工程。尽管如此，其中许多仍然未能击败IR基线，即，谷歌搜索引擎提供的排名。我们提出了一个强大的基线问题相关性排名训练一个简单的多任务前馈网络上的一袋14个距离措施的输入问题对。这个基线模型，这是快速的训练，只使用语言无关的功能，优于最好的共享任务系统检索相关的先前提出的问题的任务。
2018-08-27 cs.CL cs.IR cs.LG
