Answer ranking in Community Question Answering: a deep learning approach
Universidad Nacional de Educación a Distancia(西班牙国立远程教育大学)
社区问答(英语:Community Question Questioning)是计算语言学的一个领域,它处理的是从Quora或Stack Overflow等网站上发布的问题和答案中衍生出来的问题。在这些问题中,我们发现了一个问题,即对每个问题的多个答案进行排名,通过它们在试图解决原始问题时的信息量来排名。这项工作试图通过深度学习方法来推进社区问答的答案排名。我们首先创建了一个大型的问题和答案数据集,发布到Stack Overflow网站上。然后,我们利用密集嵌入和LSTM网络的自然语言处理功能来生成对接受答案属性的预测,并以排名形式呈现答案,并根据提问者将其标记为接受的可能性进行排序。我们还制作了一组数字特征来协助答案排名任务。这些数字特征要么是从Stack Overflow帖子中的元数据中提取的,要么是从问答文本中提取的。我们将我们的深度学习模型的性能与一组森林和增强树集成方法进行了比较,发现我们的模型无法提高最佳基线结果。我们推测,与基线模型相比,这种性能改进的缺乏可能是由于问题和答案文本中的编程代码片段中存在大量词汇表外的单词造成的。我们的结论是,虽然深度学习方法可能有助于回答排名问题,但应该开发新方法来帮助解决编程代码片段中存在的大量词汇表外的单词
2022-10-16 cs.CL
Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference
Tel-Aviv University(特拉维夫大学);Ariel University(阿里埃勒大学);Bar-Ilan University(巴伊兰大学);Microsoft(微软)
我们提出了一种新的模型,根据其语义相似性的源(查询)文档的文档集合的排名问题。虽然已经研究了文档到文档相似性排名的问题,但大多数现代方法仅限于相对较短的文档或依赖于“地面实况”相似性标签的存在。然而,在大多数常见的现实情况下,相似性排名是一个无监督的问题,因为相似性标签不可用。此外,一个理想的模型不应该受到文档长度的限制。因此,我们引入SDR,这是一种用于文档相似性的自监督方法,可以应用于任意长度的文档。重要的是,SDR可以有效地应用于非常长的文档,超过了Longformer的4,096个最大令牌限制。对大型文档数据集的广泛评估表明,SDR在所有指标上都显着优于其替代品。为了加速未来对无标签长文档相似性排名的研究,并作为对社区的额外贡献,我们在此发布了两个人工注释的长文档相似性评估测试集。SDR代码和数据集是公开的。
2021-06-02 cs.CL
End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension
IBM Watson(IBM沃森)
本文提出了动态组块阅读器(DCR),一个端到端的神经阅读理解(RC)模型,能够从给定的文档中提取和排序一组答案候选回答问题。DCR能够预测不同长度的答案,而以前的神经RC模型主要集中在预测单个令牌或实体。DCR使用递归神经网络对文档和输入问题进行编码,然后应用逐词注意力机制来获取文档的问题感知表示,然后生成组块表示和排名模块以提出排名最高的组块作为答案。实验结果表明,DCR在SQuAD数据集上实现了最先进的精确匹配和F1得分。
2016-11-02 cs.CL
Likelihood Ranking doesn't Scale Like Prompting in LLMs
University of Pisa(比萨大学)
该研究比较了LLM在陈述句似然排序与提示回答两种评估方式下的表现,发现前者随规模增长保持稳定,后者显著提升,表明两者不可互换。
2026-09-28 cs.CL
Ranking suspected answers to natural language questions using predictive annotation
在本文中,我们描述了一个系统,排名可疑的答案自然语言的问题。我们使用一种新技术(预测注释)来处理语料库和查询,该技术在文本中添加短语,并带有标签,预测它们是某些类型问题的目标。给定一个自然语言问题,IR系统返回一组匹配的段落,然后根据本文描述的各种标准对这些段落进行分析和排名。我们提供了一个评估的技术的基础上,从TREC Q&A评估,我们的系统参与的结果。
2000-05-30 cs.CL
Double Retrieval and Ranking for Accurate Question Answering
School of Information, The University of Arizona(亚利桑那大学信息学院);Amazon Alexa AI(亚马逊 Alexa AI)
最近的工作表明,在基于转换器的答案选择模型中引入的答案验证步骤可以显着提高问答的最新技术水平。该步骤是通过聚合前$k$答案候选的嵌入来执行的,以支持目标答案的验证。尽管该方法是直观的并且合理的,但仍然显示出两个限制:(i)仅根据与问题而不是与答案的相关性来对支持候选进行排名,以及(ii)由其他答案候选提供的支持是次优的,因为这些是独立于目标答案来检索的。在本文中,我们通过提出(i)双重重新排序模型来解决这两个缺点,该模型针对每个目标答案选择最佳支持;以及(ii)第二个神经检索阶段,旨在将问题和答案对编码为查询,从而找到更具体的验证信息。在三个著名的AS 2数据集上的结果显示了对现有技术的一致和显著的改进。
2022-01-16 cs.CL
Boosting Self-Consistency with Ranking
AIRI;Skoltech(斯克利切夫斯基因工大学);EPFL(瑞士联邦理工学院)
提出RISC方法,将自洽性中的答案选择转化为排序问题,使用轻量级LambdaRank模型结合五个特征,在多个数据集上实现了比标准自洽性更好的准确率-效率权衡。
2026-06-03 cs.CL
Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen University of Advanced Technology(深圳理工大学)
本文提出 PFR-LQA 三阶段框架,通过法律领域预训练、任务微调和上下文重排序提升双编码器在法律问答中的稠密检索性能,实验证明其优于现有强基线方法。
2024-12-27 cs.CL
ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval
University of Innsbruck(因斯布鲁克大学)
本文提出ASRank,一种利用预训练大语言模型计算零样本答案线索似然度的文档重排序方法,显著提升了多种问答数据集的检索准确率。
2025-01-25 cs.CL
Evidence Aggregation for Answer Re-Ranking in Open-Domain Question Answering
School of Information System, Singapore Management University(新加坡管理大学信息系统学院);AI Foundations - Learning, IBM Research AI(IBM研究人工智能部 - 学习基础)
最近流行的回答开放域问题的方法是首先搜索与问题相关的段落,然后应用阅读理解模型来提取答案。现有的方法通常从单个段落中独立地提取答案。但有些问题需要结合不同来源的证据才能正确回答。在本文中,我们提出了两个模型,利用多个通道,以产生他们的答案。两者都使用一个答案重新排序的方法,重新排序的答案候选人产生的现有国家的最先进的QA模型。我们提出了两种方法,即基于强度的重新排名和基于覆盖率的重新排名,利用不同段落的汇总证据,以更好地确定答案。我们的模型在三个公共开放域QA数据集上取得了最先进的结果:Quasar-T,SearchQA和TriviaQA的开放域版本,比前两个数据集提高了约8个百分点。
2018-04-26 cs.AI cs.CL
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University(高丽大学)
最近,开放域问答(QA)已经与机器理解模型相结合,以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题,其性能在很大程度上取决于文档检索器的性能。然而,由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档,因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量,这也会降低QA系统的性能。在本文中,我们介绍了段落排名检索到的文件的段落,以更高的答案召回,噪音更少。我们发现,使用段落排名器对段落进行排名并聚合答案,平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
Machine Reading Comprehension for Answer Re-Ranking in Customer Support Chatbots
Sofia University(索非亚大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar Computing Research Institute(卡塔尔计算研究所)
深度神经网络、语言建模和语言生成的最新进展为会话代理领域引入了新的想法。因此,序列到序列、记忆网络和Transformer等深度神经模型已成为最先进对话系统的关键组成部分。虽然这些模型即使在看不见的情况下也能够生成有意义的响应,但它们需要大量的训练数据来构建可靠的模型。因此,大多数现实世界的系统坚持基于信息检索的传统方法,甚至是手工制作的规则,因为它们的鲁棒性和有效性,特别是对于狭窄的对话。在这里,我们提出了一种方法,该方法采用了来自机器阅读理解领域的深度神经架构,以使用问题作为上下文,对来自不同模型的建议答案进行重新排序。我们训练我们的模型使用负采样的基础上的问题,答案对从Twitter的客户支持数据集。实验结果表明,我们的重新排名框架可以提高性能方面的单词重叠和语义的单独模型以及模型组合。
2019-02-26 cs.CL
ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL
Alibaba Token Hub, Alibaba Group(阿里巴巴通义实验室,阿里巴巴集团);Amap, Alibaba Group(高德,阿里巴巴集团)
ArenaFlow提出分层信用传播框架,利用锦标赛排序和结构化反思,在步骤与技能层面传播奖励,以提升开放式智能体强化学习的性能。
2026-09-21 cs.CL
Hierarchical Gated Recurrent Neural Tensor Network for Answer Triggering
Key Laboratory of Computational Linguistics (Peking University), Ministry of Education(北京大学计算语言学教育部重点实验室);School of Electronic Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
在本文中,我们专注于回答触发的问题由杨等。(2015),这是一个现实世界的问答系统的关键组成部分。我们采用分层门控递归神经张量(HGRNT)模型来捕获上下文信息以及候选答案与问题之间的深层交互。F值达到42.6%,超过基线值10%以上。
2017-09-17 cs.CL
Retrieving and Ranking Similar Questions from Question-Answer Archives Using Topic Modelling and Topic Distribution Regression
Université de Strasbourg(斯特拉斯堡大学);Xerox Research Centre Europe(施乐欧洲研究中心)
本文提出了一种用于协作问答平台内的相似问题排名的新模型。所提出的方法集成了一个回归阶段相关的问题,从问答对的主题。这有助于避免问题和答案中使用的词汇差异所导致的问题,以及问题比答案短的趋势。该模型的性能优于翻译方法和主题建模(无回归)在几个真实世界的数据集。
2016-06-12 cs.CL cs.IR cs.LG
Supervised Hierarchical Classification for Student Answer Scoring
University of the Basque Country(巴斯克大学)
本文描述了一个层次系统,预测一个标签的时间自动学生的反应分析。对于这项任务,我们建立了一个分类二叉树,使用分层过程将更容易混淆的标签延迟到后面的阶段。特别是,本文介绍了如何建立分层分类器,以及如何将分类任务分解为二进制子任务。最后讨论了这种方法的动机和基本原理。
2015-07-13 cs.CL
CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering
Department of Computer Science, University of Warwick, UK(英国华威大学计算机科学系)
我们介绍了CHIME,一个跨通道层次记忆网络的问答(QA)通过文本生成。它扩展了XLNet,引入了一个由两个组件组成的辅助记忆模块:收集交叉证据的上下文记忆和作为缓冲区不断完善生成的答案的答案记忆。从经验上讲,我们展示了所提出的架构在多通道生成QA中的有效性,表现优于最先进的基线,具有更好的语法结构良好的答案,并在解决AmazonQA评论数据集的问题时提高了精度。一个额外的定性分析揭示了由内存模块引入的可解释性。
2020-11-01 cs.CL
Diverse and Non-redundant Answer Set Extraction on Community QA based on DPPs
Tokyo Institute of Technology(东京工业大学);Yahoo Japan Corporation(雅虎日本公司)
在基于社区的问答(CQA)平台中,用户需要花费时间从许多答案中获得有用的信息。虽然一种解决方案是答案排名方法,但用户仍然需要仔细阅读排名靠前的答案。本文提出了一个新的任务,选择一个多样化的和非冗余的答案集,而不是排名的答案。我们的方法是基于决定点过程(DPPs),它计算答案的重要性和答案之间的相似性,通过使用BERT。我们建立了一个集中在日本CQA网站的数据集,在这个数据集上的实验表明,所提出的方法优于几个基线方法。
2020-11-18 cs.CL
Knowledge Transfer from Answer Ranking to Answer Generation
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能);Allen Institute for AI(艾伦人工智能研究所)
最近的研究表明,问答(QA)的答案句子选择(AS 2)的基础上,可以通过生成一个改进的答案从前k排名的答案句子(称为GenQA)。这允许将来自多个候选人的信息综合成一个简洁、自然的答案。然而,为GenQA模型创建大规模监督训练数据是非常具有挑战性的。在本文中,我们提出训练一个GenQA模型从训练的AS 2模型转移知识,以克服上述问题。首先,我们使用AS 2模型来生成一组问题的答案候选者的排名。然后,我们使用排名最高的候选者作为生成目标,接下来的k个排名最高的候选者作为训练GenQA模型的上下文。我们还建议使用AS 2模型预测分数进行损失加权和分数条件输入/输出整形,以帮助知识转移。我们对三个公共数据集和一个大型工业数据集的评估表明,我们的方法优于AS 2基线,GenQA使用监督数据进行训练。
2022-10-23 cs.CL cs.LG
KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering
Soochow University(苏州大学)
提出KEPR方法,通过知识增强与合理性排序提升生成式常识问答的答案多样性与排序质量,在ProtoQA上取得最佳性能。
2023-05-15 cs.AI cs.CL
LINKAGE: Listwise Ranking among Varied-Quality References for Non-Factoid QA Evaluation via LLMs
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出LINKAGE方法,利用LLM对候选答案在按质量排序的参考列表中进行列表式排序,以改进非事实型问答评估,并在三个数据集上验证其与人工标注相关性显著优于逐点和成对方法。
2024-09-30 cs.CL
HAS-QA: Hierarchical Answer Spans Model for Open-domain Question Answering
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
本文涉及开放域问答(即,OpenQA)。近年来,一些研究将这一问题看作是一个阅读理解任务,并将成功的阅读理解模型直接应用于这一任务,但这些模型在阅读理解任务中的表现并不如在阅读理解任务中的表现。我们认为,RC的观点忽略了OpenQA任务的三个特点:1)数据汇集中包含许多没有答案跨度的段落; 2)一个给定段落中可能存在多个答案跨度; 3)答案跨度的结束位置与开始位置相关。在本文中,我们首先提出了一个新的概率公式的OpenQA,基于一个三级层次结构,即~问题水平、段落水平和答案跨度水平。然后,层次答案跨度模型(HAS-QA)的设计,以捕捉每个概率。HAS-QA有能力解决上述三个问题,在公开的OpenQA数据集上的实验表明,它显著优于传统的RC基线和最近的OpenQA基线。
2019-01-12 cs.CL
Incremental Improvement of a Question Answering System by Re-ranking Answer Candidates using Machine Learning
German Research Center for Artificial Intelligence(德国人工智能研究中心)
我们实现了一种方法,重新排名的前10名的结果,一个国家的最先进的问答(QA)系统。我们重新排序方法的目标是在给定用户问题和前10名候选人的情况下改进答案选择。我们专注于改进已部署的QA系统,这些系统不允许重新培训或重新培训的成本很高。我们的重新排名方法使用基于n-gram的特征,使用查询,答案和初始系统置信度作为输入来学习相似性函数。我们的贡献是:(1)我们从T-Mobile奥地利客户服务领域的877个答案开始生成QA训练语料库,(2)我们使用神经句子嵌入实现了最先进的QA管道,这些句子嵌入在与答案索引相同的空间中对查询进行编码,以及(3)我们使用单独提供的测试集评估QA管道和我们的重新排名方法。测试集可以被认为是在系统部署之后可用的,例如,根据用户的反馈。我们的研究结果表明,系统的性能,在前n精度和平均倒数排名,受益于使用梯度提升回归树重新排名。平均而言,平均倒数排名提高了9.15%。
2019-08-27 cs.CL cs.IR cs.LG
Multi-Perspective Relevance Matching with Hierarchical ConvNets for Social Media Search
University of Maryland, College Park(马里兰大学帕克分校);Facebook Conversational AI(Facebook 对话人工智能);University of Waterloo(滑铁卢大学);Stanford University(斯坦福大学);Comcast Applied AI Research(康卡斯特应用人工智能研究)
尽管神经网络应用于信息检索有很大的兴趣,神经排名模型只被应用于标准的特设检索任务的网页和新闻专线文件。提出了MP-HCNN(Multi-Perspective Hierarchical卷积神经网络,Multi-Perspective Hierarchical Convolutional Neural Network),这是一种专门为短社交媒体帖子排名而设计的新型神经排名模型。我们确定的文档长度,非正式的语言,和异构的相关性信号的功能,区分在我们的领域中的文件,并提出了一个专门设计的模型,考虑到这些特点。我们的模型使用分层卷积层来学习字符,单词和短语级别的潜在语义软匹配相关信号。基于池化的相似性测量层集成来自查询、社交媒体帖子以及帖子中包含的URL之间的多种类型的匹配的证据。使用TREC微博跟踪2011- 2014年的Twitter数据进行的广泛实验表明,我们的模型显着优于先前的基于特征的以及现有的神经排名模型。据我们所知,本文提出了第一个实质性的工作,使用神经排名模型处理社交媒体帖子的搜索。
2019-06-22 cs.CL cs.IR
Question-Answer Selection in User to User Marketplace Conversations
Carousell Pte. Ltd.(Carousell私人有限公司)
用户对用户市场中的卖家可能会被潜在买家的问题淹没。答案往往已经在产品说明中提供。我们从在线市场的对话中收集了大约59万个这样的问题和答案。我们提出了一个问答系统,选择一个句子,从产品说明使用神经网络排名模型。我们探索了多种编码策略,使用递归神经网络和前馈注意力层产生了良好的效果。本文提出了一个演示,以交互方式提出买家的问题,并可视化的排名分数的产品描述句子从现场在线列表。
2018-02-06 cs.CL
Joint Passage Ranking for Diverse Multi-Answer Retrieval
University of Washington(华盛顿大学);Google Research(谷歌研究院)
我们研究多答案检索,一个未充分探索的问题,需要检索段落,以涵盖多个不同的答案为一个给定的问题。这项任务需要对检索到的段落进行联合建模,因为模型不应该以错过不同的有效答案为代价重复检索包含相同答案的段落。在本文中,我们介绍了JPR,第一个联合通道检索模型的多答案检索。JPR利用自回归重排序器选择一系列通道,每个通道以先前选择的通道为条件。JPR被训练为在每个时间步选择覆盖新答案的段落,并使用树解码算法来实现多样性程度的灵活性。与现有方法相比,JPR在三个多答案数据集上实现了更好的答案覆盖。当与下游问答相结合时,改进的检索能够实现更大的答案生成模型,因为它们需要考虑更少的段落,从而建立新的最先进的技术。
2021-09-19 cs.AI cs.CL
SemanticZ at SemEval-2016 Task 3: Ranking Relevant Answers in Community Question Answering Using Semantic Similarity Based on Fine-tuned Word Embeddings
Research Training Group AIPHES(AIPHES研究培训组);Institute for Computational Linguistics(计算语言学研究所);Heidelberg University(海德堡大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们描述了我们在社区论坛中寻找好答案的系统,如SemEval-2016,关于社区问答的任务3中所定义的。我们的方法依赖于几个语义相似性特征的基础上微调词嵌入和主题的相似性。在主要的子任务C中,我们的主要提交排名第三,MAP为51.68,准确率为69.94。在子任务A中,我们的主要提交也是第三名,MAP为77.58,准确率为73.39。
2019-11-20 cs.AI cs.CL cs.IR
ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks
Sogou Inc.(搜狗公司);Tsinghua University(清华大学)
随着深度学习技术和大规模数据集的发展,问答系统得到了快速的改进,能够提供更准确、更令人满意的答案。然而,当前的QA系统要么关注于测试级答案,即,答案选择或短语级答案,即,机器阅读理解。如何产生组合的答案还没有得到全面的研究。在组合式问答中,系统需要从文档中收集多个支持证据来生成最终答案,这比句子级或短语级QA更困难。在本文中,我们提出了一个大规模的组合问答数据集包含超过120k人类标记的问题。此数据集中的答案由相应文档中的不连续句子组成。为了解决ComQA问题,我们提出了一个分层的图神经网络,它表示从低级别的词到高级别的句子的文档。我们还设计了一个问题选择和节点选择任务的预训练。我们提出的模型实现了显着的改进,以前的机器阅读理解方法和预训练方法。代码和数据集见\url{https://github.com/benywon/ComQA}。
2021-01-16 cs.CL
RankAlign: A Ranking View of the Generator-Validator Gap in Large Language Models
Department of Computer Science(计算机科学系);Department of Linguistics(语言学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对大语言模型生成答案与自我验证结果不一致的生成器-验证器差距问题,提出基于排序的训练方法RankAlign,能更严格衡量差距并显著缩小差距,泛化性优于基线方法。
2025-09-02 cs.CL
aNMM: Ranking Short Answer Texts with Attention-Based Neural Matching Model
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
作为基于特征工程的问答方法的替代方案,最近已经提出了诸如卷积神经网络(CNN)和长短期记忆模型(LSTM)的深度学习方法,用于问题和答案的语义匹配。然而,为了达到良好的效果,这些模型已经与额外的功能相结合,如单词重叠或BM 25分数。如果没有这种组合,这些模型的表现明显不如基于语言特征工程的方法。在本文中,我们提出了一个基于注意力的神经匹配模型的排名简答文本。我们采用值共享的加权方案,而不是位置共享的加权方案,以结合不同的匹配信号,并结合使用问题注意力网络的问题术语重要性学习。使用流行的基准TREC QA数据,我们表明,相对简单的aNMM模型可以显着优于其他神经网络模型,已用于问答任务,并与模型相结合的其他功能是有竞争力的。当aNMM与其他功能相结合时,它的性能优于所有基线。
2019-06-01 cs.CL cs.IR
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs(汤森路透实验室);University of Montreal(蒙特利尔大学);Huawei Poisson Lab.(华为泊松实验室);Tshinghua Univeristy(清华大学)
除了主题相关性之外,开放域类事实问答的段落排名还需要段落包含答案(可回答性)。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性,但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍,其将包含答案实体的任何段落视为阳性样本。然而,文章中的答案实体不一定与给定的问题相关。为了解决这个问题,我们提出了一种称为\ttt{PReGAN}的方法,用于基于生成对抗神经网络的通道重新排序,该方法除了包含主题相关性外,还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明,\ttt{PReGAN}能够更好地对合适的段落进行排序,从而提高了问答系统的有效性,并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
Training a Ranking Function for Open-Domain Question Answering
New York University(纽约大学)
近年来,用于机器阅读的深度学习方法取得了惊人的进展。在机器阅读中,机器阅读器必须从给定的地面真理段落中提取答案。近年来,最先进的机器阅读模型在SQuAD(一种阅读理解风格的问答(QA)任务)中达到了人类水平的性能。机器阅读的成功启发了研究人员将信息检索与机器阅读相结合来解决开放领域的问答问题。然而,与阅读理解式QA相比,这些系统的表现很差,因为很难检索包含问题答案的段落片段。在这项研究中,我们提出了两个神经网络排名器,根据它们包含给定问题答案的可能性为不同的段落分配分数。此外,我们还分析了语义相似度和词级相关匹配在开放域问答中的相对重要性。
2018-04-12 cs.CL cs.IR
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group(阿里巴巴集团)
本文描述了一种新的层次注意网络的阅读理解风格的问答,其目的是回答一个给定的叙述段落的问题。在该方法中,注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说,它首先编码的问题和段落与细粒度的语言嵌入,以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法,充分融合来自全局和关注表示的信息。最后,引入层次注意网络,通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时(2018年1月12日),我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for Answer Selection
WeChat AI, Tencent Inc(腾讯微信人工智能);Beijing Institute of Technology(北京理工大学)
由于传统的答案选择(AS)方法通常独立地将问题与每个候选答案进行匹配,因此它们缺乏问题与候选答案之间的匹配信息。为了解决这个问题,我们提出了一种新的基于强化学习(RL)的多步排名模型,命名为MS-排名,它积累了潜在的正确候选答案的信息作为额外的证据,匹配的问题与候选人。具体而言,我们明确考虑候选人的潜在正确性,并使用门控机制更新证据。此外,当我们使用列表排名奖励时,我们的模型学会了更加关注整体表现。在WikiQA和SemEval-2016 CQA两个基准测试上的实验表明,我们的模型显著优于不依赖外部资源的现有方法。
2020-10-10 cs.CL
Hierarchical Question Answering for Long Documents
University of Washington(华盛顿大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
我们提出了一个用于问答的框架,可以有效地扩展到更长的文档,同时保持甚至提高最先进模型的性能。虽然大多数成功的阅读理解方法都依赖于递归神经网络(RNN),但在长文档上运行它们的速度非常慢,因为很难在序列上并行化。受人们如何首先浏览文档,识别相关部分,并仔细阅读这些部分以产生答案的启发,我们结合了一个粗糙,快速的模型来选择相关句子,并使用一个更昂贵的RNN来从这些句子中产生答案。我们把句子选择作为一个潜在的变量,只使用强化学习从答案中联合训练。实验证明了在维基阅读的一个具有挑战性的子集和一个新的数据集上的最先进的性能,同时将模型加速了3.5x-6.7x。
2017-02-08 cs.CL
Reasoning over Hierarchical Question Decomposition Tree for Explainable Question Answering
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
本文提出两阶段可解释问答框架RoHT,通过构建层次化问题分解树(HQDT)将复杂问题拆解为子问题并选择异构知识源,递归进行概率推理聚合知识以寻找最佳答案,在KQA Pro和Musique数据集上显著优于SOTA方法。
2023-05-24 cs.CL
Simple Question Answering with Subgraph Ranking and Joint-Scoring
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊 Alexa 人工智能)
基于知识图谱的简单问答(KBSQA)是问答的一个重要研究领域。虽然只处理简单的问题,即,事实上,这个任务既不简单,也不接近解决。针对两个主要步骤,子图选择和事实选择,研究界已经开发了复杂的方法。然而,子图排名和利用的主题-关系依赖的知识库事实的重要性还没有得到充分的探讨。出于这一动机,我们提出了一个统一的框架来描述和分析现有的方法。使用这个框架作为出发点,我们专注于两个方面:通过一种新的排名方法,提高子图的选择和利用的主题-关系依赖,提出了一个联合评分CNN模型与一个新的损失函数,强制执行良好的秩序的分数。我们的方法在SimpleQuestions数据集上达到了最新的水平(准确率为85.44%)。
2019-04-04 cs.CL cs.LG stat.ML
Enhancing Visual Question Answering through Ranking-Based Hybrid Training and Multimodal Fusion
Oregon State University(俄勒冈州立大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);McGill University(麦吉尔大学)
提出Rank VQA模型,通过结合Faster R-CNN视觉特征与BERT文本特征,利用多头自注意力机制融合,并采用分类与排序损失结合的混合训练策略,显著提升了视觉问答的准确率和MRR。
2024-09-23 cs.CL cs.CV cs.LG
xPQA: Cross-Lingual Product Question Answering across 12 Languages
Amazon Alexa AI(亚马逊Alexa人工智能部门);University of Cambridge(剑桥大学)
提出大规模跨语言PQA数据集xPQA,涵盖12种语言,评估机器翻译与多语言模型在候选排序和答案生成任务上的表现,发现域内数据至关重要且不同任务对翻译策略偏好不同。
2023-05-16 cs.CL
Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation
The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们提出了一种新的和易于应用的数据增强策略,即双边生成(BiG),具有对比训练目标,以提高现有标记数据的问答对排名的性能。具体来说,我们用两个预训练的生成模型来合成伪正QA对,而不是原始的负QA对,一个用于问题生成,另一个用于答案生成,这些模型是在原始数据集中有限的正QA对上进行微调的。利用增强后的数据集,我们设计了一个对比训练目标,用于学习排序问题答案对。在三个基准数据集上的实验结果表明,该方法充分利用了已有的标记数据,显著提高了排序模型的性能,并且可以方便地应用于不同的排序模型。
2021-09-30 cs.CL cs.IR
Rank Intervals for Leaderboards: A Hierarchical Framework for Model Evaluation
Department of Statistics and Data Science(统计与数据科学系)
提出分层框架,通过任务级置信区间和排行榜级预测区间,实现具有统计保证的模型排名不确定性量化。
2026-06-07 cs.CL cs.LG stat.ME
WikiHint: A Human-Annotated Dataset for Hint Ranking and Generation
University of Innsbruck(因斯布鲁克大学)
本文提出WikiHint数据集和HintRank评估方法,通过生成和排名提示来增强人类推理,实验表明数据集提升提示有效性,结合答案信息改善质量,编码器模型排名更优。
2025-04-20 cs.CL cs.IR
Aligning LLMs through Multi-perspective User Preference Ranking-based Feedback for Programming Question Answering
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Hefei University of Technology(合肥工业大学);School of Artificial Intelligence and Data Science, University of Science and Technology of China(中国科学技术大学人工智能与数据科学学院);University of Toronto(多伦多大学)
提出ALMupQA框架,通过多视角偏好排序对齐和检索增强上下文学习模块,结合新构建的StaCCQA数据集,有效提升了LLM在代码社区问答中满足用户多样化偏好和准确性的能力。
2024-05-27 cs.AI cs.CL
Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);National University of Singapore(新加坡国立大学);Shanghai AI Laboratory(上海人工智能实验室);Midea AI Research Center(美的AI研究中心)
针对多数投票在正确答案为少数时失效的问题,本文提出分层推理聚合框架AoR,通过评估推理链选择答案并动态调整采样数量,在复杂推理任务上优于主流集成方法。
2024-05-21 cs.CL
PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chains
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院)
PiCSAR通过联合对数似然度评估推理链和最终答案的置信度,无需训练即可提升大语言模型和推理模型的准确性,在多个基准测试中表现优异。
2026-07-14 cs.AI cs.CL
HARP: Hierarchical Adaptive Ranking with Preference-Adaptive Fusion for Query-Based CVE Prioritization
University of Virginia(弗吉尼亚大学);NEC Laboratories America(美国 NEC 实验室)
本文针对基于查询的CVE优先级排序问题,提出HARP框架,结合漏洞知识图谱与历史标注示例,在多场景下优于多个基线方法,实现了更有效的优先级排序。
2026-08-21 cs.CL cs.CR cs.IR
Pentagon at MEDIQA 2019: Multi-task Learning for Filtering and Re-ranking Answers using Language Inference and Question Entailment
Carnegie Mellon University(卡内基梅隆大学)
像微调的BERT和MT-DNN这样的并行深度学习架构已经迅速成为最先进的技术,大大绕过了以前的深度和浅层学习方法。最近,来自大型相关数据集的预训练模型已经能够在许多下游任务上表现良好,只需对特定领域的数据集进行微调。然而,由于并行架构的输入大小限制和极小的数据集(不足以进行微调),在非平凡任务(如排名和大型文档分类)上使用强大的模型仍然是一个挑战。在这项工作中,我们引入了一个端到端的系统,在多任务设置中进行训练,以过滤和重新排列医疗领域的答案。我们使用特定于任务的预训练模型作为深度特征提取器。在ACL-BioNLP研讨会MediQA问答共享任务上,我们的模型达到了最高的Spearman的Rho和平均倒数秩分别为0.338和0.9622。
2019-07-01 cs.CL cs.IR cs.LG
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的,但仍然未充分探索的领域。在本文中,我们表明,问题重写(QR)的会话背景下,可以更清楚地揭示这种现象,也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架,使会话问答(QA)的性能使用问题重写的自动分析,并提出了这种分析的结果TREC CAST和QuAC(CANARD)数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型,阅读理解和文章排名。我们的研究结果表明,阅读理解模型是不敏感的问题制定,而文章的排名变化显着的输入问题的一点变化。QR的好处是,它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务,还是只是在数据集中找到捷径,并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
Knowing Is Not Choosing: What Explicit Verification Adds Beyond Generative Preference
该研究将事实回忆分解为生成、排序和选择三步,发现显式验证($P(\mathrm{True})$)相比生成式似然能显著提升候选排序准确率(AUROC 提升 0.08–0.12)和多数票准确率(约 5 点),且收益受实体可及性和正确性定义影响。
2026-09-30 cs.CL
GripRank: Bridging the Gap between Retrieval and Generation via the Generative Knowledge Improved Passage Ranking
Beihang University(北京航空航天大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Tencent Cloud AI(腾讯云人工智能)
针对检索与生成目标不一致的问题,本文提出 GripRank,利用生成式段落估计器和课程知识蒸馏改进段落排序,并在 KILT 上提升排序与答案生成性能。
2023-08-15 cs.AI cs.CL
Promotion of Answer Value Measurement with Domain Effects in Community Question Answering Systems
University of Science and Technology of China(中国科学技术大学);Baidu, Inc.(百度公司)
在社区问答领域,答案选择和答案排序是帮助用户快速获取有价值答案的两个任务。现有的解决方案主要利用问题和相关答案之间的句法或语义相关性,其中CQA中的多方面领域效应仍然没有得到充分的研究。在本文中,我们提出了一个统一的模型,增强的注意递归神经网络(EARNN),通过充分利用问答语义和多方面的领域效应(即,主题效果和时效性)。具体来说,我们开发了一个序列化的LSTM来学习Q & A的统一表示,其中设计了两个注意力机制,用于捕获主题的深层效果。同时,可以自动区分问答的重点。此外,我们设计了一个时间敏感的排序函数来模拟CQA中的时间性。为了有效地训练EARNN,问题相关的成对学习策略也被开发。最后,我们在Quora的真实数据集上进行了大量的实验。实验结果验证了我们提出的EARNN模型的有效性和可解释性。
2019-07-14 cs.CL cs.IR
Diverse Multi-Answer Retrieval with Determinantal Point Processes
Language Technologies Research Centre(语言技术研究中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
通常,提供给开放域问答系统的问题是模糊的。提供单一答案的传统QA系统不能回答模糊的问题,因为问题可以以多种方式解释并且可能具有多个不同的答案。在本文中,我们解决了多答案检索,需要检索的段落,可以捕获大多数的不同答案的问题。我们提出了一种基于重新排序的方法,使用利用BERT作为内核的确定性点过程。我们的方法联合考虑查询通道相关性和查询通道相关性检索的段落,都是查询相关的和不同的。结果表明,我们的重新排名技术优于AmbigQA数据集上的最先进的方法。
2022-11-29 cs.CL cs.IR
Cross Temporal Recurrent Networks for Ranking Question Answer Pairs
Institute for Infocomm Research(资讯通信研究院);Nanyang Technological University(南洋理工大学)
时间门在现代基于递归的神经编码器中发挥着重要作用,可以随着时间的推移对递归组合操作进行细粒度控制。在诸如长短期记忆(LSTM)之类的递归模型中,时间门控制着随着时间的推移保留或丢弃的信息量,不仅在影响学习的表示方面发挥着重要作用,而且还可以防止梯度消失。本文探讨了学习时序门序列对(问题和答案)的想法,共同影响学习的表示成对的方式。在我们的方法中,时间门通过1D卷积层学习,然后交叉应用于联合学习的问题和答案。从经验上讲,我们表明,这种概念上简单的共享时间门可以导致竞争力的性能在多个基准。直观地说,我们的网络所实现的可以被解释为学习问题和答案对的表示,这些问题和答案对知道彼此在记住或忘记什么,即,成对时间门控通过大量的实验,我们表明,我们提出的模型在两个基于社区的QA数据集上实现了最先进的性能,在一个基于事实的QA数据集上实现了具有竞争力的性能。
2017-11-21 cs.AI cs.CL cs.IR
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol(布里斯托大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
对于许多NLP应用程序,例如问答和摘要,目标是从大量候选项中选择最佳解决方案,以满足特定用户的需求。为了解决缺乏用户特定的训练数据,我们提出了一个交互式的文本排名方法,积极选择对候选人,用户从中选择最好的。与以前的策略不同,这些策略试图在整个候选空间中学习排名,我们的方法采用贝叶斯优化,将用户的标签工作集中在高质量的候选人上,并以贝叶斯方式整合先验知识,以更好地应对小数据场景。我们将我们的方法应用于社区问答(cQA)和提取摘要,发现它显着优于现有的交互式方法。我们还表明,通过我们的方法学习的排名函数是强化学习的有效奖励函数,它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL