Multi-Task Learning with Multi-View Attention for Answer Selection and Knowledge Base Question Answering
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Tencent Medical AI Lab(腾讯医疗人工智能实验室);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
答案选择和知识库问答(KBQA)是问答(QA)系统的两个重要任务。现有的方法分别解决这两个任务,这需要大量的重复工作,忽略了任务之间的丰富的相关性信息。在本文中,我们通过多任务学习(MTL)同时解决答案选择和KBQA任务,其动机如下。首先,答案选择和KBQA都可以看作是一个排序问题,一个在文本级,而另一个在知识级。其次,这两个任务可以相互受益:答案选择可以从知识库(KB)中整合外部知识,而KBQA可以通过从答案选择中学习上下文信息来改进。为了实现共同学习这两个任务的目标,我们提出了一种新的多任务学习方案,利用从不同角度学习的多视图注意,使这些任务相互作用,以及学习更全面的句子表示。在真实数据集上的实验结果表明了该方法的有效性,提高了答案选择和KBQA的性能.此外,多视图注意方案被证明是有效的组装注意信息从不同的表征角度。
2018-12-06 cs.CL
SelQA: A New Benchmark for Selection-based Question Answering
Emory University(埃默里大学)
本文提出了一种新的基于选择的问答数据集SelQA。该数据集由众包生成的问题和句子长度答案组成,这些答案来自英文维基百科中最流行的十个主题。我们引入了一个语料库注释方案,该方案通过明确旨在减少问题和答案之间的单词共现来增强大型,多样化和具有挑战性的数据集的生成。我们的注释计划是由一系列的众包任务,以期更有效地利用众包在不同领域的问答数据集的创建。对几个系统在答案句子选择和答案触发任务方面进行了比较,为未来的工作提供了强有力的基线结果以供改进。
2016-10-28 cs.CL
BAS: An Answer Selection Method Using BERT Language Model
Faculty of Computer Engineering, University of Isfahan(伊斯法罕大学计算机工程学院)
近年来,问答系统已经变得越来越流行并被用户广泛使用。尽管这些系统越来越受欢迎,但它们的性能甚至不足以处理文本数据,需要进一步研究。这些系统由几个部分组成,其中之一是答案选择组件。该组件从候选答案列表中检测最相关的答案。以往的研究方法都试图提供一个独立的模型来承担答案选择任务。一个独立的模型不能理解问题和答案的句法和语义特征与一个小的训练数据集。为了填补这一空白,语言模型可以用于实现答案选择部分。这个动作使模型能够更好地理解语言,以便比以前的作品更好地理解问题和答案。在本研究中,我们将提出“BAS”(BERT答案选择),它使用BERT语言模型来理解语言。在TrecQA Raw、TrecQA Clean和WikiQA数据集上应用该模型的实证结果表明,使用鲁棒的语言模型(如BERT)可以提高性能。使用更鲁棒的分类器还增强了语言模型对答案选择组件的影响。结果表明,语言理解是自然语言处理任务,如答案选择的基本要求。
2021-10-14 cs.CL
ISS-MULT: Intelligent Sample Selection for Multi-Task Learning in Question Answering
EMORY University(埃默里大学)
将知识从一个源域转移到另一个域是有用的,特别是当收集新数据非常昂贵和耗时时。近年来,深度网络在问答任务中得到了很好的研究;然而,在问答领域,通过深度神经网络进行迁移学习的研究并不突出。在本文中,两个主要的方法(INIT和MULT)在这一领域进行了检查。在此基础上,提出了一种新的智能样本选择方法(ISS-MULT)来改进面向问答任务的MULT方法。不同的数据集,特别是SQuAD,SelQA,WikiQA,NewWikiQA和InforBoxQA,用于评估。此外,两个不同的问答任务-答案选择和答案触发-进行评估,以检查迁移学习的有效性。结果表明,如果语料库是相关的,并且基于相同的策略,使用迁移学习通常可以提高性能。此外,使用ISS-MULT可以很好地改进问答任务的MULT方法,这些改进在答案触发任务中表现得更为显著。
2019-11-04 cs.CL
DP-KB: Data Programming with Knowledge Bases Improves Transformer Fine Tuning for Answer Sentence Selection
Alexa AI(亚马逊Alexa人工智能部门)
虽然Transformers在许多知识密集型(KI)任务上表现出令人印象深刻的性能,但它们作为隐式知识库(KB)的能力仍然有限,如几个插槽填充,问答(QA),事实验证和实体链接任务所示。在本文中,我们实现了一个高效的,数据编程技术,丰富的训练数据与知识库派生的上下文,并提高Transformer利用编码的知识时,微调一个特定的QA任务,即答案句子选择(AS2)。我们的方法优于最先进的Transformer方法在WikiQA和TrecQA,两个广泛研究的AS2基准测试中,分别增加了2.0%p@1,1.3%MAP,1.1%MRR和4.4%p@1,0.9%MAP,2.4%MRR。为了证明我们在行业环境中的改进,我们还在Alexa QA对的专有数据集上评估了我们的方法,并显示F1增加了2.3%,MAP增加了2.0%。我们还发现,即使在推理时省略KB上下文,这些改进仍然存在,允许在现有的Transformer工作流中使用我们的模型,而不会产生额外的延迟或部署成本。
2022-03-17 cs.CL cs.LG
Exploring the Effectiveness of Convolutional Neural Networks for Answer Selection in End-to-End Question Answering
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学 David R. Cheriton 计算机科学学院);Department of Computer Science, University of Maryland(马里兰大学计算机科学系)
目前自然语言问答的大部分工作都集中在答案选择上:给定一个候选句子列表,确定哪个包含答案。答案选择虽然重要,但只是标准端到端问答管道中的一个阶段。本文探讨了卷积神经网络(CNN)在端到端环境中使用标准TrecQA数据集进行答案选择的有效性。我们观察到,一个简单的idf加权词重叠算法形成了一个非常强大的基线,尽管社区在应用深度学习来解决答案选择方面做出了大量努力,但在这个数据集上的收益充其量是适度的。此外,目前还不清楚CNN是否比基于标准检索指标的端到端上下文中的基线更有效。为了进一步探索这一发现,我们进行了手动用户评估,确认来自CNN的答案明显优于来自idf加权单词重叠的答案。这一结果表明,用户敏感的答案选择质量相对较小的差异。
2017-07-25 cs.CL cs.IR
Gated Group Self-Attention for Answer Selection
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
答案选择(答案排序)是许多问答(QA)应用中的关键步骤之一,其中深度模型已经取得了最先进的性能。在这些深度模型中,基于递归神经网络(RNN)的模型最受欢迎,通常比基于卷积神经网络(CNN)的模型具有更好的性能。然而,基于RNN的模型很难捕捉问题和答案句子中单词之间的长程依赖信息。在本文中,我们提出了一个新的深度模型,称为门控组自我注意(GGSA),用于答案选择。GGSA的灵感来自全局自注意,这是最初提出的机器翻译,并没有在答案选择探索。GGSA解决了全局自我注意的问题,即局部和全局信息不能很好地区分。此外,还提出了一个问题和答案之间的互动机制,以增强GGSA的剩余结构。在两个流行的问答数据集上的实验结果表明,GGSA可以优于现有的答案选择模型,达到最先进的性能。此外,GGSA也可以实现更高的准确性比全球自我注意的答案选择任务,具有较低的计算成本。
2019-05-26 cs.CL cs.IR
Deep Learning for Answer Sentence Selection
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
答案句子选择是识别包含给定问题答案的句子的任务。这本身就是一个重要的问题,在开放域问答的更大背景下也是如此。我们提出了一种新的方法来解决这个问题,通过分布式表示的手段,并学习匹配问题的答案,考虑他们的语义编码。这与此任务的先前工作形成对比,该任务通常依赖于具有大量手工制作的语法和语义特征以及各种外部资源的分类器。我们的方法不需要任何特征工程,也不涉及专业的语言数据,使该模型很容易适用于广泛的领域和语言。在TREC标准基准数据集上的实验结果表明,尽管模型简单,但我们的模型在回答句子选择任务上的表现与最先进的模型相匹配。
2014-12-04 cs.CL
Content associations with answer selection and engagement in supply chain community question answering
本研究以雅知惠物流相关社区问答语料为对象,探究名词及语义名词簇与最优答案选择、问题参与度的关联,发现两类名词分别对应不同结果,构建了该领域的相关描述性图谱。
2026-10-16 cs.CL cs.SI
Hashing based Answer Selection
Nanjing University(南京大学)
答案选择是问答(QA)的一个重要子任务,其中深度模型通常可以实现更好的性能。大多数深度模型采用问答交互机制,例如注意力,以获得答案的向量表示。当这些基于交互的深度模型被部署用于在线预测时,需要为每个问题重新计算所有答案的表示。对于具有复杂编码器(如BERT)的深度模型,此过程非常耗时,复杂编码器通常比简单编码器具有更好的精度。一个可能的解决方案是将每个答案的矩阵表示(编码器输出)存储在内存中,以避免重新计算。但这会带来较大的内存开销。在本文中,我们提出了一种新的方法,称为基于哈希的答案选择(HAS),来解决这个问题。HAS采用哈希策略来学习每个答案的二进制矩阵表示,这可以大大减少存储答案的矩阵表示的内存成本。因此,HAS可以在模型中采用类似BERT的复杂编码器,但HAS的在线预测仍然快速且存储成本低。在三个流行的答案选择数据集上的实验结果表明,HAS可以超越现有的模型,达到最先进的性能。
2019-05-26 cs.CL cs.IR
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的,但仍然未充分探索的领域。在本文中,我们表明,问题重写(QR)的会话背景下,可以更清楚地揭示这种现象,也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架,使会话问答(QA)的性能使用问题重写的自动分析,并提出了这种分析的结果TREC CAST和QuAC(CANARD)数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型,阅读理解和文章排名。我们的研究结果表明,阅读理解模型是不敏感的问题制定,而文章的排名变化显着的输入问题的一点变化。QR的好处是,它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务,还是只是在数据集中找到捷径,并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
Generative Context Pair Selection for Multi-hop Question Answering
University of California, Irvine(加利福尼亚大学尔湾分校);Amazon Web Services(亚马逊云服务);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
组合推理任务,如多跳问答,需要做出潜在的决定,以获得最终的答案,给定的问题。然而,众包数据集通常只捕获底层任务分布的一部分,这可能会在执行组合推理的模型中引起意想不到的偏差。此外,区分训练的模型利用这些偏差来获得更好的表现,而不需要学习正确的推理方式,因为它们不需要关注整个问题表示(条件变量)来估计答案的可能性。在这项工作中,我们提出了一个生成的上下文选择模型的多跳问答的原因如何给定的问题可能已经产生了一个上下文对。虽然与最先进的回答性能相当,但我们提出的生成通道选择模型在对抗性保留集上具有更好的性能(比基线高4.9%),这测试了模型的多跳推理能力的鲁棒性。
2021-04-18 cs.CL
Question-Answer Selection in User to User Marketplace Conversations
Carousell Pte. Ltd.(Carousell私人有限公司)
用户对用户市场中的卖家可能会被潜在买家的问题淹没。答案往往已经在产品说明中提供。我们从在线市场的对话中收集了大约59万个这样的问题和答案。我们提出了一个问答系统,选择一个句子,从产品说明使用神经网络排名模型。我们探索了多种编码策略,使用递归神经网络和前馈注意力层产生了良好的效果。本文提出了一个演示,以交互方式提出买家的问题,并可视化的排名分数的产品描述句子从现场在线列表。
2018-02-06 cs.CL
DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering
Li Auto Inc.(理想汽车);Sun Yat-sen University(中山大学);Northeastern University(东北大学);Sichuan University(四川大学)
针对RAG单次检索不可靠且多次调用LLM效率低的问题,提出两阶段DR-RAG框架,利用文档与查询的动态相关性及紧凑分类器提升多跳问答检索召回与答案准确率。
2024-06-16 cs.CL cs.LG
Attention-based Pairwise Multi-Perspective Convolutional Neural Network for Answer Selection in Question Answering
Faculty of Computer Engineering, University of Isfahan(伊斯法罕大学计算机工程学院)
在过去的几年中,问答和信息检索系统已经变得广泛使用。这些系统试图从原始文本源中找到所问问题的答案。这些系统的一个组成部分是答案选择,它从候选答案中选择最相关的答案。句法相似度主要用于计算相似度,但在最近的工作中,已经使用了深度神经网络,在这一领域取得了显着的进步。在这项研究中,提出了一个模型来选择最相关的答案的事实性问题的候选答案。该模型使用卷积神经网络,根据与问题的语义和句法相似性对候选答案进行排名。在本研究中,注意力机制和稀疏特征向量利用上下文敏感的问题和回答句子之间的相互作用。宽卷积增加了疑问词的重要性。成对排序用于学习可微表示以区分肯定和否定答案。我们的模型表明,TrecQA Raw在MAP中的表现强劲,比之前最先进的系统高出1.4%,在MRR中高出1.1%,同时没有使用额外的语法分析器和外部工具。结果表明,使用上下文敏感的问答句之间的相互作用,可以帮助更准确地找到正确的答案。
2019-11-11 cs.CL
An Attention Mechanism for Answer Selection Using a Combined Global and Local View
DigitalGenius(数字天才公司)
我们提出了一种新的注意力机制神经为基础的问答,这取决于不同的粒度的输入。以前的工作集中在用简单的注意力机制来增强递归神经网络,这些注意力机制是问题嵌入和答案嵌入之间随时间变化的相似性的函数。我们通过使注意力机制依赖于使用单独的网络获得的答案的全局嵌入来扩展这一点。我们评估我们的系统InsuranceQA,一个大型的问答数据集。我们的模型优于目前最先进的结果保险QA。此外,我们可视化我们的注意力机制关注的文本部分,并探索其在不同参数设置下的性能。
2017-09-20 cs.CL
Question-Answer Sentence Graph for Joint Modeling Answer Selection
University of California, Los Angeles(加州大学洛杉矶分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
针对答案句子选择任务,提出为每个问题无监督构建问答句子对图并结合图神经网络与SOTA评分模型,实验证明其在学术基准和真实数据集上稳定优于现有QA基线。
2023-04-23 cs.AI cs.CL
A Study on Efficiency, Accuracy and Document Structure for Answer Sentence Selection
University of Trento(特伦托大学);Amazon Alexa(亚马逊 Alexa)
大多数问答(QA)系统的基本任务是对答案候选集重新排序,即,答案句子选择(A2S)。这些候选通常是从一个或多个文档中提取的保持其自然顺序的句子或由搜索引擎检索的句子。大多数最先进的方法都使用巨大的神经模型,如BERT或复杂的专注架构。在本文中,我们认为,通过利用的内在结构的原始排名与一个有效的字相关性编码器,我们可以实现有竞争力的结果,相对于最先进的,同时保持高效率。我们的模型需要9.5秒在WikiQA数据集上进行训练,即,与标准的基于BERT的微调所需的$\sim 18$分钟相比非常快。
2020-03-04 cs.CL
Improved Answer Selection with Pre-Trained Word Embeddings
IBM Watson;AI Foundations, IBM Research(IBM研究院人工智能基础)
研究基于预训练词嵌入的答案选择方法,通过在公开数据集上实验,对比传统方法有显著提升,将词嵌入特征与传统排序学习技术结合,性能可媲美最先进神经网络。
2026-07-14 cs.CL cs.IR
Modeling Context in Answer Sentence Selection Systems on a Latency Budget
University of Southern California(南加州大学);Amazon Alexa(亚马逊Alexa)
回答句选择(AS 2)是一种有效的设计开放域问答系统的方法。为了实现低延迟,传统的AS 2模型单独对问题-答案对进行评分,忽略了从每个潜在答案提取的文档中的任何信息。相比之下,为机器阅读理解任务设计的计算成本更高的模型通常会接收一个或多个段落作为输入,这通常会带来更好的准确性。在这项工作中,我们提出了一种方法,有效地将上下文信息在AS 2模型。对于每个候选答案,我们首先使用无监督相似性技术从其源文档中提取相关句子,然后将其输入到针对AS 2进行微调的高效Transformer架构中。我们的最佳方法利用多路注意力架构来有效地编码上下文,比AS 2中的非上下文最先进技术提高了6%到11%,对系统延迟的影响最小。本研究中的所有实验均以英语进行。
2021-02-03 cs.CL
Careful Selection of Knowledge to solve Open Book Question Answering
Arizona State University(亚利桑那州立大学)
开卷问答是一种基于自然语言的问答(NLQA),其中期望关于给定的开卷事实集合和关于主题的常识来回答问题。最近,一个挑战,涉及这样的QA,OpenBookQA,已被提出。与大多数其他专注于语言理解的NLQA任务不同,OpenBookQA需要更深入的推理,包括语言理解以及常识推理。在本文中,我们解决QA方面的OpenBookQA数据集,并结合最先进的语言模型与溯因信息检索(IR),信息增益为基础的重新排名,通道选择和加权评分,以达到72.0%的准确率,11.6%的改进,比目前的最先进的。
2019-07-24 cs.AI cs.CL cs.IR
Question-Context Alignment and Answer-Context Dependencies for Effective Answer Sentence Selection
University of Oregon(俄勒冈大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
针对答案句选择任务,本文利用最优传输建模问题与段落上下文的依赖关系,并结合图卷积网络生成候选句表示,在 WikiQA 和 WDRASS 上取得新最优结果。
2023-06-03 cs.CL
Few-Shot Question Answering by Pretraining Span Selection
Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
在几个问答基准测试中,通过对10万个带注释的问题和答案进行微调,预训练模型已经达到了人类平等。我们探索了更现实的Few-Shot设置,其中只有几百个训练样本可用,并观察到标准模型表现不佳,突出了当前预训练目标和问答之间的差异。我们提出了一个新的预训练计划量身定制的问答:循环跨度选择。给定一个具有多组重复跨度的段落,我们在每组中屏蔽除一个之外的所有重复跨度,并要求模型为每个屏蔽的跨度选择段落中的正确跨度。掩蔽的范围被一个特殊的标记替换,该标记被视为问题表示,稍后在微调期间使用该标记来选择答案范围。所得到的模型在多个基准上获得了令人惊讶的良好结果(例如,72.7 F1在SQuAD上只有128个训练样本),同时在高资源环境中保持竞争力。
2021-06-02 cs.CL
Building Chatbots from Forum Data: Model Selection Using Question Answering Metrics
Sofia University(索非亚大学);Qatar Computing Research Institute(卡塔尔计算研究所);University of Trento(特伦托大学)
我们建议使用来自Web论坛的问答(QA)数据从头开始训练聊天机器人,即,没有对话训练数据。首先,我们从论坛中通常较长的问题和答案文本中提取成对的问题和答案句子。然后,我们使用这些较短的文本以更有效的方式训练seq2seq模型。我们进一步改进的参数优化使用一种新的模型选择策略的基础上QA措施。最后,我们建议使用外部评估相对于QA任务作为聊天机器人的自动评估方法。评估表明,该模型实现了63.5%的MAP上的外部任务。此外,它可以正确回答49.5%的问题时,他们是在论坛上提出的问题,47.3%的问题时,他们更会话的风格。
2017-10-02 cs.CL
MilkQA: a Dataset of Consumer Questions for the Task of Answer Selection
University of São Paulo(圣保罗大学);São Paulo State University(圣保罗州立大学)
我们介绍MilkQA,一个来自乳制品领域的问答数据集,致力于研究消费者的问题。该数据集包含2,657对问题和答案,以葡萄牙语编写,最初由巴西农业研究公司(Embrapa)收集。所有问题都是由真实情况激发的,由数千名具有不同背景和文化水平的作者撰写,而答案则由Embrapa客户服务专家详细阐述。我们的数据集是由三个人类注释者过滤和匿名的。消费者问题是一种具有挑战性的问题,通常被用作寻求信息的一种形式。虽然有几个问答数据集可用,但大多数这样的资源不适合研究消费者问题的答案选择模型。我们的目标是通过公开提供MilkQA来填补这一空白。我们在MilkQA上研究了四种答案选择模型的行为:两种基线模型和两种卷积神经网络结构。我们的研究结果表明,MilkQA构成了真正的挑战,计算模型,特别是由于其问题的语言特征和他们的长度异常长。只有一个实验模型给出了合理的结果,在高的计算要求的成本。
2018-01-10 cs.CL
Answer Candidate Type Selection: Text-to-Text Language Model for Closed Book Question Answering Meets Knowledge Graphs
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Ural Federal University(乌拉尔联邦大学);Artificial Intelligence Research Institute(人工智能研究院);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息系统研究所可信人工智能研究中心)
针对文本到文本语言模型在知识图谱问答中处理不流行实体时质量下降的问题,提出基于Wikidata类型对候选答案进行过滤和重排的方法,提升问答性能。
2023-10-10 cs.AI cs.CL cs.IR
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
Korea Advanced Institute of Science Technology(韩国科学技术院)
会话式问答(ConvQA)模型的目标是通过相关段落和在会话中多次出现的先前问答对来回答问题。为了将这些模型应用于现实世界的场景,一些现有的工作使用预测的答案,而不是不可用的地面真相答案,作为推理的会话历史。然而,由于这些模型通常预测错误的答案,使用所有的预测而不过滤显着阻碍了模型的性能。为了解决这个问题,我们建议根据ConvQA模型中估计的置信度和不确定性过滤掉对话历史中不准确的答案,而不进行任何架构更改。此外,为了使置信度和不确定性值更可靠,我们建议进一步校准它们,从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型,基于答案选择的现实对话问答,结果表明我们的模型显著优于相关基线。代码可在:https://github.com/starsuzi/AS-ConvQA.
2023-02-10 cs.AI cs.CL cs.IR
Knowledge-Enhanced Attentive Learning for Answer Selection in Community Question Answering Systems
City University of Hong Kong(香港城市大学)
在社区问答(CQA)系统中,答案选择任务的目的是为特定问题确定最佳答案,因此通过为新问题推荐合适的答案,在提高服务质量方面发挥着关键作用。CQA答案选择的最新进展集中在通过整合社区信息来提高性能,特别是回答者的专业知识(以前的答案)和权威性(在社交网络中的位置)。然而,现有的方法用于合并这样的信息是有限的:(a)只考虑专业知识或权威,但不是两者;(b)忽略领域知识,以区分以前的答案的主题;和(c)简单地使用权威信息来调整相似性分数,而不是充分利用它在测量问题和答案的片段之间的相似性的过程中。我们提出了知识增强的注意答案选择(Knowledge-enhanced Attentive Answer Selection,KAAS)模型,该模型通过以下方式提高了性能:(a)同时考虑回答者的专业知识和权威性;(b)利用人工标记的标签、标签的分类和投票作为领域知识来推断答案的专业知识;(c)使用社交网络(由跟随关系形成)的矩阵分解来推断回答者的权威性,并将这些信息并入评估片段之间的相似性的过程中。此外,对于垂直社区,我们结合了外部知识图谱,为垂直CQA系统捕获更专业的信息。然后采用注意力机制将问答文本的分析与前面提到的社区信息进行整合。垂直和一般CQA网站的实验表明,所提出的KAAS模型的优越性能。
2019-12-17 cs.AI cs.CL cs.IR
In Situ Answer Sentence Selection at Web-scale
School of Information, The University of Arizona(亚利桑那大学信息学院);Amazon Alexa AI(亚马逊 Alexa AI)
在开放域问答(ODQA)中应用的当前答案句子选择(AS 2)通过对可能的候选的大集合进行排序来选择答案,即,句子,从检索到的文本中提取。在本文中,我们提出了基于通道的提取答案句到位(PEASI),一种新的设计AS 2优化Web规模的设置,而不是计算这样的答案,而不单独处理每个候选人。具体来说,我们设计了一个基于Transformer的框架,该框架联合(i)对针对问题检索的段落进行重新排序,以及(ii)从适当的顶部段落中识别可能的答案。我们在一个多任务学习框架中训练PEASI,该框架鼓励组件之间的特征共享:段落重排器和基于文本的答案句子提取器。为了促进我们的开发,我们构建了一个新的Web来源的大规模QA数据集,包括800,000+标记的段落/句子,60,000+问题。实验表明,我们提出的设计有效地优于目前最先进的AS 2设置,即,一个独立的句子排序模型,准确率从48.86%提高到55.37%,提高了6.51%。此外,PEASI在计算答案句子方面非常高效,与标准设置相比,仅需要约20%的推理,即,重新排列所有可能的候选人我们相信PEASI的发布,无论是数据集还是我们提出的设计,都有助于推进在Web规模上部署问答服务的研究和开发。
2022-01-16 cs.CL
Span Selection Pre-training for Question Answering
IBM Research AI(IBM研究院人工智能部门);IISC(印度科学学院)
BERT(来自Transformers的双向编码器表示)和相关的预训练的Transformers在许多语言理解任务中提供了很大的增益,实现了新的最先进的(SOTA)。BERT在两个辅助任务上进行预训练:掩蔽语言模型和下一句预测。在本文中,我们引入了一个新的预训练任务的启发阅读理解,以更好地调整从记忆到理解的预训练。跨度选择预训练(SSPT)提出了类似完形填空的训练实例,但不是从模型的参数中得出答案,而是从相关的段落中选择。我们发现,在多个阅读理解(MRC)数据集上,BERT-BASE和BERT-LARGE都有显著且一致的改进。具体来说,我们提出的模型具有强有力的经验证据,因为它在自然问题(一个新的基准MRC数据集)上获得了SOTA结果,在简短答案预测上优于BERT-LARGE 3个F1点。我们还在HotpotQA中表现出了显著的影响,将答案预测F1提高了4分,并将事实预测F1支持了1分,并且优于之前的最佳系统。此外,我们表明,当训练数据有限时,我们的预训练方法特别有效,大大改善了学习曲线。
2020-06-18 cs.AI cs.CL cs.LG
Quick and (not so) Dirty: Unsupervised Selection of Justification Sentences for Multi-hop Question Answering
University of Arizona(亚利桑那大学)
我们提出了一个无监督的策略,选择多跳问答(QA)的理由句子,(a)最大限度地提高所选句子的相关性,(b)最大限度地减少所选事实之间的重叠,(c)最大限度地提高问题和答案的覆盖范围。这种无监督的句子选择方法可以与任何有监督的QA方法相结合。我们表明,通过我们的方法选择的句子提高了两个多跳QA数据集上最先进的监督QA模型的性能:AI2的推理挑战(ARC)和多句阅读理解(MultiRC)。在不使用外部资源训练QA系统的方法中,我们在两个数据集上都获得了最新的性能:ARC上的F1为56.82%(Challenge为41.24%,Easy为64.49%),MultiRC上的EM0为26.1%。我们的理由句子比通过强信息检索基线选择的理由具有更高的质量,例如,5.4%的F1在MultiRC中。我们还表明,我们的无监督选择的理由句子是更稳定的跨域比一个国家的最先进的监督句子选择方法。
2020-05-03 cs.CL
QUBO-Optimized Evidence Selection for Retrieval-Augmented Question Answering with Unconventional Solvers
University of California Santa Barbara(加利福尼亚大学圣巴巴拉分校);Georgia Institute of Technology(佐治亚理工学院)
研究针对检索增强问答中证据选择问题,将其转化为QUBO问题构建能量函数,平衡多种因素选择证据段落,再由下游语言模型生成答案。在HotpotQA上评估,该方法性能与基于LLM的选择器相当,为RAG管道提供新思路。
2026-07-15 cs.CL cs.ET
Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
目前的开放领域问答方法通常采用先检索相关文档,然后将强阅读理解模型应用于检索到的文本的流水线。然而,现代RC模型运行起来复杂且昂贵,因此修剪检索文本空间的技术对于允许这种方法扩展至关重要。在本文中,我们专注于应用中间句子选择步骤来解决这个问题的方法,并研究这种方法的最佳实践。我们描述了两组模型的句子选择:基于QA的方法,它运行一个完整的QA系统,以确定答案候选人,和检索为基础的模型,它发现每个段落的部分具体涉及到每个问题。我们研究这两种方法的处理速度和任务性能之间的权衡,并展示了一个合奏模块,代表了两者的混合。从Open-SQuAD和TriviaQA的实验中,我们发现非常轻量级的QA模型可以很好地完成这项任务,但基于检索的模型仍然更快。集成模块,我们描述了两者之间的平衡和推广以及跨域。
2020-09-18 cs.CL
LODESTAR: Robust Entropy-Based Answer Selection in Retrieval-Augmented Generation for Question Answering -- Directing Frozen-LLM Entropy with a Reinforcement-Learned Prompt Polarizer under Misleading Passages
LODESTAR是首个通过强化学习训练偏振器、依据第三方冻结型LLM的不确定性评分文本干预的方法,可提升检索增强问答的F1值等指标,减少模型读取误导性段落的概率。
2026-08-21 cs.CL cs.IR cs.LG
TACR: A Table-alignment-based Cell-selection and Reasoning Model for Hybrid Question-Answering
Tokyo Institute of Technology(东京工业大学);Nanyang Technological University(南洋理工大学);Microsoft Research Asia(微软亚洲研究院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对混合问答中难以遍历表格和关联段落检索证据的挑战,提出基于表对齐的单元格选择与推理模型TACR,通过增强表格-问题对齐检索细粒度证据,在HybridQA和WTQ数据集上取得领先或具竞争力的性能,并显著提升可解释性。
2023-05-24 cs.CL
SemEval-2015 Task 3: Answer Selection in Community Question Answering
Qatar Computing Research Institute(卡塔尔计算研究所);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Living(卡塔尔生活)
社区问答(cQA)为传统的问答(QA)领域提供了新的有趣的研究方向,例如,利用用户之间的互动和相关职位的结构。在这种情况下,我们组织了SemEval-2015任务3“cQA中的答案选择”,其中包括两个子任务:(a)将答案分类为“好”,“坏”或“潜在相关”,以及(b)基于所有答案的列表,用“是”,“否”或“不确定”回答是/否问题。我们将阿拉伯语和英语的子任务A设置在两个相对不同的cQA域上,即,卡塔尔生活网站的英语,和一个古兰经相关的阿拉伯语网站。我们在Amazon Mechanical Turk上使用众包来标记一个大型英语训练数据集,并将其发布给研究社区。13支队伍参加了挑战赛,共提交了61份材料:24份主要材料和37份对比材料。最好的系统在英语子任务A和B中获得了57.19和63.7的官方分数(宏观平均F1),在阿拉伯语子任务A中获得了78.55的分数。
2019-11-26 cs.AI cs.CL cs.IR
Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models
University of Trento(特伦托大学);Gran Sasso Science Institute(格兰萨索科学研究所);University of Essex(埃塞克斯大学);University of Bath(巴斯大学)
本文针对视频语言模型在多选题问答中的选择性偏差问题,提出后处理校准技术BOLD,通过抑制盲猜有效缓解偏差并提升模型整体性能。
2025-05-30 cs.CL
Better Query Graph Selection for Knowledge Base Question Answering
Institute of Artificial Intelligence(人工智能研究院);School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学)
本文提出了一种基于语义解析的知识库问答(KBQA)改进方法。具体来说,我们专注于如何选择一个最佳的查询图从候选集,以便检索答案的知识库(KB)。在我们的方法中,我们首先提出线性化的查询图成一个序列,这是用来形成一个序列对的问题。它允许我们使用成熟的序列建模,如BERT,来编码序列对。然后,我们使用一个排名的方法来排序候选查询图。与以前的研究相比,我们的方法可以有效地建模图和问题之间的语义交互,以及从全局视图的候选图的排名。实验结果表明,我们的系统在复杂问题上取得了最好的性能和第二个最好的性能上的WebQuestions。
2022-04-27 cs.CL
Incorporating Question Answering-Based Signals into Abstractive Summarization via Salient Span Selection
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们提出了一种方法,将问答(QA)信号的摘要模型。我们的方法通过自动生成由NP回答的wh-问题并自动确定这些问题是否在黄金摘要中得到回答来识别输入文档中的突出名词短语(NP)。这个基于QA的信号被纳入一个两阶段的摘要模型,首先使用分类模型标记输入文档中的突出NP,然后有条件地生成摘要。我们的实验表明,使用基于QA的监督训练的模型生成的摘要质量高于在基准摘要数据集上识别突出跨度的基线方法。此外,我们表明,所生成的摘要的内容可以控制的基础上,在输入文档中标记的NP。最后,我们提出了一种增强训练数据的方法,使黄金摘要与训练期间使用的标记输入跨度更加一致,并展示了这如何导致模型学习更好地排除未标记的文档内容。
2023-02-25 cs.CL
Multilingual Non-Factoid Question Answering with Answer Paragraph Selection
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯信息技术学院德里校区);International Institute of Information Technology, Hyderabad(国际信息技术学院海得拉巴校区)
本文提出覆盖38种语言、含578K余问答对的非事实型多语言数据集MuNfQuAD,并通过微调APS模型验证其答案段落选择与跨语言泛化能力。
2025-02-19 cs.AI cs.CL cs.IR
Adversarial Training for Community Question Answer Selection Based on Multi-scale Matching
Pennsylvania State University(宾夕法尼亚州立大学);Apple(苹果公司);Google(谷歌);Microsoft(微软)
基于社区的问答网站是一个重要的信息来源。因此,将最有价值的答案与其对应的问题相匹配的问题已经成为一个越来越热门的研究课题。我们将此任务定义为二元(相关/不相关)分类问题,并提出了一个对抗性训练框架来缓解标签不平衡问题。我们采用生成模型来迭代地对具有挑战性的阴性样本的子集进行采样,以欺骗我们的分类模型。这两个模型交替优化使用REINFORCE算法。该方法完全不同于以往的方法,即直接使用训练集中的负样本或对负样本进行均匀下采样。此外,我们建议使用多尺度匹配,它明确检查不同粒度级别的单词和ngrams之间的相关性。我们在SemEval 2016和SemEval 2017数据集上评估了所提出的方法,并实现了最先进或类似的性能。
2018-11-16 cs.CL
ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks
Sogou Inc.(搜狗公司);Tsinghua University(清华大学)
随着深度学习技术和大规模数据集的发展,问答系统得到了快速的改进,能够提供更准确、更令人满意的答案。然而,当前的QA系统要么关注于测试级答案,即,答案选择或短语级答案,即,机器阅读理解。如何产生组合的答案还没有得到全面的研究。在组合式问答中,系统需要从文档中收集多个支持证据来生成最终答案,这比句子级或短语级QA更困难。在本文中,我们提出了一个大规模的组合问答数据集包含超过120k人类标记的问题。此数据集中的答案由相应文档中的不连续句子组成。为了解决ComQA问题,我们提出了一个分层的图神经网络,它表示从低级别的词到高级别的句子的文档。我们还设计了一个问题选择和节点选择任务的预训练。我们提出的模型实现了显着的改进,以前的机器阅读理解方法和预训练方法。代码和数据集见\url{https://github.com/benywon/ComQA}。
2021-01-16 cs.CL
The Cascade Transformer: an Application for Efficient Answer Sentence Selection
Amazon Alexa(亚马逊Alexa)
大型的基于transformer的语言模型已经被证明在许多分类任务中非常有效。然而,它们的计算复杂性阻止了它们在需要对大量候选者进行分类的应用中的使用。虽然以前的作品已经研究了减少模型大小的方法,但相对较少关注在推理过程中提高批处理吞吐量的技术。在本文中,我们介绍了级联Transformer,一个简单而有效的技术,以适应基于transformer的模型到一个级联的排名。每个ranker都用于批量修剪候选子集,从而显著提高推理时的吞吐量。来自Transformer模型的部分编码在重排序器之间共享,从而提供进一步的加速。与最先进的Transformer模型相比,我们的方法减少了37%的计算,几乎没有影响的准确性,测量两个英语问答数据集。
2020-05-07 cs.CL
Distributed Deep Learning for Question Answering
IBM Watson
本文是一个分布式深度学习的问答子任务:答案选择和问题分类的实证研究。对SGD、MSGD、ADADDELTA、ADAGRAD、ADAM/ADAMAX、RMSPROP、DOWNPOUR和EASGD/EAMSGD算法进行了比较研究。实验结果表明,基于消息传递接口的分布式框架可以在亚线性尺度上加快收敛速度。本文论证了分布式训练的重要性。例如,使用48个工人,答案选择任务可以实现24倍的加速,运行时间从138.2小时减少到5.81小时,这将显着提高生产力。
2016-08-04 cs.CL cs.DC cs.LG
GenNet : Reading Comprehension with Multiple Choice Questions using Generation and Selection model
Army Institute of Technology, Pune(浦那陆军技术学院)
多项选择机器阅读理解是一项困难的任务,它要求机器在给定的文章和问题中从一组候选或可能的选项中选择正确的选项。多项选择问题阅读理解任务要求人(或机器)阅读给定的文章、问题对,并从n个给定的选项中选择最佳的一个选项。有两种不同的方法从给定的文章中选择正确的答案。或者通过选择最佳匹配答案,或者通过消除最差匹配答案。在这里,我们提出了GenNet模型,一个基于神经网络的模型。在这个模型中,我们首先从文章中生成问题的答案,然后将生成的答案与给定的答案进行匹配,最佳匹配的选项将是我们的答案。对于答案生成,我们使用S-网(Tan等人,2017)在SQuAD上训练的模型,为了评估我们的模型,我们使用了大规模RACE(来自考试的阅读理解数据集)(Lai et al.,2017年)的报告。
2020-03-18 cs.AI cs.CL
Skipping Word: A Character-Sequential Representation based Framework for Question Answering
Sogou Inc(搜狗公司);Key Lab of Intelligent Information Processing of CAS(中国科学院智能信息处理重点实验室);ICT(中国科学院计算技术研究所)
最近的作品使用基于词的分布式表示的人工神经网络极大地提高了各种自然语言学习任务的性能,特别是问答。虽然,他们也进行了一些随之而来的问题,如语料库的选择嵌入学习,字典变换不同的学习任务,在本文中,我们提出了直接建模的句子通过字符序列,然后利用卷积神经网络集成字符嵌入学习与逐点答案选择训练。与使用词嵌入(WE)策略预训练的深度模型相比,我们基于字符顺序表示(CSR)的方法在不同的基准测试中显示出更简单的过程和更稳定的性能。在两个基准答案选择数据集上的实验表明,与现有方法相比,该方法具有很好的性能。
2016-09-02 cs.CL
Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge
The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团);SIAT, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Sun Yat-Sen University(中山大学)
在诸如对话系统和问答(QA)的许多自然语言处理应用中涉及的答案选择在实践中是重要但具有挑战性的任务,因为常规方法通常遭受忽略多样化的真实世界背景知识的问题。在本文中,我们广泛的调查方法,以提高答案选择模型与外部知识从知识图谱(KG)。首先,我们提出了一个上下文知识交互学习框架,知识感知的神经网络(KNN),它通过考虑与KG和文本信息的外部知识的紧密交互来学习QA句子表示。然后,我们发展了两种知识感知的注意力机制,总结了基于上下文和基于知识的问题和答案之间的交互。为了处理KG信息的多样性和复杂性,我们进一步提出了一个上下文知识感知的注意神经网络(CKANN),它通过一个定制的图卷积网络(GCN),提高了知识表示学习与结构信息,并通过多视图知识感知的注意力机制,全面学习基于上下文和基于知识的句子表示。我们在四个广泛使用的基准QA数据集上评估了我们的方法,包括WikiQA,TREC QA,InsuranceQA和Yahoo QA。结果验证了从KG的外部知识的好处,并显示了我们的方法的鲁棒性的优越性和广泛的适用性。
2021-04-12 cs.CL cs.IR
Simple Question Answering with Subgraph Ranking and Joint-Scoring
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊 Alexa 人工智能)
基于知识图谱的简单问答(KBSQA)是问答的一个重要研究领域。虽然只处理简单的问题,即,事实上,这个任务既不简单,也不接近解决。针对两个主要步骤,子图选择和事实选择,研究界已经开发了复杂的方法。然而,子图排名和利用的主题-关系依赖的知识库事实的重要性还没有得到充分的探讨。出于这一动机,我们提出了一个统一的框架来描述和分析现有的方法。使用这个框架作为出发点,我们专注于两个方面:通过一种新的排名方法,提高子图的选择和利用的主题-关系依赖,提出了一个联合评分CNN模型与一个新的损失函数,强制执行良好的秩序的分数。我们的方法在SimpleQuestions数据集上达到了最新的水平(准确率为85.44%)。
2019-04-04 cs.CL cs.LG stat.ML
FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
针对开放域问答中FiD框架因段落过长导致推理耗时的问题,提出FastFiD方法对编码后段落做句子选择以缩短上下文,在三个常用数据集上实现2.3X-5.7X的推理提速且保持性能。
2024-08-12 cs.CL
Selection-based Question Answering of an MOOC
IIT Bombay(印度理工学院孟买分校)
e-Yantra机器人竞赛(eYRC)是由印度理工学院孟买分校主办的一项独特的机器人竞赛,实际上是一个嵌入式系统和机器人MOOC。注册人数每年呈指数级增长,从2012年的4500人增加到2019年的34000多人。在这个为期5个月的比赛中,学生们在严峻的时间压力下学习复杂的技能,并可以在论坛上发表对学习材料的疑问。实时回答问题对项目工作人员来说是一个挑战。在这里,我们在eYRC讨论论坛中展示了深度学习在实时问答方面的优势。我们说明了基于Transformer的上下文嵌入机制的优势,如双向编码器表示从Transformer(BERT)超过词嵌入机制,如Word 2 Vec。我们提出了一个加权的相似性度量作为匹配的措施,发现它比单独的内容或标题标题相似性更可靠。回答问题的自动化使周转响应时间(TART)从最少21分钟降至最少0.3秒。
2019-11-15 cs.AI cs.CL cs.LG
STEC: Evidence Compression for Deep Search in Open-domain Multi-Hop QA
National University of Defense Technology(国防科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
研究开放域多跳问答中最终答案选择难题,提出STEC证据压缩框架从候选集选答案。通过答案级证据压缩和证据引导的答案验证机制,将选择从原始轨迹比较转为候选级证据比较,实验显示其性能最佳。
2026-07-14 cs.AI cs.CL
TANDA: Transfer and Adapt Pre-Trained Transformer Models for Answer Sentence Selection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Amazon Alexa(亚马逊Alexa)
我们提出了TANDA,这是一种有效的技术,用于微调自然语言任务的预训练Transformer模型。具体来说,我们首先通过使用大型高质量数据集对其进行微调,将预先训练的模型转换为一般任务的模型。然后,我们执行第二个微调步骤,以使传输的模型适应目标域。我们证明了我们的方法的好处,答案句子的选择,这是一个众所周知的推理任务,在问答。我们构建了一个大规模的数据集来启用传输步骤,利用Natural Questions数据集。我们的方法在两个著名的基准测试WikiQA和TREC-QA上建立了最先进的技术,分别获得了92%和94.3%的MAP分数,这在很大程度上超过了最近工作中获得的83.4%和87.5%的最高分数。我们的经验表明,TANDA生成更稳定和鲁棒的模型,减少了选择最佳超参数所需的工作。此外,我们表明,TANDA的转移步骤使自适应步骤对噪声更具鲁棒性。这使得能够更有效地使用噪声数据集进行微调。最后,我们还确认了TANDA在工业环境中的积极影响,使用受不同类型噪声影响的特定领域数据集。
2019-11-20 cs.CL
Controllable Evidence Selection in Retrieval-Augmented Question Answering via Deterministic Utility Gating
Independent Researcher, Applied AI Systems(独立研究者,应用人工智能系统)
本文提出确定性证据选择框架,通过MUE和DUE评估语义相关性、术语覆盖和冗余性,无需训练即可筛选有效证据,确保答案生成的准确性和可审计性。
2026-02-23 cs.CL cs.IR
PerCQA: Persian Community Question Answering Dataset
School of Computer Science, Institute for Research in Fundamental Sciences(基础科学研究学院计算机科学系);School of Electrical and Computer Engineering, College of Engineering, University of Tehran(德黑兰大学工程学院电气与计算机工程系)
社区问答(CQA)论坛为许多现实生活中的问题提供了答案。由于规模庞大,这些论坛在机器学习研究人员中非常受欢迎。自动答案选择、答案排名、问题检索、专家发现和事实检查是使用CQA数据执行的示例学习任务。在本文中,我们介绍了PerCQA,CQA的第一个波斯数据集。这个数据集包含了从最知名的波斯语论坛上抓取的问题和答案。在数据采集之后,我们在迭代过程中提供严格的注释指南,然后以SemEvalCQA格式对问答对进行注释。PerCQA包含989个问题和21,915个注释答案。我们公开PerCQA,以鼓励更多的波斯语CQA研究。我们还通过使用单语言和多语言预训练的语言模型为PerCQA中的答案选择任务构建了强大的基准
2021-12-25 cs.CL