A Generative Approach to Question Answering
Microsoft(微软)
问答经历了从回答句的选择、关系问答到阅读理解的漫长历程。我们将注意力转移到生成式问答(gQA),通过学习生成答案来帮助机器阅读段落并回答问题。我们将问题框架为生成任务,其中编码器是一个网络,该网络对问题和段落之间的关系进行建模,并将其编码为向量,从而便于解码器直接形成答案的抽象。不能记住事实和重复是影响答案整体易读性的常见错误。为了解决这些问题,我们分别采用复制机制和覆盖向量的维护在我们的模型。我们在MS-MARCO上的结果证明了它比基线的优越性,我们还展示了我们在正确性和可读性方面改进的定性示例
2018-07-07 cs.CL
From Clicks to Preference: A Multi-stage Alignment Framework for Generative Query Suggestion in Conversational System
Bytedance Shanghai China(字节跳动上海中国);Bytedance Beijing China(字节跳动北京中国)
本文提出了一种多阶段对齐框架,通过提示工程、知识蒸馏和高斯奖励模型,提升生成式查询建议的用户偏好对齐效果,实验显示在自动和人工评估中均优于基线,并提高用户参与度34%
2025-12-15 cs.AI cs.CL
CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering
Department of Computer Science, University of Warwick, UK(英国华威大学计算机科学系)
我们介绍了CHIME,一个跨通道层次记忆网络的问答(QA)通过文本生成。它扩展了XLNet,引入了一个由两个组件组成的辅助记忆模块:收集交叉证据的上下文记忆和作为缓冲区不断完善生成的答案的答案记忆。从经验上讲,我们展示了所提出的架构在多通道生成QA中的有效性,表现优于最先进的基线,具有更好的语法结构良好的答案,并在解决AmazonQA评论数据集的问题时提高了精度。一个额外的定性分析揭示了由内存模块引入的可解释性。
2020-11-01 cs.CL
Generative Context Pair Selection for Multi-hop Question Answering
University of California, Irvine(加利福尼亚大学尔湾分校);Amazon Web Services(亚马逊云服务);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
组合推理任务,如多跳问答,需要做出潜在的决定,以获得最终的答案,给定的问题。然而,众包数据集通常只捕获底层任务分布的一部分,这可能会在执行组合推理的模型中引起意想不到的偏差。此外,区分训练的模型利用这些偏差来获得更好的表现,而不需要学习正确的推理方式,因为它们不需要关注整个问题表示(条件变量)来估计答案的可能性。在这项工作中,我们提出了一个生成的上下文选择模型的多跳问答的原因如何给定的问题可能已经产生了一个上下文对。虽然与最先进的回答性能相当,但我们提出的生成通道选择模型在对抗性保留集上具有更好的性能(比基线高4.9%),这测试了模型的多跳推理能力的鲁棒性。
2021-04-18 cs.CL
Neural Generative Question Answering
Peking University(北京大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
本文提出了一个端到端的神经网络模型,称为神经生成问答(GENQA),它可以生成简单的事实问题的答案,在知识库的基础上。更具体地说,该模型建立在用于序列到序列学习的编码器-解码器框架上,同时配备了查询知识库的能力,并在问答对的语料库上进行训练,其相关三元组在知识库中。实证研究表明,该模型可以有效地处理问题和答案的变化,并通过参考知识库中的事实来生成正确、自然的答案。在问答系统上的实验表明,该模型的性能优于基于嵌入的问答模型以及在相同数据上训练的神经对话模型。
2016-04-22 cs.CL
Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering
University of Information Technology, Ho Chi Minh city, Vietnam(胡志明市信息技术大学);Vietnam National University, Ho Chi Minh city, Vietnam(越南国立大学胡志明市分校)
本文针对越南语社区COVID-19问答研究不足的问题,提出GPT-2实现方案,并通过与多种Transformer及SOTA模型的比较实验证明其性能优于现有越南语社区问答模型。
2023-10-31 cs.CL
Test Code Generation for Telecom Software Systems using Two-Stage Generative Model
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器)
针对电信软件系统复杂化带来的测试开发难题,提出两阶段自动化测试生成框架,结合时间序列生成模型与大语言模型生成测试数据和脚本,经多数据集验证效果良好。
2024-04-14 cs.CL cs.LG cs.SE
Adapting Pre-trained Generative Models for Extractive Question Answering
TCS Research(塔塔咨询服务研究院)
针对抽取式问答中判别式模型的标签稀疏问题,提出利用预训练生成模型生成答案对应上下文词元/句子索引的新方法,在多个基准上超越现有最优模型。
2023-11-06 cs.CL
Cross-Lingual Open-Domain Question Answering with Answer Sentence Generation
Inria(法国国家信息与自动化研究所);Amazon Alexa AI(亚马逊Alexa AI)
开放域生成式问答通过将文档级检索与答案生成相结合,在英语中取得了令人印象深刻的性能。这些方法,我们称之为GenQA,可以生成完整的句子,有效地回答事实和非事实问题。在本文中,我们将GenQA扩展到多语言和跨语言设置。为此,我们首先介绍GenTyDiQA,这是TyDiQA数据集的扩展,具有阿拉伯语,孟加拉语,英语,日语和俄语的格式良好和完整的答案。基于GenTyDiQA,我们设计了一个跨语言生成模型,该模型通过利用多种语言(包括与问题不同的语言)编写的段落来生成整句答案。我们的跨语言生成系统优于所有5种语言的答案句子选择基线和五种语言中三种语言的单语生成管道。
2022-12-19 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
KPQA: A Metric for Generative Question Answering Using Keyphrase Weights
Seoul National University(首尔大学);Adobe Research(Adobe研究院);Roku Inc.(Roku公司)
在生成式问答(GenQA)系统的自动评测中,由于答案的形式不统一,很难对生成答案的正确性进行评估。特别是,广泛使用的n元相似性度量通常无法区分不正确的答案,因为它们同等地考虑所有标记。为了缓解这个问题,我们提出了KPQA度量,一个新的度量GenQA的正确性进行评估。具体来说,我们的新指标通过关键短语预测为每个令牌分配不同的权重,从而判断生成的答案句子是否捕捉到参考答案的关键含义。为了评估我们的指标,我们在两个GenQA数据集上创建了高质量的人类正确性判断。使用我们的人类评估数据集,我们表明,我们提出的指标有一个显着更高的相关性与人类的判断比现有的指标。该代码可在https://github.com/hwanheelee1993/KPQA上获得。
2021-04-15 cs.CL
Zero-shot Generalization in Dialog State Tracking through Generative Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门);UC San Diego(加州大学圣地亚哥分校);AWS AI(亚马逊云服务人工智能部门)
对话状态跟踪(DST)是现代对话系统的一个组成部分,旨在跟踪面向任务的对话中的用户偏好和约束(槽)。在服务不断变化的现实环境中,DST系统必须推广到新的域和不可见的插槽类型。现有的DST方法不能很好地推广到新的插槽名称,并且许多方法需要插槽类型和值的已知本体进行推理。我们介绍了一种新的本体自由框架,支持自然语言查询看不见的约束和插槽在多领域面向任务的对话。我们的方法是基于生成式问答使用条件语言模型预先训练的实质性英语句子。我们的模型在zero-shot领域自适应设置中将联合目标精度提高了9%(绝对值),超过了MultiWOZ 2.1数据集上的先前最先进水平。
2021-01-20 cs.CL
Attention-guided Generative Models for Extractive Question Answering
AWS AI Labs(亚马逊云科技人工智能实验室)
我们提出了一种新的方法应用Transformer模型提取问答(QA)任务。近年来,预训练的生成序列到序列(seq2seq)模型在问答中取得了巨大的成功。这些模型的成功得益于内部注意力机制,例如交叉注意力。我们提出了一个简单的策略,通过利用解码器的交叉注意模式,从生成模型中获得一个提取的答案跨度。将交叉注意力视为架构优先级,我们应用联合训练来进一步提高QA性能。实证结果表明,在NaturalQuestions和TriviaQA等开放域问答数据集上,我们的方法在生成和提取推理方面都接近最先进的性能,同时使用更少的参数。此外,这种策略允许我们执行无幻觉的推理,同时显著提高模型对相关段落进行重新排序的能力。
2021-10-12 cs.CL cs.IR
Choose Your QA Model Wisely: A Systematic Study of Generative and Extractive Readers for Question Answering
Arizona State University(亚利桑那州立大学);Salesforce Research(赛富时研究院)
虽然抽取式和生成式阅读器都已成功地应用于问答任务,但很少有人关注它们之间的系统比较。描述这两种读者的优势和劣势不仅对于在实践中做出更明智的读者选择至关重要,而且对于发展更深入的理解以促进以原则性方式改善读者的进一步研究也至关重要。基于这一目标,本文首次尝试对问答中抽取读者和生成读者进行系统的比较研究。为了与最先进的技术保持一致,我们探索了九种基于transformer的大型预训练语言模型(PrLM)作为骨干架构。此外,我们将我们的研究结果分为两大类:(1)保持架构不变,(2)改变潜在的PrLM。在几个有趣的发现中,重要的是要强调(1)生成阅读器在长上下文QA中表现更好,(2)提取阅读器在短上下文中表现更好,同时也显示出更好的领域泛化,以及(3)编码器-解码器PrLM的编码器(例如,T5)证明是一个强大的提取读取器,并且优于仅编码器PrLM的标准选择(例如,RoberTa)。我们还研究了多任务学习对两种类型的读者不同的基础PrLM的影响,并进行定性和定量诊断,以提供更好的读者建模的未来方向的进一步见解。
2022-03-14 cs.CL
JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所);ATR(ATR(先进电信研究所))
本文提出JDocQA,一个包含5,504份PDF文档和11,600个日语问答实例的大规模日语文档问答数据集,要求同时利用视觉与文本信息,并通过纳入不可回答问题来抑制大语言模型的幻觉生成。
2024-03-28 cs.CL
Retrieval-Augmented Generative Question Answering for Event Argument Extraction
The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
事件参数提取长期以来一直被研究为基于提取方法的顺序预测问题,孤立地处理每个参数。虽然最近的工作提出了基于生成的方法来捕获交叉参数依赖,他们需要生成和后处理一个复杂的目标序列(模板)。受这些观察和最近预训练语言模型从演示示教学习的能力的启发。我们提出了一个检索增强生成QA模型(R-GQA)的事件参数提取。它检索最相似的QA对,并将其作为当前示例上下文的提示符进行增强,然后将参数解码为答案。我们的方法在各种设置(即完全监督,域转移和少量学习)中的性能都大大优于以前的方法。最后,我们提出了一种基于聚类的采样策略(JointEnc),并深入分析了不同策略对少样本学习性能的影响。这些实现可在https://www.example.com上获得github.com/xinyadu/RGQA
2022-11-14 cs.CL
Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
Facebook AI Research(脸书人工智能研究院);ENS, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所)
开放领域问答的生成模型已经被证明是有竞争力的,而不诉诸外部知识。虽然很有前途,但这种方法需要使用具有数十亿个参数的模型,这些参数的训练和查询成本很高。在本文中,我们研究了这些模型可以从检索文本段落中受益多少,可能包含证据。我们在Natural Questions和TriviaQA开放基准测试中获得了最先进的结果。有趣的是,我们观察到,当增加检索通道的数量时,这种方法的性能显着提高。这证明生成模型擅长聚合和组合来自多个通道的证据。
2021-02-03 cs.CL cs.LG
SPBERTQA: A Two-Stage Question Answering System Based on Sentence Transformers for Medical Texts
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学)
近年来,问答(QA)系统获得了爆炸性的关注。然而,越南语的QA任务没有太多的数据集。值得注意的是,在医学领域几乎没有数据集。因此,我们建立了一个越南医疗保健问答数据集(ViHealthQA),包括10,015个问答段落对,其中对健康感兴趣的用户在著名的健康网站上提出的问题和高素质专家的答案。本文提出了一种基于句子BERT(SBERT)的两阶段问答系统,该系统使用多个否定排序(MNR)损失并结合BM 25。然后,我们进行了不同的实验与许多袋的话模型,以评估我们的系统的性能。与传统的方法相比,该系统取得了更好的性能。
2022-06-20 cs.CL
Evaluation of medium-large Language Models at zero-shot closed book generative question answering
Hof University of Applied Sciences(霍夫应用科学大学)
本文评估了60亿至1000亿参数的中型语言模型在零样本闭卷生成式问答中的表现,发现最佳模型组合正确率达82.7%,超越ChatGPT,证明优质微调数据比单纯扩大参数规模更重要。
2023-07-03 cs.CL
Cross-Modal Generative Augmentation for Visual Question Answering
Imperial College London(帝国理工学院);University of Sheffield(谢菲尔德大学)
数据增强已被证明可以有效地提高多模态机器学习模型的性能。本文介绍了一种生成模型,数据增强,利用多个模态之间的相关性。不同于传统的数据增强方法,应用低层次的操作与确定性算法,我们的方法学习一个生成器,生成样本的目标模态条件下观察到的模态在变分自动编码器框架。此外,所提出的模型能够通过其生成概率来量化增强数据的置信度,并且可以与下游任务联合优化。视觉问答作为下游任务的实验表明,所提出的生成模型的有效性,这是能够提高强UpDN为基础的模型,以达到最先进的性能。
2021-10-22 cs.CL cs.CV
Training Generative Question-Answering on Synthetic Data Obtained from an Instruct-tuned Model
Stockmark(Stockmark公司);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
本文提出利用指令微调模型零样本或少样本生成合成问答数据,训练生成式问答系统,性能媲美人工数据集且无需人力成本。
2023-10-13 cs.CL
Exploring Generative Process Reward Modeling for Semi-Structured Data: A Case Study of Table Question Answering
University of Augsburg(奥格斯堡大学);Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机械语言处理研究所);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文研究了生成过程奖励模型在表格问答任务中的应用,发现结合文本和代码验证的PRMs能辅助解决方案选择,但泛化能力有限。
2026-01-23 cs.CL
A Unified Query-based Generative Model for Question Generation and Question Answering
University of Rochester(罗切斯特大学);IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
我们提出了一个基于查询的生成模型来解决问题生成(QG)和问题回答(QA)这两个任务。该模型遵循经典的编码器-解码器框架。编码器将段落和查询作为输入,然后通过从多个视角将查询与段落进行匹配来执行查询理解。解码器是具有复制和覆盖机制的基于注意力的长短期记忆(LSTM)模型。在QG任务中,从给定段落和目标答案的系统生成问题,而在QA任务中,给定问题和段落生成答案。在训练阶段,我们利用策略梯度强化学习算法来克服暴露偏差,一个主要的问题,导致序列学习的交叉熵损失。对于QG任务,我们的实验显示出比最先进的结果更高的性能。当用作额外的训练数据时,自动生成的问题甚至提高了强提取QA系统的性能。此外,我们的模型显示出比生成QA任务的最新基线更好的性能。
2018-08-28 cs.CL
When Models Decide and When They Bind: A Two-Stage Computation for Multiple-Choice Question-Answering
Utrecht University(乌特勒支大学)
本文研究了多选题问答中模型如何通过两阶段机制先在内容空间选择胜者,再绑定到输出符号。
2026-01-07 cs.CL
Incorporating External Knowledge into Machine Reading for Generative Question Answering
Alibaba Group(阿里巴巴集团)
QA模型需要常识和背景知识来回答许多重要的问题。与现有的知识感知QA的工作不同,我们专注于一个更具挑战性的任务,利用外部知识来生成自然语言的答案,为一个给定的问题与上下文。在本文中,我们提出了一个新的神经模型,知识丰富的答案生成器(KEAG),它能够通过利用和汇总来自所有四个信息源的证据组成一个自然的答案:问题,段落,词汇和知识。在答案生成过程中,KEAG自适应地确定何时利用符号知识以及知识中的哪些事实是有用的。这允许模型利用给定文本中没有明确说明但与生成答案相关的外部知识。对答案生成的公共基准的实证研究表明,KEAG提高了答案质量的模型没有知识和现有的知识感知模型,证实了其有效性,利用知识。
2019-09-06 cs.CL
Model Compression with Two-stage Multi-teacher Knowledge Distillation for Web Question Answering System
Microsoft(微软)
深度预训练和微调模型(如BERT和OpenAI GPT)在问答领域表现出了出色的效果。然而,由于模型参数的数量庞大,这些模型的推理速度非常慢。如何将这些复杂的模型应用到实际的业务场景中成为一个具有挑战性但又具有实际意义的问题。以往的模型压缩方法在模型压缩过程中存在信息丢失的问题,导致压缩后的模型质量不如原始模型。为了解决这一问题,我们提出了一种两阶段多教师知识蒸馏(简称TMKD)方法用于Web问答系统。我们首先开发了一个通用的Q\&A蒸馏任务用于学生模型的预训练,并进一步对这个预训练的学生模型进行微调,在下游任务(如Web Q\&A任务,MNLI,SNLI,来自GLUE的RTE任务)上进行多教师知识蒸馏,这有效地减少了单个教师模型中的过拟合偏差,并将更多的一般知识转移到学生模型中。实验结果表明,我们的方法可以显着优于基线方法,甚至达到与原始教师模型相当的结果,随着模型推理的大幅加速。
2019-10-18 cs.CL
Generative Stock Question Answering
Tencent AI Lab(腾讯人工智能实验室);ShanghaiTech University(上海科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
研究了股票相关问答(StockQA)问题:自动生成股票相关问题的答案,就像专业的股票分析师根据用户的请求提供股票的行动建议一样。StockQA与以前的QA任务有很大的不同,因为(1)StockQA中的答案是自然语言句子(而不是实体或值),并且由于StockQA的动态性质,几乎不可能从训练数据中以提取的方式获得合理的答案;(2)StockQA需要正确分析QA对中的关键字与股票的数字特征之间的关系。我们建议解决这个问题的内存增强的编码器-解码器架构,并集成不同的数字理解和生成机制,这是一个重要组成部分的StockQA。我们构建了一个包含超过180 K StockQA实例的大规模数据集,并在此基础上对各种技术组合进行了广泛的研究和比较。实验结果表明,一个混合的词-字符模型与单独的字符组件的数字处理,取得了最佳的性能。通过分析结果,我们发现,44.8%的答案产生的最好的模型仍然遭受通用答案的问题,这可以缓解一个简单的混合检索生成模型。
2018-09-20 cs.CL
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada(加拿大国家银行)
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中,用户经常将他们的信息需求表述为简短且模糊的查询,一些流行的搜索界面然后提示用户确认她的意图(例如,“你的意思是...... ?“),或在必要时重新措辞。当涉及到对话系统时,流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下,向用户给出以下响应之一:1)直接回答,如果意图不清楚,则可能是不相关的,2)通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此,我们提出了一个多阶段的澄清机制,提示澄清和查询选择的上下文中的问答对话系统。我们表明,我们提出的机制提高了整体用户体验,并优于竞争基线与两个数据集,即公共范围内的范围外的数据集和商业数据集的基础上,真正的用户日志。
2021-10-28 cs.CL
Modeling Multi-hop Question Answering as Single Sequence Prediction
Salesforce Research(赛富时研究院)
解码器融合(Fid)(Izacard和Grave,2020)是一种生成式问答(QA)模型,它利用预先训练的Transformer进行段落检索,并将最先进的技术推向单跳QA。然而,多跳QA的复杂性阻碍了生成式QA方法的有效性。在这项工作中,我们提出了一个简单的生成方法(PathFid),通过明确建模的推理过程来解决多跳问题的答案,扩展任务不仅仅是答案生成。通过线性化支持段落、其关键句子以及最终事实答案的分层推理路径,我们将问题视为单个序列预测任务。为了方便复杂的推理与多个线索,我们进一步扩展了统一的平面表示的多个输入文档的编码交叉通道的相互作用。我们广泛的实验表明,PathFid导致两个多跳QA数据集:HotpotQA和IIRC强大的性能增益。除了性能的提高,PathFid更具有可解释性,这反过来又会产生与基线Fid模型相比更忠实地基于支持段落和事实的答案。
2022-05-18 cs.CL
UniGen: A Unified Generative Framework for Retrieval and Question Answering with Large Language Models
Renmin University of China(中国人民大学)
针对现有生成式检索与问答方法模块独立、难以同步优化的问题,提出统一生成式框架UniGen,通过共享编码器、双解码器、LLM生成连接模块及迭代增强策略,在MS MARCO和NQ数据集上实现两项任务性能提升。
2023-12-18 cs.AI cs.CL cs.IR
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答(QA)是语音助理的重要用例。一种流行的问答方法是提取阅读理解(RC),它在文本段落中找到答案跨度。然而,提取的答案在会话上下文中通常是不自然的,这导致次优的用户体验。在这项工作中,我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型,它将多个段落的答案生成与段落排名和可回答性相结合。此外,在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结,以评估真实性。实验结果表明,与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比,EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Semi-Supervised QA with Generative Domain-Adaptive Nets
Carnegie Mellon University(卡内基梅隆大学)
研究了半监督问答问题-利用未标记文本来提高问答模型的性能。我们提出了一个新的训练框架,生成域自适应网络。在这个框架中,我们训练一个生成模型来生成基于未标记文本的问题,并结合模型生成的问题和人工生成的问题来训练问答模型。我们开发了新的领域自适应算法,基于强化学习,以减轻模型生成的数据分布和人类生成的数据分布之间的差异。实验表明,我们提出的框架获得了显着的改善,从未标记的文本。
2017-04-22 cs.CL cs.LG
MIA 2022 Shared Task Submission: Leveraging Entity Representations, Dense-Sparse Hybrids, and Fusion-in-Decoder for Cross-Lingual Question Answering
Apple(苹果公司)
我们描述了我们的两阶段系统的多语言信息访问(MIA)2022跨语言开放检索问答共享任务。第一阶段包括多语种段落检索与混合密集和稀疏检索策略。第二阶段由一个阅读器组成,它输出第一阶段返回的顶部段落的答案。我们展示了在预训练中使用多语言语言模型与实体表示,稀疏检索信号以帮助稠密检索和解码器融合的有效性。在开发集上,我们在XOR-TyDi QA上获得43.46 F1,在MKQA上获得21.99 F1,平均F1得分为32.73。在测试集上,我们在XOR-TyDi QA上获得40.93 F1,在MKQA上获得22.29 F1,平均F1得分为31.61。我们在开发和测试集上都比官方基准提高了4个F1点。
2022-07-18 cs.CL
Generative Relation Linking for Question Answering over Knowledge Bases
IBM Research T.J. Watson Research Center(IBM研究院托马斯·J·沃森研究中心)
关系链接对于在知识库上实现问答是必不可少的。尽管有各种努力来提高关系链接性能,但是当前最先进的方法没有实现最佳结果,因此,负面地影响了整体端到端问答性能。在这项工作中,我们提出了一种新的方法,关系链接框架,它作为一个生成的问题,促进使用预先训练的序列到序列模型。我们扩展这样的序列到序列模型的想法注入结构化数据从目标知识库,主要是为了使这些模型来处理知识库的细微差别。此外,我们训练模型的目的是生成一个结构化的输出,包括一个列表的参数关系对,使知识验证步骤。我们比较了我们的方法对现有的关系链接系统的四个不同的数据集来自DBpedia和Wikidata。我们的方法报告了对最先进技术的巨大改进,同时使用了一个更简单的模型,可以很容易地适应不同的知识库。
2021-08-16 cs.AI cs.CL
TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense Question Answering
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
无监督常识问答要求在不依赖于已标记任务数据的情况下挖掘有效的常识知识。以往的方法通常从传统的知识库中提取或使用预训练的语言模型(PrLM)来生成固定类型的知识,泛化能力较差。在本文中,我们的目标是解决上述限制,利用存储在PrLM中的隐式知识,并提出了一个两阶段的无监督的常识问答框架(TSGP)。具体来说,我们首先使用知识生成提示生成所需的知识,无限类型的问题和可能的候选答案独立于指定的选择。然后,我们进一步利用答案生成提示生成可能的候选答案独立于指定的选择。在CommonsenseQA、OpenBookQA和SocialIQA三个不同的常识推理任务上的实验结果和分析表明,TSGP显著提高了无监督环境下语言模型的推理能力。我们的代码可在https://github.com/Yueqing-Sun/TSGP上获得。
2022-11-24 cs.AI cs.CL
From Easy to Hard: Two-stage Selector and Reader for Multi-hop Question Answering
State Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
多跳问答(QA)是一项具有挑战性的任务,要求QA系统对多个文档执行复杂的推理,并提供支持事实以及确切的答案。现有的工作往往利用基于图的推理和问题分解来获得推理链,这不可避免地引入额外的复杂性和累积误差的系统。为了解决上述问题,我们提出了一个简单而有效的新框架,从容易到困难(FE2H),以消除分散注意力的信息,并获得更好的上下文表示的多跳QA任务。受迭代文档选择过程和人类渐进式学习习惯的启发,FE2H按照从易到难的方式将文档选择器和阅读器分为两个阶段。具体来说,我们首先选择与问题最相关的文档,然后利用问题和该文档来选择其他相关文档。至于QA阶段,我们的读者首先在单跳QA数据集上进行训练,然后转移到多跳QA任务中。我们在流行的多跳QA基准HotpotQA上全面评估了我们的模型。实验结果表明,我们的方法ourperforms所有其他方法在HotpotQA的排行榜(分心设置)。
2022-05-24 cs.CL
LLM-based Discriminative Reasoning for Knowledge Graph Question Answering
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
本文提出READS方法,将知识图谱问答重构为判别式子任务并设计相应推理策略,以缓解大语言模型的幻觉问题,在WebQSP和CWQ上取得最优性能。
2025-03-07 cs.CL
Evidence-Enhanced Triplet Generation Framework for Hallucination Alleviation in Generative Question Answering
针对生成式问答中的幻觉问题,提出证据增强三元组生成框架 EATQA,通过翻转源对和目标标签学习问题、证据与答案的逻辑关系,并在推理阶段蒸馏证据知识,有效提升了证据生成与查询回答能力,缓解了幻觉。
2024-08-27 cs.AI cs.CL
GSQA: An End-to-End Model for Generative Spoken Question Answering
National Taiwan University(台湾大学);Meta AI
本文提出首个端到端生成式口语问答模型GSQA,通过文本模型初始化和抽取式问答知识迁移实现抽象式推理,在抽取式数据集上提升3%,并展现出对未见抽象式口语问题的泛化能力。
2024-07-22 cs.AI cs.CL
Generative Long-form Question Answering: Relevance, Faithfulness and Succinctness
The Hong Kong University of Science and Technology(香港科技大学)
本论文主要研究了长式问答的相关性、忠实性和简洁性。LFQA旨在为给定的问题生成一个深入的,段落长度的答案,以帮助弥合真实场景和现有的只能提取短跨度答案的开放域QA模型之间的差距。LFQA非常具有挑战性,而且开发不足。很少有工作已经做了建立一个有效的LFQA系统。生成与查询相关并忠实于事实的高质量长格式答案更具挑战性,因为检索到的文档中将包含大量冗余,互补或矛盾的信息。此外,没有先前的工作进行了调查,以产生简洁的答案。我们是最早研究LFQA任务的公司之一。我们开创了从1)查询相关性、2)答案忠实性和3)答案简洁性方面提高答案质量的研究方向。
2022-11-15 cs.AI cs.CL
S$^3$HQA: A Three-Stage Approach for Multi-hop Text-Table Hybrid Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对文本-表格混合多跳问答,提出三阶段框架S3HQA,含检索器、选择器和生成式推理器,解决噪声标注与异构信息利用问题,在完整数据集上超越所有基线并位居HybridQA榜首。
2024-06-25 cs.CL
Formal Query Building with Query Structure Prediction for Complex Question Answering over Knowledge Base
Southeast University(东南大学)
形式化查询构造是知识库上复杂问答的重要组成部分。它旨在为问题构建正确的可执行查询。最近的方法试图排名候选查询所产生的状态转换策略。然而,这种候选生成策略忽略了查询的结构,导致了相当数量的噪声查询。在本文中,我们提出了一个新的正式查询建设的方法,包括两个阶段。在第一阶段,我们预测的查询结构的问题,并利用结构来约束候选查询的生成。我们提出了一种新的图形生成框架来处理结构预测任务,并设计了一个编码器-解码器模型来预测每个生成步骤中预定操作的参数。在第二阶段,我们遵循前面的方法来排名的候选查询。实验结果表明,我们的形式化查询构建方法在复杂问题上优于现有方法,而在简单问题上保持竞争力。
2021-09-08 cs.CL
RankQA: Neural Question Answering with Answer Re-Ranking
ETH Zurich(苏黎世联邦理工学院)
用于叙事内容的神经问答(QA)中的常规范例限于两阶段过程:首先,检索相关文本段落,随后,用于机器理解的神经网络提取最可能的答案。然而,这两个阶段在现状中基本上是孤立的,因此,来自这两个阶段的信息从未被适当地融合。相比之下,这项工作提出了RankQA:RankQA扩展了神经QA中的传统两阶段过程,第三阶段执行额外的答案重新排名。重新排序利用直接从QA管道提取的不同特征,即,检索和理解功能的组合。虽然我们有意简单的设计允许有效的,数据稀疏的估计,但它仍然比更复杂的QA系统有显著的优势:事实上,RankQA在4个基准数据集中的3个上达到了最先进的性能。此外,它的性能在语料库的大小是动态的设置中特别优越。这里的答案重新排名提供了一个有效的补救措施,对潜在的噪声信息的权衡,由于一个可变的语料库大小。因此,RankQA代表了一种新颖的,强大的,因此具有挑战性的基线,为未来的研究在基于内容的QA。
2019-08-12 cs.CL
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本研究探讨利用LLM生成数据增强问答数据集,以提升模型在自然分布偏移下的鲁棒性,通过两步生成上下文和问答对,实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
ChatSOS: Vector Database Augmented Generative Question Answering Assistant in Safety Engineering
School of Mechatronic Engineering, Beijing Institute of Technology(北京理工大学机电学院)
针对基础大语言模型在安全工程应用中数据覆盖有限、响应不可靠的问题,本研究构建了基于爆炸事故报告的向量数据库并开发ChatSOS,显著提升了问答的可靠性、准确性等性能,为安全工程专业查询应用奠定基础。
2024-05-08 cs.AI cs.CL
Open-Domain Conversational Question Answering with Historical Answers
National Taiwan University(国立台湾大学)
开放域会话式问答可以被看作两个任务:段落检索和会话式问答,其中前者依赖于从大型语料库中选择候选段落,后者需要更好地理解问题并结合上下文来预测答案。本文提出了ConvADR-QA,利用历史答案来提高检索性能,并进一步实现更好的回答性能。在我们提出的框架中,检索器使用师生框架,以减少噪音从以前的回合。我们在基准数据集OR-QuAC上的实验表明,我们的模型在提取式和生成式读者设置中的表现优于现有基线,很好地证明了开放域会话问答的历史答案的有效性。
2022-11-17 cs.CL
Crake: Causal-Enhanced Table-Filler for Question Answering over Large Scale Knowledge Base
Beijing Academy of Artificial Intelligence(北京人工智能研究院)
语义解析通过组成知识库(KB)查询来解决知识库(KB)问答(KBQA),其通常涉及节点提取(NE)和图组合(GC)以检测和连接查询中的相关节点。尽管NE和GC之间存在很强的因果关系,但以前的工作未能直接在管道中对这种因果关系进行建模,从而阻碍了子任务相关性的学习。此外,在以前的作品中,GC的序列生成过程会导致模糊性和暴露偏差,这进一步损害了准确性。在这项工作中,我们形式化的语义解析分为两个阶段。在第一阶段(图结构生成)中,我们提出了一个cabinet增强的表填充器,以克服序列建模中的问题,并学习内部因果关系。在第二阶段(关系抽取)中,提出了一种有效的波束搜索算法来扩展大规模知识库上的复杂查询。在LC-QuAD 1.0上的实验表明,我们的方法在保持时间和空间效率的同时,大大超过了以前的最先进技术(17%)。代码和模型可在https://github.com/AOZMH/Crake上获得。
2022-07-08 cs.CL
Commonsense for Generative Multi-Hop Question Answering Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
阅读理解问答任务最近越来越受欢迎,但大多数作品都集中在事实发现的提取问答上。相反,我们专注于更具挑战性的多跳生成任务(NarrativeQA),该任务要求模型在上下文中推理,收集和合成不相交的信息以生成答案。这种类型的多步推理通常还需要理解隐含的关系,人类通过外部背景常识知识来解决这些关系。我们首先提出了一个强大的生成基线,使用多注意力机制执行多跳推理和指针生成器解码器合成的答案。该模型比以前的生成模型表现得更好,并且与当前最先进的跨度预测模型具有竞争力。接下来,我们将介绍一种新的系统,用于通过逐点互信息和基于词频的评分函数从ConceptNet中选择接地多跳关系常识信息。最后,我们有效地使用这个提取的常识信息,以填补上下文跳之间的推理差距,使用选择性门控注意力机制。这显著提高了模型的性能(也通过人工评估进行了验证),为任务建立了新的最先进技术。我们还展示了有希望的初步结果,我们的背景知识增强的泛化能力,通过展示QAngaroo WikiHop,另一个多跳推理数据集的一些改进。
2019-06-01 cs.AI cs.CL
A Two-Stage Approach towards Generalization in Knowledge Base Question Answering
IBM Research(IBM研究院);UMass Amherst(马萨诸塞大学阿默斯特分校)
大多数现有的知识库问答(KBQA)的方法集中在一个特定的基础知识库,无论是因为固有的假设的方法,或因为评估它在一个不同的知识库需要不平凡的变化。然而,许多流行的知识库在其底层模式中具有相似性,可以利用这些相似性来促进跨知识库的泛化。为了实现这一概括,我们引入了一个KBQA框架的基础上,明确分离语义解析的知识库交互,促进跨数据集和知识图谱的迁移学习的2阶段架构。我们表明,在具有不同基础知识库的数据集上进行预训练仍然可以提供显着的性能增益并降低样本复杂性。我们的方法实现了LC-QuAD(DBpedia),WebQSP(Freebase),SimpleQuestions(Wikidata)和MetaQA(Wikimovies-KG)的可比或最先进的性能。
2021-11-17 cs.AI cs.CL
Generative Bias for Robust Visual Question Answering
KAIST(韩国科学技术院);Hanyang University(汉阳大学)
视觉问答(VQA)的任务是众所周知的困扰的问题,VQA模型利用数据集内的偏见,使其最终的预测。已经提出了各种先前的基于系综的去偏置方法,其中附加模型被有目的地训练为偏置,以便训练鲁棒目标模型。然而,这些方法仅从训练数据的标签统计或从单个模态分支计算模型的偏差。在这项工作中,为了更好地学习目标VQA模型所遭受的偏差,我们提出了一种生成方法来直接从目标模型训练偏差模型,称为GenB。具体而言,GenB采用生成网络来通过对抗性目标和知识蒸馏的组合来学习目标模型中的偏差。然后,我们使用GenB作为偏差模型对我们的目标模型进行去偏差,并通过广泛的实验展示了我们的方法对各种VQA偏差数据集的影响,包括VQA-CP 2,VQA-CP 1,GQA-OOD和VQA-CE,并在VQA-CP 2上显示了LXMERT架构的最新结果。
2023-03-22 cs.AI cs.CL cs.CV
Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen University of Advanced Technology(深圳理工大学)
本文提出 PFR-LQA 三阶段框架,通过法律领域预训练、任务微调和上下文重排序提升双编码器在法律问答中的稠密检索性能,实验证明其优于现有强基线方法。
2024-12-27 cs.CL
Multi-Modal Generative Fuzzy System: Fuzzy Inference Guided Large Model Interactive Question Answering Framework
该研究针对多模态问答的模态偏差、知识不确定性与推理深度不足问题,提出多模态生成模糊系统(MMGFS),通过多模态协同沉思机制与模糊规则多跳推理实现性能提升,在多数据集上优于现有方法。
2026-08-18 cs.AI cs.CL
LitTraceQA: A Benchmark for Multi-Stage Grounding and Verification in Scientific Question Answering
University of Waterloo(滑铁卢大学);Amazon(亚马逊公司);City University of Hong Kong(香港城市大学);University of Amsterdam(阿姆斯特丹大学)
该研究提出LitTraceQA基准,用于科学问答的多阶段溯源与验证,提供含多类型证据的问答数据,可评估系统的论文检索、证据溯源及答案准确性,助力生成可验证的科学问答结果。
2026-08-18 cs.CL
Event Knowledge Incorporation with Posterior Regularization for Event-Centric Question Answering
University of Warwick(华威大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
提出一种通过后验正则化将事件触发标注知识注入预训练语言模型的方法,提升事件中心问答的事件推理能力,在TORQUE和ESTER数据集上取得强劲性能。
2023-05-08 cs.CL