Reinforcement Learning from Reformulations in Conversational Question Answering over Knowledge Graphs
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
个人助理的兴起使得会话式问答（ConvQA）成为用户-系统交互的非常流行的机制。在知识图谱（KG）上进行ConvQA的最先进方法只能从流行基准测试中发现的清晰问答对中学习。然而，在现实中，这样的训练数据很难获得：用户很少会明确地将答案标记为正确或错误。在这项工作中，我们向更自然的学习范式迈出了一步-从嘈杂和隐含的反馈通过问题重新表述。重新表述可能是由不正确的系统响应触发的，而新的后续问题可能是前一轮答案的积极信号。我们提出了一个强化学习模型，称为征服，可以从会话流的问题和重构。CONQUER将应答过程建模为多个代理在KG上并行行走，其中行走由使用策略网络采样的动作确定。该策略网络将问题与会话上下文一起作为输入，并通过从重构可能性获得的噪声奖励进行训练。为了评估CONQUER，我们创建并发布了ConvRef，这是一个基准测试，包含大约11 k个自然对话，其中包含大约205 k个重构。实验表明，CONQUER成功地从嘈杂的奖励信号中学习回答会话问题，在最先进的基线上有显着改善。
2021-08-20 cs.CL cs.IR
Conversational Question Answering over Passages by Leveraging Word Proximity Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
文本段上的问答是信息检索领域的一个重要问题。最近，会话设置引起了人们的注意，其中用户询问一系列问题以满足她围绕主题的信息需求。虽然这种设置是一种自然的设置，类似于人类彼此交谈，但它引入了两个关键的研究挑战：理解用户在后续问题中留下的隐含上下文，以及处理特设问题公式。在这项工作中，我们展示了CROWN（通过词网络推理的会话段落排名）：一个无监督但有效的系统，用于会话QA与通道响应，支持多种模式的上下文传播多个回合。为此，CROWN首先从大型语料库中构建一个词邻近网络（WPN）来存储统计上显著的术语共现。在回答时，段落通过其与问题的相似性和查询术语的一致性的组合进行排名：这些因素通过从WPN读取节点和边权重来测量。CROWN提供了一个界面，既直观的最终用户，并为专家的洞察力，重新配置到个人设置。在TREC CAsT数据上评估了CROWN，其中它在神经方法池中实现了高于中值的性能。
2020-05-25 cs.CL cs.IR
Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
本文提出CONVSR框架，利用结构化中间表示作为对话线索来解析对话式问答中的隐式依赖，在QuAC和CANARD上取得优于标准问题重写模型的F1分数。
2023-04-14 cs.CL cs.IR
Open-Domain Conversational Question Answering with Historical Answers
National Taiwan University（国立台湾大学）
开放域会话式问答可以被看作两个任务：段落检索和会话式问答，其中前者依赖于从大型语料库中选择候选段落，后者需要更好地理解问题并结合上下文来预测答案。本文提出了ConvADR-QA，利用历史答案来提高检索性能，并进一步实现更好的回答性能。在我们提出的框架中，检索器使用师生框架，以减少噪音从以前的回合。我们在基准数据集OR-QuAC上的实验表明，我们的模型在提取式和生成式读者设置中的表现优于现有基线，很好地证明了开放域会话问答的历史答案的有效性。
2022-11-17 cs.CL
Technical report on Conversational Question Answering
ZhuiYi Technology（追一科技）
会话问答是一项具有挑战性的任务，因为它需要了解会话历史。在这个项目中，我们提出了一个新的系统RoBERTa + AT +KD，它涉及理性标记多任务，对抗训练，知识蒸馏和语言后处理策略。在没有数据增强的情况下，我们的单一模型在CoQA测试集上达到90.4（F1），比当前最先进的单一模型高出2.6%F1。
2019-09-24 cs.CL
Preference-based Learning with Retrieval Augmented Generation for Conversational Question Answering
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对对话式问答的三个子任务，提出基于流水线的PRAISE方法，通过大语言模型适配器利用自身生成结果和最终回答性能反馈学习，在主流基准上精度提升15.5个百分点。
2025-04-15 cs.CL cs.IR
Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion
MPI for Informatics（马克斯·普朗克信息学研究所）；Amazon Alexa（亚马逊Alexa）
以事实为中心的信息需求很少是一次性的;用户通常会提出后续问题来探索一个主题。在这样的会话设置中，用户的输入通常是不完整的，其中实体或谓词被遗漏，以及不合语法的短语。这对问答（QA）系统提出了巨大的挑战，因为QA系统通常依赖于完整的疑问句中的线索。作为一种解决方案，我们开发了CONVEX：一种无监督的方法，可以通过使用迄今为止看到的实体和谓词来维护会话上下文，并自动推断后续问题的缺失或模糊部分，从而在知识图谱（KG）上回答不完整的问题。我们的方法的核心是一个图探索算法，明智地扩大了边界，找到候选答案的当前问题。为了评估CONVEX，我们发布了ConvQuestions，这是一个众包基准，包含来自五个不同领域的11，200个不同对话。我们证明了CONVEX：（i）为任何独立的QA系统添加会话支持，（ii）优于最先进的基线和问题完成策略。
2019-11-05 cs.CL cs.IR
Multifaceted Improvements for Conversational Open-Domain Question Answering
Hangzhou Dianzi University（杭州电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
开放域问答（OpenQA）是文本问答的一个重要分支，它基于大量的非结构化文档来发现给定问题的答案。有效地从开放域资源中挖掘正确答案还有很长的路要走。现有的OpenQA系统可能会受到问题复杂性和模糊性的问题，以及不足的背景知识。最近，会话OpenQA被提出来解决这些问题，丰富的上下文信息的会话。尽管它可能是有前途的，但存在几个基本的限制，包括不准确的问题理解，对通道选择的粗略排名，以及在训练和推理阶段中黄金通道的不一致使用。为了缓解这些限制，在本文中，我们提出了一个框架与多方面的改进会话开放域问答（MICQA）。具体而言，MICQA具有三个显著优势。首先，所提出的基于KL发散的正则化能够导致更好的问题理解，用于检索和答案阅读。第二，增加的后排名模块可以将更多相关的段落推到顶部放置，并为读者选择两方面的约束。第三，精心设计的课程学习策略有效地缩小了训练和推理的黄金通道设置之间的差距，鼓励读者在没有黄金通道帮助的情况下找到真正的答案。在公开数据集OR-QuAC上进行的大量实验证明了MICQA在会话OpenQA任务中优于最先进的模型。
2022-04-01 cs.CL cs.IR
Conversational Question Answering on Heterogeneous Sources
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出端到端流水线CONVINSE，通过结构化表示统一融合知识库、文本和表格异构源证据生成答案，并发布首个异构源对话问答基准ConvMix，实验证明其优于现有基线。
2023-06-30 cs.CL cs.IR
Knowledge-based Conversational Search
允许直观和全面访问数字存储信息的对话界面仍然是一个雄心勃勃的目标。在这篇论文中，我们通过分析需求和提出具体的解决方案来自动化一些基本组件和任务，这样的系统应该支持对话搜索系统的设计奠定了基础。我们描述了几个相互依赖的研究，进行了分析更先进的会话搜索系统的设计要求，能够支持复杂的类人对话的互动，并提供访问庞大的知识库。在前两章的研究中，我们重点分析了信息寻求对话的共同结构，通过捕捉话语之间的领域独立的功能关系以及来自共享背景知识的特定领域的隐含语义关系的经常性模式。我们的研究结果表明，问答是有效的信息访问所需的关键组成部分之一，但它不是对话搜索系统应该支持的唯一类型的对话交互。在第三章中，我们提出了一种新的方法，从知识图谱的复杂问答，超越了目前的最先进的结果在功效和效率方面。在最后的研究章节中，我们把我们的注意力转向另一种交互模式，我们称之为会话式浏览，其中，不同于问答，会话系统在对话交互过程中起着更积极的作用。我们表明，这种方法可以帮助用户发现相关的项目是很难检索使用问答由于词汇不匹配的问题。
2019-12-14 cs.CL cs.IR
An Empirical Study of Content Understanding in Conversational Question Answering
National Taiwan University（国立台湾大学）
随着上下文无关问答系统的大量研究，会话式问答模型成为自然语言处理领域的一个发展趋势。多亏了最近收集的数据集，包括QuAC和CoQA，在会话式问答方面有了更多的工作，最近的工作在这两个数据集上都取得了有竞争力的性能。然而，据我们所知，会话理解研究的两个重要问题还没有得到很好的研究：1）基准数据集能在多大程度上反映模型的内容理解？2)模型在回答问题时是否很好地利用了对话内容？为了研究这些问题，我们设计了不同的训练设置，测试设置，以及攻击，以验证模型的能力，内容理解QuAC和CoQA。实验结果表明，在基准数据集，QuAC和CoQA，会话理解研究的一些潜在的危险。我们的分析还揭示了模型可以学习什么以及数据集如何使模型产生偏差。通过对该任务的深入研究，相信本研究对会话理解的进一步发展具有一定的借鉴意义。源代码可在https://github.com/MiuLab/CQA-Study上获得。
2019-11-27 cs.CL
An Answer Verbalization Dataset for Conversational Question Answerings over Knowledge Graphs
University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；University of Siegen（锡根大学）
我们引入了一个新的数据集会话问答的知识图谱（KG）与口头回答。基于KGs的问答目前主要集中在单轮问题（KGQA）或多轮会话式问答（ConvQA）的答案生成上。然而，在现实世界的场景中（例如，语音助理，如Siri，Alexa和Google Assistant），用户更喜欢口头回答。本文通过扩展现有的ConvQA数据集，使用多个释义的口头回答，为最先进的技术做出了贡献。我们用五个序列到序列模型进行实验，在保持语法正确性的同时生成答案响应。我们还执行了一个错误分析，详细说明了模型在指定类别中的错误预测率。我们提出的数据集扩展与回答语言化是公开的，其使用更广泛的实用程序的详细文档。
2022-08-13 cs.CL
Answering Conversational Questions on Structured Data without Logical Forms
Google Research（谷歌研究院）
我们提出了一种新的方法来回答基于结构化对象（如知识库或表）的顺序问题，而不使用逻辑形式作为中间表示。我们使用基于Transformer架构的图神经网络模型将表编码为图。然后使用指针网络从编码图中选择答案。此模型适用于处理围绕结构化数据的会话，其中选择问题答案的注意力机制也可用于解析会话引用。我们证明了这种方法的有效性与竞争的结果顺序问答（SQA）任务（Iyyer等人，2017年）。
2019-08-30 cs.CL
Learn to Resolve Conversational Dependency: A Consistency Training Framework for Conversational Question Answering
Korea University（高丽大学）
会话问答中的一个主要问题是如何解决诸如照应和省略等会话依赖问题。然而，现有的方法没有明确地训练QA模型如何解决依赖关系，因此这些模型在理解人类对话方面是有限的。在本文中，我们提出了一个新的框架，ExCorD（显式指导如何解决会话依赖），以提高能力的QA模型在理解会话上下文。ExCorD首先生成可以在没有会话历史的情况下理解的自包含问题，然后使用基于一致性的正则化器使用原始和自包含问题对训练QA模型。在我们的实验中，我们证明了ExCorD显着提高了QA模型的性能高达1.2 F1的QuAC，和5.2 F1的CANARD，同时解决了现有方法的局限性。
2021-06-22 cs.AI cs.CL
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
Korea Advanced Institute of Science Technology（韩国科学技术院）
会话式问答（ConvQA）模型的目标是通过相关段落和在会话中多次出现的先前问答对来回答问题。为了将这些模型应用于现实世界的场景，一些现有的工作使用预测的答案，而不是不可用的地面真相答案，作为推理的会话历史。然而，由于这些模型通常预测错误的答案，使用所有的预测而不过滤显着阻碍了模型的性能。为了解决这个问题，我们建议根据ConvQA模型中估计的置信度和不确定性过滤掉对话历史中不准确的答案，而不进行任何架构更改。此外，为了使置信度和不确定性值更可靠，我们建议进一步校准它们，从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型，基于答案选择的现实对话问答，结果表明我们的模型显著优于相关基线。代码可在：https://github.com/starsuzi/AS-ConvQA.
2023-02-10 cs.AI cs.CL cs.IR
Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning
Korea Advanced Institute of Science Technology（韩国科学技术院）
本文提出基于短语检索的 ODConvQA 单阶段答案预测方法，并通过对比学习建模多轮会话依赖，在两个数据集上显著优于检索器-阅读器基线。
2023-06-07 cs.CL cs.IR cs.LG
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答（QA）是语音助理的重要用例。一种流行的问答方法是提取阅读理解（RC），它在文本段落中找到答案跨度。然而，提取的答案在会话上下文中通常是不自然的，这导致次优的用户体验。在这项工作中，我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型，它将多个段落的答案生成与段落排名和可回答性相结合。此外，在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结，以评估真实性。实验结果表明，与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比，EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Active Learning and Multi-label Classification for Ellipsis and Coreference Detection in Conversational Question-Answering
Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）
在人类会话中，省略和指代是常见的语言现象。虽然这些现象是使人机对话更流畅和自然的一种手段，但只有少数对话语料库包含明确的指示，哪些话轮包含省略和/或共指。在本文中，我们解决的任务，自动检测省略和共指会话问答回答。我们建议使用基于DistilBERT的多标签分类器。多标签分类和主动学习被用来补偿有限的标记数据量。我们表明，这些方法大大提高了分类器的性能，用于检测手动标记的数据集上的这些现象。
2022-07-07 cs.CL
Can Question Rewriting Help Conversational Question Answering?
The Hong Kong University of Science and Technology（香港科技大学）
问题重写（QR）是会话问答（CQA）的一个子任务，旨在通过将问题重新表述为一个独立的形式，来缓解理解对话历史之间依赖关系的挑战。尽管看似合理，但几乎没有证据证明QR是CQA的缓解方法。为了验证QR在CQA中的有效性，我们研究了一种强化学习方法，该方法集成了QR和CQA任务，并且不需要针对目标CQA的相应QR数据集。然而，我们发现RL方法与端到端基线相当。我们提供了一个失败的分析，并描述了利用QR CQA的困难。
2022-04-13 cs.CL
Fluent Response Generation for Conversational Question Answering
Ohio State University（俄亥俄州立大学）；Amazon Alexa（亚马逊Alexa）
问答（QA）是开放域会话Agent的一个重要方面，在会话QA（ConvQA）子任务中获得了特定的研究热点。最近的ConvQA努力的一个显着的局限性是响应是从目标语料库中提取答案跨度，从而忽略了高质量会话代理的自然语言生成（NLG）方面。在这项工作中，我们提出了一种方法，用于将QA响应定位在一个SEQ2SEQ NLG方法中，以生成流畅的语法回答响应，同时保持正确性。从技术角度来看，我们使用数据增强来为端到端系统生成训练数据。具体来说，我们开发了句法转换（ST）来产生特定于问题的候选答案响应，并使用基于BERT的分类器对它们进行排名（Devlin等人，2019年）。SQuAD 2.0数据的人体评价（Rajpurkar等人，2018）证明，所提出的模型在生成对话响应方面优于基线CoQA和QuAC模型。我们通过对CoQA数据集进行测试，进一步展示了我们模型的可扩展性。代码和数据可在https://github.com/abaheti95/QADialogSystem上获得。
2020-12-17 cs.CL
Weakly-Supervised Open-Retrieval Conversational Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Ant Financial Services Group（蚂蚁集团）
最近关于问答（QA）和会话式QA（ConvQA）的研究强调检索的作用：系统首先从大量集合中检索证据，然后提取答案。这种开放检索ConvQA设置通常假设每个问题都可以通过特定段落中的单个文本跨度（跨度答案）来回答。因此，从系统是否可以从检索到的段落中恢复该地面实况答案跨度的精确匹配来导出监督信号。这种方法被称为跨度匹配弱监督。然而，寻求信息的对话对于这种跨度匹配方法是具有挑战性的，因为长的答案，特别是自由形式的答案，不一定是任何段落的严格跨度。因此，我们引入了一个学习弱监督的方法，可以识别一个段落中的已知答案的释义跨度。我们在QuAC和CoQA数据集上的实验表明，跨度匹配的弱监督只能处理跨度答案的会话，而对于人们生成的自由形式的答案，效果不太令人满意。我们的方法更灵活，因为它可以处理跨度答案和自由形式的答案。此外，我们的方法可以更强大时，结合跨度匹配的方法，这表明它是补充跨度匹配的方法。我们还进行了深入的分析，以显示在弱监督设置下对开放检索ConvQA的更多见解。
2021-03-03 cs.CL cs.IR
Multi-Task Learning for Conversational Question Answering over a Large-Scale Knowledge Base
University of Technology Sydney（悉尼科技大学）；Microsoft（微软）；Sun Yat-sen University（中山大学）
我们考虑了大规模知识库上的会话式问答问题。为了处理大规模知识库中庞大的实体词汇，现有的基于神经语义解析的方法通常将任务分解为多个子任务，然后依次求解，这会导致以下问题：1）前一个子任务中的错误会传播并对下游子任务产生负面影响; 2）每个子任务不能自然地与其他子任务共享监督信号。为了解决这些问题，我们提出了一个创新的多任务学习框架，其中配备指针的语义解析模型被设计用于解决会话中的共指，并自然地赋予联合学习一个新的类型感知实体检测模型。因此，所提出的框架，使共享的监督和消除错误传播的影响。在包含1280万个实体的160万个问答对的大规模会话问答数据集上的实验表明，与以前的最先进的工作相比，所提出的框架将总体F1分数从67%提高到79%。
2019-10-11 cs.CL
Ditch the Gold Standard: Re-evaluating Conversational Question Answering
Princeton University（普林斯顿大学）
会话式问答旨在为用户提供自然语言的答案。现有的会话QA基准将模型与预先收集的人与人之间的对话进行比较，使用会话历史中提供的真实答案。目前还不清楚我们是否可以依赖这种静态评估来进行模型开发，以及当前的系统是否可以很好地推广到现实世界的人机对话。在这项工作中，我们进行了第一次大规模的人类评估国家的最先进的会话QA系统，其中人类评估者与模型交谈，并判断他们的答案的正确性。我们发现，人机对话的分布与人与人之间的对话有很大的不同，并且在模型排名方面，人与金历史评价之间存在分歧。我们进一步研究如何提高自动评估，并提出了一个问题重写机制的基础上预测的历史，更好地与人类的判断。最后，我们分析了各种建模策略的影响，并讨论了未来的发展方向，以建立更好的会话问答系统。
2022-03-21 cs.CL cs.LG
Conversational Question Answering: A Survey
The University of Adelaide（阿德莱德大学）；Macquarie University（麦考瑞大学）
问答（QA）系统提供了一种查询以各种格式可用的信息的方式，包括但不限于以自然语言的非结构化和结构化数据。它构成了对话式人工智能（AI）的相当大的一部分，这导致了对对话式问答（CQA）的特殊研究课题的引入，其中要求系统理解给定的上下文，然后进行多轮问答以满足用户的信息需求。虽然大多数现有的研究工作的重点是受到单轮QA，多轮QA领域最近抓住了注意力和突出，由于大规模的，多轮QA数据集的可用性和预先训练的语言模型的发展。近年来，随着大量的模型和研究论文的增加，迫切需要以统一的方式安排和呈现相关工作，以简化未来的研究。因此，这项调查旨在对CQA的最新研究趋势进行全面回顾，主要基于2016-2021年的综述论文。我们的研究结果表明，已经出现了从单轮到多轮问答的趋势，这从不同的角度赋予了对话式AI领域以力量。本调查旨在为研究界提供一个缩影，希望为CQA领域奠定坚实的基础。
2021-06-03 cs.AI cs.CL cs.IR
SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering
Microsoft Speech and Dialogue Research Group（微软语音与对话研究组）
会话式问答（CQA）是一种需要理解对话语境的新型问答任务。与传统的单轮机器阅读理解（MRC）任务不同，CQA包括篇章理解、共指消解和语境理解。在本文中，我们提出了一种创新的基于上下文的注意力深度神经网络SDNet，将上下文融合到传统的MRC模型中。我们的模型利用相互注意和自我注意来理解会话上下文并从段落中提取相关信息。此外，我们展示了一种新的方法来集成最新的BERT上下文模型。实证结果表明，我们的模型的有效性，它设置了新的国家的最先进的结果在CoQA排行榜，优于以前的最佳模型的1.6%F1。我们的集成模型进一步提高了2.7%F1的结果。
2019-01-02 cs.CL
TopiOCQA: Open-domain Conversational Question Answering with Topic Switching
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Montréal（微软蒙特利尔）；ServiceNow Research（ServiceNow研究院）；Facebook CIFAR AI Chair（Facebook-CIFAR人工智能讲席）
在会话式问答场景中，提问者试图通过一系列相互依赖的问题和答案来提取关于主题的信息。随着谈话的进行，他们可能会切换到相关的话题，这是在信息搜索会话中常见的现象。然而，当前用于会话式问答的数据集在两个方面受到限制：1）它们不包含主题转换;以及2）它们假设给出了会话的参考文本，即，该设置不是开放域。我们介绍TopiOCQA（发音为Tapioca），这是一个开放域的会话数据集，在维基百科上具有主题开关。TopiOCQA包含3，920个对话，其中包含信息寻求问题和自由形式的答案。平均而言，我们数据集中的对话跨越13个问答回合，涉及4个主题（文档）。TopiOCQA提出了一个具有挑战性的测试床的模型，在同一会话的多个回合，需要有效的检索，结合使用会话历史构建有效的响应。我们评估了几个基线，通过结合最先进的文档检索方法与神经阅读器模型。我们最好的模型达到了55.8的F1，比人类的表现低了14.2分，这表明我们的数据集很难。我们的数据集和代码可在https://mcgill-nlp.github.io/topiocqa上获得
2022-02-20 cs.CL
PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance
The Chinese University of Hong Kong（香港中文大学）；Sichuan University（四川大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
为了促进金融领域混合背景下的会话式问答（CQA），我们提出了一个新的数据集，名为PACIFIC。与现有的CQA数据集相比，PACIFIC具有三个关键特征：（i）主动性，（ii）数值推理，（iii）表格和文本的混合上下文。因此，本文提出了一个新的研究课题--主动会话问答（PCQA）。此外，我们提出了一种新的方法，即UniPCQA，以适应PCQA的输入和输出内容的混合格式到Seq 2Seq问题，包括重新制定的数值推理过程的代码生成。UniPCQA在PCQA中的所有子任务上执行多任务学习，并且通过交叉验证顶部$k$采样的Seq 2Seq输出来结合简单的集成策略以减轻多任务学习中的错误传播问题。我们使用广泛的基线对PACIFIC数据集进行基准测试，并对PCQA的每个子任务进行全面评估。
2023-03-19 cs.CL
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam（阿姆斯特丹大学）；Utrecht University（乌得勒支大学）
在许多现实世界的场景中，缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外，人类经常通过问几个问题来寻求答案，以获得更全面的信息。随着对话变得越来越广泛，机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中，我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识，通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明，我们的检索阅读系统可以利用检索到的背景知识，以产生显着更好的答案。结果还表明，我们的上下文摘要显着帮助检索者和读者介绍更简洁，更少的噪音上下文信息。
2022-12-17 cs.CL
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)（巴斯克地区大学（UPV/EHU））；New York University (NYU)（纽约大学（NYU））
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会，但几乎没有证据表明其可行性。在大多数应用程序中，用户无法向系统提供正确的答案，但他们能够提供二进制（正确，不正确）反馈。在本文中，我们提出了反馈加权学习的基础上重要性采样，以改善初始监督系统使用二进制用户反馈。我们对文档分类（用于开发）和会话问答数据集（如QuAC和DoQA）进行模拟实验，其中二进制用户反馈来自黄金注释。结果表明，我们的方法能够改进初始监督系统，接近完全监督系统，在域内实验（QuAC）中可以访问相同的标记示例，甚至在域外实验（DoQA）中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Structured Context and High-Coverage Grammar for Conversational Question Answering over Knowledge Graphs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
我们使用神经语义解析方法来解决大知识图谱上弱监督会话问答的问题。我们引入了一种新的逻辑形式（LF）语法，可以在图形上对各种查询进行建模，同时保持足够简单以有效地生成监督数据。我们基于Transformer的模型采用类似JSON的结构作为输入，使我们能够轻松地将知识图谱和会话上下文结合起来。这种结构化的输入被转换为嵌入列表，然后被馈送到标准的注意力层。我们验证了我们的方法，无论是在语法覆盖率和LF执行的准确性，两个公开可用的数据集，CSQA和ConvQuestions，都在维基数据接地。在CSQA上，我们的方法将覆盖范围从$80\%$增加到$96.2\%$，并将LF执行精度从$70.6\%$增加到$75.6\%$。在ConvQuestions上，我们在最先进的技术方面取得了有竞争力的结果。
2021-09-01 cs.CL
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）
在口语问答中，QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中，我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题，并探索在口语文档中提供更多线索与信息收集系统的可行性。为此，而不是采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，直接融合音频文本功能，以减少自动语音识别假设和参考转录之间的错位。此外，为了评估问答系统在对话式交互中的能力，我们组装了一个口语会话问答（口语CoQA）数据集，其中包含超过12万个问答对。实验表明，我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
CoQA: A Conversational Question Answering Challenge
Stanford University（斯坦福大学）；Computer Science Department（计算机科学系）
人类通过参与涉及一系列相互关联的问题和答案的对话来收集信息。因此，对于帮助收集信息的机器来说，使它们能够回答会话问题至关重要。我们介绍了CoQA，一种用于构建会话式问答系统的新型数据集。我们的数据集包含127k个问题和答案，这些问题和答案来自七个不同领域的8k个文本段落对话。问题是对话式的，答案是自由形式的文本，并在文章中突出显示相应的证据。我们深入分析了CoQA，并表明会话问题具有现有阅读理解数据集中不存在的挑战性现象，例如，共指和语用推理。我们在CoQA上评估强大的会话和阅读理解模型。最好的系统获得了65.4%的F1分数，比人类的表现（88.8%）落后23.4分，这表明有足够的改进空间。我们在http://stanfordnlp.github.io/coqa/上推出CoQA作为对社区的挑战
2019-03-29 cs.AI cs.CL cs.LG
Context Transformer with Stacked Pointer Networks for Conversational Question Answering over Knowledge Graphs
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；Osthus GmbH（奥斯图斯有限公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
神经语义解析方法已广泛应用于基于知识图谱的问答系统。这样的方法提供了处理具有复杂查询和大量实体的QA数据集的灵活性。在这项工作中，我们提出了一个新的框架名为纸箱，它执行多任务的语义解析处理问题的会话问答在一个大规模的知识图谱。我们的框架包括一个堆栈的指针网络作为一个上下文Transformer模型的扩展，用于解析输入的问题和对话的历史。框架生成可以在知识图谱上执行的动作序列。我们在一个标准数据集上对CARTON进行了评估，以进行复杂的顺序问答，CARTON在该数据集上的表现优于所有基线。具体来说，我们观察到的性能改善F1分数的10个问题类型相比，以前的状态。对于逻辑推理问题，11个绝对点的改善达到。
2021-06-24 cs.CL
ChatR1: Reinforcement Learning for Conversational Reasoning and Retrieval Augmented Question Answering
University of Amsterdam（阿姆斯特丹大学）
ChatR1通过强化学习实现对话问答中的推理与检索增强，通过意图感知奖励提升多轮对话性能，优于多个基准数据集。
2026-04-25 cs.CL cs.IR
How Accurate Are LLMs at Multi-Question Answering on Conversational Transcripts?
Dialpad Inc.（Dialpad公司）
本研究评估LLMs基于同一对话上下文回答多问题的能力，发现微调的80亿参数公开模型在准确性上可超越GPT-4o，具有成本效益部署潜力。
2025-09-26 cs.CL
CarExpert: Leveraging Large Language Models for In-Car Conversational Question Answering
BMW Group（宝马集团）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；ONSEI GmbH（ONSEI有限公司）；BIG PICTURE GmbH（BIG PICTURE有限公司）
提出CarExpert，一种利用大型语言模型的车载检索增强对话式问答系统，通过控制输入、提供领域文档和控制输出来生成安全、自然的汽车特定答案，实验证明其优于现有最先进模型。
2023-10-14 cs.CL cs.IR cs.LG
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语会话问答（SCQA）要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同，SCQA涉及音频信号处理、段落理解和上下文理解。然而，ASR系统引入了意想不到的噪声信号，这导致SCQA的性能下降。为了克服这个问题，我们提出了CADNet，一种新的上下文化的注意力蒸馏方法，它适用于交叉注意力和自我注意力，以获得ASR鲁棒的上下文嵌入表示的通道和对话历史，以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验，并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
BERT-CoQAC: BERT-based Conversational Question Answering in Context
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
问答对话系统作为一种通过与机器人对话来查询任何特定信息的有前途的方式，近年来获得了越来越多的研究兴趣。交互式问答系统的设计一直是自然语言处理领域的一项具有挑战性的任务，并被用作评估机器自然语言理解能力的基准。然而，这样的系统往往挣扎时，问题回答是由用户在多个回合，以寻求更多的信息的基础上，他们已经学会了，因此，引起了另一个复杂的形式称为会话问答（CQA）。CQA系统经常被批评在回答问题时不理解或利用对话的先前上下文。为了弥补这一研究空白，本文探讨了如何将会话历史整合到神经机器理解系统中。一方面，我们引入了一个框架的基础上，一个可编程的预先训练的语言模型称为BERT的历史变成系统。另一方面，我们提出了一个历史选择机制，选择相关的，并有助于回答当前问题的回合。实验结果表明，我们的框架是在性能与国家的最先进的模型在QuAC领导人板。我们还进行了一些实验，以显示使用整个上下文信息的副作用，这带来了不必要的信息和噪声信号，导致模型的性能下降。
2021-04-23 cs.CL
Semantic Parsing for Conversational Question Answering over Knowledge Graphs
University of Edinburgh（爱丁堡大学）；Amazon Alexa（亚马逊Alexa）
在本文中，我们感兴趣的是开发语义解析器，理解嵌入在与用户的对话中的自然语言问题，并将其置于具有非常大的词汇量（涵盖数千个概念名称和关系，以及数百万个实体）的通用知识图谱（KG）中的定义上的正式查询。为此，我们开发了一个数据集，其中用户问题用Sparql解析进行注释，系统答案对应于其执行结果。我们提出了两种不同的语义解析方法，并强调了任务的挑战：处理大词汇，建模会话上下文，预测查询与多个实体，并概括到新的问题在测试时。我们希望我们的数据集将作为对话式语义解析器开发的有用测试平台。我们的数据集和模型发布在https://github.com/EdinburghNLP/SPICE。
2023-01-28 cs.CL
Reinforcement Learning for Conversational Question Answering over Knowledge Graph
本文提出用强化学习解决法律知识库对话式问答中输入问题含噪声、表达不明确导致难以定位答案的问题，并在多个真实数据集上验证了有效性。
2024-01-16 cs.AI cs.CL
Robust Training for Conversational Question Answering Models with Reinforced Reformulation Generation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
提出框架REIGN，通过系统生成问题改写、利用深度强化学习筛选有益改写并支持零样本迁移，显著提升了基于知识图谱的对话式问答模型对表层形式变化的鲁棒性。
2024-02-16 cs.AI cs.CL cs.IR
Conversational Question Answering over Knowledge Graphs with Transformer and Graph Attention Networks
University of Bonn（波恩大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Zerotha Research（Zerotha研究院）；Cerence GmbH（赛轮思有限公司）；Osthus GmbH（Osthus有限公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
本文研究了基于知识图谱的（复杂）会话式问答问题。为此，我们提出了LASAGNE（muLti-task语义解析with Transformer and Graph attenNtion nEtworks）。这是第一种方法，它采用了一个Transformer架构扩展与图形注意力网络的多任务神经语义解析。LASAGNE使用一个Transformer模型来生成基本的逻辑形式，而Graph Attention模型用于利用（实体）类型和谓词之间的相关性来生成节点表示。LASAGNE还包括一个新的实体识别模块，它可以检测、链接和排名问题上下文中的所有相关实体。我们评估LASAGNE在标准数据集上进行复杂的顺序问答，在所有问题类型上都优于现有的基线平均值。具体来说，我们表明，LASAGNE提高了10个问题类型中的8个的F1分数;在某些情况下，与最先进的技术相比，F1分数的增加超过20%。
2021-06-24 cs.CL
Learning to Select the Relevant History Turns in Conversational Question Answering
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
本文提出DHS-ConvQA框架，通过生成实体、相似度剪枝、注意力重排序及二元分类保留有用术语，动态选择会话式问答中的相关历史轮次，实验证明其优于问题重写且能避免无关上下文的负面影响。
2023-08-04 cs.AI cs.CL cs.IR
No that's not what I meant: Handling Third Position Repair in Conversational Question Answering
AlanaAI
本文发布了首个对话式问答场景下的大规模第三位置修正数据集Repair-QA，通过训练和评估T5及GPT-3等基线模型，证明接触该数据集能显著提升模型处理TPR的能力。
2023-07-31 cs.CL
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline（源讯世界线）
语言模型的最新进展（例如BERT、XLNet等），在复杂的NLP任务（如阅读理解）上，然而，用于训练的标记数据集主要以英语提供，这使得很难用其他语言确认进展。幸运的是，模型现在已经在来自数百种语言的未标记数据上进行了预训练，并表现出从一种语言到另一种语言的有趣迁移能力。在本文中，我们表明，多语言的BERT是自然能够zero-shot转移提取问答任务（eQA）从英语到其他语言。更具体地说，它超过了以前已知的最好的转移到日语和法语的基线。此外，使用最近发布的大型eQA法语数据集，我们能够进一步证明：（1）zero-shot迁移提供的结果非常接近于目标语言的直接训练;（2）迁移和目标语言训练的组合是总体上最好的选择。最后，我们提出了一个实际的应用：一个多语言的会话代理称为凯特回答人力资源相关的问题，在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
PAQA: Toward ProActive Open-Retrieval Question Answering
Sorbonne Université（索邦大学）；University of Montréal（蒙特利尔大学）；Université de Lille（里尔大学）
本文提出PAQA数据集，在AmbiNQ基础上加入澄清问题，研究检索对歧义检测和澄清问题生成的影响，以提升对话搜索系统的主动性。
2024-02-26 cs.CL cs.IR
Consistency Training by Synthetic Question Generation for Conversational Question Answering
Sharif University of Technology（谢里夫理工大学）；AI Group（人工智能组）
针对对话式问答中无关历史干扰推理的问题，提出模型无关的CoTaH方法，通过合成问题增强历史数据并结合一致性训练提升鲁棒性，引入新基线验证了其在长历史上下文问题上的效果提升。
2024-04-17 cs.CL
Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
Northwestern University（西北大学）
本文提出Conv-CoA框架，通过动态推理-检索机制、Hopfield检索器和对话式多参考置信度分数，解决开放域对话问答中的幻觉、推理弱和检索性能差问题，在五个方向和两个基准上超越23种最先进方法。
2024-05-28 cs.AI cs.CL
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada（加拿大国家银行）
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中，用户经常将他们的信息需求表述为简短且模糊的查询，一些流行的搜索界面然后提示用户确认她的意图（例如，“你的意思是...... ?“），或在必要时重新措辞。当涉及到对话系统时，流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下，向用户给出以下响应之一：1）直接回答，如果意图不清楚，则可能是不相关的，2）通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此，我们提出了一个多阶段的澄清机制，提示澄清和查询选择的上下文中的问答对话系统。我们表明，我们提出的机制提高了整体用户体验，并优于竞争基线与两个数据集，即公共范围内的范围外的数据集和商业数据集的基础上，真正的用户日志。
2021-10-28 cs.CL
Question rewriting? Assessing its importance for conversational question answering
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
在会话式问答中，系统必须正确地解释互连的交互并生成知识性的答案，这可能需要从后台存储库检索相关信息。这个问题的最新方法利用神经语言模型，虽然不同的替代方案可以考虑在模块方面（a）表示用户的问题在上下文中，（b）检索相关的背景信息，（c）生成答案。本文提出了一个专门为面向搜索的对话式人工智能（SCAI）共享任务设计的对话式问答系统，并对其问题重写模块进行了详细分析。特别是，我们考虑了问题重写模块的不同变化，以评估对后续组件的影响，并对最佳系统配置所获得的结果进行了仔细的分析。我们的系统在共享任务中取得了最好的性能，我们的分析强调了会话上下文表示对整个系统性能的重要性。
2022-04-14 cs.CL cs.LG
Prompt Guided Copy Mechanism for Conversational Question Answering
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文提出一种可插拔的提示引导复制机制，通过三种提示和注意力引导对抽取式答案进行验证与编辑，从而提升对话式问答中答案的流畅性和恰当性，并在CoQA上取得良好效果。
2023-08-07 cs.AI cs.CL
ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering
University of California, Santa Barbara（加州大学圣巴巴拉分校）；J.P. Morgan（摩根大通）
随着大型预训练语言模型的最新进展，研究人员在主要关注语言模式匹配的NLP任务中取得了创纪录的成绩。社区正在经历从如何建模语言到模仿人类复杂推理能力的挑战。在这项工作中，我们调查的应用领域的金融，涉及现实世界中，复杂的数值推理。我们提出了一个新的大规模数据集，ConvFinQA，旨在研究会话问答中的数值推理链。我们的数据集在建模现实世界对话中的长距离，复杂的数值推理路径方面提出了巨大的挑战。我们对神经符号方法和基于推理的方法进行了全面的实验和分析，以深入了解这两种方法的推理机制。我们相信我们的新数据集应该作为一个宝贵的资源，推动对现实世界的探索，复杂的推理任务作为下一个研究重点。我们的数据集和代码可在https://github.com/czyssrs/ConvFinQA上公开获取。
2022-10-07 cs.CL
CoDi: Conversational Distillation for Grounded Question Answering
Reality Labs at Meta（元宇宙实验室（Meta旗下））；FAIR at Meta（Meta人工智能研究院）
提出对话蒸馏框架CoDi，为约10亿参数的小语言模型合成大规模对话数据，在接地问答任务上达到与人工数据相当的性能，并超越更大规模指令微调模型。
2024-08-20 cs.AI cs.CL
End-to-end Spoken Conversational Question Answering: Task, Dataset and Model
Tencent（腾讯）；Peking University（北京大学）；Yale University（耶鲁大学）
在口语问答中，系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流的语音文件。在这项任务中，我们的主要目标是建立一个系统来处理会话问题的基础上的音频记录，并探讨在信息收集系统提供更多的线索，从不同的模态的可行性。为此，而不是直接采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，有效地摄取跨模态信息，以实现细粒度的语音和语言模态的表示。此外，我们提出了一个简单而新颖的机制，称为双重注意，通过鼓励更好的音频和文本之间的对齐，以减轻知识转移的过程。为了评估SCQA系统在对话式交互中的能力，我们组装了一个口语会话问答（Spoken-CoQA）数据集，其中包含来自4k个会话的超过40 k个问答对。现有的最先进的方法的性能显着降低我们的数据集，因此证明了跨模态信息集成的必要性。我们的实验结果表明，我们提出的方法在口语会话问答任务中取得了优异的性能。
2022-04-29 cs.AI cs.CL cs.SD
