Active Learning and Multi-label Classification for Ellipsis and Coreference Detection in Conversational Question-Answering
Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）
在人类会话中，省略和指代是常见的语言现象。虽然这些现象是使人机对话更流畅和自然的一种手段，但只有少数对话语料库包含明确的指示，哪些话轮包含省略和/或共指。在本文中，我们解决的任务，自动检测省略和共指会话问答回答。我们建议使用基于DistilBERT的多标签分类器。多标签分类和主动学习被用来补偿有限的标记数据量。我们表明，这些方法大大提高了分类器的性能，用于检测手动标记的数据集上的这些现象。
2022-07-07 cs.CL
Can Question Rewriting Help Conversational Question Answering?
The Hong Kong University of Science and Technology（香港科技大学）
问题重写（QR）是会话问答（CQA）的一个子任务，旨在通过将问题重新表述为一个独立的形式，来缓解理解对话历史之间依赖关系的挑战。尽管看似合理，但几乎没有证据证明QR是CQA的缓解方法。为了验证QR在CQA中的有效性，我们研究了一种强化学习方法，该方法集成了QR和CQA任务，并且不需要针对目标CQA的相应QR数据集。然而，我们发现RL方法与端到端基线相当。我们提供了一个失败的分析，并描述了利用QR CQA的困难。
2022-04-13 cs.CL
Fluent Response Generation for Conversational Question Answering
Ohio State University（俄亥俄州立大学）；Amazon Alexa（亚马逊Alexa）
问答（QA）是开放域会话Agent的一个重要方面，在会话QA（ConvQA）子任务中获得了特定的研究热点。最近的ConvQA努力的一个显着的局限性是响应是从目标语料库中提取答案跨度，从而忽略了高质量会话代理的自然语言生成（NLG）方面。在这项工作中，我们提出了一种方法，用于将QA响应定位在一个SEQ2SEQ NLG方法中，以生成流畅的语法回答响应，同时保持正确性。从技术角度来看，我们使用数据增强来为端到端系统生成训练数据。具体来说，我们开发了句法转换（ST）来产生特定于问题的候选答案响应，并使用基于BERT的分类器对它们进行排名（Devlin等人，2019年）。SQuAD 2.0数据的人体评价（Rajpurkar等人，2018）证明，所提出的模型在生成对话响应方面优于基线CoQA和QuAC模型。我们通过对CoQA数据集进行测试，进一步展示了我们模型的可扩展性。代码和数据可在https://github.com/abaheti95/QADialogSystem上获得。
2020-12-17 cs.CL
Multi-Task Learning for Conversational Question Answering over a Large-Scale Knowledge Base
University of Technology Sydney（悉尼科技大学）；Microsoft（微软）；Sun Yat-sen University（中山大学）
我们考虑了大规模知识库上的会话式问答问题。为了处理大规模知识库中庞大的实体词汇，现有的基于神经语义解析的方法通常将任务分解为多个子任务，然后依次求解，这会导致以下问题：1）前一个子任务中的错误会传播并对下游子任务产生负面影响; 2）每个子任务不能自然地与其他子任务共享监督信号。为了解决这些问题，我们提出了一个创新的多任务学习框架，其中配备指针的语义解析模型被设计用于解决会话中的共指，并自然地赋予联合学习一个新的类型感知实体检测模型。因此，所提出的框架，使共享的监督和消除错误传播的影响。在包含1280万个实体的160万个问答对的大规模会话问答数据集上的实验表明，与以前的最先进的工作相比，所提出的框架将总体F1分数从67%提高到79%。
2019-10-11 cs.CL
SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering
Microsoft Speech and Dialogue Research Group（微软语音与对话研究组）
会话式问答（CQA）是一种需要理解对话语境的新型问答任务。与传统的单轮机器阅读理解（MRC）任务不同，CQA包括篇章理解、共指消解和语境理解。在本文中，我们提出了一种创新的基于上下文的注意力深度神经网络SDNet，将上下文融合到传统的MRC模型中。我们的模型利用相互注意和自我注意来理解会话上下文并从段落中提取相关信息。此外，我们展示了一种新的方法来集成最新的BERT上下文模型。实证结果表明，我们的模型的有效性，它设置了新的国家的最先进的结果在CoQA排行榜，优于以前的最佳模型的1.6%F1。我们的集成模型进一步提高了2.7%F1的结果。
2019-01-02 cs.CL
TopiOCQA: Open-domain Conversational Question Answering with Topic Switching
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft Montréal（微软蒙特利尔）；ServiceNow Research（ServiceNow研究院）；Facebook CIFAR AI Chair（Facebook-CIFAR人工智能讲席）
在会话式问答场景中，提问者试图通过一系列相互依赖的问题和答案来提取关于主题的信息。随着谈话的进行，他们可能会切换到相关的话题，这是在信息搜索会话中常见的现象。然而，当前用于会话式问答的数据集在两个方面受到限制：1）它们不包含主题转换;以及2）它们假设给出了会话的参考文本，即，该设置不是开放域。我们介绍TopiOCQA（发音为Tapioca），这是一个开放域的会话数据集，在维基百科上具有主题开关。TopiOCQA包含3，920个对话，其中包含信息寻求问题和自由形式的答案。平均而言，我们数据集中的对话跨越13个问答回合，涉及4个主题（文档）。TopiOCQA提出了一个具有挑战性的测试床的模型，在同一会话的多个回合，需要有效的检索，结合使用会话历史构建有效的响应。我们评估了几个基线，通过结合最先进的文档检索方法与神经阅读器模型。我们最好的模型达到了55.8的F1，比人类的表现低了14.2分，这表明我们的数据集很难。我们的数据集和代码可在https://mcgill-nlp.github.io/topiocqa上获得
2022-02-20 cs.CL
PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance
The Chinese University of Hong Kong（香港中文大学）；Sichuan University（四川大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
为了促进金融领域混合背景下的会话式问答（CQA），我们提出了一个新的数据集，名为PACIFIC。与现有的CQA数据集相比，PACIFIC具有三个关键特征：（i）主动性，（ii）数值推理，（iii）表格和文本的混合上下文。因此，本文提出了一个新的研究课题--主动会话问答（PCQA）。此外，我们提出了一种新的方法，即UniPCQA，以适应PCQA的输入和输出内容的混合格式到Seq 2Seq问题，包括重新制定的数值推理过程的代码生成。UniPCQA在PCQA中的所有子任务上执行多任务学习，并且通过交叉验证顶部$k$采样的Seq 2Seq输出来结合简单的集成策略以减轻多任务学习中的错误传播问题。我们使用广泛的基线对PACIFIC数据集进行基准测试，并对PCQA的每个子任务进行全面评估。
2023-03-19 cs.CL
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam（阿姆斯特丹大学）；Utrecht University（乌得勒支大学）
在许多现实世界的场景中，缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外，人类经常通过问几个问题来寻求答案，以获得更全面的信息。随着对话变得越来越广泛，机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中，我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识，通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明，我们的检索阅读系统可以利用检索到的背景知识，以产生显着更好的答案。结果还表明，我们的上下文摘要显着帮助检索者和读者介绍更简洁，更少的噪音上下文信息。
2022-12-17 cs.CL
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)（巴斯克地区大学（UPV/EHU））；New York University (NYU)（纽约大学（NYU））
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会，但几乎没有证据表明其可行性。在大多数应用程序中，用户无法向系统提供正确的答案，但他们能够提供二进制（正确，不正确）反馈。在本文中，我们提出了反馈加权学习的基础上重要性采样，以改善初始监督系统使用二进制用户反馈。我们对文档分类（用于开发）和会话问答数据集（如QuAC和DoQA）进行模拟实验，其中二进制用户反馈来自黄金注释。结果表明，我们的方法能够改进初始监督系统，接近完全监督系统，在域内实验（QuAC）中可以访问相同的标记示例，甚至在域外实验（DoQA）中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Structured Context and High-Coverage Grammar for Conversational Question Answering over Knowledge Graphs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
我们使用神经语义解析方法来解决大知识图谱上弱监督会话问答的问题。我们引入了一种新的逻辑形式（LF）语法，可以在图形上对各种查询进行建模，同时保持足够简单以有效地生成监督数据。我们基于Transformer的模型采用类似JSON的结构作为输入，使我们能够轻松地将知识图谱和会话上下文结合起来。这种结构化的输入被转换为嵌入列表，然后被馈送到标准的注意力层。我们验证了我们的方法，无论是在语法覆盖率和LF执行的准确性，两个公开可用的数据集，CSQA和ConvQuestions，都在维基数据接地。在CSQA上，我们的方法将覆盖范围从$80\%$增加到$96.2\%$，并将LF执行精度从$70.6\%$增加到$75.6\%$。在ConvQuestions上，我们在最先进的技术方面取得了有竞争力的结果。
2021-09-01 cs.CL
Context Transformer with Stacked Pointer Networks for Conversational Question Answering over Knowledge Graphs
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；Osthus GmbH（奥斯图斯有限公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
神经语义解析方法已广泛应用于基于知识图谱的问答系统。这样的方法提供了处理具有复杂查询和大量实体的QA数据集的灵活性。在这项工作中，我们提出了一个新的框架名为纸箱，它执行多任务的语义解析处理问题的会话问答在一个大规模的知识图谱。我们的框架包括一个堆栈的指针网络作为一个上下文Transformer模型的扩展，用于解析输入的问题和对话的历史。框架生成可以在知识图谱上执行的动作序列。我们在一个标准数据集上对CARTON进行了评估，以进行复杂的顺序问答，CARTON在该数据集上的表现优于所有基线。具体来说，我们观察到的性能改善F1分数的10个问题类型相比，以前的状态。对于逻辑推理问题，11个绝对点的改善达到。
2021-06-24 cs.CL
How Accurate Are LLMs at Multi-Question Answering on Conversational Transcripts?
Dialpad Inc.（Dialpad公司）
本研究评估LLMs基于同一对话上下文回答多问题的能力，发现微调的80亿参数公开模型在准确性上可超越GPT-4o，具有成本效益部署潜力。
2025-09-26 cs.CL
BERT-CoQAC: BERT-based Conversational Question Answering in Context
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
问答对话系统作为一种通过与机器人对话来查询任何特定信息的有前途的方式，近年来获得了越来越多的研究兴趣。交互式问答系统的设计一直是自然语言处理领域的一项具有挑战性的任务，并被用作评估机器自然语言理解能力的基准。然而，这样的系统往往挣扎时，问题回答是由用户在多个回合，以寻求更多的信息的基础上，他们已经学会了，因此，引起了另一个复杂的形式称为会话问答（CQA）。CQA系统经常被批评在回答问题时不理解或利用对话的先前上下文。为了弥补这一研究空白，本文探讨了如何将会话历史整合到神经机器理解系统中。一方面，我们引入了一个框架的基础上，一个可编程的预先训练的语言模型称为BERT的历史变成系统。另一方面，我们提出了一个历史选择机制，选择相关的，并有助于回答当前问题的回合。实验结果表明，我们的框架是在性能与国家的最先进的模型在QuAC领导人板。我们还进行了一些实验，以显示使用整个上下文信息的副作用，这带来了不必要的信息和噪声信号，导致模型的性能下降。
2021-04-23 cs.CL
Semantic Parsing for Conversational Question Answering over Knowledge Graphs
University of Edinburgh（爱丁堡大学）；Amazon Alexa（亚马逊Alexa）
在本文中，我们感兴趣的是开发语义解析器，理解嵌入在与用户的对话中的自然语言问题，并将其置于具有非常大的词汇量（涵盖数千个概念名称和关系，以及数百万个实体）的通用知识图谱（KG）中的定义上的正式查询。为此，我们开发了一个数据集，其中用户问题用Sparql解析进行注释，系统答案对应于其执行结果。我们提出了两种不同的语义解析方法，并强调了任务的挑战：处理大词汇，建模会话上下文，预测查询与多个实体，并概括到新的问题在测试时。我们希望我们的数据集将作为对话式语义解析器开发的有用测试平台。我们的数据集和模型发布在https://github.com/EdinburghNLP/SPICE。
2023-01-28 cs.CL
Learn to Resolve Conversational Dependency: A Consistency Training Framework for Conversational Question Answering
Korea University（高丽大学）
会话问答中的一个主要问题是如何解决诸如照应和省略等会话依赖问题。然而，现有的方法没有明确地训练QA模型如何解决依赖关系，因此这些模型在理解人类对话方面是有限的。在本文中，我们提出了一个新的框架，ExCorD（显式指导如何解决会话依赖），以提高能力的QA模型在理解会话上下文。ExCorD首先生成可以在没有会话历史的情况下理解的自包含问题，然后使用基于一致性的正则化器使用原始和自包含问题对训练QA模型。在我们的实验中，我们证明了ExCorD显着提高了QA模型的性能高达1.2 F1的QuAC，和5.2 F1的CANARD，同时解决了现有方法的局限性。
2021-06-22 cs.AI cs.CL
Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering
University of Liverpool（利物浦大学）；Amazon（亚马逊）
会话问答（CoQA）任务涉及回答关于上下文段落的一系列相互关联的会话问题。虽然现有的方法在测试时使用人类编写的地面实况答案来回答会话问题，但在现实场景中，CoQA模型将无法访问先前问题的地面实况答案，迫使模型依赖于自己先前预测的答案来回答后续问题。在本文中，我们发现，复合错误发生时，使用以前预测的答案在测试时，显着降低CoQA系统的性能。为了解决这个问题，我们提出了一种采样策略，在训练过程中在目标答案和模型预测之间进行动态选择，从而密切模拟测试时的情况。此外，我们分析了这种现象的严重程度作为问题类型，会话长度和域类型的函数。
2020-05-12 cs.CL cs.IR
SCAI-QReCC Shared Task on Conversational Question Answering
Amazon（亚马逊）
面向搜索的对话式人工智能（SCAI）是一个既定的场所，它经常关注最近推进对话式搜索领域的工作。SCAI'21是作为一个独立的在线活动组织的，并以会话问答的共同任务为特色。由于所有的参与者团队都尝试了这个任务的答案生成模型，我们确定了在这种情况下的答案正确性评估的主要挑战和目前的研究差距。除了自动评估之外，我们还进行了两个众包实验，以收集答案的可信性和忠实性的注释。由于这个共享的任务，用于评估的原始会话QA数据集进一步扩展了参与者系统产生的替代正确答案。
2022-01-26 cs.CL cs.IR
No that's not what I meant: Handling Third Position Repair in Conversational Question Answering
AlanaAI
本文发布了首个对话式问答场景下的大规模第三位置修正数据集Repair-QA，通过训练和评估T5及GPT-3等基线模型，证明接触该数据集能显著提升模型处理TPR的能力。
2023-07-31 cs.CL
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline（源讯世界线）
语言模型的最新进展（例如BERT、XLNet等），在复杂的NLP任务（如阅读理解）上，然而，用于训练的标记数据集主要以英语提供，这使得很难用其他语言确认进展。幸运的是，模型现在已经在来自数百种语言的未标记数据上进行了预训练，并表现出从一种语言到另一种语言的有趣迁移能力。在本文中，我们表明，多语言的BERT是自然能够zero-shot转移提取问答任务（eQA）从英语到其他语言。更具体地说，它超过了以前已知的最好的转移到日语和法语的基线。此外，使用最近发布的大型eQA法语数据集，我们能够进一步证明：（1）zero-shot迁移提供的结果非常接近于目标语言的直接训练;（2）迁移和目标语言训练的组合是总体上最好的选择。最后，我们提出了一个实际的应用：一个多语言的会话代理称为凯特回答人力资源相关的问题，在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Consistency Training by Synthetic Question Generation for Conversational Question Answering
Sharif University of Technology（谢里夫理工大学）；AI Group（人工智能组）
针对对话式问答中无关历史干扰推理的问题，提出模型无关的CoTaH方法，通过合成问题增强历史数据并结合一致性训练提升鲁棒性，引入新基线验证了其在长历史上下文问题上的效果提升。
2024-04-17 cs.CL
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada（加拿大国家银行）
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中，用户经常将他们的信息需求表述为简短且模糊的查询，一些流行的搜索界面然后提示用户确认她的意图（例如，“你的意思是...... ?“），或在必要时重新措辞。当涉及到对话系统时，流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下，向用户给出以下响应之一：1）直接回答，如果意图不清楚，则可能是不相关的，2）通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此，我们提出了一个多阶段的澄清机制，提示澄清和查询选择的上下文中的问答对话系统。我们表明，我们提出的机制提高了整体用户体验，并优于竞争基线与两个数据集，即公共范围内的范围外的数据集和商业数据集的基础上，真正的用户日志。
2021-10-28 cs.CL
ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering
University of California, Santa Barbara（加州大学圣巴巴拉分校）；J.P. Morgan（摩根大通）
随着大型预训练语言模型的最新进展，研究人员在主要关注语言模式匹配的NLP任务中取得了创纪录的成绩。社区正在经历从如何建模语言到模仿人类复杂推理能力的挑战。在这项工作中，我们调查的应用领域的金融，涉及现实世界中，复杂的数值推理。我们提出了一个新的大规模数据集，ConvFinQA，旨在研究会话问答中的数值推理链。我们的数据集在建模现实世界对话中的长距离，复杂的数值推理路径方面提出了巨大的挑战。我们对神经符号方法和基于推理的方法进行了全面的实验和分析，以深入了解这两种方法的推理机制。我们相信我们的新数据集应该作为一个宝贵的资源，推动对现实世界的探索，复杂的推理任务作为下一个研究重点。我们的数据集和代码可在https://github.com/czyssrs/ConvFinQA上公开获取。
2022-10-07 cs.CL
The Dangers of trusting Stochastic Parrots: Faithfulness and Trust in Open-domain Conversational Question Answering
Alana AI（阿兰人工智能公司）
本文研究开放域对话问答中语言对话行为对用户信任的影响，发现词汇对齐等“鹦鹉学舌”行为会提高信任度，但可能掩盖不忠实回答，从而揭示此类系统的潜在危险。
2023-05-25 cs.CL
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的，但仍然未充分探索的领域。在本文中，我们表明，问题重写（QR）的会话背景下，可以更清楚地揭示这种现象，也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架，使会话问答（QA）的性能使用问题重写的自动分析，并提出了这种分析的结果TREC CAST和QuAC（CANARD）数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型，阅读理解和文章排名。我们的研究结果表明，阅读理解模型是不敏感的问题制定，而文章的排名变化显着的输入问题的一点变化。QR的好处是，它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务，还是只是在数据集中找到捷径，并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
Strong and Efficient Baselines for Open Domain Conversational Question Answering
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文针对ODConvQA任务中现有DPR-FiD流水线性能下降的问题，提出在检索器与阅读器间引入快速重排序组件及针对性微调的强高效基线方法，在提升SotA结果的同时降低60%阅读器延迟。
2023-10-23 cs.CL
Ditch the Gold Standard: Re-evaluating Conversational Question Answering
Princeton University（普林斯顿大学）
会话式问答旨在为用户提供自然语言的答案。现有的会话QA基准将模型与预先收集的人与人之间的对话进行比较，使用会话历史中提供的真实答案。目前还不清楚我们是否可以依赖这种静态评估来进行模型开发，以及当前的系统是否可以很好地推广到现实世界的人机对话。在这项工作中，我们进行了第一次大规模的人类评估国家的最先进的会话QA系统，其中人类评估者与模型交谈，并判断他们的答案的正确性。我们发现，人机对话的分布与人与人之间的对话有很大的不同，并且在模型排名方面，人与金历史评价之间存在分歧。我们进一步研究如何提高自动评估，并提出了一个问题重写机制的基础上预测的历史，更好地与人类的判断。最后，我们分析了各种建模策略的影响，并讨论了未来的发展方向，以建立更好的会话问答系统。
2022-03-21 cs.CL cs.LG
Open-Retrieval Conversational Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Ant Financial（蚂蚁金融）；Alibaba Group（阿里巴巴集团）
对话式检索是信息检索的最终目标之一。最近的研究方法会话搜索的简化设置的响应排名和会话的问答，其中答案是从一个给定的候选集选择或从一个给定的通道提取。这些简化忽略了检索在会话搜索中的基本作用。为了解决这一限制，我们引入了一个开放检索会话式问答（ORConvQA）设置，在那里我们学习从一个大的集合中检索证据，然后提取答案，作为构建功能会话搜索系统的进一步步骤。我们创建了一个数据集OR-QuAC，以促进对ORConvQA的研究。我们为ORConvQA构建了一个端到端的系统，其中包括一个检索器、一个重排序器和一个读取器，这些都是基于Transformers的。我们在OR-QuAC上的大量实验表明，可学习的检索器对ORConvQA至关重要。我们进一步表明，当我们在所有系统组件中启用历史建模时，我们的系统可以做出实质性的改进。此外，我们表明，reranker组件有助于通过提供正则化效果的模型性能。最后，进行了进一步的深入分析，以提供新的见解ORConvQA。
2020-05-22 cs.CL cs.IR
Contrastive Representation Learning for Conversational Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；University of Siegen（锡根大学）；Amazon（亚马逊）；Institute for Applied Informatics（应用信息学研究所）
研究了基于知识图谱的会话式问答问题。大多数现有的ConvQA方法依赖于完整的监督信号，严格假设查询的黄金逻辑形式的可用性，以从KG中提取答案。然而，在现实世界的场景中，创建这样一个黄金逻辑形式对于每个潜在问题都是不可行的。因此，在缺少黄金逻辑形式的情况下，现有的基于信息检索的方法通过启发式或强化学习使用弱监督，将ConvQA公式化为KG路径排序问题.尽管缺少黄金逻辑形式，丰富的会话上下文，如整个对话历史与流畅的反应和域信息，可以有效地达到正确的KG path.This工作提出了一个对比表示学习为基础的方法来排名KG路径有效。我们的方法解决了两个关键挑战。首先，它允许基于弱监督的学习，忽略了黄金注释的必要性。其次，它结合了会话上下文（整个对话历史和域信息），以联合学习其同质表示与KG路径，以提高有效的路径排名的对比表示。我们在ConvQA的标准数据集上评估了我们的方法，在这些数据集上，它在所有领域和整体上都显着优于现有的基线。具体而言，在某些情况下，与最先进的性能相比，平均倒数排名（MRR）和Hit@5排名度量分别提高了绝对10和18个点。
2022-10-09 cs.CL
Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions
Department of Informatics, Athens University of Economics and Business（雅典经济与商业大学信息学院）；Omilia - Conversational Intelligence（Omilia-对话智能）；Archimedes, Athena Research Center（雅典研究中心Archimedes）；NCSR Demokritos（德摩斯蒂斯国家研究中心）
针对开放检索式对话问答数据集获取困难的问题，提出基于组织纯文本文档生成合成带标注对话的流程，训练问题重写器去语境化用户问题，结合LLM构建OR-CONVQA系统。
2026-08-07 cs.CL
Disambiguation in Conversational Question Answering in the Era of LLMs and Agents: A Survey
Adobe Research（Adobe研究部）；KAIST（韩国科学技术院）；Adobe Inc.（Adobe公司）
本文综述了LLM和智能体时代下对话式问答中的歧义问题，系统梳理了歧义定义、消解方法分类、优缺点比较、基准数据集及未来研究方向，旨在推动更稳健可靠的LLM系统发展。
2025-09-22 cs.CL
Open-Domain Question Answering Goes Conversational via Question Rewriting
Apple Inc.（苹果公司）；University of Amsterdam（阿姆斯特丹大学）
我们引入了一个新的数据集，用于会话上下文中的问题重写（QReCC），其中包含14K对话和80K问答对。QReCC的任务是在1000万个网页（分成5400万个段落）中找到会话问题的答案。同一对话中的问题的答案可能分布在多个网页上。QReCC提供注释，使我们能够训练和评估端到端会话问答（QA）任务所需的问题重写，段落检索和阅读理解的各个子任务。我们报告了一个强大的基线方法的有效性，结合了国家的最先进的模型的问题重写，开放域QA的竞争力模型。我们的结果为QReCC数据集设定了第一个基线，F1为19.10，而人类的上限为75.45，这表明设置的难度和很大的改进空间。
2021-04-14 cs.CL cs.IR
Reinforced Question Rewriting for Conversational Question Answering
Amazon.com, Inc.（亚马逊公司）
会话问答（CQA）的目的是回答对话中包含的问题，这些问题在没有上下文的情况下不容易解释。开发一个模型来将会话问题重写为自包含的问题是行业环境中的一个新兴解决方案，因为它允许使用现有的单轮QA系统，以避免从头开始训练CQA模型。以前的工作训练重写模型使用人类重写作为监督。然而，这样的目标与QA模型是脱节的，因此更人性化的重写并不能保证更好的QA性能。在本文中，我们提出使用QA反馈来监督重写模型与强化学习。实验表明，我们的方法可以有效地提高QA性能的基线提取和检索QA。此外，人工评估表明，与人工注释相比，我们的方法可以生成更准确和详细的重写。
2022-10-31 cs.CL cs.IR
CoQA: A Conversational Question Answering Challenge
Stanford University（斯坦福大学）；Computer Science Department（计算机科学系）
人类通过参与涉及一系列相互关联的问题和答案的对话来收集信息。因此，对于帮助收集信息的机器来说，使它们能够回答会话问题至关重要。我们介绍了CoQA，一种用于构建会话式问答系统的新型数据集。我们的数据集包含127k个问题和答案，这些问题和答案来自七个不同领域的8k个文本段落对话。问题是对话式的，答案是自由形式的文本，并在文章中突出显示相应的证据。我们深入分析了CoQA，并表明会话问题具有现有阅读理解数据集中不存在的挑战性现象，例如，共指和语用推理。我们在CoQA上评估强大的会话和阅读理解模型。最好的系统获得了65.4%的F1分数，比人类的表现（88.8%）落后23.4分，这表明有足够的改进空间。我们在http://stanfordnlp.github.io/coqa/上推出CoQA作为对社区的挑战
2019-03-29 cs.AI cs.CL cs.LG
Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs
Technical University of Munich（慕尼黑工业大学）；National Institute of Advanced Industrial Science and Technology（日本国立产业技术综合研究所）
本文评估了未显式预训练的大型语言模型在基于知识的会话式问答中的语义解析性能，发现少样本提示和微调能显著提升其生成图查询的能力，尤其对零样本表现较差的小模型效果更佳。
2024-01-03 cs.CL cs.IR
Reinforcement Learning for Conversational Question Answering over Knowledge Graph
本文提出用强化学习解决法律知识库对话式问答中输入问题含噪声、表达不明确导致难以定位答案的问题，并在多个真实数据集上验证了有效性。
2024-01-16 cs.AI cs.CL
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）
在口语问答中，QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中，我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题，并探索在口语文档中提供更多线索与信息收集系统的可行性。为此，而不是采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，直接融合音频文本功能，以减少自动语音识别假设和参考转录之间的错位。此外，为了评估问答系统在对话式交互中的能力，我们组装了一个口语会话问答（口语CoQA）数据集，其中包含超过12万个问答对。实验表明，我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
Reinforcement Learning from Reformulations in Conversational Question Answering over Knowledge Graphs
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
个人助理的兴起使得会话式问答（ConvQA）成为用户-系统交互的非常流行的机制。在知识图谱（KG）上进行ConvQA的最先进方法只能从流行基准测试中发现的清晰问答对中学习。然而，在现实中，这样的训练数据很难获得：用户很少会明确地将答案标记为正确或错误。在这项工作中，我们向更自然的学习范式迈出了一步-从嘈杂和隐含的反馈通过问题重新表述。重新表述可能是由不正确的系统响应触发的，而新的后续问题可能是前一轮答案的积极信号。我们提出了一个强化学习模型，称为征服，可以从会话流的问题和重构。CONQUER将应答过程建模为多个代理在KG上并行行走，其中行走由使用策略网络采样的动作确定。该策略网络将问题与会话上下文一起作为输入，并通过从重构可能性获得的噪声奖励进行训练。为了评估CONQUER，我们创建并发布了ConvRef，这是一个基准测试，包含大约11 k个自然对话，其中包含大约205 k个重构。实验表明，CONQUER成功地从嘈杂的奖励信号中学习回答会话问题，在最先进的基线上有显着改善。
2021-08-20 cs.CL cs.IR
Conversational Question Answering over Passages by Leveraging Word Proximity Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
文本段上的问答是信息检索领域的一个重要问题。最近，会话设置引起了人们的注意，其中用户询问一系列问题以满足她围绕主题的信息需求。虽然这种设置是一种自然的设置，类似于人类彼此交谈，但它引入了两个关键的研究挑战：理解用户在后续问题中留下的隐含上下文，以及处理特设问题公式。在这项工作中，我们展示了CROWN（通过词网络推理的会话段落排名）：一个无监督但有效的系统，用于会话QA与通道响应，支持多种模式的上下文传播多个回合。为此，CROWN首先从大型语料库中构建一个词邻近网络（WPN）来存储统计上显著的术语共现。在回答时，段落通过其与问题的相似性和查询术语的一致性的组合进行排名：这些因素通过从WPN读取节点和边权重来测量。CROWN提供了一个界面，既直观的最终用户，并为专家的洞察力，重新配置到个人设置。在TREC CAsT数据上评估了CROWN，其中它在神经方法池中实现了高于中值的性能。
2020-05-25 cs.CL cs.IR
Towards Adaptive Context Management for Intelligent Conversational Question Answering
School of Computing, Macquarie University, Sydney, NSW 2109, Australia（计算机学院，麦考瑞大学，悉尼，新南威尔士州2109，澳大利亚）
本文提出自适应上下文管理（ACM）框架，通过上下文管理器、摘要和实体抽取三个模块动态优化对话历史，在token限制内提升对话式问答系统的准确性与可扩展性。
2025-09-22 cs.CL
Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
Northwestern University（西北大学）
本文提出Conv-CoA框架，通过动态推理-检索机制、Hopfield检索器和对话式多参考置信度分数，解决开放域对话问答中的幻觉、推理弱和检索性能差问题，在五个方向和两个基准上超越23种最先进方法。
2024-05-28 cs.AI cs.CL
Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
本文提出CONVSR框架，利用结构化中间表示作为对话线索来解析对话式问答中的隐式依赖，在QuAC和CANARD上取得优于标准问题重写模型的F1分数。
2023-04-14 cs.CL cs.IR
Question rewriting? Assessing its importance for conversational question answering
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
在会话式问答中，系统必须正确地解释互连的交互并生成知识性的答案，这可能需要从后台存储库检索相关信息。这个问题的最新方法利用神经语言模型，虽然不同的替代方案可以考虑在模块方面（a）表示用户的问题在上下文中，（b）检索相关的背景信息，（c）生成答案。本文提出了一个专门为面向搜索的对话式人工智能（SCAI）共享任务设计的对话式问答系统，并对其问题重写模块进行了详细分析。特别是，我们考虑了问题重写模块的不同变化，以评估对后续组件的影响，并对最佳系统配置所获得的结果进行了仔细的分析。我们的系统在共享任务中取得了最好的性能，我们的分析强调了会话上下文表示对整个系统性能的重要性。
2022-04-14 cs.CL cs.LG
Prompt Guided Copy Mechanism for Conversational Question Answering
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文提出一种可插拔的提示引导复制机制，通过三种提示和注意力引导对抽取式答案进行验证与编辑，从而提升对话式问答中答案的流畅性和恰当性，并在CoQA上取得良好效果。
2023-08-07 cs.AI cs.CL
CoDi: Conversational Distillation for Grounded Question Answering
Reality Labs at Meta（元宇宙实验室（Meta旗下））；FAIR at Meta（Meta人工智能研究院）
提出对话蒸馏框架CoDi，为约10亿参数的小语言模型合成大规模对话数据，在接地问答任务上达到与人工数据相当的性能，并超越更大规模指令微调模型。
2024-08-20 cs.AI cs.CL
Chatty-KG: A Multi-Agent AI System for On-Demand Conversational Question Answering over Knowledge Graphs
Concordia University（康科德大学）；IBM Research（IBM研究院）
Chatty-KG通过多智能体系统实现基于知识图谱的对话问答，结合RAG检索与结构化执行，提升多轮问答的准确性和效率。
2025-11-26 cs.CL
Preference-based Learning with Retrieval Augmented Generation for Conversational Question Answering
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对对话式问答的三个子任务，提出基于流水线的PRAISE方法，通过大语言模型适配器利用自身生成结果和最终回答性能反馈学习，在主流基准上精度提升15.5个百分点。
2025-04-15 cs.CL cs.IR
Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion
MPI for Informatics（马克斯·普朗克信息学研究所）；Amazon Alexa（亚马逊Alexa）
以事实为中心的信息需求很少是一次性的;用户通常会提出后续问题来探索一个主题。在这样的会话设置中，用户的输入通常是不完整的，其中实体或谓词被遗漏，以及不合语法的短语。这对问答（QA）系统提出了巨大的挑战，因为QA系统通常依赖于完整的疑问句中的线索。作为一种解决方案，我们开发了CONVEX：一种无监督的方法，可以通过使用迄今为止看到的实体和谓词来维护会话上下文，并自动推断后续问题的缺失或模糊部分，从而在知识图谱（KG）上回答不完整的问题。我们的方法的核心是一个图探索算法，明智地扩大了边界，找到候选答案的当前问题。为了评估CONVEX，我们发布了ConvQuestions，这是一个众包基准，包含来自五个不同领域的11，200个不同对话。我们证明了CONVEX：（i）为任何独立的QA系统添加会话支持，（ii）优于最先进的基线和问题完成策略。
2019-11-05 cs.CL cs.IR
Improved and Efficient Conversational Slot Labeling through Question Answering
PolyAI Limited（PolyAI有限公司）
基于transformer的预训练语言模型（PLM）在大多数自然语言理解（NLU）任务中提供了无与伦比的性能，包括一系列问答（QA）任务。我们假设QA方法的改进也可以直接用于对话NLU;但是，对话任务必须是\textit{reformatted}到QA任务。特别是，我们专注于建模和研究\textit{slot labeling}（SL），NLU对话的一个重要组成部分，通过QA光学，旨在提高其性能和效率，并使其更有效和更有弹性地处理有限的任务数据。为此，我们做了一系列的贡献：1）我们演示了QA调整的PLM如何应用于SL任务，达到新的最先进的性能，在这种低数据制度中特别明显的大增益。2)我们建议利用上下文信息，需要解决模糊的值，简单地通过自然语言。3)通过使用轻量级而有效的适配器模块，提高了面向QA的微调的效率和紧凑性。4)权衡了QA数据集的一些质量，我们用更大的自动生成的QA数据集进行QA调优，达到了更高的性能。最后，我们的分析表明，我们的新的基于QA的插槽标签模型，支持的PLM，达到高数据制度的性能上限，要求在未来的工作更具挑战性和更细致入微的基准。
2022-04-05 cs.CL
Conversational Question Answering with Reformulations over Knowledge Graph
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）
本文提出基于强化学习的CornNet模型，利用大语言模型生成的问题改写构建教师-学生架构来改进问题表示，从而提升知识图谱对话式问答的性能。
2024-03-29 cs.AI cs.CL
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
Korea Advanced Institute of Science Technology（韩国科学技术院）
会话式问答（ConvQA）模型的目标是通过相关段落和在会话中多次出现的先前问答对来回答问题。为了将这些模型应用于现实世界的场景，一些现有的工作使用预测的答案，而不是不可用的地面真相答案，作为推理的会话历史。然而，由于这些模型通常预测错误的答案，使用所有的预测而不过滤显着阻碍了模型的性能。为了解决这个问题，我们建议根据ConvQA模型中估计的置信度和不确定性过滤掉对话历史中不准确的答案，而不进行任何架构更改。此外，为了使置信度和不确定性值更可靠，我们建议进一步校准它们，从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型，基于答案选择的现实对话问答，结果表明我们的模型显著优于相关基线。代码可在：https://github.com/starsuzi/AS-ConvQA.
2023-02-10 cs.AI cs.CL cs.IR
Multifaceted Improvements for Conversational Open-Domain Question Answering
Hangzhou Dianzi University（杭州电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
开放域问答（OpenQA）是文本问答的一个重要分支，它基于大量的非结构化文档来发现给定问题的答案。有效地从开放域资源中挖掘正确答案还有很长的路要走。现有的OpenQA系统可能会受到问题复杂性和模糊性的问题，以及不足的背景知识。最近，会话OpenQA被提出来解决这些问题，丰富的上下文信息的会话。尽管它可能是有前途的，但存在几个基本的限制，包括不准确的问题理解，对通道选择的粗略排名，以及在训练和推理阶段中黄金通道的不一致使用。为了缓解这些限制，在本文中，我们提出了一个框架与多方面的改进会话开放域问答（MICQA）。具体而言，MICQA具有三个显著优势。首先，所提出的基于KL发散的正则化能够导致更好的问题理解，用于检索和答案阅读。第二，增加的后排名模块可以将更多相关的段落推到顶部放置，并为读者选择两方面的约束。第三，精心设计的课程学习策略有效地缩小了训练和推理的黄金通道设置之间的差距，鼓励读者在没有黄金通道帮助的情况下找到真正的答案。在公开数据集OR-QuAC上进行的大量实验证明了MICQA在会话OpenQA任务中优于最先进的模型。
2022-04-01 cs.CL cs.IR
A Graph-guided Multi-round Retrieval Method for Conversational Open-domain Question Answering
The Hong Kong Polytechnic University（香港理工大学）；Shandong University（山东大学）
近年来，会话智能体为人们提供了一种自然、便捷的获取信息的途径，会话问答（QA）也成为一个新的研究课题。在当前流行的会话式问答任务中，会话式开放域问答（英语：Conversational open-domain QA）要求从Web上检索相关段落以提取准确答案，是一种实用性较强但研究较少的问答任务。如何更好地捕捉和充分挖掘会话中的历史语境，以利于有效的大规模检索，这是一个主要的挑战。目前的研究主要是利用历史问题来提炼当前问题或增强其代表性，而历史答案和当前答案之间的关系，这也是这项任务的关键，是完全被忽视的。为了解决这个问题，我们提出了一种新的图引导检索方法来模拟会话轮之间的答案之间的关系。特别是，它利用了一个通道图从超链接连接的段落，包含历史答案和潜在的当前答案，检索更多的相关段落，为后续的答案提取。此外，为了在历史语境中收集更多的互补信息，我们还建议结合多轮相关反馈技术来探讨检索语境对当前问题理解的影响。在公开数据集上的实验结果验证了该方法的有效性。值得注意的是，预测历史答案和真实历史答案的F1分数分别提高了5%和11%。
2021-04-17 cs.CL cs.IR
Conversational Question Answering on Heterogeneous Sources
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出端到端流水线CONVINSE，通过结构化表示统一融合知识库、文本和表格异构源证据生成答案，并发布首个异构源对话问答基准ConvMix，实验证明其优于现有基线。
2023-06-30 cs.CL cs.IR
Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning
Korea Advanced Institute of Science Technology（韩国科学技术院）
本文提出基于短语检索的 ODConvQA 单阶段答案预测方法，并通过对比学习建模多轮会话依赖，在两个数据集上显著优于检索器-阅读器基线。
2023-06-07 cs.CL cs.IR cs.LG
