Answering Conversational Questions on Structured Data without Logical Forms
Google Research（谷歌研究院）
我们提出了一种新的方法来回答基于结构化对象（如知识库或表）的顺序问题，而不使用逻辑形式作为中间表示。我们使用基于Transformer架构的图神经网络模型将表编码为图。然后使用指针网络从编码图中选择答案。此模型适用于处理围绕结构化数据的会话，其中选择问题答案的注意力机制也可用于解析会话引用。我们证明了这种方法的有效性与竞争的结果顺序问答（SQA）任务（Iyyer等人，2017年）。
2019-08-30 cs.CL
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam（阿姆斯特丹大学）；Utrecht University（乌得勒支大学）
在许多现实世界的场景中，缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外，人类经常通过问几个问题来寻求答案，以获得更全面的信息。随着对话变得越来越广泛，机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中，我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识，通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明，我们的检索阅读系统可以利用检索到的背景知识，以产生显着更好的答案。结果还表明，我们的上下文摘要显着帮助检索者和读者介绍更简洁，更少的噪音上下文信息。
2022-12-17 cs.CL
An Empirical Study of Content Understanding in Conversational Question Answering
National Taiwan University（国立台湾大学）
随着上下文无关问答系统的大量研究，会话式问答模型成为自然语言处理领域的一个发展趋势。多亏了最近收集的数据集，包括QuAC和CoQA，在会话式问答方面有了更多的工作，最近的工作在这两个数据集上都取得了有竞争力的性能。然而，据我们所知，会话理解研究的两个重要问题还没有得到很好的研究：1）基准数据集能在多大程度上反映模型的内容理解？2)模型在回答问题时是否很好地利用了对话内容？为了研究这些问题，我们设计了不同的训练设置，测试设置，以及攻击，以验证模型的能力，内容理解QuAC和CoQA。实验结果表明，在基准数据集，QuAC和CoQA，会话理解研究的一些潜在的危险。我们的分析还揭示了模型可以学习什么以及数据集如何使模型产生偏差。通过对该任务的深入研究，相信本研究对会话理解的进一步发展具有一定的借鉴意义。源代码可在https://github.com/MiuLab/CQA-Study上获得。
2019-11-27 cs.CL
Fluent Response Generation for Conversational Question Answering
Ohio State University（俄亥俄州立大学）；Amazon Alexa（亚马逊Alexa）
问答（QA）是开放域会话Agent的一个重要方面，在会话QA（ConvQA）子任务中获得了特定的研究热点。最近的ConvQA努力的一个显着的局限性是响应是从目标语料库中提取答案跨度，从而忽略了高质量会话代理的自然语言生成（NLG）方面。在这项工作中，我们提出了一种方法，用于将QA响应定位在一个SEQ2SEQ NLG方法中，以生成流畅的语法回答响应，同时保持正确性。从技术角度来看，我们使用数据增强来为端到端系统生成训练数据。具体来说，我们开发了句法转换（ST）来产生特定于问题的候选答案响应，并使用基于BERT的分类器对它们进行排名（Devlin等人，2019年）。SQuAD 2.0数据的人体评价（Rajpurkar等人，2018）证明，所提出的模型在生成对话响应方面优于基线CoQA和QuAC模型。我们通过对CoQA数据集进行测试，进一步展示了我们模型的可扩展性。代码和数据可在https://github.com/abaheti95/QADialogSystem上获得。
2020-12-17 cs.CL
ParaQA: A Question Answering Dataset with Paraphrase Responses for Single-Turn Conversation
University of Bonn（波恩大学）；Zerotha Research（Zerotha研究机构）；Cerence GmbH（Cerence GmbH公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
本文提出了ParaQA，一个问答（QA）数据集与多个释义的反应，单轮会话的知识图谱（KG）。该数据集是使用半自动化框架创建的，该框架使用反向翻译等技术生成答案的各种释义。现有的用于在KG上的会话式问答（单轮/多轮）的数据集集中于问题释义并且仅提供最多一个答案口头化。然而，ParaQA包含5000个问答对，每个问题最少有两个，最多有八个独特的释义回答。我们用基线模型补充了数据集，并通过常用的指标（如BLEU和METEOR）说明了具有多个释义答案的优势。ParaQA数据集在一个持久的URI上公开提供，以便在研究社区中更广泛地使用和适应。
2021-03-13 cs.CL
Active Learning and Multi-label Classification for Ellipsis and Coreference Detection in Conversational Question-Answering
Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）
在人类会话中，省略和指代是常见的语言现象。虽然这些现象是使人机对话更流畅和自然的一种手段，但只有少数对话语料库包含明确的指示，哪些话轮包含省略和/或共指。在本文中，我们解决的任务，自动检测省略和共指会话问答回答。我们建议使用基于DistilBERT的多标签分类器。多标签分类和主动学习被用来补偿有限的标记数据量。我们表明，这些方法大大提高了分类器的性能，用于检测手动标记的数据集上的这些现象。
2022-07-07 cs.CL
Semantic Parsing for Conversational Question Answering over Knowledge Graphs
University of Edinburgh（爱丁堡大学）；Amazon Alexa（亚马逊Alexa）
在本文中，我们感兴趣的是开发语义解析器，理解嵌入在与用户的对话中的自然语言问题，并将其置于具有非常大的词汇量（涵盖数千个概念名称和关系，以及数百万个实体）的通用知识图谱（KG）中的定义上的正式查询。为此，我们开发了一个数据集，其中用户问题用Sparql解析进行注释，系统答案对应于其执行结果。我们提出了两种不同的语义解析方法，并强调了任务的挑战：处理大词汇，建模会话上下文，预测查询与多个实体，并概括到新的问题在测试时。我们希望我们的数据集将作为对话式语义解析器开发的有用测试平台。我们的数据集和模型发布在https://github.com/EdinburghNLP/SPICE。
2023-01-28 cs.CL
Multi-Type Conversational Question-Answer Generation with Closed-ended and Unanswerable Questions
POSTECH（浦项科技大学）
会话式问答（CQA）有助于对给定上下文的增量和交互式理解，但由于数据稀缺的问题，构建CQA系统对于许多领域来说是困难的。在本文中，我们介绍了一种新的方法来合成数据的CQA与各种问题类型，包括开放式，封闭式和无法回答的问题。我们为每种问题类型设计了不同的生成流程，并将它们有效地结合在一个单一的共享框架中。此外，我们设计了一个分层的可回答性分类（分层AC）模块，提高质量的合成数据，同时获得无法回答的问题。人工检查表明，用我们的框架生成的合成数据具有与人类生成的对话非常相似的特征。在四个领域中，在我们的合成数据上训练的CQA系统确实显示出与在人类注释数据上训练的系统接近的良好性能。
2022-10-24 cs.CL
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam（阿姆斯特丹大学）；Apple Inc.（苹果公司）
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的，但仍然未充分探索的领域。在本文中，我们表明，问题重写（QR）的会话背景下，可以更清楚地揭示这种现象，也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架，使会话问答（QA）的性能使用问题重写的自动分析，并提出了这种分析的结果TREC CAST和QuAC（CANARD）数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型，阅读理解和文章排名。我们的研究结果表明，阅读理解模型是不敏感的问题制定，而文章的排名变化显着的输入问题的一点变化。QR的好处是，它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务，还是只是在数据集中找到捷径，并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering
Microsoft Speech and Dialogue Research Group（微软语音与对话研究组）
会话式问答（CQA）是一种需要理解对话语境的新型问答任务。与传统的单轮机器阅读理解（MRC）任务不同，CQA包括篇章理解、共指消解和语境理解。在本文中，我们提出了一种创新的基于上下文的注意力深度神经网络SDNet，将上下文融合到传统的MRC模型中。我们的模型利用相互注意和自我注意来理解会话上下文并从段落中提取相关信息。此外，我们展示了一种新的方法来集成最新的BERT上下文模型。实证结果表明，我们的模型的有效性，它设置了新的国家的最先进的结果在CoQA排行榜，优于以前的最佳模型的1.6%F1。我们的集成模型进一步提高了2.7%F1的结果。
2019-01-02 cs.CL
Multi-Task Learning for Conversational Question Answering over a Large-Scale Knowledge Base
University of Technology Sydney（悉尼科技大学）；Microsoft（微软）；Sun Yat-sen University（中山大学）
我们考虑了大规模知识库上的会话式问答问题。为了处理大规模知识库中庞大的实体词汇，现有的基于神经语义解析的方法通常将任务分解为多个子任务，然后依次求解，这会导致以下问题：1）前一个子任务中的错误会传播并对下游子任务产生负面影响; 2）每个子任务不能自然地与其他子任务共享监督信号。为了解决这些问题，我们提出了一个创新的多任务学习框架，其中配备指针的语义解析模型被设计用于解决会话中的共指，并自然地赋予联合学习一个新的类型感知实体检测模型。因此，所提出的框架，使共享的监督和消除错误传播的影响。在包含1280万个实体的160万个问答对的大规模会话问答数据集上的实验表明，与以前的最先进的工作相比，所提出的框架将总体F1分数从67%提高到79%。
2019-10-11 cs.CL
Conversational QA Dataset Generation with Answer Revision
Graduate School of Artificial Intelligence（人工智能研究生院）；POSTECH（浦项科技大学）；Computer Science and Engineering（计算机科学与工程系）
会话问答生成是一个基于输入段落自动生成大规模会话问答数据集的任务。在本文中，我们介绍了一种新的框架，提取值得提问的短语从一个通道，然后生成相应的问题，考虑以前的对话。特别是，我们的框架在生成问题后修改了提取的答案，以便答案与配对问题完全匹配。实验结果表明，我们的简单的答案修正方法导致显着提高合成数据的质量。此外，我们证明了我们的框架可以有效地利用会话问答的领域自适应。
2022-09-23 cs.AI cs.CL
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)（巴斯克地区大学（UPV/EHU））；New York University (NYU)（纽约大学（NYU））
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会，但几乎没有证据表明其可行性。在大多数应用程序中，用户无法向系统提供正确的答案，但他们能够提供二进制（正确，不正确）反馈。在本文中，我们提出了反馈加权学习的基础上重要性采样，以改善初始监督系统使用二进制用户反馈。我们对文档分类（用于开发）和会话问答数据集（如QuAC和DoQA）进行模拟实验，其中二进制用户反馈来自黄金注释。结果表明，我们的方法能够改进初始监督系统，接近完全监督系统，在域内实验（QuAC）中可以访问相同的标记示例，甚至在域外实验（DoQA）中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Can Question Rewriting Help Conversational Question Answering?
The Hong Kong University of Science and Technology（香港科技大学）
问题重写（QR）是会话问答（CQA）的一个子任务，旨在通过将问题重新表述为一个独立的形式，来缓解理解对话历史之间依赖关系的挑战。尽管看似合理，但几乎没有证据证明QR是CQA的缓解方法。为了验证QR在CQA中的有效性，我们研究了一种强化学习方法，该方法集成了QR和CQA任务，并且不需要针对目标CQA的相应QR数据集。然而，我们发现RL方法与端到端基线相当。我们提供了一个失败的分析，并描述了利用QR CQA的困难。
2022-04-13 cs.CL
How Accurate Are LLMs at Multi-Question Answering on Conversational Transcripts?
Dialpad Inc.（Dialpad公司）
本研究评估LLMs基于同一对话上下文回答多问题的能力，发现微调的80亿参数公开模型在准确性上可超越GPT-4o，具有成本效益部署潜力。
2025-09-26 cs.CL
Ditch the Gold Standard: Re-evaluating Conversational Question Answering
Princeton University（普林斯顿大学）
会话式问答旨在为用户提供自然语言的答案。现有的会话QA基准将模型与预先收集的人与人之间的对话进行比较，使用会话历史中提供的真实答案。目前还不清楚我们是否可以依赖这种静态评估来进行模型开发，以及当前的系统是否可以很好地推广到现实世界的人机对话。在这项工作中，我们进行了第一次大规模的人类评估国家的最先进的会话QA系统，其中人类评估者与模型交谈，并判断他们的答案的正确性。我们发现，人机对话的分布与人与人之间的对话有很大的不同，并且在模型排名方面，人与金历史评价之间存在分歧。我们进一步研究如何提高自动评估，并提出了一个问题重写机制的基础上预测的历史，更好地与人类的判断。最后，我们分析了各种建模策略的影响，并讨论了未来的发展方向，以建立更好的会话问答系统。
2022-03-21 cs.CL cs.LG
SCAI-QReCC Shared Task on Conversational Question Answering
Amazon（亚马逊）
面向搜索的对话式人工智能（SCAI）是一个既定的场所，它经常关注最近推进对话式搜索领域的工作。SCAI'21是作为一个独立的在线活动组织的，并以会话问答的共同任务为特色。由于所有的参与者团队都尝试了这个任务的答案生成模型，我们确定了在这种情况下的答案正确性评估的主要挑战和目前的研究差距。除了自动评估之外，我们还进行了两个众包实验，以收集答案的可信性和忠实性的注释。由于这个共享的任务，用于评估的原始会话QA数据集进一步扩展了参与者系统产生的替代正确答案。
2022-01-26 cs.CL cs.IR
BERT-CoQAC: BERT-based Conversational Question Answering in Context
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
问答对话系统作为一种通过与机器人对话来查询任何特定信息的有前途的方式，近年来获得了越来越多的研究兴趣。交互式问答系统的设计一直是自然语言处理领域的一项具有挑战性的任务，并被用作评估机器自然语言理解能力的基准。然而，这样的系统往往挣扎时，问题回答是由用户在多个回合，以寻求更多的信息的基础上，他们已经学会了，因此，引起了另一个复杂的形式称为会话问答（CQA）。CQA系统经常被批评在回答问题时不理解或利用对话的先前上下文。为了弥补这一研究空白，本文探讨了如何将会话历史整合到神经机器理解系统中。一方面，我们引入了一个框架的基础上，一个可编程的预先训练的语言模型称为BERT的历史变成系统。另一方面，我们提出了一个历史选择机制，选择相关的，并有助于回答当前问题的回合。实验结果表明，我们的框架是在性能与国家的最先进的模型在QuAC领导人板。我们还进行了一些实验，以显示使用整个上下文信息的副作用，这带来了不必要的信息和噪声信号，导致模型的性能下降。
2021-04-23 cs.CL
Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering
University of Liverpool（利物浦大学）；Amazon（亚马逊）
会话问答（CoQA）任务涉及回答关于上下文段落的一系列相互关联的会话问题。虽然现有的方法在测试时使用人类编写的地面实况答案来回答会话问题，但在现实场景中，CoQA模型将无法访问先前问题的地面实况答案，迫使模型依赖于自己先前预测的答案来回答后续问题。在本文中，我们发现，复合错误发生时，使用以前预测的答案在测试时，显着降低CoQA系统的性能。为了解决这个问题，我们提出了一种采样策略，在训练过程中在目标答案和模型预测之间进行动态选择，从而密切模拟测试时的情况。此外，我们分析了这种现象的严重程度作为问题类型，会话长度和域类型的函数。
2020-05-12 cs.CL cs.IR
PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance
The Chinese University of Hong Kong（香港中文大学）；Sichuan University（四川大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
为了促进金融领域混合背景下的会话式问答（CQA），我们提出了一个新的数据集，名为PACIFIC。与现有的CQA数据集相比，PACIFIC具有三个关键特征：（i）主动性，（ii）数值推理，（iii）表格和文本的混合上下文。因此，本文提出了一个新的研究课题--主动会话问答（PCQA）。此外，我们提出了一种新的方法，即UniPCQA，以适应PCQA的输入和输出内容的混合格式到Seq 2Seq问题，包括重新制定的数值推理过程的代码生成。UniPCQA在PCQA中的所有子任务上执行多任务学习，并且通过交叉验证顶部$k$采样的Seq 2Seq输出来结合简单的集成策略以减轻多任务学习中的错误传播问题。我们使用广泛的基线对PACIFIC数据集进行基准测试，并对PCQA的每个子任务进行全面评估。
2023-03-19 cs.CL
Structured Context and High-Coverage Grammar for Conversational Question Answering over Knowledge Graphs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
我们使用神经语义解析方法来解决大知识图谱上弱监督会话问答的问题。我们引入了一种新的逻辑形式（LF）语法，可以在图形上对各种查询进行建模，同时保持足够简单以有效地生成监督数据。我们基于Transformer的模型采用类似JSON的结构作为输入，使我们能够轻松地将知识图谱和会话上下文结合起来。这种结构化的输入被转换为嵌入列表，然后被馈送到标准的注意力层。我们验证了我们的方法，无论是在语法覆盖率和LF执行的准确性，两个公开可用的数据集，CSQA和ConvQuestions，都在维基数据接地。在CSQA上，我们的方法将覆盖范围从$80\%$增加到$96.2\%$，并将LF执行精度从$70.6\%$增加到$75.6\%$。在ConvQuestions上，我们在最先进的技术方面取得了有竞争力的结果。
2021-09-01 cs.CL
A Graph-guided Multi-round Retrieval Method for Conversational Open-domain Question Answering
The Hong Kong Polytechnic University（香港理工大学）；Shandong University（山东大学）
近年来，会话智能体为人们提供了一种自然、便捷的获取信息的途径，会话问答（QA）也成为一个新的研究课题。在当前流行的会话式问答任务中，会话式开放域问答（英语：Conversational open-domain QA）要求从Web上检索相关段落以提取准确答案，是一种实用性较强但研究较少的问答任务。如何更好地捕捉和充分挖掘会话中的历史语境，以利于有效的大规模检索，这是一个主要的挑战。目前的研究主要是利用历史问题来提炼当前问题或增强其代表性，而历史答案和当前答案之间的关系，这也是这项任务的关键，是完全被忽视的。为了解决这个问题，我们提出了一种新的图引导检索方法来模拟会话轮之间的答案之间的关系。特别是，它利用了一个通道图从超链接连接的段落，包含历史答案和潜在的当前答案，检索更多的相关段落，为后续的答案提取。此外，为了在历史语境中收集更多的互补信息，我们还建议结合多轮相关反馈技术来探讨检索语境对当前问题理解的影响。在公开数据集上的实验结果验证了该方法的有效性。值得注意的是，预测历史答案和真实历史答案的F1分数分别提高了5%和11%。
2021-04-17 cs.CL cs.IR
Context Transformer with Stacked Pointer Networks for Conversational Question Answering over Knowledge Graphs
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；Osthus GmbH（奥斯图斯有限公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
神经语义解析方法已广泛应用于基于知识图谱的问答系统。这样的方法提供了处理具有复杂查询和大量实体的QA数据集的灵活性。在这项工作中，我们提出了一个新的框架名为纸箱，它执行多任务的语义解析处理问题的会话问答在一个大规模的知识图谱。我们的框架包括一个堆栈的指针网络作为一个上下文Transformer模型的扩展，用于解析输入的问题和对话的历史。框架生成可以在知识图谱上执行的动作序列。我们在一个标准数据集上对CARTON进行了评估，以进行复杂的顺序问答，CARTON在该数据集上的表现优于所有基线。具体来说，我们观察到的性能改善F1分数的10个问题类型相比，以前的状态。对于逻辑推理问题，11个绝对点的改善达到。
2021-06-24 cs.CL
ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering
University of California, Santa Barbara（加州大学圣巴巴拉分校）；J.P. Morgan（摩根大通）
随着大型预训练语言模型的最新进展，研究人员在主要关注语言模式匹配的NLP任务中取得了创纪录的成绩。社区正在经历从如何建模语言到模仿人类复杂推理能力的挑战。在这项工作中，我们调查的应用领域的金融，涉及现实世界中，复杂的数值推理。我们提出了一个新的大规模数据集，ConvFinQA，旨在研究会话问答中的数值推理链。我们的数据集在建模现实世界对话中的长距离，复杂的数值推理路径方面提出了巨大的挑战。我们对神经符号方法和基于推理的方法进行了全面的实验和分析，以深入了解这两种方法的推理机制。我们相信我们的新数据集应该作为一个宝贵的资源，推动对现实世界的探索，复杂的推理任务作为下一个研究重点。我们的数据集和代码可在https://github.com/czyssrs/ConvFinQA上公开获取。
2022-10-07 cs.CL
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
Korea Advanced Institute of Science Technology（韩国科学技术院）
会话式问答（ConvQA）模型的目标是通过相关段落和在会话中多次出现的先前问答对来回答问题。为了将这些模型应用于现实世界的场景，一些现有的工作使用预测的答案，而不是不可用的地面真相答案，作为推理的会话历史。然而，由于这些模型通常预测错误的答案，使用所有的预测而不过滤显着阻碍了模型的性能。为了解决这个问题，我们建议根据ConvQA模型中估计的置信度和不确定性过滤掉对话历史中不准确的答案，而不进行任何架构更改。此外，为了使置信度和不确定性值更可靠，我们建议进一步校准它们，从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型，基于答案选择的现实对话问答，结果表明我们的模型显著优于相关基线。代码可在：https://github.com/starsuzi/AS-ConvQA.
2023-02-10 cs.AI cs.CL cs.IR
Learn to Resolve Conversational Dependency: A Consistency Training Framework for Conversational Question Answering
Korea University（高丽大学）
会话问答中的一个主要问题是如何解决诸如照应和省略等会话依赖问题。然而，现有的方法没有明确地训练QA模型如何解决依赖关系，因此这些模型在理解人类对话方面是有限的。在本文中，我们提出了一个新的框架，ExCorD（显式指导如何解决会话依赖），以提高能力的QA模型在理解会话上下文。ExCorD首先生成可以在没有会话历史的情况下理解的自包含问题，然后使用基于一致性的正则化器使用原始和自包含问题对训练QA模型。在我们的实验中，我们证明了ExCorD显着提高了QA模型的性能高达1.2 F1的QuAC，和5.2 F1的CANARD，同时解决了现有方法的局限性。
2021-06-22 cs.AI cs.CL
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline（源讯世界线）
语言模型的最新进展（例如BERT、XLNet等），在复杂的NLP任务（如阅读理解）上，然而，用于训练的标记数据集主要以英语提供，这使得很难用其他语言确认进展。幸运的是，模型现在已经在来自数百种语言的未标记数据上进行了预训练，并表现出从一种语言到另一种语言的有趣迁移能力。在本文中，我们表明，多语言的BERT是自然能够zero-shot转移提取问答任务（eQA）从英语到其他语言。更具体地说，它超过了以前已知的最好的转移到日语和法语的基线。此外，使用最近发布的大型eQA法语数据集，我们能够进一步证明：（1）zero-shot迁移提供的结果非常接近于目标语言的直接训练;（2）迁移和目标语言训练的组合是总体上最好的选择。最后，我们提出了一个实际的应用：一个多语言的会话代理称为凯特回答人力资源相关的问题，在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Open-Domain Question Answering Goes Conversational via Question Rewriting
Apple Inc.（苹果公司）；University of Amsterdam（阿姆斯特丹大学）
我们引入了一个新的数据集，用于会话上下文中的问题重写（QReCC），其中包含14K对话和80K问答对。QReCC的任务是在1000万个网页（分成5400万个段落）中找到会话问题的答案。同一对话中的问题的答案可能分布在多个网页上。QReCC提供注释，使我们能够训练和评估端到端会话问答（QA）任务所需的问题重写，段落检索和阅读理解的各个子任务。我们报告了一个强大的基线方法的有效性，结合了国家的最先进的模型的问题重写，开放域QA的竞争力模型。我们的结果为QReCC数据集设定了第一个基线，F1为19.10，而人类的上限为75.45，这表明设置的难度和很大的改进空间。
2021-04-14 cs.CL cs.IR
Towards Adaptive Context Management for Intelligent Conversational Question Answering
School of Computing, Macquarie University, Sydney, NSW 2109, Australia（计算机学院，麦考瑞大学，悉尼，新南威尔士州2109，澳大利亚）
本文提出自适应上下文管理（ACM）框架，通过上下文管理器、摘要和实体抽取三个模块动态优化对话历史，在token限制内提升对话式问答系统的准确性与可扩展性。
2025-09-22 cs.CL
Domain-specific Language Pre-training for Dialogue Comprehension on Clinical Inquiry-Answering Conversations
Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院）
从临床对话中自动提取相关信息的兴趣越来越大。然而，很难收集和构建用于临床对话任务的大型注释资源。自然语言处理的最新发展表明，大规模的预先训练的语言骨干可以用于这样的机器理解和信息抽取任务。然而，由于预训练和下游临床领域之间的差距，利用通用主干用于特定领域的应用仍然具有挑战性。因此，在这项工作中，我们提出了一种特定领域的语言预训练，以提高对话理解等下游任务的性能。除了常用的标记级掩蔽预训练方法外，根据人类对话的本质和多主题问答对话的交互流程，进一步提出了说话人和话语操作的样本生成策略。会话预训练引导语言骨干基于剩余的上下文连贯地重建话语，从而弥合一般域和特定域之间的差距。在临床会话数据集上进行了实验，用于症状检查，其中护士询问并与患者讨论症状信息。我们的经验表明，我们提出的方法的神经模型带来了改善的对话理解任务，并可以在低资源的培训方案取得了良好的效果。
2022-06-06 cs.CL
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada（加拿大国家银行）
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中，用户经常将他们的信息需求表述为简短且模糊的查询，一些流行的搜索界面然后提示用户确认她的意图（例如，“你的意思是...... ?“），或在必要时重新措辞。当涉及到对话系统时，流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下，向用户给出以下响应之一：1）直接回答，如果意图不清楚，则可能是不相关的，2）通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此，我们提出了一个多阶段的澄清机制，提示澄清和查询选择的上下文中的问答对话系统。我们表明，我们提出的机制提高了整体用户体验，并优于竞争基线与两个数据集，即公共范围内的范围外的数据集和商业数据集的基础上，真正的用户日志。
2021-10-28 cs.CL
CoQA: A Conversational Question Answering Challenge
Stanford University（斯坦福大学）；Computer Science Department（计算机科学系）
人类通过参与涉及一系列相互关联的问题和答案的对话来收集信息。因此，对于帮助收集信息的机器来说，使它们能够回答会话问题至关重要。我们介绍了CoQA，一种用于构建会话式问答系统的新型数据集。我们的数据集包含127k个问题和答案，这些问题和答案来自七个不同领域的8k个文本段落对话。问题是对话式的，答案是自由形式的文本，并在文章中突出显示相应的证据。我们深入分析了CoQA，并表明会话问题具有现有阅读理解数据集中不存在的挑战性现象，例如，共指和语用推理。我们在CoQA上评估强大的会话和阅读理解模型。最好的系统获得了65.4%的F1分数，比人类的表现（88.8%）落后23.4分，这表明有足够的改进空间。我们在http://stanfordnlp.github.io/coqa/上推出CoQA作为对社区的挑战
2019-03-29 cs.AI cs.CL cs.LG
Prompt Guided Copy Mechanism for Conversational Question Answering
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文提出一种可插拔的提示引导复制机制，通过三种提示和注意力引导对抽取式答案进行验证与编辑，从而提升对话式问答中答案的流畅性和恰当性，并在CoQA上取得良好效果。
2023-08-07 cs.AI cs.CL
Conversational Question Answering over Knowledge Graphs with Transformer and Graph Attention Networks
University of Bonn（波恩大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Zerotha Research（Zerotha研究院）；Cerence GmbH（赛轮思有限公司）；Osthus GmbH（Osthus有限公司）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
本文研究了基于知识图谱的（复杂）会话式问答问题。为此，我们提出了LASAGNE（muLti-task语义解析with Transformer and Graph attenNtion nEtworks）。这是第一种方法，它采用了一个Transformer架构扩展与图形注意力网络的多任务神经语义解析。LASAGNE使用一个Transformer模型来生成基本的逻辑形式，而Graph Attention模型用于利用（实体）类型和谓词之间的相关性来生成节点表示。LASAGNE还包括一个新的实体识别模块，它可以检测、链接和排名问题上下文中的所有相关实体。我们评估LASAGNE在标准数据集上进行复杂的顺序问答，在所有问题类型上都优于现有的基线平均值。具体来说，我们表明，LASAGNE提高了10个问题类型中的8个的F1分数;在某些情况下，与最先进的技术相比，F1分数的增加超过20%。
2021-06-24 cs.CL
Open-Retrieval Conversational Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Ant Financial（蚂蚁金融）；Alibaba Group（阿里巴巴集团）
对话式检索是信息检索的最终目标之一。最近的研究方法会话搜索的简化设置的响应排名和会话的问答，其中答案是从一个给定的候选集选择或从一个给定的通道提取。这些简化忽略了检索在会话搜索中的基本作用。为了解决这一限制，我们引入了一个开放检索会话式问答（ORConvQA）设置，在那里我们学习从一个大的集合中检索证据，然后提取答案，作为构建功能会话搜索系统的进一步步骤。我们创建了一个数据集OR-QuAC，以促进对ORConvQA的研究。我们为ORConvQA构建了一个端到端的系统，其中包括一个检索器、一个重排序器和一个读取器，这些都是基于Transformers的。我们在OR-QuAC上的大量实验表明，可学习的检索器对ORConvQA至关重要。我们进一步表明，当我们在所有系统组件中启用历史建模时，我们的系统可以做出实质性的改进。此外，我们表明，reranker组件有助于通过提供正则化效果的模型性能。最后，进行了进一步的深入分析，以提供新的见解ORConvQA。
2020-05-22 cs.CL cs.IR
No that's not what I meant: Handling Third Position Repair in Conversational Question Answering
AlanaAI
本文发布了首个对话式问答场景下的大规模第三位置修正数据集Repair-QA，通过训练和评估T5及GPT-3等基线模型，证明接触该数据集能显著提升模型处理TPR的能力。
2023-07-31 cs.CL
Exploring Rewriting Approaches for Different Conversational Tasks
Adobe Research（奥多比研究部门）
本文系统比较了改写与融合两种方法在不同对话任务中的效果，发现查询改写最适合对话问答，而融合方法更适合数据分析助手生成可视化，且融合在长短对话中均优于改写。
2025-02-28 cs.CL
Consistency Training by Synthetic Question Generation for Conversational Question Answering
Sharif University of Technology（谢里夫理工大学）；AI Group（人工智能组）
针对对话式问答中无关历史干扰推理的问题，提出模型无关的CoTaH方法，通过合成问题增强历史数据并结合一致性训练提升鲁棒性，引入新基线验证了其在长历史上下文问题上的效果提升。
2024-04-17 cs.CL
Contrastive Representation Learning for Conversational Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Zerotha Research（泽罗塔研究院）；Cerence GmbH（赛轮思有限公司）；University of Siegen（锡根大学）；Amazon（亚马逊）；Institute for Applied Informatics（应用信息学研究所）
研究了基于知识图谱的会话式问答问题。大多数现有的ConvQA方法依赖于完整的监督信号，严格假设查询的黄金逻辑形式的可用性，以从KG中提取答案。然而，在现实世界的场景中，创建这样一个黄金逻辑形式对于每个潜在问题都是不可行的。因此，在缺少黄金逻辑形式的情况下，现有的基于信息检索的方法通过启发式或强化学习使用弱监督，将ConvQA公式化为KG路径排序问题.尽管缺少黄金逻辑形式，丰富的会话上下文，如整个对话历史与流畅的反应和域信息，可以有效地达到正确的KG path.This工作提出了一个对比表示学习为基础的方法来排名KG路径有效。我们的方法解决了两个关键挑战。首先，它允许基于弱监督的学习，忽略了黄金注释的必要性。其次，它结合了会话上下文（整个对话历史和域信息），以联合学习其同质表示与KG路径，以提高有效的路径排名的对比表示。我们在ConvQA的标准数据集上评估了我们的方法，在这些数据集上，它在所有领域和整体上都显着优于现有的基线。具体而言，在某些情况下，与最先进的性能相比，平均倒数排名（MRR）和Hit@5排名度量分别提高了绝对10和18个点。
2022-10-09 cs.CL
Reinforcement Learning from Reformulations in Conversational Question Answering over Knowledge Graphs
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
个人助理的兴起使得会话式问答（ConvQA）成为用户-系统交互的非常流行的机制。在知识图谱（KG）上进行ConvQA的最先进方法只能从流行基准测试中发现的清晰问答对中学习。然而，在现实中，这样的训练数据很难获得：用户很少会明确地将答案标记为正确或错误。在这项工作中，我们向更自然的学习范式迈出了一步-从嘈杂和隐含的反馈通过问题重新表述。重新表述可能是由不正确的系统响应触发的，而新的后续问题可能是前一轮答案的积极信号。我们提出了一个强化学习模型，称为征服，可以从会话流的问题和重构。CONQUER将应答过程建模为多个代理在KG上并行行走，其中行走由使用策略网络采样的动作确定。该策略网络将问题与会话上下文一起作为输入，并通过从重构可能性获得的噪声奖励进行训练。为了评估CONQUER，我们创建并发布了ConvRef，这是一个基准测试，包含大约11 k个自然对话，其中包含大约205 k个重构。实验表明，CONQUER成功地从嘈杂的奖励信号中学习回答会话问题，在最先进的基线上有显着改善。
2021-08-20 cs.CL cs.IR
Reinforcement Learning for Conversational Question Answering over Knowledge Graph
本文提出用强化学习解决法律知识库对话式问答中输入问题含噪声、表达不明确导致难以定位答案的问题，并在多个真实数据集上验证了有效性。
2024-01-16 cs.AI cs.CL
Entity-Memory Graph Retrieval Improves Evidence Coverage in Long-Conversation Question Answering
Tsinghua University（清华大学）
该研究提出实体记忆图检索方法，在10个LoCoMo对话的1986个问题上，使top-k=25的证据召回率提升约4.74个百分点，实现检索覆盖增益。
2026-08-31 cs.CL
Enhancing RAG with Active Learning on Conversation Records: Reject Incapables and Answer Capables
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
针对RAG仍难以完全防止LLM幻觉响应且高质量数据集稀缺的问题，本文提出利用对话记录通过主动学习构建数据集，引入AL4RAG及新的样本距离测量方法，训练LLM避开易幻觉问题并准确回答可处理问题，实验表现优于基线。
2025-02-13 cs.CL
Weakly-Supervised Open-Retrieval Conversational Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Ant Financial Services Group（蚂蚁集团）
最近关于问答（QA）和会话式QA（ConvQA）的研究强调检索的作用：系统首先从大量集合中检索证据，然后提取答案。这种开放检索ConvQA设置通常假设每个问题都可以通过特定段落中的单个文本跨度（跨度答案）来回答。因此，从系统是否可以从检索到的段落中恢复该地面实况答案跨度的精确匹配来导出监督信号。这种方法被称为跨度匹配弱监督。然而，寻求信息的对话对于这种跨度匹配方法是具有挑战性的，因为长的答案，特别是自由形式的答案，不一定是任何段落的严格跨度。因此，我们引入了一个学习弱监督的方法，可以识别一个段落中的已知答案的释义跨度。我们在QuAC和CoQA数据集上的实验表明，跨度匹配的弱监督只能处理跨度答案的会话，而对于人们生成的自由形式的答案，效果不太令人满意。我们的方法更灵活，因为它可以处理跨度答案和自由形式的答案。此外，我们的方法可以更强大时，结合跨度匹配的方法，这表明它是补充跨度匹配的方法。我们还进行了深入的分析，以显示在弱监督设置下对开放检索ConvQA的更多见解。
2021-03-03 cs.CL cs.IR
The Dangers of trusting Stochastic Parrots: Faithfulness and Trust in Open-domain Conversational Question Answering
Alana AI（阿兰人工智能公司）
本文研究开放域对话问答中语言对话行为对用户信任的影响，发现词汇对齐等“鹦鹉学舌”行为会提高信任度，但可能掩盖不忠实回答，从而揭示此类系统的潜在危险。
2023-05-25 cs.CL
Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions
Department of Informatics, Athens University of Economics and Business（雅典经济与商业大学信息学院）；Omilia - Conversational Intelligence（Omilia-对话智能）；Archimedes, Athena Research Center（雅典研究中心Archimedes）；NCSR Demokritos（德摩斯蒂斯国家研究中心）
针对开放检索式对话问答数据集获取困难的问题，提出基于组织纯文本文档生成合成带标注对话的流程，训练问题重写器去语境化用户问题，结合LLM构建OR-CONVQA系统。
2026-08-07 cs.CL
Strong and Efficient Baselines for Open Domain Conversational Question Answering
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文针对ODConvQA任务中现有DPR-FiD流水线性能下降的问题，提出在检索器与阅读器间引入快速重排序组件及针对性微调的强高效基线方法，在提升SotA结果的同时降低60%阅读器延迟。
2023-10-23 cs.CL
Look before you Hop: Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion
MPI for Informatics（马克斯·普朗克信息学研究所）；Amazon Alexa（亚马逊Alexa）
以事实为中心的信息需求很少是一次性的;用户通常会提出后续问题来探索一个主题。在这样的会话设置中，用户的输入通常是不完整的，其中实体或谓词被遗漏，以及不合语法的短语。这对问答（QA）系统提出了巨大的挑战，因为QA系统通常依赖于完整的疑问句中的线索。作为一种解决方案，我们开发了CONVEX：一种无监督的方法，可以通过使用迄今为止看到的实体和谓词来维护会话上下文，并自动推断后续问题的缺失或模糊部分，从而在知识图谱（KG）上回答不完整的问题。我们的方法的核心是一个图探索算法，明智地扩大了边界，找到候选答案的当前问题。为了评估CONVEX，我们发布了ConvQuestions，这是一个众包基准，包含来自五个不同领域的11，200个不同对话。我们证明了CONVEX：（i）为任何独立的QA系统添加会话支持，（ii）优于最先进的基线和问题完成策略。
2019-11-05 cs.CL cs.IR
A Simple but Effective Method to Incorporate Multi-turn Context with BERT for Conversational Machine Comprehension
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社NTT媒体智能实验室）
会话机器理解（CMC）需要理解多轮对话的上下文。使用预训练语言模型BERT已经成功地用于单轮机器理解，而使用BERT建模多轮问答尚未建立，因为BERT对输入序列的数量和长度有限制。在本文中，我们提出了一个简单而有效的方法与BERT的CMC。我们的方法使用BERT来编码一个段落独立的条件与每个问题和每个答案在一个多回合的上下文中。然后，该方法基于用BERT编码的段落表示来预测答案。具有代表性的CMC数据集，QuAC和CoQA的实验表明，我们的方法优于最近发表的方法（QuAC上的+0.8 F1和CoQA上的+2.1 F1）。此外，我们还详细分析了对话历史的数量和类型对CMC准确性的影响，我们发现，在实际对话中可能不会给出的黄金答案历史对两个数据集上的模型性能贡献最大。
2019-05-30 cs.CL
Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers
The Chinese University of Hong Kong（香港中文大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出 AdaQR 框架，仅用约10%重写标注且无需段落标签，通过答案对 Top-K 段落的边际概率衡量检索器偏好，并用 DPO 优化重写器，提升领域内外 CQA 检索效果。
2024-06-16 cs.CL
CoQAR: Question Rewriting on CoQA
Orange Innovation（Orange创新研究院）
人类在对话中提出的问题通常包含上下文依赖性，即，明确或隐含地引用先前的对话轮。这些依赖关系采取共引用的形式（例如，通过代词使用）或省略号，并且可能使自动化系统难以理解。促进理解和后续处理问题的一种方法是将其重写为脱离上下文的形式，即，一种可以在没有会话背景的情况下理解的形式。我们提出CoQAR，一个语料库包含$4.5$ K会话数据集CoQA，共$53$ K后续问答对。每个原始问题都被手动注释了至少2次，最多3次断章取义的重写。CoQAR可用于三种任务的监督学习：问题释义、问题重写和会话问答。为了评估CoQAR重写的质量，我们进行了几个实验，包括训练和评估这三个任务的模型。我们的研究结果支持的想法，问题重写可以作为一个预处理步骤的问答模型，从而提高其性能。
2022-07-07 cs.CL
Question rewriting? Assessing its importance for conversational question answering
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）
在会话式问答中，系统必须正确地解释互连的交互并生成知识性的答案，这可能需要从后台存储库检索相关信息。这个问题的最新方法利用神经语言模型，虽然不同的替代方案可以考虑在模块方面（a）表示用户的问题在上下文中，（b）检索相关的背景信息，（c）生成答案。本文提出了一个专门为面向搜索的对话式人工智能（SCAI）共享任务设计的对话式问答系统，并对其问题重写模块进行了详细分析。特别是，我们考虑了问题重写模块的不同变化，以评估对后续组件的影响，并对最佳系统配置所获得的结果进行了仔细的分析。我们的系统在共享任务中取得了最好的性能，我们的分析强调了会话上下文表示对整个系统性能的重要性。
2022-04-14 cs.CL cs.LG
Attentive Memory Networks: Efficient Machine Reading for Conversational Search
University of Amsterdam（阿姆斯特丹大学）
会话系统的最新进展改变了搜索范式。传统上，用户向搜索引擎提出查询，该搜索引擎基于其索引返回答案，可能利用外部知识库并根据搜索会话中的早期交互来调节响应。在自然对话中，还有一个额外的信息源需要考虑：在对话中较早产生的话语也可以被引用，并且对话IR系统必须跟踪用户在对话期间传达的信息，即使它是隐式的。我们认为，建立一个代表性的对话的过程可以被框定为一个机器阅读任务，其中一个自动化系统提出了一些声明，它应该回答问题。这些问题的回答应仅参考所提供的陈述，而不应咨询外部知识。信息检索社区接受这项任务的时机已经成熟，既可以作为一项独立的任务，也可以集成到更广泛的对话搜索环境中。在本文中，我们专注于机器阅读作为一个独立的任务，并提出了注意记忆网络（AMN），一个端到端的可训练的机器阅读算法。它的主要贡献是效率，通过分层输入编码器实现，只对输入进行一次迭代。速度是会话搜索设置中的一个重要要求，因为会话轮之间的间隙对自然性有不利影响。在20个通常用于评估机器阅读算法的数据集上，我们表明AMN实现了与最先进的模型相当的性能，同时使用了相当少的计算。
2017-12-19 cs.CL
Multifaceted Improvements for Conversational Open-Domain Question Answering
Hangzhou Dianzi University（杭州电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
开放域问答（OpenQA）是文本问答的一个重要分支，它基于大量的非结构化文档来发现给定问题的答案。有效地从开放域资源中挖掘正确答案还有很长的路要走。现有的OpenQA系统可能会受到问题复杂性和模糊性的问题，以及不足的背景知识。最近，会话OpenQA被提出来解决这些问题，丰富的上下文信息的会话。尽管它可能是有前途的，但存在几个基本的限制，包括不准确的问题理解，对通道选择的粗略排名，以及在训练和推理阶段中黄金通道的不一致使用。为了缓解这些限制，在本文中，我们提出了一个框架与多方面的改进会话开放域问答（MICQA）。具体而言，MICQA具有三个显著优势。首先，所提出的基于KL发散的正则化能够导致更好的问题理解，用于检索和答案阅读。第二，增加的后排名模块可以将更多相关的段落推到顶部放置，并为读者选择两方面的约束。第三，精心设计的课程学习策略有效地缩小了训练和推理的黄金通道设置之间的差距，鼓励读者在没有黄金通道帮助的情况下找到真正的答案。在公开数据集OR-QuAC上进行的大量实验证明了MICQA在会话OpenQA任务中优于最先进的模型。
2022-04-01 cs.CL cs.IR
