Self-supervised Dialogue Learning for Spoken Conversational Question Answering
Peking University（北京大学）；Yale University（耶鲁大学）；Peng Cheng Laboratory（鹏城实验室）
在口语会话式问答（SCQA）中，通过检索然后分析固定的口语文档（包括多部分会话）来生成对应问题的答案。大多数SCQA系统只考虑从有序的话语中检索信息。然而，对话的顺序对于建立一个健壮的口语问答系统是非常重要的，而话语顺序的改变会严重地导致低质量和不连贯的语料库。为此，我们引入了一种自监督学习方法，包括不连贯辨别、插入检测和问题预测，以显式捕获口语文档之间的共指消解和对话连贯性。具体来说，我们设计了一个联合学习框架，其中辅助自监督任务可以使预训练的SCQA系统实现更连贯和更有意义的口语对话学习。我们还利用所提出的自监督学习任务来捕获句内连贯性。实验结果表明，我们提出的方法提供了更连贯的，有意义的，适当的反应，产生优越的性能增益相比，原来的预训练语言模型。我们的方法在Spoken-CoQA数据集上实现了最先进的结果。
2021-06-24 cs.AI cs.CL cs.LG
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容，使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发，我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量，表示为$Q^2$，比较答案跨度使用自然语言推理（NLI），而不是基于令牌的匹配，在以前的工作。为了促进正确的评估，我们为维基百科的向导数据集策划了一个新的对话系统输出数据集，并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估，其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering
Amazon Alexa Search（亚马逊Alexa搜索部）
多域对话状态跟踪（DST）是对话式AI系统的关键组件。领域本体（即，会话式AI系统的域、槽和值的规范）通常是不完整的，使得DST模型在推理期间推广到新的槽、值和域的能力是必要的。在本文中，我们提出了一个问题回答问题，称为对话状态跟踪通过问答（DSTQA）的多域DST模型。在DSTQA中，每轮生成一个问题，询问（域，槽）对的值，从而使其自然地扩展到看不见的域，槽和值。此外，我们使用动态演化的知识图谱来明确地学习（域，槽）对之间的关系。我们的模型在MultiWOZ 2.0和MultiWOZ 2.1数据集上分别比当前最先进的模型有5.80%和12.21%的相对改进。此外，我们的模型在领域自适应设置中始终优于最先进的模型。(Code发布于https://github.com/alexa/dstqa）
2020-06-20 cs.AI cs.CL cs.LG
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam（阿姆斯特丹大学）；Utrecht University（乌得勒支大学）
在许多现实世界的场景中，缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外，人类经常通过问几个问题来寻求答案，以获得更全面的信息。随着对话变得越来越广泛，机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中，我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识，通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明，我们的检索阅读系统可以利用检索到的背景知识，以产生显着更好的答案。结果还表明，我们的上下文摘要显着帮助检索者和读者介绍更简洁，更少的噪音上下文信息。
2022-12-17 cs.CL
Domain-specific Language Pre-training for Dialogue Comprehension on Clinical Inquiry-Answering Conversations
Institute for Infocomm Research (I2R), A*STAR（新加坡科技研究局资讯通信研究院）
从临床对话中自动提取相关信息的兴趣越来越大。然而，很难收集和构建用于临床对话任务的大型注释资源。自然语言处理的最新发展表明，大规模的预先训练的语言骨干可以用于这样的机器理解和信息抽取任务。然而，由于预训练和下游临床领域之间的差距，利用通用主干用于特定领域的应用仍然具有挑战性。因此，在这项工作中，我们提出了一种特定领域的语言预训练，以提高对话理解等下游任务的性能。除了常用的标记级掩蔽预训练方法外，根据人类对话的本质和多主题问答对话的交互流程，进一步提出了说话人和话语操作的样本生成策略。会话预训练引导语言骨干基于剩余的上下文连贯地重建话语，从而弥合一般域和特定域之间的差距。在临床会话数据集上进行了实验，用于症状检查，其中护士询问并与患者讨论症状信息。我们的经验表明，我们提出的方法的神经模型带来了改善的对话理解任务，并可以在低资源的培训方案取得了良好的效果。
2022-06-06 cs.CL
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada（加拿大国家银行）
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中，用户经常将他们的信息需求表述为简短且模糊的查询，一些流行的搜索界面然后提示用户确认她的意图（例如，“你的意思是...... ?“），或在必要时重新措辞。当涉及到对话系统时，流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下，向用户给出以下响应之一：1）直接回答，如果意图不清楚，则可能是不相关的，2）通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此，我们提出了一个多阶段的澄清机制，提示澄清和查询选择的上下文中的问答对话系统。我们表明，我们提出的机制提高了整体用户体验，并优于竞争基线与两个数据集，即公共范围内的范围外的数据集和商业数据集的基础上，真正的用户日志。
2021-10-28 cs.CL
Building the Intent Landscape of Real-World Conversational Corpora with Extractive Question-Answering Transformers
Bell Canada（加拿大贝尔）
对于提供客户服务的公司来说，在会话数据中映射意图对于构建基于自然语言理解（NLU）的应用程序至关重要。然而，目前还没有建立自动化技术来从嘈杂的在线聊天或语音记录中收集意图。简单的聚类方法不适合意图稀疏的对话。为了解决这个意图景观任务，我们提出了一个无监督的管道，从现实世界的对话中提取意图和意图的分类。我们的管道使用提取问答Electra模型挖掘意图跨度候选项，并利用句子嵌入应用低级别密度聚类，然后是顶级层次聚类。我们的研究结果证明了在SQuAD 2数据集上微调的ELECTRA大型模型的泛化能力，以理解对话。通过正确的提示问题，该模型实现了超过85%的意图跨度的语言验证率。我们还从MultiDoGo数据集重建了五个领域的意图方案，平均召回率为94.3%。
2022-08-30 cs.AI cs.CL cs.LG
A State-Update Prompting Strategy for Efficient and Robust Multi-turn Dialogue
School of Artificial Intelligence Beijing University of Posts
本文提出一种无需训练的提示工程方法，通过状态重建和历史提醒机制优化多轮对话，提升信息过滤和问答性能，同时减少推理时间和token消耗。
2026-04-07 cs.AI cs.CL
KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）；The University of Osaka（大阪大学）
本文提出首个面向医学、金融和法律领域的多轮长文本问答基准KnowMT-Bench，通过动态评测揭示多轮上下文导致的事实性下降与信息效率降低，并验证RAG可有效缓解该退化。
2026-10-27 cs.CL
The Speech-LLM Takes It All: A Truly Fully End-to-End Spoken Dialogue State Tracking Approach
本文提出利用语音大语言模型实现端到端语音对话状态跟踪，通过比较不同上下文管理策略，发现完整语音对话输入能获得最佳性能，同时压缩历史信息能保持准确性与效率的平衡。
2026-02-16 cs.AI cs.CL cs.LG
Survey on Evaluation Methods for Dialogue Systems
UNED（西班牙国立远程教育大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（法国计算机科学与自动化研究所）；Zurich University of Applied Sciences (ZHAW)（苏黎世应用科技大学）
在本文中，我们调查的方法和概念开发的评估对话系统。评估是开发过程中的一个关键部分。通常，对话系统通过人工评估和问卷来评估。然而，这往往是非常成本和时间密集的。因此，已经投入了大量的工作来寻找允许减少人力参与的方法。在本研究中，我们提出了主要的概念和方法。为此，我们区分各种类别的对话系统（面向任务的对话系统、会话式对话系统和问答式对话系统）。我们通过介绍为对话系统开发的主要技术来覆盖每个类，然后介绍关于该类的评估方法。
2020-06-26 cs.AI cs.CL cs.HC
How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation
Independent Researcher（独立研究者）
系统评估五种轻量级、CPU可运行的幻觉检测方法在HaluEval基准上的表现，发现性能高度依赖任务，在摘要任务上接近随机，为资源受限场景提供方法选择指导。
2026-10-05 cs.AI cs.CL
On the Robustness of Dialogue History Representation in Conversational Question Answering: A Comprehensive Study and a New Prompt-based Method
Technion - Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
大多数在会话问答（CQA）中对会话历史建模的工作都报告了一个通用CQA基准测试的单一主要结果。虽然现有的模型在CQA排行榜上显示出令人印象深刻的结果，但仍不清楚它们是否对设置（有时是更现实的设置），训练数据大小（例如从大到小）和域的变化具有鲁棒性。在这项工作中，我们设计并进行了第一次大规模的鲁棒性研究的历史建模方法CQA。我们发现，高基准分数并不一定转化为强大的鲁棒性，各种方法可以在不同的设置下表现得非常不同。配备从我们的研究的见解，我们设计了一种新的基于统计的历史建模方法，并证明其强大的鲁棒性在各种设置。我们的方法受到现有方法的启发，这些方法突出了文章中的历史答案。然而，我们不是通过修改段落标记嵌入来突出显示，而是直接在段落文本中添加文本提示。我们的方法简单，易于插入到几乎任何模型中，并且非常有效，因此我们建议将其作为未来模型开发人员的起点。我们还希望我们的研究和见解将提高人们对以稳健性为中心的评估的重要性的认识，除了获得高排行榜分数之外，还将带来更好的CQA系统。
2022-12-28 cs.AI cs.CL cs.LG
FinLifeBench: Exhaustive Life-Event History and Financial-State Reconstruction from Longitudinal Banking Dialogue
Seoul National University（首尔大学）；KakaoBank（KakaoBank（韩国 Kakao 银行））
FinLifeBench基准针对银行对话的两项纵向重建任务，测试11个LLM的性能，发现其存在事件遗漏、财务状态更新错误等问题，两项任务性能弱相关。
2026-10-27 cs.AI cs.CL
LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues
University of Amsterdam（阿姆斯特丹大学）；Xerox Research Centre Europe（施乐欧洲研究中心）
我们介绍了一种基于LSTM的方法，动态集成多个单词预测专家，以获得一个条件语言模型，它可以同时在几个子任务。我们说明了这种一般的方法与对话的应用程序，我们集成了神经聊天模型，善于对话方面，与神经问答模型，善于从知识库检索精确的信息，并显示集成如何结合的优势，独立的组件。我们希望这篇有重点的文章能引起人们对在NLP中使用这种专家组合的好处的关注。
2016-05-05 cs.AI cs.CL
One-shot Learning for Question-Answering in Gaokao History Challenge
Shanghai Jiao Tong University（上海交通大学）
从大学入学考试（中国高考）中提取问题是一项具有挑战性的人工智能任务，因为它需要有效的表示来捕捉问题和答案之间复杂的语义关系。在这项工作中，我们提出了一个混合神经网络模型，从历史考试的深度问答任务。我们的模型采用了一个合作门控神经网络检索答案的协助下，额外的标签由神经图灵机labeler。实验结果表明，该标注器在训练集较小的情况下工作良好，门控机制在获取冗长答案的语义表示方面表现良好。问答实验表明，该模型在多个评估指标方面获得了显著的性能增益。
2018-06-24 cs.CL
Context-Agent: Dynamic Discourse Trees for Non-Linear Dialogue
Shandong University（山东大学）
本文提出 Context-Agent 框架，通过动态树结构建模对话历史，解决非线性对话中的上下文管理问题，并引入 NTM 评估基准，提升多轮对话任务完成率和效率。
2026-04-17 cs.AI cs.CL
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语会话问答（SCQA）要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同，SCQA涉及音频信号处理、段落理解和上下文理解。然而，ASR系统引入了意想不到的噪声信号，这导致SCQA的性能下降。为了克服这个问题，我们提出了CADNet，一种新的上下文化的注意力蒸馏方法，它适用于交叉注意力和自我注意力，以获得ASR鲁棒的上下文嵌入表示的通道和对话历史，以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验，并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Interactive Question Answering Systems: Literature Review
Polytechnic University of Bari（巴里理工大学）
本综述系统梳理交互式问答系统，提出统一框架与分类法，分析其方法、评估及数据集，并展望未来趋势，附GitHub资源汇总。
2024-04-19 cs.AI cs.CL cs.HC
Data Augmentation Integrating Dialogue Flow and Style to Adapt Spoken Dialogue Systems to Low-Resource User Groups
The University of Electro-Communications（电气通信大学）
本研究提出一种融合对话流程与风格的数据增强框架，利用LLM提取说话风格和PLM模拟对话行为历史，以提升口语对话系统在低资源用户群体（如未成年人）上的性能，实验验证了其有效性。
2024-08-20 cs.AI cs.CL
Dialogue Learning With Human-In-The-Loop
Facebook AI Research（Facebook人工智能研究院）
开发会话代理的一个重要方面是让机器人能够通过与人类的交流来改进，并从它所犯的错误中学习。大多数研究都集中在从固定的标记数据训练集中学习，而不是以在线方式与对话伙伴进行交互。在本文中，我们在强化学习环境中探索了这一方向，其中机器人根据教师在其生成的响应后给出的反馈来提高其问答能力。我们建立了一个模拟器，在合成环境中测试这种学习的各个方面，并介绍了在这种制度下工作的模型。最后，通过在Mechanical Turk上的实验验证了该方法的有效性.
2017-01-13 cs.AI cs.CL
QAConv: Question Answering on Informative Conversations
Salesforce AI Research（Salesforce人工智能研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文介绍了QAConv，一个新的问答（QA）数据集，使用会话作为知识源。我们专注于信息对话，包括商业电子邮件，小组讨论和工作渠道。与开放领域和面向任务的对话不同，这些对话通常很长、复杂、异步，并且涉及强大的领域知识。总的来说，我们从10，259个选定的对话中收集了34，608个QA对，其中包括人类书写和机器生成的问题。我们使用问题生成器和对话摘要作为辅助工具来收集和推荐问题。该数据集有两个测试场景：块模式和完整模式，这取决于是否提供或检索接地部分会话。实验结果表明，最先进的预训练QA系统具有有限的zero-shot性能，并且倾向于将我们的问题预测为无法回答。我们的数据集提供了一个新的训练和评估测试平台，以促进对话研究的QA。
2022-04-14 cs.AI cs.CL cs.IR
Knowledge-Based Video Question Answering with Unsupervised Scene Descriptions
Osaka University（大阪大学）
为了理解电影，人们不断地对特定场景中的对话和动作进行推理，并将它们与已经看到的整体故事情节联系起来。受这种行为的启发，我们设计了ROLL，一个基于知识的视频故事问答模型，它利用了电影理解的三个关键方面：对话理解，场景推理和故事情节回忆。在ROLL中，这些任务中的每一个都负责通过1）处理场景对话，2）生成无监督视频场景描述，以及3）以弱监督方式获取外部知识来提取丰富多样的信息。为了正确回答给定的问题，每个启发认知任务产生的信息通过Transformers编码，并通过模态加权机制融合，该机制平衡了来自不同来源的信息。详尽的评估证明了我们的方法的有效性，这产生了一个新的国家的最先进的两个具有挑战性的视频问答数据集：KnowIT VQA和TVQA+。
2020-07-17 cs.CL cs.CV
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）
在口语问答中，QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中，我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题，并探索在口语文档中提供更多线索与信息收集系统的可行性。为此，而不是采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，直接融合音频文本功能，以减少自动语音识别假设和参考转录之间的错位。此外，为了评估问答系统在对话式交互中的能力，我们组装了一个口语会话问答（口语CoQA）数据集，其中包含超过12万个问答对。实验表明，我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
Ontology-based question answering over corporate structured data
TriniData LLC（TriniData 有限责任公司）
基于本体的自然语言理解（NLU）处理方法可以提高对话系统的问答质量。我们描述了我们的NLU引擎架构，并评估其实现。该引擎将用户输入转换成SPARQL SELECT、ASK或SPARQL查询，该SPARQL查询由基于本体的数据虚拟化平台提供的知识图谱。该转换基于根据Ontolex本体构建的知识图谱的词汇级。所描述的方法可以应用于图形数据填充任务和问答系统实现，包括聊天机器人。我们描述了一个聊天机器人的对话引擎，它可以保持对话上下文，并提出澄清问题，模拟人类逻辑思维的某些方面。我们的方法使用基于图的算法来避免收集基于神经网络的方法所需的数据集，并为我们的模型提供更好的可解释性。结合公司数据源上的数据虚拟化层使用问答引擎允许从结构化数据中提取事实以用于对话。
2021-11-08 cs.CL cs.SE
Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue
Huazhong University of Science and Technology（华中科技大学）；Joint Laboratory of HUST and Pingan Property & Casualty Research (HPL)（华中科技大学与平安财产保险研究联合实验室）；Beijing Institute of Technology（北京理工大学）；Ping An Property & Casualty Insurance Company of China, Ltd（中国平安财产保险股份有限公司）
本文提出因果感知长期对话框架（CPD），通过基于扰动的因果变量发现方法提取因果相关话语，并采用局部位置感知消除句子间位置相关性，结合因果感知微调策略增强模型发现因果不变因素的能力，有效缓解了LLMs在长期对话中的位置偏差问题。
2024-06-04 cs.AI cs.CL
DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs
Computer Science Emory University（计算机科学 埃默里大学）
DYCP通过动态识别和检索对话段落，提升长格式对话中LLM的上下文管理效率，实现更精确的上下文选择和推理效率提升。
2026-06-08 cs.AI cs.CL
"In Dialogues We Learn": Towards Personalized Dialogue Without Pre-defined Profiles through In-Dialogue Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Ant Group（蚂蚁集团）；University of Electronic Science and Technology of China（电子科技大学）；Kunming University of Science and Technology（昆明理工大学）
提出In-Dialogue Learning (IDL)微调框架，使预训练大语言模型能利用对话历史刻画人物画像，在无需预定义画像的情况下完成个性化对话生成，并在三个数据集上取得显著提升。
2024-10-13 cs.AI cs.CL
Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering
University of Liverpool（利物浦大学）；Amazon（亚马逊）
会话问答（CoQA）任务涉及回答关于上下文段落的一系列相互关联的会话问题。虽然现有的方法在测试时使用人类编写的地面实况答案来回答会话问题，但在现实场景中，CoQA模型将无法访问先前问题的地面实况答案，迫使模型依赖于自己先前预测的答案来回答后续问题。在本文中，我们发现，复合错误发生时，使用以前预测的答案在测试时，显着降低CoQA系统的性能。为了解决这个问题，我们提出了一种采样策略，在训练过程中在目标答案和模型预测之间进行动态选择，从而密切模拟测试时的情况。此外，我们分析了这种现象的严重程度作为问题类型，会话长度和域类型的函数。
2020-05-12 cs.CL cs.IR
Learning to Select the Relevant History Turns in Conversational Question Answering
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
本文提出DHS-ConvQA框架，通过生成实体、相似度剪枝、注意力重排序及二元分类保留有用术语，动态选择会话式问答中的相关历史轮次，实验证明其优于问题重写且能避免无关上下文的负面影响。
2023-08-04 cs.AI cs.CL cs.IR
Conversational AI : Open Domain Question Answering and Commonsense Reasoning
Erik Jonsson School of Engineering and Computer Science（埃里克·琼森工程与计算机科学学院）；The University of Texas at Dallas（得克萨斯大学达拉斯分校）
我们的研究重点是建立一个类人的问答系统，可以合理地回答。我们的方法的显着特点是，它将使用自动化的常识推理来真正“理解”对话，使其能够像人类一样交谈。人们在交谈中经常会做出很多假设。我们用我们的常识来推断没有明确告诉我们的事实。在问答系统中简化常识知识只会使它更健壮。
2019-09-18 cs.AI cs.HC cs.LO
Knowledge-based Conversational Search
允许直观和全面访问数字存储信息的对话界面仍然是一个雄心勃勃的目标。在这篇论文中，我们通过分析需求和提出具体的解决方案来自动化一些基本组件和任务，这样的系统应该支持对话搜索系统的设计奠定了基础。我们描述了几个相互依赖的研究，进行了分析更先进的会话搜索系统的设计要求，能够支持复杂的类人对话的互动，并提供访问庞大的知识库。在前两章的研究中，我们重点分析了信息寻求对话的共同结构，通过捕捉话语之间的领域独立的功能关系以及来自共享背景知识的特定领域的隐含语义关系的经常性模式。我们的研究结果表明，问答是有效的信息访问所需的关键组成部分之一，但它不是对话搜索系统应该支持的唯一类型的对话交互。在第三章中，我们提出了一种新的方法，从知识图谱的复杂问答，超越了目前的最先进的结果在功效和效率方面。在最后的研究章节中，我们把我们的注意力转向另一种交互模式，我们称之为会话式浏览，其中，不同于问答，会话系统在对话交互过程中起着更积极的作用。我们表明，这种方法可以帮助用户发现相关的项目是很难检索使用问答由于词汇不匹配的问题。
2019-12-14 cs.CL cs.IR
Evaluating Large Language Models in Semantic Parsing for Conversational Question Answering over Knowledge Graphs
Technical University of Munich（慕尼黑工业大学）；National Institute of Advanced Industrial Science and Technology（日本国立产业技术综合研究所）
本文评估了未显式预训练的大型语言模型在基于知识的会话式问答中的语义解析性能，发现少样本提示和微调能显著提升其生成图查询的能力，尤其对零样本表现较差的小模型效果更佳。
2024-01-03 cs.CL cs.IR
Generating Dialogue Agents via Automated Planning
IBM Research（IBM研究院）；IBM Watson（IBM沃森）；SilverGate – IBM Argentina（银门——IBM阿根廷）
对话系统具有许多应用，例如客户支持或问答。通常，它们仅限于浅的单圈相互作用。然而，更高级的应用程序，如职业教练或计划旅行，需要更复杂的多轮对话。会话系统的当前限制使得难以支持需要个性化、定制和上下文相关交互的应用。我们通过使用独立于领域的人工智能规划来自动创建对话计划来解决这个具有挑战性的问题，这些计划可以定制以引导对话实现给定的目标。输入包括原子对话动作库、对话的初始状态和目标。对话计划被插入到一个对话系统中，能够协调它们的执行。用例证明了该方法的可行性。我们在对话规划方面的工作已被纳入一个产品，目前正在部署到另一个产品中。
2019-02-02 cs.AI
DH-RAG: A Dynamic Historical Context-Powered Retrieval-Augmented Generation Method for Multi-Turn Dialogue
Hong Kong University of Science and Technology（香港科技大学）；Huazhong University of Science and Technology（华中科技大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
针对传统RAG忽视多轮对话动态历史的问题，本文提出DH-RAG，通过查询重构、历史信息更新及三种优化策略增强对话检索，并在多个基准上显著提升回应质量。
2025-02-19 cs.AI cs.CL cs.LG
KGI: An Integrated Framework for Knowledge Intensive Language Tasks
IBM Research AI（IBM研究院人工智能部门）
在本文中，我们提出了一个系统来展示最新的国家的最先进的检索增强生成模型的知识密集型语言任务，如插槽填充，开放域问答，对话和事实检查的培训能力。此外，给定一个用户查询，我们展示了如何将这些不同模型的输出相结合，以交叉检查彼此的输出。特别是，我们展示了如何在对话的准确性可以提高使用的问答模型。我们还发布了演示中使用的所有模型，作为本文的贡献。演示该系统的简短视频可在https://ibm.box.com/v/emnlp2022-demo上获得。
2022-09-22 cs.AI cs.CL cs.LG
Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning
Indiana University Bloomington（印第安纳大学伯明顿分校）；Alibaba Group（阿里巴巴集团）
多角色对话理解包括各种各样的任务，如问答，行为分类，对话摘要等，而对话语料库是丰富的，标记的数据，为特定的学习任务，可以是非常稀缺和昂贵的。在这项工作中，我们研究了对话上下文表示学习与各种类型的无监督的预训练任务，其中的训练目标是自然地根据话语的性质和结构的多角色会话。同时，为了定位对话摘要/提取的必要信息，预训练过程使外部知识集成。通过三个不同的对话数据集以及一些下游对话挖掘任务，对所提出的微调预训练机制进行了全面评估。结果表明，所提出的预训练机制显着有助于所有的下游任务没有歧视不同的编码器。
2020-02-27 cs.CL cs.LG stat.ML
From FiLM to Video: Multi-turn Question Answering with Multi-modal Context
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
理解视听内容和进行信息性对话的能力一直是智能系统的挑战领域。视听场景感知对话（AVSD）挑战，组织为对话系统技术挑战7（DSTC 7）的一个轨道，提出了一个组合任务，其中系统必须回答与视频相关的问题，给出与先前问答对和视频本身的对话。为此，我们提出了一个分层的编码器-解码器模型，计算多模态嵌入的对话上下文。它首先使用两个LSTM嵌入对话历史。我们以规则的间隔提取视频和音频帧，并分别使用预训练的I3 D和VGGish模型计算语义特征。在使用LSTM将这两种模态总结为固定长度的向量之前，我们使用FiLM块将它们置于当前问题的嵌入上，这使我们能够大大降低维度。最后，我们使用一个LSTM解码器，我们用预定的采样进行训练，并使用束搜索进行评估。与AVSD挑战组织者发布的模态融合基线模型相比，我们的模型实现了超过16%的相对改进，得分为0.36 BLEU-4和超过33%，得分为0.997 CIDEr。
2018-12-17 cs.CL cs.CV
SGD-QA: Fast Schema-Guided Dialogue State Tracking for Unseen Services
NVIDIA（英伟达）
对话状态跟踪是面向目标的对话系统的重要组成部分，而大多数这些状态跟踪模型往往无法处理看不见的服务。在本文中，我们提出了SGD-QA，一个简单的和可扩展的模式引导的对话状态跟踪模型的基础上的问答方法。所提出的多通道模型在域信息和对话话语之间共享单个编码器。领域的描述表示查询，对话话语充当上下文。与SGD数据集上的单通道基线模型相比，该模型将看不见的服务的性能提高了至少1.6倍。与最先进的多遍模型相比，SGD-QA显示出具有竞争力的性能，同时在内存消耗和训练性能方面显着更高效。我们提供了一个全面的讨论模型与烧蚀研究和误差分析。
2021-05-17 cs.CL cs.LG
Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues
Singapore Management University（新加坡管理大学）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）；Salesforce Research Asia（赛富时亚洲研究院）
与传统的视觉问答相比，基于视频的对话需要对对话上下文进行额外的推理，以在多轮设置中回答问题。以前的方法，以视频为基础的对话大多使用对话上下文作为一个简单的文本输入，没有建模的内在信息流在回合级别。在本文中，我们提出了一个新的框架，推理路径对话上下文（PDC）。PDC模型通过对每个问题和回答中的词汇成分构建语义图，发现对话轮之间的信息流。PDC模型然后学习预测这个语义图上的推理路径。我们的路径预测模型预测的路径从当前的回合通过过去的对话回合，包含额外的视觉线索来回答当前的问题。我们的推理模型顺序处理视觉和文本信息通过这个推理路径和传播的功能被用来生成答案。我们的实验结果证明了我们的方法的有效性，并提供了额外的见解模型如何使用语义依赖在对话上下文检索视觉线索。
2022-12-07 cs.AI cs.CL cs.CV
Multi-tasking Dialogue Comprehension with Discourse Parsing
Shanghai Jiao Tong University（上海交通大学）
多方对话机器阅读理解（MRC）提出了一个更具挑战性的理解目标，即与两个以上的说话人对话，与传统的简单段落风格的MRC相比。为了准确地完成基于这种多方对话的问答任务，模型必须处理与普通非对话文本完全不同的话语关系，其中话语关系应该以语言学驱动的方式连接两个相距遥远的话语。我们提出了第一个多任务模型，用于在多方对话MRC任务上联合执行QA和话语解析（DP）。我们提出的模型在最新的基准测试Molweni上进行了评估，其结果表明，补充任务的训练不仅有利于QA任务，而且有利于DP任务本身。我们进一步发现，当处理较长的对话时，联合模型明显更强，这再次验证了DP在相关MRC中的必要性。
2021-10-07 cs.CL
End-to-end Spoken Conversational Question Answering: Task, Dataset and Model
Tencent（腾讯）；Peking University（北京大学）；Yale University（耶鲁大学）
在口语问答中，系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流的语音文件。在这项任务中，我们的主要目标是建立一个系统来处理会话问题的基础上的音频记录，并探讨在信息收集系统提供更多的线索，从不同的模态的可行性。为此，而不是直接采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，有效地摄取跨模态信息，以实现细粒度的语音和语言模态的表示。此外，我们提出了一个简单而新颖的机制，称为双重注意，通过鼓励更好的音频和文本之间的对齐，以减轻知识转移的过程。为了评估SCQA系统在对话式交互中的能力，我们组装了一个口语会话问答（Spoken-CoQA）数据集，其中包含来自4k个会话的超过40 k个问答对。现有的最先进的方法的性能显着降低我们的数据集，因此证明了跨模态信息集成的必要性。我们的实验结果表明，我们提出的方法在口语会话问答任务中取得了优异的性能。
2022-04-29 cs.AI cs.CL cs.SD
PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
Baidu Inc.（百度公司）
预训练模型已被证明是有效的广泛的自然语言处理任务。受此启发，我们提出了一种新的对话生成预训练框架，以支持各种类型的对话，包括闲聊，知识为基础的对话，会话问答。在这个框架中，我们采用灵活的注意力机制，充分利用了语境的双向性和语言生成的单向性。我们还引入离散的潜变量来解决响应生成中固有的一对多映射问题。反应生成和潜在行为识别的两个相互的任务被设计并在一个共享的网络内同时进行。在三个公开数据集上的综合实验验证了该框架的有效性和优越性。
2020-04-30 cs.CL
Persuasive Dialogue Understanding: the Baselines and Negative Results
Singapore University of Technology and Design（新加坡科技设计大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
说服的目的是通过一系列包含说服者策略的有说服力的信息来形成一个人的观点和行动。由于其在说服性对话系统中的潜在应用，说服性策略识别的研究近年来受到了广泛的关注。现有的对话系统中的用户意图识别方法采用递归神经网络（RNN）或卷积神经网络（CNN）对会话历史中的上下文进行建模，忽略了策略历史和说话人内部关系。在本文中，我们证明了基于转换器的方法加上条件随机场（CRF）的说服性策略识别任务的局限性。在这个模型中，我们利用说话人之间和说话人内部的上下文语义特征，以及标签依赖性来提高识别率。尽管进行了广泛的超参数优化，但该架构未能优于基线方法。我们观察到两个负面结果。首先，CRF不能捕获说服性标签依赖性，可能是因为说服性对话中的策略不像命名实体识别（NER）或词性（POS）标记中的情况那样遵循任何严格的语法或规则。其次，从头开始训练的Transformer编码器在说服性对话中捕获顺序信息的能力不如长短期记忆（LSTM）。我们将此归因于香草Transformer编码器没有有效地考虑序列元素的相对位置信息的原因。
2020-11-22 cs.CL cs.LG
Visual Dialogue without Vision or Dialogue
University of Oxford（牛津大学）
我们讨论了视觉对话探索中的一些怪癖和缺点-一个顺序的问答任务，其中问题和相应的答案通过给定的视觉刺激相关。为此，我们开发了一种基于典型相关分析（CCA）的非常简单的方法，该方法在标准数据集上实现了接近最先进的平均秩（MR）性能。与当前复杂和过度参数化的计算和时间密集型架构直接相反，我们的方法忽略了视觉刺激，忽略了对话的顺序，不需要梯度，使用现成的特征提取器，参数至少少了一个数量级，并且几乎没有时间学习。我们认为，这些结果表明了当前视觉对话方法中的问题，并进行了分析，以突出隐含的数据集偏差和过度约束的评估指标的影响。我们的代码是公开的。
2019-10-22 cs.CL cs.CV cs.LG
HistoryBankQA: Multilingual Temporal Question Answering on Historical Events
本文提出了包含1000万以上历史事件的多语言数据库HistoryBank，并构建了涵盖6种时序推理任务的问答基准，评估了多种流行语言模型在多语言历史事件时序推理上的表现。
2025-09-16 cs.CL
Goal-Oriented Multi-Task BERT-Based Dialogue State Tracker
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
对话状态跟踪（DST）是Alexa或Siri等虚拟助手的核心组件。为了完成各种任务，这些助手需要支持越来越多的服务和API。第八届对话系统技术挑战赛的模式引导状态跟踪轨道强调了不可见服务的DST问题。组织者引入了具有多域对话的模式引导对话（SGD）数据集，并发布了zero-shot对话状态跟踪模型。在这项工作中，我们提出了一个面向GOaL的多任务基于BERT的对话状态跟踪器（GOLOMB）的启发架构的阅读理解问答系统。该模型“查询”对话历史与插槽和服务的描述以及插槽的可能值。这允许在多域对话中传输槽值，并具有扩展到看不见的槽类型的能力。我们的模型在SGD数据集上实现了53.97%的联合目标准确率，优于基线模型。
2020-02-05 cs.CL cs.LG stat.ML
DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization
Microsoft（微软）
对话是人类交流与合作的重要组成部分。现有的研究主要集中在一对一的短对话场景。然而，现实世界中的多人互动，如会议或面试，往往超过几千字。仍然缺乏相应的研究和强有力的工具来理解和处理这种漫长的对话。因此，在这项工作中，我们提出了一个长对话理解和总结的预训练框架。考虑到长对话的性质，我们提出了一种基于窗口的去噪方法用于生成式预训练。对于对话，它会用对话启发的噪音破坏文本窗口，并引导模型根据剩余对话的内容重建该窗口。此外，为了处理更长的输入，我们增加了稀疏注意力的模型，这是与传统的注意力以混合的方式相结合。我们在五个长对话数据集上进行了广泛的实验，包括对话摘要、抽象问答和主题分割。在实验中，我们证明了我们的预训练模型DialogLM在数据集和任务上明显优于最先进的模型。源代码和所有预训练的模型都可以在我们的GitHub存储库（https：//github.com/microsoft/DialogLM）上找到。
2022-01-06 cs.CL
Multimodal Dialogue State Tracking By QA Approach with Data Augmentation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J Watson Research Center（IBM托马斯·J·沃森研究中心）
最近，一个更具挑战性的状态跟踪任务，音频视频场景感知对话（AVSD），正在引起越来越多的研究人员的关注。与纯文本的对话状态跟踪不同，AVSD中的对话包含一系列关于视频的问答对，并且给定问题的最终答案需要对视频进行额外的理解。本文从开放领域问答的角度对AVSD问题进行了解释，并提出了一个多模态开放领域问答系统来解决该问题。所提出的QA系统使用具有多模态融合和注意力的公共编码器-解码器框架。教师强迫被应用于训练自然语言生成器。我们还提出了一种新的数据增强方法，特别是在QA假设。我们的实验表明，我们的模型和技术带来了显着的改进DSTC 7-AVSD数据集上的基线模型，并展示了我们的数据增强技术的潜力。
2020-07-20 cs.CL
CueMem: Cue-Guided Context Reconstruction for Long-Term Conversational Memory
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对长期对话中完整历史成本高、压缩记忆丢失证据的问题，提出CueMem框架，将记忆作为线索并重建上下文，在LoCoMo和LongMemEval上优于基线，且降低延迟。
2026-09-14 cs.CL
DE-NER : Zero-shot Named Entity Recognition via Dialogue Elicitation of Large Language Models
Yunnan University（云南大学）
DE-NER是一个对话引导框架，利用大型语言模型的对话能力解决零样本命名实体识别的提示与演示工程局限，在多基准零样本设置下平均F1值提升3.75%。
2026-08-04 cs.CL
Ditch the Gold Standard: Re-evaluating Conversational Question Answering
Princeton University（普林斯顿大学）
会话式问答旨在为用户提供自然语言的答案。现有的会话QA基准将模型与预先收集的人与人之间的对话进行比较，使用会话历史中提供的真实答案。目前还不清楚我们是否可以依赖这种静态评估来进行模型开发，以及当前的系统是否可以很好地推广到现实世界的人机对话。在这项工作中，我们进行了第一次大规模的人类评估国家的最先进的会话QA系统，其中人类评估者与模型交谈，并判断他们的答案的正确性。我们发现，人机对话的分布与人与人之间的对话有很大的不同，并且在模型排名方面，人与金历史评价之间存在分歧。我们进一步研究如何提高自动评估，并提出了一个问题重写机制的基础上预测的历史，更好地与人类的判断。最后，我们分析了各种建模策略的影响，并讨论了未来的发展方向，以建立更好的会话问答系统。
2022-03-21 cs.CL cs.LG
Large Models in Dialogue for Active Perception and Anomaly Detection
Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）
提出基于LLM的模型对话框架，通过双模型协同控制无人机实现主动感知与异常检测，超越静态方法。
2025-01-27 cs.AI cs.CV
A Graph-guided Multi-round Retrieval Method for Conversational Open-domain Question Answering
The Hong Kong Polytechnic University（香港理工大学）；Shandong University（山东大学）
近年来，会话智能体为人们提供了一种自然、便捷的获取信息的途径，会话问答（QA）也成为一个新的研究课题。在当前流行的会话式问答任务中，会话式开放域问答（英语：Conversational open-domain QA）要求从Web上检索相关段落以提取准确答案，是一种实用性较强但研究较少的问答任务。如何更好地捕捉和充分挖掘会话中的历史语境，以利于有效的大规模检索，这是一个主要的挑战。目前的研究主要是利用历史问题来提炼当前问题或增强其代表性，而历史答案和当前答案之间的关系，这也是这项任务的关键，是完全被忽视的。为了解决这个问题，我们提出了一种新的图引导检索方法来模拟会话轮之间的答案之间的关系。特别是，它利用了一个通道图从超链接连接的段落，包含历史答案和潜在的当前答案，检索更多的相关段落，为后续的答案提取。此外，为了在历史语境中收集更多的互补信息，我们还建议结合多轮相关反馈技术来探讨检索语境对当前问题理解的影响。在公开数据集上的实验结果验证了该方法的有效性。值得注意的是，预测历史答案和真实历史答案的F1分数分别提高了5%和11%。
2021-04-17 cs.CL cs.IR
