End-to-end optimization of goal-driven and visually grounded dialogue systems
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；University of Montreal（蒙特利尔大学）；DeepMind
对话系统的端到端设计最近已经成为一个热门的研究课题，这要归功于强大的工具，如用于序列到序列学习的编码器-解码器架构。然而，大多数当前的方法将人机对话管理作为监督学习问题，旨在预测给定对话的完整历史的参与者的下一个话语。这种观点过于简单化，无法反映对话所固有的规划问题及其基础性质，使对话的背景大于唯一的历史。这就是为什么到目前为止，只有闲聊和问答任务使用端到端架构来解决。在本文中，我们介绍了一种深度强化学习方法，以优化视觉接地面向任务的对话，基于策略梯度算法。这种方法在通过Mechanical Turk收集的120 k对话数据集上进行了测试，并在解决生成自然对话的问题和在复杂图片中发现特定对象的任务方面提供了令人鼓舞的结果。
2017-03-15 cs.CL
Low-Resource Knowledge-Grounded Dialogue Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；Center for Data Science, AAIS, Peking University（北京大学人工智能研究院数据科学中心）；Microsoft Corporation（微软公司）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
知识响应已被公认为智能会话代理的一个重要能力。然而，知识为基础的对话，作为训练数据学习这样的响应生成模型，是很难获得的。在实践中的挑战的动机下，我们认为知识为基础的对话生成的自然假设，只有有限的训练样本。在这样一个低资源的设置，我们设计了一个解开响应解码器，以隔离依赖于知识为基础的对话从整个生成模型的参数。通过这种方法，模型的主要部分可以从大量的无基础的对话和非结构化的文档中学习，而剩余的小参数可以使用有限的训练样本很好地拟合。两个基准测试的结果表明，该模型仅用1/8的训练数据就能达到最先进的性能，并能很好地推广领域外的知识。
2020-02-24 cs.CL
Knowledge-Grounded Dialogue Generation with Pre-trained Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, AAIS, Peking University（北京大学人工智能研究院数据科学中心）；Meituan（美团）；Microsoft Corporation（微软公司）；Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院）
我们研究基于知识的对话生成与预训练的语言模型。为了利用冗余的外部知识的能力约束下，我们提出装备响应生成定义的一个预先训练的语言模型与知识选择模块，和一个无监督的方法来联合优化知识选择和响应生成与未标记的对话。两个基准的实证结果表明，我们的模型可以显着优于国家的最先进的方法，在自动评估和人类的判断。
2020-10-17 cs.CL
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容，使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发，我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量，表示为$Q^2$，比较答案跨度使用自然语言推理（NLI），而不是基于令牌的匹配，在以前的工作。为了促进正确的评估，我们为维基百科的向导数据集策划了一个新的对话系统输出数据集，并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估，其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
A Compare Aggregate Transformer for Understanding Document-grounded Dialogue
Harbin Institute of Technology（哈尔滨工业大学）
非结构化文件作为对话的外部知识，有助于产生更翔实的答复。以往的研究主要集中在有对话的文档中的知识选择。然而，与当前对话无关的对话历史可能在KS处理中引入噪声。在本文中，我们提出了一个比较聚合Transformer（CAT），共同去噪的对话上下文和聚合响应生成的文档信息。我们设计了两种不同的比较机制来减少噪声（在解码之前和解码期间）。此外，我们提出了两个衡量文档利用效率的指标，基于词重叠。在CMUDoG数据集上的实验结果表明，所提出的CAT模型优于最先进的方法和强基线。
2020-10-01 cs.CL
Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
Singapore Management University（新加坡管理大学）；Institute of Inforcomm Research (I2R)（信息通信研究院）；Salesforce Research Asia（Salesforce亚洲研究院）
开发基于视频的对话系统（VGDS），其中基于给定视频的视觉和音频方面进行对话，比传统的基于图像或文本的对话系统具有更大的挑战性，因为（1）视频的特征空间跨越多个图片帧，使得难以获得语义信息;以及（2）对话代理必须感知和处理来自不同模态（音频、视频、字幕等）的信息。以获得全面的了解。大多数现有的工作都是基于RNN和序列到序列架构，这对于捕获复杂的长期依赖关系（如视频）不是很有效。为了克服这一点，我们提出了多模态Transformer网络（MTN）来编码视频并整合来自不同模态的信息。我们还提出了查询感知注意通过自动编码器提取查询感知功能的非文本模态。我们开发了一个训练过程来模拟令牌级解码，以提高推理过程中生成的响应质量。我们在对话系统技术挑战7（DSTC 7）上获得了最先进的性能。我们的模型也推广到另一个多模态视觉为基础的对话任务，并获得了良好的性能。我们使用PyTorch实现了我们的模型，代码发布在www.example.com上。
2019-07-02 cs.CL
ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark
Sony Group Corporation（索尼集团公司）；EPFL（洛桑联邦理工学院）；Sony AI（索尼人工智能公司）
本文提出 ComperDial 基准，包含来自 99 个对话智能体的 10,395 个人工评分回复，并基于此设计了与人类判断更相关的自动评估指标 CPDScore，以推动开放域对话评估发展。
2024-06-17 cs.CL
Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue
Seoul National University（首尔国立大学）
基于知识的对话是一种基于话语语境和外部知识的信息反应的任务。由于我们专注于更好地建模的知识选择在多轮知识为基础的对话，我们提出了一个顺序的潜变量模型作为第一种方法来解决这个问题。序列知识Transformer（SKT）模型能够跟踪知识的先验分布和后验分布，不仅能够减少会话中知识选择的多样性所带来的歧义，而且能够更好地利用应答信息进行正确的知识选择。实验结果表明，该模型提高了知识选择的准确性，从而提高了话语生成的性能。我们在维基百科的向导上实现了新的最先进的性能（Dinan等人，2019年）作为最具规模和挑战性的基准之一。我们进一步验证了我们的模型在另一个基于知识的对话Holl-E数据集（Moghe等人，2018年）。
2020-06-16 cs.CL
Policy-driven Knowledge Selection and Response Generation for Document-grounded Dialogue
Harbin Institute of Technology（哈尔滨工业大学）
本文提出策略驱动的文档基础对话框架，通过话语功能和话题转移意图两类信号辅助知识选择与回复生成，在三个公开基准上取得最优性能。
2024-10-21 cs.CL
Aligning Dialogue Agents with Global Feedback via Large Language Model Multimodal Reward Decomposition
MIT（麻省理工学院）；CMU（卡内基梅隆大学）
本文提出了一种基于大语言模型的多模态奖励分解方法，通过分解会话级反馈来提升对话生成质量，无需人工反馈。
2026-02-11 cs.CL
Building Knowledge-Grounded Dialogue Systems with Graph-Based Semantic Modeling
School of Computer Science and Technology（计算机科学与技术学院）；Southeast Academy of Information Technology（东南信息技术研究院）；Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications（北京大规模语言信息处理与云计算应用工程研究中心）
针对知识驱动对话中序列模型难整合复杂知识的问题，提出接地图结构与接地图感知Transformer模型，融合多形式知识，在回复生成和事实一致性上显著优于现有方法，具备良好泛化性与鲁棒性。
2024-05-16 cs.CL
Fantastic Rewards and How to Tame Them: A Case Study on Reward Learning for Task-oriented Dialogue Systems
Salesforce Research（赛富时研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
当学习面向任务的对话（ToD）代理时，强化学习（RL）技术可以自然地用于训练对话策略以实现用户特定的目标。以往的研究主要集中在采用先进的强化学习技术来训练ToD智能体，而对奖励函数的设计研究较少。本文旨在回答如何有效地学习和利用奖励函数来训练端到端（E2E）ToD代理的问题。具体来说，我们引入两个广义目标奖励函数学习，经典的学习排名文献的启发。此外，我们利用学习的奖励函数来指导E2E ToD代理的训练。通过所提出的技术，我们在Multiwoz 2.0数据集上的E2E响应生成任务上取得了有竞争力的结果。源代码和检查点在https://github.com/Shentao-YANG/Fantastic_Reward_ICLR2023上公开发布。
2023-02-20 cs.CL
Increasing Faithfulness in Knowledge-Grounded Dialogue with Controllable Features
Google Research（谷歌研究院）
基于知识的对话系统旨在传达基于给定源文本中提供的证据的信息。我们讨论了为这种系统训练生成神经对话模型的挑战，这种系统被控制以保持对证据的忠诚。现有的数据集包含忠实于选定证据的对话反应以及更主观或闲聊风格的反应。我们提出了不同的评价措施，通过量化的信息性和客观性来理清这些不同风格的反应。在训练时，基于这些评估措施的额外输入被提供给对话模型。在生成时，这些额外的输入充当风格控制，鼓励模型生成忠实于所提供证据的响应。我们还调查了使用额外的控制在解码时使用resception技术。除了自动指标，我们进行了人类的评价研究，评分员判断这些控制生成模型的输出一般更客观，更忠实于证据相比，基线对话系统。
2021-07-14 cs.CL
Efficient Tool-Calling Multi-Expert NPC Agent for Commonsense Persona-Grounded Dialogue
Université Paris-Saclay（巴黎-萨克雷大学）
本文提出一种基于 Qwen3 和 LoRA 适配器的多专家 NPC 智能体系统，通过实例化工具调用、响应解释和直接对话三个专家，实现了高效的自然对话与动作执行，并在 CPDC 2025 挑战赛中总排名第二。
2025-11-03 cs.CL
Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, AAIS, Peking University（北京大学人工智能研究院数据科学中心）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
我们研究了基于视频的对话生成，基于对话上下文和相关视频生成响应。该任务的主要挑战在于（1）将视频数据集成到预训练的语言模型（PLM）中的困难，这对利用大规模预训练的力量构成了障碍;（2）在整个推理过程中考虑各种模式的互补性的必要性。虽然在基于视频的对话生成方面取得了显着进展，但现有方法在与PLM集成以允许来自不同模式的信息相互补充时仍然存在不足。为了缓解这些问题，我们首先提出从视频中提取相关信息，并将其转化为PLM可接受的推理路径。此外，我们提出了一种多智能体强化学习方法来协作地对不同的模态进行推理（即，视频和对话上下文）。在两个公开数据集上的实验结果表明，该模型在自动和人工评估方面都能明显优于最先进的模型。
2022-10-22 cs.CL
Reference-Centric Models for Grounded Collaborative Dialogue
UC Berkeley（加州大学伯克利分校）；Cornell Tech（康奈尔科技校区）
我们提出了一个接地的神经对话模型，成功地与人们在一个部分可观察的参考游戏。我们专注于一个设置，两个代理人每个观察一个重叠的一部分，一个世界的背景下，需要确定和同意他们共享的一些对象。因此，智能体应该共享他们的信息并进行务实的沟通来解决任务。我们的对话代理准确地从合作伙伴的话语使用结构化的参考解析器，这些引用使用循环记忆的条件，并使用一个务实的生成过程，以确保合作伙伴可以解决代理产生的参考理由。我们对OneCommon空间接地对话任务（Udagawa和Aizawa 2019）进行评估，该任务涉及排列在板上的许多点，这些点具有连续变化的位置，大小和阴影。我们的代理大大超过了以前的最先进的任务，获得了20%的相对改善，在成功完成任务的自我发挥评估和50%的相对改善，在人类评估的成功。
2021-09-10 cs.CL
Generative Knowledge Selection for Knowledge-Grounded Dialogues
Shandong University（山东大学）
本文提出生成式知识选择方法GenKS，通过序列到序列模型生成知识片段标识符，并引入超链接机制建模对话与知识的交互，在三个基准数据集上同时取得知识选择和回复生成的最佳效果。
2023-04-10 cs.CL
Grounded Agreement Games: Emphasizing Conversational Grounding in Visual Dialogue Settings
University of Potsdam（波茨坦大学）；Department of Linguistics（语言学系）；Computational Linguistics（计算语言学）
计算语言学中关于对话的早期工作非常强调对话结构及其与对话参与者心理状态的关系（例如，Allen 1979，Grosz & Sidner 1986），目前的工作主要是将对话简化为在任何时候产生下一个话语的任务;例如，在神经聊天机器人或视觉对话设置中。作为一个方法论的决定，这是合理的：即使是最长的旅程也是一系列步骤。然而，当学习对话行为的任务和数据集过于适应问题的框架时，它就变得有害了。在这个简短的说明中，我们描述了一系列仍然允许保持对话简单的设置，但增加了一个约束，使参与者关心达成相互理解。在这种协议游戏中，除了任务层面的目标之外，还有一个次要但明确的目标，那就是就任务层面的目标是否已经达到达成共识。正如我们所认为的，这自然会触发元语义交互和相互参与，从而导致更丰富的数据，从中归纳模型。
2019-08-29 cs.CL
Using a KG-Copy Network for Non-Goal Oriented Dialogues
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；Volkswagen Group Research（大众汽车集团研究部）
非目标导向的生成式对话系统缺乏用有根据的事实生成答案的能力。知识图谱可以被认为是对现实世界的一种抽象，它由有充分根据的事实组成。本文解决了通过将知识图谱集成到对话系统响应生成过程中，以端到端的方式生成良好接地响应的问题。本文提出了一个非目标导向对话的数据集，在足球领域，不同的俱乐部和国家队的交谈，以及这些球队的知识图谱。还提出了一种新的神经网络架构作为该数据集的基线，它可以将知识图谱集成到响应生成过程中，产生清晰的、基于知识的响应。经验证据表明，所提出的模型表现优于其他国家的最先进的知识图谱集成对话系统。
2019-10-17 cs.CL
Evaluating Attribution in Dialogue Systems: The BEGIN Benchmark
University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）；New York University（纽约大学）
由大语言模型驱动的基于知识的对话系统通常生成的响应虽然流畅，但不能归因于相关的信息源。要想在不存在这一问题的模型方面取得进展，就需要能够量化其普遍性的评价指标。为此，我们介绍了基准评估接地互动（BEGIN），由12k的对话轮神经对话系统培训三个知识接地的对话语料库。我们收集人类注释，评估模型的响应在多大程度上可以归因于给定的背景信息。然后，我们使用BEGIN来分析八个评估指标。我们发现，这些指标依赖于虚假的相关性，不可靠区分可归因的抽象反应，从不可归因的，并执行时，知识源更长的实质上更差。我们的研究结果强调，需要更复杂和强大的评估指标，以知识为基础的对话。我们在https://github.com/google/BEGIN-dataset上公开提供BEGIN。
2022-06-28 cs.CL
WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue
India Machine Learning（印度机器学习）；Amazon（亚马逊）
多回合设置中的智能对话系统不仅应该生成高质量的响应，而且还应该生成可以导致对话的长期成功的响应。虽然目前的方法提高了响应质量，但它们忽略了对话数据中存在的训练信号。我们可以利用这些信号来生成弱监督的训练数据，用于学习对话策略和奖励估计器，并使策略采取行动（生成响应），这可以预见成功（奖励）对话的未来方向。我们模拟一个代理和用户之间的对话（建模类似于代理与监督学习目标）相互作用。代理使用动态阻塞来生成排名不同的响应，并使用探索-利用来在Top-K响应中进行选择。每个模拟的状态-动作对都使用三个质量模块进行评估（作为弱注释）：语义相关性，语义一致性和一致性流。两个基准的实证研究表明，我们的模型可以显着优于响应质量，并导致一个成功的对话上的自动评估和人类的判断。
2023-01-11 cs.CL
VSTAR: A Video-grounded Dialogue Dataset for Situated Semantic Understanding with Scene and Topic Transitions
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）
本文提出基于395部电视剧的大规模视频对话数据集VSTAR，并构建场景分割、话题分割与对话生成基准，验证多模态信息与片段对视频对话理解及生成的重要性。
2023-05-30 cs.CL cs.CV
Graph vs. Sequence: An Empirical Study on Knowledge Forms for Knowledge-Grounded Dialogue
Beijing Institute of Technology（北京理工大学）；Southeast Academy of Information Technology（东南信息技术研究院）
该研究针对知识驱动对话任务，通过全面实验对比知识图谱与知识文本两种知识形式，厘清知识选择、模型与知识的相互作用及少样本性能等问题，为后续研究方向和标准提供参考建议。
2023-12-13 cs.CL
Bridging Information Gaps in Dialogues With Grounded Exchanges Using Knowledge Graphs
Technical University of Munich（慕尼黑工业大学）；National Institute of Advanced Industrial Science and Technology（日本国立先进工业科学技术研究院）
本文构建五领域对话语料 BridgeKG，并基于知识图谱评估大型语言模型的接地行为分类与信息项识别能力。
2024-08-11 cs.CL
A Factuality and Diversity Reconciled Decoding Method for Knowledge-Grounded Dialogue Generation
针对知识驱动对话生成中事实性与多样性难以兼顾的问题，提出DoGe方法，基于模型事实置信度动态切换内外知识使用，在三个数据集上实现多样性提升且保持事实性，显著优于现有解码基线。
2025-08-25 cs.CL
Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment
The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对知识接地对话易违背给定知识的问题，本文提出 K-Dial 扩展 FFN 并结合 RLFC 对齐事实偏好，在 WoW 与 CMU_DoG 上提升了回复事实一致性。
2023-11-03 cs.CL
There Is No Standard Answer: Knowledge-Grounded Dialogue Generation with Adversarial Activated Multi-Reference Learning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Microsoft Corporation（微软公司）
基于知识的对话（KGC）显示出很好的潜力，提供一个引人入胜的和信息丰富的响应。然而，现有的方法强调在特定的对话背景下选择一个黄金知识，忽视了对话中的一对多现象。因此，现有的范式限制了知识选择和生成的多样性。为此，我们建立了一个多参考KGC数据集，并提出了一系列指标，系统地评估现有KGC模型的一对多功效。此外，为了扩展知识选择的假设空间，以增强多个知识和多个响应之间的映射关系，我们设计了一个基于跨度的变分模型，并优化模型在清醒睡眠风格与改进的证据下界目标学习一对多的推广。自动和人工评估都证明了我们方法的有效性。
2022-10-22 cs.CL
PedagoSense: A Pedology Grounded LLM System for Pedagogical Strategy Detection and Contextual Response Generation in Learning Dialogues
Al Andlus University（阿尔安多斯大学）；Ajman University（阿治曼大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
PedagoSense通过结合两阶段策略分类器和大语言模型，实现了学习对话中教学策略的检测与上下文响应生成，提升教育技术的适应性。
2026-02-01 cs.CL
Training Dialogue Systems by AI Feedback for Improving Overall Dialogue Impression
Nara Institute of Science and Technology（奈良科学技术大学）；RIKEN（理化学研究所）；NTT Communication Science Laboratories（NTT通信科学研究所）；Institute of Science Tokyo（东京科学大学）
本研究提出利用监督微调LLM构建12个对话印象指标的奖励模型，并通过RLAIF微调对话模型，有效提升了对话回应的自然度及整体印象。
2025-01-25 cs.CL
Semantic Space Grounded Weighted Decoding for Multi-Attribute Controllable Dialogue Generation
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对多属性可控对话生成研究不足的问题，提出DASC框架，采用加权解码结合属性语义空间锚定，通过属性嵌入插值实现多属性控制并缩减模型规模，实验验证其在3属性控制及分布外场景下的高准确率与生成质量。
2023-11-05 cs.CL
Dial HEALTHDIAL for Advice: A Multilingual and Multi-Parallel Spoken Dialogue Dataset for Knowledge-Grounded Information Seeking
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；School of Computation, Information and Technology, Technical University of Munich（慕尼黑技术大学计算、信息与技术学院）；Independent Researcher（独立研究员）
本文构建了HEALTHDIAL，一个大规模多语言多平行口语对话数据集，用于开发基于检索增强生成的口语对话系统，并揭示了不同语言间的性能差异。
2026-05-28 cs.CL
Causal Document-Grounded Dialogue Pre-training
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）
针对现有基于文档的对话方法缺乏捕捉因果关系的专用预训练方案的问题，该研究提出因果完备的数据集构建策略与因果扰动预训练策略，在多种设置下均实现了显著的性能提升。
2023-11-05 cs.CL
DIALKI: Knowledge Identification in Conversational Systems through Dialogue-Document Contextualization
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究院）
识别在长文档基础上的会话系统中使用的相关知识对于有效的响应生成至关重要。我们引入了一个知识识别模型，利用文档结构提供对话上下文化的通道编码，并更好地定位与对话相关的知识。辅助丢失捕获对话框-文档连接的历史记录。我们证明了我们的模型在两个基于文档的会话数据集上的有效性，并提供了对看不见的文档和长对话上下文的泛化分析。
2021-09-10 cs.CL
LinguaGame: A Linguistically Grounded Game-Theoretic Paradigm for Multi-Agent Dialogue Generation
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Peking University（北京大学）；East China University of Political Science and Law（中国政法大学）
LinguaGame通过博弈论范式提升多智能体对话生成的通信效率，利用语言感知推理实现意图和策略的高效沟通。
2026-01-08 cs.CL
Flexible End-to-End Dialogue System for Knowledge Grounded Conversation
Hong Kong University of Science and Technology（香港科技大学）
在以知识为基础的会话中，领域知识在音乐这样的特殊领域中起着重要的作用。基于知识的会话的应答可能包含多个应答实体或根本不包含应答实体。虽然现有的生成式问答（QA）系统可以应用于基于知识的会话，他们要么在响应中最多有一个实体，要么不能处理词汇表外的实体。我们提出了一个完全数据驱动的生成式对话系统GenDS，它能够根据输入消息和相关知识库（KB）生成响应。为了生成任意数量的答案实体，即使这些实体从来没有出现在训练集中，我们设计了一个动态的知识查询器，选择不同的答案实体在不同的位置在一个单一的响应，根据不同的本地上下文。它不依赖于实体的表示，使我们的模型能够处理词汇表外的实体。我们收集了一个人与人的对话数据（ConversMusic）与知识注释。在CoversMusic和一个公共问答数据集上对所提出的方法进行了评估。我们提出的GenDS系统在BLEU，实体准确性，实体召回和人类评估方面明显优于基线方法。此外，实验还表明，即使在小数据集上，GenDS也能更好地工作。
2017-09-13 cs.CL
Transferable Persona-Grounded Dialogues via Grounded Minimal Edits
Tsinghua University（清华大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院北京分院）；NetEase Inc.（网易公司）
接地对话模型生成基于某些概念的响应。受扎根对话数据分布的限制，在此类数据上训练的模型在数据分布和扎根概念类型方面面临可移植性挑战。为了应对这些挑战，我们提出了接地最小的编辑框架，它最小限度地编辑现有的响应接地给定的概念。专注于人物角色，我们提出了接地最小编辑器（GME），它学会了通过解开和重组人物角色相关和人物角色不可知的部分的反应编辑。为了评估基于人物角色的最小编辑，我们提出了PersonaMinEdit数据集，实验结果表明，GME大大优于竞争基线。为了评估可转移性，我们在BlendedSkillTalk的测试集上进行了实验，并表明GME可以编辑对话模型的响应，从而在很大程度上提高其角色一致性，同时保留知识和同理心的使用。
2021-09-16 cs.AI cs.CL cs.LG
A Source-Grounded Framework for Constructing and Evaluating Progressive Multimodal Diagnostic Dialogues from Clinical Case Reports
Weill Cornell Medicine（威尔康奈尔医学院）
该研究提出基于来源的框架用于构建渐进式多模态诊断对话，并评估MLLMs的诊断推理能力，实验显示所提框架转换病例报告的参考对话表现优异，而前沿MLLMs的相关指标显著更低。
2026-08-25 cs.CL
M2K-VDG: Model-Adaptive Multimodal Knowledge Anchor Enhanced Video-grounded Dialogue Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作 medianet 创新中心）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出M2K-VDG框架，通过模型自适应的多模态知识锚点增强和反事实效应检测锚点标记，以缓解视频对话生成中的幻觉问题，并在三个基准上验证了其优越性。
2024-02-19 cs.CL
RoleRMBench & RoleRM: Towards Reward Modeling for Profile-Based Role Play in Dialogue Systems
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Saarland University（萨尔兰州大学）；Tencent Youtu Lab（腾讯优图实验室）
RoleRMBench与RoleRM旨在通过连续隐式偏好训练提升角色扮演对话系统中奖励建模的准确性与连贯性。
2025-12-11 cs.CL
Well Begun is Half Done: Generator-agnostic Knowledge Pre-Selection for Knowledge-Grounded Dialogue
Nankai University（南开大学）；Sichuan University（四川大学）；Ludong University（鲁东大学）
本文关注知识增强对话中生成前的知识选择，提出生成器无关的方法GATE，通过预选相关知识减轻后续模型负担，实验证明其能有效促进ChatGPT等LLMs生成更具信息量的响应。
2023-10-20 cs.CL
External Knowledge Selection with Weighted Negative Sampling in Knowledge-grounded Task-oriented Dialogue Systems
LG AI Research（LG人工智能研究院）
构建一个健壮的基于口语对话的对话系统比书面对话更具挑战性。在这方面，提出了DSTC 10-Track 2-Task 2，其目的是建立一个面向任务的对话（TOD）系统，将非结构化的外部知识的口语会话，扩展DSTC 9-Track 1。本文介绍了我们的系统包含四个先进的方法：数据构建，加权负采样，后训练，风格转移。我们首先自动构建一个大的训练数据，因为DSTC 10-Track 2不发布官方训练集。对于知识选择任务，我们提出了加权负采样的训练模型更细粒度的方式。我们还采用后训练和风格转移的响应生成任务，以生成一个适当的响应与目标响应相似的风格。在实验中，我们考察了加权负采样、后训练和风格迁移的效果。我们的模型在客观评价中排名16支球队中的7支，在人工评价中排名6支。
2022-09-06 cs.CL
Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne（墨尔本大学）；Twitter Inc.（推特公司）
在面向任务的对话系统中，对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合，因为监督信号（或奖励）仅在对话结束时提供。为了解决这个问题，已经引入了奖励学习来从最优策略的状态-动作对中学习，以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释（即，专家演示），这是劳动密集型的。为了克服这一局限性，我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数（即，状态-动作序列），或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入，以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ，一个基准多域数据集。
2020-05-09 cs.AI cs.CL
Grounding Dialogue Systems via Knowledge Graph Aware Decoding with Pre-trained Transformers
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
在面向目标和非目标的对话系统中生成基于知识的响应是一个重要的研究挑战。知识图谱（KG）可以被视为现实世界的抽象，其可以潜在地促进对话系统产生基于知识的响应。然而，以端到端的方式将KG集成到对话生成过程中是一项重要的任务。本文提出了一种新的体系结构，通过训练一个BERT模型，学习回答使用KG（实体和关系）的元素在多任务，端到端的设置集成KG到响应生成过程。KG的k-hop子图在使用图拉普拉斯算子的训练和推理期间被并入模型中。实证评估表明，该模型实现了更好的知识覆盖度（通过实体F1得分衡量）相比，其他国家的最先进的模型，目标和非目标导向的对话。
2021-03-30 cs.CL
CHARP: Conversation History AwaReness Probing for Knowledge-grounded Dialogue Systems
Université de Montréal（蒙特利尔大学）；RALI（RALI（机器智能学习与应用研究组））
本文提出 CHARP 诊断测试集，用于评估知识 grounded 对话系统的幻觉与对话历史遵从性，发现现有模型因忽略对话历史而表现不佳，并指出 FaithDial 评估的不足。
2024-05-24 cs.CL
CPO: Addressing Reward Ambiguity in Role-playing Dialogue via Comparative Policy Optimization
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对角色扮演对话等开放式主观任务中传统强化学习微调面临的奖励模糊性问题，提出比较策略优化（CPO）方法，将样本级评分转为比较组级评分，并引入CharacterArena评估框架，有效提升了对话质量。
2025-08-12 cs.CL
Open-domain Dialogue Generation Grounded with Dynamic Multi-form Knowledge Fusion
Shanghai University of Electric Power（上海电力大学）；Tongji University（同济大学）；University of Munich（慕尼黑大学）；Alibaba Local Life Service Co., Ltd（阿里巴巴本地生活服务有限公司）
开放域多回合对话通常面临如何丰富和扩展对话内容的挑战。近年来，许多基于外部知识的方法被提出来生成丰富的语义和信息会话。两种类型的知识已经研究了知识感知的开放域对话生成：结构化的三元组从知识图谱和非结构化的文本从文档。为了充分利用文档中丰富的非结构化潜在知识和结构化知识图谱的信息扩展能力，本文提出了一种新的对话生成模型--基于开放域聊天机的动态多形式知识融合模型（DMKCM）。DMKCM应用索引文本（虚拟知识库）将相关文档定位为第一跳，然后使用常识知识图谱扩展对话的内容及其第一跳，三倍于第二跳。为了将这两种形式的知识有效地融合到对话中，我们设计了一个动态的虚拟知识选择器和一个控制器来丰富和扩展知识空间。此外，DMKCM采用了一种新的动态知识记忆模块，有效地利用历史推理知识，以产生更好的反应。实验结果表明，我们的方法在对话连贯性和信息量方面是有效的。
2022-04-24 cs.CL
PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
PICK框架通过重评分解码过程中产生的替代候选回复，在不增加标注数据和模型调优的情况下，提升知识接地对话系统回复的忠实性与相关性。
2023-09-19 cs.CL
Turning Flowchart into Dialog: Augmenting Flowchart-grounded Troubleshooting Dialogs via Synthetic Data Generation
Monash University（莫纳什大学）
本文提出PlanSDG方法，通过分层规划策略将流程图转化为大规模合成对话，缓解FTD系统训练数据稀缺问题，并在FloDial数据集上验证其提升路径检索与响应生成性能。
2023-10-29 cs.CL
A Study on Dialogue Reward Prediction for Open-Ended Conversational Agents
University of Lincoln（林肯大学）；Samsung Research（三星研究院）
会话代理中包括的对话历史的量通常被低估和/或以经验的方式设置，因此可能是幼稚的方式。这表明，考虑到对话历史和相应表示的量可以在会话系统的整体性能中发挥重要作用，迫切需要对最佳上下文窗口进行原则性调查。本文研究对话代理可靠预测对话奖励所需的历史量。对话奖励预测的任务被选择用于调查不同量的对话历史的影响及其对系统性能的影响。使用18 K人与人对话的数据集的实验结果报告说，至少10个句子的冗长对话历史比简短的对话历史更受欢迎（在我们的实验中，25个句子是最好的），并且冗长的历史对于训练目标对话奖励和预测之间具有强正相关性的对话奖励预测器是有用的。
2018-12-02 cs.AI cs.CL
SEADialogues: A Multilingual Culturally Grounded Multi-turn Dialogue Dataset on Southeast Asian Languages
MBZUAI；Mekari；Universitas Indonesia（印度尼西亚大学）；Detik Network（Detik网络）；AI Singapore（新加坡AI）；Chulalongkorn University（朱拉隆功大学）；Capital One
针对现有闲聊数据集忽略文化细微差异的问题，研究推出SEADialogues，一个涵盖东南亚六国八种低资源语言、包含角色属性与文化话题的多轮对话数据集，以推动文化感知且以人为本的大型语言模型研究。
2025-08-09 cs.AI cs.CL
Task2Dial: A Novel Task and Dataset for Commonsense enhanced Task-based Dialogue Grounded in Documents
Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出了一种新的任务，常识增强的任务为基础的基于文档的对话，并描述了Task 2Dial数据集，一个新的数据集的基于文档的任务为基础的对话，其中信息给予者（IG）提供指令（通过咨询文件）的信息追随者（IF），使后者能够成功地完成任务。在这种独特的环境中，综合框架可以提出澄清问题，这些问题可能不以基本文件为依据，需要常识来回答。Task 2Dial数据集提出了新的挑战：（1）它的人类参考文本比其他基于文档的对话数据集显示出更多的词汇丰富性和变化;（2）从这个集合中生成需要释义，因为指导性响应可能已经从基础文档中修改;（3）需要常识知识，因为问题可能不一定是基于文档的;（4）生成需要基于上下文的规划，因为需要按顺序提供任务步骤。Task 2Dial数据集包含的对话的平均回合数为$18.15$，每回合19.79个令牌，而现有数据集分别为12.94和12。因此，从这个数据集中学习可以保证更自然，更多样，更少模板式的系统话语。
2022-04-03 cs.AI cs.CL
Disambiguating Reference in Visually Grounded Dialogues through Joint Modeling of Textual and Multimodal Semantic Structures
Nara Institute of Science and Technology（奈良科学技術研究所）；Guardian Robot Project（守護機器人計劃）；RIKEN（理化学研究所）；Kyoto University（京都大學）；Institute of Science Tokyo（東京科學研究院）
本文提出一个统一文本和多模态指代消解的框架，通过将提及嵌入映射到对象嵌入并基于相似性进行选择，实验证明结合共指消解等文本指代关系能有效提升多模态指代消解性能，减少视觉基础对话中的歧义。
2025-06-01 cs.CL
UniGDD: A Unified Generative Framework for Goal-Oriented Document-Grounded Dialogue
The Chinese University of Hong Kong（香港中文大学）
面向目标的基于文档的对话旨在基于对话上下文和支持文档来响应用户查询。现有的研究通过将其分解为两个子任务来解决这个问题：知识识别和响应生成。然而，这样的流水线方法将不可避免地遭受错误传播问题。本文提出了统一这两个子任务，通过顺序生成接地知识和响应。我们进一步开发了一个多任务连接的学习策略，以模拟不同任务的特性和连接，并引入线性温度调度，以减少不相关的文档信息的负面影响。实验结果证明了我们的框架的有效性。
2022-04-16 cs.AI cs.CL
There Are a Thousand Hamlets in a Thousand People's Eyes: Enhancing Knowledge-grounded Dialogue with Personal Memory
Renmin University of China（中国人民大学）；Peking University（北京大学）；Microsoft Corporation（微软公司）
基于知识的会话（Knowledge-grounded conversation，KGC）在构建具有吸引力和知识丰富的聊天机器人方面具有巨大潜力，而知识选择是其中的一个关键环节，但以往的知识选择方法只关注知识与会话语境之间的相关性，忽略了会话者的年龄、爱好、教育程度和生活经历等因素对会话者对外部知识偏好的影响。如果不考虑个性化问题，就很难选择适当的知识并生成与角色一致的响应。在这项工作中，我们将个人记忆知识选择KGC解决个性化的问题。我们提出了一种变分方法来模拟一个人的个人记忆和他或她的知识选择之间的潜在关系，并设计了一个学习计划，其中正向映射从个人记忆到知识和逆映射包括在一个闭环，使他们可以互相教导。实验结果表明，该方法在自动评价和人工评价方面均优于现有的KGC方法。
2022-04-06 cs.CL
