Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation
KAIST（韩国科学技术院）；AITRICS
针对知识接地对话生成中知识利用不可靠的问题，本文提出SURGE框架，通过子图检索、词嵌入扰动和对比学习，使生成回复与知识图谱事实保持一致，并在两个数据集上验证了其生成高质量知识忠实对话的有效性。
2023-05-30 cs.AI cs.CL cs.LG
$Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）
以神经知识为基础的对话生成模型通常会产生与其所依赖的知识实际上不一致的内容，使其不可靠并限制其适用性。受最近在评估摘要中事实一致性方面的工作的启发，我们提出了一种基于知识的对话中使用自动问题生成和问答的事实一致性自动评估度量。我们的度量，表示为$Q^2$，比较答案跨度使用自然语言推理（NLI），而不是基于令牌的匹配，在以前的工作。为了促进正确的评估，我们为维基百科的向导数据集策划了一个新的对话系统输出数据集，并手动注释了事实的一致性。我们使用该数据集和其他两个数据集对$Q^2$与其他指标进行了全面的元评估，其中它始终显示出与人类判断的较高相关性。
2021-09-09 cs.CL
ConVAWG: A Retrieval-Grounded Framework for Controlled Synthetic Dialogue Generation in Violence Against Women and Girls
University of Sheffield（谢菲尔德大学）；Forensic Capability Network（法医能力网络）；University of Leeds（利兹大学）；University of Warwick（华威大学）
本研究针对VAWG场景建模的空白，提出检索驱动框架ConVAWG，生成符合CPS标准的合成VAWG多轮对话，发布6000余个对话事件，经多类评估验证其质量与领域保真度。
2026-08-12 cs.AI cs.CL cs.LG
GLM-Dialog: Noise-tolerant Pre-training for Knowledge-grounded Dialogue Generation
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
我们提出了GLM-Dialog，一个大规模的语言模型（LLM）与10 B参数能够知识为基础的对话中使用的搜索引擎访问互联网知识。GLM-Dialog提供了一系列适用的技术，用于利用各种外部知识，包括有用的和嘈杂的知识，从而能够使用有限的适当数据集创建强大的以知识为基础的对话LLM。为了更公平地评估GLM-Dialog，我们还提出了一种新的评估方法，允许人类同时与多个部署的机器人进行对话，并隐式地比较它们的性能，而不是使用多维指标进行显式评级。从自动到人类的角度进行综合评估，展示了GLM-Dialog与现有开源中文对话模型相比的优势。我们发布了模型检查点和源代码，并将其部署为微信应用程序与用户进行交互。我们在线提供评估平台，以促进开源模型和可靠对话评估系统的开发。另外还发布了易于使用的工具包，包括短文本实体链接、查询生成和有用的知识分类，以支持各种应用程序。所有的源代码都可以在Github上找到。
2023-02-28 cs.AI cs.CL
Talk the Walk: Navigating New York City through Grounded Dialogue
MILA, Université de Montréal（蒙特利尔大学MILA）；Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们介绍“Talk The Walk”，这是第一个基于行动和感知的大规模对话数据集。该任务涉及两个代理（“向导”和“游客”），它们通过自然语言进行通信，以实现一个共同的目标：让游客导航到给定的目标位置。详细描述的任务和数据集是具有挑战性的，其完整解决方案是我们向社区提出的开放问题。我们（一）专注于旅游本地化的任务，并开发新的掩蔽注意力空间卷积（MASC）机制，允许接地旅游话语到指南的地图，（二）显示它产生显着的改善，为紧急和自然语言通信，和（iii）使用这种方法，我们建立非平凡的基线上的全部任务。
2018-12-23 cs.AI cs.CL cs.CV
VGNMN: Video-grounded Neural Module Network to Video-Grounded Language Tasks
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））
神经模块网络（NMN）在基于图像的任务中取得了成功，例如合成图像上的视觉问答（VQA）。然而，非常有限的工作NMN已被研究在视频接地的对话任务。这些任务扩展了传统视觉任务的复杂性，增加了视觉时间变化和语言交叉依赖性。受最近NMN方法在图像接地任务的启发，我们引入视频接地神经模块网络（VGNMN）来模拟视频接地语言任务中的信息检索过程作为神经模块的管道。VGNMN首先分解对话中的所有语言组件，以显式地解析任何实体引用并从问题中检测相应的基于动作的输入。检测到的实体和动作被用作参数来实例化神经模块网络并从视频中提取视觉线索。我们的实验表明，VGNMN可以实现具有挑战性的视频接地对话基准以及视频QA基准有前途的性能。
2022-06-12 cs.AI cs.CL cs.CV
ConvoLearn: A Learning Sciences Grounded Dataset for Fine-Tuning Dialogic AI Tutors
Stanford University（斯坦福大学）
ConvoLearn通过六个对话教学维度构建了2134个半合成对话数据集，展示了基于知识建构理论的对话教学信号，证明了其在真实课堂中的有效性。
2026-04-09 cs.AI cs.HC cs.LG
Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
由于文档传达了丰富的人类知识，并且在企业中普遍存在，因此构建基于文档的对话系统受到越来越多的关注。其中，如何从文档中理解和检索信息是一个具有挑战性的研究问题。以往的工作忽略了文档的视觉属性，将其视为纯文本，导致模态不完整。在本文中，我们提出了一个布局感知的文档级信息抽取数据集，LIE，以促进从视觉丰富的文档（VRD）中提取结构和语义知识的研究，从而在对话系统中生成准确的响应。LIE包含来自4，061页产品和官方文档的三个提取任务的62k注释，成为我们所知的最大的基于VRD的信息抽取数据集。我们还开发了基准测试方法，扩展了基于标记的语言模型，以考虑布局功能，如人类。实验结果表明，布局是关键的基于VRD的提取，系统演示也验证了提取的知识可以帮助定位用户关心的答案。
2022-07-14 cs.CL cs.MM
CLEVR-Dialog: A Diagnostic Dataset for Multi-Round Reasoning in Visual Dialog
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
可视化对话是一种多模态任务，使用对话历史作为上下文，回答基于图像的一系列问题。它需要在视觉，语言，推理和接地的挑战。然而，在大型真实数据集上孤立地研究这些子任务是不可行的，因为它需要对所有图像和对话框的“状态”进行昂贵的完整注释。我们开发了CLEVR-Dialog，一个大型诊断数据集，用于研究可视化对话中的多轮推理。具体来说，我们构建了一个对话语法，是接地的场景图的图像从CLEVR数据集。这种组合产生了一个数据集，其中可视化对话框的所有方面都被完全注释。总的来说，CLEVR-Dialog包含5个10轮对话的实例，约85k CLEVR图像，总计425万个问答对。我们使用CLEVR-Dialog标准的视觉对话模型的基准性能，特别是在视觉共指消解（作为共指距离的函数）。这是第一次对可视化对话框模型进行分析，如果没有这个数据集，这是不可能的。我们希望CLEVR-Dialog的发现将有助于为未来的可视化对话模型的开发提供信息。我们的数据集和代码是公开的。
2019-09-18 cs.AI cs.CL cs.CV
Variational Learning for Unsupervised Knowledge Grounded Dialogs
IBM Research AI（IBM研究院人工智能部门）
最近的方法知识为基础的对话生成的反应，将信息从外部文本文件。这些方法不需要在训练期间知道确切的文档，并且依赖于使用检索系统从大型索引中获取相关文档。用于生成响应的文档被建模为潜在变量，其先验概率需要估计。诸如RAG和REALM之类的模型将从索引检索的文档上的文档概率边缘化，以定义端到端优化的对数似然损失函数。在本文中，我们开发了一种变分方法，上述技术，其中，我们反而最大化的证据下限（ELBO）。使用三个公开可用的开放式对话数据集的集合，我们演示了具有地面真实响应信息的后验分布如何在训练期间更好地近似目标函数。为了克服与采样在一个大的知识集合的挑战，我们开发了一种有效的方法来近似ELBO。据我们所知，我们是第一个将变分训练应用于开放规模无监督知识基础对话系统的人。
2022-04-28 cs.CL cs.LG
Controllable Factuality in Document-Grounded Dialog Systems Using a Noisy Channel Model
Technical University of Darmstadt（达姆施塔特工业大学）；RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
在这项工作中，我们提出了一个模型，根据贝叶斯定理分解成两个组件的对话框中的文档接地响应生成。一个组件是一个传统的无基础的响应生成模型，另一个组件基于对话上下文和生成的响应对基础文档的重建进行建模。我们提出了不同的近似解码方案，并在多个开放域和面向任务的文档接地对话数据集上评估我们的方法。我们的实验表明，该模型在自动真实性度量方面比基线模型更真实。此外，我们概述了如何在组件之间引入比例因子，以控制模型输出的真实性和流畅性之间的权衡。最后，我们比较我们的方法，最近提出的方法来控制接地对话框，CTRL（arXiv：2107.06963）的真实性，并表明这两种方法可以结合起来，以实现额外的改进。
2022-10-31 cs.AI cs.CL cs.LG
DG2: Data Augmentation Through Document Grounded Dialogue Generation
Columbia University（哥伦比亚大学）；ASAPP（ASAPP公司）；IBM Research AI（IBM人工智能研究院）
收集用于训练对话系统的数据可能是极其昂贵的，这是由于人类参与者的参与以及对大量注释的需要。特别是在基于文档的对话系统中，人类专家需要仔细阅读非结构化文档来回答用户的问题。因此，现有的基于文档的对话数据集规模相对较小，阻碍了对话系统的有效训练。在本文中，我们提出了一个自动数据增强技术的基础上，通过生成对话模型的文件。对话模型由用户机器人和代理机器人组成，它们可以在给定输入文档的情况下合成各种对话，然后用于训练下游模型。当补充原始数据集时，我们的方法比传统的数据增强方法有了显著的改进。我们还在低资源环境中实现了出色的性能。
2021-12-15 cs.CL
doc2dial: A Goal-Oriented Document-Grounded Dialogue Dataset
IBM Research AI（IBM研究AI）
我们介绍doc2dial，一个新的基于相关文档的面向目标的对话数据集。受作者如何撰写文档以指导最终用户的启发，我们首先构建了基于内容元素的对话流，这些内容元素对应于跨文本部分的高层关系以及部分内话语单元之间的低层关系。然后，我们将这些对话流呈现给人群贡献者，以创建会话语句。该数据集包括大约4800个带注释的对话，平均14个回合，来自四个领域的480多个文档。与之前基于文档的对话数据集相比，该数据集涵盖了信息寻求对话中的各种对话场景。为了评估数据集的多功能性，我们引入了多个对话建模任务，并提出了基线方法。
2020-11-18 cs.CL
MultiDoc2Dial: Modeling Dialogues Grounded in Multiple Documents
IBM Research AI（IBM研究院AI）
我们提出了MultiDoc2Dial，一个新的任务和数据集，以多个文档为基础，对面向目标的对话进行建模。大多数以前的作品将基于文档的对话建模视为基于单个给定文档或段落的机器阅读理解任务。在这项工作中，我们的目标是解决更现实的情况下，以目标为导向的信息寻求对话涉及多个主题，因此是基于不同的文件。为了促进这样的任务，我们引入了一个新的数据集，其中包含基于来自四个不同领域的多个文档的对话。我们还探索了数据集中基于对话框和基于文档的上下文的建模。我们提出了强有力的基线方法和各种实验结果，旨在支持进一步的研究工作，这样一个任务。
2021-09-26 cs.CL
Video-Grounded Dialogues with Pretrained Generation Language Models
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
预训练的语言模型在改进各种下游NLP任务方面取得了显着的成功，因为它们能够捕获文本数据中的依赖关系并生成自然响应。在本文中，我们利用预训练的语言模型的力量来改进基于视频的对话，这是非常具有挑战性的，涉及不同动态的复杂特征：（1）可以跨越空间和时间维度的视频特征;（2）涉及多个对话回合的语义依赖的对话特征。我们提出了一个框架，通过扩展GPT-2模型来解决这些挑战，将视频对话任务制定为序列到序列任务，将视觉和文本表示结合到结构化序列中，并微调大型预训练的GPT-2网络。我们的框架允许微调语言模型，以捕获依赖性跨多个模态在不同层次的信息：时空水平的视频和令牌的句子水平的对话上下文。我们在DSTC 7的视听场景感知对话（AVSD）基准测试上取得了可喜的进步，这支持了这一研究方向的潜在方向。
2020-06-27 cs.CL cs.CV cs.LG
KPT: Keyword-guided Pre-training for Grounded Dialog Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
将外部知识引入响应生成过程对于构建更有用和可靠的对话代理至关重要。然而，收集基于知识的对话通常是昂贵的，需要一个更好的预训练模型来生成基于知识的对话，该模型可以很好地概括w.r.t.不同类型的知识。在这项工作中，我们提出了KPT（关键词引导的预训练），一种新的自我监督的预训练方法，用于生成接地对话，而不依赖于额外的知识注释。具体来说，我们使用预先训练的语言模型来提取对话中最不确定的标记作为关键字。通过这些关键词，我们构建了两种知识，并预训练了一个基于知识的响应生成模型，旨在处理两种不同的场景：（1）知识应该是忠实的基础;（2）它可以被选择性地使用。对于前者，基础知识由从响应中提取的关键字组成。对于后者，基础知识被额外地用从同一对话中的其他话语中提取的关键字来增强。由于知识是从对话本身中提取的，因此KPT可以很容易地在大量和各种对话数据上执行。我们考虑了三个数据源（开放域，面向任务，会话QA），共有250万个对话。我们对各种Few-Shot知识基础生成任务进行了广泛的实验，包括对话行为，知识图谱，人物描述和维基百科段落。我们全面的实验和分析表明，KPT始终优于国家的最先进的方法，这些任务与不同的接地知识。
2022-12-04 cs.CL
Cascaded Span Extraction and Response Generation for Document-Grounded Dialog
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限责任公司）
本文总结了我们的条目的第一个DialDoc共享任务，专注于代理响应预测任务，在面向目标的文件为基础的对话的两个子任务。该任务分为两个子任务：预测一个跨度在一个文件，地面代理轮流和生成一个代理响应的基础上的对话和接地文件。在第一个子任务中，我们将有效跨度集限制为数据集中定义的跨度，使用双仿射分类器对跨度进行建模，最后使用不同模型的集成。对于第二个子任务，我们使用级联模型，该模型将响应预测基于预测的跨度而不是整个文档。通过这些方法，与基线相比，我们在两个子任务中获得了显着的改进。
2021-06-14 cs.AI cs.CL cs.LG
Adapting Document-Grounded Dialog Systems to Spoken Conversations using Data Augmentation and a Noisy Channel Model
Human Language Technology and Pattern Recognition Group, RWTH Aachen University（亚琛工业大学人类语言技术与模式识别组）；AppTek GmbH（AppTek有限责任公司）
本文总结了我们提交的任务2的第10届对话系统技术挑战赛（DSTC 10）的第二个轨道“基于知识的面向任务的对话建模口语对话”。与前一年的迭代类似，该任务由三个子任务组成：检测一个回合是否是知识寻求，选择相关的知识文档，最后生成一个接地的响应。今年，重点在于使系统适应嘈杂的ASR成绩单。我们探索不同的方法，使模型更强大的这种类型的输入，并适应口语对话的风格所产生的反应。对于后者，我们得到了最好的结果与嘈杂的信道模型，另外减少了短和通用的响应的数量。我们最好的系统在自动评估中获得了第一名，在人工评估中获得了第三名。
2021-12-16 cs.AI cs.CL cs.LG
End-to-end optimization of goal-driven and visually grounded dialogue systems
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；University of Montreal（蒙特利尔大学）；DeepMind
对话系统的端到端设计最近已经成为一个热门的研究课题，这要归功于强大的工具，如用于序列到序列学习的编码器-解码器架构。然而，大多数当前的方法将人机对话管理作为监督学习问题，旨在预测给定对话的完整历史的参与者的下一个话语。这种观点过于简单化，无法反映对话所固有的规划问题及其基础性质，使对话的背景大于唯一的历史。这就是为什么到目前为止，只有闲聊和问答任务使用端到端架构来解决。在本文中，我们介绍了一种深度强化学习方法，以优化视觉接地面向任务的对话，基于策略梯度算法。这种方法在通过Mechanical Turk收集的120 k对话数据集上进行了测试，并在解决生成自然对话的问题和在复杂图片中发现特定对象的任务方面提供了令人鼓舞的结果。
2017-03-15 cs.CL
Affective Visual Dialog: A Large-Scale Benchmark for Emotional Reasoning Based on Visually Grounded Conversations
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；HealthUnity；Google DeepMind（谷歌DeepMind）
本文提出情感视觉对话任务及包含50K个10轮视觉对话的AffectVisDial数据集，覆盖问答、情感预测和情感解释生成，并验证了基线模型的情感推理能力。
2024-08-27 cs.CL
BiST: Bi-directional Spatio-Temporal Reasoning for Video-Grounded Dialogues
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
基于视频的对话是非常具有挑战性的，这是由于（i）包含空间和时间变化的视频的复杂性，以及（ii）在多个对话回合中查询视频中的不同片段和/或不同对象的用户话语的复杂性。然而，现有的视频对话方法往往集中在表面的时间层次的视觉线索，但忽略了更细粒度的空间信号从视频。为了解决这个缺点，我们提出了双向时空学习（BiST），这是一种基于文本线索的视频高分辨率查询的视觉语言神经框架。具体来说，我们的方法不仅利用空间和时间级别的信息，但也学习动态信息扩散之间的两个特征空间，通过空间到时间和时间到空间的推理。双向策略的目的是解决不断变化的语义用户查询的对话设置。检索到的视觉线索被用作上下文信息来构造对用户的相关响应。我们的实证结果和全面的定性分析表明，BiST实现了有竞争力的性能，并产生合理的反应，在一个大规模的AVSD基准。我们还调整我们的BiST模型的视频QA设置，并大大优于以前的方法在TGIF-QA基准。
2020-10-20 cs.CL cs.CV cs.LG
Knowledge-grounded Dialog State Tracking
University of California, Davis（加州大学戴维斯分校）；Google Research（谷歌研究院）
知识（包括结构化知识，如模式和本体，以及非结构化知识，如Web语料库）是对话理解的关键部分，特别是对于看不见的任务和领域。传统上，这种特定于领域的知识被隐式地编码到用于执行下游任务的模型参数中，这使得训练效率低下。此外，这样的模型是不容易转移到新的任务与不同的模式。在这项工作中，我们建议执行对话状态跟踪接地外部编码的知识。我们查询各种形式的对话上下文的基础上，这些信息可以接地的对话状态的预测相关知识。我们证明了我们提出的方法在强基线上的优越性能，特别是在少样本学习设置中。
2022-10-13 cs.CL
CookDial: A dataset for task-oriented dialogs grounded in procedural documents
Ghent University（根特大学）；imec（比利时微电子研究中心）
这项工作提出了一个新的对话数据集CookDial，它有助于研究具有程序知识理解的面向任务的对话系统。该语料库包含260个人与人之间的任务导向对话，其中一个代理，给出一个食谱文档，指导用户烹饪一道菜。CookDial中的对话具有两个独特的功能：（i）对话流和支持文档之间的程序对齐;（ii）复杂的代理决策，包括分割长句，解释硬指令和解决对话上下文中的共指。此外，我们确定了三个具有挑战性的（子）任务，在假设的面向任务的对话系统：（1）用户问题理解，（2）代理动作帧预测，（3）代理响应生成。对于这些任务中的每一个，我们都开发了一个神经基线模型，并在CookDial数据集上进行了评估。我们公开发布了CookDial数据集，包括对话框和食谱文档的丰富注释，以刺激对特定于域的基于文档的对话框系统的进一步研究。
2022-06-17 cs.CL
Exploring Prompt-based Few-shot Learning for Grounded Dialog Generation
Tsinghua University（清华大学）
对话模型可以通过各种外部信息的基础大大加强，但接地对话语料库通常是不自然的访问。在这项工作中，我们专注于接地对话生成（GDG）的少样本学习。首先，我们提出了一个简单的提示方法GDG任务，不同的结构模型输入，如接地源和会话上下文，区分通过连续或离散提示。在三个典型的GDG任务，我们实证证明和深入分析我们的方法的有效性。然后，我们进行了广泛的实验，以彻底研究我们的提示方法如何与不同的预训练模型一起工作。我们发现，提示语言模型表现优于会话模型，并进一步分析了各种因素的影响，提示的效果。总体而言，我们的工作介绍了一个基于样本的视角，少样本学习的GDG任务，并提供了有价值的发现和见解，为未来的研究。
2022-01-14 cs.CL
A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models
Hithink RoyalFlush Information Network Co.,Ltd.（同花顺信息网络股份有限公司）
我们提出了一个知识为基础的对话系统开发的第九届对话系统技术挑战赛（DSTC 9）轨道1 -超越域API：面向任务的会话建模与非结构化知识访问。我们利用迁移学习与现有的语言模型来完成这个挑战轨道中的任务。具体来说，我们将任务划分为四个子任务，并在每个子任务上微调了几个Transformer模型。我们做了额外的改变，在性能和效率上都有所提高，包括将模型与传统的实体匹配技术相结合，以及在语言模型的输出层添加指针网络。
2021-06-28 cs.CL
Unsupervised Enrichment of Persona-grounded Dialog with Background Stories
UC San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
人们经常引用个人的叙述、生活经历和事件来使谈话更吸引人、更丰富。虽然基于人物角色的对话模型能够生成遵循给定人物角色的响应，但它们通常会错过与人物角色相关的详细体验或事件，通常会使对话变得肤浅和乏味。在这项工作中，我们装备对话模型与“背景故事”相关的人物角色，利用虚构的叙述，从现有的故事数据集（如ROCStories）。由于当前的对话数据集不包含这样的叙述响应，我们执行一个无监督的适应检索的故事，使用基于梯度的重写技术生成一个对话响应。我们提出的方法鼓励生成的响应是流畅的（即，很可能）与对话历史记录，与检索到的故事的差异最小，以保持事件顺序并与原始人物角色一致。我们证明，我们的方法可以生成更多样化的响应，并被评为更具吸引力和人性化的人类评估员，从现有的对话模型的输出相比。
2021-06-15 cs.CL
Semi-Supervised Knowledge-Grounded Pre-training for Task-Oriented Dialog Systems
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan（美团）
神经方法的最新进展极大地改善了任务导向对话（task-oriented dialogue，TOD）系统，帮助用户完成他们的目标。然而，这样的系统依赖于昂贵的手动标记的对话框，这在实际场景中是不可用的。在本文中，我们为SereTOD 2022挑战赛的第二轨道提出了我们的模型，这是在大规模真实世界的中国TOD数据集MobileCS上构建半监督和增强的TOD系统的第一个挑战。我们建立了一个知识为基础的对话模型，制定对话历史和本地知识库作为输入，并预测系统的响应。我们对标记和未标记的数据进行半监督预训练。我们的系统在自动评估和人机交互方面都取得了第一名的成绩，特别是BLEU（+7.64）和Success（+13.6\%）比第二名更高。
2022-12-23 cs.CL
Entriever: Energy-based Retriever for Knowledge-Grounded Dialog Systems
SPMI Lab, EE Department, Tsinghua University（清华大学电子工程系SPMI实验室）；China Mobile Research Institute（中国移动研究院）
本文提出基于能量的检索器 Entriever，通过整体建模候选知识片段解决条件独立假设问题，在知识检索和对话系统端到端性能上均显著优于基线。
2025-05-31 cs.CL
Multi-Document Grounded Multi-Turn Synthetic Dialog Generation
IBM Research AI（IBM研究院人工智能部门）
本研究提出一种多文档多轮合成对话生成技术，结合分类驱动的CoT用户查询、轮次级检索更新文档及LLM-as-a-Judge过滤，生成的对话质量高，且以此微调的模型在四个公开基准上优于人类数据微调的模型。
2024-09-17 cs.AI cs.CL
Efficient Tool-Calling Multi-Expert NPC Agent for Commonsense Persona-Grounded Dialogue
Université Paris-Saclay（巴黎-萨克雷大学）
本文提出一种基于 Qwen3 和 LoRA 适配器的多专家 NPC 智能体系统，通过实例化工具调用、响应解释和直接对话三个专家，实现了高效的自然对话与动作执行，并在 CPDC 2025 挑战赛中总排名第二。
2025-11-03 cs.CL
Reference-Centric Models for Grounded Collaborative Dialogue
UC Berkeley（加州大学伯克利分校）；Cornell Tech（康奈尔科技校区）
我们提出了一个接地的神经对话模型，成功地与人们在一个部分可观察的参考游戏。我们专注于一个设置，两个代理人每个观察一个重叠的一部分，一个世界的背景下，需要确定和同意他们共享的一些对象。因此，智能体应该共享他们的信息并进行务实的沟通来解决任务。我们的对话代理准确地从合作伙伴的话语使用结构化的参考解析器，这些引用使用循环记忆的条件，并使用一个务实的生成过程，以确保合作伙伴可以解决代理产生的参考理由。我们对OneCommon空间接地对话任务（Udagawa和Aizawa 2019）进行评估，该任务涉及排列在板上的许多点，这些点具有连续变化的位置，大小和阴影。我们的代理大大超过了以前的最先进的任务，获得了20%的相对改善，在成功完成任务的自我发挥评估和50%的相对改善，在人类评估的成功。
2021-09-10 cs.CL
Grounded Agreement Games: Emphasizing Conversational Grounding in Visual Dialogue Settings
University of Potsdam（波茨坦大学）；Department of Linguistics（语言学系）；Computational Linguistics（计算语言学）
计算语言学中关于对话的早期工作非常强调对话结构及其与对话参与者心理状态的关系（例如，Allen 1979，Grosz & Sidner 1986），目前的工作主要是将对话简化为在任何时候产生下一个话语的任务;例如，在神经聊天机器人或视觉对话设置中。作为一个方法论的决定，这是合理的：即使是最长的旅程也是一系列步骤。然而，当学习对话行为的任务和数据集过于适应问题的框架时，它就变得有害了。在这个简短的说明中，我们描述了一系列仍然允许保持对话简单的设置，但增加了一个约束，使参与者关心达成相互理解。在这种协议游戏中，除了任务层面的目标之外，还有一个次要但明确的目标，那就是就任务层面的目标是否已经达到达成共识。正如我们所认为的，这自然会触发元语义交互和相互参与，从而导致更丰富的数据，从中归纳模型。
2019-08-29 cs.CL
Using a KG-Copy Network for Non-Goal Oriented Dialogues
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；Volkswagen Group Research（大众汽车集团研究部）
非目标导向的生成式对话系统缺乏用有根据的事实生成答案的能力。知识图谱可以被认为是对现实世界的一种抽象，它由有充分根据的事实组成。本文解决了通过将知识图谱集成到对话系统响应生成过程中，以端到端的方式生成良好接地响应的问题。本文提出了一个非目标导向对话的数据集，在足球领域，不同的俱乐部和国家队的交谈，以及这些球队的知识图谱。还提出了一种新的神经网络架构作为该数据集的基线，它可以将知识图谱集成到响应生成过程中，产生清晰的、基于知识的响应。经验证据表明，所提出的模型表现优于其他国家的最先进的知识图谱集成对话系统。
2019-10-17 cs.CL
Task-oriented Document-Grounded Dialog Systems by HLTPR@RWTH for DSTC9 and DSTC10
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限责任公司）
本文总结了 HLTPR@RWTH 在 DSTC9 和 DSTC10 文档 grounding 对话任务中的工作，提出 Hierarchical Selection 提升文档选择效率、数据增强与风格适应方法增强噪声鲁棒性，并引入噪声信道模型提高回复事实性。
2023-04-14 cs.AI cs.CL cs.LG
Generative Subgraph Retrieval for Knowledge Graph-Grounded Dialog Generation
Korea University（高丽大学）；Amazon AGI（亚马逊AGI）
针对知识图谱支撑的对话生成中外部编码器无法利用预训练语言模型知识及单向量抽象导致信息瓶颈的问题，提出DialogGSR方法，通过在语言模型上直接生成子图词元序列并结合结构感知线性化与图约束解码进行检索，在多个数据集上达到最先进性能。
2024-10-12 cs.AI cs.CL
HyKnow: End-to-End Task-Oriented Dialog Modeling with Hybrid Knowledge Management
Huawei Technologies（华为技术有限公司）；Tsinghua University（清华大学）
面向任务的对话（task-oriented dialog，TOD）系统通常管理结构化知识（例如本体和数据库）来引导面向目标的对话。然而，它们不足以处理基于非结构化知识（例如评论和文档）的对话。在本文中，我们制定了一个任务，基于结构化和非结构化的知识建模TOD。为了解决这个问题，我们提出了一个TOD系统与混合知识管理，HyKnow。它扩展了信念状态来管理结构化和非结构化知识，并且是第一个基于这两种知识联合优化对话建模的端到端模型。我们在MultiWOZ 2.1数据集的修改版本上进行实验，其中对话框基于混合知识。实验结果表明，HyKnow具有较强的端到端性能相比，现有的TOD系统。它还优于管道知识管理方案，具有更高的非结构化知识检索精度。
2021-06-02 cs.CL
Knowledge-Grounded Dialogue with Reward-Driven Knowledge Selection
Northeastern University（东北大学）
基于知识的对话是一种基于会话语境和外部知识的会话，其中知识选择起着重要的作用，引起了越来越多的研究兴趣。然而，大多数现有的模型要么只选择一个知识或使用所有的知识生成响应。前者可能会在丢弃的知识中丢失有价值的信息，而后者可能会带来大量的噪声。同时，许多方法需要用指示地面实况知识的知识标签来训练知识选择器，但是这些标签难以获得并且需要大量的人工注释。基于这些问题，本文提出了一种基于强化学习的对话响应生成模型Knoforer，该模型可以自动从知识库中选择一个或多个相关知识，并且在训练过程中不需要知识标签。Knoformer在两个知识引导的会话数据集上进行了评估，并实现了最先进的性能。
2021-08-31 cs.CL
Bridging Information Gaps in Dialogues With Grounded Exchanges Using Knowledge Graphs
Technical University of Munich（慕尼黑工业大学）；National Institute of Advanced Industrial Science and Technology（日本国立先进工业科学技术研究院）
本文构建五领域对话语料 BridgeKG，并基于知识图谱评估大型语言模型的接地行为分类与信息项识别能力。
2024-08-11 cs.CL
Learning how to learn: an adaptive dialogue agent for incrementally learning visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一种优化的多模态对话代理，用于从人类导师交互式学习视觉接地词义，在真实的人-人辅导数据上进行训练。在终身交互学习期间，使用强化学习（RL）训练的智能体必须能够处理与人类用户的自然对话，并实现良好的学习性能（准确性），同时最大限度地减少学习过程中的人工努力。我们训练和评估这个系统的互动与模拟人类导师，这是建立在BURCHAK语料库-一个人与人的对话数据集的视觉学习任务。结果表明：1）学习的策略可以与模拟用户进行一致的交互，以实现任务的目标（即学习对象的视觉属性，例如颜色和形状）; 2）它在分类器准确性和辅导成本之间找到了比手工制作的基于规则的策略（包括具有动态策略的策略）更好的权衡。
2017-09-29 cs.AI cs.CL cs.LG
UniGDD: A Unified Generative Framework for Goal-Oriented Document-Grounded Dialogue
The Chinese University of Hong Kong（香港中文大学）
面向目标的基于文档的对话旨在基于对话上下文和支持文档来响应用户查询。现有的研究通过将其分解为两个子任务来解决这个问题：知识识别和响应生成。然而，这样的流水线方法将不可避免地遭受错误传播问题。本文提出了统一这两个子任务，通过顺序生成接地知识和响应。我们进一步开发了一个多任务连接的学习策略，以模拟不同任务的特性和连接，并引入线性温度调度，以减少不相关的文档信息的负面影响。实验结果证明了我们的框架的有效性。
2022-04-16 cs.AI cs.CL
PK-ICR: Persona-Knowledge Interactive Context Retrieval for Grounded Dialogue
针对多上下文扎根对话中联合识别角色设定与知识的问题，提出可同时利用全部对话上下文、基于神经问答检索的低计算量方法PK-ICR，并设计零正例排序测试评估难负例排序性能。
2024-08-11 cs.CL cs.IR
Like hiking? You probably enjoy nature: Persona-grounded Dialog with Commonsense Expansions
UC San Diego（加利福尼亚大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
现有的基于人物角色的对话模型通常无法捕捉给定人物角色描述的简单含义，而人类能够无缝地做到这一点。例如，最先进的模型无法推断出对徒步旅行的兴趣可能意味着对自然的热爱或对休息的渴望。在本文中，我们建议使用现有的常识知识库和释义资源来扩展可用的人物角色句子，以使对话模型能够访问扩展且更丰富的人物角色描述集。此外，我们引入了细粒度接地的人物角色，鼓励模型，使一个离散的选择之间的人物角色句子，而合成的对话响应。由于在数据中没有观察到这样的选择，我们使用离散的潜在随机变量对其进行建模，并使用变分学习从数百个人物角色扩展中进行采样。我们的模型在对话质量和多样性方面优于PersonaChat数据集上的竞争基线，同时实现人物角色一致和可控的对话生成。
2020-10-07 cs.AI cs.CL
VDialogUE: A Unified Evaluation Benchmark for Visually-grounded Dialogue
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Science and Technology of China（中国科学技术大学）
针对视觉基础对话系统缺乏标准化评估框架的问题，提出统一评估基准VDialogUE，定义五大任务覆盖六个数据集，基于层次分析法设计VDscore指标，并构建两阶段预训练基线模型VISIT以推动该领域发展。
2023-09-14 cs.CL cs.CV
Cross-lingual Data Augmentation for Document-grounded Dialog Systems in Low Resource Languages
Nanjing University（南京大学）
本文提出跨语言增强模型 CLEM，通过对抗训练检索、Fid 生成器及翻译对齐架构，利用高资源语言增强低资源文档驱动对话系统，并在 DialDoc 2023 竞赛中取得第 4 名。
2023-09-20 cs.CL
GODEL: Large-Scale Pre-Training for Goal-Directed Dialog
Microsoft Corp.（微软公司）；Columbia University（哥伦比亚大学）
我们介绍了GODEL（Grounded Open Dialogue语言模型），一个大型的预先训练的对话语言模型。与DialoGPT等早期模型相比，GODEL利用了一个新的基础预训练阶段，旨在更好地支持使GODEL适应广泛的下游对话任务，这些任务需要当前对话外部的信息（例如，数据库或文档）以产生良好的响应。针对一系列包括面向任务的对话，会话QA和接地开放域对话的基准测试的实验表明，GODEL在Few-Shot微调设置中，在人工和自动评估方面都优于最先进的预训练对话模型。我们的评估方法的一个新的特点是引入了效用的概念，评估的有用性的反应（外在评价），除了他们的沟通功能（内在评价）。我们表明，外部评估提供了改进的注释者之间的协议和自动化指标的相关性。代码和数据处理脚本是公开的。
2022-06-22 cs.CL
Pointwise Mutual Information Based Metric and Decoding Strategy for Faithful Generation in Document Grounded Dialogs
IBM Research（IBM研究院）
本文提出基于条件点互信息的忠实度度量及相应解码策略，以量化文档对生成回复的影响，并在基准实验和多个公开数据集上验证了其与人类判断更一致且能生成更忠实回复。
2023-12-01 cs.CL
Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Alibaba Group（阿里巴巴集团）
多文档接地对话系统（DGDS）属于一类会话代理，通过从文档集合中找到支持知识来回答用户的请求。大多数以前的研究旨在改善知识检索模型或提出更有效的方法，将外部知识的参数生成模型。然而，这些方法集中于从单粒度语言单元（例如，文档中的段落、句子或跨度）中检索知识，这不足以有效地和高效地捕获长文档中的精确知识。本文提出了Re3G，其目的是优化粗粒度的知识检索和细粒度的知识提取在一个统一的框架。具体来说，前者有效地找到检索和重新排序过程中的相关段落，而后者有效地提取这些段落中的更细粒度跨度，以纳入参数答案生成模型（BART，T5）。在DialDoc共享任务上的实验证明了该方法的有效性。
2023-02-23 cs.CL
LinguaGame: A Linguistically Grounded Game-Theoretic Paradigm for Multi-Agent Dialogue Generation
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Peking University（北京大学）；East China University of Political Science and Law（中国政法大学）
LinguaGame通过博弈论范式提升多智能体对话生成的通信效率，利用语言感知推理实现意图和策略的高效沟通。
2026-01-08 cs.CL
External Knowledge Selection with Weighted Negative Sampling in Knowledge-grounded Task-oriented Dialogue Systems
LG AI Research（LG人工智能研究院）
构建一个健壮的基于口语对话的对话系统比书面对话更具挑战性。在这方面，提出了DSTC 10-Track 2-Task 2，其目的是建立一个面向任务的对话（TOD）系统，将非结构化的外部知识的口语会话，扩展DSTC 9-Track 1。本文介绍了我们的系统包含四个先进的方法：数据构建，加权负采样，后训练，风格转移。我们首先自动构建一个大的训练数据，因为DSTC 10-Track 2不发布官方训练集。对于知识选择任务，我们提出了加权负采样的训练模型更细粒度的方式。我们还采用后训练和风格转移的响应生成任务，以生成一个适当的响应与目标响应相似的风格。在实验中，我们考察了加权负采样、后训练和风格迁移的效果。我们的模型在客观评价中排名16支球队中的7支，在人工评价中排名6支。
2022-09-06 cs.CL
Grounding Dialogue Systems via Knowledge Graph Aware Decoding with Pre-trained Transformers
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
在面向目标和非目标的对话系统中生成基于知识的响应是一个重要的研究挑战。知识图谱（KG）可以被视为现实世界的抽象，其可以潜在地促进对话系统产生基于知识的响应。然而，以端到端的方式将KG集成到对话生成过程中是一项重要的任务。本文提出了一种新的体系结构，通过训练一个BERT模型，学习回答使用KG（实体和关系）的元素在多任务，端到端的设置集成KG到响应生成过程。KG的k-hop子图在使用图拉普拉斯算子的训练和推理期间被并入模型中。实证评估表明，该模型实现了更好的知识覆盖度（通过实体F1得分衡量）相比，其他国家的最先进的模型，目标和非目标导向的对话。
2021-03-30 cs.CL
Efficient Data Generation for Source-grounded Information-seeking Dialogs: A Use Case for Meeting Transcripts
Google Research（谷歌研究院）；Bar-Ilan University（巴伊兰大学）
本研究提出一种半自动方法，利用LLMs生成对话并辅以人工验证归因，构建了MISeD会议信息寻求对话数据集，微调后模型性能优于更大规模的现成模型，且在保证生成质量的同时提升了归因质量并降低了成本。
2024-10-15 cs.AI cs.CL
Learning from Implicit User Feedback, Emotions and Demographic Information in Task-Oriented and Document-Grounded Dialogues
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；Department of Computer Science（计算机科学系）；Ubiquitous Knowledge Processing Lab (UKP Lab)（普适知识处理实验室）
本文提出FEDI数据集，首个标注隐式用户反馈、情绪和人口统计信息的英文任务导向与文档基础对话数据集，实验证明这些信息显著提升任务完成度和事实一致性。
2024-11-09 cs.CL cs.HC
Key-Value Retrieval Networks for Task-Oriented Dialogue
Ford Research Innovation Center（福特研究创新中心）
神经任务导向的对话系统通常难以与知识库平滑地接口。在这项工作中，我们试图通过提出一种新的神经对话代理来解决这个问题，该代理能够通过一种新型的键值检索机制有效地维持接地的多域话语。该模型是端到端可区分的，并且不需要显式地对对话状态或信念跟踪器进行建模。我们还发布了一个包含3,031个对话的新数据集，这些对话基于底层知识库，涵盖车载个人助理领域的三个不同任务：日历调度、天气信息检索和兴趣点导航。我们的架构同时对来自所有领域的数据进行训练，并且根据自动和人工评估指标，在所提供的领域上显著优于基于规则的竞争系统和其他现有的神经对话架构。
2017-07-14 cs.CL
SAGE: State-Grounded, Abstention-Aware Evaluation of Task-Oriented Dialogue Agents
Microsoft（微软）
SAGE是一种基于状态、感知弃权的任务型对话智能体评估方法，其SAGE-Core零LLM成本且在四个数据集切片上表现不劣于各类LLM评判器，经人工审计标签保真度高。
2026-09-02 cs.AI cs.CL cs.LG
