CHARP: Conversation History AwaReness Probing for Knowledge-grounded Dialogue Systems
Université de Montréal（蒙特利尔大学）；RALI（RALI（机器智能学习与应用研究组））
本文提出 CHARP 诊断测试集，用于评估知识 grounded 对话系统的幻觉与对话历史遵从性，发现现有模型因忽略对话历史而表现不佳，并指出 FaithDial 评估的不足。
2024-05-24 cs.CL
NewsDialogues: Towards Proactive News Grounded Conversation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）
本文提出主动式新闻 grounding 对话任务，构建含1K对话的 NewsDialogues 中文数据集，并设计 Predict-Generate-Rank 方法，通过知识预测、回复生成与排序缓解曝光偏差，实验验证其有效性。
2023-08-12 cs.CL
Image Chat: Engaging Grounded Conversations
Facebook AI Research（脸书人工智能研究院）
为了实现机器能够与人类进行对话的长期目标，我们的模型应该吸引他们说话伙伴的兴趣。基于图像的通信，其中基于给定的照片进行对话，是自然吸引人类的设置（Hu等人，2014年）。在这项工作中，我们研究了大规模的架构和数据集，以实现这一目标。我们使用最先进的图像和文本表示测试了一组神经架构，考虑了各种融合组件的方法。为了测试这些模型，我们收集了一个接地的人与人对话的数据集，其中要求说话者在给定的情感情绪或风格下扮演角色，因为使用这些特征也是表达的关键因素（Guo et al.，2019年）。我们的数据集Image-Chat由202 k个对话和202 k个图像组成，使用了215种可能的风格特征。自动指标和人工参与度评估显示了我们方法的有效性;特别是，我们在现有的IGC任务上获得了最先进的性能，并且我们的最佳性能模型在图像聊天测试集中几乎与人类相当（首选47.7%的时间）。
2020-04-29 cs.CL
A Grounded Well-being Conversational Agent with Multiple Interaction Modes: Preliminary Results
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
用于增强健康、医疗保健警惕和监测的技术正在兴起。然而，尽管患者感兴趣，但这种技术的采用率很低。这种有限采用的一个假设是失去了人际互动，这是医生与病人接触的核心。在本文中，我们试图通过一个会话代理，采用一个方面的人的医生-病人的互动来解决这个限制：一个人的化身，以促进医疗接地问答。这类似于医生可能指向人体或患者可能指向他们自己的身体来表达他们的状况的亲自场景。此外，我们的代理有多种互动模式，这可能会给更多的选择，为病人使用代理，不仅为医疗问答，而且还从事有关一般话题和当前事件的对话。化身和多种交互模式都可以帮助提高依从性。我们提出了一个高层次的概述设计我们的代理，玛丽机器人福祉。我们还报告了我们的早期原型的实施细节，并提出了初步的结果。
2021-11-28 cs.CL
Pearl: A Review-driven Persona-Knowledge Grounded Conversational Recommendation Dataset
Yonsei University（延世大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有对话推荐数据集缺乏用户偏好和推荐解释的问题，本文提出基于评论驱动、角色与知识增强的大语言模型模拟器合成的PEARL数据集，包含超57k对话，实验证明其推荐更具相关性。
2024-06-08 cs.CL
Structured Chain-of-Thought Prompting for Few-Shot Generation of Content-Grounded QA Conversations
IBM Research AI（IBM研究院人工智能部门）
本文提出结构化思维链提示方法，将内容 grounding 多轮问答生成任务分解为状态机中的多个专用状态，显著提升智能体对文档的忠实度，并仅用 6 个种子示例合成高质量训练数据，有效增强对话式问答智能体的域外泛化能力。
2024-02-20 cs.CL
Content Selection Network for Document-grounded Retrieval-based Chatbots
Université de Montréal（蒙特利尔大学）；Renmin University of China（中国人民大学）
在文档中建立人机对话是提高基于检索的聊天机器人性能的有效方法。然而，只有部分文档内容可能与帮助在一轮中选择适当的响应相关。因此，选择与当前会话上下文相关的文档内容部分至关重要。在本文中，我们提出了一个文档内容选择网络（CSN）执行显式选择相关的文档内容，并过滤掉不相关的部分。我们在两个公共文档为基础的会话数据集上的实验表明，CSN可以有效地帮助选择相关的文档内容的会话上下文，它产生更好的结果比国家的最先进的方法。我们的代码和数据集可以在https://github.com/DaoD/CSN上找到。
2021-01-21 cs.CL
Eliciting Knowledge from Large Pre-Trained Models for Unsupervised Knowledge-Grounded Conversation
The Chinese University of Hong Kong（香港中文大学）
大规模预训练的最新进展为大型模型提供了从原始文本中学习知识的潜力。因此，很自然地会问，是否有可能利用这些大型模型作为下游任务的知识库。在这项工作中，我们在无监督的知识基础对话中回答了上述问题。我们探索各种方法，最好地从大型模型中获取知识。我们的人类研究表明，尽管存在幻觉，但大型模型具有独特的优势，能够输出常识并总结无法从搜索引擎直接检索的事实。为了更好地利用这些产生的知识在对话生成，我们把产生的知识作为一个嘈杂的知识源，并提出了基于后验的重新加权以及嘈杂的训练策略。两个基准的实证结果显示出优于国家的最先进的方法。
2022-11-08 cs.CL
DIALKI: Knowledge Identification in Conversational Systems through Dialogue-Document Contextualization
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究院）
识别在长文档基础上的会话系统中使用的相关知识对于有效的响应生成至关重要。我们引入了一个知识识别模型，利用文档结构提供对话上下文化的通道编码，并更好地定位与对话相关的知识。辅助丢失捕获对话框-文档连接的历史记录。我们证明了我们的模型在两个基于文档的会话数据集上的有效性，并提供了对看不见的文档和长对话上下文的泛化分析。
2021-09-10 cs.CL
KGConv, a Conversational Corpus grounded in Wikidata
Orange Innovation（奥兰治创新公司）；CNRS（法国国家科学研究中心）；LORIA（洛林信息学及其应用研究实验室）
提出KGConv，一个基于Wikidata的71k对话语料库，每个问答对基于事实，平均8.6个问题，提供多问题变体，并给出对话式问题生成基线，支持多种生成与分析任务。
2023-08-29 cs.AI cs.CL
Topical-Chat: Towards Knowledge-Grounded Open-Domain Conversations
Amazon Alexa AI（亚马逊Alexa人工智能部门）
针对现有知识型对话数据集程式化、话题覆盖不足的问题，研究者推出含8类话题、无明确角色的Topical-Chat人-人对话数据集，并训练基准模型开展评估，助力开放域对话AI研究。
2023-08-23 cs.AI cs.CL
Sequential Topic Selection Model with Latent Variable for Topic-Grounded Dialogue
Huazhong University of Science and Technology（华中科技大学）；Pingan Property & Casualty Research（平安财产保险研究院）；Beijing Institute of Technology（北京理工大学）
近年来，基于话题的对话系统因其能够根据历史语境和给定的话题序列预测下一个话题从而获得更好的响应而受到广泛关注。然而，几乎所有现有的主题预测解决方案都只关注当前会话和相应的主题序列来预测下一个会话主题，而不利用可能包含与当前会话相关的主题转换的其他主题引导会话。为了解决这个问题，在本文中，我们提出了一种新的方法，命名为顺序全局主题注意力（SGTA），利用主题转换在所有的对话中，以一种微妙的方式，更好地建模后响应主题转换，并指导响应生成当前的对话。具体来说，我们引入了一个潜在空间建模为一个多元偏态分布与混合核函数，灵活地整合全球层面的信息与序列层面的信息，并预测的基础上的分布抽样结果的主题。我们还利用主题感知的先验-后验方法对预测主题进行二次选择，以优化响应生成任务。大量的实验表明，我们的模型在预测和生成任务上优于竞争基线。
2022-10-17 cs.CL
Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs
Brown University（布朗大学）；Microsoft Research AI（微软人工智能研究院）；Tsinghua University（清华大学）
人类的对话自然会围绕相关的概念发展，并分散到多跳概念。本文提出了一种新的会话生成模型ConceptFlow，它利用常识知识图谱来显式地对会话流进行建模。通过将会话接地到概念空间，ConceptFlow将潜在的会话流表示为沿着常识关系在概念空间中遍历。遍历由概念图中的图注意力引导，朝着概念空间中更有意义的方向移动，以生成更多语义和信息的响应。在Reddit会话上的实验证明了ConceptFlow的有效性，超过了以前的知识感知会话模型和基于GPT-2的模型，同时使用的参数减少了70%，证实了显式建模会话结构的优势。本工作的所有源代码都可以在https://github.com/thunlp/ConceptFlow上获得。
2020-05-05 cs.AI cs.CL
A Knowledge-Grounded Multimodal Search-Based Conversational Agent
Heriot-Watt University（赫瑞-瓦特大学）；Adeptmind Inc.（Adeptmind公司）
基于多模态搜索的对话是一项具有挑战性的新任务：它将基于视觉的问答系统扩展为可以访问外部数据库的多轮对话。我们通过从最近发布的多模态对话（MMD）数据集（Saha等人，2017年）的报告。我们引入了一个知识为基础的多模态会话模型，其中编码的知识库（KB）表示被附加到解码器输入。我们的模型在基于文本的相似性度量方面大大优于强基线（超过9个BLEU点，其中3个完全是由于使用了来自KB的额外信息。
2018-10-20 cs.AI cs.CL
CorefDiffs: Co-referential and Differential Knowledge Flow in Document Grounded Conversations
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
基于知识的对话系统需要在选择用于生成响应的知识之间进行平滑过渡，以确保对话自然流动。对于基于文档的对话系统，文档间和文档内的知识关系可以用于对这样的会话流进行建模。我们开发了一种新的多文档共指图（Coref-MDG），以有效地捕获基于常识和相似性的文档间关系以及接地文档内知识段的文档内共指结构。我们提出了CorefDiffs，一个共同引用和差分流管理方法，线性化的静态Coref-MDG会话序列逻辑。CorefDiffs通过考虑上下文图结构和知识差异序列来执行知识选择。CorefDiffs在三个公共基准上的表现明显优于最先进的9.5%，7.4%和8.2%。这表明，对话流的共指和知识差异的有效建模对于基于文档的会话中的转换至关重要
2022-10-05 cs.AI cs.CL
A Unified Pre-training Framework for Conversational AI
Baidu Inc.（百度公司）
在这项工作中，我们探讨了PLATO-2在各种对话系统中的应用，包括开放域对话，基于知识的对话和面向任务的对话。PLATO-2最初被设计为一个开放领域的聊天机器人，通过两个阶段的课程学习进行训练。在第一阶段中，学习粗粒度的响应生成模型以适应简化的一对一映射关系。该模型适用于面向任务的会话，给定的语义映射往往是确定性的任务完成。在第二阶段中，另一个细粒度的生成模型和评估模型，进一步学习不同的响应生成和一致性估计，分别。该模型具有良好的一对多映射能力，适用于开放领域会话和基于知识的会话。对于PLATO-2的综合评估，我们参与了DSTC 9的多个任务，包括开放域对话的交互评估（Track 3-task 2），知识基础对话的静态评估（Track 3-task 1）和端到端面向任务的对话（Track 2-task 1）。PLATO-2在所有三项任务中均获得第一名，验证了其作为各种对话系统的统一框架的有效性。
2021-05-27 cs.CL
Towards Harnessing Large Language Models for Comprehension of Conversational Grounding
National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院）；Technical University of Munich（慕尼黑工业大学）
本研究通过信息寻求对话实验，分析大语言模型在分类对话轮次和预测共识知识元素方面的能力，揭示其挑战，并提出利用流水线架构与知识库提升模型理解能力，以优化对话系统。
2024-06-03 cs.CL
Robust Conversational AI with Grounded Text Generation
Microsoft Research（微软研究院）
本文提出了一种基于Grounded Text Generation（GTG）模型的混合方法，用于大规模构建健壮的任务机器人。GTG是一个混合模型，它使用一个大规模的Transformer神经网络作为其骨干，结合符号操作模块的知识库推理和先验知识编码，以产生基于对话信念状态和现实世界的知识完成任务的响应。GTG在大量原始文本和人类会话数据上进行了预训练，并且可以进行微调以完成各种任务。混合方法及其变体正在由多个研究团队同时开发。面向任务的对话基准测试报告的主要结果是非常有前途的，证明了这种方法的巨大潜力。本文概述了这一进展，并讨论了可以用于构建强大的对话式AI系统的相关方法和技术。
2020-09-07 cs.AI cs.CL
ELICITED: EHR-grounded Longitudinal Interactive Conversations for Information-seeking Triage Evaluation and Decision-making
Ellipsis Health（埃利皮西斯健康公司）；University of Michigan（密歇根大学）
该研究针对现有ED分诊基准未捕捉交互式证据引出过程的问题，提出基于MIMIC-IV-ED的EHR2Dial-Triage智能对话框架与基准，支持对信息引出等任务的受控评估，为对话式分诊研究提供结构化环境。
2026-08-11 cs.CL
Emotional Neural Language Generation Grounded in Situational Contexts
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
情感语言生成是类人人工智能的关键之一。人类使用不同类型的情感取决于谈话的情况。情绪在调节与对话伙伴的参与程度方面也起着重要作用。然而，目前的会话代理不能有效地解释语言生成过程中的情感内容。为了解决这个问题，我们开发了一种语言建模方法，当对话位于给定的上下文中时，该方法生成情感内容。我们使用最近发布的移情对话语料库来构建我们的模型。通过详细的实验，我们发现，我们的方法优于国家的最先进的方法的困惑度量约5点，并实现了更高的BLEU度量得分。
2019-11-25 cs.CL
Image-Grounded Conversations: Multimodal Context for Natural Question and Response Generation
University of Rochester（罗切斯特大学）；Microsoft（微软）；University College London（伦敦大学学院）
社交媒体上图像共享的流行及其在用户之间创造的参与反映了视觉环境在日常对话中的重要作用。我们提出了一个新的任务，图像接地的对话（IGC），其中自然的冠冕堂皇的对话产生的共享图像。为了对进展进行基准测试，我们引入了一个新的多参考数据集，该数据集是关于图像的众包、以事件为中心的对话。IGC属于闲聊和目标导向的会话模型之间的连续体，其中视觉基础将会话主题限制为事件驱动的话语。在社交媒体数据上训练的模型的实验表明，视觉和文本上下文的结合提高了生成的会话回合的质量。在人类评估中，人类表现与神经和检索架构之间的差距表明，多模态IGC为对话研究提出了一个有趣的挑战。
2017-04-20 cs.AI cs.CL cs.CV
CET2: Modelling Topic Transitions for Coherent and Engaging Knowledge-Grounded Conversations
National University of Singapore（新加坡国立大学）；Bytedance（字节跳动）
本文提出 CET2 框架，通过建模有效话题转换逻辑并比较知识候选，平衡上下文连贯性与知识多样性，从而提升知识选择的准确率与跨话题泛化能力。
2024-03-04 cs.CL
Bridging Information Gaps in Dialogues With Grounded Exchanges Using Knowledge Graphs
Technical University of Munich（慕尼黑工业大学）；National Institute of Advanced Industrial Science and Technology（日本国立先进工业科学技术研究院）
本文构建五领域对话语料 BridgeKG，并基于知识图谱评估大型语言模型的接地行为分类与信息项识别能力。
2024-08-11 cs.CL
Learning to Express in Knowledge-Grounded Conversation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, AAIS, Peking University（北京大学人工智能研究院数据科学中心）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Microsoft Corporation（微软公司）；Meituan（美团）
通过额外的知识接地对话生成显示出巨大的潜力，建立一个系统，能够回答知识渊博，引人入胜的反应。现有的研究主要集中在如何用适当的知识合成一个应答，而忽略了即使在相同的语境下，同样的知识也可以由说话者以不同的方式表达。在这项工作中，我们主要考虑两个方面的知识表达，即结构的反应和风格的内容在每个部分。因此，我们引入了两个顺序的潜变量来分别代表结构和内容风格。我们提出了一个基于分割的生成模型，并通过变分方法优化模型，以发现响应中的知识表达的潜在模式。两个基准测试的结果表明，我们的模型可以学习的结构风格定义的一些例子，并产生所需的内容风格的响应。
2022-04-12 cs.CL
CoDi: Conversational Distillation for Grounded Question Answering
Reality Labs at Meta（元宇宙实验室（Meta旗下））；FAIR at Meta（Meta人工智能研究院）
提出对话蒸馏框架CoDi，为约10亿参数的小语言模型合成大规模对话数据，在接地问答任务上达到与人工数据相当的性能，并超越更大规模指令微调模型。
2024-08-20 cs.AI cs.CL
On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models?
University of Alberta（阿尔伯塔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；IBM Research（IBM研究院）
以知识为基础的对话模型会产生事实上无效的陈述，这种现象通常被称为幻觉。在这项工作中，我们调查这种现象的根本原因：幻觉是由于训练数据，或模型？我们对现有的基于知识的对话基准和几个最先进的模型进行了全面的人类研究。我们的研究表明，标准基准包括>60%的幻觉反应，导致模型不仅产生幻觉，甚至放大幻觉。我们的研究结果对现有数据集和使用它们训练的模型的质量提出了重要问题。我们公开我们的注释，以供未来的研究。
2022-04-17 cs.CL
Grounded Agreement Games: Emphasizing Conversational Grounding in Visual Dialogue Settings
University of Potsdam（波茨坦大学）；Department of Linguistics（语言学系）；Computational Linguistics（计算语言学）
计算语言学中关于对话的早期工作非常强调对话结构及其与对话参与者心理状态的关系（例如，Allen 1979，Grosz & Sidner 1986），目前的工作主要是将对话简化为在任何时候产生下一个话语的任务;例如，在神经聊天机器人或视觉对话设置中。作为一个方法论的决定，这是合理的：即使是最长的旅程也是一系列步骤。然而，当学习对话行为的任务和数据集过于适应问题的框架时，它就变得有害了。在这个简短的说明中，我们描述了一系列仍然允许保持对话简单的设置，但增加了一个约束，使参与者关心达成相互理解。在这种协议游戏中，除了任务层面的目标之外，还有一个次要但明确的目标，那就是就任务层面的目标是否已经达到达成共识。正如我们所认为的，这自然会触发元语义交互和相互参与，从而导致更丰富的数据，从中归纳模型。
2019-08-29 cs.CL
Improved Instruction Ordering in Recipe-Grounded Conversation
Georgia Institute of Technology（佐治亚理工学院）
本文针对基于食谱的对话中指令顺序错误问题，提出利用用户意图检测和指令状态跟踪两个辅助子任务来改进响应生成，并通过新数据集ChattyChef验证其有效性，同时发现ChatGPT仍存在乱序指令错误。
2023-05-26 cs.CL
Grounded Complex Task Segmentation for Conversational Assistants
NOVA LINCS（新里斯本大学计算机科学与信息学实验室）；NOVA School of Science and Technology（新里斯本大学科学与技术学院）
本文研究对话助手中复杂任务的分割问题，以食谱领域为例，通过标注对话场景下的指令结构并采用基于 token 的 Transformer 方法建模，使用户更易遵循步骤，实验显示 86% 的任务在对话适用性上得到改善。
2023-09-20 cs.AI cs.CL
TUTORING: Instruction-Grounded Conversational Agent for Language Learners
Yonsei University（延世大学）；Market Designers Inc.（Market Designers 公司）
在本文中，我们提出了辅导机器人，一个生成的聊天机器人训练的大规模的辅导学生对话的英语学习。为了模仿人类导师在语言教育中的行为，导师机器人利用各种教育指令和每个指令的理由作为导师响应生成的附加输入上下文。由于单个指令通常涉及多个对话回合以给予学生足够的口语练习，因此需要导师机器人监视和捕获当前指令何时应该保持或切换到下一个指令。为此，导师机器人不仅学习生成响应，而且通过多任务学习方案同时推断其教学动作和当前会话的进展。我们的辅导机器人是根据https://tutoringai.com上的非商业使用许可证部署的。
2023-02-24 cs.AI cs.CL
Adapting Document-Grounded Dialog Systems to Spoken Conversations using Data Augmentation and a Noisy Channel Model
Human Language Technology and Pattern Recognition Group, RWTH Aachen University（亚琛工业大学人类语言技术与模式识别组）；AppTek GmbH（AppTek有限责任公司）
本文总结了我们提交的任务2的第10届对话系统技术挑战赛（DSTC 10）的第二个轨道“基于知识的面向任务的对话建模口语对话”。与前一年的迭代类似，该任务由三个子任务组成：检测一个回合是否是知识寻求，选择相关的知识文档，最后生成一个接地的响应。今年，重点在于使系统适应嘈杂的ASR成绩单。我们探索不同的方法，使模型更强大的这种类型的输入，并适应口语对话的风格所产生的反应。对于后者，我们得到了最好的结果与嘈杂的信道模型，另外减少了短和通用的响应的数量。我们最好的系统在自动评估中获得了第一名，在人工评估中获得了第三名。
2021-12-16 cs.AI cs.CL cs.LG
Difference-aware Knowledge Selection for Knowledge-grounded Conversation Generation
Tsinghua University（清华大学）；Tencent（腾讯）；Microsoft（微软）
在多轮知识导向对话中，不同轮选择的知识之间的差异往往为知识选择提供了潜在的线索，而这一点在以往的研究中被忽略了。在本文中，我们提出了一个差异意识的知识选择方法。它首先计算在当前轮提供的候选知识句子和在先前轮中选择的候选知识句子之间的差异。然后，将差异信息与上下文信息融合或分离，以便于最终的知识选择。自动，人工观察和交互式评估表明，我们的方法能够更准确地选择知识，并生成更多信息的响应，显着优于最先进的基线。这些代码可在https://github.com/chujiezheng/DiffKS上获得。
2020-09-20 cs.AI cs.CL
DischargeBench: Pre-Deployment Evaluation of LLM Discharge Educators through Persona-Grounded Patient Simulation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对出院教育中LLM评估忽视患者理解的问题，提出DischargeBench人物设定模拟框架，通过虚拟患者多轮对话和四维评分，揭示总分掩盖的临床差异，强调评估应聚焦患者理解。
2026-10-16 cs.CL
EvalConvoLearn: An Open-Source Framework for Evaluating Grounded Learner Simulations in Tutoring Conversations
EvalConvoLearn是评估辅导对话中学习者模拟的开源框架，从学习行为与对话质量两个维度开展评估，验证了其在辅导对话数据集上的有效性并公开了代码。
2026-08-11 cs.CL cs.HC
Intent-Driven Semantic ID Generation for Grounded Conversational News Recommendation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Platform and Content Group, Tencent（腾讯平台与内容部）
本文提出意图驱动的语义ID生成方法，通过多任务对齐和GPT-4链式推理蒸馏，实现意图到层级SID前缀的映射，提升新闻推荐的 grounded 性和冷启动用户推荐效果。
2026-05-08 cs.CL
Maria: A Visual Experience Powered Conversational Agent
Sun Yat-sen University（中山大学）；Microsoft（微软）
可以说，会话智能体对物理世界的视觉感知是它们展现类人智能的关键途径。基于图像的对话因此被提出来应对这一挑战。现有的作品集中在探索多模态对话模型，地面上的对话一个给定的图像。在本文中，我们进一步研究图像为基础的对话在一个完全开放的设置下，没有配对的对话和图像是假设可用的。具体来说，我们提出了玛丽亚，神经会话代理的视觉世界的经验，从大规模的图像索引检索。玛丽亚由三个灵活的组成部分，即，文本到图像检索器、视觉概念检测器和基于视觉知识的响应生成器。检索器的目标是从图像索引中检索与对话相关的图像，而视觉概念检测器从图像中提取丰富的视觉知识。然后，响应生成器基于所提取的视觉知识和对话上下文来生成目标响应。大量的实验表明，Maria在自动度量和人工评估方面优于以前的最先进方法，并且可以生成具有物理世界视觉常识的信息响应。
2021-06-23 cs.AI cs.CL
Propose, Verify, Commit: Evidence-Grounded Memory for Long-Horizon Multi-Actor Conversations
Alibaba Cloud Computing（阿里云计算）
针对长时程多智能体对话记忆挑战，提出基于证据的提出-验证-提交协议和可搜索状态机EGMEMORY，在多个基准上显著超越基线，并展示良好泛化性。
2026-10-14 cs.AI cs.CL
External Knowledge Selection with Weighted Negative Sampling in Knowledge-grounded Task-oriented Dialogue Systems
LG AI Research（LG人工智能研究院）
构建一个健壮的基于口语对话的对话系统比书面对话更具挑战性。在这方面，提出了DSTC 10-Track 2-Task 2，其目的是建立一个面向任务的对话（TOD）系统，将非结构化的外部知识的口语会话，扩展DSTC 9-Track 1。本文介绍了我们的系统包含四个先进的方法：数据构建，加权负采样，后训练，风格转移。我们首先自动构建一个大的训练数据，因为DSTC 10-Track 2不发布官方训练集。对于知识选择任务，我们提出了加权负采样的训练模型更细粒度的方式。我们还采用后训练和风格转移的响应生成任务，以生成一个适当的响应与目标响应相似的风格。在实验中，我们考察了加权负采样、后训练和风格迁移的效果。我们的模型在客观评价中排名16支球队中的7支，在人工评价中排名6支。
2022-09-06 cs.CL
OpinionConv: Conversational Product Search with Grounded Opinions
University of Bonn（波恩大学）；Leipzig University（莱比锡大学）
OpinionConv利用产品评论为对话式AI提供真实主观意见依据，开发了首个模拟销售对话的AI，并通过用户研究验证了生成意见的现实感和决策价值。
2023-08-08 cs.CL cs.HC cs.IR
C3KG: A Chinese Commonsense Conversation Knowledge Graph
Xiaomi AI Lab（小米人工智能实验室）
现有的常识知识库通常以孤立的方式组织元组，这对于常识会话模型规划后续步骤是不足的。为了填补这一空白，我们策划了一个大规模的多轮人类书面会话语料库，并创建了第一个包含社会常识知识和对话流信息的中文常识会话知识图谱。为了展示我们的图的潜力，我们开发了一个图-会话匹配方法，并对两个基于图的会话任务进行了基准测试。
2022-04-06 cs.CL
All-in-One Image-Grounded Conversational Agents
Facebook AI Research（脸书人工智能研究院）
在过去的几年里，随着单个语言和图像任务的单任务准确性的大幅提高，一个既能看又能说的普通智能体的长期目标变得更加可行。在这项工作中，我们专注于利用个人的语言和图像任务，以及将视觉和语言结合起来实现这一目标的资源。我们设计了一种架构，将最先进的Transformer和ResNeXt模块结合到一个新颖的多模态模块中，以产生一个在许多任务上训练的组合模型。我们对模型的组件进行了全面的分析，并在对一个、一些或所有任务进行训练时进行了迁移性能分析。我们的最终模型提供了一个单一的系统，在所有视觉和语言任务上都获得了良好的效果，并提高了基于图像的会话应用程序的最新水平。
2020-01-15 cs.CL cs.CV cs.LG
Factors That Support Grounded Responses in LLM Conversations: A Rapid Review
(June 2025)（（2025年6月））
本文通过快速回顾识别了支持LLM对话中基础响应的因素，重点分析了推理时间、训练后及强化学习方法，旨在提升LLM响应的准确性和可靠性。
2025-11-24 cs.AI cs.CL
Plan-Grounded Large Language Models for Dual Goal Conversational Settings
NOVA School of Science and Technology（NOVA科学与技术学院）；NOVA LINCS
针对双目标混合主动对话，提出PlanLLM模型，将对话基于程序性计划并兼顾用户指令，实验显示比强基线提升2.1倍且泛化良好。
2024-02-01 cs.AI cs.CL
Post-hoc Utterance Refining Method by Entity Mining for Faithful Knowledge Grounded Conversations
Korea University（高丽大学）
本文提出事后精炼方法REM，通过挖掘来源知识中的关键实体来修正知识接地对话中的实体级幻觉，提升生成回复的忠实度与质量。
2024-06-16 cs.AI cs.CL
VCB Bench: An Evaluation Benchmark for Audio-Grounded Large Language Model Conversational Agents
School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；Tencent AI Lab（腾讯AI实验室）
针对现有音频语言模型基准局限，提出VCB Bench，基于真实人类语音构建，从指令跟随、知识理解、鲁棒性三个角度评估，揭示性能差距并指明改进方向，提供评估框架。
2026-07-07 cs.CL cs.SD
The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents
Facebook AI Research（Facebook人工智能研究院）
我们介绍dodecaDialogue：一组12个任务，衡量一个会话代理是否可以与个性和同理心进行愉快的沟通，提出问题，通过利用知识资源回答问题，讨论主题和情况，以及感知和谈论图像。通过对如此广泛的大规模数据集进行多任务处理，我们希望能够朝着生产一个能够在开放域环境中感知、推理和与人类交谈的单一统一代理的方向发展并衡量其进展。我们表明，这种多任务处理比BERT预先训练的基线有所改善，这主要是由于在类似领域中具有非常大的对话数据集的多任务处理，并且多任务处理通常在微调和任务转移设置中使用多个指标为基于文本和图像的任务提供增益。我们在许多任务上获得了最先进的结果，为这一挑战提供了强大的基线。
2020-04-28 cs.AI cs.CL
Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations
Seattle University（西雅图大学）
本文提出首个端到端可扩展框架，用于可控模拟和评估AI陪伴应用的多轮交互安全性，通过构建角色、生成场景、模拟对话及评估危害，分析Replika对高风险用户群体的响应。
2026-04-30 cs.CL
Alquist 3.0: Alexa Prize Bot Using Conversational Knowledge Graph
Faculty of Electrical Engineering, CTU Prague（捷克理工大学电气工程学院）；CIIRC, CTU Prague（捷克理工大学捷克信息学、机器人学和控制论研究所）
在Alexa Prize 2020竞赛中开发的开放域对话系统Alquist的第三个版本旨在就流行话题进行连贯和引人入胜的对话。主要的新贡献是引入了一个系统，利用基于会话知识图谱和邻接对的创新方法。会话知识图谱允许系统在随后的回合中和跨会话利用在对话期间表达的知识。对话邻接对将对话划分为小的对话结构，这些对话结构可以组合，并允许系统灵活地对各种用户输入做出反应。我们讨论和描述Alquist的管道，数据采集和处理，对话管理器，NLG，知识聚合，和层次结构的邻接对。我们提出的系统的各个部分的实验结果。
2020-11-06 cs.CL
Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue
Seoul National University（首尔国立大学）
基于知识的对话是一种基于话语语境和外部知识的信息反应的任务。由于我们专注于更好地建模的知识选择在多轮知识为基础的对话，我们提出了一个顺序的潜变量模型作为第一种方法来解决这个问题。序列知识Transformer（SKT）模型能够跟踪知识的先验分布和后验分布，不仅能够减少会话中知识选择的多样性所带来的歧义，而且能够更好地利用应答信息进行正确的知识选择。实验结果表明，该模型提高了知识选择的准确性，从而提高了话语生成的性能。我们在维基百科的向导上实现了新的最先进的性能（Dinan等人，2019年）作为最具规模和挑战性的基准之一。我们进一步验证了我们的模型在另一个基于知识的对话Holl-E数据集（Moghe等人，2018年）。
2020-06-16 cs.CL
AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
School of Computing, Macquarie University（麦考瑞大学计算机学院）
本文提出AgenticAI-DialogGen框架，通过生成基于角色和主题的对话来微调和评估LLM的短期和长期记忆，引入了TopicGuidedChat数据集以提升对话质量和模型性能。
2026-04-14 cs.CL cs.IR
OMIND: Framework for Knowledge Grounded Finetuning and Multi-Turn Dialogue Benchmark for Mental Health LLMs
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出OMIND框架，通过结构化知识检索、模型剪枝和人工审核生成高质量多任务SFT数据集，并引入oMind-Chat多轮对话基准，验证了其在核心能力和对话任务上的优越性能。
2026-03-26 cs.CL
A Controllable Model of Grounded Response Generation
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
当前的端到端神经会话模型本质上缺乏在响应生成过程中施加语义控制的灵活性，通常导致无趣的响应。仅仅提高信息量的尝试是以牺牲事实的准确性为代价的，预先训练的语言模型倾向于“幻觉”事实就是证明。虽然可以通过获取背景知识来缓解这一问题，但无法保证生成的答复具有相关性和信息量。我们提出了一个框架，我们称之为可控接地响应生成（CGRG），其中词汇控制短语由用户提供或自动提取的控制短语预测器从对话上下文和接地知识。定量和定性结果表明，使用该框架，基于Transformer的模型具有新的归纳注意力机制，在类似对话的Reddit数据集上训练，优于强大的生成基线。
2021-06-14 cs.CL
Refer, Reuse, Reduce: Generating Subsequent References in Visual and Conversational Contexts
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
对话参与者经常在对话中重复提及实体或情况，这有助于其凝聚力。随后的提及利用了对话者积累的共同点，因此有几个有趣的特点，即它们往往较短，并重复使用先前提及时有效的表达方式。在本文中，我们解决了视觉接地对话中的第一个和随后的参考的生成。我们提出了一个生成模型，产生指的话语接地在视觉和会话的背景。为了评估其输出的引用有效性，我们还实现了引用解析系统。我们的实验和分析表明，该模型产生更好的，更有效的指的话语比一个模型不接地的对话上下文，并产生后续的参考表现出类似于人类的语言模式。
2020-11-09 cs.CL cs.CV
Knowledge-Grounded Dialogue with Reward-Driven Knowledge Selection
Northeastern University（东北大学）
基于知识的对话是一种基于会话语境和外部知识的会话，其中知识选择起着重要的作用，引起了越来越多的研究兴趣。然而，大多数现有的模型要么只选择一个知识或使用所有的知识生成响应。前者可能会在丢弃的知识中丢失有价值的信息，而后者可能会带来大量的噪声。同时，许多方法需要用指示地面实况知识的知识标签来训练知识选择器，但是这些标签难以获得并且需要大量的人工注释。基于这些问题，本文提出了一种基于强化学习的对话响应生成模型Knoforer，该模型可以自动从知识库中选择一个或多个相关知识，并且在训练过程中不需要知识标签。Knoformer在两个知识引导的会话数据集上进行了评估，并实现了最先进的性能。
2021-08-31 cs.CL
