MultiDoc2Dial: Modeling Dialogues Grounded in Multiple Documents
IBM Research AI（IBM研究院AI）
我们提出了MultiDoc2Dial，一个新的任务和数据集，以多个文档为基础，对面向目标的对话进行建模。大多数以前的作品将基于文档的对话建模视为基于单个给定文档或段落的机器阅读理解任务。在这项工作中，我们的目标是解决更现实的情况下，以目标为导向的信息寻求对话涉及多个主题，因此是基于不同的文件。为了促进这样的任务，我们引入了一个新的数据集，其中包含基于来自四个不同领域的多个文档的对话。我们还探索了数据集中基于对话框和基于文档的上下文的建模。我们提出了强有力的基线方法和各种实验结果，旨在支持进一步的研究工作，这样一个任务。
2021-09-26 cs.CL
VSTAR: A Video-grounded Dialogue Dataset for Situated Semantic Understanding with Scene and Topic Transitions
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）
本文提出基于395部电视剧的大规模视频对话数据集VSTAR，并构建场景分割、话题分割与对话生成基准，验证多模态信息与片段对视频对话理解及生成的重要性。
2023-05-30 cs.CL cs.CV
Learning how to learn: an adaptive dialogue agent for incrementally learning visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一种优化的多模态对话代理，用于从人类导师交互式学习视觉接地词义，在真实的人-人辅导数据上进行训练。在终身交互学习期间，使用强化学习（RL）训练的智能体必须能够处理与人类用户的自然对话，并实现良好的学习性能（准确性），同时最大限度地减少学习过程中的人工努力。我们训练和评估这个系统的互动与模拟人类导师，这是建立在BURCHAK语料库-一个人与人的对话数据集的视觉学习任务。结果表明：1）学习的策略可以与模拟用户进行一致的交互，以实现任务的目标（即学习对象的视觉属性，例如颜色和形状）; 2）它在分类器准确性和辅导成本之间找到了比手工制作的基于规则的策略（包括具有动态策略的策略）更好的权衡。
2017-09-29 cs.AI cs.CL cs.LG
Talk the Walk: Navigating New York City through Grounded Dialogue
MILA, Université de Montréal（蒙特利尔大学MILA）；Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们介绍“Talk The Walk”，这是第一个基于行动和感知的大规模对话数据集。该任务涉及两个代理（“向导”和“游客”），它们通过自然语言进行通信，以实现一个共同的目标：让游客导航到给定的目标位置。详细描述的任务和数据集是具有挑战性的，其完整解决方案是我们向社区提出的开放问题。我们（一）专注于旅游本地化的任务，并开发新的掩蔽注意力空间卷积（MASC）机制，允许接地旅游话语到指南的地图，（二）显示它产生显着的改善，为紧急和自然语言通信，和（iii）使用这种方法，我们建立非平凡的基线上的全部任务。
2018-12-23 cs.AI cs.CL cs.CV
Policy-Driven Neural Response Generation for Knowledge-Grounded Dialogue Systems
Amazon Alexa AI（亚马逊 Alexa 人工智能）
开放域对话系统旨在产生相关、信息丰富和吸引人的回应。Seq2seq神经响应生成方法没有明确的机制来控制所生成的响应的内容或风格，并且经常导致无信息的话语。在本文中，我们提出了使用对话策略计划的内容和风格的目标响应的形式的行动计划，其中包括相关的对话上下文，有针对性的对话行为，主题信息等知识句的行动计划内的属性自动注释公开发布的主题聊天数据集。我们的条件神经反应发生器上的行动计划，然后实现为目标的话语在回合和句子水平。我们还研究了不同的对话政策模型，以预测给定对话背景下的行动计划。通过自动化和人工评估，我们测量生成的响应的适当性，并检查生成模型是否确实学会实现给定的行动计划。我们证明，一个基本的对话政策，在句子层面上产生更好的反应，在比较转向水平生成以及基线模型，没有行动计划。此外，基本对话政策还具有可控性的附加效果。
2020-08-24 cs.AI cs.CL
The PhotoBook Dataset: Building Common Ground through Visually-Grounded Dialogue
University of Amsterdam（阿姆斯特丹大学）；Queen Mary University of London（伦敦玛丽女王大学）；Tilburg University（蒂尔堡大学）；Universitat Pompeu Fabra（庞培法布拉大学）
本文介绍了PhotoBook数据集，这是一个大规模的以视觉为基础，以任务为导向的英语对话集合，旨在调查会话过程中积累的共享对话历史。从对话分析的开创性工作的灵感，我们提出了一个数据收集任务制定为一个协作游戏，促使两个在线参与者参考图像利用他们的视觉环境以及先前建立的参考表达式。我们提供了任务设置的详细描述和对收集的2,500个对话的透彻分析。为了进一步说明数据集的新功能，我们提出了一个基准模型的参考分辨率，它使用一个简单的方法来考虑在参考链中积累的共享信息。我们的研究结果表明，这些信息是特别重要的，以解决后来的描述，并强调需要开发更复杂的模型，在对话互动的共同点。
2019-06-26 cs.AI cs.CL cs.CV
A Compare Aggregate Transformer for Understanding Document-grounded Dialogue
Harbin Institute of Technology（哈尔滨工业大学）
非结构化文件作为对话的外部知识，有助于产生更翔实的答复。以往的研究主要集中在有对话的文档中的知识选择。然而，与当前对话无关的对话历史可能在KS处理中引入噪声。在本文中，我们提出了一个比较聚合Transformer（CAT），共同去噪的对话上下文和聚合响应生成的文档信息。我们设计了两种不同的比较机制来减少噪声（在解码之前和解码期间）。此外，我们提出了两个衡量文档利用效率的指标，基于词重叠。在CMUDoG数据集上的实验结果表明，所提出的CAT模型优于最先进的方法和强基线。
2020-10-01 cs.CL
ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark
Sony Group Corporation（索尼集团公司）；EPFL（洛桑联邦理工学院）；Sony AI（索尼人工智能公司）
本文提出 ComperDial 基准，包含来自 99 个对话智能体的 10,395 个人工评分回复，并基于此设计了与人类判断更相关的自动评估指标 CPDScore，以推动开放域对话评估发展。
2024-06-17 cs.CL
The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents
Facebook AI Research（Facebook人工智能研究院）
我们介绍dodecaDialogue：一组12个任务，衡量一个会话代理是否可以与个性和同理心进行愉快的沟通，提出问题，通过利用知识资源回答问题，讨论主题和情况，以及感知和谈论图像。通过对如此广泛的大规模数据集进行多任务处理，我们希望能够朝着生产一个能够在开放域环境中感知、推理和与人类交谈的单一统一代理的方向发展并衡量其进展。我们表明，这种多任务处理比BERT预先训练的基线有所改善，这主要是由于在类似领域中具有非常大的对话数据集的多任务处理，并且多任务处理通常在微调和任务转移设置中使用多个指标为基于文本和图像的任务提供增益。我们在许多任务上获得了最先进的结果，为这一挑战提供了强大的基线。
2020-04-28 cs.AI cs.CL
From Medical Records to Diagnostic Dialogues: A Clinical-Grounded Approach and Dataset for Psychiatric Comorbidity
X - LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室）；Shanghai Mental Health Center, SJTU School of Medicine, China（上海精神卫生中心，上海交通大学医学院）；Chen Frontier Lab for AI and Mental Health, Tianqiao and Chrissy Chen Institute, Shanghai, China（陈前沿人工智能与心理健康实验室，田青和克里斯蒂娜·陈研究所）
本文提出了一种基于临床的途径和数据集，用于生成支持精神疾病共病的多轮诊断对话，通过合成患者电子医疗记录和多智能体对话生成技术，构建了首个大规模对话数据集PsyCoTalk，提升了诊断准确性和治疗计划能力。
2026-02-22 cs.AI cs.CL
MSG-BART: Multi-granularity Scene Graph-Enhanced Encoder-Decoder Language Model for Video-grounded Dialogue Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）
提出MSG-BART方法，通过将多粒度时空场景图整合进编码器-解码器预训练语言模型，并引入多指针网络促进文本与视频间的信息选择，显著提升了视频基础对话生成的性能。
2023-09-26 cs.AI cs.CL cs.CV
ER-EDF: A Psychology-Grounded Emotion Regulation Framework for Speech Empathetic Dialogue Generation in Large Audio-Language Models
针对大型音频语言模型缺乏情绪调节机制的问题，提出心理学基础的ER-EDF框架，解耦情绪感知与调节，在五个模型和两个数据集上显著提升共情对话质量。
2026-10-21 cs.AI
VDialogUE: A Unified Evaluation Benchmark for Visually-grounded Dialogue
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；University of Science and Technology of China（中国科学技术大学）
针对视觉基础对话系统缺乏标准化评估框架的问题，提出统一评估基准VDialogUE，定义五大任务覆盖六个数据集，基于层次分析法设计VDscore指标，并构建两阶段预训练基线模型VISIT以推动该领域发展。
2023-09-14 cs.CL cs.CV
The BURCHAK corpus: a Challenge Data Set for Interactive Learning of Visually Grounded Word Meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）；University of Groningen（格罗宁根大学）
我们激励和描述了一个新的免费的人与人的对话数据集的交互式学习的视觉接地的词义通过明示的定义由导师学习者。已经使用DiET聊天工具的新颖的逐字符变体（Healey等人，二○ ○三年;米尔斯和希利，提交）与一个新的任务，其中一个学习者需要学习发明的视觉属性词（如“burchak“的广场）从导师。因此，基于文本的交互非常类似于面对面的对话，因此包含了自然，自发对话中遇到的许多语言现象。这些包括自我纠正和他人纠正，句中延续，中断，重叠，填充和模糊限制语。我们还提出了一个通用的n-gram框架，用于从这种类型的增量数据中构建用户（即导师）模拟，研究人员可以免费获得。我们表明，模拟产生的输出是类似于原始数据（例如78%的回合匹配相似性）。最后，我们训练和评估一个强化学习对话控制代理学习视觉接地的词义，从BURCHAK语料库训练。学习的策略显示出与以前构建的基于规则的系统相当的性能。
2017-09-29 cs.AI cs.CL cs.LG
MPCHAT: Towards Multimodal Persona-Grounded Conversation
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
本文提出首个多模态人格对话数据集MPCHAT，将文本与图像结合表征情景记忆，并通过三项任务验证多模态人格能显著提升对话理解性能。
2023-05-27 cs.CL cs.CV
"Are you telling me to put glasses on the dog?'' Content-Grounded Annotation of Instruction Clarification Requests in the CoDraw Dataset
University of Potsdam（波茨坦大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文提出CoDraw-iCR (v2)，通过引入基于对话游戏物品和动作的细粒度信息扩展了现有iCR识别器，以建模和评估对话代理的修复能力。
2023-07-26 cs.CL
Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation
University of Virginia（弗吉尼亚大学）
本文提出一种结合准确率与忠实度指标的新颖奖励函数，利用强化学习和少量偏好标注，在知识 grounding 对话生成中抑制幻觉并忽略无关信息，实验证明其性能可与强监督基线竞争。
2023-11-02 cs.CL
DyKgChat: Benchmarking Dialogue Generation Grounding on Dynamic Knowledge Graphs
National Taiwan University（台湾大学）
数据驱动的、以知识为基础的神经会话模型能够生成更多信息的响应。然而，这些模型尚未证明它们可以zero-shot适应更新的、看不见的知识图谱。本文提出了一个新的课题，即如何将动态知识图谱应用于神经会话模型，并为此提出了一个新的电视剧会话语料库（DyKgChat）。我们的新任务和语料库有助于理解动态知识图谱对响应生成的影响。此外，我们提出了一个初步的模型，选择两个网络的输出在每个时间步：序列到序列模型（Seq2Seq）和多跳推理模型，以支持动态知识图谱。为了对这个新任务进行基准测试并评估适应能力，我们引入了几个评估指标，实验表明，我们提出的方法优于以前的知识为基础的会话模型。本文提出的语料库和模型可以为今后的研究提供参考。
2019-10-01 cs.AI cs.CL
DiagFlowBench: Evaluating How Language Models Handle Off-Procedure Inputs in Grounded Diagnostic Dialogue
University of Groningen（格罗宁根大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
提出DiagFlowBench基准，包含50个工业诊断流程图转化的1676轮对话，评估10个模型在识别偏离规程输入时的表现，发现模型常选择真实但不恰当的步骤而非捏造事实。
2026-09-01 cs.AI
BotsTalk: Machine-sourced Framework for Automatic Curation of Large-scale Multi-skill Dialogue Datasets
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
为了构建能够使用多种沟通技能的开放域聊天机器人，我们提出了一个新的框架BotsTalk，其中多个代理基于特定的目标技能参与对话，以自动注释多技能对话。我们进一步展示了Blending Skill BotsTalk（BSBT），这是一个包含30万个对话的大规模多技能对话数据集。通过大量的实验，我们证明了我们的数据集可以有效的多技能对话系统，需要了解技能混合以及技能接地。我们的代码和数据可在https://github.com/convei-lab/BotsTalk上获得。
2022-10-23 cs.AI cs.CL
MMChat: Multi-Modal Chat Dataset on Social Media
Alibaba Group（阿里巴巴集团）；Utrecht University（乌得勒支大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院-北京（SRC-B））
在会话中描述多模态上下文对于开发更具吸引力的对话系统是重要的。在这项工作中，我们探索这一方向，通过引入MMChat：一个大规模的中文多模态对话语料库（32.4M原始对话和120.84K过滤对话）。与以前的众包或从虚构电影中收集的语料库不同，MMChat包含从社交媒体上的真实对话中收集的基于图像的对话，其中观察到稀疏性问题。具体而言，在日常交流中，图像发起的对话可能会偏离一些非图像为基础的话题进行。为了更好地研究这个问题，我们手动注释来自MMChat的100 K对话，并进一步相应地过滤语料库，从而产生MMChat-hf。我们开发了一个基准模型，以解决对话生成任务的稀疏性问题，通过调整注意力路由机制的图像特征。实验表明，将图像特征的有用性和处理图像特征的稀疏性的有效性。
2022-05-01 cs.CL cs.CV
TalkFa: A Unified Benchmark for Farsi Dialogue Generation and Understanding
University of Siena（锡耶纳大学）
本文针对波斯语缺乏对话生成与理解综合基准的问题，提出含三个互补数据集的TalkFa基准，经实验验证其可靠性，还将发布相关资源。
2026-09-03 cs.CL
SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation
The University of Tokyo（东京大学）；Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
本文提出SuperDialseg，一个基于文档对话的大规模监督数据集，含9,478个对话，并提供18个模型的基准，验证了监督学习在对话分割中的有效性及跨域泛化能力。
2023-10-15 cs.CL
CoSQL: A Conversational Text-to-SQL Challenge Towards Cross-Domain Natural Language Interfaces to Databases
Yale University（耶鲁大学）；Salesforce Research（赛富时研究院）；University of Michigan（密歇根大学）；Cornell University（康奈尔大学）
我们提出了CoSQL，用于构建跨域，通用数据库（DB）查询对话系统的语料库。它由30k+ turns加上10k+注释的SQL查询组成，这些查询是从3k对话的向导（WOZ）集合中获得的，查询跨越138个域的200个复杂DB。每个对话都模拟了一个真实的数据库查询场景，其中一个群众工作者作为用户探索数据库，一个SQL专家用SQL检索答案，澄清模糊的问题，或者通知无法回答的问题。当用户问题可以通过SQL回答时，专家向用户描述SQL和执行结果，从而保持自然的交互流。与现有的面向任务的对话数据集相比，CoSQL引入了新的挑战：（1）对话状态基于SQL，一种独立于域的可执行表示，而不是特定于域的槽值对，（2）因为测试是在看不见的数据库上完成的，成功需要推广到新的域。CoSQL包括三个任务：基于SQL的对话状态跟踪，查询结果的响应生成和用户对话行为预测。我们为每个任务评估了一组强大的基线，并表明CoSQL为未来的研究提出了重大挑战。数据集、基线和排行榜将在https://yale-lily.github.io/cosql上发布。
2019-09-11 cs.AI cs.CL
PSY-STEP: Structuring Therapeutic Targets and Action Sequences for Proactive Counseling Dialogue Systems
Graduate School of Artificial Intelligence, POSTECH（浦项工业大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项工业大学计算机科学与工程系）；MILA；McGill University（麦吉尔大学）
本文提出PSY-STEP框架，通过结构化治疗目标和行动序列提升咨询对话系统的主动性和有效性，实验表明其在临床相关性、连贯性和个性化方面优于现有模型。
2026-04-06 cs.AI
Game-Based Video-Context Dialogue
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
当前的对话系统更多地关注文本和语音上下文知识，并且通常基于两个说话者。最近的一些工作已经研究了基于静态图像的对话。然而，一些现实世界的人类交互也涉及动态视觉上下文（类似于视频）以及多个扬声器之间的对话交流。为了更接近这种多模态会话技能和视觉上的应用程序，我们引入了一个新的视频上下文，多扬声器对话数据集的基础上直播足球比赛视频和聊天从Twitch.tv。这个具有挑战性的测试平台使我们能够开发基于视觉的对话模型，这些模型应该从实时视频中生成相关的时间和空间事件语言，同时也与聊天历史相关。对于强基线，我们还提出了几个判别和生成模型，例如，基于三向注意流（Tridirectional Attention Flow，Triangle）。我们评估这些模型通过检索排名召回，自动短语匹配指标，以及人类的评价研究。我们还提出了数据集分析，模型消融和可视化，以了解不同的方式和模型组件的贡献。
2018-10-17 cs.AI cs.CL cs.CV
Dialogue SWE-Bench: A Benchmark for Dialogue-Driven Coding Agents
University of California, Santa Cruz（加州大学圣克鲁兹分校）
提出Dialogue SWE-Bench基准，通过用户模拟器评估编码智能体在对话中解决软件工程问题的能力，并引入模式引导智能体提升对话性能3-14%。
2026-06-15 cs.CL
Know More about Each Other: Evolving Dialogue Strategy via Compound Assessment
Baidu Inc.（百度公司）
在本文中，一个新的生成评估框架的多轮会话的目标，让双方参与者了解对方。为了合理地利用知识和连贯的会话流，控制知识选择的对话策略被实例化，并通过强化学习不断地自适应。根据部署的策略，知识为基础的对话进行了两个对话代理。生成的对话在信息量和连贯性等方面进行了全面评估，这些方面与我们的目标和人类本能相一致。这些评估被整合为一种复合奖励，通过策略梯度指导对话战略的演变。在公开的数据集上进行了全面的实验，结果表明，该方法明显优于其他最先进的方法。
2019-06-03 cs.CL
Reddit2Deezer: A Scalable Dataset for Real-World Grounded Conversational Music Recommendation
University of California San Diego（加州大学圣地亚哥分校）
本文提出Reddit2Deezer数据集，基于19万独特的线程和叶子评论对，提供真实对话音乐推荐资源，包含原始和改写版本，链接音乐实体到Deezer标识符，支持未来内容基础对话推荐研究。
2026-05-09 cs.IR cs.SD
Hexa: Self-Improving for Knowledge-Grounded Dialogue System
Korea University（高丽大学）；Kakao Brain；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
针对知识接地对话中中间步骤真值数据缺失的问题，本文提出Hexa自我改进方法，通过引导式提示与改进损失函数进行自举训练，提升中间及最终回复生成性能。
2024-04-02 cs.AI cs.CL cs.LG
Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation
KAIST（韩国科学技术院）；AITRICS
针对知识接地对话生成中知识利用不可靠的问题，本文提出SURGE框架，通过子图检索、词嵌入扰动和对比学习，使生成回复与知识图谱事实保持一致，并在两个数据集上验证了其生成高质量知识忠实对话的有效性。
2023-05-30 cs.AI cs.CL cs.LG
Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues
Singapore Management University（新加坡管理大学）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）；Salesforce Research Asia（赛富时亚洲研究院）
与传统的视觉问答相比，基于视频的对话需要对对话上下文进行额外的推理，以在多轮设置中回答问题。以前的方法，以视频为基础的对话大多使用对话上下文作为一个简单的文本输入，没有建模的内在信息流在回合级别。在本文中，我们提出了一个新的框架，推理路径对话上下文（PDC）。PDC模型通过对每个问题和回答中的词汇成分构建语义图，发现对话轮之间的信息流。PDC模型然后学习预测这个语义图上的推理路径。我们的路径预测模型预测的路径从当前的回合通过过去的对话回合，包含额外的视觉线索来回答当前的问题。我们的推理模型顺序处理视觉和文本信息通过这个推理路径和传播的功能被用来生成答案。我们的实验结果证明了我们的方法的有效性，并提供了额外的见解模型如何使用语义依赖在对话上下文检索视觉线索。
2022-12-07 cs.AI cs.CL cs.CV
Position Matters! Empirical Study of Order Effect in Knowledge-grounded Dialogue
National Taiwan University（国立台湾大学）；Intel Labs（英特尔实验室）
借助大型预训练语言模型的强大功能，各种研究工作已经将知识集成到对话系统中。传统技术将知识作为对话系统的输入序列的一部分，在对话历史之前预先设置一组知识语句。然而，这样的机制迫使知识集以有序的方式连接，使模型在训练期间隐式地对集合给予不平衡的关注。在本文中，我们首先研究知识集的顺序如何影响自回归对话系统的反应。我们在两个常用的对话数据集上进行了实验，发现两种基于transformer的模型对输入知识的看法不一样。为此，我们提出了一种简单而新颖的技术，通过修改这些模型中知识输入的位置嵌入来减轻顺序效应。实验结果表明，该方法能够统一考虑每个知识语句，从而生成响应。
2023-02-12 cs.AI cs.CL cs.LG
Training an adaptive dialogue policy for interactive learning of visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一个多模态的对话系统，从人类导师的感知接地词义的交互式学习。该系统集成了一个增量的，语义解析/生成框架-动态分类和类型论与记录（DS-TTR）-与一组视觉分类器，在整个交互过程中学习和地面的意义表示，它产生。我们使用这个系统与一个模拟的人类导师的互动，学习的含义，学习率的准确性，和努力/成本的导师研究不同的对话政策和能力的影响。我们表明，学习代理的整体性能受到以下因素的影响：（1）谁在对话中采取主动;（2）表达/使用他们对视觉属性的信心水平的能力;以及（3）处理椭圆和增量构建对话的能力。最终，我们训练了一种自适应对话策略，该策略优化了分类器准确性和辅导成本之间的权衡。
2017-09-29 cs.AI cs.CL cs.LG
SEADialogues: A Multilingual Culturally Grounded Multi-turn Dialogue Dataset on Southeast Asian Languages
MBZUAI；Mekari；Universitas Indonesia（印度尼西亚大学）；Detik Network（Detik网络）；AI Singapore（新加坡AI）；Chulalongkorn University（朱拉隆功大学）；Capital One
针对现有闲聊数据集忽略文化细微差异的问题，研究推出SEADialogues，一个涵盖东南亚六国八种低资源语言、包含角色属性与文化话题的多轮对话数据集，以推动文化感知且以人为本的大型语言模型研究。
2025-08-09 cs.AI cs.CL
UniGDD: A Unified Generative Framework for Goal-Oriented Document-Grounded Dialogue
The Chinese University of Hong Kong（香港中文大学）
面向目标的基于文档的对话旨在基于对话上下文和支持文档来响应用户查询。现有的研究通过将其分解为两个子任务来解决这个问题：知识识别和响应生成。然而，这样的流水线方法将不可避免地遭受错误传播问题。本文提出了统一这两个子任务，通过顺序生成接地知识和响应。我们进一步开发了一个多任务连接的学习策略，以模拟不同任务的特性和连接，并引入线性温度调度，以减少不相关的文档信息的负面影响。实验结果证明了我们的框架的有效性。
2022-04-16 cs.AI cs.CL
A Three-Stage Learning Framework for Low-Resource Knowledge-Grounded Dialogue Generation
Northeastern University（东北大学）
通过引入外部背景知识，神经会话模型在生成流畅的、信息丰富的应答方面显示出巨大的潜力。然而，构建这种基于知识的对话是费力的，并且现有模型在转移到具有有限训练样本的新领域时通常表现不佳。因此，在低资源环境下建立一个以知识为基础的对话系统仍然是一个至关重要的问题。在本文中，我们提出了一种新的三阶段学习框架的基础上弱监督学习，受益于大规模的无基础的对话和非结构化的知识库。为了更好地配合这个框架，我们设计了一个变种的Transformer与解耦的解码器，有利于解开学习的响应生成和知识纳入。两个基准测试的结果表明，我们的方法可以优于其他国家的最先进的方法与更少的训练数据，即使在零资源的情况下，我们的方法仍然表现良好。
2021-09-09 cs.AI cs.CL
Symbolic Planning and Code Generation for Grounded Dialogue
Cornell Tech（康奈尔科技学院）；Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出将LLM与符号规划器和接地代码执行相结合的模块化对话系统，在OneCommon任务上将成功率从56%提升至69%。
2023-10-26 cs.AI cs.CL
Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
为了丰富和丰富所产生的对话反应，近年来对基于知识的对话进行了调查。现有的方法通过在大型语料库中检索相关句子并使用明确的额外信息来增强对话来解决知识基础挑战。尽管他们的成功，然而，现有的作品有缺陷的推理效率。本文提出了KnowExpert，一个框架，绕过显式检索过程，并注入知识到预先训练的语言模型与轻量级适配器，并适应知识为基础的对话任务。据我们所知，这是第一次尝试在开放域聊天场景下，在这项任务中不进行检索来应对这一挑战。实验结果表明，Knowexpert执行与一些基于检索的基线，同时是时间效率的推理，证明了我们提出的方法的有效性。
2022-04-25 cs.AI cs.CL
RT-KGD: Relation Transition Aware Knowledge-Grounded Dialogue Generation
Soochow University（苏州大学）；IFLYTEK Research（讯飞研究院）；Fudan University（复旦大学）
将对话系统与外部知识结合起来是提高答复质量的一个有希望的方法。现有的大多数作品都采用知识图谱（KG）作为外部资源，关注对话最后一句话中实体对上下文理解和响应生成的贡献。然而，知识隐含在多轮背景下，在幼儿园的关系之间的过渡性的相关性是未充分探讨。为此，我们提出了一个关系迁移感知的知识为基础的对话生成模型（RT-KGD）。具体而言，受人类会话的潜在逻辑的启发，我们的模型集成了对话级关系转换与回合级实体语义信息。通过这种方式，知识之间的相互作用被认为产生了丰富的线索，用于预测适当的知识并产生连贯的反应。自动评估和手动评估的实验结果表明，我们的模型优于国家的最先进的基线。
2022-07-17 cs.AI cs.CL
A Linguistic Analysis of Visually Grounded Dialogues Based on Spatial Expressions
The University of Tokyo（东京大学）；Japan National Institute of Informatics（日本国家信息学研究所）；NII（信息学研究所（NII））
最近的模型在视觉接地对话中取得了可喜的成果。然而，现有的数据集往往包含不受欢迎的偏见，缺乏复杂的语言分析，这使得人们很难理解当前的模型如何识别其精确的语言结构。为了解决这个问题，我们做了两个设计选择：首先，我们专注于OneCommon语料库\citep{udagawa2019natural,udagawa2020annotated}，一个简单但具有挑战性的共同基础数据集，包含最小的设计偏差。其次，我们基于\textit{spatial expressions}分析了它们的语言结构，并为600个对话提供了全面可靠的注释。我们发现，我们的注释捕捉到重要的语言结构，包括谓词论元结构，修改和省略。在我们的实验中，我们通过参考分辨率来评估模型对这些结构的理解。我们证明了我们的注释可以揭示基线模型在基本细节水平上的优点和缺点。总的来说，我们提出了一个新的框架和资源调查细粒度的语言理解在视觉接地对话。
2020-10-07 cs.AI cs.CL
Evaluating Large Language Models for Document-grounded Response Generation in Information-Seeking Dialogues
Toshiba Europe Limited（东芝欧洲有限公司）
本文评估ChatGPT等大型语言模型在信息寻求对话中基于文档生成响应的能力，通过Chat-Completion和LlamaIndex两种方法在MultiDoc2Dial语料库上进行人工评估，发现ChatGPT变体虽更易产生幻觉但评分仍高于共享任务获胜系统和人类响应。
2023-09-21 cs.AI cs.CL
A Grounded Interaction Protocol for Explainable Artificial Intelligence
University of Melbourne（墨尔本大学）
可解释的人工智能（XAI）系统需要包括一个解释模型，以将内部决策、行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中，我们重点关注解释者和被解释者之间有意义的交互的挑战，并研究交互解释的结构方面，以提出交互协议。我们遵循自下而上的方法，通过分析不同的解释对话类型与398解释对话的成绩单，得出模型。我们使用扎根理论来编码和识别解释对话的关键组成部分。我们使用代理对话框架（ADF）作为一种新的对话类型，然后评估它在人与代理的交互研究与101个对话，从14个参与者。我们的研究结果表明，该模型可以密切跟踪人类智能体对话的解释对话。
2019-03-05 cs.AI cs.LG
Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask
本文提出一种视角主义标注方案，用于分析MapTask中对话参与者对参照表达的 grounded 解释差异，揭示理解如何演变并修复，评估LLM对视角依赖性 grounding 的建模能力。
2026-03-16 cs.AI cs.CL
A Survey of Document Grounded Dialogue Systems (DGDS)
Harbin Institute of Technology（哈尔滨工业大学）
对话系统（DS）因其广泛的应用前景而受到工业界和学术界的极大关注。研究人员通常根据功能对DS进行划分。然而，许多对话需要DS在不同的功能之间切换。例如，电影讨论可以从闲聊转变为问答，会话式推荐可以从闲聊转变为推荐等，因此，根据功能进行分类可能不足以帮助我们理解当前的发展趋势。我们基于背景知识对DS进行分类。具体来说，研究基于非结构化文档的最新DS。本文将基于文档的对话系统定义为对话以给定文档为中心的对话系统。DGDS可以用于场景，如谈论商品对产品手册，评论新闻报道等，我们认为，提取非结构化的文档（S）的信息是未来的发展趋势，因为大量的人类知识在于这些文档（S）。DGDS的研究不仅具有广阔的应用前景，而且有助于人工智能更好地理解人类知识和自然语言。本文分析了DGDS的分类、体系结构、数据集、模型和未来发展趋势，希望对该领域的研究者有所帮助。
2020-04-17 cs.AI cs.CL cs.LG
GLM-Dialog: Noise-tolerant Pre-training for Knowledge-grounded Dialogue Generation
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
我们提出了GLM-Dialog，一个大规模的语言模型（LLM）与10 B参数能够知识为基础的对话中使用的搜索引擎访问互联网知识。GLM-Dialog提供了一系列适用的技术，用于利用各种外部知识，包括有用的和嘈杂的知识，从而能够使用有限的适当数据集创建强大的以知识为基础的对话LLM。为了更公平地评估GLM-Dialog，我们还提出了一种新的评估方法，允许人类同时与多个部署的机器人进行对话，并隐式地比较它们的性能，而不是使用多维指标进行显式评级。从自动到人类的角度进行综合评估，展示了GLM-Dialog与现有开源中文对话模型相比的优势。我们发布了模型检查点和源代码，并将其部署为微信应用程序与用户进行交互。我们在线提供评估平台，以促进开源模型和可靠对话评估系统的开发。另外还发布了易于使用的工具包，包括短文本实体链接、查询生成和有用的知识分类，以支持各种应用程序。所有的源代码都可以在Github上找到。
2023-02-28 cs.AI cs.CL
Open Domain Dialogue Generation with Latent Images
Beihang University（北京航空航天大学）；Meituan（美团）；Microsoft（微软）；China Resources Group（华润集团）
我们考虑将开放域对话与图像结合起来。现有的工作假设图像和文本上下文都是可用的，但图像为基础的对话本质上比文本对话更难获得。因此，我们建议学习一个响应生成模型与图像为基础的对话和文本对话，假设在对话时的视觉场景信息可以由图像表示，并试图通过文本到图像生成技术来恢复文本对话的潜像。两种类型的对话的可能性，然后制定的响应生成器和图像重建器，学习条件变分自动编码框架内。本文对基于图像的会话和基于文本的会话进行了实证研究。在第一种情况下，图像为基础的对话，特别是在低资源的设置，可以有效地增强文本对话与潜像;而在第二种情况下，潜像可以丰富的内容的反应，并在同一时间保持他们相关的上下文。
2021-06-01 cs.AI cs.CL cs.CV
VGNMN: Video-grounded Neural Module Network to Video-Grounded Language Tasks
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））
神经模块网络（NMN）在基于图像的任务中取得了成功，例如合成图像上的视觉问答（VQA）。然而，非常有限的工作NMN已被研究在视频接地的对话任务。这些任务扩展了传统视觉任务的复杂性，增加了视觉时间变化和语言交叉依赖性。受最近NMN方法在图像接地任务的启发，我们引入视频接地神经模块网络（VGNMN）来模拟视频接地语言任务中的信息检索过程作为神经模块的管道。VGNMN首先分解对话中的所有语言组件，以显式地解析任何实体引用并从问题中检测相应的基于动作的输入。检测到的实体和动作被用作参数来实例化神经模块网络并从视频中提取视觉线索。我们的实验表明，VGNMN可以实现具有挑战性的视频接地对话基准以及视频QA基准有前途的性能。
2022-06-12 cs.AI cs.CL cs.CV
Commonsense and Named Entity Aware Knowledge Grounded Dialogue Generation
Indian Institute of Technology Patna（印度理工学院巴特那分校）；National Institute of Technology Karnataka, Surathkal（卡纳塔克国家理工学院苏拉特卡尔校区）
将对话建立在外部知识的基础上，并在对话历史语境中解释语言模式，如省略、回指和共指，对于对话的理解和生成至关重要。在本文中，我们提出了一种新的开放域对话生成模型，有效地利用了大规模的常识和命名实体的知识，除了非结构化的主题特定的知识与每个话语。我们增强了常识知识命名实体感知结构使用共同引用。我们提出的模型利用多跳注意层来保留对话历史和相关知识中最准确和关键的部分。此外，我们采用了一个常识和命名实体增强注意力模块，它从各种来源提取的三元组开始，并逐渐找到相关的支持集的三元组使用多跳注意与查询向量从交互式对话知识模块。在两个基准数据集上的实证结果表明，我们的模型在自动评估指标和人类判断方面都显着优于最先进的方法。我们的代码可在\href{https://github.com/deekshaVarshney/CNTF}{https://github.com/deekshaVarshney/CNTF} ; \href{https://www.iitp.ac.in/~ai-nlp-ml/resources/codes/CNTF.zip}{https://www.iitp.ac.in/-ai-nlp-ml/resources/ codes/CNTF.zip}上公开获得。
2022-05-27 cs.AI cs.CL
Resolving References in Visually-Grounded Dialogue via Text Generation
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对视觉落地对话中的指称消解难题，本文微调因果 LLM 生成融合上下文共指信息的有定描述，再由预训练 VLM 零样本识别所指对象，并在人工标注数据集上超过基线。
2023-09-23 cs.AI cs.CL cs.CV
A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation
Institute of Education（教育学院）；BNRist；KIRC, Institute for Artificial Intelligence（KIRC人工智能研究所）；Tsinghua University（清华大学）；Renmin University（人民大学）
本文用反事实推理分析知识 grounded 对话中知识噪声导致幻觉的因果机制，并提出利用对话—知识交互的轻量缓解方法，在不影响对话性能且适配多模型的前提下减少幻觉。
2024-04-04 cs.AI cs.CL
Large Language Models as Source Planner for Personalized Knowledge-grounded Dialogue
The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；National University of Singapore（新加坡国立大学）
提出 SAFARI 框架，利用大型语言模型规划多个知识源以生成个性化知识 grounded 对话，并构建首个考虑人格与隐式知识依赖的 KBP 数据集，实验证明其有效性。
2023-10-13 cs.AI cs.CL
Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
School of Artificial Intelligence and Data Engineering (SAIDE)（人工智能与数据工程学院）；Indian Institute of Technology Jodhpur（印度理工学院朱罗普尔）
本文提出XKD-Dial，一种逐步四阶段训练流程，用于生成可解释的引用导向对话，通过跨语言适应、英语对话SFT与引用定位、双语对话SFT及GRPO对齐与引用感知奖励，减少幻觉并提升印地语能力。
2026-03-19 cs.AI cs.CL
Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models
Division of Speech, Music and Hearing（语音、音乐和听觉系）；KTH Royal Institute of Technology（皇家理工学院）
本文探索使用纯文本自回归大型语言模型，通过下一词元预测划定提及跨度边界，从视觉基础对话中提取指称表达，发现即使模型规模中等且数据集较小该方法依然有效，同时指出该任务本质是多模态问题。
2025-06-26 cs.AI cs.CL
