From Answers to Guidance: A Proactive Dialogue System for Legal Documents
Data Science Group, Institute of Computer Science, \ University, Germany
针对普通民众难以获取和理解欧盟法律信息的问题，本文构建了主动式多轮法律对话数据集EUDial，并提出结合检索增强生成与分层主题组织的LexGuide框架，有效提升公民对法律信息的理解，为主动法律对话系统发展提供实用资源。
2025-10-22 cs.CL
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation（日本电信电话株式会社计算机与数据科学实验室）
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统，并且这种系统的代表性任务是视听场景感知对话（AVSD）。大多数传统的AVSD模型采用基于卷积神经网络（CNN）的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息，但全局信息对于提高视频理解也至关重要，因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中，我们应用了基于变换器的视频特征，该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外，我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到，基于transformer的视觉特征对AVSD任务是有益的，因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
Learning End-to-End Goal-Oriented Dialog with Multiple Answers
University of Michigan（密歇根大学）；IBM Research（IBM研究院）
在对话中，在任何点处可以存在多个有效的下一话语。目前用于对话的端到端神经方法没有考虑到这一点。他们在学习时假设在任何时候都只有一个正确的下一个发音。在这项工作中，我们专注于这个问题，在目标导向的对话设置，有不同的路径来达到一个目标。我们提出了一种新的方法，使用监督学习和强化学习方法的组合来解决这个问题。我们还提出了一个新的和更有效的测试平台，置换bAbI对话任务，通过引入多个有效的下一个话语的原始bAbI对话任务，它允许在一个更现实的设置目标导向的对话系统的评估。我们发现，现有的端到端神经方法的性能显着下降，从原始bAbI对话任务的每对话准确率81.5%下降到置换bAbI对话任务的30.3%。我们还表明，我们提出的方法提高了性能，并实现了47.3%的每对话的准确性置换bAbI对话任务。
2018-08-24 cs.AI cs.CL
Visual Dialog
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
我们介绍了视觉对话的任务，这需要一个人工智能智能体举行一个有意义的对话与人类在自然，会话语言的视觉内容。具体来说，给定一个图像，一个对话历史，和一个关于图像的问题，代理必须在图像中的基础问题，从历史中推断上下文，并准确地回答问题。Visual Dialog从特定的下游任务中解脱出来，可以作为机器智能的一般测试，同时以视觉为基础，可以客观评估个人的反应和基准进度。我们开发了一种新的两人聊天数据收集协议，以管理一个大规模的可视化对话数据集（VisDial）。VisDial v0.9已经发布，包含1个对话框，10个问答对，来自COCO的约12万张图像，总共约120万个对话框问答对。我们为Visual Dialog引入了一系列神经编码器-解码器模型，其中包括3个编码器-后期融合，分层递归编码器和记忆网络-以及2个解码器（生成和判别），它们的性能优于许多复杂的基线。我们提出了一个检索为基础的评价协议的可视化对话，其中的人工智能智能体被要求排序的一组候选人的答案和评价指标，如人类反应的平均倒数排名。我们通过人类研究量化机器和人类在视觉对话任务上的表现之间的差距。把这一切放在一起，我们展示了第一个“视觉聊天机器人”!我们的数据集，代码，训练模型和可视化聊天机器人可在www.example.com上获得
2017-08-01 cs.AI cs.CL cs.CV
Probabilistic framework for solving Visual Dialog
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一个概率框架，解决任务的“可视对话框”。解决这个问题需要推理和理解的视觉形态，语言形态和常识知识来回答。已经提出了各种架构来通过组合视觉和语言表示的多模态深度学习技术的变体来解决这个任务。然而，我们认为，理解和分析不确定性的来源对于解决这一任务至关重要。我们的方法允许估计不确定性，也有助于产生不同的答案。所提出的方法是通过一个概率表示模块，为我们提供了图像，问题和会话历史的表示，一个模块，确保候选答案的不同的潜在表示得到给定的概率表示和不确定性表示模块，选择适当的答案，最大限度地减少不确定性。我们通过详细的消融分析、与最先进技术的比较以及有助于理解该方法的不确定性的可视化来彻底评估该模型。使用所提出的概率框架，我们从而获得一个改进的视觉对话系统，也更易于解释。
2019-10-17 cs.CL cs.CV cs.LG
A Template-guided Hybrid Pointer Network for Knowledge-basedTask-oriented Dialogue Systems
University of Oxford（牛津大学）；Tencent（腾讯）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；ByteDance（字节跳动）；Amazon Web Services（亚马逊云科技）
现有的基于神经网络的面向任务的对话系统大多遵循编码器-解码器模式，解码器完全依赖于源文本来生成单词序列，通常存在不稳定性和可读性差的问题。受传统的基于模板的生成方法的启发，本文提出了一种基于模板的混合指针网络，用于基于知识的面向任务的对话系统，该网络从预先构建的特定领域的会话知识库中获取若干潜在相关的答案作为指导答案，并将指导答案结合到编码和解码过程中.具体来说，我们设计了一个内存指针网络模型与门控机制，充分利用检索到的答案和地面实况响应之间的语义相关性。我们在四个广泛使用的面向任务的数据集上评估了我们的模型，包括一个模拟数据集和三个手动创建的数据集。实验结果表明，该模型实现了显着更好的性能比国家的最先进的方法在不同的自动评估指标。
2021-06-10 cs.CL
InfoVisDial: An Informative Visual Dialogue Dataset by Bridging Large Multimodal and Language Models
University of Washington（华盛顿大学）；Microsoft Azure AI（微软Azure人工智能部门）
本文构建InfoVisDial视觉对话数据集，通过桥接GIT和GPT-3自动生成信息丰富、多样化的长对话，并人工筛选，提供强基线，推动视觉对话研究。
2023-12-21 cs.AI cs.CV
Fast and Light-Weight Answer Text Retrieval in Dialogue Systems
IBM Research AI（IBM研究院人工智能部门）；IBM Watson（IBM沃森）
对话系统可以受益于能够搜索整个文本语料库以找到与用户请求相关的信息，特别是当遇到没有手动策划的响应可用的请求时。神经稠密检索或重新排序的最新技术涉及具有数亿参数的深度学习模型。然而，让这样的模型在工业规模上运行是困难和昂贵的，特别是对于通常需要支持大量单独定制的对话系统的云服务，每个对话系统都有自己的文本语料库。我们报告了我们的工作，使先进的神经稠密检索系统有效地运行在规模相对便宜的硬件。我们与领先的替代工业解决方案进行比较，并表明我们可以提供有效，快速和具有成本效益的解决方案。
2022-05-31 cs.CL cs.IR
CLEVR-Dialog: A Diagnostic Dataset for Multi-Round Reasoning in Visual Dialog
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
可视化对话是一种多模态任务，使用对话历史作为上下文，回答基于图像的一系列问题。它需要在视觉，语言，推理和接地的挑战。然而，在大型真实数据集上孤立地研究这些子任务是不可行的，因为它需要对所有图像和对话框的“状态”进行昂贵的完整注释。我们开发了CLEVR-Dialog，一个大型诊断数据集，用于研究可视化对话中的多轮推理。具体来说，我们构建了一个对话语法，是接地的场景图的图像从CLEVR数据集。这种组合产生了一个数据集，其中可视化对话框的所有方面都被完全注释。总的来说，CLEVR-Dialog包含5个10轮对话的实例，约85k CLEVR图像，总计425万个问答对。我们使用CLEVR-Dialog标准的视觉对话模型的基准性能，特别是在视觉共指消解（作为共指距离的函数）。这是第一次对可视化对话框模型进行分析，如果没有这个数据集，这是不可能的。我们希望CLEVR-Dialog的发现将有助于为未来的可视化对话模型的开发提供信息。我们的数据集和代码是公开的。
2019-09-18 cs.AI cs.CL cs.CV
Flexible End-to-End Dialogue System for Knowledge Grounded Conversation
Hong Kong University of Science and Technology（香港科技大学）
在以知识为基础的会话中，领域知识在音乐这样的特殊领域中起着重要的作用。基于知识的会话的应答可能包含多个应答实体或根本不包含应答实体。虽然现有的生成式问答（QA）系统可以应用于基于知识的会话，他们要么在响应中最多有一个实体，要么不能处理词汇表外的实体。我们提出了一个完全数据驱动的生成式对话系统GenDS，它能够根据输入消息和相关知识库（KB）生成响应。为了生成任意数量的答案实体，即使这些实体从来没有出现在训练集中，我们设计了一个动态的知识查询器，选择不同的答案实体在不同的位置在一个单一的响应，根据不同的本地上下文。它不依赖于实体的表示，使我们的模型能够处理词汇表外的实体。我们收集了一个人与人的对话数据（ConversMusic）与知识注释。在CoversMusic和一个公共问答数据集上对所提出的方法进行了评估。我们提出的GenDS系统在BLEU，实体准确性，实体召回和人类评估方面明显优于基线方法。此外，实验还表明，即使在小数据集上，GenDS也能更好地工作。
2017-09-13 cs.CL
Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers
Rutgers University（罗格斯大学）；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
给定一个输入视频，其相关的音频，和一个简短的标题，视听场景感知对话（AVSD）任务需要一个代理沉迷于一个问答对话与人类有关的视听内容。因此，这项任务提出了一个具有挑战性的多模态表示学习和推理的情况下，进步可能会影响几个人机交互应用。为了解决这个问题，我们引入了一个语义控制的多模态混洗Transformer推理框架，由一系列的Transformer模块组成，每个模块以一种模态作为输入，并根据输入问题产生表示。我们提出的Transformer变体在其多头输出上使用了洗牌方案，展示了更好的正则化。为了编码细粒度的视觉信息，我们提出了一种新的动态场景图表示学习管道，包括一个帧内推理层产生的空间语义图表示为每一帧，和帧间聚合模块捕捉时间线索。我们的整个管道都是端到端训练的。我们目前的实验基准AVSD数据集，无论是答案生成和选择任务。我们的研究结果证明了所有评估指标的最先进性能。
2021-03-02 cs.CL cs.CV
Lifelong and Interactive Learning of Factual Knowledge in Dialogues
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
对话系统越来越多地使用存储真实世界事实的知识库（KB）来帮助生成高质量的响应。然而，由于KB固有地是不完整的并且在对话期间保持固定，因此它限制了对话系统回答问题和处理涉及不在KB中的实体或关系的问题的能力。在本文中，我们试图提出一个引擎的连续和交互式学习知识（CILK）的对话系统，使他们能够不断地和交互式学习和推断新的知识在对话过程中。随着时间的推移积累了更多的知识，他们将能够更好地学习并回答更多的问题。我们的实证评估表明，CILK是有前途的。
2019-12-21 cs.AI cs.CL cs.HC
"I'd rather just go to bed": Understanding Indirect Answers
Google Research, UK（谷歌研究（英国））；University of Pennsylvania（宾夕法尼亚大学）
我们重新审视对话中的语用推理问题：理解对问题的间接回答。人类可以解释“我饿了。”在回答“饿了吗？”，即使没有直接的提示词，如“是”和“否”。在对话系统中，允许自然的反应而不是封闭的词汇表将同样有益。然而，今天的系统对这些实用性的动作的敏感程度仅限于它们的语言模型所允许的范围。我们创建并发布了第一个大型英语语料库“Circa”，其中包含34，268对（极性问题，间接答案），以实现这项任务的进展。这些数据是通过精心设计的众包收集的，包含有是/否含义的话语，以及不确定的、中间立场的和有条件的反应。我们还提出了基于BERT的神经模型来预测问答对的类别。我们发现，虽然从蕴涵的迁移学习工作合理，性能还不足以强大的对话。我们的模型达到82-88%的准确度为4类的区别，和74-85%为6类。
2020-10-07 cs.CL
QUARTZ : QA-based Unsupervised Abstractive Refinement for Task-oriented Dialogue Summarization
Université de Lorraine, CNRS, Inria, LORIA（法国洛林大学、法国国家科学研究中心、法国国家信息与自动化研究所、LORIA研究所）；Université Sorbonne Paris Nord, CNRS, Laboratoire d’Informatique de Paris Nord, LIPN（法国巴黎北大学、法国国家科学研究中心、巴黎北信息学实验室、LIPN研究所）；Inserm, Centre de Recherche des Cordeliers, Université Paris Cité, Sorbonne Université（法国国家医学研究院、cordeliers研究中心、巴黎城市大学、索邦大学）；HeKA, Inria Paris（HeKA、法国国家信息与自动化研究所巴黎分所）；Department of Medical Informatics, Assistance Publique Hôpitaux de Paris, Georges Pompidou European Hospital（医学信息学系、巴黎公共医院、乔治·蓬皮杜欧洲医院）
本文提出无监督框架 QUARTZ，利用 LLM 生成任务问答并据此筛选高质量对话摘要，再微调模型，在零样本设置下达到接近完全监督 SotA 的效果。
2025-09-30 cs.AI cs.CL
DG2: Data Augmentation Through Document Grounded Dialogue Generation
Columbia University（哥伦比亚大学）；ASAPP（ASAPP公司）；IBM Research AI（IBM人工智能研究院）
收集用于训练对话系统的数据可能是极其昂贵的，这是由于人类参与者的参与以及对大量注释的需要。特别是在基于文档的对话系统中，人类专家需要仔细阅读非结构化文档来回答用户的问题。因此，现有的基于文档的对话数据集规模相对较小，阻碍了对话系统的有效训练。在本文中，我们提出了一个自动数据增强技术的基础上，通过生成对话模型的文件。对话模型由用户机器人和代理机器人组成，它们可以在给定输入文档的情况下合成各种对话，然后用于训练下游模型。当补充原始数据集时，我们的方法比传统的数据增强方法有了显著的改进。我们还在低资源环境中实现了出色的性能。
2021-12-15 cs.CL
Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Alibaba Group（阿里巴巴集团）
多文档接地对话系统（DGDS）属于一类会话代理，通过从文档集合中找到支持知识来回答用户的请求。大多数以前的研究旨在改善知识检索模型或提出更有效的方法，将外部知识的参数生成模型。然而，这些方法集中于从单粒度语言单元（例如，文档中的段落、句子或跨度）中检索知识，这不足以有效地和高效地捕获长文档中的精确知识。本文提出了Re3G，其目的是优化粗粒度的知识检索和细粒度的知识提取在一个统一的框架。具体来说，前者有效地找到检索和重新排序过程中的相关段落，而后者有效地提取这些段落中的更细粒度跨度，以纳入参数答案生成模型（BART，T5）。在DialDoc共享任务上的实验证明了该方法的有效性。
2023-02-23 cs.CL
Saying No is An Art: Contextualized Fallback Responses for Unanswerable Dialogue Queries
Amelia Science, IPsoft R&D（Amelia Science，IPsoft 研发部）；Universität des Saarlandes（萨尔兰大学）
尽管端到端神经系统在过去十年中对于面向任务以及基于闲聊的对话系统取得了重大进展，但大多数对话系统依赖于混合方法，该混合方法使用基于规则的方法、检索方法和生成方法的组合来生成一组分级响应。这种对话系统需要依赖于回退机制来响应在对话系统的范围内不可回答的域外或新的用户查询。虽然，今天的对话系统依赖于静态和不自然的反应，如“我不知道这个问题的答案”或“我不确定”，但我们设计了一种神经方法，它可以生成对用户查询有上下文意识的响应，并对用户说不。这种定制的响应提供了释义能力和语境化，以及改善与用户的交互并减少对话的单调性。我们的简单方法利用依赖关系解析规则和文本到文本的Transformer，该转换器对问题-响应对的合成数据进行微调，生成高度相关、语法和多样化的问题。我们进行自动和手动评估，以证明该系统的有效性。
2021-05-06 cs.AI cs.CL cs.LG
Emotion Twenty Questions Dialog System for Lexical Emotional Intelligence
University of St. Thomas（圣托马斯大学）
本文介绍了一个基于Web的演示情绪二十问题（EMO20Q），对话游戏，其目的是研究人们如何描述情绪。EMO20Q还可以用来开发可以玩游戏的人工智能对话代理。在以前的工作中，EMO20 Q代理使用顺序贝叶斯机器学习模型，可以发挥提问的作用。更新的基于transformer的神经机器学习模型使得开发一个回答问题的代理成为可能。这篇演示论文描述了EMO20Q游戏的问答角色的最新发展，该游戏要求智能体对更多的开放式输入做出响应。此外，我们还描述了系统的设计，包括基于Web的前端，代理的体系结构和编程，并更新早期使用的软件。演示系统将在ACII会议期间收集试验数据，这些数据将用于为未来的实验和系统设计提供信息。
2022-10-05 cs.CL cs.HC
RAP-Net: Recurrent Attention Pooling Networks for Dialogue Response Selection
National Taiwan University（台湾大学）
响应选择一直是一个新兴的研究课题，由于越来越多的兴趣在对话建模，其中的任务的目标是选择一个适当的响应继续对话。为了进一步将端到端对话模型推向现实场景，第七届对话系统技术挑战赛（DSTC 7）提出了一个基于真实聊天日志数据集的挑战性赛道。竞赛的重点是具有几个先进特征的对话建模：（1）自然语言多样性，（2）从大量候选人或没有任何正确答案的场景中精确选择适当响应的能力，以及（3）知识基础。本文介绍了一种新的应答选择框架--递归注意力池网络（RAP-Net），它可以很好地估计对话上下文与候选人之间的相关性。所提出的RAP网络被证明是有效的，并且可以在DSTC 7实验中跨不同的数据集和设置进行推广。
2019-03-21 cs.CL
Audio-Visual Scene-Aware Dialog
Georgia Institute of Technology（佐治亚理工学院）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
我们介绍了场景感知对话的任务。我们的目标是生成一个完整的和自然的反应，一个场景的问题，给定的视频和音频的场景和历史的对话。为了成功回答，代理必须从视频中的问题中建立概念，同时利用来自对话历史的上下文线索。为了对这项任务进行基准测试，我们引入了视听场景感知对话（AVSD）数据集。对于来自Charades数据集的11，000多个人类动作视频中的每一个，我们的数据集都包含一个关于视频的对话，以及一个对话参与者对视频的最终摘要。我们为此任务训练了几个基线系统，并使用定性和定量指标评估了训练模型的性能。我们的研究结果表明，模型必须利用所有可用的输入（视频，音频，问题和对话历史）才能在此数据集上表现最佳。
2019-05-08 cs.CV
End-to-end optimization of goal-driven and visually grounded dialogue systems
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Inria（法国国家信息与自动化研究所）；University of Montreal（蒙特利尔大学）；DeepMind
对话系统的端到端设计最近已经成为一个热门的研究课题，这要归功于强大的工具，如用于序列到序列学习的编码器-解码器架构。然而，大多数当前的方法将人机对话管理作为监督学习问题，旨在预测给定对话的完整历史的参与者的下一个话语。这种观点过于简单化，无法反映对话所固有的规划问题及其基础性质，使对话的背景大于唯一的历史。这就是为什么到目前为止，只有闲聊和问答任务使用端到端架构来解决。在本文中，我们介绍了一种深度强化学习方法，以优化视觉接地面向任务的对话，基于策略梯度算法。这种方法在通过Mechanical Turk收集的120 k对话数据集上进行了测试，并在解决生成自然对话的问题和在复杂图片中发现特定对象的任务方面提供了令人鼓舞的结果。
2017-03-15 cs.CL
Using a KG-Copy Network for Non-Goal Oriented Dialogues
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；Volkswagen Group Research（大众汽车集团研究部）
非目标导向的生成式对话系统缺乏用有根据的事实生成答案的能力。知识图谱可以被认为是对现实世界的一种抽象，它由有充分根据的事实组成。本文解决了通过将知识图谱集成到对话系统响应生成过程中，以端到端的方式生成良好接地响应的问题。本文提出了一个非目标导向对话的数据集，在足球领域，不同的俱乐部和国家队的交谈，以及这些球队的知识图谱。还提出了一种新的神经网络架构作为该数据集的基线，它可以将知识图谱集成到响应生成过程中，产生清晰的、基于知识的响应。经验证据表明，所提出的模型表现优于其他国家的最先进的知识图谱集成对话系统。
2019-10-17 cs.CL
Probing Neural Dialog Models for Conversational Understanding
Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
开放域对话生成的主要方法依赖于聊天数据集上神经模型的端到端训练。然而，这种方法几乎没有提供关于这些模型学习（或不学习）参与对话的见解。在这项研究中，我们分析了神经开放域对话系统学习的内部表征，并评估这些表征的质量，以学习基本的会话技能。我们的研究结果表明，标准的开放域对话系统在回答问题、推断矛盾、确定对话主题等任务方面都很困难。我们还发现，这些模型并没有充分利用对话的二元，话轮转换的性质。通过探索这些限制，我们强调需要对架构和训练方法进行额外的研究，以更好地捕捉有关对话框的高级信息。
2020-06-07 cs.AI cs.CL cs.LG
Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models
Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
我们调查的任务，建立开放的领域，会话对话系统的基础上使用生成模型的大型对话语料库。生成模型产生的系统响应是逐字自动生成的，为现实的，灵活的交互开辟了可能性。为了支持这一目标，我们将最近提出的分层递归编码器-解码器神经网络扩展到对话域，并证明该模型与最先进的神经语言模型和退避n元模型具有竞争力。我们研究了这种方法和类似方法的局限性，并展示了如何通过从更大的问答对语料库和预训练的词嵌入中引导学习来提高其性能。
2016-04-06 cs.AI cs.CL cs.LG
Two can play this Game: Visual Dialog with Discriminative Question Generation and Answering
UIUC（伊利诺伊大学厄巴纳-香槟分校）
人类的对话是一种复杂的机制，有着微妙的细微差别。因此，开发能够流利地参与对话的人工智能代理是一个雄心勃勃的目标。虽然我们离实现这一目标还很远，但最近在视觉问答、图像描述和视觉问题生成方面的进展表明，对话系统可能在不久的将来实现。为此，最近引入了一个新的数据集，并展示了令人鼓舞的结果，特别是对于问答。在本文中，我们展示了一个简单的对称判别基线，可以应用于预测答案以及预测问题。我们表明，这种方法的表现与最先进的，甚至内存网络为基础的方法。此外，第一次在视觉对话数据集上，我们评估了系统提问的性能，并演示了如何从判别式问题生成和问答中生成视觉对话。
2018-03-29 cs.CL cs.CV
Improving Cross-Modal Understanding in Visual Dialog via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
可视化对话是一项具有挑战性的视觉语言任务，因为可视化对话代理需要在对图像内容和对话历史进行推理后回答一系列问题。虽然现有的方法试图处理视觉对话中的跨模态理解，但它们仍然不足以基于对视觉和文本上下文的理解来对候选答案进行排序。本文基于视觉语言预训练模型VD-BERT，分析了视觉对话中的跨模态理解问题，提出了一种新的提高视觉对话跨模态理解的方法ICMU。ICMU通过基于四向对比学习区分不同的拉取输入（即拉取图像、问题或答案）来增强跨模态理解。此外，ICMU利用单轮视觉问答来增强视觉对话模型的跨模态理解，以处理多轮视觉接地对话。实验结果表明，该方法提高了可视化对话模型的跨模态理解能力，在VisDial数据集上取得了满意的效果。
2022-04-15 cs.CL cs.CV
SynTQA: Synergistic Table-based Question Answering via Mixture of Text-to-SQL and E2E TQA
Nanyang Technological University（南洋理工大学）；NYU Shanghai（上海纽约大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Center for Data Science, New York University（纽约大学数据科学中心）
本文提出 SynTQA 协同式表格问答方法，通过答案选择集成 Text-to-SQL 与端到端问答模型，实验表明可显著提升表格问答性能。
2024-09-29 cs.CL
VD-BERT: A Unified Vision and Dialog Transformer with BERT
Salesforce Research（Salesforce研究院）；The Chinese University of Hong Kong（香港中文大学）
视觉对话是一个具有挑战性的视觉语言任务，其中对话代理需要通过对图像内容和对话历史的推理来回答一系列问题。先前的工作主要集中在各种注意力机制，以模拟这种复杂的相互作用。相比之下，在这项工作中，我们提出了VD-BERT，一个简单而有效的统一视觉对话Transformer框架，它利用预先训练的BERT语言模型进行视觉对话任务。该模型是统一的，因为（1）它使用单流Transformer编码器捕获图像和多轮对话之间的所有交互，并且（2）它通过相同的架构无缝地支持答案排名和答案生成。更重要的是，我们通过基于视觉的训练来适应BERT，以有效地融合视觉和对话内容。在不需要外部视觉语言数据预训练的情况下，我们的模型产生了最新的技术水平，在视觉对话排行榜上的单模型和集成设置（74.54和75.35 NDCG得分）中均获得了最高位置。我们的代码和预训练模型在https://github.com/salesforce/VD-BERT上发布。
2020-11-02 cs.CL cs.CV
Answerer in Questioner's Mind: Information Theoretic Approach to Goal-Oriented Visual Dialog
Seoul National University（首尔大学）；Surromind Robotics（Surromind机器人公司）
面向目标的对话由于其在人工智能中的广泛应用而受到关注。目标导向的对话任务发生在提问者问一个行动导向的问题，回答者回答问题的意图是让提问者知道要采取的正确行动。为了提出足够的问题，最近已经应用了深度学习和强化学习。然而，由于学习一系列句子的复杂性，这些方法很难找到一个称职的递归神经提问者。受心理理论的启发，我们提出了一种新的面向目标对话的信息论算法“提问者的回答者”（AQM）。在AQM中，提问者根据回答者的近似概率模型进行提问和推断。提问者通过明确计算候选意图和每个问题的可能答案的信息增益，选择一个合理的问题来确定回答者的意图。我们在两个面向目标的可视化对话框任务上测试我们的框架：“MNIST计数对话框”和“GuessWhat？！".在我们的实验中，主动队列管理的性能优于比较算法的大幅度。
2018-11-28 cs.AI cs.CL cs.CV
Do we need to answer that question? Salience and Answerability of Potential Questions in Naturalistic Dialogue
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；University of Gothenburg（哥德堡大学）；CLASP（语言理论与计算语言学中心）
本研究基于QUD框架，利用7,124个自动生成问题探究对话中问题显著性与可回答性的关系，发现二者存在弱正相关，且该效应弱于独白文本，表明对话结构更难预测。
2026-09-28 cs.CL
GPTA: Generative Prompt Tuning Assistant for Synergistic Downstream Neural Network Enhancement with LLMs
University of California, Davis（加利福尼亚大学戴维斯分校）；IFM Lab（IFM实验室）
本研究提出GPTA框架，通过前缀提示和“对话梯度”协同训练下游模型与大语言模型，在六个NLP基准上提升性能并缓解低资源过拟合，提供了一种安全、低成本且自适应的训练方案。
2024-03-29 cs.CL
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam（阿姆斯特丹大学）；Utrecht University（乌得勒支大学）
在许多现实世界的场景中，缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外，人类经常通过问几个问题来寻求答案，以获得更全面的信息。随着对话变得越来越广泛，机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中，我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识，通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明，我们的检索阅读系统可以利用检索到的背景知识，以产生显着更好的答案。结果还表明，我们的上下文摘要显着帮助检索者和读者介绍更简洁，更少的噪音上下文信息。
2022-12-17 cs.CL
Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning
Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）；Northwestern Polytechnical University（西北工业大学）
视觉对话任务要求智能体与人类进行关于图像的对话。它代表了可视问答任务的扩展，因为智能体需要回答关于图像的问题，但是它需要根据已经发生的先前对话来这样做。因此，视觉对话的关键挑战是保持一致和自然的对话，同时继续正确回答问题。我们提出了一种结合强化学习和生成对抗网络（GANs）的新方法，以生成更像人类的问题回答。GAN有助于克服训练数据的相对缺乏，以及典型的基于MLE的方法生成过于简洁的答案的趋势。重要的是，GAN紧密集成到注意力机制中，该机制为每个答案生成人类可解释的原因。这意味着GAN的判别模型具有评估候选答案是否由人类生成的任务，给出所提供的原因。这很重要，因为它驱动生成模型产生高质量的答案，这些答案得到相关推理的很好支持。该方法还在主要基准上生成最先进的结果。
2017-11-21 cs.AI cs.CL cs.CV
Enhancing Visual Dialog State Tracking through Iterative Object-Entity Alignment in Multi-Round Conversations
Beijing Information Science and Technology University（北京信息科技大学）；Beijing University of Technology（北京工业大学）
针对现有视觉对话方法忽略轮次级对话信息流的问题，提出多轮对话状态跟踪模型MDST，以视觉-语言二元组构建对话状态表示，在VisDial v1.0生成式任务上取得SOTA，且生成答案更一致类人。
2024-08-13 cs.AI cs.CL cs.CV
Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues
Singapore Management University（新加坡管理大学）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）；Salesforce Research Asia（赛富时亚洲研究院）
与传统的视觉问答相比，基于视频的对话需要对对话上下文进行额外的推理，以在多轮设置中回答问题。以前的方法，以视频为基础的对话大多使用对话上下文作为一个简单的文本输入，没有建模的内在信息流在回合级别。在本文中，我们提出了一个新的框架，推理路径对话上下文（PDC）。PDC模型通过对每个问题和回答中的词汇成分构建语义图，发现对话轮之间的信息流。PDC模型然后学习预测这个语义图上的推理路径。我们的路径预测模型预测的路径从当前的回合通过过去的对话回合，包含额外的视觉线索来回答当前的问题。我们的推理模型顺序处理视觉和文本信息通过这个推理路径和传播的功能被用来生成答案。我们的实验结果证明了我们的方法的有效性，并提供了额外的见解模型如何使用语义依赖在对话上下文检索视觉线索。
2022-12-07 cs.AI cs.CL cs.CV
Interpreting Answers to Yes-No Questions in Dialogues from Multiple Domains
University of Arizona（亚利桑那大学）；University of North Carolina Asheville（北卡罗来纳大学阿什维尔分校）
本文研究大型语言模型在多领域对话中理解是非问题间接答案的挑战，提出三个新领域基准，并基于远程监督与混合训练的方法快速适应新领域，实验显示该方法无负面影响且F1提升达11-34%。
2024-04-25 cs.CL
Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering
South China University of Technology（华南理工大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Tencent AI Lab（腾讯人工智能实验室）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
神经网络模型通常面临将常识知识纳入开放域对话系统的挑战。在本文中，我们提出了一种新的知识感知的对话生成模型（称为transDG），转移的问题表示和知识匹配能力，从知识库问答（KBQA）任务，以促进话语理解和事实知识的选择对话生成。此外，我们提出了一个响应引导注意力和多步解码策略，以引导我们的模型专注于响应生成的相关功能。在两个基准数据集上的实验表明，该模型在生成信息丰富、流畅的对话方面具有较强的鲁棒性。我们的代码可在https://github.com/siat-nlp/TransDG上获得。
2019-12-16 cs.CL
From FiLM to Video: Multi-turn Question Answering with Multi-modal Context
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
理解视听内容和进行信息性对话的能力一直是智能系统的挑战领域。视听场景感知对话（AVSD）挑战，组织为对话系统技术挑战7（DSTC 7）的一个轨道，提出了一个组合任务，其中系统必须回答与视频相关的问题，给出与先前问答对和视频本身的对话。为此，我们提出了一个分层的编码器-解码器模型，计算多模态嵌入的对话上下文。它首先使用两个LSTM嵌入对话历史。我们以规则的间隔提取视频和音频帧，并分别使用预训练的I3 D和VGGish模型计算语义特征。在使用LSTM将这两种模态总结为固定长度的向量之前，我们使用FiLM块将它们置于当前问题的嵌入上，这使我们能够大大降低维度。最后，我们使用一个LSTM解码器，我们用预定的采样进行训练，并使用束搜索进行评估。与AVSD挑战组织者发布的模态融合基线模型相比，我们的模型实现了超过16%的相对改进，得分为0.36 BLEU-4和超过33%，得分为0.997 CIDEr。
2018-12-17 cs.CL cs.CV
Reactive Multi-Stage Feature Fusion for Multimodal Dialogue Modeling
National Taiwan University（国立台湾大学）
视觉问答和视觉对话任务在多通道领域中的研究越来越多，越来越多地转向更实用的现实世界场景。一个更具挑战性的任务，视听场景感知对话（AVSD），提出了进一步推进连接音频，视觉和语言的技术，它引入了时间视频信息和提问者和回答者之间的对话交互。本文提出了一种直观的机制，融合功能和注意力在多个阶段，以更好地整合多模态特征，并在实验中证明了其能力。此外，我们将其他任务中的几种最先进的模型应用于AVSD任务，并进一步分析它们在不同任务中的泛化能力。
2019-08-14 cs.CL cs.CV
Toward Dialogue Modeling: A Semantic Annotation Scheme for Questions and Answers
LORIA（洛林计算机科学及其应用实验室）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
本研究提出了一种对问答对的内容和语篇贡献进行分类的标注方案。我们提出了使用该计划的详细指导方针，并将其应用于英语，西班牙语和荷兰语的对话。最后，我们报告了自动注释的初始机器学习实验。
2019-08-23 cs.AI cs.CL
Zero-shot Generalization in Dialog State Tracking through Generative Question Answering
Amazon Alexa AI（亚马逊Alexa人工智能部门）；UC San Diego（加州大学圣地亚哥分校）；AWS AI（亚马逊云服务人工智能部门）
对话状态跟踪（DST）是现代对话系统的一个组成部分，旨在跟踪面向任务的对话中的用户偏好和约束（槽）。在服务不断变化的现实环境中，DST系统必须推广到新的域和不可见的插槽类型。现有的DST方法不能很好地推广到新的插槽名称，并且许多方法需要插槽类型和值的已知本体进行推理。我们介绍了一种新的本体自由框架，支持自然语言查询看不见的约束和插槽在多领域面向任务的对话。我们的方法是基于生成式问答使用条件语言模型预先训练的实质性英语句子。我们的模型在zero-shot领域自适应设置中将联合目标精度提高了9%（绝对值），超过了MultiWOZ 2.1数据集上的先前最先进水平。
2021-01-20 cs.CL
Unified Multimodal Model with Unlikelihood Training for Visual Dialog
Tongji University（同济大学）
视觉对话的任务要求多模态聊天机器人回答人类关于图像内容的顺序问题。先前的工作执行标准似然训练，用于在正面实例（涉及正确答案）上生成答案。然而，似然目标往往导致频繁和沉闷的输出，并未能利用有用的知识，从负面的情况下（涉及不正确的答案）。在本文中，我们提出了一个统一的多模态模型与Unlikeness训练，命名为UniMM-UL，来解决这个问题。首先，为了通过多任务学习来提高视觉对话理解和生成，我们的模型将ViLBERT从只支持答案判别扩展到通过不同的注意力掩码无缝地保持答案判别和答案生成。具体来说，为了使原始的判别模型与答案生成兼容，我们设计了新的生成注意力掩模来实现自回归掩蔽语言建模（自回归MLM）任务。为了减弱似然目标的不利影响，我们利用负面实例的非似然训练，使模型不太可能生成错误的答案。然后，为了利用密集注释，我们采用不同的微调方法来生成和区分答案，而不是像以前的工作那样只区分答案。最后，在VisDial数据集上，我们的模型获得了最好的生成结果（69.23 NDCG得分）。我们的模型在单模型和集成环境中也产生了与最先进水平相当的判别结果（75.92和76.17 NDCG得分）。
2022-11-23 cs.AI cs.CL cs.CV
History-Aware Question Answering in a Blocks World Dialogue System
University of Rochester（罗切斯特大学）
基于对话的空间推理系统必须保持对世界历史状态的记忆。除了传达对话代理在精神上存在并参与任务之外，参考历史状态对于实现协作规划可能是至关重要的（例如，用于计划返回到先前状态或诊断过去的失误）。在本文中，我们将探讨多模态口语对话系统中的空间记忆问题，该系统能够在物理块世界设置中回答有关交互历史的问题。这项工作建立在一个完整的空间问答管道组成的视觉系统，语音输入和输出的动画化身，一个对话系统，强大的解释空间查询，和一个约束求解器，得出答案的基础上3-D空间建模。这项工作的贡献包括一个象征性的对话背景下，登记有关话语历史和世界变化的知识，以及一个自然语言理解模块能够解释自由形式的历史问题和查询对话背景，形成一个答案。
2020-05-26 cs.AI cs.CL cs.HC
Reasoning Visual Dialog with Sparse Graph Learning and Knowledge Transfer
Seoul National University（首尔大学）；AIIS；NAVER AI Lab（NAVER AI实验室）
可视化对话是一项任务，使用以前的对话历史作为上下文，回答基于图像的一系列问题。在本文中，我们研究了如何解决这一任务的两个基本挑战：（1）在对话轮之间的底层语义结构的推理和（2）确定几个适当的答案给给定的问题。为了解决这些挑战，我们提出了一个稀疏图学习（SGL）的方法来制定可视化对话作为一个图结构学习任务。SGL通过合并二进制和分数边缘并利用新的结构损失函数来推断固有的稀疏对话结构。接下来，我们介绍一种知识转移（KT）方法，该方法从教师模型中提取答案预测并将其用作伪标签。我们提出KT来弥补单一地面事实标签的缺点，这严重限制了模型获得多个合理答案的能力。因此，与基线方法相比，我们提出的模型显着提高了推理能力，并在VisDial v1.0数据集上优于最先进的方法。源代码可在https://github.com/gicheonkang/SGLKT-VisDial上获得。
2021-08-31 cs.CL cs.CV cs.LG
Learning to Ground Visual Objects for Visual Dialog
Microsoft Corporation（微软公司）
视觉对话具有挑战性，因为它需要在理解视觉环境的基础上回答一系列连贯的问题。如何将相关的视觉对象接地是其中的关键问题之一。以往的研究利用问题和历史来处理图像，并取得了令人满意的性能，但这些方法不足以定位相关的视觉对象没有任何指导。视觉对象的不恰当的基础限制了视觉对话模型的性能。在本文中，我们提出了一种新的方法来学习接地视觉对象的视觉对话，它采用了一种新的视觉对象接地机制，在视觉对象的先验和后验分布被用来促进视觉对象接地。具体来说，视觉对象的后验分布是从上下文（历史和问题）和答案中推断出来的，它确保了训练过程中视觉对象的适当基础。同时，先验分布，这是从上下文推断，是用来近似的后验分布，以便适当的视觉对象可以接地，即使在推理过程中没有答案。在VisDial v0.9和v1.0数据集上的实验结果表明，我们的方法在生成和判别设置中都显著提高了以前的强模型。
2022-05-31 cs.CL cs.CV
DualVD: An Adaptive Dual Encoding Model for Deep Visual Understanding in Visual Dialogue
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；University of Adelaide（阿德莱德大学）
与只需要回答关于图像的一个问题的视觉问答任务不同，视觉对话涉及多个问题，这些问题涵盖了广泛的视觉内容，这些内容可能与任何对象，关系或语义有关。因此，视觉对话任务的关键挑战是学习一个更全面和语义丰富的图像表示，这可能对图像的变化问题具有自适应的关注。在这项研究中，我们提出了一种新的模型来从视觉和语义的角度描述图像。具体而言，视觉视图有助于捕获外观级信息，包括对象及其关系，而语义视图使智能体能够理解从整个图像到局部区域的高级视觉语义。此外，在这样的多视图图像特征之上，我们提出了一个特征选择框架，该框架能够自适应地在细粒度级别分层捕获问题相关信息。所提出的方法在基准Visual Dialogue数据集上取得了最先进的结果。更重要的是，我们可以通过可视化门值来判断哪种模态（视觉或语义）对回答当前问题的贡献更大。它为我们理解视觉对话中的人类认知提供了启示。
2019-11-17 cs.CL cs.CV
Reasoning Visual Dialogs with Structural and Partial Observations
University of California, Los Angeles（加州大学洛杉矶分校）；Inception Institute of Artificial Intelligence（人工智能初创研究院）；International Center for AI and Robot Autonomy (CARA)（国际人工智能与机器人自主中心（CARA））
我们提出了一种新的模型来解决具有复杂对话结构的可视对话任务。为了根据当前问题和对话历史获得合理的答案，对话实体之间的潜在语义依赖关系是必不可少的。在本文中，我们明确地将此任务形式化为具有部分观察到的节点和未知图结构（对话中的关系）的图形模型中的推理。给定的对话框实体被视为观察到的节点。给定问题的答案由具有缺失值的节点表示。我们首先引入期望最大化算法来推断底层对话结构和缺失的节点值（期望的答案）。在此基础上，我们提出了一个可微的图神经网络（GNN）的解决方案，近似这个过程。在VisDial和VisDial-Q数据集上的实验结果表明，该模型的性能优于对比方法.它也被观察到，我们的方法可以推断出更好的对话推理的底层对话结构。
2019-05-28 cs.AI cs.CL cs.CV
Improving Generative Visual Dialog by Answering Diverse Questions
Georgia Tech（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
先前关于使用强化学习训练生成式Visual Dialog模型的工作（Das等人）已经探索了一个Qbot-Bottle的图像猜测游戏，并表明这种“自我对话”的方法可以提高下游对话条件下的图像猜测任务的性能。然而，这种改进在几轮交互后饱和并开始退化，并且不会导致更好的Visual Dialog模型。我们发现，这在一定程度上是由于在自我对话过程中Qbot和Bibot之间的重复交互，而这些交互对于图像来说并不具有信息性。为了改善这一点，我们设计了一个简单的辅助目标，激励Qbot问不同的问题，从而减少重复，从而使Qbot能够在RL期间探索更大的状态空间。接触到更多的视觉概念来谈论，以及各种各样的问题来回答。我们评估我们的方法，通过主机的自动指标和人类的研究，并证明它会导致更好的对话，即。更加多样化的对话（即，重复性较低）、一致性（即，有较少的冲突交流），流利（即。更像人类），并且详细，同时仍然与先前的工作和消融相关。
2019-10-03 cs.AI cs.CL cs.CV
Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems
National Bank Of Canada（加拿大国家银行）
澄清解析在诸如交互式问答和会话式搜索的各种信息检索任务中起着重要作用。在这样的上下文中，用户经常将他们的信息需求表述为简短且模糊的查询，一些流行的搜索界面然后提示用户确认她的意图（例如，“你的意思是...... ?“），或在必要时重新措辞。当涉及到对话系统时，流畅的用户-机器人交流是良好用户体验的关键。在没有这种澄清机制的情况下，向用户给出以下响应之一：1）直接回答，如果意图不清楚，则可能是不相关的，2）通知用户检索工具不能处理查询的通用回退消息。这两种情况都可能引起挫折感并降低用户体验。为此，我们提出了一个多阶段的澄清机制，提示澄清和查询选择的上下文中的问答对话系统。我们表明，我们提出的机制提高了整体用户体验，并优于竞争基线与两个数据集，即公共范围内的范围外的数据集和商业数据集的基础上，真正的用户日志。
2021-10-28 cs.CL
Question-Interlocutor Scope Realized Graph Modeling over Key Utterances for Dialogue Reading Comprehension
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）
在这项工作中，我们专注于对话阅读理解（DRC），从对话中提取问题的答案跨度的任务。由于说话人信息的复杂性和对话背景的噪声，DRC中的对话背景建模是棘手的。为了解决这两个问题，已有的研究分别提出了两个自监督任务：根据对话猜测随机掩蔽的说话人是谁和预测对话中的哪句话包含答案。尽管这些任务是有效的，但仍然存在迫切的问题：（1）随机掩蔽说话人而不管问题，不能将问题中提到的说话人映射到对话中的相应说话人，并且忽略了话语的以说话人为中心的性质。这导致从不相关对话者范围内的话语中提取错误的答案;（2）偏好与问题相似的话语的单个话语预测在发现与问题不相似的包含答案的话语方面受到限制。为了缓解这些问题，我们首先提出了一种新的关键话语提取方法。该算法以多个连续的话语为单元进行预测，可以实现更多的包含答案的话语。基于所提取的单元中的话语，我们提出了一种新的对话者范围实现图（QuISG）模型。QuISG作为一个基于话语文本构建的图，还包括问题和问题提及说话人姓名作为节点。为了实现对话者范围，对话中的说话者与其相应话语中的词语相联系。在基准测试上的实验表明，该方法可以取得更好的和有竞争力的结果比以前的作品。
2022-10-26 cs.CL
Visual Dialogue without Vision or Dialogue
University of Oxford（牛津大学）
我们讨论了视觉对话探索中的一些怪癖和缺点-一个顺序的问答任务，其中问题和相应的答案通过给定的视觉刺激相关。为此，我们开发了一种基于典型相关分析（CCA）的非常简单的方法，该方法在标准数据集上实现了接近最先进的平均秩（MR）性能。与当前复杂和过度参数化的计算和时间密集型架构直接相反，我们的方法忽略了视觉刺激，忽略了对话的顺序，不需要梯度，使用现成的特征提取器，参数至少少了一个数量级，并且几乎没有时间学习。我们认为，这些结果表明了当前视觉对话方法中的问题，并进行了分析，以突出隐含的数据集偏差和过度约束的评估指标的影响。我们的代码是公开的。
2019-10-22 cs.CL cs.CV cs.LG
Modality-Balanced Models for Visual Dialogue
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
可视对话任务需要一个模型来利用图像和会话上下文信息来生成对对话的下一个响应。然而，通过人工分析，我们发现，大量的会话问题可以回答只看图像没有任何访问的上下文历史，而其他人仍然需要会话上下文来预测正确的答案。我们证明，由于这个原因，以前的联合模态（历史和图像）模型过度依赖于并且更倾向于记忆对话历史（例如，通过提取上下文信息中的某些关键字或模式），而仅图像模型更具有一般性（因为它们不能从历史中记忆或提取关键字），并且在允许多个正确答案的主要归一化折扣累积增益（NDCG）任务度量上表现得更好。因此，这一观察鼓励我们明确维护两个模型，即，仅图像模型和图像历史联合模型，并将它们的互补能力结合起来，以获得更平衡的多模态模型。我们提出了多种方法，这种集成的两个模型，通过合奏和共识脱落融合共享参数。从经验上看，我们的模型在2019年Visual Dialog挑战赛中取得了很好的成绩（NDCG排名第3，各指标之间的平衡性很高），并且在大多数指标上都远远超过了2018年Visual Dialog挑战赛的获胜者。
2020-01-17 cs.AI cs.CL cs.CV
RMM: A Recursive Mental Model for Dialog Navigation
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
智能引导机器人必须能够向人类提出问题并理解答案。现有的许多工作只关注后者。在本文中，我们超越了指令遵循，并介绍了两个代理人的任务，其中一个代理人导航，并提出问题，第二，指导代理人回答。受心理理论的启发，我们提出了递归心理模型（RMM）。导航代理模型的指导代理模拟答案候选人产生的问题。引导代理反过来对导航代理进行建模，以模拟生成答案所需的导航步骤。我们使用智能体朝向目标的进展作为强化学习奖励信号，不仅直接通知导航动作，而且还通知问题和答案生成。我们证明了RMM可以更好地推广到新的环境。对话者建模可能是人类与智能体对话的一种方式，在这种方式下，机器人需要提问和回答问题。
2020-10-06 cs.AI cs.CL cs.CV
Dialog-based Language Learning
Facebook AI Research（Facebook AI研究院）
机器学习研究的一个长期目标是建立一个智能对话代理。自然语言理解的大多数研究都集中在从固定的标记数据训练集学习，并在单词级别（标记，解析任务）或句子级别（问答，机器翻译）进行监督。这种监督对于人类如何学习是不现实的，因为语言既通过交流学习，又用于交流。在这项工作中，我们研究了基于对话的语言学习，在对话过程中，对话伙伴的反应中自然地和隐含地给出了监督。我们在两个领域研究这种设置：bAbI数据集（Weston et al.，2015）和大规模问答（Dodge et al.，2015）。我们评估了这些任务的一组基线学习策略，并表明，一种新的模型，将预测前瞻性是一个很有前途的方法，从教师的反应学习。特别是，一个令人惊讶的结果是，它可以学习正确回答问题，而无需任何基于奖励的监督。
2016-10-24 cs.CL
