Saying the Unseen: Video Descriptions via Dialog Agents
Illinois Institute of Technology(伊利诺伊理工学院);University of Technology Sydney(悉尼科技大学)
当前的视觉和语言任务通常需要完整的视觉数据(例如,原始图像或视频)作为输入,然而,实际场景通常可能包括部分视觉信息由于各种原因而变得不可访问的情况,例如,出于安全考虑,使用固定摄像头或故意遮挡视线限制查看。作为更实际的应用场景的一步,我们介绍了一个新的任务,旨在描述一个视频使用两个代理之间的自然语言对话作为补充信息源给定不完整的视觉数据。与大多数现有的视觉语言任务不同,人工智能系统可以完全访问图像或视频片段,这些图像或视频片段可能会泄露可识别的人脸或声音等敏感信息,我们有意限制人工智能系统的视觉输入,并寻求更安全和透明的信息媒介,即,自然语言对话,以补充缺失的视觉信息。具体来说,智能代理之一- Q-BOT -从视频的开始和结束给出两个语义分割帧,以及有限数量的机会,在描述看不见的视频之前询问相关的自然语言问题。A-BOT,另一个可以访问整个视频的代理,通过回答问题来帮助Q-BOT完成目标。我们介绍了两种不同的实验设置与生成(即,代理自由地生成问题和答案)或区别(即,代理从候选者中选择问题和答案)内部对话生成过程。与建议的统一QA合作网络,我们实验证明了两个对话代理之间的知识转移过程和使用自然语言对话作为不完整的隐式视觉的补充的有效性。
2021-06-26 cs.CV
Reactive Multi-Stage Feature Fusion for Multimodal Dialogue Modeling
National Taiwan University(国立台湾大学)
视觉问答和视觉对话任务在多通道领域中的研究越来越多,越来越多地转向更实用的现实世界场景。一个更具挑战性的任务,视听场景感知对话(AVSD),提出了进一步推进连接音频,视觉和语言的技术,它引入了时间视频信息和提问者和回答者之间的对话交互。本文提出了一种直观的机制,融合功能和注意力在多个阶段,以更好地整合多模态特征,并在实验中证明了其能力。此外,我们将其他任务中的几种最先进的模型应用于AVSD任务,并进一步分析它们在不同任务中的泛化能力。
2019-08-14 cs.CL cs.CV
VSTAR: A Video-grounded Dialogue Dataset for Situated Semantic Understanding with Scene and Topic Transitions
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室)
本文提出基于395部电视剧的大规模视频对话数据集VSTAR,并构建场景分割、话题分割与对话生成基准,验证多模态信息与片段对视频对话理解及生成的重要性。
2023-05-30 cs.CL cs.CV
V$^2$Dial: Unification of Video and Visual Dialog via Multimodal Experts
University of Stuttgart(斯图加特大学);TU Darmstadt(达姆施塔特工业大学)
本文提出 V$^2$Dial,利用专门多模态专家及匹配、对比学习统一图像与视频对话,并在 AVSD、VisDial 的四个基准上取得零样本和微调 SOTA。
2025-03-14 cs.CV
ShoulderShot: Generating Over-the-Shoulder Dialogue Videos
针对肩后对话视频生成中角色一致性、空间连续性等挑战,提出ShoulderShot框架,结合双镜头生成与循环视频实现扩展对话,在正反打布局等方面超越现有方法,为实用对话视频生成开辟新可能。
2025-08-15 cs.AI cs.CV
Multimodal Dialogue State Tracking
Salesforce Research Asia(Salesforce亚洲研究院);Singapore Management University(新加坡管理大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR))
对话状态跟踪器是对话系统中的一个重要组成部分,用于跟踪对话中的用户目标。然而,对话状态跟踪的研究在很大程度上限于单峰,其中槽和槽值受知识域(例如,具有餐厅名称和价格范围的槽的餐厅域)限制,并且由特定的数据库模式定义。在本文中,我们提出了扩展的定义对话状态跟踪多模态。具体来说,我们引入了一种新的对话状态跟踪任务,跟踪视频接地对话中提到的视觉对象的信息。每个新的对话话语可以引入新的视频片段、新的视觉对象或新的对象属性,并且需要状态跟踪器来相应地更新这些信息槽。我们创建了一个新的合成基准,并设计了一个新的基线,视频对话Transformer网络(VDTN),这项任务。VDTN结合了对象级特征和段级特征,并学习视频和对话之间的上下文依赖关系,以生成多模态对话状态。我们优化了VDTN的状态生成任务,以及一个自我监督的视频理解任务,恢复视频片段或对象表示。最后,我们训练VDTN在响应预测任务中使用解码的状态。结合全面的消融和定性分析,我们发现了构建更强大的多模态对话系统的有趣见解。
2022-06-16 cs.AI cs.CL cs.CV
A Unified Framework for Slot based Response Generation in a Multimodal Dialogue System
University of Alberta(阿尔伯塔大学);Intel Labs(英特尔实验室);Indian Institute of Technology Patna(印度理工学院巴特那分校)
本文提出一个统一端到端框架,结合预训练DialoGPT、知识库和槽位注意力机制,在多模态对话中同时完成槽位提取与响应生成,并在MMD数据集上优于基线方法。
2023-05-27 cs.CL cs.CV
End-to-End Audio Visual Scene-Aware Dialog using Multimodal Attention-Based Video Features
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));School of Interactive Computing, Georgia Tech(佐治亚理工学院交互计算学院)
对话系统需要理解动态的视觉场景,以便与用户就周围的对象和事件进行对话。用于现实世界应用的场景感知对话系统可以通过集成来自多个研究领域的最新技术来开发,包括:端到端对话技术,其使用从对话数据训练的模型来生成系统响应;视觉问答(VQA)技术,其使用学习的图像特征来回答关于图像的问题;以及视频描述技术,其中使用多模态信息从视频生成描述/字幕。我们引入了一个新的关于人类行为视频的对话集。每个对话框都是一个类型化的对话,由两个Amazon Mechanical Turk(AMT)工作人员之间的10个问答(QA)对组成。总的来说,我们收集了大约9,000个视频的对话。使用这个用于视听场景感知对话(AVSD)的新数据集,我们训练了一个端到端会话模型,该模型在关于视频的对话中生成响应。我们的实验表明,使用多模态功能开发的多模态注意力为基础的视频描述,提高了质量的动态场景(视频)生成的对话。我们的数据集,模型代码和预训练模型将公开用于新的视频场景感知对话挑战。
2018-06-30 cs.CL cs.CV cs.SD
MT-Video-Bench: A Holistic Video Understanding Benchmark for Evaluating Multimodal LLMs in Multi-Turn Dialogues
Fudan University(复旦大学);NJU-LINK Team, Nanjing University(南京大学NJU-LINK团队);University of Science and Technology of China(中国科学技术大学);Kuaishou Technology(快手科技)
MT-Video-Bench通过评估多轮对话中多模态大语言模型的6项核心能力,揭示其在处理多轮视频对话任务中的性能差异和局限性。
2026-01-08 cs.AI cs.CV
DiaLoc: An Iterative Approach to Embodied Dialog Localization
Toshiba Europe Ltd(东芝欧洲有限公司)
针对具身对话中定位任务研究不足且现有方法依赖完整对话的问题,提出迭代融合视觉与对话信息的 DiaLoc 框架,在单/多镜头设置下均取得显著性能提升。
2024-03-11 cs.CV
An animated picture says at least a thousand words: Selecting Gif-based Replies in Multimodal Dialog
University of Michigan(密歇根大学)
在线对话不仅仅包括文本。越来越多的基于图像的回应,如模因和动画GIF,在对话中作为文化认可的,通常是幽默的回应。然而,虽然NLP已经扩展到多模态模型,但会话对话系统在很大程度上只专注于生成文本回复。在这里,我们介绍了一个新的数据集的1.56M文本GIF的对话轮,并介绍了一个新的多模态会话模型Pepe的国王虾选择基于GIF的答复。我们证明,我们的模型产生相关的和高质量的gif响应,并在一个大型的随机对照试验的多个模型回复真实用户,我们表明,我们的模型回复的gif是显着更好地接受了社会。
2021-09-29 cs.CL cs.CV cs.CY
Multimodal Recommendation Dialog with Subjective Preference: A New Challenge and Benchmark
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出包含12K购物对话的SURE数据集以刻画多模态推荐中的主观偏好与推荐行为,并基于该数据定义三个基准任务及一个由先进多模态模型驱动的基线模型。
2023-05-26 cs.AI cs.CL cs.CV
Outside Knowledge Conversational Video (OKCV) Dataset -- Dialoguing over Videos
Georgia Institute of Technology(佐治亚理工学院);Technical University of Munich(慕尼黑技术大学)
本研究将外部知识视觉问答拓展至视频对话场景,构建了含2017个视频、5986条标注对话的OKCV数据集,评估了多个基线模型并指出未来挑战,数据集已公开。
2025-06-11 cs.AI cs.CL cs.CV
Video Dialog as Conversation about Objects Living in Space-Time
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所);Posts and Telecommunications Institute of Technology(邮电技术学院)
这将是一项技术壮举,能够创建一个系统,可以与人类就他们所观看的内容进行有意义的对话。实现这一目标的设置被呈现为视频对话任务,其中系统被要求在正在进行的对话中响应于问题而生成自然的话语。这项任务提出了巨大的视觉,语言和推理的挑战,不能很容易地克服没有适当的表示方案,支持高层次的推理视频和对话。为了应对这些挑战,我们提出了一个新的以对象为中心的视频对话框架,支持称为COST的神经推理-代表关于时空中对象的对话。在这里,视频中的动态时空视觉内容首先被解析成对象轨迹。给定此视频抽象,COST维护并跟踪对象关联的对话状态,这些对话状态在接收到新问题时更新。对象的相互作用是动态的,有条件地推断每个问题,这些作为它们之间的关系推理的基础。COST还维护以前的答案的历史,这允许检索相关的以对象为中心的信息,以丰富答案形成过程。然后,考虑到当前话语的上下文、现有对话、当前问题,语言产生以逐步的方式进行。我们在DSTC 7和DSTC 8基准上评估了COST,展示了它对最先进技术的竞争力。
2022-07-08 cs.CV cs.LG
Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation
WeChat AI(微信人工智能);Tencent Inc(腾讯公司)
视觉对话是一项具有挑战性的任务,因为它需要在理解视觉环境的基础上回答一系列连贯的问题。以往的研究多集中于通过隐式地关注空间图像特征或对象层次的图像特征来探索多模态共指,而忽略了在视觉内容中显式地定位对象的重要性,这些对象与文本内容中的实体相关联。因此,本文提出了一种具有{\bf V}视觉{\bf G}舍入的{\bf M}多模态{\bf I}增量{\bf T}变换器,称为MITVG,它由两个关键部分组成:视觉接地和多模态增量Transformer。视觉基础的目的是明确地定位相关的对象在图像中的文本实体的指导下,这有助于模型排除不需要注意的视觉内容。多模态增量式Transformer在视觉接地的基础上,将多轮对话历史与视觉场景相结合,按照对话的先后顺序逐步进行编码,生成上下文一致、视觉连贯的应答。在VisDial v0.9和v1.0数据集上的实验结果证明了该模型的优越性,其性能相当。
2021-09-17 cs.CL cs.CV cs.MM
InfoVisDial: An Informative Visual Dialogue Dataset by Bridging Large Multimodal and Language Models
University of Washington(华盛顿大学);Microsoft Azure AI(微软Azure人工智能部门)
本文构建InfoVisDial视觉对话数据集,通过桥接GIT和GPT-3自动生成信息丰富、多样化的长对话,并人工筛选,提供强基线,推动视觉对话研究。
2023-12-21 cs.AI cs.CV
Uncovering Hidden Connections: Iterative Search and Reasoning for Video-grounded Dialog
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Pengcheng Laboratory(鹏城实验室);School of Computer Science and Technology, Shandong Jianzhu University(山东建筑大学计算机科学与技术学院)
本文提出一种迭代搜索与推理框架,通过文本路径搜索聚合对话核心线索、视觉迭代推理提取关键标记,并结合GPT-2生成视频对话答案,在三个数据集上验证了其有效性与泛化性。
2025-03-12 cs.AI cs.CV
Multi-Modal Video Dialog State Tracking in the Wild
University of Stuttgart(斯图加特大学)
本文提出MST-MIXER视频对话模型,通过多模态状态跟踪、局部潜在图学习与全局图细化增强VLM隐藏状态,在五个基准上取得最优性能。
2024-07-05 cs.CV
Grounding is All You Need? Dual Temporal Grounding for Video Dialog
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学);Singapore Management University(新加坡管理大学)
本文提出双时序Grounding增强视频对话模型DTGVD,通过预测对话轮次特定时序区域并引入列表式对比学习,实现视频与对话时序动态对齐,在AVSD@DSTC-7和AVSD@DSTC-8数据集上表现优越。
2024-11-14 cs.AI cs.CV cs.MM
BiST: Bi-directional Spatio-Temporal Reasoning for Video-Grounded Dialogues
Singapore Management University(新加坡管理大学);Salesforce Research Asia(Salesforce亚洲研究院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
基于视频的对话是非常具有挑战性的,这是由于(i)包含空间和时间变化的视频的复杂性,以及(ii)在多个对话回合中查询视频中的不同片段和/或不同对象的用户话语的复杂性。然而,现有的视频对话方法往往集中在表面的时间层次的视觉线索,但忽略了更细粒度的空间信号从视频。为了解决这个缺点,我们提出了双向时空学习(BiST),这是一种基于文本线索的视频高分辨率查询的视觉语言神经框架。具体来说,我们的方法不仅利用空间和时间级别的信息,但也学习动态信息扩散之间的两个特征空间,通过空间到时间和时间到空间的推理。双向策略的目的是解决不断变化的语义用户查询的对话设置。检索到的视觉线索被用作上下文信息来构造对用户的相关响应。我们的实证结果和全面的定性分析表明,BiST实现了有竞争力的性能,并产生合理的反应,在一个大规模的AVSD基准。我们还调整我们的BiST模型的视频QA设置,并大大优于以前的方法在TGIF-QA基准。
2020-10-20 cs.CL cs.CV cs.LG
Granular Multimodal Attention Networks for Visual Dialog
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
视觉和语言任务从注意力中受益。已经提出了许多不同的注意力模型。然而,需要给予多大程度的关注还没有得到很好的审查。特别是,在这项工作中,我们提出了一种新的方法颗粒多模态注意力,我们的目标是特别解决的问题,在解决视觉对话任务时,需要参加的正确的粒度。所提出的方法在图像和文本注意力网络方面都有改进。然后,我们提出了一个颗粒多模态注意力网络,共同出席的图像和文本颗粒,并显示出最佳的性能。通过这项工作,我们观察到,获得颗粒注意力和进行详尽的多模态注意力似乎是解决视觉对话的最佳方式。
2019-10-13 cs.CL cs.CV cs.LG
Building a Video-and-Language Dataset with Human Actions for Multimodal Logical Inference
Ochanomizu University(御茶水女子大学);The University of Tokyo(东京大学);Keio University(庆应义塾大学)
本文介绍了一个新的视频和语言数据集与人类的行动多模态逻辑推理,重点是有意和方面的表达,描述动态的人类行动。该数据集由200个视频、5,554个动作标签和1,942个动作三元组组成,这些三元组的形式为<subject,predicate,object>,可以转换为逻辑语义表示。该数据集有望用于评估视频和语义复杂的句子(包括否定和量化)之间的多模态推理系统。
2021-06-27 cs.CV
Information-Theoretic Text Hallucination Reduction for Video-grounded Dialogue
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Chung-Ang University(中央大学)
针对视频-grounded对话系统因学习虚假关联产生的文本幻觉问题,提出基于信息论度量的THAM框架,引入THR损失,在两个基准上验证有效且提升可解释性。
2022-12-12 cs.CL cs.CV
Learning Reasoning Paths over Semantic Graphs for Video-grounded Dialogues
Singapore Management University(新加坡管理大学);A*STAR, Institute for Infocomm Research(新加坡科技研究局资讯通信研究院);Salesforce Research Asia(赛富时亚洲研究院)
与传统的视觉问答相比,基于视频的对话需要对对话上下文进行额外的推理,以在多轮设置中回答问题。以前的方法,以视频为基础的对话大多使用对话上下文作为一个简单的文本输入,没有建模的内在信息流在回合级别。在本文中,我们提出了一个新的框架,推理路径对话上下文(PDC)。PDC模型通过对每个问题和回答中的词汇成分构建语义图,发现对话轮之间的信息流。PDC模型然后学习预测这个语义图上的推理路径。我们的路径预测模型预测的路径从当前的回合通过过去的对话回合,包含额外的视觉线索来回答当前的问题。我们的推理模型顺序处理视觉和文本信息通过这个推理路径和传播的功能被用来生成答案。我们的实验结果证明了我们的方法的有效性,并提供了额外的见解模型如何使用语义依赖在对话上下文检索视觉线索。
2022-12-07 cs.AI cs.CL cs.CV
VIGiA: Instructional Video Guidance via Dialogue Reasoning and Retrieval
NOVA LINCS, NOVA School of Science and Technology, Portugal(新大学信息学与计算机科学研究中心,新大学科技学院,葡萄牙)
VIGiA是一种多模态对话模型,通过对话推理和检索处理复杂的教学视频行动计划,实现基于视觉输入和计划的对话理解,优于现有方法,在计划感知的VQA任务中达到90%以上准确率。
2026-03-31 cs.CL cs.CV
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation(日本电信电话株式会社计算机与数据科学实验室)
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统,并且这种系统的代表性任务是视听场景感知对话(AVSD)。大多数传统的AVSD模型采用基于卷积神经网络(CNN)的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息,但全局信息对于提高视频理解也至关重要,因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中,我们应用了基于变换器的视频特征,该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外,我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到,基于transformer的视觉特征对AVSD任务是有益的,因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation
Tencent(腾讯)
提出一个端到端智能体框架,通过训练ScripterAgent将对话转化为精细脚本,并利用DirectorAgent跨场景连续生成策略,实现长程对话到电影视频的连贯生成,显著提升脚本忠实度和时间保真度。
2026-05-27 cs.AI cs.CV
Audio Visual Scene-Aware Dialog (AVSD) Challenge at DSTC7
Georgia Tech(佐治亚理工学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
场景感知对话系统将能够与用户就他们周围的对象和事件进行对话。通过整合多个研究领域的最新技术,包括端到端对话系统、可视对话和视频描述,可以在此类系统上取得进展。我们介绍了视听场景感知对话框(AVSD)的挑战和数据集。在这个挑战中,这是第七届对话系统技术挑战(DSTC 7)研讨会1的一个轨道,任务是建立一个系统,在对话中生成关于输入视频的响应
2018-06-01 cs.CL cs.CV
ZALM3: Zero-Shot Enhancement of Vision-Language Alignment via In-Context Information in Multi-Turn Multimodal Medical Dialogue
PAII Inc.(PAII公司);Ping An Technology(平安科技);Ping An Healthcare and Technology Company Limited(平安医疗健康科技有限公司);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tianjin University(天津大学)
针对在线医疗咨询中患者手机拍摄图像质量差导致视觉-语言对齐下降的问题,提出ZALM3零样本策略,利用前文文本关键词和视觉定位提取感兴趣区域优化对齐,还设计了新评估指标,在三个临床科室实验中验证了有效性。
2024-10-29 cs.CL cs.CV
MicroEmo: Time-Sensitive Multimodal Emotion Recognition with Micro-Expression Dynamics in Video Dialogues
Osaka University(大阪大学)
提出时间敏感模型MicroEmo,通过全局-局部注意力视觉编码器和话语感知视频Q-Former捕捉微表情动力学与上下文依赖,在可解释多模态情感识别任务中验证了有效性。
2024-07-24 cs.CV cs.MM
Building Goal-Oriented Dialogue Systems with Situated Visual Context
Amazon Alexa AI(亚马逊 Alexa AI)
大多数流行的面向目标的对话代理能够理解会话上下文。然而,随着屏幕虚拟助理的激增,下一代代理也需要理解屏幕上下文,以便提供适当的交互体验,并更好地理解用户的目标。在本文中,我们提出了一种新的多模态会话框架,其中的对话代理的下一个动作和他们的参数是共同条件下的会话和视觉上下文。具体来说,我们提出了一个新的模型,可以在对话中的视觉上下文的原因和填充API参数与视觉实体给定的用户查询。我们的模型可以识别视觉特征,如颜色和形状,以及基于元数据的功能,如价格或星级与视觉实体相关联。为了训练我们的模型,由于缺乏合适的多模态会话数据集,我们还提出了一种新的多模态对话模拟器来生成合成数据,并从MTurk收集现实的用户数据,以提高模型的鲁棒性。所提出的模型达到了合理的85%的模型准确度,没有高推理延迟。我们还展示了所提出的方法在一个原型的家具购物体验的多模态虚拟助理。
2021-11-22 cs.CL cs.CV cs.LG
Unified Multimodal Model with Unlikelihood Training for Visual Dialog
Tongji University(同济大学)
视觉对话的任务要求多模态聊天机器人回答人类关于图像内容的顺序问题。先前的工作执行标准似然训练,用于在正面实例(涉及正确答案)上生成答案。然而,似然目标往往导致频繁和沉闷的输出,并未能利用有用的知识,从负面的情况下(涉及不正确的答案)。在本文中,我们提出了一个统一的多模态模型与Unlikeness训练,命名为UniMM-UL,来解决这个问题。首先,为了通过多任务学习来提高视觉对话理解和生成,我们的模型将ViLBERT从只支持答案判别扩展到通过不同的注意力掩码无缝地保持答案判别和答案生成。具体来说,为了使原始的判别模型与答案生成兼容,我们设计了新的生成注意力掩模来实现自回归掩蔽语言建模(自回归MLM)任务。为了减弱似然目标的不利影响,我们利用负面实例的非似然训练,使模型不太可能生成错误的答案。然后,为了利用密集注释,我们采用不同的微调方法来生成和区分答案,而不是像以前的工作那样只区分答案。最后,在VisDial数据集上,我们的模型获得了最好的生成结果(69.23 NDCG得分)。我们的模型在单模型和集成环境中也产生了与最先进水平相当的判别结果(75.92和76.17 NDCG得分)。
2022-11-23 cs.AI cs.CL cs.CV
MSG-BART: Multi-granularity Scene Graph-Enhanced Encoder-Decoder Language Model for Video-grounded Dialogue Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体网络创新中心)
提出MSG-BART方法,通过将多粒度时空场景图整合进编码器-解码器预训练语言模型,并引入多指针网络促进文本与视频间的信息选择,显著提升了视频基础对话生成的性能。
2023-09-26 cs.AI cs.CL cs.CV
Router-Suggest: Dynamic Routing for Multimodal Auto-Completion in Visually-Grounded Dialogs
IIT Kharagpur(印度IIT卡拉格浦大学);Microsoft(微软公司)
Router-Suggest 通过动态路由选择文本模型和 VLMs,提升多模态对话中的自动补全效率和用户满意度。
2026-01-09 cs.AI cs.CL cs.CV
From FiLM to Video: Multi-turn Question Answering with Multi-modal Context
University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院)
理解视听内容和进行信息性对话的能力一直是智能系统的挑战领域。视听场景感知对话(AVSD)挑战,组织为对话系统技术挑战7(DSTC 7)的一个轨道,提出了一个组合任务,其中系统必须回答与视频相关的问题,给出与先前问答对和视频本身的对话。为此,我们提出了一个分层的编码器-解码器模型,计算多模态嵌入的对话上下文。它首先使用两个LSTM嵌入对话历史。我们以规则的间隔提取视频和音频帧,并分别使用预训练的I3 D和VGGish模型计算语义特征。在使用LSTM将这两种模态总结为固定长度的向量之前,我们使用FiLM块将它们置于当前问题的嵌入上,这使我们能够大大降低维度。最后,我们使用一个LSTM解码器,我们用预定的采样进行训练,并使用束搜索进行评估。与AVSD挑战组织者发布的模态融合基线模型相比,我们的模型实现了超过16%的相对改进,得分为0.36 BLEU-4和超过33%,得分为0.997 CIDEr。
2018-12-17 cs.CL cs.CV
Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers
Rutgers University(罗格斯大学);The Chinese University of Hong Kong(香港中文大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
给定一个输入视频,其相关的音频,和一个简短的标题,视听场景感知对话(AVSD)任务需要一个代理沉迷于一个问答对话与人类有关的视听内容。因此,这项任务提出了一个具有挑战性的多模态表示学习和推理的情况下,进步可能会影响几个人机交互应用。为了解决这个问题,我们引入了一个语义控制的多模态混洗Transformer推理框架,由一系列的Transformer模块组成,每个模块以一种模态作为输入,并根据输入问题产生表示。我们提出的Transformer变体在其多头输出上使用了洗牌方案,展示了更好的正则化。为了编码细粒度的视觉信息,我们提出了一种新的动态场景图表示学习管道,包括一个帧内推理层产生的空间语义图表示为每一帧,和帧间聚合模块捕捉时间线索。我们的整个管道都是端到端训练的。我们目前的实验基准AVSD数据集,无论是答案生成和选择任务。我们的研究结果证明了所有评估指标的最先进性能。
2021-03-02 cs.CL cs.CV
LiveChat: Video Comment Generation from Audio-Visual Multimodal Contexts
National Institute of Informatics(情报学研究所)
针对直播视频评论生成的挑战,研究构建了包含438小时视频和320万条评论的大规模Twitch多模态对话数据集,并提出能结合时空事件与对话上下文生成实时评论的多模态模型,初步验证了其有效性。
2023-10-01 cs.AI cs.CV
Knowledge-Based Video Question Answering with Unsupervised Scene Descriptions
Osaka University(大阪大学)
为了理解电影,人们不断地对特定场景中的对话和动作进行推理,并将它们与已经看到的整体故事情节联系起来。受这种行为的启发,我们设计了ROLL,一个基于知识的视频故事问答模型,它利用了电影理解的三个关键方面:对话理解,场景推理和故事情节回忆。在ROLL中,这些任务中的每一个都负责通过1)处理场景对话,2)生成无监督视频场景描述,以及3)以弱监督方式获取外部知识来提取丰富多样的信息。为了正确回答给定的问题,每个启发认知任务产生的信息通过Transformers编码,并通过模态加权机制融合,该机制平衡了来自不同来源的信息。详尽的评估证明了我们的方法的有效性,这产生了一个新的国家的最先进的两个具有挑战性的视频问答数据集:KnowIT VQA和TVQA+。
2020-07-17 cs.CL cs.CV
Speaking Beyond Language: A Large-Scale Multimodal Dataset for Learning Nonverbal Cues from Video-Grounded Dialogues
Yonsei University(延世大学);NC Research, NCSOFT Corporation(NC研究,NCSOFT公司)
本文提出多模态语言模型MARS及大规模视频对话数据集VENUS,通过将文本与向量量化的非语言表示统一训练,使模型能够同时理解并生成语言与非语言线索。
2025-06-01 cs.AI cs.CL cs.CV
Multimodal Transformer with Pointer Network for the DSTC8 AVSD Challenge
Singapore Management University(新加坡管理大学);Institute of Inforcomm Research (I2R), Singapore(信息通信研究院(I2R),新加坡)
视听场景感知对话(AVSD)是视频问答(QA)的扩展,其中要求对话代理生成自然语言响应以解决用户查询并进行对话。这是一项具有挑战性的任务,因为它由多种形式的视频特征组成,包括文本,视觉和音频特征。智能体还需要学习用户话语和系统响应之间的语义依赖关系,以便与人类进行连贯的对话。在这项工作中,我们描述了我们提交的第8届对话系统技术挑战的AVSD轨道。我们采用点积注意力结合输入视频的文本和非文本特征。我们进一步提高了对话代理的生成能力,采用指针网络,以指向令牌从多个源序列在每个生成步骤。我们的系统在自动度量方面实现了高性能,并在所有提交的人工评估中获得第5和第6名。
2020-02-25 cs.CL cs.CV cs.LG
TCT: A Cross-supervised Learning Method for Multimodal Sequence Representation
Didi Chuxing(滴滴出行)
在大多数任务中,多模态提供了比单峰更有前途的性能。然而,有效地从多模态学习表示的语义是极具挑战性的。为了解决这个问题,我们提出了基于Transformer的跨模态翻译器(TCT)学习单峰序列表示通过从其他相关的多模态序列上的监督学习方法进行翻译。将TCT与多模态Transformer Network(MTN)相结合,在基于视频的多模态对话中对MTN-TCT进行了评估。所提出的方法报告了新的国家的最先进的性能视频接地的对话,这表明表示学习TCT更语义相比,直接使用单峰。
2019-10-23 cs.CL cs.CV cs.LG
The Dialog Must Go On: Improving Visual Dialog via Generative Self-Training
Seoul National University(首尔国立大学);AIIS(人工智能与信息科学研究所);NAVER AI Lab(NAVER人工智能实验室);NAVER Cloud CLOVA(NAVER云CLOVA)
可视化对话(VisDial)是一项使用对话历史作为上下文,回答基于图像的一系列问题的任务。先前的工作已经通过监督学习或利用相关视觉和语言数据集的预训练,仅在VisDial数据上训练对话代理。本文提出了一种半监督学习方法,称为生成式自训练(GST),利用未标记的图像在Web上的视觉接地对话。具体而言,GST首先检索域内图像通过分布外检测,并生成合成对话框的图像通过多模态条件文本生成。GST然后在合成和原始VisDial数据上训练对话代理。因此,GST将训练数据的量扩展到VisDial的数量级(1.2M到12.9M QA数据)。对于合成对话框的鲁棒训练,我们还提出了基于困惑的数据选择和多模态一致性正则化。对VisDial v1.0和v0.9数据集的评估表明,GST在两个数据集上都取得了最新的结果。我们进一步观察GST对视觉和文本对抗攻击的鲁棒性。最后,GST在低数据状态下产生了强劲的性能提升。代码可在https://github.com/gicheonkang/gst-visdial上获得。
2023-03-02 cs.CL cs.CV cs.LG
MM-Conv: A Multimodal Dataset and Benchmark for Context-Aware Grounding in 3D Dialogue
KTH Royal Institute of Technology(皇家理工学院)
本文提出了一种多模态数据集和基准,用于在动态3D环境中实现上下文感知的指代解析,通过引入包含6.7小时第一人称VR交互的同步语音、动作、注视和3D场景几何数据的基准,以及一个两阶段的指代解析流水线,改进了对话中的指代解析性能。
2026-05-20 cs.CL cs.CV
Werewolf Among Us: A Multimodal Dataset for Modeling Persuasion Behaviors in Social Deduction Games
Georgia Institute of Technology(佐治亚理工学院);Shanghai Jiao Tong University(上海交通大学);Meta AI;University of Minnesota(明尼苏达大学)
说服力建模是会话代理的关键构建块。现有的这方面的工作仅限于分析语篇对话语料。我们认为,视觉信号也发挥了重要作用,在理解人类的说服行为。在本文中,我们介绍了第一个多模态数据集建模说服行为。我们的数据集包括199个在多人社交推理游戏设置中捕获的对话transanks和视频,26,647个说服策略的话语级别注释,以及推理游戏结果的游戏级别注释。我们提供了大量的实验来展示对话上下文和视觉信号如何有利于说服策略预测。我们还探讨了说服建模的语言模型的泛化能力和说服策略在预测社会推理游戏结果中的作用。我们的数据集、代码和模型可以在https://persuasion-deductiongame.socialai-data.org上找到。
2022-12-16 cs.CL cs.CV cs.LG
VGNMN: Video-grounded Neural Module Network to Video-Grounded Language Tasks
Salesforce Research Asia(Salesforce亚洲研究院);Singapore Management University(新加坡管理大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR))
神经模块网络(NMN)在基于图像的任务中取得了成功,例如合成图像上的视觉问答(VQA)。然而,非常有限的工作NMN已被研究在视频接地的对话任务。这些任务扩展了传统视觉任务的复杂性,增加了视觉时间变化和语言交叉依赖性。受最近NMN方法在图像接地任务的启发,我们引入视频接地神经模块网络(VGNMN)来模拟视频接地语言任务中的信息检索过程作为神经模块的管道。VGNMN首先分解对话中的所有语言组件,以显式地解析任何实体引用并从问题中检测相应的基于动作的输入。检测到的实体和动作被用作参数来实例化神经模块网络并从视频中提取视觉线索。我们的实验表明,VGNMN可以实现具有挑战性的视频接地对话基准以及视频QA基准有前途的性能。
2022-06-12 cs.AI cs.CL cs.CV
End-to-end Generative Pretraining for Multimodal Video Captioning
Google Research(谷歌研究院)
最近的视频和语言预训练框架缺乏生成句子的能力。我们提出了多模态视频生成预训练(MV-GPT),一个新的预训练框架,用于从未标记的视频中学习,可有效地用于生成任务,如多模态视频描述。与最近的视频语言预训练框架不同,我们的框架同时训练多模式视频编码器和句子解码器。为了克服在无标签的视频字幕的缺乏,我们利用未来的话语作为一个额外的文本源,并提出了一个双向的生成目标-我们生成未来的话语给出了目前的多模态上下文,以及目前的话语给出了未来的观察。为此,我们训练了一个端到端的编码器-解码器模型,以直接从原始像素和转录的语音生成字幕。我们的模型在四个标准基准上实现了多模态视频描述的最新性能,以及其他视频理解任务,如VideoQA,视频检索和动作分类。
2022-05-10 cs.AI cs.CL cs.CV
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题,提出基于元学习的动态融合框架MetaMMF,为每个微视频动态生成专属融合函数,在三个基准数据集上优于多个现有模型,还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM