Reactive Multi-Stage Feature Fusion for Multimodal Dialogue Modeling
National Taiwan University（国立台湾大学）
视觉问答和视觉对话任务在多通道领域中的研究越来越多，越来越多地转向更实用的现实世界场景。一个更具挑战性的任务，视听场景感知对话（AVSD），提出了进一步推进连接音频，视觉和语言的技术，它引入了时间视频信息和提问者和回答者之间的对话交互。本文提出了一种直观的机制，融合功能和注意力在多个阶段，以更好地整合多模态特征，并在实验中证明了其能力。此外，我们将其他任务中的几种最先进的模型应用于AVSD任务，并进一步分析它们在不同任务中的泛化能力。
2019-08-14 cs.CL cs.CV
Can audio-visual integration strengthen robustness under multimodal attacks?
University of Rochester（罗切斯特大学）
在本文中，我们提出了一个系统的研究机器多感官感知攻击。我们使用视听事件识别任务对抗多模态对抗攻击作为代理来研究视听学习的鲁棒性。我们攻击音频，视觉，以及这两种形式，以探索视听整合是否仍然加强感知，以及不同的融合机制如何影响视听模型的鲁棒性。为了解释攻击下的多模态交互，我们学习了一个弱监督声源视觉定位模型来定位视频中的发声区域。为了抵御多模态攻击，我们提出了一种基于视听相异性约束和外部特征存储体的视听防御方法。大量的实验表明，视听模型易受多模态对抗攻击的影响;视听融合不仅不能增强模型的鲁棒性，反而会降低模型的鲁棒性;即使是弱监督的声源视觉定位模型也能被成功欺骗;我们的防御方法可以在不显著牺牲模型性能的情况下提高视听网络的抗毁性。
2021-04-05 cs.CR cs.CV cs.SD
A Survey on Audio Synthesis and Audio-Visual Multimodal Processing
University of Electronic Science and Technology of China（电子科技大学）
随着深度学习和人工智能的发展，音频合成在机器学习领域有着举足轻重的地位，在行业中显示出很强的适用性。与此同时，研究者们也致力于处理多模态任务，如视听多模态处理。在本文中，我们进行了调查，音频合成和视听多模态处理，这有助于了解当前的研究和未来的趋势。本文综述了文本转语音（TTS），音乐生成和一些结合视觉和听觉信息的任务。对相应的技术方法进行了全面的分类介绍，并展望了其未来的发展趋势。本文的研究成果可为音频合成、视听多模态处理等领域的研究者提供一定的指导。
2021-08-01 cs.SD eess.AS
Leveraging Unimodal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Horizon Robotics（地平线机器人）
训练基于transformer的模型需要大量的数据，而在多模态中获得对齐和标记的数据是相当昂贵的，特别是对于视听语音识别（AVSR）。因此，使用未标记的单峰数据非常有意义。另一方面，尽管大规模自监督学习的有效性在音频和视觉模式中都得到了很好的证实，但如何将这些预先训练的模型集成到多模式场景中仍然没有得到充分的探索。在这项工作中，我们成功地利用单峰自监督学习，以促进多模态AVSR。特别是，音频和视觉前端在大规模单峰数据集上进行训练，然后我们将两个前端的组件集成到一个更大的多模态框架中，该框架通过CTC和seq2seq解码的组合学习将并行视听数据识别为字符。我们发现，这两个组件继承自单峰自监督学习合作良好，从而导致多模态框架产生竞争力的结果，通过微调。我们的模型是实验验证的单词级和单词级的任务。特别是，即使没有一个外部的语言模型，我们提出的模型提高了国家的最先进的性能上广泛接受的唇读句子2（LRS 2）数据集的大幅度，相对提高了30%。
2022-03-26 cs.AI cs.CL cs.CV
Deep Multimodal Clustering for Unsupervised Audiovisual Learning
Northwestern Polytechnical University（西北工业大学）
看到的鸟儿鸣叫，运行的汽车伴随着噪音等，这些自然的视听对应提供了探索和了解外部世界的可能性。然而，混合的多个对象和声音使得它难以在无约束环境中执行有效的匹配。为了解决这个问题，我们建议充分挖掘音频和视觉成分，并在它们之间进行精心的对应学习。具体地说，提出了一种新的无监督视听学习模型--\Deep多模态聚类（DMC），该模型利用不同共享空间中卷积映射的多模态向量同步执行聚类集合，以捕获多个视听对应。这种集成的多模态聚类网络可以以端到端的方式有效地训练最大边际损失。在特征评估和视听任务中进行了大量的实验。结果表明，DMC可以学习有效的单峰表示，分类器甚至可以超过人类的表现。此外，DMC在声音定位，多频检测和视听理解方面表现出明显的性能。
2019-04-19 cs.CV cs.MM cs.SD
LLaVAShield: Safeguarding Multimodal Multi-Turn Dialogues in Vision-Language Models
Southeast University（东南大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Zhejiang University of Technology（浙江工业大学）；Tsinghua University（清华大学）；RealAI
LLaVAShield通过构建MMDS数据集和MMRT框架，有效提升多模态多轮对话的安全性，优于现有VLMs和内容审查工具，揭示了主流模型的安全漏洞。
2026-03-10 cs.CV
Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation
WeChat AI（微信人工智能）；Tencent Inc（腾讯公司）
视觉对话是一项具有挑战性的任务，因为它需要在理解视觉环境的基础上回答一系列连贯的问题。以往的研究多集中于通过隐式地关注空间图像特征或对象层次的图像特征来探索多模态共指，而忽略了在视觉内容中显式地定位对象的重要性，这些对象与文本内容中的实体相关联。因此，本文提出了一种具有{\bf V}视觉{\bf G}舍入的{\bf M}多模态{\bf I}增量{\bf T}变换器，称为MITVG，它由两个关键部分组成：视觉接地和多模态增量Transformer。视觉基础的目的是明确地定位相关的对象在图像中的文本实体的指导下，这有助于模型排除不需要注意的视觉内容。多模态增量式Transformer在视觉接地的基础上，将多轮对话历史与视觉场景相结合，按照对话的先后顺序逐步进行编码，生成上下文一致、视觉连贯的应答。在VisDial v0.9和v1.0数据集上的实验结果证明了该模型的优越性，其性能相当。
2021-09-17 cs.CL cs.CV cs.MM
WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research
University of Surrey（萨里大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；The Chinese University of Hong Kong（香港中文大学）；ByteDance（字节跳动）；Peking University（北京大学）
为解决音频-语言多模态数据稀缺问题，我们提出WavCaps，一个含约40万弱标注音频片段的大规模数据集，利用ChatGPT辅助三阶段流程过滤噪声并生成高质量字幕，显著提升下游任务性能。
2024-07-18 cs.CL cs.MM cs.SD
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur（印度理工学院坎普尔分校）；University of Warwick（华威大学）；NEC Labs America（NEC美国实验室）
我们提出了一种视听多模态方法的零拍学习（ZEROSHOT LEARNING）的分类和检索的视频任务。近年来，人们已经对视觉感知进行了广泛的研究，但主要局限于视觉模态和图像。我们证明，音频和视觉方式都是重要的，为视频的OWL。由于目前还没有研究该任务的数据集，因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集，其中包含156，416个视频。我们的经验表明，通过添加音频模态的zeroshot分类和检索的任务，使用嵌入式学习方法的多模态扩展时，性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力，因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力，这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence（人工智能交叉学科项目）；Department of Intelligence and Information（智能与信息系）
针对音频字幕检索仅用单模态音频查询的局限，提出生成辅助多模态查询与渐进式交错音频-文本对学习策略，在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
MAVERIX: Multimodal Audio-Visual Evaluation and Recognition IndeX
MAVERIX是一个用于评估多模态模型音频视觉整合能力的统一基准，通过精心设计的问题展示模型在跨模态理解上的性能，揭示了与人类水平的显著差距。
2025-12-06 cs.AI cs.CV cs.MM
ModalityMirror: Improving Audio Classification in Modality Heterogeneity Federated Learning with Multimodal Distillation
University of Southern California（南加利福尼亚大学）
针对多模态联邦学习中客户端模态异构导致音频等次要模态性能不佳的问题，提出ModalityMirror框架，通过模态级FL聚合与多模态客户端上的联邦知识蒸馏两阶段训练，显著提升了视频缺失场景下的音频分类性能。
2024-08-28 cs.AI cs.SD eess.AS
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）
本文提出音频共同性描述方法，旨在增强多模态大语言模型中音频与文本的跨模态理解，通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
3MDBench: Medical Multimodal Multi-agent Dialogue Benchmark
Sber AI Lab（Sber AI实验室）；HSE University（俄罗斯高等经济大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与系统问题研究所可信人工智能研究中心）
针对LVLMs在远程医疗复杂咨询中的能力未充分探索问题，提出3MDBench基准框架，通过患者智能体和评估智能体模拟多模态多智能体对话，提升诊断准确性和对话质量，为LVLM驱动的远程医疗评估提供支持。
2025-11-01 cs.CL cs.HC cs.MA
Accommodating Audio Modality in CLIP for Multimodal Processing
Renmin University of China（中国人民大学）
多通道处理最近引起了人们的广泛关注，特别是随着预训练的成功。然而，探索主要集中在视觉语言预训练上，因为引入更多的模态会使模型设计和优化变得非常复杂。在本文中，我们扩展了最先进的视觉语言模型CLIP，以适应视觉语言音频多模态处理的音频模态。具体而言，我们应用模态间和模态内对比学习来探索音频与其他模态之间的相关性以及音频模态的内部特征。此外，我们进一步设计了一个音频类型令牌，动态学习不同的音频信息类型，为不同的场景，因为语言和非语言的异构信息在一般的音频传达。我们提出的CLIP 4VLA模型在不同的下游任务中进行了验证，包括视频检索和视频描述，并在MSR-VTT，VATEX和Audiocaps的基准数据集上实现了最先进的性能。
2023-03-12 cs.CV
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Knowledge-Decoupled Synergetic Learning: An MLLM based Collaborative Approach to Few-shot Multimodal Dialogue Intention Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
针对少样本多模态对话意图识别中多任务学习引发的跷跷板效应与知识干扰问题，提出知识解耦协同学习（KDSL）框架，通过大小多模态大语言模型协同预测，在两个Taobao数据集上F1分数提升超6.28%。
2025-03-06 cs.AI cs.CL
A Source-Grounded Framework for Constructing and Evaluating Progressive Multimodal Diagnostic Dialogues from Clinical Case Reports
Weill Cornell Medicine（威尔康奈尔医学院）
该研究提出基于来源的框架用于构建渐进式多模态诊断对话，并评估MLLMs的诊断推理能力，实验显示所提框架转换病例报告的参考对话表现优异，而前沿MLLMs的相关指标显著更低。
2026-08-25 cs.CL
CoAVT: A Cognition-Inspired Unified Audio-Visual-Text Pre-Training Model for Multimodal Processing
ByteDance（字节跳动）
本文提出受认知启发的CoAVT模型，通过联合音频-视觉编码器、文本编码器和查询编码器，结合三模态对齐与双模态对齐，在多模态预训练中取得AudioCaps、AudioSet和VGGSound等任务上的最先进性能。
2024-02-21 cs.MM cs.SD eess.AS
MDSEval: A Meta-Evaluation Benchmark for Multimodal Dialogue Summarization
AWS AI Labs（AWS人工智能实验室）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）
针对多模态对话摘要领域缺乏可靠元评估基准的问题，该研究提出首个MDS元评估基准MDSEval，设计跨模态MEKI过滤框架保障数据质量，首次形式化MDS专属评估维度，基准测试揭示了现有评估方法的局限性。
2025-10-02 cs.AI cs.CL
V$^2$Dial: Unification of Video and Visual Dialog via Multimodal Experts
University of Stuttgart（斯图加特大学）；TU Darmstadt（达姆施塔特工业大学）
本文提出 V$^2$Dial，利用专门多模态专家及匹配、对比学习统一图像与视频对话，并在 AVSD、VisDial 的四个基准上取得零样本和微调 SOTA。
2025-03-14 cs.CV
CAT: Enhancing Multimodal Large Language Model to Answer Questions in Dynamic Audio-Visual Scenarios
Great Bay University（大湾区大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of Oxford（牛津大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对动态视听场景下多模态大语言模型回答易歧义、难定位具体事件的问题，提出CAT框架，通过线索聚合、AVinstruct数据集训练及歧义感知偏好优化提升性能，在AVQA等任务上优于现有方法。
2024-03-07 cs.CV
Audio Visual Scene-Aware Dialog (AVSD) Challenge at DSTC7
Georgia Tech（佐治亚理工学院）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
场景感知对话系统将能够与用户就他们周围的对象和事件进行对话。通过整合多个研究领域的最新技术，包括端到端对话系统、可视对话和视频描述，可以在此类系统上取得进展。我们介绍了视听场景感知对话框（AVSD）的挑战和数据集。在这个挑战中，这是第七届对话系统技术挑战（DSTC 7）研讨会1的一个轨道，任务是建立一个系统，在对话中生成关于输入视频的响应
2018-06-01 cs.CL cs.CV
HEAR: Hearing Enhanced Audio Response for Video-grounded Dialogue
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Chung-Ang University（中央大学）
针对视频对话系统忽略音频信息的“失聪响应”问题，提出模型无关的HEAR框架，通过选择性关注音频提升系统准确性和可听性，在两个数据集上验证了对多种系统的有效性。
2025-04-13 cs.CL cs.SD eess.AS
Anticipatory Computing Lab（预期计算实验室）；Intel Labs（英特尔实验室）
With the recent advancements in AI, Intelligent Virtual Assistants (IVA) have become a ubiquitous part of every home. Going forward, we are witnessing a confluence of vision, speech and dialog system technologies that are enabling the IVAs to learn audio-visual groundings of utterances and have conversations with users about the objects, activities and events surrounding them. As a part of the 7th Dialog System Technology Challenges (DSTC7), for Audio Visual Scene-Aware Dialog (AVSD) track, We explore `topics' of the dialog as an important contextual feature into the architecture along with ex…
2018-12-20 cs.CL
Exploring Context, Attention and Audio Features for Audio Visual Scene-Aware Dialog
Intel Labs（英特尔研究院）
我们正在见证视觉、语音和对话系统技术的融合，这些技术使IVA能够学习话语的视听基础，并与用户就周围的物体、活动和事件进行对话。视觉接地技术和音频理解的最新进展使机器能够理解共享的语义概念并倾听环境中的各种感官事件。通过音频和视觉接地方法，端到端的多模态SDS被训练成用自然语言与我们进行有意义的交流，了解我们周围真实的动态视听感官世界。在这项工作中，我们探讨的作用，“主题”的背景下，随着多模态注意到这样一个端到端的视听场景感知对话系统架构的对话。我们还将端到端音频分类ConvNet，AclNet纳入我们的模型。我们开发和测试我们的方法上的视听场景感知对话（AVSD）数据集发布的DSTC 7的一部分。我们提出了我们的实验分析，并表明，我们的一些模型的变化优于基线系统发布的AVSD。
2019-12-20 cs.CL
DiaDem: Advancing Dialogue Descriptions in Audiovisual Video Captioning for Multimodal Large Language Models
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别新实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Peking University（北京大学）；Nanjing University（南京大学）
DiaDem通过合成高质量数据集和难度分区的两阶段GRPO策略，提升了音频视频字幕中的对话描述准确性，并在多种基准测试中表现出色。
2026-01-27 cs.CL
TMT: A Transformer-based Modal Translator for Improving Multimodal Sequence Representations in Audio Visual Scene-aware Dialog
Didi Chuxing（滴滴出行）
视听场景感知对话（AVSD）是一个在讨论给定视频时生成响应的任务。先前的最先进模型使用基于Transformer的架构显示了此任务的卓越性能。然而，在学习更好地表示模态方面仍然存在一些限制。受神经机器翻译（NMT）的启发，本文提出了基于转换器的模态翻译器（TMT），通过有监督的方式将源模态序列翻译成相关的目标模态序列，从而学习源模态序列的表示。在多模态Transformer网络（MTN）的基础上，将TMT应用于视频和对话，提出了基于视频的对话系统MTN-TMT。在对话系统技术挑战赛7的AVSD赛道上，MTN-TMT在视频和文本任务以及纯文本任务中的表现优于MTN和其他提交模型。与MTN相比，MTN-TMT在所有指标上都有改善，尤其是在CIDER上的相对改善高达14.1%。索引术语：多模态学习、视听场景感知对话、神经机器翻译、多任务学习
2020-10-21 cs.CL
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation（日本电信电话株式会社计算机与数据科学实验室）
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统，并且这种系统的代表性任务是视听场景感知对话（AVSD）。大多数传统的AVSD模型采用基于卷积神经网络（CNN）的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息，但全局信息对于提高视频理解也至关重要，因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中，我们应用了基于变换器的视频特征，该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外，我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到，基于transformer的视觉特征对AVSD任务是有益的，因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog
Tencent Inc（腾讯公司）；Chinese Academy of Sciences（中国科学院）；Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
视听场景感知对话（AVSD）是一项在聊天时生成给定视频的响应的任务，该任务被组织为第八届对话系统技术挑战赛（DSTC 8）的一个轨道。为了解决这个问题，我们提出了一个通用的多模态Transformer，并引入了多任务学习方法来学习不同模态之间的联合表示，以及生成信息丰富和流畅的响应。该方法将自然语言生成预训练模型扩展到多模态对话生成任务。我们的系统在客观和主观评价中都取得了最好的成绩。
2020-02-01 cs.CL
Context-Aware Multimodal Claim Verification in Spoken Dialogues
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Sheffield（谢菲尔德大学）
提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。
2026-09-24 cs.CL cs.SI
Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog
University of California, Davis（加利福尼亚大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
创建一个能够理解视觉和语言的智能对话系统是人工智能（AI）的最终目标之一~ \cite{winograd1972understanding}。广泛的研究集中在视觉到语言生成，然而，有限的研究已经触及到这两种模式结合在一个目标驱动的对话上下文。我们提出了一个多模态层次强化学习框架，动态集成视觉和语言的面向任务的视觉对话。该框架联合学习多模态对话状态表示和分层对话策略，以提高对话任务的成功率和效率。我们还提出了一种新的技术，状态自适应，在对话状态表示集成上下文感知。我们在一个图像猜测游戏中评估了所提出的框架和状态自适应技术，并取得了可喜的成果。
2018-05-08 cs.CL
Multimodal Dialogue State Tracking
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））
对话状态跟踪器是对话系统中的一个重要组成部分，用于跟踪对话中的用户目标。然而，对话状态跟踪的研究在很大程度上限于单峰，其中槽和槽值受知识域（例如，具有餐厅名称和价格范围的槽的餐厅域）限制，并且由特定的数据库模式定义。在本文中，我们提出了扩展的定义对话状态跟踪多模态。具体来说，我们引入了一种新的对话状态跟踪任务，跟踪视频接地对话中提到的视觉对象的信息。每个新的对话话语可以引入新的视频片段、新的视觉对象或新的对象属性，并且需要状态跟踪器来相应地更新这些信息槽。我们创建了一个新的合成基准，并设计了一个新的基线，视频对话Transformer网络（VDTN），这项任务。VDTN结合了对象级特征和段级特征，并学习视频和对话之间的上下文依赖关系，以生成多模态对话状态。我们优化了VDTN的状态生成任务，以及一个自我监督的视频理解任务，恢复视频片段或对象表示。最后，我们训练VDTN在响应预测任务中使用解码的状态。结合全面的消融和定性分析，我们发现了构建更强大的多模态对话系统的有趣见解。
2022-06-16 cs.AI cs.CL cs.CV
SIMMC 2.0: A Task-oriented Dialog Dataset for Immersive Multimodal Conversations
Facebook Reality Labs（Facebook现实实验室）；Facebook AI（Facebook人工智能）
下一代面向任务的对话系统需要理解会话上下文及其感知环境，以有效地帮助用户在现实世界中的多模态环境。现有的面向任务的对话数据集，旨在虚拟援助的不足，并没有在用户的多模态上下文中的对话。为了克服这个问题，我们提出了一个新的数据集，用于情景和交互式多模态对话，SIMMC 2.0，其中包括购物领域中的11K面向任务的用户<->助理对话（117K话语），以沉浸式和照片般逼真的场景为基础。使用两个阶段的流水线收集对话：（1）一种新的多模态对话模拟器生成模拟的对话流，强调交互的多样性和丰富性，（2）手动释义生成的话语，以收集不同的指涉表达。我们对收集的数据集进行了深入分析，并详细描述了我们提出的四个主要基准任务。我们的基线模型由最先进的语言模型提供支持，显示了有希望的结果，并为社区研究提出了新的挑战和方向。
2021-10-20 cs.AI cs.CL
MPCHAT: Towards Multimodal Persona-Grounded Conversation
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
本文提出首个多模态人格对话数据集MPCHAT，将文本与图像结合表征情景记忆，并通过三项任务验证多模态人格能显著提升对话理解性能。
2023-05-27 cs.CL cs.CV
Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models
Monash University（莫纳什大学）
本研究针对音频大语言多模态模型的安全盲区，通过三类场景的红队测试发现多款模型存在显著安全漏洞，并分析了安全错位的潜在原因。
2024-10-31 cs.CL cs.MM cs.SD
An animated picture says at least a thousand words: Selecting Gif-based Replies in Multimodal Dialog
University of Michigan（密歇根大学）
在线对话不仅仅包括文本。越来越多的基于图像的回应，如模因和动画GIF，在对话中作为文化认可的，通常是幽默的回应。然而，虽然NLP已经扩展到多模态模型，但会话对话系统在很大程度上只专注于生成文本回复。在这里，我们介绍了一个新的数据集的1.56M文本GIF的对话轮，并介绍了一个新的多模态会话模型Pepe的国王虾选择基于GIF的答复。我们证明，我们的模型产生相关的和高质量的gif响应，并在一个大型的随机对照试验的多个模型回复真实用户，我们表明，我们的模型回复的gif是显着更好地接受了社会。
2021-09-29 cs.CL cs.CV cs.CY
Multimodal Recommendation Dialog with Subjective Preference: A New Challenge and Benchmark
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出包含12K购物对话的SURE数据集以刻画多模态推荐中的主观偏好与推荐行为，并基于该数据定义三个基准任务及一个由先进多模态模型驱动的基线模型。
2023-05-26 cs.AI cs.CL cs.CV
S3: A Simple Strong Sample-effective Multimodal Dialog System
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
本文提出S3模型，一个基于预训练语言模型、模态编码器和可训练投影器的简单基线，在MMMU和AI Journey Contest 2023上取得接近最先进的结果，证明少量多模态数据即可高效训练多模态对话系统。
2024-06-26 cs.AI cs.CL
Audio-Visual Scene-Aware Dialog and Reasoning using Audio-Visual Transformers with Joint Student-Teacher Learning
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）；The Chinese University of Hong Kong（香港中文大学）
在以前的工作中，我们提出了视听场景感知对话（AVSD）任务，收集了AVSD数据集，开发了AVSD技术，并在第七届和第八届对话系统技术挑战赛（DSTC 7，DSTC 8）上举办了AVSD挑战赛。在这些挑战中，性能最好的系统在很大程度上依赖于人类生成的视频内容描述，这些描述在数据集中可用，但在现实世界的应用程序中不可用。为了促进现实世界应用的进一步发展，我们在DSTC 10上提出了第三个AVSD挑战，其中有两个修改：1）人类创建的描述在推理时不可用，2）系统必须通过从视频中找到证据来支持每个答案来演示时间推理。本文介绍了新的任务，包括时间推理和我们的新扩展的AVSD数据集的DSTC 10，我们收集了人类生成的时间推理数据。我们还介绍了一个使用AV转换器构建的基线系统，该系统与新数据集一起发布。最后，本文介绍了一个新的系统，扩展了我们的基线系统与注意力多模态融合，联合学生-教师学习（JSTL），模型组合技术，实现国家的最先进的性能的AVSD数据集DSTC 7，DSTC 8，和DSTC 10。我们还提出了两种时间推理方法AVSD：一个基于注意力，和一个基于时域区域建议网络。
2021-10-13 cs.CL
Gated Multimodal Fusion with Contrastive Learning for Turn-taking Prediction in Human-robot Dialogue
JD AI（京东人工智能研究院）；University of Cambridge（剑桥大学）
话轮转换是构建人机对话系统的重要环节，其目的是决定下一个说话者何时开始说话。先前的研究表明，多模态线索可以促进这一具有挑战性的任务。然而，由于公共多模式数据集的缺乏，当前的方法大多仅限于利用单模式特征或简单化的多模式集成模型。此外，真实场景中固有的类不平衡性，如以短暂停顿结尾的句子大多被认为是话轮结束，也给话轮转换决策带来了很大的挑战。在本文中，我们首先收集了一个大规模的话轮转换注释语料库，其中包含5,000多个真实的语音和文本形式的人机对话。然后，一种新的门控多模态融合机制的设计，无缝地利用各种信息的话轮转换预测。更重要的是，为了解决数据不平衡的问题，我们设计了一个简单而有效的数据增强方法来构建没有监督的负实例，并应用对比学习来获得更好的特征表示。进行了大量的实验，结果表明，我们的模型在几个国家的最先进的基线的优越性和竞争力。
2022-04-18 cs.AI cs.CL eess.AS
When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue
Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
本研究针对口语对话理解中基于转录本的捷径问题，构建了含501个问题的受控基准ContraTalk，提出Audio Twin智能体式推理框架，可提升冲突问答案例的准确率并减少文本偏向陷阱选择。
2026-09-09 cs.AI cs.CL cs.LG
Granular Multimodal Attention Networks for Visual Dialog
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
视觉和语言任务从注意力中受益。已经提出了许多不同的注意力模型。然而，需要给予多大程度的关注还没有得到很好的审查。特别是，在这项工作中，我们提出了一种新的方法颗粒多模态注意力，我们的目标是特别解决的问题，在解决视觉对话任务时，需要参加的正确的粒度。所提出的方法在图像和文本注意力网络方面都有改进。然后，我们提出了一个颗粒多模态注意力网络，共同出席的图像和文本颗粒，并显示出最佳的性能。通过这项工作，我们观察到，获得颗粒注意力和进行详尽的多模态注意力似乎是解决视觉对话的最佳方式。
2019-10-13 cs.CL cs.CV cs.LG
Multimodal Dialogue State Tracking By QA Approach with Data Augmentation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J Watson Research Center（IBM托马斯·J·沃森研究中心）
最近，一个更具挑战性的状态跟踪任务，音频视频场景感知对话（AVSD），正在引起越来越多的研究人员的关注。与纯文本的对话状态跟踪不同，AVSD中的对话包含一系列关于视频的问答对，并且给定问题的最终答案需要对视频进行额外的理解。本文从开放领域问答的角度对AVSD问题进行了解释，并提出了一个多模态开放领域问答系统来解决该问题。所提出的QA系统使用具有多模态融合和注意力的公共编码器-解码器框架。教师强迫被应用于训练自然语言生成器。我们还提出了一种新的数据增强方法，特别是在QA假设。我们的实验表明，我们的模型和技术带来了显着的改进DSTC 7-AVSD数据集上的基线模型，并展示了我们的数据增强技术的潜力。
2020-07-20 cs.CL
Speech Dialogue with Facial Displays: Multimodal Human-Computer Conversation
人与人之间的面对面对话是人机对话的理想模型。面对面交流的主要特点之一是其多种形式的沟通渠道。为了实现自然的多模态对话，有必要研究人类如何感知信息，并确定人类敏感的信息。面部是一种独立的沟通渠道，它传递情感和会话信号，编码为面部表情。我们已经开发了一个实验系统，集成语音对话和面部动画，探讨在人机对话中引入交际面部表情作为一种新的模态的效果。我们的实验表明，面部表情是有帮助的，特别是在第一次接触系统时。我们还发现，在早期阶段展示面部表情可以改善随后的互动。
1994-06-01 cmp-lg cs.CL
Multimodal Contextual Dialogue Breakdown Detection for Conversational AI Models
Infinitus Systems, Inc.（无限系统公司）
针对对话AI系统的实时对话故障检测需求，尤其是医疗等行业场景的高精度高灵活要求，本文提出融合音频输入与下游NLP文本推理的MultConDB多模态模型，其F1值达69.27，显著优于现有最优模型。
2024-04-11 cs.CL
Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Utrecht University（乌得勒支大学）；Osnabrück University（奥斯纳布吕克大学）
本研究针对视频介导对话，构建基于语音、手势或两者的模型识别指称对象，发现手势可单独预测指称，融合模型在转录模型不确定时效果最佳，还揭示了伙伴可见性对互动的语用效应。
2026-08-11 cs.CL
Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
Singapore Management University（新加坡管理大学）；Institute of Inforcomm Research (I2R)（信息通信研究院）；Salesforce Research Asia（Salesforce亚洲研究院）
开发基于视频的对话系统（VGDS），其中基于给定视频的视觉和音频方面进行对话，比传统的基于图像或文本的对话系统具有更大的挑战性，因为（1）视频的特征空间跨越多个图片帧，使得难以获得语义信息;以及（2）对话代理必须感知和处理来自不同模态（音频、视频、字幕等）的信息。以获得全面的了解。大多数现有的工作都是基于RNN和序列到序列架构，这对于捕获复杂的长期依赖关系（如视频）不是很有效。为了克服这一点，我们提出了多模态Transformer网络（MTN）来编码视频并整合来自不同模态的信息。我们还提出了查询感知注意通过自动编码器提取查询感知功能的非文本模态。我们开发了一个训练过程来模拟令牌级解码，以提高推理过程中生成的响应质量。我们在对话系统技术挑战7（DSTC 7）上获得了最先进的性能。我们的模型也推广到另一个多模态视觉为基础的对话任务，并获得了良好的性能。我们使用PyTorch实现了我们的模型，代码发布在www.example.com上。
2019-07-02 cs.CL
FLM-Audio: Natural Monologues Improves Native Full-Duplex Chatbots via Dual Training
Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院）；Nanyang Technological University, Singapore（南洋理工大学）
FLM-Audio通过双训练策略和连续独白提升全双工聊天机器人的响应质量和体验。
2026-01-30 cs.AI cs.CL cs.SD
A non-hierarchical attention network with modality dropout for textual response generation in multimodal dialogue systems
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent Cloud Xiaowei（腾讯云小微）
现有的基于文本和图像的多模态对话系统使用传统的分层递归编码器-解码器（HRED）框架，其具有用于对话语表示进行建模的话语级编码器和用于对上下文表示进行建模的上下文级编码器。尽管这些研究取得了很好的效果，但仍然面临以下挑战：（1）文本特征和视觉特征之间的交互不够细粒度。(2)上下文表示不能提供上下文的完整表示。为了解决上述问题，我们提出了一个非层次的注意力网络与模态辍学，放弃了HRED框架，并利用注意力模块编码每个话语和建模的上下文表示。为了评估我们提出的模型，我们在一个公共的多模态对话数据集上进行了全面的实验。自动和人工评估表明，我们提出的模型优于现有的方法，并达到最先进的性能。
2021-10-20 cs.CL
M2K-VDG: Model-Adaptive Multimodal Knowledge Anchor Enhanced Video-grounded Dialogue Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作 medianet 创新中心）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出M2K-VDG框架，通过模型自适应的多模态知识锚点增强和反事实效应检测锚点标记，以缓解视频对话生成中的幻觉问题，并在三个基准上验证了其优越性。
2024-02-19 cs.CL
UNITER-Based Situated Coreference Resolution with Rich Multimodal Input
New York University Shanghai（上海纽约大学）
作为第十届对话系统技术挑战赛（DSTC 10）的一部分，我们提出了我们对情景和交互式多模态对话2.0（SIMMC 2.0）数据集的多模态共指消解任务的工作。我们提出了一个基于UNITER的模型，利用丰富的多模态上下文，如文本对话历史，对象知识库和视觉对话场景，以确定是否在当前场景中的每个对象被提到在当前对话轮。结果表明，所提出的方法大大优于官方DSTC 10基线，在开发集上，对象F1分数从36.6%提高到77.3%，证明了所提出的对象表示的有效性。在客体共指消解任务的官方评价中，我们的模型以73.3%的F1得分排名第二。
2021-12-07 cs.AI cs.CL
Common Ground Tracking in Multimodal Dialogue
Colorado State University（科罗拉多州立大学）；Brandeis University（布兰迪斯大学）
本文提出了一种自动识别多模态任务导向对话中共享信念和讨论问题的方法，通过深度神经模型预测构建共同基础的动作，并建立了一个新基准。
2024-03-26 cs.CL
Building Goal-Oriented Dialogue Systems with Situated Visual Context
Amazon Alexa AI（亚马逊 Alexa AI）
大多数流行的面向目标的对话代理能够理解会话上下文。然而，随着屏幕虚拟助理的激增，下一代代理也需要理解屏幕上下文，以便提供适当的交互体验，并更好地理解用户的目标。在本文中，我们提出了一种新的多模态会话框架，其中的对话代理的下一个动作和他们的参数是共同条件下的会话和视觉上下文。具体来说，我们提出了一个新的模型，可以在对话中的视觉上下文的原因和填充API参数与视觉实体给定的用户查询。我们的模型可以识别视觉特征，如颜色和形状，以及基于元数据的功能，如价格或星级与视觉实体相关联。为了训练我们的模型，由于缺乏合适的多模态会话数据集，我们还提出了一种新的多模态对话模拟器来生成合成数据，并从MTurk收集现实的用户数据，以提高模型的鲁棒性。所提出的模型达到了合理的85%的模型准确度，没有高推理延迟。我们还展示了所提出的方法在一个原型的家具购物体验的多模态虚拟助理。
2021-11-22 cs.CL cs.CV cs.LG
