Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能，嘈杂的环境。因此，需要探索一种有效的视听融合策略，以保证视听对齐和模态可靠性。不同于以前的端到端的方法，其中的视听融合进行编码后，每一个模态，在本文中，我们建议将一个专注的融合块到编码过程中。结果表明，在编码器模块中提出的视听融合方法可以丰富视听表示，因为这两种模态之间的相关性被利用。根据基于变换器的架构，我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流，削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明，与现有方法相比，该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
LAVSS: Location-Guided Audio-Visual Spatial Audio Separation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）
本文提出位置引导的音视频空间音频分离器 LAVSS，利用双耳相位差、视觉位置表示、多级跨模态注意力和预训练单声道分离器迁移知识，在 FAIR-Play 数据集上超越现有基准。
2023-10-31 cs.CV cs.MM cs.SD
Audio-Visual Segmentation
Hefei University of Technology（合肥工业大学）；SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Australian National University（澳大利亚国立大学）；Beihang University（北京航空航天大学）；NVIDIA（英伟达）
我们建议探索一个新的问题，称为视听分割（AVS），其中的目标是输出的对象（S），在图像帧的时间产生声音的像素级地图。为了便于这项研究，我们构建了第一个视听分割基准（AVSBench），为可听视频中的发声对象提供像素级注释。该基准测试研究了两种设置：1）具有单个声源的半监督视听分割和2）具有多个声源的全监督视听分割。为了处理AVS问题，我们提出了一种新的方法，使用一个时间像素的视听交互模块注入音频语义作为指导的视觉分割过程。我们还设计了一个正则化损失，以鼓励在训练过程中的视听映射。AVSBench上的定量和定性实验将我们的方法与相关任务的几种现有方法进行比较，表明所提出的方法有希望在音频和像素视觉语义之间建立桥梁。代码可在https://github.com/OpenNLPLab/AVSBench上获得。
2023-02-17 cs.CV cs.MM cs.SD
Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
静态声源产生的声音和移动声源产生的声音之间存在明确的区别，特别是当声源朝向或远离麦克风移动时。在本文中，我们建议使用音频和视觉动力学之间的这种联系，同时解决两个具有挑战性的任务，即：（i）使用视觉线索从混合物中分离音频源，以及（ii）使用分离的音频预测声源的3D视觉运动。为此，我们提出了音频分离器和运动预测器（ASMP）-一个深度学习框架，它利用场景的3D结构和声源的运动来实现更好的音频声源分离。ASMP的核心是一个2.5D场景图，捕捉视频中的各种对象及其伪3D空间邻近度。该图通过将来自2D视频帧的2.5D单眼深度预测配准在一起并将2.5D场景区域与应用于这些帧的对象检测器的输出相关联来构建。ASMP任务然后被数学建模为以下联合问题：（i）递归地将2.5D场景图分割成若干子图，每个子图与输入音频混合中的组成声音（其然后被分离）相关联，以及（ii）从分离的音频预测对应声源的3D运动。为了实证评估ASMP，我们提出了两个具有挑战性的视听数据集，即音频分离在野生（ASIW）和视听事件（AVE）的实验。我们的研究结果表明，ASMP实现了声源分离质量的明显改善，优于先前的作品在两个数据集上，同时也估计的声源的运动方向比其他方法更好。
2022-10-29 cs.CV cs.LG cs.SD
Audio-Visual Synchronisation in the wild
University of Oxford（牛津大学）
在本文中，我们考虑的问题，视听同步适用于视频“在野外”（即一般类超越讲话）。作为一个新的任务，我们识别和策划一个具有高视听相关性的测试集，即VGG-Sound Sync。我们比较了一些基于transformer的架构变体，这些变体专门设计用于对任意长度的音频和视觉信号进行建模，同时显着降低了训练过程中的内存需求。我们进一步对策展数据集进行深入分析，并定义了开放域视听同步的评估指标。我们将我们的方法应用于标准唇读语音基准，LRS 2和LRS 3，在各个方面进行消融。最后，我们在新的VGG-Sound Sync视频数据集中为超过160个不同的类设置了通用视听同步的第一个基准。在所有情况下，我们提出的模型优于以前的国家的最先进的显着保证金。
2021-12-08 cs.CV eess.AS
Can You Hear, Localize, and Segment Continually? An Exemplar-Free Continual Learning Benchmark for Audio-Visual Segmentation
本文提出无示例持续学习基准和ATLAS模型，通过低秩锚定缓解灾难性遗忘，验证了在动态环境下音频视频分割的持续学习能力。
2026-03-09 cs.CV eess.AS
MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection
University of North Texas（北德克萨斯大学）
提出MIS-AVoiDD方法，通过联合模态不变与特定表示解决音视频深度伪造检测中模态差距问题，在FakeAVCeleb和KoDF数据集上分别超越SOTA达17.8%和18.4%的准确率提升。
2023-10-13 cs.AI cs.CV cs.LG
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能，他们建立在一个战略，以处理预定义的条件，限制其应用在复杂的听觉场景。针对鸡尾酒会问题，提出了一种新的视听语音分离模型。在我们的模型中，我们使用人脸检测器来检测场景中说话者的数量，并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力，未知的扬声器，我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法，并使用此功能来协助语音分离。此外，采用时域方法，避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能，我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验，我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
Recurrent Neural Network Transducer for Audio-Visual Speech Recognition
Google Inc., 1600 Amphitheatre Pkwy, Mountain View, CA 94043, USA（美国加利福尼亚州山景城 amphitheatre 大道 1600 号 谷歌公司）；DeepMind, 6 Pancras Square, Kings Cross, London N1C 4AG, UK（英国伦敦国王十字区 pancras 广场 6 号 深度思维）
本文提出了一种基于递归神经网络转换器（RNN-T）结构的大规模视听语音识别系统。为了支持这样一个系统的开发，我们构建了一个从YouTube公共视频中提取的分段话语的大型视听（A/V）数据集，产生了31 k小时的视听训练内容。在两个大词汇量测试集上比较了纯音频、纯视觉和视听系统的性能：一组来自公共YouTube视频的话语片段，称为YTDEV 18和公开可用的LRS 3-TED集。为了突出视觉模态的贡献，我们还评估了我们的系统在YTDEV 18集上的性能，该集被背景噪声和重叠语音人为破坏。据我们所知，我们的系统显着提高了LRS 3-TED集的最先进水平。
2019-11-08 cs.CL cs.CV cs.LG
VGGSound: A Large-scale Audio-Visual Dataset
University of Oxford（牛津大学）；VGG（视觉几何组）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）
我们的目标是使用计算机视觉技术从野外视频中收集具有低标签噪声的大规模视听数据集。由此产生的数据集可用于训练和评估音频识别模型。我们做了三个贡献。首先，我们提出了一个基于计算机视觉技术的可扩展管道，从开源媒体创建音频数据集。我们的管道包括从YouTube获取视频;使用图像分类算法来定位视听对应;以及使用音频验证过滤掉环境噪声。其次，我们使用这个管道来管理VGGSound数据集，该数据集由310个音频类的210 k多个视频组成。第三，我们研究了各种卷积神经网络~（CNN）架构和聚合方法，为我们的新数据集建立音频识别基线。与现有的音频数据集相比，VGGSound确保了视听对应性，并且是在无约束条件下收集的。代码和数据集可在http://www.robots.ox.ac.uk/~vgg/data/vggsound/上获得
2020-09-25 cs.CV cs.SD eess.AS
An Audio-Visual Dataset and Deep Learning Frameworks for Crowded Scene Classification
Austria Institute of Technology（奥地利技术研究院）；University of Essex（埃塞克斯大学）；FPT University（FPT大学）；FPT Software Company Limited（FPT软件有限公司）
本文提出了一种视听场景分类（SC）的任务，输入视频被分为五个现实生活中拥挤的场景之一：“骚乱”，“噪音街”，“烟花事件”，“音乐事件”，和“体育氛围”。为此，我们首先从Youtube（野外场景）收集这五个拥挤的上下文的视听数据集（视频）。然后，提出了广泛的深度学习框架，以独立地部署音频或视觉输入数据。最后，融合从高性能深度学习框架获得的结果，以获得最佳准确度分数。我们的实验结果表明，音频和视觉输入因素独立地有助于SC任务的性能。值得注意的是，探索音频或视觉输入数据的深度学习框架的集合可以达到95.7%的最佳准确率。
2021-12-16 cs.CV cs.LG eess.IV
DAVE: Diagnostic benchmark for Audio Visual Evaluation
KU Leuven（卢森堡大学）
DAVE提出一个诊断基准，通过确保两种模态必要性及分解评估子类，解决多模态模型评估中的视觉偏见问题，提供更精准的模型诊断与改进指导。
2025-12-04 cs.AI cs.CV cs.LG
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences（中国科学院）
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力，以更好地识别。采用长短期记忆递归神经网络（LSTM-RNN）作为主要的分类结构。首先，软注意力机制对齐音频和视频流。其次，添加7个情感嵌入向量，这是对应于每一个分类的情感类型，定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明，本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention
Computer Research Institute of Montreal (CRIM)（蒙特利尔计算机研究所）
本文提出一种基于联合交叉注意力递归融合的视听人物验证方法，通过递归细化联合特征表示并引入BLSTMs增强时间建模，有效捕获模态内与模态间关系，在Voxceleb1数据集上显著提升了融合性能。
2024-04-26 cs.CV cs.SD eess.AS
Audio-Visual Class-Incremental Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出音视频类增量学习场景及AV-CIL方法，通过双音频-视觉相似性约束和视觉注意力蒸馏保持跨模态语义，在三个数据集上显著优于现有方法。
2023-10-15 cs.CV
Audio-Visual Model Distillation Using Acoustic Images
Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）；Università di Verona（维罗纳大学）；Huawei Technologies Ltd.（华为技术有限公司）
在本文中，我们研究了如何学习丰富和强大的特征表示的音频分类从视觉数据和声学图像，一种新的音频数据形态。以前的模型从单个麦克风获取的原始信号或频谱数据中学习音频表示，在分类和检索方面取得了显着的效果。然而，这样的表示对于可变的环境声音条件不是那么鲁棒。我们通过利用混合视听传感器获取的新的多模态标记动作识别数据集来解决这个缺点，该传感器提供RGB视频，原始音频信号和空间化声学数据，也称为声学图像，其中视觉和声学图像在空间上对齐并在时间上同步。利用这些更丰富的信息，我们以师生模式训练音频深度学习模型。特别是，我们从视觉和声学图像教师中提取知识到音频网络中。我们的实验表明，学习到的表示比从仅使用单麦克风音频数据训练的模型中学习到的特征更强大，并且具有更好的泛化能力。
2020-02-11 cs.CV cs.SD eess.AS
TB-AVA: Text as a Semantic Bridge for Audio-Visual Parameter Efficient Finetuning
AI2 Lab, KAIST（AI2实验室，韩国科学技术院）
本文提出利用文本作为语义桥梁，通过冻结音频和视觉编码器构建参数高效微调框架，实现音频与视觉流的文本介导交互，实验表明其在多个基准上取得最佳性能。
2026-05-13 cs.CV
Audio Atlas: Visualizing and Exploring Audio Datasets
ETH Zurich（苏黎世联邦理工学院）
本文提出交互式 Web 应用 Audio Atlas，结合文本-音频对比嵌入、向量数据库与 DeepScatter 二维可视化，支持音频数据集的语义搜索、模式及异常值探索，并开源含多类音频与音乐数据集的初始实现。
2024-11-30 cs.AI cs.SD eess.AS
Measuring Sound Symbolism in Audio-visual Models
本研究调查预训练视听模型是否表现出类似人类的语音象征现象，通过构建专用数据集并在零样本设置下评估，发现模型输出与语音象征模式显著相关，尤其在语音数据训练的模型中，揭示了模型捕捉音义联系的能力。
2024-11-11 cs.CL cs.CV cs.SD
Audio-Visual Exchange-Aware Token Pruning for Efficient Audio-Visual Captioning
University of Science and Technology of China（中国科学技术大学）
提出基于强化学习的AVEX-Prune方法，通过跨模态令牌交换策略选择高置信度令牌，在40%保留率下保持全令牌质量。
2026-06-09 cs.CV
BabelFake: A Multilingual Audio-Visual DeepFake Benchmark
TU Darmstadt（达姆施塔特工业大学）
BabelFake是一个多语言音视频深度伪造基准，包含399k个片段和五种语言，通过模块化管道生成，用于评估检测器性能，发现检测难度受生成配对影响且人类感知与机器检测不一致。
2026-10-09 cs.CV
From Vision to Audio and Beyond: A Unified Model for Audio-Visual Representation and Generation
University of Washington（华盛顿大学）
本文提出统一框架 VAB，通过在潜在空间中进行视觉条件掩码音频 token 预测，同时实现音视频表示学习和视频到音频生成，并在检索与分类任务上取得有竞争力的结果。
2024-09-27 cs.CV cs.LG cs.MM
Role of Audio in Audio-Visual Video Summarization
KUIS-AI Laboratory（KUIS人工智能实验室）
视频摘要吸引了人们的注意力，有效的视频表示，检索和浏览，以缓解量和流量激增的问题。虽然视频摘要大多使用视觉通道进行压缩，但最近的文献中出现了视听建模的好处。来自音频通道的信息可以是视频内容中的视听相关的结果。在这项研究中，我们提出了一个新的视听视频摘要框架集成四种方式的视听信息融合与基于GRU和基于注意力的网络。此外，我们研究了一种新的可解释性方法，使用视听典型相关分析（CCA），以更好地理解和解释音频在视频摘要任务中的作用。在TVSum数据集上的实验评估获得了视听视频摘要的F1分数和Kendall-tau分数的改进。此外，基于视听CCA将TVSum和COGNIMUSE数据集上的视频内容拆分为正相关和负相关视频，与仅音频和视听视频摘要的正相关视频相比，性能得到了很大的提高。
2022-12-02 cs.CV cs.MM cs.SD
AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出AV2AV框架，通过自监督学习统一的视听语音表示并用A2A数据集训练，实现直接从视听语音到视听语音的翻译，结合零样本说话人建模的AV-Renderer并行生成音视频，提升了多语种虚拟会议的对话体验与系统在噪声下的鲁棒性。
2024-03-26 cs.AI cs.CV cs.MM
DETECLAP: Enhancing Audio-Visual Representation Learning with Object Information
LY Corporation
DETECLAP通过引入音视频标签预测损失，利用对象信息增强音视频表示学习，在VGGSound和AudioSet20K上提升检索与分类性能。
2024-09-18 cs.CV cs.MM cs.SD
Weakly-Supervised Audio-Visual Segmentation
CMU（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对音视频分割中像素级掩码标注成本高的问题，提出弱监督框架WS-AVS，通过多尺度多实例对比学习实现多尺度音视频对齐，在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
UAVM: Towards Unifying Audio and Visual Models
Massachusetts Institute of Technology（麻省理工学院）
传统的视听模型具有独立的音频和视频分支。在这项工作中，我们通过设计统一的视听模型（UAVM）来统一音频和视频分支。UAVM在VGGSound上实现了65.8%的最新视听事件分类准确率。更有趣的是，我们还发现了一些有趣的属性UAVM的模态无关的同行没有。
2023-02-16 cs.CV cs.MM cs.SD
AV-SAM: Segment Anything Model Meets Audio-Visual Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对SAM在音频-视觉任务中探索不足的问题，提出AV-SAM框架，通过像素级音视融合聚合跨模态表征生成发声物体掩码，在相关数据集上取得有竞争力的定位与分割性能。
2023-05-03 cs.CV cs.LG cs.MM
Dual-Path Cross-Modal Attention for better Audio-Visual Speech Extraction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
视听目标语音提取的目的是通过观察嘴唇运动从噪声混合物中提取特定说话人的语音，结合时域语音分离模型和视觉特征提取器（CNN）已经取得了重大进展。融合音频和视频信息的一个问题是它们具有不同的时间分辨率。目前的大多数研究沿着时间维度对视觉特征进行上采样，使得音频和视频特征能够在时间上对齐。然而，我们认为嘴唇运动应该主要包含长期或电话级别的信息。基于这一假设，我们提出了一种新的方法来融合视听功能。我们观察到，对于DPRNN \cite{dprnn}，块间维度的时间分辨率可以非常接近视频帧的时间分辨率。与\cite{sepformer}一样，DPRNN中的LSTM被块内和块间自注意力所取代，但在所提出的算法中，块间注意力将视觉特征作为额外的特征流。这可以防止视觉线索的上采样，从而实现更有效的视听融合。实验结果表明，与其他基于时域的音视频融合模型相比，该方法具有更好的融合效果。
2023-03-03 cs.CV cs.LG cs.MM
Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation
Cooperative Medianet Innovation Center（协同媒体网络创新中心）；Shanghai Jiao Tong University（上海交通大学）
针对音频-视觉分割中卷积感受野小和特征融合不足的问题，提出音频感知查询增强Transformer（AuTR），通过多模态Transformer深度融合及音频感知查询解码器，提升分割性能与泛化能力。
2023-07-25 cs.CV cs.LG cs.MM
A Unified Audio-Visual Learning Framework for Localization, Separation, and Recognition
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出统一音视频学习框架 OneAVM，通过共享编码器和三个训练目标联合实现声源定位、分离与识别，并在多个数据集上验证了任务间的正向迁移效果。
2023-05-30 cs.CV cs.LG cs.MM
Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出一种简单轻量的生成式Transformer，在离散VQ-GAN空间中通过掩码去噪训练，实现图像到音频生成，并可直接扩展至音频到图像及联合生成，性能超越现有方法。
2024-05-24 cs.CV cs.LG cs.MM
Audio-visual Generalized Zero-shot Learning the Easy Way
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出EZ-AVGZL框架，通过单一对比损失对齐音频-视觉与文本嵌入，并利用差分优化增强类别判别性，在三个基准上达到最先进性能。
2024-07-18 cs.CV cs.LG cs.MM
Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition
KAIST（韩国科学技术院）；Genesis Lab Inc.（Genesis Lab公司）
本文主要研究设计一个抗噪声的端到端音视频语音识别系统。为此，我们提出了视觉上下文驱动的音频特征增强模块（V-CAFE），以增强输入的嘈杂的音频语音与视听对应的帮助。所提出的V-CAFE的目的是捕捉过渡的嘴唇运动，即视觉上下文，并通过考虑所获得的视觉上下文生成降噪掩模。通过上下文相关的建模，可以细化视位到音素映射中的歧义以用于掩码生成。噪声表示用噪声降低掩模掩蔽，从而产生增强的音频特征。将增强后的音频特征与视觉特征相融合，并将其引入到由Conformer和Transformer组成的编码器-解码器模型中进行语音识别。我们提出的端到端AVSR与V-CAFE可以进一步提高噪声鲁棒性的AVSR。在噪声语音识别和重叠语音识别实验中，使用两个最大的视听数据集，LRS 2和LRS 3的所提出的方法的有效性进行评估。
2022-07-13 cs.AI cs.CV cs.MM
DiffAVA: Personalized Text-to-Audio Generation with Visual Alignment
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出 DiffAVA，一种基于潜在扩散模型且具有视觉对齐的个性化文本到音频生成方法，通过微调轻量级视觉-文本对齐模块并利用多头注意力 Transformer 和双多模态残差网络融合视觉与文本特征，解决了视频音频不同步问题。
2023-05-22 cs.CV cs.LG cs.MM
Estimating Visual Information From Audio Through Manifold Learning
University of British Columbia（不列颠哥伦比亚大学）；Huawei Technologies Canada Co., Ltd（华为技术加拿大有限公司）；University of Victoria（维多利亚大学）
我们提出了一个新的框架提取视觉信息的场景只使用音频信号。基于音频的方法可以克服基于视觉的方法的一些限制，即，它们不需要“视线”，对于遮挡和照明变化是鲁棒的，并且可以在视觉/激光雷达传感器失效的情况下用作备用。因此，基于音频的方法甚至可以用于仅对视觉信息感兴趣的应用程序。我们的框架基于流形学习，由两个步骤组成。首先，我们训练一个矢量量化变分自动编码器来学习我们感兴趣的特定视觉模态的数据流形。其次，我们训练音频转换网络，以将多声道音频信号映射到相应视觉样本的潜在表示。我们表明，我们的方法能够使用公开的音频/视觉数据集从音频中产生有意义的图像。特别是，我们考虑从音频预测以下视觉模态：深度和语义分割。我们希望我们的研究结果可以促进进一步的研究，从音频中的视觉信息抽取。代码可从以下网址获得：https://github.com/ubc-vision/audio_manifold。
2022-09-13 cs.CV cs.MM cs.SD
Learning Visual Styles from Audio-Visual Associations
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从淅淅沥沥的雨声到雪的嘎吱声，我们听到的声音往往传达了场景中出现的视觉纹理。在本文中，我们提出了一种方法来学习视觉风格从未标记的视听数据。我们的模型学习操纵场景的纹理以匹配声音，我们称之为音频驱动的图像风格化。给定一个配对的视听数据集，我们学习修改输入图像，使得在操作之后，它们更有可能与给定的输入声音共同出现。在定量和定性评估中，我们基于声音的模型优于基于标签的方法。我们还表明，音频可以是一个直观的表示操纵图像，调整声音的音量或混合两个声音在一起的结果在可预测的变化，视觉风格。项目网页：https://tinglok.netlify.app/files/avstyle
2022-05-10 cs.CV cs.MM cs.SD
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失，利用音频辅助信息提升视觉语音识别性能，在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention
University of Surrey（萨里大学）；ByteDance（字节跳动）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Southern University of Science and Technology（南方科技大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出视觉感知音频字幕生成方法，通过引入视觉编码器和自适应音视频注意力机制，在AudioCaps数据集上取得了最先进的机器翻译指标结果。
2023-05-29 cs.AI cs.MM cs.SD
AKVSR: Audio Knowledge Empowered Visual Speech Recognition by Compressing Audio Knowledge of a Pretrained Model
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）
本文提出AKVSR框架，通过压缩大规模预训练音频模型的知识为紧凑音频记忆，并利用音频桥接模块匹配特征，在无需音频输入的情况下增强视觉语音识别，在LRS3数据集上取得最优性能。
2024-01-12 cs.CV cs.MM eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
How deep is your encoder: an analysis of features descriptors for an autoencoder-based audio-visual quality metric
University College Dublin（都柏林大学学院）；University of Brasilia（巴西利亚大学）
视听质量评估模型的发展提出了一些挑战，以获得准确的预测。这些挑战之一是模拟音频和视觉刺激的复杂交互，以及人类用户如何解释这种交互。基于深度自动编码器的无参考视听质量度量（NAViDAd）从机器学习的角度处理这个问题。该度量接收两组音频和视频特征描述符，并产生用于预测视听质量的低维特征集。NAViDAd的基本实现能够产生准确的预测，并使用一系列不同的视听数据库进行测试。目前的工作进行消融研究的基础架构的度量。几个模块被删除或使用不同的配置重新训练，以更好地理解度量功能。本研究中提出的结果提供了重要的反馈，使我们能够了解度量体系结构的真正容量，并最终开发出更好的视听质量度量。
2020-03-24 cs.CV cs.LG cs.MM
Audio-visual training for improved grounding in video-text LLMs
PhroneticAI（弗罗内蒂克人工智能公司）
本研究提出一种显式处理音视频输入的模型架构，利用视频指令微调数据训练，证明音频训练能提升响应基础对齐能力，并发布人工标注的音频感知问答基准数据集。
2024-07-21 cs.CL cs.CV cs.MM
Audio-Visual Collaborative Representation Learning for Dynamic Saliency Prediction
Northwestern Polytechnical University（西北工业大学）
动态显著性预测（DSP）任务模拟人类的选择性注意力机制来感知动态场景，在许多视觉任务中具有重要意义和迫切性。现有的方法大多只考虑视觉线索，而忽略了伴随的音频信息，这些信息可以为场景理解提供补充信息。事实上，听觉和视觉线索之间存在很强的联系，人类通常通过协作感知这些线索来感知周围的场景。基于此，本文提出了一种基于DSP任务的视听协同表示学习方法，该方法利用音频模态来辅助视觉模态，从而更好地预测动态显著图。该方法包括三个部分：1）视听编码，2）视听定位，3）协同集成部分。首先，采用改进的SoundNet架构对音频模态进行编码以获得相应的特征，并采用改进的3D ResNet-50架构来学习包含空间位置和时间运动信息的视觉特征。其次，设计了音视频定位部分，通过学习音视频信息之间的对应关系，在视觉场景中定位声源。第三，设计了一个协同集成部分，以自适应地聚合视听信息和中心偏差，然后生成最终的显着图。在六个具有挑战性的视听眼动跟踪数据集上进行了广泛的实验，包括DIEM，AVAD，Coutrot 1，Coutrot 2，SumMe和ETMD，与最先进的DSP模型相比，显示出显着的优越性。
2022-05-02 cs.CV cs.MM
Visually Informed Binaural Audio Generation without Binaural Audios
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
立体声音频，特别是双耳音频，在沉浸式观看环境中起着至关重要的作用。最近的研究已经探索了生成由多声道音频集合监督的视觉引导的立体声音频。然而，由于专业记录设备的要求，现有的数据集在规模和种类上受到限制，这阻碍了监督方法在真实世界场景中的推广。在这项工作中，我们提出了伪双耳，一个有效的管道，是免费的双耳录音。关键的洞察力是用单声道数据仔细构建伪视觉立体声对进行训练。具体来说，我们利用球谐分解和头部相关脉冲响应（HRIR）来识别空间位置和接收到的双耳音频之间的关系。然后在视觉模态中，单声道数据的对应视觉线索被手动放置在声源位置处以形成对。与完全监督的范例相比，我们的无双耳记录管道在跨数据集评估中表现出很大的稳定性，并在主观偏好下实现了相当的性能。此外，结合双耳录音，我们的方法能够进一步提高监督设置下的双耳音频生成的性能。
2021-04-13 cs.CV cs.MM cs.SD
Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；Yonsei University（延世大学）
音频如何描述我们周围的世界？在本文中，我们提出了一种方法，用于从声音生成一个场景的图像。我们的方法解决了处理视觉和声音之间经常存在的巨大差距的挑战。我们设计了一个模型，其工作原理是通过调度每个模型组件的学习过程来关联视听模态，尽管它们存在信息缺口。其核心思想是通过学习将音频与视觉潜在空间对齐来丰富音频特征与视觉信息。我们将输入的音频转换为视觉特征，然后使用预训练的生成器生成图像。为了进一步提高我们生成的图像的质量，我们使用声源定位来选择具有强交叉模态相关性的视听对。我们在VEGAS和VGGSound数据集上获得了比以前方法更好的结果。我们还表明，我们可以通过对输入波形或潜在空间进行简单的操作来控制模型的预测。
2023-03-30 cs.CV cs.MM cs.SD
Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation
The Chinese University of Hong Kong（香港中文大学）
立体声音频是增强人类听觉体验不可或缺的组成部分。最近的研究已经探索了使用视觉信息作为指导来从具有立体声监督的单声道音频生成双耳或立体混响音频。然而，这种完全监督的范例具有固有的缺点：立体声音频的记录通常需要精密的设备，这些设备对于广泛的可访问性来说是昂贵的。为了克服这一挑战，我们建议利用大量可用的单声道数据来促进立体声音频的生成。我们的关键观察是，视觉指示音频分离的任务也将独立的音频映射到其相应的视觉位置，这与立体声音频生成具有类似的目标。我们将立体声生成和声源分离集成到一个统一的框架中，Sep-Stereo，通过将声源分离视为一种特定类型的音频空间化。具体而言，一种新的联想金字塔网络架构，精心设计的视听功能融合。大量的实验表明，我们的框架可以提高立体声音频生成的结果，同时执行准确的声音分离与共享骨干。
2020-07-20 cs.CV cs.MM cs.SD
AdVerb: Visually Guided Audio Dereverberation
University of Maryland, College Park（马里兰大学帕克分校）；Mila（米拉魁北克人工智能研究院）；Université de Montréal（蒙特利尔大学）
该研究提出音视频去混响框架AdVerb，借助几何感知跨模态Transformer利用环境视觉信息生成掩模实现去混响，在多个下游任务及数据集上效果显著优于基线方法。
2023-08-23 cs.CV cs.MM cs.SD
AD-AVSR: Asymmetric Dual-stream Enhancement for Robust Audio-Visual Speech Recognition
Zhengzhou University（郑州大学）；Zhejiang Lab（浙江实验室）；Xi'an Jiaotong University（西安交通大学）
提出基于双向模态增强的视听语音识别框架AD-AVSR，通过音频双流编码、音频感知视觉精炼和跨模态噪声抑制掩蔽模块实现闭环信息流，并采用阈值机制过滤弱相关模态对，在LRS2和LRS3上超越SOTA。
2025-08-11 cs.CV cs.MM cs.SD
Audio-visual scene classification via contrastive event-object alignment and semantic-based fusion
Ghent University（根特大学）
以往的场景分类工作主要基于音频或视觉信号，而人类通过多种感官感知环境场景。最近关于视听场景分类的研究分别对目标数据集上的大规模音频和图像预训练模型进行微调，然后融合音频模型和视觉模型的中间表示，或者在剪辑级别融合两个模型的粗粒度决策。这些方法忽略了视听场景（AVS）中详细的音频事件和视觉对象，而人类通常通过其中的音频事件和视觉对象以及它们之间的一致性来识别不同的场景。为了充分利用AVS中音频事件和视觉对象的细粒度信息，协调音频事件和视觉对象之间的隐含关系，提出了一种基于对比事件-对象对齐（CEOA）和语义融合（SF）的AVSC多分支模型. CEOA旨在通过比较视听事件-对象对之间的差异来对齐学习到的音频事件和视觉对象的嵌入。然后，与某些音频事件相关联的视觉对象，反之亦然，被强调的交叉注意，并进行SF语义级融合。实验结果表明：1）基于CEOA和SF的AVSC模型的性能优于纯音频模型和纯视觉模型，视听结果优于来自单一模态的结果。2)CEOA在细粒度水平上对齐音频事件和相关视觉对象的嵌入，并且SF有效地集成了两者; 3）与其他大规模集成系统相比，即使不使用额外的数据集和数据增强技巧，所提出的模型也显示出具有竞争力的性能。
2022-08-03 cs.MM cs.SD eess.AS
Contrastive Audio-Visual Masked Autoencoder
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）；IBM Research AI（IBM研究院人工智能部门）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goethe University Frankfurt（法兰克福大学）
本文提出CAV-MAE，将MAE扩展到音视频多模态，并融合对比学习与掩码数据建模，实现完全自监督的联合音视频表示学习，在VGGSound上达到65.9%的新SOTA准确率。
2023-04-11 cs.CV cs.MM cs.SD
Coherent Audio-Visual Editing via Conditional Audio Generation Following Video Edits
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
本文提出一种联合音频视觉编辑 pipeline，通过条件音频生成实现视频编辑与音频的协调一致，实验表明其在保持音频视觉一致性方面优于现有方法。
2026-03-16 cs.LG cs.MM cs.SD
Improving Visual Speech Enhancement Network by Learning Audio-visual Affinity with Multi-head Attention
Trinity College Dublin（都柏林圣三一学院）；vivo AI Lab（vivo人工智能实验室）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的有效方法之一。典型的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分利用数据，b）不能有效地平衡视听特征。所提出的模型通过以下方式克服了这些缺点：a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）引入2阶段多头交叉注意（MHCA）机制来推断音频-视觉语音增强，以平衡融合的音频-视觉特征并消除不相关的特征。提出了一种注意力视听多层特征融合模型，在解码器的每一层都采用MHCA单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-06-30 cs.MM cs.SD eess.AS
Mitigating Audiovisual Mismatch in Visual-Guide Audio Captioning
Tencent AI Lab（腾讯AI实验室）；Institute of Automation, Chinese Academy of Sciences（自动化研究所）
针对真实场景中视觉引导音频字幕的视听不匹配问题，提出熵感知门控融合框架与批量视听洗牌技术，有效抑制误导性视觉线索并增强模型鲁棒性，在AudioCaps基准上性能提升且推理速度约快6倍。
2025-05-28 cs.CV cs.MM cs.SD
