AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur(印度理工学院坎普尔分校);University of Bath(巴斯大学)
在本文中,我们提出了一种新的方法,用于多模态环境中的广义零样本学习,其中我们在测试过程中有新的音频/视频类,这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段,通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束,即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近,并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是,即使在测试时缺少模态,我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务,并表明,我们的方法优于其他模型中存在的一个单一的方式,以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
VAInpaint: Zero-Shot Video-Audio inpainting framework with LLMs-driven Module
The Hong Kong University of Science and Technology(香港科学与技术大学)
本文提出VAInpaint框架,通过分割引导视频修复并结合LLM生成的文本查询驱动音频分离,实现零样本音视频联合修复,性能与现有基准相当。
2025-09-21 cs.CV cs.MM cs.SD
Audio-visual scene classification via contrastive event-object alignment and semantic-based fusion
Ghent University(根特大学)
以往的场景分类工作主要基于音频或视觉信号,而人类通过多种感官感知环境场景。最近关于视听场景分类的研究分别对目标数据集上的大规模音频和图像预训练模型进行微调,然后融合音频模型和视觉模型的中间表示,或者在剪辑级别融合两个模型的粗粒度决策。这些方法忽略了视听场景(AVS)中详细的音频事件和视觉对象,而人类通常通过其中的音频事件和视觉对象以及它们之间的一致性来识别不同的场景。为了充分利用AVS中音频事件和视觉对象的细粒度信息,协调音频事件和视觉对象之间的隐含关系,提出了一种基于对比事件-对象对齐(CEOA)和语义融合(SF)的AVSC多分支模型. CEOA旨在通过比较视听事件-对象对之间的差异来对齐学习到的音频事件和视觉对象的嵌入。然后,与某些音频事件相关联的视觉对象,反之亦然,被强调的交叉注意,并进行SF语义级融合。实验结果表明:1)基于CEOA和SF的AVSC模型的性能优于纯音频模型和纯视觉模型,视听结果优于来自单一模态的结果。2)CEOA在细粒度水平上对齐音频事件和相关视觉对象的嵌入,并且SF有效地集成了两者; 3)与其他大规模集成系统相比,即使不使用额外的数据集和数据增强技巧,所提出的模型也显示出具有竞争力的性能。
2022-08-03 cs.MM cs.SD eess.AS
DETECLAP: Enhancing Audio-Visual Representation Learning with Object Information
LY Corporation
DETECLAP通过引入音视频标签预测损失,利用对象信息增强音视频表示学习,在VGGSound和AudioSet20K上提升检索与分类性能。
2024-09-18 cs.CV cs.MM cs.SD
UAVM: Towards Unifying Audio and Visual Models
Massachusetts Institute of Technology(麻省理工学院)
传统的视听模型具有独立的音频和视频分支。在这项工作中,我们通过设计统一的视听模型(UAVM)来统一音频和视频分支。UAVM在VGGSound上实现了65.8%的最新视听事件分类准确率。更有趣的是,我们还发现了一些有趣的属性UAVM的模态无关的同行没有。
2023-02-16 cs.CV cs.MM cs.SD
An Eye for an Ear: Zero-shot Audio Description Leveraging an Image Captioner using Audiovisual Distribution Alignment
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎综合理工学院)
针对音视频模态鸿沟阻碍音频字幕生成的问题,提出通过对齐音频与图像token分布的方法,在不改动原有图像字幕组件的情况下实现无监督零样本音频描述,性能显著优于现有方法。
2024-10-08 cs.CV cs.LG cs.SD
Dense-Localizing Audio-Visual Events in Untrimmed Videos: A Large-Scale Benchmark and Baseline
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);The University of Hong Kong(香港大学);Shandong University(山东大学);Peng Cheng Laboratory(鹏城实验室)
现有的视听事件本地化(AVE)处理手动修剪的视频,每个视频中只有一个实例。然而,这种设置是不现实的,因为自然视频通常包含许多具有不同类别的视听事件。为了更好地适应现实生活中的应用,在本文中,我们专注于密集定位视听事件的任务,其目的是联合定位和识别所有的视听事件发生在一个未修剪的视频。这个问题具有挑战性,因为它需要细粒度的视听场景和上下文理解。为了解决这个问题,我们引入了第一个Untrimmed Audio-Visual(UnAV-100)数据集,其中包含10 K未修剪的视频和超过30 K的视听事件。每个视频平均有2.8个视听事件,这些事件通常彼此相关,并且可能像现实生活场景一样共同发生。接下来,我们使用一个新的基于学习的框架来制定任务,该框架能够完全集成音频和视觉模式,以定位具有各种长度的视听事件,并在一次传递中捕获它们之间的依赖关系。大量的实验证明了我们的方法的有效性以及多尺度跨模态感知和依赖建模的意义。
2023-03-24 cs.CV cs.MM cs.SD
Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
King’s College London(伦敦国王学院)
提出AV-GAS模型,利用音视频分离器从多类别混合音频(声景)生成图像,并引入新的分离任务与评估指标,在VGGSound数据集上超越现有方法,CRS提升7%,R@2*提升4%。
2025-04-25 cs.AI cs.CV cs.MM
Exploiting Audio-Visual Consistency with Partial Supervision for Spatial Audio Generation
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
人的听觉体验是丰富的,耳朵所听到的声音是清晰的.用双耳音频录制的视频特别模拟人类如何接收环境声音。然而,大量视频仅具有单声道音频,这将由于缺乏环境信息而降低用户体验。为了解决这个问题,我们提出了一个音频空间化框架,利用音频和视觉组件之间的关系将单声道视频转换为双耳视频。通过在音频和视觉模态中保持左右一致性,我们的学习策略可以被视为一种自监督学习技术,并在训练期间使用地面真实双耳音频数据来消除对大量视频数据的依赖性。在基准数据集上的实验证实了我们提出的框架在半监督和全监督场景中的有效性,消融研究和可视化进一步支持使用我们的模型进行音频空间化。
2021-05-03 cs.CV cs.MM cs.SD
Zero-Shot Fake Video Detection by Audio-Visual Consistency
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Center for Speech and Language Technologies, BNRist, Tsinghua University(清华大学BNR实验室语音与语言技术中心)
本文提出一种基于音视频内容一致性的零样本伪造视频检测方法,利用预训练ASR和VSR模型识别内容序列并计算编辑距离,实验证明其泛化性和鲁棒性优于主流方法,且融合三种系统决策分数可进一步提升性能。
2024-06-12 cs.MM cs.SD eess.AS
Estimating Visual Information From Audio Through Manifold Learning
University of British Columbia(不列颠哥伦比亚大学);Huawei Technologies Canada Co., Ltd(华为技术加拿大有限公司);University of Victoria(维多利亚大学)
我们提出了一个新的框架提取视觉信息的场景只使用音频信号。基于音频的方法可以克服基于视觉的方法的一些限制,即,它们不需要“视线”,对于遮挡和照明变化是鲁棒的,并且可以在视觉/激光雷达传感器失效的情况下用作备用。因此,基于音频的方法甚至可以用于仅对视觉信息感兴趣的应用程序。我们的框架基于流形学习,由两个步骤组成。首先,我们训练一个矢量量化变分自动编码器来学习我们感兴趣的特定视觉模态的数据流形。其次,我们训练音频转换网络,以将多声道音频信号映射到相应视觉样本的潜在表示。我们表明,我们的方法能够使用公开的音频/视觉数据集从音频中产生有意义的图像。特别是,我们考虑从音频预测以下视觉模态:深度和语义分割。我们希望我们的研究结果可以促进进一步的研究,从音频中的视觉信息抽取。代码可从以下网址获得:https://github.com/ubc-vision/audio_manifold。
2022-09-13 cs.CV cs.MM cs.SD
Learning Visual Styles from Audio-Visual Associations
Tsinghua University(清华大学);University of Michigan(密歇根大学);Shanghai Qi Zhi Institute(上海期智研究院)
从淅淅沥沥的雨声到雪的嘎吱声,我们听到的声音往往传达了场景中出现的视觉纹理。在本文中,我们提出了一种方法来学习视觉风格从未标记的视听数据。我们的模型学习操纵场景的纹理以匹配声音,我们称之为音频驱动的图像风格化。给定一个配对的视听数据集,我们学习修改输入图像,使得在操作之后,它们更有可能与给定的输入声音共同出现。在定量和定性评估中,我们基于声音的模型优于基于标签的方法。我们还表明,音频可以是一个直观的表示操纵图像,调整声音的音量或混合两个声音在一起的结果在可预测的变化,视觉风格。项目网页:https://tinglok.netlify.app/files/avstyle
2022-05-10 cs.CV cs.MM cs.SD
AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
AlignVSR通过音视频跨模态全局注意力对齐与帧级局部对齐损失,利用音频辅助信息提升视觉语音识别性能,在LRS2和CNVSRC.Single数据集上优于主流VSR方法。
2024-10-21 cs.CV cs.MM cs.SD
Siamese Vision Transformers are Scalable Audio-visual Learners
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出音视频孪生网络AVSiam,用单一共享ViT骨干同时处理音频和视觉输入,结合多比例随机掩码的对比预训练,在AudioSet和VGGSound上以更高参数效率取得有竞争力的分类与检索性能。
2024-03-28 cs.CV cs.SD eess.AS
From Vision to Audio and Beyond: A Unified Model for Audio-Visual Representation and Generation
University of Washington(华盛顿大学)
本文提出统一框架 VAB,通过在潜在空间中进行视觉条件掩码音频 token 预测,同时实现音视频表示学习和视频到音频生成,并在检索与分类任务上取得有竞争力的结果。
2024-09-27 cs.CV cs.LG cs.MM
Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
USTC(中国科学技术大学);Alibaba Group(阿里巴巴集团)
针对视听分割中视觉特征主导音频导致模态不平衡的问题,提出AVSAC方法,通过双向视听解码器和逐帧同步策略增强音频线索,实现更均衡的表示学习并达到新基准。
2024-02-06 cs.CV cs.SD eess.AS
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China(中国科学技术大学);iFlytek Research, iFlytek Co., Ltd.(科大讯飞股份有限公司讯飞研究院);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
随着自监督学习在音频和视觉模态的进步,它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别(AVSR)性能,因为多模态输入原则上包含更多有用的信息。在本文中,基于现有的自监督表示学习方法的音频模态,因此,我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性,使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练,该模型能够提取AVSR所需的融合表示。不失一般性,它可以应用于单模态任务,例如,通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态,其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Can audio-visual integration strengthen robustness under multimodal attacks?
University of Rochester(罗切斯特大学)
在本文中,我们提出了一个系统的研究机器多感官感知攻击。我们使用视听事件识别任务对抗多模态对抗攻击作为代理来研究视听学习的鲁棒性。我们攻击音频,视觉,以及这两种形式,以探索视听整合是否仍然加强感知,以及不同的融合机制如何影响视听模型的鲁棒性。为了解释攻击下的多模态交互,我们学习了一个弱监督声源视觉定位模型来定位视频中的发声区域。为了抵御多模态攻击,我们提出了一种基于视听相异性约束和外部特征存储体的视听防御方法。大量的实验表明,视听模型易受多模态对抗攻击的影响;视听融合不仅不能增强模型的鲁棒性,反而会降低模型的鲁棒性;即使是弱监督的声源视觉定位模型也能被成功欺骗;我们的防御方法可以在不显著牺牲模型性能的情况下提高视听网络的抗毁性。
2021-04-05 cs.CR cs.CV cs.SD
Visually-Aware Audio Captioning With Adaptive Audio-Visual Attention
University of Surrey(萨里大学);ByteDance(字节跳动);Xi'an Jiaotong-Liverpool University(西交利物浦大学);Southern University of Science and Technology(南方科技大学);Izmir Katip Celebi University(伊兹密尔卡蒂普·切莱比大学)
本文提出视觉感知音频字幕生成方法,通过引入视觉编码器和自适应音视频注意力机制,在AudioCaps数据集上取得了最先进的机器翻译指标结果。
2023-05-29 cs.AI cs.MM cs.SD
CCStereo: Audio-Visual Contextual and Contrastive Learning for Binaural Audio Generation
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Sony Group Corporation(索尼集团);Sony AI, Sony Group Corporation(索尼人工智能,索尼集团)
提出CCStereo模型,通过音视频条件归一化层和对比学习增强双耳音频生成的空间敏感性,并在FAIR-Play和MUSIC-Stereo基准上取得最先进性能。
2025-08-06 cs.CV cs.SD eess.AS
Improving Visual Speech Enhancement Network by Learning Audio-visual Affinity with Multi-head Attention
Trinity College Dublin(都柏林圣三一学院);vivo AI Lab(vivo人工智能实验室);Hubei University of Chinese Medicine(湖北中医药大学)
视听语音增强系统被认为是分离和增强说话人语音的有效方法之一。典型的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱,并且这些方法a)不足以充分利用数据,b)不能有效地平衡视听特征。所提出的模型通过以下方式克服了这些缺点:a)应用在编码阶段逐层融合音频和视觉特征的模型,并且将融合的音频-视觉特征馈送到每个对应的解码器层,并且更重要的是,b)引入2阶段多头交叉注意(MHCA)机制来推断音频-视觉语音增强,以平衡融合的音频-视觉特征并消除不相关的特征。提出了一种注意力视听多层特征融合模型,在解码器的每一层都采用MHCA单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-06-30 cs.MM cs.SD eess.AS
Weakly-Supervised Audio-Visual Segmentation
CMU(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对音视频分割中像素级掩码标注成本高的问题,提出弱监督框架WS-AVS,通过多尺度多实例对比学习实现多尺度音视频对齐,在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
Schrodinger Audio-Visual Editor: Object-Level Audiovisual Removal
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校);Berkeley AI Research(伯克利人工智能研究);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
本文提出Schrodinger Audio-Visual Editor,通过联合编辑音频和视频实现对象级去除,提升时间同步性和语义对应性。
2025-12-14 cs.CV cs.MM cs.SD
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本研究提出Rhythmic Foley视频转音频合成框架,通过语义对齐与时间同步双适配器及对比音视频预训练编码器,解决音视频不同步和语义丢失问题,提升生成音频质量与可控性,实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
Delayed Bidirectional Alignment via Disentangled Audio Semantics for Audio-Visual Segmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peking University(北京大学)
本文提出DDAVS方法,通过解耦音频语义和延迟双向对齐解决音频视觉分割中的多源纠缠和视听错位问题,实验表明其在多种场景下均取得最优性能。
2026-06-29 cs.CV cs.SD eess.AS
Weakly Supervised Representation Learning for Unsynchronized Audio-Visual Events
Technicolor(特艺集团);LTCI, Télécom ParisTech, Université Paris–Saclay(巴黎-萨克雷大学巴黎高等电信学院LTCI实验室)
视听表示学习是从设计具有理解复杂事件能力的机器的角度来看的重要任务。为此,我们提出了一种新的多模态框架,实例化多个实例学习。我们表明,学习表示是有用的分类事件和本地化其特征的视听元素。该系统仅使用视频级事件标签进行训练,而不使用任何时序信息。我们的方法的一个重要特征是它能够从不同步的视听事件中学习。我们在弱标记音频事件视频的大规模数据集上实现了最先进的结果。局部视觉区域和音频片段的可视化证实了我们系统的功效,特别是在处理特定于模态的线索异步出现的嘈杂情况时。
2018-07-09 cs.CV cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能,他们建立在一个战略,以处理预定义的条件,限制其应用在复杂的听觉场景。针对鸡尾酒会问题,提出了一种新的视听语音分离模型。在我们的模型中,我们使用人脸检测器来检测场景中说话者的数量,并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力,未知的扬声器,我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法,并使用此功能来协助语音分离。此外,采用时域方法,避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能,我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验,我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
A Survey on Audio Synthesis and Audio-Visual Multimodal Processing
University of Electronic Science and Technology of China(电子科技大学)
随着深度学习和人工智能的发展,音频合成在机器学习领域有着举足轻重的地位,在行业中显示出很强的适用性。与此同时,研究者们也致力于处理多模态任务,如视听多模态处理。在本文中,我们进行了调查,音频合成和视听多模态处理,这有助于了解当前的研究和未来的趋势。本文综述了文本转语音(TTS),音乐生成和一些结合视觉和听觉信息的任务。对相应的技术方法进行了全面的分类介绍,并展望了其未来的发展趋势。本文的研究成果可为音频合成、视听多模态处理等领域的研究者提供一定的指导。
2021-08-01 cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California(南加州大学)
本研究基于纯音频SELDnet23模型,在GRU前融合音视频信息,并结合YOLO、DETIC检测器与视听数据增强及合成框架,构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Self-supervised Learning of Audio Representations from Audio-Visual Data using Spatial Alignment
Tampere University(坦佩雷大学)
从视听数据中学习提供了许多可能性来表达音频和视觉内容之间的对应关系,类似于将听觉和视觉信息联系起来的人类感知。在这项工作中,我们提出了一种基于视听空间对齐(AVSA)的自监督表示学习方法,这是一种比视听对应(AVC)更复杂的对齐任务。除了对应关系之外,AVSA还从声学和视觉内容的空间位置中学习。基于360 $^\text{o}$视频和Ambisonics音频,我们提出了使用对象检测来选择视觉对象,并将音频信号波束成形到检测到的对象,尝试学习对象和它们产生的声音之间的空间对准。我们研究了使用空间音频特征来表示音频输入以及不同的音频格式:高保真度立体声、单声道和立体声。实验结果表明,与对数梅尔频谱图特征相比,一阶立体混响强度向量(FOA-IV)的AVSA提高了10 $\%$;添加面向对象的作物也为人类动作识别下游任务带来了显着的性能提高。设计了许多仅音频的下游任务,用于测试学习的音频特征表示的有效性,获得与来自立体混响和双耳音频的声学场景分类的最新方法相当的性能。
2022-06-02 cs.SD eess.AS
Unveiling Visual Biases in Audio-Visual Localization Benchmarks
Renmin University of China(中国人民大学)
该研究发现现有视听源定位(AVSL)基准存在视觉偏差问题,即发声物体易仅靠视觉线索识别,通过检验VGG-SS、EpicSounding-Object两个基准验证了仅视觉模型优于视听基线,指出现有基准需完善以促进视听学习。
2024-08-25 cs.AI cs.MM cs.SD
Quantitative Analysis of Audio-Visual Tasks: An Information-Theoretic Perspective
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文从信息论视角对唇读、音视频语音识别和视觉到语音合成等任务进行定量分析,通过考察不同模态间的信息交集,揭示了任务难点与模态整合的潜在收益。
2024-09-29 cs.CL cs.MM cs.SD
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能,嘈杂的环境。因此,需要探索一种有效的视听融合策略,以保证视听对齐和模态可靠性。不同于以前的端到端的方法,其中的视听融合进行编码后,每一个模态,在本文中,我们建议将一个专注的融合块到编码过程中。结果表明,在编码器模块中提出的视听融合方法可以丰富视听表示,因为这两种模态之间的相关性被利用。根据基于变换器的架构,我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流,削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明,与现有方法相比,该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
Few-Shot Audio-Visual Learning of Environment Acoustics
UT Austin(德克萨斯大学奥斯汀分校);FAIR(Facebook人工智能研究院)
房间脉冲响应(RIR)函数捕捉周围的物理环境如何转换听者听到的声音,并对AR、VR和机器人技术中的各种应用产生影响。而传统的方法来估计RIR假设密集的几何形状和/或整个环境中的声音测量,我们探讨如何推断RIR的基础上,在空间中观察到的图像和回波的稀疏集。为了实现这一目标,我们引入了一种基于变换器的方法,该方法使用自注意力来构建丰富的声学上下文,然后通过交叉注意力来预测任意查询源-接收器位置的RIR。此外,我们设计了一个新的训练目标,提高了RIR预测和目标之间的声学签名的匹配。在实验中使用的国家的最先进的视听模拟器的3D环境中,我们证明,我们的方法成功地产生任意RIR,优于国家的最先进的方法和-在一个主要的背离传统的方法-概括到新的环境中的Few-Shot的方式。项目:http://vision.cs.utexas.edu/projects/fs_rir。
2022-11-24 cs.CV cs.LG cs.SD
Deep Learning Frameworks Applied For Audio-Visual Scene Classification
Austrian Institute of Technology(奥地利技术研究所)
在本文中,我们提出了用于视听场景分类(SC)的深度学习框架,并指出了单个视觉和音频特征及其组合如何影响SC性能。我们在DCASE(IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events)Task 1B开发数据集上进行了大量的实验,在仅音频输入、仅视觉输入和视听输入的情况下,分别实现了82.2%、91.1%和93.9%的最佳分类准确率。从基于音频和基于视觉的框架的集合中获得的最高分类准确率为93.9%,与DCASE基线相比提高了16.5%。
2021-06-12 cs.SD eess.AS
Zero-Shot Audio Captioning via Audibility Guidance
Tel Aviv University(特拉维夫大学)
本文提出一种零样本音频字幕生成方法,通过结合GPT-2、ImageBind和文本分类器,在AudioCap数据集上验证了可听性引导能显著提升性能。
2023-09-07 cs.CL cs.SD eess.AS
Robust Audio-Visual Segmentation via Audio-Guided Visual Convergent Alignment
The University of Queensland(昆士兰大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Matrix Verse AI(矩阵 Verse 人工智能公司);CSIRO Data61(联邦科学与工业研究组织 Data61 部门);Macau University of Science and Technology(澳门科技大学)
针对视听对应歧义和发声状态变化导致的分割错误,提出含AMA与UE模块的框架,通过分组音频引导对齐、对比学习及时空不确定性建模提升分割鲁棒性。
2025-03-17 cs.CV cs.SD
Vision Transformers are Parameter-Efficient Audio-Visual Learners
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出LAVISH适配器,通过向冻结的预训练ViTs注入少量可训练参数并利用潜在token形成注意力瓶颈,高效融合音视频线索,在减少参数和无需音频预训练的情况下实现优异的音视频学习性能。
2023-04-05 cs.CL cs.CV cs.LG
Zero-Shot Audio Captioning Using Soft and Hard Prompts
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);Department of Electronic Systems, Aalborg University(奥尔堡大学电子系统系);Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心)
本文针对传统音频描述生成依赖标注数据且跨域性能差的问题,提出基于CLAP的零样本方法,仅用文本训练,并通过软提示和硬提示缓解模态差异,在AudioCaps和Clotho上取得领先效果。
2024-06-10 cs.SD eess.AS
Coherent Audio-Visual Editing via Conditional Audio Generation Following Video Edits
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
本文提出一种联合音频视觉编辑 pipeline,通过条件音频生成实现视频编辑与音频的协调一致,实验表明其在保持音频视觉一致性方面优于现有方法。
2026-03-16 cs.LG cs.MM cs.SD
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Pay Self-Attention to Audio-Visual Navigation
Tsinghua University(清华大学);EQT(殷拓集团);Xinjiang University(新疆大学)
视听具身导航作为一个热门的研究课题,旨在训练机器人到达音频目标使用自我中心的视觉(来自安装在机器人上的传感器)和音频(从目标发出)输入。视听信息融合策略对导航性能有着重要的影响,但现有的方法仍然只是简单地将视觉和音频信息融合在一起,而忽略了上下文信息的直接影响。此外,现有的方法需要逐阶段训练或额外的辅助(例如拓扑图和声音语义)。到目前为止,处理具有移动目标的更具挑战性的设置的工作仍然很少。因此,我们提出了一个端到端的框架FSAAVN(功能自我注意视听导航)学习追逐移动的音频目标,使用上下文感知的视听融合策略实现的自我注意模块。我们的全面实验验证了FSAAVN与最先进技术相比的卓越性能(定量和定性),并且还提供了关于视觉模态,视觉/音频编码器骨干和融合模式选择的独特见解。
2022-10-05 cs.AI cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT(麻省理工学院);Apple(苹果公司)
本文提出半监督 AV-CPL 框架,利用同一视听模型在有标签和无标签视频上连续生成伪标签,在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Extremely Simple Out-of-distribution Detection for Audio-visual Generalized Zero-shot Learning
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学);Tsinghua University(清华大学)
针对音视频广义零样本学习中的域偏移问题,提出基于分布外检测的EZ-AVOOD方法,无需额外训练OOD网络即可分离已知与未知样本,并在三个数据集上取得SOTA性能。
2025-03-28 cs.CV
MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection
University of North Texas(北德克萨斯大学)
提出MIS-AVoiDD方法,通过联合模态不变与特定表示解决音视频深度伪造检测中模态差距问题,在FakeAVCeleb和KoDF数据集上分别超越SOTA达17.8%和18.4%的准确率提升。
2023-10-13 cs.AI cs.CV cs.LG
Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment
POSTECH(浦项科技大学);KAIST(韩国科学技术院);University of Michigan(密歇根大学);Yonsei University(延世大学)
音频如何描述我们周围的世界?在本文中,我们提出了一种方法,用于从声音生成一个场景的图像。我们的方法解决了处理视觉和声音之间经常存在的巨大差距的挑战。我们设计了一个模型,其工作原理是通过调度每个模型组件的学习过程来关联视听模态,尽管它们存在信息缺口。其核心思想是通过学习将音频与视觉潜在空间对齐来丰富音频特征与视觉信息。我们将输入的音频转换为视觉特征,然后使用预训练的生成器生成图像。为了进一步提高我们生成的图像的质量,我们使用声源定位来选择具有强交叉模态相关性的视听对。我们在VEGAS和VGGSound数据集上获得了比以前方法更好的结果。我们还表明,我们可以通过对输入波形或潜在空间进行简单的操作来控制模型的预测。
2023-03-30 cs.CV cs.MM cs.SD
Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出在音频编码器中引入可训练提示以捕获任务特定声学特征,与文本提示结合提升少样本适应性能,在11个数据集上验证有效性。
2026-06-16 cs.LG cs.MM cs.SD
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance(字节跳动)
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源,但它们难以推广到看不见的源。在本文中,我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的,但弱标记的数据集:AudioSet。首先,我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次,我们设计了一个基于查询的音频分离模型,利用这些数据进行模型训练。第三,我们设计了一个潜在的嵌入处理器来编码查询,指定音频目标分离,允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离,并且仅依赖于弱标记数据进行训练。此外,所提出的音频分离器可以在zero-shot设置中使用,学习分离在训练中从未见过的音频源类型。为了评估分离性能,我们在MUSDB 18上测试了我们的模型,同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型,是从培训。在这两种情况下,该模型都实现了与当前监督模型相当的源失真比(SDR)性能。
2022-02-12 cs.AI cs.LG cs.MM
AKVSR: Audio Knowledge Empowered Visual Speech Recognition by Compressing Audio Knowledge of a Pretrained Model
Electronics and Telecommunications Research Institute (ETRI)(韩国电子通信研究院)
本文提出AKVSR框架,通过压缩大规模预训练音频模型的知识为紧凑音频记忆,并利用音频桥接模块匹配特征,在无需音频输入的情况下增强视觉语音识别,在LRS3数据集上取得最优性能。
2024-01-12 cs.CV cs.MM eess.AS
On the Audio Hallucinations in Large Audio-Video Language Models
LY Corporation
本文构建并标注1,000条音频问答句子以分析大型音频-视频语言模型的音频幻觉,并利用预训练音频-文本模型在零样本与微调设置下完成幻觉分类,微调F1达87.9%。
2024-01-18 cs.CL cs.CV cs.MM
MM-Sonate: Multimodal Controllable Audio-Video Generation with Zero-Shot Voice Cloning
Kuaishou Technology(快手科技)
MM-Sonate通过统一的指令-音素输入实现可控的音频视频联合生成与零样本语音克隆,显著提升唇形同步和语音可懂度,同时保持与专门文本到语音系统的语音克隆保真度。
2026-01-08 cs.AI cs.CV cs.MM
Zero-Shot Cognitive Impairment Detection from Speech Using AudioLLM
University of New South Wales(新南威尔士大学)
本文提出首个使用Qwen2-Audio AudioLLM的零样本语音认知障碍检测方法,通过提示指令分类语音样本,在英语和多语言数据集上达到与监督方法相当的性能,展现出良好的跨语言和跨任务泛化性。
2025-06-20 cs.AI cs.CL cs.MM
AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出AV2AV框架,通过自监督学习统一的视听语音表示并用A2A数据集训练,实现直接从视听语音到视听语音的翻译,结合零样本说话人建模的AV-Renderer并行生成音视频,提升了多语种虚拟会议的对话体验与系统在噪声下的鲁棒性。
2024-03-26 cs.AI cs.CV cs.MM