Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows
CMU / MBZUAI DAMO Academy, Alibaba Group（卡内基梅隆大学 / MBZUAI 大学 DAMO 院，阿里巴巴集团）；DAMO Academy, Alibaba Group（DAMO 院，阿里巴巴集团）；Hupan Laboratory（虎盘实验室）
FoleyFlow通过掩码建模和动态条件流实现视频到音频的协调生成，提升语义与节奏一致性。
2026-03-09 cs.AI cs.CV cs.LG
Do sound event representations generalize to other audio tasks? A case study in audio transfer learning
Facebook Reality Labs Research（Facebook Reality Labs 研究院）；Facebook Applied AI Research（Facebook 应用人工智能研究院）
迁移学习对于跨多个相关学习问题的有效信息迁移至关重要。一种简单而有效的迁移学习方法利用在大规模任务上训练的深度神经网络进行特征提取。然后，这些表示用于学习相关的下游任务。在本文中，我们研究了迁移学习能力的音频表示从神经网络训练的大规模声音事件检测数据集。我们通过一个简单的线性分类器传输机制，在广泛的其他音频任务中构建和评估这些表示。我们表明，这种简单的线性传输已经足够强大，可以在下游任务上实现高性能。我们还提供了见解的属性，使这种有效的信息传输的声音事件表示。
2021-06-21 cs.AI cs.SD eess.AS
The Sounds of Home: A Speech-Removed Residential Audio Dataset for Sound Event Detection
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）
本文构建了一个面向老年人智能家居的住宅音频数据集，通过级联预训练音频神经网络自动去除语音片段以保护隐私，同时保留其他声音事件，为家庭场景声音事件检测模型的开发与评测提供基础。
2024-10-04 cs.AI cs.SD eess.AS
Finding Emotions Where They Belong: Rethinking Audio Emotion Recognition through Masked Temporal Affective Grounding
本文提出掩码时间情感锚定（M-TAG）训练目标，将音频情感识别重构为时间情感锚定任务，以解决标签时间模糊问题，并验证了现有模型在此任务上的局限性。
2026-09-29 cs.AI cs.SD eess.AS
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法，通过瓶颈Transformer降低跨模态融合复杂度，并结合自监督目标与掩码音频片段损失提升学习效率，在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元（BiGRU）使用预训练的音频功能和声音事件检测。一个预训练的神经网络（PANN）被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕，我们从音频片段中提取声音事件，并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明，我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
Structured-Noise Masked Modeling for Video, Audio and Beyond
University of Amsterdam（阿姆斯特丹大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对现有掩码建模多采用随机掩码、忽略模态结构特性的问题，提出基于结构化噪声的掩码方法，通过白噪声滤波生成适配模态特征的掩码，在无额外计算开销的情况下稳定提升视频、音频掩码建模性能。
2026-10-02 cs.AI cs.LG cs.SD
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec（中央理工学院）；IETR（信息与电信研究实验室）；UMR CNRS 6164（法国国家科学研究中心6164号研究单位）
本文提出VQ-MAE-AV自监督多模态模型，通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示，并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
AudioMosaic: Contrastive Masked Audio Representation Learning
School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算机与信息系统学院）；Baskin School of Engineering, University of California, Santa Cruz, USA（加州大学圣克鲁兹分校工程学院）；Institute of Trustworthy Embodied AI, Fudan University, China（复旦大学可信具身人工智能研究所）
AudioMosaic通过结构化时频掩码构建正样本对，提升音频表示学习效果，实现跨数据集和声学条件的强迁移能力，优于生成方法。
2026-05-14 cs.AI cs.LG cs.SD
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University（隆德大学）；Arm（安谋科技）；Sony（索尼）；Tenstorrent
提出将3D声源定位建模为集合到集合回归，用多模态掩码自编码器处理音频和麦克风坐标，重建掩码坐标实现定位，支持任意麦克风数量及缺失数据，在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
MATPAC++: Enhanced Masked Latent Prediction for Self-Supervised Audio Representation Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI， TELECOM 巴黎， 巴黎高等理工学院）
本文提出MATPAC++，通过在MATPAC中集成多选学习来显式建模音频预测模糊性，在AudioSet微调和多个下游任务上取得最先进性能，并在纯音乐训练中实现高效领域专门化。
2025-08-18 cs.AI cs.SD
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
Environmental Sound Recognition using Masked Conditional Neural Networks
University of York（约克大学）
用于声音识别的基于神经网络的体系结构通常是从其他应用领域改编而来的，这些应用领域可能不会利用声音相关的属性。条件神经网络（CLNN）被设计为考虑时间信号中跨帧的关系属性，其扩展掩蔽条件神经网络（MCLNN）在网络中嵌入滤波器组行为，这强制网络在频带而不是频段中学习。此外，它自动探索不同的特征组合，类似于手工制作识别任务的最佳特征组合。我们将MCLNN应用于ESC-10数据集的环境声音。与最先进的卷积神经网络和手工制作的尝试相比，MCLNN实现了具有竞争力的准确性。
2019-04-11 cs.LG cs.SD eess.AS
Masked Latent Prediction and Classification for Self-Supervised Audio Representation Learning
LTCI , Télécom Paris , Institut Polytechnique de Paris（LTCI，Telecom Paris，巴黎理工学院）
本文提出MATPAC方法，通过联合掩码潜在预测与无监督分类两个前置任务学习音频表示，在多个音频分类基准上取得领先结果。
2025-02-17 cs.AI cs.SD
Enhance Temporal Relations in Audio Captioning with Sound Event Detection
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
本文利用声音事件检测（SED）提供的时间戳信息，通过提出时间标签系统，增强音频字幕生成中的时间关系表达，实验证明显著提升了时间关系生成效果。
2024-07-18 cs.SD eess.AS
A dataset for Audio-Visual Sound Event Detection in Movies
University of Southern California（南加州大学）
音频事件检测是一项被广泛研究的音频处理任务，其应用范围从自动驾驶汽车到医疗保健。Audioset等野外数据集推动了这一领域的研究。然而，许多努力通常涉及手动注释和验证，这对于大规模执行来说是昂贵的。电影描绘了各种现实生活和虚构的场景，这使得它们成为挖掘各种音频事件的丰富资源。在这项工作中，我们提出了一个数据集的音频事件称为字幕对齐的电影声音（SAM-S）。我们使用公开的封闭字幕转录自动挖掘超过110 K音频事件从430部电影。我们确定了三个维度来对音频事件进行分类：声音，来源，质量，并提出了产生245种声音的最终分类所涉及的步骤。我们讨论了生成分类法所涉及的选择，并强调了我们数据集中声音的以人为本的性质。我们建立了一个基线性能为34.76%的平均平均精度的音频声音分类，并表明，将视觉信息可以进一步提高性能约5%。数据和代码可在https://github.com/usc-sail/mica-subtitle-aligned-movie-sounds上进行研究
2023-02-14 cs.LG cs.SD eess.AS
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
针对帧级声音事件检测任务，提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程，在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
Contrastive Environmental Sound Representation Learning
University of Cambridge（剑桥大学）；Jomo Kenyatta University of Agriculture and Technology（乔莫·肯雅塔农业技术大学）
环境声音的机器听觉是音频识别领域的重要课题之一。它使机器能够区分不同的输入声音，指导其决策。在这项工作中，我们利用自监督对比技术和浅层1D CNN来提取独特的音频特征（音频表示），而不使用任何显式的annotations.We生成的表示一个给定的音频使用其原始音频波形和频谱图和评估，如果建议的学习者是不可知的类型的音频输入。我们进一步使用典型相关分析（CCA）融合表示从给定的音频的两种类型的输入，并证明了融合的全局特征的结果在鲁棒的表示的音频信号相比，单独的表示。在ESC-50和UrbanSound 8 K上对所提出的技术进行了评估。实验结果表明，该方法能够提取环境音频的大部分特征，在ESC-50和UrbanSound 8 K数据集上分别提高了12.8%和0.9%。
2022-07-18 cs.AI cs.LG cs.SD
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Fictional University（虚构大学）；University of the Imagination（想象大学）
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven（鲁汶大学）
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常，他们在平均教师设置中接受训练，以处理可用数据的异构注释。在这项工作中，我们对改变这些卷积递归神经网络的时间分辨率（可以通过简单地调整其池化操作来完成）如何影响其性能进行了全面的分析。通过使用各种评估指标，我们调查的影响，适应这个设计参数下的几个声音识别的情况下，涉及不同的需求，在时间定位。
2022-09-27 cs.SD eess.AS
VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning
National Engineering Research Center of Speech and Language Information Processing（国家语音及语言信息处理工程技术研究中心）；University of Science and Technology of China（中国科学技术大学）；Microsoft Corporation（微软公司）
本文提出统一跨模态表示学习框架VATLM，通过统一主干网络和模态相关模块处理视觉、语音与文本输入，并利用统一token的掩码预测任务将三种模态整合至共享语义空间，在AVSR和VSR等下游任务上优于AV-HuBERT等模型。
2023-05-19 cs.AI cs.CL cs.CV
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Waseda University（早稻田大学）
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中，发声物体具有大量的种类和不同的外观，在实践中标记所有发声物体是不可能的。这就需要自监督学习，它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像，并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题，提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息，我们的方法训练深度神经网络（DNN）来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明，我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象，包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
Sound2Hap: Learning Audio-to-Vibrotactile Haptic Generation from Human Ratings
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）
Sound2Hap通过人类评分数据驱动的方法，实现了从多样化声音生成感知有意义的触觉振动，提升了音频到触觉的翻译效果。
2026-01-26 cs.HC cs.SD eess.AS
Audiovisual transfer learning for audio tagging and sound event detection
KU Leuven（鲁汶大学）
我们研究了两个声音识别问题的迁移学习的优点，即，音频标记和声音事件检测。采用特征融合，我们调整了一个仅利用频谱声学输入的基线系统，以利用预训练的听觉和视觉特征，这些特征是从为不同任务构建的网络中提取的，并使用外部数据进行训练。我们用这些修改后的模型在视听多标签数据集上进行实验，其中训练分区包含大量未标记的样本和少量具有弱注释的剪辑，指示剪辑级存在10个声音类别，而不指定活动听觉事件的时间边界。对于基于剪辑的音频标记，这种迁移学习方法给予显着的改进。在这种情况下，在音频之上添加视觉模态也被证明是有利的。当涉及到生成音频记录的传输时，预训练特征的好处取决于所需的时间分辨率：对于粗粒度的声音事件检测，它们的实用性仍然值得注意。但是，当需要更细粒度的预测时，由于手头的问题与获得预训练向量的模型目标之间的不匹配，性能增益会大大降低。
2021-06-09 cs.LG cs.SD eess.AS
Masked Conditional Neural Networks for Environmental Sound Classification
University of York（约克大学）
条件神经网络（CLNN）利用声谱图中表示的声音信号的时间序列的性质，并且其变体掩蔽条件神经网络（MCLNN）通过使用二进制掩码在网络的链路上嵌入滤波器组样稀疏性来诱导网络在频带中学习。此外，掩蔽同时自动化不同特征组合的探索，类似于手工制作用于识别任务的特征的最佳组合。我们使用Urbansound8k环境声音数据集评估了MCLNN的性能。此外，我们提出了一个手动记录的声音为铁路和公路交通，YorNoise，调查机器产生的声音具有低频成分之间的混淆率。MCLNN在没有增强的情况下取得了有竞争力的结果，并使用了12%的可训练参数，这些参数是基于Urbansound 8k上最先进的卷积神经网络的等效模型所使用的。我们使用YorNoise扩展了Urbansound8k数据集，实验表明常见的音调属性会影响分类性能。
2019-04-27 cs.LG cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Hierarchical Semantic Correlation-Aware Masked Autoencoder for Unsupervised Audio-Visual Representation Learning
KDDI Research, Inc., Saitama, Japan（KDDI研究所，埼玉，日本）
本文提出HSC-MAE框架，通过三级表示层次强制语义一致性，结合教师-学生架构和多任务学习，提升无监督音频-视觉表示学习效果。
2026-04-05 cs.AI cs.CV cs.MM
Masked Conditional Neural Networks for Automatic Sound Events Recognition
University of York（约克大学）
为除声音之外的应用领域（特别是图像识别）设计的深度神经网络架构在适应声音识别问题时可能无法最佳地利用时频表示。在这项工作中，我们探讨了条件神经网络（CLNN）和掩蔽条件神经网络（MCLNN）的多维时间信号识别。CLNN考虑帧间关系，并且MCLNN在网络的链路上实施系统稀疏性，以实现频带而不是bin中的学习，从而允许网络模仿滤波器组而具有频移不变。掩码还允许同时考虑几种特征组合，这通常是通过详尽的手动搜索手工制作的。我们使用ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络相比，MCLNN使用12%的参数并且没有增强，实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
Classifying Variable-Length Audio Files with All-Convolutional Networks and Masked Global Pooling
Institute for Signal Processing, University of Luebeck（吕贝克大学信号处理研究所）；Graduate School for Computing in Medicine and Life Sciences, University of Luebeck（吕贝克大学医学与生命科学计算研究生院）
在DCASE-2016竞赛中，我们训练了一个具有掩码全局池的深度全卷积神经网络，用于声学场景分类的单标签分类和国内音频标记的多标签分类。我们的网络在声学场景识别的四重交叉验证上实现了84.5%的平均准确率，而提供的基线为72.5%，国内音频标记的平均相等出错率为0.17，而基线为0.21。因此，该网络将基线分别提高了17%和19%。该网络仅由卷积层和一个全局池化层组成，卷积层用于从短时傅立叶变换中提取特征，全局池化层用于组合这些特征。特别地，除了全连接输出层之外，它既不具有全连接层，也不具有丢弃层。
2016-07-11 cs.LG cs.MM cs.NE
A Critical Assessment of Visual Sound Source Localization Models Including Negative Audio
Universitat Pompeu Fabra（庞培法布拉大学）；MARL-IDM, New York University（纽约大学MARL-IDM）
该研究针对现有视觉声源定位模型评估的三大缺陷，构建含三类负样本音频的测试集与指标，发现多数SOTA模型未有效利用音频、判别力不足，无法适配无先验信息的真实场景定位。
2025-01-10 cs.CV cs.SD eess.AS
Audio Simulation for Sound Source Localization in Virtual Evironment
Home Team Science and Technology Agency（内政团队科技局）
提出结合物理声音传播仿真与机器学习的虚拟环境声源定位方法，利用音频 transformer 频谱图缓解数据不足问题，F1 分数达 0.786±0.0136。
2024-04-02 cs.LG cs.SD eess.AS
Sound Event Detection in Multichannel Audio Using Spatial and Harmonic Features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了使用空间和谐波特征结合长短期记忆（LSTM）递归神经网络（RNN）的自动声音事件检测（SED）任务。现实生活中的录音通常有许多重叠的声音事件，使得很难仅用单声道音频来识别。人类听众已经成功地使用音高线索识别重叠声音事件的混合，并利用在他们的耳朵处可用的立体声（多通道）音频信号来空间定位这些事件。传统上，SED系统仅使用单声道音频，出于人类听众的动机，我们建议将其扩展为使用多声道音频。在TUT声音事件检测2016数据库的开发子集上，将所提出的SED系统与最先进的单声道方法进行比较。空间和谐波特征的使用被证明可以提高SED的性能。
2017-06-07 cs.LG cs.SD
MAST: Label-Efficient, Robust, and Generalizable Sound Detection for Biodiversity Monitoring via Masked Audio Pretraining and Self-Training
University of Wisconsin--Madison（威斯康星大学麦迪逊分校）
提出MAST框架，结合掩码音频预训练、对比学习和自训练，在无需额外标注下提升跨域声学检测的鲁棒性，在雨林和鸟类数据集上分别实现+0.22/+0.24和+0.12/+0.10的mAP/F1提升。
2026-09-15 cs.LG cs.SD
Soundata: A Python library for reproducible use of audio datasets
New York University（纽约大学）；Adobe Research（奥多比研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
Soundata是一个Python库，用于以标准化的方式加载和处理音频数据集，消除了在每个项目中编写自定义加载器的需要，并通过提供工具来验证数据的可重复性。它通过允许用户快速下载数据集，以标准化和可复制的方式将其加载到内存中，验证数据集的完整性和正确性等来加快研究流程。Soundata基于mirdata并受到其启发，通过与环境声音，生物声学和语音数据集等合作来补充mirdata。Soundata的创建是为了易于使用，易于贡献，并以灵活的方式提高声音数据集的可重复性和标准化使用。
2021-10-04 cs.DB cs.LG cs.SD
Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；Yonsei University（延世大学）
音频如何描述我们周围的世界？在本文中，我们提出了一种方法，用于从声音生成一个场景的图像。我们的方法解决了处理视觉和声音之间经常存在的巨大差距的挑战。我们设计了一个模型，其工作原理是通过调度每个模型组件的学习过程来关联视听模态，尽管它们存在信息缺口。其核心思想是通过学习将音频与视觉潜在空间对齐来丰富音频特征与视觉信息。我们将输入的音频转换为视觉特征，然后使用预训练的生成器生成图像。为了进一步提高我们生成的图像的质量，我们使用声源定位来选择具有强交叉模态相关性的视听对。我们在VEGAS和VGGSound数据集上获得了比以前方法更好的结果。我们还表明，我们可以通过对输入波形或潜在空间进行简单的操作来控制模型的预测。
2023-03-30 cs.CV cs.MM cs.SD
PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions
研究针对部分音频欺骗检测，提出PC-Mix数据集，解决现有基准差距。构建含真实与部分欺骗环境声音组件并与语音信号混合的音频，建立评估协议与联合学习框架，实验表明匹配条件下训练检测欺骗更有效。
2026-07-14 cs.CL cs.SD
Sounding Video Generator: A Unified Framework for Text-guided Sounding Video Generation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对现有视频生成方法忽略音频的问题，提出统一框架SVG，通过SVG-VQGAN、跨模态注意力及Transformer解码器实现文本引导的有声视频生成，还构建了AudioSetCap数据集，实验验证其性能优于现有方法。
2023-03-29 cs.AI cs.CV cs.MM
Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation
DeepMind；OpenAI
Unison通过显式促进运动、语音和声音模态的协调，解决音频视频生成中模态不一致的问题，提升感知质量和跨模态同步性能。
2026-06-29 cs.CV cs.GR cs.MM
AudioMAE++: learning better masked audio representations with SwiGLU FFNs
Aalborg University, Denmark（奥胡斯大学）；Pioneer Centre for AI, Denmark（人工智能先锋中心）；National and Kapodistrian University of Athens, Greece（希腊雅典国家与卡波迪斯蒂亚纳大学）
本文提出AudioMAE++，通过引入带有门控线性单元的macaron风格transformer块改进音频掩码自编码器，在AudioSet预训练后在10个下游任务上超越现有MAE方法，并展现出优于参数量4倍标准基线的缩放特性。
2025-07-14 cs.AI cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training
Peking University, Shenzhen, China（北京大学深圳）；Zhejiang University, Hangzhou, China（浙江大学杭州）
基于transformer的模型在足够的数据量上训练时可以获得出色的结果和良好的泛化能力。然而，受音频域中可用的有限数据的约束，大多数用于音频任务的基于变换器的模型都是从其他域（例如图像）中的预训练模型进行微调的，这与音频域有显著的差距。其他方法直接在音频域中探索自监督学习方法，但目前在下游任务中表现不佳。在本文中，我们提出了一种新的自监督学习方法，用于基于变换的音频模型，称为掩蔽谱图预测（MaskSpec），从未标记的音频数据（本文中使用的AudioSet）中学习强大的音频表示。我们的方法屏蔽输入频谱图的随机补丁，并使用编码器-解码器架构重建被屏蔽的区域。在不使用额外的模型权重或监督的情况下，多个下游数据集上的实验结果表明，MaskSpec相对于监督方法实现了显着的性能提升，并且优于以前的预训练模型。特别是，我们的最佳模型在AudioSet上达到了0.471（mAP），在OpenMIC 2018上达到了0.854（mAP），在ESC-50上达到了0.982（准确度），在SCV 2上达到了0.976（准确度），在DCASE 2019 Task 1A上达到了0.823（准确度）。
2022-04-27 cs.SD eess.AS
Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Corporation（NTT公司）
最近的通用音频表示在各种音频任务上显示出最先进的性能。这些表示是通过自监督学习方法预先训练的，该方法从输入中创建训练信号。例如，典型的音频对比学习使用输入声音之间的时间关系来创建训练信号，而一些方法使用由数据增强创建的输入视图之间的差异。然而，这些训练信号不提供从完整的输入声音中导出的信息，我们认为这对于描述输入的学习表示来说是次优的。在本文中，我们试图从输入本身学习音频表示作为监督，使用掩蔽频谱图补丁的自动编码的借口任务，掩蔽频谱图建模（MSM，应用于音频频谱图的掩蔽图像建模的变体）。为了实现MSM，我们使用了Masked Autoencoders（MAE），这是一种图像自监督学习方法。MAE学习有效地将少量可见补丁编码为潜在表示，以携带用于重建大量掩蔽补丁的基本信息。在训练时，MAE将输入作为训练信号，使重建误差最小化，从而达到了我们的目标。我们在HEAR 2021 NeurIPS Challenge的评估基准下，使用MAE（MSM-MAE）模型对MSM进行了实验。我们的MSM-MAE模型在15项任务中的7项上的表现优于HEAR 2021挑战赛的结果（例如，CREMA-D上的准确率为73.4%，LibriCount上的准确率为85.8%），同时在其他任务上表现出最佳性能，其中专业模型表现更好。我们还研究了MSM-MAE的设计选择如何影响性能，并对可视化结果进行定性分析，以了解学…
2022-04-26 cs.SD eess.AS
Masked Audio Modeling with CLAP and Multi-Objective Learning
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
针对现有掩码音频建模语义提取能力不足的问题，提出结合CLAP跨模态知识蒸馏与带监督分类分支的多目标学习的方法，显著提升了下游任务性能，在多类音频语音分类任务上达到新SOTA。
2024-01-29 cs.SD eess.AS
Masked Autoregressive Speech Enhancement with Continuous Neural Audio Codec Representations
CentraleSupélec（中央高等电力学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔综合理工学院）；GIPSA-lab（吉普萨实验室）
该研究提出MARSE方法，利用连续NAC表示迭代解码掩码纯净语音帧，可灵活权衡语音增强性能与计算成本。
2026-09-04 cs.AI cs.SD
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
Rethinking Masking Strategies for Masked Prediction-based Audio Self-supervised Learning
Tokyo Metropolitan University（东京 Metropolitan 大学）；NTT Inc.（NTT公司）
本文重新设计音频表示学习中的掩码策略，提出轻量级的dispersion-weighted masking方法，提升音频事件理解性能并减少计算复杂度。
2026-03-25 cs.MM cs.SD eess.AS
Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity
Dolby Laboratories（杜比实验室）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
针对视频转音频生成中同步性与音质难以兼顾的问题，提出MaskVAT模型，结合高质量音频编解码器与序列到序列掩码生成结构，同时实现高同步性、优音质与语义匹配，性能达同期最优水平。
2024-07-15 cs.AI cs.CV cs.SD
OMAR-RQ: Open Music Audio Representation Model Trained with Multi-Feature Masked Token Prediction
Music Technology Group, Universitat Pompeu Fabra（音乐技术组，庞培法布拉大学）
本文提出开源音乐音频表示模型OMAR-RQ，通过掩码标记分类自监督方法在超33万小时音乐数据上训练，在音乐标签、音高估计、和弦识别等多项任务中取得开源自监督模型的最先进性能。
2025-07-04 cs.SD eess.AS
Masked Autoencoders with Multi-Window Local-Global Attention Are Better Audio Learners
Aalborg University（奥尔堡大学）；Pioneer Centre for Artificial Intelligence（先锋人工智能中心）；DTU（丹麦技术大学）；National and Kapodistrian University of Athens（雅典大学）
本研究提出配备多窗口多头注意力模块的多窗口掩码自编码器MW-MAE，通过多窗口注意力建模局部-全局交互，在10项音频下游任务上性能优于标准MAE，能学习更优通用音频表征且缩放特性更佳。
2023-10-01 cs.AI cs.SD eess.AS
Disentangling Dual-Encoder Masked Autoencoder for Respiratory Sound Classification
School of Electronic Science and Engineering（电子科学与工程学院）
针对呼吸音分类中数据稀缺及多源样本导致的域不匹配问题，提出名为DDE-MAE的改进掩码自编码器模型，通过双编码器实现特征解耦，在ICBHI数据集上取得有竞争力的性能。
2025-06-13 cs.SD eess.AS
Contrastive Audio-Visual Masked Autoencoder
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）；IBM Research AI（IBM研究院人工智能部门）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goethe University Frankfurt（法兰克福大学）
本文提出CAV-MAE，将MAE扩展到音视频多模态，并融合对比学习与掩码数据建模，实现完全自监督的联合音视频表示学习，在VGGSound上达到65.9%的新SOTA准确率。
2023-04-11 cs.CV cs.MM cs.SD
MAE-AST: Masked Autoencoding Audio Spectrogram Transformer
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们提出了一个简单而强大的改进，最近的自我监督音频频谱图Transformer（SSAST）模型的语音和音频分类。具体来说，我们利用了SSAST在预训练期间使用非常高的掩蔽率（75%）的见解，这意味着绝大多数自我注意力计算都是在掩码令牌上执行的。我们通过将Masked Autoencoders are Scalable Vision Learners（MAE）的编码器-解码器架构集成到SSAST中来解决这个问题，其中深度编码器仅对未掩蔽的输入进行操作，而浅解码器对编码器输出和掩码令牌进行操作。我们发现，MAE类预训练可以提供3倍的加速和2倍的内存使用减少香草SSAST使用当前的音频预训练策略与普通的模型和输入大小。当对仅使用编码器的下游任务进行微调时，我们发现我们的方法在各种下游任务上的性能优于SSAST。我们进一步对不同的预训练策略进行了全面的评估，并探讨了视觉和听觉领域之间MAE风格预训练的差异。
2022-03-30 cs.AI cs.CL cs.LG
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕是一个跨模态的任务，生成自然语言描述来总结音频剪辑的声音事件。然而，尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集，它提供了声音事件和Audiocaps中提供的字幕之间的对应关系，以及每个声音事件的位置（时间戳）。在此基础上，我们提出了文本到音频接地（TAG）的任务，交互地考虑音频处理和语言理解之间的关系。提供了基线方法，导致事件F1评分为28.3%，复音检测评分（PSDS）为14.7%。
2021-02-23 cs.SD eess.AS
