Apollo: Band-sequence Modeling for High-Quality Audio Restoration
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本文提出高采样率音频修复生成模型 Apollo，通过显式频带分割与频带关系建模，在多比特率和多流派音乐修复中优于 SR-GAN。
2025-01-07 cs.AI cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Phase reconstruction of spectrograms with linear unwrapping: application to audio signal restoration
本文介绍了一种新的技术，用于重建相位的修改频谱的音频信号。从正弦曲线的混合物的分析中，我们获得在时间-频率（TF）域中的连续时间帧的相位之间的关系。为了获得类似的频率关系，特别是在发病帧内，我们研究了脉冲模型。瞬时频率和攻击时间估计本地包含类的非平稳信号，如vibratos。这些技术确保了分音的垂直相干性（在频率上）和水平相干性（在时间上）。该方法进行了测试，各种数据，并表现出更好的性能比传统的基于一致性的方法。我们还介绍了一个音频恢复框架，并观察到我们的技术优于传统方法。
2016-05-24 cs.SD
VRDMG: Vocal Restoration via Diffusion Posterior Sampling with Multiple Guidance
Sony（索尼）
本文指出了基于扩散后验采样的音乐修复方法的潜在性能问题，并受RePaint和伪逆引导扩散模型启发提出多重引导缓解策略，在歌声去削波和带宽扩展任务上优于现有基准。
2023-09-13 cs.SD eess.AS
High Throughput and Less Area AMP Architecture for Audio Signal Restoration
RMK Engineering College（RMK工程学院）
音频恢复有效地实现了使用低复杂度的算法称为AMP。该算法具有收敛速度快、计算量小的特点，适用于音频恢复问题。本文的重点是恢复的音频信号，使用超大规模集成电路架构称为AMP-M，实现AMP算法。该结构采用MAC单元和固定比特的华莱士树乘法器，FFT复用器和各种存储器单元（RAM）的音频恢复。VLSI和FPGA实现结果表明，该算法具有面积小、吞吐量高、功耗低等特点，适合于实时的音频恢复问题。突出的例子是磁共振成像（MRI）、雷达和无线通信。
2014-04-05 cs.IT cs.SD math.IT
What Counts as Real? Speech Restoration and Voice Quality Conversion Pose New Challenges to Deepfake Detection
本文研究语音重建和语音质量转换对深度伪造检测系统的影响，通过多类分类方法分析模型行为，发现良性变换导致分布偏移，改进了系统鲁棒性。
2026-07-08 cs.AI cs.LG cs.SD
WaveLLDM: Design and Development of a Lightweight Latent Diffusion Model for Speech Enhancement and Restoration
Institut Teknologi Sepuluh Nopember（泗水理工学院）
本文提出 WaveLLDM，利用神经音频编解码器与潜在扩散在压缩潜在空间中进行语音恢复和去噪，在降低计算复杂度的同时取得准确频谱重建，但感知质量仍有提升空间。
2025-08-28 cs.AI cs.SD eess.AS
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo（东京大学）
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据，因此其不能充分地表示真实数据的声学失真，从而限制了适用性。我们的模型包括分析，合成和通道模块，模拟退化语音的记录过程，并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征，而合成模块合成恢复的语音波形，并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输，其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明，我们的方法实现了显着更高质量的语音恢复比以前的监督方法，表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
A2SB: Audio-to-Audio Schrodinger Bridges
NVIDIA（英伟达）
本文提出A2SB音频恢复模型，通过端到端薛定谔桥实现无需声码器的带宽扩展与音频修复，能处理长时输入并在分布外测试集上达到SOTA。
2025-08-13 cs.LG cs.SD eess.AS
A Diffusion-Based Generative Equalizer for Music Restoration
Aalto University（阿尔托大学）；Sibelius Academy, University of the Arts Helsinki（赫尔辛基艺术大学西贝柳斯音乐学院）
本文提出 BABE-2，利用扩散模型先验联合估计滤波器退化幅度响应并生成修复音频，将带宽扩展拓展为生成式均衡，在历史钢琴及歌唱家录音上取得显著增强。
2025-03-13 cs.SD eess.AS
NOMAD: Unsupervised Learning of Perceptual Embeddings for Speech Enhancement and Non-matching Reference Audio Quality Assessment
Google（谷歌）；Science Foundation Ireland（爱尔兰科学基金会）
本文提出无监督、可微的感知相似度度量 NOMAD，利用 NSIM 引导的三元组损失学习音频嵌入，在质量评估、退化排序和语音增强任务中优于非匹配参考方法。
2024-01-19 cs.SD eess.AS
Miipher: A Robust Speech Restoration Model Integrating Self-Supervised Speech and Text Representations
Google（谷歌）
本文提出 Miipher 语音修复模型，结合 w2v-BERT 语音表示与 PnG-BERT 文本表示，提升对多种音频退化的鲁棒性，并证明其可将网络语音修复为录音室音质以训练高质量 TTS 模型。
2023-08-14 cs.LG cs.SD eess.AS
Token-Based Audio Inpainting via Discrete Diffusion
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（本·古里安大学电子与计算机工程学院）；Faculty of Computer and Information Science, Data Science Research Center, Ben-Gurion University of the Negev（本·古里安大学计算机与信息科学学院）；University of Haifa（海法大学）
本文提出基于离散扩散的音频修补方法，通过令牌化音乐表示实现长缺失区域的稳定修复，并引入两种训练策略提升模型性能。
2026-02-17 cs.AI cs.IT cs.LG
Unsupervised Learning of Audio Perception for Robotics Applications: Learning to Project Data to T-SNE/UMAP space
Stanford Computer Science Department（斯坦福大学计算机科学系）
音频感知是解决声学景物分析、音乐元数据提取、推荐、合成和分析等问题的关键。它还可以增强计算机执行人类在日常活动中毫不费力地完成的任务。本文建立在关键思想的基础上，在不访问任何地面实况数据的情况下建立对触摸声音的感知。我们展示了如何利用经典信号处理的思想，以高精度获得任何感兴趣的声音的大量数据。然后，这些声音与图像一起被用来将声音映射到这些图像的潜在表示的聚类空间。这种方法不仅允许我们学习可能感兴趣的声音的语义表示，而且还允许将不同的模态与所学习的区别相关联。经过训练将声音映射到这种聚类表示的模型，与收集大量人类注释数据的昂贵方法相比，提供了合理的性能。这样的方法可以用于使用几个信号处理特征来为所描述的任何感兴趣的声音构建现有技术的感知模型。使用信号处理结合神经架构和未标记数据的高维聚类的菊花链高精度声音事件检测器是一个非常强大的想法，并且可以在未来以各种方式进行探索。
2020-02-10 cs.LG cs.RO cs.SD
Listen through the Sound: Generative Speech Restoration Leveraging Acoustic Context Representation
NAVER Cloud（NAVER云）
本文提出一种结合声学上下文（ACX）表示的生成式语音恢复方法，利用从CLAP模型提取并优化的环境属性嵌入，使UNIVERSE++模型能更好区分和缓解失真，显著提升了多失真条件下的恢复性能与稳定性。
2025-08-12 cs.SD eess.AS
On the Geometry of Music Bandwidth Extension in Latent Spaces of Audio Codecs
本文分析了多种先进方法与简单算术变换在神经编解码器潜在空间中用于音乐带宽扩展的性能，发现简单向量加法可媲美大型扩散模型，建议将其设为研究基准。
2026-08-05 cs.SD
Speech Denoising by Accumulating Per-Frequency Modeling Fluctuations
Tel Aviv University（特拉维夫大学）
我们提出了一种音频去噪的方法，该方法结合了在时域和时频域中进行的处理。给定有噪声的音频片段，该方法训练深度神经网络来拟合该信号。由于拟合仅部分成功，并且能够比噪声更好地捕获潜在的干净信号，因此网络的输出有助于将干净音频与其余信号分离。这是通过累积每个时间-频率仓的拟合分数并基于所获得的分数应用时间-频率域滤波来完成的。该方法是完全无监督的，并且仅在正在被去噪的特定音频片段上训练。我们的实验表明，与文献方法相比，良好的性能。我们的代码和示例可在www.example.com上获得，并作为补充。索引术语：音频去噪;无监督学习
2020-06-08 cs.LG cs.SD eess.AS
Single-step Controllable Music Bandwidth Extension With Flow Matching
Music and Audio Machine Learning Lab, Universal Music Group（音乐与音频机器学习实验室，环球音乐集团）
本文提出了一种基于流匹配的单步可控音乐带宽扩展方法，引入动态频谱轮廓作为控制信号，以实现高质量音频修复。
2026-01-20 cs.SD
DisSR: Disentangling Speech Representation for Degradation-Prior Guided Cross-Domain Speech Restoration
AntGroup（蚂蚁集团）；University of Science and Technology of China（中国科学技术大学）
DisSR通过降质先验引导和跨领域对齐训练，提升语音修复在不同降质和领域下的泛化能力与修复质量。
2026-02-13 cs.SD
Audio-noise Power Spectral Density Estimation Using Long Short-term Memory
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔理工学院）；GIPSA-lab（GIPSA实验室）
提出了一种利用长短期记忆（LSTM）网络估计短时傅里叶变换（STFT）域表示的单声道音频信号的噪声功率谱密度（PSD）的方法。对所有频段公共的LSTM网络进行训练，其通过将有噪声的STFT幅度序列映射到其对应的噪声PSD序列来单独处理每个频段。与基于深度学习的语音增强方法不同，该方法学习语音段的全频带频谱结构，所提出的方法利用具有长时间依赖性的噪声的子带STFT幅度演变，本着文献中描述的无监督噪声估计器的精神。与不同类型的噪声的扬声器和语音独立的实验表明，该方法优于无监督估计，并推广到不存在于训练集中的噪声类型。
2019-04-10 cs.SD eess.AS eess.SP
Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning
提出通用音频辅助人脸视频修复网络GAVN，利用时间与身份互补学习，结合音频和关键点，在压缩伪影去除、去模糊和超分辨率上超越现有方法。
2025-08-06 cs.CV cs.MM cs.SD
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy（维苏阿尔公司）
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如，在工业过程中，机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决，因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器（无监督和半监督）和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Unsupervised Musical Object Discovery from Audio
The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士人工智能实验室，IDSIA，卢加诺大学与瑞士南部应用科学与艺术大学）；Institute of Neuroinformatics, ETH Zurich（苏黎世联邦理工学院神经信息学研究所）；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能计划）
MusicSlots将SlotAttention适配到音频，实现无监督音乐分解，在音符发现和属性预测上优于基线。
2023-11-14 cs.LG cs.SD eess.AS
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University（西北大学）；Descript, Inc.（Descript公司）
我们展示了一种无监督的方法，该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离，而无需任何重新训练。音频生成模型以输入混合为条件，产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器，创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的（不变的）潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重，并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型，并将其与四种预训练的音乐标记器（两种架构和两种标记数据集）相结合。在两个声源分离数据集上的实验结果表明，该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务（如声源分离）中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
Microsoft（微软）
提出uaMix-MAE，一种基于无监督音频混合的高效实例判别调优策略，通过对比调优对齐预训练MAEs表征，在低/少样本下实现4-6%准确率提升。
2024-03-14 cs.LG cs.SD eess.AS
Active Restoration of Lost Audio Signals Using Machine Learning and Latent Information
Université Frères Mentouri I（兄弟门图里大学）；Blekinge Institute of Technology（布莱金厄理工学院）
本文融合隐写术、半色调抖动与浅层/深度学习，提出 HCR 框架，利用嵌入的潜在辅助信息主动重建丢失音频，并在 SNR、ODG 等指标上优于多种现有方法。
2024-01-18 cs.LG cs.SD eess.AS
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab（字节跳动人工智能实验室）
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨，其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果，并且现有的音频识别系统可能无法识别音频。为了解决这个问题，本文将对比学习的思想引入到音频指纹识别（AFP）中。对比学习是一种无监督的学习方法，可以有效地对相似样本进行分组，并区分不同的样本。在我们的工作中，我们认为一个音轨和它的不同失真的版本是相似的，而认为不同的音轨是不相似的。基于动量对比（MoCo）框架，提出了一种基于对比学习的AFP指纹识别方法，该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明，我们的AFP方法是有效的音频识别，与严重的音频失真的鲁棒性，包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
Unsupervised Improvement of Audio-Text Cross-Modal Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Université Laval（拉瓦尔大学）；Concordia University（康考迪亚大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Insper（Insper教育与研究学院）；Amazon Web Services（亚马逊云科技）
本文研究利用未配对文本和音频的无监督方法改进音频-文本跨模态表示学习框架，通过领域特定数据整理结合软标签对比损失，显著提升了下游任务的零样本分类性能。
2023-07-31 cs.LG cs.SD eess.AS
WhisperVC-AV: Audio-Visual Content Restoration for Noise-Robust Whisper-to-Normal Voice Conversion
Duke Kunshan University（昆山杜克大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Wuhan University（武汉大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对噪声下耳语转正常语音内容线索丢失问题，提出WhisperVC-AV，通过融合时间声学与唇部特征恢复内容，在多个ASR系统及噪声条件下显著降低CER，并保持说话人相似性。
2026-09-29 cs.SD eess.AS
Zero-Shot Unsupervised and Text-Based Audio Editing Using DDPM Inversion
Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（以色列理工学院电气与计算机工程学院）
本文提出两种零样本音频编辑方法（ZETA和ZEUS），利用DDPM反演和预训练扩散模型，实现无监督的语义编辑，并在音乐信号上展示了多种有趣的修改。
2024-05-29 cs.LG cs.SD eess.AS
Synthia's Melody: A Benchmark Framework for Unsupervised Domain Adaptation in Audio
Imperial College London（伦敦帝国学院）；University of Augsburg（奥格斯堡大学）
本文提出 Synthia's melody 音频生成基准框架，通过可控混杂结构构造域偏移与样本选择偏差，为评估声学深度学习模型的无监督域适应能力提供可复现实验平台。
2023-09-26 cs.LG cs.SD eess.AS
Unsupervised Composable Representations for Audio
Institut de Recherche et Coordination Acoustique-Musique (IRCAM)（声学与音乐研究协作研究所（IRCAM））；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本研究针对音乐无监督组合表示学习问题，提出带显式组合归纳偏置的可扩展框架，结合扩散模型实现高质量无监督音频源分离，性能媲美甚至超越有监督基线，还支持多类生成任务且计算成本更低。
2024-08-19 cs.LG cs.SD eess.AS
Audio Word2Vec: Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Autoencoder
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
Word2Vec提供的固定维度的词（文本中）的向量表示在许多应用场景中非常有用，特别是由于它们携带的语义信息。本文提出了一个并行版本，音频Word2Vec。它为可变长度的音频段提供了固定维数的矢量表示。这些向量表示描述的顺序语音结构的音频段，以良好的程度，具有非常有吸引力的现实世界的应用，如查询的例子口语术语检测（STD）。在这个STD应用中，所提出的方法显着优于传统的动态时间规整（DTW）为基础的方法，在显着降低计算要求。我们提出了无监督学习的音频Word2Vec从音频数据没有人类注释使用序列到序列的Audoencoder（SA）。SA由两个配备有长短期记忆（LSTM）单元的RNN组成：第一个RNN（编码器）将输入音频序列映射到固定维度的向量表示，第二个RNN（解码器）将表示映射回输入音频序列。这两个RNN通过最小化重建误差来联合训练。进一步提出了去噪序列到序列自动编码器（DSA），提供更鲁棒的学习。
2016-06-11 cs.LG cs.SD
Unsupervised Anomaly Detection and Localization of Machine Audio: A GAN-based Approach
Tsinghua University（清华大学）；Tsinghua AI Plus（清华AI Plus）
本文提出AEGAN-AD无监督方法，利用生成器重构频谱图并重新设计判别器辅助训练与检测，在DCASE 2022数据集上取得最优结果，并探究了异常定位方法。
2023-03-31 cs.LG cs.SD eess.AS
Towards Robust Unsupervised Disentanglement of Sequential Data -- A Case Study Using Music Audio
Queen Mary University of London（伦敦玛丽女王大学）；Spotify
解纠缠顺序自编码器（DSAE）表示一类概率图模型，其描述具有动态潜变量和静态潜变量的观测序列。前者以与观察相同的帧速率对信息进行编码，而后者全局地管理整个序列。这就引入了一种归纳偏见，并促进了对潜在的局部和全局因素的无监督解开。在本文中，我们表明，香草DSAE遭受是敏感的模型架构和容量的动态潜变量的选择，并容易崩溃的静态潜变量。作为一种对策，我们提出了TS-DSAE，这是一个两阶段的训练框架，首先学习序列级先验分布，随后用于正则化模型并促进辅助目标以促进解纠缠。所提出的框架是完全无监督和强大的全球因素崩溃问题在广泛的模型配置。它还避免了典型的解决方案，例如对抗性训练（通常涉及费力的参数调整）和特定于领域的数据增强。我们进行定量和定性评估，以证明其鲁棒性方面的解纠缠的人工和现实世界的音乐音频数据集。
2022-06-14 cs.LG cs.SD eess.AS
Unsupervised Learning of Deep Features for Music Segmentation
Gracenote Inc.（格雷斯诺特公司）
音乐分段指的是识别不同音乐段之间的边界和标记不同音乐段的双重问题，例如，流行音乐中的合唱、诗歌、桥牌等。一系列音乐分割算法的性能已被证明取决于选择来表示音频的音频特征。一些方法已经提出了从音乐片段注释数据学习特征变换，尽管创建这样的数据是耗时的或昂贵的，并且因此这些方法可能受到其数据集的大小的限制。虽然带注释的音乐分段数据是稀缺资源，但可用的音乐音频量要大得多。在语义音频的邻近领域，无监督深度学习在提高示例查询和声音分类任务的解决方案的性能方面表现出了希望。在这项工作中，使用卷积神经网络（CNN）对深度特征嵌入进行无监督训练，以进行音乐分割。所提出的技术仅利用在任何音频时间轴中隐含的音频特征的时间接近度。采用这些嵌入在一个经典的音乐分割算法，不仅显着提高了该算法的性能，但在无监督音乐分割获得最先进的性能。
2021-08-30 cs.LG cs.MM cs.SD
Psychoacoustically Motivated Audio Declipping Based on Weighted l1 Minimization
Brno University of Technology（布尔诺理工大学）
提出了一种基于稀疏度的音频去唇方法。该方法通过在$\ell_1$最小化中对变换系数进行加权来结合心理声学信息。加权导致改善的恢复质量，同时保持算法的低复杂度。提出了三种可能的权重构造，基于绝对听觉阈值，全局掩蔽阈值和二次曲线。实验比较了信号失真比（SDR）和PEMO-Q客观差异等级（ODG）的恢复质量，并表明，正确选择的权重，所提出的方法是能够竞争，甚至优于，目前的最先进的。
2020-07-01 cs.SD eess.AS
Unsupervised Discriminative Learning of Sounds for Audio Event Classification
UC Berkeley（加州大学伯克利分校）；Bosch Research North America（博世北美研究院）
基于网络的音频事件分类的最新进展已经显示了基于视觉数据（如ImageNet）的预训练模型的好处。虽然这个过程允许跨不同领域的知识转移，但在大规模视觉数据集上训练模型是非常耗时的。在几个音频事件分类基准测试中，我们展示了一种快速有效的替代方案，该方案仅在音频数据上对无监督模型进行预训练，但与ImageNet预训练的性能相当。此外，我们还证明了我们的区别性音频学习可以用于跨音频数据集传输知识，并可选地包括ImageNet预训练。
2021-05-20 cs.CV cs.SD eess.AS
auDeep: Unsupervised Learning of Representations from Audio with Deep Recurrent Neural Networks
Chair of Complex & Intelligent Systems（复杂与智能系统教席）；Chair of Embedded Intelligence for Health Care & Wellbeing（健康护理与福祉嵌入式智能教席）；GLAM – Group on Language, Audio & Music（语言、音频与音乐研究组）；Universität Passau（帕绍大学）；Augsburg University（奥格斯堡大学）；Imperial College London（伦敦帝国理工学院）
auDeep是一个Python工具包，用于从声学数据中进行深度无监督表示学习。它是基于一个经常性的序列到序列自动编码器的方法，可以学习表示的时间序列数据，考虑到他们的时间动态。除了为用户和开发人员提供Python API外，我们还提供了一个广泛的命令行界面，这两个界面都有全面的文档，并在https://github.com/auDeep/auDeep上公开提供。实验结果表明，auDeep特征与最先进的音频分类相比具有竞争力。
2017-12-22 cs.SD eess.AS
Unsupervised outlier detection to improve bird audio dataset labels
针对Xeno-Canto鸟类音频数据集中因非目标声音导致的标签噪声问题，提出结合音频预处理、神经网络降维与无监督异常值检测的清洗流程，有效降低了标签噪声但效果因物种而异。
2025-04-25 cs.LG cs.SD eess.AS
Enhancing Unsupervised Audio Representation Learning via Adversarial Sample Generation
Alibaba Group（阿里巴巴集团）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
现有的音频分析方法通常首先将音频流转换为频谱图，然后将其馈送到CNN中进行进一步分析。标准的CNN识别特征图上的特定视觉模式，然后汇集高级表示，这忽略了识别模式的位置信息。然而，与自然图像不同，音频频谱图的语义对位置变化敏感，因为其垂直和水平轴指示音频的频率和时间信息，而不是朴素的直角坐标。因此，CNN对位置变化的不敏感性对音频频谱图编码起负面作用。为了解决这个问题，本文提出了一种新的自监督学习机制，该机制通过首先生成对抗样本（\textit{i.e.}，负样本），然后驱动CNN来区分潜在空间中负对的嵌入来增强音频表示。大量实验表明，该方法在9个下游数据集上取得了较好的效果，验证了其在音频表示学习中的有效性。
2023-03-15 cs.SD eess.AS
Learning Unsupervised Hierarchies of Audio Concepts
Deezer Research（Deezer研究院）；Sorbonne Université（索邦大学）
音乐信号很难从它们的低级特征中解释出来，甚至可能比图像更难：例如，突出显示频谱图或图像的一部分通常不足以传达真正与人类相关的高级想法。在计算机视觉中，其中提出了概念学习以将解释调整到正确的抽象级别（例如，从射线照片中检测临床概念）。这些方法尚未用于MIR。在本文中，我们适应概念学习的音乐领域，其特殊性。例如，音乐概念通常是非独立的和混合的性质（如流派，乐器，情绪），不像以前的工作，假设分离的概念。我们提出了一种方法，从音频中学习大量的音乐概念，然后自动将它们分层，以揭示它们之间的相互关系。我们从音乐流媒体服务的播放列表的数据集进行实验，作为几个注释的例子，不同的概念。评估表明，挖掘的层次结构与概念的地面实况层次结构（如果可用）以及一般情况下的概念相似性代理源保持一致。
2022-07-21 cs.LG cs.SD eess.AS
Unsupervised Harmonic Parameter Estimation Using Differentiable DSP and Spectral Optimal Transport
Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文提出基于最优传输理论的谱损失函数，通过轻量级编码器和可微分谐波合成器联合估计基频与谐波幅度，解决无监督音高估计与合成器联合训练难题。
2024-01-15 cs.LG cs.SD eess.AS
An Unsupervised Domain Adaptation Method for Locating Manipulated Region in partially fake Audio
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Automation, Tsinghua University（清华大学自动化系）
针对跨域部分伪造音频篡改区域定位中模型性能因域偏移下降的问题，提出基于混合专家的SDE无监督域自适应方法，通过熵筛选高信息量目标样本并生成标签融入训练，在ADD2023Track2数据集上F1达43.84%，较次优方法相对提升77.2%。
2024-07-11 cs.LG cs.SD eess.AS
Deep Multimodal Clustering for Unsupervised Audiovisual Learning
Northwestern Polytechnical University（西北工业大学）
看到的鸟儿鸣叫，运行的汽车伴随着噪音等，这些自然的视听对应提供了探索和了解外部世界的可能性。然而，混合的多个对象和声音使得它难以在无约束环境中执行有效的匹配。为了解决这个问题，我们建议充分挖掘音频和视觉成分，并在它们之间进行精心的对应学习。具体地说，提出了一种新的无监督视听学习模型--\Deep多模态聚类（DMC），该模型利用不同共享空间中卷积映射的多模态向量同步执行聚类集合，以捕获多个视听对应。这种集成的多模态聚类网络可以以端到端的方式有效地训练最大边际损失。在特征评估和视听任务中进行了大量的实验。结果表明，DMC可以学习有效的单峰表示，分类器甚至可以超过人类的表现。此外，DMC在声音定位，多频检测和视听理解方面表现出明显的性能。
2019-04-19 cs.CV cs.MM cs.SD
SonicMaster: Towards Controllable All-in-One Music Restoration and Mastering
Information Systems Technology and Design（信息系统技术与设计）
SonicMaster通过基于文本的控制，实现了音乐修复与母带处理的统一生成模型，显著提升了音频质量。
2026-09-14 cs.AI cs.MM cs.SD
Deep Variational Generative Models for Audio-visual Speech Separation
Inria Nancy Grand-Est（法国国家信息与自动化研究所南锡-大东部分所）
在本文中，我们感兴趣的视听语音分离给定的单通道音频记录以及与每个扬声器相关的视觉信息（嘴唇运动）。我们提出了一个无监督的技术的基础上视听生成模型的干净的语音。更具体地，在训练期间，使用变分自动编码器（VAE）从干净的语音频谱图学习潜变量生成模型。为了更好地利用视觉信息，潜变量的后验是从混合语音（而不是干净的语音）以及视觉数据中推断出来的。视觉模态也通过视觉网络作为潜在变量的先验。在测试时，学习的生成模型（用于说话者无关和说话者相关场景）与用于背景噪声的无监督非负矩阵分解（NMF）方差模型相结合。所有的潜变量和噪声参数，然后估计的蒙特卡罗期望最大化算法。我们的实验表明，所提出的基于无监督VAE的方法比基于NMF的方法以及基于监督深度学习的技术具有更好的分离性能。
2021-08-31 cs.LG cs.SD eess.AS
First-Shot Unsupervised Anomalous Sound Detection With Unknown Anomalies Estimated by Metadata-Assisted Audio Generation
University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
针对DCASE 2023挑战赛任务2的首次无监督异常声音检测难题，提出元数据辅助音频生成估计未知异常、结合TWFR-GMM主干的FS-TWFR-GMM方法，以极少参数取得顶尖性能。
2024-03-11 cs.SD eess.AS
UnDiff: Unsupervised Voice Restoration with Unconditional Diffusion Model
Samsung Research（三星研究院）；HSE University（高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Artificial Intelligence Research Institute（人工智能研究院）
本文提出UnDiff，一种无条件扩散模型，通过一次训练即可适应多种语音逆任务，如带宽扩展、去削波、声码和源分离，并展示了其性能优于基线。
2023-10-12 cs.AI cs.SD eess.AS
A Multimodal Prototypical Approach for Unsupervised Sound Classification
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；New York University（纽约大学）
针对零样本音频分类性能受限问题，提出利用局部音频-文本嵌入构建质心原型的无监督多模态方法，并在三个基准上平均提升12%。
2023-08-17 cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Circumventing shortcuts in audio-visual deepfake detection datasets with unsupervised learning
Bitdefender；Politehnica Bucharest（巴尔干理工大学）
本文揭示广泛使用的音视频深度伪造数据集存在开头静音的虚假捷径特征，提出仅在真实数据上训练模型并对齐自监督音视频表示的无监督学习方法，消除了对数据集特定偏差的依赖，提升了检测鲁棒性。
2025-05-29 cs.CV cs.LG cs.SD
Supervised and Unsupervised Learning of Audio Representations for Music Understanding
SiriusXM（天狼星卫星广播公司）
在这项工作中，我们提供了一个广泛的比较分析的策略预训练音频理解模型的几个任务在音乐领域，包括标记流派，时代，起源，情绪，乐器，关键，音高，声乐特点，节奏和响亮。具体来说，我们探讨了预训练数据集（音乐或通用音频）和预训练方法（监督或无监督）如何影响下游任务所产生的音频嵌入的充分性。我们发现，通过监督学习在大规模专家注释的音乐数据集上训练的模型在各种音乐标签任务中实现了最先进的性能，每个任务都有新的内容和词汇。这可以通过包含少于1亿个参数的模型以有效的方式完成，这些参数不需要对下游任务进行微调或重新参数化，使得这种方法对于行业规模的音频目录是实用的。在无监督学习策略类中，我们证明了训练数据集的域可以显着影响模型学习的表示性能。我们发现，将预训练数据集的域限制在音乐上，可以使用较小的批量进行训练，同时在无监督学习中实现最先进的技术-在某些情况下，监督学习-用于音乐理解。我们还证实，虽然在许多任务上实现了最先进的性能，但监督学习可能会导致模型专门针对所提供的监督信息，这在一定程度上损害了模型的通用性。
2022-10-07 cs.AI cs.IR cs.LG
Unsupervised Generative Adversarial Alignment Representation for Sheet music, Audio and Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
乐谱、音频和歌词是创作歌曲的三种主要形式。在本文中，我们提出了一种无监督的生成对抗对齐表示（UGAAR）模型来学习三种主要音乐形式共享的深度判别表示：乐谱，歌词和音频，其中基于三个分支的深度神经网络架构被联合训练。特别是，该模型可以通过学习潜在共享子空间中的相关性，将音频和乐谱之间的强关系转移到音频-歌词和乐谱-歌词对。我们应用音频和乐谱的CCA组件来建立新的地面实况。生成（G）模型学习两对转移对的相关性，以针对固定歌词生成新的音频片对来挑战判别（D）模型。判别模型的目的是区分来自生成模型的输入还是来自基础事实的输入。这两个模型同时以对抗的方式进行训练，以增强深度对齐表示学习的能力。我们的实验结果表明，我们提出的UGAAR对齐表示学习之间的乐谱，音频和歌词的可行性。
2020-07-29 cs.IR cs.MM cs.SD
