Speech Denoising by Accumulating Per-Frequency Modeling Fluctuations
Tel Aviv University（特拉维夫大学）
我们提出了一种音频去噪的方法，该方法结合了在时域和时频域中进行的处理。给定有噪声的音频片段，该方法训练深度神经网络来拟合该信号。由于拟合仅部分成功，并且能够比噪声更好地捕获潜在的干净信号，因此网络的输出有助于将干净音频与其余信号分离。这是通过累积每个时间-频率仓的拟合分数并基于所获得的分数应用时间-频率域滤波来完成的。该方法是完全无监督的，并且仅在正在被去噪的特定音频片段上训练。我们的实验表明，与文献方法相比，良好的性能。我们的代码和示例可在www.example.com上获得，并作为补充。索引术语：音频去噪;无监督学习
2020-06-08 cs.LG cs.SD eess.AS
A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings
Aalto University（阿尔托大学）
提高历史音乐录音的音质是一个长期存在的问题。本文提出了一种基于全卷积深度神经网络的新型去噪方法。设计了一个两阶段的U-Net模型架构，以高保真度建模和抑制退化。该方法处理音频的时间-频率表示，并使用真实的噪声数据进行训练，以联合去除旧模拟光盘中的嘶嘶声、咔嗒声、重击声和其他常见的附加干扰。该模型在客观和主观指标上都优于以前的方法。一个正式的盲听测试的结果表明，真正的录音去噪与这种方法有显着更好的质量比基线方法。这项研究显示了真实训练数据的重要性和深度学习在音频恢复中的作用。
2022-02-19 cs.SD eess.AS
Audio Denoising for Robust Audio Fingerprinting
Ecole normale supérieure Paris-Saclay（巴黎高等师范学校萨克雷校区）；Deezer Research（Deezer 研究部）
音乐发现服务可以让用户从简短的移动录音中识别歌曲。这些解决方案通常基于音频指纹，并且更具体地依赖于频谱峰值的提取，以便对许多失真具有鲁棒性。很少有人研究这些算法对真实环境中捕获的背景噪声的鲁棒性。特别地，当信噪比低时，即当背景噪声强时，AFP系统仍然挣扎。在这个项目中，我们用深度学习来解决这个问题。我们测试了一种新的混合策略，该策略包括在基于峰值的AFP算法前面插入去噪DL模型。我们模拟嘈杂的音乐录音使用现实的数据增强管道，并训练DL模型去噪。去噪模型限制了背景噪声对AFP系统提取的峰值的影响，提高了其对噪声的鲁棒性。我们进一步提出了一种新的损失函数，以适应DL模型所考虑的AFP系统，提高其精度方面的检索谱峰。据我们所知，这种混合策略以前没有经过测试。
2022-12-21 cs.IR cs.LG cs.SD
Audio-Visual Speech Enhancement With Selective Off-Screen Speech Extraction
Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）；School of Advanced Science and Engineering, Waseda University（早稻田大学高等科学与工程学院）
针对传统视听语音增强仅保留屏内语音的局限，提出融合屏内视觉线索与屏外声纹线索、结合时序注意力和静音训练策略的方法，可同时提取屏内和指定屏外说话人混合语音，性能与效率优于基线方法。
2023-06-10 cs.SD eess.AS
Listening to Sounds of Silence for Speech Denoising
Columbia University（哥伦比亚大学）；SoftBank Group Corp.（软银集团）
我们引入了一个用于语音去噪的深度学习模型，这是音频分析中的一个长期挑战，在许多应用中出现。我们的方法基于对人类语言的一个关键观察：每个句子或单词之间通常有一个短暂的停顿。在记录的语音信号中，这些停顿引入了一系列时间周期，在这些时间周期期间仅存在噪声。我们利用这些偶然的无声间隔来学习仅给定单通道音频的自动语音去噪模型。随着时间的推移检测到的无声间隔不仅暴露纯噪声，而且暴露其时变特征，从而允许模型学习噪声动态并从语音信号中抑制噪声。在多个数据集上的实验证实了无声间隔检测在语音去噪中的关键作用，我们的方法优于几种最先进的去噪方法，包括那些只接受音频输入的方法（如我们的方法）和那些基于视听输入的方法（因此需要更多信息）。我们还表明，我们的方法具有出色的泛化性能，例如对训练过程中看不到的口语进行去噪。
2020-10-22 cs.LG cs.SD eess.AS
ADNAC: Audio Denoiser using Neural Audio Codec
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
本文提出ADNAC，通过在大规模定制合成数据集上训练Descript Audio Codec (DAC)并结合多目标损失函数，克服传统架构局限，实现高保真音乐去噪与生成式音频修复。
2025-11-03 cs.LG cs.SD
Phase reconstruction of spectrograms with linear unwrapping: application to audio signal restoration
本文介绍了一种新的技术，用于重建相位的修改频谱的音频信号。从正弦曲线的混合物的分析中，我们获得在时间-频率（TF）域中的连续时间帧的相位之间的关系。为了获得类似的频率关系，特别是在发病帧内，我们研究了脉冲模型。瞬时频率和攻击时间估计本地包含类的非平稳信号，如vibratos。这些技术确保了分音的垂直相干性（在频率上）和水平相干性（在时间上）。该方法进行了测试，各种数据，并表现出更好的性能比传统的基于一致性的方法。我们还介绍了一个音频恢复框架，并观察到我们的技术优于传统方法。
2016-05-24 cs.SD
Improving Noise Robustness of LLM-based Zero-shot TTS via Discrete Acoustic Token Denoising
University of Science and Technology of China（中国科学技术大学）；National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）
本文提出一种基于神经编解码器的语音去噪器，集成于LLM-based TTS模型LauraTTS，通过令牌去噪与嵌入精炼提升零样本TTS的噪声鲁棒性，实验优于现有SE方法。
2025-05-22 cs.SD eess.AS
A Novel Score-CAM based Denoiser for Spectrographic Signature Extraction without Ground Truth
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对水下声呐光谱数据噪声多、干净真值样本不足导致分类模型构建受限的问题，本文提出基于Score-CAM的无真值去噪器及配套生成对抗网络架构，实现了SOTA降噪精度与更优分类效果，可泛化至多类数据分布。
2024-10-30 cs.LG cs.SD eess.AS
Listen, Denoise, Action! Audio-Driven Motion Synthesis with Diffusion Models
KTH Royal Institute of Technology（KTH皇家理工学院）；Motorica AB
本文提出基于DiffWave架构和Conformers的扩散模型，用于合成与音频同步的复杂人类动作，通过无分类器引导控制风格强度，并推广引导过程实现扩散模型的专家乘积集成以支持风格插值。
2023-05-16 cs.CV cs.GR cs.HC
Implementing simple spectral denoising for environmental audio recordings
University of São Paulo（圣保罗大学）；University College Cork（科克大学）
本技术报告详细介绍了应用于噪声滤波器的变更，以促进其应用并改善其结果。该滤波器被应用于降噪的自然声音记录在野外，并产生一个用于声景分析的声学指数。
2022-01-06 cs.MM cs.SD eess.AS
Fx-Encoder++: Extracting Instrument-Wise Audio Effects Representations from Mixtures
本文提出Fx-Encoder++模型，通过对比学习与提取器机制，从音乐混音中提取乐器级音频效果表示，在检索和参数匹配任务上优于以往混音级方法，弥补了智能音乐制作中乐器级效果理解的能力缺口。
2025-07-03 cs.SD eess.AS
MoWE-Audio: Multitask AudioLLMs with Mixture of Weak Encoders
Institute for Infocomm Research (I 2 2 {}^{\text{2}} start_FLOATSUPERSCRIPT 2 end_FLOATSUPERSCRIPT R)（信息与通信研究 institute）；Agency for Science, Technology and Research (A*STAR)（科技研究局）；Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究 center）
本文提出MoWE-Audio，通过混合弱编码器增强AudioLLM的特征提取能力，在不显著增加模型规模的情况下提升多任务性能，拓宽音频任务适用性。
2025-04-21 cs.AI cs.CL cs.SD
Model selection for deep audio source separation via clustering analysis
Northwestern University（西北大学）
音频源分离是将混合（例如流行乐队录音）分离为来自各个源（例如仅主唱）的孤立声音的过程。深度学习模型是源分离领域的最新技术，因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练，以便为给定的音频混合选择正确的模型。在这项工作中，我们自动选择适当的模型的音频混合。我们提出了一种置信度度量，该度量不需要地面实况来估计分离质量，给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法，使用单独的模型没有选择，一个神谕，总是选择最好的模型和随机模型选择器。结果表明，我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
ABROA : Audio-Based Room-Occupancy Analysis using Gaussian Mixtures and Hidden Markov Models
UC Berkeley（加州大学伯克利分校）
本文概述了基于音频的房间占用分析模型的发展的初步步骤。我们的方法借鉴了语音识别的传统，是基于高斯混合和隐马尔可夫模型。我们分析了在开发这种模型时可能遇到的挑战，并提供了几种解决方案，包括特征设计和预测策略。我们提供的结果从实验中获得的音频数据从一个零售店在帕洛阿尔托，加利福尼亚州。模型评估是通过留二Bootstrap和模型收敛达到良好的精度，从而代表了多模态的人计数算法的贡献。
2016-06-22 cs.SD
Enhancing Speech Large Language Models with Prompt-Aware Mixture of Audio Encoders
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Huawei Translation Services Center（华为翻译服务中心）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；NiuTrans Research（NiuTrans研究院）
本文提出提示感知混合方法PaM，通过根据任务提示动态选择多个音频编码器提取任务特定特征，使单一语音大语言模型在ASR、说话人数量验证和音频描述任务上超越所有单编码器模型及特征融合基线。
2025-09-19 cs.SD eess.AS
Mixture of Inference Networks for VAE-based Audio-visual Speech Enhancement
Inria Nancy - Grand Est（法国国家信息与自动化研究所南锡-大东部分部）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
在本文中，我们感兴趣的是无监督（未知噪声）的视听语音增强的基础上变分自编码器（VAE），干净的语音频谱的概率分布模拟使用的编码器-解码器架构。然后在测试时将训练的生成模型（解码器）与噪声模型组合以估计干净的语音。在语音增强阶段（测试时间），描述经由解码器的干净语音的生成过程的潜变量的初始化是至关重要的，因为总体推理问题是非凸的。这通常是通过使用经过训练的编码器的输出来完成的，其中嘈杂的音频和干净的视觉数据作为输入。当前的视听VAE模型不提供有效的初始化，因为这两种模态在相关联的架构中紧密耦合（级联）。为了克服这个问题，受混合模型的启发，我们引入了混合推理网络变分自编码器（MIN-VAE）。两个编码器网络分别输入音频和视频数据，隐变量的后验被建模为每个编码器网络输出的两个高斯分布的混合。混合变量也是潜在的，因此学习音频和视觉推理网络之间的最佳平衡的推理也是无监督的。通过训练共享解码器，整个网络学习自适应地融合两种模态。此外，在测试时，采用（干净）视觉数据的视觉编码器用于初始化。变分推理方法推导出训练所提出的生成模型。由于新颖的推理过程和鲁棒的初始化，建议MIN-VAE表现出优越的性能语音增强比使用标准的音频以及视听同行。
2021-03-08 cs.CV cs.SD eess.AS
Robust Speaker Clustering using Mixtures of von Mises-Fisher Distributions for Naturalistic Audio Streams
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
发言人日记（即确定谁发言以及何时发言？）对于多发言人自然交互，例如同伴领导的团队学习（PLTL）会话，是一项具有挑战性的任务。在这项研究中，我们提出了强大的说话人聚类的基础上混合的多元冯Mises-Fisher分布。我们的日记流水线有两个阶段：（i）地面实况分割;（ii）提出的扬声器聚类。地面实况语音活动信息用于从每个语音段提取i向量。我们使用主成分分析对i-Vectors进行后处理，以进行降维，然后进行长度归一化。归一化i向量是具有区分性方向特征的高维单位向量。我们使用由多变量von Mises-Fisher分布组成的混合模型对归一化i-向量进行建模。采用余弦距离的K均值聚类作为基线方法。评估数据来自：（i）CRSS-PLTL语料库;和（ii）AMI语料库的三次会议子集。CRSSPLTL数据包含PLTL课程的录音，这是学生主导的STEM教育范式。提出的方法始终优于基线，导致PLTL和AMI语料库的相对改善分别高达44.48%和53.68%。索引术语：扬声器聚类，von Mises-Fisher分布，同行领导的团队学习，i-Vector，自然主义音频。
2018-08-18 cs.SD eess.AS
Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出SpanSynth-Edit，一种基于流匹配的MIDI引导多乐器音频合成与编辑模型，利用标量量化潜变量和MIDI Span条件化，实现帧内起始控制，并在基准上取得竞争力表现。
2026-09-23 cs.LG cs.SD eess.AS
uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
Microsoft（微软）
提出uaMix-MAE，一种基于无监督音频混合的高效实例判别调优策略，通过对比调优对齐预训练MAEs表征，在低/少样本下实现4-6%准确率提升。
2024-03-14 cs.LG cs.SD eess.AS
Mixture of Low-Rank Adapter Experts in Generalizable Audio Deepfake Detection
University of Eastern Finland（东芬兰大学）
针对基础模型微调后难以泛化至新型音频伪造方法的问题，提出混合LoRA专家方法，通过在注意力层集成多个低秩适配器并利用路由机制激活专家，有效提升了域外泛化能力并显著降低等错误率。
2025-09-17 cs.LG cs.SD eess.AS
MoEScore: Mixture-of-Experts-Based Text-Audio Relevance Score Prediction for Text-to-Audio System Evaluation
Northwestern Polytechnical University（西北工业大学）；The University of Melbourne（墨尔本大学）；KAIST（韩国科学技术院）
MoEScore通过基于专家混合和顺序交叉注意的模型，实现了文本到音频系统评估中的高保真度评分，取得XACLE挑战第一名。
2026-01-11 cs.SD
OpenSep: Leveraging Large Language Models with Textual Inversion for Open World Audio Separation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
OpenSep 框架利用大语言模型与文本反转技术实现开放世界音频分离，通过自动解析声源并提取音频属性，解决了传统模型依赖预定义声源和人工干预的问题，在分离未见声源方面超越现有最优方法。
2024-09-28 cs.AI cs.SD eess.AS
Mixture of Experts Fusion for Fake Audio Detection Using Frozen wav2vec 2.0
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；AI Lab, Tencent（腾讯AI实验室）
针对现有伪造音频检测中预训练模型微调耗时长、迭代慢的问题，提出冻结wav2vec 2.0下基于混合专家的特征融合方法，在两个基准数据集上取得了与需微调方法相当的竞争力性能。
2024-09-18 cs.SD eess.AS
MixProLAP: Mixture-Induced Uncertainty Modeling for Probabilistic Language-Audio Pretraining
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
提出概率性音频-语言预训练框架MixProLAP，通过混合音频-文本对模拟重叠声音，建模多对多对应不确定性，并引入多级包含损失，在音频-文本检索中优于确定性基线。
2026-06-19 cs.SD
UniAE-MoE: A Unified Audio Encoder via Mixture of Experts
Tsinghua University（清华大学）
提出基于混合专家架构的统一音频编码器UniAE-MoE，融合多个主流编码器并采用两阶段微调与数据缩放技术，在基准上达到最先进性能。
2026-10-06 cs.AI cs.SD
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University（首尔大学）
随着数字音乐制作成为主流，选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器，使一个人想要的声音，音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合，这是费时和低效的。在本文中，我们称之为乐器检索这项任务，并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类，并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估，我们还提出了一个名为Nlakh的新数据集。实验结果表明，单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射，而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得：https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
Audio Source Separation Using Variational Autoencoders and Weak Class Supervision
Boğaziçi University（博阿齐奇大学）；MEF University（MEF大学）
在本文中，我们提出了一种声源分离方法，该方法通过观察混合物和混合物中存在的源的类标签来训练，而无需访问任何孤立的源。由于我们的方法不需要每个时频点的源类标签，而只需要构成混合信号的每个源的单个标签，因此我们将这种情况称为弱类监督。我们将变分自编码器（VAE）与非负（组合）模型中的每个源类相关联。每个VAE都提供了一个先验模型来识别声音混合中与其相关的信号。在对混合模型进行训练后，我们为每个源类获得了一个生成模型，并在从0到9的数字的一秒混合语音上演示了我们的方法。我们表明，源类监督所获得的分离性能是一样好的源信号监督所获得的性能。
2019-08-04 cs.LG cs.SD eess.AS
T-VSL: Text-Guided Visual Sound Source Localization in Mixtures
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出T-VSL框架，通过引入文本模态作为中间引导，利用三模态AudioCLIP嵌入解耦多源混合中的音视频源对应关系，实现灵活数量声源的定位并具备零样本迁移能力，在多个数据集上显著超越现有方法。
2024-07-07 cs.CV cs.SD eess.AS
RaDur: A Reference-aware and Duration-robust Network for Target Sound Detection
Peking University（北京大学）；University of Surrey（萨里大学）
目标声音检测（TSD）的目的是从给定参考信息的混合音频中检测出目标声音。以前的方法使用条件网络从参考音频中提取声音区分嵌入，然后使用它从混合音频中检测目标声音。然而，当使用不同的参考音频时，网络的表现差异很大（例如，对于有噪声和短持续时间的参考音频表现不佳），并且倾向于对瞬态事件（即，短于$1$秒）做出错误的决定。为了克服这些问题，在本文中，我们提出了一个参考感知和持续时间鲁棒网络（RaDur）的TSD。更具体地说，为了使网络更好地了解参考信息，我们提出了一个嵌入增强模块，在生成嵌入时考虑混合音频，并应用注意力池来增强目标声音相关帧的特征，削弱噪声帧的特征。此外，提出了一个持续时间鲁棒的焦点损失，以帮助模型不同的持续时间的事件。为了评估我们的方法，我们建立了两个基于UrbanSound和Audioset的TSD数据集。大量的实验表明了我们的方法的有效性。
2022-04-05 cs.SD eess.AS
Steer-MoE: Efficient Audio-Language Alignment with a Mixture-of-Experts Steering Module
The University of Hong Kong, Fauclty of Science, Hong Kong（香港大学科学学院）；Aix-Marseille University, Laboratoire Parole et Langage (LPL), France（艾克斯-马赛大学语言与言语实验室（LPL））
SteerMoE通过冻结音频编码器和LLM，仅训练基于MoE路由器的轻量转向模块，在连续嵌入空间实现高效音频-语言对齐，兼顾性能与模块化。
2025-10-15 cs.SD
AudioMoG: Guiding Audio Generation with Mixture-of-Guidance
Tsinghua University（清华大学）；Shengshu AI（生数科技）；University of Science and Technology of China（中国科学技术大学）
本文提出AudioMoG，一种改进的采样方法，在无需大量训练资源的情况下提升文本到音频和视频到音频生成质量，同时在多样性保持和生成质量上优于单一指导方法。
2026-04-09 cs.AI cs.SD
TV-AudioRemover: Joint Text-Visual Guided Sound Removal with Multi-Task Hard-Mixture Curriculum
Xiaomi Inc.（小米公司）
提出TV-AudioRemover，结合视觉编辑视频与文本指令，通过多任务训练和难混合课程实现目标声音移除，并在新基准上达到最先进性能。
2026-11-06 cs.CV cs.MM cs.SD
A Variational EM Algorithm for the Separation of Time-Varying Convolutive Audio Mixtures
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔罗纳-阿尔卑斯研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）；University of Trento（特伦托大学）；Bar Ilan University（巴伊兰大学）
本文讨论了从时变卷积混合信号中分离音频源的问题。我们提出了一个概率框架的基础上结合非负矩阵分解的局部复高斯模型。时变混合滤波器由连续时间随机过程建模。我们提出了一个变分期望最大化（VEM）算法，采用卡尔曼平滑估计的时变混合矩阵，并联合估计源参数。然后，由维纳滤波器分离的声源与VEM算法提供的估计器构造。仿真数据上的大量实验表明，该方法优于一个国家的最先进的基线方法的分块版本。
2016-04-15 cs.SD
SSLAM: Enhancing Self-Supervised Models with Audio Mixtures for Polyphonic Soundscapes
Surrey Institute for People-Centred AI（萨里人本人工智能研究所）；University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心）
针对现有音频自监督模型在复调音频场景泛化性不足的问题，提出SSLAM方法，在保持单音数据性能的同时提升复调音频表现，在多个基准上取得SOTA结果。
2025-06-13 cs.AI cs.LG cs.SD
A Generalised Directional Laplacian Distribution: Estimation, Mixture Models and Audio Source Separation
Democritus University of Thrace（色雷斯德谟克利特大学）
方向或循环统计与方向或旋转的分析和解释有关。在这项工作中，提出了一种新的概率分布模型的多维稀疏方向数据。广义方向拉普拉斯分布（Generalised Directional Laplacian Distribution，DLD）是拉普拉斯分布和冯·米塞斯-费舍尔分布的混合。在一组训练数据点上使用最大似然估计来估计分布的参数。还引入了方向拉普拉斯分布（MDLD）的混合，以便对稀疏方向数据的多个浓度进行建模。作者探讨了应用派生DLD混合模型集群声源存在于欠定的瞬时声音混合。该模型可以求解一般的K × L（K<L）欠定瞬时声源分离问题，具有快速、稳定的特点。
2017-08-16 cs.CV cs.SD
Mixture-of-Experts Framework for Field-of-View Enhanced Signal-Dependent Binauralization of Moving Talkers
Stony Brook University（史泰森布鲁克大学）；Chalmers University of Technology（挑战大学）；Reality Labs Research, Meta（现实实验室研究，Meta）
本文提出一种专家混合框架，用于增强双耳信号匹配中的视野，通过动态空间音频渲染适应连续说话者运动，实现对选定方向声音的强调或抑制，同时保留自然双耳线索。
2025-09-25 cs.SD eess.AS stat.ML
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
A Versatile Diffusion Transformer with Mixture of Noise Levels for Audiovisual Generation
Seoul National University（首尔国立大学）；Google DeepMind（谷歌DeepMind）；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出噪声水平混合训练法，通过跨时间与模态设置可变扩散时间步，使单个基于 Transformer 的视听潜扩散模型以任务无关方式支持多种视听生成，并在一致性上优于基线。
2024-05-22 cs.CV cs.LG cs.MM
Multi-Task Audio Source Separation
Kuai Shou Technology Co.（快手科技有限公司）；Harbin Institute of Technology（哈尔滨工业大学）
音频源分离任务，如语音增强、语音分离和音乐源分离，在最近的研究中取得了令人印象深刻的性能。深度神经网络强大的建模能力让我们对更具挑战性的任务充满希望。本文提出了一种新的多任务音频源分离（MTASS）的挑战，从单声道混合分离语音，音乐和噪声信号。首先，我们介绍这个任务的细节，并生成一个包含语音、音乐和背景噪声的混合数据集。然后，我们提出了一个MTASS模型，在复杂的域，以充分利用三个音频信号的频谱特性的差异。详细地说，该模型遵循两级流水线，其分离三种类型的音频信号，然后分别执行信号补偿。在比较不同的训练目标之后，选择复比率掩模作为MTASS的更合适的目标。实验结果也表明，残差信号补偿模块有助于进一步恢复信号。该模型在分离性能上优于几种已知的分离模型。
2021-07-14 cs.SD eess.AS
MoLT: Mixture of Layer-Wise Tokens for Efficient Audio-Visual Learning
KAIST（韩国科学技术院）；Sejong University（世宗大学）
MoLT通过层级令牌融合提升音频视觉学习效率，采用轻量适应策略和正交正则化，优于现有方法。
2025-11-27 cs.CV cs.MM cs.SD
Separate What You Describe: Language-Queried Audio Source Separation
University of Surrey（萨里大学）；ByteDance（字节跳动）
在本文中，我们介绍了语言查询音频源分离（LASS）的任务，其目的是基于目标源的自然语言查询（例如，“一个人讲了一个笑话，人们跟着笑”）。LASS中的一个独特挑战与自然语言描述的复杂性及其与音频源的关系有关。为了解决这个问题，我们提出了LASS-Net，这是一种端到端的神经网络，可以学习联合处理声学和语言信息，并从音频混合中分离出与语言查询一致的目标源。我们评估我们提出的系统与AudioCaps数据集创建的数据集的性能。实验结果表明，LASS-Net实现了相当大的改进基线方法。此外，我们观察到LASS-Net在使用不同的人类注释描述作为查询时取得了有希望的泛化结果，表明其在现实世界中的潜在用途。分离的音频样本和源代码可在https://liuxubo717.github.io/LASS-demopage上获得。
2022-03-28 cs.AI cs.CL cs.SD
What Do Deepfake Audio Detectors Hear? From Self-Supervised Models to Audio LLMs
National Institute of Informatics（信息学研究所）
该研究针对深度伪造音频检测中检测器关注对象与频谱证据的问题，基于CompSpoof V2数据库发现其性能差距源于伪造语音域外泛化差，提出需优化前端编码器以提升真实场景部署可靠性。
2026-10-14 cs.SD
MAGE: Modality-Agnostic Music Generation and Target-Source Extraction
Google（谷歌）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
MAGE提出了一种模态无关框架，统一了多模态音乐生成与混合编辑，通过可控多模态FluxFormer和音频视觉 nexus 对齐机制，实现灵活且高效的音乐生成与编辑。
2026-07-01 cs.SD
SonicWeave: Chunk-Routed Mixture-of-Experts for Unified Audio Scene Generation
Kuaishou Technology（快手科技）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出SonicWeave，一种带CPE-MoE的流匹配模型，可通过单一权重集生成含语音、音乐等的统一音频场景，在多项基准及复杂场景评估中表现优于基线。
2026-08-11 cs.SD
DOSE : Drum One-Shot Extraction from Music Mixture
Music and Audio Research Group (MARG), Department of Intelligence and Information（音乐与音频研究组（MARG），智能信息系）；Department of Mechanical Engineering（机械工程系）；Interdisciplinary Program in Artificial Intelligence & Artificial Intelligence Institute（人工智能交叉学程及人工智能学院）
本文提出鼓单次采样提取任务及DOSE模型，利用神经音频编解码器语言模型和起始点损失，从音乐混合中端到端提取高质量鼓单次采样，优于基于源分离的基线方法。
2025-04-25 cs.SD eess.AS
Latent variable approach to diarization of audio recordings using ad-hoc randomly placed mobile devices
Indian Institute of Science（印度科学学院）
本文考虑了使用空间信息的自组织移动设备的音频记录的日记化。对于每个移动终端假设两信道同步记录，其用于以逐帧方式在每个设备处分别计算方向统计。跨移动设备的记录是异步的，但是通过使用声学事件或实时时钟对准信号来执行粗略同步。然后使用Dirichlet混合模型联合建模为所有设备计算的方向统计，并且使用混合分量上的后验概率来导出日志化信息。使用手机对真实生活录音进行的实验表明，日志化错误率低于14%。
2018-10-31 cs.SD eess.AS
Utterance Clustering Using Stereo Audio Channels
Binghamton University, State University of New York（纽约州立大学宾汉姆顿大学）；Center for Collective Dynamics of Complex Systems（复杂系统集体动力学中心）；Department of Systems Science and Industrial Engineering（系统科学与工业工程系）；Bernard M. & Ruth R. Bass Center for Leadership Studies（伯纳德·M与露丝·R·巴斯领导力研究中心）
语音聚类是音频信号处理和机器学习领域的研究热点之一。本研究旨在通过处理多声道（立体声）音频信号来提高话语聚类的性能。通过以几种不同的方式组合左声道和右声道音频信号来生成经处理的音频信号，然后从这些经处理的音频信号中提取嵌入的特征（也称为d向量）。本研究将高斯混合模型应用于有监督的话语聚类。在训练阶段，对每个说话人进行参数共享高斯混合模型的训练。在测试阶段，选择具有最大似然的说话人作为检测到的说话人。多人讨论会话的真实音频记录的实验结果表明，所提出的方法，使用多声道音频信号取得了显着更好的性能比传统的方法与单声道音频信号在更复杂的条件。
2021-09-21 cs.LG cs.SD eess.AS
Semi-intrusive audio evaluation: Casting non-intrusive assessment as a multi-modal text prediction task
Logitech Europe S.A.（罗技欧洲公司）
本文提出半侵入式音频评估方法，将音频评估转化为多模态文本预测任务，通过指令微调PENGI模型实现MOS和SNR估计，显著提升相关性并支持选择性聆听。
2025-01-21 cs.SD eess.AS
UniSep: Universal Target Audio Separation with Language Models at Scale
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出 UniSep，一种基于 LLM 的通用目标音频分离方法，通过序列到序列建模和纯音频预训练策略，利用 36.5k 小时多源数据实现不限领域的音频分离，取得与单任务模型相当的评估结果。
2025-03-31 cs.SD eess.AS
MoLEx: Mixture of LoRA Experts in Speech Self-Supervised Models for Audio Deepfake Detection
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR), Singapore（信息通信研究所（I2R）、科技研究局（A*STAR））
提出参数高效框架 MoLEx，结合低秩适应与混合专家路由器，在保留预训练知识的同时降低音频深度伪造检测的训练成本，并在 ASVSpoof 5 数据集上实现 5.56% 的最先进等错误率。
2025-09-11 cs.MM cs.SD
Retaining Mixture Representations for Domain Generalized Anomalous Sound Detection
Institute of Science Tokyo（东京科学研究所）
针对域泛化异常声音检测中混合样本嵌入偏差导致性能下降的问题，提出保留而非去噪的SSL改进策略，结合多标签损失与混合对齐损失，提升了分布偏移下的检测鲁棒性。
2025-10-29 cs.SD eess.AS
Phase reconstruction of spectrograms based on a model of repeated audio events
修正频谱图的相位恢复是诸如声源分离的音频信号处理应用中的主要问题。本文介绍了一种新的技术，估计成分的相位在复杂的混合物中的起始帧的时频域（TF）。我们建议利用相位重复从一个发病帧到另一个。我们引入了一个参考相位，它表征了一个独立于其激活时间的组件。然后将分量的起始相位建模为该参考和线性依赖于频率的偏移的和。我们推导出一个复杂的混合模型内发病帧，我们提供了两个算法的模型相位参数的估计。该模型估计的实验数据和这种技术被集成到一个音频声源分离框架。结果表明，该模型是一个很有前途的工具，利用相位重复，并指出其潜在的分离重叠组分在复杂的混合物。
2016-05-24 cs.SD
WildMix Dataset and Spectro-Temporal Transformer Model for Monoaural Audio Source Separation
Carnegie Mellon University（卡内基梅隆大学）；Singapore University of Technology and Design（新加坡科技设计大学）
单声道音频声源分离是机器学习中具有挑战性的研究领域。在这方面，一个混合包含多个音频源，并期望一个模型来解开的混合成孤立的原子源。在本文中，我们首先介绍了一个具有挑战性的新数据集的单声道声源分离称为WildMix。WildMix的设计目标是将声源分离的边界扩展到该领域以前的数据集所允许的范围之外。它包含来自25个不同声音类别的各种野外录音，使用任意合成策略相互组合。声源分离通常需要在时域和谱域中对长程相关性进行建模。为此，我们引入了一种新的transnformer为基础的模型称为频谱时间Transformer（STT）。STT使用一个专门的编码器，称为频谱时间编码器（STE）。STE突出时间和频谱成分的混合物内的来源，使用自我注意机制。它随后以等级的方式解开它们。在我们的实验中，STT在具有挑战性的WildMix数据集上迅速优于单耳声源分离的各种先前基线。
2019-11-21 cs.LG cs.SD eess.AS
