Expectation-Maximization for Speech Source Separation Using Convolutive Transfer Function
INRIA Grenoble Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院);GIPSA-lab(GIPSA实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文研究了从多通道麦克风信号中分离欠定语音声源分离的问题。首先将时域信号变换到短时傅立叶变换(STFT)域。为了在STFT域中表示房间滤波器,而不是广泛使用的窄带假设,我们建议使用更准确的模型,即卷积传递函数(CTF)。在每个频带上,混合滤波器的CTF系数和源的STFT系数通过最大化麦克风信号的似然度来联合估计,该似然度通过期望最大化(EM)算法来解决。实验结果表明,该方法在强混响环境下具有良好的性能。
2019-04-10 cs.SD eess.AS
Convolutive Transfer Function Invariant SDR training criteria for Multi-Channel Reverberant Speech Separation
Paderborn University(帕德博恩大学);Shanghai Jiao Tong University(上海交通大学);NTT Corporation(日本电信电话株式会社)
时域训练准则已被证明是非常有效的单通道非混响语音混合的分离。同样,基于掩模的波束形成在多通道混响语音增强和声源分离中也表现出了令人印象深刻的性能。在这里,我们建议结合神经网络支持的多通道声源分离与时域训练目标函数。为此,我们建议使用卷积传递函数不变的信号失真比(CI-SDR)为基础的损失。虽然这是一个众所周知的评估指标(BSS Eval),但它以前从未被用作训练目标。为了显示有效性,我们展示了基于LibriSpeech的混响混合的性能。在这个任务上,所提出的系统接近在单源非混响输入上获得的出错率,即,LibriSpeech test_clean,仅相差1.2个百分点,因此大大优于传统的基于排列不变训练的系统和其他目标,如Scale Invariant Signal to Distortion Ratio。
2021-06-08 cs.SD eess.AS
Reverberant Audio Source Separation via Sparse and Low-Rank Modeling
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
从欠定卷积混合假设已知的混合滤波器的音频声源分离的性能可以显着提高使用分析稀疏先验优化的重加权l1方案和宽带数据保真度项,如最近的文章所示。在这封信中,我们表明,性能可以得到更显着的改善,通过利用低秩先验的源spectrographs.We提出了一种新的算法来估计源的基础上i)分析稀疏先验,ii)重新加权计划,以增加稀疏性,iii)宽带数据保真度项的约束形式,和iv)低秩约束的源spectrographs。混响音乐混合的评价表明,所得到的算法提高了国家的最先进的方法超过2 dB的信号失真比。
2013-12-11 cs.SD
Convolutive Block-Matching Segmentation Algorithm with Application to Music Structure Analysis
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息与自动化系统研究所);IMT Atlantique(大西洋国立高等工业技术学院);CREATIS(成像与生物医学应用研究中心)
本文提出无监督的卷积块匹配(CBM)动态规划算法,利用小节尺度特征计算自相似矩阵并进行音乐结构分割,在4项指标中的3项上媲美有监督SOTA方法。
2023-09-26 cs.IR cs.SD eess.AS
Multichannel Speech Separation and Enhancement Using the Convolutive Transfer Function
INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部);GIPSA-lab(格勒诺布尔阿尔卑斯大学信号与系统实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Bar Ilan University(巴伊兰大学)
本文研究了多通道卷积噪声混合语音信号的分离与增强问题,即\emph{assuming known mixing filters}。我们建议使用卷积传递函数(CTF)逼近在短时傅里叶变换域中执行语音分离和增强任务。与时域滤波器相比,CTF具有更少的抽头,因此它具有更少的通道之间的近公共零点和更低的计算复杂性。该工作提出了三种语音源恢复方法,即:i)在CTF域中利用多通道逆滤波方法,即多输入/输出逆定理(MINT),并且对于多源情况,ii)应用单源MINT并使用功率最小化的波束成形类多通道逆滤波方法,其适用于源CTF不是全部已知的任何时候,以及iii)受约束的Lasso方法,其中通过最小化$\ell_1$范数来恢复源,以施加它们的频谱稀疏性,约束条件是麦克风信号和涉及未知源信号的混合模型之间的$\ell_2$范数拟合成本小于容限。可以通过对噪声功率设置容差来降低噪声。在各种声学条件下进行实验,以评估所提出的三种方法。它们之间的比较,以及与基线方法。
2018-02-26 cs.SD eess.AS
Deep Transform: Time-Domain Audio Error Correction via Probabilistic Re-Synthesis
University of Surrey(萨里大学)
在时域音频信号的记录、存储和传输过程中,可能会引入难以以无人监督的方式校正的错误。在这里,我们训练卷积深度神经网络,以在其输出层重新合成输入的时域语音信号。然后,我们使用这种抽象变换,我们称之为深度变换(DT),对已降级的(同一说话者的)进一步语音执行概率重新合成。使用卷积DT,我们证明了语音音频的恢复,已受到极端退化。这种方法对于校正通信设备中的错误可能是有用的。
2015-03-19 cs.LG cs.NE cs.SD
Frequency domain TRINICON-based blind source separation method with multi-source activity detection for sparsely mixed signals
Nanjing University(南京大学)
TRINICON(卷积混合的三N ICA)框架是一种有效的盲信号分离(BSS)方法,用于从卷积混合中分离声源。它充分利用了源信号的非白性、非平稳性和非高斯性,可以在时域或频域实现,避免了臭名昭著的内部置换问题。它通常具有最好的性能时,源连续混合。本文研究了稀疏混合信号的离线双通道频域TRINICON实现,提出了一种多源活动检测方法,用于定位每个源的活动周期,并在此基础上对滤波器更新策略进行正则化,以提高分离性能。利用BSSEVAL工具包提供的客观指标来评估所提出的方案的性能。
2018-02-25 cs.SD eess.AS
ABROA : Audio-Based Room-Occupancy Analysis using Gaussian Mixtures and Hidden Markov Models
UC Berkeley(加州大学伯克利分校)
本文概述了基于音频的房间占用分析模型的发展的初步步骤。我们的方法借鉴了语音识别的传统,是基于高斯混合和隐马尔可夫模型。我们分析了在开发这种模型时可能遇到的挑战,并提供了几种解决方案,包括特征设计和预测策略。我们提供的结果从实验中获得的音频数据从一个零售店在帕洛阿尔托,加利福尼亚州。模型评估是通过留二Bootstrap和模型收敛达到良好的精度,从而代表了多模态的人计数算法的贡献。
2016-06-22 cs.SD
Deep Transform: Cocktail Party Source Separation via Probabilistic Re-Synthesis
Surrey University(萨里大学)
在鸡尾酒会听音乐的场景中,人脑能够分离相互竞争的语音信号。然而,大脑执行鸡尾酒会听力的信号处理还没有得到很好的理解。在这里,我们训练了两个单独的卷积自编码器深度神经网络(DNN)来分离两个并发语音流的单声道和双耳混合。然后,我们使用这些DNN作为卷积深度变换(CDT)设备来执行概率重新合成。CDT直接在时域中操作。我们的模拟表明,非常简单的神经网络能够利用单声道和双耳信息在鸡尾酒会听的情况。
2015-03-20 cs.LG cs.NE cs.SD
MoEScore: Mixture-of-Experts-Based Text-Audio Relevance Score Prediction for Text-to-Audio System Evaluation
Northwestern Polytechnical University(西北工业大学);The University of Melbourne(墨尔本大学);KAIST(韩国科学技术院)
MoEScore通过基于专家混合和顺序交叉注意的模型,实现了文本到音频系统评估中的高保真度评分,取得XACLE挑战第一名。
2026-01-11 cs.SD
MixProLAP: Mixture-Induced Uncertainty Modeling for Probabilistic Language-Audio Pretraining
LINE WORKS Corporation(LINE WORKS公司);NAVER Cloud Corporation(NAVER Cloud公司)
提出概率性音频-语言预训练框架MixProLAP,通过混合音频-文本对模拟重叠声音,建模多对多对应不确定性,并引入多级包含损失,在音频-文本检索中优于确定性基线。
2026-06-19 cs.SD
Steer-MoE: Efficient Audio-Language Alignment with a Mixture-of-Experts Steering Module
The University of Hong Kong, Fauclty of Science, Hong Kong(香港大学科学学院);Aix-Marseille University, Laboratoire Parole et Langage (LPL), France(艾克斯-马赛大学语言与言语实验室(LPL))
SteerMoE通过冻结音频编码器和LLM,仅训练基于MoE路由器的轻量转向模块,在连续嵌入空间实现高效音频-语言对齐,兼顾性能与模块化。
2025-10-15 cs.SD
What Do Deepfake Audio Detectors Hear? From Self-Supervised Models to Audio LLMs
National Institute of Informatics(信息学研究所)
该研究针对深度伪造音频检测中检测器关注对象与频谱证据的问题,基于CompSpoof V2数据库发现其性能差距源于伪造语音域外泛化差,提出需优化前端编码器以提升真实场景部署可靠性。
2026-10-14 cs.SD
MAGE: Modality-Agnostic Music Generation and Target-Source Extraction
Google(谷歌);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
MAGE提出了一种模态无关框架,统一了多模态音乐生成与混合编辑,通过可控多模态FluxFormer和音频视觉 nexus 对齐机制,实现灵活且高效的音乐生成与编辑。
2026-07-01 cs.SD
SonicWeave: Chunk-Routed Mixture-of-Experts for Unified Audio Scene Generation
Kuaishou Technology(快手科技);The Chinese University of Hong Kong(香港中文大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出SonicWeave,一种带CPE-MoE的流匹配模型,可通过单一权重集生成含语音、音乐等的统一音频场景,在多项基准及复杂场景评估中表现优于基线。
2026-08-11 cs.SD
Blind Source Separation Using Mixtures of Alpha-Stable Distributions
Inria Rennes - Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所);Inria(法国国家信息与自动化研究所);LIRMM(蒙彼利埃信息、机器人与微电子实验室);University of Montpellier(蒙彼利埃大学)
提出了一种基于混合α-稳定分布的盲源分离算法。最近已经表明,由于其更大的动态范围,复对称α-稳定分布比经典高斯分布更好地在时间-频率域中对音频信号进行建模。然而,这些模型的推理是出了名的难以执行,因为它们的概率密度函数一般没有封闭形式的表达式。本文提出了一种基于特征函数匹配的α稳定分布混合估计方法.我们将其应用于从多通道卷积音频混合中的各个频带中的二进制掩码的盲估计。我们表明,该方法产生更好的分离性能比基于高斯的二进制掩蔽方法。
2018-02-12 cs.SD eess.AS stat.ML
Phase reconstruction of spectrograms based on a model of repeated audio events
修正频谱图的相位恢复是诸如声源分离的音频信号处理应用中的主要问题。本文介绍了一种新的技术,估计成分的相位在复杂的混合物中的起始帧的时频域(TF)。我们建议利用相位重复从一个发病帧到另一个。我们引入了一个参考相位,它表征了一个独立于其激活时间的组件。然后将分量的起始相位建模为该参考和线性依赖于频率的偏移的和。我们推导出一个复杂的混合模型内发病帧,我们提供了两个算法的模型相位参数的估计。该模型估计的实验数据和这种技术被集成到一个音频声源分离框架。结果表明,该模型是一个很有前途的工具,利用相位重复,并指出其潜在的分离重叠组分在复杂的混合物。
2016-05-24 cs.SD
Fx-Encoder++: Extracting Instrument-Wise Audio Effects Representations from Mixtures
本文提出Fx-Encoder++模型,通过对比学习与提取器机制,从音乐混音中提取乐器级音频效果表示,在检索和参数匹配任务上优于以往混音级方法,弥补了智能音乐制作中乐器级效果理解的能力缺口。
2025-07-03 cs.SD eess.AS
Complex NMF under phase constraints based on signal modeling: application to audio source separation
非负矩阵分解(NMF)是在时频域(TF)分解混合音频信号的有力工具。在声源分离框架中,对于每个提取的分量的相位恢复对于合成时域信号是必要的。复NMF(CNMF)模型的目标是联合估计谱图和源的相位,但需要限制相位,以产生令人满意的探测结果。我们建议将相位约束的基础上的CNMF框架内的信号模型:一个\textit{phase unwrapping}约束,强制执行一种形式的时间相干性,和一个约束的基础上的\textit{repetition}的音频事件,它模型的相位内的起始帧的源。我们还提供了一个算法来估计模型参数。实验结果突出了包括这样的约束在CNMF框架中分离重叠的成分在复杂的音频混合的兴趣。
2016-05-24 cs.SD
Iterative Audio Separation with Mixture Consistency via MIMO Model Extension
本文提出一种通用框架,通过将源分离模型扩展为多输入多输出(MIMO)配置,实现稳定有效的迭代音频分离,同时保持混合一致性,并在最先进模型上取得显著性能提升。
2026-09-09 cs.LG cs.SD
UniAE-MoE: A Unified Audio Encoder via Mixture of Experts
Tsinghua University(清华大学)
提出基于混合专家架构的统一音频编码器UniAE-MoE,融合多个主流编码器并采用两阶段微调与数据缩放技术,在基准上达到最先进性能。
2026-10-06 cs.AI cs.SD
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
FlowSep 2: Self-Supervised Flow Matching for Language-Queried Audio Source Separation
School of Computer Science and Electronic Engineering, University of Surrey(萨里大学计算机科学与电子工程学院);Meta Superintelligence Labs(元宇宙超级智能实验室);Department of Informatics, King’s College London(伦敦国王学院信息学系)
本研究提出FlowSep2,一种结合Self-Flow与Diffusion Transformer的文本条件流匹配生成模型,用于语言查询音频源分离,在多个基准上达到SOTA性能,可有效分离重叠声源。
2026-08-26 cs.SD
Consistent ICA: Determined BSS meets spectrogram consistency
Waseda University(早稻田大学)
在确定的情况下(麦克风的数量等于源的数量)或确定的BSS中的多通道音频盲源分离(BSS)通过时频域中的多通道线性滤波来执行以处理卷积混合过程。通常,滤波器独立地处理每个频率,这导致众所周知的置换问题,即,如何对准频率方向的滤波器,使得每个分离的分量被正确地分配给相应的源的问题。本文证明了时频域表示的谱图一致性的一般性质可以作为求解置换问题的一个辅助。
2020-05-20 cs.SD eess.AS eess.SP
AudioMoG: Guiding Audio Generation with Mixture-of-Guidance
Tsinghua University(清华大学);Shengshu AI(生数科技);University of Science and Technology of China(中国科学技术大学)
本文提出AudioMoG,一种改进的采样方法,在无需大量训练资源的情况下提升文本到音频和视频到音频生成质量,同时在多样性保持和生成质量上优于单一指导方法。
2026-04-09 cs.AI cs.SD
A Generalised Directional Laplacian Distribution: Estimation, Mixture Models and Audio Source Separation
Democritus University of Thrace(色雷斯德谟克利特大学)
方向或循环统计与方向或旋转的分析和解释有关。在这项工作中,提出了一种新的概率分布模型的多维稀疏方向数据。广义方向拉普拉斯分布(Generalised Directional Laplacian Distribution,DLD)是拉普拉斯分布和冯·米塞斯-费舍尔分布的混合。在一组训练数据点上使用最大似然估计来估计分布的参数。还引入了方向拉普拉斯分布(MDLD)的混合,以便对稀疏方向数据的多个浓度进行建模。作者探讨了应用派生DLD混合模型集群声源存在于欠定的瞬时声音混合。该模型可以求解一般的K × L(K<L)欠定瞬时声源分离问题,具有快速、稳定的特点。
2017-08-16 cs.CV cs.SD
Enhancing Speech Large Language Models with Prompt-Aware Mixture of Audio Encoders
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Huawei Translation Services Center(华为翻译服务中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);NiuTrans Research(NiuTrans研究院)
本文提出提示感知混合方法PaM,通过根据任务提示动态选择多个音频编码器提取任务特定特征,使单一语音大语言模型在ASR、说话人数量验证和音频描述任务上超越所有单编码器模型及特征融合基线。
2025-09-19 cs.SD eess.AS
Model selection for deep audio source separation via clustering analysis
Northwestern University(西北大学)
音频源分离是将混合(例如流行乐队录音)分离为来自各个源(例如仅主唱)的孤立声音的过程。深度学习模型是源分离领域的最新技术,因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练,以便为给定的音频混合选择正确的模型。在这项工作中,我们自动选择适当的模型的音频混合。我们提出了一种置信度度量,该度量不需要地面实况来估计分离质量,给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法,使用单独的模型没有选择,一个神谕,总是选择最好的模型和随机模型选择器。结果表明,我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
Robust Speaker Clustering using Mixtures of von Mises-Fisher Distributions for Naturalistic Audio Streams
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
发言人日记(即确定谁发言以及何时发言?)对于多发言人自然交互,例如同伴领导的团队学习(PLTL)会话,是一项具有挑战性的任务。在这项研究中,我们提出了强大的说话人聚类的基础上混合的多元冯Mises-Fisher分布。我们的日记流水线有两个阶段:(i)地面实况分割;(ii)提出的扬声器聚类。地面实况语音活动信息用于从每个语音段提取i向量。我们使用主成分分析对i-Vectors进行后处理,以进行降维,然后进行长度归一化。归一化i向量是具有区分性方向特征的高维单位向量。我们使用由多变量von Mises-Fisher分布组成的混合模型对归一化i-向量进行建模。采用余弦距离的K均值聚类作为基线方法。评估数据来自:(i)CRSS-PLTL语料库;和(ii)AMI语料库的三次会议子集。CRSSPLTL数据包含PLTL课程的录音,这是学生主导的STEM教育范式。提出的方法始终优于基线,导致PLTL和AMI语料库的相对改善分别高达44.48%和53.68%。索引术语:扬声器聚类,von Mises-Fisher分布,同行领导的团队学习,i-Vector,自然主义音频。
2018-08-18 cs.SD eess.AS
Diffusion Gaussian Mixture Audio Denoise
University of Science and Technology Liaoning(辽宁科技大学);Cornell University(康奈尔大学);Yeshiva University(叶史瓦大学)
本文提出 DiffGMM 模型,结合扩散模型与高斯混合模型,通过 1D-U-Net 估计真实噪声分布并逐步去噪,在音频去噪任务中达到最先进性能。
2024-06-13 cs.CL cs.SD eess.AS
MoWE-Audio: Multitask AudioLLMs with Mixture of Weak Encoders
Institute for Infocomm Research (I 2 2 {}^{\text{2}} start_FLOATSUPERSCRIPT 2 end_FLOATSUPERSCRIPT R)(信息与通信研究 institute);Agency for Science, Technology and Research (A*STAR)(科技研究局);Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究 center)
本文提出MoWE-Audio,通过混合弱编码器增强AudioLLM的特征提取能力,在不显著增加模型规模的情况下提升多任务性能,拓宽音频任务适用性。
2025-04-21 cs.AI cs.CL cs.SD
Multichannel audio signal source separation based on an Interchannel Loudness Vector Sum
Electronics and Telecommunications Research Institute(电子通信研究院)
提出了一种多通道音频内容的盲声源分离算法。与针对立体声音频内容或麦克风阵列信号的常见BSS算法不同,我们的技术针对多通道音频,例如5.1和7.1ch音频。由于大多数多声道音频对象源使用声道间响度差(ILD)进行平移,因此我们采用ILVS(声道间响度向量和)概念来对来自每个声道的公共信号(例如背景音乐)进行聚类。在从每个通道中分离出公共信号之后,我们采用具有von-Mises分布的期望最大化(EM)算法来成功地对声源对象的聚类进行分类,并将音频信号从原始混合物中分离出来。因此,我们所提出的方法可以从多个通道中分离出具有合理质量的普通音频信号和对象源信号。我们的多声道音频内容分离技术可以应用于需要多声道音频声源分离的上混系统或影院音频系统。
2015-12-26 cs.SD
Mixture of Inference Networks for VAE-based Audio-visual Speech Enhancement
Inria Nancy - Grand Est(法国国家信息与自动化研究所南锡-大东部分部);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在本文中,我们感兴趣的是无监督(未知噪声)的视听语音增强的基础上变分自编码器(VAE),干净的语音频谱的概率分布模拟使用的编码器-解码器架构。然后在测试时将训练的生成模型(解码器)与噪声模型组合以估计干净的语音。在语音增强阶段(测试时间),描述经由解码器的干净语音的生成过程的潜变量的初始化是至关重要的,因为总体推理问题是非凸的。这通常是通过使用经过训练的编码器的输出来完成的,其中嘈杂的音频和干净的视觉数据作为输入。当前的视听VAE模型不提供有效的初始化,因为这两种模态在相关联的架构中紧密耦合(级联)。为了克服这个问题,受混合模型的启发,我们引入了混合推理网络变分自编码器(MIN-VAE)。两个编码器网络分别输入音频和视频数据,隐变量的后验被建模为每个编码器网络输出的两个高斯分布的混合。混合变量也是潜在的,因此学习音频和视觉推理网络之间的最佳平衡的推理也是无监督的。通过训练共享解码器,整个网络学习自适应地融合两种模态。此外,在测试时,采用(干净)视觉数据的视觉编码器用于初始化。变分推理方法推导出训练所提出的生成模型。由于新颖的推理过程和鲁棒的初始化,建议MIN-VAE表现出优越的性能语音增强比使用标准的音频以及视听同行。
2021-03-08 cs.CV cs.SD eess.AS
Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
Queen Mary University of London(伦敦玛丽女王大学)
本文提出SpanSynth-Edit,一种基于流匹配的MIDI引导多乐器音频合成与编辑模型,利用标量量化潜变量和MIDI Span条件化,实现帧内起始控制,并在基准上取得竞争力表现。
2026-09-23 cs.LG cs.SD eess.AS
A general framework for online audio source separation
INRIA(法国国家信息与自动化研究所)
我们考虑在线音频声源分离的问题。现有的算法采用滑动块方法或随机梯度方法,这是更快,但不准确。此外,它们依赖于空间线索或光谱线索,不能分离某些混合物。在本文中,我们设计了一个通用的在线音频声源分离框架,结合了这两种方法和两种类型的线索。模型参数估计的最大似然(ML)的意义上使用广义期望最大化(GEM)算法与乘法更新。的分离性能作为块大小和步长的函数进行评估,并比较离线算法。
2011-12-28 cs.SD
TV-AudioRemover: Joint Text-Visual Guided Sound Removal with Multi-Task Hard-Mixture Curriculum
Xiaomi Inc.(小米公司)
提出TV-AudioRemover,结合视觉编辑视频与文本指令,通过多任务训练和难混合课程实现目标声音移除,并在新基准上达到最先进性能。
2026-11-06 cs.CV cs.MM cs.SD
uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
Microsoft(微软)
提出uaMix-MAE,一种基于无监督音频混合的高效实例判别调优策略,通过对比调优对齐预训练MAEs表征,在低/少样本下实现4-6%准确率提升。
2024-03-14 cs.LG cs.SD eess.AS
From Coarse to Fine: Recursive Audio-Visual Semantic Enhancement for Speech Separation
School of Cyberspace Science and Technology(网络空间科学与技术学院);Beijing Institute of Technology(北京理工大学);Sun Yat-sen University(中山大学);Qilu University of Technology(齐鲁工业大学);Shandong Computer Science Center(山东计算机科学中心);School of Information and Electronics(信息电子学院)
本文提出 CSFNet,一种用于语音分离的粗分离到细分离网络,通过递归语义增强范式结合视听信息,设计说话人感知融合块和多范围频谱-时间分离网络,在多个数据集上达到 SOTA 性能。
2025-10-10 cs.SD
Mixture of Experts Fusion for Fake Audio Detection Using Frozen wav2vec 2.0
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心);AI Lab, Tencent(腾讯AI实验室)
针对现有伪造音频检测中预训练模型微调耗时长、迭代慢的问题,提出冻结wav2vec 2.0下基于混合专家的特征融合方法,在两个基准数据集上取得了与需微调方法相当的竞争力性能。
2024-09-18 cs.SD eess.AS
MoLEx: Mixture of LoRA Experts in Speech Self-Supervised Models for Audio Deepfake Detection
Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR), Singapore(信息通信研究所(I2R)、科技研究局(A*STAR))
提出参数高效框架 MoLEx,结合低秩适应与混合专家路由器,在保留预训练知识的同时降低音频深度伪造检测的训练成本,并在 ASVSpoof 5 数据集上实现 5.56% 的最先进等错误率。
2025-09-11 cs.MM cs.SD
Mixture of Low-Rank Adapter Experts in Generalizable Audio Deepfake Detection
University of Eastern Finland(东芬兰大学)
针对基础模型微调后难以泛化至新型音频伪造方法的问题,提出混合LoRA专家方法,通过在注意力层集成多个低秩适配器并利用路由机制激活专家,有效提升了域外泛化能力并显著降低等错误率。
2025-09-17 cs.LG cs.SD eess.AS
Phase reconstruction of spectrograms with linear unwrapping: application to audio signal restoration
本文介绍了一种新的技术,用于重建相位的修改频谱的音频信号。从正弦曲线的混合物的分析中,我们获得在时间-频率(TF)域中的连续时间帧的相位之间的关系。为了获得类似的频率关系,特别是在发病帧内,我们研究了脉冲模型。瞬时频率和攻击时间估计本地包含类的非平稳信号,如vibratos。这些技术确保了分音的垂直相干性(在频率上)和水平相干性(在时间上)。该方法进行了测试,各种数据,并表现出更好的性能比传统的基于一致性的方法。我们还介绍了一个音频恢复框架,并观察到我们的技术优于传统方法。
2016-05-24 cs.SD
OpenSep: Leveraging Large Language Models with Textual Inversion for Open World Audio Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
OpenSep 框架利用大语言模型与文本反转技术实现开放世界音频分离,通过自动解析声源并提取音频属性,解决了传统模型依赖预定义声源和人工干预的问题,在分离未见声源方面超越现有最优方法。
2024-09-28 cs.AI cs.SD eess.AS
Independent Vector Analysis with Deep Neural Network Source Priors
GMEMS Technologies, Inc.(GMEMS技术有限公司)
本文研究了独立向量分析(IVA)的密度先验,并以卷积语音混合分离为例进行了应用。大多数现有的IVA源先验过于简化,无法捕捉语音的精细结构。在这里,我们第一次表明,通过优化某些代理分离相关的性能指标,可以有效地估计具有通用近似器(如深度神经网络(DNN))的语音密度的导数。实验结果表明,所得到的神经网络密度先验一致优于以前的在线实施和信号干扰比(SIR)的收敛速度批实施。
2020-10-06 cs.LG cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
MoLT: Mixture of Layer-Wise Tokens for Efficient Audio-Visual Learning
KAIST(韩国科学技术院);Sejong University(世宗大学)
MoLT通过层级令牌融合提升音频视觉学习效率,采用轻量适应策略和正交正则化,优于现有方法。
2025-11-27 cs.CV cs.MM cs.SD
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Phase recovery in NMF for audio source separation: an insightful benchmark
非负矩阵分解(NMF)是在时频域(TF)分解混合音频信号的有力工具。在诸如声源分离的应用中,每个提取分量的相位恢复是一个主要问题,因为它经常导致可听伪像。在本文中,我们提出了一种方法来评估各种基于NMF的声源分离技术,涉及相位重建。对于每一个模型考虑,两种方法之间的比较(盲分离没有先验信息和有监督的模型学习的预言分离)进行,以询问改进的空间的估计方法。实验结果表明,高分辨率NMF(HRNMF)模型是特别有前途的,因为它能够考虑相位和相关性随着时间的推移,具有很大的表达能力。
2016-05-24 cs.SD
RaDur: A Reference-aware and Duration-robust Network for Target Sound Detection
Peking University(北京大学);University of Surrey(萨里大学)
目标声音检测(TSD)的目的是从给定参考信息的混合音频中检测出目标声音。以前的方法使用条件网络从参考音频中提取声音区分嵌入,然后使用它从混合音频中检测目标声音。然而,当使用不同的参考音频时,网络的表现差异很大(例如,对于有噪声和短持续时间的参考音频表现不佳),并且倾向于对瞬态事件(即,短于$1$秒)做出错误的决定。为了克服这些问题,在本文中,我们提出了一个参考感知和持续时间鲁棒网络(RaDur)的TSD。更具体地说,为了使网络更好地了解参考信息,我们提出了一个嵌入增强模块,在生成嵌入时考虑混合音频,并应用注意力池来增强目标声音相关帧的特征,削弱噪声帧的特征。此外,提出了一个持续时间鲁棒的焦点损失,以帮助模型不同的持续时间的事件。为了评估我们的方法,我们建立了两个基于UrbanSound和Audioset的TSD数据集。大量的实验表明了我们的方法的有效性。
2022-04-05 cs.SD eess.AS
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University(首尔大学)
随着数字音乐制作成为主流,选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器,使一个人想要的声音,音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合,这是费时和低效的。在本文中,我们称之为乐器检索这项任务,并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类,并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估,我们还提出了一个名为Nlakh的新数据集。实验结果表明,单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射,而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得:https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
Audio Source Separation Using Variational Autoencoders and Weak Class Supervision
Boğaziçi University(博阿齐奇大学);MEF University(MEF大学)
在本文中,我们提出了一种声源分离方法,该方法通过观察混合物和混合物中存在的源的类标签来训练,而无需访问任何孤立的源。由于我们的方法不需要每个时频点的源类标签,而只需要构成混合信号的每个源的单个标签,因此我们将这种情况称为弱类监督。我们将变分自编码器(VAE)与非负(组合)模型中的每个源类相关联。每个VAE都提供了一个先验模型来识别声音混合中与其相关的信号。在对混合模型进行训练后,我们为每个源类获得了一个生成模型,并在从0到9的数字的一秒混合语音上演示了我们的方法。我们表明,源类监督所获得的分离性能是一样好的源信号监督所获得的性能。
2019-08-04 cs.LG cs.SD eess.AS
T-VSL: Text-Guided Visual Sound Source Localization in Mixtures
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出T-VSL框架,通过引入文本模态作为中间引导,利用三模态AudioCLIP嵌入解耦多源混合中的音视频源对应关系,实现灵活数量声源的定位并具备零样本迁移能力,在多个数据集上显著超越现有方法。
2024-07-07 cs.CV cs.SD eess.AS
The ISCSLP 2026 Real-World Audio-Visual Speech Enhancement Challenge: A Benchmark with Natural Mixtures and Degraded Video
Real-World AVSE Challenge Organizing Committee(真实世界视听语音增强挑战赛组织委员会)
该研究介绍ISCSLP 2026真实场景视听语音增强挑战赛,设置含真实混合、合成重混等赛道,公布基线结果与相关资源,以评估视听语音增强在自然场景下的性能。
2026-09-29 cs.SD eess.AS
UNSSOR: Unsupervised Neural Speech Separation by Leveraging Over-determined Training Mixtures
Carnegie Mellon University(卡内基梅隆大学)
UNSSOR利用麦克风数多于说话人数时的混合信号求和约束,结合DNN估计与子频带前向卷积预测滤波,并通过最小化源内幅度散射解决频率置换问题,实现无监督神经语音分离,且可推广至欠定单声道分离。
2023-10-29 cs.LG cs.SD eess.AS