Algorithms for audio inpainting based on probabilistic nonnegative matrix factorization
Brno University of Technology(布尔诺理工大学);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);ISAE-SUPAERO(法国高等航空航天学院);Université de Toulouse(图卢兹大学);IRIT(图卢兹计算机科学研究所)
音频修复,即,恢复丢失或被遮挡的音频信号样本的任务通常依赖于稀疏表示或自回归建模。在本文中,我们提出了结构的频谱与非负矩阵分解(NMF)的概率框架。首先,我们把丢失的样本作为潜在变量,并推导出两个期望最大化算法估计模型的参数,这取决于我们是否制定了时间或时间-频率域的问题。然后,我们把丢失的样本作为参数,我们解决这个新的问题,通过推导出一个交替的最小化方案。我们评估这些算法的潜力,恢复短到中等长度的差距,音乐信号的任务。实验表明,所提出的方法具有很大的收敛性,以及竞争力的性能相比,国家的最先进的音频修复技术。
2023-01-05 cs.SD eess.AS
OpenSep: Leveraging Large Language Models with Textual Inversion for Open World Audio Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
OpenSep 框架利用大语言模型与文本反转技术实现开放世界音频分离,通过自动解析声源并提取音频属性,解决了传统模型依赖预定义声源和人工干预的问题,在分离未见声源方面超越现有最优方法。
2024-09-28 cs.AI cs.SD eess.AS
Open-loop multi-channel inversion of room impulse response
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文考虑的方法,音频显示在一个洞穴型虚拟现实影院,一个3米立方体的显示器覆盖所有六个刚性面。头戴式耳机是可能的,因为用户的头戴式耳机连续测量耳朵的位置,但扬声器是优选的,因为它们增强了完全沉浸的感觉。所提出的解决方案包括开环声学点控制。传递函数是从扬声器到用户耳朵的房间频率响应的矩阵,使用多通道反演方法进行反演,以在用户耳朵处精确地创建所需的声场。逆传递函数由镜像源法模拟的脉冲响应构造而成。该技术通过测量2x2矩阵传递函数、模拟具有相同几何形状的传递函数以及通过模拟的逆滤波测量的传递函数来验证。由于图像源方法的精度随时间而降低,因此通过在反演之前对模拟响应加窗来改善反演性能。调整模拟和反演的参数以使残余混响能量最小化;最佳情况下的去混响比为10 dB。
2011-06-06 cs.SD
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);Tampere University(坦佩雷大学)
音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用频谱图反演算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法已被成功地利用在最近的几项工作。然而,这种算法有两个缺点,我们在本文中解决。首先,它最初是以启发式的方式引入的:我们在这里提出了一个严格的优化框架,MISI是派生的,从而证明了该算法的收敛性。此外,虽然MISI离线运行,但我们在此提出了一种名为oMISI的MISI在线版本,它适用于低延迟声源分离,这是例如,助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明,oMISI的表现以及其离线对应,从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
EchoEdit: Stabilizing Inversion-Free Audio Editing via Optimal Transport Geometry
College of Computer Science, Nankai University(南开大学计算机科学学院)
提出AUDEdit,一种无需反演的方法,利用预训练整流流音频生成器实现真实音频的文本引导编辑,通过直接源到目标常微分方程改善文本对齐与音频保真度。
2026-08-07 cs.SD eess.AS
How Much Audio Is Left In An Embedding? An Inversion Audit Of Audio Encoders
New York University(纽约大学)
该研究通过配对源重建,利用 Stable Audio Open 解码器从多种音频编码器(VGGish、ConvNeXt、CLAP、EnCodec)的冻结表示中重建音乐,发现不同编码器的可重建性存在差异,压缩任务嵌入仍能保留源特异性与高级音乐内容。
2026-10-09 cs.AI cs.SD
Music Enhancement via Image Translation and Vocoding
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(奥多比研究院)
消费级音乐记录(例如由移动装置捕获的那些音乐记录)通常包含背景噪声、混响和麦克风诱发的EQ形式的失真。本文提出了一种深度学习方法,通过组合(i)用于在其梅尔频谱图表示中操纵音频的图像到图像转换模型和(ii)用于将合成生成的梅尔频谱图映射到感知上真实的波形的音乐声码模型来增强低质量的音乐录音。我们发现,这种方法的音乐增强优于基线,使用经典的方法梅尔频谱图反转和端到端的方法直接映射嘈杂的波形到干净的波形。此外,在评估所提出的方法与听力测试,我们分析了常见的音频增强评估指标的可靠性时,在音乐领域使用。
2022-04-28 cs.LG cs.SD eess.AS
Zero-Shot Unsupervised and Text-Based Audio Editing Using DDPM Inversion
Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology(以色列理工学院电气与计算机工程学院)
本文提出两种零样本音频编辑方法(ZETA和ZEUS),利用DDPM反演和预训练扩散模型,实现无监督的语义编辑,并在音乐信号上展示了多种有趣的修改。
2024-05-29 cs.LG cs.SD eess.AS
DirectAudioEdit: Inversion-Free Text-Guided Audio Editing via Diffusion Prediction Contrast
School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院);Kunming University of Science and Technology(昆明理工大学);NiuTrans Research, Shenyang, China(新译研究)
提出一种无需训练和反演的文本引导音频编辑方法DirectAudioEdit,通过扩散预测对比构建编辑路径,在音乐和事件基准上降低FAD和KL指标15%以上,编辑速度提升高达64.5%。
2026-06-05 cs.CL cs.SD
PRoADS: Provably Secure and Robust Audio Diffusion Steganography with latent optimization and backward Euler Inversion
PRoADS通过正交矩阵投影和潜在优化技术,在音频扩散模型中实现可证明安全且稳健的隐写,达到0.15%的低比特错误率。
2026-03-11 cs.CR cs.MM cs.SD
Audio Inpainting via $\ell_1$-Minimization and Dictionary Learning
Acoustic Research Institute Austrian Academy of Sciences Vienna, Austria
音频修复是指旨在恢复音频信号中丢失或损坏的连续样本的信号处理技术。先前的工作已经表明,具有适当加权的$\ell_1$最小化能够解决音频修复问题,无论是对于分析模型还是合成模型。这些模型假设音频信号相对于某些冗余字典是稀疏的,并利用这种稀疏性来进行修复。在稀疏性框架内,我们利用字典学习来进一步增加稀疏性,并将其与适用于音频修复的加权$\ell_1$最小化相结合,以补偿恢复后间隙内的能量损失。实验结果表明,该方法在信噪比(SDR)和客观差异等级(ODG)方面优于原方法。
2022-02-15 cs.SD eess.AS
DDSynth-RL: Audio Synthesizer Inversion via Discrete Diffusion with Reinforcement Learning
该研究针对合成器逆问题的两大挑战,提出结合掩码离散扩散与GRPO风格音频域奖励微调的DDSynth-RL方法,在Dexed上验证了其性能优势。
2026-08-05 cs.SD
Off-manifold robustness in synthesizer inversion with joint distribution flow matching
针对合成器反演中训练数据导致的离流形性能下降问题,提出用多模态连续归一化流建模音频与参数联合分布,利用未配对真实录音训练边缘分布,并在推理时部分加噪,显著提升真实音频反演效果。
2026-09-25 cs.SD
Introducing Model Inversion Attacks on Automatic Speaker Recognition
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Technical University Munich(慕尼黑工业大学)
模型反演(MI)攻击允许重构机器学习(ML)模型的训练数据的平均每类表示。已经表明,在每个类别对应于不同个体的场景中,例如面部分类器,这代表了严重的隐私风险。在这项工作中,我们探索了MI的一个新的应用:从说话人识别系统中提取说话人的声音。我们提出了一种方法,(1)从训练的ML模型中重建音频样本,(2)提取中间语音特征表示,为说话者的生物特征提供有价值的见解。因此,我们提出了一个扩展的MI攻击,我们称之为滑动模型反演。我们的滑动MI扩展标准MI通过迭代反转重叠的音频样本块,从而利用音频数据的顺序属性增强反转性能。我们表明,人们可以使用反转的音频数据来生成欺骗的音频样本来模仿扬声器,并代表他们执行高度安全的系统的语音保护命令。据我们所知,我们的工作是第一个将MI攻击扩展到音频数据的工作,我们的结果突出了在该设置中提取生物特征数据所带来的安全风险。
2023-01-09 cs.CR cs.LG cs.SD
Audio synthesizer inversion in symmetric parameter spaces with approximately equivariant flow matching
Queen Mary University of London(伦敦玛丽女王大学)
针对音频合成器参数反演中的排列对称性问题,提出近似等变的连续归一化流与自适应松弛等变策略,并在 Surge XT 上优于回归及生成基线。
2025-06-08 cs.LG cs.SD eess.AS
MEDIC: Zero-shot Music Editing with Disentangled Inversion Control
HKUST(香港科技大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);ByteDance Inc.(字节跳动公司)
针对零样本音乐编辑中DDIM反转累积误差及复杂编辑难以兼顾保真度与内容完整性的问题,提出MEDIC系统。其核心方法DIC通过三分支解耦反转纠正路径偏差,并结合调和注意力控制生成所需和声与旋律,同时引入ZoME-Bench基准,在编辑保真度和内容保留上优于现有技术。
2025-11-05 cs.SD eess.AS
Sparse and Cosparse Audio Dequantization Using Convex Optimization
Brno University of Technology(布尔诺理工大学)
本文展示了基于稀疏性的方法在恢复量化信号中的潜力。在Brauer等人的研究(IEEE ICASSP 2016)的基础上,我们大大扩展了评估场景的范围:我们引入了分析(cosparse)模型,我们使用了更有效的算法,我们实验了另一种时频变换。结果表明,基于分析的模型比基于合成的模型具有更好的性能,而基于Gabor变换的模型比基于余弦变换的模型具有更好的性能。最后但同样重要的是,我们以可复制的方式提供代码和数据。
2020-05-20 cs.SD eess.AS eess.SP
Virtual Consistency for Audio Editing
1 Mila-Qu\'ebec AI Institute, 2 Laval University, 3 Concordia University, 4 University of Montreal
本文提出一种基于虚拟一致性的音频编辑系统,通过调整扩散模型采样过程绕过反演,实现模型无关、无需微调的显著加速,并在定量基准和用户研究中验证了其在不损失质量前提下的高效性。
2025-09-21 cs.LG cs.SD
A Joint Diagonalization Based Efficient Approach to Underdetermined Blind Audio Source Separation Using the Multichannel Wiener Filter
NTT Corporation(日本电报电话公司);Communication Science Laboratories(通信科学实验室)
本文提出了一种计算效率高的方法来盲声源分离(BSS)的音频信号,适用于即使有更多的来源比麦克风(即,的情况下)。当存在与麦克风一样多的源时(即,所确定的情况),BSS可以通过独立分量分析(ICA)在计算上高效地执行。然而,ICA基本上不适用于欠定情形。使用多通道维纳滤波器(MWF)的另一BSS方法甚至适用于这种情况,并且包括满秩空间协方差分析(FCA)和多通道非负矩阵分解(MNMF)。然而,这些方法需要大量的矩阵求逆来设计MWF,因此计算效率低。为了克服这一缺点,我们利用众所周知的对角矩阵的属性,矩阵求逆仅仅是对角元素的求逆,因此可以有效地进行计算。这使得可以基于联合对角化(JD)思想大幅降低上述矩阵求逆的计算成本,从而产生计算高效的BSS。具体来说,我们限制所有N个源的N个空间协方差矩阵(SCM)的一类(确切地)联合对角化矩阵。基于这种方法,我们提出了FastFCA,FCA的计算效率的扩展。我们还提出了一个统一的框架,欠定和确定的音频BSS,它突出了FastFCA和其他方法之间的理论联系。此外,我们发现FastFCA可以被视为近似联合对角化(AJD)的正则化版本。
2021-01-21 cs.SD eess.AS
ADNAC: Audio Denoiser using Neural Audio Codec
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出ADNAC,通过在大规模定制合成数据集上训练Descript Audio Codec (DAC)并结合多目标损失函数,克服传统架构局限,实现高保真音乐去噪与生成式音频修复。
2025-11-03 cs.LG cs.SD
Acoustic-to-articulatory Inversion based on Speech Decomposition and Auxiliary Feature
Tianjin University(天津大学);Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
声学-发音转换(AAI)是从语音信号中获取发音器官的运动信息。到目前为止,由于数据有限,实现与说话人无关的AAI仍然是一个挑战。此外,目前大多数的作品只使用音频语音作为输入,造成了不可避免的性能瓶颈。为了解决这些问题,首先,我们预训练一个语音分解网络,将音频语音分解为说话人嵌入和内容嵌入作为新的个性化语音特征,以适应说话人无关的情况。其次,为了进一步改进AAI,我们提出了一种新的辅助特征网络,从上述个性化语音特征中估计嘴唇辅助特征。在三个公开数据集上的实验结果表明,与只利用音频语音特征的现有方法相比,在特定说话人情况下,该方法的平均RMSE降低了0.25,平均相关系数提高了2.0%。更重要的是,在说话人无关的情况下,平均RMSE降低了0.29,平均相关系数增加了5.0%。
2022-04-02 cs.CV cs.SD eess.AS
A sinusoidal signal reconstruction method for the inversion of the mel-spectrogram
Technological University of Dublin(都柏林理工大学)
通过深度学习方法合成声音最近受到了广泛关注。用于声音合成的深度学习方法的一些问题涉及指定音频信号所需的数据量以及保留合成信号的长时间和短时间相干性的必要性。视觉时频表示,如对数梅尔频谱图已经得到普及。对数梅尔频谱图是音频的感知信息表示,其极大地压缩了描述声音所需的信息量。然而,由于这种压缩,这种表示不是直接可逆的。信号处理和机器学习技术之前都被应用于对数梅尔频谱图的反演,但是由于时间和频谱相干性的问题,它们都导致合成声音中的可听失真。在本文中,我们概述了正弦模型在音调乐器声音的对数梅尔频谱图反演中的应用,其表现优于最先进的深度学习方法。该方法可以稍后用作神经应用中从频谱到时间间隔的一般解码步骤。
2022-01-07 cs.SD eess.AS
Do Speech Tokens Leak Voiceprints? Speaker Inversion Attacks Against End-to-End Speech Language Models
研究端到端语音语言模型中语音令牌是否泄露声纹,提出用Audio BERT构建令牌嵌入及SpInv两阶段反转方法,在VoxCeleb数据集实验显示,仅三秒前端输出,SpInv在指定空间能达高于0.70的余弦相似度。
2026-07-21 cs.AI cs.CR cs.SD
ART-NAD: An Articulatory Inversion-based Neural Acoustic Distance for Pathological Speech Intelligibility Assessment
Nagoya University(名古屋大学);University of Cologne(科隆大学);University of Groningen(格罗宁根大学)
针对病理语音可懂度评估,提出ART-NAD,用可解释的声道变量替换NAD的黑盒特征,在保持同等相关性(r=0.71)的同时提供发音偏差的可视化解释。
2026-09-22 cs.SD
Towards Streaming Speech-to-Avatar Synthesis
University of California, Berkeley(加州大学伯克利分校)
针对现有发音反演方法仅支持离线虚拟化身合成的局限,提出一种从实时音频生成流式高质量面部及口腔内部动画的方法,实现130毫秒流式延迟,与真实发音相关性达0.792。
2023-10-25 cs.GR cs.SD eess.AS
Vector Quantized Diffusion Model Based Speech Bandwidth Extension
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);SenseAuto Intelligent Connection, SenseTime(商汤科技 SenseAuto 智能连接)
针对语音带宽扩展任务,本文提出首个基于神经音频编解码器离散特征、融合向量量化扩散与Mamba-2的框架,经实验验证可显著提升语音质量。
2024-09-14 cs.SD eess.AS
Signal Representations for Synthesizing Audio Textures with Generative Adversarial Networks
National University of Singapore(新加坡国立大学)
生成对抗网络(GANs)目前使用由对数幅度和瞬时频率组成的2通道频谱图表示(“IF频谱图”)来实现音调乐器的最先进的声音合成质量。许多其他合成系统使用从幅度谱导出的表示,然后依赖于后端组件来反转输出幅度谱图,这通常导致与反转过程相关联的可听伪像。然而,对于具有紧密间隔的频率分量的信号,例如非音调和其他噪声声音,在2通道IF频谱图表示上训练GAN与基于幅度频谱的表示相比没有优势。在本文中,我们提出在单通道幅度谱上训练GANs,并使用相位梯度堆积分(PGHI)反演算法是一种更好的综合方法,用于包括音调,非音调和动态复杂声音的各种信号的音频合成建模。我们表明,这种方法产生更高质量的输出宽带和嘈杂的声音,如持久性有机污染物和啁啾,相比使用IFSpectrogram。此外,音调的声音质量与使用IFSpectrogram相当,即使使用更简单的表示方法,只需一半的内存需求。
2021-03-12 cs.MM cs.SD eess.AS
Audio Conditioning for Music Generation via Discrete Bottleneck Features
FAIR Meta(Meta FAIR);IRCAM - Sorbonne Université(IRCAM-索邦大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Kyutai
提出用音频输入条件化语言模型音乐生成系统,采用文本反转和从头联合训练模型两种策略,并通过双重 classifier free guidance 平衡混合条件,自动与人类研究验证了其有效性。
2024-07-30 cs.SD eess.AS
Fast Spectrogram Inversion using Multi-head Convolutional Neural Networks
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
提出了一种用于频谱图波形合成的多头卷积神经网络(MCNN)结构。MCNN中的非线性插值与并行头中的转置卷积层一起使用。MCNN的计算强度比Griffin-Lim等常用迭代算法高出一个数量级以上,可有效利用现代多核处理器,并实现非常快速(超过300倍实时)的波形合成。为了训练MCNN,我们使用大规模语音识别数据集和与感知音频质量相关的波形上定义的损失。我们证明,MCNN构成了一个非常有前途的方法,高品质的语音合成,没有任何迭代算法或自回归计算。
2018-11-06 cs.LG cs.SD eess.AS
A Comprehensive Real-World Assessment of Audio Watermarking Algorithms: Will They Survive Neural Codecs?
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
研究提出 RAW-Bench 基准,系统评估基于深度学习的音频水印方法在真实世界音频攻击下的鲁棒性,发现神经压缩是最大挑战,且特定失真会严重影响现有方法。
2025-05-28 cs.AI cs.CR cs.LG
Audio signal interpolation using optimal transportation of spectrograms
IRIT, Université de Toulouse(IRIT,图卢兹大学);IMB, Université de Bordeaux(IMB,波尔多大学);IRIT, CNRS, Université de Toulouse(IRIT,国家科学研究中心,图卢兹大学)
提出一种基于谱图Wasserstein重心及非平衡最优传输的音频插值方法,全局处理谱图并设计特定成本矩阵,实现源与目标声音间的平滑过渡。
2025-04-22 cs.SD eess.AS eess.SP
jazznet: A Dataset of Fundamental Piano Patterns for Music Audio Machine Learning Research
University of Arizona(亚利桑那大学)
本文介绍了jazznet数据集,一个基本的爵士钢琴音乐模式的数据集,用于开发音乐信息检索(MIR)中的机器学习(ML)算法。该数据集包含162520个标记的钢琴模式,包括和弦,琶音,音阶和和弦进行及其反转,产生超过26k小时的音频和95GB的总大小。本文解释了数据集的组成,创建和生成,并提出了一个开源的模式生成器,使用一种称为基于距离的模式结构(DBPS)的方法,该方法允许研究人员简单地通过定义音乐模式中音高之间的距离来轻松生成新的钢琴模式。我们证明,该数据集可以帮助研究人员使用卷积递归神经网络(CRNN)和深度卷积神经网络对具有挑战性的MIR任务的新模型进行基准测试。数据集和代码可通过https://github.com/tosiron/jazznet获得。
2023-02-17 cs.LG cs.SD eess.AS
Synchronized Video-to-Audio Generation via Mel Quantization-Continuum Decomposition
The Hong Kong Polytechnic University(香港理工大学);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
本文提出Mel-QCD方法,将梅尔频谱图分解为量化与连续信号,通过V2X预测器和ControlNet实现高质量同步的视频到音频生成,在八项指标上达到最优性能。
2025-03-10 cs.CV cs.SD eess.AS
Audio Deepfake Detection Using Temporal Coherence Analysis
University of California, Berkeley(加州大学伯克利分校)
提出基于CLAP嵌入的时间一致性分析框架,通过余弦相似度与统计特征训练轻量集成分类器,有效检测语音和音乐深度伪造,并发现特征-标签反转与语音-音乐方向反转现象。
2026-09-10 cs.CR cs.SD
Black-Box Optimization for Identifying and Inverting Audio Dynamic Range Control Effects
研究音频动态范围压缩参数未知的问题,将其参数估计转化为黑盒优化问题,通过在感知特征空间中估计参数来最小化重建与参考信号特征描述符距离,该方法性能有竞争力,优于或匹配现有模型。
2026-07-23 cs.SD
InvFlowFD: Reference-Free and Background-Set-Free Perceptual Music Quality Metric with Flow Matching Inversion
本研究提出InvFlowFD,利用预训练流匹配骨干网络,通过流逆变换对比先验分布,实现无参考、无背景集的音乐感知质量评估,其与人类感知高度相关且更灵活。
2026-08-06 cs.AI cs.LG cs.SD
Music Style Transfer with Time-Varying Inversion of Diffusion Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Kuaishou Technology(快手科技)
本文提出基于扩散模型时变文本反演的音乐风格迁移方法,以极少数据捕捉梅尔频谱特征,并通过偏置减少风格化技术实现稳定迁移,可迁移乐器风格并融入自然声音创作旋律。
2024-02-21 cs.SD eess.AS
Steering dense music retrieval with open-vocabulary concept discovery
本研究提出一种轻量无需训练的开放词汇概念发现方法,用于可控音乐检索,可恢复与概念音频示例对齐更紧密的稀疏特征,实现更优的编辑强度与内容保留权衡。
2026-08-11 cs.SD eess.AS
An Audio-textual Diffusion Model For Converting Speech Signals Into Ultrasound Tongue Imaging Data
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Guangdong-Hong Kong-Macao Joint Laboratory of Human-Machine Intelligence-Synergy Systems(粤港澳人机协同智能系统联合实验室)
针对现有声-发音反转方法仅用个性化声学信息导致超声舌成像数据质量有限的问题,提出融合wav2vec 2.0声学编码与BERT文本编码的音文扩散模型,生成高质量清晰舌轮廓的UTI数据。
2024-03-12 cs.CL cs.SD eess.AS
CogSR: Semantic-Aware Speech Super-Resolution via Chain-of-Thought Guided Flow Matching
National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University, Wuhan, China(多媒体软件国家工程研究中心、计算机科学学院、武汉大学、武汉);School of Artificial Intelligence, Jianghan University, Wuhan, China(人工智能学院、江汉大学、武汉);Xiaomi Corporation, Beijing, China(小米公司、北京)
CogSR通过整合大型音频-语言模型和思维链推理,实现语义感知的语音超分辨率,提升低采样率录音的修复精度和语言准确性。
2025-12-18 cs.SD
Two-Stream Joint-Training for Speaker Independent Acoustic-to-Articulatory Inversion
Tianjin University(天津大学);Tianjin International Engineering Institute, Tianjin University(天津大学天津国际工程学院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Institute of Linguistics, Chinese Academy of Social Sciences(中国社会科学院语言研究所)
声学发音反演(AAI)的目的是从语音音频中估计发音器官的参数。AAI面临两个共同的挑战,即有限的数据和说话人无关场景下的性能不理想。目前的研究大多集中在直接从语音中提取特征,而忽略了音素信息的重要性,这可能会限制AAI的性能。为此,我们提出了一种名为SPN的新型网络,它使用两个不同的流来执行AAI任务。首先,为了提高非特定人实验的性能,我们提出了一种新的音素流网络来估计发音参数作为音素特征。据我们所知,这是第一个工作,提取非特定人特征的音素,以提高AAI的性能。其次,为了更好地表示语音信息,我们训练了一个语音流网络,将局部特征和全局特征结合起来。在非特定人实验中,与最新的SOTA方法相比,该方法的均方根误差降低了0.18mm,皮尔逊相关系数提高了6.0%。该代码已在https://github.com/liujinyu123/AAINetwork-SPN上发布。
2023-02-26 cs.MM cs.SD eess.AS
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise(Kakao企业(Kakao Enterprise))
最近几项关于语音合成的工作采用了生成对抗网络(GANs)来产生原始波形。虽然这些方法提高了采样效率和内存使用率,但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中,我们提出了HiFi-GAN,它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成,我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价(平均意见得分,MOS)表明,我们提出的方法与人类质量相似,同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后,HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍,质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
CodecFlow: Efficient Bandwidth Extension via Conditional Flow Matching in Neural Codec Latent Space
Singapore Institute of Technology(新加坡理工学院);Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学)
CodecFlow通过条件流匹配和结构受限量化器,在神经编解码器潜在空间中实现高效语音带宽扩展,提升频谱保真度和感知质量。
2026-10-14 cs.AI cs.SD
GD-Retriever: Controllable Generative Text-Music Retrieval with Diffusion Models
针对文本-音乐检索中语言模糊导致结果不灵活的问题,提出基于扩散模型的GDR框架,在检索优化潜在空间生成查询,实现可控检索并提升性能。
2025-06-24 cs.SD eess.AS
FlowSonic: Stable Zero-Shot Music Editing via High-Order Trajectory Integration
研究针对真实音乐录音零样本编辑难题,提出FlowSonic框架,基于预训练扩散变压器,通过重用交叉注意力表示保留结构,引入高阶ODE求解器,实验表明其在多方面优于现有方法,能提高潜在轨迹稳定性实现可靠编辑。
2026-07-21 cs.LG cs.NA cs.SD
Mel Spectrogram Inversion with Stable Pitch
Apple(苹果公司)
声码器是能够将音频信号的低维频谱表示(通常为梅尔频谱图)变换为波形的模型。现代语音生成管道使用声码器作为其最终组件。最近为语音开发的声码器模型实现了高度的真实性,使得人们自然想知道它们在音乐信号上的表现如何。与语音相比,音乐声音纹理的异质性和结构性提出了新的挑战。在这项工作中,我们专注于一个特定的人工制品,一些声码器模型设计的语音往往表现出当应用于音乐:合成持续的音符时,音高的感知不稳定性。我们认为,这种人工制品的特征声音是由于缺乏水平相位相干性,这通常是使用时域目标空间与时移不变的模型,如卷积神经网络的结果。我们提出了一个新的声码器模型,是专门为音乐设计的。提高俯仰稳定性的关键是选择由幅度谱和相位梯度组成的平移不变目标空间。我们讨论了启发我们重新制定声码器任务的原因,概述了一个工作示例,并对音乐信号进行了评估。我们的方法的结果在60%和10%的改善重建持续的注意到和弦相对于现有的模型,使用一种新的谐波误差度量。
2022-08-26 cs.LG cs.MM cs.SD
nnAudio 2: Overcoming Dynamic Compilation Barriers and Transform Inconsistencies
Singapore University of Technology and Design(新加坡科技设计大学)
针对 nnAudio 在 TorchScript 编译、逆变换边缘情况和依赖漂移方面的问题,通过移除动态状态变异、限制逆变换适用范围并更新依赖,实现了与现代 PyTorch 和 SciPy 的兼容,提升了可微音频分析的鲁棒性。
2026-06-11 cs.SD eess.AS
MP3 Compression To Diminish Adversarial Noise in End-to-End Speech Recognition
Chair of Human-Machine Communication, Department of Electrical and Computer Engineering, Technical University of Munich(慕尼黑工业大学电气与计算机工程系人机通信教席)
音频对抗示例(AAE)表示专门创建的输入,旨在欺骗自动语音识别(ASR)系统进行错误分类。目前的工作提出了MP3压缩作为一种手段,以减少由ASR系统转录的音频样本中的对抗性噪声(AN)的影响。为此,我们使用快速梯度符号方法为端到端的混合CTC注意力ASR系统生成AAE。然后,我们的方法通过两个客观指标进行验证:(1)字符错误率(CER),用于测量在未压缩以及MP3压缩数据集上训练的四个ASR模型的语音解码性能;(2)通过特征反转在时域中重建的未压缩和MP3压缩AAE的信噪比(SNR)。我们发现,与未压缩的AAE相比,应用于AAE的MP3压缩确实降低了CER。此外,特征反转(重建)AAE在MP3压缩后具有显著更高的SNR,表明AN减少。与AN相比,MP3压缩应用于用常规噪声增强的话语导致更多的转录错误,进一步证明MP3编码仅能有效减少AN。
2020-07-25 cs.CR cs.SD eess.AS
DTT-BSR+: A Generative-Regression Cascade for Music Source Restoration
School of Electronic Information, Wuhan University, China(武汉大学电子信息学院);Signal Processing Research Center, Tampere University, Tampere, Finland(塔尔库大学信号处理研究中心)
提出DTT-BSR+两阶段级联系统,将分布拟合与信号重建解耦,通过生成式分离器和改进的Demucs网络,在多个音轨上超越现有最佳方法。
2026-06-24 cs.AI cs.SD eess.AS
MPASCNet: Magnitude-Phase-Aware Adaptive Spectral Compression for Compressed Music Restoration
College of Artificial Intelligence, China University of Petroleum(中国石油大学人工智能学院);The Chinese University of Hong Kong(香港中文大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
本文针对现有压缩音乐恢复方法未显式建模相位或依赖预定义频率划分的问题,提出MPASCNet网络,通过幅度-相位感知自适应压缩频谱特征,在MP3恢复任务上以6.49M参数实现优于Apollo、AEROMamba的性能。
2026-10-14 cs.SD