Evaluating Objective Speech Quality Metrics for Neural Audio Codecs
ETH Zurich(苏黎世联邦理工学院)
本研究评估了神经音频编解码器的客观语音质量度量标准,通过MUSHRA测试分析主观评分与客观度量标准的相关性,发现部分度量标准与人类感知一致,但部分难以捕捉失真。
2025-11-24 cs.SD
PhaseGAN: High-Fidelity Vocoder via Decoupled Amplitude and GAN-Driven Phase Reconstruction
Inner Mongolia University(内蒙古大学)
PhaseGAN通过解耦幅度与相位重建的轻量级声码器,以少量参数实现高保真音频合成,并展现跨领域泛化能力。
2026-09-14 cs.SD
High-Fidelity Generative Audio Compression at 0.275kbps
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
本研究提出生成音频压缩(GAC)方法,在0.275kbps比特率下实现高保真音频压缩,显著优于现有神经编码器。
2026-01-31 cs.SD eess.AS
High-Fidelity Audio Compression with Improved RVQGAN
Descript, Inc.(Descript 公司)
本文提出一种基于改进RVQGAN的高保真通用神经音频压缩算法,在8kbps带宽下实现44.1 KHz音频约90倍压缩,统一处理语音、环境和音乐等多种音频,性能显著优于现有方法,并开源代码与模型权重。
2023-10-26 cs.LG cs.SD eess.AS
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
针对视频生成中同步音频缺失的问题,提出HunyuanVideo-Foley端到端框架,通过100k小时数据集、表示对齐策略及多模态扩散transformer,实现高保真且与视觉动态和语义对齐的拟音音频生成,性能达SOTA。
2025-08-23 cs.CV cs.SD eess.AS
DreamFoley: Scalable VLMs for High-Fidelity Video-to-Audio Generation
Bytedance Intelligent Creation Lab(字节跳动智能创作实验室);Zhejiang University(浙江大学)
DreamFoley通过结合视觉-语言模型,提出了一种可扩展的视频到音频生成方法,实现了高保真音频生成并优化了训练效率与质量的平衡。
2025-12-04 cs.MM cs.SD
ADNAC: Audio Denoiser using Neural Audio Codec
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出ADNAC,通过在大规模定制合成数据集上训练Descript Audio Codec (DAC)并结合多目标损失函数,克服传统架构局限,实现高保真音乐去噪与生成式音频修复。
2025-11-03 cs.LG cs.SD
A High Fidelity and Low Complexity Neural Audio Coding
Tencent Ethereal Audio Lab(腾讯天籁音频实验室);Tencent AI Lab(腾讯人工智能实验室)
针对神经音频编码中高频表达差、计算存储成本高的问题,提出集成神经网络与传统信号处理的框架,并设计感知损失和GAN压缩,在主观客观指标上超越先进方法,支持实时推理。
2023-10-17 cs.SD eess.AS
Switchcodec: Adaptive residual-expert sparse quantization for high-fidelity neural audio coding
SwitchCodec通过残差专家向量量化实现自适应稀疏量化,解耦码率与码本容量,提升压缩效率,并支持多码率操作。
2026-05-07 cs.AI cs.SD
ComplexDec: A Domain-robust High-fidelity Neural Audio Codec with Complex Spectrum Modeling
Codec Avatars Lab(Codec Avatars实验室);Meta
本文提出48 kHz全频带神经音频编解码器ComplexDec,通过复数频谱建模缓解压缩信息损失,在24 kbps比特率下仅用30小时VCTK数据训练即实现领域外鲁棒性。
2025-02-04 cs.SD eess.AS
From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion
FAIR Team, Meta(Meta FAIR团队);Universite de Lorraine, CNRS, Inria, LORIA(洛林大学,法国国家科学研究中心,法国国家信息与自动化研究所,洛林计算机科学实验室);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对现有低码率离散表征音频生成易出伪影、扩散模型应用受限的问题,提出高保真多带扩散框架,可生成多类音频,同码率下感知质量优于现有最优技术,相关资源已开源。
2023-11-08 cs.LG cs.SD eess.AS
MBCodec:Thorough disentangle for high-fidelity audio compression
Tsinghua University(清华大学);AMAP Speech(AMAP语音)
本文提出MBCodec,一种基于残差向量量化的多码本音频编解码器,通过自监督语义标记、子带特征和自适应训练策略彻底解耦语义与声学信息,实现24 kHz音频170倍压缩至2.2 kbps的近无损重建。
2025-09-21 cs.SD eess.AS
APCodec+: A Spectrum-Coding-Based High-Fidelity and High-Compression-Rate Neural Audio Codec with Staged Training Paradigm
National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
该研究提出改进型神经音频编解码器APCodec+,以音频幅度和相位谱为编码对象,采用两阶段联合-独立训练范式降低解码器学习难度,在低比特率下实现了与更高比特率基线编解码器相当的性能。
2024-10-30 cs.SD eess.AS
STFTCodec: High-Fidelity Audio Compression through Time-Frequency Domain Representation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
本研究提出新型神经音频编解码器STFTCodec,利用STFT构建紧凑频谱表示并引入解包裹相位导数作为辅助特征,采用并行幅相处理分支,在放宽相位重建约束的同时保持相位感知,实现了多比特率下优于现有方法的感知质量,且压缩比调节灵活。
2025-03-21 cs.SD eess.AS
High-Fidelity Audio Generation and Representation Learning with Guided Adversarial Autoencoder
University of Southern Queensland(南昆士兰大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
从无标签音频数据中进行无监督的解纠缠表示学习和高保真音频生成已经成为机器学习研究领域的两个关键。然而,从无监督设置中学习的表示并不能保证其对于手头的任何下游任务的可用性,如果训练是针对该特定的后续工作进行的,则这可能是资源的浪费。此外,在表示学习过程中,如果模型高度偏向下游任务,它就会失去直接有利于下游任务的泛化能力,但也失去了将其扩展到其他相关任务的能力。因此,为了填补这一空白,我们提出了一种新的基于自动编码器的模型,名为“Guided Adversarial Autoencoder(GAAE)”,它可以学习任务后特定的表示和一般表示,利用一小部分标记样本捕获训练数据中的变化因素;因此,使其适合未来的相关任务。此外,我们提出的模型可以生成具有优异质量的音频,这是从真实的音频样本难以区分。因此,通过大量的实验结果,我们已经证明,通过利用高保真音频生成的能力,所提出的GAAE模型可以从未标记的数据集中学习强大的表示,利用较少百分比的标记数据作为监督/指导。
2020-10-17 cs.LG cs.SD eess.AS
UniAudio 2.0: A Unified Audio Language Model with Text-Aligned Factorized Audio Tokenization
The Chinese University of Hong Kong, China(香港中文大学)
UniAudio 2.0通过引入ReasoningCodec和统一自回归架构,实现了文本对齐的因子化音频标记化,提升了音频理解和生成性能,并在多种任务中展现了强大的泛化能力。
2026-02-11 cs.SD
SwitchCodec: A High-Fidelity Nerual Audio Codec With Sparse Quantization
本文提出SwitchCodec,通过残差专家向量量化和多级判别器提升音频压缩质量,在低比特率下保持高保真度,实现高效压缩与低训练成本。
2026-05-07 cs.SD eess.AS
IMPACT: Iterative Mask-based Parallel Decoding for Text-to-Audio Generation with Diffusion Modeling
Amazon AGI(亚马逊AGI)
本文提出IMPACT框架,通过在连续潜在空间中结合扩散建模与迭代掩码并行解码,在保证音频质量的同时显著降低文本到音频生成的推理延迟,并在AudioCaps上取得最先进性能。
2025-05-31 cs.SD eess.AS
High-Fidelity Speech Enhancement via Discrete Audio Tokens
ETH Zurich(苏黎世联邦理工学院)
针对现有自回归语音增强方法依赖复杂多阶段流程、适用场景受限的问题,提出采用离散高分辨率音频表示的DAC-SE1框架,在客观指标与人工评估中均优于现有最优方法,并公开相关资源以推动领域研究。
2025-10-02 cs.LG cs.SD eess.AS
MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词,支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
MusicHiFi: Fast High-Fidelity Stereo Vocoding
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
针对现有声码器分辨率低、仅支持单声道的局限,提出三级GAN级联的高保真立体声声码器MusicHiFi,在音频质量、空间控制和推理速度上均优于已有方法。
2024-10-05 cs.SD eess.AS eess.SP
Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio
University of California, San Diego, Computer Science and Engineering Department(加州大学圣地亚哥分校计算机科学与工程系);Carnegie Mellon University, School of Computer Science(卡内基梅隆大学计算机科学学院)
提出字节级分词方案Trilobyte,将词汇量从指数级降至常数级,首次实现24位音频的LM无损压缩,并在8位和16位下超越FLAC。
2026-11-03 cs.AI cs.LG cs.SD
High Fidelity Neural Audio Compression
Meta AI
我们介绍了一个国家的最先进的实时,高保真,音频编解码器利用神经网络。它包括一个流编码器-解码器架构,具有以端到端方式训练的量化潜在空间。我们通过使用单个多尺度谱图对手来简化和加速训练,该对手可以有效地减少伪影并生成高质量的样本。我们引入了一种新的损失平衡器机制来稳定训练:损失的权重现在定义了它应该代表的整体梯度的分数,从而将这个超参数的选择与损失的典型规模解耦。最后,我们研究了如何使用轻量级的Transformer模型来进一步压缩所获得的表示高达40%,同时保持比实时更快。我们提供了一个详细的描述所提出的模型的关键设计选择,包括:训练目标,架构的变化和各种感知损失函数的研究。我们提出了一个广泛的主观评价(MUSHRA测试)连同消融研究的带宽和音频域的范围内,包括语音,嘈杂的混响语音,和音乐。考虑到24 kHz单声道和48 kHz立体声音频,我们的方法优于所有评估设置的基线方法。代码和模型可在github.com/facebookresearch/encodec上获得。
2022-10-24 cs.AI cs.SD eess.AS
Guided Generative Adversarial Neural Network for Representation Learning and High Fidelity Audio Generation using Fewer Labelled Audio Data
University of Southern Queensland(南昆士兰大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
生成对抗神经网络(GANs)的最新改进已经显示出它们能够生成更高质量的样本,并学习用于迁移学习的良好表示。大多数基于GANs的表示学习方法学习表示,忽略了它们的使用后场景,这可能导致泛化能力的提高。但是,如果模型是用于特定任务的,它可能会变得多余。例如,假设我们有一个巨大的未标记的音频数据集,我们想从这个数据集中学习一个表示,这样它就可以用来提高一个小的标记音频数据集的情感识别性能。在表征学习训练过程中,如果模型不知道后情绪识别任务,它可以完全忽略学习表征中的情绪相关特征。这是任何无监督表示学习模型的根本挑战。在本文中,我们的目标是通过提出一种新的GAN框架来解决这一挑战:引导生成神经网络(GGAN),它引导GAN专注于学习所需的表示,并利用更少的标记样本为音频数据生成高质量的样本。实验结果表明,使用非常少量的标记数据作为指导,GGAN学习更好的表示。
2020-06-01 cs.LG cs.SD eess.AS
HiFi-Codec: Group-residual Vector quantization for High Fidelity Audio Codec
Tencent AI Lab(腾讯人工智能实验室)
本文提出分组残差向量量化(GRVQ)技术,构建仅需4个码本的高保真音频编解码器HiFi-Codec,在重建性能上优于Encodec,并开源AcademiCodec工具包以促进研究。
2023-05-07 cs.SD eess.AS
As Good as It KAN Get: High-Fidelity Audio Representation
Jagiellonian University(雅盖隆大学);Wroclaw University of Science and Technology(沃拉基大学科学与技术学院);IDEAS Research Institute(IDEAS研究 institute)
本研究提出使用Kolmogorov-Arnold Network(KAN)作为音频隐式神经表示模型以实现高保真音频表示,并引入基于超网络的FewSound架构增强参数更新,在多项指标上显著超越现有方法。
2025-11-02 cs.CV cs.SD eess.AS
LongCat-AudioDiT: High-Fidelity Diffusion Text-to-Speech in the Waveform Latent Space
Meituan LongCat Team(美团LongCat团队)
LongCat-AudioDiT通过在波形潜在空间中直接操作,实现了高保真的文本到语音生成,无需复杂多阶段训练流程或高质量标注数据,展现出卓越的零样本语音克隆性能。
2026-03-31 cs.SD eess.AS
InspireMusic: Integrating Super Resolution and Large Language Model for High-Fidelity Long-Form Music Generation
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
InspireMusic框架结合自回归Transformer与超分辨率流匹配模型,利用单码本音频分词器,实现了基于文本和音频提示的高保真、长达8分钟的长篇幅音乐可控生成。
2025-02-28 cs.AI cs.CL cs.SD
Model-Guided Dual-Role Alignment for High-Fidelity Open-Domain Video-to-Audio Generation
KAIST, South Korea(韩国釜山国立大学);NWPU, China(中国西北工业大学);UNIST, South Korea(韩国全南国立大学)
本研究提出新型基于流的视频转音频生成框架MGAudio,通过模型引导双角色对齐实现生成模型自我引导,在VGGSound等基准上取得最优性能,为条件视频转音频生成提供可扩展新范式。
2025-10-28 cs.AI cs.MM cs.SD
MeloCodec: Harnessing Melodic Priors for High-Fidelity Singing Voice Representation
MeloCodec是整合旋律先验的新型音频编解码器框架,采用先分词后融合范式与两阶段训练策略,在歌声表征任务中优于基线,提升了音高一致性并实现可控音高操作。
2026-08-05 cs.SD
FlashAudio: Rectified Flows for Fast and High-Fidelity Text-to-Audio Generation
Hong Kong University of Science and Technology(香港科技大学);Tongyi Lab, Alibaba Group(阿里云实验室);Zhejiang University(浙江大学);Fundamental AI Research (FAIR), Meta(Meta基础人工智能研究(FAIR))
FlashAudio利用整流流学习直线流,通过Bifocal Samplers、immiscible flow和Anchored Optimization实现单步高质量文本到音频生成,速度比实时快400倍。
2025-06-03 cs.SD eess.AS
DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis
Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波数字孪生研究所、东部技术研究所)
本文提出DPN-GAN,通过周期性ReLU激活与可变形卷积增强生成器和判别器,在五个语音及音乐数据集上实现优于现有GAN的高保真、鲁棒音频合成。
2025-05-14 cs.AI cs.CV cs.LG
I Hear Your True Colors: Image Guided Audio Generation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了Im 2 Wav,一个图像引导的开放域音频生成系统。给定输入图像或图像序列,Im 2 Wav生成语义相关的声音。Im 2 Wav基于两个Transformer语言模型,其在从基于VQ-VAE的模型获得的分层离散音频表示上操作。我们首先使用语言模型产生低级音频表示。然后,我们使用附加的语言模型对音频令牌进行上采样以生成高保真音频样本。我们使用预训练的CLIP(对比图像预训练)嵌入的丰富语义作为视觉表示来调节语言模型。此外,为了将生成过程转向调节图像,我们应用了无分类器引导方法。结果表明,Im 2 Wav在保真度和相关性评估指标方面均显着优于评估基线。此外,我们提供了消融研究,以更好地评估每个方法组件对整体性能的影响。最后,为了更好地评估图像到音频模型,我们提出了一个域外图像数据集,表示为ImageHear。ImageHear可以用作评估未来图像到音频模型的基准。样本和代码可以在手稿中找到。
2023-02-27 cs.SD eess.AS
High Fidelity Speech Synthesis with Adversarial Networks
Imperial College London(帝国理工学院);DeepMind(深度思维)
生成对抗网络近年来发展迅速,并在图像生成建模方面取得了显着进步。然而,它们在音频域中的应用受到了有限的关注,并且自回归模型(诸如WaveNet)仍然是音频信号(诸如人类语音)的生成建模的最新技术。为了解决这一问题,我们引入了GAN-TTS,这是一种用于文本到语音的生成对抗网络。我们的架构是由一个有条件的前馈生成器产生原始语音音频,和一个合奏的歧视,不同大小的随机窗口上操作。鉴别器分析音频的一般真实性以及音频与应该发音的话语的对应程度。为了衡量GAN-TTS的性能,我们采用了主观的人类评价(MOS -平均意见得分)以及新的定量指标(Fréchet DeepSpeech距离和Kernel DeepSpeech距离),我们发现这些指标与MOS有很好的相关性。我们表明,GAN-TTS能够生成高保真语音,其自然度可与最先进的模型相媲美,并且与自回归模型不同,由于高效的前馈发生器,它具有高度的并行性。请在https://storage.googleapis.com/deepmind-media/research/abstract.wav上收听GAN-TTS阅读这篇摘要。
2019-09-26 cs.LG cs.SD eess.AS
STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generation
Hong Kong University of Science(香港科学大学);Tongyi Fun Team, Alibaba Group(通义Fun团队,阿里巴巴集团)
针对连续VAE在压缩率、重建保真度和潜在空间拓扑之间的三难困境,提出结构化拓扑感知正则化(STAR),通过增长约束场重塑潜在空间几何,实现音频的高保真重建与生成。
2026-06-23 cs.SD eess.AS
HE-NAC: High-Efficiency Neural Audio Coding via Hierarchical and Residual Multi-Band Quantization
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(电子电信研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
HE-NAC是基于分层残差多带量化的高效神经音频编码方法,通过协调盲上采样、残差学习与多头解码器,在相同或更低比特率下,性能优于DAC基线和MPEG HE-AAC,可实现高保真音频重建。
2026-10-14 cs.SD eess.AS
L3AC: Towards a Lightweight and Lossless Audio Codec
L3AC提出一种采用单量化器和高效架构的轻量级神经音频编解码器,通过精简卷积网络、局部Transformer和新型TConv结构,在保持或超越主流编解码器重建质量的同时将计算开销降低一个数量级。
2025-08-15 cs.AI cs.SD
A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings
Aalto University(阿尔托大学)
提高历史音乐录音的音质是一个长期存在的问题。本文提出了一种基于全卷积深度神经网络的新型去噪方法。设计了一个两阶段的U-Net模型架构,以高保真度建模和抑制退化。该方法处理音频的时间-频率表示,并使用真实的噪声数据进行训练,以联合去除旧模拟光盘中的嘶嘶声、咔嗒声、重击声和其他常见的附加干扰。该模型在客观和主观指标上都优于以前的方法。一个正式的盲听测试的结果表明,真正的录音去噪与这种方法有显着更好的质量比基线方法。这项研究显示了真实训练数据的重要性和深度学习在音频恢复中的作用。
2022-02-19 cs.SD eess.AS
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise(Kakao企业(Kakao Enterprise))
最近几项关于语音合成的工作采用了生成对抗网络(GANs)来产生原始波形。虽然这些方法提高了采样效率和内存使用率,但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中,我们提出了HiFi-GAN,它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成,我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价(平均意见得分,MOS)表明,我们提出的方法与人类质量相似,同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后,HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍,质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
SonicRAG : High Fidelity Sound Effects Synthesis Based on Retrival Augmented Generation
Dept. of Computer Science and Information Engineering(计算机科学与信息工程系);National Taiwan University of Science and Technology(台湾科技大学)
本文提出 SonicRAG 框架,利用 LLM 结合现有音效数据库进行检索、重组与合成,以解决标注数据不足和时序建模难题,实现高保真、多样且低成本的音效生成。
2025-05-13 cs.SD eess.AS
Stable Audio 3
稳定音频3提出了一种快速的潜在扩散模型家族,用于可变长度音频生成和编辑,通过高效的潜在空间生成和对抗训练提升了生成质量和效率。
2026-05-18 cs.AI cs.SD
WG-WaveNet: Real-Time High-Fidelity Speech Synthesis without GPU
NVIDIA(英伟达);Taiwan AI Labs(台湾人工智能实验室)
在本文中,我们提出了WG-WaveNet,一个快速,轻量级,高质量的波形生成模型。WG-WaveNet由一个紧凑的基于流的模型和一个后置过滤器组成。通过最大化训练数据的可能性和优化频域上的损失函数来联合训练这两个分量。由于我们设计了一个基于流的模型,该模型被严重压缩,因此与其他波形生成模型相比,在训练和推理时间内,所提出的模型需要的计算资源要少得多;即使模型被高度压缩,后滤波器也能保持生成波形的质量。我们的PyTorch实现可以使用不到8 GB的GPU内存进行训练,并在NVIDIA 1080Ti GPU上以超过960 kHz的速率生成音频样本。此外,即使在CPU上合成,我们表明,所提出的方法是能够产生44.1 kHz的语音波形比实时快1.2倍。实验还表明,生成的音频质量与其他方法相当。音频样本可在网上公开获取。
2020-08-20 cs.SD eess.AS
DiTSE: High-Fidelity Generative Speech Enhancement via Latent Diffusion Transformers
INRS-EMT, Université du Québec, Montréal, Canada(INRS-EMT,魁北克大学,蒙特利尔,加拿大);Adobe Research, San Francisco, California, United States(Adobe研究,旧金山,加利福尼亚,美国)
本文提出DiTSE,一种基于潜在扩散Transformer的语音增强方法,通过鲁棒条件特征在全带宽上抑制内容幻觉并保持说话人身份,首次达到与真实录音室质量相匹配的音频质量。
2025-09-19 cs.SD eess.AS
TARO: Timestep-Adaptive Representation Alignment with Onset-Aware Conditioning for Synchronized Video-to-Audio Synthesis
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
TARO通过时间步自适应表示对齐和起始感知条件,在流式变换器上实现高保真视频到音频合成,显著降低FD和FAD并提升对齐准确率。
2025-10-10 cs.AI cs.CV cs.SD
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University(高丽大学)
针对扩散模型用于歌声合成时复杂度高、可控性差的问题,提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统,还扩展出无监督框架HiddenSinger-U,音频质量优于现有模型,可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
UniTalking: A Unified Audio-Video Framework for Talking Portrait Generation
Central Media Technology Institute, Huawei(华为中央媒体技术研究所);School of Computer Science and Engineering, Beihang University(北航计算机科学与工程学院)
UniTalking提出了一种统一的端到端扩散框架,用于生成高质量的语音和唇同步视频,通过多模态Transformer块和个性化语音克隆技术,提升了视觉保真度和训练效率。
2026-03-02 cs.CV cs.MM cs.SD
FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models
Technical University of Munich(慕尼黑工业大学);MPI-IS, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));TU Darmstadt(达姆施塔特工业大学)
FaceTalk提出一种基于潜在扩散模型的生成方法,从音频驱动神经参数化头部模型合成高保真3D头部运动序列,通过优化音频-表达对应关系构建数据集,在感知评估中优于现有方法75%。
2024-03-17 cs.AI cs.CV cs.GR
Noise2Music: Text-conditioned Music Generation with Diffusion Models
Google Research(谷歌研究院)
我们引入了Noise 2 Music,其中训练了一系列扩散模型,以从文本提示生成高质量的30秒音乐片段。连续训练并利用两种类型的扩散模型,生成器模型和扩散器模型,生成器模型生成以文本为条件的中间表示,扩散器模型生成以中间表示和可能的文本为条件的高保真音频,以生成高保真音乐。我们探索两种选择的中间表示,一个使用频谱图和其他使用音频较低的保真度。我们发现,生成的音频不仅能够忠实地反映文本提示的关键元素,如体裁,节奏,乐器,情绪和时代,但超越了地面细粒度的提示语义。预训练的大语言模型在这个故事中起着关键作用-它们用于为训练集的音频生成配对文本,并提取扩散模型摄取的文本提示的嵌入。生成的示例:https://google-research.github.io/noise2music
2023-03-06 cs.LG cs.SD eess.AS
MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation
Shanghai Jiao Tong University(上海交通大学);Bytedance Inc(字节跳动公司)
MagiCodec是一种单层流式Transformer音频编解码器,通过高斯噪声注入和潜在正则化提升token语义表达能力,在重建质量和下游任务上超越现有方法,并呈现Zipf分布以增强与语言模型生成架构的兼容性。
2025-05-31 cs.AI cs.LG cs.SD
Post-Training Quantization for Audio Diffusion Transformers
Courant Institute of Mathematical Sciences, New York University, NY, USA(Courant数学科学研究所,纽约大学);MARL, New York University, NY, USA(MARL,纽约大学);IDM, New York University, NY, USA(IDM,纽约大学)
针对音频扩散Transformer部署时计算与存储成本高的问题,本文评估训练后量化技术,提出两种优化方法,实验证明低精度量化可降内存达79%且保持生成质量。
2025-09-30 cs.SD eess.AS
AE-NeRF: Audio Enhanced Neural Radiance Field for Few Shot Talking Head Synthesis
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Alibaba Group(阿里巴巴集团);Nanjing University(南京大学)
针对少样本说话人脸合成中现有NeRF方法的先验缺失与区域音频关联度忽略问题,提出带音频感知聚合和双NeRF对齐生成的AE-NeRF,在保真度、唇音同步和泛化性上优于SOTA。
2023-12-18 cs.CV cs.SD eess.AS
WaveFlow: A Compact Flow-based Model for Raw Audio
Baidu Research(百度研究院)
在这项工作中,我们提出了WaveFlow,这是一种用于原始音频的小足迹生成流,它直接使用最大似然进行训练。它处理一维波形的长程结构与扩张的2-D卷积架构,同时使用表达自回归函数建模的局部变化。WaveFlow为一维数据提供了基于似然模型的统一视图,包括WaveNet和WaveGlow作为特例。它生成高保真语音作为WaveNet,同时合成速度快了几个数量级,因为它只需要几个连续的步骤就可以生成具有数十万个时间步长的非常长的波形。此外,它可以显着减少自回归模型和基于流的模型之间存在的可能性差距,以进行有效的合成。最后,我们的小型WaveFlow只有5.91 M参数,比WaveGlow小15 $\times$。它可以生成22.05 kHz的高保真音频42.6 $\times$,比在V100 GPU上实时(939.3 kHz的速率)更快,而无需工程推理内核。
2020-06-24 cs.CL cs.LG cs.SD
Lightweight Implicit Neural Network for Binaural Audio Synthesis
Shanghai Institute of Artificial Intelligence for Education, East China Normal University, China(上海人工智能教育研究院,东华大学);School of Computer Science and Technology, East China Normal University, China(计算机科学与技术学院,东华大学);Department of Big Data and Information Engineering, Guizhou Industry Polytechnic College, China(大数据与信息工程系,贵州工业职业技术学院)
本文提出轻量隐式神经网络,通过两阶段框架实现高效双耳音频合成,显著提升计算效率并保持高质量输出。
2026-01-23 cs.SD eess.AS
Differentiable Wavetable Synthesis
ByteDance(字节跳动)
可微分波形表合成(DWTS)是一种用于神经音频合成的技术,其通过端到端训练来学习单周期波形(即波形表)的字典。我们实现了高保真音频合成,只需10到20个波表,并演示了数据驱动的波形字典如何在短音频片段上开辟前所未有的一次性学习范例。值得注意的是,我们展示了音频操作,例如高质量的音高转换,仅使用几秒钟的输入音频。最后,我们研究了使用学习的波形表进行实时和交互式音频合成的性能增益。
2022-02-13 cs.LG cs.SD eess.AS