PLACE: Positional Latent Adaptation via Conditioned Embeddings for Binaural Audio Generation
Dolby Laboratories(杜比实验室)
PLACE通过条件嵌入和低秩变换扩展AudioX,实现多模态双耳音频生成,在FAIR-Play和BEWO-1M上提升空间一致性。
2026-10-02 cs.MM cs.SD eess.AS
Self-Supervised Disentanglement of Harmonic and Rhythmic Features in Music Audio Signals
AlphaTheta Corporation(AlphaTheta公司)
提出一种基于深度神经网络的自监督学习方法,通过训练变分自编码器在音高偏移条件下重建梅尔频谱图,实现音乐音频中节奏与谐波特征的解耦,并验证了其解耦效果及在自动音乐混音生成中的应用。
2023-09-06 cs.SD eess.AS
Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders
本文提出Re-Bottleneck框架,通过修改预训练自编码器的瓶颈层,引入用户定义的潜在结构,提升音频模型在不同下游任务中的性能。
2025-09-08 cs.LG cs.SD eess.AS
Latent Granular Resynthesis using Neural Audio Codecs
提出一种在神经音频编解码器潜在空间中进行粒子匹配与再合成的方法,无需训练即可保留目标时序并迁移源音色,同时避免拼接不连续。
2025-07-25 cs.LG cs.SD eess.AS
Generalizable Audio Deepfake Detection via Latent Space Refinement and Augmentation
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对深度伪造语音检测泛化难的问题,提出结合潜在空间精炼与增强的方法,在多个数据集上达到或超越现有最佳性能。
2025-01-24 cs.SD eess.AS
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University(高丽大学)
针对扩散模型用于歌声合成时复杂度高、可控性差的问题,提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统,还扩展出无监督框架HiddenSinger-U,音频质量优于现有模型,可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
CodecSep: Prompt-Driven Universal Sound Separation on Neural Audio Codec Latents
Department of Electrical Engineering(电气工程系);Indian Institute of Technology, Kanpur(印度理工学院,坎浦尔)
CodecSep通过在神经音频编解码器潜在空间中直接提取声源,实现开放词汇声音分离,相比AudioSep在SI-SDR指标上表现更优,且在ViSQOL和MOS-LQS上取得显著提升,同时提供低延迟的代码流部署方案。
2026-06-21 cs.LG cs.SD eess.AS
AudioLDM: Text-to-Audio Generation with Latent Diffusion Models
University of Surrey(萨里大学);Imperial College London(帝国理工学院)
提出AudioLDM,基于CLAP潜在空间学习连续音频表示的文本到音频生成系统,在单GPU上训练即达到最优性能,并首次支持零样本文本引导音频操作。
2023-09-09 cs.AI cs.MM cs.SD
STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generation
Hong Kong University of Science(香港科学大学);Tongyi Fun Team, Alibaba Group(通义Fun团队,阿里巴巴集团)
针对连续VAE在压缩率、重建保真度和潜在空间拓扑之间的三难困境,提出结构化拓扑感知正则化(STAR),通过增长约束场重塑潜在空间几何,实现音频的高保真重建与生成。
2026-06-23 cs.SD eess.AS
Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners
HKUST(香港科技大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
本文提出基于优化和 ImageBind 的多模态潜变量对齐器,在推理期引导扩散去噪,从而连接现成视频与音频模型,实现开放域联合及双向跨模态生成。
2024-02-27 cs.CV cs.MM cs.SD
LiLAC: A Lightweight Latent ControlNet for Musical Audio Generation
针对现有文本到音频扩散SOTA模型缺乏细粒度时变控制、传统ControlNet内存占用大且控制集固定的问题,提出轻量级模块化架构LiLAC,在保证音频质量与条件遵循度的同时大幅减参,提升了灵活性与部署效率。
2025-06-13 cs.LG cs.SD eess.AS
LongCat-AudioDiT: High-Fidelity Diffusion Text-to-Speech in the Waveform Latent Space
Meituan LongCat Team(美团LongCat团队)
LongCat-AudioDiT通过在波形潜在空间中直接操作,实现了高保真的文本到语音生成,无需复杂多阶段训练流程或高质量标注数据,展现出卓越的零样本语音克隆性能。
2026-03-31 cs.SD eess.AS
Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders
Smule Labs(Smule实验室);University of California, San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
针对稀疏自编码器应用于音频生成的语义掩盖、特征表征有限问题,提出将音频潜在表示映射到可解释声学概念的框架,训练SAEs并学习到声学属性的线性映射,在多类潜在空间验证有效且可扩展至视觉领域。
2025-10-27 cs.LG cs.SD
Towards Robust Generative Speech Enhancement Using Vector Quantisation-Based Neural Audio Codec
IDLab, Ghent University - imec(IDLab,根特大学 - imec)
研究VQ-NAC中连续与离散潜在空间的建模策略,提出cNAC-SE和dNAC-SE框架,发现VQ正则化通过干净先验约束增强鲁棒性,且cNAC-SE在DNS-MOS指标上领先。
2026-06-16 cs.SD eess.AS
SoloAudio: Target Sound Extraction with Language-oriented Audio Diffusion Transformer
Johns Hopkins University(约翰斯·霍普金斯大学)
SoloAudio提出一种基于潜在扩散Transformer的目标声音提取模型,利用CLAP支持音频和语言导向提取,并通过合成音频训练实现强泛化,在FSD Kaggle 2018和AudioSet上取得最先进结果。
2025-01-02 cs.SD eess.AS
Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出TANGO,利用指令微调LLM Flan-T5作为文本编码器并结合潜在扩散模型,在更小数据集上实现文本到音频生成性能超越AudioLDM。
2023-05-29 cs.AI cs.CL cs.SD
Bass Accompaniment Generation via Latent Diffusion
Sony Computer Science Laboratories(索尼计算机科学实验室);Queen Mary University(伦敦玛丽女王大学)
本文提出一种基于潜在扩散模型的可控贝斯伴奏生成系统,利用音频自编码器和条件扩散模型,根据输入混音生成指定音色的贝斯分轨,并通过改进引导技术提升音频质量。
2024-02-02 cs.LG cs.SD eess.AS
Exploring Token-Space Manipulation in Latent Audio Tokenizers
Mila – Québec AI Institute(魁北克人工智能研究所);Université Laval(拉瓦尔大学);Concordia University(康科迪亚大学)
本文提出LATTE,通过在音频特征序列后添加固定可学习潜在标记,实现标记空间编辑,支持低比特率语音编码中的可控音频操控。
2026-05-11 cs.AI cs.LG cs.SD
Taming Audio VAEs via Target-KL Regularization
Adobe Research(Adobe研究院)
本文提出通过压缩率调节和目标KL正则化训练音频VAE,以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题,并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
PoDAR: Power-Decoupled Audio Representation for Generative Modeling
Descript
本文提出PoDAR框架,通过随机功率增强和潜在一致性目标解耦信号功率与语义内容,提升潜在空间建模能力,加速生成模型收敛并提高性能。
2026-09-29 cs.AI cs.LG cs.SD
Generating Moving 3D Soundscapes with Latent Diffusion Models
本文提出SonicMotion,首个端到端潜在扩散框架,通过描述模型和参数模型两种变体生成具有移动声源显式控制的一阶Ambisonics音频,并构建了超百万对模拟FOA字幕数据集,在语义对齐和感知质量上达到领先水平且空间定位误差低。
2025-09-19 cs.AI cs.SD eess.AS
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons(蒙斯大学Numediart研究所);Acapela Group(Acapela集团)
文本到语音转换领域在过去几年中经历了巨大的进步,受益于深度学习技术。现在,制作逼真的演讲成为可能。因此,对表达性的控制,允许生成不同风格或方式的演讲,最近引起了越来越多的关注。能够控制风格的系统已经开发出来,并显示出令人印象深刻的结果。然而,控制参数往往包括潜变量,并保持复杂的解释。在本文中,我们分析和比较不同的潜在空间,并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University(西北大学);Descript, Inc.(Descript公司)
我们展示了一种无监督的方法,该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离,而无需任何重新训练。音频生成模型以输入混合为条件,产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器,创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的(不变的)潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重,并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型,并将其与四种预训练的音乐标记器(两种架构和两种标记数据集)相结合。在两个声源分离数据集上的实验结果表明,该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务(如声源分离)中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
Comparative Evaluation of Text and Audio Simplification: A Methodological Replication Study
University of Arizona(亚利桑那大学)
本研究通过44名参与者的方法学复制实验,验证了文本简化在提升音频形式医疗信息理解方面的有效性,并揭示了教育水平与语言熟练程度对健康信息获取的影响。
2025-08-20 cs.SD eess.AS
Exploiting Neural Audio Codec Latents for Adversarial Audio Attacks
Dept. of Computer Science and Engineering, University of North Texas(北德克萨斯大学计算机科学与工程系)
提出在神经音频编解码器连续潜空间中生成对抗性扰动的方法,实现单次前向传播、低延迟(<7ms)的高成功率(99%)目标攻击。
2026-06-23 cs.AI cs.CR cs.SD
LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore(新加坡国立大学)
针对潜在扩散模型长音频合成推理效率低的问题,提出LiteFocus方法,采用同频聚焦+跨频补偿的双稀疏注意力机制,实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation
研究针对音频和视频联合生成中跨模态对齐难的问题,提出OmniVAE,通过联合训练学习音频和视频潜在表示间的细粒度语义对齐,使用对比目标捕捉对应关系并对齐潜在空间,还提炼特征提升可学习性,实验证明其有效提升生成质量和同步准确性。
2026-08-03 cs.CV cs.SD
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型,使其支持文本驱动说话人脸合成,并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
Foley Control: Aligning a Frozen Latent Text-to-Audio Model to Video
Stability AI
Foley Control通过冻结预训练模型并仅学习小型交叉注意力桥接,实现视频引导的拟音生成,以少量参数达到竞争性的时序与语义对齐,并保持模块化与可控性。
2025-10-24 cs.CV cs.SD
Stable Audio 3
稳定音频3提出了一种快速的潜在扩散模型家族,用于可变长度音频生成和编辑,通过高效的潜在空间生成和对抗训练提升了生成质量和效率。
2026-05-18 cs.AI cs.SD
NeuMark-Native: Robust Text-to-Speech-Native Watermarking Through Full Utilization of Neural Audio Codec Latent Space
Nagoya University(名古屋大学)
NeuMark-Native提出一种TTS原生水印框架,在神经编解码器潜在空间中嵌入载荷,提升水印在DSP和编解码器攻击下的持久性,同时保持语音质量。
2026-10-06 cs.SD
Precise Video-to-Audio Generation with Cross-Modal Alignment in Latent Space
FPT Software AI Center(FPT软件人工智能中心);NVIDIA Corporation(NVIDIA公司)
研究视频到音频生成问题,提出Flowley架构,结合视觉特征与文本提示,通过渐进软掩码交叉注意力实现视听同步,无额外计算成本,还提出SoundCap字幕,该方法在多个指标及零样本音频质量上达先进水平。
2026-07-16 cs.MM cs.SD
LVNS-RAVE: Diversified audio generation with RAVE and Latent Vector Novelty Search
University of Oslo(奥斯陆大学);Institute for Clarity in Documentation(文献清晰度研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康分校);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本文提出 LVNS-RAVE 方法,结合进化算法与生成式深度学习,利用 RAVE 模型生成声音、VGGish 模型评估新颖性,实现可控且多样化的逼真新颖音频生成。
2024-04-22 cs.LG cs.NE cs.SD
VoiceMark: Zero-Shot Voice Cloning-Resistant Watermarking Approach Leveraging Speaker-Specific Latents
Tsinghua University(清华大学);Pengcheng Laboratory(鹏城实验室)
针对零样本语音克隆场景下现有水印方法失效的问题,提出VoiceMark,利用说话人特定隐变量作为水印载体,实现零样本合成后超95%的水印检测准确率。
2025-05-30 cs.AI cs.CR cs.SD
PhysWave: Physics-Guided Latent Diffusion Models for Controllable Spatial Audio Generation
University of Houston(休斯顿大学);Stevens Institute of Technology(史蒂文斯理工学院);Waseda University(早稻田大学)
PhysWave是一种物理引导潜在扩散模型,通过统一控制与加入声学先验,生成空间一致的文本到FOA音频,还构建了30万段FOA数据集,可用于推理时的空间优化。
2026-09-01 cs.AI cs.MM cs.SD
Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations
National Taiwan University(台湾大学)
最近,周期一致性对抗网络(Cycle-GAN)已成功应用于语音转换到不同的扬声器,而无需并行数据,尽管在这些方法中,每个目标扬声器都需要一个单独的模型。在本文中,我们提出了一个用于语音转换的对抗性学习框架,通过将说话者特征与语音信号中的语言内容分离,可以训练单个模型将语音转换为许多不同的说话者,所有这些都没有并行数据。首先训练一个自动编码器,分别提取说话人独立的潜在表示和说话人嵌入,使用另一个辅助说话人分类器来正则化潜在表示。然后,解码器将说话者无关潜在表示和目标说话者嵌入作为输入,以生成具有源话语的语言内容的目标说话者的语音。解码器输出的质量通过与由另一对发生器和ADC产生的残余信号进行修补而进一步提高。在初步实验中测试了20个目标说话人集的大小,并且获得了非常好的语音质量。报告常规语音转换度量。我们还表明,说话人的信息已被适当减少的潜在表示。
2018-06-24 cs.CL cs.SD eess.AS
On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models
Verily AI
本研究探索冻结扩散TTS模型潜空间的语义信息,提出有监督和无监督方法寻找语义方向,实现无需额外训练或架构更改的开箱即用音频编辑。
2024-06-04 cs.CL cs.LG cs.SD
VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
Beijing University of Posts and Telecommunications(北京邮电大学);Hello Group(Hello集团)
提出VoTSpeech模型,通过显式中间语音潜在变量分离语音设计与语音生成,在InstructTTSEval-ZH上表现出色,可实现可控语音合成。
2026-10-14 cs.CL cs.SD
ConsistencyTTA: Accelerating Diffusion-Based Text-to-Audio Generation with Consistency Distillation
Microsoft Corporation(微软公司);University of California, Berkeley(加利福尼亚大学伯克利分校)
针对扩散模型文本转音频生成推理慢的问题,提出ConsistencyTTA框架,通过感知CFG的潜一致性模型实现单步非自回归生成,还支持闭环微调,在AudioCaps上计算量降400倍且保质量多样性。
2024-06-24 cs.LG cs.MM cs.SD
Towards Assessing Data Replication in Music Generation with Music Similarity Metrics on Raw Audio
本文提出与模型无关的 MiRA 开放评估工具,利用多种音频相似度度量检测 AI 生成音乐对训练数据的复制,并通过受控实验验证其有效性,以推动音乐生成模型的伦理与法律合规评估。
2024-08-01 cs.AI cs.MM cs.SD
AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining
University of Surrey(萨里大学);Chinese University of Hong Kong(香港中文大学);ByteDance Inc.(字节跳动公司)
本文提出 AudioLDM 2,借助 AudioMAE、GPT-2 与潜在扩散模型构建统一的 LOA 表示和自监督音频生成框架,在多类文本生成音频任务上达到先进性能。
2024-05-11 cs.AI cs.MM cs.SD
From Sound to Setting: AI-Based Equalizer Parameter Prediction for Piano Tone Replication
提出一种基于AI的钢琴音色复刻系统,直接从音频特征预测可解释的EQ参数,神经网络在多频段任务上MSE达0.0216。
2025-09-29 cs.LG cs.SD eess.AS
Audio Latent Space Cartography
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们探索使用音频到图像生成管道生成音频潜在空间的可视化。我们相信这有助于音频潜在空间的可解释性。我们在NSynth数据集上展示了各种结果。有一个web demo。
2022-12-07 cs.LG cs.SD eess.AS
Learning to Upsample and Upmix Audio in the Latent Domain
本文提出在音频自编码器潜在空间中进行音频处理的框架,通过潜在L1重构项和单个潜在对抗判别器简化训练,实现高效音频处理。
2025-09-08 cs.LG cs.SD eess.AS
Latent Watermarking of Audio Generative Models
Meta, FAIR(Meta FAIR);Inria(法国国家信息与自动化研究所);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出通过对训练数据添加水印来为音频潜在生成模型嵌入水印,使生成内容可被高置信度检测,无需后置水印步骤,并能识别未经许可的微调或衍生使用。
2024-09-04 cs.SD eess.AS
Generalized Audio Deepfake Detection Using Frame-level Latent Information Entropy
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对音频深度伪造检测的泛化性问题,基于信息论假设真实与伪造样本的信息差异,提出帧级潜在信息熵检测器(f-InfoED)及AdaLAM适配器扩展预训练模型,在ADFF 2024数据集上实现SOTA性能与强泛化性。
2025-04-15 cs.SD eess.AS
F3-Tokenizer: Taming Audio Autoencoder Latents for Understanding and Generation
Nanjing University, China(南京大学);WeNet Open Source Community(WeNet开源社区)
针对连续音频自编码器潜在变量结构弱、自监督编码器不可解码的问题,提出F3-Tokenizer,通过噪声正则化自编码器瓶颈和潜在侧表示编码器,实现统一的理解与生成音频分词器。
2026-06-04 cs.AI cs.SD eess.AS
Sound Design Strategies for Latent Audio Space Explorations Using Deep Learning Architectures
Chalmers University of Technology(查尔姆斯理工大学);Zurich University of the Arts(苏黎世艺术大学)
本研究提出三种策略,利用变分自编码器直接处理原始音频数据,探索潜在音频空间,以促进声音设计应用并连接深度学习与艺术实践。
2023-06-19 cs.LG cs.SD eess.AS
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University(南洋理工大学)
在本文中,我们研究了使用预训练音频神经网络(PANNs)的迁移学习的使用,并提出了一种架构,能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标,重建潜在空间相似正则化(RLSSR)。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Latent variable approach to diarization of audio recordings using ad-hoc randomly placed mobile devices
Indian Institute of Science(印度科学学院)
本文考虑了使用空间信息的自组织移动设备的音频记录的日记化。对于每个移动终端假设两信道同步记录,其用于以逐帧方式在每个设备处分别计算方向统计。跨移动设备的记录是异步的,但是通过使用声学事件或实时时钟对准信号来执行粗略同步。然后使用Dirichlet混合模型联合建模为所有设备计算的方向统计,并且使用混合分量上的后验概率来导出日志化信息。使用手机对真实生活录音进行的实验表明,日志化错误率低于14%。
2018-10-31 cs.SD eess.AS
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题,提出基于一致性模型的Music2Latent音频自编码器,通过多项创新实现单步高保真重建,性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
A Mapping Strategy for Interacting with Latent Audio Synthesis Using Artistic Materials
Centre for Digital Music, Queen Mary University of London(伦敦大学玛丽皇后学院数字音乐中心);Creative Computing Institute, University of the Arts London(伦敦艺术大学创意计算学院)
本文提出一种映射策略,通过无监督特征学习将人类控制空间映射到生成式AI音频模型的潜在空间,并用视觉草图控制音频合成,以促进艺术语境中的可解释AI。
2024-07-05 cs.HC cs.SD eess.AS
Synthesis and editing of multi-instrument audio mixtures using scalar-quantised latents with MIDI Span conditioning
Queen Mary University of London(伦敦玛丽女王大学)
本文提出SpanSynth-Edit,一种基于流匹配的MIDI引导多乐器音频合成与编辑模型,利用标量量化潜变量和MIDI Span条件化,实现帧内起始控制,并在基准上取得竞争力表现。
2026-09-23 cs.LG cs.SD eess.AS
A Generative-First Neural Audio Autoencoder
Adobe Research(Adobe研究院)
本文提出了一种生成优先的神经音频自编码器,通过提高时间下采样率并支持多种音频表示,实现了更快的编码速度、更低的潜在率和更高效的生成建模。
2026-02-19 cs.SD eess.AS