Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University(纽约大学)
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成,提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Mitigating data replication in text-to-audio generative diffusion models through anti-memorization guidance
本文提出反记忆指导技术,用于减轻文本到音频生成扩散模型中的数据复制问题,通过三种指导策略提升生成质量并保持音频保真度。
2026-01-29 cs.LG cs.SD eess.AS
AudioLCM: Text-to-Audio Generation with Latent Consistency Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
针对潜扩散模型文本到音频生成速度慢的问题,提出融合一致性模型、引导潜一致性蒸馏与LLaMA技术的AudioLCM,仅需2次迭代即可生成高保真音频,速度较实时快333倍。
2024-07-09 cs.SD eess.AS
Fast Text-to-Audio Generation with Adversarial Post-Training
UC – San Diego(加州大学圣迭戈分校);Stability AI;Arm
针对文本到音频系统推理延迟高的问题,提出不依赖蒸馏的ARC对抗后训练方法,结合对比判别器提升提示遵循度,适配Stable Audio Open后实现当前最快的文本到音频生成速度。
2025-05-20 cs.AI cs.LG cs.MM
WaveGlow: A Flow-based Generative Network for Speech Synthesis
NVIDIA Corporation(英伟达公司)
在本文中,我们提出了WaveGlow:一个基于流的网络,能够从梅尔频谱图生成高质量的语音。WaveGlow结合了Glow和WaveNet的见解,以提供快速,高效和高质量的音频合成,而无需自回归。WaveGlow仅使用单个网络实现,仅使用单个成本函数进行训练:最大化训练数据的可能性,这使得训练过程简单且稳定。我们的PyTorch实现在NVIDIA V100 GPU上以超过500 kHz的速率生成音频样本。平均意见分数表明,它提供的音频质量与最好的公开WaveNet实现一样好。所有代码都将在网上公开。
2018-10-31 cs.AI cs.LG cs.SD
Woosh: A Sound Effects Foundation Model
Sony AI(索尼人工智能)
本文介绍了Sony AI发布的Woosh声音效果基础模型,提供高质量音频编码器/解码器、文本-音频对齐模型及文本到音频和视频到音频生成模型,展示了其在公开和私有数据上的竞争力。
2026-04-29 cs.AI cs.LG cs.SD
Smark: A Watermark for Text-to-Speech Diffusion Models via Discrete Wavelet Transform
Faculty of Information Science and Electrical Engineering, Kyushu University, Fukuoka, Japan(九州大学信息科学与电气工程学系)
Smark通过离散小波变换在TTS扩散模型的低频区域嵌入水印,实现高质量语音生成与知识产权保护。
2025-12-21 cs.AI cs.CR cs.SD
Foley Control: Aligning a Frozen Latent Text-to-Audio Model to Video
Stability AI
Foley Control通过冻结预训练模型并仅学习小型交叉注意力桥接,实现视频引导的拟音生成,以少量参数达到竞争性的时序与语义对齐,并保持模块化与可控性。
2025-10-24 cs.CV cs.SD
WavFlow: Audio Generation in Waveform Space
Meta AI;Northeastern University(东北大学)
本文提出WavFlow框架,直接在原始波形空间生成高保真的音频,无需中间表示,通过波形分块和振幅提升实现稳定优化,通过自动化数据管道生成高质量视频-文本-音频三元组,实验结果显示在视频到音频和文本到音频基准测试中表现优异,证明了无需中间压缩即可实现高质量合成。
2026-05-18 cs.CV cs.SD
Adapting Neural Audio Codecs to EEG
ETH Zurich(苏黎世联邦理工学院)
本文提出将预训练的神经音频编解码器适应于EEG压缩,通过多通道扩展和注意力机制提升EEG重建质量与泛化能力。
2025-11-28 cs.LG cs.SD
FreeAudio: Training-Free Timing Planning for Controllable Long-Form Text-to-Audio Generation
Tsinghua University(清华大学);Shengshu AI(盛舒AI);University of Science and Technology of China(中国科学技术大学)
FreeAudio提出免训练时序控制框架,利用LLM规划时间窗口并结合注意力控制与潜在组合,首次实现时序可控的长文本转音频生成,质量媲美训练方法。
2025-09-18 cs.AI cs.MM cs.SD
The Artist is Present: Traces of Artists Resigind and Spawning in Text-to-Audio AI
Technische Universität Berlin(柏林工业大学)
本文通过元标签提示设计揭示艺术家在文本到音频AI中的踪迹,展示如何通过提示工程生成艺术家风格内容,引发关于创作归属与伦理的讨论。
2025-11-21 cs.SD eess.AS
Improving Robustness of Diffusion-Based Zero-Shot Speech Synthesis via Stable Formant Generation
DeepBrain AI
针对扩散模型零样本语音合成中被忽视的发音不稳定问题,提出结合源-滤波器理论的StableForm-TTS框架,通过稳定共振峰生成提升发音准确率与自然度,且具备可扩展性。
2025-01-13 cs.SD eess.AS
A Quantized Native Runtime for On-Device Semantic Audio Generation
研究针对设备端语义音频生成,提出无依赖原生运行时aria,通过量化研究降低内存需求,经实验证明8位精度无质量损失,4位有小成本但能满足特定设备运行大模型,且生成速度快,还具备激活引导功能,为设备端语义音频提供实用基础。
2026-07-10 cs.PF cs.SD
OmniFlow: Any-to-Any Generation with Multi-Modal Rectified Flows
UCLA(加利福尼亚大学洛杉矶分校);Panasonic AI Research(松下人工智能研究院);Salesforce AI Research(赛富时人工智能研究院)
本研究提出多模态生成模型OmniFlow,将整流流框架扩展至多模态场景,结合改进的MMDiT架构与新型引导机制,实现灵活可控的任意到任意生成,在多项任务上性能超越现有模型,并提供了架构设计的实用参考。
2025-03-21 cs.CV cs.MM cs.SD
MOSS-TTS Technical Report
SII-OpenMOSS Team(SII-OpenMOSS团队)
MOSS-TTS 基于可扩展的 recipe 提出语音生成基础模型,支持多语言和开放域场景,具备零样本语音克隆、音素级发音控制等能力。
2026-03-20 cs.AI cs.CL cs.SD
AudioRWKV: Efficient and Stable Bidirectional RWKV for Audio Pattern Recognition
提出AudioRWKV架构,通过2D深度可分离卷积和双向WKV核,在保持线性复杂度的同时实现全局上下文建模,解决了Transformer的高复杂度和Mamba的不稳定性问题。
2026-06-06 cs.SD
The Power of Sound (TPoS): Audio Reactive Video Generation with Stable Diffusion
Korea University(高丽大学);NVIDIA Research(英伟达研究院)
针对音频到视频生成缺乏关注的问题,提出TPoS模型,利用预训练Audio Encoder的序列音频嵌入引导latent stable diffusion模型,实现音频反应式视频内容生成,并在多任务中验证了其有效性。
2023-09-08 cs.CV cs.GR cs.SD
HALL-E: Hierarchical Neural Codec Language Model for Minute-Long Zero-Shot Text-to-Speech Synthesis
The University of Tokyo(东京大学);Institute of Science Tokyo(东京科学大学)
本文提出MReQ和HALL-E两种后训练方法降低音频帧率,并构建MinutesSpeech基准数据集,实现了单次推理下稳定的分钟级零样本语音合成。
2024-10-06 cs.SD eess.AS
Vocoder-Free Non-Parallel Conversion of Whispered Speech With Masked Cycle-Consistent Generative Adversarial Networks
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡技术大学乔治·西蒙·欧姆学院)
本研究提出一种免声码器的统一模型,结合循环一致训练与自监督任务,实现非平行耳语语音转换,主观测试显示相对基线提升达6.7%。
2025-06-21 cs.SD eess.AS
A Spectral Energy Distance for Parallel Speech Synthesis
Google Research(谷歌研究院)
语音合成是一个重要的实际生成建模问题,在过去的几年里已经取得了很大的进展,基于似然的自回归神经模型现在优于传统的级联系统。这种自回归模型的一个缺点是,它们需要每秒对生成的音频执行数万次顺序操作,这使得它们不适合部署在专门的深度学习硬件上。在这里,我们提出了一种新的学习方法,使我们能够训练高度并行的语音模型,而不需要访问一个分析似然函数。我们的方法是基于一个广义的能量之间的距离生成的和真实的音频的分布。该频谱能量距离是关于所生成的波形音频的幅度频谱图上的分布的适当的评分规则,并且提供统计一致性保证。距离可以从小批量中计算出来,没有偏见,并且不涉及对抗学习,从而为训练隐式生成模型提供了稳定和一致的方法。从经验上讲,我们实现了隐式生成模型中最先进的生成质量,正如最近提出的cFDSD度量所判断的那样。当将我们的方法与对抗技术相结合时,我们还改进了最近提出的GAN-TTS模型,即由经过训练的人类评估者判断的平均意见得分。
2020-10-23 cs.LG cs.SD eess.AS
Generalized Fake Audio Detection via Deep Stable Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, Chinese Academy of Sciences(中国科学院人工智能学院);Tsinghua University(清华大学);Communication University of China(中国传媒大学);Shanghai Polytechnic University(上海第二工业大学)
本文提出一种基于稳定学习的样本权重学习(SWL)模块,通过特征去相关解决伪造音频检测中的分布偏移问题,无需额外数据即可提升多种模型在不同分布数据集上的泛化能力。
2024-06-05 cs.SD eess.AS
Inside the Latent Flow: Causal Deciphering of Attention Dynamics in Audio Separation Foundation Models
Jilin University(吉林大学);Hunan University(湖南大学);University of Electronic Science and Technology of China(电子科学与技术大学)
本文通过因果干预协议揭示流匹配Transformer在音频分离中的双路径注意力机制,并提出无训练加速方法LSAC,在保持质量的同时减少约25%自注意力计算。
2026-06-11 cs.AI cs.SD
Steering Language Model to Stable Speech Emotion Recognition via Contextual Perception and Chain of Thought
C$^2$SER通过上下文感知和推理链提升语音情感识别的稳定性和准确性,优于现有模型。
2025-12-29 cs.CL cs.SD eess.AS
How Well Do Generative Music Models Follow Emotion Conditioning?
本研究构建统一评估流程,以GTZAN数据集为基础,评估Stable Audio Open等三个生成式音乐模型的情绪跟随表现,发现文本条件生成更优,效价保留更可靠,强调直接评估情感可控性的重要性。
2026-09-01 cs.SD eess.AS
MuseControlLite: Multifunctional Music Generation with Lightweight Conditioners
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出轻量级微调机制MuseControlLite,通过在解耦交叉注意力层引入旋转位置嵌入,以极低参数量实现高精度的多功能音乐生成控制。
2025-06-24 cs.AI cs.SD eess.AS
Fast Timing-Conditioned Latent Audio Diffusion
Stability AI;Belmont University(贝尔蒙特大学)
本研究提出基于潜在扩散的Stable Audio模型,通过文本提示与时序嵌入实现长时长、可变长度的44.1kHz立体声音乐与音效高效生成,推理速度快且基准测试表现优异,还可生成有结构的音乐和立体声音效。
2024-05-13 cs.LG cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University(北京大学电子学院)
本文提出分层跨模态交互方法,同时建模音频片段-句子、片段-短语和帧-词关系,并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强,从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey(萨里大学)
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的,因为它不仅需要学习两种模态的鲁棒特征表示,而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的,因为它们都试图将数据映射到嵌入空间,在嵌入空间中,相似的数据靠得很近,不相似的数据相距很远。与其他跨模态的检索任务,如图像-文本和视频-文本检索,音频-文本检索仍然是一个未开发的任务。在这项工作中,我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能,并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Hold Me Tight: Stable Encoder-Decoder Design for Speech Enhancement
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);University of Vienna(维也纳大学)
本文针对一维卷积编码器在语音增强中训练不稳定问题,提出结合听觉滤波器组、框架理论无监督目标与混合压缩谱范数的混合方案,在低复杂度编码器-掩码-解码器模型中显著提升PESQ。
2024-08-30 cs.LG cs.SD eess.AS
SAGE: Semantic Audio Generative Encoder
SAGE是一种轻量级音频自编码器,通过蒸馏预训练音频-文本模型嵌入来塑造潜在空间,在重建质量、语义结构和推理速度间达到最佳平衡,并以更小规模超越更大模型。
2026-10-22 cs.LG cs.SD eess.AS
Music Boomerang: Reusing Diffusion Models for Data Augmentation and Audio Manipulation
Johannes Kepler University Linz(约翰·凯pler大学林茨分校);Linz Institute of Technology(林茨技术研究所)
本文将图像领域的回旋镖采样引入音频领域,基于 Stable Audio Open 实现数据增强与乐器替换,验证其能保留节奏结构、在有限数据下提升节拍跟踪性能并支持单声道文本乐器替换。
2025-07-07 cs.LG cs.SD eess.AS
Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss
本文提出一种新的多模态检索框架,通过跨模态嵌入细化模块和混合损失函数提升音频与文本检索的鲁棒性,有效处理长音频和噪声。
2026-04-25 cs.CL cs.SD
Testing chatbots on the creation of encoders for audio conditioned image generation
Diego Portales University (UDP)(迭戈·波塔莱斯大学)
本研究探索五个聊天机器人能否设计音频编码器替代Stable Diffusion的文本编码器以实现声音生成图像,发现其设计虽有效但结果均不理想,揭示了现有模型的架构偏见与编程差距。
2025-09-09 cs.LG cs.SD eess.AS
823-OLT @ BUET DL Sprint 4.0: Context-Aware Windowing for ASR and Fine-Tuned Speaker Diarization in Bengali Long Form Audio
Department of Computer Science and Engineering(计算机科学与工程系);Chittagong University of Engineering and Technology(查塔格工程与技术大学)
本研究提出基于上下文的窗口化技术,用于改进印地语长音频的自动语音识别与说话人识别,通过结合语音分离和细调模型提升转录效率与说话人识别准确性。
2026-02-24 cs.SD
MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies
LAION;University of California San Diego(加州大学圣迭戈分校);Mila, Quebec Artificial Intelligence Institute(Mila魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Surrey(萨里大学)
本文提出MusicLDM模型,通过适配Stable Diffusion和AudioLDM架构并采用节拍同步混音策略进行数据增强,有效提升了文本到音乐生成的质量、新颖性及文本匹配度。
2023-08-03 cs.AI cs.LG cs.MM
InstructFX2FX: A Multi-Turn Text-to-Effect System for Sequential Audio Effect Refinement
Center for New Music and Audio Technologies (CNMAT)(新音乐与音频技术中心)
提出InstructFX2FX,一种多轮文本引导的音频效果优化演示,结合语言模型和CLAP引导优化,实现迭代效果调整,相比纯LLM重提示基线将平均MMD降低约24%。
2026-07-07 cs.SD