LiteFocus: Accelerated Diffusion Inference for Long Audio Synthesis
National University of Singapore(新加坡国立大学)
针对潜在扩散模型长音频合成推理效率低的问题,提出LiteFocus方法,采用同频聚焦+跨频补偿的双稀疏注意力机制,实现80秒音频推理提速1.99倍且音质提升。
2024-07-15 cs.AI cs.SD eess.AS
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics(国立信息学研究所)
语音合成和从符号输入生成音乐音频在许多方面不同,但有一些相似之处。在这项研究中,我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件,我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统,例如基于样本和基于物理建模的方法。主观实验结果表明,所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声,给定的自然声学特征,从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法,但我们鼓励TTS研究人员测试他们的TTS模型,以完成这项新任务,并提高性能。
2022-02-24 cs.SD eess.AS
ADIFF: Explaining audio difference using natural language
Carnegie Mellon University(卡内基梅隆大学)
本文首次系统研究音频差异解释任务,提出ADIFF模型,通过交叉投影、位置字幕和三步训练生成多层次自然语言解释,并在新基准上显著超越基线方法。
2025-02-06 cs.AI cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(情报学研究所)
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器,利用波形域直通估计器实现黑盒增强,证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
Using multiple reference audios and style embedding constraints for speech synthesis
Tianjin University(天津大学);University of Science and Technology of China(中国科学技术大学);Huiyan Technology (Tianjin) Co., Ltd(天津慧眼科技有限公司);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
端到端的语音合成模型可以直接将一段话语作为参考音频,从文本中生成韵律和说话人特征与参考音频相似的语音。然而,在推断期间必须手动选择适当的声学嵌入。由于在训练过程中只使用匹配的文本和语音,使用不匹配的文本和语音进行推理将导致模型合成内容质量较低的语音。在这项研究中,我们建议通过使用多个参考音频和风格嵌入约束来缓解这两个问题,而不是只使用目标音频。使用由来自Transformers的双向编码器表示(BERT)确定的句子相似性来自动选择多个参考音频。此外,我们通过考虑预测和“目标”风格嵌入之间的互信息,使用来自预训练编码器的“目标”风格嵌入作为约束。实验结果表明,该模型在多个参考音频的情况下,能够提高语音的自然度和内容质量,在风格相似度的ABX偏好测试中也优于基线模型。
2021-10-09 cs.AI cs.SD eess.AS
Speech inpainting: Context-based speech synthesis guided by video
Universitat Pompeu Fabra(庞培法布拉大学);Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
针对受损语音片段的修复问题,本文提出由视频视觉线索和未受损音频上下文共同引导的音视频 transformer 模型,并验证 AV-HuBERT 特征可有效提升语音合成效果。
2023-06-01 cs.AI cs.SD eess.AS
HiddenSinger: High-Quality Singing Voice Synthesis via Neural Audio Codec and Latent Diffusion Models
Korea University(高丽大学)
针对扩散模型用于歌声合成时复杂度高、可控性差的问题,提出结合神经音频编解码器与潜在扩散模型的HiddenSinger系统,还扩展出无监督框架HiddenSinger-U,音频质量优于现有模型,可基于无标注数据合成高质量歌声。
2023-06-12 cs.AI cs.SD eess.AS
Generative Audio Synthesis with a Parametric Model
IIT Bombay(印度理工学院孟买分校);ENS Paris-Saclay(巴黎萨克雷高等师范学校)
使用音频的参数化表示来训练生成模型,以获得对所生成的声音的更灵活的控制。
2019-11-15 cs.LG cs.SD eess.AS
Benchmarking Time-localized Explanations for Audio Classification Models
UBAArgentina(UBA阿根廷);CONICET-UBAArgentina(CONICET-UBA阿根廷);Departamento de Computación, FCEyN(计算系);Instituto de Investigación en Ciencias de la Computación (ICC)(计算机科学研究所)
针对音频分类模型缺乏真值解释的问题,本文提出以事件时间标注为代理的时间局部化解释基准,系统比较并优化多种模型无关事后解释方法,并用于发现虚假相关性。
2025-07-10 cs.SD eess.AS
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California(南加州大学);National Institute of Informatics(国立信息学研究所)
由于音乐与符号输入的语音合成的相似性以及文语转换(TTS)技术的快速发展,借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中,我们分析了基于TTS的MIDI到音频系统的不足之处,并改进它的特征计算,模型选择和训练策略,旨在合成高度自然的声音。此外,我们进行了广泛的模型评估,通过听力测试,音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成,而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego(加州大学圣迭戈分校);New York University(纽约大学)
提出 network modulation synthesis 框架及新生成算法,帮助用户在自编码器潜在空间中构造时变参数,扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
MeanFlow-Accelerated Multimodal Video-to-Audio Synthesis via One-Step Generation
School of Electronic Information, Wuhan University, Wuhan, China(武汉大学电子信息学院);MiLM Plus, Xiaomi Inc., Wuhan, China(小米公司MiLM Plus团队)
本文提出MeanFlow加速模型,利用平均速度实现一步生成,在保持音频质量的同时显著提升视频到音频及文本到音频合成的推理效率。
2025-09-08 cs.AI cs.SD
On the Veracity of Local, Model-agnostic Explanations in Audio Classification: Targeted Investigations with Adversarial Examples
Johannes Kepler University Linz(林茨约翰·开普勒大学);LIT AI Lab, Linz Institute of Technology(林茨理工学院人工智能实验室)
局部解释方法,如LIME已成为流行的MIR工具,用于生成事后,模型的分类决策的模型不可知论的解释。其基本思想是识别一小组人类可理解的特征的分类的例子是最有影响力的分类器的预测。这些都是作为一个解释。在出版物中对这种解释的评估往往采取接受与人类期望相匹配的内容,而实际上无法验证解释所显示的内容是否真正导致了模型的预测。本文报道了有针对性的调查,我们试图更深入地了解LIME在音频分类任务中解释的实际准确性。我们故意为分类器设计对抗性的例子,让我们知道输入的哪些部分可能对模型的(错误)预测负责。让LIME来解释对这些对手的预测,可以让我们研究局部解释是否真的能检测到这些感兴趣的区域。我们还研究了LIME是否能更成功地找到对人类来说更突出、更容易注意到的扰动。我们的研究结果表明,LIME不一定能够识别最相关的输入特征,因此仍然不清楚解释是否有用,甚至是误导。
2021-09-06 cs.AI cs.SD eess.AS
LJ-Spoof: A Generatively Varied Corpus for Audio Anti-Spoofing and Synthesis Source Tracing
Electrical and Computer Engineering(电气与计算机工程学院);University of Michigan(密歇根大学);Computer Engineering University of Michigan 4901 Evergreen Rd, Dearborn, MI 48128, USA(计算机工程密歇根大学4901 Evergreen Rd, Dearborn, MI 48128, USA)
LJ-Spoof 是一个生成多样化的语料库,用于提升音频反伪装和合成源追踪的鲁棒性和精度。
2026-01-12 cs.AI cs.SD eess.AS
Differentiable Wavetable Synthesis
ByteDance(字节跳动)
可微分波形表合成(DWTS)是一种用于神经音频合成的技术,其通过端到端训练来学习单周期波形(即波形表)的字典。我们实现了高保真音频合成,只需10到20个波表,并演示了数据驱动的波形字典如何在短音频片段上开辟前所未有的一次性学习范例。值得注意的是,我们展示了音频操作,例如高质量的音高转换,仅使用几秒钟的输入音频。最后,我们研究了使用学习的波形表进行实时和交互式音频合成的性能增益。
2022-02-13 cs.LG cs.SD eess.AS
One Billion Audio Sounds from GPU-enabled Modular Synthesis
Spooky Audio;University of Victoria(维多利亚大学);McGill University(麦吉尔大学)
我们发布了一个多模态音频语料库,由10亿个4秒合成声音组成,并与用于生成它们的合成参数配对。该数据集比文献中的任何音频数据集都大100倍。我们还介绍了torchsynth,这是一个开源的模块化合成器,它在单个GPU上以比实时(714MHz)快16200倍的速度动态生成1B1样本。最后,我们发布了两个新的音频数据集:FM合成音色和减法合成音高。使用这些数据集,我们展示了新的基于排名的评估标准,现有的音频表示。最后,我们提出了一种新的综合器超参数优化方法。
2021-07-20 cs.AI cs.LG cs.SD
Relational Synthesis: Structure-Mediated Concatenative Synthesis for Foley and Retrieval-Augmented Audio Generation
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出关系合成方法,通过Gromov式结构代价将参考音频的时间结构与幅度运动转移到源音频颗粒拼接中,实现不复制片段且保持声学一致的拟音生成,并可与神经RAG自然集成。
2026-10-06 cs.AI cs.LG cs.SD
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University(纽约大学)
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成,提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本研究提出Rhythmic Foley视频转音频合成框架,通过语义对齐与时间同步双适配器及对比音视频预训练编码器,解决音视频不同步和语义丢失问题,提升生成音频质量与可控性,实验验证了其音视频无缝对齐的有效性。
2024-09-13 cs.MM cs.SD eess.AS
The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions
University of Warsaw(华沙大学)
提出一种心理声学框架,通过优化不可听扰动来解耦模型归因与分类,证明在音频深度伪造检测中可系统扭曲解释热图而保持预测标签不变。
2026-06-15 cs.AI cs.LG cs.SD
An Audio Synthesis Framework Derived from Industrial Process Control
University of Mumbai(孟买大学)
自其概念以来,数字合成对音乐的发展产生了重大影响,导致了新的流派和制作风格。通过现有的合成技术,人们可以重新创建自然发生的声音,以及产生创新的人造音色。然而,音频技术的研究继续追求合成声音的新方法,保持音乐的变化不变。本研究试图重新定义用于反馈过程控制的比例-积分-微分(PID)算法,以制定一个新的综合技术的框架。然后将该框架实现为Python应用程序,以研究可用的控制参数及其对合成输出的影响。此外,应用这种技术作为音频信号和LFO发生器,包括其潜在的替代FM和Wavetable合成技术,进行了详细研究。研究最后强调了目前框架中的一些不完善之处,以及为解决这些问题而可能考虑的研究方向。
2021-09-21 cs.SD eess.AS
DarkGAN: Exploiting Knowledge Distillation for Comprehensible Audio Synthesis with GANs
Telecom Paris(巴黎电信学院);IP Paris(巴黎综合理工学院);Sony Computer Science Laboratories(索尼计算机科学研究所)
生成对抗网络(GANs)在过去几年中实现了出色的音频合成质量。然而,使它们与语义上有意义的控件一起操作仍然是一个开放的挑战。一种明显的方法是通过将GAN调节到音频数据集中包含的元数据来控制它。不幸的是,音频数据集往往缺乏所需的注释,特别是在音乐领域。避免这种注释缺乏的一种方法是生成注释,例如,使用自动音频标记系统。这种系统的输出概率(所谓的“软标签”)携带关于相应音频的特征的丰富信息,并且可以用于将知识从教师模型提取到学生模型中。在这项工作中,我们执行知识蒸馏从一个大型的音频标记系统到一个对抗性的音频合成器,我们称之为DarkGAN。结果表明,DarkGAN可以合成具有可接受质量的音乐音频,并且即使在分布外输入条件下也表现出适度的属性控制。我们在附带的网站上发布代码并提供音频示例。
2021-08-03 cs.SD eess.AS
LMAC-TD: Producing Time Domain Explanations for Audio Classifiers
University of Bologna(博洛尼亚大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Mila-Québec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学);Laval University(拉瓦尔大学)
针对神经网络黑箱问题,本文提出事后解释方法LMAC-TD,基于L-MAC并引入SepFormer架构直接生成时域音频解释,在不损失忠实度的前提下提升了解释的音频质量。
2024-09-13 cs.AI cs.LG cs.SD
AudioGenX: Explainability on Text-to-Audio Generative Models
针对文本到音频生成模型缺乏透明度的问题,提出可解释AI方法AudioGenX,通过事实与反事实目标优化解释器,在音频标记级提供忠实解释,增强模型可信度。
2025-02-04 cs.AI cs.LG cs.SD
DreamHead: Learning Spatial-Temporal Correspondence via Hierarchical Diffusion for Audio-driven Talking Head Synthesis
Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程学系);Vistring;International Digital Economy Academy(国际数字经济学院)
针对音频驱动说话头合成中扩散模型难建立音频与面部表情时空对应关系的问题,提出分层扩散框架DreamHead,通过两层扩散分别预测平滑关键点和生成一致视频,实现多身份高保真说话头生成。
2024-09-16 cs.AI cs.MM cs.SD
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA;MIT(麻省理工学院)
本文提出Audio-SDS,将分数蒸馏采样推广到文本条件音频扩散模型,利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务,无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling
针对传统音乐演奏合成模型泛化性差的问题,提出改编自VALLE的神经编解码器语言模型MIDI-VALLE,将MIDI和音频统一编码为离散token进行建模,在多项数据集和听音测试中显著优于基线。
2025-07-11 cs.AI cs.SD eess.AS
Annotation-Free MIDI-to-Audio Synthesis via Concatenative Synthesis and Generative Refinement
Sony Computer Science Laboratories, Tokyo, Japan(索尼计算机科学实验室,东京,日本)
本文提出无需 MIDI-音频配对数据的 CoSaRef,结合拼接合成与扩散生成式精修,实现多样化、可细粒度控制的逼真 MIDI 到音频合成,并在主客观评价中超过现有监督方法。
2025-06-11 cs.LG cs.SD eess.AS
Drum Synthesis from Expressive Drum Grids via Neural Audio Codecs
Dept. of Music Technology and Acoustics, Hellenic Mediterranean University(音乐技术与声学系,希腊地中海大学)
本文提出通过神经音频编码器将表现性鼓组转换为鼓声,使用Transformer模型生成编码器令牌并评估不同编码器对生成鼓声质量的影响。
2026-05-11 cs.AI cs.SD
AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis
University of Surrey(萨里大学);Imperial College London(帝国理工学院)
针对NVAS中NeRF渲染低效且场景几何、材质与空间关系表征不足的问题,提出AV-GS显式高斯场景表示及音频自适应点致密化与剪枝策略,在RWAS和SoundSpaces上取得优于现有方法的性能。
2025-03-16 cs.AI cs.SD eess.AS
Audio Texture Synthesis with Scattering Moments
New York University(纽约大学);Courant Institute(库朗研究所)
提出了一种基于散射矩的音频纹理合成算法。散射变换是通过用复数小波滤波器组迭代地分解信号并计算它们的幅度包络来计算的。散射矩提供了作为散射系数的期望值计算的平稳过程的一般表示。它们是用来自单一实现的低方差估计量估计的。利用梯度下降算法合成具有预定散射矩的音频信号。音频合成的例子表明,散射表示提供了良好的合成音频纹理与更少的系数比现有技术。
2013-11-02 cs.SD stat.AP
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney(悉尼大学)
针对神经音频合成依赖离散标签、难以细微控制声音的问题,本文提出基于GAN的隐式条件化方法ICGAN,构建连续条件空间实现无显式标签的可解释音色操控,并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
Break-the-Beat! Controllable MIDI-to-Drum Audio Synthesis
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
本文提出'Break-the-Beat!'模型,通过微调预训练文本到音频模型和混合条件机制,实现基于参考音频的鼓MIDI音色合成,生成高质量音频并满足节奏对齐和持续性要求。
2026-05-14 cs.AI cs.SD
Comparing Representations for Audio Synthesis Using Generative Adversarial Networks
Sony Computer Science Laboratories(索尼计算机科学实验室);Télecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
在本文中,我们比较了不同的音频信号表示,包括原始音频波形和各种时频表示,用于生成对抗网络(GANs)的音频合成任务。我们在NSynth数据集的一个子集上进行实验。该架构遵循基准Progressive Growing Wasserstein GAN。我们以完全无条件的方式进行实验,并在音高信息上调节网络。我们利用标准指标对生成的材料进行定量评估,以评估生成模型,并比较训练和采样时间。我们表明,复值以及幅度和瞬时频率的短时傅里叶变换达到最佳效果,并产生快速生成和反转时间。用于特征提取、训练和评估模型的代码可在线获得。
2020-06-17 cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London(帝国理工学院);University of Athens(雅典大学)
本文研究视频转语音中训练与推理均利用音频输入的效果,提出用预训练模型合成语音并与无声视频共同训练视听合成模型,在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
GROOT: Generating Robust Watermark for Diffusion-Model-Based Audio Synthesis
Huaqiao University(华侨大学);Shenzhen University(深圳大学)
针对扩散模型合成音频的监管难题,提出生成式鲁棒水印方法Groot,在音频合成时同步嵌入水印,经轻量解码器提取,对复合攻击鲁棒,平均提取准确率约95%。
2024-07-17 cs.AI cs.CR cs.SD
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London(伦敦玛丽女王大学);Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
针对文本到音频合成中迭代慢、计算重的问题,提出轻量级离散模型SpecMaskGIT,基于频谱图掩码生成建模,以少于16次迭代合成10秒音频,性能优于更大模型,并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
Adversarial Generation of Time-Frequency Features with application in audio synthesis
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所);Swiss Data Science Center, ETH Zürich(苏黎世联邦理工学院瑞士数据科学中心)
时频(TF)表示为时间序列(如音频)的分析提供了强大而直观的功能。但是,TF域中音频的生成建模仍然是一个微妙的问题。因此,神经音频合成广泛地依赖于直接对波形进行建模,并且先前从神经生成的可逆TF特征无条件地合成音频的尝试仍然难以以令人满意的质量产生音频。在这篇文章中,我们将重点关注短时傅里叶变换,讨论基于生成的可逆TF特征的音频合成中出现的挑战以及如何克服这些挑战。我们通过在短时傅立叶特征上训练生成对抗网络(GAN)来展示故意生成TF建模的潜力。我们表明,通过应用我们的指导方针,我们基于TF的网络能够超越直接生成波形的最先进的GAN,尽管这两个网络的架构相似。
2019-05-16 cs.LG cs.SD eess.AS
Uncovering shortcut learning in audio classifiers by discovering recurring concepts in temporal explanations
Departamento de Computación, FCEyN, UBA(布宜诺斯艾利斯大学精确与自然科学学院计算系);ICC, CONICET-UBA(阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯大学跨学科研究中心);Music and Audio Research Lab, New York University(纽约大学音乐与音频研究实验室);Integrated Design & Media, New York University(纽约大学综合设计与媒体系)
提出流水线,通过发现时间解释中的重复概念揭示音频分类器中的捷径学习,并验证其有效性。
2026-09-29 cs.AI cs.SD
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL(索尼计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展,这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择,并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率,我们的方法被称为CRASH(可控的原始音频合成与高分辨率)允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验,我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法(无条件生成,确定性生成,修复,插值,变化,类条件采样),并提出了类混合采样,一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距,同时提供了更灵活的生成功能,具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Self-supervised Context-aware Style Representation for Expressive Speech Synthesis
Microsoft(微软)
表达性语音合成与有声读物合成一样,对于风格表示学习和预测仍然具有挑战性。从参考音频中推导或从文本中预测风格标签需要大量的标记数据,这些数据获取成本高,并且难以准确定义和注释。在本文中,我们提出了一个新的框架,学习风格表示丰富的纯文本中的自我监督的方式。它利用情感词典并使用对比学习和深度聚类。我们进一步集成的风格表示作为一个条件嵌入多风格的Transformer TTS。与通过预测在相同数据集上训练但具有人类注释的风格标签的多风格TTS相比,我们的方法根据对有声读物语音中的域内和域外测试集的主观评价来实现改进的结果。此外,通过隐式上下文感知风格表示,合成音频在长段落中的情感过渡显得更自然。音频示例可在演示网站上获得。
2022-06-25 cs.AI cs.CL cs.SD
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin(都柏林理工大学)
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而,最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富,以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外,它并不代表声音的方式,它被认为是。因此,在许多情况下,原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外,有条件的形式选择,额外的条件表示,不同的模型架构,和众多的指标,用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外,它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法,这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型,使其支持文本驱动说话人脸合成,并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis
IRCAM - Sorbonne Université(IRCAM - 索邦大学);CNRS UMR 9912(法国国家科学研究中心 UMR 9912)
应用于音频的深度生成模型在许多语音和音乐相关任务中大大提高了最先进的水平。然而,由于原始波形建模仍然是固有地困难的任务,因此音频生成模型是计算密集型的,依赖于低采样率,控制或限制可能信号的性质是复杂的。在这些模型中,变分自编码器(VAE)通过暴露潜在变量来控制生成,尽管它们通常遭受低合成质量。在本文中,我们介绍了一种实时音频变分自编码器(RAVE),允许快速和高质量的音频波形合成。我们引入了一种新的两阶段训练过程,即表示学习和对抗性微调。我们表明,使用潜在空间的训练后分析允许重建保真度和表示紧凑性之间的直接控制。通过利用原始波形的多频带分解,我们证明了我们的模型是第一个能够生成48kHz音频信号的模型,同时在标准笔记本电脑CPU上运行的速度比实时快20倍。我们使用定量和定性主观实验来评估合成质量,并显示出我们的方法与现有模型相比的优越性。最后,我们提出了我们的模型的音色转移和信号压缩的应用。我们所有的源代码和音频示例都是公开的。
2021-12-15 cs.LG cs.SD eess.AS
Upsampling artifacts in neural audio synthesis
Dolby Laboratories(杜比实验室)
神经音频合成的许多最新进展依赖于上采样层,这可能会引入不期望的伪影。在计算机视觉中,上采样伪影已经被研究并且被称为棋盘伪影(由于其特征视觉图案)。然而,在音频处理中,它们的作用一直被忽视。在这里,我们通过从音频信号处理的角度研究这个问题来解决这个差距。我们首先表明上采样伪影的主要来源是:(i)有问题的上采样算子引入的色调和滤波伪影,以及(ii)上采样时出现的光谱副本。然后,我们比较了不同的上采样层,表明最近邻上采样器可以替代有问题的(但最先进的)转置和子像素卷积,这些卷积容易引入色调伪影。
2021-02-09 cs.LG cs.SD eess.AS
Learning Disentangled Audio Representations through Controlled Synthesis
Institute of Cognitive Science(认知科学研究所);Universität Osnabrück(奥斯纳布吕克大学)
本文针对解耦听觉表示学习中基准数据稀缺的问题,提出具有明确真值解释因子的合成数据集SynTone,通过基准测试评估最先进方法,揭示了音频解耦的优势与局限,为未来研究提供动力。
2024-02-16 cs.LG cs.SD eess.AS
A Mapping Strategy for Interacting with Latent Audio Synthesis Using Artistic Materials
Centre for Digital Music, Queen Mary University of London(伦敦大学玛丽皇后学院数字音乐中心);Creative Computing Institute, University of the Arts London(伦敦艺术大学创意计算学院)
本文提出一种映射策略,通过无监督特征学习将人类控制空间映射到生成式AI音频模型的潜在空间,并用视觉草图控制音频合成,以促进艺术语境中的可解释AI。
2024-07-05 cs.HC cs.SD eess.AS
Differentiable Modelling of Percussive Audio with Transient and Spectral Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Ableton AG(Ableton公司);Imperial College London(帝国理工学院)
针对DDSP缺乏暂态建模的问题,提出结合正弦建模与调制时序卷积网络的打击乐合成框架,有效提升了膜鸣打击乐器的起音信号重构效果。
2023-09-13 cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
CodecFake: Enhancing Anti-Spoofing Models Against Deepfake Audios from Codec-Based Speech Synthesis Systems
National Taiwan University(台湾大学);Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通讯工程研究所)
针对基于编解码器的语音合成系统产生的高逼真 deepfake 音频,本文构建首个 CodecFake 数据集,并证明常用反欺骗模型失效,而该数据集可有效增强其检测能力。
2024-06-11 cs.SD eess.AS
Applying Visual Domain Style Transfer and Texture Synthesis Techniques to Audio - Insights and Challenges
National University of Singapore(新加坡国立大学)
风格转移是一种基于深度学习神经网络架构中的激活和特征统计来组合两个图像的技术。本文研究了音频领域的类似任务,并对采用原始的基于视觉的框架来处理声谱图表示时出现的问题进行了批判性的研究。我们的结论是,具有基于2D表示和卷积的特征的CNN架构更适合于视觉图像,而不是音频的时频表示。尽管不合适,但实验表明,确定音频“风格”的Gram矩阵与没有时间结构的音色签名更接近,而确定音频“内容”的网络层活动似乎捕获更多的音高和节奏结构。我们通过说明性的例子深入了解了域差异的几个原因。我们鼓励使用几种类型的一维CNN,这些CNN生成的结果比基于为图像构建的现有架构的结果更好地与音频纹理的直观概念保持一致。这些想法也促使探索音频纹理合成与建筑的变体扩展到无限的纹理,多纹理,参数控制的感受野和恒定Q变换作为一种替代的频谱图的频率缩放。
2019-01-29 cs.SD eess.AS
PointTalk: Audio-Driven Dynamic Lip Point Cloud for 3D Gaussian-based Talking Head Synthesis
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Xi’an Jiaotong University(西安交通大学);Peking University(北京大学);Sun Yat-sen University(中山大学);Tsinghua University(清华大学);Shenzhen University(深圳大学);Carleton University(卡尔顿大学)
针对现有辐射场类说话人头部合成方法音唇同步差、视觉质量不佳的问题,提出基于3D高斯的PointTalk方法,通过动态唇部点云等模块提升合成效果,实验验证其性能优于已有方法。
2024-12-11 cs.AI cs.GR cs.MM
CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models
Dolby(杜比实验室)
该研究提出CLIPSonic模型,以无标注视频的视觉模态为桥梁,结合预训练CLIP模型与扩散先验模型实现文本到音频合成,有效缩小模态迁移差距,性能可媲美现有图像到音频合成的最优模型。
2023-07-23 cs.LG cs.MM cs.SD
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo(东京大学)
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成,并与文本表征对比,发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS