Speech Synthesis and Control Using Differentiable DSP
Sony Europe B.V.（索尼欧洲有限公司）；Technical University of Munich（慕尼黑工业大学）
现代文本到语音系统能够产生自然和高质量的语音，但语音包含文本本身无法包含的变化因素（例如音高，节奏，响度，音色）。在这项工作中，我们走向一个语音合成系统，可以通过允许（但不要求）明确控制的各种因素的变化，产生不同的语音再现的文本。我们提出了一种新的神经声码器，提供控制这些因素的变化。这是通过采用可微分数字信号处理（DDSP）（以前只用于音乐而不是语音）来实现的，其暴露了这些变化因素。实验结果表明，该方法能够产生具有真实音色的自然语音，并且可以自由控制语音的变化因素。
2020-10-28 cs.SD eess.AS
Differentiable Digital Signal Processing Mixture Model for Synthesis Parameter Extraction from Mixture of Harmonic Sounds
The University of Tokyo（东京大学）；National Institute of Technology, Kagawa College（国立高等专门学校机构 香川高等专门学校）；Yamaha Corporation（雅马哈公司）
可微分数字信号处理（DDSP）自动编码器是一种结合了深度神经网络（DNN）和频谱建模合成的音乐声音合成器。它允许我们通过改变从输入声音中提取的基频、音色特征和响度（合成参数）来灵活地编辑声音。然而，它是专为单声道和声而设计的，不能处理和声的混合声。在本文中，我们提出了一个模型（DDSP混合模型），该模型将混合物表示为多个预训练DDSP自编码器的输出之和。通过将所提出的模型的输出拟合到所观察到的混合物，我们可以直接估计每个源的合成参数。通过综合参数提取实验，与直接将DDSP自编码器应用于由音频声源分离方法分离的信号的方法相比，该方法具有较高且稳定的性能。
2022-02-01 cs.LG cs.SD eess.AS
Differentiable WORLD Synthesizer-based Neural Vocoder With Application To End-To-End Audio Style Transfer
iZotope, Inc.（iZotope公司）
本文提出一种无参数的可微WORLD合成器作为基线，通过附加后处理网络或直接提取激励频谱提升质量，实现端到端音频风格迁移，并利用声学特征解耦音高与音色以稳定训练。
2023-05-08 cs.LG cs.SD eess.AS
Real-time Timbre Transfer and Sound Synthesis using DDSP
Aalborg University（奥尔堡大学）
神经音频合成是一个积极研究的主题，已经产生了广泛的技术，利用机器学习架构。Google Magenta阐述了一种称为差分数字信号处理（DDSP）的新方法，该方法将深度神经网络与预处理数字信号处理技术相结合，特别是在音色传输应用中达到了最先进的效果。然而，这些技术中的大多数，包括DDSP，通常不适用于实时的【形】约束，使得它们在音乐工作流中不合格。在本文中，我们提出了一个实时的【形】实现的DDSP库嵌入在一个虚拟合成器作为一个插件，可用于数字音频工作站。我们专注于音色转移从学习表示的真实乐器，以任意的声音输入，以及控制这些模型的控制。此外，我们开发了一个直观的高层次的控制，可用于后处理和操纵的参数估计的神经网络的GUI。我们已经进行了一次用户体验测试，有7名参与者在线。结果表明，我们的用户发现界面吸引人，易于理解，值得进一步探索。与此同时，我们已经发现了音色传输质量方面的问题，一些我们没有实现的组件，以及我们插件的安装和分发。我们设计的下一次迭代将解决这些问题。我们实时的【形】MATLAB和JUCE实现分别在https://github.com/SMC704/juce-ddsp和https://github.com/SMC704/matlab-ddsp上提供。
2021-03-12 cs.LG cs.SD eess.AS
LACTOSE: Linear Array of Conditions, TOpologies with Separated Error-backpropagation -- The Differentiable "IF" Conditional for Differentiable Digital Signal Processing
The University of Electro-Communications（电气通信大学）
本文提出LACTOSE算法，通过分离误差反向传播实现神经网络中的条件语句，并应用于DDSP，为每个数值范围存储参数并在预测时动态加载。
2025-02-20 cs.LG cs.NE cs.SD
Modulation Discovery with Differentiable Digital Signal Processing
Centre for Digital Music, Queen Mary University of London, UK（伦敦大学女王学院数字音乐中心）；Independent Researcher, Singapore（新加坡独立研究者）
提出一种基于调制提取、约束控制信号参数化和可微分数字信号处理的神经声音匹配方法，用于发现声音中的调制，并在合成与真实音频上验证其有效性与可解释性权衡。
2025-10-07 cs.LG cs.SD eess.AS
A Review of Differentiable Digital Signal Processing for Music & Speech Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）
本文综述可微数字信号处理在音乐与语音合成中的应用，分类介绍其任务、动机、可微操作，并指出优化、鲁棒性及设计权衡等挑战与未来方向。
2023-08-29 cs.SD eess.AS
MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling
Mila, Quebec Artificial Intelligence Institute（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Northwestern University（西北大学）；Google Brain（谷歌大脑）；New York University（纽约大学）
音乐表达需要控制什么音符被演奏，以及如何演奏。传统的音频合成器提供了详细的表达控制，但以现实主义为代价。黑盒神经音频合成和级联采样器可以产生逼真的音频，但几乎没有控制机制。在这项工作中，我们引入MIDI-DDSP的乐器，使逼真的神经音频合成和详细的用户控制的层次模型。从可解释的可微分数字信号处理（DDSP）合成参数开始，我们推断出音符及其表达性能的高级属性（如音色，颤音，动态和清晰度）。这创建了一个3级层次结构（笔记，性能，合成），为个人提供了在每个级别进行干预的选项，或者利用受过训练的先验（性能给定笔记，合成给定性能）进行创造性帮助。通过定量实验和听力测试，我们证明了这个层次结构可以重建高保真音频，准确地预测性能属性的一个音符序列，独立地操纵一个给定的性能的属性，并作为一个完整的系统，从一个新的音符序列生成逼真的音频。通过利用具有多个粒度级别的可解释层次结构，MIDI-DDSP打开了辅助工具的大门，使个人能够获得各种各样的音乐体验。
2022-03-17 cs.LG cs.SD eess.AS
Autovocoder: Fast Waveform Generation from a Learned Speech Representation using Differentiable Digital Signal Processing
University of Edinburgh（爱丁堡大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
提出autovocoder，利用机器学习获得语音表示，并通过可微DSP操作快速反演生成波形，速度优于Griffin-Lim和HiFi-GAN且质量相当。
2023-05-24 cs.SD eess.AS
Towards Universal Neural Vocoding with a Multi-band Excited WaveNet
IRCAM（巴黎声学/音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
本文介绍了一种用于说话声和歌唱声的神经元声码器--多带激励波网络。它的目的是推进国家的艺术走向一个通用的神经声码器，这是一个模型，可以产生语音信号从任意梅尔频谱从语音信号提取。继DDSP模型的成功和最近提出的激励声码器的发展之后，我们提出了一种声码器结构，该声码器结构由与专用信号处理组件组合的多个专用DNN组成。所有组件都实现为可微运算符，因此允许模型参数的联合优化。为了证明该模型的能力，以再现高质量的语音信号，我们评估模型上的单个和多个扬声器/歌手数据集。我们进行了主观评估，证明模型支持广泛的域变化（看不见的声音，语言，表现力），实现与最先进的通用神经声码器相比的感知质量，但是使用的训练数据集和参数明显更少。我们还展示了神经声码器的普遍性的剩余限制，例如创建饱和的歌声。
2021-10-07 cs.SD eess.AS
NaturalL2S: End-to-End High-quality Multispeaker Lip-to-Speech Synthesis with Differential Digital Signal Processing
针对现有唇语转语音合成方法依赖梅尔频谱图导致域差距的问题，提出端到端框架NaturalL2S，集成F0预测器与可微分数字信号处理合成器，无需参考说话人嵌入，有效提升合成语音质量。
2025-02-17 cs.CV cs.SD eess.AS
DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
Queen Mary University of London（伦敦玛丽女王大学）
FM合成是一种众所周知的算法，用于从一组紧凑的设计基元生成复杂的音色。它通常具有一个音频接口，从音频源控制它通常是不切实际的。另一方面，可微分数字信号处理（DDSP）通过深度神经网络（DNN）实现了细致入微的音频渲染，该深度神经网络学习从任意声音输入控制可微分合成层。训练过程涉及用于监督的音频语料库和频谱重建损失函数。这样的函数，虽然是伟大的匹配频谱幅度，缺乏音调方向，这可能会阻碍FM合成器的参数的联合优化。在本文中，我们采取措施，使一个完善的FM合成架构从音频输入的连续控制。首先，我们讨论了一组设计约束，通过标准的重建损失，简化频谱优化的可微分FM合成器。接下来，我们介绍了可区分DX7（DDX7），这是一种轻量级架构，用于在一组紧凑的参数中对乐器声音进行神经FM再合成。我们训练模型的仪器样本提取的URMP数据集，并定量地证明其可比的音频质量对选定的基准。
2022-08-12 cs.LG cs.SD eess.AS
Ultra-lightweight Neural Differential DSP Vocoder For High Quality Speech Synthesis
Meta
本文提出超轻量 DDSP 声码器，通过声学模型与 DSP 声码器联合优化，在保持极低算力和实时效率的同时达到接近神经声码器的音质。
2024-01-19 cs.LG cs.SD eess.AS
Text2FX: Harnessing CLAP Embeddings for Text-Guided Audio Effects
Northwestern University（西北大学）
提出 Text2FX，利用 CLAP 嵌入与可微 DSP 通过免训练单实例优化，将开放词汇文本提示映射为均衡、混响等音频效果参数，并经听者研究验证。
2025-02-20 cs.SD eess.AS
Physically Accurate Differentiable Inverse Rendering for Radio Frequency Digital Twin
University of California, San Diego（加州大学圣迭戈分校）；University of Colorado Denver（科罗拉多大学丹佛分校）；University College London（伦敦大学学院）
本文提出RFDT框架，通过物理基础的可微射频仿真解决传统射频模拟非可微问题，实现虚拟与现实世界的梯度交互，提升数字孪生重建精度及下游应用能力。
2026-03-05 cs.GR cs.LG eess.SP
Qadence: a differentiable interface for digital-analog programs
PASQAL
针对数字-模拟量子计算缺乏专用开源工具的问题，本文提出 Pasqal 开发的 Qadence 高级编程接口，支持复杂 DAQC 程序的表达、原生微分与真机执行，以促进 Rydberg 平台变分量子算法研究。
2024-01-18 cs.LG cs.PL cs.SE
A Differentiable Digital Twin of Distributed Link Scheduling for Contention-Aware Networking
Rice University（里士满大学）；US Army DEVCOM Army Research Laboratory（美国陆军 DEVCOM 军事研究实验室）
本文提出了一种可微的无线网络数字孪生模型，通过分析网络环境预测链路使用周期，利用加权Luby算法求解最大独立集，实现高效链路调度优化，减少拥堵和无线电足迹。
2025-12-11 cs.LG cs.NI cs.SY
Automatic DJ Transitions with Differentiable Audio Effects and Generative Adversarial Networks
Sony Group Corporation（索尼集团公司）
DJ的一个中心任务是创建一个在相邻曲目之间具有无缝过渡的音乐混音集。在本文中，我们探索了一种数据驱动的方法，该方法使用生成对抗网络通过从真实世界的DJ混音中学习来创建歌曲过渡。具体地，模型的生成器使用两个可微分的数字信号处理组件，均衡器（EQ）和衰减器，以混合由数据生成流水线选择的两个轨道。生成器必须设置EQ和推子的参数，以使生成的混音类似于由人类DJ创建的真实混音，由人类DJ判断。听力测试的结果表明，该模型可以达到竞争力的结果相比，一些基线。
2022-02-17 cs.LG cs.SD eess.AS
Destruction of Image Steganography using Generative Adversarial Networks
Booz Allen Hamilton（博思艾伦汉密尔顿）
数字图像隐写分析或图像隐写术的检测已被深入研究多年，并且由高级持续性威胁（APT）组（例如APT37 Reaper）驱动，利用隐写术技术来传输额外的恶意软件，以在受损主机上执行进一步的开发后活动。然而，许多隐写分析算法被限制为只处理野生环境中所有可能图像的子集，或者已知会产生很高的误报率。这导致阻止任何可疑的图像是一个不合理的政策。更可行的策略是在主机接收之前过滤可疑图像。然而，如何进行最佳过滤，特别是混淆或删除图像隐写，同时避免视觉图像质量的下降的情况下，图像的检测是一个假阳性？我们提出了深度数字隐写净化器（DDSP），这是一种生成对抗网络（GAN），经过优化可以破坏隐写内容，而不会损害原始图像的感知质量。实验结果表明，与其他最先进的过滤方法相比，我们的模型能够在保持高视觉质量的同时提供高的隐写图像内容破坏率。此外，我们测试了迁移学习的能力，推广到使用看不见的隐写算法混淆嵌入到不同图像文件格式和类型的真实恶意软件有效载荷，并证明我们的模型实际上可以部署提供足够的结果。
2019-12-20 cs.CR cs.LG cs.MM
Real-time Timbre Remapping with Differentiable DSP
Queen Mary University of London（伦敦玛丽女王大学）；Ableton AG（Ableton公司）；Imperial College London（帝国理工学院）
本文提出基于可微分DSP和特征差异损失的实时音色重映射方法，将原声小军鼓的音色表现映射到TR-808合成器控制参数上，实现保留分级音色调制的实时转换。
2024-07-05 cs.AI cs.LG cs.SD
Programmable Photonic Unitary Processor Enables Parametrized Differentiable Long-Haul Spatial Division Multiplexed Transmission
NTT Device Technology Laboratories（NTT设备技术实验室）；NTT Network Innovation Laboratories（NTT网络创新实验室）；NTT Basic Research Laboratories（NTT基础研究实验室）；NTT Nanophotonics Center（NTT纳米光子学中心）
本文提出参数化空分复用传输，利用可编程光子酉处理器在中继节点直接优化信道，减少数字后处理负载，并通过可微模型和梯度算法实现1300公里三模光纤实验验证。
2025-05-23 cs.LG physics.app-ph physics.optics
Style Transfer for Non-differentiable Audio Effects
University of Glasgow（格拉斯哥大学）
本文提出一种基于音频嵌入的深度学习风格匹配方法，可在主流框架中处理仅含连续参数且不可微分的音频效果器，并通过听辨测试验证其多段压缩器风格迁移效果。
2023-09-29 cs.LG cs.SD eess.AS
Differentiable Grey-box Modelling of Phaser Effects using Frame-based Spectral Processing
University of Edinburgh（爱丁堡大学）；Centre for Speech Technology Research（语音技术研究中心）；Acoustics and Audio Group（声学与音频组）
针对 phaser 调制效果中低频振荡器控制信号未知且现有方法非因果的问题，提出基于短帧频域滤波的可微灰盒模型，联合学习控制信号与时变频谱响应，并分析帧长影响。
2023-06-02 cs.LG cs.SD eess.AS
Interpreting Differentiable Latent States for Healthcare Time-series Data
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
本文提出一种适用于任意可微模型的简洁算法，通过相关输入特征解释潜在状态、预测及潜在状态随时间的变化，并在真实医疗数据中识别出预测夜间行为的日间行为模式。
2023-11-29 cs.LG
Accelerated Gradient-based Design Optimization Via Differentiable Physics-Informed Neural Operator: A Composites Autoclave Processing Case Study
Applied Research, Quantiphi（Quantiphi应用研究）
本文提出物理信息DeepONet架构PIDON，结合Adam梯度优化构建端到端加速设计框架，并在航空航天复合材料固化优化中实现3倍加速。
2025-02-17 cs.AI cs.LG cs.NA
