通过互信息引导的修复生成进行扩散音色转移
Diffusion Timbre Transfer Via Mutual Information Guided Inpainting
AI总结：
本文提出通过互信息引导的修复生成方法，在无需额外训练的情况下实现音乐音频的音色转移，通过潜在空间噪声注入和早期步骤钳制机制，有效控制音色变化与结构保持的平衡。
摘要：
我们研究音色转移作为音乐音频的推理时间编辑问题。从一个强大的预训练潜在扩散模型开始，我们引入一种轻量级的程序，无需额外训练：（i）一个维度噪声注入，针对最能体现乐器身份的潜在通道；（ii）一个早期步骤钳制机制，在反向扩散过程中重新施加输入的旋律和节奏结构。该方法直接在音频潜在上操作，并且与文本/音频条件（如CLAP）兼容。我们讨论了设计选择，分析了音色变化与结构保持之间的权衡，并展示了简单的推理时间控制可以有意义地引导预训练模型用于风格迁移的应用场景。
英文摘要：
We study timbre transfer as an inference-time editing problem for music audio. Starting from a strong pre-trained latent diffusion model, we introduce a lightweight procedure that requires no additional training: (i) a dimension-wise noise injection that targets latent channels most informative of instrument identity, and (ii) an early-step clamping mechanism that re-imposes the input's melodic and rhythmic structure during reverse diffusion. The method operates directly on audio latents and is compatible with text/audio conditioning (e.g., CLAP). We discuss design choices,analyze trade-offs between timbral change and structural preservation, and show that simple inference-time controls can meaningfully steer pre-trained models for style-transfer use cases.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
