arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.18847eess.AScs.SD
收藏

Text2FX:利用 CLAP 嵌入实现文本引导的音频效果

Text2FX: Harnessing CLAP Embeddings for Text-Guided Audio Effects

Northwestern University(西北大学)

Annie Chu, Patrick O'Reilly, Julia Barnett, Bryan Pardo

AI总结:

提出 Text2FX,利用 CLAP 嵌入与可微 DSP 通过免训练单实例优化,将开放词汇文本提示映射为均衡、混响等音频效果参数,并经听者研究验证。

摘要:

本工作提出 Text2FX,这是一种利用 CLAP 嵌入和可微数字信号处理,通过开放词汇自然语言提示(例如“让这个声音听起来直接而大胆”)控制均衡和混响等音频效果的方法。Text2FX 无需重新训练任何模型,而是依赖现有嵌入空间内的单实例优化,从而通过可解释且解耦的 FX 操控,实现灵活、可扩展的开放词汇声音变换。我们表明 CLAP 编码了用于控制音频效果的有价值信息,并提出两种使用 CLAP 将文本映射到音频效果参数的优化方法。尽管我们使用 CLAP 进行演示,但该方法适用于任何共享的文本-音频嵌入空间。同样,尽管我们以均衡和混响进行演示,但任何可微音频效果都可以被控制。我们使用多样化的文本提示和源音频开展了一项听者研究,以评估这些方法的质量及其与人类感知的一致性。演示和代码可在 anniejchu.github.io/text2fx 获取。

英文摘要:

This work introduces Text2FX, a method that leverages CLAP embeddings and differentiable digital signal processing to control audio effects, such as equalization and reverberation, using open-vocabulary natural language prompts (e.g., "make this sound in-your-face and bold"). Text2FX operates without retraining any models, relying instead on single-instance optimization within the existing embedding space, thus enabling a flexible, scalable approach to open-vocabulary sound transformations through interpretable and disentangled FX manipulation. We show that CLAP encodes valuable information for controlling audio effects and propose two optimization approaches using CLAP to map text to audio effect parameters. While we demonstrate with CLAP, this approach is applicable to any shared text-audio embedding space. Similarly, while we demonstrate with equalization and reverberation, any differentiable audio effect may be controlled. We conduct a listener study with diverse text prompts and source audio to evaluate the quality and alignment of these methods with human perception. Demos and code are available at anniejchu.github.io/text2fx.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑