AI in Music and Sound: Pedagogical Reflections, Post-Structuralist Approaches and Creative Outcomes in Seminar Practice
Technische Universität Berlin(柏林工业大学)
本文探讨了AI在音乐与声音教学中的应用,通过后结构主义方法和创意实践,培养学生的技术能力与批判性思维。
2025-11-21 cs.SD eess.AS
Tracking the Trend in How Speech Synthesizers Deceive People
Brno University of Technology(布尔诺理工大学)
该研究对比了三款不同年份的现代语音合成器的欺骗性,发现人类和检测器对部分伪造语音的检测准确率极低,仅靠人类感知不可靠,需推进相关验证与检测技术。
2026-08-21 cs.CR cs.SD eess.AS
Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);College of Computer Science, Chongqing University(重庆大学计算机学院)
提出基于双流特征分解与合成器特征增强的鲁棒deepfake speech检测方法,通过学习独立于合成器的内容特征并增加特征多样性,提升对未见合成器的泛化能力。
2024-11-14 cs.CR cs.SD eess.AS
Synthesizer Sound Matching Using Audio Spectrogram Transformers
Native Instruments
本文提出一种基于 Audio Spectrogram Transformer 的合成器声音匹配模型,通过在大型 Massive 合成器数据集上训练,能准确重建16个参数,在保真度上优于多层感知机和卷积神经网络基线,并具备良好的域外声音模拟能力。
2024-07-23 cs.LG cs.SD eess.AS
SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generation
Adobe Research(奥多比研究院);University of Maryland(马里兰大学)
针对文本到音频生成精细声学控制不足的问题,提出模型无关的SILA信号到语言增强方法,通过解耦音频语义与声学特征实现多参数可控音效生成,经主客观评估验证效果优异,为创意音频制作开辟新路径。
2024-12-13 cs.SD eess.AS
DDSP-based Singing Vocoders: A New Subtractive-based Synthesizer and A Comprehensive Evaluation
Academia Sinica(中央研究院);Taiwan AI Labs(台湾人工智能实验室);National Tsing Hua Univ.(国立清华大学);Music Group(470音乐集团);PARC(帕洛阿尔托研究中心)
声码器是一种有条件的音频生成模型,它将诸如梅尔频谱图之类的声学特征转换成波形。从可微分数字信号处理(DDSP)的启发,我们提出了一种新的声码器命名为SawSing唱歌。SawSing通过用线性时变有限脉冲响应滤波器对原始信号进行滤波来合成歌唱声的谐波部分,该滤波器的系数由神经网络从输入的梅尔频谱图中估计。由于这种方法强制相位连续性,SawSing可以生成唱歌的声音,而没有许多现有声码器的相位不连续故障。此外,源滤波器假设提供了一个电感偏置,允许SawSing在少量数据上进行训练。我们的实验表明,SawSing收敛速度更快,在资源有限的情况下,只有3个训练记录和3小时的训练时间,性能优于最先进的生成对抗网络和基于扩散的声码器。
2022-08-19 cs.SD eess.AS
Neural Concatenative Singing Voice Conversion: Rethinking Concatenation-Based Approach for One-Shot Singing Voice Conversion
ARC Lab, Tencent PCG(腾讯PCG ARC实验室)
针对任意到任意歌声转换中的“音色泄漏”问题,提出NeuCoSVC框架,利用自监督学习特征替换和保留源音频谐波与响度实现一次性转换,有效解决音色泄漏并在多场景下优于传统解耦方法。
2024-01-08 cs.SD eess.AS
Autoencoding Neural Networks as Musical Audio Synthesizers
The Cooper Union for the Advancement of Science and Art(库珀高等科学艺术联盟学院)
提出了一种基于自编码神经网络的音乐音频合成方法。训练自动编码器以压缩和重构幅度短时傅里叶变换帧。自动编码器通过激活其最小隐藏层来产生频谱图,并且使用实时相位梯度堆积分来计算相位响应。进行逆短时傅里叶变换产生音频信号。与当前最先进的音频生成机器学习算法相比,我们的算法是轻量级的。我们概述了我们的设计过程,产生指标,并详细介绍了我们的模型的开源Python实现。
2020-04-27 cs.LG cs.SD eess.AS
Synth-JEPA: Joint Embedding Prediction for Renderer-Free Synthesizer Parameter Search
Sony Computer Science Laboratories(索尼计算机科学实验室);Queen Mary University of London(伦敦玛丽女王大学)
Synth-JEPA通过联合嵌入预测学习参数与音频的互预测表示,实现无需渲染的合成器参数搜索,在域内优于基线,域外有竞争力,且可增加搜索计算提升匹配质量。
2026-09-28 cs.LG cs.SD eess.AS
NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门)
NaturalSpeech 2利用残差向量量化神经音频编解码器与扩散模型,结合语音提示机制实现零样本语音与歌声合成,在44K小时数据上训练后显著优于以往TTS系统。
2023-05-30 cs.AI cs.CL cs.LG
ETTA: Elucidating the Design Space of Text-to-Audio Models
NVIDIA
本文通过大规模实证实验系统分析文本到音频模型的设计空间,提出AF-Synthetic数据集和ETTA模型,在公开数据训练下超越基线并接近专有数据模型,同时提升复杂创意音频生成能力。
2025-06-30 cs.CL cs.LG cs.SD
Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers
Microsoft(微软)
介绍了一种用于文本到语音合成(TTS)的语言建模方法.具体来说,我们训练神经编解码器语言模型(称为Vall-E)使用离散代码来自现成的神经音频编解码器模型,并把TTS作为一个有条件的语言建模任务,而不是在以前的工作连续信号回归。在预训练阶段,我们将TTS训练数据扩展到60 K小时的英语语音,这是现有系统的数百倍。Vall-E出现了上下文学习能力,可以用来合成高质量的个性化语音,只需3秒的注册记录一个看不见的发言者作为声学提示。实验结果表明,Vall-E在语音自然度和说话人相似度方面明显优于现有的zero-shot TTS系统。另外,我们发现Vall-E在合成时可以保留说话人的情感和声音提示的声学环境。请访问https://aka.ms/valle查看我们工作的演示。
2023-01-05 cs.CL cs.SD eess.AS
The Artist is Present: Traces of Artists Resigind and Spawning in Text-to-Audio AI
Technische Universität Berlin(柏林工业大学)
本文通过元标签提示设计揭示艺术家在文本到音频AI中的踪迹,展示如何通过提示工程生成艺术家风格内容,引发关于创作归属与伦理的讨论。
2025-11-21 cs.SD eess.AS
Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features
Electronic Arts(美国艺电)
本文提出了一种简单而有效的方法来实现从参考语音信号到合成语音的韵律转换。主要思想是将韵律的众所周知的声学相关性(例如参考语音的音高和响度轮廓)并入现代神经文本到语音(TTS)合成器(例如Tacotron 2(TC2))中。更具体地,从参考音频中提取一小组声学特征,然后用于调节TC2合成器。训练后的模型使用主观听力测试进行评估,并提出了一种新的韵律迁移的客观评估。听力测试表明,合成的语音被评为高度自然的,韵律是成功地从参考语音信号的合成信号。
2020-05-15 cs.CL cs.LG cs.SD
The Mirrornet : Learning Audio Synthesizer Controls Inspired by Sensorimotor Interaction
Institute for Systems Research, University of Maryland College Park(马里兰大学帕克分校系统研究所);Laboratoire des Systèmes Perceptifs, École Normale Supérieure, PSL University(巴黎文理研究大学巴黎高等师范学院感知系统实验室)
本文提出基于受限自编码器架构的MirrorNet,通过无监督方式从听觉语谱图学习音频合成器DIVA的控制参数,生成相似旋律并泛化至未见旋律及不同合成器的复杂钢琴旋律,展示了从感觉数据发现任意运动装置控制的潜力。
2022-02-18 cs.LG cs.SD eess.AS
SynthCloner: Synthesizer-style Audio Transfer via Factorized Codec with ADSR Envelope Control
National Taiwan University(国立台湾大学);Academia Sinica(中国科学院)
SynthCloner通过分解编码器与ADSR包络控制实现合成器风格音频迁移,提供音色、包络和内容的独立控制,并引入新的合成器数据集SynthCAT。
2026-01-30 cs.SD eess.AS
Audio synthesizer inversion in symmetric parameter spaces with approximately equivariant flow matching
Queen Mary University of London(伦敦玛丽女王大学)
针对音频合成器参数反演中的排列对称性问题,提出近似等变的连续归一化流与自适应松弛等变策略,并在 Surge XT 上优于回归及生成基线。
2025-06-08 cs.LG cs.SD eess.AS
Modeling Animal Vocalizations through Synthesizers
Earth Species Project(地球物种项目)
对真实世界的声音进行建模是创造性地使用机器学习和许多其他领域(包括人类语音处理和生物声学)的一个基本问题。基于转换器的生成模型和一些先前的工作(例如,DDSP)可以产生逼真的声音,尽管它们的控制有限,而且很难解释。作为替代方案,我们的目标是使用模块化合成器,即,合成的、参数化的电子乐器,用于对非音乐声音进行建模。然而,推断给定目标声音的合成器参数,即,参数推断任务对于一般的声音来说并不是微不足道的,并且过去的研究通常集中在音乐声音上。在这项工作中,我们优化了TorchSynth的可区分合成器,以便建模,仿真和创造性地生成动物发声。我们比较了一系列的优化方法,从基于梯度的搜索遗传算法,推断其参数,然后演示如何可以控制和解释的参数建模非音乐的声音。
2022-10-19 cs.SD eess.AS
Neural Proxies for Sound Synthesizers: Learning Perceptually Informed Preset Representations
Audio Communication Group, TU Berlin(柏林技术大学音频通信组);Neural Information Processing Group, TU Berlin(柏林技术大学神经信息处理组)
本文提出一种用神经网络近似任意合成器的方法,将预设映射到预训练模型的音频嵌入空间,形成神经代理,从而在不可微的黑盒合成器上实现基于神经的自动合成器编程,并在多个架构和合成器上验证了有效性。
2025-09-09 cs.LG cs.SD eess.AS
InverSynth: Deep Estimation of Synthesizer Parameter Configurations from Audio Signals
Microsoft(微软);Tel Aviv University(特拉维夫大学);Technion(以色列理工学院)
声音合成是一个复杂的领域,需要专业知识。手动调整合成器参数以匹配特定声音可能是一项繁重的任务,即使对于经验丰富的音响工程师也是如此。在本文中,我们介绍了InverSynth -合成器参数调整,以匹配给定的输入声音的自动方法。InverSynth基于跨步卷积神经网络,能够从输入频谱图甚至原始音频中推断合成器参数配置。在一个具有四个频率调制振荡器、包络发生器和门控效应的减法合成器上证明了InverSynth的有效性。我们提出了广泛的定量和定性结果,展示了InverSynth在几个基线上的优越性。此外,我们表明,网络深度是一个重要的因素,有助于预测精度。
2019-11-21 cs.SD eess.AS stat.ML
Challenge on Sound Scene Synthesis: Evaluating Text-to-Audio Generation
KAIST(韩国科学技术院);NYU(纽约大学);Doshisha Univ.(同志社大学);UTokyo(东京大学);Nantes Université(南特大学);CMU(卡内基梅隆大学)
本文介绍 DCASE 2024 的 Sound Scene Synthesis 挑战赛,结合 Fréchet Audio Distance 与人类感知评估文本转音频模型,揭示模型规模、架构和类别差异,并验证客观指标有效性。
2024-10-23 cs.AI cs.LG cs.MM
CTAG-FX: Reinterpreting Synthesizer Parameter Spaces for Expressive Tone-Shaping Audio FX Design
Yonsei University(延世大学)
提出CTAG-FX,将文本条件合成器的78个参数重新诠释为音色塑造效果器控制,经信号分析和打乱消融验证,证明合成器参数空间可作为音频效果器控制空间的设计资源。
2026-10-07 cs.SD eess.AS
Latent Granular Resynthesis using Neural Audio Codecs
提出一种在神经音频编解码器潜在空间中进行粒子匹配与再合成的方法,无需训练即可保留目标时序并迁移源音色,同时避免拼接不连续。
2025-07-25 cs.LG cs.SD eess.AS
Universal audio synthesizer control with normalizing flows
IRCAM(声学与音乐研究与协作所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Laboratorio d’Informatica Musicale (LIM)(音乐信息学实验室);UNIMI(米兰大学)
无处不在的声音合成器重塑了音乐制作,甚至完全定义了新的音乐流派。然而,现代合成器中越来越多的复杂性和参数使它们更难掌握。因此,开发允许使用合成器轻松创建和探索的方法是一个至关重要的需求。在这里,我们介绍了一种新的配方的音频合成器控制。我们将其形式化为找到一个有组织的潜在的音频空间,表示合成器的能力,同时构建一个可逆的映射到其参数的空间。通过使用这个公式,我们表明,我们可以同时解决自动参数推断,宏观控制学习和基于音频的预设探索在一个单一的模型。为了解决这个新的公式,我们依靠变分自动编码器(VAE)和归一化流(NF)来组织和映射各自的听觉和参数空间。我们引入了解开流,它允许在单独的潜在空间之间执行可逆映射,同时通过将目标分割为部分密度评估来引导一些潜在维度的组织以匹配目标变化因素。我们评估我们的建议对一个大的基线模型,并显示其优越性,在参数推断和音频重建。我们还表明,该模型解开音频变化的主要因素作为潜在的维度,可以直接用作宏观参数。我们还表明,我们的模型是能够学习语义控制的合成器顺利映射到其参数。最后,我们讨论了我们的模型在创意应用程序中的使用及其在Ableton Live中的实时实现
2019-07-01 cs.HC cs.LG cs.MM
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University(密歇根州立大学)
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中,我们提出了一个名为DeepTalk的韵律编码网络,用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合,进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中,以生成合成语音。对合成语音的详细分析表明,DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外,基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
SerumRNN: Step by Step Audio VST Effect Programming
Tokyo Institute of Technology(东京工业大学);Qosmo Inc(Qosmo公司)
学习对音频制作VST合成器进行编程是一个耗时的过程,通常是通过低效的尝试和错误获得的,只有在多年的经验之后才能掌握。作为声音设计师的教育和创造性工具,我们提出了SerumRNN:一个系统,它提供了一步一步的指令,用于应用音频效果来将用户的输入音频改变为所需的声音。我们将我们的系统应用于Xfer Records Serum:目前音频制作社区使用的最流行和最复杂的VST合成器之一。我们的研究结果表明,SerumRNN始终能够为各种不同的音频效果和合成器提供有用的反馈。我们展示了使用迭代系统的好处,并表明SerumRNN学会了对效果进行优先级排序,并且可以发现比各种基线更有效的效果顺序序列。
2021-04-08 cs.LG cs.SD eess.AS
A Situational Speech Synthesizer for Yoruba: System Design, Phonological Rule Architecture, and Orthographic Extensions for Contour
介绍用于约鲁巴语的基于规则的双音素拼接语音合成器TTSYoruba,阐述其音系架构,包括声调处理等,还介绍正字法扩展,通过听众研究评估性能,为约鲁巴语语音合成及相关研究提供支持。
2026-10-19 cs.CL cs.SD eess.AS
Empowering Communication: Speech Technology for Indian and Western Accents through AI-powered Speech Synthesis
Environmental Resources Management(环境资源管理公司)
本文提出一个开源Python包voice cloning and speech synthesis,通过包含说话人验证、合成器、声码器和降噪模块的系统架构,为语音障碍人士和专业人士生成个性化的合成语音,并使用MOS、GPE和SD等指标验证了其有效性。
2024-02-16 cs.SD eess.AS
DDSynth-RL: Audio Synthesizer Inversion via Discrete Diffusion with Reinforcement Learning
该研究针对合成器逆问题的两大挑战,提出结合掩码离散扩散与GRPO风格音频域奖励微调的DDSynth-RL方法,在Dexed上验证了其性能优势。
2026-08-05 cs.SD
SemanticAudio: Audio Generation and Editing in Semantic Space
The Chinese University of Hong Kong(香港中文大学);LIGHTSPEED;Shanghai Jiao Tong University(上海交通大学);Independent Researcher(独立研究者)
提出SemanticAudio框架,通过两阶段流匹配架构在高级语义空间中进行音频生成和编辑,实现更好的语义对齐和无训练文本引导编辑。
2026-07-03 cs.SD eess.AS
INSTRUMENTAL: Automatic Synthesizer Parameter Recovery from Audio via Evolutionary Optimization
Philipp Bogdan
INSTRUMENTAL通过结合可微28参数减法合成器与CMA-ES优化器,自动从音频中恢复连续合成器参数,通过感知损失优化提升匹配精度,发现参数增强和谱分析初始化对收敛有帮助。
2026-03-16 cs.SD
Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN, Center for Advanced Intelligence Project AIP(理化学研究所先进智能项目中心)
在本文中,我们报告了我们在2019年赛道上提交的ZeroSpeech 2020挑战系统。这个挑战的主题是建立一个没有任何文本信息或语音标签的语音合成器。为了应对这些挑战,我们构建了一个系统,该系统必须解决两个主要组件,例如1)给定语音音频,以无监督的方式提取子字单元,2)重新合成来自新扬声器的音频。系统还需要在ABX出错率和比特率压缩率之间平衡码本性能。我们在这里的主要贡献是,我们提出了基于变换器的VQ-VAE的无监督单元发现和基于变换器的逆变器的语音合成给定提取的码书。此外,我们还探索了几种正则化方法来进一步提高性能。
2020-05-24 cs.CL cs.LG cs.SD
Audeo: Audio Generation for a Silent Performance Video
University of Washington(华盛顿大学)
我们提出了一个新的系统,作为一个音乐家弹钢琴的输入视频帧,并生成该视频的音乐。从视觉线索生成音乐是一个具有挑战性的问题,目前还不清楚这是否是一个可以实现的目标。我们在这项工作中的主要目的是探索这种转变的可解释性,并确定能够进行声音与视觉事件的关联的线索和组件。为了实现转换,我们构建了一个名为“\textit{Audeo}”的完整管道,其中包含三个组件。我们首先将键盘和音乐家手部动作的视频帧翻译成原始的机械音乐符号表示Piano-Roll(Roll),用于表示在每个时间步按下的键的每个视频帧。然后,我们调整滚动,以适应音频合成,包括时间相关性。这一步对于有意义的音频生成至关重要。作为最后一步,我们实现MIDI合成器来生成逼真的音乐。\textit{Audeo}可将视频平滑清晰地转换为音频,仅需几个设置限制。我们评估\textit{Audeo}上“在野外”钢琴演奏视频,并获得他们所产生的音乐是合理的音频质量,可以成功地识别流行的音乐识别软件的高精度。
2020-06-23 cs.CV cs.LG cs.MM
Semantically consistent Video-to-Audio Generation using Multimodal Language Large Model
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
针对视频缺乏音效和背景音乐影响沉浸感的问题,提出SVA框架,利用多模态大语言模型理解关键帧语义生成音频方案,作为提示词驱动文本到音频模型,实现语义一致的视频到音频生成。
2024-04-26 cs.MM cs.SD eess.AS
Stable Audio Open
Stability AI
开放生成模型对社区至关重要,允许微调并在呈现新模型时作为基线。然而,大多数当前的文本到音频模型都是私有的,艺术家和研究人员无法访问。在这里,我们描述了一个新的开放权重文本到音频模型的架构和训练过程,该模型使用知识共享数据进行训练。我们的评估表明,该模型的性能是具有竞争力的国家的最先进的各种指标。值得注意的是,报告的FDopenl3结果(测量世代的真实性)展示了其在44.1kHz的高质量立体声声音合成的潜力。
2024-07-31 cs.AI cs.SD eess.AS
Off-manifold robustness in synthesizer inversion with joint distribution flow matching
针对合成器反演中训练数据导致的离流形性能下降问题,提出用多模态连续归一化流建模音频与参数联合分布,利用未配对真实录音训练边缘分布,并在推理时部分加噪,显著提升真实音频反演效果。
2026-09-25 cs.SD
Monophonic Audio Synthesizer Using FPGAs
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
本项目通过在FPGA中实现硬件,开发了一款用于专业音频应用的数字单音音频合成器,采用数字逻辑近似正弦波形的数字合成方法。
2026-08-12 cs.AR cs.SD
LiveSynth: A Streaming Neural Synthesizer for Instrument Cloning and Text-to-Instrument
Seoul National University(首尔大学)
LiveSynth是一款流式神经合成器,通过因果Transformer与变分自编码器实现零样本乐器克隆、文本生成乐器及实时交互,在数据集上性能接近离线基线,可在M3 MacBook Air上实时运行。
2026-10-12 cs.SD eess.AS
Streamable Neural Audio Synthesis With Non-Causal Convolutions
IRCAM(声学音乐研究与协调研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
深度学习模型大多以离线推理的方式使用。然而,这严重限制了这些模型在音频生成设置中的使用,因为大多数创意工作流程都基于实时数字信号处理。虽然基于递归网络的方法可以自然地适应这种基于缓冲区的计算,但卷积的使用仍然带来了一些严重的挑战。为了解决这个问题,已经提出了因果流卷积的使用。然而,这需要特定的复杂化训练,并可能影响最终的音频质量。在本文中,我们介绍了一种新的方法,允许产生非因果流模型。这允许使任何卷积模型与基于实时缓冲器的处理兼容。由于我们的方法是基于模型的训练后重新配置,我们证明了它能够将没有因果约束的训练模型转换为流模型。我们展示了我们的方法可以适应复杂的架构与并行分支。为了评估我们的方法,我们将其应用于最近的RAVE模型,该模型提供了高质量的实时音频合成。我们在多个音乐和语音数据集上测试了我们的方法,并表明它比附加方法更快,同时对生成质量没有影响。最后,我们介绍了两个开源的实现我们的工作作为Max/MSP和PureData外部,并作为一个VST音频插件。这允许在笔记本电脑CPU上赋予传统的数字音频工作站实时神经音频合成。
2022-04-14 cs.LG cs.SD eess.AS
Neural Text to Articulate Talk: Deep Text to Audiovisual Speech Synthesis achieving both Auditory and Photo-realism
National Technical University of Athens(雅典国家技术大学);Athena Research Center(雅典娜研究中心);Foundation for Research & Technology - Hellas (FORTH)(希腊研究与技术基金会(FORTH))
本文提出 NEUTART,一种基于 Transformer 的非级联文本驱动视听语音合成框架,通过联合视听特征空间、语音引导三维面部重建和唇读损失,生成照片级逼真且音画同步的说话人脸视频。
2023-12-11 cs.CV cs.SD eess.AS
Fast Text-to-Audio Generation with Adversarial Post-Training
UC – San Diego(加州大学圣迭戈分校);Stability AI;Arm
针对文本到音频系统推理延迟高的问题,提出不依赖蒸馏的ARC对抗后训练方法,结合对比判别器提升提示遵循度,适配Stable Audio Open后实现当前最快的文本到音频生成速度。
2025-05-20 cs.AI cs.LG cs.MM
White-box Audio VST Effect Programming
Tokyo Institute of Technology(东京工业大学);Qosmo Inc.(Qosmo公司)
学习编程音频制作VST插件是一个耗时的过程,通常通过低效的试验和错误获得,只有在广泛的用户体验后才能掌握。我们提出了一个白盒,迭代系统,提供一步一步的指令,应用音频效果,以改变用户的音频信号朝着所需的声音。我们将我们的系统应用于Xfer Records Serum:目前音频制作社区使用的最流行和最复杂的VST合成器之一。我们的结果表明,我们的系统始终能够为各种不同的音频效果和合成器预设提供有用的反馈。
2021-02-05 cs.LG cs.SD eess.AS
Staged Depth-Pruning Distillation of a Flow-Matching Text-to-Speech Teacher: A Compact Hindi Speech Synthesizer
研究在数据量严重不足时构建紧凑印地语TTS模型的方法,通过分层深度剪枝蒸馏大型流匹配教师模型热启动学生模型,经多步剪枝与微调,得到不同参数的模型,在特定参数下效果良好,还解决了一些模型问题并进行了基准测试。
2026-07-22 cs.CL cs.SD eess.AS
TokenSynth: A Token-based Neural Synthesizer for Instrument Cloning and Text-to-Instrument
Seoul National University(首尔大学)
针对乐器克隆与文本转乐器等任务,提出基于令牌的神经合成器TokenSynth,利用仅解码器Transformer从MIDI令牌和CLAP嵌入生成音频令牌,无需微调即可实现多任务,展现了多功能神经合成器的潜力。
2025-02-13 cs.AI cs.SD
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
Graduate School of Cultural Technology, KAIST(韩国科学技术院文化技术研究生院);Division of AI and Software, Ewha Womans University(梨花女子大学人工智能与软件学部)
本文提出基于文本的视频到音频生成任务,通过文本提示选择性提取视频中相关声音源,提升多对象视频音频处理精度。SELVA模型通过文本提示选择视频编码器中的视觉特征,结合补充标记和自监督学习提升音频质量与同步性。
2026-03-27 cs.CV cs.LG cs.MM
Audiovisual Speech Synthesis using Tacotron2
Apple(苹果公司)
视听语音合成是在最大化声学和视觉语音的相干性的同时合成说话的面部的问题。在本文中,我们提出并比较了两个视听语音合成系统的三维人脸模型。第一个系统是AVTacotron2,这是一个基于Tacotron2架构的端到端文本到视听语音合成器。AVTacotron2将表示句子的音素序列转换为声学特征序列和面部模型的相应控制器。输出的声学特征用于调节WaveRNN以重建语音波形,并且输出的面部控制器用于生成说话面部的相应视频。第二个视听语音合成系统是模块化的,其中使用传统的Tacotron 2从文本合成声学语音。然后,使用独立训练的音频到面部动画神经网络,使用重建的声学语音信号来驱动面部模型的面部控制。我们进一步条件的端到端和模块化的情感嵌入方法,编码所需的韵律生成情感的视听语音。我们分析了这两个系统的性能,并使用主观评价测试将它们与地面实况视频进行比较。端到端和模块化系统能够合成接近人类的视听语音,平均意见得分(MOS)分别为4.1和3.9,而专业录制视频生成的地面实况的MOS为4.1。虽然端到端系统给出了更好的整体质量,但模块化方法更灵活,并且声学语音和视觉语音合成的质量几乎是彼此独立的。
2021-08-30 cs.CL cs.SD eess.AS
HpRNet : Incorporating Residual Noise Modeling for Violin in a Variational Parametric Synthesizer
Indian Institute of Technology Bombay(印度理工学院孟买分校)
音频合成的生成模型在过去几年中获得了发展势头。最近,音频信号的参数表示已经被并入以便于合成输出的更好的音乐控制。在这项工作中,我们研究了小提琴音调的参数模型,特别是生成建模的残余弓噪声,使更自然的音质。为了帮助我们的分析,我们介绍了一个数据集的Carnatic小提琴录音,其中弓噪声是一个组成部分的演奏风格的高音音符在特定的手势上下文。我们获得的见解,每个谐波和残留成分的信号,以及它们的相互依存关系,通过观察的潜在空间中的持续的声音的频谱包络的变分编码的过程中得出的。
2020-08-19 cs.LG cs.SD eess.AS
FM Synthesizer Audio-Parameter Shared Embeddings
针对合成器预设检索问题,本文设计模仿FM信号处理的图神经网络学习含信号路由的参数表征,结合SLAP多模态目标学习音频与FM合成器参数的联合嵌入,在Yamaha DX7数据集上验证了方法的有效性与泛化性。
2026-08-20 cs.SD
Synthesizer Preset Interpolation using Transformer Auto-Encoders
University of Mons(蒙斯大学);HE2B-ISIB Research Institute(HE2B-ISIB研究院)
声音合成器在现代音乐制作中很普遍,但它们越来越需要掌握专业技能。这项工作的重点是插值之间的,即,所有声音合成参数的值的集合,以使得能够从现有声音直观地创建新声音。我们介绍了一个双模态自动编码器神经网络,它同时处理使用多头注意力块和使用卷积的音频。该模型已在一个流行的频率调制合成器上进行了测试,有一百多个参数。实验将该模型与相关的架构和方法进行了比较,并证明了它执行更平滑的插值。训练后,所提出的模型可以集成到商业合成器中,用于现场插值或声音设计任务。
2023-03-09 cs.LG cs.SD eess.AS
CAFA: a Controllable Automatic Foley Artist
Technion(以色列理工学院);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Lightricks(丽塔克斯科技公司)
针对拟音过程中用户控制需求与多模态兼容性挑战,提出基于文本转音频模型、通过模态适配器整合视频信息的CAFA模型,实现文本引导的语义时间对齐音频生成,在质量与可控性上获主客观评估验证。
2025-04-17 cs.SD eess.AS
PAGURI: a user experience study of creative interaction with text-to-music models
该研究通过PAGURI用户体验研究,借助带微调个性化功能的在线文本生成音乐工具与半结构化访谈,分析音乐家使用体验,明确TTM的创意潜力与待解决的提示歧义、可控性不足等问题,为其后续发展提供参考。
2025-10-03 cs.SD eess.AS
Distortion Recovery: A Two-Stage Method for Guitar Effect Removal
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Positive Grid
针对电吉他录音失真移除问题,提出使用商业级VST插件数据集的两阶段方法,通过Mel频谱图处理与神经声码器生成纯净声音,主客观指标均证明其优于现有方法。
2024-07-23 cs.SD eess.AS
Neural Wavetable: a playable wavetable synthesizer using neural networks
Google Brain(谷歌大脑);Center for Music Technology(音乐技术中心);Georgia Institute of Technology(佐治亚理工学院)
我们提出了神经波表,一个概念验证波表合成器,使用神经网络来生成可播放的波表。该系统可以通过在自动编码器的潜在空间中对传统波表进行插值来产生新的、不同的波形。它可以作为VST/AU插件在数字音频工作站中使用。
2018-11-16 cs.LG cs.MM cs.SD
ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing
Hong Kong University of Science and Technology (HKUST)(香港理工大学);Tongyi Fun Team, Alibaba Group(阿里云团队);Zhejiang University(浙江大学)
ThinkSound利用思维链推理将视频音频生成分解为拟音生成、对象交互细化和自然语言编辑三阶段,并引入AudioCoT数据集,在多项指标上达到最先进性能。
2025-11-05 cs.CV cs.SD eess.AS