Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation
School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Video Rebirth;Shanghai Jiao Tong University(上海交通大学);Beijing Jiaotong University(北京交通大学);Shanghai AI Laboratory(上海人工智能实验室)
提出Foley-Omni统一多模态音频生成模型,通过共享潜变量生成过程联合建模语音、音效和音乐,实现从孤立任务级合成到完整视频配乐生成,并构建V2ST-Bench基准进行综合评估。
2026-06-02 cs.MM cs.SD
Challenge on Sound Scene Synthesis: Evaluating Text-to-Audio Generation
KAIST(韩国科学技术院);NYU(纽约大学);Doshisha Univ.(同志社大学);UTokyo(东京大学);Nantes Université(南特大学);CMU(卡内基梅隆大学)
本文介绍 DCASE 2024 的 Sound Scene Synthesis 挑战赛,结合 Fréchet Audio Distance 与人类感知评估文本转音频模型,揭示模型规模、架构和类别差异,并验证客观指标有效性。
2024-10-23 cs.AI cs.LG cs.MM
Latent Granular Resynthesis using Neural Audio Codecs
提出一种在神经音频编解码器潜在空间中进行粒子匹配与再合成的方法,无需训练即可保留目标时序并迁移源音色,同时避免拼接不连续。
2025-07-25 cs.LG cs.SD eess.AS
Pitch-Conditioned Instrument Sound Synthesis From an Interactive Timbre Latent Space
针对现有高质量神经乐器合成方法依赖高维潜空间操控难的问题,提出两阶段半监督学习框架,先训练音高-音色解耦的二维表示,再用Transformer生成模型生成音高准确、音色可控的高质量音频,还做了交互应用验证可用性。
2025-10-05 cs.AI cs.LG cs.SD
Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics(国立信息学研究所)
语音合成和从符号输入生成音乐音频在许多方面不同,但有一些相似之处。在这项研究中,我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件,我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统,例如基于样本和基于物理建模的方法。主观实验结果表明,所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声,给定的自然声学特征,从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法,但我们鼓励TTS研究人员测试他们的TTS模型,以完成这项新任务,并提高性能。
2022-02-24 cs.SD eess.AS
Progressive Facial Granularity Aggregation with Bilateral Attribute-based Enhancement for Face-to-Speech Synthesis
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(人工智能研究生院,POSTECH,韩国);Department of Computer Science and Engineering, POSTECH, Republic of Korea(计算机科学与工程系,POSTECH,韩国)
本文提出渐进式面部粒度聚合与双边属性增强方法,通过细粒度面部建模和多视图训练提升人脸到语音合成的一致性与稳定性。
2025-11-10 cs.SD
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法,但是它们通常在计算上是昂贵的,并且因此不适合于实时实现,特别是在嵌入式环境中。因此,需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中,我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器,通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组,简要概述如下。
2021-01-25 cs.SD eess.AS
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University(纽约大学)
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成,提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts
Renmin University of China(中国人民大学)
提出PlanAudio框架,利用大语言模型推理能力和语义潜在思维链机制,直接从自由文本生成包含语音和声音的统一音频。
2026-11-11 cs.AI cs.MM cs.SD
An accurate and revised version of optical character recognition-based speech synthesis using LabVIEW
Birla Institute of Technology(比尔拉理工学院)
针对视障人士获取书籍受限的问题,本文提出并实现了一种基于OCR和LabVIEW的精确、可靠、低成本且易用的语音合成系统,以语音输出替代文本阅读。
2025-06-18 cs.CL cs.CV cs.SD
Differentiable Digital Signal Processing Mixture Model for Synthesis Parameter Extraction from Mixture of Harmonic Sounds
The University of Tokyo(东京大学);National Institute of Technology, Kagawa College(国立高等专门学校机构 香川高等专门学校);Yamaha Corporation(雅马哈公司)
可微分数字信号处理(DDSP)自动编码器是一种结合了深度神经网络(DNN)和频谱建模合成的音乐声音合成器。它允许我们通过改变从输入声音中提取的基频、音色特征和响度(合成参数)来灵活地编辑声音。然而,它是专为单声道和声而设计的,不能处理和声的混合声。在本文中,我们提出了一个模型(DDSP混合模型),该模型将混合物表示为多个预训练DDSP自编码器的输出之和。通过将所提出的模型的输出拟合到所观察到的混合物,我们可以直接估计每个源的合成参数。通过综合参数提取实验,与直接将DDSP自编码器应用于由音频声源分离方法分离的信号的方法相比,该方法具有较高且稳定的性能。
2022-02-01 cs.LG cs.SD eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin(都柏林理工大学)
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而,最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富,以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外,它并不代表声音的方式,它被认为是。因此,在许多情况下,原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外,有条件的形式选择,额外的条件表示,不同的模型架构,和众多的指标,用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外,它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法,这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
DrumGAN VST: A Plugin for Drum Sound Analysis/Synthesis With Autoencoding Generative Adversarial Networks
Sony Computer Science Laboratories(索尼计算机科学实验室);National Institute of Applied Sciences, Lyon(里昂国立应用科学学院)
在当代流行音乐制作中,鼓的声音设计通常是通过在声音库中浏览和处理预先录制的样本来进行的。人们也可以使用专门的合成硬件,通常通过低层次的,音乐上无意义的参数控制。今天,深度学习领域提供了通过学习的高级特征控制合成过程的方法,并允许生成各种各样的声音。在本文中,我们提出了DrumGAN VST,一个使用生成对抗网络合成鼓声的插件。DrumGAN VST在44.1 kHz采样率音频上运行,提供独立和连续的乐器类控制,并具有编码神经网络,可将声音映射到GAN的潜在空间,从而实现对预先存在的鼓声的重新合成和操纵。我们提供了许多声音的例子和演示的建议VST插件。
2022-06-29 cs.LG cs.SD eess.AS
RWCP-SSD-Onomatopoeia: Onomatopoeic Word Dataset for Environmental Sound Synthesis
Ritsumeikan University(立命馆大学);Doshisha University(同志社大学);The University of Tokyo(东京大学);Kansai University(关西大学)
环境声音合成是用于生成自然环境声音的技术。关于使用声音事件标签的环境声音合成的常规工作不能精细地控制合成的声音,例如音高和音色。我们认为拟声词可以用于环境声音合成。拟声词是解释语音特征的有效工具。我们相信,使用拟声词将使我们能够控制合成声音的精细时频结构。然而,没有数据集可用于使用拟声词的环境声音合成。因此,在本文中,我们提出了RWCP-SSD-拟声词,一个数据集组成的155,568拟声词与音频样本配对的环境声音合成。我们还收集了自我报告的信心分数和他人报告的拟声词接受分数,以帮助我们调查的困难,在转录和选择一个合适的词环境声音合成。
2020-07-09 cs.SD eess.AS
Overview of Tasks and Investigation of Subjective Evaluation Methods in Environmental Sound Synthesis and Conversion
Ritsumeikan University(立命馆大学);LINE Corporation(LINE公司);The University of Tokyo(东京大学)
合成和转换环境声音具有许多应用的潜力,例如支持电影和游戏制作、用于声音事件检测和场景分类的数据增强。关于合成和转换环境声音的常规工作是基于物理建模或级联方法。然而,有有限数量的作品,解决了环境声音合成和转换与统计生成模型,因此,这一研究领域还没有很好地组织。本文综述了环境声音合成和转换的问题定义、应用和评价方法。然后,我们报告使用声音事件标签的环境声音合成,其中我们专注于统计环境声音合成的当前性能,并调查我们应该如何进行主观实验环境声音合成。
2019-08-27 cs.SD eess.AS
Neural Synthesis of Footsteps Sound Effects with Generative Adversarial Networks
Queen Mary University of London(伦敦玛丽女王大学)
脚步声是多媒体应用中最普遍的声音效果之一。有大量的研究了解的声学特性和发展的合成模型的脚步声效果。在本文中,我们提出了第一次尝试采用神经合成这项任务。我们实现了两种基于GAN的架构,并将结果与真实录音以及六种传统的声音合成方法进行了比较。我们的架构达到了与记录样本一样高的真实感分数,为手头的任务显示了令人鼓舞的结果。
2021-12-10 cs.AI cs.LG cs.SD
GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning
Sony Computer Science Laboratories(索尼计算机科学实验室)
我们提出了GANStrument,一个用于乐器声音合成的生成对抗模型。给定单次声音作为输入,它能够在交互时间内生成反映输入音色的音调乐器声音。通过利用实例条件,GANStrument实现了更好的合成声音的保真度和多样性以及对各种输入的泛化能力。此外,我们引入了一个对抗性的训练方案,用于一个音高不变的特征提取器,显着提高了音高准确性和音色一致性。实验结果表明,GANStrument在生成质量和输入可编辑性方面优于不使用实例条件的强基线。定性例子可在网上查阅。
2023-03-07 cs.LG cs.SD eess.AS
Rigid-Body Sound Synthesis with Differentiable Modal Resonators
Queen Mary University of London(伦敦玛丽女王大学)
刚体的物理模型用于从虚拟环境到音乐制作的应用中的声音合成。传统方法(如模态综合)通常依赖于计算昂贵的数值求解器,而最近的深度学习方法受到其结果后处理的限制。在这项工作中,我们提出了一种新的端到端的框架,用于训练深度神经网络,以生成给定的2D形状和材料的模态谐振器,使用一组可微分IIR滤波器。我们在合成对象的数据集上演示了我们的方法,但是使用音频域目标训练我们的模型,为直接从真实世界对象的记录中学习物理信息的合成器铺平了道路。
2022-10-28 cs.LG cs.SD eess.AS
Perceptual evaluation of listener envelopment using spatial granular synthesis
Institute of Electronic Music and Acoustics(电子音乐与声学研究所);University of Music and Performing Arts Graz(格拉茨音乐与表演艺术大学)
本文利用空间颗粒合成精确控制声音事件的时间与方向密度,通过感知实验揭示听众包围感和吞没感的形成条件及扬声器层、低通滤波的影响。
2023-01-30 cs.SD eess.AS
Onoma-to-wave: Environmental sound synthesis from onomatopoeic words
Ritsumeikan University(立命馆大学);Doshisha University(同志社大学);The University of Tokyo(东京大学);Kansai University(关西大学)
在本文中,我们提出了一个框架,环境声音合成从拟声词。作为表达环境声音的一种方式,我们可以使用拟声词,这是一个语音模仿声音的字符序列。拟声词能有效地描述各种语音特征。因此,使用拟声词进行环境声音合成将使我们能够产生多样化的环境声音。为了生成不同的声音,我们提出了一种方法的基础上的序列到序列的框架合成环境的声音拟声词。我们还提出了一种使用拟声词和声音事件标签的环境声音合成方法。除了拟声词之外,声音事件标签的使用使我们能够根据输入的声音事件标签来捕获每个声音事件的特征。我们的主观实验表明,我们提出的方法实现了更高的多样性和自然度比传统的方法使用声音事件标签。
2022-02-07 cs.SD eess.AS
Environmental sound synthesis from vocal imitations and sound event labels
Ritsumeikan University(立命馆大学);Doshisha University(同志社大学);The University of Tokyo(东京大学)
本文提出一种基于向量量化编码器和Tacotron2解码器框架的环境声音合成方法,利用声音模仿和声音事件标签控制合成声音的音高与节奏,实验证明该方法有效。
2023-09-14 cs.SD eess.AS
Learning Control of Neural Sound Effects Synthesis from Physically Inspired Models
Centre for Digital Music(数字音乐中心);Queen Mary University of London(伦敦玛丽女王大学)
本文提出一种由物理启发模型引导的实时神经音效合成方法,在保留物理模型控制接口的同时提升生成音质,解决了神经音效合成中控制困难的问题。
2025-03-11 cs.SD eess.AS
Sound-Stream II: Towards Real-Time Gesture Controlled Articulatory Sound Synthesis
University of British Columbia(不列颠哥伦比亚大学)
我们提出了一个接口,涉及四个自由度(DOF)的机械控制的二维,正中矢状舌通过生物力学工具包称为ArtiSynth和一个声音合成引擎称为JASS对发音声音合成。作为该项目的演示,用户将学习通过一组四个基于力的传感器在2D空间中改变ArtiSynth舌头的形状和位置来产生一系列JASS声音。换句话说,用户将能够物理地玩弄这四个传感器,从而虚拟地控制舌头的四个选定肌肉兴奋的幅度以改变发音结构。这种变化是在ArtiSynth环境中根据面积函数计算的,并被传送到基于JASS的音频合成器,该音频合成器与双质量声门激励模型耦合,以完成这种端到端的手势到声音映射。
2018-11-20 cs.SD eess.AS
SpecSinGAN: Sound Effect Variation Synthesis Using Single-Image GANs
University of York(约克大学);Sony Interactive Entertainment Europe(索尼互动娱乐欧洲公司);Music Artificial Intelligence Algorithms, Inc.(音乐人工智能算法公司)
单图像生成对抗网络从单个训练样本的内部分布中学习,以生成其变体,从而消除了对大型数据集的需求。在本文中,我们介绍了SpecSinGAN,这是一种无条件生成架构,它只需要一个单次声音效果(例如,一个脚步声;一个角色跳跃),并产生它的新颖变化,就好像它们是来自同一录音会话的不同镜头。我们探索使用多通道声谱图来训练模型的各个层,包括一个单一的声音效果。一项听力研究将我们的模型与真实录音和数字信号处理程序音频模型在声音的可扩展性和变化方面进行了比较,结果显示,当使用多通道频谱图时,SpecSinGAN比所考虑的程序音频模型更合理,更多样化。可以在项目网站https://www.adrianbarahonarios.com/specsingan/上找到合理的例子
2022-04-05 cs.LG cs.SD eess.AS
Real-valued parametric conditioning of an RNN for interactive sound synthesis
National University of Singapore(新加坡国立大学)
用于音频合成的递归神经网络(RNN)通过用关于信号特征(诸如音高、幅度和乐器)的信息来增强音频输入来训练。训练后的结果是音频合成器,其像乐器一样演奏,具有作为连续参数控制提供的期望的音乐特性。本文的重点是用实值参数调节数据驱动的综合模型,特别是系统a)泛化和b)响应训练期间未看到的参数值和序列的能力。
2018-05-30 cs.LG cs.SD eess.AS
HyperGANStrument: Instrument Sound Synthesis and Editing with Pitch-Invariant Hypernetworks
Sony Computer Science Laboratories(索尼计算机科学实验室)
提出HyperGANStrument,通过音高不变超网络调制预训练GANStrument生成器权重,并结合对抗性微调方案,显著提升了乐器声音的重建保真度、生成多样性与可编辑性。
2024-01-09 cs.LG cs.SD eess.AS
Visual onoma-to-wave: environmental sound synthesis from visual onomatopoeias and sound-source images
National Institute of Technology, Tokuyama College(德山国立技术学院);The University of Tokyo(东京大学);Doshisha University(同志社大学);Ritsumeikan University(立命馆大学)
我们提出了一种方法来合成环境声音从视觉上表示拟声词和声源。拟声词是一个模仿声音结构的词,即,声音的文本表示。从这个角度来看,拟声词到波已经被提出来合成环境声音从所需的拟声词文本。拟声词还有另一种表现形式:漫画、广告和虚拟现实中声音的视觉-文本表现形式。视觉拟声词(拟声词的视觉文本)包含文本中不存在的丰富信息,例如图像的长短持续时间,因此使用这种表示法有望合成不同的声音。因此,我们提出了视觉拟声到波的环境声音合成从视觉拟声。该方法可以将视觉文本和声源图像的视觉概念转换为合成声音。我们还提出了一个数据增强的方法,侧重于拟声词的重复,以提高我们的方法的性能。实验结果表明,该方法可以从视觉文本和声源图像合成不同的环境声音。
2022-10-17 cs.SD eess.AS
Sound texture synthesis using convolutional neural networks
Sorbonne Université(索邦大学);IRCAM(声学/音乐研究和协作学院);CNRS(法国国家科学研究中心)
下面的文章介绍了一种新的参数化合成算法的声音纹理的启发,现有的方法用于视觉纹理。使用二维卷积神经网络(CNN),声音信号被修改,直到其对数谱图的特征图的时间互相关类似于目标纹理的时间互相关。我们表明,所得到的合成声音信号是既不同于原来的和高品质的,同时能够再现奇异事件出现在原来的。该过程在时域中执行,丢弃了有害的相位恢复步骤,该步骤通常结束在时频域中执行的合成。它也是简单和灵活的,因为它不需要在合成不同的声音纹理时在几个损失之间进行任何微调。还介绍了一种扩展合成以产生任何长度的声音的方法,之后展示了合成的频谱图和声音信号。我们还讨论了CNN的选择,在我们的合成信号的边界效应和修改算法,以改善其目前的长计算时间的可能方法。
2019-05-09 cs.SD eess.AS
Sound texture synthesis using RI spectrograms
IRCAM(声学与音乐研究中心);CNRS(法国国家科学研究中心)
本文在已有的视觉和声音纹理合成方法的基础上,提出了一种新的声音纹理参数化合成方法。从基本声音信号开始,执行优化过程,直到几个未经训练的2D卷积神经网络(CNN)的特征图之间的互相关类似于原始声音纹理的互相关。我们使用压缩的RI频谱图作为CNN的输入:这种时频表示是短时傅立叶变换(STFT)的实部和虚部的堆叠,因此隐含地包含幅度和相位信息,从而允许令人信服地合成各种音频事件。然而,直接对时间信号执行优化以避免任何STFT一致性问题。一个在线的感知评估的结果也详细,并表明,这种方法实现了更逼真的声音比现有的参数化方法在广泛的纹理的结果。
2019-10-21 cs.SD eess.AS
A Neural Network Based Framework for Archetypical Sound Synthesis
Conservatorio C.Pollini of Padua(帕多瓦的C.波里尼音乐学院)
本文介绍了一种初步的方法来算法再现人类采用的原型结构进行分类的声音。特别是,我们提出了一种方法来预测人类感知的混乱/秩序水平的声音和合成新的音色,目前所需的量,这一功能。我们采用了一种基于神经网络的方法,以利用其内在的倾向模型的感知和抽象的功能。最后,我们讨论了所获得的准确性和可能的影响,在创造性的背景下。
2020-03-10 cs.SD eess.AS
Physics-Driven Diffusion Models for Impact Sound Synthesis from Videos
University of Washington(华盛顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出物理驱动的扩散模型,结合从真实撞击声中估计的物理参数、学习残差参数与视频视觉信息,为无声视频合成高保真且可解释、可编辑的撞击声,性能优于现有系统。
2023-07-08 cs.CV cs.LG cs.SD
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
Mean-square-error-based secondary source placement in sound field synthesis with prior information on desired field
The University of Tokyo(东京大学)
提出了一种声场合成中次级声源位置的优化方法。当扬声器的可允许放置区域和可用数量受限时,这种优化方法将是有用的。我们制定了一个均方误差为基础的成本函数,纳入可能的期望声场的统计特性,一般的线性最小二乘为基础的声场合成方法,包括压力匹配和(加权)模式匹配,而目前的方法大多数只适用于压力匹配方法。一个有效的贪心算法最小化建议的成本函数也推导出来。数值实验表明,与经验性的规则布局相比,该方法优化的布局可以获得更高的再现精度。
2021-12-10 cs.SD eess.AS
Sound Scene Synthesis at the DCASE 2024 Challenge
CNRS(法国国家科学研究中心);Ecole Centrale Nantes(南特中央理工学院);Nantes Université(南特大学);Gaudio Lab, Inc.(Gaudio实验室公司);KAIST(韩国科学技术院);Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);Doshisha University(同志社大学);The University of Tokyo(东京大学)
本文介绍DCASE 2024挑战赛任务7声音场景合成,提出结合主客观指标的标准化评估框架,对4份提交作品用FAD和人类感知评分评估,揭示现有系统的能力局限与未来方向。
2025-01-15 cs.AI cs.SD eess.AS
Sound Field Synthesis with Acoustic Waves
Amazon Inc.(亚马逊公司)
本研究提出一种基于声传播物理的实用声场合成框架,通过将声场解耦为房间与设备分量、以声学平面波为核心工具,在小型刚性表面合成宽带声场,降低复杂度并提升精度,经多环境验证有效。
2024-07-13 cs.SD eess.AS
Localizing Acoustic Energy in Sound Field Synthesis by Directionally Weighted Exterior Radiation Suppression
The University of Tokyo(东京大学);National Institute of Informatics(国立情报学研究所)
本文提出方向加权外部辐射表示并纳入声场合成优化,在扬声器数量有限时优先抑制指定方向的外部辐射,同时保持较高内部合成精度。
2024-01-11 cs.SD eess.AS
A Proposal for Foley Sound Synthesis Challenge
Gaudio Lab, Inc.(高迪奥实验室公司);New York University(纽约大学)
“Foley”是指在后期制作期间添加到多媒体以增强其感知声学特性的声音效果,例如,通过模拟脚步声、周围环境声音或屏幕上的可见对象。虽然foley传统上是由foley艺术家制作的,但基于声音合成和生成模型的最新进展,对自动或机器辅助技术的兴趣越来越大。为了促进更多的参与这一日益增长的研究领域,我们提出了一个挑战自动福利合成。通过对音频和机器学习领域先前成功挑战的案例研究,我们设定了拟议挑战的目标:对不同的Foley合成系统进行严格、统一和有效的评估,其总体目标是吸引研究界的积极参与。我们概述了福利声音合成挑战的细节和设计考虑,包括任务定义,数据集要求和评估标准。
2022-07-21 cs.AI cs.MM cs.SD
NoiseBandNet: Controllable Time-Varying Neural Synthesis of Sound Effects Using Filterbanks
University of York(约克大学);University of Miami(迈阿密大学);Music Artificial Intelligence Algorithms, Inc.(音乐人工智能算法公司)
本文提出 NoiseBandNet,利用滤波器组滤波白噪声实现可控时变音效合成,在多类音效重建中优于 DDSP 滤波噪声基线,并支持变体生成、响度迁移和自定义控制。
2023-07-16 cs.SD eess.AS
Simi-SFX: A similarity-based conditioning method for controllable sound effect synthesis
The University of Sydney(悉尼大学)
本文提出Simi-SFX方法,利用可微分数字信号处理结合潜在空间与归一化引导向量,实现基于相似度的细粒度音色可控音效合成,并通过Footstep-set和Impact-set数据集验证了可控性与音色插值能力。
2024-12-25 cs.SD eess.AS
Perceptual Quality Enhancement of Sound Field Synthesis Based on Combination of Pressure and Amplitude Matching
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
提出基于声压与振幅匹配结合的声场合成方法,以减少高频空间混叠伪影,提升空间音频重放的感知质量。
2023-07-26 cs.SD eess.AS
Foley Sound Synthesis at the DCASE 2023 Challenge
Gaudio Lab, Inc.(Gaudio实验室公司);KAIST(韩国科学技术院);Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);Doshisha University(同志社大学);Ritsumeikan University(立命馆大学);CNRS(法国国家科学研究中心);Ecole Centrale Nantes(南特中央理工学院);The University of Tokyo(东京大学)
本文介绍 DCASE 2023 Task 7 Foley 音效合成挑战赛,建立标准化数据集、基线与主客观评估框架,并对 17 个系统按音质、类别契合度和多样性排名。
2023-09-28 cs.SD eess.AS
T-FOLEY: A Controllable Waveform-Domain Diffusion Model for Temporal-Event-Guided Foley Sound Synthesis
Graduate School of Artificial Intelligence, KAIST(韩国科学技术院人工智能研究生院);Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
T-Foley提出一种时间事件引导的波形域扩散模型,通过声音类别与时间事件特征及Block-FiLM条件注入技术,实现与视频时间事件同步的高质量拟音合成,并支持人声模仿控制。
2024-01-17 cs.AI cs.LG cs.SD
Sound Synthesis, Propagation, and Rendering: A Survey
Tianjin University(天津大学);University of Maryland at College Park(马里兰大学帕克分校)
声音作为一种重要的感官通道,在提高虚拟环境的真实性和沉浸感方面起着至关重要的作用,仅次于视觉。声音可以提供重要的线索,如声音的方向性和空间大小。本文综述了虚拟现实、游戏、多媒体、计算机辅助设计中声音模拟的研究工作。我们首先调查各种声音合成方法,包括谐波合成,纹理合成,频谱分析,和基于物理的合成。然后,我们总结了流行的声音传播技术,即基于波的方法,基于几何的方法,和混合方法。接下来,对声音渲染方法进行了回顾。我们进一步展示了最新的基于深度学习的声音模拟方法。最后,我们指出了这一领域的一些未来发展方向。据我们所知,这是第一次尝试在计算机图形学领域提供一个全面的总结声音的研究。
2021-05-04 cs.GR cs.SD
Topology in Sound Synthesis and Digital Signal Processing -- DAFx2022 Lecture Notes
University of Wisconsin - Milwaukee(威斯康星大学密尔沃基分校)
在奥地利维也纳举行的国际数字音频效果会议(DAFx-22)上,关于声音合成和数字信号处理中拓扑结构的教程的讲稿。
2022-11-10 cs.SD eess.SP
DrumGAN: Synthesis of Drum Sounds With Timbral Feature Conditioning Using Generative Adversarial Networks
Sony CSL(索尼计算机科学实验室);LTCI, Télécom Paris(巴黎电信学院LTCI);Institut Polytechnique de Paris(巴黎理工学院)
鼓声的合成创建(例如,在鼓机中)通常使用模拟或数字合成进行,允许音乐家修改各种参数来塑造所需的音色。通常,这些参数控制声音的低级别特征,并且通常没有音乐意义或感知对应。随着深度学习的兴起,数据驱动的音频处理成为传统信号处理的替代方案。这种新的范式允许通过学习高级功能或通过调节模型上的音乐相关信息来控制合成过程。在本文中,我们将生成对抗网络应用于鼓声的音频合成任务。通过调节模型上的感知特征计算与公开可用的特征提取器,直观的控制是在生成过程中获得的。这些实验是在大量的踢腿、响弦和钹的声音上进行的。我们表明,相比于一个特定的先前的工作的基础上的U-Net架构,我们的方法大大提高了所生成的鼓样本的质量,并且条件输入确实形状的声音的感知特性。此外,我们还提供了音频示例,并发布了实验中使用的代码。
2022-06-28 cs.SD eess.AS
Neural Drum Machine : An Interactive System for Real-time Synthesis of Drum Sounds
Sony CSL Paris(索尼计算机科学实验室巴黎分部);IRCAM(法国声学/音乐研究和协作学院)
在这项工作中,我们介绍了一个系统的实时的【形】生成鼓的声音。该系统由两部分组成:鼓声音的生成模型以及Max4Live插件,该插件提供对生成过程的直观控制。生成模型由条件Wasserstein自动编码器(CWAE)组成,其学习生成短敲击样本的Mel缩放幅度谱图,再加上多头卷积神经网络(MCNN),其从幅度谱图估计相应的音频信号。该模型的设计使其重量轻,因此它允许在普通CPU上执行新颖的鼓声的实时的【形】生成,消除了用户为了使用该系统而拥有专用硬件的需要。然后,我们提出了我们的Max4Live界面设计与此生成模型进行交互。通过这种设置,该系统可以轻松集成到工作室制作环境中,并增强创作过程。最后,我们讨论了我们的系统的优势,以及如何与这些工具的音乐制作人的互动可能会改变鼓轨道组成的方式。
2019-11-13 cs.LG cs.SD eess.AS
EnvGAN: Adversarial Synthesis of Environmental Sounds for Data Augmentation
College of Engineering, Trivandrum(特里凡得琅工程学院);Govt. Engineering College, Barton Hill, Thiruvananthapuram(巴顿山政府工程学院)
环境声音分类(ESC)的研究随着深度学习算法的出现而逐渐发展。然而,数据稀缺是该领域取得巨大进步的主要障碍。数据增强为这个问题提供了一个很好的解决方案。虽然生成对抗网络(GANs)在生成合成语音和乐器声音方面取得了成功,但它们几乎没有应用于环境声音的生成。本文介绍了EnvGAN,这是GANs首次应用于对抗性生成环境声音。我们在三个标准ESC数据集上的实验表明,EnvGAN可以合成与数据集中相似的音频。建议的增强方法胜过大多数未来的音频增强技术。
2021-04-15 cs.SD eess.AS
Advances in Thunder Sound Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Native Instruments GmbH(Native Instruments 有限公司);Nemisindo Ltd(Nemisindo 有限公司)
最近的一项比较研究评估了所有已知的雷声合成技术在其感知真实性方面。研究结果得出结论,没有一个合成的音频提取似乎像真正的现象一样真实。本文提出的工作是由这些发现的动机,并试图创建一个合成的声音效果的雷声与真实的录音难以区分。该技术补充了现有的实现与物理启发,基于信号的设计元素,旨在模拟环境的发生。在超过50名参与者进行的听力测试中,这种新的实现被认为是最真实的合成声音,尽管仍然可以与真实录音区分开来。本文还实现并描述了基于来自听力测试的见解对模型的进一步改进。
2022-04-17 cs.SD eess.AS eess.SP
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney(悉尼大学)
针对神经音频合成依赖离散标签、难以细微控制声音的问题,本文提出基于GAN的隐式条件化方法ICGAN,构建连续条件空间实现无显式标签的可解释音色操控,并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
Neural Percussive Synthesis Parameterised by High-Level Timbral Features
Universitat Pompeu Fabra(庞培法布拉大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心)
我们提出了一种基于深度神经网络的方法,用于合成具有高级音色特征的声音。这种方法允许对合成器进行直观的控制,使用户能够在没有信号处理的广泛知识的情况下对声音进行整形。我们使用基于前馈卷积神经网络的架构,该架构能够将输入参数映射到相应的波形。我们提出了两个数据集来评估我们的方法在限制性的背景下,并在一个覆盖更广泛的声音。作为参数的音色特征取自信号处理中的最新文献。我们还使用这些功能的评估和验证所提出的模型,以确保改变输入参数产生一个一致的波形与所需的特性。最后,我们使用主观听力测试来评估输出声音的质量。我们提供了良好的例子和系统的源代码的可重复性。
2020-04-03 cs.LG cs.SD eess.AS
NeuralSound: Learning-based Modal Sound Synthesis With Acoustic Transfer
Peking University(北京大学);University of Maryland at College Park(马里兰大学帕克分校)
我们提出了一种新的基于学习的模态声音合成方法,包括一个混合振动求解器的模态分析和一个端到端的声辐射网络的声学传输。我们的混合振动求解器由3D稀疏卷积网络和用于迭代优化的局部最优块预处理共轭梯度模块(LOBPCG)组成。此外,我们强调了一个标准的模态振动求解器和我们的网络架构之间的相关性。我们的辐射网络预测的远场声传输地图(FFAT地图)从表面振动的对象。在GTX 3080 Ti GPU上,我们的学习方法对任何新对象的整体运行时间都不到一秒,同时保持接近使用标准数值方法计算的地面真实的高音质。我们还评估了我们的声音合成方法在对应于各种材料的不同对象上的数值精度和感知精度。
2022-05-28 cs.GR cs.SD eess.AS
Fractional Fourier Sound Synthesis
本研究将分数阶傅里叶变换(FrFT)应用于声音合成,利用其分数阶参数实现时频域连续插值与alpha域直接合成,通过alpha合成、alpha滤波等技术获得创新音效,为音频创作提供了变革性工具。
2025-06-10 cs.SD eess.AS
DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
Queen Mary University of London(伦敦玛丽女王大学)
FM合成是一种众所周知的算法,用于从一组紧凑的设计基元生成复杂的音色。它通常具有一个音频接口,从音频源控制它通常是不切实际的。另一方面,可微分数字信号处理(DDSP)通过深度神经网络(DNN)实现了细致入微的音频渲染,该深度神经网络学习从任意声音输入控制可微分合成层。训练过程涉及用于监督的音频语料库和频谱重建损失函数。这样的函数,虽然是伟大的匹配频谱幅度,缺乏音调方向,这可能会阻碍FM合成器的参数的联合优化。在本文中,我们采取措施,使一个完善的FM合成架构从音频输入的连续控制。首先,我们讨论了一组设计约束,通过标准的重建损失,简化频谱优化的可微分FM合成器。接下来,我们介绍了可区分DX7(DDX7),这是一种轻量级架构,用于在一组紧凑的参数中对乐器声音进行神经FM再合成。我们训练模型的仪器样本提取的URMP数据集,并定量地证明其可比的音频质量对选定的基准。
2022-08-12 cs.LG cs.SD eess.AS
One Billion Audio Sounds from GPU-enabled Modular Synthesis
Spooky Audio;University of Victoria(维多利亚大学);McGill University(麦吉尔大学)
我们发布了一个多模态音频语料库,由10亿个4秒合成声音组成,并与用于生成它们的合成参数配对。该数据集比文献中的任何音频数据集都大100倍。我们还介绍了torchsynth,这是一个开源的模块化合成器,它在单个GPU上以比实时(714MHz)快16200倍的速度动态生成1B1样本。最后,我们发布了两个新的音频数据集:FM合成音色和减法合成音高。使用这些数据集,我们展示了新的基于排名的评估标准,现有的音频表示。最后,我们提出了一种新的综合器超参数优化方法。
2021-07-20 cs.AI cs.LG cs.SD