Rigid-Body Sound Synthesis with Differentiable Modal Resonators
Queen Mary University of London(伦敦玛丽女王大学)
刚体的物理模型用于从虚拟环境到音乐制作的应用中的声音合成。传统方法(如模态综合)通常依赖于计算昂贵的数值求解器,而最近的深度学习方法受到其结果后处理的限制。在这项工作中,我们提出了一种新的端到端的框架,用于训练深度神经网络,以生成给定的2D形状和材料的模态谐振器,使用一组可微分IIR滤波器。我们在合成对象的数据集上演示了我们的方法,但是使用音频域目标训练我们的模型,为直接从真实世界对象的记录中学习物理信息的合成器铺平了道路。
2022-10-28 cs.LG cs.SD eess.AS
Differentiable Digital Signal Processing Mixture Model for Synthesis Parameter Extraction from Mixture of Harmonic Sounds
The University of Tokyo(东京大学);National Institute of Technology, Kagawa College(国立高等专门学校机构 香川高等专门学校);Yamaha Corporation(雅马哈公司)
可微分数字信号处理(DDSP)自动编码器是一种结合了深度神经网络(DNN)和频谱建模合成的音乐声音合成器。它允许我们通过改变从输入声音中提取的基频、音色特征和响度(合成参数)来灵活地编辑声音。然而,它是专为单声道和声而设计的,不能处理和声的混合声。在本文中,我们提出了一个模型(DDSP混合模型),该模型将混合物表示为多个预训练DDSP自编码器的输出之和。通过将所提出的模型的输出拟合到所观察到的混合物,我们可以直接估计每个源的合成参数。通过综合参数提取实验,与直接将DDSP自编码器应用于由音频声源分离方法分离的信号的方法相比,该方法具有较高且稳定的性能。
2022-02-01 cs.LG cs.SD eess.AS
Differentiable Digital Signal Processing Mixture Model-Guided Diffusion for Synthesis Parameter Estimation from Harmonic Sound Mixtures
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
针对DDSP混合模型估计合成参数时缺乏时间平滑性的问题,提出用DDPM引导反向扩散过程,以重建误差为条件,实现时间合理的参数轨迹估计,并在木管和弦乐合奏实验中验证了改进效果。
2026-09-15 cs.SD eess.AS
DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
Queen Mary University of London(伦敦玛丽女王大学)
FM合成是一种众所周知的算法,用于从一组紧凑的设计基元生成复杂的音色。它通常具有一个音频接口,从音频源控制它通常是不切实际的。另一方面,可微分数字信号处理(DDSP)通过深度神经网络(DNN)实现了细致入微的音频渲染,该深度神经网络学习从任意声音输入控制可微分合成层。训练过程涉及用于监督的音频语料库和频谱重建损失函数。这样的函数,虽然是伟大的匹配频谱幅度,缺乏音调方向,这可能会阻碍FM合成器的参数的联合优化。在本文中,我们采取措施,使一个完善的FM合成架构从音频输入的连续控制。首先,我们讨论了一组设计约束,通过标准的重建损失,简化频谱优化的可微分FM合成器。接下来,我们介绍了可区分DX7(DDX7),这是一种轻量级架构,用于在一组紧凑的参数中对乐器声音进行神经FM再合成。我们训练模型的仪器样本提取的URMP数据集,并定量地证明其可比的音频质量对选定的基准。
2022-08-12 cs.LG cs.SD eess.AS
Differentiable Modal Synthesis for Physical Modeling of Planar String Sound and Motion Simulation
Seoul National University(首尔大学);Artificial Intelligence Institute of Seoul National University(首尔大学人工智能学院);Interdisciplinary Program in Artificial Intelligence(人工智能跨学科项目)
针对物理定律约束的乐器振动仿真研究不足的问题,提出整合模态合成与频谱建模的神经网络模型,可求解非线性弦偏微分方程,在弦运动仿真精度上优于现有基线。
2024-10-30 cs.AI cs.SD eess.AS
Modulation Discovery with Differentiable Digital Signal Processing
Centre for Digital Music, Queen Mary University of London, UK(伦敦大学女王学院数字音乐中心);Independent Researcher, Singapore(新加坡独立研究者)
提出一种基于调制提取、约束控制信号参数化和可微分数字信号处理的神经声音匹配方法,用于发现声音中的调制,并在合成与真实音频上验证其有效性与可解释性权衡。
2025-10-07 cs.LG cs.SD eess.AS
Physics-Informed Neural Engine Sound Modeling with Differentiable Pulse-Train Synthesis
提出脉冲串-谐振器(PTR)模型,通过可微分合成架构直接建模发动机脉冲形状和时间结构,利用物理信息归纳偏置提升谐波重建质量并降低总损失。
2026-06-02 cs.AI cs.SD eess.AS
A convolutional plane wave model for sound field reconstruction
Technical University of Denmark(丹麦技术大学)
空间声场插值依赖于合适的模型,以符合可用的测量值并预测感兴趣域中的声场。当感兴趣的空间域与波长相比较大时,或者当存在球面和平面波前时,或者当声场复杂时(如在近场中),可能难以确定合适的模型。为了跨越这种复杂的声场,全局重建任务可以被划分为局部子域问题。以前的研究表明,分区方法依赖于每个域内的足够的测量,由于模型系数的数量较多。本研究提出了一个联合分析的所有本地子域,同时执行相邻分区之间的自相似性。更具体地,局部平面波表示的系数被寻求具有空间平滑的幅度。用平面波滤波器建立了声场的卷积模型,并用交替方向乘法求解了声场的逆重建问题。模拟和测量声场的实验表明,所提出的方法既保留了局部模型的灵活性,以符合复杂的声场,也保留了全局结构,从较少的测量重建。
2022-11-07 cs.SD eess.AS
Sound Field Reconstruction Using a Compact Acoustics-informed Neural Network
University of Sydney(悉尼大学);RMIT University(皇家墨尔本理工大学)
本文提出一种紧凑的声学信息神经网络(AINN)方法用于声场重建,利用Helmholtz方程进行正则化,能基于边界声压预测区域内的声压及梯度,数值实验证明其优于传统方法。
2024-02-14 cs.SD eess.AS
Deep Sound Field Reconstruction in Real Rooms: Introducing the ISOBEL Sound Field Dataset
Bang & Olufsen a/s(邦及欧路夫森公司);Aalborg University(奥尔堡大学)
扬声器响应的知识在许多应用中是有用的,其中声音系统位于房间内,其根据房间内的位置改变收听体验。位于混响房间中的声源的声场的获取可以通过覆盖房间的脉冲响应函数的劳动密集型测量来实现,或者可替代地通过可能需要显著更少的测量的重构方法来实现。本文通过引入四个真实房间的测量数据集,扩展了低频声场重建的评估。ISOBEL声场数据集是公开的,旨在弥合矩形房间中合成声场和真实声场之间的差距。此外,该论文还提出了一种最近基于深度学习的方法,用于使用非常少数量的麦克风进行声场重建,并提出了一种在类似U-Net的神经网络架构中对幅度和相位响应进行建模的方法。复值声场重建表明,估计的房间传递函数具有足够高的精度,以允许使用15个低于150 Hz的麦克风的具有与理想房间传递函数相当的对比度的个性化声音区域。
2021-02-12 cs.LG cs.SD eess.AS
Differentiable Modelling of Percussive Audio with Transient and Spectral Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Ableton AG(Ableton公司);Imperial College London(帝国理工学院)
针对DDSP缺乏暂态建模的问题,提出结合正弦建模与调制时序卷积网络的打击乐合成框架,有效提升了膜鸣打击乐器的起音信号重构效果。
2023-09-13 cs.SD eess.AS
Efficient Sound Field Reconstruction with Conditional Invertible Neural Networks
提出用 Monte Carlo 模拟训练的条件可逆神经网络,从稀疏数据高效重建混响声场并估计不确定性,在保持 Bayesian 方法精度的同时提升效率。
2024-04-10 cs.SD eess.AS
Boundary-Informed Sound Field Reconstruction
Dept. of Information and Communications Engineering, Aalto University, Finland(艾尔沃斯大学信息与通信工程系);Dept. of Mathematical Sciences, Lund University, Sweden(吕勒欧大学数学科学系)
本研究针对仅含部分或不确定边界信息的室内声场重建场景,提出结合阻抗边界条件推导先验的线性贝叶斯框架,可联合优化超参数,实验证实该方法能显著提升重建精度。
2025-06-16 cs.SD eess.AS
Acousto-optic reconstruction of exterior sound field based on concentric circle sampling with circular harmonic expansion
NTT Corporation(NTT公司);Atsugi R&D Center(上总研发中心)
本文针对声源位于重建区域内的外部声场重建问题,提出了一种基于同心圆采样与圆谐波展开的二维外部声场重建新方法,实验证明其在使用最少投影数据下优于常规方法。
2025-06-28 cs.SD eess.AS eess.SP
Sound reconstruction from human brain activity via a generative model with brain-like auditory features
Kyoto University(京都大学);ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Tokyo Medical and Dental University(东京医科齿科大学)
本研究提出一种结合脑解码与音频生成模型的声音重建方法,利用fMRI和DNN层次特征,实现任意声音的高质量重建,并验证其泛化性和感知相关性。
2023-06-20 cs.HC cs.SD eess.AS
Are Sounds Sound for Phylogenetic Reconstruction?
Heidelberg Institute for Theoretical Studies(海德堡理论研究所);University of Tübingen(蒂宾根大学);Institute of Computer Science(计算机科学研究所);FORTH(克里特研究与技术基金会)
本研究针对计算语言学系统发育重建未充分利用语音特征的问题,基于10个多语系数据集与最优检测方法,首次对比语音与同源词方法的重建效果,发现同源词方法重建的系统发育树拓扑精度比语音方法高约三分之一。
2024-05-14 cs.CL cs.SD eess.AS
JiTTER: Jigsaw Temporal Transformer for Event Reconstruction for Self-Supervised Sound Event Detection
本文提出JiTTER,一种基于分层时间洗牌重建的自监督框架,通过块级和帧级随机洗牌强制模型重建时间顺序,在DESED数据集上较MAT-SED提升PSDS 5.89%,有效增强声音事件检测的边界感知能力。
2025-02-28 cs.SD eess.AS
Causal Spatio-Temporal Sound Field Reconstruction
Centre for Mathematical Sciences, Lund University(隆德大学数学中心)
本文提出了一种因果有限窗时空线性最小均方误差估计器,用于改进实时声音场重建,通过考虑频率成分间的相关性,提升了短窗重建性能。
2026-05-19 eess.AS
Reconstructing the Vocal Tract with Differentiable Acoustic Simulation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT RLE(麻省理工学院电子学研究实验室);KAIST GSCT(韩国科学技术院文化技术研究生院)
本文提出一种可微且GPU加速的声道声学模拟器,通过梯度下降从语音逆推声道形状,并集成湍流模型与神经网络参数化,实现跨语言自监督自编码及无配对数据的语音驱动MRI重建。
2026-09-30 cs.CL cs.SD eess.AS
Data-driven design of perfect reconstruction filterbank for DNN-based sound source enhancement
Waseda University(早稻田大学);NTT Media Intelligence Laboratories(NTT媒体情报实验室)
提出了一种基于深度神经网络(DNN)的声源增强(SSE)完全重构滤波器组(PRFB)的数据驱动设计方法。DNN已被用于在短时傅里叶变换(STFT)域中估计时频(T-F)掩模。当使用简单的代价函数均方误差(MSE)时,它们的训练比一些先进的代价(如客观音质评估)更稳定。然而,这样一个简单的代价函数继承了对目标和/或噪声的统计的强假设,这通常是不满足的,并且假设的失配导致性能下降。在本文中,我们提出了设计的频率范围的PRFB从训练数据,使MSE的假设是满意的。为了设计频率尺度,变形滤波器组框架(WFBF)被认为是PRFB。学习的WFBF的频率特性介于STFT和小波变换之间,并通过与标准的基于STFT的DNN(其输入特征被压缩到梅尔尺度)的比较来证实其有效性。
2019-03-21 cs.SD eess.AS
Permutation-Invariant Physics-Informed Neural Network for Region-to-Region Sound Field Reconstruction
Centre for Audio, Acoustics and Vibration, University of Technology Sydney(悉尼科技大学音频、声学振动中心)
本文提出一种排列不变的物理信息神经网络,用于区域到区域的声音场重建,通过整合物理约束确保预测的物理一致性。
2026-01-27 eess.AS
Physics-Informed Transfer Learning for Data-Driven Sound Source Reconstruction in Near-Field Acoustic Holography
Computational Acoustic Modeling Laboratory, Center for Interdisciplinary Research in Music Media and Technology(计算声学建模实验室,跨学科音乐媒体与技术研究中心);McGill University(麦吉尔大学);Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano(电子、信息与生物工程系(DEIB),米兰理工学院);University 1(大学1);Industry Lab, Major Tech Hub, Asia(行业实验室,主要科技枢纽,亚洲);University 2(大学2)
提出一种基于物理信息的迁移学习框架,通过两阶段方法(CV-CNN预训练与基于基尔霍夫-亥姆霍兹积分的微调)实现近场声全息声源重建,在跨数据集迁移中提升了精度并优于传统方法。
2025-07-15 cs.SD eess.AS
Sound field reconstruction using neural processes with dynamic kernels
针对传统基于固定核高斯过程的声场重建方法表达性有限、需人工选核的问题,提出基于神经过程、用深度神经网络参数化高斯过程的动态核方法,可从模拟数据动态学习核,重建精度优于现有方法。
2023-11-09 eess.AS
Echo-Reconstruction: Audio-Augmented 3D Scene Reconstruction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland at College Park(马里兰大学帕克分校)
反射和无纹理表面(如窗户、镜子和墙壁)对于物体和场景重建来说是一个挑战。这些表面通常重建得很差,并且填充有深度不连续性和孔,使得难以内聚地重建包含这些平面不连续性的场景。我们提出了回声重建,这是一种视听方法,它使用声音的反射来帮助虚拟会议,远程沉浸和其他AR/VR体验的几何和音频重建。手机原型发出脉冲音频,同时记录视频,用于基于RGB的3D重建和视听分类。来自视频的反射声音和图像被输入到我们的音频(EchoCNN-A)和视听(EchoCNN-AV)卷积神经网络中,用于表面和声源检测、深度估计和材料分类。从这些分类的推论增强场景3D重建包含开放空间和反射表面的深度过滤,修补,并放置在场景中的未混合的声源。我们的原型、VR演示和来自具有挑战性表面和声音的真实世界和虚拟场景的实验结果表明,材料分类、深度估计和封闭/开放表面的成功率很高,从而大大改善了3D场景的视觉和音频效果(见图1)。
2021-10-05 cs.CV cs.SD eess.AS
A sinusoidal signal reconstruction method for the inversion of the mel-spectrogram
Technological University of Dublin(都柏林理工大学)
通过深度学习方法合成声音最近受到了广泛关注。用于声音合成的深度学习方法的一些问题涉及指定音频信号所需的数据量以及保留合成信号的长时间和短时间相干性的必要性。视觉时频表示,如对数梅尔频谱图已经得到普及。对数梅尔频谱图是音频的感知信息表示,其极大地压缩了描述声音所需的信息量。然而,由于这种压缩,这种表示不是直接可逆的。信号处理和机器学习技术之前都被应用于对数梅尔频谱图的反演,但是由于时间和频谱相干性的问题,它们都导致合成声音中的可听失真。在本文中,我们概述了正弦模型在音调乐器声音的对数梅尔频谱图反演中的应用,其表现优于最先进的深度学习方法。该方法可以稍后用作神经应用中从频谱到时间间隔的一般解码步骤。
2022-01-07 cs.SD eess.AS
Sound field reconstruction in rooms: inpainting meets super-resolution
University of Music and Performing Arts Vienna(维也纳音乐与表演艺术大学);Bang & Olufsen(铂傲)
本文提出了一种基于深度学习的声场重建方法。它示出的可能性,重建的声压的幅度在频带30-300 Hz的整个房间,通过使用一个非常低的数量的不规则分布的麦克风任意安排。此外,该方法是不可知的测量在欧几里得空间中的位置。特别地,所提出的方法使用有限数量的声场压力的幅度的任意离散测量,以便以低计算复杂性将该场外推到空间中的离散点的更高分辨率网格。该方法是基于一个U型网络的神经网络与部分卷积训练的模拟数据,这本身是从格林函数的数值模拟在数千个常见的矩形房间。虽然可扩展到三维和不同的房间形状,该方法侧重于从三维声场的测量重建矩形房间的二维平面。使用模拟数据的实验,在一个真正的听音室的实验验证。结果表明,性能可能会超过传统的重建技术的麦克风和计算要求的数量少。
2020-08-06 cs.LG cs.SD eess.AS
Reconstruction of Sound Field through Diffusion Models
Politecnico di Milano(米兰理工大学)
本文首次提出基于条件去噪扩散概率模型的声场重建方法SF-Diff,利用有限频率测量值在扩展域内生成未知位置声场,并在模态频率范围内优于核插值基线。
2024-02-21 cs.LG cs.SD eess.AS
Autoencoders for music sound modeling: a comparison of linear, shallow, deep, recurrent and variational models
Arturia(Arturia公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
本研究探讨了使用非线性无监督降维技术将音乐数据集压缩成低维表示,该表示可用于合成新的声音。我们系统地比较了(浅)自动编码器(AE),深自动编码器(DAE),循环自动编码器(具有长短期存储单元-LSTM-AE)和具有主成分分析(PCA)的变分自动编码器(VAE),用于将大而密集的音符数据集的高分辨率短期幅度谱表示为低维向量(然后将其转换回用于声音再合成的幅度谱)。我们的实验是在公开的多乐器和多音高数据库NSynth上进行的。有趣的是,与最近关于图像处理的文献相反,我们可以证明PCA系统地优于浅层AE。只有深度和循环架构(DAE和LSTM-AE)才能降低重建误差。VAE中的优化标准是重建误差和正则化项的总和,它自然会导致比DAE更低的重建精度,但我们表明VAE仍然能够优于PCA,同时提供具有良好“可用性”属性的低维潜在空间。我们还提供了相应的客观措施的感知音频质量(PEMO-Q分数),这通常与重建误差。
2019-05-24 cs.SD eess.AS
Sound Field Reconstruction Using Physics-Informed Boundary Integral Networks
本文提出一种基于基尔霍夫-亥姆霍兹边界积分方程的浅层神经网络声场重建方法,通过边界压力估计内部声压,实验证明其优于现有物理信息数据驱动技术。
2025-06-04 eess.AS
A bio-inspired geometric model for sound reconstruction
人类听觉系统在声音重建过程中建立的重建机制仍然是一个有争议的问题。本研究的目的是提出一个基于听觉皮层(A1)功能结构的声音重建数学模型。该模型的灵感来自视觉的几何建模,在过去的十年中经历了很大的发展。然而,由于时间和不同的对称性群所扮演的不同角色,存在着根本的不同。该算法通过短时傅里叶变换将退化的声音转换为时频域中的“图像”。这样的图像,然后解除海森堡群,它是通过威尔逊-考恩微分积分方程重建。初步的数值实验,显示了良好的重建性能的算法集中在两个频率的合成声音。
2020-10-19 eess.AS math.AP math.OC
Physics-Informed Neural Network for Volumetric Sound field Reconstruction of Speech Signals
本文提出一种基于物理信息神经网络(PINN)的体积声场重建方法,通过将波动方程作为时域正则化融入网络,使其学习声传播物理规律,在有限观测下实现声场完整表征,实验证明其在语音信号重建中优于现有频域和时域方法。
2024-04-23 eess.AS
A Zero-Shot Physics-Informed Dictionary Learning Approach for Sound Field Reconstruction
针对声场重建中数据依赖和物理建模难题,提出一种零样本物理先验字典学习方法,仅用少量稀疏测量并结合Helmholtz方程优化即可达到与SOTA技术相当的性能。
2024-12-24 eess.AS eess.SP
Masked Wavelet Scattering Transform Neural Field for Sound Field Reconstruction
Fonds de recherche du Québec – Nature et technologies(魁北克自然与技术研究基金)
提出一种利用小波散射变换作为多尺度特征提取器,结合神经场优化和掩蔽策略,实现稀疏观测下声场重建的方法,并在HRTF上采样中验证有效性。
2026-06-03 cs.SD eess.AS eess.SP
Parallel Tacotron 2: A Non-Autoregressive Neural TTS Model with Differentiable Duration Modeling
Google(谷歌)
本文介绍了并行Tacotron 2,一个非自回归神经文本到语音模型与完全可微的持续时间模型,不需要监督的持续时间信号。持续时间模型基于一种新的注意力机制和基于软动态时间规整的迭代重建损失,该模型可以自动学习令牌-帧对齐以及令牌持续时间。实验结果表明,并行Tacotron 2优于基线的主观自然度在几个不同的多扬声器评价。其持续时间控制能力也得到了证明。
2021-08-29 cs.SD eess.AS
HyperGANStrument: Instrument Sound Synthesis and Editing with Pitch-Invariant Hypernetworks
Sony Computer Science Laboratories(索尼计算机科学实验室)
提出HyperGANStrument,通过音高不变超网络调制预训练GANStrument生成器权重,并结合对抗性微调方案,显著提升了乐器声音的重建保真度、生成多样性与可编辑性。
2024-01-09 cs.LG cs.SD eess.AS
Anomalous sound detection based on interpolation deep neural network
Hitachi, Ltd.(日立有限公司)
随着劳动力的减少,对进行工业设备维护的节省劳动力的自动异常声音检测技术的需求已经增长。常规方法基于自动编码器的重构误差来检测异常。然而,当目标机器声音是非平稳的时,重建误差倾向于与异常无关地大,并且其变化由于预测边缘帧的困难而增加。为了解决这个问题,我们提出了一种异常检测的方法,在该方法中,该模型利用多帧的频谱图,其中心帧被删除作为输入,并预测删除的帧的插值作为输出。该方法不需要预测边缘帧,而是使重建误差与异常一致。实验结果表明,基于标准AUC评分,所提出的方法实现了27%的改善,尤其是针对非平稳机械声音。
2020-05-19 cs.LG cs.SD eess.AS
A Unified SVD-Modal Solution for Sparse Sound Field Reconstruction with Hybrid Spherical-Linear Microphone Arrays
The University of Sydney(悉尼大学);The Australian National University(澳大利亚国立大学)
本文提出基于SVD-模态的稀疏恢复框架,通过混合球面-线性麦克风阵列实现稳健的声音场重建,有效提升空间选择性和抗混响性能。
2026-02-03 eess.AS
MAT-SED: A Masked Audio Transformer with Masked-Reconstruction Based Pre-training for Sound Event Detection
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学国家语音语言信息处理工程研究中心);ICT Cluster, Singapore Institute of Technology(新加坡理工学院ICT集群);The Australian National University(澳大利亚国立大学)
针对现有声音事件检测方法依赖RNN上下文网络、标注数据不足的问题,提出带掩码重构预训练的纯Transformer模型MAT-SED,结合全局-局部特征融合策略,在DCASE2023任务4上取得SOTA性能。
2024-08-19 cs.AI cs.SD eess.AS
Hierarchical Sparse Sound Field Reconstruction with Spherical and Linear Microphone Arrays
针对球形传声器阵列空间分辨率受限、混响环境下性能下降的问题,提出融合中心球形阵列与四周线性阵列的两阶段稀疏恢复残差细化框架,显著提升复杂声学环境中声场重建的空间保真度与鲁棒性。
2025-09-04 eess.AS
Room impulse response reconstruction with physics-informed deep learning
本文提出基于物理信息神经网络的方法,利用有限实验房间脉冲响应和波动方程重建房间声场,能估计声压、质点速度和声强,在早期重建中表现突出并支持时域完整表征。
2024-01-02 eess.AS
NDF+: Joint Neural Directional Filtering and Diffuse Sound Extraction
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Fraunhofer IIS(弗劳恩霍夫应用研究促进协会IIS)
本文提出NDF+,通过联合神经方向滤波与漫反射声音提取,改进虚拟方向麦克风重建,提升混响条件下声学性能。
2026-05-07 eess.AS
3D-MOV: Audio-Visual LSTM Autoencoder for 3D Reconstruction of Multiple Objects from Video
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland at College Park(马里兰大学帕克分校)
透明和凹面结构物体的三维物体重建,推断材料属性,仍然是一个开放的研究问题,机器人导航在非结构化环境中。在本文中,我们提出了一个多模式的单帧和多帧神经网络的三维重建使用视听输入。我们经过训练的重建LSTM自动编码器3D-MOV接受多个输入,以考虑各种表面类型和视图。我们的神经网络使用体素表示产生高质量的3D重建。基于Intersection-over-Union(IoU),我们使用合成视听数据集ShapeNet和Sound 20 K与冲击声和限界框注释进行了评估。据我们所知,我们的单帧和多帧模型是第一个用于3D几何和材料表示的视听重建神经网络。
2021-10-05 cs.CV cs.SD eess.AS
Generative adversarial networks with physical sound field priors
Technical University of Denmark(丹麦技术大学)
本文提出基于GANs的声场时空重建方法,利用平面波基学习声压分布,在有限测量下实现高精度与能量保持,且适应多变的测量配置,为声学问题提供物理先验。
2023-08-01 cs.AI eess.AS