Automatic Impact-sounding Acoustic Inspection of Concrete Structure
The City College of New York（纽约市立学院）；Chinese Academy of Sciences, Shenyang Institute of Automation（中国科学院沈阳自动化研究所）
撞击探测信号已被证明包含有关结构完整性、缺陷和地下物体的信息。作为无损检测方法，冲击测深检测的最大挑战之一是地下目标的检测和重建。针对这一问题，本文提出了利用地震波触发冲击测深信号，利用声波数据重建地下目标的重要性和实用性。首先，利用视觉同时定位与地图构建（V-SLAM）技术，获得机器人在检测过程中的三维位置。其次，我们的无损检测方法是基于频率密度（FD）分析的快速傅里叶变换（FFT）的冲击探测信号。最后，结合三维位置数据和声波数据，本文创建了一个三维地图，突出可能的地下目标。实验结果证明了该方法的可行性。
2021-10-25 cs.SD eess.AS eess.SP
ImpactMat: Continuous Material Estimation for Inverse Impact Sound Rendering
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Chung-Ang University（中央大学）
针对固定材料预设限制冲击声音渲染的问题，提出ImpactMat数据集和基准，并设计前馈模型从录音预测材料参数，实现连续材料估计与真实录音重渲染。
2026-10-08 cs.LG cs.SD
Perceptual analyses of action-related impact sounds
PSA Peugeot Citroën（标致雪铁龙集团）；Laboratoire de Mécanique et d’Acoustique（力学与声学实验室）；McGill University（麦吉尔大学）
在环境声音中，我们选择了研究一类与动作相关的撞击声：汽车车门关闭声。我们建议使用由感知属性组成的模型来描述这些声音。感知模型的发展来自于对在受控实验室收听条件下测量的许多关门声音的评估。然而，听这些声音通常发生在自然环境中，这可能会改变他们的感知。因此，我们需要通过遵循标准实践来研究真实情况和实验室情况之间的差异，以指定精确的听力条件，并观察先前的学习，期望，动作-感知互动以及对声音的注意力的影响。我们的过程包括在做原位实验，与特定的实验室实验进行比较，以隔离某些有影响力的，上下文相关的组件。
2010-03-25 cs.SD
Exploring the Impact of Noise and Degradations on Heart Sound Classification Models
Technological University Dublin（都柏林理工大学）；University College Dublin（都柏林大学学院）
近年来，数据驱动的心音分类模型的发展一直是一个活跃的研究领域。为了首先开发这种数据驱动的模型，需要使用信号采集设备捕获心音信号。然而，在大多数情况下，由于内部和外部噪声的存在，几乎不可能捕获无噪声的心音信号。心音信号中的这种噪声和退化可能会降低数据驱动分类模型的准确性。尽管在文献中已经提出了不同的技术来解决噪声问题，但是心音信号中的不同噪声和退化如何以及在多大程度上影响数据驱动分类模型的准确性仍然未被探索。为了回答这个问题，我们制作了一个合成心音数据集，包括被各种噪声和退化污染的正常和异常心音。我们使用这个数据集来研究心音记录中的噪声和退化对不同分类模型性能的影响。结果表明，不同的噪声和退化对心音分类模型的性能有不同程度的影响，有些噪声和退化对分类模型的影响较大，有些噪声和退化对分类模型的影响较小。将这项研究的结果与我们之前对一组临床医生进行的调查结果进行比较，发现对分类模型更有害的噪声和退化对准确的听诊也更具破坏性。这项研究的结果可以用来开发有针对性的心音质量增强方法-根据心音信号中的噪声和退化特性来适应质量增强的类型和积极性。
2022-11-14 cs.SD eess.AS q-bio.QM
The impact of non-target events in synthetic soundscapes for sound event detection
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学实验室）；Department of Information Engineering, Universita Politecnica delle Marche（马尔凯理工大学信息工程系）
本文研究合成声景中非目标事件对声事件检测的影响，发现在训练或验证阶段仅使用一次目标与非目标事件可优于基线，并探讨了非目标事件子集与声学相似性的未来问题。
2021-09-28 cs.LG cs.SD eess.AS
Assessing the Potential Impact of Direction-Dependent HRTF Selection on Sound Localization Accuracy
School of Electrical and Computer Engineering, Ben Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）；Reality Labs Research, Meta（Meta现实实验室研究部）
本文研究方向相关HRTF选择对声音定位精度的影响，通过VR头显实验证明该方法能显著降低仰角定位误差，而方位角误差无显著差异，为无需个性化HRTF即可提升定位精度提供了依据。
2024-08-08 cs.SD eess.AS
Domain Adaptation Method and Modality Gap Impact in Audio-Text Models for Prototypical Sound Classification
Universidad de la República（乌拉圭共和国大学）；Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）
本文针对背景声源导致音频-文本模型零样本声音分类性能下降的问题，提出一种无需重训练的领域自适应方法，并证明缩小音频与文本模态差距可进一步提升分类性能。
2025-06-04 cs.AI cs.SD eess.AS
Objects as Audio-Visual Modal Sound Fields
University of Maryland, College Park（马里兰大学帕克分校）
本文针对现有碰撞声建模方法成本高或需大量数据的问题，提出AV-MSF表示，结合3D高斯溅射与模态参数实现少样本重建，在真实数据集上达最优渲染性能，还支持接触定位等下游应用。
2026-08-10 cs.CV cs.MM cs.SD
Impact of visual assistance for automated audio captioning
KU Leuven（鲁汶大学）
我们研究的视觉辅助自动音频字幕的影响。利用多编码器Transformer架构，这是以前被用来引入视觉相关的信息，在声音事件检测的背景下，我们分析的有用性，将各种预训练的功能。我们在基于YouTube的视听数据集上进行实验，并研究了在各种字幕度量方面应用所考虑的迁移学习技术的效果。我们发现，只有一种被考虑的预训练特征提供了一致的改进，而其他特征根本没有提供任何值得注意的收益。有趣的是，先前的研究结果表明，在声音事件检测的情况下，情况正好相反，这使我们得出结论，视觉嵌入的最佳选择在很大程度上取决于手头的任务。更具体地说，视觉功能侧重于语义出现适当的自动音频字幕的上下文中，而声音事件检测，时间信息似乎更重要。
2023-02-20 cs.SD eess.AS
Sound impact of simple viscoelastic damping changes due to aging and the role of the double bentside on soundboard tension in a 1755 Dulcken harpsichord
本研究通过FDTD和FEM模型，探究1755年Dulcken羽管键琴木材老化的声音影响及双弯边对音板张力的作用，发现老化阻尼变化的频率滤波效应导致高低弦亮度变化相反，且8'弦固定位置不影响音板张力。
2025-11-12 cs.SD nlin.AO
Realtime Active Sound Source Localization for Unmanned Ground Robots Using a Self-Rotational Bi-Microphone Array
New Mexico State University（新墨西哥州立大学）
这项工作提出了一种新的技术，执行方向和距离定位的声源在三维（3D）空间中只使用耳间的时间差（ITD）的线索，由一个新开发的自旋转双麦克风机器人平台。在球坐标系下，采用状态空间模型建立系统动力学模型。状态空间模型的可观测性分析表明，当声源以$90$和$0$度的仰角放置时，系统是不可观测的。所提出的方法利用分别从3D和二维模型得到的方位角估计之间的差异来检查零度仰角条件，并使用多项式曲线拟合方法进一步估计仰角。此外，所提出的方法是能够检测$90$度海拔提取零ITD信号"埋"在噪声中。此外，通过首先旋转麦克风阵列以面向声源，然后将麦克风垂直于源-机器人向量移动固定步数的预定义距离来执行距离定位。麦克风阵列的集成旋转和平移运动仅使用ITD提示提供完整的定向和距离定位。一种新型的机器人平台，使用自旋转双麦克风阵列也开发了无人地面机器人进行声源定位。所提出的技术首先在模拟中进行了测试，然后在新开发的机器人平台上进行了验证。安装在KEMAR假人头上的麦克风收集的实验数据也被用来测试所提出的技术。所有的结果表明所提出的技术的有效性。
2018-04-10 cs.RO cs.SD eess.AS
Generalization in birdsong classification: impact of transfer learning methods and dataset characteristics
Naturalis Biodiversity Center（自然生物多样性中心）；Xeno-Canto Foundation（异音基金会）；Landesbund fur Vogel- und Naturschutz（鸟类与自然保护州联合会）；Department of Cognitive Science and Artificial Intelligence, Tilburg University（蒂尔堡大学认知科学与人工智能系）
本研究探讨了迁移学习在大规模鸟类声音分类中的泛化能力，发现浅层微调在复杂声音景观中表现更优，并提倡更全面的标注实践以增强分类器的鲁棒性。
2024-09-21 cs.LG cs.SD eess.AS
CARES: A Controlled Synthetic Benchmark of Speaker Reactions to Sound
Inria（法国国家信息与自动化研究所）；AMIAD
本研究提出CARES基准，包含10,000个受控双说话者场景，定义声音显著性为说话者反应，并评测六个音频语言模型，发现它们能识别声音但忽略说话者反应。
2026-10-08 cs.LG cs.SD
Energy Consumption Trends in Sound Event Detection Systems
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学与应用实验室）
本文针对深度学习系统能耗攀升的问题，分析了DCASE挑战赛引入的SED系统能耗评估准则的影响，发现训练阶段节能方法兴起且性能未降，但运算量与复杂度仍增长，旨在推动领域环保实践。
2024-09-13 cs.LG cs.SD eess.AS
SonicGauss: Position-Aware Physical Sound Synthesis for 3D Gaussian Representations
Zhejiang University（浙江大学）
提出SonicGauss框架，利用3DGS的几何与材料信息，结合扩散模型和PointTransformer提取器合成位置相关的撞击声，并在ObjectFolder及真实录音上验证其真实感与泛化性。
2025-07-26 cs.MM cs.SD
From Sound Representation to Model Robustness
École de Technologie Supérieure (ÉTS), University of Quebec（魁北克大学高等技术学院）
在本文中，我们研究了不同标准环境声音表示（频谱图）对受害者残差卷积神经网络的识别性能和对抗性攻击鲁棒性的影响。通过对三个基准环境声音数据集的各种实验进行平均，我们发现ResNet-18模型在分类精度和训练参数数量方面都优于其他深度学习架构，如GoogLeNet和AlexNet。因此，我们将此模型设置为后续研究的前端分类器。在这里，我们测量的影响，需要产生更多的信息梅尔频率倒谱系数（MFCC），短时傅里叶变换（STFT），离散小波变换（DWT）表示我们的前端模型的不同设置。该测量涉及比较分类性能与对抗鲁棒性。在对手分配的平均预算和攻击成本的平衡下，我们证明了识别精度和模型对六种攻击算法的鲁棒性之间的反比关系。此外，我们的实验结果表明，虽然在DWT谱图上训练的ResNet-18模型达到了最高的识别准确率，但与其他2D表示相比，攻击该模型对对手来说成本相对更高。
2021-01-18 cs.LG cs.SD eess.AS
NeuralSound: Learning-based Modal Sound Synthesis With Acoustic Transfer
Peking University（北京大学）；University of Maryland at College Park（马里兰大学帕克分校）
我们提出了一种新的基于学习的模态声音合成方法，包括一个混合振动求解器的模态分析和一个端到端的声辐射网络的声学传输。我们的混合振动求解器由3D稀疏卷积网络和用于迭代优化的局部最优块预处理共轭梯度模块（LOBPCG）组成。此外，我们强调了一个标准的模态振动求解器和我们的网络架构之间的相关性。我们的辐射网络预测的远场声传输地图（FFAT地图）从表面振动的对象。在GTX 3080 Ti GPU上，我们的学习方法对任何新对象的整体运行时间都不到一秒，同时保持接近使用标准数值方法计算的地面真实的高音质。我们还评估了我们的声音合成方法在对应于各种材料的不同对象上的数值精度和感知精度。
2022-05-28 cs.GR cs.SD eess.AS
DiffSound: Differentiable Modal Sound Rendering and Inverse Rendering for Diverse Inference Tasks
School of Computer Science, Peking University（北京大学计算机学院）；University of Maryland, College Park（马里兰大学学院公园分校）；Stanford University（斯坦福大学）
本文提出DiffSound，一个基于物理的可微模态声音渲染框架，结合隐式形状表示、高阶有限元分析和可微音频合成器，解决物理参数估计、几何形状推理和撞击位置预测等逆问题，能准确重现目标声音。
2024-09-20 cs.SD eess.AS
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation（索尼集团公司）
虽然一些研究工作已经报道了在无约束视频中的视听声源定位，没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的，因为产生声音的位置不限于源对象的范围，而是振动通过周围对象传播和扩散。因此，我们提出了一个新的概念，发声对象，以减少声音的视觉位置的模糊性，使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标，我们制定的问题，视听探测对象定位（AVSOL）。我们还通过手动注释著名的视听事件（AVE）数据集的测试集来创建评估数据集（AVSOL-E数据集）。为了解决这个新的AVSOL问题，我们提出了一种新的多任务训练策略和架构，称为双归一化多任务（DNM），它将视听对应（AVC）任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督，我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
What Do Language Models Hear? Probing for Auditory Representations in Language Models
Massachusetts Institute of Technology（麻省理工学院）
本研究通过线性对比探测头验证，仅文本训练的语言模型仍编码了部分物体的声音基础表征，泛化表现高于随机水平。
2024-08-16 cs.AI cs.CL cs.LG
Estimating & Mitigating the Impact of Acoustic Environments on Machine-to-Machine Signalling
Queen Mary University of London（伦敦玛丽女王大学）
在各种物联网和电信应用中传输声音数据的技术的进步导致了机器对机器空中声学信令的概念。在解码时，混响可能对这种机器对机器信号具有不利影响。人们已经研究了各种方法来对抗语音和音频信号中的混响效应，但尚不清楚它们对其他声音类型的推广效果如何。我们着眼于扩展这些模型，以促进机器对机器的声学信号。本研究探讨混响消除技术，以筛选出一种单通道混响抑制方法。为了应用所选择的去混响方法，提出了一种新的估计控制混响的声学参数的方法。最终算法的性能进行评估的质量指标，以及一个真正的机器到机器解码器的性能。我们证明了一个戏剧性的降低错误率为可听和超声波信号。
2019-08-13 cs.SD eess.AS eess.SP
Sounding that Object: Interactive Object-Aware Image to Audio Generation
University of California, Berkeley（加州大学伯克利分校）；ByteDance Inc.（字节跳动公司）
本文提出交互式物体感知音频生成模型，将物体中心学习与条件潜在扩散模型结合，通过多模态注意力实现用户选择物体层面的声音生成，并在定量与定性评估中优于基线方法。
2025-06-04 cs.CV cs.LG cs.MM
Multi-scale Multi-instance Visual Sound Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Xiaohongshu（小红书）
本文提出多尺度多实例视觉声源定位框架M2VSL，通过可学习多尺度视觉特征与多尺度多实例Transformer聚合跨模态表示，在多个基准上实现发声物体定位与分割的最先进性能。
2024-08-31 cs.CV cs.LG cs.MM
From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks
École de Technologie Supérieure (ÉTS)（高等技术学院）；Université du Québec（魁北克大学）
本文研究了不同标准环境声音表示（频谱图）对受害者残差卷积神经网络（即ResNet-18）的识别性能和对抗攻击鲁棒性的影响。我们专注于这种前端分类器而不是其他复杂架构的主要动机是平衡识别精度和训练参数的总数。在此，我们测量了在我们的前端模型上生成更多信息的梅尔频率倒谱系数（MFCC），短时傅立叶变换（STFT）和离散小波变换（DWT）表示所需的不同设置的影响。该测量涉及比较分类性能与对抗鲁棒性。我们证明了识别精度和模型鲁棒性之间的反比关系，对六个基准攻击算法的平均预算分配的对手和攻击成本的平衡。此外，我们的实验结果表明，虽然在DWT谱图上训练的ResNet-18模型实现了较高的识别准确率，但攻击该模型的成本相对于其他2D表示更高。我们还报告了不同卷积神经网络架构的一些结果，如ResNet-34，ResNet-56，AlexNet和GoogLeNet，SB-CNN和LSTM。
2022-04-14 cs.CR cs.CV cs.LG
