MIRaGe: Multichannel Database Of Room Impulse Responses Measured On High-Resolution Cube-Shaped Grid In Multiple Acoustic Conditions
Technical University of Liberec(利贝雷茨技术大学);Bar-Ilan University(巴伊兰大学)
我们介绍了一个数据库的多通道录音进行的声学实验室可调混响时间。这些记录提供了关于扬声器的各个位置的房间脉冲响应(RIR)的信息。特别地,主要位置对应于46 × 36 × 32 cm体积内的立方体形状的密集网格的4104个顶点。因此,该数据库提供了一种工具,用于详细分析空间处理方法的波束图,以及用于训练和测试声场的数学模型。
2019-07-29 cs.SD eess.AS
Evaluation of acoustic Green's function in rectangular rooms with general surface impedance walls
Acoustic Technology, Department of Electrical and Photonics Engineering, Technical University of Denmark(声学技术,电气与光子工程系,丹麦技术大学)
本文提出了一种高效可靠的方法,用于计算矩形房间中的格林函数,适用于一般边界条件,包括显著吸收的墙壁。
2026-08-03 cs.CE cs.SD eess.AS
Multi-Channel MOSRA: Mean Opinion Score and Room Acoustics Estimation Using Simulated Data and a Teacher Model
Logitech(罗技)
提出多通道MOSRA模型,利用模拟数据和教师模型并行预测五通道的MOS与室内声学参数,以更少计算量提升关键指标预测性能。
2024-03-13 cs.SD eess.AS
Diminishing Domain Mismatch for DNN-Based Acoustic Distance Estimation via Stochastic Room Reverberation Models
Paderborn University(帕德博恩大学)
提出一种结合几何与随机建模RIR的新方法,减少基于DNN的声学距离估计中模拟与真实数据的域失配,显著提升估计精度。
2024-08-26 cs.SD eess.AS
A Universal Deep Room Acoustics Estimator
Logitech(罗技)
语音音频质量易受声学环境和各向同性环境噪声和点噪声引起的劣化的影响。这种环境会导致语音清晰度下降,并使听者失去注意力。很好地表征环境的基本声学参数是(i)信噪比(SNR)、(ii)语音传输指数、(iii)混响时间、(iv)清晰度和(v)直达混响比。除了SNR之外,这些参数通常来自房间脉冲响应(RIR)测量;然而,这些测量通常不可用。本文提出了一种基于卷积递归神经网络的通用房间声学估计器设计,该设计可以盲估计和联合估计声学环境测量。我们的研究结果表明,该系统是鲁棒的非平稳信号的变化,并优于目前最先进的方法。
2021-09-29 cs.SD eess.AS
Non-verbal Perception of Room Acoustics using Multi Dimensional Scaling Metho
Taubert und Ruhe GmbH(塔伯特与鲁赫公司);Institute of Systematic Musicology, University of Hamburg, Germany(系统音乐学研究所,汉堡大学)
针对房间声学主观印象与客观参数的关联问题,提出基于双耳房间脉冲响应卷积与多维尺度分析(MDS)的方法,识别出5个可由回声密度等(心理)声学指标解释的感知维度。
2025-11-12 cs.SD nlin.AO
Past, Present, and Future of Spatial Audio and Room Acoustics
National Institute of Informatics(情报信息研究所);University of Surrey(萨里大学);Australian National University(澳大利亚国立大学);Dolby Laboratories(杜比实验室);Politecnico di Milano(米兰理工大学)
本文综述空间音频与房间声学领域的发展脉络,围绕空间音频录制重放及房间声学仿真、建模、分析与控制,总结历史成就、近期进展并展望未来方向。
2025-03-17 cs.SD eess.AS
SoundCam: A Dataset for Finding Humans Using Room Acoustics
Stanford University(斯坦福大学);Adobe Research(Adobe研究院)
本文提出SoundCam数据集,包含三个真实房间中5,000条10通道RIR和2,000条音乐录音,系统改变人的位置,用于检测、识别人并跟踪其位置。
2024-01-15 cs.CV cs.SD eess.AS
A state-space representation of the boundary integral equation for room acoustic modelling
Institute of Sound Recording, University of Surrey, Guildford, UK(英国萨里大学声音录音研究所);STADIUS, Dept. of Electrical Engineering, KU Leuven, Leuven, Belgium(比利时鲁汶大学电气工程系STADIUS)
本文提出基于边界积分方程状态空间模型的新框架,用于房间声学建模,通过引入边界积分算子状态空间(BIOSS)模型,提供物理解释并推导两种转移函数表示,拓展了房间声学建模的等效表示形式。
2026-04-18 cs.SD eess.AS
Room dimensions and absorption inference from room transfer function via machine learning
Technical University of Denmark(丹麦技术大学)
本文提出基于知识的阻尼共振频率法与多任务卷积神经网络法,利用房间传递函数估计房间尺寸及各表面频率相关吸声系数,并验证仿真数据训练的模型可用于真实测量。
2023-04-25 cs.SD eess.AS
Autophonic Loudness of Singers in Simulated Room Acoustic Environments
Faculty of Architecture, Design and Planning, The University of Sydney(悉尼大学建筑、设计与规划学院)
本研究通过模拟房间实验,发现音素显著影响歌手自体响度函数斜率(1.3至2.0),而室内声学影响不显著,但自体响度房间响应复杂,自体响度增长速率超外部声音两倍。
2023-06-17 cs.SD eess.AS
Open-source platforms for fast room acoustic simulations in complex structures
École Polytechnique(巴黎综合理工学院);Sorbonne Université(索邦大学)
本文介绍了分别在Matlab和Blender软件中开发的新的数值模拟工具。它在GPL 3.0许可证下开源,使用光线跟踪/图像源混合方法来计算大网格的室内声学。性能经过优化,可解决大规模问题(通常超过100,000个曲面元素和大约一百万条光线)。为了这个目的,一个分而治之的方法与递归二叉树结构已被实施,以减少二次复杂性的射线/元素的相互作用,以接近线性。因此,执行时间对网格密度不太敏感,这允许模拟复杂的几何形状。在射线传播之后,混合方法导致图像源,其可以被视觉地分析以定位声音地图。最后,从图像源构造冲激响应,并考虑材料吸收特性和传播介质,提出了本机的FIR滤波器在8倍频程频带。通过与理论测试用例的比较,验证了该算法的有效性。此外,一个相当复杂的情况下,即橙色的古剧场的例子。
2018-11-13 cs.CE cs.SD eess.AS
Improving multichannel speech enhancement through accurate room-acoustic simulations
Treble Technologies
研究通过高保真房间声学模拟增强训练数据,相比几何声学方法,将多通道语音增强的中位词错误率相对降低高达38%。
2026-07-01 cs.AI cs.LG cs.SD
Relative Acoustic Features for Distance Estimation in Smart-Homes
Nuance Communications UK(英国Nuance通讯公司);Imperial College London(帝国理工学院)
任何音频记录都包含相关声学环境的独特指纹,即背景噪声和混响。考虑到房间配备有具有一个或多个麦克风的固定智能扬声器设备和可穿戴智能设备(手表、眼镜或智能手机)的场景,我们采用改进的比例归一化最小均方自适应滤波器来估计映射两个设备的音频记录的相对房间脉冲响应。我们通过利用一组新的特征来执行设备间距离估计,所述特征将房间脉冲响应的一些声学属性的定义扩展到其相对版本。结合估计的相对房间脉冲响应的稀疏性测量,相对特征允许精确的设备间距离估计,其可以用于诸如最佳麦克风选择或声学场景分析的任务。不同尺寸和混响时间的模拟房间的实验结果证明了这种计算量小的方法对智能家居声学测距应用的有效性
2022-12-02 cs.SD eess.AS
Generative Data Augmentation Challenge: Synthesis of Room Acoustics for Speaker Distance Estimation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Treble Technologies(特雷布科技公司);University of Maryland(马里兰大学);Google Research(谷歌研究院);Amazon Lab126(亚马逊Lab126);Reykjavik University(雷克雅未克大学)
本文介绍ICASSP 2025生成式数据增强挑战,通过合成房间声学数据扩充房间脉冲响应数据集,以提升说话人距离估计等空间敏感下游任务的性能。
2025-01-22 cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Room Impulse Response as a Prompt for Acoustic Echo Cancellation
Inner Mongolia University(内蒙古大学)
本文提出将房间脉冲响应作为训练提示引入声学回声消除模型,并探索四种提示融合方法,在模拟和真实环境中显著提升了模型的泛化性能。
2025-05-26 cs.SD eess.AS
MMAudioReverbs: Video-Guided Acoustic Modeling for Dereverberation and Room Impulse Response Estimation
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
本文提出MMAudioReverbs框架,利用预训练视频到音频模型进行去混响和房间脉冲响应估计,通过小数据集微调实现无需修改网络结构的统一处理。
2026-05-01 cs.CV cs.LG cs.SD
MOSRA: Joint Mean Opinion Score and Room Acoustics Speech Quality Assessment
Logitech Europe S.A.(罗技欧洲公司)
声学环境可降低通信期间的语音质量(例如,视频通话、远程演示、外部语音记录),并且其影响通常是未知的。考虑到影响语音质量的因素的多维性和收集标记数据的困难性,语音质量的客观度量已经被证明是具有挑战性的。假设声学对语音质量的影响,本文提出了MOSRA:一种非侵入性的多维语音质量度量,可以预测房间声学参数(SNR,STI,T60,DRR和C50)以及语音质量的总体平均意见得分(MOS)。通过显式优化模型来学习这些房间声学参数,我们可以提取更多信息的特征,并在训练数据有限的情况下提高MOS任务的泛化能力。此外,我们还表明,这种联合训练方法增强了室内声学的盲估计,提高了当前最先进模型的性能。这种联合预测的另一个副作用是提高了预测的可解释性,这对许多应用来说是一个有价值的功能。
2022-06-29 cs.AI cs.LG cs.SD
Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark
University of Michigan(密歇根大学);Meta;Reality Labs Research(现实实验室研究部)
本文提出了真实声场(RAF)数据集,包含密集的房间脉冲响应、多视角图像和6DoF位姿数据,用于评估视听声学模型并验证sim2real方法在少样本学习中的有效性。
2024-03-27 cs.CV cs.MM cs.SD
Impulse Response Data Augmentation and Deep Neural Networks for Blind Room Acoustic Parameter Estimation
Adobe Research(奥多比研究院)
混响时间(T60)和直达混响比(DRR)通常用于表征室内声学环境。这两个参数都可以从声学脉冲响应(AIR)或使用直接从语音执行估计的盲估计方法来测量。当神经网络用于盲估计,但是,一个大的现实的数据集是必要的,这是昂贵的和耗时的收集,为了解决这个问题,我们提出了一个AIR增强方法,可以参数化控制的T60和DRR,使我们能够扩大一个小的数据集的真实AIR到一个平衡的数据集的数量级更大。使用这种方法,我们训练以前提出的卷积神经网络(CNN),并显示我们可以超越过去的单通道最先进的方法。然后,我们提出了一种更有效,更直接的基线CNN,速度快4- 5倍,这提供了额外的改进,并且比所有先前报道的单通道和多通道最先进的方法更好或相当。
2019-10-21 cs.SD eess.AS
Enhancing Audio Perception of Music By AI Picked Room Acoustics
Stanford University(斯坦福大学)
我们听到的每一个声音都是连续卷积运算的结果(例如室内声学、麦克风特性、乐器本身的共振特性,更不用说声音再现系统的特性和限制)。在这项工作中,我们试图确定使用AI执行特定作品的最佳房间。此外,我们使用室内声学作为一种方式来增强给定声音的感知质量。从历史上看,房间(特别是教堂和音乐厅)被设计为举办和服务于特定的音乐功能。在某些情况下,建筑声学质量提高了那里的音乐表演。作为第一步,我们试图模仿这一点,通过指定房间脉冲响应,这些脉冲响应将与特定音乐的增强音质相关。首先训练卷积架构以获取音频样本并模仿专家的评级,对于各种乐器系列和笔记的感知质量,准确率约为78%。这给了我们一个评分功能,任何音频样本,可以评级的感知愉悦的音符自动。现在,通过模拟各种房间,材料等的大约60,000个合成脉冲响应的库,我们使用一个简单的卷积运算来转换声音,就像它在一个特定的房间里播放一样。感知评估器用于对音乐声音进行排名,并产生播放声音的“最佳房间或音乐厅”。作为一个副产品,它还可以使用室内声学将质量差的声音变成“好”的声音。
2022-08-16 cs.AI cs.LG cs.MM
Blind Acoustic Room Parameter Estimation Using Phase Features
New York University(纽约大学);Sonos Experience Limited(Sonos体验有限公司);Sonos, Inc.(Sonos公司)
在现场环境中对房间声学进行建模涉及到从噪声和混响音频中进行一定程度的盲参数估计。现代方法利用卷积神经网络(CNN)与时频表示。使用短时傅里叶变换来开发这些类频谱特征已经显示出有希望的结果,但是该方法隐含地丢弃了相位域中的大量音频信息。受最近语音增强工作的启发,我们提出利用新的相位相关功能,以扩展最近的方法,盲目估计所谓的“混响指纹”参数,即体积和RT 60。这些功能的添加被证明优于现有的方法,仅依赖于幅度为基础的频谱功能在广泛的声学空间。我们评估部署这些新功能在单参数和多参数估计策略的有效性,使用一个新的数据集,包括公开的房间脉冲响应(RIR),合成RIR,和内部测量的真实声学空间。
2023-03-13 cs.LG cs.SD eess.AS
One-Shot Acoustic Matching Of Audio Signals -- Learning to Hear Music In Any Room/ Concert Hall
Stanford University(斯坦福大学)
声音产生和被听到的声学空间通过提供独特的\textit{presence}感而在如何感知声音方面起着至关重要的作用。我们听到的每一个声音都是声源固有的连续卷积运算和外部因素(如麦克风特性和房间脉冲响应)的结果。通常,研究人员使用诸如手枪射击或气球爆裂的激励作为可以创建可听化的脉冲信号。与感兴趣的信号卷积的房间“脉冲”响应可以将输入声音转换成在感兴趣的声学空间中播放的声音。在这里,我们提出了一种新的架构,可以将感兴趣的声音转换到任何其他声学空间(房间或大厅)的利益,通过使用任意的音频记录作为代理的气球流行。该架构是接地在简单的信号处理的想法,学习残余信号从学习的声学签名和输入信号。我们的框架允许神经网络调整时频表示中每个点的增益,给出合理的定性和定量结果。
2022-10-31 cs.LG cs.MM cs.SD
Theory and investigation of acoustic multiple-input multiple-output systems based on spherical arrays in a room
Ben Gurion University of the Negev(内盖夫本-古里安大学);University of Music and Performing Arts, Graz(格拉茨音乐与表演艺术大学)
本文提出基于球形扬声器和麦克风阵列的MIMO系统理论框架,用于封闭声场空间分析,证明系统在自由场下秩为1,推广至房间后秩与显著反射数相关,并通过仿真和反射分析验证了理论。
2024-01-07 cs.SD eess.AS
Acoustivision Pro: An Open-Source Interactive Platform for Room Impulse Response Analysis and Acoustic Characterization
Acoustics Researcher, WA, USA(声学研究员,华盛顿州,美国)
AcoustiVision Pro 是一个开源平台,用于分析房间脉冲响应并进行声学表征,提供多种声学参数计算、可视化和标准化检查功能。
2026-02-11 cs.SD eess.AS eess.SP
SHroom: A Python Framework for Ambisonics Room Acoustics Simulation and Binaural Rendering
Ben Gurion University of the Negev(内盖夫本-古里安大学)
SHroom基于Ambisonics实现房间声学模拟和双耳渲染,通过SH基函数进行图像源贡献投影,具有高透明度和实时头部旋转能力。
2026-09-28 cs.SD eess.AS
Differentiable Room Acoustic Rendering with Multi-View Vision Priors
University of Maryland, College Park(马里兰大学学院公园分校)
本文提出AV-DAR框架,利用多视图视觉线索与声学波束追踪进行可微房间声学渲染,在真实环境中显著优于先前方法,并以更少数据取得相当或更优性能。
2025-08-16 cs.CV cs.SD
EchoScan: Scanning Complex Room Geometries via Acoustic Echoes
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
EchoScan提出用深度神经网络从声学回声直接推断房间平面图和高度图,利用低阶与高阶反射处理含曲面墙的复杂几何结构,并在部分墙体不可观测时仍能准确重建,在Manhattan和Atlanta布局的合成RIR上验证了有效性。
2024-11-22 cs.SD eess.AS eess.SP
On the relevance of acoustic measurements for creating realistic virtual acoustic environments
Carl von Ossietzky Universität Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学);Akustik(声学系);Cluster of Excellence Hearing4all(卓越集群Hearing4all);Medizinische Physik(医学物理系)
针对真实空间虚拟声学重建中参数感知相关性不明的问题,本文结合人工头参考录音评估声源指向性并提出全链路技术验证方法,通过 ABX 实验与技术指标对仿真方案排序。
2023-06-29 cs.SD eess.AS physics.med-ph
Computationally-efficient and perceptually-motivated rendering of diffuse reflections in room acoustics simulation
Cluster of Excellence Hearing4all, Universität Oldenburg(奥尔登堡大学Hearing4all卓越集群)
本文提出一种计算高效的数字滤波器方法,通过将镜像源能量分为镜面与散射部分并利用级联全通滤波器模拟时间效应,改进了房间声学模拟中的扩散反射渲染,感知评估结果良好。
2023-06-29 cs.SD eess.AS
The effect of self-motion and room familiarity on sound source localization in virtual environments
Ludwig-Maximilians-Universität München(慕尼黑路德维希·马克西米利安大学)
本文利用视听虚拟现实技术研究自运动和房间熟悉度对声源定位的影响,发现横向自运动和声学适应能提升距离感知准确性,但对方位角感知无改善甚至有负面影响。
2024-08-25 cs.HC cs.SD eess.AS
Simulating room transfer functions between transducers mounted on audio devices using a modified image source method
International Audio Laboratories(国际音频实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS)
本研究扩展了镜像源方法(ISM),引入球谐指向性系数以模拟物理设备换能器的声学衍射效应,并通过有限元仿真验证,证明其比现有方法更准确地模拟房间传递函数,助力语音和声学信号处理算法的开发。
2023-09-07 cs.SD eess.AS
Inferring Room Semantics Using Acoustic Monitoring
Carnegie Mellon University(卡内基梅隆大学)
了解用户的环境背景,即了解用户的室内位置和他们的环境的语义,可以促进许多位置感知应用的开发。在本文中,我们提出了一种声学监测技术,推断语义知识的室内空间\emph{over time,}使用音频记录。我们的技术使用这些空间的脉冲响应,以及在它们中产生的环境声音,以确定它们的语义标签。当我们处理更多记录时,我们会更新分配标签中的\emph{confidence}。我们在三栋大学建筑不同类型房间中获得的单说话者人类语音录音数据集上评估了我们的技术。在我们的评估中,真实标签的置信度\emph{ }通常超过所有其他标签的置信度,并且在某些情况下,在少于30个样本的情况下收敛到100\%。
2017-10-24 cs.SD eess.AS
Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields
University of Rochester(罗切斯特大学);Meta Reality Labs Research(Meta现实实验室)
针对现有神经场方法忽视音频场景声学属性的问题,本文提出 NACF,融合几何、材料与空间上下文,并设计时间相关模块及多尺度能量衰减准则,显著提升 RIR 渲染质量。
2023-09-27 cs.CV cs.SD eess.AS
PathRIR: Physics-Guided Acoustic Path Selection and Late-Tail Compensation for Fast Room Impulse Response Simulation
The Australian National University(澳大利亚国立大学);The University of Queensland(昆士兰大学)
研究针对基于ISM的RIR模拟计算成本高的问题,提出物理引导框架PathRIR,保留ISM几何结构并学习保留重要路径,用轻量级补偿多层感知器恢复能量,实验表明其能减少计算、提高效率并降低误差。
2026-08-13 cs.LG cs.SD eess.AS
Room Acoustic Rendering Networks with Control of Scattering and Early Reflections
本文提出两种基于ART近似延迟网络的扩展设计,通过改进反馈矩阵和早期反射建模,实现了更精确的散射与混响控制,在非凸几何和吸收不均场景下显著优于基线模型。
2024-07-29 cs.SD eess.AS
A Machine-learning Framework for Acoustic Design Assessment in Early Design Stages
Shahid Beheshti University(贝赫什提大学);Texas A&M University(德克萨斯A&M大学)
在时间-费用比例模型研究中,使用模拟方法预测声学性能是一种常用的方法,是首选。在这一领域,构建声学仿真工具面临着一些挑战,包括声学工具的高成本,对声学专业知识的需求以及声学仿真的耗时过程。本项目的目标是引入一个简单的模型,计算时间短,以估计室内声学条件在早期设计阶段的建筑物。本文提出了一个工作原型的机器学习(ML)的一种新方法来近似一系列典型的房间声学参数,只使用几何数据作为输入特性。一个新的数据集组成的声学模拟一个房间,2916个不同的配置被用来训练和测试所提出的模型。在模拟过程中,使用Pachyderm声学软件分析了包括房间尺寸、窗户尺寸、材料吸收系数、家具和遮阳类型在内的特征。上述数据集被用作基于完全连接的深度神经网络(DNN)的七个机器学习模型的输入。ML模型的平均误差在1%到3%之间,验证过程后新预测样本的平均误差在2%到12%之间。
2021-09-14 cs.LG cs.SD eess.AS
Attention Is All You Need For Blind Room Volume Estimation
Beijing University of Technology(北京工业大学);AcousticDSP Consulting LLC(AcousticDSP咨询有限责任公司)
本文提出一种纯注意力Transformer模型,利用Gammatone幅度谱和相位谱输入,结合跨模态迁移学习,实现单通道带噪语音的盲房间体积估计,性能优于传统CNN。
2023-12-27 cs.SD eess.AS
Data-Driven Room Acoustic Modeling Via Differentiable Feedback Delay Networks With Learnable Delay Lines
Politecnico di Milano(米兰理工大学);University of Surrey(萨里大学)
针对延迟网络模型自动参数调优的难题,提出带可训练延迟线的可微分FDN方法,可通过反向传播同时学习全部参数,优化感知驱动的时域损失,实验证明其匹配声学特性的效果优于现有遗传算法和解析设计方法。
2024-10-08 cs.LG cs.SD eess.AS
Evaluation of Virtual Acoustic Environments with Different Acoustic Level of Detail
本研究探讨了虚拟声学环境中不同声学细节水平(ALOD)对感知的影响,发现只要适当处理扩散晚期混响,即可大幅降低ALOD而保持相似的合理性和外部化效果。
2023-08-10 cs.SD eess.AS
Unsupervised Blind Joint Dereverberation and Room Acoustics Estimation with Diffusion Models
Universität Hamburg(汉堡大学);Aalto University(阿尔托大学)
本文提出无监督方法BUDDy,结合扩散模型与贝叶斯采样,联合估计房间冲激响应并去混响,在盲场景中优于现有基线,适应性强,并支持高分辨率歌声去混响。
2025-03-25 cs.LG cs.SD eess.AS
Efficient Implementation of the Room Simulator for Training Deep Neural Network Acoustic Models
Google(谷歌公司)
在本文中,我们描述了如何有效地实现声学房间模拟器,以生成用于训练深度神经网络的大规模模拟数据。尽管[1]中的Google Room Simulator通过生成模拟的远场训练集,在降低远场应用的字出错率(WER)方面非常有效,但它需要大量的大尺寸快速傅立叶变换(FFT)。[1]中的Room Simulator在我们的CPU +图形处理器(GPU)训练架构中使用了大约80%的中央处理器(CPU)使用率[2]。在这项工作中,我们实现了一个有效的重叠加法(OLA)的过滤使用开源FFTW 3库。此外,我们调查的影响,房间脉冲响应(RIR)的长度。在实验上,我们得出结论,我们可以削减RIR的尾部,其功率小于20 dB以下的最大功率,而不牺牲语音识别的准确性。然而,我们观察到,将RIR尾部削减超过该阈值会损害重新记录的测试集的语音识别准确性。使用这些方法,我们能够将CPU/GPU训练架构中房间模拟器部分的CPU使用率降低到9.69%。评测结果显示,我们在单机上获得了22.4倍的速度提升,在Google的分布式训练基础设施上获得了37.3倍的速度提升。
2019-01-01 cs.SD eess.AS eess.SP
High-Resolution Sustain Pedal Depth Estimation from Piano Audio Across Room Acoustics
本文提出基于Transformer的钢琴延音踏板连续深度估计方法,在二值分类上达到最优性能,并通过合成数据集揭示房间混响会导致模型预测产生高估偏差。
2025-07-06 cs.AI cs.IR cs.SD
Speech dereverberation constrained on room impulse response characteristics
Telecom Paris, Institut polytechnique de Paris(巴黎理工学院电信学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对现有深度学习语音去混响方法缺乏房间声学可解释性的问题,提出用物理一致性损失正则化训练,使输出诱导的RIR匹配房间声学特性,兼顾去混响效果与物理一致性。
2024-07-10 cs.SD eess.AS eess.SP
Novel-View Acoustic Synthesis from 3D Reconstructed Rooms
Apple(苹果公司)
本研究结合盲音频与三维重建房间信息,引入房间冲激响应使端到端网络协同完成声源定位、分离与去混响,在Matterport3D-NVAS数据集上实现新视角声学合成的优异性能。
2024-08-16 cs.CV cs.SD eess.AS
Leveraging Geometrical Acoustic Simulations of Spatial Room Impulse Responses for Improved Sound Event Detection and Localization
New York University(纽约大学)
本研究提出利用几何声学仿真生成空间房间脉冲响应(SRIR)数据集,以解决声事件定位与检测(SELD)任务中空间音频训练数据不足的问题,有效提升了模型性能并改进了现有基准。
2023-09-06 cs.SD eess.AS
Scene-Aware Audio Rendering via Deep Acoustic Analysis
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
我们提出了一种新的方法来捕获使用商品设备的真实世界的房间的声学特性,并使用捕获的特性来生成类似的声源与虚拟模型。给定捕获的音频和真实世界房间的近似几何模型,我们提出了一种新的基于学习的方法来估计其声学材料特性。我们的方法是基于深度神经网络,估计混响时间和均衡的房间从记录的音频。这些估计被用来计算材料属性相关的房间混响使用一种新的材料优化目标。我们使用估计的声学材料特性的音频渲染使用交互式几何声音传播和突出的性能在许多现实世界的情况下。我们还进行了用户研究,以评估录制的声音和我们渲染的音频之间的感知相似性。
2020-02-09 cs.GR cs.MM cs.SD
Blind Spatial Impulse Response Generation from Separate Room- and Scene-Specific Information
Bang & Olufsen A/S(邦及欧路夫森公司);Aalto University(阿尔托大学)
本文提出一种用于增强现实音频的盲空间脉冲响应生成方法,通过对比损失训练的编码器提取房间特定信息,并结合基于扩散的生成器在给定新声源-接收器位置时生成空间房间脉冲响应,同时兼顾房间与位置参数。
2024-09-23 cs.LG cs.SD eess.AS
Whisper-RIR-Mega: A Paired Clean-Reverberant Speech Benchmark for ASR Robustness to Room Acoustics
本文提出Whisper-RIR-Mega数据集,用于评估ASR在房间声学中的鲁棒性。该数据集包含干净和混响语音的配对样本,评估了五种Whisper模型在清洁和混响条件下的性能,发现混响会降低所有模型的性能。
2026-03-15 cs.AI cs.LG cs.SD
Evaluating the Non-Intrusive Room Acoustics Algorithm with the ACE Challenge
Nuance Communications Inc.(Nuance通讯公司);KU Leuven(荷语鲁汶大学);Imperial College London(帝国理工学院)
提出了一种单通道数据驱动的全频带混响时间和全频带直达混响比的非侵入式估计方法。该方法从混响语音中提取大量的特征,并使用递归神经网络建立模型来估计混响声学参数。我们探索三种配置,包括不同的数据,并结合使用支持向量机的递归神经网络估计。我们估计DRR的最佳方法为T60估计提供了3.84 dB的均方根偏差(RMSD)和43.19%的RMSD。
2015-10-15 cs.SD
Room Impulse Response Generation Conditioned on Acoustic Parameters
Dolby Laboratories(杜比实验室);KTH Royal Institute of Technology(皇家理工学院)
本研究提出直接基于声学参数约束RIR生成,探索了自回归与非自回归模型,实验表明MaskGIT模型表现最佳,匹配或超越现有方法。
2025-07-16 cs.SD eess.AS
Data-driven Joint Detection and Localization of Acoustic Reflectors
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学);Fraunhofer IIS(弗劳恩霍夫应用研究促进协会 IIS 研究所)
针对难以定位所有墙壁的房间,提出一种基于多分支卷积循环神经网络的数据驱动方法,联合检测并定位附近及反射性墙壁,并通过改进损失函数提升定位性能。
2024-02-09 cs.SD eess.AS
Mean absorption estimation from room impulse responses using virtually supervised learning
Cerema(法国公共工程与建筑科学研究中心);Univ. Gustave Eiffel(居斯塔夫·埃菲尔大学);Ifsttar(法国交通、城市规划与网络科学技术研究院);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);IRISA(法国雷恩信息与系统研究所)
在建筑声学和现有房间的声学诊断的背景下,本文介绍和研究了一种新的方法来估计平均吸收系数单独从一个房间的脉冲响应(RIR)。这个逆问题通过虚拟监督学习来解决,即,通过使用人工神经网络对模拟数据集进行回归来隐式地学习RIR到吸收的映射。我们专注于基于易于理解的架构的简单模型。广泛讨论和研究了用于训练模型的几何、声学和仿真参数的关键选择,同时牢记建筑声学领域的代表性条件。从学习的神经模型的估计误差进行比较,与经典的公式,需要的房间的几何形状和混响时间的知识。在各种模拟测试集上进行的广泛比较突出了不同的条件,在这些条件下,所学习的模型可以克服这些公式的扩散声场假设的众所周知的局限性。在声学可配置的房间中测量的真实RIR上获得的结果表明,在1 kHz及以上,当混响时间可以可靠地估计时,所提出的方法执行与经典模型相同的性能,并且即使当它们不能可靠地估计时也继续工作。
2021-09-01 cs.NE cs.SD eess.AS