MIRaGe: Multichannel Database Of Room Impulse Responses Measured On High-Resolution Cube-Shaped Grid In Multiple Acoustic Conditions
Technical University of Liberec(利贝雷茨技术大学);Bar-Ilan University(巴伊兰大学)
我们介绍了一个数据库的多通道录音进行的声学实验室可调混响时间。这些记录提供了关于扬声器的各个位置的房间脉冲响应(RIR)的信息。特别地,主要位置对应于46 × 36 × 32 cm体积内的立方体形状的密集网格的4104个顶点。因此,该数据库提供了一种工具,用于详细分析空间处理方法的波束图,以及用于训练和测试声场的数学模型。
2019-07-29 cs.SD eess.AS
Multi-Channel MOSRA: Mean Opinion Score and Room Acoustics Estimation Using Simulated Data and a Teacher Model
Logitech(罗技)
提出多通道MOSRA模型,利用模拟数据和教师模型并行预测五通道的MOS与室内声学参数,以更少计算量提升关键指标预测性能。
2024-03-13 cs.SD eess.AS
Diminishing Domain Mismatch for DNN-Based Acoustic Distance Estimation via Stochastic Room Reverberation Models
Paderborn University(帕德博恩大学)
提出一种结合几何与随机建模RIR的新方法,减少基于DNN的声学距离估计中模拟与真实数据的域失配,显著提升估计精度。
2024-08-26 cs.SD eess.AS
A Universal Deep Room Acoustics Estimator
Logitech(罗技)
语音音频质量易受声学环境和各向同性环境噪声和点噪声引起的劣化的影响。这种环境会导致语音清晰度下降,并使听者失去注意力。很好地表征环境的基本声学参数是(i)信噪比(SNR)、(ii)语音传输指数、(iii)混响时间、(iv)清晰度和(v)直达混响比。除了SNR之外,这些参数通常来自房间脉冲响应(RIR)测量;然而,这些测量通常不可用。本文提出了一种基于卷积递归神经网络的通用房间声学估计器设计,该设计可以盲估计和联合估计声学环境测量。我们的研究结果表明,该系统是鲁棒的非平稳信号的变化,并优于目前最先进的方法。
2021-09-29 cs.SD eess.AS
Past, Present, and Future of Spatial Audio and Room Acoustics
National Institute of Informatics(情报信息研究所);University of Surrey(萨里大学);Australian National University(澳大利亚国立大学);Dolby Laboratories(杜比实验室);Politecnico di Milano(米兰理工大学)
本文综述空间音频与房间声学领域的发展脉络,围绕空间音频录制重放及房间声学仿真、建模、分析与控制,总结历史成就、近期进展并展望未来方向。
2025-03-17 cs.SD eess.AS
A state-space representation of the boundary integral equation for room acoustic modelling
Institute of Sound Recording, University of Surrey, Guildford, UK(英国萨里大学声音录音研究所);STADIUS, Dept. of Electrical Engineering, KU Leuven, Leuven, Belgium(比利时鲁汶大学电气工程系STADIUS)
本文提出基于边界积分方程状态空间模型的新框架,用于房间声学建模,通过引入边界积分算子状态空间(BIOSS)模型,提供物理解释并推导两种转移函数表示,拓展了房间声学建模的等效表示形式。
2026-04-18 cs.SD eess.AS
Room dimensions and absorption inference from room transfer function via machine learning
Technical University of Denmark(丹麦技术大学)
本文提出基于知识的阻尼共振频率法与多任务卷积神经网络法,利用房间传递函数估计房间尺寸及各表面频率相关吸声系数,并验证仿真数据训练的模型可用于真实测量。
2023-04-25 cs.SD eess.AS
Autophonic Loudness of Singers in Simulated Room Acoustic Environments
Faculty of Architecture, Design and Planning, The University of Sydney(悉尼大学建筑、设计与规划学院)
本研究通过模拟房间实验,发现音素显著影响歌手自体响度函数斜率(1.3至2.0),而室内声学影响不显著,但自体响度房间响应复杂,自体响度增长速率超外部声音两倍。
2023-06-17 cs.SD eess.AS
Relative Acoustic Features for Distance Estimation in Smart-Homes
Nuance Communications UK(英国Nuance通讯公司);Imperial College London(帝国理工学院)
任何音频记录都包含相关声学环境的独特指纹,即背景噪声和混响。考虑到房间配备有具有一个或多个麦克风的固定智能扬声器设备和可穿戴智能设备(手表、眼镜或智能手机)的场景,我们采用改进的比例归一化最小均方自适应滤波器来估计映射两个设备的音频记录的相对房间脉冲响应。我们通过利用一组新的特征来执行设备间距离估计,所述特征将房间脉冲响应的一些声学属性的定义扩展到其相对版本。结合估计的相对房间脉冲响应的稀疏性测量,相对特征允许精确的设备间距离估计,其可以用于诸如最佳麦克风选择或声学场景分析的任务。不同尺寸和混响时间的模拟房间的实验结果证明了这种计算量小的方法对智能家居声学测距应用的有效性
2022-12-02 cs.SD eess.AS
SoundCam: A Dataset for Finding Humans Using Room Acoustics
Stanford University(斯坦福大学);Adobe Research(Adobe研究院)
本文提出SoundCam数据集,包含三个真实房间中5,000条10通道RIR和2,000条音乐录音,系统改变人的位置,用于检测、识别人并跟踪其位置。
2024-01-15 cs.CV cs.SD eess.AS
Generative Data Augmentation Challenge: Synthesis of Room Acoustics for Speaker Distance Estimation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Treble Technologies(特雷布科技公司);University of Maryland(马里兰大学);Google Research(谷歌研究院);Amazon Lab126(亚马逊Lab126);Reykjavik University(雷克雅未克大学)
本文介绍ICASSP 2025生成式数据增强挑战,通过合成房间声学数据扩充房间脉冲响应数据集,以提升说话人距离估计等空间敏感下游任务的性能。
2025-01-22 cs.SD eess.AS
Room Impulse Response as a Prompt for Acoustic Echo Cancellation
Inner Mongolia University(内蒙古大学)
本文提出将房间脉冲响应作为训练提示引入声学回声消除模型,并探索四种提示融合方法,在模拟和真实环境中显著提升了模型的泛化性能。
2025-05-26 cs.SD eess.AS
Impulse Response Data Augmentation and Deep Neural Networks for Blind Room Acoustic Parameter Estimation
Adobe Research(奥多比研究院)
混响时间(T60)和直达混响比(DRR)通常用于表征室内声学环境。这两个参数都可以从声学脉冲响应(AIR)或使用直接从语音执行估计的盲估计方法来测量。当神经网络用于盲估计,但是,一个大的现实的数据集是必要的,这是昂贵的和耗时的收集,为了解决这个问题,我们提出了一个AIR增强方法,可以参数化控制的T60和DRR,使我们能够扩大一个小的数据集的真实AIR到一个平衡的数据集的数量级更大。使用这种方法,我们训练以前提出的卷积神经网络(CNN),并显示我们可以超越过去的单通道最先进的方法。然后,我们提出了一种更有效,更直接的基线CNN,速度快4- 5倍,这提供了额外的改进,并且比所有先前报道的单通道和多通道最先进的方法更好或相当。
2019-10-21 cs.SD eess.AS
Improving multichannel speech enhancement through accurate room-acoustic simulations
Treble Technologies
研究通过高保真房间声学模拟增强训练数据,相比几何声学方法,将多通道语音增强的中位词错误率相对降低高达38%。
2026-07-01 cs.AI cs.LG cs.SD
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
SHroom: A Python Framework for Ambisonics Room Acoustics Simulation and Binaural Rendering
Ben Gurion University of the Negev(内盖夫本-古里安大学)
SHroom基于Ambisonics实现房间声学模拟和双耳渲染,通过SH基函数进行图像源贡献投影,具有高透明度和实时头部旋转能力。
2026-09-28 cs.SD eess.AS
Computationally-efficient and perceptually-motivated rendering of diffuse reflections in room acoustics simulation
Cluster of Excellence Hearing4all, Universität Oldenburg(奥尔登堡大学Hearing4all卓越集群)
本文提出一种计算高效的数字滤波器方法,通过将镜像源能量分为镜面与散射部分并利用级联全通滤波器模拟时间效应,改进了房间声学模拟中的扩散反射渲染,感知评估结果良好。
2023-06-29 cs.SD eess.AS
Simulating room transfer functions between transducers mounted on audio devices using a modified image source method
International Audio Laboratories(国际音频实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS)
本研究扩展了镜像源方法(ISM),引入球谐指向性系数以模拟物理设备换能器的声学衍射效应,并通过有限元仿真验证,证明其比现有方法更准确地模拟房间传递函数,助力语音和声学信号处理算法的开发。
2023-09-07 cs.SD eess.AS
Inferring Room Semantics Using Acoustic Monitoring
Carnegie Mellon University(卡内基梅隆大学)
了解用户的环境背景,即了解用户的室内位置和他们的环境的语义,可以促进许多位置感知应用的开发。在本文中,我们提出了一种声学监测技术,推断语义知识的室内空间\emph{over time,}使用音频记录。我们的技术使用这些空间的脉冲响应,以及在它们中产生的环境声音,以确定它们的语义标签。当我们处理更多记录时,我们会更新分配标签中的\emph{confidence}。我们在三栋大学建筑不同类型房间中获得的单说话者人类语音录音数据集上评估了我们的技术。在我们的评估中,真实标签的置信度\emph{ }通常超过所有其他标签的置信度,并且在某些情况下,在少于30个样本的情况下收敛到100\%。
2017-10-24 cs.SD eess.AS
MMAudioReverbs: Video-Guided Acoustic Modeling for Dereverberation and Room Impulse Response Estimation
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
本文提出MMAudioReverbs框架,利用预训练视频到音频模型进行去混响和房间脉冲响应估计,通过小数据集微调实现无需修改网络结构的统一处理。
2026-05-01 cs.CV cs.LG cs.SD
Room Acoustic Rendering Networks with Control of Scattering and Early Reflections
本文提出两种基于ART近似延迟网络的扩展设计,通过改进反馈矩阵和早期反射建模,实现了更精确的散射与混响控制,在非凸几何和吸收不均场景下显著优于基线模型。
2024-07-29 cs.SD eess.AS
MOSRA: Joint Mean Opinion Score and Room Acoustics Speech Quality Assessment
Logitech Europe S.A.(罗技欧洲公司)
声学环境可降低通信期间的语音质量(例如,视频通话、远程演示、外部语音记录),并且其影响通常是未知的。考虑到影响语音质量的因素的多维性和收集标记数据的困难性,语音质量的客观度量已经被证明是具有挑战性的。假设声学对语音质量的影响,本文提出了MOSRA:一种非侵入性的多维语音质量度量,可以预测房间声学参数(SNR,STI,T60,DRR和C50)以及语音质量的总体平均意见得分(MOS)。通过显式优化模型来学习这些房间声学参数,我们可以提取更多信息的特征,并在训练数据有限的情况下提高MOS任务的泛化能力。此外,我们还表明,这种联合训练方法增强了室内声学的盲估计,提高了当前最先进模型的性能。这种联合预测的另一个副作用是提高了预测的可解释性,这对许多应用来说是一个有价值的功能。
2022-06-29 cs.AI cs.LG cs.SD
Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark
University of Michigan(密歇根大学);Meta;Reality Labs Research(现实实验室研究部)
本文提出了真实声场(RAF)数据集,包含密集的房间脉冲响应、多视角图像和6DoF位姿数据,用于评估视听声学模型并验证sim2real方法在少样本学习中的有效性。
2024-03-27 cs.CV cs.MM cs.SD
Acoustic source localization in the spherical harmonics domain exploiting low-rank approximations
Politecnico di Milano(米兰理工大学)
针对恶劣场景下的声源定位问题,提出一种基于低秩近似的球谐域定位方法,通过归一化排列球谐系数估计主源远场模态方向图,性能优于现有同类方法。
2023-03-15 cs.SD eess.AS
Blind Acoustic Room Parameter Estimation Using Phase Features
New York University(纽约大学);Sonos Experience Limited(Sonos体验有限公司);Sonos, Inc.(Sonos公司)
在现场环境中对房间声学进行建模涉及到从噪声和混响音频中进行一定程度的盲参数估计。现代方法利用卷积神经网络(CNN)与时频表示。使用短时傅里叶变换来开发这些类频谱特征已经显示出有希望的结果,但是该方法隐含地丢弃了相位域中的大量音频信息。受最近语音增强工作的启发,我们提出利用新的相位相关功能,以扩展最近的方法,盲目估计所谓的“混响指纹”参数,即体积和RT 60。这些功能的添加被证明优于现有的方法,仅依赖于幅度为基础的频谱功能在广泛的声学空间。我们评估部署这些新功能在单参数和多参数估计策略的有效性,使用一个新的数据集,包括公开的房间脉冲响应(RIR),合成RIR,和内部测量的真实声学空间。
2023-03-13 cs.LG cs.SD eess.AS
Attention Is All You Need For Blind Room Volume Estimation
Beijing University of Technology(北京工业大学);AcousticDSP Consulting LLC(AcousticDSP咨询有限责任公司)
本文提出一种纯注意力Transformer模型,利用Gammatone幅度谱和相位谱输入,结合跨模态迁移学习,实现单通道带噪语音的盲房间体积估计,性能优于传统CNN。
2023-12-27 cs.SD eess.AS
Evaluation of Virtual Acoustic Environments with Different Acoustic Level of Detail
本研究探讨了虚拟声学环境中不同声学细节水平(ALOD)对感知的影响,发现只要适当处理扩散晚期混响,即可大幅降低ALOD而保持相似的合理性和外部化效果。
2023-08-10 cs.SD eess.AS
Modal smoothing for analysis of room reflections measured with spherical microphone and loudspeaker arrays
Ben Gurion University of the Negev(内盖夫本·古里安大学)
本文提出模态平滑方法,利用球面麦克风与扬声器阵列组成的多输入多输出系统的额外空间多样性恢复互谱矩阵秩,解决多重信号分类算法在房间反射相关时失效的问题,并能估计具有相等时间延迟的反射方向。
2024-01-07 cs.SD eess.AS
Acoustivision Pro: An Open-Source Interactive Platform for Room Impulse Response Analysis and Acoustic Characterization
Acoustics Researcher, WA, USA(声学研究员,华盛顿州,美国)
AcoustiVision Pro 是一个开源平台,用于分析房间脉冲响应并进行声学表征,提供多种声学参数计算、可视化和标准化检查功能。
2026-02-11 cs.SD eess.AS eess.SP
Room acoustics affect communicative success in hybrid meeting spaces: a pilot study
Signal Processing and Speech Communication Laboratory, Graz University of Technology(信号处理与语音通信实验室,格拉茨技术大学)
本研究探讨研讨室声学干预对混合会议交流成功的影响,发现改善房间声学可提升交流效果,尽管因样本量小未达统计学显著性。
2025-09-15 cs.CL eess.AS
Leveraging Geometrical Acoustic Simulations of Spatial Room Impulse Responses for Improved Sound Event Detection and Localization
New York University(纽约大学)
本研究提出利用几何声学仿真生成空间房间脉冲响应(SRIR)数据集,以解决声事件定位与检测(SELD)任务中空间音频训练数据不足的问题,有效提升了模型性能并改进了现有基准。
2023-09-06 cs.SD eess.AS
One-Shot Acoustic Matching Of Audio Signals -- Learning to Hear Music In Any Room/ Concert Hall
Stanford University(斯坦福大学)
声音产生和被听到的声学空间通过提供独特的\textit{presence}感而在如何感知声音方面起着至关重要的作用。我们听到的每一个声音都是声源固有的连续卷积运算和外部因素(如麦克风特性和房间脉冲响应)的结果。通常,研究人员使用诸如手枪射击或气球爆裂的激励作为可以创建可听化的脉冲信号。与感兴趣的信号卷积的房间“脉冲”响应可以将输入声音转换成在感兴趣的声学空间中播放的声音。在这里,我们提出了一种新的架构,可以将感兴趣的声音转换到任何其他声学空间(房间或大厅)的利益,通过使用任意的音频记录作为代理的气球流行。该架构是接地在简单的信号处理的想法,学习残余信号从学习的声学签名和输入信号。我们的框架允许神经网络调整时频表示中每个点的增益,给出合理的定性和定量结果。
2022-10-31 cs.LG cs.MM cs.SD
EchoScan: Scanning Complex Room Geometries via Acoustic Echoes
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
EchoScan提出用深度神经网络从声学回声直接推断房间平面图和高度图,利用低阶与高阶反射处理含曲面墙的复杂几何结构,并在部分墙体不可观测时仍能准确重建,在Manhattan和Atlanta布局的合成RIR上验证了有效性。
2024-11-22 cs.SD eess.AS eess.SP
Enhancing Audio Perception of Music By AI Picked Room Acoustics
Stanford University(斯坦福大学)
我们听到的每一个声音都是连续卷积运算的结果(例如室内声学、麦克风特性、乐器本身的共振特性,更不用说声音再现系统的特性和限制)。在这项工作中,我们试图确定使用AI执行特定作品的最佳房间。此外,我们使用室内声学作为一种方式来增强给定声音的感知质量。从历史上看,房间(特别是教堂和音乐厅)被设计为举办和服务于特定的音乐功能。在某些情况下,建筑声学质量提高了那里的音乐表演。作为第一步,我们试图模仿这一点,通过指定房间脉冲响应,这些脉冲响应将与特定音乐的增强音质相关。首先训练卷积架构以获取音频样本并模仿专家的评级,对于各种乐器系列和笔记的感知质量,准确率约为78%。这给了我们一个评分功能,任何音频样本,可以评级的感知愉悦的音符自动。现在,通过模拟各种房间,材料等的大约60,000个合成脉冲响应的库,我们使用一个简单的卷积运算来转换声音,就像它在一个特定的房间里播放一样。感知评估器用于对音乐声音进行排名,并产生播放声音的“最佳房间或音乐厅”。作为一个副产品,它还可以使用室内声学将质量差的声音变成“好”的声音。
2022-08-16 cs.AI cs.LG cs.MM
On the relevance of acoustic measurements for creating realistic virtual acoustic environments
Carl von Ossietzky Universität Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学);Akustik(声学系);Cluster of Excellence Hearing4all(卓越集群Hearing4all);Medizinische Physik(医学物理系)
针对真实空间虚拟声学重建中参数感知相关性不明的问题,本文结合人工头参考录音评估声源指向性并提出全链路技术验证方法,通过 ABX 实验与技术指标对仿真方案排序。
2023-06-29 cs.SD eess.AS physics.med-ph
The effect of self-motion and room familiarity on sound source localization in virtual environments
Ludwig-Maximilians-Universität München(慕尼黑路德维希·马克西米利安大学)
本文利用视听虚拟现实技术研究自运动和房间熟悉度对声源定位的影响,发现横向自运动和声学适应能提升距离感知准确性,但对方位角感知无改善甚至有负面影响。
2024-08-25 cs.HC cs.SD eess.AS
Blind estimation of room acoustic parameters from speech signals based on extended model of room impulse response
由室内脉冲响应(RIR)得到的语音传输指数(STI)和室内声学参数(RAP),如混响时间和早期衰减时间,是评价语音传输和预测声场中听音难度的重要指标。由于难以测量日常占用空间中的RIR,因此必须解决STI和RAP的同时盲估计,因为这是一个迫切且具有挑战性的问题。本文提出了一种确定性的方法来盲估计STI和五个RAP的基础上的RIR随机模型,近似一个未知的RIR。所提出的方法制定的混响语音信号的时间功率包络,以获得最佳参数的RIR模型。进行模拟,以评估STI和RAP从观察到的混响语音信号。估计和地面实况结果之间的均方根误差被用来比较评估所提出的方法与以前的方法。结果表明,该方法可以有效地估计STI和RAP没有任何训练。
2022-12-26 eess.AS
Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields
University of Rochester(罗切斯特大学);Meta Reality Labs Research(Meta现实实验室)
针对现有神经场方法忽视音频场景声学属性的问题,本文提出 NACF,融合几何、材料与空间上下文,并设计时间相关模块及多尺度能量衰减准则,显著提升 RIR 渲染质量。
2023-09-27 cs.CV cs.SD eess.AS
PathRIR: Physics-Guided Acoustic Path Selection and Late-Tail Compensation for Fast Room Impulse Response Simulation
The Australian National University(澳大利亚国立大学);The University of Queensland(昆士兰大学)
研究针对基于ISM的RIR模拟计算成本高的问题,提出物理引导框架PathRIR,保留ISM几何结构并学习保留重要路径,用轻量级补偿多层感知器恢复能量,实验表明其能减少计算、提高效率并降低误差。
2026-08-13 cs.LG cs.SD eess.AS
Evaluation of acoustic Green's function in rectangular rooms with general surface impedance walls
Acoustic Technology, Department of Electrical and Photonics Engineering, Technical University of Denmark(声学技术,电气与光子工程系,丹麦技术大学)
本文提出了一种高效可靠的方法,用于计算矩形房间中的格林函数,适用于一般边界条件,包括显著吸收的墙壁。
2026-08-03 cs.CE cs.SD eess.AS
A Machine-learning Framework for Acoustic Design Assessment in Early Design Stages
Shahid Beheshti University(贝赫什提大学);Texas A&M University(德克萨斯A&M大学)
在时间-费用比例模型研究中,使用模拟方法预测声学性能是一种常用的方法,是首选。在这一领域,构建声学仿真工具面临着一些挑战,包括声学工具的高成本,对声学专业知识的需求以及声学仿真的耗时过程。本项目的目标是引入一个简单的模型,计算时间短,以估计室内声学条件在早期设计阶段的建筑物。本文提出了一个工作原型的机器学习(ML)的一种新方法来近似一系列典型的房间声学参数,只使用几何数据作为输入特性。一个新的数据集组成的声学模拟一个房间,2916个不同的配置被用来训练和测试所提出的模型。在模拟过程中,使用Pachyderm声学软件分析了包括房间尺寸、窗户尺寸、材料吸收系数、家具和遮阳类型在内的特征。上述数据集被用作基于完全连接的深度神经网络(DNN)的七个机器学习模型的输入。ML模型的平均误差在1%到3%之间,验证过程后新预测样本的平均误差在2%到12%之间。
2021-09-14 cs.LG cs.SD eess.AS
Neural acoustic multipole splatting for room impulse response synthesis
School of Electrical Engineering, KAIST(KAIST电气工程学院)
本文提出神经声学多极溅射方法,通过学习多极位置和预测信号,高效合成房间脉冲响应,实验表明其在多数指标上优于现有方法。
2026-02-02 eess.AS
Room Impulse Response Generation Conditioned on Acoustic Parameters
Dolby Laboratories(杜比实验室);KTH Royal Institute of Technology(皇家理工学院)
本研究提出直接基于声学参数约束RIR生成,探索了自回归与非自回归模型,实验表明MaskGIT模型表现最佳,匹配或超越现有方法。
2025-07-16 cs.SD eess.AS
Data-Driven Room Acoustic Modeling Via Differentiable Feedback Delay Networks With Learnable Delay Lines
Politecnico di Milano(米兰理工大学);University of Surrey(萨里大学)
针对延迟网络模型自动参数调优的难题,提出带可训练延迟线的可微分FDN方法,可通过反向传播同时学习全部参数,优化感知驱动的时域损失,实验证明其匹配声学特性的效果优于现有遗传算法和解析设计方法。
2024-10-08 cs.LG cs.SD eess.AS
Data-driven Joint Detection and Localization of Acoustic Reflectors
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学);Fraunhofer IIS(弗劳恩霍夫应用研究促进协会 IIS 研究所)
针对难以定位所有墙壁的房间,提出一种基于多分支卷积循环神经网络的数据驱动方法,联合检测并定位附近及反射性墙壁,并通过改进损失函数提升定位性能。
2024-02-09 cs.SD eess.AS
Unsupervised Blind Joint Dereverberation and Room Acoustics Estimation with Diffusion Models
Universität Hamburg(汉堡大学);Aalto University(阿尔托大学)
本文提出无监督方法BUDDy,结合扩散模型与贝叶斯采样,联合估计房间冲激响应并去混响,在盲场景中优于现有基线,适应性强,并支持高分辨率歌声去混响。
2025-03-25 cs.LG cs.SD eess.AS
Efficient Implementation of the Room Simulator for Training Deep Neural Network Acoustic Models
Google(谷歌公司)
在本文中,我们描述了如何有效地实现声学房间模拟器,以生成用于训练深度神经网络的大规模模拟数据。尽管[1]中的Google Room Simulator通过生成模拟的远场训练集,在降低远场应用的字出错率(WER)方面非常有效,但它需要大量的大尺寸快速傅立叶变换(FFT)。[1]中的Room Simulator在我们的CPU +图形处理器(GPU)训练架构中使用了大约80%的中央处理器(CPU)使用率[2]。在这项工作中,我们实现了一个有效的重叠加法(OLA)的过滤使用开源FFTW 3库。此外,我们调查的影响,房间脉冲响应(RIR)的长度。在实验上,我们得出结论,我们可以削减RIR的尾部,其功率小于20 dB以下的最大功率,而不牺牲语音识别的准确性。然而,我们观察到,将RIR尾部削减超过该阈值会损害重新记录的测试集的语音识别准确性。使用这些方法,我们能够将CPU/GPU训练架构中房间模拟器部分的CPU使用率降低到9.69%。评测结果显示,我们在单机上获得了22.4倍的速度提升,在Google的分布式训练基础设施上获得了37.3倍的速度提升。
2019-01-01 cs.SD eess.AS eess.SP
Contrastive Representation Learning for Acoustic Parameter Estimation
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
提出了一种对比学习方法,用于从单通道混响语音信号中提取声学环境的低维表示。房间脉冲响应(RIR)与消声源信号的卷积被用作数据增强技术,在上游任务的设计中提供了相当大的灵活性。我们评估了三个不同下游任务的嵌入,其中包括声学参数混响时间RT60和清晰度指数C50的回归,以及小房间和大房间的分类。我们证明了学习的表示可以很好地推广到看不见的数据,并且与完全监督的基线相似。
2023-03-13 cs.SD eess.AS
Room-acoustic simulations as an alternative to measurements for audio-algorithm evaluation
Treble Technologies
本文提出利用房间声学模拟替代测量,评估音频算法的有效性,比较了不同模拟方法的可靠性。
2025-09-05 cs.LG eess.AS
Blind Identification of Binaural Room Impulse Responses from Smart Glasses
本研究提出一种利用智能眼镜麦克风阵列,通过去混响、波束成形和多通道维纳滤波器从几秒语音中盲识别双耳房间脉冲响应的方法,其在声学参数估计和感知实验中均优于基线。
2024-09-23 eess.AS
Speech dereverberation constrained on room impulse response characteristics
Telecom Paris, Institut polytechnique de Paris(巴黎理工学院电信学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对现有深度学习语音去混响方法缺乏房间声学可解释性的问题,提出用物理一致性损失正则化训练,使输出诱导的RIR匹配房间声学特性,兼顾去混响效果与物理一致性。
2024-07-10 cs.SD eess.AS eess.SP
Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation
PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);EHESS(法国高等社会科学研究院);ENS(巴黎高等师范学院);Meta AI Research(Meta人工智能研究院);Duke University(杜克大学);Université de Toulouse(图卢兹大学)
本文提出多任务神经网络Brouhaha,联合估计语音活动、信噪比和C50房间声学参数,用于分析含噪/混响语音并评估分离与识别模型的可靠性。
2023-05-25 cs.SD eess.AS
Computationally efficient spatial rendering of late reverberation in virtual acoustic environments
对于6-DOF(自由度)交互式虚拟声学环境(VAE),除了早期(镜面)反射之外,扩散晚期混响的空间渲染是重要的。为了提高计算效率,后期混响的声学模拟可以通过使用有限数量的空间分布的虚拟混响源(VRS)来简化,每个虚拟混响源辐射非相干信号。需要足够数量的VRS来近似空间各向异性后期混响,例如,在边界处具有不均匀吸收分布的房间中。这里,提出了一种高效且感知上合理的方法来生成和空间渲染后期混响,扩展了室内声学模拟器RAZR [Wendt等人,音频工程学会,62,11(2014)]。房间尺寸和墙壁边界处的频率相关吸收系数用于确定基于物理的反馈延迟网络(FDN)的参数以生成非相干VRS信号。VRS在空间上分布在收听者周围,其中加权因子表示壁边界上的吸收系数的空间子采样分布。在消声室内用球形扬声器阵列进行的听力测试中,评估了感知上可与96个VRS的最大(参考)数量区分开所需的VRS的最小数量。对于所得到的低数量的VRS适合空间渲染,最佳的基于物理的参数选择的FDN进行了讨论。
2021-06-30 cs.SD eess.AS
Novel-View Acoustic Synthesis from 3D Reconstructed Rooms
Apple(苹果公司)
本研究结合盲音频与三维重建房间信息,引入房间冲激响应使端到端网络协同完成声源定位、分离与去混响,在Matterport3D-NVAS数据集上实现新视角声学合成的优异性能。
2024-08-16 cs.CV cs.SD eess.AS