Blind Localization of Room Reflections with Application to Spatial Audio
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出在更广泛条件下评估FF-PHALCOR盲定位房间反射方法的性能，并通过听力测试验证估计反射对空间感知的重要性。
2023-12-21 cs.SD eess.AS
Blind Room Parameter Estimation Using Multiple-Multichannel Speech Recordings
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用研究所）
知道房间的几何和声学参数可以有益于诸如音频增强现实、语音去混响或音频取证之类的应用。在本文中，我们研究的问题，联合估计的总表面积，体积，以及频率相关的混响时间和平均表面吸收的房间在一个盲目的方式，基于双通道嘈杂的语音记录从多个，未知的源接收器的位置。提出了一种新的利用单通道和通道间线索的卷积神经网络架构，并在一个大型的、逼真的模拟数据集上进行了训练。模拟和真实数据的结果表明，在一个房间中使用多个观测值显着减少了所有目标量的估计误差和方差，使用两个通道有助于估计表面和体积。该模型优于最近提出的盲体积估计方法所考虑的数据集。
2021-07-29 cs.LG cs.SD eess.AS
Impulse Response Data Augmentation and Deep Neural Networks for Blind Room Acoustic Parameter Estimation
Adobe Research（奥多比研究院）
混响时间（T60）和直达混响比（DRR）通常用于表征室内声学环境。这两个参数都可以从声学脉冲响应（AIR）或使用直接从语音执行估计的盲估计方法来测量。当神经网络用于盲估计，但是，一个大的现实的数据集是必要的，这是昂贵的和耗时的收集，为了解决这个问题，我们提出了一个AIR增强方法，可以参数化控制的T60和DRR，使我们能够扩大一个小的数据集的真实AIR到一个平衡的数据集的数量级更大。使用这种方法，我们训练以前提出的卷积神经网络（CNN），并显示我们可以超越过去的单通道最先进的方法。然后，我们提出了一种更有效，更直接的基线CNN，速度快4- 5倍，这提供了额外的改进，并且比所有先前报道的单通道和多通道最先进的方法更好或相当。
2019-10-21 cs.SD eess.AS
Attention Is All You Need For Blind Room Volume Estimation
Beijing University of Technology（北京工业大学）；AcousticDSP Consulting LLC（AcousticDSP咨询有限责任公司）
本文提出一种纯注意力Transformer模型，利用Gammatone幅度谱和相位谱输入，结合跨模态迁移学习，实现单通道带噪语音的盲房间体积估计，性能优于传统CNN。
2023-12-27 cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.（罗技欧洲股份公司）
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的，它们可以从称为房间脉冲响应（RIR）的房间测量中得出。然而，测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明，人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展，并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明，卷积循环神经网络在这项任务中表现最好，并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
BERP: A Blind Estimator of Room Parameters for Single-Channel Noisy Speech Signals
School of Information Science, Japan Advanced Institute of Science and Technology（信息科学学部，日本先进科学研究所）
提出通用盲估计框架BERP，通过结合注意力与卷积的统一编码器及独立预测器，从单通道带噪语音中联合估计房间声学、几何参数及占用率，实现了SOTA性能与优异的现实场景适应性。
2025-05-30 cs.SD eess.AS
Blind Acoustic Room Parameter Estimation Using Phase Features
New York University（纽约大学）；Sonos Experience Limited（Sonos体验有限公司）；Sonos, Inc.（Sonos公司）
在现场环境中对房间声学进行建模涉及到从噪声和混响音频中进行一定程度的盲参数估计。现代方法利用卷积神经网络（CNN）与时频表示。使用短时傅里叶变换来开发这些类频谱特征已经显示出有希望的结果，但是该方法隐含地丢弃了相位域中的大量音频信息。受最近语音增强工作的启发，我们提出利用新的相位相关功能，以扩展最近的方法，盲目估计所谓的“混响指纹”参数，即体积和RT 60。这些功能的添加被证明优于现有的方法，仅依赖于幅度为基础的频谱功能在广泛的声学空间。我们评估部署这些新功能在单参数和多参数估计策略的有效性，使用一个新的数据集，包括公开的房间脉冲响应（RIR），合成RIR，和内部测量的真实声学空间。
2023-03-13 cs.LG cs.SD eess.AS
SS-BRPE: Self-Supervised Blind Room Parameter Estimation Using Attention Mechanisms
School of Information Science and Technology, Beijing University of Technology（北京工业大学信息科学与技术学院）；AcousticDSP Consulting LLC（AcousticDSP咨询有限责任公司）
提出SS-BRPE自监督系统，结合注意力模型、无标注预训练与动态特征增强，从单通道带噪语音估计房间参数，并在有限标注下超越SOTA。
2024-09-08 cs.SD eess.AS
Blind Localization of Early Room Reflections with Arbitrary Microphone Array
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
本文全面分析了FF-PHALCOR方法在任意麦克风阵列下盲估早期房间反射到达方向的性能与局限，提出改进方案以提升检测质量并减少虚警，同时验证了其在空间感知上的优势。
2024-09-23 cs.SD eess.AS
Room geometry blind inference based on the localization of real sound source and first order reflections
Peking University（北京大学）
传统的基于声信号的房间几何形状盲推断技术是基于环境的先验知识（如房间脉冲响应（RIR）或声源位置）进行的，这将限制其在未知场景下的应用。针对这一问题，本文提出了一种利用直达波与一阶反射波之间的几何关系进行房间几何重建的方法。该方法除了利用小型麦克风阵列本身的信息外，不需要对环境参数进行任何预测。此外，设计并使用了基于学习的DNN模型，以提高直接源和一阶反射定位结果的准确性和完整性。首先利用所提出的DCNN和TD-CNN模型估计直达信号和反射信号的到达方向（DOA）和到达时间差（TDOA）信息，与传统方法相比，该模型具有更高的灵敏度和准确度。然后，使用所提出的DNN模型，通过整合DOA、TDOA和阵列高度来推断声源的位置。然后，根据几何关系推导出图像源的位置和对应的边界。仿真和实测的实验结果验证了所提出的方法在不同混响环境下与传统方法相比的有效性和准确性。
2022-07-22 cs.SD eess.AS
Blind Spatial Impulse Response Generation from Separate Room- and Scene-Specific Information
Bang & Olufsen A/S（邦及欧路夫森公司）；Aalto University（阿尔托大学）
本文提出一种用于增强现实音频的盲空间脉冲响应生成方法，通过对比损失训练的编码器提取房间特定信息，并结合基于扩散的生成器在给定新声源-接收器位置时生成空间房间脉冲响应，同时兼顾房间与位置参数。
2024-09-23 cs.LG cs.SD eess.AS
Blind identification of Ambisonic reduced room impulse response
Orange Labs（Orange实验室）
本文针对广义时域速度矢量（GTVV）闭式表达中参考信号需为最小相位滤波器的假设限制，提出直接对构成GTVV时间序列的脉冲响应进行建模以放宽假设并实现更高效的盲系统辨识，实测实验验证了该方法的有效性。
2023-11-06 cs.SD eess.AS eess.SP
Exploring the influence of fine-tuning data on wav2vec 2.0 model for blind speech quality prediction
最近的研究表明，自监督模型可以产生准确的语音质量预测。由预训练的wav 2 vec 2.0模型生成的语音表示允许使用少量注释数据构建鲁棒的预测模型。这为在标记数据稀缺的情况下开发强大的模型提供了可能性。众所周知，微调提高了模型的性能;然而，目前还不清楚数据（例如，语言、样本量）影响性能。在本文中，我们探讨如何使用不同的语音语料库微调wav 2 vec 2.0可以影响其性能。我们采用了四个语音数据集，其中包含常见会议应用程序中发现的降级，并针对不同语言和数据大小的场景进行了微调wav 2 vec 2.0。在所有四个会议数据集加上一个包含合成语音的额外数据集上测试了微调模型，并将其与三个外部基线模型进行了比较。结果表明，微调模型能够与基线模型竞争。更大的微调数据保证了更好的性能;同时，语言的多样性有助于模型处理特定的语言。需要进一步的研究来评估其他使用多语言数据集预训练的wav 2 vec 2.0模型，并开发对语言多样性更具弹性的预测模型。
2022-04-05 eess.AS
Unsupervised Blind Joint Dereverberation and Room Acoustics Estimation with Diffusion Models
Universität Hamburg（汉堡大学）；Aalto University（阿尔托大学）
本文提出无监督方法BUDDy，结合扩散模型与贝叶斯采样，联合估计房间冲激响应并去混响，在盲场景中优于现有基线，适应性强，并支持高分辨率歌声去混响。
2025-03-25 cs.LG cs.SD eess.AS
BUDDy: Single-Channel Blind Unsupervised Dereverberation with Diffusion Models
Aalto University（阿尔托大学）；Universität Hamburg（汉堡大学）
本文提出BUDDy方法，利用扩散模型后验采样在单通道无监督条件下联合实现盲去混响和房间脉冲响应估计，无需成对数据且对未知声学环境更鲁棒。
2024-05-07 cs.LG cs.SD eess.AS
Realistic sources, receivers and walls improve the generalisability of virtually-supervised blind acoustic parameter estimators
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）
盲声学参数估计包括从未知声源的记录推断环境的声学特性。由于真实注释测量的可用性有限，该领域的最新工作利用了部分或完全基于模拟数据训练的深度神经网络。在本文中，我们研究了一个纯粹使用快速图像源房间脉冲响应模拟器训练的模型是否可以推广到真实数据。我们提出了一个消融研究精心制作的模拟训练集，占不同层次的现实主义的来源，接收器和墙壁的反应。现实主义的程度是由墙壁的吸收系数的采样，并通过应用测得的指向性模式的麦克风和源控制。在这些数据集上训练的最先进的模型在联合估计来自多个多通道语音记录的房间体积、总表面积和倍频程混响时间的任务上进行评估。结果表明，在训练时间的仿真现实的每一个增加的层显着提高对真实信号的所有量的估计。
2022-07-19 cs.SD eess.AS
Blind Capon Beamformer Based on Independent Component Extraction: Single-Parameter Algorithm,
本文提出一种基于独立成分提取的盲Capon波束形成器，通过正交约束将优化简化为单参数问题，并推导了性能下界，在说话人提取中优于传统方法。
2025-02-06 eess.AS eess.SP
SoundShift: Exploring Sound Manipulations for Accessible Mixed-Reality Awareness
University of Michigan（密歇根大学）；National Taiwan University（台湾大学）
SoundShift提出六种声音操控方法，通过用户研究验证其能增强混合现实中盲人用户的声音感知并降低认知负荷，且开发了实际应用示例。
2024-05-26 cs.HC cs.SD eess.AS
A Universal Deep Room Acoustics Estimator
Logitech（罗技）
语音音频质量易受声学环境和各向同性环境噪声和点噪声引起的劣化的影响。这种环境会导致语音清晰度下降，并使听者失去注意力。很好地表征环境的基本声学参数是（i）信噪比（SNR）、（ii）语音传输指数、（iii）混响时间、（iv）清晰度和（v）直达混响比。除了SNR之外，这些参数通常来自房间脉冲响应（RIR）测量;然而，这些测量通常不可用。本文提出了一种基于卷积递归神经网络的通用房间声学估计器设计，该设计可以盲估计和联合估计声学环境测量。我们的研究结果表明，该系统是鲁棒的非平稳信号的变化，并优于目前最先进的方法。
2021-09-29 cs.SD eess.AS
Filtered Noise Shaping for Time Domain Room Impulse Response Estimation From Reverberant Speech
Facebook Reality Labs Research（Facebook现实实验室研究部）
深度学习方法已经出现，旨在转换音频信号，使其听起来就像是在同一个房间录制的参考录音，并应用于音频后期制作和增强现实。在这项工作中，我们提出了FiNS，一个过滤的噪声整形网络，直接估计混响语音的时域房间脉冲响应（RIR）。我们的域启发架构具有时域编码器和滤波噪声整形解码器，该解码器将RIR建模为衰减滤波噪声信号的总和，以及直接声音和早期反射分量。用于声学匹配的先前方法利用大模型来变换音频以匹配目标房间或预测用于算法混响器的参数。相反，RIR的盲估计使得能够利用单个卷积进行有效且现实的变换。评估表明，我们的模型不仅合成了与目标房间参数匹配的RIR，如$T_{60}$和DRR，而且还更准确地再现了目标房间的感知特征，如与深度学习基线相比时的听力测试所示。
2021-07-15 cs.SD eess.AS
Spatial Audio Coding Through Relative Room Impulse Response Estimation
Orange Research（Orange研究）；IRISA
本文提出一种基于相对空间房间冲激响应盲估计的HOA编码方案，利用其稀疏性实现高效参数化表示，在单通道下压缩率优于IVAS且质量相当或更优。
2026-09-09 eess.AS
Yet Another Generative Model For Room Impulse Response Estimation
Supertone, Inc.（Supertone公司）
该研究针对房间冲激响应估计问题，提出基于残差量化自编码器与多轴Transformer变体的自回归令牌生成架构，同时解决盲估计与声学匹配任务，性能优于现有基线。
2023-11-05 cs.SD eess.AS
Matching Reverberant Speech Through Learned Acoustic Embeddings and Feedback Delay Networks
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Aalto University（阿尔托大学）
本研究提出利用声学嵌入和反馈延迟网络进行混响信号匹配，实现盲估计人工混响参数，在感知合理性和参数准确性上优于现有自动调优方法，适用于听觉增强现实。
2025-10-27 eess.AS
Towards Improved Room Impulse Response Estimation for Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Reality Labs Research at Meta（Meta现实实验室研究部）
我们提出了一种新的方法，盲室脉冲响应（RIR）估计系统的背景下，下游的应用场景，远场自动语音识别（ASR）。我们首先画出改进的RIR估计和改进的ASR性能之间的联系，作为评估神经RIR估计的一种手段。然后，我们提出了一种基于生成对抗网络（GAN）的架构，该架构对混响语音的RIR特征进行编码，并从编码的特征中构建RIR，并使用一种新的能量衰减救济损失来优化捕获输入混响语音的基于能量的特性。我们表明，我们的模型优于声学基准的最先进的基线（17\%的能量衰减救济和22\%的早期反射能量度量），以及在ASR评估任务（6.9\%的字出错率）。
2023-03-19 cs.AI cs.SD eess.AS
MOSRA: Joint Mean Opinion Score and Room Acoustics Speech Quality Assessment
Logitech Europe S.A.（罗技欧洲公司）
声学环境可降低通信期间的语音质量（例如，视频通话、远程演示、外部语音记录），并且其影响通常是未知的。考虑到影响语音质量的因素的多维性和收集标记数据的困难性，语音质量的客观度量已经被证明是具有挑战性的。假设声学对语音质量的影响，本文提出了MOSRA：一种非侵入性的多维语音质量度量，可以预测房间声学参数（SNR，STI，T60，DRR和C50）以及语音质量的总体平均意见得分（MOS）。通过显式优化模型来学习这些房间声学参数，我们可以提取更多信息的特征，并在训练数据有限的情况下提高MOS任务的泛化能力。此外，我们还表明，这种联合训练方法增强了室内声学的盲估计，提高了当前最先进模型的性能。这种联合预测的另一个副作用是提高了预测的可解释性，这对许多应用来说是一个有价值的功能。
2022-06-29 cs.AI cs.LG cs.SD
Gencho: Room Impulse Response Generation from Reverberant Speech and Text via Diffusion Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究）；University of Maryland（马里兰大学）；MIT（麻省理工学院）
Gencho通过扩散变压器模型从混响语音和文本生成房间脉冲响应，实现了更灵活和逼真的声学模拟与生成。
2026-02-09 cs.SD eess.AS
Novel-View Acoustic Synthesis from 3D Reconstructed Rooms
Apple（苹果公司）
本研究结合盲音频与三维重建房间信息，引入房间冲激响应使端到端网络协同完成声源定位、分离与去混响，在Matterport3D-NVAS数据集上实现新视角声学合成的优异性能。
2024-08-16 cs.CV cs.SD eess.AS
