Perceptually Transparent Binaural Auralization of Simulated Sound Fields
本文系统总结并感知验证了基于波动声学模拟的多种双耳可听化方法,发现混响条件下各采样网格均透明,消声条件下仅高密度球面和立方体网格透明,并提供开源工具箱。
2025-09-19 cs.SD eess.AS
Binaural Sound Event Localization and Detection Neural Network based on HRTF Localization Cues for Humanoid Robots
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对仿人机器人双耳输入在仰角估计和前后混淆上的不足,提出BiSELDnet,利用八通道双耳时频特征和HRTF线索,实现声音事件的同时检测与定位,并在城市噪声下显著优于SOTA模型。
2025-08-06 cs.SD eess.AS
The role of direct sound spherical harmonics representation in externalization using binaural reproduction
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文研究双耳重放下直接声空间信息对声场外部化的影响,通过在球谐函数域模拟理想直接声表示并进行听力测试,发现增强直接声分量可显著提升一阶Ambisonics信号的外部化效果至接近三阶水平。
2024-01-01 cs.SD eess.AS
Binaural SoundNet: Predicting Semantics, Depth and Motion with Binaural Sounds
MPI for Informatics(马克斯·普朗克信息学研究所);ETH Zürich(苏黎世联邦理工学院);Czech Technical University(捷克技术大学);KU Leuven(鲁汶大学)
人类可以通过使用视觉和/或听觉线索来鲁棒地识别和定位对象。虽然机器已经能够对视觉数据做同样的事情,但对声音做的工作较少。这项工作开发了一种纯粹基于双耳声音的场景理解方法。所考虑的任务包括预测发声对象的语义掩码、发声对象的运动和场景的深度图。为此,我们提出了一种新的传感器设置,并记录了一个新的视听数据集的街道场景与八个专业的双耳麦克风和360度摄像头。视觉和听觉提示的共存被用于监督转移。特别是,我们采用了一个跨模态蒸馏框架,该框架由多个视觉教师方法和一个声音学生方法组成-学生方法经过训练,可以生成与教师方法相同的结果。这样,可以在不使用人类注释的情况下训练听觉系统。为了进一步提高性能,我们提出了另一个新的辅助任务,创造空间声音超分辨率,以提高声音的方向分辨率。然后,我们将这四个任务制定为一个端到端的可训练多任务网络,旨在提高整体性能。实验结果表明:1)我们的方法对所有四个任务都取得了良好的效果,2)这四个任务是互利的-一起训练它们可以获得最佳性能,3)麦克风的数量和方向都很重要,4)从标准频谱图中学习的特征和经典信号处理管道获得的特征对于听觉感知任务是互补的。数据和代码已发布。
2022-02-27 cs.CV cs.SD eess.AS
Modeling the Comb Filter Effect and Interaural Coherence for Binaural Source Separation
University of Surrey(萨里大学);Qingdao University of Science and Technology(青岛科技大学)
用于双耳声源分离的典型方法仅考虑直达声作为混合中的目标信号。然而,在大多数情况下,这种假设限制了声源分离的性能。众所周知,早期反射与直达声相互作用,在收听位置处产生声学效果,例如所谓的梳状滤波器效果。在这篇文章中,我们提出了一种新的声源分离模型,该模型利用直达声和第一早期反射信息来模拟梳状滤波器的效果。这是通过观察从双耳混合的时间-频率表示获得的耳间相位差来完成的。此外,提出了一种方法来建模的信号的耳间相干性。包括与声音多径传播相关的信息,所提出的分离方法的性能相对于不使用这种信息的基线得到改善,如通过使用在四个房间中进行的具有不同大小和混响时间的双耳录音所示。
2019-10-04 cs.SD eess.AS
BAST: Binaural Audio Spectrogram Transformer for Binaural Sound Localization
Maastricht University(马斯特里赫特大学);Utrecht University(乌得勒支大学);Radboud University(拉德堡德大学);Donders Institute for Brain Cognition and Behavior(唐德斯脑认知与行为研究所)
本文提出端到端双耳音频频谱Transformer模型BAST,通过差分双耳积分与混合损失在消声和混响环境中实现高精度声源方位预测,显著超越CNN方法并验证了双耳Transformer的可行性。
2024-08-07 cs.LG cs.SD eess.AS
BINAQUAL: A Full-Reference Objective Localization Similarity Metric for Binaural Audio
School of Computer Science(计算机科学学院);University College Dublin(都柏林大学学院);Google LLC(谷歌公司)
本文提出全参考客观指标 BINAQUAL,将 AMBIQUAL 适配至双耳音频,以评估定位相似度,并证明其对空间变化敏感且与主观测试高度相关。
2025-10-19 cs.SD eess.AS
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
增强听力设备,如助听器和增强现实耳机,通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能,但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为,源重新混合过滤器,改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度:它对信号频谱造成的失真较小,特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
Learning Deep Direct-Path Relative Transfer Function for Binaural Sound Source Localization
Peking University(北京大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
直接路径相对传递函数(DP-RTF)是指两个麦克风通道的直接路径声学传递函数之间的比率。虽然DP-RTF完全编码的声音空间线索,并作为一个可靠的定位功能,它往往是错误的估计存在噪声和混响。本文提出了用深度神经网络学习DP-RTF,以实现鲁棒的双耳声源定位。DP-RTF学习网络被设计为将双耳传感器信号回归到DP-RTF的实值表示。它由分别提取通道间幅度和相位模式的分支卷积神经网络模块和用于联合特征学习的卷积循环神经网络模块组成。为了更好地探索语音频谱,以帮助DP-RTF估计,单声道语音增强网络被用来恢复直接路径频谱图从噪声的。增强的频谱图被堆叠到有噪声的频谱图上,作为DP-RTF学习网络的输入。我们训练一个独特的DP-RTF学习网络,使用许多不同的双耳阵列,使DP-RTF学习跨阵列的推广。该方法避免了耗时的训练数据收集和网络重新训练新阵列的过程,具有很好的实际应用价值。仿真和实际数据的实验结果表明,该方法在噪声和混响环境中对波达方向(DOA)估计是有效的,并且对未知双耳阵列具有良好的泛化能力。
2022-02-16 cs.SD eess.AS
Binaural Source Localization based on Modulation-Domain Features and Decision Pooling
在这项工作中,我们应用幅度调制谱(AMS)功能的源定位问题。我们的方法计算36双边功能为2s长的信号段,并通过双耳训练分类器估计声源的方位角方向。声源的该方向信息可以例如用于将助听器中的波束形成器操纵到感兴趣的源,以便增加SNR。我们在IEEE-AASP声源定位和跟踪挑战赛(LOCATA)的开发集上评估了我们的方法,并实现了比基线方法小4.25°的MAE。此外,我们的方法在计算上不那么复杂。
2018-12-06 cs.SD eess.AS
Joint Direction and Proximity Classification of Overlapping Sound Events from Binaural Audio
Tampere University(坦佩雷大学)
声源邻近度和距离估计在许多实际应用中具有很大的意义,因为它们为声学景物分析提供了重要的信息。由于这两项任务具有互补性,因此确保这两者之间的有效互动对于完整的听觉环境至关重要。在本文中,我们的目标是研究几种方法来执行联合接近和方向估计从双耳录音,都定义为粗分类问题的基础上深神经网络(DNN)。考虑到双耳音频的局限性,我们提出了两种方法,分裂成角度的领域,以获得一组方向类的球体。对于每种方法,我们研究不同的模型类型,以获取有关到达方向(DoA)的信息。最后,我们提出了各种方法结合的接近和方向估计问题到一个联合任务提供时间信息的出现源的起始和偏移。实验进行合成混响双耳数据集组成的两个重叠的声音事件。
2021-07-26 cs.LG cs.SD eess.AS
LuSeeL: Language-queried Binaural Universal Sound Event Extraction and Localization
Alibaba Group(阿里巴巴集团)
LuSeeL通过结合语言描述和双耳信号空间信息,实现对声音事件的高效提取与定位,提升了复杂听觉场景的理解能力。
2026-01-27 eess.AS
AuralNet: Hierarchical Attention-based 3D Binaural Localization of Overlapping Speakers
Southern University of Science and Technology (SUSTech)(南方科技大学);China SUSTechChina(中国南方科技大学);City University of Hong Kong(香港城市大学);School of Automation and Intelligent Manufacturing(自动化与智能制造学院);Department of Computer Science and Engineering(计算机科学与工程系);Department of Mechanical Engineering(机械工程系)
AuralNet提出一种无需预知声源数量的三维双耳定位方法,通过由粗到细的门控架构、多头自注意力和掩码多任务损失联合优化检测与方位仰角估计,在噪声混响环境中优于近期方法。
2025-06-03 cs.SD eess.AS
Binaural Signal Representations for Joint Sound Event Detection and Acoustic Scene Classification
Tampere University(坦佩雷大学)
声音事件检测和声学场景分类是两个被广泛研究的音频任务,是声景物分析研究的重要组成部分。考虑到声音事件和声学场景之间的共享信息,联合执行这两项任务是复杂机器收听系统的自然部分。在本文中,我们研究了几种空间音频特征在训练执行SED和ASC的联合深度神经网络(DNN)模型中的有用性。实验进行两个不同的数据集,包含双耳录音和同步的声音事件和声学场景标签,以分析单独或联合执行SED和ASC之间的差异。所提出的结果表明,使用特定的双耳功能,主要是广义互相关相位变换(GCC-PHAT)和正弦和余弦的相位差,导致在单独的和联合的任务相比,基线方法的基础上logmel能量只有一个更好的表现模型。
2022-09-13 cs.CV cs.LG cs.SD
Study of speaker localization with binaural microphone array incorporating auditory filters and lateral angle estimation
Ben Gurion University of the Negev(内盖夫本-古里安大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对双耳麦克风阵列说话人定位,提出用听觉滤波器组替代STFT,并设计基于变换HRTF的DOA搜索,仿真与实验验证其优于现有方法。
2023-10-31 cs.SD eess.AS
Individualizing Head-Related Transfer Functions for Binaural Acoustic Applications
McMaster University(麦克马斯特大学);Mansoura University(曼苏拉大学)
头部相关传递函数(Head Related Transfer Function,HRTF)描述了人耳如何接收来自空间中某个点的声音,并取决于人的头部、耳廓和躯干的形状。人类主体的HRTF的准确估计在实现双耳声学应用(诸如声音定位和3D声音空间化)中是至关重要的。遗憾的是,用于HRTF估计的常规方法依赖于专用设备或冗长的测量过程。这项工作提出了一种新的轻量级方法HRTF个性化,可以实现使用商业现成的组件和普通用户在家庭环境中进行。所提出的方法有两个关键组成部分:一个生成神经网络模型,可以个性化的稀疏测量预测HRTF的新的主题,和一个轻量级的测量程序,收集HRTF数据的空间位置。使用公共数据集和来自10个不同年龄和性别的受试者的内部测量数据进行的广泛实验表明,个性化模型在预测HRTF的准确性方面显着优于基线模型。为了进一步证明个性化的HRTF的优势,我们实现了两个原型应用双耳定位和声空间化。我们发现,一个本地化模型的性能提高了15度后,训练与个性化的HRTF。此外,在听力测试中,个性化后正确识别传入声音方位角方向的成功率提高了183%。
2022-03-21 cs.SD eess.AS
Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);Facebook AI Research(Facebook 人工智能研究院)
双耳音频为人类听众提供沉浸式空间声音体验,但大多数现有视频缺乏双耳音频记录。我们提出了一种音频空间化方法,利用视频中的视觉信息将其单声道(单通道)音频转换为双耳音频。而现有的方法利用直接从视频帧中提取的视觉特征,我们的方法明确地解开存在于视觉流中的几何线索,以指导学习过程。特别是,我们开发了一个多任务框架,通过考虑底层房间脉冲响应,视觉流与声源位置的一致性,以及随着时间的推移发声对象的几何形状的一致性,来学习双耳音频生成的几何感知特征。此外,我们引入了一个新的大型视频数据集与现实的双耳音频模拟现实世界的扫描环境。在两个数据集上,我们证明了我们的方法的有效性,达到了最先进的结果。
2021-11-21 cs.CV cs.SD eess.AS
Stereo Audio Rendering for Personal Sound Zones Using a Binaural Spatially Adaptive Neural Network (BSANN)
Princeton University(普林斯顿大学)
本文提出使用BSANN生成耳部优化的扬声器滤波器,以实现多听众独立的立体声音频渲染,提升空间感知和声学准确性。
2026-01-10 cs.SD eess.AS
Systematic Evaluation of Time-Frequency Features for Binaural Sound Source Localization
Taighde Éireann – Research Ireland(塔尔德·爱尔兰——爱尔兰研究)
系统评估不同时频特征组合对双耳声源定位性能的影响,发现精心选择的特征组合(如通道频谱图结合ILD和IPD)可超越增加模型复杂度,为领域特定和通用定位提供实用指导。
2026-05-30 cs.LG cs.SD eess.AS
Proximal binaural sound can induce subjective frisson
Graduate School of Media and Governance, Keio University(庆应义塾大学媒体与治理研究科);Faculty of Environment and Information Studies, Keio University(庆应义塾大学环境信息学部);NTT Communication Science Laboratories(NTT通信科学研究所);School of Psychology, Chukyo University(中京大学心理学部)
听觉震颤是在没有物理冷刺激的情况下与声音相关的寒冷或颤抖的感觉。已经报道了多个引起震颤的声音的例子,但听觉震颤的机制仍然难以捉摸。典型的引起震颤的声音可能包含隐约的效果,其中声音似乎接近听者的近个人空间。以往的研究声音在近个人空间提供了客观测量的声音诱导效果,但很少有调查的弗里森诱导声音的主观体验。在这里,我们探讨了是否有可能通过移动噪音(白噪音,滚动珠子噪音,或摩擦塑料袋产生的摩擦噪音)刺激周围的听众的头部产生的主观感觉的颤栗。我们的研究结果表明,声音引起的震颤可以体验到更强的听觉刺激时,围绕头部旋转(双耳移动的声音)比没有旋转(单耳静态声音),无论噪音的来源。Pearson相关分析表明,听觉刺激的几个声学特征,如耳间水平差(ILD)的方差,响度和锐度,与主观震颤的大小相关。我们还观察到,与静止的音乐声相比,移动音乐声引起的震颤的主观感受增加了。
2020-04-08 cs.MM cs.SD eess.AS
Binaural sound source localization using a hybrid time and frequency domain model
Reichman University(赖希曼大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);STMS, IRCAM - CNRS - Sorbonne Université - Ministère de la Culture(STMS,IRCAM - 法国国家科学研究中心 - 索邦大学 - 法国文化部)
本文提出一种基于HRTF的时频域混合深度学习模型,实现高精度全球面声源定位,平均角度误差仅0.24度,显著优于现有方法,可应用于机器人、虚拟现实及人工耳蜗辅助。
2024-02-06 cs.SD eess.AS
Binaural Localization Model for Speech in Noise
本文提出一种含加性内耳噪声的轻量级卷积循环网络,用于端到端定位混响噪声中的双耳语音,并通过算法对比和人类听辨测试验证其性能及双耳线索保持评估价值。
2025-07-26 eess.AS eess.SP
Semantic Object Prediction and Spatial Sound Super-Resolution with Binaural Sounds
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
人类可以通过整合视觉和听觉线索来鲁棒地识别和定位对象。虽然机器现在能够对图像做同样的事情,但对声音做的工作较少。这项工作开发了一种方法,密集的语义标记的声音制作对象,纯粹基于双耳的声音。我们提出了一种新的传感器设置和记录一个新的视听数据集的街道场景与八个专业的双耳麦克风和360度摄像头。视觉和听觉提示的共存被用于监督转移。特别是,我们采用了一个跨模态的蒸馏框架,由一个视觉的“老师”的方法和一个声音的“学生”的方法-学生的方法进行训练,以产生相同的结果作为教师的方法。这样,可以在不使用人类注释的情况下训练听觉系统。我们还提出了两个辅助任务,即,a)一个新的任务空间声音超分辨率,以增加声音的空间分辨率,和b)密集的深度预测的场景。然后,我们将这三个任务制定为一个端到端的可训练多任务网络,旨在提高整体性能。在数据集上的实验结果表明:1)我们的方法在语义预测和两个辅助任务方面取得了令人满意的结果; 2)这三个任务是互利的-一起训练它们可以实现最佳性能; 3)麦克风的数量和方向都很重要。数据和代码将被发布,以促进这一新方向的研究。
2020-03-09 cs.CV cs.MM cs.SD
Human-mimetic binaural ear design and sound source direction estimation for task realization of musculoskeletal humanoids
The University of Tokyo(东京大学);TOYOTA MOTOR CORPORATION(丰田汽车公司)
本文提出由仿人双耳单元、声源方向估计和环境声音检测组成的类人听觉系统,并在肌肉骨骼人形机器人 Musashi 上验证其噪声环境中的视野外听觉任务能力。
2024-09-10 cs.RO cs.SD eess.AS
Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables
University of Washington(华盛顿大学);Microsoft(微软)
本文提出语义听觉技术,通过首个双耳目标声音提取神经网络和泛化训练方法,使可听设备实时聚焦或忽略特定声音并保留空间线索,在20类声音和真实场景中验证有效。
2023-11-01 cs.LG cs.SD eess.AS
Binaural Unmasking in Practical Use: Perceived Level of Phase-inverted Speech in Environmental Noise
Sony Group Corporation(索尼集团)
本研究通过单耳相位反转提升嘈杂环境中语音的可听性,实验表明在实际场景中可使语音感知提升 5-6 dB。
2026-02-20 eess.AS
Performance Analysis Of Binaural Signal Matching (BSM) in the Time-Frequency Domain
本文针对可穿戴移动阵列,在时频域利用参数化声场分析双耳信号匹配(BSM)方法,通过分解直达与混响分量提升动态适应性,并验证了其在模拟环境中混响语音双耳重现的性能。
2023-11-23 eess.AS
AudioSpa: Spatializing Sound Events with Text
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI));Research and Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院)
本文提出 AudioSpa,利用大语言模型与融合多头注意力,将单声道参考音频中的声音事件按文本指定方向空间化为双耳音频,并通过定位模型和数据增强验证其效果。
2025-02-16 cs.SD eess.AS
Listen2Scene: Interactive material-aware binaural sound propagation for reconstructed 3D scenes
University of Maryland(马里兰大学)
Listen2Scene提出一种基于图神经网络和条件生成对抗网络的端到端双耳声音传播方法,利用三维场景材质与拓扑生成声学效果,在RTX 2080 Ti上0.1毫秒内完成,经感知和定量评估优于现有方法。
2024-02-01 cs.CV cs.LG cs.MM
Performance and Robustness of Signal-Dependent vs. Signal-Independent Binaural Signal Matching with Wearable Microphone Arrays
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev(内盖夫本-古里安大学电气与计算机工程学院)
本文针对高 DRR 场景,数学分析、仿真并通过听感测试验证两种信号依赖型 BSM,证明其可显著改善声源方向性能且在方向估计失准时鲁棒退化为信号无关型 BSM。
2025-02-14 cs.SD eess.AS
Mixture-of-Experts Framework for Field-of-View Enhanced Signal-Dependent Binauralization of Moving Talkers
Stony Brook University(史泰森布鲁克大学);Chalmers University of Technology(挑战大学);Reality Labs Research, Meta(现实实验室研究,Meta)
本文提出一种专家混合框架,用于增强双耳信号匹配中的视野,通过动态空间音频渲染适应连续说话者运动,实现对选定方向声音的强调或抑制,同时保留自然双耳线索。
2025-09-25 cs.SD eess.AS stat.ML
Real-time binaural speech separation with preserved spatial cues
Columbia University(哥伦比亚大学)
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出,因此丢弃了空间声源定位所需的空间线索。然而,保留空间信息在许多旨在准确呈现声学场景的应用中是重要的,例如在助听器和增强现实(AR)中。在这里,我们提出了一种语音分离算法,保留分离的声源的耳间线索,可以实现低延迟和高保真度,因此能够实时修改的声学场景。基于时域音频分离网络(TasNet),一个单通道时域语音分离系统,可以在实时实现,我们提出了一个多输入多输出(MIMO)端到端的TasNet扩展,以双耳混合音频作为输入,同时分离目标扬声器在两个通道。实验结果表明,所提出的端到端MIMO系统能够显著提高分离性能,并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
Sound Localization from Motion: Jointly Learning Sound Direction and Camera Rotation
University of Michigan(密歇根大学)
该研究提出“运动声音定位(SLfM)”任务,通过自监督联合训练视觉与音频模型,结合跨视图双耳化学习视听表征,实现独立部署的相机旋转估计与声源定位,性能达到自监督领域先进水平。
2023-08-21 cs.CV cs.SD eess.AS
Enhanced Robot Speech Recognition Using Biomimetic Binaural Sound Source Localization
University of Hamburg(汉堡大学)
受人类在嘈杂环境中说话行为的启发,我们提出了一种嵌入式认知方法,以提高机器人在具有挑战性的环境中的自动语音识别(ASR)系统,如自我噪声,使用双耳声源定位(SSL)。通过测量具有人形机器人头部的SSL对ASR系统性能的影响来验证该方法。更具体地说,机器人在进行ASR任务之前,将自己定向到语音的信噪比(SNR)最大化的角度。首先,我们在前人工作的基础上,借鉴中脑听觉系统的思想,构造了一个脉冲神经网络来计算声音信号的角度。然后,使用前馈神经网络来处理信号中的高水平的自我噪声和混响。最后,声音信号被馈送到ASR系统。对于ASR,我们使用了我们小组开发的系统,并比较了它的性能与不支持SSL。我们在两个具有不同结构和材料特性的人形平台上测试我们的SSL和ASR系统。通过我们的方法,我们将两个通道的共同下混的句子出错率减半。令人惊讶的是,当人形头部和声源之间的角度允许声波从耳廓最强烈地反射到耳麦克风时,而不是当声波垂直于膜到达时,ASR性能好两倍以上。
2019-02-13 cs.HC cs.LG cs.NE
Points2Sound: From mono to binaural audio using 3D point cloud scenes
University of Music and Performing Arts Vienna(维也纳音乐与表演艺术大学)
提出Points2Sound多模态深度学习模型,利用3D点云场景提取视觉特征指导音频网络在波形域合成双耳音频,实现比2D更准确的虚拟音频声学渲染。
2023-05-19 cs.CV cs.SD eess.AS
Generalizable Audio-Visual Navigation via Binaural Difference Attention and Action Transition Prediction
Joint Research Laboratory for Embodied Intelligence, Xinjiang University(新疆大学联合具身智能研究实验室);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University(新疆大学丝绸之路多语言认知计算联合国际研究实验室);School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院)
本文提出BDATP框架,通过双耳差异注意力增强空间定位并减少对语义类别的依赖,同时引入动作转移预测任务作为正则化项,提升模型在未见环境中的泛化能力,实验表明在Replica和Matterport3D数据集上取得显著性能提升。
2026-04-06 cs.AI cs.SD eess.AS
Model-matching Principle Applied to the Design of an Array-based All-neural Binaural Rendering System for Audio Telepresence
National Tsing Hua University(国立清华大学)
Telepresence的目标是为近端的用户在远端创建沉浸式但虚拟的视听场景体验。在这篇文章中,我们提出了一个基于阵列的双耳渲染系统,将阵列麦克风信号转换为头相关的传递函数(HRTF)滤波输出信号的耳机渲染。所提出的方法是根据模型匹配原理(MMP)制定的,并且能够提供比传统的定位-波束形成-HRTF滤波(LBH)方法更身临其境的体验。基于MMP的渲染系统可以通过多通道逆滤波(MIF)和多通道深度滤波(DIF)来实现。在这项研究中,我们采用了ESTA的方法,并使用LBH以及MIF作为基线。全神经系统联合捕获空间信息(空间渲染),保留环境声音(增强),并在生成双耳输出之前减少噪声(增强)。客观和主观的测试进行比较,建议的远程呈现系统与两个基线。
2023-03-06 cs.SD eess.AS
Exploiting Deep Neural Networks and Head Movements for Robust Binaural Localisation of Multiple Sources in Reverberant Environments
University of Sheffield(谢菲尔德大学);Technical University of Denmark(丹麦技术大学)
本文提出了一种新的机器听觉系统,该系统利用深度神经网络(DNN)和头部运动,在混响环境中对多个声源进行稳健的双耳定位。DNN用于学习源方位角和双耳线索之间的关系,包括完整的互相关函数(CCF)和耳间水平差(ILD)。与许多以前的双耳听力系统相比,所提出的方法不限于在额半野中定位声源。由于双耳线索的相似性,在前半和后半场,前后混淆经常发生。为了解决这个问题,头部运动策略被纳入本地化模型,以帮助减少前后错误。所提出的DNN系统相比,高斯混合模型(GMM)为基础的系统,采用耳间时间差(ITDs)和ILD作为本地化功能。我们的实验表明,DNN能够利用CCF中的信息,而这些信息在ITD提示中不可用,这与头部运动一起大大提高了在具有挑战性的声学场景下的定位精度,其中存在多个说话者和房间混响。
2019-04-05 cs.SD eess.AS
In-the-wild Audio Spatialization with Flexible Text-guided Localization
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室)
本文提出文本引导的音频空间化框架TAS,并构建包含37.6万样本的SpatialTAS数据集,通过文本提示实现对双耳音频空间位置的灵活交互式控制,在模拟与真实数据上均优于现有方法。
2025-06-01 cs.AI cs.SD eess.AS
TTMBA: Towards Text To Multiple Sources Binaural Audio Generation
School of Electronic Information(电子信息学院);School of Computing(计算学院)
本文提出TTMBA级联方法,利用大语言模型解析文本中的时间与空间信息,结合单声道生成和双耳渲染网络,实现具有时空控制的多声源双耳音频生成,并在生成质量和空间感知准确性上表现优越。
2025-07-22 cs.AI cs.SD eess.AS
Binaural Rendering of Ambisonic Signals by Neural Networks
ByteDance(字节跳动)
立体混响信号的双耳渲染在虚拟现实和沉浸式媒体中具有广泛的意义。传统方法通常需要手动测量头部相关传递函数(HRTF)。为了解决这个问题,我们收集了一个配对的立体声-双耳数据集,并以端到端的方式提出了一个深度学习框架。实验结果表明,神经网络优于传统的方法在客观度量和实现可比的主观度量。为了验证所提出的框架,我们实验探索不同的设置的输入功能,模型结构,输出功能,和损失函数。我们提出的系统实现了SDR的7.32和MOS的3.83,3.58,3.87,3.58的质量,音色,本地化和沉浸尺寸。
2022-11-04 cs.AI cs.SD eess.AS
Influence of Lossy Speech Codecs on Hearing-aid, Binaural Sound Source Localisation using DNNs
本文研究 BLE 场景下 LC3plus 有损编解码对双耳 DNN 声源定位的影响,比较单耳与中心处理条件,并扩展 Pyroomacoustics 支持 HD-HRTF。
2023-06-04 eess.AS
Two vs. Four-Channel Sound Event Localization and Detection
New York University(纽约大学);Bosch Research(博世研究院)
本文比较了FOA、双耳和立体声三种音频输入表示对DCASE 2022 SELD基线模型性能的影响,证明2通道模型仍能较好地进行横向定位与检测,并按声源复音程度分段分析了场景复杂度对性能的影响。
2023-09-23 cs.SD eess.AS
BatVision with GCC-PHAT Features for Better Sound to Vision Predictions
Technical University of Denmark(丹麦技术大学);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
受自然界中复杂的回声定位能力的启发,我们训练了一个生成对抗网络来预测声音中合理的深度图和灰度布局。为了实现这一点,我们的声音到视觉模型处理来自啁啾声音的双耳回声返回。我们建立在以前的工作与蝙蝠视觉,包括一个声音到视觉模型和一个自我收集的数据集使用我们的移动机器人和低成本的硬件。我们通过对模型进行几项更改来改进以前的模型,从而获得更好的深度和灰度估计,并提高感知质量。我们不是使用原始双耳波形作为输入,而是生成广义互相关(GCC)特征并将其用作输入。此外,我们改变了模型生成器,并将其基于残差学习,并将谱归一化用于神经网络。我们比较并提出了定量和定性的改进,我们以前的BatVision模型。
2020-06-14 cs.CV cs.RO cs.SD
Neural Field-of-View for Binaural Signal Matching with Wearable Microphone Arrays
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev(内盖夫本-古里安大学电气与计算机工程学院)
本文提出FoV-BSM-Net,一种基于卷积循环神经网络端到端学习视场参数的双耳信号匹配方法,无需显式声源定位,在模拟房间中显著提升双耳信号质量,尤其在高直达-混响比条件下。
2026-09-24 eess.AS
Spacing Out: On the Reliability of Binaural Music Source Separation Metrics
New York University(纽约大学)
研究探讨双耳音乐源分离,通过感知研究评估客观空间失真指标与人类感知的关联,发现现有指标评估双耳音乐任务缺乏可靠性,ITD估计敏感,两种替代方法有稳健性和准确性的权衡,强调需设计新指标。
2026-07-29 cs.SD eess.AS eess.SP
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外,用于听力设备的双耳降噪算法的重要目标是保留双耳线索,旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器,其可以使用期望源的相对传递函数(RTF)向量来操纵,将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场,需要一个额外的麦克风,在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零,我们表明可以获得RTF向量的无偏估计。基于真实世界的录音,几个混响时间的实验结果表明,建议的RTF估计优于广泛使用的RTF估计的基础上,协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS
Decomposing the Influence of Physical Acoustic Modeling on Neural Personal Sound Zone Rendering: An Ablation Study
Princeton University(普林斯顿大学)
本文通过消融研究,分析了物理声学建模对神经个人声音区域渲染的影响,发现RS-HRTF在双耳分离中表现最佳,FR提供频谱校准,DIR提供最稳定的声区分离效果。
2026-03-03 cs.SD eess.AS eess.SP
Multichannel Sound Event Detection Using 3D Convolutional Neural Networks for Learning Inter-channel Features
Tampere University of Technology(坦佩雷理工大学);Aalto University(阿尔托大学)
在本文中,我们提出了一个堆叠的卷积和递归神经网络(CRNN)与三维卷积神经网络(CNN)在第一层的多通道声音事件检测(SED)任务。3D CNN使网络能够从输入的多声道音频中同时学习声道间和声道内特征。为了评估所提出的方法,多声道音频数据集与不同数量的重叠声源合成。每个数据集都有一个四声道一阶Ambisonic,双耳和单声道版本,使用所提出的方法比较SED的性能,以研究使用多声道音频的SED的潜力。还对真实录音TUT-SED 2017开发数据集的双耳和单通道版本进行了类似的研究。所提出的方法可以更快地从多通道特征中识别重叠的声音事件,并且使用更少的训练时期来执行更好的SED。结果表明,在使用多声道高保真音频代替单声道音频时,我们将总体F分数提高了7.5%,总体出错率提高了10%,并且在具有四个重叠声源的时间帧中识别出15.6%以上的声音事件。
2018-01-29 cs.LG cs.SD eess.AS
Deep Learning for Personalized Binaural Audio Reproduction
Lab of Artificial Intelligence for Education, East China Normal University(人工智能教育实验室,华东师范大学);Guangdong Key Laboratory of Intelligent Information Processing, College of Electronics and Information Engineering, Shenzhen University(智能信息处理重点实验室,深圳大学电子与信息工程学院);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);School of Electronics and Communication Engineering, Guangzhou University(电子与通信工程学院,广州大学);School of Computer Science and Technology, East China Normal University(计算机科学与技术学院,华东师范大学);Medizinische Physik, Carl von Ossietzky University of Oldenburg(医学物理,奥尔登堡大学);Institute of Acoustics, Chinese Academy of Sciences(声学研究所,中国科学院)
本综述梳理了深度学习在个性化双耳音频重放领域的进展,将方法分为显式个性化滤波与端到端渲染两类,总结了相关数据集与评估指标,并探讨了应用、局限与研究方向。
2025-08-30 cs.SD eess.AS
Loss functions incorporating auditory spatial perception in deep learning -- a review
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev(本-古里安大学电气与计算机工程学院);Audio Communication Group, Technische Universität Berlin(柏林工业大学音频通信组)
本文综述了用于双耳重现的融合空间感知线索的损失函数,重点在于双耳信号的损失函数设计,强调了声源定位和房间响应等感知维度,指出定位线索如ITD和ILD是研究重点,而回声和房间声学属性研究较少。
2025-06-24 cs.SD eess.AS
Binaural LCMV Beamforming with Partial Noise Estimation
除了减少不期望的源(干扰源和背景噪声)之外,双耳波束成形算法的另一个重要目标是保留声学场景的空间印象,这可以通过保留所有声源的双耳线索来实现。虽然双耳最小方差无失真响应(BMVDR)波束形成器提供了良好的降噪性能并且保留了期望源的双耳线索,但是它不允许控制干扰源的减少并且使干扰源的双耳线索和背景噪声失真。因此,已经提出了几个扩展。首先,双耳线性约束最小方差(BLCMV)波束形成器使用额外的约束,使控制减少的干扰源,同时保留他们的双耳线索。第二,具有部分噪声估计的BMVDR(BMVDR-N)将BMVDR的输出信号与有噪声的参考麦克风信号混合,使得能够控制背景噪声的双耳线索。结合这两种扩展的优点,本文提出了部分噪声估计的BLCMV(BLCMV-N)。我们表明,BLCMV-N的输出信号可以被解释为噪声参考麦克风信号和BLCMV的输出信号的混合物,使用调整后的干扰缩放参数。我们提供了一个理论上的比较BMVDR,BLCMV,BMVDR-N和建议BLCMV-N的噪声和干扰降低性能和双耳线索保存。使用记录信号的实验结果以及感知收听测试的结果表明,BLCMV-N能够保留干扰源的双耳线索(如BLCMV),同时能够在降噪性能和背景噪声的双耳线索保留(如BMVDR-N)之间进行权衡。
2020-05-21 eess.AS
Minimum-Phase HRTF Modeling of Pinna Spectral Notches using Group Delay Decomposition
Indian Institute of Technology, Kanpur(坎普尔印度理工学院);University of Surrey(萨里大学)
HRTF的精确重建对于开发高质量的双耳声音合成系统是重要的。常规地,用于HRTF的重建的最小相位HRTF模型开发已被限制为忽略HRTF的全通分量的最小相位纯延迟模型。提出了一种基于群时延分解的最小相位HRTF建模方法。所提出的模型捕获的最小相位和HRTF的全通分量的贡献,从而促进HRTF的准确重建的PSN。首先使用傅里叶贝塞尔级数方法确定纯最小相位HRTF分量及其相应的空间角度,以确保PSN的连续演化。最小相位纯延迟模型被用来重建这些空间角度的HRTF。随后,使用与最小相位纯延迟模型级联的全通滤波器对需要最小相位和全通分量的空间角度进行建模。该模型的性能进行评估进行实验PSN提取,交叉相干分析,双耳合成。客观和主观评价结果表明,该模型在双耳声音合成中的意义。
2018-04-03 cs.SD eess.AS
Exploiting Audio-Visual Consistency with Partial Supervision for Spatial Audio Generation
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
人的听觉体验是丰富的,耳朵所听到的声音是清晰的.用双耳音频录制的视频特别模拟人类如何接收环境声音。然而,大量视频仅具有单声道音频,这将由于缺乏环境信息而降低用户体验。为了解决这个问题,我们提出了一个音频空间化框架,利用音频和视觉组件之间的关系将单声道视频转换为双耳视频。通过在音频和视觉模态中保持左右一致性,我们的学习策略可以被视为一种自监督学习技术,并在训练期间使用地面真实双耳音频数据来消除对大量视频数据的依赖性。在基准数据集上的实验证实了我们提出的框架在半监督和全监督场景中的有效性,消融研究和可视化进一步支持使用我们的模型进行音频空间化。
2021-05-03 cs.CV cs.MM cs.SD