Sound and Visual Representation Learning with Multiple Pretraining Tasks
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
不同的自我监督任务（SSL）揭示了不同的数据特征。所学习的特征表示可以针对每个下游任务表现出不同的性能。在这种情况下，这项工作的目的是结合多个SSL任务（多SSL），以及一般化的所有下游任务。具体来说，在这项研究中，我们调查双耳声音和图像数据隔离。对于双耳声音，我们提出了三个SSL任务，即空间对齐，前景对象的时间同步和双耳音频和时间间隙预测。我们研究了多SSL的几种方法，并深入了解OmniAudio数据集上的视频检索，空间声音超分辨率和语义预测的下游任务性能。我们对双耳声音表示的实验表明，通过SSL任务的增量学习（IL）的多SSL优于单SSL任务模型和完全监督模型的下游任务性能。作为对其他模态的适用性检查，我们还制定了我们的多SSL模型的图像表示学习，我们使用最近提出的SSL任务，MoCov 2和DenseCL。在这里，Multi-SSL在VOC 07分类上超过MoCov 2，DenseCL和DetCo等最新方法2.06%，3.27%和1.19%，在COCO检测上超过+2.83，+1.56和+1.61 AP。代码将公开提供。
2022-01-04 cs.CV cs.MM
A Closer Look at Weakly-Supervised Audio-Visual Source Localization
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
音视频源定位是一项具有挑战性的任务，旨在预测视频中视觉声源的位置。由于收集探测对象的地面实况注释可能成本高昂，近年来已经提出了大量的弱监督定位方法，这些方法可以通过利用音频和视觉信号的自然共现来从没有边界框注释的数据集中学习。尽管有很大的兴趣，流行的评估协议有两个主要缺陷。首先，它们允许使用完全注释的数据集来执行早期停止，从而显著增加了训练所需的注释工作。第二，当前的评估度量假设声源在任何时候都存在。这当然是一个不切实际的假设，因此需要更好的度量来捕获模型在没有可见声源的（负）样本上的性能。为了实现这一目标，我们扩展了流行的基准测试集，Flickr SoundNet和VGG-Sound Sources，以包括负样本，并使用平衡定位准确性和召回率的指标来衡量性能。使用新的协议，我们对现有的方法进行了广泛的评估，发现大多数现有的工作都无法识别阴性，并且存在严重的过拟合问题（严重依赖于早期停止以获得最佳结果）。我们还提出了一种新的方法，解决这两个问题的视觉声源定位。特别是，我们发现，通过极端的视觉辍学和使用动量编码器，所提出的方法有效地打击过拟合，并建立了一个新的国家的最先进的性能在Flickr SoundNet和VGG-Sound Source。代码和预训练模型可在https://github.com/stoneMo/SLAVC上获得。
2022-08-30 cs.CV cs.LG cs.MM
Exploiting Audio-Visual Consistency with Partial Supervision for Spatial Audio Generation
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
人的听觉体验是丰富的，耳朵所听到的声音是清晰的.用双耳音频录制的视频特别模拟人类如何接收环境声音。然而，大量视频仅具有单声道音频，这将由于缺乏环境信息而降低用户体验。为了解决这个问题，我们提出了一个音频空间化框架，利用音频和视觉组件之间的关系将单声道视频转换为双耳视频。通过在音频和视觉模态中保持左右一致性，我们的学习策略可以被视为一种自监督学习技术，并在训练期间使用地面真实双耳音频数据来消除对大量视频数据的依赖性。在基准数据集上的实验证实了我们提出的框架在半监督和全监督场景中的有效性，消融研究和可视化进一步支持使用我们的模型进行音频空间化。
2021-05-03 cs.CV cs.MM cs.SD
SoundNet: Learning Sound Representations from Unlabeled Video
MIT（麻省理工学院）
我们通过利用在野外收集的大量未标记的声音数据来学习丰富的自然声音表示。我们利用视觉和声音之间的自然同步，使用200万个未标记的视频来学习声学表示。未标记的视频的优势在于它可以大规模经济地获取，但包含有关自然声音的有用信号。我们提出了一个学生-教师的培训过程，将歧视性的视觉知识从建立良好的视觉识别模型转换为声音模态，使用未标记的视频作为桥梁。我们的声音表示产生了显着的性能改进的声学场景/对象分类的标准基准上的最先进的结果。可视化表明，一些高级语义自动出现在声音网络中，即使它是在没有地面真值标签的情况下训练的。
2016-10-27 cs.CV cs.LG cs.SD
Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们提出了一个简单而有效的自监督框架视听表示学习，本地化的声源在视频中。为了理解是什么使得能够学习有用的表示，我们系统地研究了数据增强的效果，并揭示了（1）数据增强的组合起着关键作用，即明确地鼓励视听表示对各种变换保持不变~（{ \em变换不变性}）;（2）强制几何一致性实质上提高了学习表示的质量，即，检测到的声源应当遵循应用于输入视频帧的相同变换~（{ \em变换等方差}）。大量的实验表明，我们的模型显着优于以前的方法在两个声音定位基准，即，Flickr-SoundNet和VGG-Sound。此外，我们还评估了音频检索和跨模态检索任务。在这两种情况下，我们的自监督模型表现出优越的检索性能，甚至与音频检索中的监督方法竞争。这表明，所提出的框架学习强大的多模态表示，有利于声音的本地化和推广到进一步的应用。\textit{All codes will be available}。
2022-08-15 cs.CV cs.MM cs.SD
Co-Localization of Audio Sources in Images Using Binaural Features and Locally-Linear Regression
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Technion-Israel Inst. of Technology（以色列理工学院）
本文讨论了使用双耳测量定位音频源的问题。我们提出了一个监督制定，同时本地化多个源在不同的位置。该方法本质上是有效的，因为与先前的工作相反，它既不依赖于声源分离，也不依赖于单声道分离。该方法从训练阶段开始，该训练阶段在所有源的方向坐标和从双耳测量中提取的听觉特征之间建立局部线性高斯回归模型。虽然固定长度的宽频谱声音（白噪声）用于训练，以可靠地估计模型参数，我们表明，测试（本地化）可以扩展到可变长度的稀疏频谱声音（如语音），从而使广泛的现实应用。事实上，我们证明，该方法可用于视听融合，即映射到图像上的语音信号，从而在空间上对齐的音频和视觉模态，从而能够区分说话和不说话的脸。我们发布了一个新的语料库的真实房间的录音，允许定量评估的共同定位方法在存在一个或两个声源。实验表明，相对于几个国家的最先进的方法提高了精度和速度。
2016-04-15 cs.MM cs.SD stat.AP
Supervising Sound Localization by In-the-wild Egomotion
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
提出利用自我运动作为监督信号学习双耳声音定位，结合传统双耳线索，在真实世界数据集上验证了模型的有效性。
2026-10-02 cs.AI cs.CV cs.MM
Rendering Spatial Sound for Interoperable Experiences in the Audio Metaverse
iZotope, Inc.（艾佐拓普公司）；Facebook Reality Labs（脸书现实实验室）；Magic Leap, Inc.（魔法 leap 公司）；Brian Schmidt Studios, LLC.（布莱恩·施密特工作室有限责任公司）
先前为视频游戏创作和渲染而开发的交互式音频空间化技术已经发展成为平台的重要组成部分，能够为未来的共存、远程协作和娱乐应用提供共享的沉浸式虚拟体验。新的可穿戴虚拟和增强现实显示器采用实时双耳音频计算引擎，该引擎呈现多个数字对象，并支持联网参与者或其化身通过真实和虚拟环境的并置（通常被称为Metaverse）的自由导航。这些应用需要一个参数化音频场景编程接口，以便于在移动计算平台和远程服务器上创建和部署共享的、动态的和逼真的虚拟3D世界。我们提出了一种实用的方法来设计参数6自由度的基于对象的交互式音频引擎，以提供必要的音频/视觉和虚拟/真实的一致性在Metaverse经验的感知相关的双耳线索。我们解决了室内混响，声反射器，和障碍物在虚拟和真实环境中的影响，并讨论了这种影响可能会被预先计算和实时声传播求解器的组合驱动。我们设想一个开放的场景描述模型蒸馏，以促进跨多个平台分布的可互操作的应用程序的开发，其中每个音频对象表示，对用户来说，一个自然的声源具有可控的距离，大小，方向和声辐射属性。
2021-09-26 cs.SD eess.AS
AV-SAM: Segment Anything Model Meets Audio-Visual Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对SAM在音频-视觉任务中探索不足的问题，提出AV-SAM框架，通过像素级音视融合聚合跨模态表征生成发声物体掩码，在相关数据集上取得有竞争力的定位与分割性能。
2023-05-03 cs.CV cs.LG cs.MM
SOAF: Scene Occlusion-aware Neural Acoustic Field
Australian National University（澳大利亚国立大学）；CSIRO Data61
提出场景遮挡感知声场（SOAF），利用距离感知参数化建模与场景结构变换，结合斐波那契球特征提取和方向感知注意力，实现室内多房间环境的新视角双耳音频生成，在RWAVS和SoundSpaces数据集上超越现有方法。
2025-03-30 cs.CV cs.SD eess.AS
AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis
University of Surrey（萨里大学）；Imperial College London（帝国理工学院）
针对NVAS中NeRF渲染低效且场景几何、材质与空间关系表征不足的问题，提出AV-GS显式高斯场景表示及音频自适应点致密化与剪枝策略，在RWAS和SoundSpaces上取得优于现有方法的性能。
2025-03-16 cs.AI cs.SD eess.AS
Reliability-Aware Geometric Fusion for Robust Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合具身智能研究实验室）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语种认知计算联合国际研究实验室）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
本文提出RAVN框架，通过音频衍生的可靠性线索条件跨模态融合，动态校准音频和视觉输入的整合，引入Acoustic Geometry Reasoner和Reliability-Aware Geometric Modulation，提升复杂环境下的导航性能。
2026-04-02 cs.AI cs.SD eess.AS
LAVSS: Location-Guided Audio-Visual Spatial Audio Separation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）
本文提出位置引导的音视频空间音频分离器 LAVSS，利用双耳相位差、视觉位置表示、多级跨模态注意力和预训练单声道分离器迁移知识，在 FAIR-Play 数据集上超越现有基准。
2023-10-31 cs.CV cs.MM cs.SD
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg（弗赖堡阿尔伯特-路德维希大学）
最近的视听导航工作针对无噪声音频环境中的单一静态声音，并努力推广到听不见的声音。我们介绍了新的动态视听导航基准，其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法，该方法依赖于多模态架构，该架构融合了来自双耳音频信号和空间占用图的空间视听信息，以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明，我们的方法优于当前最先进的技术，更好地推广到闻所未闻的声音和更好的鲁棒性，噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D，静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
A report on sound event detection with different binaural features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们比较使用双耳音频功能代替单通道功能的声音事件检测的性能。三种不同的双耳功能进行了研究，并在公开可用的TUT声音事件2017数据集的长度70分钟进行评估。声音事件检测使用堆叠的卷积和递归神经网络分别利用单声道和双耳特征来执行，并且使用出错率和F分数的标准度量来报告评估。所研究的双耳特征被认为在出错率度量方面一致地执行等于或优于单通道特征。
2017-10-09 cs.SD eess.AS
Interaural time difference loss for binaural target sound extraction
NTT Corporation（NTT公司）
本文针对双耳目标声音提取中空间线索易丢失的问题，提出显式空间损失，特别是新提出的双耳时间差（ITD）损失，在保持信号级指标的同时更好地保留目标声音的空间线索。
2024-08-01 cs.SD eess.AS
Geometry-Aware Multi-Task Learning for Binaural Audio Generation from Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook 人工智能研究院）
双耳音频为人类听众提供沉浸式空间声音体验，但大多数现有视频缺乏双耳音频记录。我们提出了一种音频空间化方法，利用视频中的视觉信息将其单声道（单通道）音频转换为双耳音频。而现有的方法利用直接从视频帧中提取的视觉特征，我们的方法明确地解开存在于视觉流中的几何线索，以指导学习过程。特别是，我们开发了一个多任务框架，通过考虑底层房间脉冲响应，视觉流与声源位置的一致性，以及随着时间的推移发声对象的几何形状的一致性，来学习双耳音频生成的几何感知特征。此外，我们引入了一个新的大型视频数据集与现实的双耳音频模拟现实世界的扫描环境。在两个数据集上，我们证明了我们的方法的有效性，达到了最先进的结果。
2021-11-21 cs.CV cs.SD eess.AS
Binaural Signal Representations for Joint Sound Event Detection and Acoustic Scene Classification
Tampere University（坦佩雷大学）
声音事件检测和声学场景分类是两个被广泛研究的音频任务，是声景物分析研究的重要组成部分。考虑到声音事件和声学场景之间的共享信息，联合执行这两项任务是复杂机器收听系统的自然部分。在本文中，我们研究了几种空间音频特征在训练执行SED和ASC的联合深度神经网络（DNN）模型中的有用性。实验进行两个不同的数据集，包含双耳录音和同步的声音事件和声学场景标签，以分析单独或联合执行SED和ASC之间的差异。所提出的结果表明，使用特定的双耳功能，主要是广义互相关相位变换（GCC-PHAT）和正弦和余弦的相位差，导致在单独的和联合的任务相比，基线方法的基础上logmel能量只有一个更好的表现模型。
2022-09-13 cs.CV cs.LG cs.SD
Fast processing explains the effect of sound reflection on binaural unmasking
Technical University of Munich（慕尼黑工业大学）
声音反射和后期混响改变了目标源的能量和双耳线索，从而影响了它在噪声中的检测。两个实验研究检测谐波复音，集中在500赫兹左右，在一个虚拟的房间与不同修改的模拟房间脉冲响应（RIR）的噪声。在消声空间中使用SOFE的扬声器可听化刺激。目标从前方或在0 $^\circ$方位呈现，而消声噪声掩蔽物同时在0 $^\circ$呈现。在第一个实验中，早期反射逐渐添加到RIR和混响目标的检测阈值进行了测量。对于正面声源，检测阈值下降，同时增加了前45毫秒的早期反射，而对于横向声源阈值保持不变。在第二个实验中，早期的反射被切断，而后期的反射与直达声一起被保留。0 $^\circ$处目标的结果表明，与仅直接声音相比，即使最晚150 ms的反射也会降低检测阈值。在短窗口中计算双耳暴露后，具有迟滞分量的双耳模型预测测量结果和文献结果比使用大窗口时更好。
2021-06-30 cs.SD eess.AS
End-to-end Binaural Sound Localisation from the Raw Waveform
University of Sheffield（谢菲尔德大学）
提出了一种新的端到端双耳声音定位方法，该方法直接从波形估计声源的方位角。我们的端到端系统方法使用卷积神经网络（CNN）从适合于定位的波形中提取特定特征，而不是采用通常用于双耳声音定位的手工制作的特征，例如耳间时间和电平差。提出了两种不同的系统在初始频率分析阶段。第一个系统是受启发的，并利用了gammatone滤波层，而第二个系统是完全数据驱动的，并利用可训练的卷积层来执行频率分析。在这两个系统中，然后采用一组专用的卷积核来搜索特定的定位线索，这些线索与使用完全连接层的定位阶段相耦合。在消声和混响环境中使用双耳模拟的本地化实验表明，所提出的系统优于最先进的深神经网络系统。此外，我们在第二个系统中的频率分析阶段的调查表明，CNN是能够利用不同的频带定位根据混响环境的特性。
2019-04-03 cs.SD eess.AS
Binaural Sound Event Localization and Detection based on HRTF Cues for Humanoid Robots
本文针对人形机器人提出基于HRTF特征的BiSELD任务，构建Binaural Set数据集，提出BTFF特征与BiSELDnet模型，在数据集上取得优异的SELD性能，验证了框架的有效性。
2026-09-03 cs.SD eess.AS
BAST: Binaural Audio Spectrogram Transformer for Binaural Sound Localization
Maastricht University（马斯特里赫特大学）；Utrecht University（乌得勒支大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain Cognition and Behavior（唐德斯脑认知与行为研究所）
本文提出端到端双耳音频频谱Transformer模型BAST，通过差分双耳积分与混合损失在消声和混响环境中实现高精度声源方位预测，显著超越CNN方法并验证了双耳Transformer的可行性。
2024-08-07 cs.LG cs.SD eess.AS
Multizone sound field reproduction with direction-of-arrival-distribution-based regularization and its application to binaural-centered mode-matching
Graduate School of Engineering, Kyoto University（京都大学工学研究科）；Research and Development Division, Yamaha Corporation（雅马哈公司研发部门）
本文提出基于到达方向分布的正则化方法，用于多区域声场重现及双耳中心模式匹配，通过抑制非目标方向次级源增益，提升远离中心区域的再现精度。
2025-02-22 cs.SD eess.AS
Perceptually Transparent Binaural Auralization of Simulated Sound Fields
本文系统总结并感知验证了基于波动声学模拟的多种双耳可听化方法，发现混响条件下各采样网格均透明，消声条件下仅高密度球面和立方体网格透明，并提供开源工具箱。
2025-09-19 cs.SD eess.AS
Binaural Sound Event Localization and Detection Neural Network based on HRTF Localization Cues for Humanoid Robots
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对仿人机器人双耳输入在仰角估计和前后混淆上的不足，提出BiSELDnet，利用八通道双耳时频特征和HRTF线索，实现声音事件的同时检测与定位，并在城市噪声下显著优于SOTA模型。
2025-08-06 cs.SD eess.AS
Joint Direction and Proximity Classification of Overlapping Sound Events from Binaural Audio
Tampere University（坦佩雷大学）
声源邻近度和距离估计在许多实际应用中具有很大的意义，因为它们为声学景物分析提供了重要的信息。由于这两项任务具有互补性，因此确保这两者之间的有效互动对于完整的听觉环境至关重要。在本文中，我们的目标是研究几种方法来执行联合接近和方向估计从双耳录音，都定义为粗分类问题的基础上深神经网络（DNN）。考虑到双耳音频的局限性，我们提出了两种方法，分裂成角度的领域，以获得一组方向类的球体。对于每种方法，我们研究不同的模型类型，以获取有关到达方向（DoA）的信息。最后，我们提出了各种方法结合的接近和方向估计问题到一个联合任务提供时间信息的出现源的起始和偏移。实验进行合成混响双耳数据集组成的两个重叠的声音事件。
2021-07-26 cs.LG cs.SD eess.AS
The role of direct sound spherical harmonics representation in externalization using binaural reproduction
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文研究双耳重放下直接声空间信息对声场外部化的影响，通过在球谐函数域模拟理想直接声表示并进行听力测试，发现增强直接声分量可显著提升一阶Ambisonics信号的外部化效果至接近三阶水平。
2024-01-01 cs.SD eess.AS
Modeling the Comb Filter Effect and Interaural Coherence for Binaural Source Separation
University of Surrey（萨里大学）；Qingdao University of Science and Technology（青岛科技大学）
用于双耳声源分离的典型方法仅考虑直达声作为混合中的目标信号。然而，在大多数情况下，这种假设限制了声源分离的性能。众所周知，早期反射与直达声相互作用，在收听位置处产生声学效果，例如所谓的梳状滤波器效果。在这篇文章中，我们提出了一种新的声源分离模型，该模型利用直达声和第一早期反射信息来模拟梳状滤波器的效果。这是通过观察从双耳混合的时间-频率表示获得的耳间相位差来完成的。此外，提出了一种方法来建模的信号的耳间相干性。包括与声音多径传播相关的信息，所提出的分离方法的性能相对于不使用这种信息的基线得到改善，如通过使用在四个房间中进行的具有不同大小和混响时间的双耳录音所示。
2019-10-04 cs.SD eess.AS
Natural statistics of binaural sounds
Max-Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Santa Fe Institute（圣塔菲研究所）
双耳声音定位通常被认为是一项辨别任务，其中利用纯频率通道处的耳间时间（ITD）和水平（ILD）差异来识别声源的位置。在自然条件下，双耳电路暴露于源自多个、通常移动和重叠的源的声波的刺激。因此，双耳线索的统计取决于声学特性和环境的空间配置。为了有效地处理双耳声音，听觉系统应该适应自然遇到的线索分布。以前从未研究过自然遇到的线索的统计数据及其对听觉场景物理特性的依赖性。在这里，我们进行了双耳录音的三个听觉场景具有不同的空间特性。我们已经分析了经验线索分布从每个场景，通过拟合它们与参数概率密度函数，允许一个简单的比较不同的场景。通过独立分量分析（ICA）和学习基函数的性质，分析了双耳波形的高阶统计量。所获得的结果可以与已知的神经元机制，并建议如何双耳听力可以理解的适应自然信号统计。
2014-03-01 cs.SD q-bio.NC
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
增强听力设备，如助听器和增强现实耳机，通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能，但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为，源重新混合过滤器，改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度：它对信号频谱造成的失真较小，特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
Learning Deep Direct-Path Relative Transfer Function for Binaural Sound Source Localization
Peking University（北京大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
直接路径相对传递函数（DP-RTF）是指两个麦克风通道的直接路径声学传递函数之间的比率。虽然DP-RTF完全编码的声音空间线索，并作为一个可靠的定位功能，它往往是错误的估计存在噪声和混响。本文提出了用深度神经网络学习DP-RTF，以实现鲁棒的双耳声源定位。DP-RTF学习网络被设计为将双耳传感器信号回归到DP-RTF的实值表示。它由分别提取通道间幅度和相位模式的分支卷积神经网络模块和用于联合特征学习的卷积循环神经网络模块组成。为了更好地探索语音频谱，以帮助DP-RTF估计，单声道语音增强网络被用来恢复直接路径频谱图从噪声的。增强的频谱图被堆叠到有噪声的频谱图上，作为DP-RTF学习网络的输入。我们训练一个独特的DP-RTF学习网络，使用许多不同的双耳阵列，使DP-RTF学习跨阵列的推广。该方法避免了耗时的训练数据收集和网络重新训练新阵列的过程，具有很好的实际应用价值。仿真和实际数据的实验结果表明，该方法在噪声和混响环境中对波达方向（DOA）估计是有效的，并且对未知双耳阵列具有良好的泛化能力。
2022-02-16 cs.SD eess.AS
Binaural Source Localization based on Modulation-Domain Features and Decision Pooling
在这项工作中，我们应用幅度调制谱（AMS）功能的源定位问题。我们的方法计算36双边功能为2s长的信号段，并通过双耳训练分类器估计声源的方位角方向。声源的该方向信息可以例如用于将助听器中的波束形成器操纵到感兴趣的源，以便增加SNR。我们在IEEE-AASP声源定位和跟踪挑战赛（LOCATA）的开发集上评估了我们的方法，并实现了比基线方法小4.25°的MAE。此外，我们的方法在计算上不那么复杂。
2018-12-06 cs.SD eess.AS
Points2Sound: From mono to binaural audio using 3D point cloud scenes
University of Music and Performing Arts Vienna（维也纳音乐与表演艺术大学）
提出Points2Sound多模态深度学习模型，利用3D点云场景提取视觉特征指导音频网络在波形域合成双耳音频，实现比2D更准确的虚拟音频声学渲染。
2023-05-19 cs.CV cs.SD eess.AS
Rectified binaural ratio: A complex T-distributed feature for robust sound localization
Inria Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）
现有的大多数双耳声源定位方法依赖于时频平面上的相位差和电平差线索的某种聚合。虽然存在不同的聚集方案，但它们通常是启发式的，并且在不利的噪声条件下受到影响。在本文中，我们介绍了纠正双耳比作为一个新的特征声源定位。我们发现，高斯过程点源信号被平稳高斯噪声破坏，这个比率遵循一个复杂的t-分布与明确的参数。这种新的配方提供了一个原则和统计上健全的方式来聚合双耳功能存在噪声。随后，我们推导出两个简单而有效的方法，鲁棒相对传递函数和时间延迟估计。在严重污染的模拟信号和语音信号上的实验证明了该方案的鲁棒性。
2016-09-30 cs.SD stat.AP
Listen2Scene: Interactive material-aware binaural sound propagation for reconstructed 3D scenes
University of Maryland（马里兰大学）
Listen2Scene提出一种基于图神经网络和条件生成对抗网络的端到端双耳声音传播方法，利用三维场景材质与拓扑生成声学效果，在RTX 2080 Ti上0.1毫秒内完成，经感知和定量评估优于现有方法。
2024-02-01 cs.CV cs.LG cs.MM
Semantic Audio-Visual Navigation in Continuous Environments
Wuhan University（武汉大学）；Zhongguancun Academy（中关村学院）；Shandong Jianzhu University（山东建筑大学）；Nankai University（南开大学）；Tsinghua University（清华大学）；CASIA（中国科学院自动化研究所）；UCAS（中国科学院大学）
本文提出MAGNet模型，通过多模态Transformer实现语义目标推理，提升在连续空间中导航的鲁棒性与成功率。
2026-03-20 cs.CV cs.SD
Dual Mean-Teacher: An Unbiased Semi-Supervised Framework for Audio-Visual Source Localization
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对视听源定位现有方法定位精度低、半监督方法未充分利用未标注数据的问题，提出含双师生结构的DMT无偏半监督框架，通过教师预测共识过滤噪声、取置信度图交集生成伪标签，仅用3%标注即大幅超越现有最优方法并可提升其他AVSL方法性能。
2024-03-05 cs.CV cs.LG cs.MM
SAGRNN: Self-Attentive Gated RNN for Binaural Speaker Separation with Interaural Cue Preservation
The Ohio State University（俄亥俄州立大学）；Facebook Reality Labs（Facebook现实实验室）；Facebook AI Research（Facebook人工智能研究院）；Tel-Aviv University（特拉维夫大学）
大多数现有的基于深度学习的双耳扬声器分离系统专注于为每个目标扬声器产生单耳估计，因此不保留耳间线索，这对于人类听众执行声音定位和侧化至关重要。在这项研究中，我们解决了独立于说话人的双耳扬声器分离与估计的双耳信号中保留的耳间线索。具体来说，我们扩展了一个新开发的门控递归神经网络的单声道分离，另外将自我注意力机制和密集的连接。我们开发了一个端到端的多输入多输出系统，它直接从混合的双耳波形映射到语音信号。实验结果表明，我们提出的方法实现了显着更好的分离性能比最近的双耳分离方法。此外，我们的方法有效地保留了耳间线索，提高了声音定位的准确性。
2020-11-14 cs.SD eess.AS
Robust Binaural Localization of a Target Sound Source by Combining Spectral Source Models and Deep Neural Networks
University of Sheffield（谢菲尔德大学）；University of Malaga（马拉加大学）
尽管有明确的证据表明自上而下（例如，注意力）在生物空间听觉中的影响，相对较少的机器听觉系统在声音定位中利用自顶向下的基于模型的知识。本文通过提出一种新的双耳声音定位框架来解决这个问题，该框架结合了关于声源频谱特性的基于模型的信息和深度神经网络（DNN）。首先在训练阶段期间使用从声音信号分离地提取的频谱特征来估计目标源模型和背景源模型。当背景源的身份不可用时，可以使用通用背景模型。在测试过程中，源模型被联合使用来解释混合观测，并通过选择性地加权基于DNN的定位系统输出的源方位后验来改善定位过程。为了解决训练和测试之间可能的不匹配，在测试期间进一步采用模型自适应过程，其以迭代方式直接从噪声观测中调整背景模型参数。因此，拟议的系统结合了基于模型和数据驱动的信息流在一个单一的计算框架。评估任务涉及在存在干扰源和室内混响的情况下定位目标语音源。我们的实验表明，通过利用基于模型的信息，以这种方式，声音定位性能可以大大提高各种噪声和混响条件下。
2019-04-05 cs.SD eess.AS
Systematic Evaluation of Time-Frequency Features for Binaural Sound Source Localization
Taighde Éireann – Research Ireland（塔尔德·爱尔兰——爱尔兰研究）
系统评估不同时频特征组合对双耳声源定位性能的影响，发现精心选择的特征组合（如通道频谱图结合ILD和IPD）可超越增加模型复杂度，为领域特定和通用定位提供实用指导。
2026-05-30 cs.LG cs.SD eess.AS
Proximal binaural sound can induce subjective frisson
Graduate School of Media and Governance, Keio University（庆应义塾大学媒体与治理研究科）；Faculty of Environment and Information Studies, Keio University（庆应义塾大学环境信息学部）；NTT Communication Science Laboratories（NTT通信科学研究所）；School of Psychology, Chukyo University（中京大学心理学部）
听觉震颤是在没有物理冷刺激的情况下与声音相关的寒冷或颤抖的感觉。已经报道了多个引起震颤的声音的例子，但听觉震颤的机制仍然难以捉摸。典型的引起震颤的声音可能包含隐约的效果，其中声音似乎接近听者的近个人空间。以往的研究声音在近个人空间提供了客观测量的声音诱导效果，但很少有调查的弗里森诱导声音的主观体验。在这里，我们探讨了是否有可能通过移动噪音（白噪音，滚动珠子噪音，或摩擦塑料袋产生的摩擦噪音）刺激周围的听众的头部产生的主观感觉的颤栗。我们的研究结果表明，声音引起的震颤可以体验到更强的听觉刺激时，围绕头部旋转（双耳移动的声音）比没有旋转（单耳静态声音），无论噪音的来源。Pearson相关分析表明，听觉刺激的几个声学特征，如耳间水平差（ILD）的方差，响度和锐度，与主观震颤的大小相关。我们还观察到，与静止的音乐声相比，移动音乐声引起的震颤的主观感受增加了。
2020-04-08 cs.MM cs.SD eess.AS
Efficient coding of spectrotemporal binaural sounds leads to emergence of the auditory space representation
Max-Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
迄今为止，许多研究表明，早期感觉神经元的感受野形状可以通过优化自然刺激集合的编码效率来再现。一个尚未解决的问题是，是否有效的编码假说解释了神经元的形成，明确代表不同的功能重要性的环境特征。本文提出，高级听觉神经元的空间选择性出现作为学习有效的代码自然双耳声音的直接后果。首先，它表明，一个线性有效的编码变换-独立分量分析（ICA）训练的自然模拟双耳声音的频谱图提取空间信息中存在的信号。提出了一种简单的分层ICA扩展，允许解码的声音位置。此外，研究表明，可以从自然听觉场景的双耳记录中学习揭示空间选择性的单位。在这两种情况下，相对较小的学习声谱图特征子群体足以执行准确的声音定位。因此，听觉空间的表示是以纯粹无监督的方式通过最大化编码效率来学习的，并且没有任何特定于任务的约束。这一结果意味着，有效的编码是一个有用的策略，学习结构，使行为重要的环境推断。
2014-02-19 cs.SD q-bio.NC
Individualizing Head-Related Transfer Functions for Binaural Acoustic Applications
McMaster University（麦克马斯特大学）；Mansoura University（曼苏拉大学）
头部相关传递函数（Head Related Transfer Function，HRTF）描述了人耳如何接收来自空间中某个点的声音，并取决于人的头部、耳廓和躯干的形状。人类主体的HRTF的准确估计在实现双耳声学应用（诸如声音定位和3D声音空间化）中是至关重要的。遗憾的是，用于HRTF估计的常规方法依赖于专用设备或冗长的测量过程。这项工作提出了一种新的轻量级方法HRTF个性化，可以实现使用商业现成的组件和普通用户在家庭环境中进行。所提出的方法有两个关键组成部分：一个生成神经网络模型，可以个性化的稀疏测量预测HRTF的新的主题，和一个轻量级的测量程序，收集HRTF数据的空间位置。使用公共数据集和来自10个不同年龄和性别的受试者的内部测量数据进行的广泛实验表明，个性化模型在预测HRTF的准确性方面显着优于基线模型。为了进一步证明个性化的HRTF的优势，我们实现了两个原型应用双耳定位和声空间化。我们发现，一个本地化模型的性能提高了15度后，训练与个性化的HRTF。此外，在听力测试中，个性化后正确识别传入声音方位角方向的成功率提高了183%。
2022-03-21 cs.SD eess.AS
Human-mimetic binaural ear design and sound source direction estimation for task realization of musculoskeletal humanoids
The University of Tokyo（东京大学）；TOYOTA MOTOR CORPORATION（丰田汽车公司）
本文提出由仿人双耳单元、声源方向估计和环境声音检测组成的类人听觉系统，并在肌肉骨骼人形机器人 Musashi 上验证其噪声环境中的视野外听觉任务能力。
2024-09-10 cs.RO cs.SD eess.AS
Stereo Audio Rendering for Personal Sound Zones Using a Binaural Spatially Adaptive Neural Network (BSANN)
Princeton University（普林斯顿大学）
本文提出使用BSANN生成耳部优化的扬声器滤波器，以实现多听众独立的立体声音频渲染，提升空间感知和声学准确性。
2026-01-10 cs.SD eess.AS
Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables
University of Washington（华盛顿大学）；Microsoft（微软）
本文提出语义听觉技术，通过首个双耳目标声音提取神经网络和泛化训练方法，使可听设备实时聚焦或忽略特定声音并保留空间线索，在20类声音和真实场景中验证有效。
2023-11-01 cs.LG cs.SD eess.AS
Binaural sound source localization using a hybrid time and frequency domain model
Reichman University（赖希曼大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；STMS, IRCAM - CNRS - Sorbonne Université - Ministère de la Culture（STMS，IRCAM - 法国国家科学研究中心 - 索邦大学 - 法国文化部）
本文提出一种基于HRTF的时频域混合深度学习模型，实现高精度全球面声源定位，平均角度误差仅0.24度，显著优于现有方法，可应用于机器人、虚拟现实及人工耳蜗辅助。
2024-02-06 cs.SD eess.AS
Beyond Mono to Binaural: Generating Binaural Audio from Mono Audio with Depth and Cross Modal Attention
IIT Kanpur（印度理工学院坎普尔分校）；CDAC Noida（诺伊达电子发展中心）；TensorTour Inc.（TensorTour公司）
双耳音频给听众一种身临其境的体验，可以增强增强和虚拟现实。然而，记录双耳音频需要具有在左耳和右耳中具有麦克风的假人头部的专门设置。这样的录音设置很难构建和设置，因此单声道音频已成为常见设备中的首选。为了获得与双耳音频相同的效果，最近的努力已经指向将单声道音频提升为以来自场景的视觉输入为条件的双耳音频。这些方法没有使用任务的重要线索：不同声音产生对象与麦克风的距离。在这项工作中，我们认为，场景的深度图可以作为一个代理，用于诱导场景中不同对象的距离信息，音频双耳化的任务。我们提出了一种新的编码器-解码器架构与分层注意力机制的图像，深度和音频特征联合编码。我们在最先进的Transformer网络之上设计网络，用于图像和深度表示。我们的经验表明，该方法优于国家的最先进的方法舒适的两个具有挑战性的公共数据集公平播放和音乐立体声。我们还证明了定性的结果，该方法能够专注于任务所需的正确信息。项目详情可在\url{https://krantiparida.github.io/projects/bmonobinaural.html}上查阅
2021-11-15 cs.CV cs.SD eess.AS
AuralNet: Hierarchical Attention-based 3D Binaural Localization of Overlapping Speakers
Southern University of Science and Technology (SUSTech)（南方科技大学）；China SUSTechChina（中国南方科技大学）；City University of Hong Kong（香港城市大学）；School of Automation and Intelligent Manufacturing（自动化与智能制造学院）；Department of Computer Science and Engineering（计算机科学与工程系）；Department of Mechanical Engineering（机械工程系）
AuralNet提出一种无需预知声源数量的三维双耳定位方法，通过由粗到细的门控架构、多头自注意力和掩码多任务损失联合优化检测与方位仰角估计，在噪声混响环境中优于近期方法。
2025-06-03 cs.SD eess.AS
Visually Informed Binaural Audio Generation without Binaural Audios
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
立体声音频，特别是双耳音频，在沉浸式观看环境中起着至关重要的作用。最近的研究已经探索了生成由多声道音频集合监督的视觉引导的立体声音频。然而，由于专业记录设备的要求，现有的数据集在规模和种类上受到限制，这阻碍了监督方法在真实世界场景中的推广。在这项工作中，我们提出了伪双耳，一个有效的管道，是免费的双耳录音。关键的洞察力是用单声道数据仔细构建伪视觉立体声对进行训练。具体来说，我们利用球谐分解和头部相关脉冲响应（HRIR）来识别空间位置和接收到的双耳音频之间的关系。然后在视觉模态中，单声道数据的对应视觉线索被手动放置在声源位置处以形成对。与完全监督的范例相比，我们的无双耳记录管道在跨数据集评估中表现出很大的稳定性，并在主观偏好下实现了相当的性能。此外，结合双耳录音，我们的方法能够进一步提高监督设置下的双耳音频生成的性能。
2021-04-13 cs.CV cs.MM cs.SD
FoleySpace: Vision-Aligned Binaural Spatial Audio Generation
School of Marine Science and Technology, Northwestern Polytechnical University（海洋科学与技术学院，西北工业大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）；Research and Development Institute of Northwestern Polytechnical University in Shenzhen, China（西北工业大学深圳研发院，中国）
FoleySpace提出一种视频到双耳音频生成框架，通过声源二维坐标与深度估计、三维轨迹映射并结合预训练V2A单声道音频作为扩散模型条件，实现视觉对齐的空间一致立体声生成，并在空间感知一致性上优于现有方法。
2025-08-21 cs.SD
Enhanced Robot Speech Recognition Using Biomimetic Binaural Sound Source Localization
University of Hamburg（汉堡大学）
受人类在嘈杂环境中说话行为的启发，我们提出了一种嵌入式认知方法，以提高机器人在具有挑战性的环境中的自动语音识别（ASR）系统，如自我噪声，使用双耳声源定位（SSL）。通过测量具有人形机器人头部的SSL对ASR系统性能的影响来验证该方法。更具体地说，机器人在进行ASR任务之前，将自己定向到语音的信噪比（SNR）最大化的角度。首先，我们在前人工作的基础上，借鉴中脑听觉系统的思想，构造了一个脉冲神经网络来计算声音信号的角度。然后，使用前馈神经网络来处理信号中的高水平的自我噪声和混响。最后，声音信号被馈送到ASR系统。对于ASR，我们使用了我们小组开发的系统，并比较了它的性能与不支持SSL。我们在两个具有不同结构和材料特性的人形平台上测试我们的SSL和ASR系统。通过我们的方法，我们将两个通道的共同下混的句子出错率减半。令人惊讶的是，当人形头部和声源之间的角度允许声波从耳廓最强烈地反射到耳麦克风时，而不是当声波垂直于膜到达时，ASR性能好两倍以上。
2019-02-13 cs.HC cs.LG cs.NE
Mixture-of-Experts Framework for Field-of-View Enhanced Signal-Dependent Binauralization of Moving Talkers
Stony Brook University（史泰森布鲁克大学）；Chalmers University of Technology（挑战大学）；Reality Labs Research, Meta（现实实验室研究，Meta）
本文提出一种专家混合框架，用于增强双耳信号匹配中的视野，通过动态空间音频渲染适应连续说话者运动，实现对选定方向声音的强调或抑制，同时保留自然双耳线索。
2025-09-25 cs.SD eess.AS stat.ML
A hemispheric two-channel code accounts for binaural unmasking in humans
Universität Oldenburg（奥尔登堡大学）
如果目标源和掩蔽源来自不同的位置，则噪声中的声音可以更好地检测或理解。哺乳动物生理学表明，这种双耳暴露背后的神经计算过程是基于两个半球通道，它们在相对神经元活动中编码耳间差异。在这里，我们介绍了双通道模型的数学公式-复值相关系数。我们表明，这种提法量化的时间波动的双耳差异，我们建议的基础双耳揭露。我们将此模型应用于广泛的心理声学实验库，占8项研究方差的98%。结合其成功的解释行为数据的生理兼容性，所提出的机制是一个重要的一步，统一的理解双耳解蔽和编码的耳间差异一般。
2022-10-07 cs.SD eess.AS
