Large-Scale Weakly Labeled Semi-Supervised Sound Event Detection in Domestic Environments
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）；Johannes Kepler University of Linz（林茨约翰内斯·开普勒大学）；Carnegie Mellon University（卡内基梅隆大学）
本文介绍了DCASE 2018任务4。该任务使用弱标记数据（无时间边界）评估大规模检测声音事件的系统。该系统的目标是不仅提供事件类别，而且提供事件时间边界，因为音频记录中可能存在多个事件。任务的另一个挑战是探索利用大量不平衡和未标记的训练数据以及小的弱标记训练集来提高系统性能的可能性。这些数据是来自家庭背景的Youtube视频摘录，这些视频具有许多应用，例如环境辅助生活。选择该领域是因为科学挑战（各种各样的声音，时间本地化的事件。.)和潜在的工业应用。
2018-07-27 cs.SD eess.AS
Swoosh! Rattle! Thump! -- Actions that Sound
CMU（卡内基梅隆大学）；NYU（纽约大学）
真正的智能体需要捕捉所有感官的相互作用，以建立对世界的丰富物理理解。在机器人技术中，我们已经看到了视觉和触觉感知的巨大进步;然而，我们经常忽略一个关键的感觉：声音。这主要是由于缺乏捕捉动作和声音相互作用的数据。在这项工作中，我们进行了第一次大规模的研究声音和机器人动作之间的相互作用。为此，我们使用我们的机器人平台Tilt-Bot创建了最大的声音-动作-视觉数据集，其中包含60个对象上的15，000个交互。通过倾斜物体并让它们撞到机器人托盘的墙壁上，我们收集了丰富的四声道音频信息。利用这些数据，我们探索了声音和行动之间的协同作用，并提出了三个关键的见解。首先，声音指示细粒度的对象类别信息，例如，声音可以区分金属螺丝刀和金属扳手。第二，声音也包含了关于动作的因果效应的信息，也就是说，给定产生的声音，我们可以预测对物体施加了什么动作。最后，从音频嵌入导出的对象表示指示隐含的物理属性。我们证明，在以前看不见的对象上，通过交互生成的音频嵌入可以比被动视觉嵌入更好地预测前向模型24%。项目视频和数据请访问https://dhiraj100892.github.io/swoosh/
2020-07-03 cs.CV cs.LG cs.RO
The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio
University of California, Berkeley（加州大学伯克利分校）
本文提出 MultiGen 框架，将生成式音频模型集成到物理仿真器中，在无真实机器人数据的情况下实现机器人倾倒任务的多模态仿真到现实零样本迁移。
2025-09-22 cs.CV cs.RO
A deep learning approach for understanding natural language commands for mobile service robots
Institute for Systems and Robotics（系统与机器人研究所）
使用自然语言给机器人指令是具有挑战性的，因为自然语言理解在很大程度上仍然是一个悬而未决的问题。在本文中，我们通过将注意力限制在建模为一个动作的命令加上参数（也称为插槽）来解决这个问题。对于动作检测（也称为意图检测）和槽填充，评估了递归神经网络和长短期记忆（LSTM）网络的各种架构，LSTM实现了卓越的准确性。由于所请求的动作可能不在机器人的能力范围内，因此使用支持向量机（SVM）来确定其是否在机器人的能力范围内。对于神经网络的输入，比较了几种词嵌入算法。最后，为了在机器人中实现该系统，使用SMACH状态机创建ROS包。然后，在国内服务机器人的背景下，使用众所周知的数据集和基准评估所提出的系统。
2018-07-09 cs.CL cs.RO
STReSSD: Sim-To-Real from Sound for Stochastic Dynamics
University of California Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）；University of Washington（华盛顿大学）；University of Sydney（悉尼大学）
声音是一种信息丰富的媒介，可以捕捉动态的物理事件。这项工作提出了STReSSD，一个框架，使用声音来弥合随机动力学的模拟到现实的差距，展示了弹跳球的典型情况。一个物理激励的噪声模型，以捕捉随机行为的球碰撞时与环境。无似然贝叶斯推理框架用于从音频观察推断噪声模型的参数以及称为恢复系数的材料属性。相同的推理框架和校准的随机模拟器，然后用于学习球动力学的概率模型。在两个机器人实验的动力学模型的预测能力进行了测试。首先，开环预测预测将球反弹到杯子中的概率成功。第二个实验将音频感知与机器人手臂集成，以实时跟踪和偏转弹跳球。我们设想，这项工作是一个步骤，为动态机器人任务集成基于音频的推理。实验结果可以在https://youtu.be/b7pOrgZrArk上查看。
2020-11-05 cs.RO
RealDESED: A Real-World Domestic Sound Event Detection Benchmark
Institute of Computational Perception, Johannes Kepler University Linz, Austria（计算感知研究所，约翰尼斯·开普勒大学林茨，奥地利）；LIT Artificial Intelligence Lab, Linz, Austria（LIT人工智能实验室，林茨，奥地利）
本文提出RealDESED真实世界家庭声音事件检测基准，由自然环境音频记录构成，具多注释者标注和丰富元数据。建立基于Transformer的基线并研究多种策略方法，该基准有助于弥合当前研究基准与实际部署间差距。
2026-07-21 cs.AI cs.SD eess.AS
RobotValues: Evaluating Household Robots When Human Values Conflict
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
提出RobotValues基准，通过10K个价值冲突场景评估家用机器人规划器，发现视觉语言模型存在默认价值偏好且难以覆盖，表明评估需考虑价值冲突下的行动选择。
2026-09-30 cs.AI cs.RO
Hibikino-Musashi@Home 2023 Team Description Paper
Kyushu Institute of Technology（九州工业大学）；The University of Kitakyushu（北九州市立大学）
本文介绍Hibikino-Musashi@Home团队为参加家庭标准平台联赛开发的技术，包括数据集生成器、开源开发环境及机器人系统，旨在实现协助人类的家政服务机器人，并提出脑启发人工智能系统。
2023-10-19 cs.RO
AGS: An Dataset and Taxonomy for Domestic Scene Sound Event Recognition
Harbin University of Science and Technology（哈尔滨理工大学）；Zhejiang Lab（之江实验室）
本文提出家庭场景声音事件识别数据集AGS，涵盖重叠音频与背景噪声，并基于该数据集比较先进方法，验证其可靠性并探讨新挑战。
2023-08-30 cs.AI cs.SD eess.AS
Domestic sound event detection by shift consistency mean-teacher training and adversarial domain adaptation
National Tsing Hua University（国立清华大学）
半监督学习和领域自适应技术由于具有大量未标记数据的可用性和相对容易生成合成强标记数据的特点，在国内声音事件检测领域引起了越来越多的关注。在以前的工作中，设计了几种半监督学习策略来提高平均教师模型的性能。也就是说，这些策略包括移位一致性训练（SCT），插值一致性训练（ICT）和伪标记。然而，对抗性领域自适应（ADA）似乎没有进一步提高事件检测的准确性时，我们试图弥补合成和真实数据之间的域差距。在这项研究中，我们经验性地发现，ICT往往会在t-SNE图中拉开合成数据和真实数据的分布。因此，ICT被放弃，而SCT，相反，被应用于训练学生和教师模型。通过这些修改，该系统成功地与ADA网络集成，我们在DCASE 2020任务4数据集上的F1得分达到47.2%，比之前的工作中报告的高出2.1%。
2022-08-17 cs.SD eess.AS
AID: Open-source Anechoic Interferer Dataset
International Audio Laboratories Erlangen（国际声学实验室埃尔朗根）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫整合电路研究所IIS）
提出一个家庭环境中各种声源的消声录音数据集，用于模拟复杂声学场景的非平稳环境噪声信号，并提供Python库生成随机混合干扰信号。
2026-06-17 cs.SD eess.AS
Binaural Sound Event Localization and Detection based on HRTF Cues for Humanoid Robots
本文针对人形机器人提出基于HRTF特征的BiSELD任务，构建Binaural Set数据集，提出BTFF特征与BiSELDnet模型，在数据集上取得优异的SELD性能，验证了框架的有效性。
2026-09-03 cs.SD eess.AS
Prototypical Contrastive Transfer Learning for Multimodal Language Understanding
Keio University（庆应义塾大学）
针对家用机器人难以依据自然语言指令识别目标物体的问题，提出 PCTL 与 Dual ProtoNCE 损失，利用真实和仿真数据迁移学习，将准确率提升至 78.1%。
2023-07-12 cs.CL cs.CV cs.RO
Hibikino-Musashi@Home 2024 Team Description Paper
Kyushu Institute of Technology（九州工业大学）；The University of Kitakyushu（北九州市立大学）
本文介绍Hibikino-Musashi@Home团队为参加国内标准平台联赛而开发的数据集生成器、开源模拟器环境及基于大语言模型的任务规划器，旨在构建家庭服务机器人并持续参赛改进系统。
2024-11-06 cs.RO
Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine
Keio University（庆应义塾大学）
针对人机协同下家用机器人从开放指令中检索目标物体的问题，提出MultiRankIt方法，利用跨模态编码器建模指代与区域关系，新数据集上优于基线，物理实验成功率达80%。
2023-12-26 cs.CL cs.CV cs.RO
Mind Your Manners! A Dataset and A Continual Learning Approach for Assessing Social Appropriateness of Robot Actions
University of Cambridge（剑桥大学）；Middle East Technical University（中东技术大学）
到目前为止，赋予机器人评估其行为的社会适当性的能力还不可能。这主要是由于：（一）缺乏相关和有标签的数据;（二）没有将这一问题作为终身学习问题加以阐述。在本文中，我们解决这两个问题。我们首先介绍了社会适当的家庭机器人动作数据集（MANNERS-DB），其中包含适当的标签，由人类注释的机器人动作。为了能够控制，但不同的场景和社会设置的配置，方式数据库已创建利用模拟环境，通过统一采样相关的上下文属性。其次，我们训练和评估的基线贝叶斯神经网络（BNN），估计社会适当的行动的方式数据库。最后，我们制定学习社会适当的行动作为一个持续学习的问题，使用的BNN参数的不确定性。实验结果表明，机器人动作的社会适当性可以预测具有令人满意的精度水平。我们的工作使机器人更接近人类对行动（社会）适当性的理解，这与它们所处的社会环境有关。为了促进这一领域的可重复性和进一步进展，MANNERS-DB、训练模型和相关代码将公开提供。
2020-07-24 cs.HC cs.RO
Break Out the Silverware -- Semantic Understanding of Stored Household Items
Bar Ilan University, Computer Science Department（巴伊兰大学计算机科学系）；Tufts University, Department of Computer Science（塔夫茨大学计算机科学系）
本研究提出NOAM模型，通过结合结构化场景理解和大语言模型推理，实现对家庭物品存储位置的语义理解，显著提升预测准确率并接近人类水平。
2025-12-25 cs.AI cs.CL cs.CV
Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
在其他基于学习的方法中，强化学习（RL）代表了解决复杂机器人任务（例如，致动、操纵、导航等），需要真实世界数据来训练这些系统是其最重要的限制之一。使用模拟器是解决这个问题的一种方法，但在模拟中获得的知识并不直接在现实世界中工作，这被称为仿真到现实迁移问题。虽然以前的工作集中在用作观察的图像的性质上（例如，纹理和照明），其已经被证明对于SIM到SIM的转移是有用的，但是它们忽略了关于所述观察的其它问题，例如精确的几何意义，在机器人到机器人以及因此在仿真到现实迁移中失败。我们提出了一种在由点云和环境随机化构建的观察空间上学习的方法，在机器人和模拟器之间进行推广，以实现模拟到真实，同时还解决了部分可观察性。我们展示了我们的方法在点目标导航任务上的优势，在该任务中，我们的方法被证明对机器人到机器人传输产生的看不见的场景高度不受影响，在机器人随机实验中优于基于图像的基线，并在模拟到模拟条件下表现出高性能。最后，我们进行了几个实验，以验证仿真到现实迁移的物理家用机器人平台，确认了我们的系统的开箱即用的性能。
2020-07-27 cs.CV cs.LG cs.RO
An Open-set Recognition and Few-Shot Learning Dataset for Audio Event Classification in Domestic Environments
Visualfy（Visualfy公司）；Universitat de Valencia（瓦伦西亚大学）；Universidad de Castilla-La Mancha（卡斯蒂利亚-拉曼恰大学）；Universitat Politècnica de València（瓦伦西亚理工大学）
用少量正样本进行训练的问题被称为少样本学习（FSL）。众所周知，传统的深度学习（DL）算法在使用大型数据集进行训练时通常表现出非常好的性能。然而，在许多应用中，不可能获得如此高数量的样本。在图像领域，典型的FSL应用包括与人脸识别相关的应用。在音频领域，音乐欺诈或说话人识别可以明显受益于FSL方法。本文论述了应用FSL检测特定的和故意的声音事件给出了不同类型的声音报警，如门铃或火警，使用有限数量的样本。这些声音通常发生在家庭环境中，其中发生了与各种各样的声音类别相对应的许多事件。因此，在实际场景中检测这样的警报可以被认为是开集识别（OSR）问题。为了解决音频FSL缺乏专用公共数据集的问题，研究人员通常会对其他可用数据集进行修改。本文旨在为音频识别社区提供OSR上下文中的FSL的仔细注释的数据集（https：//zenodo.org/record/3689288），该数据集由来自34个类别的1360个片段组成，分为模式声音和不需要的声音。为了方便和促进这方面的研究，结果与国家的最先进的基线系统的基础上迁移学习。
2022-04-11 cs.LG cs.SD eess.AS
DASEE A Synthetic Database of Domestic Acoustic Scenes and Events in Dementia Patients Environment
University of Wollongong（伍伦贡大学）；University of Wollongong in Dubai（迪拜伍伦贡大学）；University of Oslo（奥斯陆大学）
访问信息数据库是显著的研究发展的一个关键部分。在国内音频分类领域，近年来有了重大进展。虽然存在若干音频数据库，但是这些数据库在它们提供的信息的信息量方面是有限的，例如声源的确切位置和相关联的噪声水平。在这项工作中，我们详细介绍了我们的方法，生成一个公正的合成国内音频数据库，包括声音场景和事件，在安静和嘈杂的环境中进行仿真。数据经过精心策划，以反映痴呆症患者环境中常见的问题，并重现现实世界中可能发生的场景。同样，生成的房间脉冲响应基于希伯来老年生活设施的典型一居室公寓。其结果是，我们提出了一个11类数据库，其中包含摘录的清洁和嘈杂的信号在5秒的持续时间，均匀采样在16 kHz。使用我们的基线模型，使用连续小波变换比例图和AlexNet，这产生了86.24%的加权F1分数。
2021-05-13 cs.AI cs.SD eess.AS
Robust Sound Source Localization Using a Microphone Array on a Mobile Robot
Université de Sherbrooke（舍布鲁克大学）
移动机器人的听觉很重要，因为它是全方位的，不需要与声源保持直接的视线。这些功能可以很好地补充视觉，帮助定位环境中的人或有趣的事件。要做到这一点，机器人听觉系统必须能够在嘈杂的，未知的和多样化的环境条件下工作。在本文中，我们提出了一个强大的声源定位方法在三维空间中使用的阵列的8个麦克风。该方法是基于到达时间延迟估计。实验结果表明，移动机器人可以在3米范围内对不同类型的声源进行实时的定位，定位精度为3度。
2016-02-26 cs.RO cs.SD
Localization of Simultaneous Moving Sound Sources for Mobile Robot Using a Frequency-Domain Steered Beamformer Approach
Université de Sherbrooke（舍布鲁克大学）
现实生活中的移动机器人将受益于能够定位声源。这种能力可以很好地补充视觉，以帮助定位环境中的人或感兴趣的事件，并且还为诸如语音识别的其他能力提供增强的处理。在本文中，我们提出了一个强大的声源定位方法在三维空间中使用的阵列的8个麦克风。该方法是基于一个频域实现的转向波束形成器以及概率后处理器。实验结果表明，移动机器人可以在5 m范围内对多个不同类型的运动源进行实时的定位，响应时间为200 ms。
2016-02-27 cs.RO cs.SD
DESED-FL and URBAN-FL: Federated Learning Datasets for Sound Event Detection
Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）
近年来，环境背景下的声音事件检测（SED）研究受到越来越多的关注。所需的大量（私人）家庭或城市音频数据引起了重大的后勤和隐私问题。这些任务固有的分布式性质使联邦学习（FL）成为一种很有前途的方法，可以利用大规模数据，同时减轻隐私问题。虽然最近外语也受到了越来越多的关注，但据我们所知，还没有针对外语用于SED的研究。为了解决这一差距，并促进在这一领域的进一步研究，我们创建并发布了新的FL数据集，用于国内和城市环境中的SED。此外，我们提供了三个深度神经网络架构的FL上下文中的数据集的基线结果。结果表明，FL是一种很有前途的SED方法，但面临着分布式客户端边缘设备固有的不同数据分布的挑战。
2021-05-31 cs.DC cs.LG cs.SD
Robotic Blended Sonification: Consequential Robot Sound as Creative Material for Human-Robot Interaction
Queensland University of Technology（昆士兰科技大学）
本文提出“机器人混合声化”概念，通过实时捕获和处理机器人的伴随声音，并将其作为创意材料，探索其在人机交互艺术与应用研究中的潜力。
2024-04-22 cs.HC cs.RO cs.SD
Sound Judgment: Properties of Consequential Sounds Affecting Human-Perception of Robots
Monash University（莫纳什大学）；Faculty of Engineering（工程学院）；University of Melbourne（墨尔本大学）；School of Computing and Information Systems（计算与信息系统学院）
本文通过182名参与者的定性调查和主题分析，研究了机器人后果性声音的特性如何影响人类感知，发现人们偏好有信息性、有节奏且自然的声音，为改进机器人声音设计以增强人机交互提供了依据。
2025-02-04 cs.HC cs.RO cs.SD
Auditory System for a Mobile Robot
Faculté de génie（工程学院）
在这篇论文中，我们提出了一个人工听觉系统，使机器人能够定位和跟踪声音，以及分离同步声源和识别同步语音。我们证明，这是可能的，以实现这些功能，使用麦克风阵列，而不试图模仿人类的听觉系统。声源定位和跟踪算法使用转向波束形成器来定位源，然后使用多源粒子滤波器来跟踪源。同时声源的分离是通过几何声源分离（GSS）算法的一种变体实现的，结合了多源后置滤波器，进一步降低了噪声、干扰和混响。语音识别是在分离的源上执行的，或者直接执行，或者通过使用缺失特征理论（MFT）来估计语音特征的可靠性。结果表明，即使在嘈杂和混响的环境中，也可以同时跟踪多达四个声源。还演示了机器人的实时控制的声源。我们提出的声音声源分离的方法是能够实现一个13.7 dB的改善信噪比相比，一个单一的麦克风时，三个扬声器。在这些条件下，该系统在数字识别上表现出超过80%的准确率，高于大多数人类听众在我们的小型案例研究中仅识别其中一个来源时所能获得的准确率。所有这些新功能将使人类在现实生活中与移动机器人进行更自然的互动。
2016-02-22 cs.RO cs.SD
Robust Localization and Tracking of Simultaneous Moving Sound Sources Using Beamforming and Particle Filtering
CSIRO ICT Centre（澳大利亚联邦科学与工业研究组织信息与通信技术中心）；Université de Sherbrooke（舍布鲁克大学）
现实生活中的移动机器人将受益于能够定位和跟踪声源。这样的能力可以帮助定位环境中的人或感兴趣的事件，并且还为诸如语音识别的其他能力提供增强的处理。为了赋予机器人这种能力，挑战不仅是定位同步声源，而且要随着时间的推移跟踪它们。在本文中，我们提出了一个强大的声源定位和跟踪方法，使用八个麦克风阵列。该方法是基于一个频域实现的转向波束形成器以及基于粒子滤波器的跟踪算法。结果表明，移动机器人可以定位和跟踪实时多个不同类型的移动源在7米的范围内。这些新功能允许移动机器人使用更自然的方式与现实生活中的人进行交互。
2016-02-25 cs.RO cs.SD
Single-Microphone-Based Sound Source Localization for Mobile Robots in Reverberant Environments
针对现有声源定位依赖多麦克风阵列的问题，提出一种基于移动机器人单麦克风的在线定位方法，利用43k参数轻量网络估计距离并经扩展卡尔曼滤波实现定位，实验验证有效并开源。
2025-06-19 cs.RO cs.SD eess.AS
That Sounds Right: Auditory Self-Supervision for Dynamic Robot Manipulation
New York University（纽约大学）
学习从原始感官数据中产生接触丰富的动态行为一直是机器人技术的一个长期挑战。突出的方法主要集中于使用视觉或触觉感知，其中不幸的是，一种方法无法捕获高频交互，而另一种方法对于大规模数据汇集来说可能过于精细。在这项工作中，我们提出了一种以数据为中心的方法来动态操纵，使用一个经常被忽视的信息源：声音。我们首先使用商品接触式麦克风在五个动态任务中收集了25k个交互声音对的数据集。然后，给定这些数据，我们利用自监督学习来加速声音的行为预测。我们的实验表明，这种自我监督的“预训练”对于实现高性能至关重要，MSE比普通监督学习低34.5%，比视觉训练低54.3%。重要的是，我们发现，当被要求生成所需的声音配置文件时，我们的模型在UR10机器人上的在线推出可以产生动态行为，在音频相似性指标上比监督学习平均提高11.5%。
2022-10-03 cs.LG cs.RO cs.SD
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Fictional University（虚构大学）；University of the Imagination（想象大学）
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
Realtime Active Sound Source Localization for Unmanned Ground Robots Using a Self-Rotational Bi-Microphone Array
New Mexico State University（新墨西哥州立大学）
这项工作提出了一种新的技术，执行方向和距离定位的声源在三维（3D）空间中只使用耳间的时间差（ITD）的线索，由一个新开发的自旋转双麦克风机器人平台。在球坐标系下，采用状态空间模型建立系统动力学模型。状态空间模型的可观测性分析表明，当声源以$90$和$0$度的仰角放置时，系统是不可观测的。所提出的方法利用分别从3D和二维模型得到的方位角估计之间的差异来检查零度仰角条件，并使用多项式曲线拟合方法进一步估计仰角。此外，所提出的方法是能够检测$90$度海拔提取零ITD信号"埋"在噪声中。此外，通过首先旋转麦克风阵列以面向声源，然后将麦克风垂直于源-机器人向量移动固定步数的预定义距离来执行距离定位。麦克风阵列的集成旋转和平移运动仅使用ITD提示提供完整的定向和距离定位。一种新型的机器人平台，使用自旋转双麦克风阵列也开发了无人地面机器人进行声源定位。所提出的技术首先在模拟中进行了测试，然后在新开发的机器人平台上进行了验证。安装在KEMAR假人头上的麦克风收集的实验数据也被用来测试所提出的技术。所有的结果表明所提出的技术的有效性。
2018-04-10 cs.RO cs.SD eess.AS
Reverberant Sound Localization with a Robot Head Based on Direct-Path Relative Transfer Function
INRIA Grenoble Rhone-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；GIPSA-LAB（GIPSA实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文讨论了声源定位（SSL）与机器人头部，这仍然是一个挑战，在现实世界的环境中的问题。特别是，我们有兴趣在定位语音源，因为它们是高度感兴趣的人机交互。对应于直接路径声音传播的麦克风对响应是源方向的函数。在实践中，这种响应受到噪声和混响的污染。直接路径相对传递函数（DP-RTF）被定义为两个麦克风的直接路径声学传递函数（ATF）之间的比率，并且它是SSL的重要特征。我们提出了一种方法来估计DP-RTF从噪声和混响信号中的短时傅里叶变换（STFT）域。首先，采用卷积传递函数（CTF）近似来精确地表示麦克风阵列的冲激响应，并且CTF的第一系数主要由直达路径ATF组成。在每个频率下，通过谱减法获得逐帧语音的自功率谱密度和互功率谱密度（PSD）。然后将多帧语音的自功率谱密度和互功率谱密度构造成一组线性方程组，其中DP-RTF为未知量，通过求解该线性方程组进行估计。最后，估计的DP-RTF跨频率级联并用作SSL的特征向量。与机器人，放置在各种混响环境中的实验表明，该方法优于两个国家的最先进的方法。
2020-12-07 cs.RO cs.SD eess.AS
Reacting like Humans: Incorporating Intrinsic Human Behaviors into NAO through Sound-Based Reactions to Fearful and Shocking Events for Enhanced Sociability
Sharif University of Technology（谢里夫理工大学）；University of Padova（帕多瓦大学）
本文提出并实现了一个集成声音分类、LSTM-MDN动作生成和YOLO物体检测的恐惧模块，使NAO机器人能对突发巨响做出类人恐惧反应并定位声源，实验证明其能提升机器人社交性，且非专家期望更高。
2024-06-05 cs.AI cs.LG cs.RO
Deep Learning for Real-Time Sound Order Recognition in Human-Robot Interaction
针对人机交互中重叠声音时序识别的难题，提出多分支CNN结合注意力融合的深度学习框架，在三类实验条件下取得较高准确率，验证了实时可行性。
2026-08-06 cs.HC cs.SD
NeuralMUSIC: A Hybrid Neural-Subspace Framework for Robot Sound Source Localization
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
提出NeuralMUSIC混合框架，结合神经网络估计空间协方差矩阵与经典MUSIC子空间方法，通过频率注意力融合和自监督学习提升机器人声源定位的鲁棒性和跨域泛化能力。
2026-07-09 cs.AI cs.SD
Can a Robot Hear the Shape and Dimensions of a Room?
University of Technology Sydney（悉尼科技大学）
知道空间的几何形状对于许多应用是期望的，例如声源定位、声场再现或可听化。在只能获得声学信号的情况下，估计房间的几何形状是一个具有挑战性的命题。已经提出了现有的方法来从房间脉冲响应（RIR）重建房间。然而，声源和麦克风必须部署在房间的可行区域中才能工作，这在房间未知时是不切实际的。这项工作建议采用一个机器人配备了一个声源和四个声学传感器，按照建议的路径规划策略，在房间周围移动，收集第一图像源的房间几何形状估计。该策略可以有效地驱动机器人从一个随机的初始位置通过房间，使房间的几何形状是保证被揭露。所提出的方法的有效性进行了广泛的验证，在合成环境中，所获得的结果是非常有前途的。
2019-07-02 cs.RO cs.SD eess.AS
3D Localization of a Sound Source Using Mobile Microphone Arrays Referenced by SLAM
Université de Sherbrooke（舍布鲁克大学）
麦克风阵列可以为移动机器人提供在2D中定位、跟踪和分离远处声源的能力，即，估计它们的相对仰角和方位角。为了在现实世界中将声学数据与视觉信息相结合，必须建立空间相关性。本文探讨的方法包括两个机器人，每个机器人都配备了麦克风阵列，使用SLAM在共享的参考地图中定位自己。基于它们的位置，来自麦克风阵列的数据被用于在3D中相对于同一地图对声源的位置进行三角测量。这种策略的结果在一个新的合作声音映射方法，使用移动麦克风阵列。使用两个移动机器人定位静态或移动声源进行试验，以检查在哪些条件下这是可能的。结果表明，当两个机器人之间的相对角度为30度以上的静态声源，而误差在0.3米以下的角度在40度和140度之间的观察与移动声源。
2020-07-21 cs.SD eess.AS
Impact Makes a Sound and Sound Makes an Impact: Sound Guides Representations and Explorations
Universität Hamburg（汉堡大学）
声音是现实世界中信息量最大、最丰富的形式之一，同时通过可放置在移动设备上的小型廉价传感器，无需接触即可进行检测。虽然深度学习能够从多个感官输入中提取信息，但很少使用声音来控制和学习机器人动作。对于无监督的强化学习，期望智能体以自我监督的方式主动收集经验并共同学习表示和策略。我们建立现实的机器人操作场景与基于物理的声音模拟，并提出了内在的声音Currency模块（ISCM）。ISCM向强化学习器提供反馈，以学习鲁棒的表示并奖励更有效的探索行为。我们在预训练期间启用声音并在适应期间禁用声音进行实验，并表明ISCM学习的表示优于仅视觉基线的表示，并且当应用于下游任务时，预训练的策略可以加速学习过程。
2022-08-04 cs.LG cs.RO cs.SD
Sound-Based Recognition of Touch Gestures and Emotions for Enhanced Human-Robot Interaction
Ghent University（根特大学）；Ghent University-IMEC（根特大学-IMEC）；University of Surrey（萨里大学）
本文提出一种仅用触摸声音的轻量级模型，在保护隐私的同时识别触觉手势和情感唤醒度与效价，以极低参数量和计算量达到与大型预训练音频网络相近的效果。
2024-12-24 cs.HC cs.RO cs.SD
A Review on Sound Source Localization in Robotics: Focusing on Deep Learning Methods
Department of Management, Economics and Industrial Engineering, Politecnico di Milano, Via Lambruschini 24/b, 20156, Milan, Italy（管理、经济与工业工程系，米兰理工学院）；Department of Materials and Mechanical Engineering, University of Turku, Vesilinnantie 5, Turku, 20014, Finland（材料与机械工程系，图尔库大学）；Department of Electrical and Computer Engineering, University of Victoria, Victoria, BC V8P 5C2, Canada（电气与计算机工程系，维多利亚大学）
本文综述机器人声源定位，梳理经典方法与CNN、CRNN及注意力架构等深度学习进展，并按机器人类型和应用分类，指出鲁棒性、多声源与数据训练等挑战及未来路线。
2025-07-01 cs.LG cs.RO cs.SD
Enhanced Robot Speech Recognition Using Biomimetic Binaural Sound Source Localization
University of Hamburg（汉堡大学）
受人类在嘈杂环境中说话行为的启发，我们提出了一种嵌入式认知方法，以提高机器人在具有挑战性的环境中的自动语音识别（ASR）系统，如自我噪声，使用双耳声源定位（SSL）。通过测量具有人形机器人头部的SSL对ASR系统性能的影响来验证该方法。更具体地说，机器人在进行ASR任务之前，将自己定向到语音的信噪比（SNR）最大化的角度。首先，我们在前人工作的基础上，借鉴中脑听觉系统的思想，构造了一个脉冲神经网络来计算声音信号的角度。然后，使用前馈神经网络来处理信号中的高水平的自我噪声和混响。最后，声音信号被馈送到ASR系统。对于ASR，我们使用了我们小组开发的系统，并比较了它的性能与不支持SSL。我们在两个具有不同结构和材料特性的人形平台上测试我们的SSL和ASR系统。通过我们的方法，我们将两个通道的共同下混的句子出错率减半。令人惊讶的是，当人形头部和声源之间的角度允许声波从耳廓最强烈地反射到耳麦克风时，而不是当声波垂直于膜到达时，ASR性能好两倍以上。
2019-02-13 cs.HC cs.LG cs.NE
Lightweight and Optimized Sound Source Localization and Tracking Methods for Open and Closed Microphone Array Configurations
Université de Sherbrooke（舍布鲁克大学）；Interdisciplinary Institute for Technological Innovation (3IT)（跨学科技术创新研究所（3IT））
自然环境中的人机交互需要过滤掉环境中的不同声音源。这种能力通常涉及使用麦克风阵列在线定位、跟踪和分离声源。多麦克风信号处理技术可以提高对噪声的鲁棒性，但是处理成本随着所使用的麦克风的数量而增加，限制了响应时间并且在不同类型的移动机器人上广泛使用。由于声源定位方法在计算资源方面是最昂贵的，因为它们涉及扫描大的3D空间，因此最小化所需的计算量将有助于它们在机器人上的实现和使用。机器人的形状也对麦克风阵列的几何形状和配置带来了约束。此外，声源定位方法通常返回噪声特征，这些噪声特征需要通过跟踪声源来进行平滑和滤波。本文提出了一种新的声源定位方法，称为SRP-PHAT-HDA，扫描空间与粗和细分辨率网格，以减少内存查找的数量。麦克风方向性模型用于减少要扫描的方向的数量并且忽略不重要的麦克风对。还介绍了一种配置方法来自动设置通常根据麦克风阵列的形状经验调谐的参数。对于声源跟踪，本文提出了一种改进的三维卡尔曼（M3 K）方法，能够同时跟踪三维声源的方向。使用16个麦克风阵列和低成本硬件，结果表明，SRP-PHAT-HSA和M3 K执行至少与其他声源定位和跟踪方法一样好，同时分别使用高达4倍和30倍的计算资源。
2018-12-01 cs.SD eess.AS
Building Ears for Robots: Machine Hearing in the Age of Autonomy
Zoox, Inc.（Zoox公司）
本文以 robotaxi 外部麦克风阵列为例探讨机器人听觉的硬件设计与 SNR 测试，并提出基于概率机器人学、Bayes 滤波和 POMDP 的软件框架，将听觉纳入感知与决策。
2023-12-05 cs.RO cs.SD eess.AS
Binaural Sound Event Localization and Detection Neural Network based on HRTF Localization Cues for Humanoid Robots
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对仿人机器人双耳输入在仰角估计和前后混淆上的不足，提出BiSELDnet，利用八通道双耳时频特征和HRTF线索，实现声音事件的同时检测与定位，并在城市噪声下显著优于SOTA模型。
2025-08-06 cs.SD eess.AS
Fast and Robust 3-D Sound Source Localization with DSVD-PHAT
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了一种变形的奇异值分解与相位变换（SVD-PHAT），命名为差分SVD-PHAT（DSVD-PHAT），实现强大的声源定位（SSL）在嘈杂的条件下。实验是在Baxter机器人上进行的，机器人头部安装了四个麦克风平面阵列。结果表明，该方法提供了类似的鲁棒性的国家的最先进的多信号分类的基础上广义奇异值分解（GSVD-MUSIC）方法，噪声，并大大减少了计算量的一个因素250。因此，这种性能增益使得DSVD-PHAT在具有有限机载计算能力的机器人上的实时应用具有吸引力。
2019-07-29 cs.SD eess.AS
Sound Tagging in Infant-centric Home Soundscapes
Worcester Polytechnic Institute（伍斯特理工学院）；University of Illinois（伊利诺伊大学）；Beckman Institute for Advanced Science and Technology（贝克曼先进科学技术研究院）
本研究针对家庭环境中以婴儿为中心的声音标注问题，通过婴儿佩戴设备收集22个家庭数据，评估并优化大型预训练模型AST在稀疏不平衡数据上的性能，发现结合公开数据集微调可将F1分数提升至0.84。
2024-06-25 cs.LG cs.SD eess.AS
