Learning Safe, Generalizable Perception-based Hybrid Control with Certificates
MIT(麻省理工学院)
许多机器人任务需要摄像头和激光雷达等高维传感器来导航复杂的环境,但围绕这些传感器开发可证明安全的反馈控制器仍然是一个具有挑战性的开放问题,特别是当涉及学习时。以往的工作已经证明了安全的感知反馈控制器分离的感知和控制子系统,并作出强有力的假设的感知子系统的能力。在这项工作中,我们介绍了一种新的学习使能的感知反馈混合控制器,在那里我们使用控制障碍函数(CBFs)和控制李雅普诺夫函数(CLFs),以显示一个全栈感知反馈控制器的安全性和活性。我们使用神经网络直接在机器人的观测空间中学习全栈系统的CBF和CLF,而不需要假设单独的基于感知的状态估计器。我们的混合控制器,称为LOCUS(学习启用观察-使用切换的反馈控制),可以安全地导航未知环境,始终达到其目标,并安全地推广到训练数据集之外的环境。我们在仿真和硬件实验中展示了LOCUS,它使用激光雷达传感器的反馈成功地导航了不断变化的环境。
2022-01-04 cs.RO cs.SY eess.SY
Evaluation Framework for Sensor Configuration Impact on Deep Learning-Based Perception
University of Warwick(沃里克大学);Warwick Manufacturing Group (WMG)(沃里克制造集团)
本文提出一个基于仿真的评估框架,用于分析传感器模态与参数设置对深度学习感知功能的影响,并通过周围轨迹预测案例证明窄水平视场角雷达为最优配置。
2025-05-07 cs.RO
Towards Sensor Data Abstraction of Autonomous Vehicle Perception Systems
University of Kassel, Germany(卡塞尔大学)
本文提出通过传感器数据抽象提升自动驾驶感知系统在不同传感器设置下的迁移能力。
2025-11-24 cs.RO
Robust Perception Architecture Design for Automotive Cyber-Physical Systems
Colorado State University(科罗拉多州立大学)
在新兴的汽车信息物理系统(CPS)中,准确的环境感知对于实现安全和性能目标至关重要。实现车辆的鲁棒感知需要解决与传感器选择/放置、目标检测和传感器融合相关的多个复杂问题。目前的方法孤立地解决这些问题,这导致效率低下的解决方案。我们提出了PASTA,这是一个新的框架,用于深度学习和传感的全局协同优化,以实现可靠的车辆感知。Audi-TT和BMW-Minicooper车辆的实验结果显示了PASTA如何找到强大的、特定于车辆的感知架构解决方案。
2022-05-17 cs.LG cs.RO cs.SY
Perception Entropy: A Metric for Multiple Sensors Configuration Evaluation and Design
SenseTime(商汤科技)
传感器配置,包括传感器的选择及其安装位置,在自动驾驶中起着至关重要的作用。设计良好的传感器配置显著提高了感知系统的性能上限。然而,由于利用多个传感器正在成为主流设置,现有的方法主要集中在单传感器配置问题几乎没有在实践中使用。为了解决这些问题,我们提出了一种新的方法,基于贝叶斯理论中的条件熵来评估包含相机和激光雷达的传感器配置。相应地,引入了一种评价指标--感知熵来衡量两种配置之间的差异,该指标综合考虑了感知算法的性能和传感器的选择。据我们所知,这是解决自动驾驶汽车多传感器配置问题的第一种方法。仿真结果,广泛的比较和分析都证明了我们所提出的方法的优越性能。
2021-04-14 cs.CV cs.RO
Learning Sensory-Motor Associations from Demonstration
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Stuttgart University(斯图加特大学);University of Siegen(锡根大学)
我们提出了一种方法,产生反应机器人的行为,从人类示范。为了做到这一点,我们使用Playful程序设计语言,它是基于反应式编程范式。这使我们能够将学习到的行为表示为人类可读脚本中传感器和运动原语之间的一组关联。区分传感器和运动原语引入了补充级别的粒度,更重要的是加强反馈,提高适应性和鲁棒性。正如实验部分所示,有用的行为可以从覆盖任务空间的非常有限的部分的单个演示中学习。
2020-07-22 cs.RO
How the Fusion of Onboard Sensors and V2X Data can Improve (or not) the Cooperative Perception of Connected Automated Vehicles
Uwicore lab.(Uwicore实验室);Universidad Miguel Hernández de Elche (UMH)(米格尔·赫尔内兹德埃尔切大学)
研究分析传感测量误差、V2X数据包丢失和GNSS不准确对联网自动驾驶车辆协同感知有效性的影响,凸显其相比单独车载传感器在提升感知方面的潜力,同时指出融合中幽灵车辆生成的挑战需解决。
2026-07-09 cs.NI cs.RO
"Touching to See" and "Seeing to Feel": Robotic Cross-modal SensoryData Generation for Visual-Tactile Perception
Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
视觉-触觉刺激的整合在人类执行日常任务时是常见的。相反,使用单峰视觉或触觉感知限制了主体的可感知维度。然而,整合视觉和触觉感知以促进机器人任务仍然是一个挑战。在本文中,我们提出了一个新的框架,用于视觉和触觉感知的跨模态感觉数据生成。以纹理感知为例,我们应用条件生成对抗网络从其他模态的数据中生成伪视觉图像或触觉输出。大量的实验上的ViTac数据集的布料纹理表明,所提出的方法可以产生逼真的输出从其他感官输入。我们采用结构相似性指数来评估生成的输出和真实数据的相似性,结果表明,真实的数据已经产生。分类评估也已执行,以表明包括生成的数据可以提高感知性能。所提出的框架有可能扩展分类任务的数据集,生成不易访问的感官输出,并推进综合视觉-触觉感知。
2019-02-17 cs.RO
Grounding object perception in a naive agent's sensorimotor experience
AI Lab, Aldebaran(Aldebaran AI实验室)
人工目标感知通常依赖于先验定义的模型和特征提取算法。我们研究如何对象的概念可以接地在一个天真的代理的感觉运动的经验。在没有任何关于自身或所处世界的知识的情况下,智能体探索其感觉运动空间,并将物体识别为独立于其上下文的一致的感觉运动转换网络。预测的基本驱动力是假设从发展的角度来解释这种网络的出现。提出了一种算法,并进行了测试,以说明该方法。
2016-09-26 cs.LG cs.RO
TacVerse: A Multi-Sensor Dataset and Benchmark for Cross-Sensor Vision-Based Tactile Perception
Imperial College London(帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学)
提出TacVerse多传感器数据集与基准,包含7种视觉触觉传感器的106800张图像,支持形状分类、光栅分类和力回归任务,实验表明跨传感器直接迁移性能下降,而少样本适应可提升力回归性能。
2026-06-25 cs.RO
Enhancing Multi-Robot Perception via Learned Data Association
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们解决了多机器人协作感知问题,特别是在多视图填充分布式语义分割的背景下。这种设置带来了一些现实世界的挑战,特别是那些与未注册的多代理图像数据有关的挑战。解决方案必须有效地利用多个、非静态和不规则重叠的RGB视角。为此,我们提出了多智能体填充网络:一个可扩展的神经架构,可以部署(以分布式方式)在机器人群中的每个代理。具体来说,每个机器人负责本地编码和解码视觉信息,可扩展的神经机制允许中间特征的不确定性感知和基于上下文的交换。我们在一个现实的多机器人AirSim数据集上展示了改进的性能。
2021-07-01 cs.CV cs.MA cs.RO
Disambiguating Affective Stimulus Associations for Robot Perception and Dialogue
University of Hamburg(汉堡大学)
有效地识别并将情感应用于交互是社交机器人非常理想的特性。内隐理解主体如何体验世界上不同种类的动作和物体对于自然的HRI交互至关重要,有可能执行积极的动作并避免消极的动作。在本文中,我们利用NICO机器人的外观和能力,使NICO的能力,感知的听觉刺激和时间异步的情感表达之间的连贯的情感关联模型。这是通过结合视觉和语言的情感效价评估来完成的。NICO使用这些信息来决定何时延长会话,以便在关联的表示不连贯的情况下积累更多的情感信息。我们的主要贡献是提供一个NICO机器人的能力,学习感知的听觉刺激和情感表达之间的情感关联。NICO能够对个体受试者和特定刺激物做到这一点,并借助情感驱动的对话系统来纠正情感表达的不连贯性。然后,机器人能够使用该信息来确定受试者在真实HRI场景中对感知到的听觉刺激的享受。
2021-03-05 cs.CL cs.CV cs.RO
S2S-Net: Addressing the Domain Gap of Heterogeneous Sensor Systems in LiDAR-Based Collective Perception
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems(图宾根大学科学学院计算机科学系嵌入式系统部)
本文针对 V2V 协同感知中的异构 LiDAR Sensor2Sensor 域差距,提出传感器域鲁棒架构 S2S-Net,并在 SCOPE 数据集上验证其泛化性能最高领先现有方法 44 个百分点。
2025-09-29 cs.CV cs.RO
Shear-invariant Sliding Contact Perception with a Soft Tactile Sensor
Bristol Robotics Laboratory(布里斯托尔机器人实验室);University of Bristol(布里斯托尔大学)
操作任务通常需要机器人与物体持续接触。因此,触觉感知系统需要处理连续的接触数据。剪切变形导致触觉传感器输出与路径相关的读数,而不是离散的接触读数。因此,在一些连续接触任务中,滑动可以被视为对传感器信号的干扰。在这里,我们提出了一个剪切不变的感知方法的基础上,主成分分析(PCA),输出所需的信息,尽管滑动运动的环境。顺应性触觉传感器(TacTip)用于研究连续触觉接触。首先,我们使用传感器滑过边缘时收集的测试数据离线评估该方法。然后,该方法被用于一个轮廓以下的任务,适用于6个不同曲率的对象,所有的轮廓被成功地跟踪。该方法展示了泛化能力,并可能成为一个更复杂的控制器,在非结构化环境中具有挑战性的操纵或探索任务的基础。一段视频展示了论文中描述的工作,可以在https://youtu.be/wrTM61-pieU上找到。
2019-05-02 cs.RO
BayesCPF: Enabling Collective Perception in Robot Swarms with Degrading Sensors
Worcester Polytechnic Institute(伍斯特理工学院)
本文提出BayesCPF方法,通过扩展卡尔曼滤波器使传感器持续退化的机器人集群准确估计环境填充率,并在多种退化模型和实验中验证其估计性能接近已知真实传感器精度的情形。
2025-04-07 cs.RO
Privacy-Aware Sharing of Raw Spatial Sensor Data for Cooperative Perception
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出SHARP框架,旨在通过减少隐私泄露促进原始数据驱动的协作感知,同时探讨实现该框架的开放性问题。
2025-12-18 cs.CV cs.NI cs.RO
Task-relevant Representation Learning for Networked Robotic Perception
NEC Corporation(日本电气股份有限公司);Stanford University(斯坦福大学)
今天,即使是计算和功率最有限的机器人也可以测量复杂的高数据速率视频和激光雷达传感流。通常,从低功率无人机到太空和地下漫游者的机器人,如果它们不确定或无法在本地可扩展地运行复杂的感知或映射任务,则需要将高比特率的传感数据传输到远程计算服务器。然而,今天的感官数据的表示主要是为人类而不是机器人感知而设计的,因此经常浪费宝贵的计算或无线网络资源来传输高级机器人任务不必要的场景的不重要部分。本文提出了一种算法来学习与预先训练的机器人感知模型的最终目标共同设计的传感数据的任务相关表示。我们的算法积极压缩机器人的感官数据高达11倍以上的竞争方法。此外,它在各种任务上实现了高精度和鲁棒的泛化,包括使用低功耗深度学习加速器进行火星地形分类、神经运动规划和环境时间序列分类。
2020-11-06 cs.CV cs.IT cs.NI
Sensorimotor learning for artificial body perception
Technical University of Munich(慕尼黑工业大学)
人工自我感知是机器感知自己身体的能力,即,通过特定的传感器/致动器主体配置来执行动作的模态和联运突发事件的掌握。换句话说,与其传感器(例如视觉、本体感受、触觉等)相关的时空模式,它的行为和身体潜变量负责区分自己的身体和世界其他地方。本文介绍了一些最新的人工身体自我感知建模方法:从贝叶斯估计到深度学习。结果显示了这些自由模型无监督或半监督的跨模态/联运学习方法的潜力。然而,在我们实现人工多感官身体感知之前,仍然存在需要克服的挑战。
2019-01-15 cs.AI cs.LG cs.RO
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University(德雷塞尔大学)
本报告通过分析基于视觉的系统与感知指标的最新进展,探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法,旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO
SATac: A Thermoluminescence Enabled Tactile Sensor for Concurrent Perception of Temperature, Pressure, and Shear
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Shenzhen University(深圳大学);RISC-V International Open Source Laboratory(RISC-V国际开源实验室);Ryerson University(瑞尔森大学)
针对现有视觉触觉传感器无法感知温度的问题,提出基于热释光与Voronoi图的多模态触觉传感器SATac,可同时感知温度、压力和剪切力,经实验验证性能优异,有望提升机器人感知能力。
2024-02-01 cs.RO
Memory-Aware Multi-Sensor Perception for Efficient and Safe Navigation in Dynamic Environments
University of Pennsylvania(宾夕法尼亚大学)
提出一种记忆感知多传感器导航框架,集成LiDAR和RGB感知、在线距离场学习及MCBF-QP控制器,利用历史几何信息提升动态环境中导航效率和安全性。
2026-09-28 cs.RO
3D Semantic Scene Perception using Distributed Smart Edge Sensors
University of Bonn(波恩大学)
我们提出了一个系统的3D语义场景感知组成的网络的分布式智能边缘传感器。传感器节点基于嵌入式CNN推理加速器和RGB-D和热成像相机。用于目标检测、语义分割和人体姿态估计的高效视觉CNN模型在设备上实时的运行。用RGB-D深度估计增强的2D人类关键点估计以及语义注释的点云从传感器流传输到中央后端,其中多个视点被融合到非中心的3D语义场景模型中。由于图像判读是在本地计算的,因此只有语义信息通过网络发送。原始图像保留在传感器板上,大大减少了所需的带宽,并减轻了被观察者的隐私风险。我们在我们的实验室中,在具有挑战性的现实世界中的多人场景评估所提出的系统。所提出的感知系统提供了一个完整的场景视图,包含语义注释的三维几何形状和估计的三维姿态的多个人在实时的。
2022-05-03 cs.CV cs.RO
A Late Collaborative Perception Framework for 3D Multi-Object and Multi-Source Association and Fusion
VEDECOM;IRSEEM
本文提出一种仅共享三维边界框属性的晚期协作感知框架,无需访问检测模型即可实现多源多目标融合,在位置、尺度和朝向误差上大幅优于现有方法,并保持100%精确率与召回率。
2025-07-03 cs.RO eess.IV eess.SP
SensorPerch: Sense Wherever and Whenever it Matters
Cornell University(康奈尔大学)
针对机器人感知视角受限问题,提出SensorPerch,通过将传感器视为独立实体实现主动感知。它由可重构传感器平台和视角选择框架组成,能按需构建与任务相关的视角。在对象耦合和策略耦合感知任务中验证了该范式的有效性。
2026-11-04 cs.RO
OmniVLA: Physically-Grounded Multimodal VLA with Unified Multi-Sensor Perception for Robotic Manipulation
Princeton University(普林斯顿大学);University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research Asia(微软亚洲研究院)
OmniVLA通过整合多种传感器模态,提升机器人操作的感知能力与任务成功率。
2026-03-02 cs.CV cs.RO
Language Bootstrapping: Learning Word Meanings From Perception-Action Association
Kungliga Tekniska Högskolan (KTH)(瑞典皇家理工学院);Universidad de Zaragoza(萨拉戈萨大学);Instituto de Sistemas e Robótica, Instituto Superior Técnico(系统与机器人研究所,里斯本高等理工学院)
我们解决的问题,自举语言习得的人工系统类似于在实验中观察到的人类婴儿。我们的方法通过将意义与操作任务中的单词相关联来工作,因为机器人与对象进行交互并听取交互的口头描述。该模型基于一个可供性网络,即,机器人动作、机器人感知以及这些动作对物体的感知效果之间的映射。我们扩展了示能模型,将口语,这使我们能够地面的口头符号的执行行动和感知的环境。该模型以任务的言语描述为输入,并使用时间共现来创建语音话语与所涉及的对象,动作和效果之间的联系。我们表明,机器人是能够形成有用的词到意义的协会,即使不考虑语法结构的学习过程中,并在存在识别错误。这些词与意义的关联嵌入了机器人对其动作的理解中。因此,它们可以直接用于指示机器人执行任务,并且还允许将上下文并入语音识别任务中。我们相信,我们的方法所取得的令人鼓舞的结果可能会使机器人有能力在其操作环境中获得语言描述符,并揭示出这个具有挑战性的过程是如何与人类婴儿一起发展的。
2017-11-27 cs.CL cs.HC cs.RO
How to Train your Tactile Model: Tactile Perception with Multi-fingered Robot Hands
Bristol Robotics Laboratory, University of Bristol(布里斯托大学布里斯托机器人实验室)
本文提出TacViT模型,基于视觉Transformer实现触觉感知,能有效泛化新传感器数据,减少数据收集和重训练需求,提升多指机械手的触觉感知能力。
2026-04-01 cs.RO
SODA-CitrON: Static Object Data Association by Clustering Multi-Modal Sensor Detections Online
Jan Nausner, Kilian Wohlleben, Michael Hubner
本文提出SODA-CitrON方法,通过在线聚类多模态传感器检测实现静态物体的数据关联,同时估计位置并维持持久跟踪,优于现有方法在F1分数、位置RMSE、MOTP和MOTA指标上。
2026-06-08 cs.RO
Wireless Communication as an Information Sensor for Multi-agent Cooperative Perception: A Survey
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动系统学院)
本综述从以信息为中心的视角,将V2X通信视为动态信息传感器,系统回顾了多智能体协同感知在信息表示、信息融合和大规模部署三个维度的最新进展与挑战。
2025-04-30 cs.CV cs.MA cs.OH
InSPE: Rapid Evaluation of Heterogeneous Multi-Modal Infrastructure Sensor Placement
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出InSPE指标集,通过传感器覆盖、感知遮挡和信息增益三个指标,结合CARLA数据生成工具与Infra-Set数据集,快速评估异构多模态基础设施传感器布置效果,为智能交叉口优化提供高效可扩展的解决方案。
2025-04-11 cs.RO eess.SP
Enhancing Indoor Mobility with Connected Sensor Nodes: A Real-Time, Delay-Aware Cooperative Perception Approach
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学)
提出一种面向动态室内移动平台的实时、延迟感知协同感知系统,通过多模态传感器网络与中心节点,结合基于分层聚类的Lidar Camera Fusion及延迟感知全局感知技术,显著提升了拥挤环境下的检测准确性与抗延迟鲁棒性。
2024-11-04 cs.AI cs.CV cs.RO
Commentaries on "Learning Sensorimotor Control with Neuromorphic Sensors: Toward Hyperdimensional Active Perception" [Science Robotics Vol. 4 Issue 30 (2019) 1-10
Research Institutes of Sweden(瑞典研究机构);University of California, Berkeley(加州大学伯克利分校);Luleå University of Technology(吕勒奥理工大学)
这封信件评论了Mitrokhin等人最近发表在Science Robotics文章中的发现[1]。本评注的主要目的是进一步阐述该条所涉及的一些问题。我们的经验是,超维计算与其他计算方法非常不同,在获得实际有用的理解之前,它可能需要相当多的接触。因此,为了向第一次阅读[1]的读者提供该领域的概况,评注包括一个简短的历史概述,并将该条款的调查结果与该领域现有的大量文献联系起来。
2020-03-25 cs.AI cs.CV cs.RO
MASS: Mobility-Aware Sensor Scheduling of Cooperative Perception for Connected Automated Driving
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学)
及时可靠的环境感知是安全高效自动驾驶的基础。然而,对独立智能的感知不可避免地受到闭塞的影响。一种新的范例,合作感知(CP),从另一个角度共享传感器数据,即,合作车辆(CoV)。由于有限的通信带宽,它是必不可少的调度最有益的CoV,同时考虑到的观点和通信质量。现有的方法依赖于元信息的交换,如可见性地图,以预测附近车辆的感知增益,这会导致额外的通信和处理开销。在本文中,我们提出了一种新的方法,学习,而调度,分布式调度的CP。该解决方案使CoV能够使用过去的观察来预测感知增益,从而利用感知增益的时间连续性。具体而言,我们设计了一个移动感知传感器调度(MASS)算法的基础上不安分的多臂强盗(RMAB)理论,以最大限度地提高预期的平均感知增益。上界的预期平均学习遗憾证明,这符合任何在线算法的下限的对数因子。在现实的交通轨迹上进行了广泛的模拟。实验结果表明,与其他基于学习的算法相比,MASS算法实现了最佳的平均感知增益,并将召回率提高了4.2个百分点。最后,一个跟踪LiDAR帧的案例研究定性地证明了自适应探索的优势,MASS算法的关键元素。
2023-02-25 cs.LG cs.NI cs.RO
Tactile Perception based on Injected Vibration in Soft Sensor
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
利用振动感觉的触觉感知有助于机器人识别其环境的物理特性并执行复杂的任务。滑动运动被应用于目标对象以生成触觉振动数据。然而,存在这样的滑动运动由于环境中的几何约束或不能抵抗摩擦力的物体的脆弱性而不可行的情况。本文探讨了一种新的方法来实现基于振动的触觉感知没有滑动运动。为此,我们的核心思想是将机械振动注入到软触觉传感器系统中,并通过传感器测量其内部传播的振动。软触觉传感器由于接触状态而变形,并且被触摸的物体的形状或纹理应该改变振动传播的特性。因此,传播的振动数据被期望包含用于识别触摸环境的有用信息。我们开发了一个原型系统的概念验证:一个机械振动施加到一个仿生(软和振动为基础的)触觉传感器从一个小的,安装的压电致动器。作为验证实验,我们进行了两个分类任务砂纸的砂砾尺寸和狭缝的间隙宽度使用我们的方法,并比较其精度与使用滑动运动。我们的方法导致70%的精度为砂砾尺寸分类和99%的精度为间隙宽度分类。这些结果与具有滑动运动的比较方法相当或更好。
2021-04-20 cs.RO
Minimalistic Collective Perception with Imperfect Sensors
Worcester Polytechnic Institute(伍斯特理工学院);Wageningen University & Research(瓦赫宁根大学及研究中心)
本文针对配备不完美传感器的极简群体机器人,从第一性原理推导出最优概率决策框架,并在集体频率估计场景中验证,即使在严重噪声下也能实现及时准确的估计。
2023-09-01 cs.RO
Look-to-Touch: A Vision-Enhanced Proximity and Tactile Sensor for Distance and Geometry Perception in Robotic Manipulation
State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University(上海交通大学机械系统与振动国家重点实验室);Robotics Institute, School of Mechanical Engineering, Shanghai Jiao Tong University(上海交通大学机械工程学院机器人研究所)
针对机器人全面环境感知需额外传感器导致系统 bulky 的问题,提出具有部分透明滑动窗口的视觉增强双模态传感器,实现50cm至-3mm全范围距离传感与超高分辨率纹理感知,结合两种模态提升抓取效率并解锁软体手新操作能力。
2025-04-14 cs.RO
CODEI: Resource-Efficient Task-Driven Co-Design of Perception and Decision Making for Mobile Robots Applied to Autonomous Vehicles
本文提出CODEI框架,通过占用查询量化感知需求并结合整数线性规划,实现移动机器人感知与决策的硬件软件协同设计,并在自动驾驶案例中验证了资源优先级对传感器选择的影响。
2025-04-07 cs.AI cs.AR cs.CV
Dataset and Benchmark: Novel Sensors for Autonomous Vehicle Perception
University of Michigan(密歇根大学)
本文构建 NSAVP 多模态数据集,融合双目事件、热成像、单色与 RGB 相机及高精度位姿真值,并通过地点识别基准评估新型传感器对自动驾驶感知的增强潜力。
2024-01-24 cs.CV cs.RO
MSC-Bench: Benchmarking and Analyzing Multi-Sensor Corruption for Driving Perception
Beijing Academy of Artificial Intelligence(北京人工智能研究院);IQIYI(爱奇艺);Institute of Automation CAS(中国科学院自动化研究所);Samsung(三星);The University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学);Institute of Information Engineering CAS(中国科学院信息工程研究所);Hefei University of Technology(合肥工业大学)
本文提出首个多传感器损坏基准MSC-Bench,通过16种相机与激光雷达损坏组合评估自动驾驶感知模型鲁棒性,揭示其在恶劣天气和传感器故障下的显著性能下降及安全隐患。
2025-01-02 cs.AI cs.CV cs.RO
CoPeD-Advancing Multi-Robot Collaborative Perception: A Comprehensive Dataset in Real-World Environments
New York University(纽约大学);Tandon School of Engineering(坦登工程学院);U.S. Army Combat Capabilities Development Command(美国陆军作战能力发展司令部);Army Research Laboratory(陆军研究实验室)
该论文提出CoPeD,一个真实世界多机器人协同感知数据集,利用空地协作与多样传感器视图,旨在推动协同感知算法研究。
2024-05-23 cs.CV cs.RO
Testing the Fault-Tolerance of Multi-Sensor Fusion Perception in Autonomous Driving Systems
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Nanyang Technological University(南洋理工大学);University of CAS, Nanjing(中国科学院大学南京分校);Nanjing Institute of Software Technology, University of CAS, Nanjing(中国科学院南京软件技术研究所);Continental-NTU Corporate Lab(Continental-NTU企业实验室);University of Science and Technology of China(中国科学技术大学)
针对现有多传感器融合(MSF)测试缺乏传感器故障对自动驾驶系统(ADSs)系统级行为影响研究的问题,首次探索基于MSF感知的ADS容错性,构建故障模型并设计反馈引导差分模糊测试器,在百度Apollo上验证了方法有效性并通过物理实验体现发现意义。
2025-04-18 cs.RO cs.SE
Cooperative Perception for 3D Object Detection in Driving Scenarios using Infrastructure Sensors
University of Warwick(华威大学);Jaguar Land Rover Ltd.(捷豹路虎有限公司);University of Surrey(萨里大学)
3D目标检测是自动驾驶车辆的感知系统内的常见功能,并且输出感兴趣对象周围的3D边界框的列表。各种3D目标检测方法依赖于不同传感器模态的融合来克服各个传感器的限制。然而,传感器数据的遮挡、有限的视场和低点密度不能通过从单个视点的多模式感测来可靠地和成本有效地解决。或者,合作的看法,包括来自分布在环境中的空间上不同的传感器的信息,以减轻这些限制。本文提出了两种方案的合作三维目标检测使用单一的模态传感器。早期融合方案在检测之前结合来自多个空间上不同的感测视点的点云。相比之下,后期融合方案融合来自多个空间上不同的传感器的独立检测到的边界框。我们评估这两种方案的性能,以及它们的混合组合,使用一个合成的合作数据集创建在两个复杂的驾驶场景,一个T形路口和一个环形交叉口。评估结果表明,早期融合方法优于后期融合的显着利润率在较高的通信带宽的成本。结果表明,在最具挑战性的情况下,合作感知可以回忆起超过95%的对象,而单点感知只有30%。为了提供实际的见解,这样的系统的部署,我们报告的传感器的数量和它们的配置如何影响系统的检测性能。
2020-10-30 cs.CV cs.LG cs.MA
A soft thumb-sized vision-based sensor with accurate all-round force perception
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
基于视觉的触觉传感器已经成为一种有前途的方法,机器人触摸由于负担得起的高分辨率相机和成功的计算机视觉技术。然而,它们的物理设计和它们提供的信息还不能满足实际应用的要求。我们提出了一个强大的,柔软的,低成本的,基于视觉的,拇指大小的3D触觉传感器名为洞察力:它不断提供一个方向力分布图在其整个圆锥形的传感表面。该传感器围绕内部单目摄像头构建,只有一层弹性体包覆成型在刚性框架上,以保证灵敏度,坚固性和软接触。此外,Insight是第一个将光度立体和结构光结合起来的系统,使用准直器来检测其易于更换的柔性外壳的3D变形。力信息由深度神经网络推断,该深度神经网络将图像映射到3D接触力(法向和剪切力)的空间分布。Insight的总体空间分辨率为0.4 mm,力大小精度约为0.03 N,对于具有不同接触面积的许多不同接触,力方向精度在0.03- 2 N范围内约为5度。所提出的硬件和软件设计概念可以转移到各种各样的机器人部件。
2021-11-10 cs.CV cs.LG cs.RO
From One to the Power of Many: Invariance to Multi-LiDAR Perception from Single-Sensor Datasets
FZI Research Center for Computer Science(FZI计算机科学研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对单传感器训练模型在多LiDAR部署时的性能差距,提出特征级不变性度量与两种数据增强方法,实验证明其提升跨设置泛化。
2025-01-24 cs.CV cs.RO
DGFusion: Depth-Guided Sensor Fusion for Robust Semantic Perception
Computer Vision Laboratory, ETH Zurich(计算机视觉实验室,苏黎世联邦理工学院)
DGFusion通过整合深度信息提升多模态传感器融合,实现自动驾驶中的鲁棒语义感知。
2026-01-26 cs.CV cs.LG cs.RO
Where Am I Now? Dynamically Finding Optimal Sensor States to Minimize Localization Uncertainty for a Perception-Denied Rover
University of Maryland, College Park(马里兰大学帕克分校)
本文提出 DyFOS 主动感知方法,通过定位不确定性预测流水线和概率神经网络动态寻找最优传感器状态,在避开障碍与遮挡的同时最小化感知受限巡视器的定位不确定性,性能与暴力搜索相当且速度更快。
2023-09-25 cs.AI cs.RO
AgentAlign: Misalignment-Adapted Multi-Agent Perception for Resilient Inter-Agent Sensor Correlations
University of California, Los Angeles(加州大学洛杉矶分校)
针对多智能体多模态感知中传感器易受环境影响出现失配的问题,提出AgentAlign框架,通过跨模态特征对齐空间与异构对齐机制动态协调特征,构建V2XSet-noise数据集,实验验证其在协同自动驾驶感知中达到SOTA性能。
2024-12-09 cs.CV cs.RO
Learning Long-Range Perception Using Self-Supervision from Short-Range Sensors and Odometry
Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI(人工智能达莱莫尔研究所(IDSIA),瑞士意大利语区大学-苏佩里诺理工学院(USI-SUPSI))
我们引入了一个一般的自我监督的方法来预测未来的输出的短距离传感器(如接近传感器)给定的当前输出的长距离传感器(如摄像头);我们假设,前者是直接相关的一些信息被感知(如障碍物的存在,在一个给定的位置),而后者是信息丰富,但很难直接解释。我们实例化和实现的方法,在一个小型移动机器人检测障碍物在不同的距离使用机器人的前向摄像头的视频流,通过训练自动获取的数据集上的卷积神经网络。我们定量地评估质量的预测看不见的情况下,定性地评估不同的操作条件下的鲁棒性,并演示使用作为唯一的输入的避障控制器。我们还实例化的方法在一个不同的模拟场景与互补的特点,以证明我们的贡献的一般性。
2019-01-17 cs.RO
Multi-agent Collaborative Perception for Robotic Fleet: A Systematic Review
Carnegie Mellon University(卡内基梅隆大学);University of Maryland(马里兰大学);Worcester Polytechnic Institute(伍斯特理工学院)
本综述总结20余篇协同感知研究,探讨测试评估框架,实验证明协同感知较单机器人感知性能提升超200%,并附开源仓库。
2024-03-22 cs.RO
A Magnetic-Actuated Vision-Based Whisker Array for Contact Perception and Grasping
School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
本研究提出了一种磁驱动视觉触须阵列传感器,通过高精度触觉反馈实现物体分类和抓取任务,展示了其在精细操作中的应用潜力。
2025-03-05 cs.RO
C-MASS: Combinatorial Mobility-Aware Sensor Scheduling for Collaborative Perception with Second-Order Topology Approximation
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学)
本文提出C-MASS框架,通过二阶经验感知拓扑近似和混合贪心调度算法,在低通信开销下解决车辆移动性带来的协同感知传感器调度问题,实验表明其在边缘辅助和分布式配置下均接近最优性能。
2024-06-29 cs.IT cs.MA cs.NI
Evolution of SLAM: Toward the Robust-Perception of Autonomy
Middlesex University(密德萨斯大学)
同时定位和地图(SLAM)是自主机器人构建或更新不确定的非结构化环境的地图,同时估计其中的位姿的问题。目前的趋势对自动驾驶车辆已经影响了强大的SLAM技术的发展在过去的30年。这个问题通过使用标准传感器或传感器阵列(超声波传感器、激光雷达、摄像头、Kinect RGB-D)与传感器融合技术来实现感知步骤来解决。传感方法是通过考虑环境的规格来提取特征。然后讨论了经典的基于滤波器的方法、全局优化方法(其是用于基于视觉的SLAM的流行方法)和基于卷积神经网络的方法(诸如基于深度学习的SLAM)的使用,同时考虑如何克服定位和映射问题。在鲁棒性和可扩展性、长期自治性、性能等新方向上对算法进行了相互比较梳理。本文从传感器到算法开发的判断角度审视了已发表的先前工作,同时讨论了开放的挑战和新的研究前沿。
2023-02-13 cs.RO
Detecting Grasping Sites in a Martian Lava Tube: Multi-Stage Perception Trade Study for ReachBot
Stanford University(斯坦福大学)
针对ReachBot攀爬机器人感知系统研究不足的问题,开展多维度权衡研究,明确了火星熔岩管任务的感知策略、硬件配置及原型传感器选型,为原型开发与测试提供系统设计方案。
2024-03-08 cs.RO
From pixels to percepts: Highly robust edge perception and contour following using deep learning and an optical biomimetic tactile sensor
University of Bristol(布里斯托尔大学);Google DeepMind(谷歌DeepMind)
深度学习有可能对机器人触觉产生影响,就像它对机器人视觉产生的影响一样。光学触觉传感器通过允许将视觉技术应用于触摸来充当主体之间的桥梁。在本文中,我们将深度学习应用于光学仿生触觉传感器TacTip,该传感器在其感测表面内成像类似于人类皮肤内的结构的乳头(针)阵列。我们的主要结果是,深CNN的应用程序可以提供可靠的边缘感知,从而为规划接触点围绕物体轮廓移动提供一个强大的策略。鲁棒性证明了几个不规则的和顺应性的对象与轻敲和连续滑动,使用的模型只通过点击到磁盘上训练。这些结果依赖于使用技术来鼓励泛化到模型训练的任务。我们预计这是触觉感知实际应用中的一个普遍问题,深度学习将解决这个问题。演示该方法的视频可以在https://www.youtube.com/watch?上找到v=QHrGsG9AHts
2019-02-06 cs.RO