SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions
Monash University(莫纳什大学)
本研究提出SenseWeather多模态基准与Fusion-to-RGB融合方法,利用RGB、深度、红外互补传感在极端天气下恢复任务兼容RGB观测,提升机器人感知性能且无需修改下游模型。
2026-10-14 cs.CV cs.RO
ActiveUMI: Robotic Manipulation with Active Perception from Robot-Free Human Demonstrations
Shanghai University(上海大学);Stanford University(斯坦福大学);Midea Group(美的集团)
本研究提出ActiveUMI框架,结合便携式VR遥操作与主动第一视角感知捕捉,将人类演示迁移至机器人,在双手操作任务上实现70%的分布内成功率与56%的跨场景泛化成功率,为构建通用机器人策略提供可扩展方案。
2025-10-02 cs.CV cs.RO
Amortized Object and Scene Perception for Long-term Robot Manipulation
University of Bremen(不来梅大学)
移动机器人在人类环境中进行长期的操作活动,必须感知各种各样的具有非常不同的视觉特性的对象,并需要在整个任务执行过程中可靠地跟踪这些对象。为了提高效率,机器人的感知能力需要超越当前可感知的范围,并且应该能够回答有关当前和过去场景的查询。在本文中,我们研究了一个长期的机器人操作的感知系统,跟踪不断变化的环境,并建立一个代表性的感知世界。具体来说,我们引入了一个摊销组件,在整个执行周期中传播感知任务。由此产生的查询驱动的感知系统异步集成的结果,从记录的图像到一个符号和数字(我们称之为子符号)表示,形成的感知信念状态的机器人。
2019-03-28 cs.AI cs.CV cs.RO
DARP: A Calibrated Dual-Arm RGB-D-IR Dataset for Multi-View Robotic Perception
The University of Alabama(阿拉巴马大学)
本文提出DARP双臂机器人感知数据集,含10种桌面物体,经评估几何一致性良好,可用于多视角重建等多类机器人感知相关研究。
2026-09-04 cs.CV cs.RO
Cross-Modal Benchmarking for Robotic Perception in Natural Environments
CSIRO Robotics, CSIRO, Australia(CSIRO机器人研究所,CSIRO,澳大利亚);University of Sydney (USyd), Australia(悉尼大学(USyd),澳大利亚);Queensland University of Technology (QUT), Australia(昆士兰理工大学(QUT),澳大利亚)
针对自然环境中机器人感知的挑战,提出WildCross跨模态基准,用于大规模自然场景下的地点识别和度量深度估计,并扩展了度量深度估计实验。
2026-06-11 cs.CV cs.RO
TartanGround: A Large-Scale Dataset for Ground Robot Perception and Navigation
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室);Robotics Institute of Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本研究提出大规模多模态数据集TartanGround,含70个环境的910条轨迹共150万样本,覆盖多类感知数据,可支撑多种机器人学习任务,助力提升地面机器人感知与自主能力的场景泛化性。
2025-07-30 cs.CV cs.RO
SuPer Deep: A Surgical Perception Framework for Robotic Tissue Manipulation using Deep Learning for Feature Extraction
University of California San Diego(加州大学圣迭戈分校);East China Normal University(华东师范大学)
手术中的机器人自动化需要精确跟踪手术工具和映射可变形组织。以前的手术感知框架的工作需要在开发手术工具和组织跟踪的功能方面做出巨大努力。在这项工作中,我们通过利用深度学习方法进行手术感知来克服挑战。我们将能够高效特征提取的深度神经网络集成到组织重建和仪器姿态估计过程中。通过利用迁移学习,基于深度学习的方法需要最少的训练数据和减少的特征工程工作来完全感知手术场景。该框架在三个公开的数据集上进行了测试,这些数据集使用达芬奇手术系统进行全面分析。实验结果表明,我们的框架通过利用深度学习进行特征提取,在手术环境中实现了最先进的跟踪性能。
2021-03-25 cs.CV cs.RO
Robotic Tactile Perception of Object Properties: A Review
University of Leeds(利兹大学);Istituto Italiano di Tecnologia(意大利理工学院);University of Glasgow(格拉斯哥大学)
触摸传感可以帮助机器人了解他们周围的环境,特别是他们与之交互的物体。为此,在过去的几十年里,机器人专家已经开发了几种触觉感知解决方案,在文献中广泛报道。近年来,对所传达的触觉信息的解释的研究也开始引起越来越多的关注。然而,关于这一专题的全面研究报告尚未提出。为了收集和总结该领域的主要科学成果,本调查广泛回顾了当前机器人触觉感知物体属性的趋势。在对物体属性的触觉识别进行广泛综述之前,简要介绍了现有的触觉感知技术。本次审查的目标对象属性是形状,表面材料和对象姿态。还讨论了触摸传感与其他传感源结合的作用。在这篇评论中,公开的问题,并提出了未来的方向应用触觉感知在不同的任务。
2017-11-10 cs.CV cs.RO
The State of Lifelong Learning in Service Robots: Current Bottlenecks in Object Perception and Manipulation
University of Groningen(格罗宁根大学)
服务机器人越来越多地出现在我们的日常生活中。服务机器人的发展结合了多个研究领域,从物体感知到物体操作。最先进的技术不断改进,使对象感知和操作之间的适当耦合。这种耦合对于服务机器人来说是必要的,不仅可以在合理的时间内执行各种任务,而且可以不断适应新的环境,并与非专业的人类用户安全地进行交互。如今,机器人能够识别各种物体,并快速规划无碰撞轨迹,以在预定义的设置中抓住目标物体。此外,在大多数情况下,依赖于大量的训练数据。因此,这种机器人的知识在训练阶段之后是固定的,环境的任何变化都需要人类专家进行复杂、耗时且昂贵的机器人重新编程。因此,这些方法对于非结构化环境中的实际应用仍然过于严格,其中环境的很大一部分是未知的,并且不能直接感测或控制。在这样的环境中,无论用于批量学习的训练数据有多广泛,机器人总是会面对新的对象。因此,除了批量学习,机器人应该能够不断学习新的对象类别,并从现场很少的训练样本中掌握启示。此外,除了机器人的自我学习,非专家用户可以交互式地指导过程中的经验获取,通过教学新的概念,或通过纠正不足或错误的概念。通过这种方式,机器人将不断学习如何在日常任务中帮助人类,获得越来越多的经验,而无需重新编程。
2021-05-06 cs.CV cs.RO
Continuous Perception for Classifying Shapes and Weights of Garmentsfor Robotic Vision Applications
University of Glasgow(格拉斯哥大学)
我们提出了一种方法来连续感知机器人洗衣任务。我们的假设是,服装的形状和重量的视觉预测是可能的,通过神经网络,从视频序列中学习服装的动态变化。在训练过程中,通过输入连续的帧来利用连续的感知,其中网络学习服装如何变形。为了评估我们的假设,我们在操纵服装时捕获了40 K RGB和40 K深度视频序列的数据集。我们还进行了消融研究,以了解神经网络是否学习服装的物理和动态特性。我们的研究结果表明,修改后的AlexNet-LSTM架构对服装的形状和重量具有最佳的分类性能。为了进一步提供证据证明连续感知有助于预测服装的形状和重量,我们在看不见的视频序列上评估了我们的网络,并计算了一系列预测的“移动平均值”。我们发现,我们的网络对服装的形状和重量的分类准确率分别为48%和60%。
2021-11-19 cs.CV cs.RO
Detection of Adversarial Attacks in Robotic Perception
Transylvania University of Brașov(布拉索夫特兰西瓦尼亚大学)
研究针对机器人感知中的语义分割任务,提出专用架构和检测策略以提升DNN的鲁棒性,应对对抗攻击带来的安全威胁。
2026-03-31 cs.AI cs.CR cs.CV
ChildBot: Multi-Robot Perception and Interaction with Children
Athena Research and Innovation Center(雅典娜研究与创新中心);University of Thessaly(色萨利大学)
在本文中,我们提出了一个集成的机器人系统,能够参与和执行广泛的教育和娱乐任务,与一个或多个儿童合作。该系统名为ChildBot,具有多模态感知模块和多个机器人代理,可以监控交互环境,并可以鲁棒地协调复杂的儿童机器人交互用例。为了验证该系统及其集成模块的有效性,我们对52名儿童进行了多次实验。我们的研究结果表明,改进的感知能力相比,我们早期的作品,ChildBot是基于。此外,我们已经进行了初步的用户体验研究,采用一些教育/娱乐任务,产生令人鼓舞的结果,我们的系统的技术有效性和初步的见解与它的用户体验。
2020-08-28 cs.CV cs.LG cs.RO
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
大量的文献表明,基于学习的视觉感知模型是敏感的对抗性噪声,但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此,我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响,摄像机运动对机器人的感知。具体而言,我们提出了一种运动平滑技术,任意图像分类模型,其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证,使其适用于广泛的机器人应用。据我们所知,这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作,这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图,为整个房间,MetaRoom,介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验,以验证认证方法,通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内,该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性,在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
Enhancing Multi-Robot Perception via Learned Data Association
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们解决了多机器人协作感知问题,特别是在多视图填充分布式语义分割的背景下。这种设置带来了一些现实世界的挑战,特别是那些与未注册的多代理图像数据有关的挑战。解决方案必须有效地利用多个、非静态和不规则重叠的RGB视角。为此,我们提出了多智能体填充网络:一个可扩展的神经架构,可以部署(以分布式方式)在机器人群中的每个代理。具体来说,每个机器人负责本地编码和解码视觉信息,可扩展的神经机制允许中间特征的不确定性感知和基于上下文的交换。我们在一个现实的多机器人AirSim数据集上展示了改进的性能。
2021-07-01 cs.CV cs.MA cs.RO
J-ORA: A Framework and Multimodal Dataset for Japanese Object Identification, Reference, Action Prediction in Robot Perception
Division of Information Science, NAIST(NAIST信息科学系);Guardian Robot Project, RIKEN(RIKEN守护机器人项目)
J-ORA提出一个带详细物体属性标注的日语多模态数据集,支持物体识别、指代消解和动作预测,实验证明属性标注显著提升VLM感知性能。
2025-10-13 cs.AI cs.CV cs.RO
Sequence-based Multimodal Apprenticeship Learning For Robot Perception and Decision Making
Colorado School of Mines(科罗拉多矿业学院);Arizona State University(亚利桑那州立大学)
学徒制学习最近引起了广泛的关注,因为它能够让机器人直接从人类专家提供的演示中学习物理任务。大多数以前的技术假设状态空间是已知的先验或采用简单的状态表示,通常遭受感知混淆。与以往的研究不同,我们提出了一种新的方法命名为基于序列的多模态学徒学习(SMAL),它能够同时融合时间信息和多模态数据,并集成机器人感知与决策。为了评估SMAL方法,使用模拟和现实世界的机器人在具有挑战性的搜索和救援方案进行实验。实证研究表明,我们的SMAL方法可以有效地学习计划的机器人作出决策,使用序列的多模态观测。实验结果也表明,SMAL优于基线方法使用个别图像。
2017-02-24 cs.AI cs.CV cs.RO
Humanoid Occupancy: Enabling A Generalized Multimodal Occupancy Perception System on Humanoid Robots
X-Humanoid;GigaAI Project(GigaAI项目)
本研究提出人形机器人通用多模态占据感知系统Humanoid Occupancy,整合软硬件与标注流水线,解决运动干扰等问题,构建首个专用全景占据数据集,为复杂场景部署奠定基础。
2025-07-29 cs.AI cs.CV cs.RO
$f$-Cal: Calibrated aleatoric uncertainty estimation from neural networks for robot perception
Montreal Robotics and Embodied AI Lab(蒙特利尔机器人与具身人工智能实验室);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Denso(电装公司)
虽然现代深度神经网络是高性能的感知模块,但性能(准确性)本身是不够的,特别是对于安全关键的机器人应用,如自动驾驶汽车。机器人自主堆栈还需要这些黑盒模型来产生可靠的和校准的预测置信度测量。现有方法通过修改网络架构、推理过程或损失函数来估计来自这些神经网络感知堆栈的不确定性。然而,一般来说,这些方法缺乏校准,这意味着预测的不确定性不能忠实地代表真实的潜在不确定性(过程噪声)。我们的关键见解是,校准只能通过在多个示例中施加约束来实现,例如小批量中的示例;与现有方法相反,现有方法仅对每个样本施加约束,通常会导致过度自信(因此校准错误)的不确定性估计。通过最小化$f$ -发散来强制神经网络的输出分布以类似于目标分布,与先前的方法相比,我们获得了显著更好的校准模型。我们的方法,$f$ -Cal,优于现有的不确定性校准方法的机器人感知任务,如目标检测和单目深度估计在多个现实世界的基准。
2021-09-28 cs.CV cs.LG cs.RO
Deep Learning-Based Multi-Modal Fusion for Robust Robot Perception and Navigation
本文提出一种基于深度学习的多模态融合架构,通过轻量级特征提取网络、自适应加权跨模态融合策略及时间序列建模融合RGB图像与LiDAR数据,在KITTI数据集上使导航与定位精度分别提升3.5%和2.2%且保持实时性。
2025-04-26 cs.CV cs.LG cs.RO
INDOOR-LiDAR: Bridging Simulation and Reality for Robot-Centric 360 degree Indoor LiDAR Perception -- A Robot-Centric Hybrid Dataset
INDOOR-LIDAR通过融合仿真与真实数据,为机器人感知研究提供了一个可扩展、真实且可重复的混合数据集,用于提升复杂室内环境中的感知能力。
2025-12-13 cs.RO
Making the Flow Glow -- Robot Perception under Severe Lighting Conditions using Normalizing Flow Gradients
Lund University(隆德大学);German Aerospace Center(德国航空航天中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对极端光照下机器人感知可靠性低的问题,提出利用归一化流绝对梯度优化局部图像区域的方法,在桌面抓取实验中目标检测成功率较现有方法提升60%。
2024-12-10 cs.CV
An Overview of the Burer-Monteiro Method for Certifiable Robot Perception
Northeastern University(东北大学);University of Michigan(密歇根大学);University of California, San Diego(加州大学圣地亚哥分校);Massachusetts Institute of Technology(麻省理工学院)
本文综述 Burer-Monteiro 方法如何利用半定规划的低秩结构实时求解非凸机器人感知问题,并统一文献、阐明 LICQ 及总结实践经验。
2025-06-09 cs.CV cs.LG cs.RO
Bootstrapping Robotic Ecological Perception from a Limited Set of Hypotheses Through Interactive Perception
CNRS(法国国家科学研究中心)
为了解决它的任务,机器人需要有能力解释它的感知。在视觉中,这种解释特别困难,依赖于对场景结构的理解,至少在其任务和感觉运动能力的范围内。一个有能力根据自己的任务和能力构建和调整这种解释过程的机器人,将打破机器人在非受控环境中所能达到的极限。一种解决方案是为机器人提供构建不特定于环境或情况的这种表示的过程。大量的工作集中在目标分割、识别和操作上。考虑到可能的对象和环境的范围很广,仅根据其视觉外观来定义对象是具有挑战性的。因此,当前的作品对场景的结构进行了简化假设。这样的假设降低了对象提取过程对假设成立的环境的适应性。为了限制这样的假设,我们介绍了一种探索方法,旨在确定场景中的可移动元素,而不考虑对象的概念。通过使用交互式感知框架,我们的目标是引导收购过程中的代表性的环境与最小的上下文特定的假设。机器人系统建立一个感知地图称为相关性地图,它指示当前场景的可移动部分。在线训练分类器以预测每个区域的类别(可移动或不可移动)。它还用于选择与之交互的区域,目的是最大限度地减少分类的不确定性。一个特定的分类器,以满足这些需求:协作混合模型分类器。该方法是测试一组日益复杂的情况下,使用模拟和PR2机器人。
2019-01-30 cs.AI cs.CV cs.LG
OpenSplatGraph: From Dense Semantic Maps to Structured Scene Graphs for Open-Vocabulary Robot Perception
Queensland University of Technology (QUT)(昆士兰科技大学);CSIRO(澳大利亚联邦科学与工业研究组织)
提出OpenSplatGraph框架,从在线高斯语义地图构建持久3D场景图,实现开放词汇物体提取与关系推理,兼顾几何保真与结构化语义。
2026-10-07 cs.AI cs.CV cs.RO
Task-relevant Representation Learning for Networked Robotic Perception
NEC Corporation(日本电气股份有限公司);Stanford University(斯坦福大学)
今天,即使是计算和功率最有限的机器人也可以测量复杂的高数据速率视频和激光雷达传感流。通常,从低功率无人机到太空和地下漫游者的机器人,如果它们不确定或无法在本地可扩展地运行复杂的感知或映射任务,则需要将高比特率的传感数据传输到远程计算服务器。然而,今天的感官数据的表示主要是为人类而不是机器人感知而设计的,因此经常浪费宝贵的计算或无线网络资源来传输高级机器人任务不必要的场景的不重要部分。本文提出了一种算法来学习与预先训练的机器人感知模型的最终目标共同设计的传感数据的任务相关表示。我们的算法积极压缩机器人的感官数据高达11倍以上的竞争方法。此外,它在各种任务上实现了高精度和鲁棒的泛化,包括使用低功耗深度学习加速器进行火星地形分类、神经运动规划和环境时间序列分类。
2020-11-06 cs.CV cs.IT cs.NI
"Touching to See" and "Seeing to Feel": Robotic Cross-modal SensoryData Generation for Visual-Tactile Perception
Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
视觉-触觉刺激的整合在人类执行日常任务时是常见的。相反,使用单峰视觉或触觉感知限制了主体的可感知维度。然而,整合视觉和触觉感知以促进机器人任务仍然是一个挑战。在本文中,我们提出了一个新的框架,用于视觉和触觉感知的跨模态感觉数据生成。以纹理感知为例,我们应用条件生成对抗网络从其他模态的数据中生成伪视觉图像或触觉输出。大量的实验上的ViTac数据集的布料纹理表明,所提出的方法可以产生逼真的输出从其他感官输入。我们采用结构相似性指数来评估生成的输出和真实数据的相似性,结果表明,真实的数据已经产生。分类评估也已执行,以表明包括生成的数据可以提高感知性能。所提出的框架有可能扩展分类任务的数据集,生成不易访问的感官输出,并推进综合视觉-触觉感知。
2019-02-17 cs.RO
Robot Perception of Static and Dynamic Objects with an Autonomous Floor Scrubber
University of Technology of Belfort-Montbéliard (UTBM)(贝尔福-蒙贝利亚尔技术大学);Technical University Wien (TU Wien)(维也纳技术大学);University of Lincoln(林肯大学)
介绍了一种新型的大型公共场所专用清扫机器人的感知系统。该系统基于多个传感器,包括3D和2D激光雷达,两个RGB-D相机和一个立体相机。两个激光雷达与一个RGB-D相机一起用于动态物体(人)检测和跟踪,而第二个RGB-D和立体相机用于检测静态物体(污垢和地面物体)。还介绍了基于感知管道的环境时空表示的学习和推理模块。此外,还发布了机器人在几个公共场所收集的新数据集,包括超市,仓库和机场。提供了该数据集的基线结果,以供进一步研究和比较。建议的系统已完全实现到机器人操作系统(ROS)具有高度的模块化,也公开提供给社会。
2020-02-24 cs.RO
Robotic Perception of Transparent Objects: A Review
University of Liverpool(利物浦大学);Imperial College London(帝国理工学院);Monash University(莫纳什大学)
本文全面综述了透明物体机器人感知的平台与最新进展,探讨了分割、重建和位姿估计等任务的主要挑战与未来方向,并指出了现有数据集的局限性及多模态传感器的优势。
2023-10-17 cs.RO
PACT: Perception-Action Causal Transformer for Autoregressive Robotics Pre-Training
Microsoft(微软)
长期以来,机器人技术一直是一个充满复杂系统架构的领域,其模块和连接,无论是传统的还是基于学习的,都需要大量的人类专业知识和先验知识。受大型预训练语言模型的启发,这项工作引入了一种用于预训练通用表示的范例,该通用表示可以作为给定机器人上多个任务的起点。我们提出了感知-动作因果Transformer(PACT),一个基于生成变换器的架构,旨在以自我监督的方式直接从机器人数据中构建表示。通过对状态和动作随时间的自回归预测,我们的模型隐式地编码特定机器人的动力学和行为。我们的实验评估集中在移动代理领域,我们表明,这种机器人特定的表示可以作为一个单一的起点,以实现不同的任务,如安全导航,定位和映射。我们评估了两个形状因子:一个轮式机器人,使用激光雷达传感器作为感知输入(MuSHR),和一个模拟代理,使用第一人称RGB图像(生境)。我们发现,在较大的预训练模型之上微调特定于任务的小型网络,与同时为所有任务从头开始训练单个模型相比,其性能显着更好,并且与为每个任务独立训练单独的大型模型的性能相当。通过在任务之间共享一个公共的高质量表示,我们可以降低整体模型容量,并加快此类系统的实时部署。
2022-09-23 cs.AI cs.CV cs.LG
Learning Soccer Skills for Humanoid Robots: A Progressive Perception-Action Framework
本文提出了一种渐进式感知-行动框架,通过分阶段学习提升人类机器人足球技能,实现了高保真踢球与跨环境鲁棒性。
2026-02-05 cs.RO
Personalized Machine Learning for Robot Perception of Affect and Engagement in Autism Therapy
机器人在促进自闭症儿童未来治疗方面具有巨大潜力。然而,现有的机器人缺乏自动感知和响应人类情感的能力,这对于建立和维持参与性交互是必要的。此外,许多自闭症患者表达情感认知状态的方式都是非典型的和异常多样的,这使得他们的推理挑战变得更加困难。为了解决自闭症儿童行为线索的异质性,我们使用深度学习的最新进展来制定个性化的机器学习(ML)框架,用于在机器人辅助自闭症治疗期间自动感知儿童的情感状态和参与。我们方法的关键是从传统的ML范式进行了新的转变-而不是使用“一刀切”的ML模型,我们的个性化ML框架通过利用相关的上下文信息(人口统计和行为评估分数)和每个孩子的个人特征为每个孩子进行了优化。我们使用来自两种文化(亚洲和欧洲)的35名自闭症儿童(3-13岁)的多模态音频,视频和自主生理数据的数据集设计和评估了这个框架,参与了25分钟的儿童-机器人交互(约500 k数据点)。我们的实验证实了机器人感知影响和参与的可行性,由于模型个性化,显示出明显的改善。所提出的方法有可能通过提供更有效的监测和总结治疗进展来改善现有的自闭症治疗方法。
2018-06-19 cs.AI cs.CV cs.HC
Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University(莫纳什大学)
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题,研究用前沿人体感知跟踪模型优化Pepper机器人视觉,通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
Collaborative Perception in Multi-Robot Systems: Case Studies in Household Cleaning and Warehouse Operations
Columbia University(哥伦比亚大学)
本文探讨多机器人系统中的协同感知(CP)范式,通过共享整合传感器数据提升任务效率、覆盖范围与安全性,并基于家庭清洁和仓库运营两个案例验证了CP优于独立感知(SP)的协调与性能优势。
2024-08-26 cs.CV cs.RO
When Algorithms Play Favorites: Lookism in the Generation and Perception of Faces
ISIA Lab - Université de Mons, IRIDIA Lab - Université Libre de Bruxelles(ISIA实验室-蒙斯大学,IRIDIA实验室-布鲁塞尔自由大学);ISIA Lab - Université de Mons(ISIA实验室-蒙斯大学)
本文通过13,200张合成人脸实验,揭示了文本到图像系统将外貌与智力等无关特质关联、性别分类模型对低吸引力非白人女性错误率更高的算法外貌歧视问题,引发数字身份系统公平性担忧。
2025-05-20 cs.AI cs.CV cs.LG
An Event-Based Perception Pipeline for a Table Tennis Robot
University of Tübingen(蒂宾根大学);Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出首个仅使用事件相机实现实时感知的乒乓球机器人流水线,其更新率比传统帧相机高一个数量级,从而提升球的位置、速度和旋转估计精度,为快速回球控制提供优势。
2025-02-02 cs.CV cs.RO
ActiveMimic: Egocentric Video Pretraining with Active Perception
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Current Robotics;NeoteAI
提出ActiveMimic框架,从自我中心人类视频中恢复同步的相机和手腕轨迹,将相机运动建模为视角动作,联合学习主动感知和操作技能,使预训练模型在机器人任务上达到与机器人数据预训练相当的性能。
2026-06-04 cs.CV cs.RO
Improving Generalization of Synthetically Trained Sonar Image Descriptors for Underwater Place Recognition
University of Padova(帕多瓦大学)
本文提出一种仅用合成数据训练的紧凑型深度声纳描述符流水线,基于ResNet18和随机高斯投影层,结合归一化预滤波与定制合成数据生成,在水下场所识别中优于现有方法。
2023-09-24 cs.CV cs.RO
An Overview of Perception Methods for Horticultural Robots: From Pollination to Harvest
University of Auckland(奥克兰大学);Queensland University of Technology(昆士兰科技大学);ETH Zurich(苏黎世联邦理工学院)
随着目标作物范围的扩大,园艺企业正变得越来越复杂。对提高效率和生产力的要求推动了对现场操作自动化的需求。然而,各种问题仍然有待解决,其可靠,安全的部署在现实世界的情况。本文探讨了园艺机器人的主要研究趋势和当前面临的挑战。具体来说,我们的工作集中在三个主要的园艺程序:授粉,产量估计和收获的传感和感知。对于每一项任务,我们暴露的主要问题所产生的非结构化,杂乱,和崎岖的野外环境,包括可变的照明条件和水果特定的检测困难,并突出有前途的当代研究。
2018-06-26 cs.CV cs.RO
SocioGesture: Real-Time and Adaptive Social Gesture Perception for Human-Robot Interaction
OpenMind
提出SocioGesture系统,采用置信感知骨架与双流模型,提升社交手势识别的鲁棒性与实时性,可扩展词汇且适配机器人部署。
2026-09-07 cs.CV cs.RO
Self-Improving Semantic Perception for Indoor Localisation
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种新的机器人系统,可以提高其在部署过程中的感知。与从大型数据集学习语义并部署固定模型的既定方法相反,我们提出了一个框架,在该框架中,语义模型在机器人上不断更新以适应部署环境。通过将持续学习与自我监督相结合,我们的机器人系统在部署过程中在线学习,无需外部监督。我们进行了真实世界的实验,机器人定位在3D平面图。我们的实验展示了机器人的语义感知如何在部署过程中得到改善,以及这如何转化为改进的本地化,即使是在完全不同的环境中。我们进一步研究了这种持续学习环境所带来的灾难性遗忘的风险。我们发现记忆重放是减少遗忘的有效措施,并展示了机器人系统即使在不同环境之间切换时也可以改善。平均而言,与部署固定模型相比,我们的系统在分割方面提高了60%,在定位准确性方面提高了10%,并且在适应进一步环境的同时保持了这一改进。
2021-09-15 cs.CV cs.RO
Perception Beyond the Visible: Incompleteness-Aware Scene Understanding for Robot Autonomy
该研究针对机器人自主中感知系统仅建模可见区域等假设失效问题,提出感知完整性感知场景理解愿景,通过多类技术应对三大挑战,旨在开发支持动态开放世界可靠自主的场景表征。
2026-10-14 cs.CV cs.RO
Bridging Visual Perception with Contextual Semantics for Understanding Robot Manipulation Tasks
University of Alberta(阿尔伯塔大学)
理解操作场景允许智能机器人计划适当的动作以成功完成操作任务。智能机器人必须通过对实体、关系和属性的结构化描述来对操作知识进行语义解释。在本文中,我们提出了一个实现框架,以产生高层次的概念动态知识图谱从视频剪辑。结合视觉语言模型和本体系统,结合视觉感知和上下文语义,用语义-关系-实体(E-R-E)和语义-属性-值(E-A-V)元组表示机器人操作知识。所提出的方法是灵活和熟练的。使用该框架,我们提出了一个案例研究,机器人在厨房环境中执行操作动作,桥接视觉感知与上下文语义使用生成的动态知识图谱。
2020-07-26 cs.CV
Visual Perception and Modelling in Unstructured Orchard for Apple Harvesting Robots
视觉感知和建模是非结构化果园机器人采摘的基本任务。本文开发了一个框架的视觉感知和建模的机器人收获水果的果园环境。开发的框架包括视觉感知,场景映射,水果建模。视觉感知模块利用深度学习模型在工作场景中执行多用途视觉感知任务;场景映射模块应用CIMap来表示环境中的多类对象或元素;水果建模模块估计对象的几何属性并估计每个水果的正确访问姿势。开发的框架在苹果园实施和评估。实验结果表明,视觉感知和建模算法可以准确地检测和定位水果,并在真实的果园环境中建模的工作场景。视觉感知模块联合对水果检测和分割的$F_{1}$评分和平均交集分别为0.833和0.852。在中心定位和姿态估计方面的水果建模的准确度分别为0.955和0.923。总体而言,本文提出了一种准确的视觉感知和建模算法。
2019-12-29 cs.CV
Semantic-Aware Environment Perception for Mobile Human-Robot Interaction
Otto-von-Guericke-University Magdeburg(马格德堡奥托·冯·格里克大学)
当前的技术进步为将人机交互提升到以人为中心的合作的新水平提供了新的机会。在这种情况下,一个关键的问题是环境的语义理解,以使移动机器人更复杂的互动和促进与人类的沟通。假设是基于视觉的语义对象和人的注册,后者进一步分析潜在的交互伙伴。尽管取得了显著的研究成果,可靠和快速的语义信息注册仍然是一个具有挑战性的任务,移动机器人在现实世界中的场景。在本文中,我们提出了一个基于视觉的移动辅助机器人系统,使语义感知的环境感知没有额外的先验知识。我们部署我们的系统上的移动人形机器人,使我们能够测试我们的方法在现实世界中的应用。
2022-11-07 cs.AI cs.CV cs.RO