"Touching to See" and "Seeing to Feel": Robotic Cross-modal SensoryData Generation for Visual-Tactile Perception
Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
视觉-触觉刺激的整合在人类执行日常任务时是常见的。相反,使用单峰视觉或触觉感知限制了主体的可感知维度。然而,整合视觉和触觉感知以促进机器人任务仍然是一个挑战。在本文中,我们提出了一个新的框架,用于视觉和触觉感知的跨模态感觉数据生成。以纹理感知为例,我们应用条件生成对抗网络从其他模态的数据中生成伪视觉图像或触觉输出。大量的实验上的ViTac数据集的布料纹理表明,所提出的方法可以产生逼真的输出从其他感官输入。我们采用结构相似性指数来评估生成的输出和真实数据的相似性,结果表明,真实的数据已经产生。分类评估也已执行,以表明包括生成的数据可以提高感知性能。所提出的框架有可能扩展分类任务的数据集,生成不易访问的感官输出,并推进综合视觉-触觉感知。
2019-02-17 cs.RO
SpectralWaste Dataset: Multimodal Data for Waste Sorting Automation
Universidad de Zaragoza(萨拉戈萨大学);ATRIA Innovation(ATRIA创新公司)
本文提出首个来自实际塑料分拣设施的高光谱与RGB同步数据集SpectralWaste,并通过多模态分割流水线验证HSI能以较低计算开销提升RGB-only感知性能。
2024-03-26 cs.CV cs.RO
Visual Servoing with Geometrically Interpretable Neural Perception
Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI(意大利瑞士大学-瑞士意大利语区应用科学与艺术大学 达勒·莫尔人工智能研究所(IDSIA))
越来越多的非专业机器人用户需要易于使用的机器。在视觉伺服的上下文中,去除显式图像处理正成为一种趋势,从而允许容易地应用该技术。这项工作提出了一种深度学习方法,用于解决视觉伺服方案中的感知问题。人工神经网络的训练使用的监督来自知识的控制器和视觉特征的运动模型。通过这种方式,可以对所估计的视觉特征给出几何解释,这可以用于视觉伺服的分析规律中。该方法保持感知和控制解耦,赋予整个框架的灵活性和可解释性。模拟和真实的实验与机器人操作器验证我们的方法。
2022-10-19 cs.RO
Perception Stitching: Zero-Shot Perception Encoder Transfer for Visuomotor Robot Policies
Duke University(杜克大学);Air Force Research Laboratory(空军研究实验室)
本文提出感知拼接方法,通过对齐潜在视觉特征实现视觉编码器模块化,并将其直接拼接到已有策略网络,从而在仿真和真实机器人操作任务中实现面对大幅视觉变化的零样本适应。
2025-01-01 cs.RO
Designing Privacy-Preserving Visual Perception for Robot Navigation Based on User Privacy Preferences
本文提出以用户为中心的隐私保护视觉感知设计方法,通过用户研究发现用户偏好隐私保护的视觉抽象和低分辨率保存机制,并据此制定可配置的隐私政策。
2026-07-01 cs.RO
RoboCup 2016 Humanoid TeenSize Winner NimbRo: Robust Visual Perception and Soccer Behaviors
Univ. of Bonn(波恩大学)
在过去的几年里,RoboCup人形联盟规则的趋势是朝着更现实和更具挑战性的游戏环境发展。视觉感知和行走等基本技能已经足够成熟,可以进行令人兴奋的游戏,现在再次成为核心挑战。球场的球门都是白色的,步行表面是人造草坪,这构成了一个比以前使用的地毯更不规则的表面。在本文中,团队NimbRo TeenSize,2016年RoboCup Humanoid League的TeenSize类的获胜者,介绍了其机器人平台,必须对它们进行的调整,以及视觉感知和足球行为的最新发展。
2018-09-28 cs.RO
VGP-Nav: Metric-Aware Visual Geometric Perception for Robot Navigation
Southern University of Science and Technology(南方科技大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Shenzhen University(深圳大学);SpatialTemporal AI(时空人工智能)
提出VGP-Nav,一种仅依赖单目RGB输入的框架,通过地面平面几何约束解决尺度模糊,实现度量定位与障碍物感知的统一。
2026-06-08 cs.RO
Topology-Guided Path Planning for Reliable Visual Navigation of MAVs
Seoul National University(首尔国立大学)
视觉导航已广泛应用于微型飞行器(MAVs)的状态估计。为了稳定的视觉导航,MAV应该生成感知感知路径,以保证足够的可见地标。许多感知路径规划的工作集中在基于采样的规划器。然而,他们可能遭受的样本效率低下,这导致计算负担,以找到一个全局最优路径。为了解决这个问题,我们提出了一个感知感知路径规划器,利用拓扑信息的环境。由于路径的拓扑类与路径上的可见地标密切相关,该算法通过检查不同的拓扑类来选择具有丰富视觉信息的拓扑类。从环境的广义沃罗诺伊图中提取拓扑图,找到具有不同拓扑类的初始路径,并将初始路径划分为离散段,每段中的点共享相似的视觉信息,以评价不同拓扑类的感知质量.该算法首先选择感知质量高的最优类,然后利用基于图的规划器在类内生成路径。通过仿真和真实世界的实验,我们证实了所提出的方法可以保证准确的视觉导航相比,感知不可知的方法,同时显示出更高的计算效率比基于采样的感知感知规划。
2021-07-19 cs.RO
Toward Deep Representation Learning for Event-Enhanced Visual Autonomous Perception: the eAP Dataset
Neuromorphic Automation and Intelligence Lab (NAIL) at School of AI & Robotics, Hunan University(神经形态自动化与智能实验室(NAIL)位于人工智能与机器人学院,湖南大学);ByteDance(字节跳动);Zhuoyu Technology(卓宇科技)
本文提出eAP数据集,用于研究事件增强的深度视觉感知,通过深度学习方法提升3D车辆检测和物体时间到接触估计性能。
2026-03-17 cs.RO
Perception-Control Coupled Visual Servoing for Textureless Objects Using Keypoint-Based EKF
Epson Canada Ltd.(爱普生加拿大有限公司);University of Toronto(多伦多大学)
本研究提出基于关键点的扩展卡尔曼滤波方法,通过闭环整合感知与控制,提升无纹理物体视觉伺服的鲁棒性和精度。
2026-02-25 cs.RO
Deep Visual Perception for Dynamic Walking on Discrete Terrain
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
动态双足步行离散地形,如垫脚石,是一个具有挑战性的问题,需要反馈控制器来执行安全关键的约束。为了在现实世界的实验中实施这样的约束,需要快速准确地感知立足点检测和估计。在这项工作中,深度视觉感知模型的设计,以准确地估计下一步的步长,作为输入到反馈控制器,使视觉在环动态行走离散地形。特别地,设计并训练定制的卷积神经网络架构,以使用脚撞击时即将到来的地形的采样图像预览来预测到下一个立足点的步长。视觉输入仅在每一步开始时提供,并且被示出足以用于动态地踩到离散立足点的工作。通过广泛的数值研究,我们表明,机器人能够成功地自主行走超过100步,而不会失败的离散地形与立足点随机定位在一个步长范围为45-85厘米。
2017-12-04 cs.RO
Adaptive Visual Perception for Robotic Construction Process: A Multi-Robot Coordination Framework
Texas A&M University(德克萨斯农工大学)
本研究提出一种多机器人协调框架,通过监督机器人自适应调整姿态优化视觉覆盖,以解决施工中视野遮挡问题,并验证了视点选择方法的有效性与鲁棒性。
2024-12-15 cs.RO
AgentChemist: A Multi-Agent Experimental Robotic Platform Integrating Chemical Perception and Precise Control
本文提出AgentChemist平台,通过协作任务分解、动态调度和自适应控制,解决实验室中多样、罕见和演变的操作问题,提升自动化系统的泛化能力。
2026-03-25 cs.AI cs.RO
Toward Spatial Temporal Consistency of Joint Visual Tactile Perception in VR Applications
Dalian University of Technology(大连理工大学);vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)
针对VR中视觉触觉数据时空不一致问题,提出新采集系统及V-Touching应用,实现像素级联合感知与差异化触觉反馈。
2023-12-29 cs.RO
Linking Behaviour and Perception to Evaluate Meaningful Human Control over Partially Automated Driving
Centre for Meaningful Human Control(有意义的人控中心);Department of Cognitive Robotics(认知机器人学系);Department of Transport & Planning(交通与规划系);Department of Intelligent Systems(智能系统系);Delft University of Technology(代尔夫特理工大学)
研究通过模拟实验探讨部分自动化驾驶系统中驾驶员对有意义人机控制(MHC)的体验,发现感知自动化车辆理解驾驶员与转向扭矩冲突存在显著负相关,且反应时间与控制感知存在正相关,提示未来设计需注重驾驶员干预的顺畅性、自动化意图的透明传达及情境敏感的权限分配。
2026-10-08 cs.AI cs.CY cs.HC
Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University(莫纳什大学)
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题,研究用前沿人体感知跟踪模型优化Pepper机器人视觉,通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
Embodied Supervision: Haptic Display of Automation Command to Improve Supervisory Performance
University of Michigan(密歇根大学)
本文提出向监督者提供操作员指令信号副本,并通过 N=10 人的实验证明,相比仅视觉显示,触觉显示能更准确地识别操作员跟踪的参考目标。
2024-02-28 cs.HC cs.RO
Accurate, Low-Latency Visual Perception for Autonomous Racing:Challenges, Mechanisms, and Practical Solutions
MIT(麻省理工学院);Google DeepMind(谷歌DeepMind)
自动驾驶赛车提供了在极限下测试安全关键感知管道的机会。本文介绍了应用最先进的计算机视觉算法为DUT 18无人驾驶(DUT 18 D)构建低延迟、高精度感知系统的实际挑战和解决方案,DUT 18 D是一款四轮驱动电动赛车,在其参加的所有方程式无人驾驶比赛中均登上领奖台。DUT 18 D的关键组件包括基于YOLOv 3的目标检测、姿态估计以及双立体视觉/单视觉相机设置的时间同步。我们强调了使感知CNN适应赛车领域所需的修改,用于姿态估计的损失函数的改进,以及亚微秒相机同步的方法等改进。我们对该系统进行了全面的实验评估,证明了其在现实世界的赛车场景中的准确性和低延迟。
2020-07-28 cs.CV cs.RO
Elastic Tactile Simulation Towards Tactile-Visual Perception
JD Explore Academy(京东探索研究院)
触觉感知在机器人感知和操作任务中起着重要的作用。为了克服数据汇集在现实世界中的局限性,在虚拟环境中模拟触觉响应成为机器人研究的一个理想方向。在本文中,我们提出了弹性相互作用的粒子(EIP)的触觉模拟。大多数现有的工作模型的触觉传感器作为一个刚性的多体,这是无法反映的弹性特性的触觉传感器,以及表征细粒度的两个对象之间的物理相互作用。相比之下,EIP将触觉传感器建模为一组协调的颗粒,并应用弹性特性来调节颗粒在接触过程中的变形。通过EIP的触觉模拟,我们进一步提出了一个触觉-视觉感知网络,使触觉数据和视觉图像之间的信息融合。感知网络基于全局到局部的融合机制,其中多尺度触觉特征在触觉位置和方向的指导下被聚合到视觉模态的相应局部区域。该融合方法在三维几何重建任务方面具有优越性。
2021-08-12 cs.CV cs.RO
Aligning Knowledge Graph with Visual Perception for Object-goal Navigation
ZhejiangLab(浙江实验室);Dalhousie University(达尔豪斯大学)
针对目标导航中知识图谱与视觉图像不对齐的问题,提出AKGVP方法,通过连续建模分层场景架构并结合视觉-语言预训练实现多模态特征对齐,赋予导航器卓越的零样本导航能力。
2024-04-26 cs.CV cs.RO
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
大量的文献表明,基于学习的视觉感知模型是敏感的对抗性噪声,但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此,我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响,摄像机运动对机器人的感知。具体而言,我们提出了一种运动平滑技术,任意图像分类模型,其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证,使其适用于广泛的机器人应用。据我们所知,这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作,这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图,为整个房间,MetaRoom,介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验,以验证认证方法,通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内,该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性,在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
Bio-inspired robot perception coupled with robot-modeled human perception
我的总体研究目标是为机器人提供感知能力,使其能够以类似人类的方式与人类进行交互。为了发展这些感知能力,我相信研究人类视觉系统的原理是有用的。我使用这些原则来开发新的计算机视觉算法,并验证它们在智能机器人系统中的有效性。我对这种方法充满热情,因为它提供了双重好处,既可以揭示人类视觉系统固有的原则,又可以将这些原则应用于人工视觉系统。图1描述了我的研究。
2021-08-31 cs.CV cs.RO
SuPer Deep: A Surgical Perception Framework for Robotic Tissue Manipulation using Deep Learning for Feature Extraction
University of California San Diego(加州大学圣迭戈分校);East China Normal University(华东师范大学)
手术中的机器人自动化需要精确跟踪手术工具和映射可变形组织。以前的手术感知框架的工作需要在开发手术工具和组织跟踪的功能方面做出巨大努力。在这项工作中,我们通过利用深度学习方法进行手术感知来克服挑战。我们将能够高效特征提取的深度神经网络集成到组织重建和仪器姿态估计过程中。通过利用迁移学习,基于深度学习的方法需要最少的训练数据和减少的特征工程工作来完全感知手术场景。该框架在三个公开的数据集上进行了测试,这些数据集使用达芬奇手术系统进行全面分析。实验结果表明,我们的框架通过利用深度学习进行特征提取,在手术环境中实现了最先进的跟踪性能。
2021-03-25 cs.CV cs.RO
VIPER: Visual Perception and Explainable Reasoning for Sequential Decision-Making
Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、ISIR)
VIPER提出融合VLM感知与LLM推理的模块化框架,通过文本中间表示增强可解释性,在ALFWorld上超越现有视觉指令规划器。
2025-09-10 cs.AI cs.LG cs.RO
Box Pose and Shape Estimation and Domain Adaptation for Large-Scale Warehouse Automation
Laboratory for Information & Decision Systems (LIDS)(信息与决策系统实验室);Massachusetts Institute of Technology(麻省理工学院);Symbotic(Symbotic公司);Vector Institute University of Toronto(多伦多大学向量研究所)
本文针对仓储自动化提出一种自监督域自适应流程,利用未标注真实数据改进箱体姿态与形状估计,并在5万张真实图像上验证其显著优于仿真训练模型和零样本3D基线。
2025-07-01 cs.CV cs.LG cs.RO