Autonomous Visual Assistance for Robot Operations Using a Tethered UAV
Texas A&M University（德州农工大学）
本文提出了一种自主系留空中视觉助手的机器人操作在非结构化或受限的环境。由于缺乏足够的态势感知能力，机器人在远程环境中的遥操作是困难的，这主要是由固定和有限的视场以及缺乏来自机器人机载摄像机的深度感知造成的。实践的新兴状态是使用两个机器人，一个主机器人和一个辅助机器人，作为视觉助手，通过提供外部视角来克服机载传感器的感知限制。然而，使用远程操作的视觉助手时存在的问题：额外的人力，手动选择次优视点，以及初级和次级操作员之间的额外团队合作需求。在这项工作中，我们使用一个自主的系留空中视觉助理，以取代辅助机器人和操作员，减少人类机器人的比例从2：2到1：2。该视觉助手能够以风险感知的方式自主导航通过非结构化或受限空间，同时持续保持良好的视点质量，以提高主操作员的态势感知能力。通过拟议的合作机器人团队，核操作，拆弹小组，灾难机器人和其他具有新任务或高度闭塞环境的领域中的远程操作任务可以从减少人力和团队合作需求中受益，同时提高视觉辅助质量，基于可信赖的风险感知运动在混乱的环境中。
2019-07-10 cs.RO
Self-Supervised Learning of Visual Servoing for Low-Rigidity Robots Considering Temporal Body Changes
The University of Tokyo（东京大学）
针对低刚性机器人身体控制与视觉标定困难及随时间变化的问题，提出视觉伺服自监督学习与自适应更新机制，并在 MyCobot 六轴机械臂的抓取实验中验证有效性。
2024-05-20 cs.RO
Visual Proactivity: Enhancing Human-Robot Collaboration Through Intent Communication
Institut de Robotica y Informatica Industrial (CSIC-UPC)（工业机器人信息研究所（CSIC-UPC））；Universitat Politecnica de Catalunya - BarcelonaTech (UPC)（加泰罗尼亚理工大学）
本文提出视觉主动性方法，通过视觉反馈让机器人主动沟通意图，在人机交接场景中验证其能增强透明度和协作流畅性。
2026-09-21 cs.RO
Visual-Inertial Odometry of Aerial Robots
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
视觉惯性里程计（VIO）是估计智能体的状态（姿态和速度）的过程（例如，空中机器人）。VIO是GPS和基于激光雷达的里程计的唯一可行的替代方案，以实现精确的状态估计。由于相机和IMU都非常便宜，这些传感器类型在当今所有的空中机器人中无处不在。
2019-06-14 cs.RO
Impactful Robots: Evaluating Visual and Audio Warnings to Help Users Brace for Impact in Human Robot Interaction
可穿戴机器人设备有可能帮助和保护其用户。针对智能头盔的设计，本文探讨了音频和视频警告的有效性，以帮助参与者做好冲击准备。一项用户研究检查了运行时应用于用户的不同警告和影响。从不同方向施加按用户质量缩放的扰动力，并测量用户位移以表征警告的有效性。这是通过使用TreadPort主动风洞来实现的，该风洞适于在运动周期期间的精确时刻传递向前、向后、向右或向左的扰动力。本文概述了该系统，并展示了在步态期间精确提供一致警告和扰动的能力。用户研究结果强调了视觉和听觉警告的有效性，以帮助用户做好冲击准备，从而为未来的人机警告系统提供指导。
2022-07-28 cs.RO
NeRFoot: Robot-Footprint Estimation for Image-Based Visual Servoing
Mobile Robotics Group (MRG), University of Oxford（牛津大学移动机器人小组（MRG））
本文提出NeRFoot方法，利用NeRF作为三维先验外推机器人足迹并训练CNN在线提取，从而为IBVS控制提供比边界框更紧致的约束，扩大移动机器人的安全操作区域并优化轨迹。
2024-10-03 cs.RO
Integrating Visual Foundation Models for Enhanced Robot Manipulation and Motion Planning: A Layered Approach
本文提出一种五层框架，融合视觉基础模型提升机器人操作与运动规划，实现实时调整和持续学习，并通过实验验证其在动态环境中的部署潜力。
2023-09-20 cs.RO
VIR-SLAM: Visual, Inertial, and Ranging SLAM for single and multi-robot systems
École Polytechnique de Montréal（蒙特利尔综合理工学院）
与惯性测量相结合的单目相机通常给出高性能的视觉惯性测距法。然而，对于长轨迹，漂移可能是显著的，特别是当环境在视觉上具有挑战性时。在本文中，我们提出了一个系统，利用超宽带测距与一个静态锚放置在环境中，以纠正累积的错误，每当锚是可见的。我们还将此设置用于协作SLAM：不同的机器人使用相互测距（当可用时）和公共锚来估计彼此之间的变换，促进地图融合我们的系统由两个模块组成：用于单个机器人的双层测距，视觉和惯性测距，以及用于协作SLAM的变换估计模块。我们通过模拟超宽带传感器以及真实机器人在公共数据集上测试我们的系统。实验表明，我们的方法可以超过国家的最先进的视觉惯性里程超过20%。对于视觉上具有挑战性的环境，即使视觉惯性里程计具有显著的漂移，我们的方法也可以工作。此外，我们可以计算协作SLAM变换矩阵，几乎没有额外的计算成本。
2020-05-31 cs.RO
Event-Driven Visual-Tactile Sensing and Learning for Robots
National University of Singapore（新加坡国立大学）
这项工作有助于事件驱动的视觉触觉感知系统，包括一个新的生物启发的触觉传感器和多模态尖峰为基础的学习。我们的神经形态指尖触觉传感器NeuTouch由于其基于事件的特性，能够很好地适应出租车的数量。同样，我们的视觉触觉脉冲神经网络（VT-SNN）在与事件传感器耦合时能够实现快速感知。我们评估我们的视觉触觉系统（使用NeuTouch和Prophesee事件相机）的两个机器人任务：容器分类和旋转滑动检测。在这两个任务中，我们观察到相对于标准深度学习方法的良好准确性。我们已经免费提供了我们的视觉触觉数据集，以鼓励对多模态事件驱动机器人感知的研究，我们认为这是一种有前途的智能节能机器人系统方法。
2020-09-15 cs.RO
Robotic Scene Cloning:Advancing Zero-Shot Robotic Scene Adaptation in Manipulation via Visual Prompt Editing
Wuhan University（武汉大学）；University of Science and Technology of China（中国科学技术大学）；Dexmal；The Hong Kong Polytechnic University（香港理工大学）
机器人场景克隆通过视觉提示编辑提升零样本机器人场景适应能力，实现跨场景的高效操作性能
2026-03-10 cs.RO
Deep Direct Visual Servoing of Tendon-Driven Continuum Robots
Ryerson University（瑞尔森大学）
基于视觉的控制提供了一个显着的潜力下的物理传感限制的连续体机器人的端点定位。传统的视觉伺服需要特征提取和跟踪，然后进行全部或部分姿态估计，限制了控制器的效率。我们假设，采用深度学习模型和实现直接视觉伺服可以通过消除这些中间步骤来有效地解决这个问题，从而在不需要精确系统模型的情况下控制连续体机器人。本文提出了一种单节肌腱驱动连续体机器人的控制，使用修改后的VGG-16深度学习网络和手眼直接视觉伺服方法。该算法首先在Blender软件中开发，仅使用目标的一个输入图像，然后在真实机器人上实现。在正常、阴影和遮挡场景中的收敛性和精度证明了所提出的控制器的有效性和鲁棒性。
2022-03-25 cs.RO
SInViG: A Self-Evolving Interactive Visual Agent for Human-Robot Interaction
ByteDance Research（字节跳动研究院）；Tsinghua University（清华大学）
本文提出自进化交互式视觉智能体SInViG，通过多轮视觉-语言对话消解语言歧义，并利用无标注图像与大语言模型自动持续学习，在多个交互式视觉定位基准上达到最先进性能，并在Franka机器人上验证了自然交互与多样化指令执行能力。
2024-02-20 cs.RO
CeRLP: A Cross-embodiment Robot Local Planning Framework for Visual Navigation
School of Computer Science, Shanghai Jiao Tong University, Shanghai, P. R. China（上海交通大学计算机科学学院，上海，中华人民共和国）；College of Information Science and Technology, Eastern Institute of Technology, Ningbo, P. R. China（信息科学与技术学院，东部技术研究所，宁波，中华人民共和国）
本文提出CeRLP框架，通过统一几何表征和异构机器人适应，解决跨体素机器人视觉导航中的尺度模糊和异构问题，实验证明其在障碍物避障和导航任务中的有效性。
2026-03-20 cs.RO
TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
TrAct是基于世界模型的机器人决策框架，以视觉轨迹为控制与预测的中间接口，在LIBERO-INTEGRAL基准和Franka任务上，相较基线π₀.5显著提升了操作成功率与视频预测质量。
2026-10-15 cs.RO
NuRF: Nudging the Particle Filter in Radiance Fields for Robot Visual Localization
Hong Kong University of Science and Technology（香港科技大学）
NuRF结合辐射场新视图与粒子滤波，实现单目视觉下的6自由度机器人定位，收敛速度比现有方法快7倍，精度在1米内。
2025-03-26 cs.RO
The AdobeIndoorNav Dataset: Towards Deep Reinforcement Learning based Real-world Indoor Robot Visual Navigation
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
深度强化学习（DRL）展示了其在机器人视觉导航中学习无模型导航策略的潜力。然而，数据需求的算法依赖于大量的导航轨迹在训练中。现有的数据集支持训练这样的机器人导航算法包括3D合成场景或重建场景。合成数据与真实世界场景之间存在域间隙，而从3D重建场景渲染的视觉输入具有不期望的孔和伪影。在本文中，我们提出了一个新的数据集收集在现实世界中，以促进研究基于DRL的视觉导航。我们的数据集包括真实世界场景的3D重建以及从场景中密集捕获的真实2D图像。它为密集网格位置的机器人提供具有真实场景复杂性的高质量视觉输入。我们进一步研究和基准最近DRL基于导航算法，并提出我们的尝试和想法，以提高其泛化能力，在场景中看不见的测试目标。
2018-02-24 cs.RO
DVDP: An End-to-End Policy for Mobile Robot Visual Docking with RGB-D Perception
针对移动机器人视觉对接对初始位置要求严格的问题，提出端到端策略DVDP，仅用双目RGB-D相机直接输出对接路径，并构建大规模数据集与评估指标，实验及真实部署验证了其生成平滑可行轨迹的优越性能。
2025-09-16 cs.RO
Egocentric Visual Self-Modeling for Autonomous Robot Dynamics Prediction and Adaptation
Columbia University（哥伦比亚大学）；Duke University（杜克大学）
本文提出一种仅用单目第一视角相机、自监督学习的任务无关动力学自模型，在12自由度机器人上验证了运动能力、异常检测与行为适应，并展示了跨配置的泛化性，为自主、适应和韧性机器人系统奠定基础。
2024-03-15 cs.RO
Homography matrix based trajectory planning method for robot uncalibrated visual servoing
Wuhan Institute of Technology（武汉工程大学）；Huazhong University of Science and Technology（华中科技大学）；Wuhan University（武汉大学）
提出基于单应矩阵的轨迹规划方法，利用特征值分解与单应矩阵获取最优图像轨迹，使无标定视觉伺服在较大初始偏差下实现最短路径跟踪。
2023-08-30 cs.RO
Enhancing Robot Explanation Capabilities through Vision-Language Models: a Preliminary Study by Interpreting Visual Inputs for Improved Human-Robot Interaction
University of León（莱昂大学）
本研究针对人机交互中机器人动作解释的需求，在原有基于大语言模型的日志解释系统基础上引入视觉-语言模型，结合日志与图像数据生成解释，经导航避障任务验证可提升障碍物识别精度与解释准确性。
2024-04-15 cs.RO
IC-GVINS: A Robust, Real-time, INS-Centric GNSS-Visual-Inertial Navigation System for Wheeled Robot
Wuhan University（武汉大学）
本文提出了一种鲁棒的、实时的【形】惯性导航系统（INS）--以INS为中心的GNSS视觉惯性导航系统（IC-GVINS），该系统充分利用了精确的INS进行状态估计和视觉处理。为了提高系统的鲁棒性，在整个基于关键帧的视觉处理过程中充分利用惯导信息，并采用严格的离群点剔除策略。采用GNSS对IC-GVINS进行精确、方便的初始化，并进一步用于实现大范围环境下的绝对定位。IMU、视觉和GNSS测量在因子图优化的框架内紧密融合。专门的实验进行了评估的鲁棒性和准确性的IC-GVINS上的轮式机器人。IC-GVINS在各种具有移动物体的视觉退化场景中表现出卓越的鲁棒性。相对于最先进的视觉惯性导航系统，所提出的方法在各种环境下产生更好的鲁棒性和精度。我们在GitHub上开源了我们的代码和数据集
2022-06-09 cs.RO
LIVE: Lidar Informed Visual Search for Multiple Objects with Multiple Robots
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究提出LIVE多机器人视觉搜索方法，通过激光雷达检测未建图的短期特征并过滤以在线调整规划，结合CPP生成异构机器人高效全局规划，经双机器人室内实验验证，还配套发布数据模型与演示数据集。
2023-10-06 cs.RO
Audio-Visual Traffic Light State Detection for Urban Robots
Deakin University（迪肯大学）
针对城市四足机器人交通灯检测中视觉遮挡和运动噪声问题，提出结合原始音频特征与视觉边界框内红/绿像素比例的多模态方法，通过多帧特征融合提升鲁棒性，运动时性能优于单模态方案。
2024-04-30 cs.RO
Robot kinematic structure classification from time series of visual data
Human Inspired Technology Center（类人技术中心）
本文提出了一种新的算法来解决机器人运动学结构识别问题。给定一个时间序列的数据，通常获得处理的一组视觉观察，所提出的方法确定的有序序列的链接相关联的运动链，关节类型互连的每对连续的链接，和影响相对运动的输入信号。与现有技术相比，所提出的算法降低了计算成本，并且还能够识别关节的类型序列。
2019-03-11 cs.RO
Learning to Sequence Robot Behaviors for Visual Navigation
Carnegie Mellon University（卡内基梅隆大学）；Chinese Academy of Sciences（中国科学院）；Lebanese University（黎巴嫩大学）
机器人社区最近的文献集中在学习机器人行为，抽象出机器人控制的低层次细节。为了充分利用这些行为的功效，有必要选择和排序它们以完成给定的任务。在本文中，我们提出了一种方法来学习和序列机器人的行为，应用于移动机器人的视觉导航问题。我们构造了一个由底层行为和元级策略组成的控制策略的分层表示。低级行为使机器人能够在特定环境中移动，同时避开障碍物，元级策略纯粹基于视觉反馈主动选择最适合当前情况的低级行为。我们证明了我们的方法对三个模拟机器人导航任务的有效性：腿六足机器人，必须成功地穿越不同的地形，轮式机器人，必须导航迷宫般的过程中，同时避免障碍物，最后一个轮式机器人导航中存在的动态障碍。我们表明，通过分层学习控制策略，我们能够成功地遍历由不同子环境组成的新复合环境，并在各自的子环境中超越低级行为，以及手工选择这些复合环境中的低级策略。
2018-03-26 cs.RO
Visual Robotic Manipulation with Depth-Aware Pretraining
Shanghai University（上海大学）；Midea Group（美的集团）；East China Normal University（华东师范大学）
本文提出深度感知预训练方法DPR，利用大规模3D数据以自监督对比学习增强RGB视觉骨干的3D场景表征能力，并引入本体感知注入策略网络，在仿真与真实机器人操作任务中提升对未见物体和环境的泛化性能。
2024-01-17 cs.RO
Video Object Segmentation-based Visual Servo Control and Object Depth Estimation on a Mobile Robot
University of Michigan（密歇根大学）
为了在日常环境中发挥作用，机器人必须能够识别和定位现实世界的物体。近年来，视频对象分割在将真实视频和具有挑战性的视频中的对象从背景中密集地分离出来方面取得了重大进展。建立了这一进展，本文解决的问题，识别通用对象，并将它们定位在3D使用移动机器人与RGB摄像头。我们实现了这一点，首先，介绍了一个视频对象分割为基础的方法，视觉伺服控制和主动感知，第二，开发一个新的Hadamard Broyden更新配方。我们基于分割的方法简单但有效，我们的更新公式可以让机器人快速学习执行器和视觉特征之间的关系，而无需任何相机校准。我们在实验中通过学习移动HSR机器人上的各种致动器-相机配置来验证我们的方法，该机器人随后从YCB数据集识别、定位和抓取对象，并实时跟踪人和其他动态铰接对象。
2020-01-10 cs.RO
CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation
提出CORE框架，从无动作视觉演示中提取共同结果规律作为视觉目标原型，注入机器人策略提升操作成功率，在多个基准上平均提升3.9至17.0个百分点。
2026-08-04 cs.RO
Enhanced Visual Feedback with Decoupled Viewpoint Control in Immersive Humanoid Robot Teleoperation using SLAM
University of Tsukuba（筑波大学）；Universite de Picardie Jules Verne（皮卡第儒勒·凡尔纳大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
在沉浸式人形机器人遥操作中，存在三个主要缺点，可以改变视觉反馈的透明度：由于网络通信延迟或缓慢的机器人关节运动，操作员的头部和机器人的头部之间的运动滞后。该等待时间可能导致视觉反馈中的显著延迟，这危害实施例质量，可能导致头晕，并且影响交互性，导致操作者频繁的运动暂停以使视觉反馈稳定;（ii）摄像机的视场（FOV）与耳机的视场（FOV）之间的失配，前者通常具有较低的FOV;以及（iii）人类和机器人的颈部运动范围之间的不匹配，后者通常也较低。为了利用这些缺点，我们为人形平台开发了一种解耦的视点控制解决方案，该解决方案允许低延迟的视觉反馈，并人为地增加相机的FOV范围以匹配操作员的耳机。我们的新解决方案使用SLAM技术来增强重建网格的视觉反馈，补充机器人视觉反馈未覆盖的区域。视觉反馈作为点云实时呈现给操作员。因此，操作员通过观察点云的姿态，从机器人的头部方向获得实时视觉。在基于虚拟现实的遥操作系统中，考虑到控制系统的安全性和鲁棒性，平衡这种感知和沉浸是很重要的。实验结果表明了该方法的有效性。
2022-11-03 cs.RO
LaVA-Man: Learning Visual Action Representations for Robot Manipulation
Queen Mary University of London（伦敦女王学院）；University College London（伦敦大学学院）
本文提出 LaVA-Man，通过遮蔽目标图像重建的自监督任务学习视觉-动作表征，并构建 Omni-Object Pick-and-Place 数据集，在五个仿真与真实机器人基准上提升语言引导操作性能。
2025-09-29 cs.RO
Visual Explanation of Deep Q-Network for Robot Navigation by Fine-tuning Attention Branch
Chubu University（中部大学）；Keio University（庆应义塾大学）
深度强化学习（RL）的机器人导航具有更高的性能，在复杂环境下表现良好。与此同时，深度强化学习模型的决策解释成为提高自主机器人安全性和可靠性的关键问题。在本文中，我们提出了一种基于注意力分支的深度RL模型的可视化解释方法。我们将注意力分支与预先训练好的深度强化学习模型连接起来，并以监督学习的方式将训练好的深度强化学习模型选择的动作作为正确的标签来训练注意力分支。由于注意分支被训练为输出与深度RL模型相同的结果，因此获得的注意图对应于具有更高可解释性的Agent动作。机器人导航任务的实验结果表明，所提出的方法可以产生可解释的注意力地图的视觉解释。
2022-08-18 cs.RO
Using RGB Image as Visual Input for Mapless Robot Navigation
Harbin Institute of Technology（哈尔滨工业大学）
无地图环境下的机器人导航是移动机器人面临的主要问题和挑战之一。深度强化学习是解决无地图导航任务的一种很有前途的技术。由于强化学习需要大量的探索，因此通常需要在模拟器中训练智能体，然后迁移到真实环境中。巨大的现实差距使得RGB图像，最常见的视觉传感器，很少使用。在本文中，我们提出了一个基于学习的无地图运动规划器，以RGB图像作为视觉输入。以RGB图像为视觉输入的端到端导航网络中的许多参数被用来提取视觉特征。因此，我们将视觉特征提取模块从强化学习网络中解耦，以减少Agent与环境之间的交互需求。我们使用变分自编码器（VAE）对图像进行编码，并将得到的隐向量作为低维视觉特征与目标和运动信息一起输入到网络中，从而大大提高了智能体的采样效率。我们建立了仿真环境作为机器人导航环境，用于算法比较。在测试环境中，将该方法与端到端网络进行了比较，证明了该方法的有效性和高效性。源代码可以在https://github.com/marooncn/navbot上找到。
2019-04-22 cs.RO
Visual end-effector tracking using a 3D model-aided particle filter for humanoid robot platforms
Istituto Italiano di Tecnologia（意大利技术研究院）
本文讨论了递归无标记估计机器人的末端执行器使用视觉观察其摄像机。这个问题被制定成贝叶斯框架，并使用顺序蒙特卡罗（SMC）过滤解决。我们使用3D渲染引擎和机器人的计算机辅助设计（CAD）原理图来虚拟地从机器人的摄像机视点创建图像。这些图像然后被用于提取信息和估计末端执行器的姿态。为此，我们开发了一种粒子滤波器，用于估计的位置和方向的机器人的末端执行器使用直方图的定向梯度（HOG）描述符，以捕获强大的特征功能的形状在摄像机和渲染图像。我们在iCub人形机器人上实现了该算法，并将其用于闭环到达场景。我们证明了跟踪是强大的杂波，允许补偿机器人运动学中的误差和伺服臂在闭环使用视觉。
2017-08-04 cs.RO
"One Soy Latte for Daniel": Visual and Movement Communication of Intention from a Robot Waiter to a Group of Customers
Faculty of Engineering, Monash University（莫纳什大学工程学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
本研究针对餐厅服务机器人向群体顾客传意不清的问题，通过30人用户研究探究可视化与移动轨迹对交互的影响，发现个性化轨迹停靠加订单可视化可提升配送准确率与用户好感。
2024-07-08 cs.RO
Robust Visual Embodiment: How Robots Discover Their Bodies in Real Environments
Department of Mechanical, Industrial and Mechatronics Engineering, Toronto Metropolitan University（机械、工业与机电工程系，多伦多 Metropolitan 大学）
针对真实感知条件下机器人视觉自建模流程脆弱的问题，提出结合任务感知去噪框架与语义分割的方法，提升自建模鲁棒性，为真实环境部署自感知机器人奠基。
2025-10-04 cs.RO
Where to Fetch: Extracting Visual Scene Representation from Large Pre-Trained Models for Robotic Goal Navigation
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；Campus Security Smart Brain Shandong Engineering Research Center（山东校园安全智能脑工程研究中心）
提出利用大规模视觉语言模型构建视觉场景表征，结合大型语言模型解析指令，使机器人能执行复杂目标导航与取物任务。
2024-08-20 cs.RO
VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations using Visual-Tactile Alignment
ETH Zurich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）
VisTacAlign通过对齐人类与机器人演示的视觉和触觉模态，共同训练灵巧策略，在精确力任务上优于仅机器人策略。
2026-10-14 cs.RO
Applications of Uncalibrated Image Based Visual Servoing in Micro- and Macroscale Robotics
Johns Hopkins University（约翰斯·霍普金斯大学）；Sanaria, Inc.（Sanaria公司）
本文提出一种无需手眼标定和相机标定的无标记图像视觉伺服方法，利用双相机结合经典图像处理与深度学习检测特征，在微尺度蚊虫解剖和宏观尺度螺丝紧固任务中实现了类似人类的操作精度。
2023-04-17 cs.RO
Improved Visual-Inertial Localization for Low-cost Rescue Robots
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文改进了视觉惯性系统，以提高低成本救援机器人的定位精度。当机器人在崎岖的地形上穿越时，由于地面接触力的影响，惯性传感器的测量值会产生很大的噪声，特别是对于低成本的传感器，姿态估计的性能会受到影响。因此，我们提出基于\textit{Threshold}和基于\textit{Dynamic Time Warping}的方法来检测异常测量并减轻这种故障。这两种方法被嵌入到流行的VINS-Mono系统中，以评估其性能。仿真和真实机器人数据的实验表明，这两种方法提高了位姿估计精度。此外，基于\textit{Threshold}的方法在噪声较小时表现得更好，而基于\textit{Dynamic Time Warping}的方法在大噪声时表现出更大的潜力。
2020-11-17 cs.RO
ROS Based Visual Programming Tool for Mobile Robot Education and Applications
Inovasyon Muhendislik Ltd. Sti.（伊诺瓦逊工程有限公司）
可视化程序设计语言（VPL）提供无需键入文本的编码。VPL通过自动添加一些常用的代码结构，使程序员更容易编写代码。编码初学者通常有两个主要挑战：将想法转换为逻辑表达式和语法错误。VPL不可能出现重复错误，因为没有忘记的括号和括号。VPL为程序员提供了专注于算法的工具。VPL是教育机器人环境的新趋势。在这项研究中，机器人操作系统（ROS）兼容的基于Web的可视化编程系统已经开发的evarobot。ROS提供库和工具来帮助软件开发人员创建机器人应用程序。它提供硬件抽象、设备驱动程序、库、可视化工具、消息传递、包管理等。Blockly已被用作研究的VPL，并用于生成/使用模块（通信、传感等）。在该系统中，服务器端和客户端之间的通信由rosbridge软件包提供支持。连接到ROS的Web页面，它使用roslibjs库在服务器上运行。Rosbridge为非ROS程序提供了一个JSON API到ROS功能。
2020-11-27 cs.RO
3D Shape Control of Extensible Multi-Section Soft Continuum Robots via Visual Servoing
Robotics Engineering Department, Worcester Polytechnic Institute（沃斯特理工学院机器人工程系）
本文提出一种基于视觉伺服的控制算法，用于调节可伸缩多节软连续机械臂的全身形状，无需本体感觉传感器，实现全局稳定收敛和高精度末端定位。
2026-02-22 cs.RO
Visual navigation for airborne control of ground robots from tethered platform: creation of the first prototype
我们提出了地面机器人的协调控制系统。我们开发了机器人有效的协调使用位于塔上的设备或系留的空中设备跟踪控制区域的机器人和监督他们的环境，包括自然和人工标记。这种系统的简单原型是在Ariel大学应用数学实验室（Domoshnitsky Alexander教授的监督下）与公司TRANSIST VIDEO LLC（Skolkovo，莫斯科）合作创建的。我们计划创建更复杂的原型使用卡明格兰特（以色列）
2019-01-05 cs.RO
Visual Room-Awareness for Humanoid Robot Self-Localization
Vienna University of Technology（维也纳工业大学）
没有内部传感器（如指南针）的人形机器人在跌倒后往往会失去方向。此外，由于对称的人造环境，重新初始化通常是模糊的。这里提出的房间意识模块的灵感来自心理实验的结果，并通过映射和匹配的视觉背景与颜色直方图，改进了现有的自我定位策略。匹配算法使用粒子滤波器来生成独立于自定位算法的观看方向的假设，并生成各种可能姿态的置信度值。机器人的行为控制器使用这些置信度值来控制自定位算法，以收敛到最可能的姿态，并防止算法陷入局部最小值。实验与一个对称的标准平台联赛RoboCup比赛场模拟和一个真正的人形NAO机器人显示系统的显着改善。
2013-04-22 cs.RO
Efficient Greedy Algorithms for Feature Selection in Robot Visual Localization
Department of Mechanical Engineering and Mechanics, Lehigh University（机械工程与力学系，莱恩大学）
本文提出两种高效贪心算法，用于机器人视觉定位中的特征选择，以提高计算效率和定位精度。
2025-11-25 cs.RO
WALK-VIO: Walking-motion-Adaptive Leg Kinematic Constraint Visual-Inertial Odometry for Quadruped Robots
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出了一种新的视觉-惯性里程计（VIO），它具有随身体运动而变化的步行运动自适应腿部运动约束，用于四足机器人的定位。四足机器人主要使用VIO，因为它们需要快速定位以进行控制和路径规划。然而，由于四足机器人主要用于户外，从天空或地面提取的无关特征会导致跟踪失败。此外，四足机器人的步行运动会导致摆动，这会降低由于相机和惯性测量单元（IMU）的定位精度。为了克服这些限制，许多研究人员使用VIO与腿部运动学约束。然而，由于四足机器人的步行运动根据控制器，步态，四足机器人的速度，等等，这些因素应该考虑的过程中添加腿运动学约束。我们提出了VIO，可以使用无论步行运动通过调整腿的运动学约束因子。为了评估WALK-VIO，我们创建并发布了四足机器人的数据集，这些机器人在仿真环境中以各种类型的步行运动移动。此外，我们通过与当前最先进的算法进行比较，验证了WALK-VIO的有效性。
2021-11-30 cs.RO
OVGNet: A Unified Visual-Linguistic Framework for Open-Vocabulary Robotic Grasping
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；SenseTime（商汤科技）；University of Liverpool（利物浦大学）
本文提出OVGNet，一个集成开放词汇学习的统一视觉-语言框架，并构建大规模基准数据集，通过两个对齐模块增强感知，使机器人能抓取新物体，实验平均准确率达71.2%（基础）和64.4%（新类别）。
2024-07-18 cs.RO
Guided Visual Attention Model Based on Interactions Between Top-down and Bottom-up Information for Robot Pose Prediction
Waseda University（早稻田大学）；Hitachi, Ltd.（日立制作所）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院）
深度机器人视觉模型被广泛用于从相机图像中识别物体，但在未经训练的位置检测物体时表现不佳。虽然这个问题可以通过使用大数据集进行训练来缓解，但数据集收集成本不容忽视。现有的视觉注意力模型通过采用数据有效的结构来解决这个问题，该结构学习提取任务相关的图像区域。然而，由于模型不能在训练后修改注意目标，因此很难应用于动态变化的任务。提出了一种新的基于Key-Query-Value的视觉注意模型。该模型能够通过外部修改查询表示来切换注意目标，即自上而下的注意。该模型在模拟器和真实环境中进行了实验。在仿真实验中，该模型与现有的端到端机器人视觉模型进行了比较，显示出更高的性能和数据效率。在实际的机器人实验中，该模型显示了较高的精度以及可扩展性和可扩展性。
2022-10-25 cs.RO
Semantically-Aware Strategies for Stereo-Visual Robotic Obstacle Avoidance
University of Minnesota–Twin Cities（明尼苏达大学双城分校）
移动机器人在非结构化、无地图环境中必须依靠避障模块来安全导航。标准的回避技术估计障碍物相对于机器人的位置，但不知道障碍物的身份。因此，机器人在决定如何导航时无法利用障碍物的语义信息。我们提出了一个避障模块，结合视觉实例分割与深度图分类和定位场景中的对象。该系统基于对象的身份有区别地避开障碍物：例如，该系统在响应不可预测的对象（例如人类）时更加谨慎。该系统还可以更接近无害的障碍物，并忽略不构成碰撞危险的障碍物，使其能够更有效地导航。我们验证我们的方法在两个模拟环境：一个陆地和水下。结果表明，我们的方法是可行的，可以使更有效的导航策略。
2021-07-13 cs.RO
Robust 2 1/2D Visual Servoing of a Cable-Driven Parallel Robot Thanks to Trajectory Tracking
Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）；CNRS（法国国家科学研究中心）；IRT Jules Verne（儒勒·凡尔纳研究院）；Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；IRISA（雷恩信息与自动化系统研究所）
索驱动并联机器人是一种用索代替刚性连杆的并联机器人。在CDPR上实施基于视觉的控制导致了良好的最终精度，尽管系统中存在建模误差和其他扰动。然而，与最终精度不同，到达目标的轨迹可能会受到系统中的扰动的影响。本文提出了使用轨迹跟踪来提高CDPR的2 1/2 D视觉伺服控制的鲁棒性。李雅普诺夫稳定性分析，并作为一个新的工作空间，命名为控制稳定工作空间，被定义。该工作空间定义了一组移动平台姿态，机器人能够在稳定的情况下执行其任务。在实验验证中清楚地显示了鲁棒性的改善。
2020-01-16 cs.RO
Learning Modular Robot Visual-motor Locomotion Policies
Carnegie Mellon University（卡内基梅隆大学）
针对模块化机器人运动策略此前仅适配平坦地形且无法泛化多设计的问题，提出模块化视觉-运动策略，通过组件重组结合深度强化学习实现多设计多环境泛化，已在真实机器人爬楼梯等场景验证有效。
2023-04-29 cs.RO
Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video
通过视觉运动预测建模人类偏好，改进机器人从第一人称视频学习技能
2026-02-11 cs.RO
Visual Servoing on Wheels: Robust Robot Orientation Estimation in Remote Viewpoint Control
University of Oxford（牛津大学）
本文提出一种无需假设机器人与环境信息的弱监督视觉伺服快速部署流程，通过生成大量数据实现鲁棒的机器人朝向估计，在室内远程相机数据集上验证了高跟踪性能，并证明可在30分钟内部署新机器人。
2023-06-26 cs.RO
Participatory Design for Mental Health Data Visualization on a Social Robot
University of Washington（华盛顿大学）
数据可视化和人机交互（HRI）的交叉是一个新兴的领域。理解、交流和处理不同类型的数据以创建多功能可视化可以使HRI受益。相反，通过有效的可视化表达HRI生成的不同类型的数据可以提供有趣的见解。我们的工作增加了这个不断增长的领域的文献。在本文中，我们提出了我们的探索性工作可视化的心理健康数据的社交机器人。特别是，我们讨论了心理健康数据可视化的开发使用参与式设计（PD）的方法。作为社交机器人上心理健康数据可视化的第一步，这项工作为相关的进一步工作和使用社交机器人作为数据可视化工具铺平了道路。
2022-08-20 cs.HC cs.RO
Morphology-Agnostic Visual Robotic Control
Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
用于视觉机器人控制的现有方法通常需要通过校准相机或执行系统辨识来预先表征机器人。我们提出了MAVRIC，一种方法，它的工作原理与机器人的形态学的先验知识最少，只需要一个摄像机视图包含机器人及其环境和一个未知的控制界面。MAVRIC围绕着一种基于互信息的自我识别方法展开，该方法在探索性交互的几秒钟内发现机器人身体上的视觉“控制点”，然后这些控制点依次用于视觉伺服。MAVRIC可以控制具有不精确致动、没有本体感受反馈、未知形态（包括新颖工具）、未知相机姿势甚至不稳定的手持式相机的机器人。我们展示了我们的方法在视觉引导的3D点到达，轨迹跟踪，和机器人对机器人的模仿。
2019-12-31 cs.CV cs.RO
