Theia: Distilling Diverse Vision Foundation Models for Robot Learning
Stony Brook University(石溪大学);The AI Institute(人工智能研究院)
针对机器人策略学习需多样视觉理解的需求,提出蒸馏多现成视觉基础模型的Theia模型,以更少数据和更小尺寸实现更优性能,还探究了表征熵与学习效果的关联。
2024-10-10 cs.AI cs.CV cs.LG
A Fog Robotic System for Dynamic Visual Servoing
University of California, Berkeley(加州大学伯克利分校);Cloudminds Technology Inc.(达闼科技有限公司);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
云机器人是一种范例,分布式机器人通过网络连接到云服务,以网络通信为代价获得无限的计算能力。然而,由于网络延迟和可变性等限制,很难直接从云端控制动态的、符合人类需求的服务机器人。在这项工作中,通过利用带有心跳信号的异步协议,我们将云机器人与智能边缘设备相结合,构建了一个雾机器人系统。我们使用该系统,使强大的远程操作的动态自平衡机器人从云。我们首先使用该系统从静态位置拾取箱子,这是仓库物流中通常执行的任务。为了使云遥操作更有效,我们部署了基于图像的视觉伺服(IBVS)来自动执行盒子拾取。包括apriltag识别和跟踪在内的视觉反馈在云中执行,以模拟IBVS的Fog Robotic对象识别系统。我们证明了使用这种云边缘混合的实时动态自动化系统的可行性,这为在Fog Robotics中部署具有深度学习识别系统的动态机器人控制开辟了可能性。最后,我们表明,雾机器人使自平衡服务机器人拿起一个盒子自动从一个人在非结构化环境下。
2018-09-16 cs.AI cs.RO
Robot Learning to Communicate through Projected Visual Abstractions
Duke University(杜克大学)
研究让机器人通过投影视觉抽象通信,提出含21自由度灵巧手和影子自我模型的系统,能动态表达影子。通过自我探索学习映射,依目标优化配置,经模拟获可行运动,还引入多种优化,在多场景展示影子表达,建立相关框架。
2026-07-27 cs.AI cs.RO
Learning a generative model for robot control using visual feedback
我们介绍了一种新的配方,将视觉反馈控制机器人。我们定义了一个生成模型,从行动的图像观察功能的末端执行器。模型中的推理允许我们推断与特征的目标位置相对应的机器人状态。这反过来又引导机器人的运动,并允许以比最先进的视觉伺服方法少得多的步骤来匹配特征的目标位置。我们模型的训练过程可以同时有效地学习运动学,特征结构和相机参数。这可以在没有关于机器人、结构和观察它的摄像机的先验信息的情况下完成。学习是样本有效地完成的,并且对测试数据表现出很强的泛化能力。由于我们的公式是模块化的,我们可以修改设置的组件,如相机和对象,并在线快速重新学习它们。我们的方法可以处理观测状态中的噪声和与我们交互的控制器中的噪声。我们证明了我们的方法的有效性,通过执行把握和紧配合插入机器人不准确的控制器。
2020-03-10 cs.AI cs.RO
Deep Active Visual Attention for Real-time Robot Motion Generation: Emergence of Tool-body Assimilation and Adaptive Tool-use
Waseda University(早稻田大学);Hitachi, Ltd.(日立制作所)
充分感知环境是机器人运动生成的关键因素。虽然深度视觉处理模型的引入有助于扩展这种能力,但现有方法缺乏主动修改感知内容的能力;人类在视觉认知过程中内部执行。本文解决了这个问题,提出了一种新的机器人运动生成模型,灵感来自人类的认知结构。该模型结合了一个状态驱动的自上而下的主动视觉注意模块,它可以根据任务状态主动改变目标。我们把这种注意力称为基于角色的注意力,因为获得的注意力指向在整个运动中共享一致角色的目标。该模型在机器人工具使用任务上进行训练,在该任务中,基于角色的注意力分别在物体拾取和物体拖动运动期间将机器人夹具和工具视为相同的末端执行器。这类似于一种被称为工具-身体同化的生物现象,在这种现象中,人们将有柄的工具视为自己身体的延伸。结果表明,模型的视觉感知的灵活性的改善,这维持稳定的注意力和运动,即使它提供了未经训练的工具或暴露于实验者的分心。
2022-06-29 cs.AI cs.RO
Audio Visual Language Maps for Robot Navigation
University of Freiburg(弗赖堡大学);Google Research(谷歌研究院);University of Technology Nuremberg(纽伦堡工业大学)
虽然在世界中进行交互是一种多感官体验,但许多机器人仍然主要依赖视觉感知来在其环境中进行映射和导航。在这项工作中,我们提出了视听语言地图(AVLMaps),一个统一的三维空间地图表示存储跨模态的信息,从音频,视觉和语言线索。AVLMaps通过将多模态基础模型的特征融合到一个集中的3D体素网格中,集成了在互联网规模数据上预训练的多模态基础模型的开放词汇功能。在导航的上下文中,我们表明AVLMaps使机器人系统能够基于多模态查询在地图中索引目标,例如,地标的文本描述、图像或音频片段。特别是,音频信息的添加使机器人能够更可靠地消除目标位置的歧义。大量的模拟实验表明,AVLMaps使zero-shot多模态目标导航从多模态提示,并提供50%以上的召回在模糊的情况下。这些功能扩展到现实世界中的移动机器人-导航到涉及视觉,音频和空间概念的地标。视频和代码可在https://avlmaps.github.io上获得。
2023-03-27 cs.AI cs.CL cs.CV
VIA: Visual Interface Agent for Robot Control
Stanford University(斯坦福大学)
研究探索能否用基础模型通过视觉接口控制机器人,提出 VIA 框架,将机器人控制转为代理任务,该框架无需特定微调及特权信息,能零样本解决多种桌面操作任务,凭借基础模型能力提升取得高成功率,证明前沿代理技能可借合适接口用于机器人控制。
2026-10-08 cs.AI cs.RO
TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies
University of Maryland, College Park(马里兰大学 College Park 分校);Microsoft Research(微软研究院);Capital One
本文提出视觉轨迹提示方法,通过在15万条操作轨迹数据集上微调OpenVLA得到TraceVLA模型,显著提升机器人策略的时空感知能力,在仿真和真实机器人任务中均优于基线并具备良好泛化性。
2025-06-05 cs.AI cs.RO
Real-World Robot Learning with Masked Visual Pre-training
University of California, Berkeley(加州大学伯克利分校)
在这项工作中,我们探索了对来自各种野外视频的图像进行自我监督的视觉预训练,以完成真实世界的机器人任务。与之前的工作一样,我们的视觉表示通过掩码自编码器(MAE)进行预训练,冻结,然后传递到可学习的控制模块中。与以前的工作不同,我们表明,预先训练的表示在一系列真实世界的机器人任务和实施例中是有效的。我们发现,我们的编码器始终优于CLIP(高达75%),监督ImageNet预训练(高达81%)和从头开始训练(高达81%)。最后,我们训练一个307米的参数视觉Transformer器上的大量收集的4.5米图像从互联网和自我中心的视频,并清楚地证明了缩放视觉预训练的好处机器人学习。
2022-10-06 cs.CV cs.LG cs.RO
Visual Affordance Prediction for Guiding Robot Exploration
Carnegie Mellon University(卡内基梅隆大学)
本文提出用Transformer在VQ-VAE潜在空间中学习视觉可供性分布,以预测场景中可实现的未来状态,并将其作为目标采样分布引导机器人操作中的视觉目标条件策略探索,展现出对训练分布外物体的组合泛化能力。
2023-05-28 cs.AI cs.RO
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Toyota Research Institute(丰田研究所)
针对机器人操作中音频数据来源受限的问题,提出ManiWAV音视频采集设备与对应策略接口,从真实场景人类演示学习操作策略,可完成多类接触任务并泛化到新环境。
2024-11-04 cs.AI cs.CV cs.RO
Full-Body Visual Self-Modeling of Robot Morphologies
Columbia University(哥伦比亚大学)
物理身体的内部计算模型是机器人和动物计划和控制其行动能力的基础。这些“自我模型”允许机器人考虑多种可能的未来行动的结果,而无需在物理现实中进行尝试。最近在完全数据驱动的自建模方面取得的进展使机器能够直接从与任务无关的交互数据中学习自己的正运动学。然而,前向运动学模型只能预测形态的有限方面,例如末端执行器的位置或关节和质量的速度。一个关键的挑战是对整个形态学和运动学进行建模,而不需要事先知道形态学的哪些方面与未来的任务相关。在这里,我们建议,而不是直接建模正向运动学,一个更有用的形式的自我建模是一个可以回答空间占用查询,条件是机器人的状态。这种查询驱动的自我模型在空间域中是连续的,记忆效率高,完全可区分和运动感知。在物理实验中,我们展示了一个视觉自我模型是如何精确到工作空间的百分之一,使机器人能够执行各种运动规划和控制任务。视觉自建模还可以让机器人检测、定位并从现实世界的损坏中恢复,从而提高机器的弹性。我们的项目网站是:https://robot-morphology.cs.columbia.edu/
2021-11-21 cs.AI cs.CV cs.LG
Shape-Interpretable Visual Self-Modeling Enables Geometry-Aware Continuum Robot Control
School of Computer Science and Engineering, Sun Yat-sen University(计算机科学与工程学院,中山大学)
本文提出一种基于形状可解释性的视觉自建模框架,通过贝塞尔曲线表示法实现连续体机器人几何感知的控制,实验验证了其在复杂环境中的鲁棒性和精度。
2026-03-02 cs.AI cs.LG cs.RO
VSGM -- Enhance robot task understanding ability through visual semantic graph
National Central University(中央大学)
近年来,为机器人开发人工智能引起了人们的广泛关注。机器人的视觉和语言的交互尤其困难。我们认为,给机器人的视觉语义和语言语义的理解将提高推理能力。本文提出了一种新的视觉语义图记忆方法--VSGM(Visual Semantic Graph Memory),它利用语义图来获取更好的视觉图像特征,提高机器人的视觉理解能力。通过提供机器人的先验知识和检测图像中的对象,它预测对象的属性和对象之间的相关性,并将它们转换为基于图形的表示;并将图像中的对象映射为自上而下的自我中心地图。最后,利用图神经网络提取当前任务的重要目标特征。在ALFRED(Action Learning From Realistic Environments and Directives)数据集上验证了本文提出的方法。在这个数据集中,机器人需要按照所需的语言指令执行日常室内家务。将该模型加入到VSGM中后,任务成功率可提高6~ 10%。
2021-05-25 cs.AI cs.CV cs.RO
Visual search and recognition for robot task execution and monitoring
Sapienza University of Rome(罗马第一大学)
在环境中进行相关目标的视觉搜索是机器人的一项重要技能。我们提出了一个初步的框架,机器人任务的执行监视器,照顾机器人的态度,以视觉搜索环境中涉及的任务的目标。视觉搜索也与从故障中恢复有关。该框架利用深度强化学习来获取"常识"场景结构,并利用深度卷积网络来检测对象及其之间的相关关系。该框架建立在这些方法的基础上,引入了基于视觉的执行监控,它使用经典的规划作为任务执行的骨干。实验结果表明,提出的基于视觉的执行监视器的机器人可以完成简单的任务,并可以从故障中恢复自主。
2019-02-07 cs.AI cs.CV cs.RO
Multi-Modal World Model for Physical Robot Interactions: Simultaneous Visual and Tactile Predictions for Enhanced Accuracy
University of Lincoln(林肯大学);University of Sheffield(谢菲尔德大学)
本文提出多模态世界模型,通过整合视觉和触觉信息提升机器人物理交互的预测精度,特别是在物理模糊场景中表现更优。
2026-05-12 cs.AI cs.CV cs.RO
Towards Visual Ego-motion Learning in Robots
Massachusetts Institute of Technology(麻省理工学院)
在过去的十年中,已经提出了许多基于模型的视觉里程计(VO)算法,通常限于相机光学器件的类型,或观察到的底层运动流形。我们设想机器人能够学习和执行这些任务,在最低限度的监督设置,因为他们获得更多的经验。为此,我们提出了一个完全可训练的解决方案,以视觉自我运动估计不同的相机光学。我们提出了一个视觉自我运动学习架构,通过混合密度网络(MDN)映射观察到的光流向量的自我运动密度估计。通过将该体系结构建模为条件变分自编码器(C-VAE),我们的模型能够为自我运动引起的场景流提供内省推理和预测。此外,我们提出的模型是特别适合自举自我运动学习的机器人在自我运动估计的监督,一个特定的摄像头传感器可以从标准的导航为基础的传感器融合策略(GPS/INS和车轮测距融合)。通过实验,我们展示了我们所提出的方法的实用性,使自主机器人的视觉自我运动估计的自监督学习的概念。
2017-05-29 cs.AI cs.CV cs.RO
Morphology-Agnostic Visual Robotic Control
Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
用于视觉机器人控制的现有方法通常需要通过校准相机或执行系统辨识来预先表征机器人。我们提出了MAVRIC,一种方法,它的工作原理与机器人的形态学的先验知识最少,只需要一个摄像机视图包含机器人及其环境和一个未知的控制界面。MAVRIC围绕着一种基于互信息的自我识别方法展开,该方法在探索性交互的几秒钟内发现机器人身体上的视觉“控制点”,然后这些控制点依次用于视觉伺服。MAVRIC可以控制具有不精确致动、没有本体感受反馈、未知形态(包括新颖工具)、未知相机姿势甚至不稳定的手持式相机的机器人。我们展示了我们的方法在视觉引导的3D点到达,轨迹跟踪,和机器人对机器人的模仿。
2019-12-31 cs.CV cs.RO
Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University(莫纳什大学)
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题,研究用前沿人体感知跟踪模型优化Pepper机器人视觉,通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
The active visual sensing methods for robotic welding: review, tutorial and prospect
School of Computer Science and Technology, Huaibei Normal University(淮北师范大学计算机科学与技术学院)
本文系统综述了机器人焊接中的主动视觉感知方法,将其按用途分为焊缝跟踪、缺陷检测、三维熔池测量和路径规划四类,并提供三维标定教程及未来展望。
2024-03-06 cs.CV cs.RO
Know Thyself: Transferable Visual Control Policies Through Robot-Awareness
University of Pennsylvania(宾夕法尼亚大学)
在新机器人上从头开始训练视觉控制策略通常需要生成大量特定于机器人的数据。我们如何利用以前在另一个机器人上收集的数据来减少甚至完全消除对机器人特定数据的需求?我们提出了一个“机器人感知控制”的范例,实现这一目标,利用现成的知识机器人。然后,我们通过训练模块化动力学模型,将可转移的,机器人感知的世界动力学模块与机器人特定的,潜在的分析,机器人动力学模块耦合,在机器人感知的基于模型的RL策略中实例化。这也使我们能够设置视觉规划成本,分别考虑机器人代理和世界。我们在模拟和真实机器人的桌面操作任务上的实验表明,这些插件的改进大大提高了基于视觉模型的RL策略的可转移性,甚至允许视觉操作技能zero-shot转移到新的机器人上。项目网址:https://www.seas.upenn.edu/~hued/rac
2022-10-17 cs.CV cs.LG cs.RO
Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods
ByteDance Research(字节跳动研究院);Southeast University(东南大学);Tsinghua University(清华大学)
本文系统研究了预训练数据集、模型架构和训练方法对机器人操作的影响,并提出结合对比自监督与监督学习的视觉预训练方案Vi-PRoM,在仿真和真实机器人实验中验证了其优越性。
2023-08-07 cs.CV cs.RO
Attention-based Active Visual Search for Mobile Robots
York University(约克大学);Technische Universität München(慕尼黑工业大学)
我们提出了一个主动视觉搜索模型,在未知的环境中寻找对象。所提出的算法引导机器人对所寻求的对象使用由视觉传感器提供的相关刺激。现有的搜索策略要么是纯粹的反应式的,要么使用简化的传感器模型,不利用所有可用的视觉信息。在本文中,我们提出了一个新的模型,积极提取视觉信息,通过视觉注意力技术,并结合非近视决策算法,导致机器人搜索更多的相关领域的环境。注意力模块耦合了自上而下和自下而上的注意力模型,使机器人能够首先搜索重要性较高的区域。所提出的算法进行评估的移动机器人平台上的3D模拟环境。结果表明,视觉注意的使用显着改善搜索,但改善的程度取决于任务的性质和环境的复杂性。在我们的实验中,我们发现使用视觉注意力机制可以在结构化环境中提高42%,在高度非结构化的杂乱环境中提高38%。
2018-07-27 cs.CV cs.RO
Latent Representations for Visual Proprioception in Inexpensive Robots
University of Central Florida(中央佛罗里达大学)
本文探讨了低成本机器人通过单个外部摄像头图像进行视觉本体感觉的可行性,比较了CNN、VAE、ViT和fiducial标记袋等潜在表示方法的性能。
2026-03-18 cs.CV cs.RO
Stereo-based Multi-motion Visual Odometry for Mobile Robots
Wuhan University(武汉大学)
随着计算机视觉的发展,视觉里程计被越来越多的移动机器人采用。然而,我们发现,不仅自己的姿势,但其他移动物体的姿势也是至关重要的机器人的决定。此外,当有明显的运动物体出现时,视觉里程计会受到很大的干扰。本文提出了一种基于立体视觉的多运动视觉里程计方法来获取机器人及其他运动物体的位姿。为了同时获得姿态,在传统的视觉里程计流水线中加入了连续运动分割模块和坐标转换模块。因此,所有移动对象的姿态可以被获取并转换到地面坐标系中。实验结果表明,所提出的多运动视觉里程计能有效消除运动目标对视觉里程计的影响,且每个运动目标的位置和方向RMSE(均方根误差)分别达到10 cm和3°。
2019-10-15 cs.CV cs.RO
Visual Diver Recognition for Underwater Human-Robot Collaboration
The University of Minnesota(明尼苏达大学)
本文提出了一种水下机器人视觉检测和识别潜水员的方法。所提出的方法使自主水下机器人检测多个潜水员在视觉场景中,并区分他们。这样的方法对于机器人识别人类领导者是有用的,例如,在多人/机器人团队中,其中仅指定的个人被允许命令或倾斜机器人团队。初始潜水员识别使用Faster R-CNN算法与区域建议网络进行,该区域建议网络在潜水员位置周围产生边界框。随后,从边界框中提取一套空间和频域描述符以创建特征向量。此后,K均值聚类算法(其中k被设置为检测到的边界框的数量)基于这些特征向量来识别检测到的潜水员。我们评估所提出的方法的性能的潜水员在移动机器人前面游泳的视频片段,并证明其准确性。
2018-09-19 cs.CV cs.RO
Deep Learning for Visual Navigation of Underwater Robots
Texas A&M University(德克萨斯A&M大学)
本文综述了深度学习在水下机器人视觉导航中的应用,涵盖视觉感知、水下数据集、模仿学习与强化学习方法,并按训练范式对相关工作进行了分类。
2023-10-30 cs.CV cs.LG cs.RO
Visual SLAM-based Localization and Navigation for Service Robots: The Pepper Case
Universidad de Chile(智利大学);Advanced Mining Technology Center(先进采矿技术中心);Delft University of Technology(代尔夫特理工大学)
提出了一种基于Visual-SLAM的服务机器人定位导航系统。我们的系统是建立在ORB-SLAM单目系统的顶部,但通过在估计过程中加入车轮里程计来扩展。作为一个案例研究,所提出的系统进行了验证,使用胡椒机器人,其短程激光雷达和RGB-D相机不允许机器人在大环境中进行自定位。定位系统在两种不同的环境中使用Pepper进行导航任务测试:中型实验室和大型大厅。
2018-11-20 cs.CV cs.RO
Markerless Visual Robot Programming by Demonstration
University of Koblenz-Landau(科布伦茨-兰道大学)
在本文中,我们提出了一种学习模仿人类行为的语义水平上的无标记视觉观察的方法。我们分析了一组空间约束的人体姿态数据提取使用卷积姿态机和对象信息提取的2D图像序列。基于对象和示能表示的本体的景物分析与连续的人体姿态估计和空间对象关系相结合。使用一组约束条件,我们将观察到的人类行为与一组可执行的机器人命令相关联。我们在一个厨房任务中展示了我们的方法,机器人学习准备一顿饭。
2018-07-30 cs.CV cs.RO
Action-conditioned Deep Visual Prediction with RoAM, a new Indoor Human Motion Dataset for Autonomous Robots
Indian Institute of Science(印度科学学院);Intel India(英特尔印度)
提出RoAM室内人类运动视频数据集及深度视觉预测框架ACPNet,通过结合机器人自我视角、LiDAR扫描与控制动作,实现基于动作条件的未来图像帧预测,推动自主导航研究。
2023-06-28 cs.CV cs.RO
Visual-Inertial Localization for Skid-Steering Robots with Kinematic Constraints
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
虽然视觉定位或SLAM在过去的几十年里取得了很大的进展,但在实际应用中,当将其部署在移动机器人上时,很少有工作在设计状态估计器时明确考虑真实机器人系统的运动学(或动力学)约束。为了促进当前国家的最先进的视觉惯性定位算法的实际部署,在这项工作中,我们提出了一个低成本的运动学约束定位系统,特别是一个滑移转向移动机器人。特别是,我们推导出一个原则的方式的机器人的运动学约束的基础上的瞬时旋转中心(ICR)模型,并将它们以紧密耦合的方式集成到基于滑动窗口光束法平差(BA)的视觉惯性估计。由于ICR模型参数是随时间变化的,例如,轨道与地形的相互作用和地形粗糙度,我们估计这些运动学参数在线随着导航状态。为此,我们进行深入的可观测性分析,并确定运动条件下的状态/参数估计是可行的。所提出的运动学约束的视觉-惯性定位系统已经在不同的地形场景中得到了广泛的验证。
2019-11-13 cs.CV cs.RO
A Collaborative Visual SLAM Framework for Service Robots
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Intel Corporation(英特尔公司)
我们提出了一个协同视觉同时定位与地图构建(SLAM)框架服务机器人。通过边缘服务器维护地图数据库并执行全局优化,每个机器人都可以注册到现有地图,更新地图或构建新地图,所有这些都具有统一的接口和低计算和内存成本。我们设计了一个优雅的通信管道,使机器人之间的实时信息共享。在服务器上使用一种新的地标组织和检索方法,每个机器人可以获取预测在其视图中的地标,以增强其本地地图。该框架足够通用,可以支持RGB-D和单目相机,以及具有多个相机的机器人,同时考虑到相机之间的刚性约束。该框架已经完全实现,并通过公共数据集和现场实验进行了验证。
2021-08-22 cs.CV cs.RO
Deep Visual Odometry Methods for Mobile Robots
技术使三维实时的导航成为可能,这使得似乎不可能的事情成为可能。本文探讨了移动机器人的深度视觉里程计方法。视觉里程计在使这种导航成功方面起了重要作用。视觉里程计通过其适合于人类环境的摄像机解决了移动机器人中的显著挑战,包括无法实现同时定位与地图构建。移动机器人的视觉里程计使得更直观、精确和准确的检测成为可能。移动机器人领域的另一个挑战是用于探索的3D地图重建。移动机器人中的密集地图可以促进定位和更准确的发现。
2018-07-31 cs.CV
AR-VRM: Imitating Human Motions for Visual Robot Manipulation with Analogical Reasoning
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对视觉机器人操作中多模态数据不足的问题,本文提出AR-VRM方法,通过显式模仿人类手部关键点动作并学习人机类比推理映射,在少样本场景下大幅提升了泛化与操作性能。
2025-08-11 cs.CV cs.RO
Real-Time Visual Localisation in a Tagged Environment
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(布拉格捷克理工大学信息学、机器人与控制论研究所)
在机器人仓库中,一个主要问题是在机器人工作区域进行干预时人类操作员的安全。目前的解决方案是关闭每个机器人,但这会导致生产力下降,特别是对于大型自动化仓库。为了避免这种损失,我们需要在不关闭机器人电源的情况下确保操作员在仓库中进行干预时的安全。人类操作员需要在仓库中本地化,机器人的轨迹必须修改,以便它们不会干扰人类。本文的目的是展示一个视觉定位方法与视觉元素,已经在当前的仓库设置。
2017-07-31 cs.CV cs.RO
Piggyback Camera: Easy-to-Deploy Visual Surveillance by Mobile Sensing on Commercial Robot Vacuums
CyberAgent, Inc.(CyberAgent公司)
本文提出Piggyback Camera系统,通过在商用扫地机器人上安装带摄像头和IMU的智能手机实现易部署视觉监控,采用RAE方法和闭环方法优化位姿估计,在零售环境中取得0.83米定位误差和0.97米物体映射误差。
2025-07-07 cs.CV cs.RO
The RGB-D Triathlon: Towards Agile Visual Toolboxes for Robots
Sapienza University of Rome(罗马萨皮恩扎大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利理工学院)
深度网络在机器人感知方面取得了重大进展,能够提高机器人在多个视觉任务中的能力,从目标检测和识别到姿态估计、语义场景分割等。尽管如此,大多数方法通常孤立地处理视觉任务,导致过度专业化的模型在特定应用程序中实现强大的性能,但在其他(通常相关的)任务中表现不佳。这对于机器人来说显然是次优的,机器人通常需要同时执行多个视觉识别任务,以便正确地采取行动并与环境交互。该问题由于机器人平台上通常可用的有限计算和存储器资源而加剧。学习灵活的模型,可以在一个轻量级的方式处理多个任务的问题,最近得到了关注,在计算机视觉社区和基准支持这项研究已经提出。在这项工作中,我们研究这个问题的机器人视觉的背景下,提出了一个新的基准,RGB-D铁人三项,并评估国家的最先进的算法在这个新的挑战性的情况下。我们还定义了一个新的评估协议,更适合于机器人的视觉设置。结果揭示了现有方法的优点和缺点,并对开放的问题,为今后的研究方向提出建议。
2019-04-02 cs.CV cs.RO
Real-Time Visual Tracking and Identification for a Team of Homogeneous Humanoid Robots
University of Bonn(波恩大学)
使用一组人形机器人协作完成一项任务是一个越来越重要的研究领域。实现协作的挑战之一是机器人的相互识别和跟踪。这项工作提出了一种实时的【形】基于视觉的方法来检测和跟踪已知外观的机器人,基于静止的机器人捕获的图像。一个直方图的有向矢量描述符被用来检测机器人和机器人的航向估计的多类分类器。被跟踪的机器人根据磁力计读数报告自己的航向估计。对于跟踪,基于位置和航向的成本函数应用于每个轨迹,并且使用匈牙利算法找到检测到的机器人的全局最优标签。完整的识别和跟踪系统在足球场上使用两个igus人形开放平台机器人进行了测试。我们希望类似的系统可以用于其他人形机器人,如Nao和DARwIn-OP
2018-10-16 cs.CV cs.RO
Self-Supervised Visual Place Recognition Learning in Mobile Robots
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
位置识别是机器人导航中的一个关键组成部分,它使机器人能够重新建立以前访问过的位置,并同时使用这些信息来纠正其推算估计中发生的漂移。在这项工作中,我们开发了一种自我监督的方法来识别机器人。视觉环路闭合识别的任务被转换为度量学习问题,其中环路闭合的正面和负面示例的标签可以使用机器人已经使用的GPS辅助导航解决方案自举。通过利用传感器之间的同步,我们表明,我们能够学习任意实值图像描述符(包括最先进的CNN模型),这是专门面向移动机器人的视觉识别的适当的距离度量。此外,我们表明,新学习的嵌入可以特别强大的消歧视觉场景的任务,基于视觉的闭环识别移动机器人。
2019-05-11 cs.CV cs.LG cs.RO
WorldLine: Action-Driven Visual Simulation for Robotic Manipulation
The Hong Kong University of Science and Technology(香港科技大学);Joy Future Academy(京东探索研究院);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
WorldLine是一种动作驱动的视觉模拟器,利用超万小时无动作视频和两千小时多形态动作轨迹解耦动态学习与动作接地,实现高效策略评估,提升任务成功率。
2026-09-30 cs.CV cs.RO
How Robot Dogs See the Unseeable: Improving Visual Interpretability via Peering for Exploratory Robots
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Free University of Bozen-Bolzano(博尔扎诺自由大学);University of Trento(特伦托大学);University of Sussex(萨塞克斯大学)
通过模仿昆虫的窥视动作,提升探索机器人在部分遮挡下的视觉推理能力,实现高分辨率、实时感知,适用于复杂环境导航与场景理解。
2026-01-04 cs.CV cs.RO
Online Localisation and Colored Mesh Reconstruction Architecture for 3D Visual Feedback in Robotic Exploration Missions
ONERA(法国航空航天实验室);Université Paris-Saclay(巴黎萨克雷大学);University of Toulouse(图卢兹大学)
本文介绍了一种用于地面探测机器人的在线定位和彩色网格重建(OLCMR)ROS感知体系结构,旨在在具有挑战性的未知环境中执行鲁棒的同时定位和映射(SLAM),并提供实时的相关彩色3D网格表示。它旨在由远程操作员使用,以便在任务期间或之后轻松可视化地图环境,或作为探索机器人领域进一步研究的开发基础。该架构主要由精心选择的基于LiDAR的SLAM算法的开源ROS实现以及使用点云和投影到3D空间的RGB相机图像的彩色表面重建过程组成。的整体性能进行评估,在较新的学院手持激光雷达视觉参考数据集和两个实验轨迹上收集的代表性轮式机器人在城市和农村的户外环境。索引词:现场机器人,地图,SLAM,彩色表面重建
2022-07-21 cs.CV cs.RO
One-Shot Informed Robotic Visual Search in the Wild
University of Toronto(多伦多大学);Vector Institute(向量研究所);McGill University(麦吉尔大学)
我们认为水下机器人导航的任务,收集科学相关的视频数据的环境监测的目的。目前在非结构化自然环境中执行监测任务的大多数现场机器人通过路径跟踪预先指定的路径点序列进行导航。虽然这种导航方法通常是必要的,但它是有限的,因为机器人没有科学家认为相关的视觉观察的模型。因此,机器人既不能在视觉上搜索特定类型的对象,也不能将其注意力集中在场景中可能比预先指定的路点和视点更相关的部分上。在本文中,我们提出了一种方法,使知情的视觉导航通过学习视觉相似性算子,引导机器人的视觉搜索对部分场景,看起来像一个范例图像,这是由用户作为一个高层次的规格数据汇集。我们提出并评估了一种弱监督视频表示学习方法,该方法在水下领域的相似性任务中优于ImageNet嵌入。我们还展示了部署在知情的视觉导航协作环境监测方案中,在大规模的现场试验,机器人和人类科学家合作搜索相关的视觉内容,这种相似性操作。
2020-09-03 cs.CV cs.LG cs.RO
Continual Learning of Visual Concepts for Robots through Limited Supervision
The Pennsylvania State University(宾夕法尼亚州立大学)
对于许多现实世界的机器人应用,机器人需要不断适应和学习新概念。此外,机器人需要通过有限的数据进行学习,因为现实世界中的标记数据稀缺。为此,我的研究重点是开发机器人,这些机器人在动态的看不见的环境/场景中不断学习,从有限的人类监督中学习,记住以前学到的知识,并使用这些知识学习新概念。我开发了机器学习模型,这些模型不仅可以在基准数据集上产生结果状态,还可以让机器人在不受约束的环境中学习新的对象和场景,从而导致各种新颖的机器人应用。
2021-01-26 cs.CV cs.LG cs.RO
Mitigating the Human-Robot Domain Discrepancy in Visual Pre-training for Robotic Manipulation
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)AI thrust);Sun Yat-sen University(中山大学);The Hong Kong University of Science and Technology(香港科技大学)
针对机器人操作视觉预训练中因人类与机器人形态差异导致的泛化难题,提出利用成对人机视频数据与人机对比适应损失进行参数高效域适应的方法,在模拟与真实任务中使平均成功率提升7%以上。
2025-04-06 cs.CV cs.RO
Challenges in Visual Anomaly Detection for Mobile Robots
Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI(达莱·莫勒人工智能研究所(IDSIA),提契诺大学-南方应用科学与艺术大学)
我们认为自主移动机器人的视觉检测异常的任务。我们对相关类型的视觉异常进行分类,并讨论如何通过无监督的深度学习方法检测它们。我们提出了一个专门为此任务构建的新数据集,在此基础上我们测试了一种最先进的方法;我们最后讨论了在真实场景中的部署。
2022-09-22 cs.CV cs.RO stat.ML
A Review of Visual Trackers and Analysis of its Application to Mobile Robot
School of Mechanical and Electrical Engineering, China University of Mining and Technology(中国矿业大学机电工程学院);Jiangsu Collaborative Innovation Center of Intelligent Mining Equipment, China University of Mining and Technology(中国矿业大学江苏省智能采矿装备协同创新中心)
计算机视觉是机器人获取外界环境信息的重要手段之一,近年来受到了广泛的关注。视觉跟踪器可以为移动机器人提供必要的物理和环境参数,其性能关系到机器人的实际应用。本研究提供了一个全面的调查视觉跟踪器。在简要介绍视觉跟踪器的基础上,分析了视觉跟踪器的基本框架和难点。然后介绍了产生式和判别式方法的结构,并总结了用于跟踪器的特征描述符、建模方法和学习方法。随后,我们从相关滤波器、深度学习和卷积特征三个方向回顾和评估了判别式跟踪器的最新进展。最后分析了移动机器人视觉跟踪器的研究方向,并对移动机器人视觉跟踪器的发展趋势进行了展望。
2019-10-22 cs.CV
ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);R&D Center, MWS(MWS研发中心)
ORCESTRA是一款混合现实系统,通过无代码路径点示教和语言引导控制实现机器人数字孪生编程,支持多种异构机器人,其混合现实验证可作为语言引导机器人物理部署前的安全层。
2026-08-04 cs.CV cs.HC cs.RO
A Robotic Visual Grasping Design: Rethinking Convolution Neural Network with High-Resolutions
University of Science and Technology of China(中国科学技术大学);Lehigh University(理海大学)
高分辨率表示是重要的基于视觉的机器人抓取问题。现有的工作一般通过子网络将输入图像编码成低分辨率表示,然后恢复高分辨率表示。这将丢失空间信息,并且当考虑多种类型的对象或对象远离相机时,解码器引入的错误将更加严重。为了解决这些问题,我们重新审视了机器人感知任务的CNN的设计范式。我们证明,使用并行分支而不是串行堆叠卷积层将是机器人视觉抓取任务的更强大的设计。特别地,为机器人感知任务提供了神经网络设计的指导方针,例如,高分辨率表示和轻量级设计,以应对不同操作场景中的挑战。然后,我们开发了一种称为HRG-Net的新型抓取视觉架构,这是一种并行分支结构,始终保持高分辨率表示,并在不同分辨率之间反复交换信息。大量的实验证明,这两种设计可以有效地提高基于视觉的抓取的准确性和加速网络训练。我们在Youtube上展示了一系列在真实物理环境中的比较实验:https://youtu.be/Jhlsp-xzHFY。
2022-09-16 cs.CV cs.LG cs.RO
Tethered Aerial Visual Assistance
Texas A&M University(德克萨斯农工大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,自主系留无人机(UAV)开发成一个有袋类合作机器人团队的视觉助手,与遥控无人地面车辆(UGV)在非结构化或受限的环境中进行机器人操作。由于缺乏足够的态势感知,这些环境对远程操作员构成了极大的挑战,主要是由非结构化和限制,静止和有限的视野以及缺乏来自机器人机载摄像机的深度感知造成的。为了克服这些问题,在当前的实践中使用的二次远程操作的机器人,谁作为一个视觉助手,并提供外部的观点,以克服感知的主要机器人的板载传感器的限制。然而,第二个远程操作的机器人需要额外的人力和初级和次级操作员之间的团队合作需求。手动选择的视点往往是主观的和次优的。考虑到这些复杂性,我们开发了一个自主的系留空中视觉助手的地方,二级遥控机器人和操作员,减少人类机器人的比例从2:2到1:2。使用基本的视点质量理论,正式的风险推理框架和新开发的系留运动套件,我们的视觉助手能够通过非结构化或有限的空间,以风险意识的方式自主导航到高质量的视点。开发的有袋动物协作机器人团队可以通过减少人力和团队合作需求,并通过可靠的风险感知运动实现更好的视觉辅助质量,从而提高核行动,拆弹小组,灾难机器人和其他具有新任务或高度闭塞环境的领域的远程操作效率。
2020-01-15 cs.CV cs.HC cs.RO
Neural Network Based Reinforcement Learning for Audio-Visual Gaze Control in Human-Robot Interaction
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所(Inria)格勒诺布尔罗纳阿尔卑斯分所);Univ. Grenoble Alpes(格勒诺布尔大学)
提出了一种基于神经网络的强化学习方法用于机器人视线控制.我们的方法使机器人能够学习和调整其凝视控制策略,既不使用外部传感器,也不与人类的监督,人机交互。机器人学会从自己的视听体验中将注意力集中在人群上,而不受人数、位置和外表的影响。特别是,我们使用一个循环神经网络架构结合Q学习来找到一个最佳的动作选择策略;我们使用一个模拟环境来预训练网络,该环境模仿涉及说话/沉默参与者的现实场景,从而避免了机器人与人交互的繁琐会话的需要。我们的实验评估表明,所提出的方法是强大的参数估计,即由该方法产生的参数值不具有决定性的影响的性能。当音频和视频信息联合使用时,可以获得最佳结果。Nao机器人的实验表明,我们的框架是迈向社会可接受的凝视行为的自主学习的一步。
2018-04-23 cs.CV cs.NE cs.RO
Bridging Visual Perception with Contextual Semantics for Understanding Robot Manipulation Tasks
University of Alberta(阿尔伯塔大学)
理解操作场景允许智能机器人计划适当的动作以成功完成操作任务。智能机器人必须通过对实体、关系和属性的结构化描述来对操作知识进行语义解释。在本文中,我们提出了一个实现框架,以产生高层次的概念动态知识图谱从视频剪辑。结合视觉语言模型和本体系统,结合视觉感知和上下文语义,用语义-关系-实体(E-R-E)和语义-属性-值(E-A-V)元组表示机器人操作知识。所提出的方法是灵活和熟练的。使用该框架,我们提出了一个案例研究,机器人在厨房环境中执行操作动作,桥接视觉感知与上下文语义使用生成的动态知识图谱。
2020-07-26 cs.CV
Open-World Distributed Robot Self-Localization with Transferable Visual Vocabulary and Both Absolute and Relative Features
Graduate School of Engineering, University of Fukui(福井大学工学研究科)
针对开放世界分布式机器人系统中视觉知识迁移共享不足的问题,提出兼具绝对与相对特征的轻量化可迁移无监督视觉词袋自定位框架,在主被动定位场景中均验证有效。
2024-09-11 cs.CV
Visual Perception and Modelling in Unstructured Orchard for Apple Harvesting Robots
视觉感知和建模是非结构化果园机器人采摘的基本任务。本文开发了一个框架的视觉感知和建模的机器人收获水果的果园环境。开发的框架包括视觉感知,场景映射,水果建模。视觉感知模块利用深度学习模型在工作场景中执行多用途视觉感知任务;场景映射模块应用CIMap来表示环境中的多类对象或元素;水果建模模块估计对象的几何属性并估计每个水果的正确访问姿势。开发的框架在苹果园实施和评估。实验结果表明,视觉感知和建模算法可以准确地检测和定位水果,并在真实的果园环境中建模的工作场景。视觉感知模块联合对水果检测和分割的$F_{1}$评分和平均交集分别为0.833和0.852。在中心定位和姿态估计方面的水果建模的准确度分别为0.955和0.923。总体而言,本文提出了一种准确的视觉感知和建模算法。
2019-12-29 cs.CV