Contrastive Language, Action, and State Pre-training for Robot Learning
QUT Centre for Robotics(昆士兰科技大学机器人中心);University of Bielefeld(比勒费尔德大学);Queensland University of Technology(昆士兰科技大学)
本文提出 CLASP,通过分布式对比学习统一语言、动作与状态嵌入,提升零样本行为检索、描述生成及语言条件强化学习的行为先验学习。
2023-04-21 cs.AI cs.RO
Ontological foundations for contrastive explanatory narration of robot plans
Department of Informatics, King’s College London(伦敦国王学院信息学院)
本文提出一种本体模型用于对比机器人竞争计划,以生成解释性叙述,通过实证评估显示其优于基线方法。
2026-03-17 cs.AI cs.IR cs.LO
Counting Objects in a Robotic Hand
University of South Florida(南佛罗里达大学)
针对机器人多物体抓取后手中物体计数受手指和物体遮挡的问题,提出一种带改进损失函数的数据驱动对比学习计数分类器,并在仿真与真实环境中验证,三类形状物体准确率均超过96%。
2024-04-09 cs.AI cs.RO
BEVNav: Robot Autonomous Navigation Via Spatial-Temporal Contrastive Learning in Bird's-Eye View
School of Electronics and Information, Hangzhou Dianzi University(杭州电子科技大学电子信息学院);School of Computer Science, The University of Sydney(悉尼大学计算机学院)
本文提出BEVNav方法,通过自监督时空对比学习提取鸟瞰图表示,并结合Soft Actor-Critic强化学习,提升机器人在无地图密集行人环境中的自主导航性能。
2024-09-03 cs.RO
TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University College London(伦敦大学学院)
手术器械分割-通常是一项像素分类任务-对于促进机器人辅助手术(RAS)中的认知智能至关重要。然而,以前的方法正在努力区分仪器类型和实例。为了解决上述问题,我们探索了一个掩码分类范式,产生每段预测。我们提出了TraSeTR,一种新的跟踪到段Transformer,明智地利用跟踪线索,以协助手术器械分割。TraSeTR通过实例级预测(即,通过解码查询嵌入,得到一组class-bbox-mask对。具体来说,我们引入了先前的查询,编码与以前的时间知识,通过身份匹配跟踪信号传输到当前实例。在此基础上,提出了一种对比查询学习策略,对查询特征空间进行了重构,大大降低了由于时间变化较大而导致的跟踪困难。我们的方法的有效性证明了国家的最先进的仪器类型的分割结果在三个公共数据集,包括两个RAS基准从EndoVis挑战和一个白内障手术数据集CaDIS。
2022-02-17 cs.CV
Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets
University of California, San Diego(加利福尼亚大学圣迭戈分校);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);University of Maryland, College Park(马里兰大学帕克分校);Tsinghua University(清华大学)
针对人类视频预训练机器人视觉表示存在分布偏移、缺动力学信息的问题,提出融合视觉与动作等动力学信息的MCR框架,在仿真和真实机器人操作任务上均显著提升性能。
2024-10-30 cs.AI cs.CV cs.RO
Language-Driven Representation Learning for Robotics
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
最近在机器人视觉表示学习方面的工作证明了从人类执行日常任务的大型视频数据集中学习的可行性。利用掩蔽自动编码和对比学习等方法,这些表示表现出很强的迁移到策略学习的视觉控制。但是,机器人学习包括一系列无法控制的问题,包括抓取启示预测,语言条件模仿学习,以及人机协作的意图评分等。首先,我们证明了现有的表示在这些任务中产生不一致的结果:掩蔽自动编码方法以牺牲高级语义为代价来获取低级空间特征,而对比学习方法则相反。然后,我们介绍Voltron,一个语言驱动的表示学习的框架,从人类的视频和相关的字幕。Voltron权衡了语言条件下的视觉重建来学习低级视觉模式,以及视觉基础的语言生成来编码高级语义。我们还构建了一个新的评估套件,跨越五个不同的机器人学习问题$\unicode{x2013}$一个统一的平台,全面评估机器人视觉表示。通过对所有五个问题进行全面的对照实验,我们发现Voltron的语言驱动表示优于现有的最先进技术,特别是在需要更高级别功能的目标问题上。
2023-02-24 cs.AI cs.CL cs.CV
Contrastive Conceptor Activation Steering (COAST): Unlocking Vision-Language-Action Models through Hidden States
University of Pennsylvania(宾夕法尼亚大学)
本文提出COAST方法,通过识别成功子空间来提升视觉-语言-动作模型在机器人任务中的性能,其核心方法是利用概念投射来引导模型向成功分布发展,从而提高任务成功率。
2026-05-16 cs.AI cs.LG cs.RO
R3M: A Universal Visual Representation for Robot Manipulation
Stanford University(斯坦福大学);Meta AI
我们研究了在不同的人类视频数据上预训练的视觉表示如何能够实现下游机器人操作任务的数据高效学习。具体地说,我们使用Ego4D人类视频数据集使用时间对比学习,视频语言对齐和L1惩罚的组合来预训练视觉表示,以鼓励稀疏和紧凑的表示。所得到的表示,R3M,可以被用作下游策略学习的冻结感知模块。在一套12个模拟机器人操作任务中,我们发现,与从头开始训练相比,R3M将任务成功率提高了20%以上,与CLIP和MoCo等最先进的视觉表示相比,提高了10%以上。此外,R3M还能让Franka Panda的手臂在一个真实的、杂乱的公寓里学习一系列操作任务,只需20次演示。代码和预训练模型可在https://tinyurl.com/robotr3m上获得。
2022-11-18 cs.AI cs.CV cs.LG
PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
PRTS通过目标引导强化学习重构预训练过程,学习统一嵌入空间以评估物理可行性,提升机器人任务执行与长期规划能力。
2026-04-30 cs.AI cs.LG cs.RO
CCL: Continual Contrastive Learning for LiDAR Place Recognition
College of Intelligence Science and Technology, National University of Defense Technology(国防科技大学智能科学与技术学院)
针对激光雷达地点识别的深度学习方法存在泛化差和灾难性遗忘问题,提出构建对比特征池、结合分布知识蒸馏的持续对比学习方法CCL,在多数据集上验证其性能优于现有最优持续学习方法。
2023-06-14 cs.CV cs.RO
Social NCE: Contrastive Learning of Socially-aware Motion Representations
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
学习社会意识的运动表示是多智能体问题,如人类运动预测和机器人在人群中导航的最新进展的核心。尽管取得了有希望的进展,但用神经网络学习的现有表示仍然难以在闭环预测中推广(例如,输出碰撞轨迹)。这个问题主要是由非i.i.d.引起的。结合分布不良的训练数据的顺序预测的性质。直观地,如果训练数据仅来自安全空间中的人类行为,即,对于学习算法来说,从“正”例子中捕获“负”例子(如碰撞)的概念是困难的。在这项工作中,我们的目标是通过自我监督明确建模负面的例子来解决这个问题:(i)我们引入了社会对比损失,通过从合成的负面事件中识别地面真实的积极事件来规范提取的运动表示;(ii)我们根据我们对罕见但危险的情况的先验知识构建信息丰富的负面样本。我们的方法大大降低了最近的轨迹预测,行为克隆和强化学习算法的碰撞率,在几个基准测试中优于最先进的方法。我们的代码可在https://github.com/vita-epfl/social-nce上获得。
2021-08-20 cs.AI cs.CV cs.LG
Domain-invariant Similarity Activation Map Contrastive Learning for Retrieval-based Long-term Visual Localization
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学)
视觉定位是移动机器人和自动驾驶应用中的一个关键环节。图像检索是基于图像的定位方法中一种有效的技术。由于环境条件的剧烈变化,如光照,季节和天气的变化,基于检索的视觉定位受到严重影响,成为一个具有挑战性的问题。在这项工作中,一个通用的架构,首先制定概率通过多域图像转换提取域不变特征。然后,一种新的梯度加权相似性激活映射损失(Grad-SAM)被纳入更精细的定位与高精度。我们还提出了一种新的自适应三重损失,以提高对比学习的嵌入在一个自我监督的方式。最终的粗到精的图像检索流水线被实现为不具有和具有Grad-SAM损失的模型的顺序组合。在CMUSeasons数据集上进行了大量的实验,验证了该方法的有效性。使用CMU-Seasons数据集城市部分预训练的模型在RobotCar数据集上验证了我们方法的强大泛化能力。我们的性能与中等或高精度的最先进的基于图像的定位基线相当,甚至优于这些基线,特别是在具有光照变化,植被和夜间图像的挑战性环境下。代码和预训练模型可在https://github.com/HanjiangHu/DISAM上获得。
2021-10-14 cs.CV
SaliencyI2PLoc: saliency-guided image-point cloud localization using contrastive learning
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing(测绘遥感信息工程国家重点实验室);Wuhan University(武汉大学);School of Electrical and Electronic Engineering(电气与电子工程学院);Nanyang Technological University(南洋理工大学);School of Geography and Environment(地理与环境学院);Jiangxi Normal University(江西师范大学)
提出SaliencyI2PLoc架构,通过对比学习融合显著性图进行特征聚合并保持多流形空间特征关系一致性,实现图像到点云的高效跨模态全局定位。
2024-12-20 cs.CV cs.LG cs.RO
Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods
ByteDance Research(字节跳动研究院);Southeast University(东南大学);Tsinghua University(清华大学)
本文系统研究了预训练数据集、模型架构和训练方法对机器人操作的影响,并提出结合对比自监督与监督学习的视觉预训练方案Vi-PRoM,在仿真和真实机器人实验中验证了其优越性。
2023-08-07 cs.CV cs.RO
Learning to Drive by Watching YouTube Videos: Action-Conditioned Contrastive Policy Pretraining
The Chinese University of Hong Kong(香港中文大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
深度视觉策略学习旨在将原始视觉观察映射到行动,在机器人操作和自动驾驶等控制任务中取得了可喜的成果。然而,它需要与培训环境进行大量的在线交互,这限制了它在现实世界中的应用。与目前流行的无监督特征学习相比,视觉控制任务的特征预训练研究较少。在这项工作中,我们的目标是通过观看长达数小时的未经策划的YouTube视频来预训练驾驶任务的策略表示。具体来说,我们用少量的标记数据训练一个逆动态模型,并用它来预测所有YouTube视频帧的动作标签。然后,提出了一种新的对比策略预训练方法,用于从带有伪动作标签的视频帧中学习动作条件特征。实验表明,所得到的动作条件特征对于下游的强化学习和模仿学习任务获得了实质性的改进,优于以前的无监督学习方法和ImageNet预训练的权重。代码、模型重量和数据可在https://metadriverse.github.io/ACO上获得。
2022-07-17 cs.CV cs.LG cs.RO
Cross-Modal Contrastive Learning of Representations for Navigation using Lightweight, Low-Cost Millimeter Wave Radar for Adverse Environmental Conditions
National Chiao Tung University(国立交通大学)
深度强化学习(RL),即智能体从错误中学习,已成功应用于各种任务。为了学习无人驾驶车辆的无碰撞策略,深度RL已被用于使用各种类型的数据进行训练,例如彩色图像,深度图像和LiDAR点云,而不使用经典的地图-本地化-计划方法。然而,现有方法受限于其对相机和LiDAR装置的依赖,所述相机和LiDAR装置在不利环境条件(例如,烟雾环境)。作为回应,我们建议使用单片毫米波(mmWave)雷达,这是轻量级和廉价的,基于学习的自主导航。然而,由于毫米波雷达信号通常是嘈杂和稀疏的,我们提出了一种跨模态对比学习的表示(CM-STIM)方法,最大限度地提高毫米波雷达数据和激光雷达数据之间的协议在训练阶段。我们在现实世界的机器人中评估了我们的方法,并与1)使用跨模态生成重建和RL策略的两个独立网络的方法和2)没有跨模态表示的基线RL策略进行了比较。我们提出的具有对比学习的端到端深度RL策略成功地将机器人导航通过烟雾弥漫的迷宫环境,并与生成重建方法相比取得了更好的性能,其中产生了嘈杂的伪影墙壁或障碍物。所有预训练模型和硬件设置都是开放获取的,可用于重现本研究,并可在https://arg-nctu.github.io/projects/deeprl-mmWave.html上获得
2021-01-10 cs.LG cs.RO
Learning Reward Functions for Robotic Manipulation by Observing Humans
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Google Research(谷歌研究院);Center for Data Science, New York University(纽约大学数据科学中心)
观察人类演示者操纵物体为学习机器人策略提供了丰富的、可扩展的和廉价的数据源。然而,将人类视频中的技能转移到机器人操作器上带来了一些挑战,尤其是动作和观察空间的差异。在这项工作中,我们使用未标记的人类解决各种操作任务的视频来学习机器人操作策略的任务不可知的奖励函数。由于该训练数据的多样性,学习的奖励函数充分地推广到来自先前看不见的机器人实施例和环境的图像观察,以在强化学习中为定向探索提供有意义的先验。我们提出了两种方法得分状态相对于目标图像:通过直接的时间回归,并通过在嵌入空间中的距离与时间对比学习。通过在目标图像上调节函数,我们能够在各种任务中重用一个模型。与之前利用人类视频来教授机器人的工作不同,我们的方法,人类离线学习距离(HOLD)既不需要来自机器人环境的先验数据,也不需要一组特定于任务的人类演示,也不需要预定义的形态对应概念,但与仅使用从任务完成中获得的稀疏奖励相比,它能够加速模拟机器人手臂上的几个操作任务的训练。
2023-03-07 cs.AI cs.CV cs.LG
Action-based Contrastive Learning for Trajectory Prediction
Excellence Cluster Science of Intelligence(智能科学卓越集群);Technische Universitat Berlin(柏林工业大学)
轨迹预测是成功的人机交互的基本任务,例如在自动驾驶中。在这项工作中,我们解决的问题,预测未来的行人轨迹在第一人称视角设置与移动摄像机。为此,我们提出了一种新的基于动作的对比学习损失,利用行人的动作信息,以提高学习的轨迹嵌入。这种新损失背后的基本思想是,在特征空间中,执行相同动作的行人的轨迹应该比具有显著不同动作的行人的轨迹更接近彼此。换句话说,我们认为,行人的行为信息影响他们未来的轨迹。此外,我们引入了一种新的采样策略的轨迹,能够有效地增加消极和积极的对比样本。附加的合成轨迹样本使用训练的条件变分自编码器(CVAE)生成,CVAE是为轨迹预测开发的几个模型的核心。结果表明,我们提出的对比框架采用上下文信息行人的行为,即行动,有效地,它学习一个更好的轨迹表示。因此,将所提出的对比框架集成到轨迹预测模型中可以改善其结果,并在三个轨迹预测基准上优于最先进的方法[31,32,26]。
2022-07-18 cs.CV
Mitigating the Human-Robot Domain Discrepancy in Visual Pre-training for Robotic Manipulation
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)AI thrust);Sun Yat-sen University(中山大学);The Hong Kong University of Science and Technology(香港科技大学)
针对机器人操作视觉预训练中因人类与机器人形态差异导致的泛化难题,提出利用成对人机视频数据与人机对比适应损失进行参数高效域适应的方法,在模拟与真实任务中使平均成功率提升7%以上。
2025-04-06 cs.CV cs.RO
What Matters in Language Conditioned Robotic Imitation Learning over Unstructured Data
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
机器人技术的一个长期目标是建造能够通过机载传感器获得的感知执行各种日常任务的机器人,这些感知仅通过自然语言指定。虽然最近通过利用从像素的端到端学习,在语言驱动的机器人技术方面取得了实质性的进展,但由于设置的潜在变化,没有明确和充分理解的过程来做出各种设计选择。在本文中,我们对从离线自由形式模仿数据集学习语言条件策略的最关键挑战进行了广泛的研究。我们进一步确定架构和算法技术,提高性能,如机器人控制学习的分层分解,多模态Transformer编码器,离散的潜在计划和自我监督的对比损失,对齐视频和语言表示。通过将我们的调查结果与我们改进的模型组件相结合,我们能够提出一种新的方法,该方法在具有挑战性的语言条件长视野机器人操作CALVIN基准上显着优于现有技术。我们已经开源了我们的实现,以促进未来的研究,在学习执行许多复杂的操作技能,在一排指定的自然语言。代码库和训练模型可在http://hulc.cs.uni-freiburg.de上获得
2022-08-30 cs.AI cs.CL cs.CV
Pair-VPR: Place-Aware Pre-training and Contrastive Pair Classification for Visual Place Recognition with Vision Transformers
CSIRO(联邦科学与工业研究组织);Data61;School of Electrical Engineering and Robotics, Queensland University of Technology (QUT)(昆士兰科技大学电气工程与机器人学院)
本文提出Pair-VPR,一种用于视觉位置识别的新型联合训练方法,通过Siamese Masked Image Modelling预训练与位置感知采样,结合ViT编码器和图像对分类器重排序,在五个基准数据集上达到SOTA性能。
2025-03-02 cs.AI cs.CV cs.RO
ECAM: A Contrastive Learning Approach to Avoid Environmental Collision in Trajectory Forecasting
Department of Environmental Sciences, Informatics and Statistics, Ca' Foscari University of Venice, Italy(环境科学、信息学与统计学系,威尼斯卡福斯卡里大学,意大利)
ECAM通过对比学习方法提升轨迹预测中对环境碰撞的避免能力,有效降低碰撞率。
2025-06-11 cs.CV
STERLING: Self-Supervised Terrain Representation Learning from Unconstrained Robot Experience
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cornell University(康奈尔大学);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能北美分部)
提出自监督地形表示学习方法STERLING,仅依赖无约束无标签机器人经验学习地形特征,在越野导航实验中性能媲美全监督方法并展现强鲁棒性。
2023-10-20 cs.AI cs.CV cs.LG
Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers
University of Toronto(多伦多大学);Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
提出Vid2Robot,一种端到端的视频条件机器人策略,通过交叉注意力Transformer融合人类视频特征与机器人状态生成动作,并在真实机器人上取得显著效果与跨物体迁移能力。
2024-08-27 cs.AI cs.RO
RCT: A Robot-Collected Touch-Vision-Language Dataset for Tactile Generalization
ScaDS.AI, TU Dresden(德累斯顿工业大学ScaDS.AI);LASR Lab, TU Dresden(德累斯顿工业大学LASR实验室)
提出RCT数据集,包含机器人按压122种工业材料采集的触觉数据,通过接触序列划分暴露了材料泛化难题,为触觉感知提供基准。
2026-07-01 cs.AI cs.CL cs.CV
Inclusive STEAM Education: A Framework for Teaching Cod-2 ing and Robotics to Students with Visually Impairment Using 3 Advanced Computer Vision
Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林圣三一学院)
针对视障学生在编程与机器人学习中追踪运动、建立空间感知的难题,提出融合CLIP、SLAM与AVR的包容性STEAM教育框架,助力其掌握编程技能,也拓展了计算机视觉在特殊教育的应用潜力。
2025-03-06 cs.CV cs.HC cs.RO
Beyond Sight: Finetuning Generalist Robot Policies with Heterogeneous Sensors via Language Grounding
Berkeley AI Research (BAIR)(伯克利人工智能研究院(BAIR));UC Berkeley(加州大学伯克利分校)
针对通用机器人策略仅依赖视觉和本体感觉的局限,提出FuSe方法,以自然语言为跨模态接地,结合多模态对比损失与语言生成损失,微调异构传感器下的策略,零样本完成多模态推理任务,真实实验成功率较基线提升超20%。
2025-01-14 cs.AI cs.RO
KINet: Unsupervised Forward Models for Robotic Pushing Manipulation
University of Minnesota(明尼苏达大学)
本文提出无监督关键点交互网络KINet,利用视觉观测学习对象关键点图表示和动作条件前向模型,实现机器人推动操作中的可规划对象中心表示与准确前向预测。
2023-08-05 cs.CV cs.LG cs.RO
CE-MRS: Contrastive Explanations for Multi-Robot Systems
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology(佐治亚理工学院机器人与智能机器研究所)
本文提出CE-MRS方法,通过整合任务分配、调度和运动规划数据生成对比解释,帮助用户理解多机器人系统解决方案并纠正错误,显著提升了用户识别和解决系统错误的能力及团队整体性能。
2024-10-10 cs.HC cs.MA cs.RO
ProGEO: Generating Prompts through Image-Text Contrastive Learning for Visual Geo-localization
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对细粒度图像缺乏文本描述导致纯视觉方法难以挖掘语义信息的问题,提出ProGEO两阶段训练方法,利用CLIP生成动态文本提示辅助图像编码器训练,在多个视觉地理定位数据集上取得有竞争力的结果。
2024-06-04 cs.CV cs.IR
Hybrid Internal Model: Learning Agile Legged Locomotion with Simulated Robot Response
OpenRobotLab, Shanghai AI Laboratory(上海人工智能实验室 OpenRobotLab);Tsinghua University(清华大学);Zhejiang University(浙江大学)
本文提出 Hybrid Internal Model (HIM),利用机器人本体感知和对比学习估计外部干扰状态,仅需1小时训练即可实现四足机器人敏捷且具备开放世界泛化能力的地形穿越。
2024-01-02 cs.AI cs.CV cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University(卡尔顿大学)
在机器人应用中,安全违规行为会导致严重后果,随着强化学习(RL)在机器人领域的广泛应用,推动了对强化学习安全探索(safe RL)的研究。在这项工作中,我们提出了一种安全RL的风险预防训练方法,该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率,我们可以收集风险预防轨迹,并重塑奖励函数与风险惩罚,以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明,该方法具有相当的性能与国家的最先进的基于模型的方法,并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Collaborative Visual Place Recognition
New York University(纽约大学);Columbia University(哥伦比亚大学);Queensland University of Technology(昆士兰科技大学)
针对单机器人视觉位置识别(VPR)易受视角遮挡等问题,提出多机器人共享抽象视觉特征的协作式VPR及相似性正则化信息融合框架,在多场景实现稳定性能提升,为鲁棒自主导航提供新方案。
2023-10-09 cs.RO
Online Object Representations with Contrastive Learning
Google Brain(谷歌大脑)
我们提出了一种自监督的方法来学习表示的对象从单目视频,并证明它是特别有用的,如机器人的设置。本文的主要贡献是:1)一个经过对比学习训练的自监督目标,它可以在不使用任何标签的情况下从视频中发现和分离对象属性; 2)我们利用对象的自监督进行在线适应:我们的在线模型在视频中看对象的时间越长,对象识别错误就越低,而离线基线仍然有很大的固定错误; 3)为了探索完全摆脱人类监督的系统的可能性,我们让机器人收集自己的数据,用我们的自我监督方案对这些数据进行训练,然后展示机器人可以指向与它面前的物体相似的物体,展示物体属性的泛化。这种方法的一个有趣且可能令人惊讶的发现是,给定有限的对象集,当使用对比学习时,对象对应性将自然出现,而不需要明确的正对。有关在线对象自适应和机器人指向的视频,请访问:https://online-objects.github.io/。
2019-06-10 cs.CV cs.LG cs.RO
Robots Autonomously Detecting People: A Multimodal Deep Contrastive Learning Method Robust to Intraclass Variations
University of Toronto(多伦多大学)
本文提出一种多模态人员检测架构,结合TimCLR预训练与MFRCNN检测器,通过跨模态对比学习提升类内变化下的检测精度。
2024-02-13 cs.CV cs.RO
Policy Contrastive Decoding for Robotic Foundation Models
University of Electronic Science and Technology of China(电子科学与技术大学);Southwest Jiaotong University(西南交通大学);Tongji University(同济大学)
本文提出Policy Contrastive Decoding方法,通过对比原始与物体遮挡的视觉输入,提升机器人策略的泛化能力,实验表明其在仿真和现实环境中均有效。
2026-04-24 cs.RO
CMoE: Contrastive Mixture of Experts for Motion Control and Terrain Adaptation of Humanoid Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University(智能机器人与先进制造学院,复旦大学)
CMoE通过对比学习提升人形机器人在复杂地形中的运动控制与适应能力,实现专家专业化与稳健行走
2026-09-11 cs.RO
Fine-Grained Off-Road Semantic Segmentation and Mapping via Contrastive Learning
Peking University(北京大学);China North Vehicle Research Institute(中国北方车辆研究所)
道路检测或可通过性分析是移动机器人穿越复杂越野场景的关键技术。在早期的作品中,这个问题主要是作为一个二进制分类问题,例如将像素与道路或非道路标签相关联。而越野机器人需要理解具有细粒度标签的场景,因为场景非常多样化,并且越野机器人的各种机械性能可能导致要穿越的安全区域的不同定义。如何定义和标注细粒度的标签,以实现有意义的场景理解的机器人穿越越野仍然是一个悬而未决的问题。本研究提出一种基于对比学习的方法。利用人工标注的锚点块,学习特征表示以区分不同可穿越性的区域,并提出细粒度的语义分割和映射方法,用于越野场景理解。实验是在三个驾驶段的数据集上进行的,这些驾驶段代表了非常多样化的越野场景。锚的准确率为89.8%,通过评估与人类注释的图像块在跨场景验证的匹配。相关的三维激光雷达数据的检查,细粒度段的视觉图像被证明有不同程度的韧性和地形海拔,这代表了他们的语义意义。所得到的地图包含细粒度的标签和置信度值,提供丰富的信息,以支持机器人穿越复杂的越野场景。
2021-03-05 cs.CV cs.RO
CLASS: Contrastive Learning via Action Sequence Supervision for Robot Manipulation
University of Virginia(弗吉尼亚大学)
针对行为克隆在异构数据集上泛化差的问题,提出CLASS方法,利用动作序列监督的对比学习学习表征,在视觉偏移下显著提升下游策略性能。
2025-08-03 cs.RO
Contrastive Learning for Enhancing Robust Scene Transfer in Vision-based Agile Flight
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Robotics and Perception Group(机器人与感知组)
针对基于视觉的移动机器人场景迁移难题,本文提出自适应多对对比学习视觉表征方法,实现零样本迁移与真实部署,并在敏捷四旋翼飞行中优于所有基线。
2024-02-29 cs.CV cs.RO
PvP: Data-Efficient Humanoid Robot Learning with Proprioceptive-Privileged Contrastive Representations
HK PolyU(香港理工大学);LimX Dynamics;EIT, Ningbo(宁波工程学院);USTC(中国科学技术大学);ZJU-UIUC(浙江大学-UIUC);ZGCA(浙江工业大学)
PvP通过体感优先对比学习提升类人机器人学习的样本效率和性能。
2026-03-11 cs.LG cs.RO
Contrastive Learning from Exploratory Actions: Leveraging Natural Interactions for Preference Elicitation
University of Southern California(南加利福尼亚大学)
本文提出 CLEA 方法,利用用户在机器人定制中的探索性动作作为自然标注信号,通过对比学习获取与用户偏好对齐的轨迹特征,并在用户研究中验证其优于自监督特征。
2025-01-02 cs.AI cs.HC cs.LG
On-Robot Reinforcement Learning with Goal-Contrastive Rewards
Robotics and AI Institute(机器人与人工智能研究所);Northeastern University(东北大学);Khoury College of Computer Sciences(计算机科学学院);University of Pennsylvania(宾夕法尼亚大学);University of Amsterdam(阿姆斯特丹大学)
本文提出 GCR,利用无动作被动视频学习稠密目标对比奖励,结合隐式价值损失与轨迹判别损失,显著提升机器人强化学习样本效率并支持跨本体迁移。
2025-05-14 cs.LG cs.RO
ConLA: Contrastive Latent Action Learning from Human Videos for Robotic Manipulation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));State Key Laboratory of Mobile Network and Mobile Multimedia Technology, Shenzhen(移动网络与移动多媒体技术国家重点实验室(深圳));ZTE Corporation(中兴通讯);Shanghai Jiao Tong University(上海交通大学);Central South University(中南大学)
ConLA通过对比学习从人类视频中学习机器人操作,有效解决潜在表示中的捷径学习问题,提升机器人学习的可扩展性。
2026-01-31 cs.RO
Time-Contrastive Networks: Self-Supervised Learning from Video
Google Brain(谷歌大脑);University of Southern California(南加州大学)
我们提出了一种自我监督的方法,用于学习表示和机器人的行为完全从未标记的视频记录从多个角度来看,并研究这种表示如何可以用于两个机器人模仿设置:模仿对象的相互作用,从人类的视频,模仿人类的姿势。人类行为的模仿需要一个视点不变的表示,捕捉末端效应器(手或机器人抓手)和环境,对象属性和身体姿势之间的关系。我们训练我们的表示使用度量学习损失,其中同一观察的多个同时视点被吸引到嵌入空间中,同时被排斥在视觉上相似但功能上不同的时间邻居。换句话说,模型同时学习识别不同外观图像之间的共同点,以及相似外观图像之间的差异。该信号使我们的模型发现不随视点变化但随时间变化的属性,同时忽略诸如遮挡、运动模糊、照明和背景等讨厌的变量。我们证明,这种表示可以被机器人直接模仿人类的姿势,而无需明确的对应关系,并且它可以用作强化学习算法内的奖励函数。虽然表示是从未标记的任务相关视频集合中学习的,但机器人行为(如倾倒)是通过观看人类的单个第三人称演示来学习的。通过在学习的表示下遵循人类演示而获得的奖励函数使得能够实现对于现实世界的机器人系统实用的有效的强化学习。视频结果、开源代码和数据集可在www.example.com上获得
2018-03-20 cs.CV cs.RO
Contrastive Representation Regularization for Vision-Language-Action Models
KAIST(韩国科学技术院)
提出机器人状态感知对比损失(RS-CL),通过对比学习对齐VLM表示与机器人本体感受状态,提升VLA模型在机器人操作任务中的性能。
2026-05-31 cs.LG cs.RO
RoboAug: One Annotation to Hundreds of Scenes via Region-Contrastive Data Augmentation for Robotic Manipulation
RoboAug通过区域对比数据增强技术,仅需单张图像的边界框标注,显著提升机器人在多样场景中的泛化能力和任务成功率。
2026-10-09 cs.RO
Stable Motion Primitives via Imitation and Contrastive Learning
针对机器人点到点运动缺乏稳定性保证的问题,提出一种结合模仿学习与对比学习损失的方法,利用任意深度神经网络高精度学习具有全局渐近稳定性的复杂运动原语,并在数据集和7DoF真实机械臂上得到验证。
2023-06-29 cs.RO
FG-CLTP: Fine-Grained Contrastive Language Tactile Pretraining for Robotic Manipulation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
FG-CLTP通过细粒度对比学习提升机器人触觉感知,实现高精度分类和控制,减少误差并增强跨传感器泛化能力。
2026-03-11 cs.RO
A Self-supervised Contrastive Learning Method for Grasp Outcomes Prediction
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院)
本文提出一种自监督对比学习方法,利用单个触觉传感器数据在公开数据集上实现81.83%的抓取结果预测准确率,验证了无监督对比学习在机器人稳定抓取中的潜力。
2023-09-21 cs.AI cs.RO
Prototypical Contrastive Transfer Learning for Multimodal Language Understanding
Keio University(庆应义塾大学)
针对家用机器人难以依据自然语言指令识别目标物体的问题,提出 PCTL 与 Dual ProtoNCE 损失,利用真实和仿真数据迁移学习,将准确率提升至 78.1%。
2023-07-12 cs.CL cs.CV cs.RO
Self-Supervised Sim-to-Real Adaptation for Visual Robotic Manipulation
DeepMind(深度思维)
为了训练强化学习算法,从真实的机器人视觉数据中收集和自动获取奖励信号可能非常具有挑战性和耗时。利用未标记数据的方法可以进一步加速机器人学习。我们在这里考虑的问题,从像素执行操作任务。在这些任务中,选择适当的状态表示对于规划和控制至关重要。这甚至与真实图像更相关,其中噪声、遮挡和分辨率影响状态估计的准确性和可靠性。在这项工作中,我们在模拟中使用深度强化学习隐式地学习潜在状态表示,然后使用未标记的真实机器人数据使其适应真实域。我们建议通过优化基于序列的自监督目标来实现这一点。这些利用了机器人经验的时间性质,并且在模拟和真实域中都是常见的,而无需假设模拟和未标记的真实图像中的底层状态的任何对齐。我们提出了对比前向动力学损失,它结合了动力学模型学习和时间对比技术。从我们的方法中学习到的状态表示可以用于鲁棒地解决模拟中的操作任务,并成功地将学习到的技能转移到真实系统上。我们证明了我们的方法的有效性,通过训练基于视觉的强化学习代理立方体堆叠。用我们的方法训练的代理,只使用5个小时的未标记的真实机器人数据进行适应,显示出明显的改善域随机化,和标准的视觉领域自适应技术的仿真到现实迁移。
2019-10-21 cs.CV cs.RO
A Dual-Arm Collaborative Framework for Dexterous Manipulation in Unstructured Environments with Contrastive Planning
The Hong Kong Polytechnic University(香港理工大学);University of York(约克大学);Shanghai Jiatong University(上海交通大学)
机器人的大多数物体操纵策略都是基于物体是刚性的假设(即,具有固定的几何形状)并且目标的细节已经被完全指定(例如,准确的目标姿势)。然而,存在许多涉及人类环境中的空间关系的任务,其中这些条件可能难以满足,例如,弯曲电缆并将其放入未知容器中。为了在非结构化环境中开发先进的机器人操作能力,避免这些假设,我们提出了一种新的长期框架,利用对比规划,找到有前途的合作行动。使用随机行动收集的模拟数据,我们学习的嵌入模型,以对比的方式编码的时空信息,从成功的经验,这有利于通过聚类在潜在空间中的子目标规划。在基于关键点对应的动作参数化基础上,设计了双臂协作的主从控制方案。我们的策略的所有模型都在模拟中自动训练,并可以直接转移到现实环境中。为了验证所提出的框架,我们进行了详细的实验研究,在模拟和真实环境中的环境和可达性的约束下的一个复杂的场景。
2022-09-13 cs.RO