Learning to Manipulate Deformable Objects without Demonstrations
University of California, Berkeley(加利福尼亚大学伯克利分校)
在本文中,我们通过无模型的视觉强化学习(RL)来解决可变形对象的操作问题。为了避免RL的样本效率低下,我们提出了两个加速学习的关键思想。首先,我们提出了一个迭代拾取放置动作空间,编码的条件之间的关系,拾取和放置在可变形的对象。显式结构编码可以在复杂的对象动态下实现更快的学习。其次,我们只明确学习以随机挑选点为条件的放置策略,而不是联合学习挑选和放置位置。然后,通过选择具有配售下最大值(MVP)的挑选点,我们获得了我们的挑选策略。这为我们在测试期间提供了一个明智的挑选策略,而在训练期间只使用随机挑选点。在实验上,这个学习框架获得了一个数量级的速度比独立的动作空间的学习我们的一套可变形对象操作任务与视觉RGB观察。最后,使用域随机化,我们将我们的策略转移到一个真正的PR2机器人上,以完成具有挑战性的布料和绳索覆盖任务,并在平均覆盖率上展示了标准RL技术的显着改进。
2020-03-02 cs.CV cs.LG cs.RO
Symmetric Graph Contrastive Learning against Noisy Views for Recommendation
Software College, Northeastern University(东北大学软件学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院)
针对图对比推荐中数据增强产生噪声视图而损害性能的问题,本文提出具有理论保证、模型无关的SGCL对称对比框架,并在三个数据集上验证其最高12.25%的相对提升。
2024-08-03 cs.AI cs.IR cs.LG
Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models
本文提出一种在设备端运行的管道,通过使用混合专家分类器和规则生成器,生成一致且类型保持的虚假值,以减少PII替换中的演示回吐问题,并在多语言数据集上验证了其有效性。
2026-05-13 cs.AI cs.CL
Premier-TACO is a Few-Shot Policy Learner: Pretraining Multitask Representation via Temporal Action-Driven Contrastive Loss
University of Maryland(马里兰大学);Microsoft Research(微软研究院);Tsinghua University(清华大学)
Premier-TACO 通过改进时间动作对比学习并引入新负样本采样策略,利用多任务离线数据预训练视觉表示,显著提升连续控制任务中的少样本策略学习效率。
2024-05-23 cs.AI cs.LG cs.RO
Pseudo Contrastive Learning for Diagram Comprehension in Multimodal Models
The Japan Research Institute, Limited(日本研究机构有限公司)
本文提出伪对比学习方法,通过生成合成图表增强多模态模型对图表的理解能力,实验表明在图像-文本匹配和视觉问答任务中优于传统CLIP方法。
2026-03-02 cs.AI cs.CV
Leveraging Symmetries in Pick and Place
Northeastern University(东北大学);Roux Institute(鲁克斯研究所)
本文提出等变Transporter Net,通过整合等变神经模型捕捉拾取与放置的全部对称性,显著提升样本效率,实现少量演示下的模仿学习。
2023-12-22 cs.AI cs.CV cs.RO
Visual Imitation Learning with Calibrated Contrastive Representation
Wuhan University(武汉大学);The University of Sydney(悉尼大学)
针对视觉对抗模仿学习中表示区分度不足的问题,本文提出结合无监督与有监督对比学习,并按演示质量校准对比损失,在 DMControl Suite 上验证了样本效率和性能优势。
2024-01-21 cs.CV cs.LG
Equivariant Transporter Network
Khoury College of Computer Science(胡里计算机学院);Northeastern University(东北大学)
Transporter Net是最近提出的一个用于拾取和放置的框架,它能够从很少的专家演示中学习良好的操作策略。Transporter Net如此高效的一个关键原因是该模型将旋转等方差纳入了拾取模块,即该模型立即将学习到的拾取知识推广到以不同方向呈现的对象。本文提出了一种新的版本的运输网络,是同变的拾取和放置方向。其结果是,我们的模型立即概括的地方知识,以不同的地方方向,除了概括挑选知识。最终,我们的新模型比基线Transporter Net模型更有效,并实现了更好的拾取和放置成功率。
2022-09-20 cs.CV cs.LG cs.RO
CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos
Tsinghua University(清华大学);Astribot;University of Hong Kong(香港大学);Massachusetts Institute of Technology(麻省理工学院)
提出CLAP框架,通过对比学习将人类视频与机器人动作词汇对齐,利用伪标签训练VLA模型,实现从人类视频到机器人执行的有效技能迁移。
2026-06-16 cs.CV cs.RO
Reward Learning from Narrated Demonstrations
Carnegie Mellon University(卡内基梅隆大学)
人类通过用自然语言交流目标和愿望,毫不费力地彼此“编程”。相比之下,人类通过指示要实现的期望对象位置和姿势,通过提供目标配置的RGB图像或提供要模仿的演示来编程机器人行为。这些方法都没有跨环境变化进行泛化,并且它们用笨拙的技术术语来传达目标。这项工作提出了联合学习的自然语言接地和可移植的行为政策加强感知探测器的自然语言的表达,接地的机器人代理的感官输入。我们的监督是叙述式视觉演示(NVD),这是视觉演示与口头叙述相结合(而不是沉默)。我们介绍了一个数据集的NVD教师进行活动,同时详细描述他们。我们将教师的描述映射到感知奖励检测器,并使用它们在模拟中训练相应的行为策略。我们的经验表明,我们的可识别代理(i)通过利用演示动力学中的硬负挖掘配置,使用少量示例学习视觉奖励检测器,(ii)使用学习的视觉奖励检测器开发拾取和放置策略,(iii)受益于模仿自然语言目标表达的句法结构的对象分解状态表示,以及(iv)可以在测试时间执行涉及由自然语言指示的新位置中的新对象的行为。
2018-04-27 cs.CV cs.RO
You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration
Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Rutgers University(罗格斯大学)
最近在类别级操作中已经取得了令人满意的结果,这些操作概括了对象实例。然而,它通常需要昂贵的真实世界的数据汇集和手动规范的语义关键点的每个对象类别和任务。此外,粗略的关键点预测和忽略中间动作序列阻碍了在拾取和放置之外的复杂操作任务中的采用。这项工作提出了一种新的,类别级的操作框架,利用以对象为中心的,类别级的表示和无模型的6自由度运动跟踪。规范对象表示仅在模拟中学习,然后用于解析来自单个演示视频的类别级任务轨迹。演示通过规范表示被重新投影到针对新对象定制的目标轨迹。在执行过程中,操作地平线被分解为远程,无碰撞的运动和最后一英寸的操作。对于后一部分,类别级行为克隆(CatBC)方法利用运动跟踪来执行闭环控制。CatBC遵循从演示投影并锚定到动态选择的类别级别坐标框架的目标轨迹。通过局部注意力机制沿着操纵水平线自动选择帧。该框架允许通过仅提供单个演示来教授不同的操作策略,而无需复杂的手动编程。广泛的实验证明了它在高精度装配中一系列具有挑战性的工业任务中的有效性,这些任务涉及学习复杂的、长期的政策。该过程表现出鲁棒性对不确定性,由于动态以及泛化对象实例和场景配置。补充视频可在www.example.com上获得v = WAr8ZY3mYyw
2022-05-06 cs.AI cs.CV cs.RO
Time-Contrastive Networks: Self-Supervised Learning from Video
Google Brain(谷歌大脑);University of Southern California(南加州大学)
我们提出了一种自我监督的方法,用于学习表示和机器人的行为完全从未标记的视频记录从多个角度来看,并研究这种表示如何可以用于两个机器人模仿设置:模仿对象的相互作用,从人类的视频,模仿人类的姿势。人类行为的模仿需要一个视点不变的表示,捕捉末端效应器(手或机器人抓手)和环境,对象属性和身体姿势之间的关系。我们训练我们的表示使用度量学习损失,其中同一观察的多个同时视点被吸引到嵌入空间中,同时被排斥在视觉上相似但功能上不同的时间邻居。换句话说,模型同时学习识别不同外观图像之间的共同点,以及相似外观图像之间的差异。该信号使我们的模型发现不随视点变化但随时间变化的属性,同时忽略诸如遮挡、运动模糊、照明和背景等讨厌的变量。我们证明,这种表示可以被机器人直接模仿人类的姿势,而无需明确的对应关系,并且它可以用作强化学习算法内的奖励函数。虽然表示是从未标记的任务相关视频集合中学习的,但机器人行为(如倾倒)是通过观看人类的单个第三人称演示来学习的。通过在学习的表示下遵循人类演示而获得的奖励函数使得能够实现对于现实世界的机器人系统实用的有效的强化学习。视频结果、开源代码和数据集可在www.example.com上获得
2018-03-20 cs.CV cs.RO
Subtask-Aware Visual Reward Learning from Segmented Demonstrations
KAIST(韩国科学技术院);University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院)
本文提出REDS框架,利用分段视频演示和最小监督学习密集奖励函数,通过对比学习对齐子任务,在复杂操作任务中显著优于基线并支持泛化。
2025-02-28 cs.AI cs.CV cs.LG
Slot-Level Robotic Placement via Visual Imitation from Single Human Video
NVIDIA Research(英伟达研究院);Univ. of Michigan(密歇根大学);NYU(纽约大学);Univ. of Washington(华盛顿大学)
针对机器人学习新任务需大量数据的问题,提出SLeRP模块化系统,结合视觉基础模型与Slot-Net检测器,从单个人类视频中学习槽位级放置技能,无需昂贵视频训练即可部署于真实机器人。
2025-04-02 cs.CV cs.RO
Setup-Invariant Augmented Reality for Teaching by Demonstration with Surgical Robots
University of British Columbia(不列颠哥伦比亚大学)
本文提出开源系统dV-STEAR,在无需专家与新手机器人设置关节位置一致的条件下回放任务对齐的专家演示,通过用户研究证明其能显著提升新手手术任务表现,为AR集成到机器人辅助手术奠定基础。
2025-04-09 cs.CV cs.HC cs.RO