PDDL-ART: Autonomous Symbolic Abstraction From Demonstration For Long-Horizon Robotic Manipulation Using Vision-Language Models
University of Michigan(密歇根大学)
PDDL-ART是一种基于VLM的框架,可自主从演示生成PDDL描述,经多阶段校正确保语义对齐,在发动机维护和家庭操纵任务上平均成功率达93.3%,优于基线规划器。
2026-08-19 cs.RO
Proceedings of the Second International Workshop on Domain-Specific Languages and Models for Robotic Systems (DSLRob 2011)
University of Southern Denmark(南丹麦大学);UMMISCO (IRD/UPMC/IFI)(UMMISCO(法国发展研究院/巴黎第六大学/法国计算机工程学院))
第二届机器人系统领域特定语言和模型国际研讨会(DSLRob'11)的会议记录,与2011年IEEE/RSJ智能机器人和系统国际会议(IROS 2011)一起举行,2011年9月在美国旧金山举行。研讨会的主要议题是机器人领域特定语言(DSL)和模型驱动软件开发(MDSD)。领域特定语言(DSL)是一种专用于特定问题领域的程序设计语言,它提供了特定的符号和抽象,可以提高该领域内程序员的生产力。模型为域用户提供了一种高级方法,以在正确的抽象级别上指定其系统的功能。DSL和模型历来用于复杂系统的编程。然而,最近他们已经获得了兴趣作为一个独立的研究领域。机器人系统以一种整体的方式融合硬件和软件,这在本质上会引起许多横切问题(并发性、不确定性、时间限制等),由于这个原因,传统的通用语言经常导致语言特征和实现需求之间的不佳匹配。DSL和模型提供了一种强大的、系统的方法来克服这个问题,使程序员能够快速、精确地实现复杂问题的新颖软件解决方案
2012-12-10 cs.RO
ARP: Enhancing Quantized Skill Abstractions via Visual Alignment and Iterative Refinement for Robotic Manipulation
School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院);Key Laboratory of General Artificial Intelligence and Large Models in Provincial Universities, Soochow University(苏州大学省高校通用人工智能与大模型重点实验室);College of Mechanical and Electronic Engineering, China Jiliang University(中国计量大学机电工程学院);College of Electronics and Information Engineering, Tongji University(同济大学电子与信息工程学院);Leju Robotics(乐聚机器人)
提出ARP框架,通过视觉-动作对比对齐和迭代残差头细化,解决离散量化技能中的语义弱对齐和精度损失问题,在LIBERO和Meta-World基准上达到最优性能。
2026-06-23 cs.RO
Proceedings of the Sixth International Workshop on Domain-Specific Languages and Models for Robotic Systems (DSLRob 2015)
Hochschule Ulm(乌尔姆应用技术大学);University of Southern Denmark(南丹麦大学);UMI UMMISCO(UMMISCO国际联合单位);IRD(法国国家发展研究所);UPMC(巴黎第六大学);MSI-IFI(MSI-IFI研究所);Bielefeld University(比勒费尔德大学);RWTH Aachen University(亚琛工业大学);Ecole des Mines Douai(杜埃矿业学院)
第六届机器人系统领域特定语言和模型国际研讨会(DSLRob'15)于2015年9月28日在德国汉堡举行,作为IROS 2015会议的一部分。研讨会的主要议题是机器人领域特定语言(DSL)和模型驱动软件开发(MDSD)。领域特定语言是一种专用于特定问题领域的程序设计语言,它提供了特定的符号和抽象,可以提高该领域内程序员的生产力。模型驱动的软件开发为领域用户提供了一种高级方法,可以在正确的抽象级别上指定系统的功能。DSL和模型历来用于复杂系统的编程。然而,最近他们已经获得了兴趣作为一个独立的研究领域。机器人系统以一种整体的方式融合硬件和软件,这在本质上会引起许多横切问题(并发性、不确定性、时间限制等),由于这个原因,传统的通用语言经常导致语言特征和实现需求之间的不佳匹配。DSL和模型提供了一种强大的、系统的方法来克服这个问题,使程序员能够快速、精确地实现新的软件解决方案,以解决机器人领域中的复杂问题。
2016-01-20 cs.RO
Proceedings of the Fifth International Workshop on Domain-Specific Languages and Models for Robotic Systems (DSLRob 2014)
ETH Zurich(苏黎世联邦理工学院);Bonn-Rhein-Sieg University(波恩-莱茵-锡格大学);Hochschule Ulm(乌尔姆应用技术大学);University of Southern Denmark(南丹麦大学);IRD(法国发展研究院);UPMC(皮埃尔和玛丽·居里大学)
第五届机器人系统领域特定语言和模型国际研讨会(DSLRob'14)于2014年10月在意大利贝加莫与2014年自主机器人仿真,建模和编程国际会议(SIMPAR 2014)一起举行。研讨会的主要议题是机器人领域特定语言(DSL)和模型驱动软件开发(MDSD)。领域特定语言是一种专用于特定问题领域的程序设计语言,它提供了特定的符号和抽象,可以提高该领域内程序员的生产力。模型驱动的软件开发为领域用户提供了一种高级方法,可以在正确的抽象级别上指定系统的功能。DSL和模型历来用于复杂系统的编程。然而,最近他们已经获得了兴趣作为一个独立的研究领域。机器人系统以一种整体的方式融合硬件和软件,这在本质上会引起许多横切问题(并发性、不确定性、时间限制等),由于这个原因,传统的通用语言经常导致语言特征和实现需求之间的不佳匹配。DSL和模型提供了一种强大的、系统的方法来克服这个问题,使程序员能够快速、精确地实现新的软件解决方案,以解决机器人领域中的复杂问题。
2014-11-26 cs.RO
A Whole-Body Software Abstraction layer for Control Design of free-floating Mechanical Systems
Istituto Italiano di Tecnologia(意大利技术研究院);UPMC Univ. Paris(巴黎皮埃尔和玛丽·居里大学);LAAS/CNRS(法国国家科学研究中心系统分析与架构实验室)
在本文中,我们提出了一个软件抽象层,以简化全身控制器的设计和合成,而无需对要实现的控制律进行任何初步假设。所提出的库的主要优点是解耦的控制软件的实施细节,这是相关的机器人平台。此外,所得到的代码比ad-hoc代码更干净和简洁,因为它只关注控制律的实现。此外,我们提出了一个参考实现的抽象层连同Simulink接口提供支持模型驱动的开发。我们还展示了一个简单的比例微分加重力补偿控制与一个更复杂的动量为基础的双足平衡控制器的实施。
2017-01-04 cs.RO
Discovering State and Action Abstractions for Generalized Task and Motion Planning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
广义规划通过找到一个类似算法的策略来解决任务的多个实例,从而加速了经典规划。一个通用的计划可以从几个训练样本中学习,并应用于整个问题领域。广义规划方法在涉及大量对象和扩展动作序列以实现目标的离散AI规划问题中表现良好。在本文中,我们提出了一种算法,学习功能,抽象,和广义计划连续机器人任务和运动规划(TAMP)和检查时出现的独特困难,被迫考虑几何和物理约束的一部分,广义计划。此外,我们表明,这些简单的广义计划,只有少数几个例子可以用来提高搜索效率的TAMP求解器。
2021-09-23 cs.RO
Are Foundation Models the Route to Full-Stack Transfer in Robotics?
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)(机器人与机电研究所,德国航空航天中心(DLR));Stanford AI Lab, Stanford University(斯坦福大学人工智能实验室)
本文探讨基础模型在机器人全栈迁移中的作用,分析其对不同迁移层次的影响及面临的挑战。
2026-02-25 cs.RO
Proceedings of the first international workshop on domain-specific languages for robotic systems (DSLRob 2010)
University of Southern Denmark(南丹麦大学);UMI UMMISCO(UMI UMMISCO 国际联合实验室);IRD(法国发展研究院);UPMC(巴黎第六大学);MSI-IFI(MSI-IFI研究所);LIP6(LIP6实验室);GOSTAI(GOSTAI公司);University of Chile(智利大学);CEA LIST(法国原子能委员会信息技术与系统实验室)
第一届机器人系统领域特定语言和模型国际研讨会(DSLRob'10)于2010年10月在台湾台北举行的2010年IEEE/RSJ智能机器人和系统国际会议(IROS'10)上举行。研讨会的主要议题是特定领域的语言和模型。领域特定语言(DSL)是一种专用于特定问题领域的程序设计语言,它提供了特定的符号和抽象,可以提高该领域内程序员的生产力。模型为域用户提供了一种高级方法,以在正确的抽象级别上指定其系统的功能。DSL和模型历来用于复杂系统的编程。然而,最近他们已经获得了兴趣作为一个独立的研究领域。机器人系统以一种整体的方式融合硬件和软件,这在本质上会引起许多横切问题(并发性、不确定性、时间限制等),由于这个原因,传统的通用语言经常导致语言特征和实现需求之间的不佳匹配。DSL和模型提供了一种强大的、系统的方法来克服这个问题,使程序员能够快速、精确地实现新的软件解决方案,以解决机器人领域中的复杂问题。
2011-02-22 cs.PL cs.RO
Robot Learning to Communicate through Projected Visual Abstractions
Duke University(杜克大学)
研究让机器人通过投影视觉抽象通信,提出含21自由度灵巧手和影子自我模型的系统,能动态表达影子。通过自我探索学习映射,依目标优化配置,经模拟获可行运动,还引入多种优化,在多场景展示影子表达,建立相关框架。
2026-07-27 cs.AI cs.RO
Zero-shot Transferable and Persistently Feasible Safe Control for High Dimensional Systems by Consistent Abstraction
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
本文提出一种名为抽象安全控制的新方法,通过低维模型设计能量函数以实现持续可行的安全控制,并支持零样本迁移至具有相同抽象的系统,在7自由度机械臂实验中验证了其零安全违规的有效性。
2023-05-21 cs.RO
CAMPs: Learning Context-Specific Abstractions for Efficient Planning in Factored MDPs
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);KAIST Graduate School of AI(韩国科学技术院人工智能学院)
元规划,或从经验中学习指导规划,是一种有前途的方法,以提高规划的计算成本。一般的元规划策略是学习对代理所考虑的状态和所采取的行动施加约束。我们观察到,(1)施加约束可以诱导特定于上下文的独立性,使域的某些方面不相关,(2)代理可以通过对自己的行为施加约束来利用这一事实。这些观察使我们提出了上下文特定的抽象马尔可夫决策过程(CAMP),一个抽象的因素MDP,提供有效的规划。然后,我们描述了如何学习约束,使CAMP优化奖励和计算成本之间的权衡。我们的实验考虑了四个领域的五个规划者,包括机器人在可移动障碍物之间的导航(NAMO),机器人任务和顺序操作的运动规划,以及经典规划。我们发现,使用学习过的CAMP进行规划,可以始终优于基线,包括Stilman的NAMO特定算法。视频:https://youtu.be/wTXt6djcAd4代码:https://git.io/JTnf6
2020-11-08 cs.AI cs.LG cs.RO
ROS-Mobile: An Android application for the Robot Operating System
University of Luebeck(吕贝克大学)
控制和监控复杂的自主和半自主机器人系统是一项具有挑战性的任务。Robot操作系统(ROS)是作为一个运行在Ubuntu Linux上的机器人中间件系统而开发的,它允许硬件抽象、各个进程之间的消息传递和包管理。然而,缺少对移动设备(如智能手机或平板电脑)的ROS应用程序的主动支持。我们为Android开发了一个ROS应用程序,它带有一个直观的用户界面,用于控制和监控机器人系统。我们的开源贡献可以用于各种各样的任务和许多不同类型的机器人。此外,它可以很容易地定制和添加新功能。在本文中,我们给出了一个大纲的软件架构,主要功能,并显示了一些可能的用例在不同的移动机器人系统。
2020-11-05 cs.RO
SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution
Shanghai AI Laboratory(上海人工智能实验室);University of California, Berkeley(加州大学伯克利分校);The University of Hong Kong(香港大学)
SkillDiffuser提出一种端到端分层规划框架,通过从视觉和语言中学习可解释技能表示并条件化扩散模型生成轨迹,在Meta-World和LOReL等基准上实现了最先进的长程多技能任务执行性能。
2024-03-28 cs.CV cs.LG cs.RO
Think Small, Plan Smart: Minimalist Symbolic Abstraction and Heuristic Subspace Search for LLM-Guided Task Planning
Zhejiang University(浙江大学);Westlake University(西湖大学);UCAS-Terminus AI Lab(UCAS-terminus人工智能实验室);Victoria University of Wellington(威灵顿维多利亚大学)
提出两阶段LLM-符号规划框架PLAHX,通过极简符号抽象消除冗余并结合启发式子空间搜索自适应缩小搜索空间,显著提升了任务规划的成功率并降低了token消耗。
2025-09-14 cs.LG cs.RO
LENS: LLM-guided Environment Simplification for Planning and Control in Clutter
University of Pennsylvania(宾夕法尼亚大学)
针对现实世界多物体杂乱环境处理难题,提出LENS方法,通过大语言模型引导自动生成特定场景和任务的自适应更新抽象,经实验验证其能改进多种模型在高度杂乱操纵场景中的表现。
2026-07-23 cs.RO
Certifiably Optimal Estimation and Calibration in Robotics via Trace-Constrained Semi-Definite Programming
Department of Mechanical Engineering, Boston University(机械工程系,波士顿大学)
针对机器人非凸问题SDP松弛解的秩1舍入难题,提出迹约束SDP框架,搭配梯度优化流程、常见量松弛方案和模块化抽象,经多任务仿真验证有效。
2025-10-01 cs.RO
Policy-contingent abstraction for robust robot control
Carnegie Mellon University(卡内基梅隆大学)
提出一种可扩展的控制算法,使移动机器人系统在充分考虑概率信念的情况下做出高层决策,并成功部署于护理机构。
2012-10-19 cs.AI cs.RO cs.SY
A variational approach to geometric mechanics for undulating robotic locomotion
University of Notre Dame(圣母大学);California Institute of Technology(加州理工学院);Dublin City University(都柏林城市大学);EPFL (Swiss Federal Institute of Technology, Lausanne)(洛桑联邦理工学院(EPFL))
针对几何力学在波动式机器人运动建模中理论与实验衔接难的问题,提出基于变分积分器的方法,仅需耗散度量即可实现与实验平均吻合度良好的仿真。
2024-09-17 cs.RO
GeminiPainter's sequence-formed pipeline comprised of perception, cognition, planning, and action stages
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
该研究提出自主机器人肖像生成系统,整合多技术实现绘画,经实验获用户高分评价,产出可识别且具吸引力的机器人肖像。
2026-08-10 cs.RO
Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives
Xi’an Jiaotong Univeristy(西安交通大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Chinese Academy of Sciences(中国科学院);Westlake University(西湖大学);Zhejiang University(浙江大学);University of Sydney(悉尼大学);BAAI(百度人工智能研究院);Peking University(北京大学)
本文探讨了基础模型时代机器人操作的规划与学习方法,分析了高层推理与低层控制的统一框架,并提出了未来研究方向。
2026-08-18 cs.RO
Breaking Task Impasses Quickly: Adaptive Neuro-Symbolic Learning for Open-World Robotics
Human-Robot Interaction Lab, Tufts University(塔夫茨大学人机交互实验室)
本文提出了一种自适应神经符号学习框架,通过整合符号学习与强化学习,提升机器人在开放世界中的快速适应能力与鲁棒性。
2026-01-01 cs.AI cs.RO
REMS: Middleware for Robotics Education and Development
University of California, Los Angeles(加州大学洛杉矶分校)
本文介绍了REMS,这是一个机器人中间件和控制框架,旨在将Python的Zen引入机器人技术,并改善机器人教育和开发流程。虽然现有的中间件可以提供硬件抽象和模块化,但在教育中建立环境和学习中间件特定的语法和过程不太可行。他们可以限制理解机器人概念,理论和算法的机会。机器人是一个集成领域;来自不同背景的学生和开发人员将参与编程。以自然的方式建立Pythonic和面向对象的机器人框架可以增强模块化和抽象化编程,以获得更好的可读性,可重用性和简单性,而且还支持编码中的有用和实用技能。REMS是一个有价值的机器人教育媒体,而不仅仅是一个工具,是一个平台,从一个机器人到跨硬件,仿真和分析模型实现的多智能体。
2022-10-11 cs.MA cs.RO cs.SE
Embodied Active Learning of Relational State Abstractions for Bilevel Planning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
提出具身主动学习范式,通过在线专家查询学习谓词解释,用于机器人双层规划,在三个环境中优于六个基线,提升样本效率。
2023-06-19 cs.AI cs.LG cs.RO
Robotic Gas Source Localization with Probabilistic Mapping and Online Dispersion Simulation
提出一种结合概率气体命中图与在线扩散模拟的观测模型,用于在复杂室内环境中实现自主机器人的气体源定位,并通过模拟和真实实验验证其有效性。
2024-07-22 cs.RO
STAR: Learning Diverse Robot Skill Abstractions through Rotation-Augmented Vector Quantization
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院);Huawei Noah's Ark Lab(华为诺亚方舟实验室)
STAR通过旋转增强的向量量化和因果技能变压器,提升机器人技能学习与组合,实现复杂行为完成,在LIBERO基准和现实任务中表现优越。
2026-04-07 cs.LG cs.RO
An Information-Space Perspective to Scene Graph Sufficiency for Robotic Task Planning
Maastricht University(马斯特里赫特大学);Aalto University(阿尔托大学)
本文提出信息空间框架下的场景图充分性形式化,通过信息映射和商转换系统定义充分条件,确保派生计划在最大系统上可行。
2026-09-15 cs.RO
ROSY: An elegant language to teach the pure reactive nature of robot programming
Universidade do Minho(米尼奥大学);INESC TEC(葡萄牙系统与计算机工程研究所)
机器人技术非常有趣,长期以来一直被认为是教授编程的好方法,同时与数学、物理或电子等工程和科学的其他分支建立了鼓舞人心的联系。虽然机器人和编程之间的这种共生关系被认为是非常有益的,但教育方法往往觉得有必要隐藏机器人系统的潜在复杂性,但结果是无法将机器人编程的反应本质传递给未来的机器人专家和程序员。本文介绍了ROSY,一种通过机器人技术教授新手程序员的新语言。它的函数式风格既熟悉高中代数背景,又体现了机器人编程固有的反应性。在更高的抽象层次上工作也教导了将机器人软件分解为交互控制器集合的有价值的设计原则。尽管它很简单,但ROSY是完全有效的Haskell代码,与ROS生态系统兼容。我们通过演示如何轻松清晰地表达非平凡的应用程序,揭示其良好的功能编程基础,并开发支持Web的机器人编程环境,为我们的语言提供了令人信服的案例。
2019-11-08 cs.PL cs.RO
Foundations of the Socio-physical Model of Activities (SOMA) for Autonomous Robotic Agents
University of Bremen(不来梅大学)
在本文中,我们提出了活动的社会物理模型(SOMA)的基础。SOMA代表了日常活动的物理和社会背景。这些任务对人类来说似乎微不足道,然而,它们对人工代理构成了严重的问题。对于初学者来说,请求某些内容的自然语言命令会留下许多执行任务所需的信息。人类可以快速解决这些问题,因为我们通过求助于先验知识来减少搜索空间,例如描述如何在不同抽象级别上实现某些目标的连接计划集合。SOMA不是列举细粒度的物理环境,而是包括社会构建的知识,这些知识是关于实现各种目标的行动功能或对象在给定情况下可以扮演的角色。由于人类认知系统能够将经验概括为适用于新情况的抽象知识片段,因此我们认为,需要对物理和社会背景进行建模,以便以一般方式应对这些挑战。这是由SOMA中的物理和社会背景之间的联系表示的,其中在它们的发生和概括之间建立了关系,这已经在验证SOMA的几个用例中得到了证明。
2020-11-24 cs.RO
Efficient State Abstraction using Object-centered Predicates for Manipulation Planning
Technical University of Munich(慕尼黑工业大学);University of Innsbruck(因斯布鲁克大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
符号描述的定义,始终代表相关的几何方面的操作任务是一个具有挑战性的问题,在机器人社区很少受到关注。这个定义通常是从一个有限的对象关系和方向,只满足几何约束,在实验室条件下执行实验的观察者的角度来完成。这将对象配置空间中的操纵动作的可能改变限制为与该特定外部引用定义兼容的那些改变,这极大地限制了可能的操纵的范围。为了解决这些限制,我们提出了一个以对象为中心的表示,允许表征一组更广泛的可能的变化,在配置空间比传统的观察者的角度对应。基于这种表示,我们定义了通用的规划运营商的采摘和放置的行动,允许生成计划的几何和力的一致性,在操作任务。这种以对象为中心的描述是直接从对象的姿态和边界框中获得的,使用一种新的学习机制,该机制允许生成信号-符号关系,而不需要为每个特定场景手工制作这些关系。
2020-07-16 cs.AI cs.RO
High-level programming and control for industrial robotics: using a hand-held accelerometer-based input device for gesture and posture recognition
University of Coimbra(科英布拉大学);University of Porto(波尔图大学)
目的-大多数工业机器人仍然使用典型的示教过程进行编程,通过使用机器人示教器。这是一项繁琐且耗时的任务,需要一些技术专长,因此需要新的机器人编程方法。本文的目的是提出一个机器人系统,允许用户指示和编程的机器人与高层次的抽象从机器人语言。设计/方法/方法-该论文详细介绍了一种机器人系统,该系统允许用户,特别是非专家程序员,以直观的方式指导和编程机器人,只是向它展示它应该做什么。这是使用两个最自然的人机界面(手势和语音),力控制系统和几个代码生成技术。将特别注意手势的识别,其中从Wii遥控器中嵌入的运动传感器(三轴加速度计)提取的数据用于捕获人手的行为。使用统计方法和人工神经网络识别手势(动态手位置)以及手动姿势(静态手位置)。实用意义-本文的主要贡献是,它提供了一个实用的方法来编程机器人通过手势和语音,提高工作效率,节省时间。独创性/价值-本文提出了一种替代典型的机器人教学过程中,扩展的概念,人机交互和同事的情况。由于大多数公司没有工程资源对其机器人制造系统进行更改或添加新功能,因此该系统对中小型企业来说是一个主要优势。
2013-09-09 cs.RO
Learning Skills from Demonstrations: A Trend from Motion Primitives to Experience Abstraction
Italian Institute of Technology(意大利理工学院);Irish Manufacturing Research(爱尔兰制造研究院);University of Siena(锡耶纳大学)
机器人的使用正在从工厂中的静态环境转变为包括非结构化环境中的人机协作等新概念。为机器人预编程所有功能变得不切实际,因此,机器人需要学习如何像人类一样自主地对新事件做出反应。然而,与机器不同,人类天生擅长根据经验或观察来应对意外情况。因此,将这种行为嵌入机器人需要开发神经认知模型,在机器人学习范式下模仿运动技能。这些技能的有效编码必然要选择适当的工具和技术。本文研究了不同的运动和行为学习方法,从运动原语(MP)到经验抽象(EA),适用于不同的机器人任务。这些方法进行审查,然后通过重建一个标准的pick-n-place任务实验基准。除了为策略和算法的选择提供一个标准的指导方针外,本文还旨在对其可能的扩展和改进进行展望
2022-10-14 cs.RO cs.SY eess.SY
SmallSatSim: A GPU-Accelerated Microgravity Robotics Toolkit for Planning, Control, and Policy Learning
本文提出SmallSatSim,一种高保真仿真工具,用于微重力环境下机器人近程操作的算法开发与测试,支持故障模型配置和GPU加速,旨在加速自主敏捷小卫星操作研究。
2026-09-22 cs.RO
Learning the Right Abstraction: Neural Reduced Dynamics for Complex Robot Control
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出神经简化动力学(NRD)框架,学习保留控制相关物理特性的简化状态,训练的策略可迁移至高保真模拟器,在三项控制任务中实现高精度且速度大幅提升的机器人控制。
2026-08-21 cs.RO
Learning Robotic Navigation from Experience: Principles, Methods, and Recent Results
UC Berkeley(加州大学伯克利分校)
导航是机器人学中研究最多的问题之一,通常被视为几何映射和规划问题。然而,现实世界的导航提出了一组复杂的物理挑战,挑战简单的几何抽象。机器学习提供了一种超越几何和传统规划的有希望的方法,允许导航系统根据实际的先前经验做出决策。这样的系统可以以超越几何学的方式推理可穿越性,解释其行为的物理结果并利用现实世界环境中的模式。随着更多数据的收集,它们还可以得到改进,从而可能提供强大的网络效应。在这篇文章中,我们提出了一个通用的机器人导航技能的经验学习工具包,统一了最近的几种方法,描述了基本的设计原则,总结了我们最近的几篇论文的实验结果,并讨论了开放的问题和未来的工作方向。
2022-12-13 cs.AI cs.LG cs.RO
Learning Keypoints from Synthetic Data for Robotic Cloth Folding
Ghent University - imec(根特大学-imec);IDLab(IDLab实验室)
机器人布料操作是具有挑战性的,由于其变形性,这使得确定其完整状态是不可行的。然而,对于布料折叠,知道一些语义关键点的位置就足够了。卷积神经网络(CNN)可以用来检测这些关键点,但需要大量的注释数据,这是昂贵的收集。为了克服这一点,我们建议学习这些关键点检测器纯粹从合成数据,使低成本的数据汇集。在本文中,我们程序化地生成毛巾的图像,并使用它们来训练一个CNN。我们评估了这个检测器的性能折叠毛巾单手机器人设置,并发现把握和折叠成功率分别为77%和53%。我们的结论是,学习关键点检测器从合成数据的布料折叠和相关的任务是一个很有前途的研究方向,讨论了一些失败,并将它们与未来的工作。该系统的视频以及代码库,有关CNN架构和训练设置的更多细节可以在https://github.com/tlpss/workshop-icra-2022-cloth-keypoints.git上找到。
2022-05-13 cs.AI cs.LG cs.RO
Pixel Motion Diffusion is What We Need for Robot Control
Stony Brook University(石溪大学)
DAWN框架通过结构化像素运动表示连接高层运动意图与底层机器人动作,实现端到端可训练系统,展示多任务性能和现实迁移能力。
2026-04-01 cs.CV cs.RO
Formalisms for Robotic Mission Specification and Execution: A Comparative Analysis
本文比较了四种机器人任务规范形式化方法,分析其在任务描述中的适用性、表达能力和工具支持,为设计鲁棒且适应性强的机器人任务提供指导。
2026-08-18 cs.RO cs.SE
Leveraging Jumpy Models for Planning and Fast Learning in Robotic Domains
DeepMind(深度思维)
在本文中,我们研究了学习多步动态预测模型(跳跃模型)的问题,从未标记的经验和他们的实用程序的快速推理(高级别)计划在下游任务。特别是,我们建议离线学习一个跳跃模型和一个技能嵌入空间,从以前收集的经验中,不需要标签或奖励注释。然后,我们研究了利用这些学习组件与基于模型的规划或无模型强化学习(RL)相结合的几种选择,以加快下游任务的学习。我们在RGB堆叠环境中进行了一组实验,表明使用学习的技能和相关模型进行规划可以实现对新任务的zero-shot泛化,并可以通过强化学习进一步加快策略的训练。这些实验表明,跳跃模型,结合时间抽象可以促进规划在长期任务中,标准的动态模型失败。
2023-02-24 cs.AI cs.LG cs.RO
Enabling Generic Robot Skill Implementation Using Object Oriented Programming
German Research Institute for Artificial Intelligence(德国人工智能研究所)
针对中小企业及研究人员部署机器人系统时面临的接口复杂、依赖外部专业知识等问题,本文提出一种基于面向对象编程的软件框架,通过抽象层简化不同厂商型号机器人的接口,并基于Python实现了适配Yaskawa Motoman GP4料箱拣选单元的原型,降低了机器人系统的部署难度。
2025-08-14 cs.RO cs.SE
Predictability-Based Curiosity-Guided Action Symbol Discovery
Bogazici University(博阿齐奇大学);Brown University(布朗大学)
本研究提出一种基于编码器-解码器和好奇心探索模块的系统,自主发现符号动作原语,并在操作任务中通过符号树搜索生成计划,实验证明其有效性。
2025-05-23 cs.RO
Neuro-Symbolic Imitation Learning: Discovering Symbolic Abstractions for Skill Learning
Intelligent Autonomous Systems, TU Darmstadt, Germany(图腾达姆施塔特大学智能自主系统研究所);German Research Center for AI, Germany(德国人工智能研究中心);Hessian Centre for Artificial Intelligence, Germany(黑森州人工智能中心);Honda Research Institute EU, Germany(本田欧洲研究院)
本文提出一种神经符号模仿学习框架,通过学习符号表示将任务分解为子任务并利用符号规划生成抽象计划,进而学习神经技能将其转化为机器人命令,在模拟环境中提升了数据效率、泛化能力和可解释性。
2025-11-03 cs.AI cs.LG cs.RO
RoboSync: Efficient Real-Time Operating System for Social Robots with Customizable Behaviour
University of Waterloo(滑铁卢大学)
针对传统机器人系统实现复杂、HRI开发者使用门槛高的问题,本文提出模块化多级抽象的实时操作系统RoboSync,降低定制情感行为模型的技术要求,同时保障实时性与适应性,经CortexM4测试验证了其在轻量化社交机器人场景的应用潜力。
2023-12-13 cs.RO
Predicate Invention for Bilevel Planning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Meta AI
本文提出一种从示例中学习谓词的算法,以消除双层规划中对人工状态抽象的需求,通过优化替代目标并在语法引导下进行爬山搜索,在四个机器人规划环境中优于六个基线。
2025-05-27 cs.AI cs.LG cs.RO
!Imperio, smolVLA: The Implications of Data Poisoning on Open Source Robotics
Duale Hochschule Baden-Württemberg, Ravensburg(巴登-符腾堡双元制应用技术大学拉文斯堡分校)
研究视觉语言动作模型的触发词数据投毒对开源机器人技术的影响,通过在真实任务中对小型甚大阵进行实验,发现少量投毒样本可嵌入后门致机器人失效,攻击具实用性、低成本且隐蔽。
2026-07-07 cs.AI cs.CL cs.CR
ROSA: A Robotics Foundation Model Serving System for Robot Factories
NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学)
提出ROSA系统,通过共享GPU池服务、多模型流水线支持和工厂目标驱动调度,将机器人工厂的RFM推理性能提升12倍以上。
2026-07-02 cs.DC cs.RO
Algorithmic Approaches to Reconfigurable Assembly Systems
Massachusetts Institute of Technology(麻省理工学院);TU Eindhoven(埃因霍温理工大学);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
在太空中组装大型结构系统被认为是服务于不能从一次发射部署的应用的关键。最近的文献提出了使用离散的模块化结构的空间组装和相对小规模的机器人,能够修改和遍历的结构。本文讨论了通过机器人构建的可重构空间结构的缩放算法问题,其中重构被定义为将初始结构转换为不同目标配置的问题。我们分析了不同的算法范例,并提出了相应的抽象和图形配方,检查专门的算法,考虑离散化的空间和时间的步骤。然后,我们讨论了不同的计算架构,如集中式与分布式的基本设计交易,并提出了两个代表性的算法作为具体的例子进行比较。我们分析了这些算法如何实现不同的目标函数和目标,如最小化总行驶距离,最大限度地提高容错性,或最小化总时间花费在装配。这意味着提供对相应结构和机器人设计的可扩展性的算法约束的印象。从这项研究中,一组建议的开发在哪里和何时使用每一个范例,以及物理机器人和结构系统设计的影响。
2020-08-27 cs.MA cs.RO
Build on Priors: Vision--Language--Guided Neuro-Symbolic Imitation Learning for Data-Efficient Real-World Robot Manipulation
Tufts University(塔夫茨大学);Austrian Institute of Technology GmbH (AIT)(奥地利技术研究所(AIT))
本文提出一种可扩展的神经符号框架,通过少量未标注的示范数据自动构建符号规划领域和高效控制策略,无需手动领域工程,提升现实机器人操作的效率和可解释性。
2026-04-04 cs.AI cs.RO
Keypoint Abstraction using Large Models for Object-Relative Imitation Learning
Massachusetts Institute of Technology(麻省理工学院);National Taiwan University(台湾大学)
针对机器人模仿学习中关键点表征依赖人工设计与标注的问题,提出KALM框架,利用大模型自动生成任务相关且跨实例一致的关键点,训练关键点条件策略实现高效泛化,仅需少量演示即可适配多任务多场景。
2024-10-30 cs.AI cs.CV cs.RO
MOSAIC: Modular Scalable Autonomy for Intelligent Coordination of Heterogeneous Robotic Teams
FZI Forschungszentrum für Informatik, Karlsruhe, Germany(弗赖堡信息研究中心,卡尔斯鲁厄,德国);Robotic Systems Lab (RSL), ETH Zürich, Zürich, Switzerland(机器人系统实验室(RSL),苏黎世联邦理工学院,苏黎世,瑞士);Machine Intelligence and Robotics Lab (MaiRo), Karlsruhe Institute for Technology (KIT), Karlsruhe, Germany(机器智能与机器人实验室(MaiRo),卡尔斯鲁厄技术学院(KIT),卡尔斯鲁厄,德国);European Space Agency (ESA), Noordwijk, Netherlands(欧洲航天局(ESA),诺德威克,荷兰)
研究针对多机器人科学探索,提出MOSAIC框架,基于兴趣点统一任务抽象与多层自主性,依机器人能力动态分配任务,经模拟月球探测实验验证,可实现强鲁棒性、可扩展的多机器人科学探索。
2026-07-07 cs.RO
Bonnet: An Open-Source Training and Deployment Framework for Semantic Segmentation in Robotics using CNNs
University of Bonn(波恩大学)
解释场景的能力是机器人与环境交互的重要能力。例如,关于机器人前面是什么的知识与导航、操纵或规划相关。语义分割用类标签标记图像的每个像素,从而向机器人提供周围环境的详细语义注释。卷积神经网络(CNN)是解决这类问题的流行方法。然而,尽管有几个高质量的开源框架可用于神经网络的实现和训练,但用于训练和集成真实机器人的CNN的可用软件相当分散,并且通常难以用于非专家。在本文中,我们提出了一个工具,称为Bonnet,它解决了这个碎片问题,建立一个更高的抽象,具体的语义分割任务。它提供了一种模块化的方法来简化语义分割CNN的训练,与所使用的数据集和预期的任务无关。此外,我们还解决了在一个真正的机器人平台上的部署。因此,我们在本文中不提出新的CNN方法。相反,我们提供了一个稳定且易于使用的工具,使这项技术在自治系统的背景下更容易实现。从这个意义上说,我们的目标是缩小计算机视觉研究与其在机器人研究中的应用之间的差距。我们为培训和部署提供开源代码库。培训界面使用TensorFlow在Python中实现,部署界面提供了一个C++库,可以轻松集成到现有的机器人代码库、ROS节点和两个独立的应用程序中,用于图像和视频中的标签预测。
2019-02-01 cs.CV cs.RO
The Three Dimensions of ROS 2 Middleware
Daegu Gyeongbuk Institute of Science and Technology (DGIST)(大邱庆北科学技术院(DGIST));Eclipse Zenoh
本文系统调研ROS 2中间件,提出空间、时间和状态三个结构维度框架,分析其架构限制与权衡,为鲁棒可扩展的机器人中间件研究提供路线图。
2026-07-03 cs.DC cs.NI cs.RO
No Plan, Yet Human: A Reactive Robotics Model Predicts Human Planning Failures on a Clinical Task
Robotics and Biology Laboratory, Technische Universität Berlin, Germany(技术大学柏林机器人与生物学实验室,德国);Science of Intelligence, Research Cluster of Excellence, Berlin, Germany(智能科学,卓越研究集群,柏林,德国);Robotics Institute Germany(德国机器人研究所)
该研究利用反应式梯度下降框架AICON,通过塔罗伦敦测试揭示人类计划能力下降时的反应模式,发现其能更准确预测24个问题的难度排序,并在留出验证中表现优异,揭示了生物系统组织方式的普遍规律。
2026-08-28 cs.AI cs.RO
Tac-Man: Tactile-Informed Prior-Free Manipulation of Articulated Objects
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Institute for General Artificial Intelligence(北京人工智能研究院);Department of Automation, Tsinghua University(清华大学自动化系);College of Engineering, Peking University(北京大学工程学院);PKU-Wuhan Institute for Artificial Intelligence(北大-武汉人工智能研究院)
提出无先验触觉策略Tac-Man,通过稳定接触和触觉反馈操控铰接物体,在真实与仿真中成功率近完美,优于现有方法,证明触觉单独即可实现鲁棒泛化。
2025-09-12 cs.RO