Continuous Target-free Extrinsic Calibration of a Multi-Sensor System from a Sequence of Static Viewpoints
AIT Austrian Institute of Technology（奥地利AIT技术研究所）
移动机器人应用需要关于平台上各个传感器的几何位置的精确信息。该信息由定义传感器如何相对于固定参考坐标系旋转和平移的外部校准参数给出。错误的校准参数对典型的机器人估计任务（例如SLAM）具有负面影响。在这项工作中，我们提出了一种新的方法，在机器人的操作过程中的校准参数的连续估计。参数估计基于传感器从多个静态视点获取的点云的匹配。因此，我们的方法不需要任何特殊的校准目标，并适用于任何传感器的测量可以转换为点云。我们通过校准由2个激光雷达传感器，3个摄像机和成像雷达传感器组成的多传感器系统来证明我们的方法的适用性。
2022-07-08 cs.CV cs.RO
Extending Group Relative Policy Optimization to Continuous Control: A Theoretical Framework for Robotic Reinforcement Learning
University of Houston（德克萨斯大学）；Cisco Systems（思科系统）；Princeton University（普林斯顿大学）；University of Copenhagen（哥本哈根大学）
针对 GRPO 难以用于机器人连续控制的问题，本文提出融合轨迹策略聚类、状态感知优势估计与正则化更新的理论扩展框架，并分析其收敛性与复杂度。
2025-07-25 cs.AI cs.RO
MDPs with Unawareness in Robotics
我们使用连续的MDP和在连续时间间隔内发生的动作来形式化机器人和自动控制中的决策问题。然后，我们近似连续MDP使用越来越精细的离散化。这样做会产生一个系统族，每个系统都有一个非常大的动作空间，尽管只有少数动作是“有趣的”。我们可以认为决策者不知道哪些行为是“有趣的”。我们可以使用MDPU来对此进行建模，MDPs具有无意识，其中动作空间要小得多。正如我们所展示的，MDPU可以用作机器人问题中学习任务的通用框架。我们证明了一个连续的任务在一个MDPU学习一个接近最优的政策的难度的结果。我们将这些想法应用到让一个人形机器人自己学习如何走路的问题上。
2020-05-20 cs.AI cs.RO
Actor-Critic for Continuous Action Chunks: A Reinforcement Learning Framework for Long-Horizon Robotic Manipulation with Sparse Reward
AC3是一种用于连续动作分块的强化学习框架，通过定向稳定机制和自监督模块，在稀疏奖励环境下实现高效稳定的动作序列学习。
2026-02-27 cs.AI cs.RO
Value-Based Reinforcement Learning for Continuous Control Robotic Manipulation in Multi-Task Sparse Reward Settings
Brown University（布朗大学）
在高维稀疏奖励设置（如机器人操作）中学习连续控制是一个具有挑战性的问题，因为通常需要大量的样本来获得准确的最优值和策略估计。虽然许多深度强化学习方法旨在通过重放或改进的探索技术来提高样本效率，但是现有技术的演员-评论家和策略梯度方法仍然遭受稀疏奖励设置中的硬探索问题。受最近成功的基于值的方法近似状态-动作值，如RBF-DQN的启发，我们探索了基于值的强化学习在多任务稀疏奖励设置中学习连续机器人操作任务的潜力。在机器人操作任务中，我们的经验表明RBF-DQN比当前最先进的算法（如TD 3，SAC和PPO）收敛得更快。我们还使用RBF-DQN进行了消融研究，并表明一些用于香草深度Q学习的增强技术，如后见之明经验重放（HER）和优先经验重放（PER）也可以应用于RBF-DQN。我们的实验分析表明，基于值的方法可能是更敏感的数据增强和重放缓冲区采样技术比政策梯度方法，这些方法的机器人操作的好处是在很大程度上依赖于所产生的子目标状态的过渡动态。
2021-07-28 cs.AI cs.RO
Deep Reinforcement Learning for Robotic Manipulation-The state of the art
Carnegie Mellon University（卡内基梅隆大学）
这项工作的重点是列举各种方法和算法，围绕强化学习在机器人制造任务中的应用。早期的方法利用专门的策略表示和人工演示来压缩策略。这些方法可以很好地处理机器人的连续状态和策略空间，但无法提出广义策略。随后，像神经网络这样的高维非线性函数逼近器被用来从头开始学习策略。几种新的和最近的方法还使用深度学习嵌入了具有有效感知表示的控制策略。这导致了动态机器人控制系统的一个新分支的出现，称为深度学习（DRL）。这项工作体现了最新的算法，架构及其在模拟和现实世界的机器人平台的实施调查。DRL体系结构的范围被划分为两个不同的分支，即离散动作空间算法（DAS）和连续动作空间算法（CAS）。进一步地，CAS算法被分为随机连续动作空间（SCAS）和确定性连续动作空间（DCAS）算法。除了阐明DRL算法的组织化之外，这项工作还体现了这些方法在机器人操作任务中的一些最新应用。
2017-01-31 cs.AI cs.RO
Robotic Long-Horizon Manipulation with Bayesian Non-parametric Skill Priors
提出利用贝叶斯非参数模型（狄利克雷过程混合）预训练技能先验，增强强化学习在长时程操作任务中的技能多样性与迁移效率，超越现有方法。
2026-10-06 cs.AI cs.RO
Bayesian Grasp: Robotic visual stable grasp based on prior tactile knowledge
机器人抓取检测是非结构化环境中智能操作的基本能力。以往的研究主要是通过视觉和触觉的融合来实现稳定的抓取，而整个抓取过程严重依赖于再抓取，需要花费大量的时间来调节和评估。我们提出了一种新的方法来提高机器人抓：通过学习触觉知识，机器人可以实现稳定的把握从图像。首先，我们构建了一个先验的触觉知识学习框架与新的把握质量度量，这是通过测量其抵抗外部扰动。其次，我们提出了一个多阶段的贝叶斯抓取架构，通过一个单一的RGB图像的基础上先验触觉知识生成稳定的把握配置。结果表明，该框架可以对抓握结果进行分类，对已知物体的平均准确率为86%，对新物体的平均准确率为79%。先验触觉知识比传统的基于视觉的策略提高了55%的成功率。
2019-09-16 cs.RO
Action Priors for Large Action Spaces in Robotics
Northeastern University（东北大学）
在机器人技术中，如果没有显著的奖励塑造或课程学习，通常不可能使用纯无模型强化学习来学习有用的策略。因此，许多研究人员依靠专家示范来指导学习。然而，获得专家演示可能是昂贵的。本文提出了一种替代方法，其中以前解决的任务的解决方案被用来产生一个行动之前，可以促进探索在未来的任务。行动先验是行动的概率分布，它总结了解决先前任务的策略集。我们的研究结果表明，这种方法可以用来解决机器人操作的问题，否则是不可行的，没有专家的示范。源代码可从\url{https://github.com/ondrejba/action_priors}获得。
2021-02-15 cs.LG cs.RO
Learning 3D Robotics Perception using Inductive Priors
Woodruff School（伍德拉夫学院）；School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）；Toyota Research Institute（丰田研究所）
本论文研究利用结构化归纳偏置和先验知识解决3D机器人感知问题，提出几何、语义、结构等多种先验并将其高效编码至深度学习模型，以减少对真实数据的依赖，实现sim2sim和sim2real的泛化。
2024-05-30 cs.AI cs.CV cs.RO
Exploring of Discrete and Continuous Input Control for AI-enhanced Assistive Robotic Arms
TU Dortmund University（多特蒙德工业大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）；Westphalian University of Applied Sciences（威斯特法伦应用科学大学）
本文针对辅助机械臂多自由度控制中传统输入设备模式切换频繁的问题，将三种输入设备集成到XR框架中评估其自适应控制效果，为辅助机器人输入方案设计提供实证依据。
2024-01-13 cs.AI cs.HC cs.RO
Constrained Prioritized 3T2R Task Control for Robotic Agricultural Spraying
Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
本文提出一种面向机械臂农业喷洒的约束优先级 3T2R 任务控制方法，在平移和旋转自由度间引入优先级，并探讨其在速度与位置逆运动学中应用于连续与选择性喷洒的实用性。
2023-07-01 cs.RO
Trajectory-Level Continuous Action Representation for Robotic Manipulation
Fudan University（复旦大学）；TeleAI, China Telecom（中国电信TeleAI）
该研究提出CAT轨迹级连续动作表示框架，通过频率感知位置编码等技术解决现有视觉运动系统的动作表示冗余问题，在LIBERO等数据集上显著提升机器人操作任务成功率。
2026-08-27 cs.RO
Survivable Hyper-Redundant Robotic Arm with Bayesian Policy Morphing
在本文中，我们提出了一个贝叶斯强化学习框架，允许机器人机械手自适应地恢复随机机械故障自主，因此是生存。为此，我们制定了贝叶斯策略变形（BPM）的框架，使机器人代理，以自我修改其学习的策略后，减少其机动维数。我们建立在现有的演员-评论家的框架，并扩展它执行策略梯度更新作为后验学习，过去的政策更新作为先验分布。我们发现，政策搜索，在有偏见的方向由先前的经验，显着提高学习效率的抽样要求。我们使用BPM算法在8自由度机器人手臂上展示了我们的结果，同时有意禁用具有不同损伤类型的随机关节，如无响应关节，恒定偏移误差和角度不精确。我们的研究结果表明，即使有物理损伤，机器人手臂仍然可以成功地保持其功能，以准确地定位和抓住给定的目标对象。
2020-10-20 cs.AI cs.RO
Differentiable Dynamics and Fast Simulation of Continuous Elastic Robotic Fish
Marine Robotics Lab, Department of Mechanical Engineering, College of Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校工程学院机械工程系水下机器人实验室）；Sibley School of Mechanical and Aerospace Engineering, Cornell University（康奈尔大学Sibley机械与航空航天工程学院）
本文针对现有机器鱼动力学模型的不足，提出基于哈密顿原理的可微全身动力学模型与快速仿真框架，经数值与实验验证，可用于机器鱼身体刚度分布的梯度优化设计。
2026-08-31 cs.RO
Deep Incremental Model Informed Reinforcement Learning for Continuous Robotic Control
提出一步回看方法，联合学习深度增量模型和策略，降低模型学习难度，提高连续机器人控制的样本效率。
2025-02-27 cs.RO cs.SY eess.SY
D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架，通过分离actor和critic采样并维护共享回放缓冲区，利用优先回放提升价值学习效率，低误差过渡稳定策略优化，在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
Real-Time Counterfactual Explanations For Robotic Systems With Multiple Continuous Outputs
Norwegian University of Science and Technology（挪威科技大学）；University of Melbourne（墨尔本大学）
尽管许多机器学习方法，特别是来自深度学习领域的方法，在解决机器人应用中的挑战方面发挥了重要作用，但在这些方法能够提供性能和安全保证之前，我们无法充分利用这些方法。缺乏信任阻碍了这些方法的使用，这主要源于人类对机器学习模型究竟学到了什么以及它们的行为有多健壮缺乏理解。这就是可解释人工智能领域旨在解决的问题。根据社会科学的见解，我们知道人类更喜欢对比解释，即解释回答假设性问题“如果？".在本文中，我们表明，线性模型树能够产生这样的问题的答案，所谓的反事实的解释，机器人系统，包括在多个，连续的输入和输出的情况下。我们演示了使用这种方法来产生两个机器人应用程序的反事实的解释。此外，我们探讨了不可行性的问题，这是特别感兴趣的系统由物理定律。
2022-12-08 cs.RO
Implicit representation priors meet Riemannian geometry for Bayesian robotic grasping
University of Liège（列日大学）
本文提出利用隐式表示构建场景相关先验，并结合基于仿真的贝叶斯推断算法，在黎曼流形上高效确定非结构化环境中的机器人抓取姿态，仿真与物理实验验证了其高成功率。
2023-04-19 cs.LG cs.RO
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
强化学习（RL）算法有望实现机器人系统的自主技能获取。然而，在实践中，现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外，使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中，我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时，我们的系统会调整以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的实证结果表明，将先验数据纳入机器人强化学习，使自主学习，大大提高了学习的样本效率，并使更好的推广。项目网址：https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Trust the PRoC3S: Solving Long-Horizon Robotics Problems with LLMs and Constraint Satisfaction
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
本文提出 PRoC3S，将 LLM 生成的开放参数技能规划转化为 CCSP，并通过采样或优化及重新提示机制求解长时域约束机器人操作任务。
2024-09-06 cs.AI cs.RO
Deep Intrinsically Motivated Continuous Actor-Critic for Efficient Robotic Visuomotor Skill Learning
University of Hamburg（汉堡大学）
在本文中，我们提出了一个新的内在动机的演员-评论家算法学习连续的运动技能直接从原始的视觉输入。我们的神经结构由一个评论家和一个演员网络组成。两个网络都接收深度卷积自动编码器的隐藏表示，该编码器经过训练以重建视觉输入，而最中心的隐藏表示也经过优化以估计状态值。单独地，预测世界模型的集合基于其学习进度生成内在奖励信号，该内在奖励信号与外在奖励相结合以指导行动者-批评者学习者的探索。我们的方法是更有效的数据和固有的更稳定的比现有的演员评论家的方法从像素数据的连续控制。我们评估我们的算法的任务，学习机器人达到和掌握技能的一个现实的物理模拟器和一个人形机器人。结果表明，我们的方法学习的控制策略可以实现更好的性能比比较国家的最先进的和基线算法在密集的奖励和具有挑战性的稀疏奖励设置。
2019-02-18 cs.AI cs.LG cs.RO
Continuous Collision Detection for a Robotic Arm Mounted on a Cable-Driven Parallel Robot
Tecnalia France（法国泰克纳利亚）；LAAS-CNRS（法国国家科学研究中心自动化系统与机器人实验室）；University of Toulouse（图卢兹大学）；LIRMM（蒙彼利埃大学与法国国家科学研究中心联合机器人与微电子机械系统实验室）；Université de Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
提出了一种带承载臂的索驱动并联机器人的连续碰撞检测方法。该方法旨在通过检查任何一对机器人主体（移动平台，电缆和臂连杆）之间的碰撞来验证路径。对于一对物体，计算它们相对速度的上限和物体之间距离的下限，并将其用于验证部分路径。这些计算重复进行，直到发现碰撞或验证路径。该方法集成在类人路径规划（HPP）软件，电缆驱动的并联机器人CoGiRo进行测试，并比较离散化验证方法。
2019-09-24 cs.RO
Leveraging Robotic Prior Tactile Exploratory Action Experiences For Learning New Objects's Physical Properties
Technische Universität München（慕尼黑工业大学）
重复使用一些以前探索过的物体的触觉知识可以帮助我们人类轻松识别新物体的触觉属性。在这篇硕士论文中，我们使机器人手臂配备多模态人工皮肤，像人类一样，主动转移以前的触觉探索行动经验时，它学习新对象的详细物理属性。这些先前的触觉体验是当机器人对具有不同动作参数的物体施加按压、滑动和静态接触运动并感知来自多个感觉模态的触觉反馈时建立的。我们的方法进行了系统的评价，通过几个实验。结果表明，机器人可以持续提高判别准确率超过10%，当它利用先验触觉知识相比，没有使用传输方法，和25%，当它只使用一个训练样本。实验结果还表明，该方法对传递不相关的先验触觉知识具有鲁棒性。
2018-07-03 cs.RO
Continuous Trajectory Optimization via B-splines for Multi-jointed Robotic Systems
University of California, Berkeley（加州大学伯克利分校）
轨迹规划问题的连续公式有两个主要好处。首先，保证约束在任何时候都得到满足。其次，动态障碍可以自然地随着时间而考虑。提出了一种新的基于B样条的多关节机器人轨迹优化方法，该方法能够在保证连续约束满足的情况下提供连续轨迹。在这种方法的核心，B样条的基本操作，如加法，乘法和导数，严格定义和应用的问题制定。利用B样条曲线的凸包和光滑曲线特性，将原连续优化问题转化为有限维问题。利用有符号距离场实现了对静态障碍物的避碰，通过构造时变分离超平面实现了对动态障碍物的避碰。对各种机器人的仿真结果验证了算法的有效性。此外，本文提供了实验验证与6连杆FANUC机器人避免静态和移动障碍物。
2022-12-20 cs.RO
UniScale: Unified Scale-Aware 3D Reconstruction for Multi-View Understanding via Prior Injection for Robotic Perception
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）
UniScale通过整合几何先验实现多视角下的统一尺度感知3D重建，适用于机器人感知任务。
2026-02-26 cs.CV cs.RO
Frequency-Aware Flow Matching for Continuous and Consistent Robotic Action Generation
Beihang University（北京航空航天大学）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；PKU-Psibot Lab（北大-智源机器人实验室）；Zhongguancun Laboratory（中关村实验室）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
提出频率感知流匹配（FAFM），通过离散余弦变换将离散动作序列转换到频域进行流匹配，并正则化一阶时间导数以生成平滑连续的动作，提升成功率、多模态表达性和运动平滑性。
2026-11-10 cs.AI cs.RO
Continuous-Time State Estimation Methods in Robotics: A Survey
Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University（科米利亚斯主教大学ICAI工程学院技术研究所）
本综述统一阐述机器人连续时间状态估计方法，系统分类样条与高斯过程文献，识别开放问题并建议新研究方向，以提升估计性能与灵活性。
2025-03-28 cs.RO
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Continuous and Simultaneous Gesture and Posture Recognition for Commanding a Robotic Wheelchair; Towards Spotting the Signal Patterns
National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Macquarie University（麦考瑞大学）
发现具有不同长度的信号模式在文献中仍然是一个开放的问题。在这项研究中，我们描述了一种信号模式识别方法，用于连续和同时分类的跟踪手的姿势和手势，并将它们映射到控制机器人轮椅的转向命令。所开发的方法不仅为连续识别提供了100%的识别准确率，而且为构建训练字典带来了新的视角，该训练字典消除了人为干预以在训练信号上发现手势或姿势。在训练阶段，我们采用了最先进的子空间聚类方法，以找到最具代表性的状态样本。识别和训练框架本质上用连续的决策树结构揭示流式信号上的模式的边界。我们利用协作和块稀疏表示为基础的分类方法，连续的手势和姿态识别。
2015-12-02 cs.CV cs.RO
MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos
ETH Zürich（苏黎世联邦理工学院）；Mimic Robotics（Mimic机器人公司）；Microsoft Research（微软研究院）
MAPLE通过从第一人称视频中学习的先验知识，提升灵巧机器人操作任务的策略学习，有效应对复杂精细的操作需求。
2025-12-08 cs.CV cs.RO
Bipedal walking with continuously compliant robotic legs
University of Stuttgart（斯图加特大学）；Institute for Nonlinear Mechanics（非线性力学研究所）
本文提出用连续柔顺材料替代传统刚性部件和SEA，设计双足机器人柔顺腿部，通过近似建模和多层控制策略，实现了成功的双足行走。
2024-11-11 cs.RO
Learning Physics from Pretrained Video Models: A Multimodal Continuous and Sequential World Interaction Models for Robotic Manipulation
Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Big Data Analysis（广东大数据分析与处理重点实验室）；X-Era AI Lab（X-Era人工智能实验室）；Guangdong University of Technology（广东工业大学）
PhysGen通过预训练视频模型学习物理知识，实现机器人操作的连续和序列世界交互，优于现有基线方法。
2026-02-18 cs.RO
RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Michigan（密歇根大学）
本文提出在陶轮上持续塑形黏土的机器人任务与 RoPotter 流程，利用横截面投影、结构先验和网格状态恢复实现长时域制陶，最终形状误差较 SOTA 基线降低 44.4%。
2024-08-05 cs.RO
Task-Directed Exploration in Continuous POMDPs for Robotic Manipulation of Articulated Objects
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
不确定性的表示和推理是自主智能体在部分可观测环境中与噪声传感器的关键。部分可观测马尔可夫决策过程（POMDPs）作为一个通用的框架，代表问题中的不确定性是一个重要因素。基于在线样本的POMDP方法已经成为解决大型POMDP的有效方法，并已被证明可以扩展到连续域。然而，这些解决方案很难在具有显著不确定性的问题中找到长期计划。探索地理学可以帮助指导规划，但许多现实世界的设置包含重大的任务无关的不确定性，可能会分散任务目标。在本文中，我们提出了一种在线POMDP求解器，能够处理需要长期规划的领域，具有显着的任务相关和任务无关的不确定性。我们展示了我们的解决方案在几个时间上的扩展版本的玩具POMDP问题，以及机器人操作的铰接对象使用神经感知前端构建一个可能的模型分布。我们的研究结果表明，BLOG优于目前基于样本的在线POMDP求解器在几个任务。
2022-12-08 cs.RO
Double-Anonymous Review for Robotics
Carnegie Mellon University（卡内基梅隆大学）
该研究综述双匿名、单匿名与开放评审的相关实证结果，为机器人学界选择同行评审形式及后续出版实践提供建议。
2024-06-14 cs.RO
Autonomous Aerial Robotic Surveying and Mapping with Application to Construction Operations
University of Nevada, Reno（内华达大学雷诺分校）
在本文中，我们提出了一个概述的方法和系统，产生一个飞行机器人系统能够自主检查，测量，全面的多模式映射和库存跟踪的建筑工地具有高度的系统性。机器人系统可以在假设没有环境的先验知识或通过集成环境的先验模型的情况下操作。在第一种情况下，提供自主探索，其返回与颜色和热视觉信息相关联的高保真度$3\textrm{D}$图。在第二种情况下，可以使用结构的先验模型来提供优化的和重复的覆盖路径。机器人自动提供其映射结果，同时能够检测和定位感兴趣的对象，从而支持库存跟踪任务。该系统已在一系列环境中进行了现场验证，并在一个与公共住房有关的建设项目中进行了测试。
2020-05-09 cs.RO
Continuous Perception for Classifying Shapes and Weights of Garmentsfor Robotic Vision Applications
University of Glasgow（格拉斯哥大学）
我们提出了一种方法来连续感知机器人洗衣任务。我们的假设是，服装的形状和重量的视觉预测是可能的，通过神经网络，从视频序列中学习服装的动态变化。在训练过程中，通过输入连续的帧来利用连续的感知，其中网络学习服装如何变形。为了评估我们的假设，我们在操纵服装时捕获了40 K RGB和40 K深度视频序列的数据集。我们还进行了消融研究，以了解神经网络是否学习服装的物理和动态特性。我们的研究结果表明，修改后的AlexNet-LSTM架构对服装的形状和重量具有最佳的分类性能。为了进一步提供证据证明连续感知有助于预测服装的形状和重量，我们在看不见的视频序列上评估了我们的网络，并计算了一系列预测的“移动平均值”。我们发现，我们的网络对服装的形状和重量的分类准确率分别为48%和60%。
2021-11-19 cs.CV cs.RO
Deep Inertial Navigation using Continuous Domain Adaptation and Optimal Transport
Bell Labs（贝尔实验室）；Invenia Labs（英维尼亚实验室）
在本文中，我们提出了一种新的策略学习惯性机器人导航模型。所提出的策略增强了端到端的惯性建模的通用性，并针对轮式机器人部署。具体而言，本文对以下几个方面进行了阐述。(1)使用精密机器人技术，我们凭经验证明了在导航过程中改变传感器位置对原始惯性信号分布的影响，以及对学习的潜在空间的相应影响。(2)我们提出了神经架构和算法，以吸收知识的索引集的传感器位置，以提高机器人惯性跟踪的鲁棒性和概括性在该领域。我们选择的方案使用连续领域自适应（DA）和最优传输（OT）。(3)在我们的评估中，连续OT DA优于连续对抗DA基线，同时也显示出比简单数据增强可量化的学习优势。我们将发布我们的数据集，以帮助促进未来的研究。
2021-09-19 cs.LG cs.RO
Learning Insertion Primitives with Discrete-Continuous Hybrid Action Space for Robotic Assembly Tasks
UC Berkeley（加州大学伯克利分校）
本文介绍了一种离散-连续的动作空间来学习机器人装配任务的插入基元。原语是一系列带有特定退出条件的基本动作，例如“按下挂钩直到接触”。由于原语是机器人控制命令的抽象，并编码人类的先验知识，它降低了探索的难度，并产生更好的学习效率。在本文中，我们通过原语学习机器人装配技能。具体来说，我们制定插入原语参数化的行动：混合行动组成的离散原始类型和连续的原始参数。与以往的工作使用一组离散化的参数为每个原语，代理在我们的方法可以自由地选择原始参数从一个连续的空间，这是更灵活和有效的。为了学习这些插入原语，我们提出了双平滑多通道深度Q网络（TS-MP-DQN），这是MP-DQN的高级版本，具有双Q网络以减少Q值高估。在仿真和现实世界中进行了大量的实验验证。从实验结果来看，我们的方法取得了更高的成功率比三个基线：MP-DQN与参数化的行动，基元与离散参数，和连续的速度控制。此外，学习的基元对仿真到现实迁移是鲁棒的，并且可以推广到具有挑战性的装配任务，例如紧密的圆形钉孔和具有希望成功率的复杂形状的电连接器。实验视频可在https://msc.berkeley.edu/research/insertion-primitives.html上获得。
2021-10-25 cs.RO
Active Robotic Mapping through Deep Reinforcement Learning
Stanford University（斯坦福大学）
我们提出了一种方法来学习代理主动机器人映射，其目标是尽可能快地映射环境。智能体通过获得与其构建准确地图的速度相对应的奖励来学习在模拟环境中有效地进行地图绘制。与以前的工作相比，这种方法学习的探索政策的基础上，用户指定的环境配置和传感器模型的先验，使其专门的规格。我们评估的方法，通过一个模拟的灾难地图的情况下，发现它实现的性能略好于一个接近最佳的近视勘探计划，这表明它可能是有用的，在更复杂的问题场景。
2017-12-28 cs.RO
Using Deep Reinforcement Learning for the Continuous Control of Robotic Arms
TU Chemnitz（开姆尼茨工业大学）
深度强化学习使算法能够学习复杂的行为，处理连续的动作空间，并在高维状态空间的环境中找到好的策略。由于深度强化学习是一个活跃的研究领域，并且有许多并发的发明，我们决定专注于一个相对简单的机器人任务，以评估一组可能有助于解决最近强化学习问题的想法。我们测试了两种常用的强化学习方法的新组合，它是否能够比基线更有效地学习。我们还比较了不同的想法，以预处理信息之前，它被馈送到强化学习算法。该策略的目标是减少训练时间并最终帮助算法收敛。最后的评估证明了所描述的概念的一般适用性，通过使用模拟环境进行测试。这些概念可能会在未来的实验中重复使用。
2018-10-15 cs.LG cs.RO stat.ML
Towards Complex and Continuous Manipulation: A Gesture Based Anthropomorphic Robotic Hand Design
Nanyang Technological University（南洋理工大学）
目前大多数拟人机械手能够实现部分人手功能，尤其是抓取物体的功能。然而，由于人手的复杂性，目前很少有针对日常对象操作的设计，即使是像旋转笔这样的简单动作。为了解决这个问题，我们引入了一个基于手势的框架，它采用了广泛使用的33个抓取手势的Feix的手设计和实现的操作的基础。在所提出的框架中，我们首先测量每个手势的人类手指的运动范围，并根据结果，我们提出了一个简单而灵巧的机器人手设计与13度的驱动。此外，我们采用了基于帧插值的方法，在该方法中，我们认为基本的手势作为关键帧来表示一个操作任务，并使用简单的线性插值策略来完成操作。为了证明我们的框架的有效性，我们定义了一个三级基准，其中不仅包括62个测试手势从以前的研究，但也有多个复杂的和连续的动作。该基准测试的实验结果验证了所提出的设计的灵活性，我们的视频可以在\url{https://drive.google.com/file/d/1wPtkd2P0zolYSBW7_3tVMUHrZEeXLXgD/view?usp=sharing}中使用。
2021-04-21 cs.RO
Bayesian Controller Fusion: Leveraging Control Priors in Deep Reinforcement Learning for Robotics
Queensland University of Technology（昆士兰科技大学）
本文提出 Bayesian Controller Fusion (BCF) 混合控制策略，通过融合传统手工控制器和无模型深度强化学习的不确定性感知分布式输出进行控制仲裁，实现了安全、高效的探索，并在真实机器人导航和到达任务中显著超越单一方法性能。
2023-04-03 cs.AI cs.RO cs.SY
Grow Your Limits: Continuous Improvement with Real-World RL for Robotic Locomotion
Berkeley AI Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
本文提出策略正则化框架APRL，通过调节探索过程，使四足机器人能在真实世界中高效学会行走并持续提升性能，突破先前方法的性能饱和限制。
2023-10-26 cs.AI cs.LG cs.RO
Ant Robotics: Covering Continuous Domains by Multi-A(ge)nt Systems
在这项工作中，我们提出了一个算法，覆盖连续连接域的蚂蚁一样的机器人非常有限的能力。机器人可以用信息素标记来标记访问过的地方，并感知当地邻居的信息素水平。在多个机器人的情况下，这些信息素标记可以被所有机器人感知，并提供机器人之间（间接）通信的唯一方式。机器人被假定为是无记忆的，并且没有全局信息，如域地图，它们自己的位置（绝对或相对），总标记面积百分比，最大信息素水平等。尽管机器人的简单，我们表明，他们能够通过运行一个非常简单的行为规则，以确保有效覆盖任意连接域，包括非平面和多维的。我们的算法的新颖之处在于，与以前提出的方法不同，我们的算法在连续域上工作，而不依赖于一些“诱导”的底层图，这有效地减少了问题的离散情况下的图覆盖。该算法保证了任何连接域的完全覆盖。我们还证明了该算法是噪声免疫的，即，它能够处理任何初始信息素分布（噪声）。此外，该算法提供了一个有界的恒定时间之间的两个连续访问的机器人，因此，是适合巡逻或监视应用。
2012-06-19 cs.AI cs.MA cs.RO
Incorporating Control Inputs in Continuous-Time Gaussian Process State Estimation for Robotics
University of Toronto Robotics Institute, University of Toronto, Toronto, Ontario, Canada（多伦多大学机器人研究所，多伦多大学，多伦多，安大略，加拿大）
本文提出将外部控制输入纳入连续时间高斯过程状态估计框架，以更少测量和节点实现移动机器人与连续体机器人的准确状态估计，在稀疏感知场景下显著降低计算成本。
2025-01-07 cs.RO
Fast Online Adaptation in Robotics through Meta-Learning Embeddings of Simulated Priors
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
Meta学习算法可以通过为动态模型找到初始参数集来加速基于基于模型的强化学习（MBRL）算法，使得模型可以被训练成仅用几个数据点来匹配系统的实际动态。然而，在现实世界中，机器人可能会遇到从电机故障到发现自己处于岩石地形的任何情况，其中机器人的动力学可能彼此显著不同。在本文中，首先，我们表明，当元训练情况（先验情况）具有如此多样的动态时，使用单个元训练参数集作为起点仍然需要从真实系统中进行大量观察，以学习有用的动态模型。其次，我们提出了一种名为FAMLE的算法，它通过元训练几个初始起始点（即，初始参数）用于训练模型，并允许机器人选择最合适的起始点，以仅用几个梯度步长使模型适应当前情况。我们比较了FAMLE与MBRL，MBRL与MAML的元训练模型，以及用于各种模拟和真实机器人任务的无模型策略搜索算法PPO，并表明FAMLE允许机器人在比基线明显更少的时间步长内适应新的损伤。
2021-01-06 cs.AI cs.LG cs.RO
Adaptive Prior Selection for Repertoire-based Online Adaptation in Robotics
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）；LORIA（洛林计算机科学与应用数学实验室）
基于库的学习是基于两步过程的数据高效的自适应方法，其中（1）在模拟中学习大量且多样的策略集合，以及（2）规划或学习算法根据当前情况选择最适当的策略（例如，损坏的机器人、新物体等）。在本文中，我们放松了以前的作品，一个单一的剧目是足够的适应的假设。相反，我们为许多不同的情况生成剧目（例如，在不同的楼层等）让我们的算法选择最有用的先验。我们的主要贡献是一个算法，APROL（自适应先验选择基于库的在线学习），以计划下一个行动时，将这些先验的机器人没有关于当前情况的信息。我们在两个模拟任务上评估APROL：（1）用机器人手臂推动各种形状和大小的未知物体;（2）用损坏的六足机器人完成目标任务。我们比较了“无重置试错”（RTE）和各种基于单一剧目的基线。结果表明，APROL解决这两个任务的交互时间比基线更少。此外，我们在一个真实的、受损的六足动物身上演示了APROL，它很快学会了选择补偿策略，通过避开路径上的障碍物来达到目标。
2020-03-03 cs.AI cs.LG cs.NE
Learning Human-Intention Priors from Large-Scale Human Demonstrations for Robotic Manipulation
Tsinghua University（清华大学）；ByteDance（字节跳动）
本文提出MoT-HRA框架，通过大规模人类示范学习人类意图先验，用于机器人操作，通过构建HA-2.2M数据集和三个耦合专家提升动作合理性和鲁棒性。
2026-05-21 cs.RO
Reinforcement Learning for Robotic Time-optimal Path Tracking Using Prior Knowledge
South China University of Technology（华南理工大学）
时间最优路径跟踪作为工业机器人的一个重要工具，受到了众多研究者的关注。在大多数时间最优路径跟踪问题中，假设致动器转矩约束是保守的，这忽略了电机特性;即，致动器转矩约束是速度相关的，并且转矩和速度之间的关系是分段线性的。然而，考虑到电机特性增加了求解难度，在这项研究中，提出了一种改进的Q-学习算法的机器人时间最优路径跟踪的先验知识。在考虑Q-学习算法的局限性后，提出了一种改进的动作-价值函数，以提高收敛速度。该算法采用奖惩的思想，对满足约束条件的动作进行奖励，对违反约束条件的动作进行惩罚，最终得到满足约束条件的时间最优轨迹。通过实验验证了算法的有效性。
2019-06-30 cs.RO cs.SY eess.SY
RoboGround: Robotic Manipulation with Grounded Vision-Language Priors
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出RoboGround系统，利用落地掩码作为中间表示结合大规模视觉-语言模型先验，指导机器人操作策略网络，并构建自动化数据生成流程，显著提升了策略的泛化能力。
2025-04-30 cs.CV cs.RO
Hardware-Software Collaborative Computing of Photonic Spiking Reinforcement Learning for Robotic Continuous Control
Xidian University（西安电子科技大学）
本文提出基于光子脉冲RL的软硬件协同计算架构，通过硅光子芯片与电子域结合，实现机器人连续控制的高效能效和低延迟。
2025-11-29 cs.RO physics.optics
Embedding Physics Priors in Robot Learning: A Survey
Technical University of Munich（慕尼黑工业大学）；Technical University of Darmstadt（达姆施塔特工业大学）；University of Trento（特伦托大学）；Ulm University（乌尔姆大学）
本综述系统梳理物理先验嵌入机器人学习的方法，提出统一分类法，涵盖动力学、规划、控制等应用，指出其补充数据驱动、提升泛化与数据效率的关键作用。
2026-09-22 cs.RO
