Stochastic Optimal Control for Modeling Reaching Movements in the Presence of Obstacles: Theory and Simulation
Ben-Gurion University of the Negev（本-古里安大学）
在许多人在回路机器人应用中，例如机器人辅助手术和远程遥控操作，预测人类操作员的预期运动对于成功实现共享控制、引导虚拟夹具和预测控制可能是有用的。开发人体运动的计算模型是这种运动预测框架的关键基础。有了这个动机，我们提出了一个计算框架，在障碍物的存在下，达到运动建模。我们提出了一个随机最优控制框架，该框架由概率碰撞避免约束和成本函数，权衡之间的努力和最终状态方差的存在下，信号相关的噪声。首先，我们提出了一系列的重新制定原来的非线性和非凸最优控制转化为一个参数二次规划问题。我们表明，可以调整参数来模拟各种防撞策略，从而捕捉到与人体运动相关的典型变化。然后，我们提出了一个模拟研究，演示了复杂的相互作用之间的避免策略，控制成本，和避免碰撞的概率。所提出的框架可以使各种需要在杂乱空间中进行远程操作的应用受益，包括机器人辅助手术。此外，它也可以被看作是一种新的优化器，产生光滑和概率安全的轨迹依赖于信号的噪声。
2018-03-26 cs.RO
Danger-aware Adaptive Composition of DRL Agents for Self-navigation
National University of Singapore（新加坡国立大学）
自主导航是指移动机器人在避免与障碍物碰撞的同时自动到达目标的能力，是移动机器人所需的基本技能。近年来，深度强化学习（DRL）在机器人导航算法的发展中显示出巨大的潜力。然而，训练机器人同时学习到达目标和避障的技能仍然是困难的。另一方面，虽然提出了许多基于DRL的避障算法，但很少有人被重用于更复杂的导航任务。本文提出了一种新的导航感知自适应组合（DAAC）框架，将两个单独的DRL训练的代理，避障和目标达成，构建一个导航代理没有任何重新设计和再训练。这种自适应合成方法的关键在于，避障智能体输出的价值函数作为评估当前情况的风险水平的指标，这反过来又决定了这两个智能体对下一步行动的贡献。仿真和实际测试结果表明，组合导航网络可以控制机器人完成困难的导航任务，在未知复杂环境中安全、快速地实现一系列连续目标。
2020-01-08 cs.RO
Demonstrating ViSafe: Vision-enabled Safety for High-speed Detect and Avoid
Carnegie Mellon University（卡内基梅隆大学）
本文提出 ViSafe，一种在 SWaP-C 约束下融合边缘 AI 与多相机硬件的纯视觉高速碰撞规避系统，利用感知输入控制屏障函数提供可证明安全保证，并在接近速度达 144 km/h 的真实飞行测试中验证了其自间隔能力。
2025-05-08 cs.AI cs.RO
CLAMGen: Closed-Loop Arm Motion Generation via Multi-view Vision-Based RL
Columbia University（哥伦比亚大学）
提出了一种基于视觉的强化学习（RL）方法，用于手臂到达问题的闭环轨迹生成。手臂轨迹生成是一个基本的机器人问题，它需要找到无碰撞路径来移动机器人的身体（例如手臂），以满足目标（例如将末端执行器放置在一个点上）。虽然经典方法通常需要环境模型来解决规划，搜索或优化问题，但基于学习的方法有望直接将观察映射到机器人动作。然而，由于各种原因，使用RL学习冲突避免策略仍然是一个挑战，包括但不限于部分可观察性、较差的探索、低样本效率和学习不稳定性。为了解决这些挑战，我们提出了一种剩余RL方法，该方法利用贪婪的目标达到RL策略作为基础来改善探索，并且该基础策略通过从图像中学习的剩余状态动作值和剩余动作来增强以避免障碍。此外，我们引入了新的学习目标和技术，以提高从多个图像视图的三维理解和我们的算法的样本效率。与RL基线相比，我们的方法在成功率方面取得了优异的性能。
2021-03-24 cs.LG cs.RO
T-CBF: Traversability-based Control Barrier Function to Navigate Vertically Challenging Terrain
RobotiXX lab, in the Department of Computer Science, George Mason University（机器人XX实验室，计算机科学系，乔治·马歇尔大学）
本研究提出基于可通行性的控制障碍函数（T-CBF），利用神经CBF在垂直挑战地形上超越碰撞避免，确保安全与机动性，实验显示比先前规划器安全性能提升30%。
2025-08-02 cs.AI cs.RO
IPPO: Obstacle Avoidance for Robotic Manipulators in Joint Space via Improved Proximal Policy Optimization
University of Groningen（格罗宁根大学）
具有随机目标和障碍物的机器人到达任务是一个具有挑战性的任务。在这项研究中，我们提出了一种新的无模型强化学习方法的基础上，近端策略优化（PPO）训练的深度政策映射的任务空间的关节空间的6自由度机械手。为了促进在一个大的工作空间的培训过程中，我们开发了一个有效的表示环境的输入和输出。障碍物和机械臂之间的距离的计算被纳入状态表示使用基于几何的方法。此外，为了提高模型在任务到达方面的性能，我们引入了动作集成方法，并设计了直接参与PPO中价值函数更新的策略。为了克服在真实机器人环境中训练的挑战，我们在Gazebo中开发了一个仿真环境来训练模型，因为它产生了比其他模拟器更小的模拟到真实的差距。然而，在Gazebo的培训是时间密集型的。为了解决这个问题，我们提出了一种Sim-to-Sim方法，以显着减少训练时间。然后，将训练好的模型直接应用于实际机器人设置中，而无需进行微调。为了评估所提出的方法的性能，我们在模拟和真实的机器人进行了几轮实验。我们还比较了所提出的方法与六个基线的性能。实验结果表明，所提出的方法在执行达到任务的有效性和无障碍。我们的方法在不同的到达任务场景中大大优于所选择的基线。这些实验的录像作为补充材料附在论文后。
2023-02-09 cs.AI cs.RO
Learning Control Admissibility Models with Graph Neural Networks for Multi-Agent Navigation
UCSD（加州大学圣地亚哥分校）
连续域中的深度强化学习专注于学习控制策略，这些策略将状态映射到动作上的分布，理想地集中在每个步骤中的最优选择上。在多智能体导航问题中，最优行动在很大程度上依赖于智能体的密度。它们的交互模式相对于这样的密度呈指数级增长，使得基于学习的方法很难推广。我们建议将学习目标从预测最佳行动切换到预测容许行动集，我们称之为控制容许模型（CAM），这样它们就可以很容易地组成并用于任意数量代理的在线推理。我们使用图神经网络设计CAM，并开发在标准无模型设置中优化CAM的训练方法，其额外好处是消除了通常需要平衡避免碰撞和达到目标要求的奖励工程的需要。我们评估所提出的方法在多智能体导航环境。我们表明，CAM模型可以在只有几个代理的环境中进行训练，并且可以很容易地在具有数百个代理的密集环境中进行部署，从而实现比最先进的方法更好的性能。
2022-10-17 cs.AI cs.MA cs.RO
Learning Vision-based Reactive Policies for Obstacle Avoidance
Munich School of Robotics and Machine Intelligence（慕尼黑机器人与机器智能学院）；Technical University of Munich（慕尼黑工业大学）
在本文中，我们解决了基于视觉的机器人避障问题。这个主题对感知和运动生成都提出了挑战。虽然该领域的大多数工作旨在改善其中一个方面，但我们为解决这个问题提供了一个统一的框架。该框架的主要目标是通过识别视觉输入和相应的运动表示之间的关系来连接感知和运动。为此，我们提出了一种学习反应式避障策略的方法。我们评估我们的方法达到目标的任务，为单一和多个障碍物的情况。我们证明了所提出的方法能够以高成功率有效地学习稳定的避障策略，同时保持人机交互等关键应用所需的闭环响应能力。
2020-10-30 cs.AI cs.CV cs.LG
Geometric Projectors: Geometric Constraints based Optimization for Robot Behaviors
Zhejiang University（浙江大学）；Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出几何投影器（GeoPro）约束优化框架，用于生成满足几何约束的任务无关机器人行为，支持碰撞避免与目标到达，并通过仿真和 Franka Emika 实验验证其高效性与通用性。
2023-09-15 cs.RO
Joint Vision-Based Navigation, Control and Obstacle Avoidance for UAVs in Dynamic Environments
Sapienza University of Rome（罗马大学）；IT+Robotics S.r.l.（IT+Robotics有限公司）
本文研究了基于视觉的无人机导航系统与鲁棒避障能力的耦合问题。前一个问题通过最大化兴趣点的可见性来解决，而后者则通过椭球排斥区域来建模。整个问题被转化为一个最优控制问题（OCP），并利用最先进的数值优化在几毫秒内解决。由此产生的轨迹非常适合到达指定的目标位置，同时以安全裕度避开障碍物，并最大限度地减少与感兴趣目标失去路线的可能性。将该技术与适当的椭圆体成形（即，通过与障碍物速度或与障碍物检测不确定性成比例地增大形状）导致鲁棒的障碍物回避行为。我们在广泛的模拟实验中验证了我们的方法，这些实验显示了即使在具有挑战性的条件下也能满足所有约束的有效能力。我们发布了本文的开源实现。
2019-11-05 cs.RO
Wasserstein Gradient Flows for Optimizing Gaussian Mixture Policies
Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
提出将基于GMMs的机器人策略优化转化为Wasserstein梯度流问题，利用$L^2$-Wasserstein距离和Bures-Wasserstein流形约束更新，在避障等任务中提升了成功率与稳定性。
2023-05-17 cs.LG cs.RO
Deadlock Analysis and Resolution in Multi-Robot Systems (Extended Version)
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
多机器人系统的避碰问题是一个很好的研究课题。最近，控制障碍函数（CBFs）已被提出用于合成控制器，保证多机器人的碰撞避免和目标稳定。然而，已经注意到反应控制综合方法（如CBF）容易出现死锁，系统动力学的平衡导致机器人在达到目标之前停止。在本文中，我们正式推导出的多机器人系统中的死锁特性使用CBFs。我们提出了一种新的方法来分析死锁所造成的基于优化的控制器（CBF）借用工具，从对偶理论和图枚举。我们的关键见解是系统死锁的特点是由力平衡的机器人，我们展示了如何死锁分析的复杂性增加了近似指数的机器人的数量。这种分析使我们能够解释死锁作为一个子集的状态空间，我们证明了这个集合是非空的，有界的，位于边界上的安全集。最后，我们使用这些属性来开发一个可证明正确的分散算法来解决死锁，确保机器人收敛到他们的目标，同时避免碰撞。我们展示了两个和三个机器人的分辨率算法的仿真结果，并在Khepera-IV机器人上实验验证了该算法。
2020-07-13 cs.MA cs.RO cs.SY
SIGN: Safety-Aware Image-Goal Navigation for Autonomous Drones via Reinforcement Learning
Department of Electrical and Computer Engineering, National University of Singapore（电子与计算机工程系，新加坡国立大学）
本文提出了一种基于强化学习的仿真到现实框架，实现无人机的安全图像目标导航，通过直接速度控制和深度安全模块实现自主探索与避障。
2025-12-06 cs.RO
Robust Multi-Robot Trajectory Optimization Using Alternating Direction Method of Multiplier
Florida State University（佛罗里达州立大学）；Lightspeed & Quantum Studios, Tencent America（腾讯美国光子工作室群）
提出了一种求解约束轨迹优化问题的交替方向乘子法。我们的ADMM框架将联合优化分解为小的子问题，从而降低迭代成本和分散的参数更新。从无碰撞初始轨迹出发，我们的方法继承了原始内点方法（P-IPM）的理论性质，即，保证了整个优化过程中的冲突避免和同伦保持，同时速度更快。我们已经分析了收敛性，并评估我们的方法的时间最优的多无人机轨迹优化和同时达到目标的多个机器人手臂，其中我们考虑到运动学，动力学限制，同伦保持碰撞约束。我们的方法突出了一个数量级的加速，同时产生的轨迹可比的质量作为国家的最先进的P-IPM求解器。
2022-03-14 cs.RO
Reach-Avoid Problems via Sum-of-Squares Optimization and Dynamic Programming
Stanford University（斯坦福大学）
本文结合平方和优化与动态规划，提出一种保守解法，保证系统在可达与回避之间的切换，适用于多项式动力学和一般问题设置，并在计算效率上优于传统方法。
2018-07-30 cs.RO cs.SY eess.SY
The Before, During, and After of Multi-Robot Deadlock
多机器人系统的避碰问题是一个很好的研究课题。最近，控制障碍函数（CBFs）已被提出用于合成控制器，保证多个机器人的碰撞避免和目标稳定。然而，已经注意到，反应式控制合成方法（诸如CBF）倾向于\textit{deadlock}，这是系统动态的平衡，其导致机器人在达到其目标之前失速。在本文中，我们分析了使用CBFs的机器人的闭环动力学，控制器参数，初始条件和目标位置，总是导致系统死锁的特征。利用对偶理论的工具，我们推导出机器人配置的$N$机器人系统的几何属性，一旦它是在死锁，我们证明他们使用KKT条件的力学解释。我们的主要推论是：1）系统死锁的特征在于机器人上的力平衡; 2）当安全性处于被侵犯的边缘时，死锁发生以确保安全性。这些推论使我们能够将死锁解释为状态空间的一个子集，并且我们证明了这个集合是非空的，并且位于安全集合的边界上。通过利用这些属性，我们分析了在死锁的机器人配置的数量，并开发了一个可证明正确的分散算法的死锁解决安全地提供机器人到他们的目标。该算法在Khepera-IV机器人上进行了仿真和实验验证。
2022-06-03 cs.MA cs.RO math.OC
Improving Collision-Free Success Rate For Object Goal Visual Navigation Via Two-Stage Training With Collision Prediction
State Key Laboratory of Turbulence and Complex Systems, Peking University（北京大学湍流与复杂系统国家重点实验室）
针对RGB物体目标视觉导航中碰撞被成功评估忽略且碰撞惩罚易导致策略保守的问题，提出带碰撞预测的两阶段训练方法，显著提升多种模型的无碰撞成功率。
2025-02-19 cs.CV cs.RO
Grasping Trajectory Optimization with Point Clouds
University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出一种基于点云表示的通用抓取轨迹优化方法，将目标到达建模为点匹配、碰撞避免通过有符号距离场查询实现，并在Fetch和Franka Panda机器人上验证了有效性。
2024-08-07 cs.CV cs.RO
Aligning Diffusion Model with Problem Constraints for Trajectory Optimization
Princeton University（普林斯顿大学）
针对扩散模型在轨迹优化中易违反关键约束的问题，提出一种基于DDDAS框架的约束对齐方法，通过混合损失函数和重加权策略显著减少约束违反并保持轨迹质量。
2025-04-01 cs.LG cs.RO
Deadlock-Free Hybrid RL-MAPF Framework for Zero-Shot Multi-Robot Navigation
Department of Mechanical Engineering University of California Riverside CA USA（加州大学河滨分校机械工程系）；Department of Electrical and Systems Engineering Washington University in St. Louis MO USA（华盛顿大学圣路易斯分校电气与系统工程系）
本文提出一种无死锁的混合RL-MAPF框架，通过整合反应性RL导航与按需MAPF干预，实现零样本多机器人导航的鲁棒性能。
2025-12-18 cs.RO
