Manip4Care: Robotic Manipulation of Human Limbs for Solving Assistive Tasks
Department of Computer Science, Purdue University（计算机科学系，普渡大学）
提出Manip4Care模块化仿真流水线，使机器人能抓取并重新定位人体肢体，在生物力学与碰撞约束下生成轨迹，经仿真和真实人体模型验证，有效支持床上沐浴等辅助任务。
2025-08-04 cs.RO
NestDex: Nested Policy Learning with Copilot Assisted Teleoperation for Dexterous Manipulation
Australian Centre for Robotics, The University of Sydney（悉尼大学澳大利亚机器人中心）；College of Connected Computing, Vanderbilt University（范德堡大学互联计算学院）
NestDex 是一种嵌套策略学习框架，借助 Copilot 辅助遥操作减轻灵巧操作演示收集负担，提升演示可靠性与效率，助力自主策略学习。
2026-08-14 cs.RO
RoboHorizon: An LLM-Assisted Multi-View World Model for Long-Horizon Robotic Manipulation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对长时程机器人操作中稀疏奖励和复杂视觉特征难题，提出LLM辅助多视角世界模型RoboHorizon，通过RSPA流程生成密集奖励并集成关键帧发现，在RLBench和FurnitureBench上显著提升任务成功率。
2025-01-24 cs.RO
Ambiguity-Aware Multi-Object Pose Optimization for Visually-Assisted Robot Manipulation
KAIST（韩国科学技术院）；SNU（首尔国立大学）
6D物体姿态估计的目的是使用单个图像或多个图像来推断物体与相机之间的相对姿态。大多数作品都集中在预测对象的姿态，没有相关的不确定性下的遮挡和结构模糊性（不确定性）。然而，这些工作需要有关形状属性的先验信息，这一条件在现实中很难满足，即使是不对称的物体也可能在视点变化下对称。此外，获取和融合不同的传感器数据在将其扩展到机器人应用时具有挑战性。为了解决这些限制，我们提出了一个模糊感知的6D对象姿态估计网络PrimA 6D ++，作为一种通用的不确定性预测方法。姿态估计中的主要挑战，例如遮挡和对称性，可以基于预测的测量模糊度以通用方式处理。具体来说，我们设计了一个网络来重建目标对象的三个旋转轴原始图像，并预测沿每个原始轴的潜在不确定性。利用估计的不确定性，我们然后优化多对象的姿态，使用视觉测量和相机构成，将其视为一个对象SLAM问题。该方法在T-LESS和YCB-Video数据集上显示出显着的性能改善。我们进一步展示了视觉辅助机器人操作的实时场景识别能力。我们的代码和补充材料可在https://github.com/rpmsnu/PrimA6D上获得。
2022-11-02 cs.CV cs.RO
Vision-assisted Avocado Harvesting with Aerial Bimanual Manipulation
University of California, Riverside（加州大学河滨分校）
针对牛油果等作物地面采收效率低的问题，研究设计了搭载视觉感知与双臂系统的无人机，通过固定臂稳果梗、夹持臂旋转采收，经实验验证了各组件及整体系统的采收有效性。
2024-08-17 cs.RO
Robust Robot-assisted Tele-grasping Through Intent-Uncertainty-Aware Planning
Colorado School of Mines（科罗拉多矿业学院）；Duke University（杜克大学）
在遥操作中，研究主要集中在目标接近，我们处理更具挑战性的对象操作任务，通过推进共享控制技术。由于特定操作任务的精细运动约束要求，适当地操作对象是具有挑战性的。虽然这些运动约束是任务成功的关键，但在观察模糊的人体运动时，它们往往是微妙的。非具体化问题和人类和机器人手之间的物理差异带来了额外的不确定性，进一步夸大了对象操作任务的复杂性。此外，还缺乏规划和建模技术，可以有效地结合人类和机器人代理的运动输入，同时考虑人类意图的模糊性。为了克服这一挑战，我们建立了一个多任务机器人抓取模型，并开发了一个意图不确定性感知的抓取规划器，以生成鲁棒的抓取姿势，给出了模糊的人类意图推理输入。有了这些经过验证的建模和规划技术，预计将扩展远程操作机器人的功能和采用实际的远程操作场景。
2020-05-19 cs.RO
Leveraging Post Hoc Context for Faster Learning in Bandit Settings with Applications in Robot-Assisted Feeding
University of Washington（华盛顿大学）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
自主机器人辅助喂养需要能够获得各种各样的食物。然而，这样的系统不可能在现有的所有类型的食物上进行训练。因此，一个关键的挑战是为以前看不见的食品选择操作策略。以前的工作表明，该问题可以表示为一个线性的强盗视觉上下文。然而，食物具有与操作相关的各种各样的多模态特性，这些特性可能难以在视觉上区分。我们的关键见解是，我们可以利用我们在操纵期间和之后收集的触觉上下文（即，“事后”）来学习其中的一些属性，并更快地使我们的视觉模型适应以前从未见过的食物。在一般情况下，我们提出了一个修改后的线性上下文强盗框架增加事后观察行动选择后，经验性地提高学习速度，减少累积的遗憾。在合成数据上的实验表明，当上下文的维度相对于事后上下文较大时，或者当事后上下文模型特别容易学习时，这种效果更加明显。最后，我们将此框架应用于咬收购问题，并证明收购8个以前看不见的类型的食物，在64次尝试中失败率降低了21%。
2021-03-25 cs.AI cs.LG cs.RO
Cloth Manipulation Planning on Basis of Mesh Representations with Incomplete Domain Knowledge and Voxel-to-Mesh Estimation
Shinshu University（信州大学）
我们考虑机器人布料操作的开放目标规划问题。我们的系统的核心是一个神经网络训练作为一个前向模型的布料行为下操纵，规划通过反向传播执行。我们引入了一个基于神经网络的例程，用于从体素输入估计网格表示，并在内部以网格格式执行规划。我们解决的问题，规划与不完整的领域知识，通过一个明确的认知不确定性信号。该信号是根据前向模型网络的两个实例之间的预测偏差计算的，并用于避免规划期间的认知不确定性。最后，我们介绍了逻辑处理限制的把握点的一组离散的候选人，以适应机器人硬件施加的可抓取性约束。我们评估系统的网格估计，预测和规划能力模拟布序列的一到三个操作。比较实验证实，估计网格的基础上的规划，提高精度相比，基于体素的规划，和认知不确定性的避免提高性能的条件下，不完整的领域知识。规划的时间成本是几秒钟。我们还提出了机器人硬件的定性结果。
2021-11-12 cs.AI cs.RO
Towards Disturbance-Free Visual Mobile Manipulation
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Allen Institute for AI（艾伦人工智能研究所）
深度强化学习已经在仿真中的大量机器人任务上显示出有希望的结果，包括视觉导航和操纵。以前的工作一般旨在建立体现代理，尽快解决他们分配的任务，而在很大程度上忽略了在交互过程中与对象碰撞所造成的问题。这种缺乏优先级的情况是可以理解的：破坏虚拟对象没有固有的成本。因此，“训练有素”的智能体在实现其主要目标之前经常与物体发生碰撞，这种行为在现实世界中将是灾难性的。在本文中，我们研究的问题，训练代理完成任务的视觉移动操作在ManipulaTHOR环境中，同时避免不必要的碰撞（干扰）与对象。我们将干扰避免公式化为奖励函数中的惩罚项，但发现直接使用这种惩罚性奖励进行训练通常会导致代理无法逃脱糟糕的局部最优解。相反，我们提出了一个两阶段的训练课程，代理人首先允许自由探索和建立基本的能力，而不惩罚，之后引入干扰惩罚，以完善代理人的行为。测试场景的结果表明，我们的课程不仅避免了这些糟糕的局部最优值，而且与我们最先进的基线相比，在没有干扰的情况下，成功率绝对提高了10%。此外，我们的课程比安全的RL算法（将碰撞避免作为约束）的性能要高得多。最后，我们提出了一种新的干扰预测辅助任务，加速学习。
2022-10-21 cs.CV cs.RO
Experimental Assessment of Human-Robot Teaming for Multi-Step Remote Manipulation with Expert Operators
Massachusetts Institute of Technology（麻省理工学院）
人工控制的远程机器人操作使安全和环境约束对人类不利的应用（例如水下，空间机器人和灾难响应）或任务的复杂性需要人类水平的认知和灵巧性（例如机器人手术和制造）。这些系统通常在运动层面使用直接遥操作，并且通常限于低自由度手臂和2D感知。提高灵活性和态势感知需要新的交互和规划工作流程。我们探索了通过远程自主与辅助规划来远程控制双臂灵巧机器人执行多步操作任务的人机合作，并进行了受试者内实验评估（n = 12名专家用户）将其与其他方法进行比较，得出以下四种情况：（A）模拟控制器+2D感知的直接遥操作，（B）条件A +3D感知，（C）Teleautonomy接口遥操作+2D和3D感知，（D）条件C+辅助规划。结果表明，这种方法（D）实现了与直接遥操作（A，B）相当的任务时间，同时改善了许多其他客观和主观指标，包括重新抓取，碰撞和TLX工作负载指标。与类似的界面相比，但删除了辅助计划（C），D减少了任务时间，并消除了与操作员专业水平的重要交互，从而在用户之间实现了性能均衡。
2020-11-22 cs.RO
Adaptive Robot-Assisted Feeding: An Online Learning Framework for Acquiring Previously Unseen Food Items
University of Washington（华盛顿大学）
一个成功的机器人辅助喂养系统需要咬收购各种各样的食物。它必须在不确定的视觉和物理环境下适应不断变化的用户食物偏好。在不同的环境条件下，不同的食物项目需要不同的操作策略，以成功地咬收购。因此，一个关键的挑战是如何处理以前看不见的食物项目与非常不同的成功率分布的战略。结合低级别的控制器和规划到离散的行动轨迹，我们表明，这个问题可以表示使用一个线性的上下文强盗设置。我们构建了一个模拟的环境，使用一个双重的强大的损失估计，从以前看到的食物，我们用它来调整现成的上下文强盗算法的参数。最后，我们证明经验的机器人辅助喂食系统，即使从一个模型训练上千串尝试不同的以前看到的食物，$ε$贪婪和LinUCB算法可以快速收敛到最成功的操作策略。
2020-08-01 cs.AI cs.LG cs.RO
ManipulaTHOR: A Framework for Visual Object Manipulation
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
人工智能领域最近取得了重大进展，特别是在环境中导航代理方面。这些早期的成功为社区解决需要智能体与环境中的对象积极交互的任务奠定了基础。对象操作是机器人领域内的一个既定的研究领域，并提出了几个挑战，包括机械手运动，抓取和长期规划，特别是在处理经常被忽视的实际设置时，涉及视觉丰富和复杂的场景，使用移动代理的操作（而不是桌面操作），以及对看不见的环境和对象的泛化。我们提出了一个基于物理支持的、视觉丰富的AI 2-THOR框架的对象操作框架，并向被称为ArmPointNav的人工智能社区提出了一个新的挑战。该任务将流行的点导航任务扩展到对象操作，并提供了新的挑战，包括3D避障，在存在遮挡的情况下操作对象，以及需要长期规划的多对象操作。在PointNav挑战中取得成功的流行学习范式显示出希望，但仍有很大的改进空间。
2021-04-22 cs.AI cs.CV cs.LG
A behavioural approach to obstacle avoidance for mobile manipulators based on distributed sensing
Seconda Università degli Studi di Napoli（那不勒斯第二大学）
提出了一种移动机械臂的反应式避障方法。开发的算法的目标是双重的。第一种方法是在移动机械手的位形空间中找到一条轨迹，使其能够在任务空间中跟踪给定的轨迹。第二个目标在于局部调整配置空间中的轨迹，以避免与潜在移动障碍物的碰撞以及在非结构化和动态环境中的自碰撞。感知完全基于分布在机器人机械结构上的一组接近传感器，并且不需要视觉信息。由于采用了这种邻近分布式感知，该方法不需要机器人的3D模型，并且允许在不需要传感器化环境的情况下实时避免碰撞。为了实现上述功能，一个基于行为的技术被称为零空间为基础（NSB）的方法已通过一些修改。一方面，总的伪能量的概念的基础上，从分布式传感器的信息已被引入。另一方面，提出了一种将不同任务组合的方法，以保证实时轨迹调整的平滑性。该方法的另一个显著特征是利用冗余自由度的基座和臂之间的严格协调，这是移动操作中的相关主题。
2015-02-09 cs.RO
Manipulation Planning and Control for Shelf Replenishment
Dipartimento di Ingegneria, Università degli Studi della Campania Luigi Vanvitelli（坎帕尼亚路易吉·凡维泰利大学工程系）；Institute for Artificial Intelligence, Universität Bremen（不来梅大学人工智能研究所）
操作规划和控制是机器人系统的相关构建模块，它们的紧密集成是提高机器人自主性的关键因素，并允许机器人执行越来越复杂的操作任务，例如店内物流领域所需的操作任务。超市包含各种各样的物品，这些物品将被放置在具有特定约束的货架层上，用机器人做这件事是一个挑战，需要高度的灵活性。然而，反应性抓取控制和运动规划的集成可以允许机器人执行这样的任务，即使夹具具有有限的灵活性。该论文的主要贡献是一种新的方法，用于规划使用反应控制层执行的操纵任务，该反应控制层提供更多的控制模态，即，避免滑动和控制滑动。实验表明，该方法可以使机器人成功地执行操作任务不可行的标准固定抓持与一个新的力/触觉传感器装备的夹持器的移动机械手。
2020-03-12 cs.RO
Perceptive Pedipulation with Local Obstacle Avoidance
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）
提出基于强化学习的全身障碍物感知策略，使四足机器人足部操控在跟踪指令的同时避开静态和动态障碍，并在ANYmal上验证泛化性。
2024-11-04 cs.RO
Reactive Base Control for On-The-Move Mobile Manipulation in Dynamic Environments
Queensland University of Technology（昆士兰科技大学）；CSIRO Data61（联邦科学与工业研究组织Data61）
本文提出一种反应式基座控制方法，使移动机器人在动态障碍环境中边移动边执行操作任务，并在真实任务中比现有方法总任务时间缩短48%。
2023-09-17 cs.RO
KittingBot: A Mobile Manipulation Robot for Collaborative Kitting in Automotive Logistics
University of Bonn（波恩大学）
个性化的汽车制造需要配套：为每辆汽车收集单独的零件变体。这种具有挑战性的物流任务通常由仓库管理员手动执行。我们提出了一个移动操作机器人系统的自主配套，建立在Kuka Miiwa平台，其中包括一个全向基地，一个7自由度的协同iiwa机械手，相机和距离传感器。已开发并集成了用于运输箱的检测和姿态估计、这些容器中的部件分割、部件变体识别、抓取生成和臂轨迹优化的软件模块。我们的系统专为协作配套而设计，即一些零件由仓库管理员收集，而其他零件则由机器人拾取。为了解决安全的人-机器人协作，快速手臂轨迹重新规划，考虑以前不可预见的障碍物实现。该系统在欧洲机器人挑战赛2中进行了评估，Miiwa机器人展示了自主配套，零件变体识别和避免不可预见的障碍物。
2018-09-14 cs.RO
Dynamic Planning for Sequential Whole-body Mobile Manipulation
针对现有移动操作动态规划方法的局限性，研究提出融合在线任务规划、VKC全身运动规划与反应式MPC的一体化框架，经仿真与真实实验验证可在含人为干扰的动态场景下高效完成序列移动操作任务。
2024-06-21 cs.RO
Dynamic Task Space Control Enables Soft Manipulators to Perform Real-World Tasks
ETH Zurich（苏黎世联邦理工学院）
动态运动是机器人手臂的一个关键特征，使它们能够快速有效地执行任务。软连续体机械手目前不考虑动态参数时，在任务空间中操作。这一缺点使得现有的软体机器人变慢，并限制了它们处理外力的能力，特别是在物体操纵期间。我们通过使用动态操作空间控制来解决这个问题。我们的控制方法考虑到了三维连续体臂的动态参数，并引入了新的模型，使多段软操纵器在任务空间中顺利运行。先进的控制方法，以前只提供给刚性机器人，现在适用于软体机器人;例如，势场回避以前只显示为刚性机器人，现在扩展到软体机器人。使用我们的方法，一个软机械手现在可以实现各种任务，以前是不可能的：我们评估机械手的性能在闭环控制实验，如拾取和放置，避障，投掷物体使用一个附加的软抓手，并故意施加力的表面通过用一根粉笔抓画。除了新启用的技能，我们的方法将跟踪精度提高了59%，与任务空间控制的最新技术相比，速度提高了19.3倍。有了这些新发现的能力，软体机器人可以开始在操纵领域挑战刚性机器人。我们固有的安全性和兼容性软体机器人将机器人操作的未来推向人类和机器人并行工作的无笼设置。
2022-10-18 cs.RO
Language-Guided Object-Centric Diffusion Policy for Generalizable and Collision-Aware Robotic Manipulation
Technical University of Munich（慕尼黑工业大学）；Agile Robots SE（敏捷机器人公司）
提出 Lan-o3dp 语言引导的对象中心三维扩散策略，结合 LLM、开集分割与代价引导去噪，在少演示下提升机器人操作泛化与零样本避障能力。
2025-03-16 cs.RO
LAMP: Long-Horizon Adaptive Manipulation Planning for Multi-Robot Collaboration in Cluttered Space
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
提出LAMP框架，结合学习生成的操作模型与两种规划器（LAMPA*和LAMP-Lazy），实现多机器人在密集杂乱环境中的长时域协作操作规划，解决现有方法无法处理的复杂任务。
2026-07-09 cs.RO
Efficient Obstacle Rearrangement for Object Manipulation Tasks in Cluttered Environments
Korea Institute of Science and Technology（韩国科学技术研究院）；Hanyang University（汉阳大学）
我们提出了一种算法，产生一个计划，重新定位障碍物，以抓住一个目标在混乱的机器人机械手没有碰撞。我们考虑的配置中的对象是密集的人口在一个约束和密闭的空间。因此，不存在无碰撞路径的机械手没有重新定位的障碍物。由于规划对象重排的问题已被证明是NP难的，因此难以有效地执行可能频繁发生在服务域（例如，从架子或冰箱中取出目标）。我们提出的规划器采用了碰撞避免计划，已被广泛应用于移动机器人导航。规划者实时的确定要快速移除的障碍物。它还可以处理配置中的动态变化（例如，物体姿态的变化）。我们的方法被证明是完整的，并运行在多项式时间。在一个现实的模拟环境中的实验结果表明，我们的方法提高了31%的执行时间相比，其他竞争对手。
2019-02-19 cs.RO
Bimanual Robot-Assisted Dressing: A Spherical Coordinate-Based Strategy for Tight-Fitting Garments
School of Physics, Engineering and Technology, University of York（物理、工程与技术学院，约克大学）；Honda Research Institute Europe（本田欧洲研究机构）
本文针对紧身衣物穿衣难题，提出基于球坐标系的双臂穿衣策略，利用方位角作为任务特征，结合GMM和GMR进行模仿学习，生成适应不同手臂姿态的穿衣轨迹并通过实验验证其有效性。
2025-08-17 cs.RO
Forecast-aware Gaussian Splatting for Predictive 3D Representation in Language-Guided Pick-and-Place Manipulation
KTH Royal Institute of Technology（皇家理工学院）
本文提出Forecast-GS框架，通过预测3D状态提升语言引导的机器人操作性能，实验显示其在抓取与放置任务中优于基线方法，表明明确预测任务完成状态有助于更可靠的行动评估。
2026-05-11 cs.RO
DetAug: Obstacle-Blind Trajectory Augmentation for Zero-shot Obstacle Avoidance
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）；Purdue University（普渡大学）
DetAug 通过障碍盲轨迹增强与推理时标签选择，在零样本避障中显著提升成功率，无需障碍几何先验，并优于现有方法。
2026-09-17 cs.RO
ReMoSPLAT: Reactive Mobile Manipulation Control on a Gaussian Splat
QUT Centre For Robotics, School of Electrical Engineering and Robotics at the Queensland University of Technology（昆士兰理工大学机器人中心，电气工程与机器人学学院）
研究移动操纵器在不涉及高成本规划下如何利用高斯点云表示避免碰撞，提出基于二次规划公式的ReMoSPLAT反应式控制器，通过模拟实验验证其可行性，性能可媲美依赖完美信息的控制器，并在真实机器人平台进一步验证。
2026-07-14 cs.RO
Data-Assisted Vision-Based Hybrid Control for Robust Stabilization with Obstacle Avoidance via Learning of Perception Maps
Universidad EAFIT（EAFIT大学）
我们研究的目标稳定与鲁棒避障的机器人和车辆，只有访问基于视觉的传感器的实时定位的目的的问题。这个问题是特别具有挑战性的，由于拓扑障碍物引起的障碍，这排除了存在的平滑反馈控制器能够实现同时稳定和鲁棒避障。为了克服这个问题，我们开发了一种基于视觉的混合控制器，根据车辆的当前位置，使用滞后机制和数据辅助监督器在两个不同的反馈律之间切换。本文的主要创新之处是将合适的感知图纳入混合控制器。这些地图可以从车辆中的摄像头获得的数据中学习，并通过卷积神经网络（CNN）进行训练。在此感知地图上的适当假设下，我们建立了理论保证车辆的轨迹收敛和避障。此外，所提出的基于视觉的混合控制器在不同的情况下进行了数值测试，包括噪声数据，传感器故障，摄像机遮挡。
2022-09-04 cs.RO math.OC
Contact-Aware Non-prehensile Robotic Manipulation for Object Retrieval in Cluttered Environments
Tsinghua University（清华大学）
非弹性操纵方法通常使用简单的末端执行器，一根单独的杆来操纵物体。与抓取方法相比，这样的末端执行器是紧凑和灵活的，因此它可以在受约束的工作空间中执行任务;作为权衡，它具有相对较少的自由度（DoF），导致在规划和控制的复杂约束下的致动不足问题。本文提出了一种新的非易失性操作方法，在混乱的环境中的目标检索任务，使用棒状推杆。具体来说，首先在一个混乱的环境中产生的候选轨迹与改进的快速探索随机树（RRT）规划器，然后，模型预测控制（MPC）计划被施加到稳定滑块的姿态，通过必要的接触障碍物。与现有方法不同的是，该方法具有接触感知的特点，能够实现主动清除障碍物、回避行为和切换接触面的综合效果，提高灵巧性。从而大大提高了任务的可行性和效率。所提出的方法的性能进行了验证，在一个平面的对象检索任务，其中的目标对象，周围有许多固定或可移动的障碍物，被操纵和隔离。仿真和实验结果。
2023-03-07 cs.RO
Perception, Control and Hardware for In-Hand Slip-Aware Object Manipulation with Parallel Grippers
Department of Electrical Engineering, Chalmers University of Technology, Sweden（电气工程系，查尔姆斯理工大学，瑞典）；Department of Automatic Control, Lund University, Sweden（自动控制系，隆德大学，瑞典）
本文提出了一种基于传感器的夹具，用于实现滑动感知的在手操控，通过四个控制器有效提升了对平面物体的操控能力。
2025-11-21 cs.RO cs.SY eess.SY
A hierarchical framework for collision avoidance in robot-assisted minimally invasive surgery
Nagoya University（名古屋大学）；Institutes of Innovation for Future Society, Nagoya University（名古屋大学未来社会创新研究所）
针对机器人辅助微创手术动态杂乱环境下的安全避障难题，提出一种整合多任务约束的分层框架，采用HQP管理约束并实现任务优先级平滑切换，经仿真验证在多类避障场景中具备鲁棒性与有效性。
2024-09-16 cs.RO
Multi-View Fusion for Multi-Level Robotic Scene Understanding
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个多层次的场景感知机器人操作系统。给定手持相机RGB图像的序列，系统计算三种类型的信息：1）场景中所有表面的点云表示，用于避障的目的; 2）来自对应于原始形状的类别的未知对象的粗略姿态（例如，长方体和圆柱体）;以及3）已知对象的全6自由度姿态。通过开发和融合这些领域的最新技术，我们提供了一个丰富的场景表示的机器人意识。我们展示了这些模块的重要性，它们的互补性，以及该系统在机器人操作的背景下的潜在好处。
2021-10-14 cs.RO
Relaxed-Rigidity Constraints: Kinematic Trajectory Optimization and Collision Avoidance for In-Grasp Manipulation
University of Utah Robotics Center（犹他大学机器人中心）；School of Computing, University of Utah（犹他大学计算机学院）
本文提出了一种新的方法来执行掌握操作：移动的问题，从一个初始姿势的手掌参考对象的目标姿势，而不中断或进行接触。我们的方法来执行掌握操纵使用运动学轨迹优化，不需要知道的动态特性的对象。我们实现了我们的方法在Allegro机器人手，并进行了彻底的实验，从YCB数据集的10个对象。然而，所提出的方法是足够一般的机器人可以抓住的大多数物体产生的运动。实验结果支持其在各种物体形状上应用的可行性。我们探索我们的方法，包括避免碰撞和关节空间平滑成本的适应性，以额外的任务要求。抓取的物体通过使用带符号的距离成本函数来避免与环境的碰撞。我们通过要求平滑的关节轨迹来减少未建模对象动态的影响。我们还通过制定对象姿态反馈控制器来补偿轨迹执行过程中遇到的误差。
2018-06-09 cs.RO
Clutter Resilient Occlusion Avoidance for Tightly-Coupled Motion-Assisted Detection
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Macau（澳门大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Southern University of Science Technology（南方科技大学）
本文提出运动辅助检测框架CROA，通过凸-凹过程和双层优化在避碰约束下最小化遮挡概率，在多车道城市场景中显著提升了点密度、遮挡比例和检测误差指标。
2024-12-24 cs.RO eess.SP
TOCALib: Optimal control library with interpolation for bimanual manipulation and obstacles avoidance
FRC CSC RAS（俄罗斯科学院联邦研究中心计算机科学与控制研究所）；MIPT（莫斯科物理技术学院）；Robotics Center, Sberbank of Russia（俄罗斯联邦储蓄银行机器人中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；AIRI（人工智能研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文提出TOCALib方法，在FROST框架下结合DCOL碰撞符号表达式构建双臂最优轨迹库，并在Mobile Aloha上实现复杂双臂操作，可扩展至其他机器人和机器学习训练数据生成。
2025-04-10 cs.RO
Neural Grasp Distance Fields for Robot Manipulation
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
提出神经抓取距离场（NGDF），将抓取学习建模为连续神经场，以距离代价实现联合抓取与运动规划，在仿真和真实世界中以63%成功率优于基线并泛化到新场景。
2023-12-28 cs.RO
Collaborative Manipulation of Deformable Objects with Predictive Obstacle Avoidance
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对可变形物体操作自由度高、运动预测难的问题，提出基于位置动力学预测与控制屏障函数的多机器人协同避障控制方法，经仿真验证可实时避障、控误差防过度拉伸，且基于ROS实现易移植。
2024-01-29 cs.RO
A Nonlinear Model Predictive Control Scheme for Cooperative Manipulation with Singularity and Collision Avoidance
KTH Royal Institute of Technology（瑞典皇家理工学院）；National Technical University of Athens（雅典国立技术大学）
本文提出了一种非线性模型预测控制方案，用于在存在障碍物的有限工作空间中安全导航被N个机器人代理抓取的物体，同时避免碰撞和奇异配置。
2017-11-12 cs.RO cs.SY eess.SY
A Coarse-to-Fine Framework for Dual-Arm Manipulation of Deformable Linear Objects with Whole-Body Obstacle Avoidance
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
在有障碍物的受限环境中操纵可变形线性物体（DLO）以获得所需形状是一项有意义但具有挑战性的任务。全局规划是必要的，这样一个高度约束的任务，但是，规划者所需的DLO的精确模型是很难获得的，由于其可变形的性质，和不可避免的建模误差显着影响规划结果，可能会导致任务失败，如果机器人简单地执行规划的路径在开环的方式。在本文中，我们提出了一个由粗到精的框架，结合全局规划和本地控制的双臂操作的DLO，能够精确地实现所需的配置，并避免潜在的碰撞之间的DLO，机器人和障碍物。具体而言，全局规划器参考简单而有效的DLO能量模型，并计算粗略路径以有效地找到可行的解决方案;然后局部控制器遵循该路径作为指导，并使用闭环反馈对其进行进一步整形，以补偿规划误差并提高任务精度。仿真和真实世界的实验表明，我们的框架可以鲁棒地实现所需的DLO配置在约束环境中的不精确的DLO模型，这可能是不可靠的实现，只有规划或控制。
2023-02-17 cs.RO
Time manipulation technique for speeding up reinforcement learning in simulations
Tokyo Institute of Technology（东京工业大学）；Mitsubishi Electric Corporation（三菱电机公司）
提出了一种利用时间操作加速强化学习算法的技术。它适用于运行在计算机模拟中的故障避免控制问题。将故障事件的模拟时间向后翻转，与传统的Q学习和Actor-Critic算法相比，在推车杆平衡任务上，学习速度提高了260%，状态空间探索提高了12%。
2009-03-28 cs.AI cs.LG cs.RO
Exploration-assisted Bottleneck Transition Toward Robust and Data-efficient Deformable Object Manipulation
本文提出ExBot框架，通过引入瓶颈状态和双动作原语解决可变形物体 manipulation 中的out-of-distribution问题，提升数据效率和鲁棒性。
2026-03-14 cs.CV cs.RO
Control Barrier Functions for Singularity Avoidance in Passivity-Based Manipulator Control
University of Notre Dame（圣母大学）
任务空间无源性控制（PBC）具有许多吸引人的特性，包括对建模误差的鲁棒性和人机交互的安全性。然而，现有的方法在奇异配置中表现不佳，例如当所有机器人的关节完全伸展时。此外，用于约束任务空间PBC的标准方法仅在约束不主动时保证被动性。我们提出了一个凸优化为基础的控制方案，提供了保证奇异避免，被动性和可行性。这项工作为PBC在其他类型的约束下也具有被动性保证铺平了道路，包括关节限制和接触/摩擦约束。在一个7自由度机械臂的仿真实验中，所提出的方法进行了验证。
2021-09-27 cs.RO cs.SY eess.SY
Stochastic Optimal Control for Modeling Reaching Movements in the Presence of Obstacles: Theory and Simulation
Ben-Gurion University of the Negev（本-古里安大学）
在许多人在回路机器人应用中，例如机器人辅助手术和远程遥控操作，预测人类操作员的预期运动对于成功实现共享控制、引导虚拟夹具和预测控制可能是有用的。开发人体运动的计算模型是这种运动预测框架的关键基础。有了这个动机，我们提出了一个计算框架，在障碍物的存在下，达到运动建模。我们提出了一个随机最优控制框架，该框架由概率碰撞避免约束和成本函数，权衡之间的努力和最终状态方差的存在下，信号相关的噪声。首先，我们提出了一系列的重新制定原来的非线性和非凸最优控制转化为一个参数二次规划问题。我们表明，可以调整参数来模拟各种防撞策略，从而捕捉到与人体运动相关的典型变化。然后，我们提出了一个模拟研究，演示了复杂的相互作用之间的避免策略，控制成本，和避免碰撞的概率。所提出的框架可以使各种需要在杂乱空间中进行远程操作的应用受益，包括机器人辅助手术。此外，它也可以被看作是一种新的优化器，产生光滑和概率安全的轨迹依赖于信号的噪声。
2018-03-26 cs.RO
Whole-Body Control with (Self) Collision Avoidance using Vector Field Inequalities
Federal University of Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学）
这项工作使用矢量场不等式（VFI），以防止机器人的自碰撞和碰撞的工作空间。与以前的方法不同，该方法适用于速度和扭矩驱动的机器人。我们提出了一个新的距离函数及其相应的雅可比矩阵，以产生一个VFI来限制两个Plücker线之间的角度。这种新的VFI用于防止不期望的末端执行器方向和违反关节限制。所提出的方法进行评估，在一个现实的模拟和一个真正的人形机器人，显示所有的约束，而机器人执行操作任务。
2019-08-01 cs.RO
VLM-SFD: VLM-Assisted Siamese Flow Diffusion Framework for Dual-Arm Cooperative Manipulation
Department of Computer Science, The University of Manchester（计算机科学系，曼彻斯特大学）；School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学）
VLM-SFD通过双编码器-解码器架构和视觉语言模型，提升双臂协作操作的模仿学习效率与泛化能力。
2025-11-21 cs.RO
HITL-D: Human In The Loop Diffusion Assisted Shared Control
Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）
本文提出HITL-D框架，通过结合扩散策略和人类控制，提升多步骤、插入和精细操作任务的用户表现，减少 joystick 控制轴数量，降低认知负荷，并在多任务用户研究中显著提高任务完成速度和用户满意度。
2026-05-20 cs.AI cs.HC cs.RO
Embedded Image-to-Image Translation for Efficient Sim-to-Real Transfer in Learning-based Robot-Assisted Soft Manipulation
Nagoya University（名古屋大学）；Institutes of Innovation for Future Society, Nagoya University（名古屋大学未来社会创新研究所）
针对手术机器人仿真到现实部署的域差距问题，提出基于对比式无配对图像翻译的嵌入式表征方法，有效提升手术操作任务成功率与训练效率，为微创手术机器人自主性提升提供鲁棒框架。
2024-09-16 cs.LG cs.RO
Blending Primitive Policies in Shared Control for Assisted Teleoperation
Preferred Networks Inc.（首选网络公司）
运动原语具有适应机器人状态变化的属性，同时保持对原始策略的吸引力。因此，我们调查使用原语作为一种混合机制，考虑到从原始政策的状态偏差是由用户输入。当原语从用户输入中恢复时，它隐式地混合了人类和机器人策略，而不需要它们的权重-称为仲裁。在本文中，我们采用了动态运动原语（DMPs），这使我们能够避免多次演示的需要，并且速度足够快，可以实现大量的实例化，每个实例对应于人类意图的每个假设。用户研究辅助遥操作任务，达到多个目标和动态避障。实现了与传统遥控操作相当的性能，同时显着减少了人为干预，通常超过60%。
2022-04-14 cs.RO
Sim-To-Real Transfer for Visual Reinforcement Learning of Deformable Object Manipulation for Robot-Assisted Surgery
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Verona（维罗纳大学）；Heidelberg University Hospital（海德堡大学医院）
本文提出基于像素级域自适应的图像强化学习流程，实现手术机器人可变形物体操作的视觉仿真到现实迁移，在真实机器人组织牵拉任务中无需重训练即达到50%成功率。
2024-06-10 cs.RO
Towards Deep Learning Assisted Autonomous UAVs for Manipulation Tasks in GPS-Denied Environments
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
在这项工作中，我们提出了一个务实的方法，使无人机（UAV）自主执行高度复杂的任务的对象拾取和放置。本文主要受到MBZIRC 2020挑战2的启发，主要关注在户外和GPS拒绝环境中组装大型3D结构的任务。该系统的主要贡献是：（i）用于目标定位、部件分割和跟踪的基于深度学习的新型计算高效的统一多任务视觉感知系统，（ii）基于深度学习的新型抓取状态估计，（iii）缩回式电磁抓取器设计，（iv）远程计算方法，其利用最先进的基于MIMO的高速通信技术，（5000 Mb/s）无线链路，以允许UAV在远程高端的计算服务器上执行计算密集型任务，以及（v）系统集成，其中将若干系统组件编织在一起以开发优化的软件栈。我们使用DJI Matrice-600 Pro，一种六旋翼无人机，并将其与定制设计的夹持器连接。我们的框架部署在指定的无人机上，以报告各个模块的性能分析。除了操纵系统，我们还强调了在这种情况下与无人机相关的几个隐藏的挑战。
2021-01-16 cs.CV cs.RO
Real-time Joint Motion Analysis and Instrument Tracking for Robot-Assisted Orthopaedic Surgery
Queensland University of Technology（昆士兰科技大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of New South Wales（新南威尔士大学）；The Prince Charles Hospital（查尔斯王子医院）
机器人辅助骨科手术需要精确的自动化腿部操作，以提高空间精度，减少医源性损伤。在这项研究中，我们提出了新的刚体设计和光学跟踪体积设置跟踪股骨，胫骨和手术器械。使用计算机断层扫描测量腿部内部的解剖点，精度为0.3mm。结合运动学建模，我们可以表示这些点相对于任何框架和跨关节亚毫米精度。它可以在股骨和胫骨的机械轴上设置矢量，以进行运动学分析。尸体实验用于验证内部解剖结构和关节运动分析的跟踪。所提出的集成解决方案是腿部操作自动化的第一步，可用作未来机器人辅助骨科研究的基础。
2019-09-06 cs.RO
Immersive Social Interaction with VR and LLM-Assisted Humanoids
Inspire Robotics（Inspire机器人公司）
研究通过集成语音控制移动、VR操作和双向社交互动的框架实现人形机器人全身控制，利用苹果视觉专业版等，经大语言模型辅助语音控制等技术，在宇树H1人形机器人上评估，新手操作成功率可观，证明该方式在多方面应用的潜力。
2026-07-09 cs.RO cs.SY eess.SY
A Modular 3-Degree-of-Freedom Force Sensor for Robot-assisted Minimally Invasive Surgery Research
Case Western Reserve University（凯斯西储大学）；Stanford University（斯坦福大学）
组织操作过程中的有效力调节对于确保安全的机器人辅助微创手术（RMIS）非常重要。对体内远侧力感测的严格要求已经导致现有的传感器设计在制造和集成的容易性与沿工具轴线的力测量精度之间进行权衡。这些限制使得研究人员无法在RMIS中收集高质量的3自由度（3-DoF）双手力数据。我们提出了一种模块化和可制造的3自由度力传感器，可以很容易地与现有的RMIS工具集成。我们通过放宽生物相容性和可灭菌性要求，同时利用商业称重传感器和常见的机电制造技术来实现这一目标。该传感器的轴向测量范围为+-5 N，横向测量范围为+-3 N，所有方向的平均均方根误差（RMSE）均低于0.15 N。在遥控模拟组织操作任务中，一对安装在钳口上的传感器在各个方向上的平均RMSE均低于0.15 N。对于夹持力，其实现了0.156 N的RMSE。该传感器具有足够的精度范围内的力量发现在微妙的操作任务，在双手触觉反馈和机器人力控制的潜在用途。作为一种开源设计，传感器可以适应RMIS之外的其他机器人应用。
2022-11-10 cs.RO
Contact Optimization for Non-Prehensile Loco-Manipulation via Hierarchical Model Predictive Control
University of Southern California（南加州大学）
最近的研究集中在四足机器人的运动或移动操作使用的机器人手臂。足式机器人可以操纵较重和较大的物体使用非弹性操作原语，如平面推动，驱动对象到所需的位置。在本文中，我们提出了一种新的分层模型预测控制（MPC）的接触优化的操作任务。使用两个级联的MPC，我们分裂的本地操作问题分为两部分：第一，以优化机器人和物体之间的接触力和接触位置，第二，通过机器人运动调节所需的相互作用力。我们的方法是成功地验证了在仿真和硬件实验。虽然基线运动MPC未能遵循所需的轨迹的对象，我们提出的方法可以有效地控制对象的位置和方向，以最小的跟踪误差。这种能力也使我们能够执行避障的机器人和对象在本地操作任务。
2022-10-07 cs.RO
Emergency Obstacle Avoidance Maneuvers in Differential-Drive Mobile Robots
Missouri University of Science and Technology（密苏里科技大学）
本文通过540次试验研究差速驱动机器人在不同接近速度下紧急避障机动的性能与里程计误差，发现反向旋转机动编码器误差随速度增加而增大，并影响避障成功率，支持速度特定经验表征。
2026-10-06 cs.RO cs.SY eess.SY
