A Point Cloud Completion Approach for the Grasping of Partially Occluded Objects and Its Applications in Robotic Strawberry Harvesting
Department of Robotics, Mohamed bin Zayed University of Artificial Intelligence（机器人系，Mohamed bin Zayed人工智能大学）
针对非结构化场景下部分遮挡果实的抓取难题，提出包含点云去噪分割、补全重建、碰撞感知规划的端到端框架，在草莓采摘中实现更高抓取成功率与更低碰撞率。
2025-06-16 cs.RO
A Fast Path-Planning Method for Continuous Harvesting of Table-Top Grown Strawberries
School of Mechanical Electrical Engineering and Automation, Shanghai University（上海大学机电工程与自动化学院）；Intelligent Equipment Research Center, Beijing Academy of Agriculture and Forestry Sciences（北京农林科学院智能装备研究中心）
针对桌面栽培草莓连续采收，本文提出 ILMSA 快速路径规划算法，通过局部极小值交互式节点扩展及多平面投影优化三维路径，仿真与田间试验表明其在路径长度、规划时间和节点数上均显著优于 RRT、A 与 LPS。
2025-01-09 cs.RO
Autonomous Apple Fruitlet Sizing with Next Best View Planning
Carnegie Mellon University（卡内基梅隆大学）
本文针对苹果幼果自主尺寸测量问题，提出结合语义区域视角采样、注意力信息增益和双地图表示的下一最佳视角规划方法，并通过仿真与田间实验验证其精度优于现有方法。
2025-03-09 cs.RO
Viewpoint Planning for Fruit Size and Position Estimation
University of Bonn（波恩大学）
现代农业应用需要了解植物上果实的位置和大小。然而，来自叶子的遮挡通常使得难以获得该信息。我们提出了一种新的观点规划方法，建立了一个八叉树的植物与标记区域的兴趣（ROI），即，水果.我们的方法使用这个八叉树的采样视点候选人，增加周围的水果区域的信息，并评估他们使用的启发式效用函数，考虑到预期的信息增益。我们的系统自动切换ROI目标采样和探索采样，考虑一般前沿体素，根据估计的效用。当植物被RGB-D传感器充分覆盖时，我们的系统对ROI体素进行聚类，并估计检测到的水果的位置和大小。我们在模拟场景中评估了我们的方法，并将由此产生的水果估计与地面实况进行了比较。结果表明，我们的组合方法优于采样方法，没有明确考虑的ROI来产生的角度方面的发现ROI细胞的数量。此外，我们通过在辣椒温室中的自动管轨小车上安装RGB-D相机的机器人手臂上测试我们的框架来展示现实世界的适用性。
2021-08-18 cs.RO
Efficient View Path Planning for Autonomous Implicit Reconstruction
Zhejiang University（浙江大学）；NetEase（网易）
隐式神经表征在三维场景重建中显示出了巨大的潜力。最近的工作将其应用于自主三维重建的学习信息增益的视图路径规划。虽然它是有效的，但信息增益的计算是昂贵的，并且与使用体积表示相比，使用3D点的隐式表示的碰撞检查要慢得多。在本文中，我们建议1）利用神经网络作为信息增益场的隐式函数逼近器，2）将隐式细粒度表示与粗体积表示相结合以提高效率。进一步提高效率，我们提出了一种新的信息路径规划的基础上，基于图的规划器。我们的方法表现出显着的改进，重建质量和规划效率相比，自主重建隐式和显式表示。实验结果表明，该方法能够规划出信息丰富的视图，重建出高质量的场景。
2022-09-27 cs.RO
Hierarchical Tri-manual Planning for Vision-assisted Fruit Harvesting with Quadrupedal Robots
Institute for Integrative & Innovative Research (I 3 R), University of Arkansas, USA（整合与创新研究所（I 3 R）、亚拉巴马大学）；Department of Electrical and Computer Engineering, University of California, Riverside, USA（电气与计算机工程系、加州大学河滨分校）
针对复杂自然环境下的水果采摘需求，本文推出首款三臂四足机器人 LocoHarv-3，提出层级式三臂规划并构建融合遥操作、LiDAR里程计建图与学习视觉感知的半自主框架，室内单次成功率达90%，田间验证了鲁棒性与效率。
2025-05-12 cs.RO
Automated Behavior Planning for Fruit Tree Pruning via Redundant Robot Manipulators: Addressing the Behavior Planning Challenge
Brubotics；Vrije Universiteit Brussel（自由大学布鲁塞尔）；imec
针对果树修剪中机器人操作的行为规划难题，提出集成感知、建模与整体规划的综合工作流程，利用系统冗余性提升性能，并在真实机器人上验证。研究填补了操作复杂性研究的空白，推动修剪应用规划发展。
2025-10-14 cs.RO
Combining Local and Global Viewpoint Planning for Fruit Coverage
University of Bonn（波恩大学）；Queensland University of Technology (QUT)（昆士兰科技大学）
获得完整植物或植物部分的3D传感器数据（例如，农作物或果实）由于其复杂的结构和高度的封闭性而很困难。然而，特别是对于水果的位置和大小的估计，需要尽可能地避免遮挡并获取相关部分的传感器信息。存在全局视点规划器，其建议一系列视点以覆盖感兴趣区域达到一定程度，但是它们通常优先考虑全局覆盖并且不强调避免局部遮挡。另一方面，存在旨在避免局部遮挡的方法，但是它们不能用于较大的环境中，因为它们仅达到局部最大覆盖。因此，在本文中，我们建议将局部的，基于梯度的方法与全局视点规划相结合，以避免局部遮挡，同时仍然能够覆盖大面积。我们使用配备相机阵列和RGB-D相机的机器人手臂进行的模拟实验表明，与仅应用全局覆盖规划相比，这种组合导致感兴趣区域的覆盖率显着增加。
2021-08-18 cs.RO
Towards Autonomous Selective Harvesting: A Review of Robot Perception, Robot Design, Motion Planning and Control
University of Lincoln（林肯大学）；Kings College London（伦敦国王学院）；University of Huddersfield（哈德斯菲尔德大学）
本文综述了选择性收获机器人的感知、设计、运动规划与控制等关键技术，分析了现有挑战，并指出结合人工智能、软体机器人和数据驱动方法可提升系统性能，为后续研究提供方向。
2023-04-19 cs.RO
SCOPE: Field-of-View-Aware Path Planning in Unknown Space via Safety-Volume Certification
Carnegie Mellon University（卡内基梅隆大学）；Brigham Young University（杨百翰大学）
SCOPE是一种在未知3D环境中规划路径的框架，通过安全体积认证实现视场感知，可到达所有目标、减少任务时间，真实机器人演示验证其有效性。
2026-09-01 cs.RO
Beyond Shortsighted Navigation: Merging Best View Trajectory Planning with Robot Navigation
提出连续长时程视角规划（LHVP）框架，通过耦合机械臂相机视角与移动底座导航规划，优化四足机器人巡视时的环境覆盖率，显著优于传统巡视方法。
2024-08-22 cs.RO
Interleaving Optimization with Sampling-Based Motion Planning (IOS-MP): Combining Local Optimization with Global Exploration
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
计算机器人的全局最优运动计划具有挑战性，部分原因是它需要同时从宏观角度（即，考虑多个同伦类中的路径）和微观视点（即，局部优化路径质量）。我们介绍了基于采样的运动规划（IOS-MP），一种新的方法，有效地结合了全局探索和局部优化，快速计算高质量的运动计划的交织优化。我们的方法结合了两个范例：（1）渐近最佳采样为基础的运动规划，这是有效的全局探索，但相对缓慢的局部细化路径，和（2）优化为基础的运动规划，局部优化路径快速，但缺乏全局视图的配置空间。IOS-MP迭代地在全局探索和局部优化之间交替，在两者之间共享信息，以提高运动规划效率。我们评估IOS-MP，因为它的规模方面的维度和复杂性，以及证明其有效性的7自由度机械手指定的任务，使用目标配置和工作空间目标区域。
2016-09-20 cs.RO
Multi-Agent Next-Best-View Optimization for Risk-Averse Planning
Department of Mechanical Engineering and Mechanics, Lehigh University（莱文大学机械工程与力学系）；Amazon Robotics（亚马逊机器人）
提出一种分布式、风险感知的多智能体下一最佳视角框架，通过共识ADMM优化信息增益并建模碰撞风险，在降低通信开销的同时接近集中式方法的映射质量和轨迹安全性。
2026-06-02 cs.RO
NBV-SC: Next Best View Planning based on Shape Completion for Fruit Mapping and Reconstruction
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所）
提出基于形状补全的下一最佳视角规划方法，利用预测果实形状和视角差异性减少采样，提升果实尺寸估计与重建效率，并在仿真和真实温室中验证。
2023-08-30 cs.CV cs.RO
Coverage Path Planning for Robotic Quality Inspection with Control on Measurement Uncertainty
University of Shanghai for Science and Technology（上海理工大学）；Virginia Tech（弗吉尼亚理工大学）
安装在机器人上的光学扫描仪通常用于质量检测，例如验证板材结构的尺寸规格。覆盖路径规划（CPP）是影响机器人质量检测精度和效率的重要问题。传统的CPP策略主要关注在全覆盖检测条件下最小化机器人的视点数目或移动距离。在自由曲面检测中，很少考虑扫描数据采集时的测量不确定度。针对这一问题，提出了一种新的基于最优视点采样策略的CPP方法，将关键测量点的测量不确定度引入到自由曲面检测中。首先，根据测量不确定度的公差要求，计算出测量不确定度的可行范围。考虑测量不确定性和MP的可见性，生成初始可行视点集。然后，建立检测成本函数来评估所选视点的数量和所有所选视点的视场（FOV）中的平均测量不确定度。在此基础上，提出了一种改进的快速探索随机树（RRT*）算法，该算法利用检查成本函数和CPP优化进行视点采样。案例研究，包括模拟测试和检查实验，已经进行了评估所提出的方法的有效性。结果表明，与基准方法相比，该方法对关键MP的扫描精度有了显著提高。
2022-01-12 cs.RO
Learning What Can Be Picked: Active Reachability Estimation for Efficient Robotic Fruit Harvesting
Washington State University（华盛顿州立大学）
本文提出一种结合RGB-D感知与主动学习的方法，用于高效判断水果可达性，减少标注工作量并提高预测精度，实验表明在低标注情况下，熵和边距采样效果最佳。
2026-05-12 cs.AI cs.RO
Path Planning Algorithms for a Car-Like Robot visiting a set of Waypoints with Field of View Constraints
Texas A & M University（德克萨斯农工大学）；Infoscitex Corp.（Infoscitex公司）
本文考虑了两个变种的最短路径问题的车一样的机器人访问一组路点。在第一个变体中指定要访问的路点的顺序，而在第二个变体中允许机器人以任何顺序访问路点。当机器人到达航路点时，也设置视场约束，即，机器人在任何航路点处的定向被限制为属于航路点处的给定角度区间。最短路径问题首先解决了两个航路点的视野限制使用庞特里亚金的最小值原则。使用的两点问题的结果，严格的下限和上限的最短路径的长度上开发访问n个点通过放松的要求，到达角必须等于出发角的机器人在每个航路点。理论界也提供了所提出的算法获得的可行解的长度。仿真结果验证了20个航路点的情况下的边界的性能。
2018-09-11 cs.RO
Where to Look Next: Learning Viewpoint Recommendations for Informative Trajectory Planning
Delft University of Technology（代尔夫特理工大学）；Czech Technical University in Prague（捷克理工大学）
本文提出一种基于深度强化学习的信息感知策略，用于指导递推时间 horizon轨迹优化规划器，以在动态可行且无碰撞的轨迹中最大化信息增益并减少环境不确定性。
2022-03-04 cs.RO
Multi-Sensor Next-Best-View Planning as Matroid-Constrained Submodular Maximization
University of Hamburg（汉堡大学）；TU Darmstadt（达姆施塔特工业大学）；Tampere University（坦佩雷大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
3D场景模型在机器人中用于路径规划、对象操作和结构检查等任务。我们考虑使用多个机器人的团队捕获的深度图像创建3D模型的问题。每个机器人选择一个视点并从中捕获深度图像，然后将图像融合以更新场景模型。重复该过程，直到获得期望质量的场景模型。下一个最佳视图规划使用当前场景模型来选择下一个视点。目标是选择视点，使得使用它们捕获的图像最大程度地提高场景模型的质量。在本文中，我们解决了多个深度相机的下一个最佳视图规划。我们提出了一个效用函数，得分的观点，并避免多个传感器之间的重叠。我们表明，多传感器的下一个最佳视图规划与此效用函数是一个例子下的拟阵约束下的子模最大化。这使得规划问题可以通过多项式时间的贪心算法来解决，该算法产生的解与最优解相差一个常数因子。我们评估我们的规划算法的性能，在模拟实验中，多达8个传感器，并在现实世界的实验中，使用两个机器人手臂配备深度相机。
2020-07-04 cs.CV cs.RO
Look before you sweep: Visibility-aware motion planning
Massachusetts Institute of Technology（麻省理工学院）
本文讨论的问题规划的机器人与定向障碍物检测传感器，必须通过一个杂乱的环境。规划目标是通过为整个机器人（包括传感器）找到一条路径来保持安全，该路径保证机器人在被传感器看到之前不会移动到工作空间的任何部分。虽然大量的工作已经解决了这个问题的一个版本，其中的“视野”的传感器是一个球体周围的机器人，有很少的工作解决机器人与狭窄或闭塞的视野。我们给出了一个正式的定义的问题，几种解决方案的方法与不同的计算权衡，并在说明域的实验结果。
2019-01-18 cs.RO
2DGS-Planner: Rasterization-based Path Planning in 2D Gaussian Splatting Map
2DGS-Planner是基于2D高斯溅射地图的地面机器人路径规划器，通过光栅化读取几何信息，实验显示其路线图连通性、 clearance 估计及规划成功率优于基线。
2026-10-09 cs.RO
Robust Trajectory Generation and Control for Quadrotor Motion Planning with Field-of-View Control Barrier Certification
Department of Computer Science, Brown University（计算机科学系，布朗大学）；Department of Sciences and Methods for Engineering, University of Modena and Reggio Emilia（工程科学与方法系，摩德纳和雷吉奥艾米利亚大学）
提出一种由控制障碍函数认证的实时无通信分布式导航算法，通过建模和控制机载感知行为以在有限视场内保持邻居位置估计，对临时跟踪丢失具有鲁棒性，并贡献了连续时间鲁棒轨迹生成与控制方法及MPC-CBF离散优化求解方案。
2025-11-02 cs.RO
Becoming a Fruit Ninja: Real-Time Probabilistic Kinodynamic Planning for Manipulator Projectile Interception
Purdue University（普渡大学）
提出FRUITNINJA，一种GPU上的任意时间采样规划器，通过精确三次曲线和并行搜索满足执行器限制，在实时模拟中显著提升机械臂抛射物拦截成功率。
2026-09-22 cs.RO
Risk-aware Path and Motion Planning for a Tethered Aerial Visual Assistant in Unstructured or Confined Environments
Texas A&M University（德克萨斯A&M大学）
本研究旨在发展系留式无人机的路径与运动规划演算法，以视觉辅助非结构化或受限环境中的遥操作主机器人。对于核操作、拆弹小组、灾难机器人和其他具有新任务或高度闭塞环境的领域，实践的新兴状态是使用两个机器人，一个主机器人和一个辅助机器人，作为视觉助手，通过提供外部视角来克服传感器的感知限制。然而，使用助理的好处受到限制，至少有三个原因：（1）用户倾向于选择次优视点，（2）仅考虑地面机器人助手，忽略了用于室内飞行的小型无人驾驶航空器系统的快速发展，（3）为第二遥控机器人引入整个机组人员不是成本有效的，可能引入进一步的团队合作需求，因此可能导致沟通不畅本论文提出以自主式系留空中视觉助手取代辅助机器人及其操作人员。随着预先建立的理论的观点质量的基础上启示，本文旨在定义和表示机器人运动风险在非结构化或受限的环境。基于这些理论，一种新的高层次的路径规划算法的开发，使风险意识规划，平衡之间的权衡，以提供安全和值得信赖的视觉辅助飞行的视点质量和运动风险。然后在系留无人机平台上实现规划的飞行轨迹。感知和致动被定制为以低级运动套件的形式适合系留代理，包括具有可忽略的计算开销的新颖的基于系留的定位模型、基于位置和速度控制的系留机身的运动基元以及两个不同的运动基元。
2020-07-19 cs.RO
PSO-Based Optimal Coverage Path Planning for Surface Defect Inspection of 3C Components with a Robotic Line Scanner
The Hong Kong Polytechnic University（香港理工大学）；Shanghai Microintelligence Technology Co. Ltd（上海微智科技有限公司）
本文提出了一种基于PSO的机器人线扫描仪覆盖路径规划方法，通过混合区域分割和自适应算法生成局部路径，并优化全局路径序列，实现3C自由曲面物体表面缺陷的高效自动检测。
2024-07-28 cs.RO
Online Coverage Planning for an Autonomous Weed Mowing Robot with Curvature Constraints
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
用于放牧的土地约占美国土地的三分之一。这些地区可能非常崎岖。然而，他们需要保持，以防止杂草接管营养草地。这可能是一项艰巨的任务，特别是在有机农业的情况下，因为不能使用除草剂。在本文中，我们提出了设计的牛机器人，自主除草机器人的牧场。Cowbot是一款电动割草机，设计用于奶牛牧场的崎岖环境，并为有机农场的杂草控制提供了一种具有成本效益的方法。牛机器人的路径规划是具有挑战性的，因为牧场上的杂草分布是未知的。在有限的视野范围内，在线路径规划是必要的，以检测杂草和规划路径割草。研究了具有曲率和视野约束的自动割草机的一般在线路径规划问题。我们开发了两个在线路径规划算法，能够利用新的信息杂草优化路径长度，并确保覆盖。我们部署我们的算法上的Cowbot和进行现场实验，以验证我们的方法的适用性，实时路径规划。我们还进行了广泛的模拟实验，结果表明，我们的算法相比基线boustrophedon和随机搜索的覆盖路径的路径长度减少了60%。
2021-11-19 cs.RO
Towards Search-based Motion Planning for Micro Aerial Vehicles
University of Pennsylvania（宾夕法尼亚大学）；UC San Diego（加州大学圣地亚哥分校）
基于搜索的运动规划已被用于移动机器人的许多应用。然而，由于微型飞行器（MAVs）复杂的动力学和实时计算的要求，它还没有得到充分的发展和应用，规划的全状态轨迹。在本文中，我们探讨了一个基于搜索的运动规划框架，计划动态可行的，无碰撞，分辨率最佳和完整的轨迹。本文扩展了基于搜索的规划方法，以解决三个重要的情况下，微型飞行器导航：（i）规划安全的轨迹存在的运动不确定性;（ii）规划与约束的视野和（iii）规划在动态环境中。我们表明，这些问题可以有效地解决，高效地使用所提出的基于搜索的运动基元规划。
2018-10-07 cs.RO
Coverage Path Planning using Path Primitive Sampling and Primitive Coverage Graph for Visual Inspection
A*STAR Artificial Intelligence Initiative (A*AI)（新加坡科技研究局人工智能计划（A*AI））；Institute of High Performance Computing（高性能计算研究所）；Carnegie Mellon University（卡内基梅隆大学）
对于无人机视觉检测应用来说，规划路径以收集目标物体的表面信息对于提高效率和降低总体成本至关重要。覆盖路径规划（CPP）的问题往往是制定这些检测应用程序，因为覆盖的要求。传统上，研究人员通常首先规划和优化视点以捕获表面信息，然后优化访问所选视点的路径。在本文中，我们提出了一种新的规划方法，直接采样和规划的检测路径的摄像机配备的无人机，以获取视觉和几何信息的目标结构作为视频流设置在复杂的3D环境。该规划方法首先通过体素膨胀和减法的基础上使用采样方法生成的目标对象周围的通路点和路径基元。然后提出了一种新的基元覆盖图（PCG）编码的拓扑信息，飞行距离和可见性信息，与采样的途经点和路径基元。最后进行图搜索，在PCG中找到结果路径，完成具有覆盖要求的检测任务。通过仿真和现场试验验证了该方法的有效性。
2019-08-08 cs.RO
SG-AMP: Scene-Graph-Guided Active Perception and Semantics-Aware Motion Planning for Pepper Plants
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；Center for Robotics（机器人中心）
该研究提出SG-AMP算法，集成多模块技术实现辣椒植株的主动感知与运动规划，在辣椒数据集上取得了语义mIoU等指标的良好表现，且输入条件不确定性优化了NYUv2相关指标。
2026-09-02 cs.RO
Is it Worth to Reason about Uncertainty in Occupancy Grid Maps during Path Planning?
Cornell University（康奈尔大学）；Massachusetts Institute of Technology（麻省理工学院）
本文研究了在路径规划过程中的障碍物的不确定性存在的推理的有用性，这通常源于使用概率占用网格地图表示的环境时，通过一个嘈杂的传感器，如立体相机映射。传统的规划模式规定使用一个硬阈值的占用概率来宣布一个细胞是一个障碍，并相应地规划一个单一的路径，同时对待未知的空间作为自由。我们将这种方法与一种新的不确定性感知规划器进行比较，该规划器规划两种不同的路径假设，然后将其初始轨迹段合并为一个以“下一个最佳视图”姿势结束的单一轨迹段。在这个信息视图被采取后，计划者承诺其中一个假设，或者如果碰撞即将发生，则承诺一个全新的假设。仿真结果表明，该规划器与传统规划器相比，具有更好的规划效果。结果表明存在规划方案-如当环境包含死胡同，或当目标被放置在障碍物附近-其中推理的不确定性可以显着减少机器人的行驶距离，并增加达到目标的机会。新的规划器也在一个真正的Clearpath Jackal机器人上进行了验证，该机器人配备了ZED 2立体摄像机。
2022-05-27 cs.RO
Active Next-Best-View Optimization for Risk-Averse Path Planning
Department of Mechanical Engineering and Mechanics, Lehigh University（机械工程与力学系，莱维大学）；Department of Computer and Information Science, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学）
提出统一框架，结合风险规避路径细化与下一最佳视角优化，利用尾部敏感风险图和黎曼梯度下降，在不确定环境中实现安全高效的主动导航。
2025-10-07 cs.CV cs.RO
Multi-Arm Robot Task Planning for Fruit Harvesting Using Multi-Agent Reinforcement Learning
Beijing Academy of Agriculture and Forestry Sciences（北京市农林科学院）；Jiangsu University（江苏大学）
收获机器人的出现为解决农业劳动力资源有限和水果需求不断增长的问题提供了一个有希望的解决方案。尽管收割机器人领域取得了显著进步，但这种技术在果园中的应用仍然有限。关键的挑战是提高运营效率。针对四臂采摘机器人，考虑臂内冲突、自由度耦合和动态任务，提出了一种任务规划策略。所提出的方法采用马尔可夫博弈框架来制定四臂机器人收获任务，这避免了解决NP-难调度问题的计算复杂性。此外，一个多智能体强化学习（MARL）结构与完全集中的协作协议被用来训练基于MARL的任务规划网络。通过仿真和果园试验，验证了该方法在多臂收获机器人中的有效性。
2023-03-01 cs.RO cs.SY eess.SY
Driving among Flatmobiles: Bird-Eye-View occupancy grids from a monocular camera for holistic trajectory planning
Renault S.A.S（雷诺股份有限公司）；Sorbonne universités, Université de technologie de Compiègne, CNRS, Heudiasyc（索邦大学，贡比涅技术大学，法国国家科学研究中心，Heudiasyc实验室）；Monash University（莫纳什大学）
基于摄像头的端到端驾驶神经网络带来了将摄像头图像映射到驾驶控制命令的低成本系统的希望。这些网络之所以吸引人，是因为它们取代了费力的手工构建模块，但它们的黑匣子性质使它们在失败的情况下难以深入研究。最近的工作已经表明了使用显式中间表示的重要性，它具有增加网络决策的可解释性和准确性的好处。尽管如此，这些基于相机的网络在相机视图中推理，其中尺度不是均匀的，因此不直接适合于运动预测。在本文中，我们介绍了一种新的单目摄像机的整体端到端的轨迹规划网络与鸟瞰图（BEV）的中间表示，在二进制占领网格地图（OGM）的形式。为了简化从摄像机图像预测BEV中的OGM，我们引入了一种新的方案，其中首先将OGM预测为摄像机视图中的语义掩模，然后使用两个平面之间的单应性在BEV中变形。允许这种变换应用于3D对象（如车辆）的关键要素在于仅预测它们在相机视图中的足迹，因此尊重单应性所暗示的平坦世界假设。
2020-08-10 cs.AI cs.CV cs.RO
A Review on Viewpoints and Path-planning for UAV-based 3D Reconstruction
Institute of Geodesy and Photogrammetry, Technische Universität Braunschweig（布伦瑞克工业大学测量与摄影测量研究所）；University of Tehran（德黑兰大学）；Intelligent Robotics Research Division, ETRI（韩国电子通信研究院智能机器人研究部）；New York University（纽约大学）；University of Edinburgh（爱丁堡大学）
本文综述了基于单架无人机的大规模室外3D重建中的视点选择与路径规划算法，分析了无模型和基于模型方法的创新与局限，并探讨了现有挑战与未来前景。
2022-05-07 cs.CV cs.GR cs.RO
Explicit-risk-aware Path Planning with Reward Maximization
Texas A&M University（得克萨斯农工大学）；Department of Computer Science and Engineering, Texas A&M University（得克萨斯农工大学计算机科学与工程系）
本文开发了一种路径规划器，该路径规划器最小化风险（例如，运动执行），同时最大化累积奖励（例如，传感器视点的质量）由非结构化或受限环境中的视觉辅助或跟踪场景激发。在这些场景中，机器人在向目标移动时应保持最佳视点。然而，在非结构化或受限的环境中，某些路径可能会增加碰撞的风险，因此存在风险和回报之间的权衡。传统的状态相关风险或概率不确定性建模不考虑路径级风险或难以获得。该风险-回报计划器明确地将风险表示为运动计划的函数，即，路径。该规划器无需手动分配风险对规划器造成的负面影响，而是采用预先建立的视点质量地图，并同时规划目标位置和通往目标位置的路径，以便在最小化风险的同时最大化沿着整个路径的总体回报。给出了精确算法和近似算法，并在一个实际的绳系飞行器上进行了求解。除了视觉辅助问题，该框架还提供了一个新的规划范式，以解决动态风险和缺乏子结构最优性的最小风险规划，并平衡回报和风险之间的权衡。
2019-03-07 cs.AI cs.RO
From Vision to Harvest: Benchmarking Vision-Language Models for Multi-Arm Robotic Fruit Harvesting
University of California, Merced（加州大学默塞德分校）；University of California, Davis（加州大学戴维斯分校）
该研究首次提出多臂机器人水果采摘的视觉语言模型基准测试，验证了VLM零样本规划的有效性，并指出3D路径点生成与碰撞协调是实际部署的主要瓶颈。
2026-09-15 cs.CV cs.RO
Safe Leaf Manipulation for Accurate Shape and Pose Estimation of Occluded Fruits
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；Center for Robotics（机器人中心）；Robotics Institute Germany（德国机器人研究所）
针对叶片遮挡导致水果形状与姿态估计不准的问题，提出主动操作叶片的方法，结合场景一致形状补全与感知驱动变形图模型，在甜椒植株上验证了安全移叶与精确估计的有效性。
2025-02-24 cs.RO
Learning Interpretable End-to-End Vision-Based Motion Planning for Autonomous Driving with Optical Flow Distillation
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
最近，基于深度学习的方法在自动驾驶方面取得了令人印象深刻的性能。然而，端到端的基于视觉的方法通常具有有限的可解释性，使得深度网络的行为难以解释。因此，其潜在的应用在实践中可能受到限制。为了解决这个问题，我们提出了一个可解释的端到端的基于视觉的自动驾驶运动规划方法，简称为IVMP。给定一组过去的环绕视图图像，我们的IVMP首先预测鸟瞰图空间中的未来自我中心语义地图，然后将其用于规划自动驾驶车辆的轨迹。预测的未来语义地图不仅提供了有用的可解释信息，还允许我们的运动规划模块处理概率较低的对象，从而提高自动驾驶的安全性。此外，我们还开发了一个光流蒸馏范例，它可以有效地提高网络，同时仍然保持其实时性能。在nuScenes数据集和闭环仿真上进行的大量实验表明，我们的IVMP在模仿人类驾驶员方面的成功率明显高于最先进的方法。我们的项目页面可以在www.example.com上找到。
2021-04-18 cs.CV cs.RO
Linear Quadratic Guidance Law for Joint Motion Planning of a Pursuer-Turret Assembly
Air Force Research Laboratory（空军研究实验室）
本文研究带有旋转炮塔的车辆的联合运动规划，提出一种在碰撞三角附近线性化并具有解析解的最小努力制导律，以在炮塔有限视场和范围限制内捕获机动目标，并实现炮塔与车辆的协同。
2024-03-22 cs.RO cs.SY eess.SY
Nonmyopic View Planning for Active Object Detection
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）
本文提出通过控制移动深度相机视角进行主动物体检测，通过规划视图序列平衡移动能耗与识别正确假设的概率，实验表明优于贪心方法。
2013-09-20 cs.CV cs.RO cs.SY
Learning to View: Decision Transformers for Active Object Detection
Amazon Lab126（亚马逊Lab126）；Carnegie Mellon University（卡内基梅隆大学）
主动感知描述了一种广泛的技术，它将规划和感知系统结合起来，以某种方式移动机器人，为机器人提供更多有关环境的信息。在大多数机器人系统中，感知通常独立于运动规划。例如，传统的目标检测是被动的：它只对接收到的图像进行操作。然而，如果我们允许规划消耗检测信号并移动机器人以收集最大化结果质量的视图，我们就有机会改善结果。在本文中，我们使用强化学习（RL）的方法来控制机器人，以获得最大限度地提高检测质量的图像。具体来说，我们建议使用具有在线微调的决策Transformer，它首先使用预先收集的专家数据集优化策略，然后通过探索环境中更好的解决方案来改进学习到的策略。我们评估所提出的方法从室内场景模拟器收集的交互式数据集的性能。实验结果表明，我们的方法优于所有基线，包括专家策略和纯离线RL方法。我们还提供了奖励分布和观察空间的详尽分析。
2023-01-23 cs.CV cs.RO
Fruit Mapping with Shape Completion for Autonomous Crop Monitoring
University of Bonn（波恩大学）
由于植物的复杂结构，自主作物监测是一项困难的任务。来自叶子的遮挡使得不可能获得关于所有果实的完整视图，例如，胡椒植物因此，从部分信息中准确估计水果的形状和体积对于实现进一步的高级自动化任务（例如产量估计和自动水果采摘）至关重要。在本文中，我们提出了一种方法来映射水果的植物和估计其形状匹配超椭球。我们的系统分割图像中的水果，并使用其掩模生成点云的水果。为了组合所获取的点云序列，我们利用实时3D映射框架，并基于截断的有符号距离场建立水果地图。我们从这个地图聚类水果，并使用优化的超椭圆体进行匹配，以获得准确的形状估计。在我们的实验中，我们在各种模拟场景中使用配备RGB-D相机的机器人手臂，我们的方法可以准确地估计水果体积。此外，我们还根据商业温室环境中记录的数据提供了估计水果形状的定性结果。
2022-03-29 cs.RO
GS-NBV: a Geometry-based, Semantics-aware Viewpoint Planning Algorithm for Avocado Harvesting under Occlusions
Autonomous Robots and Control Systems Lab, University of California, Riverside（加州大学河滨分校自主机器人与控制系统实验室）；Perception, Robotics, AI, Sensing Lab, University of Colorado, Boulder（科罗拉多大学博尔德分校感知、机器人、人工智能与传感实验室）
针对牛油果自动化采摘中因遮挡和形态不规则导致采摘点识别困难的问题，提出基于几何与语义感知的视点规划算法GS-NBV，通过一维圆采样和采摘分数指标引导相机至最佳视角，实现100%采摘成功率。
2025-06-29 cs.RO
Human Perception-Optimized Planning for Comfortable VR-Based Telepresence
Centro de Investigación en Matemáticas (CIMAT)（数学研究中心）；University of Oulu（奥卢大学）
本文介绍了一个新兴的运动规划问题，考虑到一个人，沉浸在一个远程机器人的视角。挑战在于使体验既有效（例如提供存在感）又舒适（例如避免不良疾病症状，包括恶心）。我们把这个具有挑战性的新领域称为人类感知优化规划，并提出了一个通用的多目标优化框架，可以在许多设想的情况下实例化。然后，我们考虑一个特定的VR临场感任务作为人类感知优化规划的情况下，我们模拟一个机器人，发送360视频到远程用户通过盔装显示器观看。在这个特定的任务中，我们计划的轨迹可以最大限度地减少VR疾病（从而最大限度地提高舒适度）。A* 型方法用于创建分段线性轨迹的帕累托最优集合，同时考虑提高舒适度的标准。我们进行了一项研究，与人类受试者参观虚拟博物馆，在我们的算法计算的路径进行比较，对参考RRT为基础的轨迹。一般来说，用户遭受较少的VR病，更喜欢所提出的算法创建的路径。
2020-08-04 cs.HC cs.MM cs.RO
Occlusion Handling by Pushing for Enhanced Fruit Detection
LIRMM, Univ. Montpellier, CNRS（蒙彼利埃大学-法国国家科学研究中心-蒙彼利埃机器人研究所）；Monash University（莫纳什大学）
本文提出通过推动清除遮挡物提升水果检测效果，结合深度学习、经典图像处理和3D霍夫变换实现遮挡处理。
2026-04-07 cs.RO
Development and evaluation of automated localisation and reconstruction of all fruits on tomato plants in a greenhouse based on multi-view perception and 3D multi-object tracking
本文提出一种结合多视角感知与3D多目标跟踪的方法，在高度遮挡的温室环境中构建番茄果实通用表示，实现总数估计最大误差5.08%、跟踪准确率最高71.47%，并引入新跟踪指标以分析定位与表示误差。
2023-11-28 cs.CV cs.RO
ObjView-Bench: Rethinking Difficulty and Deployment for Object-Centric View Planning
University of Bonn（波恩大学）
本文提出ObjView-Bench框架，通过分离视图规划评估中的三个关键因素，改进了面向对象的视图规划评估方法，并展示了部署导向的评估协议对方法性能的影响。
2026-05-11 cs.RO
Efficient View Planning Guided by Previous-Session Reconstruction for Repeated Plant Monitoring
Humanoid Robots Lab, University of Bonn（波恩大学人形机器人实验室）；Lab for Photogrammetry and Robotics, University of Bonn（波恩大学摄影测量与机器人实验室）
本文提出基于先前会话重建的高效视图规划方法，通过重用前一次会话的3D模型提升当前会话的主动感知能力，减少执行视图数量和机器人路径长度。
2026-03-23 cs.RO
Affordance-Driven Next-Best-View Planning for Robotic Grasping
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对杂乱场景中遮挡物体难以抓取的问题，本文提出ACE-NBV，通过新视角想象预测抓取可供性并选择下一最佳视角，仿真与真实机器人实验验证了其有效性。
2023-11-03 cs.RO
Efficient Symbolic Planning with Views
Honda Research Institute Europe GmbH（本田欧洲研究院）
本文提出将复合属性分解为基本属性以增强跨任务泛化，并通过将规划问题拆分为逐步增加属性的视图序列来平衡规划速度与解的质量。
2024-05-06 cs.RO
GCNGrasp-VP: Affordance-Guided View Planning for Efficient Task-Oriented Grasping
Shenzhen Key Laboratory of Robotics and Computer Vision（机器人与计算机视觉深圳重点实验室）
提出GCNGrasp-VP框架，通过功能场预测引导主动视角规划，无需场景重建，单次视角调整即可显著提升遮挡下的任务导向抓取成功率。
2026-06-18 cs.RO
Surface Edge Explorer (SEE): Planning Next Best Views Directly from 3D Observations
Oxford Robotics Institute（牛津机器人研究所）；Oxford University（牛津大学）
测量3D场景是机器人技术中的一项常见任务。系统可以通过迭代地获得测量值来自主地这样做。这种规划观测以改进场景模型的过程称为次佳视图（NBV）规划。NBV规划方法通常使用体积（例如，体素网格）或表面（例如，三角网格）表示。体积方法可以很好地在场景之间推广，因为它们不依赖于表面几何形状，但不能缩放到大型场景的高分辨率模型。表面表示可以获得任何比例的高分辨率模型，但通常需要调整不直观的参数或多个调查阶段。提出了一种基于密度表示的无场景模型的NBV规划方法。Surface Edge Explorer（SEE）使用电流测量的密度来检测和探索观察到的表面边界。实验表明，这种方法提供更好的表面覆盖率在较低的计算时间比评估国家的最先进的体积的方法，同时移动相等的距离。
2018-02-23 cs.RO
NeU-NBV: Next Best View Planning Using Uncertainty Estimation in Image-Based Neural Rendering
Institute of Geodesy and Geoinformation, University of Bonn（波恩大学 geodesy与地理信息研究所）
针对有限预算下未知场景的最优图像采集问题，提出基于图像神经渲染不确定性估计的无地图规划框架NeU-NBV，迭代选择高不确定视角采集图像，实验证明其场景表征精度优于基线方法。
2023-07-23 cs.RO
Onboard View Planning of a Flying Camera for High Fidelity 3D Reconstruction of a Moving Actor
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
提出一种基于无人机的动作捕捉系统，通过引入几何图元和 Pixel-Per-Area (PPA) 代理指标实现机载视角规划，从而在运动捕捉过程中生成高质量的动态3D重建。
2023-07-31 cs.RO
