High Precision Hydraulic Excavator Control for Heavy-Duty Grading
ETH Zürich, Robotic Systems Lab（苏黎世联邦理工学院机器人系统实验室）
本文提出一种自主控制器，实现高精度平整作业，适用于负载传感和负流量控制设备，通过校准过程可适应不同液压系统，精度提升2.6倍，提升设备使用效率。
2026-05-10 cs.RO
Calibrated Dynamic Modeling for Force and Payload Estimation in Hydraulic Machinery
ETH Zürich（苏黎世联邦理工学院）；Hexagon AB（海克斯龙公司）
提出一种可改装的液压挖掘机2D力与载荷估计动态模型辨识方法，仅需最少校准且无机器先验知识，在25t挖掘机上实现1%载荷精度和383N力幅值精度，准确性与泛化能力优于经典准静态方法和商用系统。
2025-10-13 cs.RO
Coinbot: Intelligent Robotic Coin Bag Manipulation Using Deep Reinforcement Learning And Machine Teaching
Microsoft（微软）；Neal Analytics
考虑到在银行现金中心移动沉重的实物货币袋的困难，对培训和部署能够在协作工作空间中执行此类任务的安全自主系统的需求很大。然而，随着大量的刚性体硬币包含在它的袋子的变形特性，显着增加了袋检测，抓取和操纵的机器人夹具和arm.In本文中，我们应用深度强化学习和机器学习技术的任务控制的协作机器人自动卸载硬币袋从手推车的挑战。为了完成抓取硬币袋等柔性材料的特定任务过程，在操作过程中质量中心发生变化，在仿真中实现了一种特殊的夹持器，并在物理硬件中设计。利用深度相机和使用深度学习的目标检测，已经完成了包检测和姿态估计以选择最佳抓取点。提出了一种基于深度强化学习的智能方法，用于提出机器人末端执行器的最佳配置，以最大限度地提高抓取成功率。一种增强的运动规划被用来提高机器人操作期间的运动规划的速度。在实际环境中，使用拟议管道进行的实际试验表明成功率超过96%。
2020-12-02 cs.LG cs.RO
Design, Fabrication and Control of an Hydraulic Elastomer Actuator
Tampere University of Technology（坦佩雷理工大学）
本文介绍了一种柔性二维机械臂的设计、制造和控制，即所谓的软驱动器。我们专注于由恒压液压供应和调制开/关阀驱动的纤维增强弹性体执行器。对于给定的直径，我们研究了四种不同的弹性体材料和增强纤维匝数对致动器产生的力和最大弯曲角度的影响。对于研究的其余部分，我们使用聚二甲基硅氧烷（PDMS），每170 mm长度的致动器具有240个纤维匝，其在我们的实验中承受最高的压力和力。在本文的其余部分，我们介绍了两种控制方法。首先，我们表明，是可能的，以合理地准确地控制管内的压力，而无需测量压力，结合一个简单的线性管模型。这可以用于例如具有PI位置控制的内外环配置中，以实现高性能而无需压力测量。其次，我们的实验表明，开关位置控制具有很好的稳态精度和可接受的瞬态。使用外部视觉系统测量致动器尖端位置。我们的实验包括我们的软机械手的性能分析，同时自由移动，以及当携带负载。
2018-06-13 cs.RO
Towards Learning Boulder Excavation with Hydraulic Excavators
Robotic Systems Lab, ETH Zurich（瑞士苏黎世联邦理工学院机器人系统实验室）；Gravis Robotics AG（Gravis机器人技术公司）
本文提出在仿真中用强化学习训练标准液压挖掘机铲斗清除不规则巨石，仅依赖稀疏LiDAR和本体感觉，现场测试成功率70%，证明标准设备可在恶劣户外条件下学习复杂操控。
2025-09-22 cs.RO
Learning Quadrupedal Locomotion for a Heavy Hydraulic Robot Using an Actuator Model
Robotics and Artificial Intelligence Lab, KAIST（机器人与人工智能实验室，韩国科学技术院）；Robotics Team, HYUNDAI Rotem（HYUNDAI Rotem机器人团队）；Hydraulic Robot Laboratory, Human-Centric Robotics R&D Department, Korea Institue of Industrial Technology（液压机器人实验室，人本机器人研发部门，韩国工业技术研究院）
本研究提出了一种基于液压动力学的分析致动器模型，用于重载液压四足机器人在RL中的运动控制，实现了稳定的sim-to-real转移。
2026-01-16 cs.AI cs.RO
Reinforcement Learning Control of a Forestry Crane Manipulator
Umeå University（于默奥大学）；Algoryx Simulation AB（Algoryx Simulation AB（阿尔戈里克斯仿真公司））
林业机械是在非结构化生产森林环境中执行复杂操作任务的重型车辆。加上车载液压驱动起重机复杂的动力学特性，崎岖的森林地形对林业自动化提出了特殊的挑战。本研究在模拟环境下探讨强化学习控制应用于林业起重机械手之可行性。我们的研究结果表明，它是可能的，通过调用一个简单的课程，在一个深强化学习设置学习成功的致动器空间控制策略的能源效率日志抓取。给定所选原木的姿态，我们的最佳控制策略达到了97%的抓取成功率。在奖励函数中包括能量优化目标，与在没有能量优化激励的情况下学习的控制策略相比，能量消耗显著降低，而周期时间的增加是微不足道的。在起重机操作过程中，可以在整体更平滑的运动和加速度曲线中观察到能量优化效果。
2021-03-03 cs.RO
Efficient Model-Based Reinforcement Learning for Robot Control via Online Learning
CREATE Lab, EPFL, Lausanne, Switzerland（洛桑联邦理工学院CREATE实验室）
本研究提出一种在线基于模型的强化学习算法，基于实时交互数据构建动力学模型并更新策略，在液压挖掘机臂和软体机器人臂上验证了其高样本效率与鲁棒自适应能力，为机器人本体高效学习提供了新方案。
2025-10-21 cs.RO
Size Doesn't Matter: Material-State Reinforcement Learning for Excavator Transferable Soil Manipulation
ETH Zürich（苏黎世联邦理工学院）；Hexagon Innovation Hub GmbH（海克斯康创新中心有限公司）
本研究提出基于物质点法模拟和材料状态条件化强化学习的挖掘机土方操作控制器，在归一化末端执行器空间实现跨机器迁移，自主完成42米堤坝构建，性能媲美专家操作员。
2026-09-14 cs.RO
3D Operation of Autonomous Excavator based on Reinforcement Learning through Independent Reward for Individual Joints
Seoul National University（首尔大学）
本文针对挖掘机精确控制难题，提出基于强化学习的控制算法，通过为各关节设置独立奖励并将铲斗工作空间从二维扩展至三维，实现无需人工干预的自主连续作业。
2024-06-28 cs.RO
Dynamic Throwing with Robotic Material Handling Machines
Robotic Systems Lab, ETH Zurich（苏黎世联邦理工学院机器人系统实验室）
针对液压物料搬运机械自动化限于半静态循环的问题，提出基于强化学习（RL）的欠驱动臂动态控制器，通过利用被动关节实现动态抛掷，经仿真和12吨平台实验验证，可将物体抛至静态可达区外，为提升自主物料搬运效率和精度提供了可能。
2024-11-27 cs.RO
Robust Deep Learning Control with Guaranteed Performance for Safe and Reliable Robotization in Heavy-Duty Machinery
Business Finland Partnership Project（Business Finland合作伙伴项目）；Tampere（塔尔帕）
本研究提出了一种鲁棒深度学习控制框架，旨在提升重型机械在电气化和自主性转型中的安全性和可靠性，通过模块化设计和分层策略实现性能保障。
2025-12-29 cs.RO cs.SY eess.SY
Human-Machine Co-Adaptation for Robot-Assisted Rehabilitation via Dual-Agent Multiple Model Reinforcement Learning (DAMMRL)
Shandong First Medical University（山东第一医科大学）；Shandong Academy of Medical Sciences（山东省医学科学院）；University of Technology Sydney（悉尼科技大学）
本文提出双智能体多模型强化学习（DAMMRL）框架，结合多模型自适应控制与协同自适应策略，用于机器人辅助踝关节康复，并通过13名健康受试者实验验证了其可行性与潜力。
2024-07-31 cs.RO
Sim-to-real transfer of active suspension control using deep reinforcement learning
Umeå University（于默奥大学）；Algoryx Simulation AB（Algoryx仿真公司）；Skogforsk (the Forestry Research Institute of Sweden)（瑞典林业研究院（Skogforsk））；Karlstad University（卡尔斯塔德大学）
本文研究重型林业车辆主动悬架控制的仿真到现实迁移问题，通过系统辨识、域随机化、动作延迟和奖励惩罚训练深度强化学习策略，实现了与仿真接近的现实控制性能，并表明后续感知与性能开发可主要在仿真中进行。
2024-04-30 cs.RO
Task-Oriented Grasping Using Reinforcement Learning with a Contextual Reward Machine
department of Computer Science, The University of Alabama（计算机科学系，阿拉巴马大学）；School of Computing, Wichita State University（计算学院，威斯康星州立大学）
本文提出一种结合上下文奖励机的强化学习方法，用于提升抓取任务的成功率和学习效率，实验证明其在模拟和现实中的优越性能。
2025-12-11 cs.RO
Energy-Cautious Designation of Kinematic Parameters for a Sustainable Parallel-Serial Heavy-Duty Manipulator Driven by Electromechanical Linear Actuator
Faculty of Engineering and Natural Sciences, Tampere University（坦佩雷大学工程与自然科学学院）
本研究针对非公路机械电气化转型，提出一种优化车载串并联重型机械臂运动学参数的方法，以促进机电直线执行器替代液压执行器，在保留原有能力的同时最小化系统能耗。
2024-10-11 cs.RO cs.SY eess.SY
Task Allocation for Autonomous Machines using Computational Intelligence and Deep Reinforcement Learning
Faculty of Information Technology, Monash University（信息技术学院，墨尔本大学）；Griffith University（格里菲斯大学）；Deakin University（德肯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；The University of Queensland（昆士兰大学）；Swinburne University of Technology（斯威本技术大学）
本文综述了基于计算智能和深度强化学习的自主机器任务分配方法，分析其优缺点并提出未来研究方向，指出深度强化学习正成为该领域的重要趋势。
2025-08-28 cs.AI cs.RO
A comparative evaluation of machine learning methods for robot navigation through human crowds
Cisco（思科）；University of York（约克大学）；JetBrains Research（JetBrains研究院）
机器人在人群中导航对人工智能系统构成了严峻的挑战，因为这些方法应该实现快速有效的移动，但同时不允许损害安全。迄今为止，大多数方法都集中在将寻路算法与机器学习相结合，用于行人步行预测。最近，强化学习技术已经在研究文献中提出。在本文中，我们进行了比较评估的寻路/预测和强化学习方法上的人群运动数据集收集的监控视频在纽约大中央车站。结果表明，国家的最先进的强化学习方法的强大优势，与国家的最先进的行为预测技术的寻路。
2020-12-16 cs.LG cs.RO
Teaching a Machine to Read Maps with Deep Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
使用2D地图来导航复杂的3D环境的能力是相当了不起的，甚至对许多人来说是困难的。定位和导航也是机器人等领域的重要问题，最近已成为深度强化学习社区的焦点。在本文中，我们教一个强化学习代理阅读地图，以找到一个随机迷宫，它从来没有见过的最短的路。我们的系统结合了几种最先进的方法，如A3C，并结合了新的元素，如经常性的定位细胞。我们的智能体学习基于3D第一人称图像和近似方向角来定位自己。智能体可以很好地推广到更大的迷宫，这表明它学习了有用的定位和导航功能。
2017-11-20 cs.AI cs.LG cs.RO
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services（亚马逊云科技）
我们提出了DeepSim，一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域，并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块，如冲突检测，行为控制，域随机化，产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中，我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Optimizing Industrial HVAC Systems with Hierarchical Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；DeepMind（深度思维）
强化学习（RL）技术已经被开发用于优化工业冷却系统，与传统的启发式策略相比，提供了大量的能量节省。工业控制中的一个主要挑战涉及由于机械约束而在现实世界中可行的学习行为。例如，某些操作只能每隔几个小时执行一次，而其他操作可以更频繁地执行。如果没有广泛的奖励工程和实验，RL代理可能无法学习机器的实际操作。为了解决这个问题，我们使用分层强化学习与多个代理，控制子集的行动，根据他们的操作时间尺度。我们的分层方法在现有基准上实现了节能，同时保持了限制，例如在模拟HVAC控制环境中在安全范围内运行制冷机。
2022-09-16 cs.AI cs.LG cs.MA
