Gait learning for soft microrobots controlled by light fields
Micro, Nano, and Molecular Systems Group, Max Planck Institute for Intelligent Systems(微、纳、分子系统组,人工智能系统马克斯·普朗克研究所);Max Planck ETH Center for Learning Systems(马克斯·普朗克-ETH学习系统中心)
本文提出一种基于贝叶斯优化和高斯过程的概率学习方法,用于优化光场控制的软微机器人步态,通过有限实验预算实现高效且鲁棒的运动性能提升。
2018-09-10 cs.LG cs.RO cs.SY
MicroRoboScope: A Portable and Integrated Mechatronic Platform for Magnetic and Acoustic Microrobotic Experimentation
Department of Mechanical Engineering, University of Delaware(机械工程系,德雷克塞尔大学);Departments of Animal & Food Sciences, Biological Sciences, and Medical & Molecular Sciences, University of Delaware(动物与食品科学系、生物科学系和医学与分子科学系,德雷克塞尔大学)
本文提出MicroRoboScope,一种低成本、便携且集成的微型机器人实验平台,通过结合磁性与声学多模态驱动及自定义控制软件实现实时闭环控制,降低了实验门槛,促进了相关研究、教育及生物医学等转化应用。
2025-10-12 cs.RO cs.SY eess.SY
A First-Order Approach to Model Simultaneous Control of Multiple Microrobots
University of Delaware(特拉华大学)
在宏观尺度上,对于简单的机器人平台,群体系统的控制相对较好地理解。然而,关于如何为微型机器人实现类似的结果,仍然有几个未回答的问题。在本文中,我们提出了一个建模框架的基础上磁化自推进Janus微型机器人在全球磁场下的动态模型。我们通过实验验证了我们的模型,并提供了方法,可以旨在准确地描述行为的微型机器人,同时建模他们的同时控制。该模型可以推广到其他微机器人平台在低雷诺数环境。
2021-11-05 cs.RO math.DS
Closed-loop Control of Catalytic Janus Microrobots
University of Delaware(特拉华大学)
我们报告了一个闭环控制系统的顺磁催化自推进Janus微型机器人。我们通过采用电磁线圈来实现这种控制,电磁线圈将磁场引导到所需的方向来操纵微型机器人。微型机器人由于过氧化氢的催化分解而移动,在此期间,它们将自己与施加在它们身上的磁力矩对齐。因为它们的运动方向和它们的磁取向之间的角度是先验未知的,所以使用算法来确定该角度偏移并适当地调整磁场。微型机器人的定位使用实时粒子跟踪,与摄像机集成。目标位置或期望的轨迹可以由用户绘制以供微型机器人遵循。
2022-10-20 cs.RO physics.chem-ph
Data-efficient Learning of Morphology and Controller for a Microrobot
University of California, Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
机器人设计通常是一个缓慢而困难的过程,需要迭代构建和测试原型,以顺序优化设计。对于大多数机器人来说,当验证硬件解决所需任务的能力时,需要已经有适当的控制器,而控制器又针对特定硬件进行设计和调整,这使得该过程进一步复杂化。在本文中,我们提出了一种新的方法,HPC-BBO,有效地和自动地设计硬件配置,并评估它们也自动调整相应的控制器。HPC-BBO基于分层贝叶斯优化过程,该过程迭代优化形态配置(基于控制器学习过程中先前设计的性能),随后学习相应的控制器(利用从先前形态优化中收集的知识)。此外,HPC-BBO可以一次选择多个形态设计的“批次”,从而并行硬件验证并减少耗时的生产周期。我们验证HPC-BBO的形态和控制器的设计模拟6腿微型机器人。实验结果表明,HPC-BBO优于多个竞争对手的基线,并产生一个$360\%$减少生产周期超过标准贝叶斯优化,从而减少了我们的微型机器人的假设制造时间从21个月到4个月。
2019-05-03 cs.AI cs.LG cs.RO
Control of Magnetic Microrobot Teams for Temporal Micromanipulation Tasks
Duke University(杜克大学);Purdue University(普渡大学)
在本文中,我们提出了一个控制框架,允许磁性microrobot团队完成复杂的微操作任务捕获的全球线性时序逻辑(LTL)公式。为了解决这个问题,我们提出了一个最优控制合成方法,构造离散计划的机器人,满足分配的任务,以及由于物理问题的机器人之间的接近约束。我们提出的算法依赖于现有的最优控制合成方法结合一种新的基于采样的技术,以减少状态空间的产品自动机,是与LTL规格。合成的离散计划由微型机器人独立地使用局部磁场执行。仿真研究表明,该算法可以解决大规模规划问题,不能使用现有的最优控制综合方法解决。此外,我们提出的实验结果,也说明了我们的方法在实践中的潜力。据我们所知,这是第一个控制框架,允许独立控制团队的磁性microrobots的时间微操作任务。
2018-09-23 cs.RO
Scalability of Controlling Heterogenous Stress-Engineered MEMS Microrobots (MicroStressBots) through Common Control Signal using Electrostatic Hysteresis
在本文中,我们提出的控制策略,实现可重构的平面微assmbly使用多个应力工程MEMS微型机器人(MicroStressBots)。MicroStressBot是一种静电微型机器人,由一个提供向前运动的不受约束的划痕驱动器(USDA)和一个决定机器人是直线移动还是转弯的转向臂驱动器组成。转向臂通过由所施加的全局功率输送和控制信号启动的对衬底的静电下拉来致动。多个MicroStressBot的控制是通过改变转向臂的几何形状来实现的,从而影响其静电下拉和/或释放电压。许多MicroStressBots的独立控制是通过制造各个微型机器人的手臂来实现的,以这种方式,机器人在全局控制信号的部分期间彼此不同地移动。本文分析了无障碍配置空间中控制的可扩展性。基于鲁棒控制策略,我们得到的控制信号,命令一些机器人向目标前进,而其他人留在小轨道,几类转向臂几何形状。我们还提出了一个全面的分析和所需的独立下拉和释放电压的数量之间的比较,证明显着改善的效率以及在过去的工作中提出的控制信号的大小。我们的分析提出了一个重要的一步,开发多微型机器人控制的MicroStressBots。
2015-07-19 cs.RO
Control of Microrobots with Reinforcement Learning under On-Device Compute Constraints
Electrical Engineering and Computer Science Dept., University of California, Berkeley, USA(加州大学伯克利分校电子工程与计算机科学系)
本文提出在设备计算限制下通过强化学习控制微机器人,利用域随机化训练提升稳健性,并部署在超小SoC上实现高效运动控制。
2025-12-31 cs.RO cs.SY eess.SY
Modeling and Control of Magnetic Forces between Microrobots
Robotic Engineering, School of Engineering, Pontificia Universidad Católica de Chile(机器人工程系,工程学院,Pontificia Universidad Católica de Chile);Department of Electrical Engineering, School of Engineering, Pontificia Universidad Católica de Chile(电气工程系,工程学院,Pontificia Universidad Católica de Chile)
本研究提出了一种基于全局磁场角度的级联控制方法,用于精确调节微机器人之间的径向距离,提高了控制精度和响应速度。
2025-11-19 cs.RO cs.SY eess.SY
Counterfactual rewards promote collective transport using individually controlled swarm microrobots
University of Konstanz(康斯坦茨大学);Centre for the Advanced Study of Collective Behaviour(集体行为高级研究中心);The Abdus Salam International Centre for Theoretical Physics (ICTP)(阿卜杜勒·萨拉姆国际理论物理中心(ICTP));Area Science Park(区域科学园)
针对独立控制微型机器人实现集体运输的挑战,研究采用多智能体强化学习与反事实奖励机制,为多达200个微型机器人生成高效鲁棒的控制策略,实现任意位置和方向的货物集体运输,有望推动微型机器和药物递送等应用。
2024-12-18 cond-mat.soft cs.RO
Autonomous object harvesting using synchronized optoelectronic microrobots
University of Toronto(多伦多大学);University College London(伦敦大学学院);National Physical Laboratory(国家物理实验室)
光电子镊子驱动微机器人(OETdMs)是一种多功能的微操作技术,基于使用光诱导介电电泳移动小的介电结构(微机器人)通过光电导基板。微型机器人又可以用来对次级物体施加力,并进行广泛的微操作操作,包括收集、运输和存放微观货物。与替代(直接)显微操作技术相比,OETdMs相对温和,使其特别适合与生物细胞等敏感物体相互作用。然而,目前这种系统仅在由人类操作员手动控制下使用。这限制了同时控制多个微型机器人的能力,降低了实验吞吐量和合作多机器人操作的可能性。在这篇文章中,我们描述了一种方法,自动定位和路径规划,使开环控制的多个微型机器人。我们在实践中证明了该方法的性能,使用微型机器人同时收集,运输和沉积二氧化硅微球。使用基于真实显微图像数据的计算模拟,我们研究了微型机器人从解离的组织培养物中收集靶细胞的能力。我们的研究结果表明,使用OETdMs在复杂的,非结构化的环境中自主进行微操作任务的可行性。
2021-03-08 cs.CV cs.RO
Hybrid Magnetically and Electrically Powered Metallo-Dielectric Janus Microrobots: Enhanced Motion Control and Operation Beyond Planar Limits
School of Mechanical Engineering, Tel-Aviv University(特拉维夫大学机械工程学院);Department of Biomedical Engineering, Tel-Aviv University(特拉维夫大学生物医学工程学院)
本研究提出混合磁电驱动Janus微型机器人,实现平面内增强控制及2.5D轨迹,支持跨障、升面操作和货物运输,为微流控和生物医学应用奠定基础。
2025-03-25 cs.RO physics.flu-dyn
Residual Feedback Learning for Contact-Rich Manipulation Tasks with Uncertainty
Albert-Ludwigs-Universität Freiburg(阿尔伯特-路德维希-弗莱堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
虽然经典控制理论在许多问题场景中提供了最先进的解决方案,但通常希望改进这些解决方案的结构并超越其局限性。为此,残差策略学习(RPL)提供了一个公式,以改善现有的控制器与强化学习(RL)通过学习一个附加的“残差”的输出一个给定的控制器。然而,这种方法的适用性高度依赖于控制器的结构。通常,控制器的内部反馈信号限制RL算法充分改变策略,从而学习任务。我们提出了一个新的配方,解决这些限制,也修改反馈信号的控制器与RL政策,并显示我们的方法在位置和方向的不确定性下的接触丰富的挂钩插入任务的优越性能。此外,我们使用最近的笛卡尔阻抗控制架构的控制框架,可以提供给我们作为一个黑盒子,而假设没有关于其输入/输出结构的知识,并显示标准RPL的困难。此外,我们引入了一个自适应的课程,为给定的任务,逐步增加任务的位置和方向的不确定性方面的难度。显示结果的视频可以在https://youtu.be/SAZm_Krze7U上找到。
2021-08-06 cs.AI cs.LG cs.RO
Group-Control Motion Planning Framework for Microrobot Swarms in a Global Field
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出面向全局场微型机器人群体的 group-control 运动规划框架,证明 STLC 条件及最少分组数,并分析复杂度权衡与基元设计。
2024-12-10 cs.RO
Residual Policy Learning for Powertrain Control
Clemson University(克莱姆森大学);Allison Transmission Inc.(艾里逊变速箱公司)
生态驾驶策略已被证明可以显著降低燃料消耗。本文概述了一种主动驾驶辅助方法,使用剩余策略学习(RPL)代理培训提供剩余的行动,默认的功率训练控制器,同时平衡燃料消耗对其他驾驶员住宿目标。利用以前的经验,我们的RPL代理学习改进的牵引扭矩和换档剩余策略,以使动力系统的操作适应环境中的变化和不确定性。为了进行比较,我们考虑从头开始训练的传统强化学习(RL)代理。这两个代理商采用了关闭政策的最大后验概率策略优化算法与演员批评的架构。通过在各种汽车跟随场景中的模拟商用车上实现,我们发现RPL代理与基线源策略相比快速学习显着改进的策略,但在某些方面不如从头开始训练的RL代理最终可能的策略。
2022-12-15 cs.AI cs.LG cs.SY
Bellman Residual Minimization for Control: Geometry, Stationarity, and Convergence
School of Electrical Engineering(电气工程学院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文研究了控制中贝尔曼残差最小化方法的几何特性、站定性及收敛性,探讨其在策略优化中的基础理论与应用价值。
2026-06-08 cs.LG cs.SY eess.SY
Dual-Control Frequency-Aware Diffusion Model for Depth-Dependent Optical Microrobot Microscopy Image Generation
Department of Bioengineering, Imperial-X AI Initiative, Imperial College London(帝国理工学院生物工程系、Imperial-X人工智能计划);CAMS-Oxford Institute, University of Oxford(牛津大学CAMS-Oxford研究所)
本文提出Du-FreqNet,通过双控频率感知扩散模型生成物理一致的显微图像,提升微机器人自主操作的3D感知能力,改进SSIM并增强下游任务性能。
2026-04-13 cs.RO
Model Based Residual Policy Learning with Applications to Antenna Control
KTH Royal Institute of Technology(瑞典皇家理工学院);Ericsson Research(爱立信研究院)
针对天线倾角控制问题,提出基于模型的残差策略学习方法MBRPL,通过基于模型的方法增强现有策略,显著提升了样本效率并减少了环境交互,为算法在实际网络中的部署迈出一步。
2023-09-11 cs.AI cs.LG cs.SY
Generalizing Cooperative Eco-driving via Multi-residual Task Learning
Massachusetts Institute of Technology(麻省理工学院);Toyota InfoTech Labs(丰田信息技术实验室);Toyota Motor North America(丰田北美汽车公司)
针对自动驾驶控制策略泛化难的问题,提出多残差任务学习框架,将控制分解为传统方法求解的标称分量与学习求解的残差项,在近600个交叉口、1200种场景的车队减排任务中验证了其协同DRL与传统方法的泛化优势。
2024-03-07 cs.AI cs.LG cs.MA
Specialized Deep Residual Policy Safe Reinforcement Learning-Based Controller for Complex and Continuous State-Action Spaces
Software Competence Center Hagenberg, Data Science, Austria(哈根伯格软件中心数据科学部(奥地利));Technological University Dublin, Computer Science, Dublin, Ireland(都柏林理工大学计算机科学系(爱尔兰都柏林));ADAPT Research Centre, Dublin, Ireland(ADAPT研究中心(爱尔兰都柏林))
针对复杂连续状态-动作空间的安全控制挑战,提出一种专用深度残差策略安全强化学习方法,结合学习循环与输入-输出隐马尔可夫模型优化策略,实现强化学习智能体与传统控制器的同步协作,并在Tennessee Eastman过程控制中验证了有效性。
2023-10-15 cs.AI cs.LG cs.SY
Adaptive control of a mechatronic system using constrained residual reinforcement learning
Ghent University(根特大学);Flanders Make(法兰德斯制造)
我们提出了一种简单,实用和直观的方法,使用深度强化学习来提高传统控制器在不确定环境中的性能,同时保持安全操作。我们的方法是出于观察,传统的控制器在工业运动控制值的鲁棒性超过自适应处理不同的操作条件,因此是次优的。另一方面,强化学习可以直接从输入输出数据中优化控制信号,从而适应操作条件,但缺乏安全保证,阻碍了其在工业环境中的使用。为了实现自适应控制,在这种情况下,使用强化学习,我们遵循的残余学习方法,其中强化学习算法学习校正适应基本控制器的输出,以增加最优性。我们研究如何约束剩余代理的行动,使利用基地控制器的鲁棒性,以保证安全运行。我们详细的算法设计,并建议限制相对于基本控制器的残留行动,以增加该方法的鲁棒性。建立在李雅普诺夫稳定性理论,我们证明了稳定性的机电一体化闭环系统的一个广泛的类别。我们验证了我们的方法实验上的曲柄滑块设置,并研究如何约束影响学习过程中的安全性和收敛后的最优性。
2021-10-06 cs.LG cs.SY eess.SY
Bidirectional Microrocker Bots Controlled via Neutral Position Offset
纳米级3D打印和微制造技术的最新进展重振了对微型机器人的研究。然而,迄今为止,使用紧凑的致动装置对生物环境中的微型机器人进行精确的运动控制仍然具有挑战性。这项工作提出了一种新的控制机制和接触设计,使双向转向通过偏置的中立位置的微型机器人。微型机器人配备有摇杆以接触基底,因此微型摇杆机器人能够在平坦和非平坦的生物表面上良好地控制向前和向后运动。这些100微米× 113微米× 36微米的机器人是通过双光子光刻技术3D打印的,随后沉积了镍薄膜。在相对较小的静磁场下,微摇杆机器人向前或向后倾斜以使薄膜磁化方向与磁场线对准。当与振荡磁场相结合时,机器人在预先设置的方向上进行粘滑运动,由中立位置倾斜决定。微型摇杆机器人还配备有可以选择性地接合的锋利的机械尖端。当驱动波形的频率和偏移被优化时,机器人向前和向后行进高达100 um/s(每秒1个身体长度),显示出非常线性的轨迹。最后,为了证明与生物表面直接接触的微型机器人的功能,我们展示了机器人在龙血树叶表面上向前和向后移动的能力,并在其机械尖端上颠倒/接合。
2021-10-27 cs.RO cs.SY eess.SY
Mag-VLA: Vision-Language-Action Model for Bimanual Magnetically Actuated Microrobot Manipulation
Department of Bioengineering, Imperial-X, Imperial College London(生物工程系,Imperial-X,帝国理工学院伦敦)
提出Mag-VLA模型,利用双臂磁驱动微机器人实现灵巧操作,通过视觉-语言-动作框架和动作分块Transformer解码器,在真实机器人实验中达到90%接近成功率和最高80%运输成功率。
2026-05-27 cs.RO
Learning Flexible and Reusable Locomotion Primitives for a Microrobot
University of California, Berkeley(加州大学伯克利分校)
机器人运动的步态设计可能是一个艰巨的过程,需要大量的专业知识和工程。对于没有精确物理模型的机器人来说,这个过程更具挑战性,例如顺应性或微尺度机器人。数据驱动的步态优化为分析步态设计提供了一种自动化的替代方案。在本文中,我们提出了一种新的方法来有效地学习广泛的运动任务与步行机器人。这种方法将运动形式化为上下文策略搜索任务来收集数据,随后使用该数据来学习可用于规划的多目标运动原语。作为一个概念验证,我们考虑一个模拟的六足动物建模后,最近开发的microrobot,我们彻底评估这个microrobot在不同的任务和步态的性能。我们的研究结果验证了所提出的控制器和学习计划的单目标和多目标运动任务。此外,实验模拟表明,在没有关于所使用的机器人的任何先验知识的情况下(例如,动力学模型),我们的方法能够在250次试验内学习运动基元,随后使用它们成功地通过迷宫导航。
2018-03-01 cs.AI cs.LG cs.RO
Residual Policy Learning
MIT(麻省理工学院)
我们提出了残差策略学习(RPL):一种使用无模型深度强化学习改进不可微策略的简单方法。RPL在复杂的机器人操作任务中蓬勃发展,其中良好但不完美的控制器可用。在这些任务中,从头开始的强化学习仍然是数据效率低下或难以处理的,但在初始控制器之上学习残差可以产生实质性的改进。我们研究RPL在六个具有挑战性的MuJoCo任务,涉及部分可观测性,传感器噪声,模型误设定,控制器误校准。对于初始控制器,我们考虑手工设计的政策和模型预测控制器与已知或学习的过渡模型。通过将学习与控制算法相结合,RPL可以执行长期的、稀疏奖励的任务,而强化学习单独无法完成这些任务。此外,我们发现,RPL一致,并大大提高了初始控制器。我们认为,RPL是一种很有前途的方法,可以结合深度强化学习和机器人控制的互补优势,推动两者独立实现的界限。视频和代码在https://k-r-allen.github.io/residual-policy-learning/。
2019-01-03 cs.LG cs.RO
Sym2Real: Symbolic Dynamics with Residual Learning for Data-Efficient Adaptive Control
Duke University(杜克大学)
Sym2Real框架解决符号回归在实际控制中因对噪声敏感而受限的问题,先从低保真模拟学习,再用少量真实数据残差自适应弥合模拟到现实差距,仅约10条轨迹就实现对四旋翼和赛车的鲁棒控制及模拟到现实转移。
2026-07-20 cs.RO cs.SY eess.SY
Continuous Versatile Jumping Using Learned Action Residuals
University of Washington(华盛顿大学);Google(谷歌)
本文提出融合最优控制与强化学习的分层框架,通过学习动作残差增强手动加速度控制器,使四足机器人能够直接从仿真部署到实机并完成连续多功能跳跃。
2023-04-17 cs.AI cs.LG cs.RO
Residual Reinforcement Learning for Robot Control
Siemens Corporation(西门子公司);University of California, Berkeley(加州大学伯克利分校);Hamburg University of Technology(汉堡工业大学)
传统的反馈控制方法可以非常有效地解决各种类型的机器人控制问题,通过捕获的结构与明确的模型,如刚体运动方程。然而,现代制造中的许多控制问题涉及接触和摩擦,这很难用一阶物理模型来描述。因此,将控制设计方法应用于这类问题通常会导致脆弱和不准确的控制器,必须手动调整部署。强化学习(RL)方法已被证明能够从与环境的交互中学习连续的机器人控制器,即使是包括摩擦和接触在内的问题。在本文中,我们研究如何解决困难的控制问题,在现实世界中,通过分解成一个部分,是有效地解决了传统的反馈控制方法,和剩余的解决与RL。最终的控制策略是两种控制信号的叠加。我们证明了我们的方法,通过训练代理成功地执行一个现实世界的块组装任务,涉及接触和不稳定的对象。
2018-12-18 cs.LG cs.RO
Group-based control of large-scale micro-robot swarms with on-board Physical Finite-State Machines
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
微机器人研究中的一个重要问题是如何利用全局控制信号对大规模的微机器人群体进行控制。本文的重点是控制一个大规模的群MicroStressBots与板载物理有限状态机。我们引入了基于组的控制的概念,这使得有可能扩大规模的群体规模,同时降低机器人制造以及群体控制的复杂性。我们证明了基于组的控制系统是本地访问的机器人位置。我们进一步假设基于广泛的模拟,该系统是全球可控的。提出了一种非线性优化策略,通过最小化控制努力来控制群体。我们还提出了一个概率完整的碰撞避免方法,适合在线使用。本文的结论与模拟所提出的方法的评价。
2022-08-18 cs.RO cs.SY eess.SY
X-ray Fluoroscopy Guided Localization and Steering of Medical Microrobots through Virtual Enhancement
Mayo Clinic College of Medicine and Science(妙佑医疗国际医学与科学学院)
针对X射线透视缺乏解剖细节导致医用无缆微型机器人体内定位操控困难的问题,本研究构建带虚拟孪生体的仿真环境,结合目标检测定位方法,实现高分辨率低剂量的机器人跟踪操控,填补了相关技术空白。
2024-09-12 cs.RO
Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control
Department of Civil and Environmental Engineering, University of Wisconsin-Madison, Madison, WI, 53706, USA(土木与环境工程系,威斯尼大学麦迪逊分校)
本文提出基于知识的模型驱动残差强化学习框架,用于智能交通车辆轨迹控制,结合交通专家知识与传统控制方法,提升学习效率与交通流平滑度。
2025-02-03 cs.AI cs.LG
Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学)
该研究提出了一种小脑启发的残差控制框架,通过在线纠正动作实现故障恢复,提升机器人在训练后扰动下的鲁棒性和性能。
2026-02-06 cs.LG cs.RO
Improving Wind Resistance Performance of Cascaded PID Controlled Quadcopters using Residual Reinforcement Learning
Sony Group Corporation(索尼集团公司);Aerosense Inc.(Aerosense公司);Sony Research Inc.(索尼研究公司)
提出基于残差强化学习的抗风控制器,在保留级联PID基础上仅学习扰动残差,无需真实硬件训练即可将位置偏差降低约50%,且对质量与升力变化具有鲁棒性。
2023-08-03 cs.AI cs.RO
Effective Locomotion at Multiple Stride Frequencies Using Proprioceptive Feedback on a Legged Microrobot
Wyss Institute for Biologically Inspired Engineering(怀斯生物启发工程研究所)
驱动、传感和计算的限制迫使小型足式机器人依赖于仔细调整的、机械介导的腿轨迹来进行有效的运动。然而,制造业的最新进展使得能够开发能够使用多自由度腿轨迹以多个步幅频率操作的小型足式机器人。本体感知和控制是将这些机器人的能力扩展到广泛的操作条件的关键。在这项工作中,我们使用伴随传感压电驱动与计算效率的框架,估计和控制腿轨迹的四足微型机器人。我们展示了在运动过程中在宽范围的步频(10-50 Hz)内的准确位置估计(< 16%的均方根误差)和控制(16%的均方根跟踪误差)。这种能力使得能够探索被设计为减少腿部滑动并增加运动性能的两个生物启发参数腿部轨迹(例如,速度、运输成本等)。使用这种方法,我们展示了高性能的运动在步幅频率(10-30赫兹)的机器人的自然动力学导致开环运动差。此外,我们验证了启发我们轨迹的生物学假设,并确定了高动态运动,低运输成本(3.33)和最小腿部滑动(< 10%)的区域。
2019-06-03 cs.RO
ResWM: Residual-Action World Model for Visual RL
University of California, San Diego(加州大学圣地亚哥分校);Texas A&M University-Commerce(德克萨斯A&M大学-科摩斯)
ResWM通过将控制变量从绝对动作转换为残差动作,提升了视觉强化学习中世界模型的预测能力和稳定性,实现了更高效的样本利用和更平滑的控制策略。
2026-03-11 cs.AI cs.RO
Physics-Informed Machine Learning with Adaptive Grids for Optical Microrobot Depth Estimation
Imperial-X Initiative, Department of Bioengineering, Imperial College London(帝国理工学院伦敦分校生物工程系、Imperial-X计划);Department of Surgery and Cancer, Imperial College London(帝国理工学院伦敦分校外科与癌症系)
针对光学微型机器人深度估计中透明特性、低对比度成像及标注数据稀缺的问题,提出融合物理聚焦度量与自适应网格策略的物理信息深度学习框架,在数据有限条件下精度显著优于基线模型。
2025-09-02 cs.RO
A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning
University of California, San Diego(加州大学圣地亚哥分校)
提出一种4段8关节四元数关节缆驱动冗余机械臂配置,并利用残差强化学习实现比FABRIK算法高三个数量级的位置和方向精度控制。
2026-06-03 cs.LG cs.RO
Residual Reinforcement Learning for Robot Teleoperation under Stochastic Delays
Technical University of Munich(慕尼黑技术大学)
针对随机延迟导致的信号不连续问题,本文提出一种混合控制框架,通过LSTM状态估计器与残差强化学习策略相结合,提升遥控稳定性与性能。
2026-05-14 cs.AI cs.RO
MotionPyramid: Hierarchical Motion Representation and Residual Interfaces
UC Davis(加州大学戴维斯分校)
提出MotionPyramid,一种从运动数据中学习层次化动作表示的方法,通过冻结预训练层次为下游强化学习提供多分辨率控制接口,并引入残差接口实现粗细粒度协同控制。
2026-06-23 cs.AI cs.CV cs.RO
Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis
Robotics Institute(机器人学院);Carnegie Mellon University(卡内基梅隆大学)
强化学习通过从运动捕捉数据中学习类人控制策略,在合成逼真的人类行为方面表现出很大的潜力。然而,要重现像芭蕾舞这样复杂的人类技能,或者稳定地模仿具有复杂过渡的长期人类行为,仍然非常具有挑战性。主要困难在于类人模型和真实人之间的动力学失配。也就是说,真实人类的运动对于类人模型在物理上可能是不可能的。为了克服动态失配,我们提出了一种新的方法,剩余力控制(RFC),增加了一个人形控制策略,通过添加外部剩余力到动作空间。在训练过程中,基于RFC的策略学习向人形机器人施加残余力,以补偿动力学失配并更好地模仿参考运动。广泛的动态运动的实验表明,我们的方法优于国家的最先进的方法在收敛速度和学习运动的质量。值得注意的是,我们展示了一个由RFC授权的基于物理的虚拟角色,可以执行高度敏捷的芭蕾舞动作,如旋转,阿拉伯式和jeté。此外,我们提出了一个双策略控制框架,其中运动学策略和基于RFC的策略协同工作,在没有任何任务指导或用户输入的情况下合成多模态无限时域人体运动。我们的方法是第一个成功地从大规模人体运动数据集(Human3.6M)中学习并生成各种长期运动的人形控制方法。代码和视频可在https://www.ye-yuan.com/rfc上获得。
2020-10-22 cs.CV cs.GR cs.LG
Bee$^+$: A 95-mg Four-Winged Insect-Scale Flying Robot Driven by Twinned Unimorph Actuators
University of Southern California(南加州大学)
我们介绍蜜蜂$^+$,一种95毫克的四翼微型机器人,与具有相同尺寸和相似重量的最先进的双翼微型机器人相比,具有改进的可控性和开环响应特性(即,75毫克的哈佛机器人蜜蜂)。使Bee $^+$的开发成为可能的关键创新是引入了一对极轻(28毫克)的孪生单晶片致动器,这使得能够设计一种新的微型机器人机构,独立地拍打四个翅膀。所提出的设计的第一个主要优点,与双翼飞行器相比,是通过将致动器的数量从两个增加到四个,当采用简单的正弦激励时,直接控制输入的数量从三个增加到四个。蜜蜂$^+$的第二个优点是,它的四翼配置和扑翼模式自然阻尼旋转干扰,通常影响偏航自由度的双翼微型机器人。此外,与其他微型机器人相比,所提出的设计大大降低了相关制造过程的复杂性,因为单晶片致动器相当容易构建。最后,我们假设,考虑到相对较低的翼载影响他们的扑翼机制,蜜蜂$^+$的预期寿命必须大大高于那些双翼同行。机器人的功能和基本能力,通过一组简单的控制实验证明。
2019-07-24 cs.RO
FARM: Frame-Accelerated Augmentation and Residual Mixture-of-Experts for Physics-Based High-Dynamic Humanoid Control
FARM通过帧加速增强与残差混合专家框架提升物理人形控制器在高动态动作上的跟踪能力,并发布首个高动态人形运动基准HDHM,显著降低失败率和位置误差。
2025-08-27 cs.RO
Residual Reinforcement Learning from Demonstrations
Google Research(谷歌研究院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
残余强化学习(RL)已经被提出作为一种通过自适应来自传统反馈控制器的控制动作以最大化奖励信号来解决具有挑战性的机器人任务的方式。我们扩展的残差制定学习视觉输入和稀疏奖励使用演示。从图像、本体感受输入和稀疏的任务完成奖励中学习,放松了对访问完整状态特征(如物体和目标位置)的要求。此外,用从演示中学习的策略替换基本控制器消除了对手工设计的控制器的依赖性,有利于演示的数据集,其可以由非专家提供。我们对6自由度UR5手臂和28自由度灵巧手的模拟操作任务的实验评估表明,来自演示的剩余RL能够比行为克隆或RL微调更灵活地推广到看不见的环境条件,并且能够从头开始解决RL无法实现的高维稀疏奖励任务。
2021-06-15 cs.LG
Artificial Spacetimes for Reactive Control of Resource-Limited Robots
University of Pennsylvania(宾夕法尼亚大学)
提出人工时空几何方法,将反应式机器人在场中的运动类比为广义相对论中的光线,从而以静态场实现避障、集结与分类等组合行为,并通过硅基微型机器人实验验证。
2025-03-17 cs.RO cs.SY eess.SY
Medical Technologies and Challenges of Robot Assisted Minimally Invasive Intervention and Diagnostics
Vanderbilt University(范德堡大学)
新兴的范例进一步深入到人体解剖学的医疗技术的范围提出了独特的建模,控制和传感问题。本文讨论了医疗机器人的简史,导致目前的趋势,微创介入和诊断在密闭空间。自然孔口和单端口接入手术,胶囊和磁驱动机器人和microrobotics的机器人技术进行了讨论,目的是阐明的最先进的状态。工作的建模,传感和控制的机械架构的自然孔口和单端口接入手术的机器人进行了讨论,然后介绍了磁驱动,传感和定位的胶囊机器人和microrobotics的工作。最后,在每一个这些领域的挑战和开放的问题。
2018-07-10 cs.RO
Electrokinetic Propulsion for Electronically Integrated Microscopic Robots
University of Pennsylvania(宾夕法尼亚大学)
本文提出将自驱动颗粒升级为电子集成的微型机器人,利用电动微马达原理在流体中产生电场和推进流,其速度与施加电流成正比,并通过板载电路和闭环光学控制实现了航点导航与协调集群运动,为电子可编程微型机器人的长期可靠运行奠定了基础。
2024-11-13 cs.RO
Residual Policy Learning for Vehicle Control of Autonomous Racing Cars
Technical University of Munich(慕尼黑工业大学)
本文提出一种用于自动驾驶赛车的残差车辆控制器,通过残差策略学习修正经典路径跟随控制器,在F1TENTH仿真环境及十二条真实赛道评估中平均将单圈时间缩短4.55%,并能在未知赛道上获得提升。
2023-05-31 cs.LG cs.RO cs.SY
Multi-residual Mixture of Experts Learning for Cooperative Control in Multi-vehicle Systems
Massachusetts Institute of Technology(麻省理工学院);Toyota InfoTech Labs(丰田信息技术实验室)
针对自动驾驶车辆在多样交通场景下的拉格朗日交通控制泛化难题,提出MRMEL框架,通过混合专家机制动态选择名义策略并学习残差校正进行增强,实验证明其在多城交叉口协同生态驾驶中能额外减少4%-9%的车辆总排放。
2025-07-14 cs.AI cs.LG cs.MA
Beta Residuals: Improving Fault-Tolerant Control for Sensory Faults via Bayesian Inference and Precision Learning
University of Oxford(牛津大学);Amazon Web Services(亚马逊云科技);Delft University of Technology(代尔夫特理工大学)
基于模型的容错控制(FTC)通常由两个不同的步骤组成:故障检测与隔离(FDI)和故障调节。在这项工作中,我们研究构成容错控制作为一个单一的贝叶斯推理问题。以前的工作表明,精确学习允许随机FTC没有明确的故障检测步骤。虽然这导致了隐式故障恢复,但没有提供关于传感器故障的信息,这对于触发其他减轻影响的行动可能是必不可少的。在本文中,我们介绍了一种基于精度学习的贝叶斯FTC方法和一种新的贝塔残差故障检测。仿真结果,支持使用β残差对竞争的方法。
2022-04-17 cs.RO cs.SY eess.SY
Residual-Conservative Model Predictive Path Integral Control
Department of Mechanical and Nuclear Engineering, Tennessee Technological University(机械与核工程系,田纳西技术大学);School of Engineering, Department of Electrical and Computer Engineering, Mercer University(工程学院,电气与计算机工程系,梅里尔大学)
针对基于采样的模型预测控制方法中固定约束惩罚不适应模型与实际不匹配的问题,提出RC-MPPI框架,结合残差依赖约束收紧等三种机制,通过温度自适应等方式,在模型不匹配时降低约束违反概率,提升控制效果。
2026-07-09 cs.RO cs.SY eess.SY
Simulation-Based Evaluation of Residual DDPG-Augmented Computed Torque Control for a Cable-Driven Lower-Limb Rehabilitation Robot Model under Disturbances and Parametric Uncertainties
Kharazmi University(哈拉兹米大学)
针对缆绳驱动下肢康复机器人的轨迹跟踪难题,提出残差深度强化学习增强的计算力矩控制框架,仿真显示其可提升跟踪与扰动抑制能力,保留可解释性且具鲁棒性。
2026-11-17 cs.RO cs.SY eess.SY
Residual Learning-Based Control of Vehicle Platoons with $\ell_2$ Stability Guarantees via Recurrent Equilibrium Networks
Concordia University(康考迪亚大学);Université Polytechnique Hauts-de-France(上法兰西理工大学);INSA Hauts-de-France(法国国立应用科学学院上法兰西分校)
本文提出一种残差学习控制框架,利用循环均衡网络增强标称控制器,在保证 $\ell_2$ 稳定性的同时,减少异构车辆队列的间距和速度误差。
2026-09-29 cs.RO cs.SY eess.SY
Optimizing Control-Friendly Trajectories with Self-Supervised Residual Learning
School of Aeronautic Science and Engineering, Beihang University(北京航空航天大学航空科学与工程学院);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
本文提出自监督残差学习与轨迹优化框架,通过学习闭环模型中的未知动态效应,生成对后续控制器友好的最优轨迹,验证了混合动力学在四旋翼敏捷飞行中的有效性。
2026-01-06 cs.RO cs.SY eess.SY
Task-Oriented Active Learning of Residual Dynamics for Model Predictive Path Integral Control
Technical University of Munich(慕尼黑工业大学)
本文提出任务导向信息获取(ToIA)准则,用于MPPI控制中的在线GP残差学习,通过加权任务相关性选择信息,在模拟越野导航中显著提升成功率。
2026-09-18 cs.RO cs.SY eess.SY