UniExo: Unified Multi-Skill Policies for Musculoskeletal Locomotion and Co-Adaptive Exoskeleton Control
New Jersey Institute of Technology（新泽西理工学院）；Kessler Foundation（凯斯勒基金会）
UniExo通过多技能人体策略蒸馏与多智能体协同强化学习，训练统一髋部外骨骼控制器，实现行走、转弯、跑步和倒走及其转换的无标签控制，提升跟踪成功率与鲁棒性。
2026-09-18 cs.LG cs.RO
KINESIS: Motion Imitation for Human Musculoskeletal Locomotion
EPFL（苏黎世联邦理工学院）
KINESIS通过无模型运动模仿框架解决人类运动控制中的关键问题，利用1.8小时运动数据实现对未知轨迹的强模仿性能，并在多个下游任务中展示出对肌肉活动模式的生成能力。
2026-03-25 cs.AI cs.CV cs.LG
Replication of Impedance Identification Experiments on a Reinforcement-Learning-Controlled Digital Twin of Human Elbows
Edinburgh Centre for Robotics（爱丁堡机器人中心）；University of Edinburgh（爱丁堡大学）；University of Hong Kong（香港大学）；School of Engineering and Physical Sciences（工程与物理科学学院）；Heriot-Watt University（赫瑞瓦特大学）
本研究利用MyoSuite平台在数字孪生体上复现肘部阻抗识别实验，发现RL智能体比人类表现出更高阻抗，为神经力学研究提供了虚拟仿真替代方案。
2024-02-05 cs.AI cs.LG cs.RO
Lambda-Hold Control: Human-Like Movement Emerges from a Minimal Task Reward in Predictive Musculoskeletal Simulation
Institute of Sport Science, Seoul National University（首尔国立大学体育科学研究所）；SNU Robotics Institute, Seoul National University（首尔国立大学SNU机器人研究所）；Department of Physical Education, Seoul National University（首尔国立大学体育学院）
该研究提出基于EP假说的λ-保持控制器，整合相关控制方法，首次实现肌肉驱动骨骼模型用最小奖励在1小时内学习类人短跑运动，助力开发可学习的人类运动控制器模型。
2026-10-14 cs.GR cs.LG cs.RO
Reflex-Informed Neuromuscular Reinforcement Learning for Muscle-Driven Locomotion
University of Leeds（利兹大学）
提出反射感知神经肌肉强化学习框架，利用固定反射控制器与策略生成的残差参数调节关键反射，实现生理合理且鲁棒的肌肉驱动运动。
2026-09-11 cs.GR cs.LG cs.RO
Learning to Run challenge solutions: Adapting reinforcement learning methods for neuromusculoskeletal environments
在NIPS 2017年学习跑步挑战赛中，参与者的任务是为肌肉骨骼模型构建一个控制器，使其在障碍赛中尽可能快地奔跑。顶级参与者被邀请描述他们的算法。在这项工作中，我们提出了八种使用深度强化学习方法的解决方案，这些方法基于深度确定性策略梯度、近端策略优化和信任域策略优化等算法。许多解决方案使用类似的放松和策略，例如奖励塑造、跳帧、动作空间的离散化、对称性和策略混合。然而，八个团队中的每一个都对已知算法进行了不同的修改。
2018-04-02 cs.AI cs.LG stat.ML
Towards AI-controlled FES-restoration of movements: Learning cycling stimulation pattern with reinforcement learning
Imperial College London（伦敦帝国理工学院）；Universität Bayreuth（拜罗伊特大学）
本文提出一种无需额外硬件的AI方法，通过强化学习和肌肉骨骼模型生成并微调FES骑行刺激模式，实验证明其性能优于EMG模式，展示了人在回路AI在康复中的潜力。
2023-11-16 cs.LG cs.RO cs.SY
Characterization of Human Balance through a Reinforcement Learning-based Muscle Controller
New Jersey Institute of Technology（新泽西理工学院）；Politecnico di Bari（巴里理工大学）
本文提出用强化学习训练肌肉骨骼平衡控制器，通过质心状态空间中的平衡恢复区域客观表征人体平衡能力，并分析了肌肉无力和神经延迟对平衡极限的影响。
2023-08-08 cs.LG cs.RO cs.SY
Adaptive Torque Control of Exoskeletons under Spasticity Conditions via Reinforcement Learning
Neuro AI and Robotics Group（神经人工智能与机器人组）；Cajal International Neuroscience Center（卡贾尔国际神经科学中心）；Spanish National Research Council（西班牙国家研究理事会）；Rey Juan Carlos University (URJC)（雷奥恩卡洛斯大学（URJC））
本文提出了一种基于深度强化学习的膝外骨骼自适应扭矩控制器，通过数字双胞胎训练，有效降低痉挛状态下人体关节扭矩和交互力。
2025-03-14 cs.AI cs.LG cs.RO
Imitation Learning for Adaptive Control of a Virtual Soft Exoglove
Department of Informatics, King’s College London（信息学院，伦敦国王学院）；MyoLab；Harvard Medical School（哈佛医学院）；Spaulding Rehabilitation Hospital（斯波林康复医院）；Department of Bioengineering, Faculty of Engineering, Imperial College London（生物工程系，伦敦帝国理工学院工程学院）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院）
本文结合模仿学习、强化学习与肌肉骨骼仿真，提出可补偿个体肌肉缺陷的虚拟柔性外手套控制器，在手部运动受损场景下平均恢复90.5%的原始操作能力。
2025-05-14 cs.LG cs.RO
Scalable Exploration for High-Dimensional Continuous Control via Value-Guided Flow
Tsinghua University（清华大学）
Qflex通过价值引导流在高维动作空间中实现高效探索，优于现有方法并在复杂控制任务中表现出色。
2026-01-27 cs.LG cs.RO
Sample Efficient Ensemble Learning with Catalyst.RL
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Yandex（Yandex公司）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们介绍了Catalyst.RL，这是一个开源的PyTorch框架，用于可重复和样本高效的强化学习（RL）研究。Catalyst.RL的主要功能包括大规模异步分布式训练，各种RL算法的有效实现和辅助技巧，如n步返回，值分布，双曲线强化学习等。为了证明Catalyst.RL的有效性，我们将其应用于基于物理的强化学习挑战“NeurIPS 2019：学习移动-走动”的目标是建立一个人体肌肉骨骼模型的运动控制器。环境是计算昂贵的，具有高维连续的动作空间，是随机的。我们的团队获得了第二名，利用Catalyst.RL的能力，在短短几个小时的培训时间内训练高质量和样本效率的RL代理。实验的实现是开源的，因此可以复制结果并尝试新的想法。
2020-04-07 cs.AI cs.LG stat.ML
Neuromechanics-based Deep Reinforcement Learning of Neurostimulation Control in FES cycling
Imperial College London（伦敦帝国理工学院）
功能性电刺激（FES）可以恢复瘫痪者肌肉的运动。然而，控制刺激许多肌肉以恢复整个肢体的实际功能是一个未解决的问题。目前的神经刺激工程仍然依赖于20世纪的控制方法，相应地只显示出需要日常修补才能操作的适度结果。在这里，我们提出了我们的最先进的深度强化学习（RL）的实时的自适应神经刺激瘫痪的腿FES自行车。我们方法的核心是将个性化的神经机械组件集成到我们的强化学习框架中，使我们能够有效地训练模型，而无需与患者进行扩展训练课程并开箱即用。我们的神经机械组件包括合并肌肉和/或肌腱功能的肌肉骨骼模型和肌肉疲劳的多状态模型，以使神经刺激响应于截瘫患者的骑自行车者瞬时肌肉能力。我们的RL方法优于PID和模糊逻辑控制器的精度和性能。至关重要的是，我们的系统学会了刺激骑自行车者的腿，从开始时的加速到在肌肉疲劳时保持稳定状态的高节奏。我们的RL神经刺激系统的一部分已成功部署在Cybathlon 2020仿生奥运会的FES学科中，我们的截瘫自行车选手在9支参赛队伍中获得银牌。
2021-04-02 cs.LG
Toward Cost-efficient Adaptive Clinical Trials in Knee Osteoarthritis with Reinforcement Learning
University of Oulu（奥卢大学）；Research Unit of Health Sciences and Technology（健康科学与技术研究单元）
本文提出一种基于强化学习的新型主动感知方法，对膝骨关节炎患者进行多部位动态监测，在最小化成本的同时最大化信息收集，实验表明其性能优于现有最先进模型，为下一代KOA试验奠定基础。
2025-04-08 cs.AI cs.LG
Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning
Institute for Computational & Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Management Science & Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文通过将机器学习中感兴趣的各种问题构建为概率测度空间上定义的泛函的最小化，提供了一个统一的观点。特别是，我们证明了生成对抗网络，变分推理和强化学习中的演员-评论家方法都可以通过我们框架的镜头看到。然后，我们讨论了一个通用的优化算法，我们的配方，称为概率函数下降（PFD），并显示该算法如何恢复现有的独立开发的方法在前面提到的设置。
2019-05-19 cs.LG stat.ML
MultiSTOP: Solving Functional Equations with Reinforcement Learning
University of Pisa（比萨大学）；Simon’s Center for Geometry and Physics, Stony Brook（石溪大学西蒙斯几何与物理中心）
本文提出强化学习框架MultiSTOP，通过扩展BootSTOP算法并引入领域特定知识的多重约束来求解物理学中的泛函方程，以生成实际数值解，并在一维共形场论中进行了验证。
2024-04-23 cs.LG hep-th
Mid-flight Propeller Failure Detection and Control of Propeller-deficient Quadcopter using Reinforcement Learning
Indian Institute of Science（印度科学院）
四轴飞行器可能在飞行中遭受螺旋桨损失，因此需要具有检测单个和多个螺旋桨故障的系统以及稳定螺旋桨不足的四轴飞行器的自适应控制器。本文提出了基于强化学习的四轴飞行器控制器与4，3，和2（相对）功能螺旋桨。本文还提出了一种基于神经网络的螺旋桨故障检测系统，以检测螺旋桨损失并切换到适当的控制器。仿真结果表明，一个稳定的四轴飞行器与有效的航路点跟踪的所有控制器。该检测系统能够在短时间内检测到螺旋桨故障并稳定四轴飞行器。
2020-07-06 cs.LG cs.RO cs.SY
DRIFT: Deep Reinforcement Learning for Functional Software Testing
Microsoft Research（微软研究院）
高效的软件测试对于高效的软件开发和可靠的用户体验至关重要。由于人工测试效率低且成本高，因此需要自动化的软件测试。在这项工作中，我们提出了一个强化学习（RL）框架的功能软件测试命名为DRIFT。DRIFT对用户界面的符号表示进行操作。它通过Batch-RL使用Q学习，并使用图神经网络对状态-动作价值函数进行建模。我们将DRIFT应用于测试Windows 10操作系统，并表明DRIFT可以以完全自动化的方式稳健地触发所需的软件功能。我们的实验测试的能力，在不同的应用程序中执行单个和组合的任务，表明我们的框架可以有效地测试软件的测试目标范围很大。
2020-07-16 cs.AI cs.LG stat.ML
Functional Optimization Reinforcement Learning for Real-Time Bidding
Wenzhou-Kean University（温州肯恩大学）；Findability Sciences Private Limited（Findability Sciences私人有限公司）；Babasaheb Bhimrao Ambedkar University（巴巴萨赫布·比姆拉奥·阿姆倍伽尔大学）
实时的【形】竞价是程序化广告的新范式。广告商希望明智地选择使用\textbf{Demand-Side Platform}来提高其广告活动的效果。现有的方法是努力提供一个令人满意的解决方案，由于随机投标行为的投标优化。提出了一种基于功能优化的RTB多智能体强化学习体系结构。我们设计了四个代理投标环境：三个拉格朗日乘数为基础的功能优化代理和一个基线代理（没有任何属性的功能优化）首先，许多属性已分配给每个代理，包括有偏或无偏的获胜概率，拉格朗日乘数，点击率。为了评估所提出的RTB策略的性能，我们展示了十个连续的模拟拍卖活动的结果。结果表明，在有偏和无偏获胜信息下，具有功能性行为和奖励的代理人具有最显著的平均获胜率和获胜盈余。实验评估表明，我们的方法显着提高运动的有效性和盈利能力。
2022-09-13 cs.AI cs.LG
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对离策略强化学习控制问题，提出两种基于平滑泛函梯度估计的策略梯度算法，推导其非渐近收敛界，证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Functional Regularization for Reinforcement Learning via Learned Fourier Features
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种简单的深度强化学习架构，通过将输入嵌入到学习的傅立叶基中，并表明它提高了基于状态和基于图像的RL的样本效率。我们使用神经切线核对我们的架构进行了无限宽分析，并从理论上证明了调整傅立叶基的初始方差相当于学习深度网络的函数正则化。也就是说，这些学习到的傅立叶特征允许调整网络欠拟合或过拟合训练数据中的不同频率的程度，并且因此提供受控机制以改进RL优化的稳定性和性能。从经验上讲，这使我们能够优先学习低频函数，并通过降低网络对优化过程中噪声的敏感性来加快学习速度，例如在Bellman更新期间。在标准的基于状态和基于图像的RL基准测试上的实验显示了我们的架构在基线上的明显优势。网址：https://alexanderli.com/learned-fourier-features
2021-12-06 cs.AI cs.CV cs.LG
Latent Exploration for Reinforcement Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Mila（米拉研究所）
本文提出 Lattice 方法，通过在策略网络潜在状态中注入时间相关噪声实现执行器间相关的结构化探索，在 PyBullet 和 MyoSuite 任务中显著提升奖励并降低能耗。
2023-10-29 cs.AI cs.LG cs.RO
SAT-MARL: Specification Aware Training in Multi-Agent Reinforcement Learning
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
强化学习的一个特点是在解决问题时能够开发出不可预见的策略。虽然这些策略有时会产生卓越的性能，但它们也可能导致不期望的甚至危险的行为。在工业场景中，系统的行为也需要是可预测的，并在定义的范围内。为了使代理学习（如何）与给定的规范保持一致，本文提出了明确地将功能和非功能的要求转化为成形的奖励。实验进行了智能工厂，多智能体环境建模的工业批量一个生产设施，多达8个代理和不同的多智能体强化学习算法。结果表明，符合功能和非功能的约束，可以实现所提出的方法。
2020-12-14 cs.LG cs.MA
Inducing, Detecting and Characterising Neural Modules: A Pipeline for Functional Interpretability in Reinforcement Learning
针对大型RL模型的可解释性挑战，本文提出在功能模块层面实现可解释性的流程，通过鼓励权重稀疏性诱导功能模块出现，并开发扩展Louvain算法进行检测，在MiniGrid环境中验证了导航模块的涌现与功能。
2025-06-02 cs.AI cs.LG
Unsupervised Zero-Shot Reinforcement Learning via Functional Reward Encodings
University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出函数奖励编码（FRE），通过Transformer变分自编码器编码状态-奖励样本，使智能体在无监督离线轨迹上预训练后能零样本适应新任务，并在多个模拟机器人基准上优于现有方法。
2024-02-27 cs.AI cs.LG
Controlling chaotic itinerancy in laser dynamics for reinforcement learning
Saitama University（埼玉大学）；Kanazawa University（金泽大学）；Japan Science and Technology Agency（日本科学技术振兴机构）；The University of Tokyo（东京大学）
光子人工智能在加速机器学习方面引起了人们的极大兴趣;然而，独特的光学特性尚未充分利用来实现更高阶的功能。混沌巡游，其多个准吸引子之间的自发瞬态动力学，可以用来实现类脑功能。在本文中，我们提出了一种方法来控制混沌巡回多模半导体激光器解决机器学习任务，被称为多臂强盗问题，这是强化学习的基础。所提出的方法利用超快混沌巡回运动的模式竞争动力学通过光注入控制。我们发现，探索机制是完全不同于传统的搜索算法，是高度可扩展的，优于传统的方法，大规模的强盗问题。这项研究为利用混沌巡回有效解决复杂的机器学习任务铺平了道路，作为光子硬件加速器。
2022-05-12 cs.LG cs.SY eess.SY
Control Regularization for Reduced Variance Reinforcement Learning
California Institute of Technology, Pasadena, CA（加州理工学院）；University of Michigan, Ann Arbor, MI（密歇根大学）；Rice University, Houston, TX（Rice大学）
本文提出了一种功能正则化方法，用于减少连续控制中强化学习的方差，通过正则化深度策略的行为与先验策略相似，从而在偏倚-方差权衡中实现更稳定的动态稳定性和更高效的训练。
2019-05-14 cs.LG cs.SY eess.SY
ModelicaGym: Applying Reinforcement Learning to Modelica Models
Ukrainian Catholic University（乌克兰天主教大学）
本文介绍了ModelicaGym工具箱，该工具箱是为采用强化学习（RL）解决Modelica模型中的优化和控制任务而开发的。开发的工具允许使用Functional Mock-up Interface（FMI）将模型连接到OpenAI Gym工具包，以便利用Modelica基于方程的建模和协同仿真以及RL算法作为相应工具的功能。因此，ModelicaGym有利于快速方便地开发RL算法和它们的比较时，解决最优控制问题的Modelicadaptric模型。详细讨论了ModelicaGymtoolbox类的继承结构和实现方法。对Cart-Pole平衡问题进行了工具箱功能验证。包括物理系统模型的描述及其工具箱的集成，模型参数（力大小、车杆质量比、奖励比和仿真时间步长）的选择及其对Q-学习算法学习过程的影响的实验，并对仿真结果进行了讨论。
2019-09-18 cs.LG cs.SE
Deep Reinforcement Learning for the Design of Metamaterial Mechanisms with Functional Compliance Control
Seoul National University of Science and Technology（首尔科学技术大学）
本文提出一种基于深度强化学习的柔顺机构设计方法，通过将设计域离散为带铰链连接的单元并结合有限元分析学习最优构型，在门锁和软体夹持器设计中验证了其优于人工设计的效果。
2024-08-08 cs.LG
RL-Controller: a reinforcement learning framework for active structural control
Lehigh University（利哈伊大学）；MIT（麻省理工学院）
为了在结构的设计寿命周期内保持结构的完整性和功能性，工程师需要适应自然灾害和运行荷载水平。主动控制系统是一种有效的结构响应控制方法。然而，通过传统手段开发这些系统受到其模型依赖性的限制。自适应学习方法的最新进展，特别是强化学习（RL），用于实时决策问题，以及高性能计算资源的快速增长，帮助结构工程师将经典的基于模型的主动控制问题转化为纯粹的数据驱动问题。在本文中，我们提出了一种新的基于RL的主动控制器设计方法，通过引入RL控制器，一个灵活的和可扩展的仿真环境。RL控制器包括被定义为详细地对主动结构控制机制进行建模的属性和功能。我们表明，建议的框架是很容易训练的五层基准建筑层间漂移（ISD）时，受到强烈的地面运动平均减少65%。在与LQG主动控制方法的比较研究中，我们证明了所提出的无模型算法学习更优的执行器强制策略，从而产生更高的性能，例如，与LQG相比，ISD平均减少25%以上，而无需使用有关系统机械性能的先验信息。
2021-03-13 cs.LG cs.SY eess.SY
Distributed Deep Reinforcement Learning for Functional Split Control in Energy Harvesting Virtualized Small Cells
CTTC/CERCA（加泰罗尼亚电信技术中心）；Imperial College London（伦敦帝国理工学院）
为了满足对增强网络容量的日益增长的需求，移动网络运营商（MNO）正在部署密集的小型小区基础设施。这反过来又增加了移动网络的功耗，从而影响环境。因此，我们已经看到了最近的趋势，即利用收集的环境能源为移动网络供电，以实现环境和成本效益。在本文中，我们考虑了一个由能量收集器供电并配备可充电电池的虚拟化小小区（vsc）网络，该网络可以根据其能量可用性将基带（BB）功能机会性地卸载到并网边缘服务器。我们制定了相应的网格能量和流量丢弃率最小化问题，并提出了分布式深度强化学习（DDRL）解决方案。vSC之间的协调通过交换电池状态信息来实现。根据电网能耗和流量丢弃率对网络性能进行的评估证实，通过知识交换实现vSC之间的协调可以实现接近最佳的性能。数值结果也证实了所提出的DDRL解决方案提供了更高的网络性能，更好地适应不断变化的环境，以及更高的成本节约相对于表格多智能体强化学习（MRL）解决方案用作基准。
2020-08-07 cs.AI cs.LG cs.MA
Nonuniqueness and Convergence to Equivalent Solutions in Observer-based Inverse Reinforcement Learning
Oklahoma State University（俄克拉荷马州立大学）
本文针对在线实时确定性逆强化学习中的多解非唯一性问题，提出了一种正则化历史栈观测器，能够收敛到具有不同代价泛函但相同反馈矩阵的近似等价解，并开发了新的数据丰富性条件，通过仿真验证了其有效性。
2024-05-30 cs.LG cs.SY eess.SY
CROP: Certifying Robust Policies for Reinforcement Learning through Functional Smoothing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Washington University in St. Louis（圣路易斯华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
随着强化学习（RL）取得巨大成功，甚至被应用于自动驾驶汽车等安全关键领域，人们已经进行了一系列实证研究，以提高其对对抗攻击的鲁棒性。然而，如何证明其鲁棒性与理论保证仍然是一个挑战。在本文中，我们提出了第一个统一的框架CROP（认证RL的鲁棒政策），提供行动和奖励水平的鲁棒性认证。特别是，我们提出了两个鲁棒性认证标准：每状态动作的鲁棒性和累积奖励的下限。然后，我们开发了一个本地平滑算法的政策来自Q函数，以保证沿轨迹采取的行动的鲁棒性，我们还开发了一个全球平滑算法，用于证明有限时域累积奖励的下限，以及一种新的本地平滑算法进行自适应搜索，以获得更严格的奖励认证。从经验上讲，我们应用CROP来评估几种现有的经验鲁棒RL算法，包括对抗训练和不同的鲁棒正则化，在四个环境中（两个代表性的Atari游戏，高速公路和CartPole）。此外，通过评估这些算法对对抗攻击，我们证明了我们的认证往往是紧。所有实验结果可在网站https://crop-leaderboard.github.io上获得。
2022-03-16 cs.LG
SWaRL: Safeguard Code Watermarking via Reinforcement Learning
ECE Department UC San Diego（UC圣地亚哥大学电子与计算机工程系）；Cisco Research（思科研究）
SWaRL通过强化学习框架实现稳健且保真度高的代码水印，保护大语言模型的知识产权，通过在生成程序中嵌入唯一可验证签名，有效抵御移除攻击并保持功能正确性。
2026-05-07 cs.CR cs.LG
Federated Deep Reinforcement Learning for Energy Efficient Multi-Functional RIS-Assisted Low-Earth Orbit Networks
Department of Communication Engineering, National Central University, Taoyuan, Taiwan（国立中央大学通信工程系）；Department of Electronics and Electrical Engineering, National Yang Ming Chiao Tung University, Hsinchu, Taiwan（阳明交通大学电子工程系）；Next Generation Wireless, University of Southampton, Southampton, UK（南安普顿大学下一代无线技术）；Next-generation Communications Research Center, Hon Hai Research Institute, Taipei, Taiwan（富士康研究所下一代通讯研究中心）
本文提出在LEO部署可反射、折射、放大信号并收集能量的MF-RIS以提升阴影区域EE，设计FEMAD方案解决长期EE优化问题，数值结果显示其EE优于多种基准方案及对比场景。
2025-01-19 cs.AI cs.LG eess.SP
How's it going? Reinforcement learning in language models recruits a functional welfare axis
New York University（纽约大学）
本文通过迷宫环境实验，发现强化学习会招募语言模型中预先存在的功能性福利表征（即对系统目标达成程度的估计），从而广泛影响模型行为，且该表征在训练前已存在。
2026-05-28 cs.CL cs.LG
Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning
Inria (Flowers)（Inria（Flowers））；University of Bordeaux（波尔多大学）；Hugging Face；Univ Angers, LERIA, SFR MATHSTIC（昂热大学，LERIA，SFR MATHSTIC）；Sorbonne Université（索邦大学）
本文提出GLAM方法，通过在线强化学习将大语言模型接地于交互环境，以提升样本效率和泛化能力，并探讨在线学习的影响。
2026-01-30 cs.LG
WebGen-R1: Incentivizing Large Language Models to Generate Functional and Aesthetic Websites with Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Tongyi Lab, Alibaba Group（阿里云实验室）；Electronics and Telecommunications Research Institute（电子电信研究院）；Ant Group（蚂蚁集团）
本文提出WebGen-R1框架，通过强化学习生成多页面功能性和美观的网站，解决了传统方法在多页面交互和审美评估上的不足。
2026-04-22 cs.CL cs.LG cs.SE
Precision Physical Activity Prescription via Reinforcement Learning for Functional Actions
Department of Statistics, The George Washington University（统计系，乔治·华盛顿大学）；Department of Mathematical Sciences, The University of Texas at Dallas（数学科学系，德克萨斯大学达拉斯分校）；Department of Behavioral and Social Sciences, Brown University（行为与社会科学系，布朗大学）
本文提出了一种基于强化学习的算法，用于根据心血管代谢风险个性化优化每日步数分布，通过All of Us研究数据验证了该方法在提高健康生物标志物方面的有效性。
2026-06-24 cs.LG stat.AP stat.ML
Adapting Surprise Minimizing Reinforcement Learning Techniques for Transactive Control
University of California, Berkeley（加州大学伯克利分校）
优化能源需求响应的价格需要一个灵活的控制器，能够驾驭复杂的环境。我们提出了一个强化学习控制器，其架构中的惊喜最小化修改。我们建议，惊喜最小化可以用来提高学习速度，利用人们的能源使用的可预测性。我们的架构在模拟能源需求响应中表现良好。我们提出这种修改，以提高功能和节省在一个大规模的实验。
2021-11-11 cs.LG
Offline Deep Reinforcement Learning for Dynamic Pricing of Consumer Credit
Institute of Finance and Technology, UCL（伦敦大学学院金融与技术研究所）；NatWest Group（国民西敏寺银行集团）
我们介绍了一种使用离线深度强化学习的最新进展来为消费信贷定价的方法。这种方法依赖于静态数据集，不需要对需求的函数形式进行假设。使用真实和合成数据的消费信贷应用，我们证明了我们的方法使用保守的Q-学习算法是能够学习一个有效的个性化定价政策，没有任何在线互动或价格实验。
2022-03-06 cs.LG q-fin.RM stat.ML
Guiding Generative Models to Uncover Diverse and Novel Crystals via Reinforcement Learning
Department of Materials, Imperial College London（伦敦帝国理工学院材料系）
本文提出一种强化学习框架，通过分组相对策略优化与多目标奖励引导潜在去噪扩散模型，在保证热力学稳定性和化学有效性的前提下，生成多样且新颖的晶体化合物，为可控AI驱动逆向设计提供模块化基础。
2025-11-10 cs.LG physics.comp-ph
Curriculum-Guided Reinforcement Learning for Synthesizing Gas-Efficient Financial Derivatives Contracts
Rensselaer Polytechnic Institute（拉特罗布理工学院）
提出课程引导的 PPO 强化学习框架，直接由 CDM 规范生成功能正确且 Gas 优化的 Solidity 合约，最高降低 35.59% 成本。
2025-09-28 cs.LG
Replication of Multi-agent Reinforcement Learning for the "Hide and Seek" Problem
National University of Sciences and Technology（国立科技大学）
本研究针对强化学习策略难复现及复杂环境相关研究有限的问题，复现多智能体躲猫猫强化学习并新增飞行机制，提升了智能体机动性，缩短了躲藏者习得追逐策略的训练步数。
2023-10-09 cs.AI cs.LG cs.MA
Privacy-preserving Q-Learning with Functional Noise in Continuous State Spaces
Borealis AI
我们考虑在连续空间中进行强化学习的差分私有算法，使得相邻的奖励函数是不可区分的。这可以保护奖励信息不被反向强化学习等方法利用。现有的保证差分隐私的研究不能扩展到无限状态空间，因为确保隐私的噪声水平将相应地扩展到无穷大。我们的目标是保护值函数逼近器，而不考虑查询到函数的状态数。它是通过在训练中迭代地向值函数添加函数噪声来实现的。我们严格的隐私保证的噪声空间的内核，这样的噪声样本的概率范围，并在迭代的组成上的一系列分析。当状态空间是离散的时，我们通过证明算法的近似最优性来深入了解效用分析。实验证实了我们的理论研究结果，并显示出对现有方法的改进。
2019-11-11 cs.AI cs.LG stat.ML
A Survey of Deep Reinforcement Learning Algorithms for Motion Planning and Control of Autonomous Vehicles
TuSimple Inc.（图森未来公司）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；California PATH（加州先进交通与高速公路合作伙伴项目）
在本调查中，我们系统地总结了将强化学习（RL）应用于自动驾驶汽车的运动规划和控制的研究的现有文献。许多现有的贡献可以归因于管道方法，它由许多手工制作的模块组成，每个模块都有一个功能，以便于人类解释。然而，由于缺乏系统级优化，这种方法不能自动保证最大性能。因此，本文还提出了一个日益增长的工作趋势，即采用端到端的方法，这种方法通常提供更好的性能和更小的系统规模。然而，他们的表现也受到缺乏专家数据和泛化问题的影响。最后，总结了将深度强化学习算法应用于自动驾驶的剩余挑战，并提出了未来的研究方向，以应对这些挑战。
2021-06-01 cs.LG cs.RO
One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning
Duke University（杜克大学）
本文提出通过非线性变换器实现跨领域泛化，利用核方法连接非线性变换器与时间差分学习，展示不同领域价值函数可通过共享权重表示。
2026-05-10 cs.AI cs.LG
Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现实的操作任务要求机器人与环境进行交互，并具有长时间的电机动作序列。虽然深度强化学习方法最近已经成为自动化操作行为的一个有前途的范例，但由于探索负担，它们通常在长时间任务中表现不佳。这项工作介绍了操纵原语增强强化学习（MAPLE），一个学习框架，增强标准的强化学习算法与一个预定义的行为原语库。这些行为基元是专门用于实现操纵目标（如抓取和推动）的健壮功能模块。为了使用这些异构的原语，我们开发了一个层次化的政策，涉及的原语和实例化他们的执行与输入参数。我们证明，MAPLE优于基线方法的一套模拟操作任务的显着保证金。我们还量化了学习行为的组成结构，并强调了我们的方法将策略转移到新任务变体和物理硬件的能力。视频和代码可在https://ut-austin-rpl.github.io/maple上获得
2022-06-30 cs.AI cs.LG cs.RO
Bellman Unbiasedness: Toward Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation
Seoul National University（首尔大学）
本文研究通用值函数逼近下分布式强化学习的样本效率，提出 Bellman 无偏性并证明矩泛函的独特性，进而给出达到紧遗憾界的 SF-LSVI 算法。
2025-05-13 cs.AI cs.LG stat.ML
HLS-Seek: QoR-Aware Code Generation for High-Level Synthesis via Proxy Comparative Reward Reinforcement Learning
National University of Singapore（新加坡国立大学）
HLS-Seek通过代理比较奖励强化学习方法，实现了高质量结果导向的高层次综合代码生成，其在语法正确性和功能准确性上超越了GPT-5.1等前沿模型，并在训练速度和QoR评估中表现出色。
2026-09-07 cs.AI cs.LG
Physics-informed Deep Learning for Musculoskeletal Modelling: Predicting Muscle Forces and Joint Kinematics from Surface EMG
肌肉骨骼模型已经被广泛用于详细的生物力学分析，以考虑到它们估计运动变量（即，肌肉力和关节力矩），其不能在体内容易地测量。基于物理的计算神经肌肉骨骼模型可以解释神经驱动到肌肉、肌肉动力学、身体和关节运动学和动力学之间的动态相互作用。然而，这样的一组解决方案仍然存在速度慢的问题，特别是对于复杂的模型，这阻碍了实时应用中的实用性。近年来，数据驱动的方法已成为一个有前途的替代方案，由于在快速和简单的实施的好处，但他们不能反映潜在的神经力学过程。本文提出了一种用于肌肉骨骼建模的物理信息深度学习框架，其中将基于物理的领域知识作为软约束引入数据驱动模型，以惩罚/规范数据驱动模型。我们使用的同步肌肉力量和关节运动学预测的表面肌电图（sEMG）为例来说明所提出的框架。卷积神经网络（CNN）被用作深度神经网络来实现所提出的框架。同时，利用肌肉力与关节运动学之间的物理规律进行软约束。实验验证两组数据，包括一个基准数据集和一个自我收集的数据集，从六个健康的人，进行。实验结果证明了该框架的有效性和鲁棒性。
2022-07-04 eess.SP
Domain-Adaptable Reinforcement Learning for Code Generation with Dense Rewards
Hessian Center for Artificial Intelligence (hessian.AI)（海斯曼人工智能中心）；National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE）
本研究提出了一种领域可适应的强化学习框架，用于改进代码生成的正确性、质量和安全性，通过定制化的执行感知奖励公式和令牌级奖励映射机制，提高了代码生成在不同领域中的适应性和执行效率。
2026-05-20 cs.LG cs.SE
Closing the Loop: Coordinating Inventory and Recommendation via Deep Reinforcement Learning on Multiple Timescales
Guanghua School of Management, Peking University, Beijing 100871, CHINA（北京大学光华管理学院）
针对企业跨职能协同难题，提出多时间尺度多智能体强化学习框架，以库存与推荐协同为例，结合理论基准设计分层策略，证明收敛性，实验验证其盈利提升效果，为复杂商业场景提供可扩展可解释的协同方案。
2025-10-05 cs.AI cs.LG math.OC
Bounding the Optimal Value Function in Compositional Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San José State University（圣何塞州立大学）
本研究针对强化学习中未见任务的快速求解问题，提出更通用的组合性框架，推导了组合任务最优值函数的双边不等式及零样本策略的遗憾界，可用于开发裁剪方法加速智能体适应新任务。
2023-06-13 cs.LG
