Reinforcement Learning with Dynamic Boltzmann Softmax Updates
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
价值函数估计是强化学习中的一项重要任务，即，预测.玻尔兹曼softmax算子是一种自然值估计器，可以提供几个好处。然而，它不满足非展开性质，并且它的直接使用甚至在值迭代中也可能无法收敛。本文提出用动态Boltzmannsoftmax（DBS）算子来更新价值函数，该算子在规划和学习环境中具有良好的收敛性。在GridWorld上的实验结果表明，DBS算子能够更好地估计价值函数，从而纠正了softmax算子的收敛性问题。最后，我们提出了DBS-DQN算法，通过在深度Q网络中应用动态Boltzmann softmax更新，在49个Atari游戏中的40个中大幅优于DQN。
2019-09-08 cs.AI cs.LG stat.ML
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University（清华大学）
最大熵深度强化学习（RL）方法已经在一系列具有挑战性的连续任务上得到了证明。然而，现有的方法要么在训练大型非策略数据时存在严重的不稳定性，要么无法扩展到具有非常高的状态和动作维度的任务，例如3D人形运动。另外，对于非最优软价值函数，期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后，将软策略梯度与软Bellman方程相结合，提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度（DSPG）。为了确保稳定的学习，同时消除两个单独的批评软价值函数的需要，我们利用双采样方法，使软贝尔曼方程易于处理。实验结果表明，我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning
California Institute of Technology（加州理工学院）
我们介绍SLM实验室，一个可重复的强化学习（RL）研究的软件框架。SLM Lab实现了许多流行的RL算法，提供同步和异步并行实验执行，超参数搜索和结果分析。SLM Lab中的RL算法以模块化的方式实现，因此算法性能的差异可以自信地归因于算法之间的差异，而不是实现之间的差异。在这项工作中，我们提出了SLM实验室背后的设计选择，并使用它来产生一个全面的单代码库RL算法基准。此外，由于SLM实验室的模块化设计，我们引入并评估了Soft Actor-Critic算法的离散动作变体（Haarnoja等人，2018）和RL代理的混合同步/异步训练方法。
2019-12-28 cs.AI cs.LG stat.ML
An Alternative Softmax Operator for Reinforcement Learning
Brown University（布朗大学）
应用于一组值的softmax运算符有点像最大化函数，有点像平均值。在顺序决策中，softmax通常用于需要最大化效用的设置，但也可以对冲由于将所有权重放在单个最大效用决策之后而产生的问题。玻尔兹曼softmax算子是最常用的softmax算子在此设置中，但我们表明，该算子是容易行为不端。在这项工作中，我们研究了一个可微的softmax算子，除了其他属性外，它是一个非扩展，确保了学习和规划中的收敛行为。我们介绍了一种变体的SARSA算法，通过利用新的运营商，计算玻尔兹曼政策与状态相关的温度参数。我们表明，该算法是收敛的，它在实践中表现良好。
2017-06-14 cs.AI cs.LG stat.ML
Scilab-RL: A software framework for efficient reinforcement learning and cognitive modeling research
Hamburg University of Technology（汉堡工业大学）；Institute for Data Science Foundations（数据科学基础研究所）
针对认知建模与强化学习研究缺乏整合多类功能的模块化工具套件的问题，提出聚焦目标条件强化学习的Scilab-RL软件框架，可降低实验时间成本、提升研究效率。
2024-01-25 cs.AI cs.LG cs.RO
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
ConfigX: Modular Configuration for Evolutionary Algorithms via Multitask Reinforcement Learning
South China University of Technology（华南理工大学）；Massachusetts Institute of Technology（麻省理工学院）；Singapore Management University（新加坡管理大学）
ConfigX提出一种基于多任务强化学习和模块化系统的通用进化算法配置框架，通过大规模预训练实现零样本泛化与终身学习，显著提升多种进化算法的性能。
2024-12-15 cs.LG cs.NE
Pretrain Soft Q-Learning with Imperfect Demonstrations
Tsinghua University（清华大学）；University of Science & Technology Beijing（北京科技大学）
由于现有的强化学习算法需要大量的计算能力用于在线仿真，因此带演示的预训练强化学习方法是强化学习研究中的一个重要概念。预训练强化学习在利用专家演示的同时保持探索潜力，特别是对于基于值的方法，仍然是一个重大挑战。在本文中，我们提出了一种软Q学习的预训练方法。我们的工作受到演员评论家算法的预训练方法的启发，因为软Q学习是一种基于值的算法，相当于策略梯度。该方法基于$γ$ -熵正则化折扣有偏策略评估，这也是软Q学习的更新目标。我们的方法是评估从Atari 2600的各种任务。实验表明，我们的方法可以有效地从不完美的演示中学习，并且优于其他从专家演示中学习的最先进的方法。
2019-05-09 cs.AI cs.LG stat.ML
Soft-Robust Algorithms for Batch Reinforcement Learning
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）；University of New Hampshire（新罕布什尔大学）
在强化学习中，针对有限数据的高风险决策问题，通常通过优化百分位数准则来计算鲁棒策略，该准则最小化灾难性失败的概率。不幸的是，这样的策略通常过于保守，因为百分位标准是非凸的，难以优化，并且忽略了平均性能。为了克服这些缺点，我们研究了软鲁棒准则，它使用风险度量来更好地平衡均值和百分位数准则。本文建立了软鲁棒准则的基本性质，证明了软鲁棒准则的优化问题是NP-难的，并提出了两种近似优化算法，理论分析和实验结果表明，与现有的近似优化算法相比，本文的算法具有更小的保守性。
2021-02-26 cs.AI cs.LG math.OC
Bayesian Soft Actor-Critic: A Directed Acyclic Strategy Graph Based Deep Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出基于贝叶斯链式的有向无环策略图分解方法，并与 SAC 结合构建 BSAC，以提升资源受限智能体在复杂环境中的连续控制训练效率。
2023-12-04 cs.AI cs.LG cs.RO
DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software
Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Guelph（圭尔夫大学）
尽管机器学习（ML）已经成功地自动化了各种软件工程需求，但软件测试仍然是一个极具挑战性的话题。在本文中，我们的目标是通过直接增强随机数生成器（RNG）与深度强化学习（RL）代理使用一个有效的，自动提取的状态表示的测试下的软件，以提高软件的生成测试。使用Cosmos SDK作为测试平台，我们证明了所提出的DeepRNG框架对具有超过350，000行代码的高度复杂软件库的测试提供了统计上的显着改进。DeepRNG框架的源代码在网上公开。
2022-01-29 cs.AI cs.LG cs.SE
Functions that Emerge through End-to-End Reinforcement Learning - The Direction for Artificial General Intelligence -
Oita University（大分大学）
最近，由Google DeepMind在电视游戏或围棋游戏中的令人印象深刻的结果引发，端到端的强化学习（RL）正在引起人们的关注。虽然知之甚少，但作者的团队已经提出这个框架大约20年了，并且已经通过RL展示了神经网络（NN）中出现的各种功能。在本文中，他们再次介绍在这个时机。“功能模块化”的方法在潜意识中被深深渗透。学习系统的输入和输出可以是原始传感器信号和电机命令。RL中常用的“状态空间”或“动作空间”表示功能模块的存在。这使得强化学习仅限于行动计划模块的学习。为了将强化学习扩展到大规模并行学习系统的巨大自由度上的整个功能的学习，并解释或开发类似人类的智能，作者认为，使用递归神经网络（RNN）从传感器到电机的端到端强化学习成为关键。特别是在更高的功能，这种方法是非常有效的，从需要决定他们的输入和输出。我们已经证实，通过使用NN的RL出现的功能涵盖了从使用原始相机像素输入的真实机器人学习到RNN中动态功能的获取的广泛范围。这些是（1）图像识别，（2）颜色恒定性（视错觉），（3）传感器运动（主动识别），（4）手眼协调和手到达运动，（5）大脑活动的解释，（6）沟通，（7）知识转移，（8）记忆，（9）选择性注意，（10）预测，（11）探索。端到端的强化学习使非常灵活的综合功能的出现成为可能，这些功能并行考虑许多事情，尽管很难清楚地给出每个功能的边界。
2017-05-16 cs.AI
Reinforcement Learning for Autonomous Defence in Software-Defined Networking
The University of Melbourne（墨尔本大学）；Defence Science and Technology Group（国防科学技术集团）
尽管机器学习（ML）在广泛的领域中成功应用，但适应性--使机器学习变得可取的特性--可以被对手利用来污染训练和逃避分类。在本文中，我们探讨了应用特定类别的机器学习算法，即强化学习（RL）算法，自主网络防御在软件定义网络（SDN）的可行性。特别是，我们专注于RL代理如何对不同形式的因果攻击做出反应，这些攻击会毒害其训练过程，包括不分青红皂白和有针对性的白盒和黑盒攻击。此外，我们还研究了攻击时机的影响，并探讨了对抗性训练等潜在的对策。
2018-08-17 cs.AI cs.CR cs.LG
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究中心）
无模型深度强化学习（RL）算法已在一系列具有挑战性的决策和控制任务中得到验证。然而，这些方法通常面临两个主要挑战：非常高的样本复杂性和脆弱的收敛特性，这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中，我们提出了软演员-评论家，一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中，行动者的目标是最大化预期回报，同时也最大化熵。也就是说，在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合，我们的方法在一系列连续控制基准任务上实现了最先进的性能，优于之前的政策内和政策外方法。此外，我们证明，与其他政策外算法相比，我们的方法是非常稳定的，在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Software Simulation and Visualization of Quantum Multi-Drone Reinforcement Learning
Korea University（高丽大学）；Ajou University（亚洲大学）
量子机器学习（QML）因其训练参数少、速度快而受到广泛关注，量子多智能体强化学习（QMARL）的研究也随之活跃起来。现有的经典多智能体强化学习（MARL）具有非平稳性和不确定性。因此，本文提出了一种新的QMARL控制自主多无人机的仿真软件框架，即，量子多无人机强化学习我们提出的框架完成了合理的回报收敛和服务质量性能与较少的可训练参数。此外，它显示出更稳定的训练结果。最后，我们提出的软件允许我们分析培训过程和结果。
2023-02-03 cs.AI cs.LG cs.MA
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
A Centralised Soft Actor Critic Deep Reinforcement Learning Approach to District Demand Side Management through CityLearn
University College Dublin（都柏林大学学院）
强化学习是一个有前途的无模型和自适应控制器的需求侧管理，作为未来智能电网的一部分，在地区一级。本文介绍了为CityLearn Challenge提交的算法的结果，该挑战于2020年初举办，旨在设计和调整强化学习代理，以平坦化和平滑不同建筑物区域的电力需求汇总曲线。所提出的解决方案使用能够处理连续动作空间的集中式“Soft Actor Critic”深度强化学习代理在挑战中获得第二名。控制器能够在包括不同建筑物和气候的挑战数据集上实现0.967的平均分数。这突出了深度强化学习作为即插即用型控制器的潜在应用，该控制器能够处理不同的气候和异质建筑存量，用于建筑物的区域需求侧管理。
2020-09-22 cs.LG stat.ML
Bridging the Gap Between Value and Policy Based Reinforcement Learning
Google Brain（谷歌大脑）
基于熵正则化下softmax时间值一致性和策略最优性之间的关系，建立了基于值和策略的强化学习（RL）之间的新联系.具体来说，我们表明softmax一致的动作值对应于沿着任何动作序列的最优熵正则化策略概率，而不管出处如何。从这个观察，我们开发了一个新的RL算法，路径一致性学习（PCL），最大限度地减少了软一致性错误的概念，沿多步动作序列提取的政策和关闭的痕迹。我们研究了PCL在不同情况下的行为，并表明PCL可以被解释为推广演员-评论家和Q-学习算法。随后，我们通过展示如何使用单个模型来表示策略和相应的softmax状态值来加深这种关系，从而消除了对单独评论家的需求。实验评估表明，PCL在几个基准测试中显着优于强演员-评论家和Q学习基线。
2017-11-22 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
University of Oxford（牛津大学）
本文提出Soft Q(λ)，一种基于效用追踪的离策略方法，通过引入新的Soft Tree Backup操作符，扩展了软Q学习的多步框架，实现了高效的信用分配。
2026-07-20 cs.AI cs.LG
Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning
National Engineering School of Tunis, University of Tunis El Manar（突尼斯艾尔玛纳尔大学突尼斯国立工程师学校）；University of Tripoli（的黎波里大学）；University of Picardie Jules Verne Amiens（亚眠皮卡第朱尔斯·凡尔纳大学）
针对稀疏奖励长视野强化学习挑战，提出两级分层强化学习框架，高级战略规划与低级SAC算法结合并利用熵正则化策略优化，经SAR-2数据集训练评估，HRL-SAC在多方面优于普通SAC，为相关任务提供有前途的解决方案。
2026-07-28 cs.LG cs.RO
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Hierarchical Primitive Composition: Simultaneous Activation of Skills with Inconsistent Action Dimensions in Multiple Hierarchies
Yonsei University（延世大学）
深度强化学习已经在各种应用中显示出其有效性，为解决高复杂度的任务提供了一个很有前途的方向。然而，天真地应用经典RL来学习具有单一控制策略的复杂长时间任务是低效的。因此，策略模块化通过学习一组映射到原语的模块并正确编排它们来解决这个问题。在这项研究中，我们进一步扩大了讨论，将同时激活的技能，并将它们结构成多层次的递归方式。此外，我们试图设计一种算法，可以通过乘法高斯分布适当地编排不同动作空间的技能，这大大提高了可重用性。通过利用模块性，如果每个技能都是已知的，那么也可以通过观察新任务中使用的模块来实现可解释性。我们演示了如何在实践中使用所提出的方案，通过解决一个6自由度机械手的拾取和放置任务，并检查每个属性的消融研究的影响。
2022-06-14 cs.AI cs.LG
Autonomous Soft Tissue Retraction Using Demonstration-Guided Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
本研究创建ROS兼容的物理仿真环境，利用PyBullet模拟达芬奇机器人软组织交互，并通过演示引导的强化学习算法实现自主软组织牵引，验证了软体操控学习的可行性。
2023-09-02 cs.LG cs.RO
Patching Weak Convolutional Neural Network Models through Modularization and Composition
Beihang University（北京航空航天大学）；The University of Newcastle（纽卡斯尔大学）
本文提出CNNSplitter方法，通过将强CNN模型模块化分解并与弱模型组合，在不重新训练整个模型的情况下有效修补弱CNN模型，提升目标类和非目标类的分类性能。
2023-07-30 cs.AI cs.LG
Consolidated Adaptive T-soft Update for Deep Reinforcement Learning
Nara Institute of Science and Technology（奈良科学技术研究所）
针对深度强化学习中T-soft目标网络更新需逐任务调参、抗噪性易被削弱且难渐近匹配主网的问题，提出结合AdaTerm规则的自适应更新与主网回拉整合机制的CAT-soft方法，经数值模拟验证有效。
2022-02-25 cs.LG cs.RO
Symmetry-aware Reinforcement Learning for Robotic Assembly under Partial Observability with a Soft Wrist
Northeastern University（东北大学）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
该研究针对软手腕机器人孔轴装配任务，提出利用领域对称性进行数据增强和辅助损失约束的部分可观测深度强化学习方法，在仿真和真实机器人上均实现了高效学习。
2024-04-29 cs.AI cs.LG cs.RO
DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
Department of Automation, Tsinghua University（清华大学自动化系）；School of Engineering and Applied Science, Columbia University（哥伦比亚大学工程与应用科学学院）；School of Business, Sun Yat-sen University（中山大学商学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出DSAC算法，结合累积奖励的分布式信息与SAC的熵驱动探索，构建统一框架优化风险相关目标并平衡熵，在多种连续控制任务中显著提升了风险中性与风险敏感智能体的性能。
2025-06-29 cs.AI cs.LG
A new soft computing method for integration of expert's knowledge in reinforcement learn-ing problems
Sharif University of Technology（谢里夫理工大学）；Iran University of Science and Technology（伊朗科技大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
本文提出了一种新的模糊动作选择方法，利用人类知识的强化学习问题。基于对当前动作-状态值的估计，提出的模糊非线性映射将动作集合中的每个成员分配给其在下一步中被选择的概率。引入用户可调参数来控制动作选择策略，该策略决定了Agent在整个学习过程中的贪婪行为。该参数类似于softmax动作选择策略中的温度参数的作用，但是其调整过程可以更加面向知识，因为该参数通过在模糊规则库中进行修改来将人类知识反映到学习代理中。仿真结果表明，包括模糊逻辑内的强化学习在所提出的方式提高了学习算法的收敛速度，并提供优越的性能。
2021-06-13 cs.AI cs.RO
An Architecture for Unattended Containerized (Deep) Reinforcement Learning with Webots
University of Applied Sciences Zwickau（茨维考应用科学大学）
针对三维机器人强化学习中仿真与模型开发环境耦合、数据科学家需掌握仿真软件的问题，提出基于 Webots、ROS 与容器的无人值守训练架构并展示 Robotino 实现。
2024-02-06 cs.AI cs.LG cs.RO
Reinforcement Learning Position Control of a Quadrotor Using Soft Actor-Critic (SAC)
Mechatronics Engineering Department（机械电子工程系）；The German University in Cairo（埃及德国大学）
提出一种基于强化学习的四旋翼推力矢量控制架构，使用软演员-评论家算法训练，相比传统RPM控制器训练更快、路径跟踪更平滑准确。
2026-06-01 cs.AI cs.LG cs.RO
SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation
Carnegie Mellon University（卡内基梅隆大学）
由于可变形物体的高维状态表示和复杂的动力学特性，操纵可变形物体一直是机器人领域的一个挑战。最近在深度强化学习方面的成功为使用数据驱动方法学习操纵可变形对象提供了一个有希望的方向。然而，现有的强化学习基准测试仅涵盖具有直接状态可观测性和简单低维动力学或相对简单的基于图像的环境（例如具有刚性对象的环境）的任务。在本文中，我们介绍了SoftGym，这是一组用于操纵可变形对象的开源模拟基准，具有标准的OpenAI Gym API和用于创建新环境的Python接口。我们的基准将使这一重要领域的可重复研究成为可能。此外，我们评估了这些任务的各种算法，并强调了强化学习算法的挑战，包括处理具有高内在维度且部分可观察的状态表示。实验和分析表明，现有的方法的优势和局限性的背景下，可变形的对象操作，可以帮助指出未来的方法发展的方向。学习策略的代码和视频可以在我们的项目网站上找到。
2021-03-08 cs.LG cs.RO
On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning
University of Toronto（多伦多大学）
在本文中，我们利用凸分析和单调算子理论的结果，推导出的softmax函数，尚未在现有的文献中覆盖的额外的性质。特别地，我们证明了softmax函数是log-sum-exp函数的单调梯度映射。通过利用这种连接，我们表明，逆温度参数决定的Lipschitz和co-convivity性质的softmax函数。然后，我们通过博弈论强化学习中的应用证明了这些属性的有用性。
2018-08-21 cs.LG math.OC
SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院）；Department of Statistics, University of Oxford, United Kingdom（英国牛津大学统计系）；School of Intelligence Science（智能科学学院）；Technology, Nanjing University, China（技术学院，南京大学，中国）
SofT-GRPO通过引入Gumbel噪声和重新参数化技巧，在软思考模式下提升LLM推理性能，使其在Pass@1和Pass@32任务中分别优于离散标记GRPO。
2026-01-29 cs.AI cs.LG
A Deep-Reinforcement Learning Approach for Software-Defined Networking Routing Optimization
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；CA Technologies（CA科技公司）
在本文中，我们设计和评估了深度强化学习代理，优化路由。我们的代理自动适应当前的交通状况，并提出量身定制的配置，试图最大限度地减少网络延迟。实验表明，非常有前途的性能。此外，这种方法相对于传统的优化算法提供了重要的操作优势。
2017-09-20 cs.AI cs.NI
Metareasoning in Modular Software Systems: On-the-Fly Configuration using Reinforcement Learning with Rich Contextual Representations
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Microsoft Research（微软研究院）
模块化子系统的组件正在投入使用，以在运输，医疗保健和工业自动化等领域的高风险，时间紧迫的任务中执行传感，推理和决策。我们利用强化学习来指导包括系统的一组交互模块的配置，从而最大化整个计算系统的效用。进行系统范围优化的挑战是一个组合问题。通过修改特定模块的配置来提高其性能的本地尝试通常会导致系统性能的整体效用的损失，因为下游模块的输入分布会发生急剧变化。我们提出的元推理技术，考虑了丰富的输入表示，监控整个管道的状态，并调整模块的配置上的飞行，以最大限度地提高系统的操作的效用。我们在各种强化学习技术中显示了真实世界和合成管道的显着改进。
2019-05-12 cs.AI cs.LG cs.SE
SoftCTRL: Soft conservative KL-control of Transformer Reinforcement Learning for Autonomous Driving
Ho Chi Minh City University of Technology (HCMUT)（胡志明市技术大学（HCMUT））；Vietnam National University Ho Chi Minh City (VNUHCM)（越南国家大学胡志明市分校（VNUHCM））
针对城市自动驾驶运动规划中模仿学习存在的安全可靠性不足、与强化学习结合后易过度保守的问题，提出采用隐式熵-KL控制的SoftCTRL方法，在模拟场景中实现超17%的故障减少，提升鲁棒性并生成类人驾驶行为。
2024-10-30 cs.AI cs.RO
Variational Quantum Soft Actor-Critic
University of Alberta（阿尔伯塔大学）
量子计算在解决特定问题方面具有优越的优势，如整数分解和西蒙问题。对于机器学习中更一般的任务，通过应用变分量子线路，最近提出了越来越多的量子算法，特别是在监督学习和无监督学习中。然而，在强化学习方面做的工作很少，可以说更重要和更具挑战性。量子强化学习以前的工作主要集中在离散控制任务，其中动作空间是离散的。在这项工作中，我们开发了一种基于软演员-评论家的量子强化学习算法-连续控制的最先进方法之一。具体来说，我们使用一个混合量子经典策略网络组成的变分量子线路和经典人工神经网络。在一个标准的强化学习基准测试中，我们证明了这种量子版本的软演员-评论家与原始的软演员-评论家相当，使用的可调参数少得多。此外，我们分析了不同的超参数和策略网络结构的影响，指出了量子强化学习的结构设计的重要性。
2021-12-20 cs.AI cs.LG quant-ph
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles（布鲁塞尔自由大学）
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止，自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中，我们探讨的可能性，指定所需的集体行为，通过示范。我们开发Demo-Cho，一种自动设计方法，将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明，只有在演示的基础上，而不需要提供一个明确的目标函数，Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities
Bournemouth University（伯恩茅斯大学）
提出RL4IL方法，利用强化学习策略从训练库中检索最相关专家演示，并通过软交叉注意力融合生成动作，有效处理传感器缺失问题，在LIBERO基准上超越现有方法。
2026-06-16 cs.LG cs.RO
Discriminator Soft Actor Critic without Extrinsic Rewards
Kanazawa University（金泽大学）
在未知状态下，很难从少量的专家数据和采样数据中进行很好的模拟。行为克隆等监督学习方法不需要采样数据，但通常会遭受分布偏移。基于强化学习的方法，如逆强化学习和生成对抗模仿学习（GAIL），只能从少量的专家数据中学习。但是，他们往往需要与环境互动。软Q模仿学习解决了这些问题，并表明它可以有效地学习行为克隆和软Q学习与恒定的奖励。为了使该算法对分布偏移具有更好的鲁棒性，我们提出了鉴别器软演员批评（DSAC）。它使用基于对抗逆强化学习的奖励函数，而不是恒定的奖励。我们在PyBullet环境中评估了它，只有四个专家轨迹。
2020-01-31 cs.LG stat.ML
Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
National University of Singapore（新加坡国立大学）；Trinity College Dublin, The University of Dublin（都柏林大学三一学院）
针对强化学习中隐藏混淆变量导致策略偏差的问题，本文提出DoSAC算法，通过可学习后门重构器从观测数据估计干预策略，在连续控制任务中提升了鲁棒性与泛化能力。
2025-06-05 cs.AI cs.LG
Hysteresis-Aware Neural Network Modeling and Whole-Body Reinforcement Learning Control of Soft Robots
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
本研究提出磁滞感知神经网络模型与强化学习控制方法，用于软体机器人全身运动建模与控制，显著降低建模误差并实现高精度轨迹跟踪，验证了其在手术应用中的潜力。
2025-07-09 cs.LG cs.RO
t-Soft Update of Target Network for Deep Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
提出了一种新的深度强化学习（DRL）目标网络鲁棒更新规则，以取代传统的指数移动平均更新规则。目标网络用于平滑地生成用于DRL中的主网络的参考信号，从而减小学习方差。其传统更新规则的问题在于，所有参数都以相同的速度从主网络平滑复制，即使其中一些参数试图向错误的方向更新。这种行为增加了产生错误参考信号的风险。虽然降低整体更新速度是一种减少错误更新的简单方法，但它会降低学习速度。为了在保持学习速度的同时鲁棒地更新参数，借鉴指数移动平均与正态分布的相似性，提出了一种t软更新方法。通过对导出的t软更新的分析，我们证明了它具有学生t分布的性质。具体来说，由于学生t分布的重尾特性，t-soft更新会自动排除与过去经验不同的极端更新。此外，当更新与过去的经验相似时，可以通过增加更新量来减轻学习延迟。在DRL的PyBullet机器人仿真中，具有t-soft更新的在线actor-critic算法在获得的回报和/或其方差方面优于传统方法。从t-soft更新的训练过程中，我们发现t-soft更新与标准软更新是全局一致的，并且更新速率被局部调整以加速或抑制。
2020-12-25 cs.LG stat.ML
The In-Sample Softmax for Offline Reinforcement Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Oxford（牛津大学）
针对离线强化学习中分布外动作导致的自举高估问题，提出样本内 softmax 及其 Actor-Critic 算法，证明其收敛性并取得优于或可比现有方法的效果。
2023-04-19 cs.AI cs.LG
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University（清华大学）
本文针对SAC中反向KL散度导致策略投影难以处理的问题，提出双向SAC算法，先利用前向KL散度获得显式高斯策略投影进行初始化，再优化反向KL散度精炼策略，在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
Regularized Reward-Punishment Reinforcement Learning
Dept. of Brain Robot Interface, ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室脑机接口系）
提出KL耦合策略正则化(KCPR)框架，通过策略间动态先验交互实现奖惩强化学习中的策略协调，并衍生出KL耦合软最优性(KCSO)及深度实现klDMP，在网格世界和Gazebo机器人导航任务中提升了安全性和学习稳定性。
2026-06-29 cs.LG cs.RO
Off-policy Maximum Entropy Reinforcement Learning : Soft Actor-Critic with Advantage Weighted Mixture Policy(SAC-AWMP)
Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）；Reinforcement Learning and Artificial Intelligence Laboratory, University of Alberta（阿尔伯塔大学强化学习与人工智能实验室）；Department of Biomedical Engineering, National University of Singapore（新加坡国立大学生物医学工程系）
强化学习问题的最优策略往往是不连续和非光滑的。也就是说，对于具有类似表示的两个国家，它们的最佳政策可能大不相同。在这种情况下，表示整个政策与函数逼近器（FA）共享参数的所有状态可能是不可取的，因为参数共享的泛化能力，使表示不连续的，非平滑的政策困难。解决这个问题的一种常见方法，称为混合专家，是将策略表示为多个组件的加权和，其中不同的组件在状态空间的不同部分上表现良好。根据这个想法，并受到最近的工作称为加权信息最大化的启发，我们建议学习这些组件的每个状态权重，以便它们包含状态本身的信息以及迄今为止为状态学习的首选动作。动作偏好通过优势函数来表征。在这种情况下，每个分量的权重将仅对于其表示相似并且优选动作表示也相似的某些状态组较大。因此，每个组件都易于表示。我们把这种参数化的策略称为优势加权混合策略（AWMP），并把这种思想应用于改进最有竞争力的连续控制算法之一软演员评论（SAC）。实验结果表明，与AWMP SAC明显优于SAC在四个常用的连续控制任务，并实现不同的随机种子稳定的性能。
2020-02-07 cs.AI cs.LG stat.ML
Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
Tsinghua University（清华大学）
强化学习（RL）在许多顺序决策和控制任务中取得了显著的性能。然而，一个常见的问题是，学习的近最优策略总是过拟合的训练环境，并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中，环境的随机性通常会导致一些破坏性事件，这应该是自动驾驶等安全关键系统的重点。在本文中，我们引入了极大极小公式和分布框架，以提高RL算法的推广能力，并开发了极大极小分布软演员-评论（DSAC）算法。极大极小化模型旨在寻求最优策略，其中主角策略最大化行动价值函数，而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布，从中我们可以明确地建模不同收益的风险，从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法，并在不同的环境中测试了训练后的策略。结果表明，我们的方法可以大大提高的推广能力的主角代理不同的环境变化。
2020-09-30 cs.LG stat.ML
Back-stepping Experience Replay with Application to Model-free Reinforcement Learning for a Soft Snake Robot
Michigan State University（密歇根州立大学）
提出回溯经验回放（BER）技术，通过构建反向轨迹并蒸馏回放经验提升近似可逆系统的离策略强化学习效率，在软体蛇形机器人导航中实现100%成功率和48%的速度提升。
2024-09-23 cs.LG cs.RO
Review, Analysis and Design of a Comprehensive Deep Reinforcement Learning Framework
Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新研究所）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
深度学习与强化学习（RL）的集成使RL能够在高维环境中有效地执行。近年来，深度强化学习方法已被应用于解决许多复杂的现实问题。然而，基于深度RL的系统的开发是具有挑战性的，因为存在各种问题，例如选择合适的深度RL算法，其网络配置，训练时间，训练方法，本文提出了一个全面的软件框架，它不仅在设计一个连接，点深度RL架构，但也提供了在短时间内开发现实RL应用程序的指导方针。我们设计并开发了一个基于RL的软件框架，严格确保了灵活性、鲁棒性和可扩展性。通过继承所提出的架构，软件管理人员可以预见在设计基于RL的深层系统时的任何挑战。因此，他们可以加快设计过程，并积极控制软件开发的每个阶段，这在敏捷开发环境中尤其重要。为了实现泛化，所提出的架构不依赖于特定的RL算法、网络配置、代理的数量或代理的类型。使用我们的框架，软件开发人员可以开发和集成新的RL算法或新类型的代理，并可以灵活地改变网络配置或代理的数量。
2021-02-23 cs.AI cs.GT cs.LG
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University（清华大学）
在强化学习（RL）中，函数逼近误差容易导致Q值高估，从而大大降低策略性能。本文提出了一种分布式软行动者-批评者（DSAC）算法，这是一种用于连续控制设置的非策略RL方法，通过减轻Q值高估来提高策略性能。我们首先在理论上发现，学习状态-动作回报的分布函数可以有效地减轻Q值高估，因为它能够自适应地调整Q-价值函数的更新步长。然后，通过将收益分布函数嵌入到最大熵RL中，提出了分布式软策略迭代（DSPI）框架。最后，我们提出了DSPI的一个深度非策略行动者-批评者变体，称为DSAC，它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布，以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能，实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
Reinforcement learning for automatic quadrilateral mesh generation: a soft actor-critic approach
Concordia University（康考迪亚大学）；Old Dominion University（奥多明尼昂大学）；Dalian University of Technology（大连理工大学）
本文提出将网格生成建模为马尔可夫决策过程，并采用soft actor-critic强化学习算法实现全自动四边形网格生成，实验表明其在可扩展性、泛化性和有效性上优于代表性商业软件。
2022-10-12 cs.AI cs.CG cs.LG
Count-Based Temperature Scheduling for Maximum Entropy Reinforcement Learning
University of California, Irvine（加利福尼亚大学欧文分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
最大熵强化学习（MaxEnt RL）算法，如Soft Q-Learning（SQL）和Soft Actor-Critic权衡奖励和策略熵，这有可能提高训练稳定性和鲁棒性。然而，大多数MaxEnt RL方法使用恒定的权衡系数（温度），与直觉相反，温度应该在训练早期较高，以避免过度拟合噪声值估计，并在训练后期降低，因为我们越来越相信高值估计确实会带来良好的回报。此外，我们对价值估计的信心是依赖于状态的，每当我们使用更多的证据来更新估计时，信心就会增加。在本文中，我们提出了一个简单的基于状态的温度调度方法，并将其实例化为基于计数的软Q学习（CBSQL）的SQL。我们评估我们的方法在玩具领域以及在几个雅达利2600域，并显示出可喜的成果。
2021-11-28 cs.AI cs.LG
