MATCH: Model-Aware Tool Learning with Curriculum Scheduling and Hierarchically Gated Rewards
University of the Chinese Academy of Sciences(中国科学院大学);Honor Device Co., Ltd(荣耀终端有限公司)
针对工具学习中固定阈值课程错位和奖励信用泄漏问题,提出MATCH框架,采用模型感知课程学习与分层门控奖励,在API-Bank和BFCL V3上取得领先准确率。
2026-09-18 cs.AI cs.CL cs.LG
SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents
Sun Yat-sen University(中山大学);Zhejiang University(浙江大学);Chongqing University(重庆大学)
SWE-Gate基准结合功能测试与审查约束评估,发现仅通过功能测试的软件工程智能体中约34%未满足审查约束,仅功能评估会高估智能体的修复能力。
2026-09-04 cs.AI cs.SE
Policy-Aware Generative AI for Safe, Auditable Data Access Governance
Center for Advanced Research in Entity Resolution and Information Quality (ERIQ)(实体解析与信息质量高级研究中心)
本研究提出一种基于LLM的策略感知控制器,通过六阶段推理和硬性门控实现安全、合规、可审计的数据访问决策,实验显示决策准确率提升至92.9%。
2025-10-27 cs.AI
LLM Company Policies and Policy Implications in Software Organizations
Chalmers University of Technology and University of Gothenburg(楚尔姆斯理工大学和哥德堡大学)
本研究考察11家公司制定LLM聊天机器人政策的方式及影响因素,旨在帮助管理者安全整合此类工具到开发流程中。
2025-10-08 cs.AI cs.SE
Soft Adaptive Policy Optimization
Qwen Team, Alibaba Inc(阿里巴巴公司)
SAPO通过软门替代硬剪裁,提升大语言模型强化学习的稳定性和效率。
2025-12-01 cs.AI cs.CL cs.LG
Improving OCR Faithfulness via Gated and Attenuated On-Policy Distillation
针对视觉语言模型改写异常文本损害OCR忠实度的问题,提出GAD-RL,根据学生表现门控与衰减教师蒸馏,在Qwen3.5-2B上显著提升CHAOS-Bench与OmniDocBench性能。
2026-10-01 cs.AI
Patching LLM Like Software: A Lightweight Method for Improving Safety Policy in Large Language Models
Rensselaer Polytechnic Institute(拉特格斯理工学院);IBM Research(IBM研究院)
本文提出了一种轻量级方法,通过在现有模型前添加可学习的前缀来快速修复大语言模型的安全漏洞,该方法在毒性缓解、偏见减少和有害性拒绝等关键领域实现了与新一代安全对齐模型相当的安全提升。
2026-04-27 cs.AI
GateLens: A Reasoning-Enhanced LLM Agent for Automotive Software Release Analytics
GateLens是一种基于LLM的代理,通过引入关系代数作为中间表示,提升复杂表格数据分析的效率与准确性,适用于汽车软件发布分析领域。
2026-03-10 cs.AI cs.CL cs.MA
LatentSift: Policy-State Filtering for Token-Efficient Verification of Software Engineering Agents
University of Florida(佛罗里达大学);Aeronix(Aeronix公司)
LatentSift利用策略隐藏状态进行无令牌无执行过滤,显著减少软件工程智能体验证令牌,同时保持或提升性能。
2026-09-30 cs.AI cs.SE
Multi-Task Reinforcement Learning with Language-Encoded Gated Policy Networks
Manning College of Information and Computer Science(信息与计算机科学曼宁学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出词汇策略网络(LEXPOL),利用语言编码和门控机制混合子策略,实现多任务强化学习,在MetaWorld上达到或超越基线,并能组合专家策略适应新任务。
2025-10-07 cs.AI cs.LG
Beyond Importance Sampling: Rejection-Gated Policy Optimization
本文提出拒绝门策略优化方法,通过引入可微的接受门替代重要性采样比,统一了TRPO、PPO和REINFORCE的策略梯度,并证明其在重要性采样比重尾时能保证有限梯度方差。
2026-04-16 cs.AI cs.LG
Reward-Gated On-Policy Distillation
University of Cologne(科隆大学);AWS AI(亚马逊云科技人工智能);UT Austin(德克萨斯大学奥斯汀分校);MIT(麻省理工学院)
研究如何进行策略蒸馏,核心方法是引入奖励门控策略蒸馏(RG-OPD)利用验证器反馈决定是否信任教师逻辑,主要贡献是在推理和编码基准测试中表现出色,优于其他蒸馏方法。
2026-07-07 cs.AI cs.LG
Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
University of Oxford(牛津大学)
本文提出Soft Q(λ),一种基于效用追踪的离策略方法,通过引入新的Soft Tree Backup操作符,扩展了软Q学习的多步框架,实现了高效的信用分配。
2026-07-20 cs.AI cs.LG
Soft Deterministic Policy Gradient with Gaussian Smoothing
School of Electrical Engineering, KAIST(韩国延世大学电气工程学院)
本文提出基于高斯平滑的贝尔曼方程的软确定性策略梯度方法,解决传统DPG在稀疏或离散奖励下的梯度不明确问题,通过新定义的动作价值函数提升算法稳定性与性能。
2026-05-07 cs.AI cs.LG
Soft Policy Optimization: Online Off-Policy RL for Sequence Models
Meta Platforms, Inc.(元平台公司)
本文提出软策略优化SPO,一种无需价值模型、可从任意在线和离线轨迹学习的Soft RL方法,在代码竞赛中比PPO更快、更省内存、更稳定且策略更多样。
2025-03-07 cs.AI cs.LG
SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
School of Computing, National University of Singapore, Singapore(新加坡国立大学计算机学院);Department of Statistics, University of Oxford, United Kingdom(英国牛津大学统计系);School of Intelligence Science(智能科学学院);Technology, Nanjing University, China(技术学院,南京大学,中国)
SofT-GRPO通过引入Gumbel噪声和重新参数化技巧,在软思考模式下提升LLM推理性能,使其在Pass@1和Pass@32任务中分别优于离散标记GRPO。
2026-01-29 cs.AI cs.LG
Fitting Multilinear Polynomials for Logic Gate Networks
Department of AI(人工智能系;和电子与计算机工程系,inha大学);and Department of ECE, Inha University
本文提出通过逻辑门网络拟合多线性多项式,利用CovJac方法在四个参数下提升性能,证明其在交互需求下具有优势。
2026-05-09 cs.AI cs.LG
Soft Q Network
CreateAmind
深度Q网络(DQN)是一个非常成功的算法,但强化学习的固有问题,即开发-探索平衡,仍然存在。在这项工作中,我们引入熵正则化到DQN,并提出了SQN。我们发现,软Q学习的备份方程可以享受正确的反馈,如果我们把软备份看作是Q形式的策略改进,而不是策略评估。我们证明了带纠正反馈的软Q学习(SQL-CF)是SQL的on-plicy性质以及SQL和软策略梯度(SPG)的等价性的基础。有了这些见解,我们提出了一个策略版本的深度Q学习算法,即Q On-Policy(QOP)。我们在一个名为Google Research Football(GRF)的自我游戏环境中进行了QOP实验。QOP算法在训练GRF代理时表现出很好的稳定性和效率。
2020-12-14 cs.AI cs.LG
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University(清华大学)
最大熵深度强化学习(RL)方法已经在一系列具有挑战性的连续任务上得到了证明。然而,现有的方法要么在训练大型非策略数据时存在严重的不稳定性,要么无法扩展到具有非常高的状态和动作维度的任务,例如3D人形运动。另外,对于非最优软价值函数,期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后,将软策略梯度与软Bellman方程相结合,提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度(DSPG)。为了确保稳定的学习,同时消除两个单独的批评软价值函数的需要,我们利用双采样方法,使软贝尔曼方程易于处理。实验结果表明,我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models
Independent Researcher(独立研究者)
研究通过本地化策略路由机制,探讨在语言模型中扩展和控制策略电路的方法,发现路由机制在安全性和性能上的关键作用。
2026-10-20 cs.AI cs.CL cs.LG
Implementing TD3 to train a Neural Network to fly a Quadcopter through an FPV Gate
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
本文应用TD3算法训练神经网络作为四旋翼飞行器的速度控制器,使其能快速穿越FPV门并避免碰撞,并成功在实验室环境中验证了策略从仿真到现实世界的迁移与导航能力。
2024-12-18 cs.LG cs.RO
Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
National University of Singapore(新加坡国立大学);Trinity College Dublin, The University of Dublin(都柏林大学三一学院)
针对强化学习中隐藏混淆变量导致策略偏差的问题,本文提出DoSAC算法,通过可学习后门重构器从观测数据估计干预策略,在连续控制任务中提升了鲁棒性与泛化能力。
2025-06-05 cs.AI cs.LG
Align Forward, Adapt Backward: Closing the Discretization Gap in Logic Gate Networks
本文研究了神经网络训练与推理中的离散化差距问题,通过逻辑门网络实验发现CAGE方法能有效维持梯度流并保持前向对齐,提升模型在MNIST和CIFAR-10上的准确率。
2026-03-14 cs.AI cs.LG
Soft Actor-Critic with Cross-Entropy Policy Optimization
Robotics Design Laboratory, University of Queensland(昆士兰大学机器人设计实验室)
Soft Actor-Critic(SAC)是基于最大熵的强化学习(RL)框架内的最先进的非策略强化学习(RL)算法之一。SAC在一系列连续控制任务中表现良好,具有良好的稳定性和鲁棒性。SAC学习一个随机高斯策略,该策略可以最大化总期望奖励和策略熵之间的权衡。为了更新策略,SAC最小化当前策略密度和软价值函数密度之间的KL-偏离。然后使用重新参数化技巧来获得这种发散的近似梯度。本文提出了交叉熵策略优化的软行为者-批评者策略(SAC-CEPO),它使用交叉熵方法(CEM)来优化SAC的策略网络。最初的想法是使用CEM来迭代地对最接近软价值函数密度的分布进行采样,并使用所得到的分布作为目标来更新策略网络。为了降低计算复杂性,我们还引入了一个解耦的策略结构,将高斯策略分为一个学习均值的策略和一个学习偏差的策略,使得CEM只训练均值策略。我们表明,这种解耦的政策结构收敛到一个最优的,我们也证明了SAC-CEPO实现竞争力的性能对原来的SAC的实验。
2021-12-21 cs.LG
Soft Actor-Critic with Beta Policy via Implicit Reparameterization Gradients
Gina Cody School of Engineering and Computer Science(吉娜·科迪工程与计算机科学学院);Concordia University(康考迪亚大学)
针对 SAC 无法直接重参数化 beta 分布的限制,本文采用隐式重参数化梯度训练 beta 策略,并在模拟机器人运动任务中验证其优于正态策略且媲美压缩正态策略。
2024-09-08 cs.AI cs.LG
Robust off-policy Reinforcement Learning via Soft Constrained Adversary
Kyoto University(京都大学);Honda R&D Corp.(本田研发公司)
本文针对离策略鲁棒强化学习中策略与最优对抗者相互依赖及扰动假设局限的问题,提出基于f-散度约束和先验分布知识的对抗框架,推导出两种攻击及鲁棒学习方法,并在样本高效离策略RL中验证了其优异性能。
2024-08-31 cs.AI cs.LG
Soft Decomposed Policy-Critic: Bridging the Gap for Effective Continuous Control with Discrete RL
针对离散强化学习应用于连续控制时的维度爆炸问题,提出结合软RL、演员-评论家技术与离散RL的SDPC架构,通过独立离散化动作维度和共享评论家网络支持两类策略,在多个连续控制任务上优于现有最优连续RL算法。
2023-08-20 cs.AI cs.LG
Soft Action Priors: Towards Robust Policy Transfer
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
尽管强化学习在许多具有挑战性的问题上取得了成功,但它仍然面临着样本效率低下的问题,这可以通过向智能体引入先验知识来缓解。然而,强化学习中的许多迁移技术都假设教师是专家。在本文中,我们使用来自强化学习的动作先验作为推理框架-也就是说,每个状态下的动作分布类似于教师策略,而不是贝叶斯先验-以恢复最先进的策略蒸馏技术。然后,我们提出了一类自适应方法,可以鲁棒地利用行动先验结合奖励塑造和辅助正则化损失。与以前的工作相比,我们开发的算法,利用次优的行动先验,但可能会传授有价值的知识-我们称之为软行动先验。所提出的算法通过调整教师反馈的强度来适应,根据教师在每个状态下的有用性的估计。我们进行了表格实验,结果表明,所提出的方法实现了最先进的性能,超越它时,从次优先验学习。最后,我们证明了自适应算法在连续动作深度RL问题中的鲁棒性,与现有的策略蒸馏方法相比,自适应算法大大提高了稳定性。
2022-09-20 cs.AI cs.LG
Diffusion Fine-Tuning via Reparameterized Policy Gradient of the Soft Q-Function
KAIST(韩国科学技术院);MongooseAI(猫鼬人工智能);Omelet
SQDF通过软Q函数的重参数化策略梯度方法,解决扩散模型奖励过优化问题,提升样本多样性和自然性。
2026-03-06 cs.AI cs.LG
Direct Soft-Policy Sampling via Langevin Dynamics
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(韩国大学人工智能系);Gauss Labs Inc(Gauss实验室)
通过引入噪声条件化的 Langevin 动力学,NC-LQL 实现了高效的软策略采样,提升了在线强化学习的性能。
2026-02-08 cs.AI cs.LG
Distributional Soft Actor-Critic with Diffusion Policy
School of Vehicle and Mobility, Tsinghua University(车辆与移动学院,清华大学);School of Mechanical Engineering, University of Science and Technology Beijing(机械工程学院,北京科技大学)
本文提出DSAC-D算法,通过双重扩散模型构建多峰价值网络与策略网络,解决了价值函数估计偏差问题并在9个MuJoCo任务中实现SOTA性能。
2025-07-11 cs.AI cs.LG
A short variational proof of equivalence between policy gradients and soft Q learning
Data Science Institute(数据科学研究所);Imperial College(帝国理工学院);Institute of Security Science and Technology(安全科学与技术研究所)
强化学习算法的两个主要家族,Q学习和策略梯度,最近被证明是等价的,当使用softmax松弛的一部分,和熵正则化的其他。我们将这个结果与著名的香农熵和softmax函数的凸对偶性联系起来。这个结果也被称为Donsker-Varadhan公式。这提供了等价性的简短证明。然后,我们进一步解释这种对偶性,并使用凸分析的思想来证明一个新的政策不等式相对于软Q学习。
2017-12-22 cs.LG
Sigmoid Attention as a Better Substrate for Learned KV Cache Eviction
University of Pittsburgh(匹兹堡大学)
本文探究注意力基础对学习型KV缓存驱逐软-硬转换的影响,通过2×2×2对比实验发现,Sigmoid注意力经学习型硬驱逐后,其门控模型删除KV条目时PPL变化可忽略,且比H₂O、KeyDiff等方法表现更优。
2026-08-25 cs.AI cs.LG
Beyond Softmax and Entropy: Convergence Rates of Policy Gradients with f-SoftArgmax Parameterization & Coupled Regularization
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);LRE EPITA(EPITA LRE实验室)
本文提出基于f-SoftArgmax的策略参数化和耦合正则化,改进优化景观并保证满足Polyak-Lojasiewicz不等式,首次获得无预处理的策略梯度方法收敛保证,并展示f-PG在Tsallis散度下的多项式样本复杂度。
2026-04-01 cs.LG
Soft-Robust Actor-Critic Policy-Gradient
Technion(以色列理工学院);Google Deepmind(谷歌DeepMind)
鲁棒强化学习的目标是获得最佳行为,说明动态系统中的模型不确定性。然而,先前的研究表明,考虑到最坏的情况,稳健的政策可能过于保守。我们的软稳健框架就是为了解决这个问题。在本文中,我们提出了一种新的软鲁棒Actor-Critic算法(SR-AC)。它学习关于不确定性集合上的分布的最优策略,并对模型的不确定性保持鲁棒性,但避免了鲁棒策略的保守性。我们展示了SR-AC的收敛性,并通过将其与常规学习方法及其鲁棒性公式进行比较来测试我们的方法在不同领域上的效率。
2018-10-24 cs.AI cs.LG stat.ML
Modified Actor-Critics
Austrian Institute of Technology(奥地利技术研究所);FH Joanneum(约翰内姆应用科技大学);Google Research, Brain Team(谷歌研究院大脑团队)
最近成功的深度强化学习算法,如信任域策略优化(TRPO)或近端策略优化(PPO),是保守策略迭代(CPI)的基本变体。这些算法首先进行策略评估,然后进行软化策略改进。因此,他们自然是政策。在本文中,我们建议将(任何类型的)软贪婪与修改策略迭代(MPI)相结合。所提出的抽象框架反复应用:(i)允许离策略学习的部分策略评估步骤和(ii)任何软化的贪婪步骤。我们的贡献可以被视为深度强化学习工具箱的新通用工具。作为概念的证明,我们用PPO greediness实例化这个框架。与原始PPO算法相比,该算法具有更高的采样效率。我们还表明,它是具有竞争力的国家的最先进的政策外的算法软演员批评(SAC)。
2020-01-24 cs.AI cs.LG stat.ML
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.(谷歌公司)
强化学习的策略梯度方法有两个常见的和不希望的开销过程,即热启动训练和样本方差减少。在本文中,我们描述了一种基于softmax价值函数的强化学习方法,该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Safe Policy Improvement with Soft Baseline Bootstrapping
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI);Microsoft Research Montréal(蒙特利尔微软研究院)
批处理强化学习(Batch RL)包括使用与另一个策略(称为行为策略)一起收集的轨迹来训练策略。安全策略改进(SPI)提供了高概率的保证,即经过训练的策略比行为策略表现得更好,在这种情况下也称为基线。以前的工作表明,SPI目标提高了平均性能相比,使用基本RL目标,归结为解决MDP与最大似然。在这里,我们在这项工作的基础上,通过允许在更广泛的策略集上进行策略搜索,更精确地改进了SPI与基线引导算法(SPIBB)。而不是二进制分类的状态-动作对成两个集合(\textit{uncertain}和\textit{safe-to-train-on}的),我们采用了一种更软的策略,通过限制政策的变化,根据本地模型的不确定性,控制在值估计的误差。该方法可以承担更多的风险,不确定的行动,同时保持可证明的安全,因此是保守性比国家的最先进的方法。我们提出了两种算法(一个最佳的和一个近似的)来解决这个约束优化问题,经验表明,显着改善现有的SPI算法的有限MDP和无限MDP与神经网络函数近似。
2019-07-11 cs.AI cs.LG stat.ML
A Short Note on Soft-max and Policy Gradients in Bandits Problems
University of Manchester(曼彻斯特大学)
这是一个关于softmax在强盗问题中的李雅普诺夫函数参数的简短交流。在强化学习\cite{agarwal2019optimality,bhandari2019global,mei2020global}中,有许多优秀的论文使用微分方程进行策略梯度算法。我们给出了一个简短的论点,给出了一个遗憾界的软最大常微分方程的强盗问题。我们得出一个类似的结果,一个不同的策略梯度算法,再次强盗问题。对于这第二个算法,它是可能的,以证明在随机情况下的遗憾界\cite{DW20}。最后,我们总结了在推导策略梯度的随机后悔界方面的一些想法和问题。
2020-07-20 cs.LG stat.ML
Distributional Soft Actor-Critic: Off-Policy Reinforcement Learning for Addressing Value Estimation Errors
Tsinghua University(清华大学)
在强化学习(RL)中,函数逼近误差容易导致Q值高估,从而大大降低策略性能。本文提出了一种分布式软行动者-批评者(DSAC)算法,这是一种用于连续控制设置的非策略RL方法,通过减轻Q值高估来提高策略性能。我们首先在理论上发现,学习状态-动作回报的分布函数可以有效地减轻Q值高估,因为它能够自适应地调整Q-价值函数的更新步长。然后,通过将收益分布函数嵌入到最大熵RL中,提出了分布式软策略迭代(DSPI)框架。最后,我们提出了DSPI的一个深度非策略行动者-批评者变体,称为DSAC,它通过将状态-行动回报的方差保持在合理范围内来直接学习连续回报分布,以解决梯度爆炸和消失问题。我们评估了DSAC在MuJoCo连续控制任务套件上的性能,实现了最先进的性能。
2021-06-11 cs.AI cs.LG cs.SY
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
Berkeley Artificial Intelligence Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心)
无模型深度强化学习(RL)算法已在一系列具有挑战性的决策和控制任务中得到验证。然而,这些方法通常面临两个主要挑战:非常高的样本复杂性和脆弱的收敛特性,这需要细致的超参数调整。这两个挑战严重限制了这些方法对复杂的现实世界领域的适用性。在本文中,我们提出了软演员-评论家,一个离政策演员-评论家深度强化算法的最大熵强化学习框架的基础上。在这个框架中,行动者的目标是最大化预期回报,同时也最大化熵。也就是说,在尽可能随机的情况下成功完成任务。基于这个框架的深度RL方法已经被公式化为Q学习方法。通过将政策外更新与稳定的随机行动者-批评者公式相结合,我们的方法在一系列连续控制基准任务上实现了最先进的性能,优于之前的政策内和政策外方法。此外,我们证明,与其他政策外算法相比,我们的方法是非常稳定的,在不同的随机种子实现非常相似的性能。
2018-08-08 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind(CreateAmind(需确认具体中文译名,此处按原文保留))
熵正则化是强化学习中的一个重要思想,在最近的软Q网络(SQN)和软Actor-Critic(SAC 1)等算法中取得了巨大成功。在这项工作中,我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理(SPGT)。在SPGT的基础上,推导出了一系列新的策略优化算法,如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等,并发现SDDPG与SAC 1是等价的。对于策略梯度,策略网络通常表示为具有全局动作方差的高斯分布,这损害了表示能力。我们在策略网络中引入了一个局部行为方差,发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外,我们的方法可以很容易地扩展到大规模的实验,具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University(杜克大学)
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题,该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态,例如建模,宽单隐层神经网络的行为,通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下,我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa(比萨大学);Institute of Information Science and Technologies (ISTI), National Research Council (CNR)(国家研究委员会信息科学与技术研究所)
本文提出持续策略蒸馏框架,通过策略蒸馏与样本回放缓解灾难性遗忘,训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI;UC Berkeley(加州大学伯克利分校)
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的,然而,还没有很好地理解它们为什么工作,因为根据经验,它们估计的$Q$ -值非常不准确。一个部分的解释可能是,$Q$ -学习方法正在秘密地实现策略梯度更新:我们表明,在熵正则化强化学习的设置中,$Q$ -学习和策略梯度方法之间存在精确的等价性,“软”(熵正则化)$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中,我们探索了$Q$的熵正则化版本-学习和策略梯度,我们发现它们在Atari基准测试中的表现与标准变体一样好(或略好于)。我们还表明,在实际环境中的等价性,通过构建一个$Q$的学习方法,密切匹配的A3 C的学习动态,而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
The Sufficiency of Off-Policyness and Soft Clipping: PPO is still Insufficient according to an Off-Policy Measure
Jilin University(吉林大学);University of Alberta(阿尔伯塔大学);Northwestern Polytechnical University(西北工业大学);Ministry of Education, China(中国教育部);Alberta Machine Intelligence Institute, University of Alberta(阿尔伯塔大学阿尔伯塔机器智能研究所)
流行的近端策略优化(PPO)算法在裁剪的策略空间中近似解。在这个领域之外是否存在更好的政策?通过使用一个新的代理目标,采用sigmoid函数(这提供了一种有趣的探索方式),我们发现答案是“是”,更好的策略实际上位于离裁剪空间很远的地方。我们表明,PPO是不够的“关闭policyness”,根据关闭政策的指标称为DEON。我们的算法在比PPO大得多的策略空间中进行探索,并且在训练期间比PPO更好地最大化保守策略迭代(CPI)目标。据我们所知,目前所有的PPO方法都有裁剪操作,并在裁剪的策略空间中进行优化。本文的方法是这类方法中的第一个,它推进了对CPI优化和策略梯度方法的理解。代码可在https://github.com/raincchio/P3O上获得。
2022-12-03 cs.LG
Offline Reinforcement Learning with Soft Behavior Regularization
JD Intelligent Cities Research, JD Technology(京东科技京东智能城市研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院)
离线强化学习(RL)的大多数现有方法利用\textit{behavior regularization},通常用测量策略和离线数据之间的分歧的惩罚来增强现有的非策略参与者评论算法。然而,这些方法缺乏保证的性能改进的行为策略。在这项工作中,我们从学习策略和行为策略之间的性能差异出发,我们推导出一个新的策略学习目标,可以用于离线设置,它对应于优势函数值的行为策略,乘以状态边际密度比。我们提出了一个实用的方法来计算密度比,并证明其等价于一个状态依赖的行为正则化。与先前方法中使用的状态无关正则化不同,这种\textit{soft}正则化允许在高置信度状态下更自由地进行策略偏离,从而导致更好的性能和稳定性。因此,我们将我们得到的算法软行为正则化演员评论(SBAC)。我们的实验结果表明,SBAC匹配或优于国家的最先进的一组连续控制运动和操纵任务。
2021-10-14 cs.LG
Weighted Quantum Channel Compiling through Proximal Policy Optimization
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
我们提出了一种通用和系统的策略来编译任意量子信道,而不使用辅助量子比特,基于邻近策略优化-一种强大的深度强化学习算法。我们严格证明,在鲜明对比的情况下,编译酉门,这是不可能的编译任意通道任意精度与任何给定的有限基本通道集,无论分解序列的长度。然而,对于固定精度的$ε$,可以构建具有恒定数量的$ε$相关基本通道的通用集合,使得任意量子信道可以被分解成这些基本通道的序列,随后是幺正门,其中序列长度由$O(\frac{1}ε\log\frac{1}ε)$限定。通过一个关于Majorana费米子拓扑编译的具体例子,我们证明了我们提出的算法通过在最近策略优化的奖励函数中加入加权代价,可以方便有效地减少昂贵的基本门的使用.
2021-11-03 cond-mat.dis-nn cs.LG quant-ph
Off-policy Maximum Entropy Reinforcement Learning : Soft Actor-Critic with Advantage Weighted Mixture Policy(SAC-AWMP)
Department of Mechanical and Energy Engineering, Southern University of Science and Technology(南方科技大学机械与能源工程系);Reinforcement Learning and Artificial Intelligence Laboratory, University of Alberta(阿尔伯塔大学强化学习与人工智能实验室);Department of Biomedical Engineering, National University of Singapore(新加坡国立大学生物医学工程系)
强化学习问题的最优策略往往是不连续和非光滑的。也就是说,对于具有类似表示的两个国家,它们的最佳政策可能大不相同。在这种情况下,表示整个政策与函数逼近器(FA)共享参数的所有状态可能是不可取的,因为参数共享的泛化能力,使表示不连续的,非平滑的政策困难。解决这个问题的一种常见方法,称为混合专家,是将策略表示为多个组件的加权和,其中不同的组件在状态空间的不同部分上表现良好。根据这个想法,并受到最近的工作称为加权信息最大化的启发,我们建议学习这些组件的每个状态权重,以便它们包含状态本身的信息以及迄今为止为状态学习的首选动作。动作偏好通过优势函数来表征。在这种情况下,每个分量的权重将仅对于其表示相似并且优选动作表示也相似的某些状态组较大。因此,每个组件都易于表示。我们把这种参数化的策略称为优势加权混合策略(AWMP),并把这种思想应用于改进最有竞争力的连续控制算法之一软演员评论(SAC)。实验结果表明,与AWMP SAC明显优于SAC在四个常用的连续控制任务,并实现不同的随机种子稳定的性能。
2020-02-07 cs.AI cs.LG stat.ML
From Inference Routing to Agent Orchestration: Declarative Policy Compilation with Cross-Layer Verification
McGill University(麦吉尔大学)
本文扩展了非图灵完备的策略语言,从单请求路由到多步骤代理工作流,通过跨层验证确保策略一致性,提升可审计性和可验证性。
2026-03-28 cs.LG
Adversarial Soft Advantage Fitting: Imitation Learning without Policy Optimization
Québec AI institute (Mila)(魁北克人工智能研究所(Mila));McGill University(麦吉尔大学);Polytechnique Montréal(蒙特利尔理工学院);Facebook AI Research(Facebook人工智能研究院);Element AI;Ubisoft Montreal’s La Forge R&D laboratory(育碧蒙特利尔La Forge研发实验室)
对抗性模仿学习在学习一个模型(区分专家的演示和生成的演示)和一个生成器的策略之间交替进行,以生成可以欺骗这个模型的轨迹。这种交替优化在实践中是微妙的,因为它将不稳定的对抗训练与脆弱和样本效率低下的强化学习结合在一起。我们建议通过利用一种新的策略优化公式来消除政策优化步骤的负担。具体地说,我们的迭代策略明确地以两个策略为条件:来自前一个生成器的迭代的策略和可学习的策略。当优化时,该学习器直接学习最优生成器的策略。因此,我们的更新免费解决了生成器的优化问题:学习模仿专家的策略不需要额外的优化循环。这种公式通过完全去除强化学习阶段,有效地将对抗模仿学习算法的实现和计算负担减少了一半。我们在各种任务上表明,我们更简单的方法与流行的模仿学习方法相比具有竞争力。
2021-04-16 cs.AI cs.LG stat.ML
Quantum Logic Gate Synthesis as a Markov Decision Process
Rigetti Computing(里盖蒂计算公司);Quantum Artificial Intelligence Laboratory (QuAIL), NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心量子人工智能实验室);USRA Research Institute for Advanced Computer Science (RIACS)(美国空间研究协会高级计算机科学研究所);University of Maryland(马里兰大学);Ames Laboratory(艾姆斯实验室);Iowa State University(爱荷华州立大学);Department of Physics and Astronomy, Iowa State University(爱荷华州立大学物理与天文学系)
本文研究了将量子编程中的状态制备和门编译任务建模为马尔可夫决策过程(MDP)的可行性,通过策略迭代精确求解单量子比特离散MDP的最优策略,找到了实现高保真度的最短门序列,并证明了强化学习在量子编程中的适用性。
2022-07-05 cs.LG quant-ph
Entropic Risk Constrained Soft-Robust Policy Optimization
University of New Hampshire(新罕布什尔大学)
在强化学习中,拥有一个完美的模型来计算最优策略通常是不可行的。在高风险领域,量化和管理由模型不确定性引起的风险是非常重要的。熵风险测度是一种基于指数效用的凸风险测度,它满足许多合理的性质。在本文中,我们提出了一个熵风险约束的策略梯度和演员评论家算法,是风险厌恶的模型的不确定性。我们证明了我们的算法在几个问题域的有用性。
2020-06-20 cs.LG math.OC stat.ML
Learning Logic Specifications for Soft Policy Guidance in POMCP
University of Verona(维罗纳大学)
部分可观测蒙特卡罗规划(POMCP)是求解部分可观测马尔可夫决策过程(POMDP)的一种有效方法。它允许通过使用基于蒙特卡罗树搜索的策略,在本地和在线计算最优策略的近似值来扩展到大的状态空间。然而,POMCP遭受稀疏的奖励功能,即,只有当达到最终目标时才能获得奖励,特别是在具有大状态空间和长视野的环境中。最近,逻辑规范已被集成到POMCP,以指导勘探和满足安全要求。然而,这种与策略相关的规则需要领域专家手动定义,特别是在现实世界的场景中。在本文中,我们使用归纳逻辑程序设计,从POMCP执行的轨迹中学习逻辑规范,即,由规划器生成的信念-行动对的集合。具体来说,我们学习的规则表示的范式的答案集编程。然后,我们将它们整合到POMCP中,为有希望的行动提供软政策偏见。在两个基准场景的背景下,岩石样本和电池,我们表明,从小任务实例的学习规则的集成可以提高性能,更少的蒙特卡罗模拟和更大的任务实例。我们在https://github.com/GiuMaz/pomcp_clingo.git上公开了POMCP的修改版本。
2023-03-16 cs.AI cs.LG cs.LO