Adaptive Discretization for Model-Based Reinforcement Learning
Cornell University（康奈尔大学）；Duke University（杜克大学）
我们引入自适应离散化技术，设计一个有效的基于模型的情节强化学习算法在大（潜在连续）的状态-动作空间。我们的算法是基于乐观的一步值迭代扩展，以保持自适应离散化的空间。从理论的角度来看，我们提供了最坏情况下的遗憾界限，我们的算法相比，最先进的基于模型的算法是有竞争力的。此外，我们的界限是通过一个模块化的证明技术，可以潜在地扩展到将额外的结构上的问题。从实现的角度来看，我们的算法具有更低的存储和计算需求，由于保持一个更有效的分区的状态和动作空间。我们通过几个典型的控制问题，这表明，我们的算法的经验表现明显优于固定的离散化方面的收敛速度更快，内存使用量更低的实验。有趣的是，我们根据经验观察到，虽然基于固定离散化模型的算法大大优于无模型算法，但这两者在自适应离散化方面的性能相当。
2020-10-23 cs.LG stat.ML
Reinforcement Learning: a Comparison of UCB Versus Alternative Adaptive Policies
Rutgers University（罗格斯大学）
在本文中，我们考虑的基本版本的强化学习（RL），涉及到计算最佳的数据驱动（自适应）的马尔可夫决策过程的转移概率未知的政策。我们提供了一个简短的调查，该地区的最先进的，我们比较了性能的经典UCB政策的\cc{bkmdp97}与一个新的政策，我们在这里开发的，我们称之为MDP-Deterministic最小经验分歧（MDP-DMED），和一个方法的基础上后验抽样（MDP-PS）。
2019-09-13 cs.AI cs.LG stat.ML
Finite-Sample Bounds for Adaptive Inverse Reinforcement Learning using Passive Langevin Dynamics
Department of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程系）
本文对用于自适应逆强化学习的被动随机梯度朗之万动力学算法开展有限样本分析，给出2-瓦瑟斯坦距离显式界与核密度估计保证，兼具理论与实践意义。
2025-01-15 cs.LG stat.ML
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
An adaptive synchronization approach for weights of deep reinforcement learning
Tarbiat Modares University（塔比阿特莫达雷斯大学）
深度Q网络（Deep Q-Networks，DQN）是深度强化学习中最著名的方法之一，它使用深度学习来近似动作-价值函数。该模型的主要优点是解决了许多深度强化学习的挑战，如移动目标问题和样本之间的相关性。虽然近年来DQN有各种扩展，但它们都使用与DQN类似的方法来克服移动目标的问题。尽管有上述优点，但以固定步长同步网络权重，独立于代理的行为，在某些情况下可能会导致一些正确学习的网络的丢失。这些丢失的网络可能会导致具有更多奖励的状态，因此更好的样本存储在重放存储器中用于未来的训练。在本文中，我们从DQN家庭解决这个问题，并提供了一个自适应的方法，用于DQN中使用的神经权重的同步。在该方法中，权重的同步是基于代理的最近行为来完成的，该行为是在间隔结束时通过标准来测量的。为了测试这种方法，我们调整了DQN和彩虹方法与建议的自适应同步方法。我们比较了这些调整后的方法与他们的标准形式的知名游戏，结果证实了我们的同步方法的质量。
2020-08-16 cs.LG stat.ML
Time Adaptive Reinforcement Learning
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）
强化学习（RL）允许解决复杂的任务，如围棋，通常具有比人类更强的性能。然而，学习到的行为通常是固定的特定任务，无法适应不同的上下文。在这里，我们考虑的情况下，适应RL代理不同的时间限制，如完成一个任务与给定的时间限制，可能会改变从一个任务执行到下一个。我们将这些问题定义为时间自适应马尔可夫决策过程，并引入两个无模型的，基于值的算法：独立伽玛Entrial和n步Entrial。与经典方法不同，它们允许在不同的时间限制之间进行zero-shot自适应。所提出的方法代表了处理时间自适应任务的一般机制，使其与许多现有的RL方法，算法和场景兼容。
2020-04-18 cs.AI cs.LG stat.ML
Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization
Princeton University（普林斯顿大学）；LinkedIn（领英）；Penn State University（宾夕法尼亚州立大学）
在线影响力最大化是指在网络模型未知的情况下，通过选择少量种子节点，最大化内容在社交网络中的影响力传播。最近的研究遵循非自适应设置，其中在扩散过程开始之前选择种子节点，并且在扩散停止时更新网络参数。我们考虑一个自适应版本的内容相关的在线影响力最大化问题的种子节点被顺序激活的基础上实时反馈。在本文中，我们将该问题表示为线性扩散过程下的无限时域折扣MDP，并提出了一种基于基于模型的强化学习解决方案。我们的算法保持一个网络模型的估计，并自适应地选择种子用户，探索社会网络，同时提高最优策略的乐观。我们建立了算法的$\widetilde O(\sqrt{T})$后悔界。在合成网络上的实验结果验证了算法的有效性。
2022-06-29 cs.LG cs.SI stat.ML
Finite-Time Performance Bounds and Adaptive Learning Rate Selection for Two Time-Scale Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Arizona State University（亚利桑那州立大学）
我们研究了两种时间尺度线性随机近似算法，它们可以用来模拟著名的强化学习算法，如GTD，GTD 2和TDC。我们给出了学习率固定的情况下的有限时间性能界限。在获得这些界限的关键思想是使用李雅普诺夫函数的奇异摄动理论的线性微分方程。我们使用的界限设计一个自适应学习率计划，显着提高了收敛速度在我们的实验中已知的最佳多项式衰减规则，并可以用来潜在地提高性能的任何其他时间表，其中的学习率在预定的时刻改变。
2019-07-14 cs.AI cs.LG stat.ML
Adaptive Bases for Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑了使用函数逼近的强化学习问题，其中逼近基可以在与环境交互时动态地改变。这种方法的动机是最大化价值函数对所面临问题的适应性。三个错误被认为是：近似平方误差，贝尔曼残差，投影贝尔曼残差。提出了行动者-批评者框架下的算法，并证明其收敛。这种自适应的基础上的优势，在模拟中证明。
2010-05-02 cs.AI cs.LG
Curiosity-Driven Recommendation Strategy for Adaptive Learning via Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）
自适应学习系统中推荐策略的设计重点是利用现有信息为学习者提供个性化的学习指导。好奇心作为人类行为的重要动机，本质上是人类探索知识、寻求信息的动力。从心理学的角度出发，我们的目标是引入好奇心的元素，引导学习者自发地学习。本文在强化学习框架下提出了一种好奇心驱动的推荐策略，实现了一种既高效又愉快的个性化学习模式。从一个精心设计的预测模型的内在回报，我们应用演员批评的方法，直接通过神经网络近似的政策。数值分析与一个大的连续的知识状态空间和具体的学习场景被用来进一步证明所提出的方法的力量。
2019-10-12 cs.CY cs.LG stat.ML
Wasserstein Adaptive Value Estimation for Actor-Critic Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本文提出WAVE方法，通过在critic损失中引入自适应Wasserstein正则化提升actor-critic稳定性，并给出收敛速率与理论保证，实验显示其性能优于标准方法。
2025-03-07 cs.LG cs.SY eess.SY
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Safe Continual Reinforcement Learning under Nonstationarity via Adaptive Safety Constraints
McMaster Centre for Software Certification（麦斯特软件认证中心）；Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）
本文提出了一种结合三种自适应安全机制的框架，用于在非平稳环境下实现安全的持续强化学习，通过自适应约束机制减少分布偏移下的安全违规，同时保持任务性能。
2026-05-13 cs.LG
Reinforcement Learning-based Adaptive Path Selection for Programmable Networks
Institute of Informatics, University of Amsterdam（阿姆斯特丹大学信息学院）；Ericsson Research（爱立信研究）
本研究提出分布式网络内强化学习框架，结合随机学习自动机与带内网络遥测数据实现可编程网络自适应路径选择，经测试验证其可快速收敛并适应网络变化。
2025-08-31 cs.LG
Deep Reinforcement Learning for Data-Driven Adaptive Scanning in Ptychography
Humboldt Universität zu Berlin（柏林洪堡大学）
我们提出了一种方法，通过自适应扫描的标本，从而提供所需的空间信息冗余的最高重要性的区域，降低了重叠关联重建所需的剂量。所提出的方法建立在通过强化学习（RL）训练的深度学习模型上，使用来自训练数据集的样本结构的先验知识。我们表明，等效的低剂量实验，使用自适应扫描优于传统的重叠关联实验重建分辨率。
2022-03-29 cs.CV cs.LG physics.comp-ph
Reinforcement Learning for Adaptive MCMC
Newcastle University（纽卡斯尔大学）；University of Sydney（悉尼大学）；Alan Turing Institute（阿兰·图灵研究所）
本文提出强化学习Metropolis-Hastings框架，将自适应MCMC的转移核视为确定性策略，通过策略梯度优化学习率，确保遍历性，并在PosteriorDB基准上以约90%任务优势超越现有无梯度自适应算法。
2024-05-22 cs.LG stat.CO
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford（牛津大学）
在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Malliavin Calculus for Counterfactual Gradient Estimation in Adaptive Inverse Reinforcement Learning
School of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）
本文提出一种基于拉格朗日算法的自适应逆强化学习方法，利用马尔蒂尼算子高效估计反事实梯度，解决传统方法收敛慢的问题。
2026-09-22 cs.LG
Reinforcement Learning for Adaptive Routing
强化学习是指根据环境反馈学习策略--将观察映射为行动。学习可以被看作是浏览一组策略，同时通过与环境的交互来尝试评估它们。我们提出了一个梯度上升算法的强化学习应用到一个复杂的域的数据包路由在网络通信，并比较该算法的性能与其他路由方法的基准问题。
2007-03-28 cs.AI cs.LG cs.NI
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI（谷歌云AI）；University of Technology Sydney（悉尼科技大学）
我们提出了一种新的自适应迁移学习框架，学习迁移学习（L2TL），通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化，并自适应地调整组成损失权重。权重的自适应是基于强化学习（RL）选择策略，以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下，L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology（工程 cybernetics 系，挪威科学与技术大学）；Department of Engineering Sciences, University of Agder（工程科学系，阿格德大学）
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架，通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题，通过形式化元学习与元强化学习框架，梳理相关里程碑算法，为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）；Baidu（百度）；Salesforce（赛富时）
强化学习最近引起了人们的极大关注，特别是策略梯度算法，已经在具有挑战性的决策和控制任务上得到了展示。在本文中，我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说，我们的模型由两个部分组成：主动步长学习和自适应多步TD算法。首先，我们将时间范围划分为块，并在每个块中主动选择状态和动作。然后，给定选定的样本，我们提出了自适应的多步TD，它推广TD（$λ$），但自适应地打开/关闭备份，从未来的回报不同的步骤。特别地，自适应多步TD引入了上下文感知机制，这里是二元分类器，其基于上下文变化来决定是否打开其未来备份。因此，我们的模型是一种主动学习和多步TD算法的结合，它具有学习的能力，而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置，并展示了竞争力的结果相比，其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
Adaptive $Q$-Aid for Conditional Supervised Learning in Offline Reinforcement Learning
本文提出QCS方法，结合RCSL的稳定性与Q函数的缝合能力，通过自适应整合Q-辅助到损失函数中，提升离线强化学习性能。
2026-03-13 cs.LG
Adaptive Reward-Poisoning Attacks against Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
在针对强化学习（RL）的奖励中毒攻击中，攻击者可以在每一步都将环境奖励$r_t$扰动为$r_t+δ_t$，目的是迫使RL代理学习恶意策略。我们分类这种攻击的无穷范数约束$δ_t$：我们提供了一个较低的阈值，低于该奖励中毒攻击是不可行的，RL被证明是安全的，我们提供了一个相应的上限阈值，高于该攻击是可行的。可行攻击可以进一步分类为非自适应攻击，其中$δ_t$仅取决于$(s_t,a_t, s_{t+1})$，或自适应攻击，其中$δ_t$进一步取决于RL代理在时间$t$的学习过程。非自适应攻击一直是先前工作的焦点。然而，我们表明，在温和的条件下，自适应攻击可以实现邪恶的政策在步骤多项式的状态空间大小$|S|$，而非自适应攻击需要指数步骤。我们提供了一个建设性的证明，一个快速自适应攻击策略达到多项式率。最后，我们表明，根据经验，攻击者可以使用最先进的深度RL技术找到有效的奖励中毒攻击。
2020-06-22 cs.AI cs.CR cs.LG
VariBASed: Variational Bayes-Adaptive Sequential Monte-Carlo Planning for Deep Reinforcement Learning
Trent AI Ltd（Trent AI有限公司）；Delft University of Technology（代尔夫特理工大学）
本文提出VariBASeD方法，通过融合变分信念学习、序列蒙特卡洛规划和元强化学习，提升深度强化学习中探索与利用的效率。
2026-02-21 cs.LG
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Nanyang Technological University（南洋理工大学）
Meta强化学习（MRL）使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中，我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习（MAML），并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络（GAN）。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Complementary Meta-Reinforcement Learning for Fault-Adaptive Control
Vanderbilt University（范德堡大学）
故障是所有系统所特有的。自适应容错控制在故障发生时保持降级的性能，而不是不安全的条件或灾难性事件。在具有突发故障和严格时间约束的系统中，控制必须快速适应系统变化以维持系统运行。我们提出了一种Meta强化学习方法，可以快速调整其控制策略以适应不断变化的条件。该方法建立在模型不可知的元学习（MAML）。控制器保持在系统故障下学习的先前策略的补充。这个“库”在新故障发生后在系统上进行评估，以初始化新策略。这与MAML相反，MAML中的控制器重新导出中间策略，从类似系统的分布中采样，以初始化新策略。我们的方法提高了强化学习过程的样本效率。我们评估我们的方法在飞机燃油输送系统的突发故障。
2020-09-26 cs.LG cs.SY eess.SY
Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出一种将配置分配重构为序列决策问题的强化学习框架，首次结合Q学习与混合奖励设计，并开发自适应在线-离线训练方案，在模拟中优于静态基线，接近最优性能。
2025-10-02 cs.LG cs.SE stat.ML
Adaptive Warm-Start MCTS in AlphaZero-like Deep Reinforcement Learning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
AlphaZero在深度强化学习方面取得了令人印象深刻的表现，它利用了一种架构，将搜索和神经网络的训练结合在一起。许多研究人员正在寻找方法来复制和改善其他游戏/任务的结果。然而，该架构旨在从头开始学习，白板，接受自我游戏中的冷启动问题。最近，提出了一种用于蒙特卡罗树搜索的热启动增强方法，以改善自启动阶段。它采用一个固定的参数$I^\prime$来控制热启动长度。据报道，在小型棋盘游戏中的表现有所改善。在本文中，我们提出的结果与自适应开关方法。实验表明，我们的方法比固定的$I^\prime$，特别是“深”，战术，游戏（奥赛罗和连接四）。我们推测$I^\prime$的自适应值也受游戏大小的影响，并且平均而言，$I^\prime$将随着游戏大小而增加。我们得出结论，AlphaZero式深度强化学习受益于基于自适应推出的热启动，就像15年前快速行动价值估计对基于推出的强化学习所做的那样。
2021-05-13 cs.AI cs.LG
Multiobjective Reinforcement Learning for Reconfigurable Adaptive Optimal Control of Manufacturing Processes
Intelligent Systems Research Group (ISRG)（智能系统研究组）
本文提出了一种新型无模型多目标强化学习方法，用于制造过程的自适应最优控制，能够高效学习不同目标权重下的控制配置。
2018-10-09 cs.LG cs.SY eess.SY
From Thermal Preference Prediction to Adaptive Thermal Intervention: A Reinforcement Learning Approach Using Physiological and Environmental Sensing
Nottingham Trent University（诺丁汉特伦特大学）；York University（约克大学）
针对传统HVAC系统无法捕捉个体生理变异性的问题，提出整合多模态感知与强化学习的两阶段个性化热舒适方法，助力开发更响应的建筑控制策略。
2026-08-24 cs.AI cs.LG
Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning
University of Science and Technology Beijing（北京科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出ASPC框架，通过动态平衡强化学习与行为克隆，解决在线强化学习中策略约束规模差异带来的超参数调优问题，实验表明其在多个数据集上表现优异且计算开销低。
2026-04-29 cs.LG
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Meta-Reinforcement Learning with Discrete World Models for Adaptive Load Balancing
Kennesaw State University（肯尼索州立大学）
本文提出将元强化学习与DreamerV3结合用于操作系统负载均衡，实现动态工作负载下的快速自适应，并在标准与自适应试验中优于A2C，同时具备抗灾难性遗忘能力。
2025-03-11 cs.AI cs.LG cs.OS
Curious Meta-Controller: Adaptive Alternation between Model-Based and Model-Free Control in Deep Reinforcement Learning
University of Hamburg（汉堡大学）
最近在连续控制的深度强化学习中取得的成功主要是无模型方法，与基于模型的方法不同，无模型方法在对复杂域中不可避免的世界动态和模型错误进行假设时不会受到代表性限制。然而，与基于模型的方法相比，它们需要大量的经验，而基于模型的方法通常更具样本效率。我们建议结合这两种方法的好处，提出一个综合的方法，称为好奇的元控制器。我们的方法交替自适应基于模型的和无模型的控制使用好奇心反馈的基础上学习的神经模型的学习进度的动态学习的潜在空间。我们证明，我们的方法可以显着提高样本效率，并实现近最佳性能的学习机器人达到和抓取任务，从原始像素输入在密集和稀疏的奖励设置。
2019-05-05 cs.AI cs.LG cs.RO
RACE: A Reinforcement Learning Framework for Improved Adaptive Control of NoC Channel Buffers
Colorado State University（科罗拉多州立大学）
片上网络（NoC）架构依赖于缓冲器来存储微片，以应对分组交换期间对路由器资源的争用。最近，已经提出了可逆多功能信道（RMC）缓冲器，以同时降低功率并实现相邻路由器之间的自适应NoC缓冲。虽然自适应缓冲可以通过最大化缓冲区利用率来提高NoC性能，但控制RMC缓冲区分配需要一个可感知的、可扩展的和主动的策略。在这项工作中，我们提出了RACE，这是一种新型的强化学习（RL）框架，它利用更好的网络拥堵意识和新的奖励指标（“虚假”）来帮助引导RL代理做出更好的RMC缓冲区控制决策。我们表明，RACE减少了NoC延迟高达48.9%，能源消耗高达47.1%，对国家的最先进的NoC缓冲区控制策略。
2022-05-26 cs.AR cs.LG
Adaptive Partial Scanning Transmission Electron Microscopy with Reinforcement Learning
University of Warwick（华威大学）
压缩感知可以减少扫描透射电子显微镜的电子剂量和扫描时间，以最小的信息损失。传统上，在压缩传感中使用的稀疏扫描对探测位置的静态集合进行采样。然而，适应样本的动态扫描预期能够匹配或超过静态扫描的性能，因为静态扫描是可能的动态扫描的子集。因此，我们提出了一个连续的稀疏扫描系统，分段适应扫描路径的标本，因为它们被扫描的原型。扫描段的采样方向由基于先前观察到的扫描段的递归神经网络选择。通过强化学习训练递归神经网络，以与完成稀疏扫描的前馈卷积神经网络合作。本文介绍了我们的学习策略，实验和示例部分扫描，并讨论了未来的研究方向。源代码、预训练模型和训练数据可在https://github.com/Jeffrey-Ede/adaptive-scans上公开访问
2021-03-11 cs.CV cs.LG eess.IV
Adaptive Data Exploitation in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（东方理工学院）
ADEPT框架通过多臂老虎机算法自适应管理采样数据，提升深度强化学习的数据效率和泛化能力，并在多个基准上实现高效优越性能。
2025-01-22 cs.AI cs.LG
Conservative and Adaptive Penalty for Model-Based Safe Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；University of Melbourne（墨尔本大学）
现实世界中的强化学习（RL）代理除了最大化奖励目标之外，还必须满足安全约束。基于模型的强化学习算法有望减少不安全的现实世界行为：它们可以使用来自学习模型的模拟样本来合成遵守所有约束的策略。然而，不完美的模型可能会导致现实世界的约束违反，即使是预测满足所有约束的动作。我们提出了保守和自适应惩罚（CAP），这是一个基于模型的安全RL框架，通过捕获模型不确定性并自适应地利用它来平衡奖励和成本目标来解决潜在的建模错误。首先，CAP使用基于不确定性的惩罚来夸大预测成本。从理论上讲，我们表明，政策，满足这一保守的成本约束，保证在真实的环境中也是可行的。我们进一步证明了这保证了RL训练期间所有中间解决方案的安全性。此外，CAP在训练期间使用来自环境的真实成本反馈自适应地调整此惩罚。我们评估这种保守的和自适应的基于惩罚的方法，基于模型的安全RL广泛的状态和基于图像的环境。我们的研究结果表明，样本效率大幅提高，同时比以前的安全RL算法产生更少的违规行为。代码可在：https://github.com/Redrew/CAP
2021-12-14 cs.LG
Adaptive Multi-Horizon Reinforcement Learning
研究在复杂环境中强化学习的决策问题，提出自适应多时间尺度方法，能自适应选择和组合时间范围，无需手动调折扣因子，实验证明该方法可提高参数效率及增强适应性。
2026-07-30 cs.AI cs.LG
From Static Policies to Adaptive Priors in Offline Reinforcement Learning
Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）
本文提出离线强化学习应学习自适应策略先验而非静态策略，通过记忆、探索和自我纠错在后续交互中保持改进能力，并讨论贝叶斯方法作为构建方向。
2026-09-30 cs.LG
Adaptive perturbation adversarial training: based on reinforcement learning
Yunnan University（云南大学）
对抗性训练已经成为防御对抗性样本的主要方法。然而，由于许多缺点，它很难实际应用。对抗训练的缺点之一是它会降低正常样本的识别准确率。提出了自适应扰动对抗训练来缓解这个问题。它使用接近决策边界但不跨越决策边界的边缘对抗样本进行对抗训练，在保持模型鲁棒性的同时提高了模型识别的准确率。然而，搜索边际对抗样本会带来额外的计算成本。提出了一种基于强化学习的边缘对抗样本发现方法，并将其与最新的快速对抗训练技术相结合，有效地加快了训练过程，降低了训练成本。
2021-08-30 cs.AI cs.LG
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对目标条件强化学习中的探索效率问题，提出GEASD框架，通过自适应技能分布优化局部熵，增强目标扩散，实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Quantum Reinforcement Learning by Adaptive Non-local Observables
Brookhaven National Laboratory（布鲁赫斯国家实验室）；Seton Hall University（塞顿·胡尔大学）；Wells Fargo（摩根大通）；AI & ML Department（人工智能与机器学习部门）
针对变分量子电路受限于局部测量的问题，提出联合优化电路参数与多量子比特测量的 ANO-VQC，并在 DQN 和 A3C 中验证其性能优势。
2025-07-25 cs.AI cs.LG quant-ph
Langevin Dynamics for Adaptive Inverse Reinforcement Learning of Stochastic Gradient Algorithms
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）
逆强化学习（IRL）旨在通过观察优化代理的响应（估计或动作）来估计优化代理的奖励函数。本文考虑IRL时，观察到多个随机梯度代理产生的奖励函数的梯度的噪声估计。我们提出了一个广义的Langevin动力学算法来估计奖励函数$R(θ)$，具体地说，由此产生的Langevin算法渐近生成样本的分布成比例的$\exp(R(θ))$。建议的IRL算法使用基于内核的被动学习计划。我们还构造了适用于高维数据的IRL的多核被动Langevin算法。所提出的IRL算法的性能示出的例子在自适应贝叶斯学习，逻辑回归（高维问题）和约束马尔可夫决策过程。我们证明了弱收敛的IRL算法使用鞅平均方法。我们还分析了IRL算法在非平稳环境中的跟踪性能，其中效用函数$R(θ)$跳跃随着时间的推移而变化，作为一个缓慢的马尔可夫链。
2021-01-18 cs.LG cs.SY eess.SY
Technical Report: Adaptive Control for Linearizable Systems Using On-Policy Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
提出了一种基于离散时间无模型策略梯度参数更新规则的未知系统自适应学习反馈线性化跟踪控制器的框架。该方案优于标准模型参考自适应控制技术的主要优点是，它不需要学习的逆模型在所有时刻都是可逆的。这使得使用一般的函数逼近器近似的线性化控制器的系统，而不必担心奇异性。然而，这些算法的离散时间和随机性排除了直接应用标准的机器从自适应控制文献中提供确定性的稳定性证明系统。尽管如此，我们利用这些技术以及随机近似文献中的工具来证明，当满足一定的持续激励条件时，跟踪和参数误差很有可能集中在零附近。一个双摆的仿真例子证明了所提出的理论的实用性。1
2020-04-06 cs.LG math.DS math.OC
Offline Reinforcement Learning with Adaptive Behavior Regularization
Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）
离线强化学习（RL）定义了一种样本高效的学习范式，其中从静态和先前收集的数据集学习策略，而无需与环境进行额外的交互。离线RL的主要障碍是评估分布外动作的价值所产生的估计误差。为了解决这个问题，大多数现有的离线RL方法试图获得一个策略，既“接近”包含在数据集中的行为，并充分改善它们，这需要在两个可能冲突的目标之间进行权衡。在本文中，我们提出了一种新的方法，我们称之为自适应行为正则化（ABR），以平衡这一关键的权衡。通过简单地利用基于样本的正则化，ABR使策略能够在克隆和改进用于生成数据集的策略之间自适应地调整其优化目标。在D4RL数据集上的评估中，广泛采用的离线强化学习的基准，ABR可以实现与现有的最先进的算法相比，改进或有竞争力的性能。
2022-11-15 cs.AI cs.LG
Reinforcement Learning with Adaptive Regularization for Safe Control of Critical Systems
Dyson School of Design Engineering（戴森设计工程学院）；Imperial College London（伦敦帝国学院）
针对强化学习探索动作不可预测、威胁关键系统安全的问题，提出带自适应正则化的RL-AR算法，通过聚焦模块按状态探索程度组合RL策略与安全正则项，兼顾训练安全性与接近无模型RL的性能。
2024-10-31 cs.LG
Offline Policy Evaluation for Reinforcement Learning with Adaptively Collected Data
UC Santa Barbara（圣巴巴拉大学）
本文针对自适应收集数据的表格 MDP 离线策略评估问题，为 TMIS 估计器建立高概率实例相关误差界，并恢复极小极大最优离线学习，通过仿真验证理论结果。
2024-05-01 cs.AI cs.LG
HiFuzz: Hierarchical Reinforcement Learning for Semantic-Aware and Adaptive CPU Fuzzing
Hong Kong University of Science and Technology (HKUST), Hong Kong（香港科技大学）
针对传统变异模糊测试在处理器验证中效率低的问题，提出HiFuzz框架，采用分层强化学习及结构化生成过程，集成自适应机制与编码器，经实验验证，该框架在覆盖率和漏洞检测上显著优于现有工具。
2026-07-09 cs.AR cs.LG
Efficient Symptom Inquiring and Diagnosis via Adaptive Alignment of Reinforcement Learning and Classification
Tsinghua University（清华大学）
医学自动诊断的目标是模仿人类医生在现实世界中的诊断过程，并通过与患者的交互来实现准确的诊断。该任务被制定为一系列的症状查询步骤和最终诊断的顺序决策问题。最近的研究已经分别研究了将强化学习用于症状查询和分类技术用于疾病诊断。然而，如何有效地将这两种程序结合起来的研究仍然缺乏。为了解决这个问题，我们设计了一个自适应机制，以调整强化学习和分类方法使用分布熵作为媒介。此外，我们创建了一个新的患者模拟数据集，以解决缺乏大规模评估基准的问题。该数据集是从MedlinePlus知识库中提取的，与现有数据集相比，包含了更多的疾病和更全面的症状和检查信息。实验结果表明，该方法在不同数据集上的性能优于目前三种最先进的方法，可以以更少的查询次数获得更高的医疗诊断准确率。
2022-06-05 cs.AI cs.LG
Combining Contention-Based Spectrum Access and Adaptive Modulation using Deep Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
将未授权频谱用于蜂窝系统以缓解频谱稀缺性已经导致了对频谱接入的智能自适应方法的发展，该方法改进了传统的载波侦听和通话前监听方法。我们研究了分散的基于竞争的介质接入的基站（BS）的一个单一的无线接入技术（RAT）的非授权共享频谱上工作。我们设计了一个分布式的深度强化学习为基础的竞争和自适应调制算法，建模的两个状态马尔可夫决策过程，试图最大限度地提高网络范围的下行链路吞吐量的目标。从经验上讲，我们发现（比例公平）奖励累积的政策梯度的方法是显着高于甚至基因辅助自适应能量检测阈值。我们的方法进一步验证了提高和峰值吞吐量。我们的方法，以大型网络的可扩展性证明了通过改进的累积奖励获得大量的BS的室内和室外布局。
2023-03-10 cs.LG eess.SP
Policy Fusion for Adaptive and Customizable Reinforcement Learning Agents
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
在这篇文章中，我们研究的问题，训练智能代理使用强化学习的游戏开发的目的。与旨在取代人类玩家并实现超人性能的系统不同，我们的代理旨在与玩家产生有意义的互动，同时展示游戏设计师所期望的行为特征。我们将展示如何结合不同的行为政策，以获得一个有意义的“融合”政策，其中包括所有这些行为。为此，我们提出了四种不同的策略融合方法来组合预训练的策略。我们进一步展示了如何将这些方法与逆强化学习结合使用，以创建具有游戏设计者选择的特定行为风格的智能代理，而无需定义许多可能设计不良的奖励函数。两个不同环境下的实验表明，熵加权策略融合显着优于所有其他。我们提供了几个实际的例子和用例，说明这些方法对视频游戏制作和设计师确实有用。
2021-04-21 cs.LG
