Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling
Tsinghua University（清华大学）；Pazhou Lab（琶洲实验室）
在离线强化学习中，加权回归是一种常见的方法，用于确保学习的策略接近行为策略，并防止选择样本外的动作。在这项工作中，我们表明，由于策略模型的分布表达能力有限，以前的方法在训练过程中仍然可能选择看不见的动作，这偏离了它们的初始动机。为了解决这个问题，我们采用了一种生成方法，将学习到的策略解耦为两个部分：一个表达性的生成行为模型和一个动作评估模型。关键的见解是，这种解耦避免了学习具有封闭形式表达式的显式参数化策略模型。直接学习行为策略使我们能够利用生成建模的现有进展，例如基于扩散的方法，来建模不同的行为。至于行动评估，我们结合我们的方法与样本内规划技术，以进一步避免选择样本外的行动，提高计算效率。在D4RL数据集上的实验结果表明，与最先进的离线RL方法相比，我们提出的方法具有竞争力或优越的性能，特别是在AntMaze等复杂任务中。我们还通过经验证明，我们的方法可以成功地从包含多个独特但同样成功的策略的异构数据集中学习，而以前的单峰策略失败了。
2023-02-28 cs.LG
Selecting Offline Reinforcement Learning Algorithms for Stochastic Network Control
本文为随机网络控制中的离线强化学习算法选择提供了指导，发现保守Q学习在不同随机性来源下表现更稳健，而序列方法在高回报轨迹充足时表现更优。
2026-03-04 cs.AI cs.LG cs.NI
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University（斯坦福大学）
我们提出了一个基于模型的离线强化学习策略性能下限，明确捕捉动态模型的误指定和分布失配，我们提出了一个经验算法的最佳离线策略选择。在理论上，我们通过建立对价值函数的悲观近似，证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略：只要动态模型可以准确地表示给定策略访问的状态-动作对的动态，就可以近似该特定策略的值。我们分析了我们的下限在LQR设置，也显示出竞争力的性能，以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
A Bayesian Sampling Approach to Exploration in Reinforcement Learning
Rutgers University（罗格斯大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个模块化的方法来强化学习，使用贝叶斯表示模型的不确定性。BOSS（Best of Sampled Set，最佳采样集）方法通过从后验中采样多个模型并乐观地选择行动来驱动探索。它扩展了以前的工作，提供了一个规则，决定何时重新采样和如何组合的模型。我们表明，我们的算法实现了接近最优的奖励，具有较高的概率与样本的复杂性，这是相对较低的后验分布在学习过程中收敛的速度。我们证明，BOSS表现相当有利相比，国家的最先进的学习方法，并说明其灵活性，它与一个非参数模型，概括跨国家配对。
2012-05-09 cs.LG
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Exploring Deep Reinforcement Learning-Assisted Federated Learning for Online Resource Allocation in Privacy-Persevering EdgeIoT
Real-Time and Embedded Computing Systems Research Centre (CISTER)（实时与嵌入式计算系统研究中心）；TU Delft（代尔夫特理工大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
联邦学习（FL）越来越多地被认为是在基于移动边缘计算的物联网（EdgeIoT）中保护数据训练隐私免受窃听攻击。一方面，FL的学习精度可以通过选择具有大数据集的物联网设备进行训练来提高，这会导致更高的能耗。另一方面，通过选择具有小数据集的IoT设备用于FL可以减少能耗，导致学习精度下降。在本文中，我们制定了一个新的资源分配问题的隐私保护的边缘物联网，以平衡FL的学习精度和物联网设备的能耗。我们提出了一个新的联邦学习启用双延迟深度确定性策略梯度（FL-DLT 3）框架，以实现连续域中的最佳精度和能量平衡。此外，在FL-DLT 3中利用长短期记忆（LSTM）来预测时变网络状态，而FL-DLT 3被训练来选择IoT设备并分配发射功率。数值结果表明，所提出的FL-DLT 3实现了快速收敛（小于100次迭代），而FL精度与能耗比相比，现有的国家的最先进的基准提高了51.8%。
2022-05-18 cs.LG
iQRL -- Implicitly Quantized Representations for Sample-efficient Reinforcement Learning
Aalto University（阿尔托大学）
提出iQRL方法，通过自监督潜在状态一致性损失和隐式量化防止表示坍塌，兼容无模型RL算法，在DeepMind Control Suite连续控制基准中优于其他表示学习方法。
2024-06-04 cs.LG
Reinforcement Learning based Dynamic Model Selection for Short-Term Load Forecasting
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
随着智能网格技术的日益普及，短期负荷预测（STLF）在电力系统运行中变得尤为重要。有大量的方法开发的STLF，但选择一个合适的方法在不同的条件下仍然是具有挑战性的。提出了一种基于强化学习的STLF动态模型选择方法。首先建立预测模型池，包括十个最先进的基于机器学习的预测模型。然后，Q学习代理根据模型性能学习为下一时间步选择最佳预测模型的最优策略。最优DMS策略被应用于在每个时间步选择最佳模型，并具有移动窗口。对两年负荷和气象数据的仿真结果表明，Q-学习算法收敛速度快，能有效地提高DMS的性能。与最先进的基于机器学习的STLF模型相比，开发的基于Q学习的DMS的STLF模型将预测精度提高了约50%。
2018-11-05 cs.AI cs.LG stat.ML
Investigating the Properties of Neural Network Representations in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Deepmind（深度思维）；Sony AI（索尼人工智能）
该研究结合强化学习表征的两种研究视角，实证测量超2.5万组设置下的六种表征性质，提出关联表征性质与迁移性能的分析方法，并通过Atari 2600实验验证了方法的通用性。
2023-05-05 cs.LG
State Representation Learning for Goal-Conditioned Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种新的无报酬马尔可夫决策过程的状态表示。其思想是以自我监督的方式学习嵌入空间，其中嵌入状态对之间的距离对应于在它们之间转换所需的最小动作数量。与以前的方法相比，我们的方法不需要任何领域知识，从离线和未标记的数据中学习。我们展示了如何利用这种表示来学习目标条件策略，提供了状态和目标之间的相似性的概念，并提供了一个有用的启发式距离来指导规划和强化学习算法。最后，我们在经典控制域和多目标环境中实证验证了我们的方法，证明我们的方法可以成功地学习大型和/或连续域中的表示。
2022-05-04 cs.LG
Offline Reinforcement Learning as Anti-Exploration
University of Geneva（日内瓦大学）；Google Research（谷歌研究院）；Univ. Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）
离线强化学习（Offline Reinforcement Learning，RL）的目标是在不与系统交互的情况下，从固定的数据集学习最优控制。在这种情况下，代理应该避免选择无法从数据中预测其后果的行为。这与强化学习中的探索相反，强化学习更倾向于这种行为。因此，我们从基于奖金的探索文献中获得灵感，设计了一个新的离线RL代理。其核心思想是从奖励中减去基于预测的探索奖金，而不是增加探索奖金。这允许策略保持接近数据集的支持。我们将这种方法与对数据的学习策略的更常见的正则化联系起来。实例化的奖金的基础上的预测误差的变分自编码器，我们表明，我们的代理是竞争力与国家的最先进的一组连续控制运动和操纵任务。
2021-06-11 cs.LG
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Learning on One Mode: Addressing Multi-modality in Offline Reinforcement Learning
University of Warwick（华威大学）；The Alan Turing Institute（阿兰·图灵研究所）
针对离线强化学习中多模态动作分布导致现有单模态假设方法性能次优的问题，提出加权单模态模仿学习LOM，通过高斯混合模型选最优模态学习，在D4RL基准上表现更优。
2025-03-19 cs.LG
Deep Reinforcement Learning Based Navigation with Macro Actions and Topological Maps
Institute for Neural Computation, Faculty of Computer Science, Ruhr University Bochum, Germany（神经计算研究所，计算机科学学院，博德姆鲁尔大学）
本文提出了一种基于拓扑地图和宏观动作的深度强化学习导航方法，通过简化问题复杂度实现高效的样本学习。
2025-04-25 cs.LG
Learning State Representations via Retracing in Reinforcement Learning
UCL（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
我们提出了通过回溯学习，一种新的自我监督方法，用于学习强化学习任务的状态表示（和相关的动力学模型）。除了预测（重建）的监督在前进的方向上，我们建议包括“追溯”表示/模型学习的过渡，通过强制执行之间的原始状态和追溯的循环一致性约束，从而提高学习的样本效率。此外，通过回溯的学习显式地向后传播关于未来转换的信息以推断先前状态，从而促进下游强化学习任务的更强的表示学习。我们介绍了循环一致性世界模型（CCWM），一个具体的基于模型的实例化学习通过回溯。此外，我们提出了一种新的自适应“截断”机制，以抵消“不可逆”的过渡所带来的负面影响，通过回溯学习可以最大限度地提高效率。通过对基于视觉的连续控制基准的广泛实证研究，我们证明了CCWM在样本效率和渐近性能方面达到了最先进的性能，同时表现出更强的表示学习的行为。
2022-09-23 cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
该论文综述深度强化学习中的有效奖励规范策略，分析奖励失配与学习低效等挑战，并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
Unsupervised Representation Learning in Deep Reinforcement Learning: A Review
University of Twente（特温特大学）
本综述探讨了深度强化学习中从高维数据学习低维状态变量的无监督表示学习问题，系统阐述了相关深度学习方法、原理、基准评估及未来挑战，旨在提升数据效率、鲁棒性和可解释性。
2024-05-01 cs.LG
Tackling Non-Stationarity in Reinforcement Learning via Causal-Origin Representation
School of Computer Science, Peking University（北京大学计算机学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；School of Data Science, Fudan University（复旦大学数据科学学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出COREP算法，通过隐式追踪非平稳性因果起源并学习稳定图表示，使策略对非平稳性具备卓越韧性，在解决强化学习非平稳性问题上优于现有方法。
2024-06-02 cs.LG
MSPR: Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning
Mila, McGill University（蒙特利尔大学Mila实验室）；ServiceNow Research（ServiceNow研究）；Qualcomm Research（高通研究）
本文探讨了离线目标条件强化学习中鲁棒表示学习问题，提出多尺度预测监督框架Ms.PR，通过多尺度预测提升潜在空间中目标导向对齐，提升表示质量和任务性能。
2026-10-07 cs.LG
Frugal Actor-Critic: Sample Efficient Off-Policy Deep Reinforcement Learning Using Unique Experiences
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
提出Frugal Actor-Critic方法，通过核密度估计器选择独特状态-奖励组合的经验加入回放池，在减小经验回放池规模的同时实现了更快的收敛或更好的奖励积累。
2024-02-05 cs.AI cs.LG cs.RO
A Review of Nine Physics Engines for Reinforcement Learning Research
Institute of Cognitive Science, Osnabrück University（奥斯纳布吕克大学认知科学研究所）
本文综述了Brax、MuJoCo等九个常用于强化学习的物理仿真引擎，基于流行度、功能、可用性等维度进行评估，发现MuJoCo性能领先而Unity易用但保真度不足，为研究者选择仿真工具提供了决策参考。
2024-08-23 cs.AI cs.LG cs.MA
Active Reinforcement Learning Strategies for Offline Policy Improvement
Indian Institute of Science（印度科学学院）
本文提出一种主动强化学习方法，通过重用离线数据并收集最少额外轨迹来扩充数据集，在多个连续控制环境中将在线交互需求最多降低75%。
2024-12-26 cs.LG
Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning
Oak Ridge National Laboratory（橡树岭国家实验室）
近年来，强化学习受到了极大的关注，这主要是由于深度强化学习在解决许多具有挑战性的任务（如下棋、围棋和在线计算机游戏）方面的成功。然而，随着对强化学习的关注越来越多，游戏和模拟环境之外的应用需要了解强化学习方法的鲁棒性，稳定性和弹性。为此，我们进行了全面的文献综述，以描述这三种行为的可用文献，因为它们与强化学习有关。我们对用于指示或测量鲁棒性、稳定性和弹性行为的定量和理论方法进行了分类。此外，我们确定了定量方法试图保持稳定、稳健或弹性的行动或事件。最后，我们提供了一个决策树有用的选择指标来量化的行为。我们认为，这是第一次针对强化学习的稳定性、鲁棒性和弹性进行全面审查。
2022-03-22 cs.AI cs.LG
Conditional Mutual Information for Disentangled Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
针对强化学习中特征相关导致的泛化问题，提出通过最小化条件互信息学习解耦表示，实验证明在相关性变化下提升泛化与训练性能。
2023-10-12 cs.LG
Environment Design for Inverse Reinforcement Learning
The Alan Turing Institute（图灵研究所）；Université de Neuchâtel（纳沙泰尔大学）
针对逆强化学习样本效率低、难适应环境动力学微小变化的问题，提出自适应环境设计框架，通过学习者主动选择环境与专家交互，在精确和近似推理下均提升了样本效率与鲁棒性。
2024-05-14 cs.AI cs.LG
Solving Continual Combinatorial Selection via Deep Reinforcement Learning
KAIST（韩国科学技术院）；King’s College London（伦敦国王学院）；Naver Corporation（Naver公司）
我们考虑马尔可夫决策过程（MDP）选择一个子集的项目在每一步，称为选择MDP（S-MDP）。S-MDP的大的状态和动作空间使得它们难以用典型的强化学习（RL）算法来解决，特别是当项目数量巨大时。在本文中，我们提出了一个深度RL算法来解决这个问题，采用以下关键思想。首先，我们将原始的S-MDP转换成迭代选择MDP（IS-MDP），这是等价于S-MDP的最优行动。IS-MDP将同时选择K个项目的联合动作分解为K个迭代选择，从而以指数级增加的状态为代价减少动作。其次，我们克服了这种状态空间爆炸，利用一种特殊的对称性IS-MDP与新的权重共享Q-网络，可证明保持足够的表达能力。各种实验表明，即使项目空间很大，我们的方法也能很好地工作，并且它可以扩展到项目空间与训练中使用的项目空间不同的环境。
2019-09-09 cs.AI cs.LG stat.ML
RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对上下文示例选择忽视依赖与顺序的问题，本文提出 RetICL，将顺序检索建模为马尔可夫决策过程并用强化学习训练检索器，在数学和科学任务上取得优于或持平基线的效果。
2024-04-16 cs.AI cs.CL cs.LG
Reinforcement Learning with Subspaces using Free Energy Paradigm
University of Tehran（德黑兰大学）
在大规模问题中，标准的强化学习算法存在学习速度慢的问题。在本文中，我们遵循的框架，使用子空间来解决这个问题。我们提出了一个自由能最小化框架来选择子空间，并将状态空间的策略整合到子空间中。我们提出的自由能最小化框架依赖于汤普森采样政策和行为政策的子空间和状态空间。因此，它适用于各种任务，离散或连续状态空间，无模型和基于模型的任务。通过一组实验，我们表明，这种通用框架大大提高了学习速度。我们还提供了一个收敛性证明。
2020-12-13 cs.IT cs.LG math.IT
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Stochastically Dominant Distributional Reinforcement Learning
Stevens Institute of Technology（斯蒂文斯理工学院）
我们描述了一种新的方法来管理任意的不确定性的强化学习（RL）的范例。而不是根据一个单一的统计量选择行动，我们提出了一种基于二阶随机优势（SSD）关系的分布方法。这比较了行动引起的随机回报的固有分散性，对环境的不确定性进行了更全面和更可靠的评估。SSD的必要条件要求估计器预测准确的二阶矩。为了适应这一点，我们将分布RL问题映射到Wasserstein梯度流，将分布Bellman残差视为势能泛函。我们提出了一个基于粒子的算法，我们证明了最优性和收敛性。我们的实验特征的算法性能和演示如何更好地平衡使用\textsc{ssd}政策比其他风险措施的不确定性和性能。
2020-10-07 cs.LG stat.ML
The Thing That We Tried Didn't Work Very Well : Deictic Representation in Reinforcement Learning
MIT（麻省理工学院）
大多数强化学习方法对世界状态的命题表示进行操作。这样的表示往往是难以处理的大和一般性差。使用指示表示被认为是一种可行的替代方案：它们承诺泛化，同时允许使用现有的重复学习方法。然而，在文献中很少有关于指示表征学习的实验报道。在本文中，我们探讨了两种形式的指示表示和一个朴素的命题表示在一个简单的块世界域的有效性。我们发现，经验，指示表征实际上恶化学习成绩。最后，我们讨论这些结果的可能原因和策略，更有效地学习领域的对象。
2012-12-12 cs.AI cs.LG
Factor Representation and Decision Making in Stock Markets Using Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
深度强化学习是无监督学习的一个分支，其中智能体学习根据环境状态采取行动，以最大化其总奖励。深度强化学习提供了一个很好的机会，通过利用深度神经网络的强大表示，在高维和数据驱动的环境中对投资组合选择的复杂性进行建模。在本文中，我们使用直接深度强化学习构建了一个投资组合管理系统，通过学习一个好的因子表示（作为输入），在S\&P500标的股票中周期性地做出最优投资组合选择。结果表明，有效的市场学习和最优投资组合配置可以显着优于平均市场。
2021-08-03 cs.LG q-fin.ST
Bridging the Gap between Reinforcement Learning and Knowledge Representation: A Logical Off- and On-Policy Framework
知识表示是强化学习中的一个重要问题。在本文中，我们弥合了强化学习和知识表示之间的差距，通过提供一个丰富的知识表示框架，基于正常的逻辑程序与答案集语义，这是能够解决无模型强化学习问题，更复杂的领域，并利用特定领域的知识。我们证明了我们方法的正确性。我们证明了在我们的方法中为无模型强化学习问题找到离线和在线策略的复杂性是NP完全的。此外，我们证明了MDP环境中的任何无模型强化学习问题都可以编码为SAT问题。重要的是无模型强化
2010-12-07 cs.AI cs.LG cs.LO
Reinforcement Learning Algorithms: An Overview and Classification
Western University（韦仕敦大学）
使应用程序和机器更加智能的愿望以及在没有人类交互的情况下实现其操作的愿望一直在推动神经网络，深度学习和其他机器学习技术的创新。虽然强化学习主要用于视频游戏，但最近的进步和各种强大强化算法的发展使强化学习社区能够从玩视频游戏转向解决自动驾驶汽车，无人机和自动机器人等自动系统中的复杂现实问题。了解应用程序的环境和算法的局限性对于选择适当的强化学习算法以有效的方式成功解决手头的问题起着至关重要的作用。因此，在这项研究中，我们确定了三种主要的环境类型，并根据这些环境类型对强化学习算法进行分类。此外，在每个类别中，我们确定算法之间的关系。每个算法的概述提供了对算法基础的深入了解，并回顾了算法之间的相似性和差异。这项研究提供了一个视角，并帮助从业者和研究人员为他们的用例选择合适的算法。
2022-09-29 cs.AI cs.LG
Energy-Aware Multi-Server Mobile Edge Computing: A Deep Reinforcement Learning Approach
Intel Corporation（英特尔公司）；University of Kansas（堪萨斯大学）
我们研究了移动边缘计算架构中的计算卸载问题，在该架构中，多个能量受限的用户通过共享无线介质竞争将其计算任务卸载到多个服务器。我们提出了一种多代理深度强化学习算法，其中每个服务器都配备了一个代理，观察其关联用户的状态，并在每一步选择最佳用户进行卸载。我们考虑计算时间（即，任务完成时间）和系统寿命作为两个关键的性能指标，我们数值上证明，我们的方法优于基线算法的计算时间和系统寿命之间的权衡。
2019-12-22 cs.IT cs.LG eess.SP
Mask-based Predictive Representations for Reinforcement Learning
Beijing Normal University（北京师范大学）
针对视觉深度强化学习中高维图像输入问题，受自然语言处理等启发，提出基于掩码预测的自监督任务作辅助，结合transformer提升强化学习样本效率，在多控制基准测试中优于现有方法。
2026-07-07 cs.AI cs.LG
Learning predictive representations in autonomous driving to improve deep reinforcement learning
Noah’s Ark Lab（诺亚方舟实验室）；Huawei Technologies Canada, Ltd（华为技术有限公司加拿大分公司）
强化学习使用一种新的预测表示应用于自动驾驶，以完成车道标记之间的驾驶任务，其中在仿真和真实的Jackal机器人上，在看不见的测试道路上观察到性能和泛化方面的实质性好处。通过通用价值函数（GVF）来学习新颖的预测表示，以提供对未来车道居中和道路角度的策略外或反事实的预测，其形成代理的状态的紧凑表示，从而改进在线和离线强化学习中的学习，以学习使用良好地推广到不在训练数据中的道路的方法来驾驶自主车辆。仿真和现实世界的实验都表明，强化学习中的预测表示提高了学习效率，控制的平滑性和对智能体在训练期间从未显示过的道路的泛化，包括损坏的车道标记。研究发现，学习由不同时间尺度或折扣因子上的几个预测组成的预测表示大大提高了控制的性能和平滑度。Jackal机器人在两步过程中进行了训练，其中首先学习预测表示，然后是批量强化学习算法（BCQ），这些算法来自通过自动化和人工引导的环境探索收集的数据。我们的结论是，政策外的预测表示与GVF提供强化学习在现实世界的问题有很多好处。
2020-06-26 cs.LG cs.RO
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Representation-Driven Reinforcement Learning
Department of Electrical-Engineering, Technion Institute of Technology, Israel（电气工程系，技术学院技术研究所，以色列）；Nvidia Research（Nvidia研究）；Technion (currently at Google Research)（技术学院（目前在谷歌研究））
本文提出了一种基于表示的强化学习框架，通过将策略表示为预期值的估计，利用上下文老虎机技术提升探索与利用效率，显著改进了传统方法的性能。
2026-01-22 cs.AI cs.LG
Reinforcement Learning with Elastic Time Steps
Polytechnique Montréal（蒙特利尔理工学院）
针对固定控制速率的传统强化学习效率低下的问题，提出采用弹性时间步动态调参的异策略演员-评论家算法MOSEAC，理论上保证收敛稳定，实验中在能效、任务效果及训练性能上均优于同类方法，适用于机器人等现实RL场景。
2024-08-11 cs.LG cs.RO
A Lightweight Transmission Parameter Selection Scheme Using Reinforcement Learning for LoRaWAN
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）；National Institute of Information and Communication Technology (NICT)（信息通信研究机构（NICT））；The University of Tokyo（东京大学）；SOBIN Institute LLC（SOBIN研究所有限责任公司）
针对资源受限LoRaWAN设备的传输碰撞问题，提出仅依赖ACK信息、基于强化学习的轻量级联合信道与SF选择方案，并通过理论分析和真实LoRa实验验证其低开销与性能提升。
2022-08-03 cs.LG cs.SY eess.SY
Reinforcement Learning with Prototypical Representations
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在基于图像的环境中学习有效的表示对于样本有效的强化学习（RL）是至关重要的。不幸的是，在强化学习中，表示学习与智能体的探索性经验相混淆-学习有用的表示需要不同的数据，而有效的探索只有在连贯的表示中才有可能。此外，我们希望学习的表示不仅可以在任务之间进行泛化，还可以加速下游探索，以实现高效的特定任务训练。为了解决这些挑战，我们提出了Proto-RL，一个自我监督的框架，通过原型表示将表示学习与探索联系起来。这些原型同时作为一个代理的探索经验的总结，以及代表观察的基础。我们在没有下游任务信息的环境中预训练这些任务不可知的表示和原型。这使得能够针对一组困难的连续控制任务进行最先进的下游策略学习。
2021-07-20 cs.AI cs.LG
Divergent representations of ethological visual inputs emerge from supervised, unsupervised, and reinforcement learning
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学中心）；Sainsbury Wellcome Centre（塞恩斯伯里惠康中心）；University College London（伦敦大学学院）；DeepMind（深度思维）
使用强化、监督和无监督学习训练的人工神经系统都获得高维输入的内部表示。这些表征在多大程度上取决于不同的学习目标在很大程度上是未知的。在这里，我们比较了八个不同的卷积神经网络学习的表示，每个网络都具有相同的ResNet架构，并在同一系列以自我为中心的图像上训练，但嵌入在不同的学习系统中。具体来说，这些表示被训练来指导复合强化学习任务中的行动;预测一个或三个与监督相关的任务目标的组合;或使用三个不同的无监督目标之一。利用表征相似性分析，我们发现用强化学习训练的网络与其他网络的差异最大。使用受神经科学文献启发的度量，我们发现用强化学习训练的模型具有稀疏和高维表示，其中各个图像用非常不同的神经活动模式表示。进一步的分析表明，这些表示可能是为了指导RL代理的长期行为和目标寻求。最后，我们将RL代理学习的表示与小鼠视觉皮层的神经活动进行比较，发现它的表现与其他模型一样好或更好。我们的研究结果为神经表征的属性如何受到目标函数的影响提供了见解，并可以为迁移学习方法提供信息。
2022-02-08 cs.LG q-bio.NC
Investigating Simple Object Representations in Model-Free Deep Reinforcement Learning
Center for Data Science（数据科学中心）；New York University（纽约大学）
我们探索了用简单的对象表示来增强最先进的无模型深度强化算法的好处。在Lake et al.（2017）提出的Frostbite挑战之后，我们将对象表征确定为当前强化学习代理缺乏的关键认知能力。我们发现，提供彩虹模型（Hessel等人，2018年）与简单的，功能工程的对象表示大大提高了其性能的冻伤游戏从雅达利2600。然后，我们分析了不同类型的对象的表示的相对贡献，确定这些表示是最有影响力的环境状态，并检查这些表示如何帮助推广到新的情况。
2020-05-28 cs.AI cs.LG stat.ML
Learning Action Representations for Reinforcement Learning
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）
大多数无模型强化学习方法利用状态表示（嵌入）进行泛化，但要么忽略动作空间中的结构，要么假设结构是先验提供的。我们展示了一个政策可以分解成一个组件，在一个低维空间的动作表示和一个组件，这些表示转化为实际行动的行为。这些表示通过允许代理推断与已经采取的行动类似的行动的结果来改善大型有限行动集的泛化。我们提供了一个算法来学习和使用动作表示，并提供其收敛的条件。所提出的方法的有效性证明了对大规模的现实世界的问题。
2019-05-14 cs.LG stat.ML
SimSR: Simple Distance-based State Representation for Deep Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；University of the Sunshine Coast（阳光海岸大学）
这项工作探讨了如何从基于图像的观察与深度强化学习方法学习强大的和可推广的状态表示。针对现有互模拟度量中存在的计算复杂性、严格假设和表示坍塌等问题，设计了简单状态表示（SimSR）算子. SimSR使我们能够设计一种随机近似方法，可以实际学习从观测到潜在表示空间的映射函数（编码器）。除了与现有工作的理论分析和比较，我们实验和比较我们的工作与最近的国家的最先进的解决方案在视觉MuJoCo任务。结果表明，我们的模型总体上取得了较好的性能，具有较好的鲁棒性和良好的泛化能力。
2022-02-27 cs.AI cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University（弗吉尼亚共同体大学）；University of Virginia（弗吉尼亚大学）
研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Design Space Exploration of Approximate Computing Techniques with a Reinforcement Learning Approach
Politecnico di Torino（都灵理工大学）
本文提出基于强化学习的多目标设计空间探索策略，用于在近似计算中平衡精度损失与功耗及计算时间减少，实验显示良好权衡。
2023-12-29 cs.AR cs.LG cs.PF
Accelerating Representation Learning with View-Consistent Dynamics in Data-Efficient Reinforcement Learning
ShanghaiTech University（上海科技大学）；Zhejiang University（浙江大学）
从基于图像的观察中学习信息表示是深度强化学习（RL）的基本关注点。然而，数据效率低下仍然是实现这一目标的一个重大障碍。为了克服这一障碍，我们提出了加速状态表示学习的动态视图一致性。首先，我们介绍了一种形式主义的多视图马尔可夫决策过程（MMDP），它包含了多个视图的状态。根据MMDP的结构，我们的方法，视图一致的动力学（VCD），学习状态表示，通过训练一个视图一致的动力学模型在潜在的空间，其中的意见是通过应用数据增强的状态。对DeepMind Control Suite和Atari-100 k的实证评估表明，VCD是视觉控制任务的SoTA数据高效算法。
2022-01-18 cs.AI cs.LG
Feature Selection Using Reinforcement Learning
University of Virginia（弗吉尼亚大学）
随着数据汇集成本的降低，可用于表征感兴趣的特定预测器的变量或特征的空间继续呈指数增长。因此，识别最具特征的特征，使方差最小化，而不损害我们模型的偏差，对于成功训练机器学习模型至关重要。此外，识别这些特征对于可解释性、预测准确性和最佳计算成本至关重要。虽然统计方法，如子集选择，收缩，降维已被应用在选择最佳的一组功能，在文献中的一些其他方法接近特征选择任务作为一个搜索问题，其中每个状态在搜索空间是一个可能的特征子集。在本文中，我们解决了使用强化学习特征选择问题。将状态空间表示为马尔可夫决策过程（MDP），使用时间差分（TD）算法选择最佳特征子集。使用鲁棒且低成本的分类器算法评估每个状态，该算法可以处理数据集中的任何非线性。
2021-01-23 cs.LG stat.ML
Selecting Diverse SFT Traces Improves Post-RL Generalization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌公司）
研究提出基于规则指纹选择多样化推理路线的SFT数据，显著提升后RL泛化能力，在多个基准上验证了有效性。
2026-09-29 cs.AI cs.LG
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University（印第安纳大学）
各种各样的表示学习方法已经被研究用于强化学习;然而，很少有人关注稀疏编码的效用。在强化学习之外，稀疏编码表示已被广泛使用，其非凸目标导致区分表示。在这项工作中，我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性，我们证明了所有的局部极小值是全局极小值，使该方法适合简单的优化策略。我们的经验表明，使用监督目标是关键，而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示，称为瓦片编码，证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
Dynamic selection of p-norm in linear adaptive filtering via online kernel-based reinforcement learning
Tokyo Institute of Technology（东京工业大学）
本研究解决了动态选择的问题，在每个时刻，“最优”的p-范数，以打击离群值的线性自适应滤波没有任何知识的潜在的随时间变化的概率分布函数的离群值。为此，通过基于内核的强化学习（KBRL）设计了一个在线和数据驱动的框架。在再生核Hilbert空间（RKHS）上引入了新的Bellman映射，该映射不需要关于Markov决策过程的转移概率的知识，并且关于Hilbert范数是非扩张的.通过引入Bellman映射不动点集的有限维仿射超集，给出了一个近似的策略迭代框架。众所周知的“灾难的维数”在RKHS解决通过建立一个基础的向量通过一个近似的线性依赖性标准。对合成数据的数值测试表明，所提出的框架总是选择“最优”的p-范数的离群值的情况下，在同一时间几个非RL和KBRL计划跑赢。
2022-10-21 cs.LG eess.SP
