A Novel Experts Advice Aggregation Framework Using Deep Reinforcement Learning for Portfolio Management
Sharif University of Technology（谢里夫理工大学）
使用深度强化学习解决投资组合管理问题在金融界引起了广泛的关注。我们提出了一种新方法，使用专家信号和历史价格数据来输入我们的强化学习框架。虽然专家信号已经在金融领域的以前的工作中使用过，但据我们所知，这是第一次将这种方法与深度RL结合起来用于解决金融投资组合管理问题。我们提出的框架由一个用于聚合信号的卷积网络、另一个用于历史价格数据的卷积网络和一个普通网络组成。我们使用邻近策略优化算法作为代理来处理奖励并在环境中采取行动。结果表明，平均而言，我们的框架可以获得最好的专家所获得的利润的90%。
2022-12-29 cs.LG q-fin.CP q-fin.PM
Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning
Seoul National University（首尔大学）
提出约束多目标强化学习算法CoMOGA，将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突，在表格环境中保证最优收敛并在所有任务中实现约束满足。
2024-05-31 cs.LG
FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning
VinUniversity（Vin大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本地数据在不同边缘设备（客户端）之间的不均匀分布导致联邦学习中模型训练缓慢和准确性降低。朴素的联邦学习（FL）策略和大多数替代解决方案试图通过在客户端之间加权聚合深度学习模型来实现更大的公平性。这项工作介绍了一种新的非IID类型，在现实世界中遇到的数据集，即集群偏斜，其中客户端组具有类似分布的本地数据，导致全局模型收敛到过拟合的解决方案。为了处理非IID数据，特别是聚类偏斜数据，我们提出了FedDRL，这是一种新的FL模型，采用深度强化学习来自适应地确定每个客户端的影响因子（将用作聚合过程中的权重）。在一组联邦数据集上进行的大量实验证实，所提出的FedDRL相对于FedAvg和FedProx方法有了有利的改进，例如，CIFAR-100数据集的平均值分别为4.05%和2.17%。
2022-08-04 cs.CV cs.LG
Mitigating False Credit Propagation: Probabilistic Graphical Reward Aggregation for Rubric-Based Reinforcement Learning
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北京航空航天大学）；Tsinghua University（清华大学）
针对准则奖励中因忽略准则间依赖关系导致的虚假信用传播问题，提出概率图框架Graphical Event Aggregation for Rubric rewards (GEAR)，通过建模潜在伯努利事件和软抑制传播实现依赖感知的奖励聚合，在多个基准上提升性能并减少信用泄漏。
2026-08-27 cs.LG
AVDDPG: Federated reinforcement learning applied to autonomous platoon control
自2016年以来，联邦学习（FL）一直是人工智能（AI）研究界讨论的一个不断发展的话题。FL的应用导致了联邦强化学习（FRL）的发展和研究。很少有作品存在的主题FRL应用于自主车辆（AV）排。此外，大多数FRL作品选择单一的聚合方法（通常是权重或梯度聚合）。我们探索FRL的有效性，以提高AV排的设计和实施FRL框架之上的自定义AV排环境。在两种情况下研究了FRL在无人机编队中的应用：（1）编队间FRL（Inter-FRL），其中FRL应用于不同编队的无人机;（2）编队内FRL（Intra-FRL），其中FRL应用于单个编队内的无人机。使用梯度和权重聚合将Inter-FRL和Intra-FRL应用于自定义AV队列环境，以观察FRL相对于未经FRL训练的AV队列环境对AV队列的性能影响。它的结论是，内FRL使用权重聚合（内FRLWA）提供了最佳的性能控制AV排。此外，我们发现，在FRL的AV队列的重量聚合提供了相对于梯度聚合的性能增加。最后，进行了性能分析内FRLWA与队列环境中没有FRL的长度为3，4和5辆车的队列。可以得出结论，内FRLWA在很大程度上优于没有FRL训练的队列环境。
2022-07-05 cs.AI cs.LG
Biased Aggregation, Rollout, and Enhanced Policy Improvement for Reinforcement Learning
我们提出了一个新的聚合框架，近似动态规划，它提供了一个连接的推出算法，近似策略迭代，和其他单步和多步前瞻方法。中心的新颖特征是使用状态的偏置函数$V$，其将聚合成本函数的值向其正确的水平偏置。当$V\equiv0$，但我们的计划最好的工作时，$V$是一个已知的合理的最佳近似的最佳成本函数$J^*$的经典聚合框架。当$V$等于某个已知策略$μ$的成本函数$J_μ$并且只有一个聚合状态时，我们的方案等价于基于$μ$的铺开算法（即，从策略$μ$开始的单个策略改进的结果）。当$V=J_μ$和存在多个聚集状态时，我们的聚集方法可以作为$μ$的更强大的改进形式。因此，当结合近似的政策评估方案，我们的方法可以形成一个新的和增强的形式的近似政策迭代的基础。当$V$是一个通用的偏置函数时，我们的方案等价于在值空间中的近似，其中前瞻函数等于$V$加上每个聚集状态内的局部校正。通过求解低维聚合DP问题获得局部校正水平，当聚合状态的数量足够大时，产生任意接近$J^*$的近似。除了偏置函数，聚合DP问题类似于经典聚合框架中的聚合DP问题，并且其通过模拟或其他方法的算法解与经典聚合的算法解几乎相同，假设$V$的值在需要时可用。
2019-10-06 cs.AI cs.LG
Model-Free Episodic Control with State Aggregation
Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Sul（南里奥格兰德联邦教育、科学与技术学院）
情景控制为强化学习提供了一种高样本效率的方法，同时强制执行高内存和计算要求。这项工作提出了一个简单的启发式减少这些要求，并应用到无模型情节控制（MFEC）。Atari游戏的实验表明，这种启发式成功地减少了MFEC的计算需求，同时没有产生显着的性能损失时，使用保守的超参数的选择。因此，在处理强化学习任务时，情景控制成为更可行的选择。
2020-08-21 cs.AI cs.LG cs.NE
Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data
Institute of Communication Acoustics, Ruhr-Universität Bochum（鲁尔大学波鸿分校通信声学研究所）
针对非独立同分布数据半监督联邦学习的挑战，提出pFedMARL方法，利用多智能体强化学习动态调整聚合策略，提升模型准确率、鲁棒性与公平性，性能优于FedAvg等方法。
2026-08-27 cs.DC cs.LG cs.SD
FedAA: A Reinforcement Learning Perspective on Adaptive Aggregation for Fair and Robust Federated Learning
Huazhong University of Science and Technology（华中科技大学）；Chongqing University（重庆大学）
针对联邦学习面临的统计异质性、易受攻击及聚合脆弱性问题，提出FedAA方法，通过深度确定性策略梯度控制聚合权重、参数距离选客户端及验证集奖励机制，提升鲁棒性并保障公平性。
2024-12-12 cs.AI cs.DC cs.LG
Dynamic Fair Federated Learning Based on Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对联邦学习数据异构导致的设备间不公平问题，本文提出强化学习驱动的 DQFFL 算法，利用 α-公平性动态分配客户端权重，并在性能、公平性与收敛速度上超越现有方法。
2023-11-02 cs.CY cs.IT cs.LG
Offline Reinforcement Learning: Role of State Aggregation and Trajectory Data
Massachusetts Institute of Technology（麻省理工学院）；University of Virginia（弗吉尼亚大学）
本文重新审视了无Bellman完备性的离线强化学习问题，证明在多项式样本复杂度下轨迹数据不优于可容许数据，并揭示了离线策略评估的样本复杂度由聚合马尔可夫转移模型中的集中系数决定。
2024-03-25 cs.AI cs.LG stat.ML
Multi-trainer Interactive Reinforcement Learning System
University of Southampton（南安普顿大学）
交互式强化学习可以通过人工反馈有效地促进Agent训练。然而，这种方法通常需要人类教师知道代理应该采取的正确行动。换句话说，如果人类老师并不总是可靠的，那么它就不能始终如一地指导智能体完成训练。在本文中，我们提出了一个更有效的交互式强化学习系统，通过引入多个训练器，即多训练器交互式强化学习（MTIRL），它可以聚合从多个非完美的训练器的二进制反馈到一个更可靠的奖励稀疏环境中的代理训练。特别是，我们的教练反馈聚合实验表明，我们的聚合方法具有最好的准确性相比，多数投票，加权投票，贝叶斯方法。最后，我们进行了一个网格世界的实验表明，MTIRL与审查模型训练的政策是更接近最优的政策比没有审查模型。
2022-10-14 cs.LG
Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning
研究基于深度Q网络的高估偏差问题，提出集成弹性深度Q网络算法，结合自适应弹性多步回报与基于集成的目标聚合，改进回报构建并应用视域相关的集成聚合，在多环境评估中表现良好。
2026-07-07 cs.AI cs.LG
Extreme State Aggregation Beyond MDPs
Australian National University（澳大利亚国立大学）
我们考虑一个强化学习设置，其中智能体在观察-奖励-动作循环中与环境交互，而没有任何（特别是）MDP）对环境的假设。状态聚合和更一般的特征强化学习涉及将历史/原始状态映射到简化/聚合状态。两者背后的想法是，由此产生的简化过程（近似）形成一个小的稳态有限状态MDP，然后可以有效地求解或学习。我们大大推广现有的聚合结果表明，即使减少的过程是不是一个MDP，（q-）价值函数和（最佳）的政策相关联的MDP具有相同的状态空间大小解决了原来的问题，只要解决方案可以近似地表示为一个功能的减少状态。这意味着所需的状态空间大小的上限，保持一致的所有RL问题。这也可以解释为什么为MDP设计的RL算法有时表现得比MDP好。
2014-07-12 cs.AI cs.LG
Adaptive Aggregation for Safety-Critical Control
McGill University（麦吉尔大学）
安全性被认为是阻止将强化学习（RL）用于现实世界应用的主要障碍。已经开发了不同的方法来处理RL中的安全问题。然而，学习可靠的基于RL的解决方案通常需要与环境进行大量的交互。同样，如何提高学习效率，具体地说，如何利用迁移学习进行安全的强化学习，还没有得到很好的研究。在这项工作中，我们提出了一个自适应聚合框架的安全关键控制。我们的方法包括两个关键技术：1）我们学习通过聚合多个源任务和目标任务通过注意力网络的安全知识的传输; 2）我们分开的目标，提高任务的性能和减少约束违反通过使用一个安全措施。实验结果表明，我们的算法可以实现更少的安全违规，同时表现出更好的数据效率相比，几个基线。
2023-02-07 cs.AI cs.LG
SplAgger: Split Aggregation for Meta-Reinforcement Learning
University of Oxford（牛津大学）
本文提出 SplAgger，一种结合置换变异和不变组件的序列模型，用于元强化学习，在连续控制和记忆环境中优于所有基线。
2024-06-01 cs.AI cs.LG
Directional Ensemble Aggregation for Actor-Critics
Department of Mathematics and Computer Science University of Southern Denmark（数学与计算机科学系 欧洲南部大学）
针对连续控制离策略强化学习中静态集成聚合粗糙且无法自适应的问题，提出定向集成聚合DEA，通过两个可学习定向参数结合方向加权Bellman误差自适应调整保守性与探索，在多基准和学习模式下效果优于静态策略。
2025-07-31 cs.LG stat.ML
Introduction to Quantum Reinforcement Learning: Theory and PennyLane-based Implementation
Korea University（高丽大学）；Hallym University（翰林大学）
量子计算的出现使研究人员能够将量子电路应用于许多现有的研究。利用量子电路和量子微分编程技术，人们进行了许多研究，如\textit{Quantum Machine Learning}（QML）。特别是量子强化学习是检验量子机器学习可能性的一个很好的领域，大量的研究正在进行中。本研究将介绍使用变分量子电路的量子强化学习的概念，并通过实施和实验确认其可能性。我们将首先介绍量子强化学习的背景知识和工作原理，然后使用PennyLane库指导实现方法。我们还将讨论量子强化学习的力量和可能性，从通过这项工作获得的实验结果。
2021-08-16 cs.LG
Online Regret Bounds for Undiscounted Continuous Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在连续状态空间中，我们得到了非折扣强化学习的次线性后悔界。该算法结合了状态聚合与使用置信上界实现乐观面对不确定性。除了存在满足泊松方程的最优策略外，唯一的假设是报酬和转移概率的Holder连续性。
2013-02-11 cs.LG
Value Variance Minimization for Learning Approximate Equilibrium in Aggregation Systems
Singapore Management University（新加坡管理大学）
为了有效地匹配资源（例如，出租车、食品、自行车、购物物品）来满足客户需求，聚合系统已经非常成功。在聚合系统中，中央实体（例如，Uber、Food Panda、Ofo）聚合供应（例如，司机、送货人员），并在连续的基础上将需求与供应相匹配（顺序决策）。由于中央实体的目标是最大限度地提高其利润，个别供应商被牺牲，从而创造了激励个人离开系统。在本文中，我们考虑在聚集系统中学习近似均衡解（双赢解）的问题，使个体有动机留在聚集系统中。不幸的是，这样的系统有成千上万的代理，并考虑需求的不确定性和潜在的问题是（部分可观察）随机博弈。考虑到随机博弈中学习或规划的复杂性，我们做出了三个关键贡献：（a）利用每个代理的无穷小贡献和匿名性（奖励和代理之间的转换依赖于代理计数）在交互中，我们将其表示为多智能体强化学习（MARL）问题，该问题建立在非原子拥塞博弈模型的基础上;（b）我们提供了一种新的方差减少机制，用于将联合解决方案向纳什均衡移动，该机制利用每个代理的无穷小贡献;最后（c）我们提供了三个不同领域的详细结果，以证明我们的方法与最先进的方法相比的实用性。
2020-03-16 cs.LG stat.ML
Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Router-R1，一种基于强化学习的框架，将多LLM路由与聚合建模为顺序决策过程，通过思考与路由动作交错及成本奖励优化性能-成本权衡，在七个问答基准上超越强基线。
2025-10-24 cs.AI cs.CL cs.LG
A Reinforcement Learning Framework for Resource Allocation in Uplink Carrier Aggregation in the Presence of Self Interference
DRDO-Defence Electronics Research Laboratory（国防电子研究实验室）；Qualcomm India Private Limited（高通印度私人有限公司）；Department of ECE, Indian Institute of Science（印度科学研究院电子工程系）；Department of Electrical and Computer Engineering, Duke University（达特茅斯大学电气与计算机工程系）
本文提出了一种基于强化学习的上行载波聚合资源分配框架，通过自定义奖励函数有效处理自干扰问题，提升系统吞吐量。
2025-11-22 cs.IT cs.LG eess.SP
CleanRL: High-quality Single-file Implementations of Deep Reinforcement Learning Algorithms
Drexel University（德雷塞尔大学）；Kobe University（神户大学）；New York University（纽约大学）
CleanRL是一个开源库，提供深度强化学习算法的高质量单文件实现。它提供了一个更简单但可扩展的开发体验，通过简单的代码库和集成的生产工具来帮助交互和扩展实验。在CleanRL中，我们将算法的所有细节放在一个文件中，使这些与性能相关的细节更容易识别。此外，实验跟踪功能可用于帮助将指标，超参数，代理游戏的视频，依赖关系等记录到云端。尽管实现简洁，但我们还设计了一些工具来帮助扩展，一度通过Docker和云提供商同时在2000多台机器上进行实验。最后，我们通过对各种环境进行基准测试来确保实现的质量。CleanRL的源代码可以在https://github.com/vwxyzjn/cleanrl上找到
2021-11-16 cs.LG
Efficient Representation for Electric Vehicle Charging Station Operations using Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
电动汽车充电站（EVCS）的有效运行对于实现电气化交通的快速过渡至关重要。为了使用强化学习（RL）来解决这个问题，状态/动作空间的维度与EV的数量成比例，因此非常大且随时间变化。这个维度问题影响了通用RL算法的效率和收敛特性。我们开发的聚合方案，是基于电动汽车充电的紧急情况，即松弛值。采用最小松弛优先（LLF）规则，只考虑总的充电功率的电动汽车控制系统，以确保个人的电动汽车调度的可行性。此外，我们提出了一个等价的状态聚合，可以保证达到相同的最优策略。在此基础上，利用策略梯度方法，对线性高斯策略进行参数优化。数值结果验证了所提出的表示方法在获得更高的回报和更有效的政策相比，现有的近似为基础的方法的性能改善。
2022-01-24 cs.LG math.OC
Co-Adaptation of Algorithmic and Implementational Innovations in Inference-based Deep Reinforcement Learning
The University of Tokyo（东京大学）；University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）
近年来，人们提出了许多基于函数逼近的强化学习算法。虽然它们有明确的算法区别，但它们也有许多独立于算法的实现差异，有时会被忽视。算法新颖性和实现技巧的这种混合使得严格分析算法性能改进的来源变得困难。在这项工作中，我们专注于一系列基于非策略推理的演员-评论家算法- MPO，AWR和SAC -解耦算法创新和实施决策。我们通过一个单一的控制推理目标，我们可以将每个算法分类为基于期望最大化（EM）或直接Kullback-Leibler（KL）发散最小化，并将其余的规范作为实现细节。我们进行了广泛的消融研究，并确定了实质性的性能下降时，实现细节不匹配的算法选择。这些结果显示了哪些实现或代码细节与算法共同适应和共同进化，以及哪些可以在算法之间转移：例如，我们发现双曲正切高斯策略和网络大小高度适应算法类型，而层归一化和ELU对MPO的性能至关重要，但也可以在SAC中转移到显著的增益。我们希望我们的工作可以激发未来的工作，进一步揭开多种算法性能改进的来源，并允许研究人员建立在彼此的算法和实现创新的基础上。
2021-10-25 cs.AI cs.LG stat.ML
Reward Shaping with Dynamic Trajectory Aggregation
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
强化学习是一种获得长期回报最大化的策略，已经被积极地研究。不幸的是，这种学习类型太慢，很难在实际情况中使用，因为状态-动作空间在现实环境中变得很大。学习效率的关键因素是奖励。基于潜能的奖励塑造是丰富奖励的基本方法。这个方法需要为每个域定义一个特定的实价值函数，称为势函数。通常很难直接表示势函数。SARSA-RS通过学习势函数来获取势函数，但是SARSA-RS只适用于简单的环境。这种方法的瓶颈是状态的聚合，使抽象的状态，因为它几乎是不可能的设计者建立一个聚合函数的所有状态。我们提出了一个轨迹聚合，使用子目标系列。该方法在试验和错误过程中动态地聚集一个事件中的状态，只有子目标序列和子目标识别函数。它使设计人员的努力最小化，并应用到高维观测环境中成为可能。我们从参与者中获得了子目标序列用于实验。我们在三个领域进行了实验，四个房间（离散状态和离散动作），弹球（连续和离散），采摘（连续）。我们将我们的方法与基线强化学习算法和其他基于子目标的方法进行了比较，包括随机子目标和基于朴素子目标的奖励塑造。因此，我们的奖励塑造在学习效率上优于所有其他方法。
2021-04-13 cs.AI cs.LG
Personalized Observation Normalization for Federated Reinforcement Learning in Simulation Environments with Heterogeneity
Department of Electrical Engineering \& Computer Science Florida Atlantic University Boca Raton, FL, USA
针对联邦强化学习在异构环境中状态转移动力学差异导致输入分布不一致和参数更新不平衡的问题，提出个性化观测归一化方法，通过各智能体本地维护运行均值和方差对原始状态输入进行归一化，加速训练并提升性能。
2026-04-10 cs.AI cs.LG
COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Amazon AWS AI（亚马逊AWS人工智能部门）
随着强化学习（RL）在各种任务中取得了接近人类水平的性能，其鲁棒性引起了人们的极大关注。虽然大量的研究已经探索了RL中的测试时间（逃避）攻击和相应的防御，但其对训练时间（中毒）攻击的鲁棒性仍然没有得到很大的回答。在这项工作中，我们专注于证明离线RL在存在中毒攻击的情况下的鲁棒性，其中训练轨迹的子集可以被任意操纵。我们提出了第一个认证框架，COPA，认证的中毒轨迹，可以容忍不同的认证标准的数量。鉴于强化学习的复杂结构，我们提出了两个认证标准：每状态动作稳定性和累积奖励界。为了进一步提高认证，我们提出了新的分区和聚合协议，训练强大的政策。我们进一步证明了所提出的一些认证方法在理论上是严格的，有些是NP完全问题。我们利用COPA对三种不同算法训练的强化学习环境进行了认证，并得出结论：（1）所提出的鲁棒聚合协议（如时间聚合）可以显著提高认证效率;（2）我们对每个状态的动作稳定性和累积奖励界的认证是有效和严格的;（3）不同的训练算法和训练环境的认证结果不同，这说明它们具有内在的鲁棒性。所有实验结果可在https://copa-leaderboard.github.io上获得。
2022-03-16 cs.CR cs.LG
On the Implementation of a Reinforcement Learning-based Capacity Sharing Algorithm in O-RAN
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
无线电接入网络（RAN）切片中的容量共享问题涉及在各个RAN切片之间分配每个RAN节点中可用的容量，以满足它们的业务需求并有效地使用无线电资源。虽然在文献中已经提出了几种容量共享算法解决方案，但它们的实际实现仍然是一个空白。在本文中，一个基于强化学习的能力共享算法的O-RAN架构的实现进行了讨论，提供见解的操作所涉及的接口和容器化的解决方案。此外，实施验证解决方案的测试床的描述，并提出了一些性能和验证结果。
2022-07-21 cs.LG cs.NI
RL4health: Crowdsourcing Reinforcement Learning for Knee Replacement Pathway Optimization
Princeton University（普林斯顿大学）
关节置换术是美国最常见的住院手术治疗。我们研究膝关节置换术的临床路径优化，这是一个从发病到康复的顺序决策过程。基于以前案例中的情景索赔，我们将路径优化视为智能众包问题，并通过在每个中间状态模仿最佳专家来从数据中学习最优决策策略。我们开发了一个基于强化学习的流水线，该流水线使用值迭代、状态压缩和聚合学习、内核表示和交叉验证来预测最佳治疗策略。并对优化政策下的临床路径进行了预测。实证结果表明，优化后的策略使总成本降低了7%，超额成本溢价降低了33%。
2019-05-24 cs.AI cs.LG stat.ML
Heterogeneous Federated Reinforcement Learning Using Wasserstein Barycenters
Knight Foundation School of Computing and Information Sciences（骑士基金会计算与信息科学学院）；Florida International University（佛罗里达国际大学）
本文提出FedWB算法，利用Wasserstein重心进行模型融合，并扩展至异构联邦强化学习，通过CartPole实验验证了全局DQN在多环境中的有效性。
2025-06-18 cs.LG
Selecting Near-Optimal Approximate State Representations in Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；The Technion（以色列理工学院）；Inria Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；Inria Chile（法国国家信息与自动化研究所智利中心）
我们考虑引入的强化学习设置（Maillard et al.，NIPS 2011），其中学习者没有显式访问底层马尔可夫决策过程（MDP）的状态。相反，她可以访问几个模型，将过去的相互作用历史映射到状态。在这里，我们改进了已知的遗憾界在这种情况下，更重要的是，推广到的情况下，模型给学习者不包含一个真正的模型，导致MDP表示，但只有它的近似值。
2014-09-15 cs.LG
Transferring Reinforcement Learning for DC-DC Buck Converter Control via Duty Ratio Mapping: From Simulation to Implementation
Shanghai University of Electric Power（上海电力大学）
强化学习（RL）控制方法在电力电子系统中的应用已成为一个新兴的课题，而仿真问题仍然是一个具有挑战性的问题，因为文献中很少有结果可以参考。实际上，由于仿真模型和现实系统之间不可避免的不匹配，离线训练的RL控制策略在实际实现过程中可能会遇到意想不到的障碍。作为本文的主要贡献，提出了一种通过精心设计的占空比映射（DRM）的DC-DC降压转换器的传输方法。然后，提出了一个详细的模拟到真实的过程，以实现无模型深度强化学习（DRL）控制器。通过对比实验研究，证明了该方法的可行性和有效性。
2021-10-20 cs.LG cs.SY eess.SY
NAVREN-RL: Learning to fly in real environment via end-to-end deep reinforcement learning using monocular images
Georgia Institute of Technology（佐治亚理工学院）
我们提出了NAVREN-RL，一种通过端到端强化学习RL在室内真实环境中导航无人机的方法。考虑到微型无人机的成本和重量约束，设计了一个合适的奖励函数，使传感器的数量最少。少量专家数据的收集和基于知识的数据聚合被集成到RL过程中，以帮助收敛。在Parrot AR无人机上进行了不同室内场景的实验，并将结果与其他基线技术进行了比较。我们展示了无人机如何成功地避开障碍物并在不同的领域导航。
2018-07-22 cs.CV cs.LG cs.RO
Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning
University of Maryland, College Park（马里兰大学帕克分校）；Northwestern Polytechnical University（西北工业大学）；Lehigh University（理海大学）
多智能体强化学习在实践中引起了越来越多的关注，例如，机器人和自动驾驶，因为它可以使用与环境交互生成的样本来探索最佳策略。然而，当我们想要训练一个令人满意的模型时，高回报不确定性仍然是一个问题，因为获得高质量的回报反馈通常是昂贵的，甚至是不可行的。为了处理这个问题，以前的方法主要集中在被动奖励校正。与此同时，最近的主动奖励估计方法已被证明是一个减少奖励不确定性的影响的处方。在本文中，我们提出了一个新的分布式奖励估计框架有效的多智能体强化学习（DRE-MARL）。我们的主要思想是设计多行动分支的奖励估计和策略加权的奖励聚集稳定的训练。具体来说，我们设计了多动作分支的奖励估计模型的奖励分布在所有的动作分支。然后，我们利用奖励聚合获得稳定的更新信号在训练过程中。我们的直觉是，考虑行动的所有可能后果可能有助于学习政策。DRE-MARL的优越性证明使用基准多智能体的情况下，与SOTA基线的有效性和鲁棒性。
2022-10-14 cs.LG cs.MA
The Definitive Guide to Policy Gradients in Deep Reinforcement Learning: Theory, Algorithms and Implementations
University of Cologne（科隆大学）
本文系统综述深度强化学习中的同策略策略梯度算法，整合理论证明、收敛结果、算法比较与JAX实现。
2024-03-01 cs.AI cs.LG
Optimized Local Updates in Federated Learning via Reinforcement Learning
Auburn University（亚伯拉罕大学）
本文提出利用 DRL 智能体依据训练损失变化动态生成各类别数据权重，优化联邦学习中的本地数据划分，以缓解非 IID 聚合导致的性能下降。
2025-05-31 cs.LG
Recursive Reward Aggregation
针对强化学习中复杂目标下奖励函数设计困难的问题，提出基于递归奖励聚合的行为对齐方法，从代数视角推导贝尔曼方程，推广折扣和至多种聚合形式，适配多类算法与场景，实验验证其能有效优化多样目标。
2025-09-04 cs.LG math.CT
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Deep reinforcement learning guided graph neural networks for brain network analysis
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Macquarie University（麦考瑞大学）；Beihang University（北京航空航天大学）；National Acoustic Laboratories（国家声学实验室）；CAEIT（中国电子科学研究院）
现代神经成像技术，如扩散张量成像（DTI）和功能性磁共振成像（fMRI），使我们能够将人脑建模为大脑网络或连接体。捕捉大脑网络的结构信息和层次模式对于理解大脑功能和疾病状态至关重要。近年来，图神经网络（GNNs）具有良好的网络表示学习能力，促使人们提出了许多基于GNNs的脑网络分析方法。具体而言，这些方法应用特征聚合和全局池化来将脑网络实例转换为用于下游脑网络分析任务的有意义的低维表示。然而，现有的基于GNN的方法往往忽略了不同主体的大脑网络可能需要各种聚合迭代，并使用具有固定层数的GNN来学习所有大脑网络。因此，如何充分释放GNN的潜力，促进大脑网络分析仍然是一个不平凡的问题。为了解决这个问题，我们提出了一种新的大脑网络表示框架，即BN-GNN，它为每个大脑网络搜索最佳的GNN架构。具体来说，BN-GNN采用深度强化学习（DRL）来训练元策略，以自动确定给定大脑网络所需的最佳特征聚合数量（反映在GNN层的数量中）。在八个真实脑网络数据集上进行的大量实验表明，我们提出的BN-GNN提高了传统GNN在不同脑网络分析任务上的性能。
2022-07-24 cs.AI cs.LG cs.NE
Alternating Reinforcement Learning with Contextual Rubric Rewards: Beyond the Scalarization Strategy
Amazon（亚马逊）
本文提出ARL-RR框架，通过逐个优化语义评分元类别，避免固定标量化，提升模型性能与训练效率。
2026-05-07 cs.AI cs.CL cs.LG
Efficient circuit implementation for coined quantum walks on binary trees and application to reinforcement learning
IRT Saint Exupery（圣埃克苏佩里技术研究所）；Université Paul Sabatier（保罗·萨巴捷大学）；IRIT（图卢兹信息学研究所）
二叉树上的量子行走被用于许多量子算法中，以实现相对于经典算法的重要加速。这种算法作为量子电路的形式呈现出易于读取、在基于电路的量子计算机和模拟器上可执行以及资源利用最优的优点。根据通用门模型量子计算原理，我们提出了一种在二叉树上进行量子行走的量子电路构成策略。我们特别关注NAND公式求值算法，因为它在博弈论和强化学习中有许多应用。因此，我们提出了该算法的应用程序，并展示了它如何可以用来训练量子强化学习代理在两个玩家的游戏环境。
2022-10-14 cs.ET cs.LG quant-ph
On physical implementability of reinforcement-learning-driven reasoning
Kyoto University（京都大学）
本文针对给定奖励下带奖励外势能的物理神经网络模型，研究强化学习驱动推理的硬件实现，发现该实现中动力学思维链的存在与系统李雅普诺夫稳定性矛盾，给出了相关否定结果。
2026-10-14 cond-mat.dis-nn cs.LG
Towards Foundation Models for Consensus Rank Aggregation
TU Dortmund University, Dortmund, Germany（图卢兹大学（德累斯顿））；Research Center Trustworthy Data Science and Security, University Alliance Ruhr, Dortmund, Germany（可信数据科学与安全研究中心，鲁尔大学联盟，德累斯顿，德国）
本文提出Kemeny Transformer，一种基于Transformer的算法，通过强化学习高效近似Kemeny最优排名，优于传统方法并在实际排名聚合任务中具有可扩展性。
2026-03-16 cs.AI cs.LG cs.NE
Compressed Federated Reinforcement Learning with a Generative Model
Stockholm University（斯德哥尔摩大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对联邦强化学习聚合步骤通信成本高的问题，提出CompFedRL方法，结合周期性聚合与压缩机制，在生成模型设置下通过有限时间分析证明其强收敛性并降低通信开销。
2024-10-14 cs.DC cs.LG cs.MA
Multi-Agent Reinforcement Learning in Stochastic Networked Systems
Caltech（加州理工学院）；Tsinghua University（清华大学）
我们研究了随机网络中的多智能体强化学习。我们的目标是找到本地化的政策，最大限度地提高（折扣）的全球回报。一般来说，可扩展性在这种设置中是一个挑战，因为全局状态/动作空间的大小可以是代理数量的指数。可扩展算法仅在依赖关系是静态的、固定的和局部的情况下是已知的，例如，在一个固定的、时不变的底层图中的邻居之间。在这项工作中，我们提出了一个可扩展的Actor Critic框架，该框架适用于依赖关系可以是非本地和随机的设置，并提供了一个有限时间的误差界，显示收敛速度如何取决于网络中信息传播的速度。此外，作为我们的分析的副产品，我们获得了新的有限时间收敛结果的一般随机逼近方案和时间差学习状态聚合，适用于网络系统中的MARL设置之外。
2021-11-02 cs.LG cs.MA stat.ML
Unsupervised Basis Function Adaptation for Reinforcement Learning
University of Melbourne（墨尔本大学）
当使用强化学习（RL）算法来评估策略时，在给定大的状态空间的情况下，通常为价值函数（VF）引入某种形式的近似架构。然而，该架构的确切形式可以对VF估计的准确性具有显著影响，并且确定合适的近似架构通常可以是高度复杂的任务。因此，有大量的兴趣在允许RL算法自适应地生成近似架构的潜力。我们研究了一种适应近似架构的方法，该架构使用关于代理访问某些状态的频率的反馈来指导状态空间的哪些区域更详细地近似。这种方法是“无监督的”，因为它没有直接参考奖励或VF估计。我们介绍了一个算法，基于这个想法，适应状态聚集近似架构在线。对VF估计进行评分的常用方法是通过状态动作发生的概率来加权每个状态动作的平方贝尔曼误差。采用这种评分方法，并假设$S$状态，我们从理论上证明了-假设（1）状态聚合架构中的单元$X$的数量是$\sqrt{S}\log_2{S}\ln{S}$或更大的数量级，（2）策略和转移函数接近确定性，以及（3）转移函数的先验是均匀分布的-我们的算法，与合适的RL算法结合使用，当$S$变大时，可以保证任意接近零的分数。它能够做到这一点，尽管只有$O(X \log_2S)$空间复杂度和可忽略的时间复杂度。这些结果利用了马尔可夫链平稳分布的某些性质。
2017-03-03 cs.AI cs.LG stat.ML
Efficient Implementation of Reinforcement Learning over Homomorphic Encryption
School of Aeronautics and Astronautics, Purdue University（普渡大学航空航天学院）
针对云端加密控制策略合成的隐私保护需求，聚焦相对熵正则化强化学习以规避加密数据比较操作难题，实现线性可解值迭代等方法的FHE部署，通过网格世界加密Z-learning案例验证了收敛性与误差可接受性。
2025-04-12 cs.CR cs.LG cs.SY
A survey of benchmarking frameworks for reinforcement learning
University of South Africa（南非大学）
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展，解决强化学习问题的方法也越来越多。当使用强化学习解决问题时，有各种困难的挑战需要克服。为了确保该领域的进展，基准测试对于测试新算法和与其他方法进行比较非常重要。因此，公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献，并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施，任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注，并鼓励以标准化的方式进行研究。此外，这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
Fine-tuning Timeseries Predictors Using Reinforcement Learning
Reykjavik University, Department of Engineering（雷克雅未克大学工程系）
本文提出通过强化学习优化金融预测模型，通过反向传播损失提升模型性能，并验证微调对模型的提升效果及迁移学习价值。
2026-03-20 cs.AI cs.LG
Delayed Reinforcement Learning by Imitation
Politecnico di Milano（米兰理工大学）
当智能体的观察或交互延迟时，经典的强化学习工具通常会失败。在本文中，我们提出了一个简单而又新颖有效的解决方案。我们假设，在无延迟的环境中，一个有效的政策是已知的，或者可以很容易地学习，但任务可能会受到延迟在实践中，因此我们要考虑到他们。我们提出了一种新的算法，延迟模仿与数据集聚合（DIDA），它建立在模仿学习方法来学习如何在延迟的环境中从无延迟的演示。我们提供了一个理论分析的方法，将指导DIDA的实际设计。这些结果也是普遍感兴趣的延迟强化学习文学延迟和非延迟任务之间的性能，平滑条件下提供的界限。我们的经验表明，DIDA获得了显着的样本效率的各种任务，包括机器人运动，经典的控制，和交易的高性能。
2022-05-11 cs.LG
Safe-FinRL: A Low Bias and Variance Deep Reinforcement Learning Implementation for High-Freq Stock Trading
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
近年来，许多量化金融的从业者试图使用深度强化学习（DRL）来构建更好的量化交易（QT）策略。然而，许多现有的研究未能解决一些严重的挑战，如非平稳的金融环境和偏差和方差权衡时，应用DRL在现实金融市场。在这项工作中，我们提出了Safe-FinRL，一种新的基于DRL的高频股票交易策略，通过近平稳的金融环境和低偏差和方差估计来增强。我们的主要贡献是两方面的：首先，我们分离的长期金融时间序列到近平稳的短期环境，其次，我们实现了跟踪SAC在近平稳的金融环境中，将一般的回溯算子到软演员批评。在加密货币市场上进行的大量实验表明，Safe-FinRL提供了稳定的价值估计和稳定的政策改进，并在接近稳定的金融环境中显着减少了偏差和方差。
2022-06-13 cs.LG q-fin.PM
Rank Aggregation in Crowdsourcing for Listwise Annotations
Nanjing University of Science and Technology（南京理工大学）；Fuxi AI Lab, NetEase Games（网易游戏伏羲人工智能实验室）
提出LAC方法，首个无监督解决众包列表式全排名聚合问题，同时推断问题难度、标注者能力和真实排名，在合成和真实数据集上验证有效。
2024-10-10 cs.LG
From Game-theoretic Multi-agent Log Linear Learning to Reinforcement Learning
University of Oxford（牛津大学）；University of Toronto（多伦多大学）
本文的主要重点是增强两种类型的博弈论学习算法：对数线性学习和强化学习。对数线性学习的标准分析需要一个高度结构化的环境，即从实现的角度对游戏进行强有力的假设。在本文中，我们介绍了对数线性学习的一个变体，它提供了渐近保证，同时放松了结构假设，包括同步更新和玩家可用信息的限制。另一方面，无模型强化学习即使在对参与者关于环境和其他参与者策略的知识的较弱假设下也能够执行。我们提出了一种强化算法，使用双聚合方案，以加深玩家对环境的洞察力和恒定的学习步长，从而实现更高的收敛速度。数值实验验证了算法的鲁棒性和性能。
2018-09-18 cs.LG cs.MA
