Structural Return Maximization for Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
批量强化学习（RL）算法试图从设计者提供的一类策略中选择一个策略，给定一组固定的训练数据。选择的政策，最大限度地估计回报往往会导致过度拟合时，只有有限的数据是可用的，由于政策类的大小与可用的数据量。在这项工作中，我们专注于学习策略类，这些策略类的大小适合于可用的数据量。我们通过使用统计学习理论中的结构风险最小化原则来实现这一点，该原则使用拉德马赫复杂度来确定一个策略类，该策略类在给定可用数据的情况下最大化所选策略类中最佳策略的回报范围。与类似的批处理RL方法不同，我们的返回界只需要对真实系统进行非常弱的假设。
2014-05-12 cs.LG stat.ML
Reinforcement Learning Based Goodput Maximization with Quantized Feedback in URLLC
KTH Royal Institute of Technology（瑞典皇家理工学院）；Hitachi Energy（日立能源）
本文提出基于强化学习的量化反馈方案，结合Rician-K因子估计，在URLLC动态信道条件下最大化有效吞吐量，提升系统性能。
2025-01-19 cs.IT cs.LG eess.SP
Contingency-Aware Influence Maximization: A Reinforcement Learning Approach
Harvard University（哈佛大学）；Nanyang Technological University（南洋理工大学）
影响力最大化（IM）问题的目标是在社交网络中找到一个种子节点子集，使影响力的传播最大化。在这项研究中，我们专注于IM问题的一个子类，其中节点是否愿意成为种子时，被邀请是不确定的，称为偶然意识IM。这种应急意识IM对于低资源社区中的非营利组织的应用程序至关重要（例如，提高疾病预防意识）。尽管取得了初步的成功，但在将解决方案推广到更多社区方面的一个主要实际障碍是贪心算法的巨大运行时间和该领域非营利组织缺乏高性能计算（HPC）-每当有新的社交网络时，非营利组织通常没有HPC来重新计算解决方案。受此启发，并受到使用强化学习（RL）来解决图上的组合优化的工作线的启发，我们将问题形式化为马尔可夫决策过程（MDP），并使用RL在历史上可见的网络上学习IM策略，并在测试阶段推广到运行时间可忽略不计的未知网络。为了充分利用我们的目标问题的属性，我们提出了两个技术创新，改善现有的方法，包括状态抽象和理论基础的奖励塑造。实证结果表明，我们的方法实现的影响力高达国家的最先进的方法的突发事件感知IM，而在测试阶段的运行时间可以忽略不计。
2021-06-13 cs.AI cs.LG cs.SI
Cognitive Radio Network Throughput Maximization with Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）
射频驱动的认知无线电网络（RF-CRN）很可能成为物联网（IoT）等即将到来的现代网络的眼睛和耳朵，需要增加分散和自主操作。为了被认为是自主的，RF供电的网络实体需要在本地做出决策，以在任何网络环境的不确定性下最大化网络吞吐量。然而，在复杂的大规模网络中，状态和动作空间通常很大，现有的表格强化学习技术无法快速找到最优的状态-动作策略。在本文中，提出了深度强化学习来克服上述缺点，并允许无线网关导出最佳策略以最大化网络吞吐量。当以先进的DQN技术为基准时，我们提出的DQN配置提供了高达1.8倍的性能加速，具有良好的整体性能。
2020-07-07 cs.LG cs.NI eess.SP
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Latent Variable Modeling in Multi-Agent Reinforcement Learning via Expectation-Maximization for UAV-Based Wildlife Protection
Iran University of Science and Technology（伊朗科技大学）
本文提出基于期望最大化的潜变量建模方法，结合多智能体强化学习用于无人机协同野生动物保护，在10架无人机模拟中相比PPO和DDPG提升了检测准确率、适应性和收敛性。
2025-10-10 cs.AI cs.LG
Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization
Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（计算统计与机器学习 - 意大利技术研究院）；AI Centre, Computer Science Department, University College London（人工智能中心，计算机科学系，伦敦大学学院）
提出一种无奖励预训练方法ROVER，通过最大化状态占据测度的覆盖来学习可迁移探索策略，在稀疏奖励下游任务中快速适应。
2026-06-23 cs.LG
Career Path Recommendations for Long-term Income Maximization: A Reinforcement Learning Approach
KLM Royal Dutch Airlines（荷兰皇家航空公司）；Meta；University of Amsterdam（阿姆斯特丹大学）；Elsevier（爱思唯尔）；Randstad（任仕达）
本研究将职业规划建模为MDP，利用Sarsa、Q-Learning和A2C等强化学习算法优化员工长期收入，实验表明模型相比实际路径平均提升5%的收入。
2023-09-11 cs.LG
DQ4FairIM: Fairness-aware Influence Maximization using Deep Reinforcement Learning
Eindhoven University of Technology, The Netherlands（埃因霍温理工大学、荷兰）
DQ4FairIM通过深度强化学习实现公平性意识的影响力最大化，确保所有社区公平传播影响力，同时在保持性能平衡的同时提升公平性。
2025-11-29 cs.LG cs.SI stat.ML
Learning by Competition of Self-Interested Reinforcement Learning Agents
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
人工神经网络可以通过向实现REINFORCE学习规则的单元均匀地广播奖励信号来训练。虽然这在训练网络时为反向传播提供了一种生物学上合理的替代方案，但与之相关的高方差使得训练深度网络变得不切实际。高方差源于低效的结构性信用分配，因为单个奖励信号被用于评估所有单元的集体行动。为了便于结构化的信用分配，我们建议用单位的传出权重的$L^2$范数的变化来替换隐藏单位的奖励信号。因此，网络中的每个隐藏单元都试图最大化其传出权重的范数，而不是全局奖励，因此我们称这种学习方法为权重最大化。我们证明了权重最大化近似遵循期望中的报酬梯度。与反向传播相反，权重最大化可用于训练连续值和离散值单元。此外，权重最大化解决了与生物相容性相关的反向传播的几个主要问题。我们的实验表明，使用权重最大化训练的网络可以比REINFORCE学习得更快，比反向传播稍慢。权重最大化说明了一个合作行为的例子，自动产生于竞争游戏中的自利代理的人口，没有任何中央协调。
2021-12-22 cs.AI cs.LG
MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization
UC Berkeley（加州大学伯克利分校）
本研究提出MaxInfoRL框架，通过最大化任务信息增益等内在奖励引导定向探索，结合玻尔兹曼探索平衡价值与熵最大化，在多臂老虎机场景实现次线性遗憾，应用于连续空间离线无模型RL方法后，在困难探索及视觉控制任务中性能更优。
2025-07-31 cs.AI cs.LG cs.RO
An Expectation-Maximization Perspective on Reinforcement Learning for LLM Reasoning
该研究提出EM策略梯度（EMPG）框架，将大语言模型推理的强化学习转化为期望最大化问题，在简化优化流程的同时，在GSM8K、MATH Hard数据集上取得与GRPO相当或更优的性能，且能生成更简洁的结构化推理轨迹。
2026-08-11 cs.AI cs.LG stat.ML
Sum-Rate Maximization of RSMA-based Aerial Communications with Energy Harvesting: A Reinforcement Learning Approach
本文提出基于RSMA和能量收集的航空通信系统，利用软演员-评论家DRL算法限制传输功率，并结合SLSQP优化波束成形与功率分配，以最大化长期和速率，数值结果验证了其优越性。
2023-06-22 cs.IT cs.LG math.IT
Exploratory Utility Maximization Problem with Tsallis Entropy
Southern University of Science and Technology（南方科技大学）
本文在强化学习框架下研究了完备市场中具有常相对风险厌恶的效用最大化问题，通过引入 Tsallis 熵正则化项促进探索，发现并解决了部分因过度探索导致的不适定问题，给出了半闭式解并验证了算法优势。
2025-02-03 cs.LG q-fin.MF
Efficient Information Diffusion in Time-Varying Graphs through Deep Reinforcement Learning
National Laboratory for Scientific Computing (LNCC)（国家科学计算实验室（LNCC））；DASA；DeepMind
在时变图上进行有效的信息扩散是一个具有挑战性的任务，有许多实际应用。有几种方法来模拟这种时空影响力最大化问题，但最终的目标是确定节点开始扩散过程的最佳时刻。在这种情况下，我们提出了时空影响力最大化（STIM），这是一种在一组人工TVG上使用强化学习和图形嵌入进行训练的模型，该模型能够学习每个节点的时间行为和连接模式，从而预测通过TVG开始扩散的最佳时刻。我们还开发了一组特殊的人工TVG用于训练，模拟TVG中的随机扩散过程，表明STIM网络即使在非确定性环境中也可以学习有效的策略。STIM还使用真实世界的TVG进行评估，其中它还设法通过节点有效地传播信息。最后，我们还表明，STIM模型的时间复杂度为$O(|E|)$。因此，STIM，提出了一种新的方法，有效的信息扩散在TVG，是高度通用的，其中一个可以通过简单地改变所采用的奖励函数来改变模型的目标。
2020-11-27 cs.LG cs.SI
Addressing Maximization Bias in Reinforcement Learning with Two-Sample Testing
Technische Universität Dresden（德累斯顿工业大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））
针对强化学习价值估计中的最大化偏差，提出基于双样本检验的 TE 与推广 KE，并改造 Q-Learning 和 BDQN，实现可调偏差、收敛保证与性能提升。
2024-08-12 cs.LG
Reinforcement Learning without Human Feedback for Last Mile Fine-Tuning of Large Language Models
Two Six Technologies
本研究提出了一种无需人类反馈的强化学习框架，用于大语言模型的最后一英里微调，通过训练模型在各种场景下学习正确行为并抑制不良动作，在生成式摘要任务上显著优于似然最大化方法，为模型优化提供了新途径。
2024-08-29 cs.CL cs.LG
Deep Reinforcement Learning-based Rebalancing Policies for Profit Maximization of Relay Nodes in Payment Channel Networks
Yale University（耶鲁大学）
针对支付通道网络中继节点通道失衡影响手续费收益的问题，提出基于深度强化学习的海底交换再平衡策略，通过随机建模与仿真验证，实现了利润最大化，为该领域流动性管理提供了新方法。
2023-10-08 cs.CR cs.DC cs.LG
Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets Deep Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）；Beihang University（北京航空航天大学）
本文研究了为无线移动用户提供超可靠和节能的虚拟现实（VR）体验的问题。为了确保向移动用户提供可靠的超高清（UHD）视频帧并增强其沉浸式视觉体验，采用了协调多点（CoMP）传输技术和毫米波（mmWave）通信。由于用户移动和时变的无线信道，无线VR体验增强问题被公式化为序列依赖和混合整数问题，其目标是最大化用户在虚拟世界中的存在感（FoP），受限于接入点（AP）和用户的盔装显示器（HMD）上的功耗约束。然而，由于缺乏用户准确的跟踪信息以及序列相关和混合整数的特性，这个问题很难直接解决。为了克服这一挑战，我们开发了一种并行回声状态网络（ESN）的学习方法来预测用户的跟踪信息，通过训练新鲜的和历史的跟踪样本分别收集的AP。根据学习结果，我们提出了一种基于深度强化学习（DRL）的优化算法来解决该问题。在该算法中，我们实现了深度神经网络（DNN）作为一个可扩展的解决方案，以产生整数决策变量和解决连续功率控制问题，以批评整数决策变量。最后，将该算法与各种基准算法进行了性能比较，并讨论了不同设计参数对性能的影响。仿真结果表明，该算法比基准算法节能4.14%。
2021-07-08 cs.AI cs.HC cs.LG
Online Reinforcement Learning for Periodic MDP
IIT Delhi（印度理工学院德里分校）
我们研究学习周期马尔可夫决策过程（MDP），一种特殊类型的非平稳MDP的状态转移概率和奖励函数周期性变化，平均奖励最大化设置下。通过在状态空间中增加周期指标，将问题转化为一个平稳的MDP问题，并提出了一个周期置信上限强化学习-2（PUCRL 2）算法.我们发现，PUCRL 2的遗憾与周期呈线性变化，并作为次线性的地平线长度。数值结果证明了PUCRL 2的有效性。
2022-07-25 cs.LG
Graph Reinforcement Learning-based CNN Inference Offloading in Dynamic Edge Computing
Aarhus University（奥胡斯大学）
研究了动态多访问边缘计算（MEC）网络中CNN推理的计算卸载问题。为了解决通信时间和边缘服务器可用容量的不确定性，我们使用提前退出机制提前终止计算，以满足推理任务的截止日期。我们设计了一个奖励函数来权衡通信，计算和推理精度，并将CNN推理的卸载问题表示为最大化问题，其目标是最大化长期的平均推理精度和吞吐量。为了解决最大化问题，我们提出了一种基于图强化学习的早期退出机制（GRLE），在不同的动态场景下，该机制的性能优于最先进的工作，基于深度强化学习的在线卸载（DROO）及其增强方法，具有早期退出机制的DROO（DROOE）。实验结果表明，GRLE的平均准确率是图强化学习（GRL）的3.41倍，是DROOE的1.45倍，显示了GRLE在动态MEC卸载决策中的优势。
2022-10-24 cs.AI cs.LG cs.NI
DISCO: Influence Maximization Meets Network Embedding and Deep Learning
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）
自2003年引入以来，影响力最大化（IM）问题在文献中引起了极大的研究关注。IM的目标是选择一组k个用户，这些用户可以影响社交网络中最多的个人。该问题被证明是NP难的。已经提出了大量的近似算法来解决这个问题。最先进的算法估计基于采样的扩散路径的节点的预期影响。由于所需样本的数量最近已被证明是由一个特定的阈值，这使得精度和效率之间的折衷下界，这些传统的解决方案的结果质量是很难进一步提高，而不牺牲效率。在本文中，我们提出了一个正交的和新的范式来解决IM问题，利用深度学习模型来估计预期的影响。具体来说，我们提出了一个名为DISCO的新框架，它结合了网络嵌入和深度强化学习技术来解决这个问题。对真实网络的实验研究表明，与最先进的经典解决方案相比，DISCO实现了最佳的性能w.r.t效率和影响传播质量。此外，我们还表明，学习模型具有良好的通用性。
2019-06-18 cs.LG cs.SI
Dynamic Network Reconfiguration for Entropy Maximization using Deep Reinforcement Learning
University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）；University of Bologna（博洛尼亚大学）
网络理论中的一个关键问题是如何重新配置图以优化可量化的目标。鉴于网络系统的普遍性，这种工作在各种情况下都有广泛的实际应用，从药物和材料设计到电信。然而，可能的重新配置的大的决策空间使得这个问题在计算上是密集的。在本文中，我们投的问题，网络布线优化一个特定的结构属性为马尔可夫决策过程（MDP），其中决策者被赋予预算的修改，顺序执行。然后，我们提出了一种基于深度Q网络（DQN）算法和图神经网络（GNNs）的通用方法，可以有效地学习重新布线网络的策略。然后我们讨论网络安全案例研究，即，一个应用程序的计算机网络重新配置问题的入侵保护。在一个典型的场景中，攻击者可能有一个他们计划渗透的系统的（部分）地图;如果网络被有效地“扰乱”，他们将无法导航，因为他们的先验知识将变得过时。这可以被看作是一个熵最大化问题，其目标是增加网络的惊喜。事实上，熵可以作为衡量网络拓扑导航难度的代理指标。我们证明了所提出的方法的一般能力，以获得更好的熵增益比随机重新布线的合成和现实世界的图形，同时计算成本低廉，以及能够推广到更大的图形比那些在训练过程中看到的。攻击场景的模拟证实了学习的重布线策略的有效性。
2023-01-27 cs.AI cs.CR cs.LG
Influence maximization in unknown social networks: Learning Policies for Effective Graph Sampling
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；McGill University（麦吉尔大学）；Mila（米拉魁北克人工智能研究所）；Harvard University（哈佛大学）
在现实世界的社交网络中寻找有影响力的参与者时，一个严重的挑战是缺乏对底层网络结构的了解。目前最先进的方法依赖于手工制作的采样算法;这些方法以精心构建的顺序对节点及其邻居进行采样，并从这个发现的网络中选择意见领袖，以最大限度地扩大（未知）完整网络中的影响力。在这项工作中，我们提出了一个强化学习框架的网络发现，自动学习有用的节点和图形表示编码的重要结构特性的网络。在训练时，该方法识别网络的部分，使得从该采样子图中选择的节点可以有效地影响完整网络中的节点。这种基于可转移网络结构的自适应策略的实现归因于对由适当的奖励方案驱动的相关节点和图签名进行编码的框架的精心设计。我们对来自四个不同领域的真实社交网络进行了实验，结果表明，与当前最先进的方法相比，我们的RL代理学习到的策略提高了10-36%。
2020-02-20 cs.LG cs.SI
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University（首尔国立大学）；KAIST（韩国科学技术院）；Kakao Brain
在本文中，我们提出了一类新的马尔可夫决策过程（MDP），称为Tsallis MDP，Tsallis熵最大化，推广现有的最大熵强化学习（RL）。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架，包括著名的标准香农-吉布斯（SG）熵，使用额外的实值参数，称为熵指数。通过控制熵指数，我们可以产生各种类型的熵，包括SG熵，不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析，包括最优性条件，性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题，我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值，并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题，我们发现，一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估，并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley（加州大学伯克利分校）；Yonsei University（延世大学）
SEMDICE通过平稳分布校正估计，从非策略数据集中学习状态熵最大化策略，实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
APS: Active Pretraining with Successor Features
University of California, Berkeley（加州大学伯克利分校）
我们为强化学习引入了一个新的无监督预训练目标。在无监督的无奖励预训练阶段，代理最大化由策略引起的任务和状态之间的互信息。我们的主要贡献是这个棘手的数量的一个新的下界。我们表明，通过重新解释和结合变后继功能~ \citep{Hansen2020Fast}与非参数熵最大化~ \citep{liu2021behavior}，棘手的互信息可以有效地优化。提出的方法主动预训练与后继特征（APS）探索环境通过非参数熵最大化，和探索的数据可以有效地利用变化的后继特征学习行为。APS解决了现有的基于互信息最大化和基于熵最大化的无监督RL的局限性，并结合了两个世界的最佳。当在Atari 100 k数据效率基准上进行评估时，我们的方法显着优于之前将无监督预训练与特定任务微调相结合的方法。
2021-08-31 cs.LG
CAMP in the Odyssey: Provably Robust Reinforcement Learning with Certified Radius Maximization
CSIRO’s Data61（联邦科学与工业研究组织数据61）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）；Deakin University（迪肯大学）；University of Chicago（芝加哥大学）
针对现有可认证鲁棒DRL中鲁棒性与回报权衡次优的问题，提出CAMP训练范式，通过局部认证半径推导全局半径并优化替代损失，结合策略模仿稳定训练，显著提升鲁棒性-回报权衡，认证期望回报可达基线两倍。
2025-03-29 cs.CR cs.LG
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
Energy-Efficient Design for a NOMA assisted STAR-RIS Network with Deep Reinforcement Learning
Xi’an Institute of Optics and Precision Mechanics of Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Durham University（杜伦大学）；Jinan University（暨南大学）；The University of Manchester（曼彻斯特大学）
同时发射和反射的可重构智能表面（STAR-RISs）被认为是一种很有前途的辅助设备，以提高无线网络的性能，其中位于表面的不同侧的用户可以同时由发射和反射信号提供服务。研究了非正交多址接入（NOMA）辅助下的STAR-RIS下行链路网络的能量效率（EE）最大化问题。由于EE的分数形式，它是具有挑战性的EE最大化问题的传统凸优化解决方案。在这项工作中，提出了一种基于深度确定性策略梯度（DDPG）的算法，通过联合优化在基站和系数矩阵在STAR-RIS的传输波束成形向量，以最大限度地提高EE。仿真结果表明，该算法可以有效地最大化系统的EE考虑时变信道。
2021-11-30 cs.IT cs.LG eess.SP
Value-aware Recommendation based on Reinforced Profit Maximization in E-commerce Systems
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
现有的推荐算法大多集中在优化传统的推荐措施，如RMSE方面的评级预测的准确性或前$k$推荐列表的质量方面的精度，召回率，MAP等，然而，商业推荐系统的一个重要期望是提高系统的最终收入/利润。传统的推荐目标如评分预测和顶级$k$推荐与此目标没有直接关系。在这项工作中，我们将在线广告和微观经济学的基本概念融入个性化推荐中，以实现利润最大化。具体而言，我们提出了基于强化学习的价值感知推荐，直接优化候选项的经济价值来生成推荐列表。特别是，我们推广的基本概念的点击转化率（CVR）在计算广告到会话率的任意用户动作（XVR）在电子商业，其中的用户动作可以点击，添加到购物车，添加到愿望清单等，这样，每种类型的用户动作被映射到其货币化的经济价值。进一步综合不同用户行为的经济价值作为排行榜的奖励，并利用强化学习对推荐榜进行优化，使总价值最大。在离线基准测试和在线商业系统中的实验结果验证了我们的框架在传统的顶级$k$排名任务和系统的经济效益方面的性能改进。
2019-02-03 cs.IR cs.LG
Diffusion Alignment as Variational Expectation-Maximization
KAIST（韩国科学技术院）；MongooseAI；Mila - Quebec AI Institute（魁北克人工智能研究所）；University of Edinburgh（爱丁堡大学）；Mila, Université de Montréal（魁北克大学Mila）；Omelet
DAV通过变分期望最大化框架，在文本生成和DNA设计中实现奖励优化与多样性保持。
2026-03-06 cs.LG
Analyzing and Bridging the Gap between Maximizing Total Reward and Discounted Reward in Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文针对深度强化学习中总回报与折扣回报目标不一致的问题，理论揭示循环状态下增大折扣因子的局限，并提出修改终止状态值与校准轨迹奖励两种对齐方法。
2025-03-18 cs.LG
Maximize Your Diffusion: A Study into Reward Maximization and Alignment for Diffusion-based Control
University of California, Davis（加利福尼亚大学戴维斯分校）；University of South Florida（南佛罗里达大学）
本文研究基于扩散的控制中的奖励最大化问题，扩展并统一强化学习奖励对齐、DPO、监督微调和级联扩散四种微调方法，在离线 RL 控制任务中取得实证提升。
2025-02-16 cs.AI cs.LG
The Geometry of Nonlinear Reinforcement Learning
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Leipzig Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（莱比锡可扩展数据与人工智能研究中心）；Dresden/Leipzig（德累斯顿/莱比锡）
该研究提出统一几何框架，将强化学习中奖励最大化、安全探索等多目标整合为长期行为空间的单一优化问题，可推广经典RL方法至非线性效用与凸约束场景，并梳理了交叉领域的开放挑战。
2025-09-01 cs.LG
Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineering beyond Reward Maximization
Google（谷歌）；Mila（米拉研究所）
连续控制的目标是综合期望的行为。在强化学习（RL）驱动的方法中，这通常是通过仔细的任务奖励工程来实现的，以实现有效的探索和运行现成的RL算法。虽然奖励最大化是RL的核心，但奖励工程并不是指定复杂行为的唯一方法，有时也不是最简单的方法。在本文中，我们介绍了\braxlines，一个工具包，用于快速和交互式的RL驱动的行为生成，超越了简单的奖励最大化，包括作曲家，一个编程API，用于生成连续的控制环境，和一组稳定的和经过良好测试的基线，用于两个系列的算法--互信息最大化（MiMax）和发散最小化（DMin）--支持无监督的技能学习和分布草图作为行为规范的其他模式。此外，我们讨论了如何标准化的指标来评估这些算法，它可以不再依赖于简单的奖励最大化。我们的实现建立在Jax中的硬件加速Brax模拟器上，只需进行最小的修改，即可在几分钟的训练内实现行为合成。我们希望Braxlines可以作为一个交互式工具包，用于快速创建和测试环境和行为，为未来的基准设计和RL驱动的行为生成及其算法研究的新模式提供爆炸性增长。
2021-10-10 cs.AI cs.LG
Resilient Constrained Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
研究训练前约束规范未知的约束强化学习问题，提出弹性约束RL方法联合搜索策略与约束规范，通过引入松弛成本实现约束自适应，在弹性均衡下平衡奖励最大化与约束满足，并提供非渐近收敛保证的算法。
2023-12-29 cs.LG cs.SY eess.SY
Intrinsically-Motivated Reinforcement Learning: A Brief Introduction
Tencent Robotics X Lab（腾讯机器人X实验室）
强化学习是机器学习的三大基本范式之一。它在许多复杂的任务中表现出令人印象深刻的性能，如围棋和星际争霸，越来越多地参与智能制造和自动驾驶。然而，强化学习一直遭受探索-利用的困境。本文研究了强化学习中探索性学习的改进问题，并引入了内在动机强化学习。与经典的探索策略形成鲜明对比的是，内在动机强化学习利用内在学习动机提供可持续的探索激励。对现有的内在报酬方法进行了分类，分析了它们在实际应用中存在的不足。此外，我们提出了一种新的内在奖励方法，通过Rényi状态熵最大化，克服了以前的方法的缺点，并提供了强大的探索激励。最后，通过大量的仿真实验，验证了该模块具有较高的效率和鲁棒性.
2022-06-02 cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Reinforcement Learning with Intrinsic Affinity for Personalized Prosperity Management
Sparebank 1 SR-Bank；Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
将强化学习（RL）应用于资产管理的共同目的是利润最大化。用于学习最优策略的外部奖励函数通常不考虑任何其他偏好或约束。我们已经开发了一种正则化方法，该方法确保策略具有全局内在亲和力，即，不同的个性可能对某些资产具有偏好，这些偏好可能随时间而改变。我们利用这些内在的政策亲和力，使我们的强化学习模型内在地可解释。我们演示了如何可以训练RL代理，以协调这种个人政策，为特定的个性配置文件，仍然实现高回报。
2022-07-27 cs.AI cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Curriculum Learning for Cumulative Return Maximization
University of Leeds（利兹大学）
课程学习已经成功地应用于强化学习中，通过在日益复杂的任务之间进行知识转移来加速学习过程。关键任务，其中次优的探索行动必须最小化，可以受益于课程学习，其通过迁移塑造探索的能力。我们提出了一个任务排序算法最大化的累积回报，即在所有的学习情节的代理获得的回报。通过最大化累积回报，代理不仅旨在尽可能快地获得高回报，而且还在限制次优行为的同时实现这一目标。我们的实验比较我们的任务排序算法的几个流行的元启发式算法的组合优化，并表明，它实现了显着更好的性能的问题上的累积回报最大化。此外，我们在一个关键任务上验证了我们的算法，优化了微能源网的家庭控制器。
2019-06-13 cs.AI cs.LG stat.ML
Deterministic Exploration via Stationary Bellman Error Maximization
Center for Artificial Intelligence and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）；Department of Computer Science, Technical University of Darmstadt（达姆施塔特工业大学计算机科学系）；Hessian Center for Artificial Intelligence（黑森州人工智能中心）
本文提出一种基于平稳贝尔曼误差最大化的确定性探索方法，通过三项改进稳定探索目标，并在密集与稀疏奖励环境中优于ε-贪婪策略。
2024-11-05 cs.LG
A Reinforcement Learning Based Approach to Play Calling in Football
University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着对足球的大量数据收集和计算能力的增长，许多涉及决策选择的游戏可以被优化。基本规则是结果的期望效用最大化和大数定律。可用的数据使我们能够高精度地计算决策结果的概率，并且游戏中定义良好的积分系统使我们能够拥有必要的终端效用。有了一些成熟的理论，我们就可以在一个游戏层面上优化选择。
2021-03-11 cs.LG stat.AP stat.ME
A Unified Bellman Optimality Principle Combining Reward Maximization and Empowerment
授权是一种信息理论的方法，可以用来内在地激励学习代理。它试图最大限度地提高代理的控制环境，鼓励访问状态与大量的可达的下一个国家。授权学习已被证明会导致复杂的行为，而不需要明确的奖励信号。在本文中，我们研究了在存在外部奖励信号的情况下授权的使用。我们假设，授权可以引导强化学习（RL）代理，以找到良好的早期行为解决方案，鼓励高度授权的状态。我们提出了一个统一的贝尔曼最优原则授权奖励最大化。我们的授权奖励最大化方法概括了贝尔曼的最优性原则，以及最近的信息理论扩展到它。我们证明了授权值的唯一性，并显示收敛到最优解。然后，我们应用这个想法来开发关闭政策的演员-评论家RL算法，我们在高维连续机器人领域（MuJoCo）验证。我们的方法证明了改进的初始和竞争力的最终性能相比，无模型的最先进的技术。
2020-01-08 cs.AI cs.LG stat.ML
Finding Influencers in Complex Networks: An Effective Deep Reinforcement Learning Approach
Fudan University（复旦大学）；National University of Defense Technology（国防科技大学）
本文提出一种名为DREIM的端到端深度强化学习框架，结合图神经网络编码器和强化学习解码器，在大型合成与真实网络上实现了优于传统算法的影响力最大化效果，并具备线性可扩展性。
2023-09-09 cs.AI cs.LG cs.SI
Quantum Boltzmann Machines for Sample-Efficient Reinforcement Learning
University of Bonn（波恩大学）；CERN（欧洲核子研究中心）
本文提出连续半量子玻尔兹曼机（CSQBMs），通过混合量子-经典建模和解析梯度计算，将其集成到连续 Q-learning 框架中，以高效采样替代全局最大化，解决连续控制中的不稳定性问题。
2025-11-06 cs.LG quant-ph
How to Explore with Belief: State Entropy Maximization in POMDPs
Politecnico di Milano（米兰理工大学）；Technion – Israel Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下的状态熵最大化问题，提出了一种基于信念状态的高效策略梯度方法，并形式化分析了近似差距、优化景观与幻觉问题。
2024-06-04 cs.AI cs.LG
Unbiased Weight Maximization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出无偏权重最大化，一种改进的权重最大化学习规则，用于训练人工神经网络，通过无偏估计提高学习速度和渐近性能，适用于伯努利-逻辑单元网络。
2023-07-25 cs.AI cs.LG
Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization
HSE University（高等经济大学）；Constructor University（康斯特大学）；École polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥尔赛数学实验室）
针对 GFlowNets 中固定后向策略的限制，提出一种基于熵正则化 MDP 值函数直接最大化的后向策略优化算法，实验证明其在复杂环境中能实现更快收敛和更好的模式发现。
2025-03-03 cs.LG
Reinforcement Learning Paycheck Optimization for Multivariate Financial Goals
Princeton University（普林斯顿大学）
针对多元财务目标下薪资分配缺少定量方法的问题，研究将其建模为效用最大化问题，统一多目标、纳入用户偏好并适配随机利率，还提出端到端强化学习方案且在多场景下实现。
2024-03-09 cs.LG math.OC
MIM-Reasoner: Learning with Theoretical Guarantees for Multiplex Influence Maximization
Posts and Telecommunications Institute of Technology（邮电技术学院）；Emory University（埃默里大学）；University of Florida（佛罗里达大学）
针对多重影响最大化问题，本文提出结合强化学习与概率图模型的MIM-Reasoner方法，兼具理论保证与优异的实验性能。
2024-03-10 cs.AI cs.LG cs.SI
Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning
本文提出一种预算条件可达性方法，用于安全离线强化学习，通过解耦奖励最大化与累积安全成本约束，实现安全策略学习。
2026-03-31 cs.AI cs.LG cs.RO
Identifying Cognitive Radars -- Inverse Reinforcement Learning using Revealed Preferences
Cornell University（康奈尔大学）；University of Melbourne（墨尔本大学）
本文基于微观经济学显示偏好框架，研究认知雷达识别的逆强化学习问题，解决了效用函数估计、带噪声的认知雷达统计检测及最优探测信号优化三个核心问题。
2020-06-20 cs.LG eess.SP
