Fast Non-Episodic Finite-Horizon RL with K-Step Lookahead Thresholding
针对非情节有限时域MDP，提出K步前瞻Q函数与阈值机制，实现快速有限样本收敛，在合成环境和标准RL任务中优于现有方法。
2026-06-16 cs.LG stat.ML
SPOTting the Future: Lookahead Explanations for Deep Reinforcement Learning
Benin School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学贝林计算机科学与工程学院）；Hebrew University Business School, Data Science Department, The Hebrew University of Jerusalem（耶路撒冷希伯来大学希伯来大学商学院数据科学系）
该研究针对深度强化学习决策难解释问题，提出模型无关的 SPOT 框架，通过构建采样策略观测树解释策略，在交通信号控制领域验证了其有效性。
2026-08-12 cs.AI cs.LG
Planning and Learning with Adaptive Lookahead
Nvidia Research（英伟达研究院）
一些最强大的强化学习框架使用规划来进行动作选择。有趣的是，他们的规划视野要么是固定的，要么是由国家访问历史任意决定的。在这里，我们扩大超出天真的固定的地平线，并提出了一个理论上合理的战略，自适应选择的规划水平作为一个函数的状态依赖的价值估计。我们提出了两个变体的前瞻选择和分析迭代次数和每次迭代的计算复杂性之间的权衡。然后，我们设计了一个相应的深度Q网络算法与自适应树搜索范围。我们将每个深度的值估计分开，以补偿深度之间的非策略差异。最后，我们证明了我们的自适应前瞻方法在迷宫环境和Atari的有效性。
2023-01-18 cs.AI cs.LG
How to Combine Tree-Search Methods in Reinforcement Learning
Technion, Israel（以色列理工学院）；INRIA, Villers les Nancy, France（法国南希-比莱尔斯法国国家信息与自动化研究所）
在强化学习中大量使用了前向策略，并展示了令人印象深刻的经验成功。通常，前瞻策略是用特定的规划方法来实现的，例如蒙特卡罗树搜索（例如在AlphaZero中）。将规划问题称为树搜索，这些实现中的合理实践是仅在叶子处备份值，而在根处获得的信息除了用于更新策略之外不被利用。在这里，我们质疑这种方法的效力。也就是说，后一个过程一般是非压缩的，并且不能保证其收敛性。我们提出的增强是直接和简单的：使用从最佳树路径返回备份的值在根的后代。这导致$γ^h$收缩过程，其中$γ$是折扣因子，而$h$是树深度。为了建立我们的结果，我们首先引入了一个称为\emph{multiple-step greedy consistency}的概念。然后，我们提供了两个算法实例的收敛速度，在存在噪声注入到树搜索阶段和值估计阶段的上述增强。
2019-02-17 cs.AI cs.LG stat.ML
Lookahead-Bounded Q-Learning
University of Pittsburgh（匹兹堡大学）
我们引入了lookahead有界Q学习（LBQL）算法，这是Q学习的一种新的、可证明收敛的变体，旨在通过使用"lookahead“上界和下界来提高随机环境中标准Q学习的性能。为了做到这一点，LBQL采用以前收集的经验和每次迭代的状态动作值作为双重可行的惩罚，以构建一个序列的采样信息松弛问题。这些问题的解决方案提供了最优值的估计上界和下界，我们通过随机近似跟踪。然后，这些量用于约束迭代以在每次迭代时保持在边界内。基准问题的数值实验表明，LBQL表现出更快的收敛速度和更强大的鲁棒性超参数相比，标准的Q学习和几个相关技术。我们的方法在需要昂贵的模拟或现实世界的相互作用的问题中特别有吸引力。
2020-06-28 cs.LG math.OC stat.ML
Policy Mirror Descent with Lookahead
ETH Zürich（苏黎世联邦理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
提出h-PMD算法，将多步贪心策略改进与前瞻深度融入策略镜像下降，实现更快的γ^h线性收敛和更优的样本复杂度，并扩展到线性函数逼近。
2024-11-06 cs.AI cs.LG stat.ML
Imagine-then-Plan: Agent Learning from Adaptive Lookahead with World Models
本文提出Imagine-then-Plan框架，通过自适应前瞻机制提升agent在复杂任务中的推理能力，实验表明其优于现有方法。
2026-09-04 cs.AI cs.CL cs.LG
Policy Gradient with Tree Search: Avoiding Local Optimas through Lookahead
Technion（技术学院）；University of Zurich（苏黎世大学）
本文提出融合 $m$ 步树搜索前瞻的 PGTS 方法，从理论上证明增加搜索深度可减少不良驻点并改善最坏情况性能，且在多种 MDP 实验中优于标准 PG。
2025-06-08 cs.AI cs.LG
Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO
Lane Department of Computer Science and Electrical Engineering, West Virginia University（计算机科学与电气工程系，西弗吉尼亚大学）
本文提出基于PPO的强化学习方法，联合优化纯追求算法的前瞻距离和转向增益，提升自主赛车的路径跟踪性能。
2026-02-20 cs.AI cs.LG cs.RO
From Imitation to Interaction: Mastering Game of Schnapsen with Shallow Reinforcement Learning
Vrije Universiteit Amsterdam（弗里兹大学阿姆斯特丹）
本文研究浅层神经网络代理是否能掌握纸牌游戏斯纳普森，并挑战使用蒙特卡洛采样和前瞻搜索的强搜索基线RdeepBot。通过逐步更复杂的实验设计，首先评估了基于回放数据训练的监督学习代理（MLPBot）以及通过异步蒙特卡洛更新和经验回放训练的强化学习代理（RLBot）。结果表明，监督模仿不足以击败强RdeepBot对手，而强化学习产生了更强的代理。在聚焦RdeepBot深度参数的设置中，最佳性能是在学习的价值函数与游戏过程中更深层次的前瞻搜索结合时实现的，使RLBot在最强的RdeepBot基线下实现了统计显著更高的胜率。在基于样本的设置中，收益更具条件性：最强性能出现在相对较低的训练num_samples参数下，而不是随着更强采样均匀增加。
2026-05-16 cs.AI cs.LG
Superior Computer Chess with Model Predictive Control, Reinforcement Learning, and Rollout
Fulton School of Computing, and Augmented Intelligence, Arizona State University（亚利桑那州立大学富尔顿计算与增强智能学院）
本文提出融合 MPC、RL 与 rollout 的国际象棋走子选择架构，通过名义对手引擎和局面评估引擎实现精确一步前瞻，显著增强强弱各类引擎的表现。
2024-09-10 cs.AI cs.LG cs.SY
Multiple-Step Greedy Policies in Online and Approximate Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
通过使用蒙特卡罗树搜索或模型预测控制，多步前瞻策略在强化学习中表现出了很高的经验能力。在最近的工作\cite{efroni2018beyond}，多步贪婪的政策和他们的使用香草政策迭代算法提出和分析。在这项工作中，我们研究多步贪心算法在更实际的设置。我们首先强调一个反直觉的困难，软策略更新：即使在没有近似的情况下，相反的1步贪婪的情况下，单调的政策改善是不能保证的，除非更新步长足够大。特别关心这个困难，我们制定和分析在线和近似算法，使用这样的多步贪婪算子。
2018-09-20 cs.AI cs.LG stat.ML
Beyond the One Step Greedy Approach in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
著名的策略迭代算法在策略改进和策略评估之间交替进行。在以前的工作中，已经分析了该算法的实现与后一个评估阶段的几个变体，例如，$n$ -步骤和基于跟踪的返回。然而，多步骤前瞻性政策改进的情况下，尽管最近增加了其实力的经验证据，据我们所知，尚未仔细分析。在这项工作中，我们介绍了第一个这样的分析。也就是说，我们制定多步策略改进的变体，使用这些定义推导出新的算法，并证明其收敛性。此外，我们表明，最近突出的强化学习算法，事实上，我们的框架的实例。因此，我们揭示了他们的经验成功，并给出了一个配方，为未来的研究得出新的算法。
2018-07-30 cs.AI cs.LG stat.ML
Reinforcement Learning Architectures: SAC, TAC, and ESAC
Al-Balqa Applied University（巴尔卡应用大学）；Iowa State University（爱荷华州立大学）
趋势是实现智能代理能够分析可用的信息，并有效地利用它。这项工作提出了一些强化学习（RL）架构，其中之一是专为智能代理。所提出的架构被称为选择器-演员-评论家（SAC），调谐器-演员-评论家（TAC）和估计器-选择器-演员-评论家（ESAC）。这些架构是RL中一个众所周知的架构的改进模型，称为Actor-Critic（AC）。在AC中，参与者优化所使用的策略，而批评者估计价值函数并评估参与者优化的策略。SAC是一个架构，配备了演员，评论家和选择器。选择器基于来自批评者的最后估计来确定当前状态下最有希望的动作。TAC由一个调音师、一个模型学习者、一个演员和一个评论家组成。在从批评者接收到当前状态-动作对的近似值和从模型学习者接收到学习模型之后，调谐器使用Bellman方程来调谐当前状态-动作对的值。ESAC基于两种思想实现智能代理，即前瞻和直觉。前瞻出现在估计下一个状态下可用动作的值，而直觉出现在最大化选择最有希望的动作的概率。新添加的元素是底层模型学习器、估计器和选择器。模型学习器用于近似底层模型。估计器使用近似的价值函数、学习的基础模型和Bellman方程来估计下一状态下所有动作的值。选择器用于确定下一个状态下最有希望的操作，该操作将由参与者用于优化所使用的策略。最后，通过与其他体系结构的比较，验证了ESAC的优越性。
2020-04-05 cs.LG eess.SP stat.ML
Online 3D Bin Packing with Constrained Deep Reinforcement Learning
National University of Defense Technology（国防科技大学）；Clemson University（克莱姆森大学）
我们解决了一个具有挑战性的，但实际上有用的3D装箱问题（3D-BPP）的变种。在我们的问题中，代理商对要装入垃圾箱的物品的信息有限，并且物品必须在到达后立即打包，而无需缓冲或重新调整。物品的放置也受到避免碰撞和物理稳定性的限制。我们制定这个在线3D-BPP作为一个约束马尔可夫决策过程。为了解决这个问题，我们提出了一个有效的和易于实现的约束深度强化学习（DRL）方法下的演员-评论家框架。特别是，我们引入了一个可行性预测器来预测布局动作的可行性掩码，并使用它来调节演员在训练过程中输出的动作概率。这样的监督和转换到DRL促进代理学习可行的政策有效。我们的方法也可以推广，例如，具有处理前视或具有不同方向的项目的能力。我们已经进行了广泛的评估表明，学习的政策显着优于国家的最先进的方法。用户研究表明，我们的方法达到了人类水平的性能。
2022-01-13 cs.LG stat.ML
Lookahead identification in adversarial bandits: accuracy and memory bounds
Rutgers University（罗格斯大学）；Institute for Advanced Study（普林斯顿高等研究院）；Politecnico di Milano（米兰理工大学）；University College London（伦敦大学学院）
本研究提出前瞻性识别方法，在对抗性轮盘赌中通过有限记忆实现高精度识别，证明了在信息不足情况下识别的可行性。
2026-02-28 cs.LG
Reinforcement Learning for Dynamic Bidding in Truckload Markets: an Application to Large-Scale Fleet Management with Advance Commitments
Foster School of Business, University of Washington（华盛顿大学福斯特商学院）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
卡车经纪公司是美国一个每年1000亿美元的行业，在匹配托运人和承运人方面发挥着关键作用，通常要在未来几天内移动货物。经纪人不仅要找到同意运输货物的公司，而且还必须找到托运人和承运人都同意的价格。价格不仅因托运人和承运人而异，而且因交通路线和商品类型等其他变量而异。经纪人必须通过提供价格并观察每个人是否接受报价来了解托运人和承运人的响应功能。我们提出了一个知识梯度政策与引导聚合高维上下文设置，以指导价格实验，最大限度地提高信息的价值。使用仔细校准的车队模拟器，包括随机前瞻政策，模拟车队的运动，以及随机建模的司机分配和承运人的负荷承诺政策与提前预订的学习策略进行测试。
2019-06-04 cs.LG stat.ML
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Lookahead Unmasking Elicits Accurate Decoding in Diffusion Language Models
KAIST（韩国科学技术院）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON
针对掩码扩散语言模型解掩码顺序短视导致的性能问题，提出前瞻解掩码框架LookUM，通过路径选择优化解码顺序，无需外部奖励模型，在多基准上实现高效性能提升。
2025-11-04 cs.AI cs.LG
Cost-Aware Diffusion Active Search
School of Computer Science, Carnegie Mellon University（计算机科学系，卡内基梅隆大学）
本文提出基于扩散模型的主动搜索方法，通过序列建模能力采样动作序列，实现高效成本感知决策，提升目标恢复率。
2026-02-23 cs.AI cs.LG cs.RO
Learning for Adaptive Real-time Search
实时的【形】启发式搜索是智能自主智能体中流行的行为和学习模型。学习实时的【形】搜索代理通过获取和改进指导其行为应用的价值函数来随着时间的推移提高其性能。由于计算完美的价值函数通常是棘手的，而是获得启发式近似。大多数关于实时的【形】搜索学习（和强化学习）的研究都假设使用简单的值函数贪婪策略来选择动作。这与实践相反，在实践中，高性能通常是通过交错规划和行动来实现的，通过一个非平凡深度的前瞻搜索。在本文中，我们采取了一个步骤弥合这一差距，并提出了一种新的算法，（i）学习一个启发式函数，专门用于一个lookahead为基础的政策，（ii）选择前瞻深度自适应在每个状态，（iii）让用户控制之间的权衡探索和剥削。我们广泛评估的算法在滑动瓷砖拼图测试床比较它的经典LRTA* 和最近的加权LRTA*，有界LRTA*，和CONS。收敛速度提高了5 ~ 30倍。
2004-07-06 cs.AI cs.LG
Biased Aggregation, Rollout, and Enhanced Policy Improvement for Reinforcement Learning
我们提出了一个新的聚合框架，近似动态规划，它提供了一个连接的推出算法，近似策略迭代，和其他单步和多步前瞻方法。中心的新颖特征是使用状态的偏置函数$V$，其将聚合成本函数的值向其正确的水平偏置。当$V\equiv0$，但我们的计划最好的工作时，$V$是一个已知的合理的最佳近似的最佳成本函数$J^*$的经典聚合框架。当$V$等于某个已知策略$μ$的成本函数$J_μ$并且只有一个聚合状态时，我们的方案等价于基于$μ$的铺开算法（即，从策略$μ$开始的单个策略改进的结果）。当$V=J_μ$和存在多个聚集状态时，我们的聚集方法可以作为$μ$的更强大的改进形式。因此，当结合近似的政策评估方案，我们的方法可以形成一个新的和增强的形式的近似政策迭代的基础。当$V$是一个通用的偏置函数时，我们的方案等价于在值空间中的近似，其中前瞻函数等于$V$加上每个聚集状态内的局部校正。通过求解低维聚合DP问题获得局部校正水平，当聚合状态的数量足够大时，产生任意接近$J^*$的近似。除了偏置函数，聚合DP问题类似于经典聚合框架中的聚合DP问题，并且其通过模拟或其他方法的算法解与经典聚合的算法解几乎相同，假设$V$的值在需要时可用。
2019-10-06 cs.AI cs.LG
Reinforcement Learning with Unbiased Policy Evaluation and Linear Function Approximation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；C3.ai Digital Transformation Institute（C3.ai数字化转型研究院）
我们提供性能保证的一个变种的基于模拟的策略迭代控制马尔可夫决策过程，涉及使用随机近似算法以及国家的最先进的技术，是非常大的MDPs，包括前瞻，函数逼近，和梯度下降。具体来说，我们分析了两种算法，第一种算法涉及一个最小二乘方法，其中一组新的权重与特征向量通过最小二乘最小化在每次迭代和第二种算法涉及两个时间尺度的随机近似算法，采取几个步骤的梯度下降到最小二乘解之前，获得下一个随机近似算法。
2022-10-13 cs.LG cs.SY eess.SY
A Reinforcement Learning Based Universal Sequence Design for Polar Codes
Apple, San Diego, USA（苹果公司，圣地亚哥，美国）；Apple, Sunnyvale, USA（苹果公司， Sunnyvale，美国）
本文提出一种基于强化学习的极码通用序列设计方法，通过约束学习和多配置优化，在2048码长下实现优于基线的性能提升。
2026-01-27 cs.LG
Learning Off-Policy with Online Planning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
低数据和风险敏感域中的强化学习（RL）需要高性能和灵活的部署策略，这些策略可以在部署过程中轻松纳入约束。一类这样的策略是半参数H步前瞻策略，其在具有终端价值函数的固定时间范围的动态模型上使用轨迹优化来选择动作。在这项工作中，我们研究了一种新的实例化的H-步骤前瞻与学习模型和终端价值函数学习的无模型的离线策略算法，名为学习离线策略与在线规划（LOOP）。我们对这种方法进行了理论分析，提出了模型误差和价值函数误差之间的权衡，并实证证明了这种权衡在深度强化学习中是有益的。此外，我们确定在这个框架中的“演员发散”的问题，并提出演员正则化控制（ARC），修改后的轨迹优化过程。我们评估了我们的方法对一组机器人任务离线和在线RL，并展示了改进的性能。我们还展示了LOOP的灵活性，在部署过程中将安全约束与一组导航环境。我们证明，循环是一个理想的框架，机器人应用程序的基础上，其强大的性能在各种重要的RL设置。项目视频和详细信息可以在https://hari-sikchi.github.io/loop上找到。
2021-10-05 cs.AI cs.LG cs.RO
Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning
University of Michigan（密歇根大学）
本文提出一种基于POMDP和策略梯度强化学习的贝叶斯序贯最优实验设计（sOED）框架，利用深度神经网络和演员-评论家方法求解最优设计策略，并在基准和污染源反演问题中验证了其优于批量和贪婪设计的性能。
2022-03-20 cs.LG stat.CO stat.ME
Hybrid Belief Reinforcement Learning for Efficient Coordinated Spatial Exploration
本文提出混合信念-强化学习框架，通过双通道知识转移提升多代理空间探索效率，实验显示在无线服务任务中累计奖励和收敛速度均优于基线。
2026-10-21 cs.LG
Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator
研究在闭环去中心化交易所模拟器中，针对动态费用下的执行问题，采用构建最小闭环模拟器及小深度Q网络的方法，得出该方法能减少执行缺口，且优势集中在动态费用环境中的结论。
2026-07-14 cs.LG q-fin.CP stat.ML
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数，并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下，一个众所周知的长期未决问题是证明这样一个方案的收敛性，当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的（参见[Sutton和Barto，2018]的第99页，[Tsitsiklis，2002]的第8页）。我们提出了一个解决方案的开放的问题，通过显示，这样的政策迭代方案的首次访问版本确实收敛到最优的政策，提供了政策改进步骤使用前瞻[银等，2016年，Mnih等人，2016，Silver等人，2017年12月27日，[[2017]]而不是简单的贪婪政策改进。我们提供的结果，为原来的开放式问题的表格设置，也提出了扩展的功能近似设置，在那里我们表明，从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich（苏黎世联邦理工学院）
研究无模型强化学习中规划作为涌现行为的现象，发现神经架构的隐藏状态结构是决定因素，关系隐藏状态网络能获规划机制，恢复环境转移结构并改进策略，解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）；Tsinghua University（清华大学）
STORM结合Transformer与变分自编码器构建高效随机世界模型，在Atari 100k基准上达到126.7%平均人类性能，训练时间仅需4.3小时。
2023-10-14 cs.LG
An Information-Theoretic Analysis of OOD Generalization in Meta-Reinforcement Learning
Simon Fraser University（西蒙弗雷泽大学）
本文从信息论角度研究元强化学习中的分布外泛化，推导了两种分布偏移场景下的泛化界限，并分析了基于梯度的元强化学习算法的泛化性能。
2026-04-06 cs.LG stat.ML
Look Before Leap: Look-Ahead Planning with Uncertainty in Reinforcement Learning
University of California, Davis（加州大学戴维斯分校）
提出不确定性感知的k步前瞻规划与探索性策略优化框架，通过权衡模型不确定性与价值误差，在机器人操作和Atari游戏中以更少交互超越现有方法。
2025-03-26 cs.AI cs.LG
Value Prediction Network
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
本文提出了一种新的深度强化学习（RL）架构，称为值预测网络（VPN），它将无模型和基于模型的RL方法集成到单个神经网络中。与典型的基于模型的强化学习方法相比，VPN学习一个动态模型，其抽象状态经过训练，以对未来值（奖励的折扣总和）而不是未来观察进行有条件的预测。我们的实验结果表明，VPN有几个优势，在随机环境中，需要仔细规划，但建立一个准确的观测预测模型是困难的无模型和基于模型的基线。此外，VPN在几款Atari游戏上的表现优于Deep Q-Network（DQN），即使是短期前瞻规划，也证明了其作为学习良好状态表示的新方法的潜力。
2017-11-06 cs.AI cs.LG
Transformers are Sample-Efficient World Models
University of Geneva（日内瓦大学）
深度强化学习代理是出了名的样本效率低下，这大大限制了它们在现实世界问题中的应用。最近，许多基于模型的方法已经被设计来解决这个问题，在世界模型的想象中学习是最突出的方法之一。然而，虽然与模拟环境的几乎无限的交互听起来很吸引人，但世界模型必须在长时间内保持准确。受Transformers在序列建模任务中的成功的启发，我们引入了IRIS，一种数据高效的代理，它在由离散自编码器和自回归Transformer组成的世界模型中学习。在Atari 100k基准测试中，IRIS仅相当于两个小时的游戏时间，达到了1.046的平均人类标准化分数，并且在26个游戏中的10个游戏中超过了人类，为没有前瞻搜索的方法创造了新的技术水平。为了促进未来对Transformers和世界模型的研究，以实现样本高效的强化学习，我们在https://github.com/eloialonso/iris上发布了我们的代码和模型。
2023-03-01 cs.AI cs.CV cs.LG
A Reinforcement Learning Approach to Age of Information in Multi-User Networks
Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电气与电子工程系（Imperial College London, Department of Electrical and Electronic Engineering））
调度传输的时间敏感的数据到多个用户在易出错的通信信道进行了研究，目标是最小化的长期平均年龄的信息（AoI）在用户的约束下，在源节点的平均传输次数。在每次传输之后，源从预期接收器接收瞬时ACK/NACK反馈，并决定何时以及向哪个用户传输下一次更新。最优调度策略首先研究不同的反馈机制下，当信道统计是已知的，特别是，标准的自动重传请求（ARQ）和混合ARQ（HARQ）协议被认为是。然后介绍了一种强化学习（RL）方法，该方法不假设任何关于信道状态随机过程的先验信息。通过数值模拟对不同的RL方法进行了验证和比较。
2018-06-01 cs.LG stat.ML
Mutual Information-based State-Control for Intrinsically Motivated Reinforcement Learning
Siemens AG（西门子公司）；Ludwig Maximilian University of Munich（慕尼黑大学）；University of California, Berkeley（加州大学伯克利分校）；Horizon Robotics（地平线机器人技术公司）
在强化学习中，智能体通过外部奖励信号学习达到一组目标。在自然界中，智能生物从内部驱动器中学习，绕过了对外部信号的需求，这对广泛的任务都是有益的。基于这一观察，我们提出了一个内在的目标，目标状态和可控状态之间的互信息。这个目标鼓励代理人控制其环境。随后，我们推导出建议的奖励函数，它可以有效地优化代理目标。最后，我们在不同的机器人操作和导航任务中评估开发的框架，并证明我们的方法的有效性。显示实验结果的视频可在https://youtu.be/CT4CKMWBYz0上获得
2020-06-12 cs.LG stat.ML
Autoregressive Language Models are Secretly Energy-Based Models: Insights into the Lookahead Capabilities of Next-Token Prediction
Google DeepMind（谷歌DeepMind）
本文通过建立自回归模型与能量模型之间的双射，揭示了自回归模型在下一个词元预测范式下具备预见能力，并提供了理论误差界。
2026-05-25 cs.LG stat.ML
An Information-Theoretic Analysis of Bayesian Reinforcement Learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
基于Xu和Raginksy [1]为监督学习问题引入的框架，我们研究了基于模型的贝叶斯强化学习问题的最佳可实现性能。为此，我们将最小贝叶斯后悔（MBR）定义为通过从收集的数据中学习或通过了解环境及其动态可获得的最大预期累积奖励之间的差异。我们专门这个定义的强化学习问题建模为马尔可夫决策过程（MDP）的核心参数是未知的代理和其不确定性表示的先验分布。给出了一种推导MBR上界的方法，并给出了基于相对熵和Wasserstein距离的具体上界。然后，我们专注于两个特殊的情况下，MDP，多臂强盗问题（MAB）和在线优化与部分反馈问题。对于后一个问题，我们证明了我们的边界可以从Russo和Van Roy [2]的当前信息论边界以下恢复。
2022-07-18 cs.LG stat.ML
Decomposable Reward Modeling and Realistic Environment Design for Reinforcement Learning-Based Forex Trading
Dr APJ Abdul Kalam Technical University（APJ阿卜杜勒·卡拉姆技术大学）
本文提出模块化强化学习框架，通过摩擦感知执行引擎、可分解奖励架构和10动作离散接口，解决外汇交易中现实环境、奖励函数和动作空间的挑战，实验证明了最佳奖励配置在训练收益和夏普比率上的优势。
2026-10-30 cs.LG q-fin.GN
Information-Theoretic Confidence Bounds for Reinforcement Learning
Stanford University（斯坦福大学）
我们将信息理论的概念整合到乐观算法和汤普森采样的设计和分析中。通过信息理论的数量和置信区间之间的连接，我们得到的结果，每一个时期的代理性能与其有关的环境的信息增益，从而明确表征的探索开发权衡。由此产生的累积遗憾界取决于代理人的不确定性的环境和量化的先验信息的价值。我们展示了这种方法在几种环境中的适用性，包括线性土匪，表格MDPs和因子MDPs。这些例子证明了一个通用的信息理论方法的设计和分析的强化学习算法的潜力。
2019-11-21 cs.AI cs.LG stat.ML
Privileged Information Dropout in Reinforcement Learning
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
在训练期间使用特权信息可以提高样本效率和机器学习系统的性能。这种范式已被应用于强化学习（RL），主要是以蒸馏或辅助任务的形式，而不太常见的是以增加代理输入的形式。在这项工作中，我们研究了实现后者，它可以同样适用于基于值和基于策略的RL算法的隐藏信息丢弃（\pid）。在一个简单的部分观察的环境中，我们证明了\pid优于替代品利用特权信息，包括蒸馏和辅助任务，并可以成功地利用不同类型的特权信息。最后，我们分析了它对学习表征的影响。
2020-05-19 cs.AI cs.LG stat.ML
Information-Directed Exploration for Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；ETH Zurich（苏黎世联邦理工学院）
有效的探索仍然是强化学习的主要挑战。原因之一是收益率的变异性通常取决于当前的状态和行为，因此是异方差的。经典的探索策略，如置信上限算法和汤普森采样未能适当考虑异方差，即使在强盗设置。最近的研究结果，解决这个问题的土匪的动机，我们建议使用信息定向采样（IDS）的探索强化学习。作为我们的主要贡献，我们建立在分布式强化学习的最新进展，并提出了一种新的，易于处理的深度Q学习近似IDS。由此产生的探索策略明确占参数的不确定性和异方差观测噪声。我们评估我们的方法对雅达利游戏，并证明了替代方法的显着改善。
2019-03-25 cs.AI cs.LG stat.ML
Relational Graph Learning for Crowd Navigation
Simon Fraser University（西蒙弗雷泽大学）；UT Austin（德克萨斯大学奥斯汀分校）
我们提出了一种基于模型的深度强化学习的机器人人群导航的关系图学习方法，该方法通过展望未来来规划行动。我们的方法的原因，所有代理之间的关系的基础上，他们的潜在功能，并使用图卷积网络编码高阶交互在每个代理的状态表示，随后利用状态预测和价值估计。预测人类运动的能力使我们能够执行多步前瞻规划，考虑到人类人群的时间演变。我们评估了我们的方法对一个国家的最先进的基线人群导航和消融我们的模型，以证明导航与我们的方法是更有效的，导致更少的碰撞，并避免涉及振荡和冻结行为的失败情况。
2020-08-03 cs.AI cs.LG cs.RO
On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games
Yale University（耶鲁大学）
本文提出一种显式表示信息结构的强化学习模型，通过图论量刻画一般序贯决策问题的统计难度，给出样本复杂度上界及达到该上界的算法，为识别可处理问题类别提供系统方法。
2024-05-27 cs.AI cs.LG stat.ML
Information-Theoretic Considerations in Batch Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在批处理模式下运行的值函数逼近方法对于强化学习（RL）具有基础性的重要性。这些方法的有限样本保证通常关键地依赖于两种类型的假设：（1）温和的分布偏移，和（2）比可实现性更强的表示条件。然而，必要性（“我们为什么需要它们？”）和自然性（“它们什么时候成立？”）的假设在很大程度上逃避了文献。在本文中，我们重新审视这些假设，并提供理论结果来回答上述问题，并进一步加深对值函数逼近的理解。
2019-05-01 cs.AI cs.LG stat.ML
Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Berkeley（加州大学伯克利分校）
在多样化和复杂环境中运行的强化学习代理可以从其行为的结构化分解中受益。通常，这是在分层强化学习的上下文中解决的，其目的是将策略分解为较低级别的原语或选项，以及触发针对给定情况的适当行为的较高级别的元策略。然而，元策略仍然必须在所有状态下产生适当的决策。在这项工作中，我们提出了一个政策设计，分解成原语，类似于分层强化学习，但没有一个高层次的元政策。相反，每个原语可以自己决定是否希望在当前状态下操作。我们使用信息理论机制来实现这种分散决策：每个原语选择它需要多少关于当前状态的信息来做出决策，并且请求关于当前状态的最多信息的原语在世界上行动。原语被规则化以使用尽可能少的信息，这导致了自然竞争和专业化。我们的实验表明，这种政策架构提高了平面和层次化的政策方面的泛化。
2019-06-25 cs.AI cs.LG stat.ML
Highway Reinforcement Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士IDSIA/USI/SUPSI人工智能实验室）；The University of Liverpool（利物浦大学）；University of Oxford（牛津大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；NNAISENSE（NNAISENSE公司）
提出一种带高速公路门的新型无重要性采样多步离策略强化学习方法，避免价值函数低估，保证任意前瞻深度下收敛到最优，在延迟奖励任务上表现优异。
2024-05-28 cs.AI cs.LG
InfoRL: Interpretable Reinforcement Learning using Information Maximization
IIT Kanpur（印度理工学院坎普尔分校）
强化学习的最新进展已经证明，给定一个环境，如果我们可以访问某种形式的奖励函数（密集，稀疏或从IRL导出），我们可以学习在该环境中执行任务。但大多数算法都专注于学习一个最佳策略来执行给定的一组任务。在本文中，我们专注于一种算法，它不仅学习执行一项任务，而且学习以不同的方式执行同一任务。正如我们所知，当环境足够复杂时，总是存在多种方法来执行任务。我们表明，使用信息最大化的概念，它是可能的学习潜码发现多种方式来执行任何给定的任务在一个环境中。
2019-05-24 cs.AI cs.LG stat.ML
An Information-Theoretic Optimality Principle for Deep Reinforcement Learning
我们从方法上解决了深度强化学习中Q值高估的问题，以有效地处理高维状态空间。从信息论的概念，我们引入了一个内在的惩罚信号，鼓励减少Q值估计。由此产生的算法包含广泛的学习结果，其中包含深度Q网络作为特例。不同的学习成果可以通过相应地调整拉格朗日乘数来展示。此外，我们提出了一种新的调度方案，这个拉格朗日乘子，以确保有效和强大的学习。在Atari上的实验中，我们的算法在游戏性能和样本复杂度方面都优于其他算法（例如深度和双深度Q网络）。这些结果仍然有效，根据最近提出的决斗架构。
2018-11-20 cs.AI cs.LG stat.ML
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick（华威大学）
我们介绍了一个新的虚拟环境，模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏，具有相对复杂的动作空间（允许从13张牌的初始开始手牌玩1，2，3，4或5张牌组合）。因此，它对许多当前的强化学习方法提出了挑战。然后，我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏，纯粹通过自我游戏来学习，并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平，而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
DADI: Dynamic Discovery of Fair Information with Adversarial Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；IBM Research（IBM研究院）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
我们引入了一个动态对抗性信息发现（DADI）框架，其动机是信息（特征集）被第三方使用，目标未知。我们训练一个强化学习代理来顺序地获取信息的子集，同时平衡下游预测器的准确性和公平性。基于已经获取的特征的集合，代理动态地决定从可用特征的集合收集更多信息或者停止并使用当前可用的信息进行预测。在以前探索对抗性表示学习的工作的基础上，我们通过奖励代理对手的损失来实现群体公平性（人口统计学平价），这些损失是在最终特征集上计算的。然而，重要的是，该框架为公平或私有的动态信息发现提供了一个更通用的起点。最后，我们使用两个真实世界的数据集实证证明，我们可以权衡公平性和预测性能
2019-10-30 cs.CY cs.LG stat.ML
Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
尽管深度强化学习（RL）在解决顺序决策问题方面取得了重大进展，但RL代理通常过度适应训练环境，并难以适应新的、不可见的环境。这阻止了RL在现实世界中的鲁棒应用，其中系统动态可能会严重偏离训练设置。在这项工作中，我们的主要贡献是提出了一个信息论正则化目标和一个基于退火的优化方法，以实现更好的推广能力的RL代理。我们展示了我们的方法在不同领域的极端推广效益，从迷宫导航到机器人任务;我们第一次表明，代理可以推广到测试参数超过10个标准差远离训练参数分布。这项工作提供了一种原则性的方法，通过逐渐去除对任务解决来说冗余的信息来提高RL中的泛化能力;它为从训练到极端不同的测试设置的泛化系统研究打开了大门，重点是信息论和机器学习之间的联系。
2020-08-03 cs.AI cs.LG stat.ML
Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning
The University of Tokyo（东京大学）；University of Alberta（阿尔伯塔大学）；Google Research（谷歌研究院）
深度强化学习（RL）研究的进展在很大程度上是由基准任务环境实现的。然而，分析这些环境的性质往往被忽视。特别是，我们仍然没有合适的方法来衡量任务的难度或可解决性，因为每个任务都有根本不同的动作，观察，动态，奖励，并且可以用不同的RL算法来解决。在这项工作中，我们提出了政策信息容量（PIC）-政策参数和情节回报之间的互信息-和政策最优信息容量（POIC）-政策参数和情节最优性之间-作为两个环境不可知，算法不可知的任务难度的定量指标。通过评估我们在玩具环境中的指标以及OpenAI Gym和DeepMind Control Suite的连续控制基准任务，我们实证证明，这些信息理论指标与标准化任务可解决性分数的相关性高于各种替代方案。最后，我们表明，这些指标也可以用于快速和计算效率的优化关键设计参数，如奖励塑造，政策架构，和MDP属性更好的解决方案，由RL算法，而无需运行完整的RL实验。
2021-05-31 cs.AI cs.LG stat.ML
