Multi-step Greedy Reinforcement Learning Algorithms
Facebook AI Research（Facebook人工智能研究院）；Technion（以色列理工学院）；Google Research（谷歌研究院）
多步贪婪策略已被广泛用于基于模型的强化学习（RL）中，无论是在环境的模型可用时（例如，在游戏中，当它被学习。在本文中，我们探讨了它们在无模型强化学习中的好处，当使用多步动态规划算法时：$κ$ -策略迭代（$κ$ -PI）和$κ$ -值迭代（$κ$ -VI）。这些方法通过求解具有成形奖励和较小折扣因子的代理决策问题来迭代地计算下一个策略（$κ$ -PI）和价值函数（$κ$ -VI）。我们推导出基于$κ$ -PI和$κ$ -VI的无模型强化学习算法，其中代理问题可以通过任何离散或连续动作强化学习方法（如DQN和TRPO）来解决。我们确定了一个超参数的重要性，控制在何种程度上解决了代理问题，并提出了一种方法来设置这个参数。当在一系列Atari和MuJoCo基准任务上进行评估时，我们的结果表明，对于正确的$κ$范围，我们的算法优于DQN和TRPO。这表明，我们的多步贪心算法是通用的，足以适用于任何现有的RL算法，并可以显着提高其性能。
2020-07-13 cs.LG stat.ML
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
Beyond the One Step Greedy Approach in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
著名的策略迭代算法在策略改进和策略评估之间交替进行。在以前的工作中，已经分析了该算法的实现与后一个评估阶段的几个变体，例如，$n$ -步骤和基于跟踪的返回。然而，多步骤前瞻性政策改进的情况下，尽管最近增加了其实力的经验证据，据我们所知，尚未仔细分析。在这项工作中，我们介绍了第一个这样的分析。也就是说，我们制定多步策略改进的变体，使用这些定义推导出新的算法，并证明其收敛性。此外，我们表明，最近突出的强化学习算法，事实上，我们的框架的实例。因此，我们揭示了他们的经验成功，并给出了一个配方，为未来的研究得出新的算法。
2018-07-30 cs.AI cs.LG stat.ML
ε-BMC: A Bayesian Ensemble Approach to Epsilon-Greedy Exploration in Model-Free Reinforcement Learning
University of Toronto（多伦多大学）
在强化学习（RL）算法的设计和实现中，如何解决探索-利用的权衡问题一直是一个基本问题。在本文中，我们专注于使用ε贪婪探索策略的无模型RL，尽管它很简单，但仍然是最常用的探索形式之一。然而，该策略的一个关键限制是$\varepsilon$的规范。在本文中，我们提供了一个新的贝叶斯观点的$\varepsilon$作为衡量的Q-价值函数的一致性。我们引入了一个封闭形式的贝叶斯模型更新的基础上贝叶斯模型组合（BMC），基于这个新的角度来看，这使我们能够适应$\varepsilon$使用的经验，在恒定的时间单调收敛的保证。我们证明，我们提出的算法，$\varepsilon$ - \texttt{BMC}，有效地平衡探索和开发不同的问题，执行优化或优于最佳调整的固定退火时间表和替代的数据相关的$\varepsilon$适应计划中提出的文献。
2020-07-02 cs.LG cs.RO stat.ML
Greedy Algorithms for Sparse Reinforcement Learning
Duke University（杜克大学）
在强化学习（RL）社区努力扩大RL的范围和适用性的过程中，特征选择和正则化正成为越来越重要的工具。解决特征选择问题的一种方法是在学习方法上施加稀疏诱导形式的正则化。最近关于$L_1$正则化的工作采用了监督学习文献中的技术，用于RL。另一种在监督学习社区中重新受到关注的方法是使用一种简单的算法，该算法可以增加新的功能。这种算法具有$L_1$正则化方法的许多良好特性，同时也非常有效，并且在某些情况下，允许从采样数据恢复稀疏目标函数的真实形式的理论保证。本文考虑正交匹配追踪（OMP）的变体应用于强化学习。实验分析和比较现有的$L_1$正则化方法的算法。我们证明，也许是最自然的情况下，人们可能希望实现稀疏恢复失败，然而，一个变种，OMP-BRM，提供了有前途的理论保证在某些假设下的特征字典。另一种变体OMP-TD在几个基准问题上的近似精度和效率方面都优于以前的方法。
2012-06-27 cs.LG stat.ML
Guarantees for Epsilon-Greedy Reinforcement Learning with Function Approximation
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；Cornell University（康奈尔大学）
短视的探索策略，如ε-greedy，softmax或高斯噪声，在某些强化学习任务中无法有效地探索，但在许多其他任务中表现良好。事实上，在实践中，由于它们的简单性，它们经常被选为首选。但是，这些政策在哪些方面取得了成功？我们能为它们的良好表现提供理论保证吗？尽管这些政策具有突出的实际重要性，但这些关键问题几乎没有得到研究。本文对这种策略进行了理论分析，并给出了带有近视探索的强化学习的第一遗憾和样本复杂度界限。我们的研究结果适用于基于值函数的算法在情节MDP与有界贝尔曼Eluder维数。我们提出了一个新的复杂性措施，称为近视勘探差距，由阿尔法表示，捕获的MDP，勘探政策和给定的价值函数类的结构属性。我们发现近视探索的样本复杂度与这个量的倒数1 /α ^2成二次方关系。我们进一步通过具体的例子证明，近视的探索差距确实是有利的，在近视的探索成功的几个任务，由于相应的动力学和奖励结构。
2022-06-19 cs.LG
Understanding Deep Neural Function Approximation in Reinforcement Learning via $ε$-Greedy Exploration
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文对在线环境下基于$ε$贪婪探索的强化学习（RL）中的深度神经函数逼近进行了理论研究。这个问题设置的动机是成功的深度Q网络（DQN）框架，属于这一制度。在这项工作中，我们从函数类和神经网络架构的角度（例如，深度和宽度）超出“线性”范围。具体而言，我们专注于基于值的算法与$ε$贪婪探索通过深（和两层）神经网络赋予Besov（和Barron）函数空间，分别，其目的是近似$d$维特征空间中的$α$ -光滑Q-函数。我们证明，使用$T$情节，缩放深度RL的神经网络的宽度$m = \widetilde{\mathcal{O}}(T^{\frac{d}{2α+ d}})$和深度$L=\mathcal{O}(\log T)$足以在Besov空间中进行次线性遗憾学习。此外，对于由Barron空间赋予的两层神经网络，缩放宽度$Ω(\sqrt{T})$是足够的。为了实现这一点，我们分析中的关键问题是如何估计深度神经函数近似下的时间差误差，因为$ε$贪婪探索不足以确保"乐观“。我们的分析重新制定的时间差误差的$L^2(\mathrm{d}μ)$ -可积空间在一定的平均测量$μ$，并将其转化为一个推广问题下的非iid设置。这可能对RL理论有自己的兴趣，以便更好地理解深度RL中的$ε$ -贪婪探索。
2022-10-16 cs.LG
A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model
贝叶斯强化学习（RL）不仅能够整合领域知识，而且能够以自然的方式解决探索-利用困境。由于贝叶斯强化学习是棘手的，除了特殊情况下，以前的工作提出了几个近似方法。然而，这些方法通常对参数值过于敏感，并且在许多应用中几乎不可能找到可接受的参数设置。在本文中，我们提出了一个新的算法，Greatest近似贝叶斯RL实现参数空间中的鲁棒性。我们表明，对于所需的学习行为，我们提出的算法具有多项式样本的复杂性，低于现有的算法。我们还表明，该算法自然优于其他现有的算法时，先验分布没有显着误导。另一方面，该算法不能处理严重错误的先验知识，以及其他算法可以。这是一个自然的结果，事实上，该算法是贪婪的比其他算法。因此，我们讨论了一种方法来选择一个合适的算法为不同的任务的基础上的算法的贪婪。我们还介绍了一种新的方法来简化贝叶斯规划，在此基础上，未来的工作将能够得到新的算法。
2013-06-13 cs.AI cs.LG stat.ML
Greedy-Step Off-Policy Reinforcement Learning
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
大多数策略评估算法都是基于Bellman期望和最优性方程的理论，由此衍生出两种流行的策略评估方法--策略迭代（PI）和值迭代（VI）。然而，由于多步偏离策略校正的大的方差，多步自举经常与基于PI的方法中的离策略学习处于交叉目的。相比之下，基于VI的方法是自然的off-policy，但受到one-step learning.本文中，我们推导出一个新的多步Bellman最优性方程，利用多步自举的最优价值函数的潜在结构。通过这个新方程，我们得到了一个新的多步数值迭代方法，该方法收敛于指数收缩率为$\mathcal{O}(γ^n)$的最优价值函数，但计算复杂度仅为线性计算复杂性.实验表明，本文提出的方法可靠、易于实现，在一系列标准基准数据集上的性能达到了最佳水平。
2021-12-15 cs.AI cs.LG cs.MA
On Solving the 2-Dimensional Greedy Shooter Problem for UAVs
University of Minnesota Twin Cities（明尼苏达大学双城分校）；St. Mark’s School of Texas（德克萨斯州圣马可学校）
无人机（UAV）是一种自动制导的飞行器，广泛用于监视和侦察任务。近年来，由于人工智能的许多突破，围绕无人机及其变体的追捕-逃避问题的一个版本已经得到了广泛的研究。提出了一种基于强化学习（RL）的无人机二维空中交战环境下的追逃方法，RL是一种面向目标的机器学习方法。在这项工作中，使用贪婪射手策略的无人机与使用深度Q学习技术训练的无人机进行了互动。仿真结果表明，在初始化过程中无人机充分分离的情况下，后一种无人机赢得了每次交战。这种方法强调了强化学习的详尽和强大的应用，以追求规避，提供洞察无人机飞行和互动的有效策略。
2019-11-02 cs.LG cs.RO stat.ML
On Optimistic versus Randomized Exploration in Reinforcement Learning
Google Deepmind（谷歌DeepMind）；Stanford University（斯坦福大学）
我们讨论了乐观和随机方法在强化学习中的相对优点。在文献中提出的乐观的方法应用乐观的提升值估计在每个状态动作对，并选择相对于所得到的乐观值函数是贪婪的动作。随机化方法从统计上合理的值函数中采样，并选择相对于随机样本贪婪的动作。先前的计算经验表明，随机方法可以导致统计上更有效的学习。我们提出了两个简单的分析例子，阐明为什么会出现这种情况。原则上，应该有乐观的方法，相对于随机方法来说，效果很好，但这需要棘手的计算。在文献中已经提出的乐观方法为了计算效率而牺牲统计效率。另一方面，随机化方法可以同时实现统计和计算效率。
2017-06-13 cs.LG stat.ML
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Temporally-Extended ε-Greedy Exploration
DeepMind（深度思维）
最近在强化学习（RL）方面的探索工作已经导致了一系列越来越复杂的问题解决方案。这种复杂性的增加往往以牺牲通用性为代价。最近的实证研究表明，当应用于更广泛的领域时，一些复杂的探索方法会被更简单的方法（如ε-greedy）所超越。在本文中，我们提出了一个探索算法，保留了简单的ε-贪婪，同时减少抖动。我们建立在一个简单的假设上：ε-贪婪探索的主要限制是它缺乏时间持久性，这限制了它逃避局部最优的能力。我们提出了一种时间扩展形式的ε-greedy，简单地重复采样动作随机持续时间。事实证明，对于许多持续时间分布，这足以改善对大量域的探索。有趣的是，一类受动物觅食行为生态模型启发的分布产生了特别强的性能。
2020-06-02 cs.LG stat.ML
Worst-case Performance of Greedy Policies in Bandits with Imperfect Context Observations
上下文强盗是在具有时变成分的环境中的不确定性下的序列决策的规范模型。在这种情况下，每个强盗手臂的预期奖励由一个未知参数与该手臂的上下文向量的内积组成。经典的强盗设置在很大程度上依赖于假设的上下文是完全观察到的，而不完全观察上下文强盗的更丰富的模型的研究是不成熟的。这项工作考虑了贪婪强化学习策略，这些策略采取行动，就好像参数和未观察到的上下文的当前估计值与相应的真值一致。我们建立了非渐近的最坏情况下的遗憾增长的时间范围和故障概率的多项式，而它的规模与武器的数量线性。数值分析显示上述效率的贪婪政策也提供。
2022-05-25 cs.LG stat.ML
Beyond Greedy Search: Tracking by Multi-Agent Reinforcement Learning-based Beam Search
Anhui University（安徽大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
为了跟踪视频中的目标，目前的视觉跟踪器通常采用贪婪搜索的方法在每帧中定位目标，即选择响应得分最大的候选区域作为每帧的跟踪结果。然而，我们发现这可能不是最佳选择，特别是当遇到具有挑战性的跟踪场景时，如严重遮挡和快速运动。为了解决这个问题，我们提出了保持多个跟踪轨迹和应用束搜索策略的视觉跟踪，使具有较少的累积误差的轨迹可以被识别。因此，本文介绍了一种新的多智能体强化学习的束搜索跟踪策略，称为BeamTracking。它主要受到图像描述任务的启发，该任务以图像作为输入，并使用束搜索算法生成各种描述。因此，我们制定的跟踪作为一个样本选择问题，由多个并行的决策过程，其中每一个的目的是挑选出一个样本作为他们的跟踪结果在每一帧完成。每个维护的轨迹都与代理相关联，以执行决策并确定应该采取什么行动来更新相关信息。当所有帧都处理完后，我们选择具有最大累积分数的轨迹作为跟踪结果。在七个流行的跟踪基准数据集上的实验验证了该算法的有效性。
2022-08-30 cs.AI cs.CV cs.LG
TBQ($σ$): Improving Efficiency of Trace Utilization for Off-Policy Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
由于目标策略和行为策略之间的差异，具有资格痕迹的非策略强化学习具有挑战性。一种常见的方法是以概率的方式测量两个策略之间的差异，例如重要性抽样和树备份。然而，现有的基于概率策略测量的离线学习方法在贪婪目标策略下利用轨迹时效率低下，这对于控制问题是无效的。当采取非贪婪动作时，迹线立即被切断，这可能会失去资格迹线的优势并减慢学习过程。或者，一些非概率测量方法，如通用Q（$λ$）和朴素Q（$λ$）从不切割迹线，但在实践中面临收敛问题。针对上述问题，提出了一种新的树备份算法TBQ（$σ$），它有效地将树备份算法和朴素Q（$λ$）结合起来。TBQ（$σ$）通过引入一个新的参数$σ$来说明利用轨迹的\emph{degree}，实现了TB（$λ$）和Naive Q（$λ$）的有效整合以及它们之间的持续角色转换。从理论上分析了TB（$σ$）在策略评估和控制设置中的收缩特性。我们还推导了TBQ的在线版本（$σ$），并给出了收敛性证明。我们的经验表明，对于$ε$ -贪婪策略中的$ε\in(0,1]$，存在一定程度的利用$λ\in[0,1]$的痕迹，这可以提高离线强化学习的痕迹利用效率，从而加快学习过程并提高性能。
2019-05-17 cs.AI cs.LG stat.ML
The Divergence of Reinforcement Learning Algorithms with Value-Iteration and Function Approximation
City University London（伦敦城市大学）
本文给出了几种主要的强化学习和自适应动态规划算法在使用价值函数的函数逼近器时值迭代的具体发散示例。这些分歧的例子不同于文献中以前的分歧的例子，因为它们适用于贪婪的政策，即在“价值迭代”的情况下。也许令人惊讶的是，使用贪婪策略，也可以得到算法TD（1）和Sarsa（1）的发散。除了这些分歧，我们也实现了分歧的自适应动态规划算法HDP，DHP和GDHP。
2012-07-29 cs.LG
QSIM: Mitigating Overestimation in Multi-Agent Reinforcement Learning via Action Similarity Weighted Q-Learning
QSIM通过动作相似性加权Q学习缓解多智能体强化学习中的过估计问题，提升学习稳定性与性能。
2026-02-26 cs.AI cs.LG cs.MA
Greedy Bandits with Sampled Context
George Mason University（乔治梅森大学）
贝叶斯策略的上下文强盗已被证明是有前途的单状态强化学习任务建模的不确定性，使用环境中的上下文信息。在本文中，我们提出了贪婪的土匪与采样上下文（GB-SC），上下文多武装土匪的方法，以开发先验的上下文信息使用汤普森采样，和手臂选择使用ε-贪婪的政策。框架GB-SC允许上下文奖励依赖性的评估，以及通过利用先前开发的部分可观察的上下文向量提供鲁棒性。我们的实验结果显示了在蘑菇环境中的预期遗憾和预期累积遗憾方面的竞争性能，以及对每个上下文子集如何影响决策的见解。
2020-07-27 cs.AI cs.LG
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Constrained Policy Improvement for Safe and Efficient Reinforcement Learning
Bar-Ilan University（巴伊兰大学）；UC Berkeley（加州大学伯克利分校）
提出了一种强化学习（RL）的策略改进算法--重路由行为改进（RBI）。RBI被设计为考虑Q函数的评估误差。当从有限的过去经验数据学习$Q$值时，这种错误在RL中是常见的。忽略这些错误的贪婪策略或甚至受约束的策略优化算法可能遭受改进惩罚（即，负策略改进）。为了最小化改进惩罚，RBI的想法是衰减低概率动作的快速策略变化，这些动作的采样频率较低。这种方法被证明可以避免灾难性的性能下降，并减少后悔时，从一批过去的经验学习。通过一个双臂强盗高斯分布的奖励的例子，我们表明，它也提高了数据的效率时，最佳的行动有一个高的方差。我们在Atari学习环境中的两项任务中评估RBI：（1）从多个行为策略的观察中学习和（2）迭代RL。我们的研究结果表明，RBI的优势，贪婪的政策和其他有约束的政策优化算法作为一个安全的学习方法，并作为一个通用的数据有效的学习算法。我们的RBI实现的匿名Github存储库可以在https://github.com/eladsar/rbi找到。
2019-07-10 cs.AI cs.LG stat.ML
Bayesian Curiosity for Efficient Exploration in Reinforcement Learning
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
平衡探索和利用是强化学习的一个基本部分，但大多数最先进的算法使用朴素的探索协议，如$ε$ -greedy。这导致了高样本复杂度的问题，因为算法通过重复访问已经探索过的状态空间的部分而浪费精力。我们引入了一种新的方法，基于贝叶斯线性回归和潜在空间嵌入生成一个内在的奖励信号，鼓励学习代理寻找未探索的部分状态空间。该方法计算效率高，实现简单，并且可以扩展任何最先进的强化学习算法。我们评估了一系列的算法和具有挑战性的控制任务，模拟和物理机器人的方法，演示了所提出的方法可以显着提高样本的复杂性。
2019-11-20 cs.LG stat.ML
Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning
ETH Zurich（苏黎世联邦理工学院）；Bosch Center for Artificial Intelligence（博世人工智能中心）
具有概率动态模型的基于模型的强化学习算法是数据效率最高的学习方法之一。这通常归因于他们区分认知和任意不确定性的能力。然而，大多数算法在学习模型时区分这两种不确定性，但在优化策略时却忽略了这两种不确定性，导致了贪婪和探索不足。同时，乐观探索算法还没有实用的求解器。在本文中，我们提出了一个实用的乐观探索算法（H-UCRL）。H-UCRL重新参数化的一组合理的模型和幻觉控制直接对认知的不确定性。通过用幻觉输入扩充输入空间，可以使用标准贪婪规划器来求解H-UCRL。此外，我们分析了H-UCRL，并构造了一个一般的遗憾界校准模型，这是可证明的高斯过程模型的情况下，是次线性的。基于这一理论基础，我们展示了乐观探索如何轻松地与最先进的强化学习算法和不同的概率模型相结合。我们的实验表明，乐观的探索显着加快学习时，有惩罚的行动，这是众所周知的困难，现有的基于模型的强化学习算法的设置。
2020-12-01 cs.LG cs.RO cs.SY
ES-C51: Expected Sarsa Based C51 Distributional Reinforcement Learning Algorithm
UIET, Panjab University , Chandigarh , India（旁遮普大学UIET，昌迪加尔，印度）；Federation University, Victoria, Australia（联邦大学，维多利亚，澳大利亚）
提出ES-C51算法，用期望Sarsa更新替代贪心更新，结合softmax处理相似奖励，提升分布式强化学习稳定性，在Gym和Atari-10上优于QL-C51。
2025-10-16 cs.LG
SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）
SymCircuit通过熵正则化强化学习替代贪心算法，实现概率电路结构学习，采用语法约束的自回归Transformer生成有效电路，并在NLTCS数据集上显著提升样本效率。
2026-03-20 cs.AI cs.LG stat.ML
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center（CETIC研究中心）
本文研究了强化学习在局部搜索中用于邻域选择的效果，发现ε-贪心表现优异，而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh（爱丁堡大学）；J.P. Morgan AI Research（摩根大通人工智能研究）；Imperial College London（伦敦帝国理工学院）
研究连续时间强化学习中熵正则化的策略鲁棒性，建立相关理论保证，分析鲁棒集特性，实验验证其有效性。
2026-07-07 cs.LG math.OC
Reinforcement Learning in Credit Scoring and Underwriting
Chulalongkorn University（朱拉隆功大学）；Deepmind
本文提出基于强化学习的信用承保框架，引入动作空间更新和多选择动作，并设计了两种新算法，在数据与模型一致时优于传统方法，同时指出复杂情境下需更强大的机器学习模型。
2024-06-27 cs.LG stat.ML
Financial Trading as a Game: A Deep Reinforcement Learning Approach
National Chiao Tung University（国立交通大学）
从金融市场中产生持续利润的自动程序对每个市场从业者来说都是有利可图的。深度强化学习的最新进展为这种交易代理的端到端训练提供了一个框架。在本文中，我们提出了一个马尔可夫决策过程（MDP）模型，适用于金融交易任务，并解决它与最先进的深度递归Q网络（DRQN）算法。我们提出了几个修改现有的学习算法，使其更适合下的金融交易设置，即1。与现代深度强化学习算法（通常为数百万大小）相比，我们使用了相当小的重放内存（大小只有几百）。2.我们开发了一种行动增强技术，以减轻随机探索的需要，通过提供额外的反馈信号的所有行动的代理。这使我们能够在学习过程中使用贪婪策略，并且与更常用的ε-贪婪探索相比，显示出强大的经验性能。然而，这种技术是特定于金融交易下的一些市场假设。3.我们采样一个更长的序列用于循环神经网络训练。这种机制的副产品是，我们现在可以为每T步训练代理。这大大减少了训练时间，因为总体计算量下降了T的因子。我们将上述所有的结合成一个完整的在线学习算法，并验证我们的方法在现场外汇市场。
2018-07-08 cs.LG q-fin.TR stat.ML
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London（伦敦城市大学）
在这篇理论论文中，我们关注的问题，学习一个价值函数的光滑一般函数逼近器，解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明，学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值，往往是局部最优的，我们认为，这带来了更高的效率值函数学习。这与传统的值函数学习形成对比，在传统的值函数学习中，值函数必须在整个状态空间上学习。它也证明了，政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新，这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习，和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
University of Utah（犹他大学）；University at Buffalo（布法罗大学）
Greedy-GQ是一种基于值的强化学习（RL）算法，用于最优控制。最近，有限时间分析的贪婪-GQ已被开发下的线性函数逼近和马尔可夫采样，该算法被证明是实现一个$ε$ -平稳点的顺序$\mathcal{O}(ε^{-3})$的样本复杂度。如此高的样本复杂度是由于马尔可夫样本引起的大方差。本文提出了一种用于非策略最优控制的方差减小的贪婪GQ（VR-Greedy-GQ）算法。特别地，该算法应用基于SVRG的方差减小方案来减小两个时间尺度更新的随机方差。在线性函数逼近和马尔可夫采样下，研究了VR-Greedy-GQ的有限时间收敛性，并证明了该算法比原Greedy-GQ具有更小的偏差和方差误差.特别是，我们证明了VR-Greedy-GQ实现了一个改进的样本复杂度是在$\mathcal{O}(ε^{-2})$的顺序。我们进一步比较了VR-Greedy-GQ和Greedy-GQ在各种RL实验中的性能，以证实我们的理论研究结果。
2021-03-30 cs.LG math.OC
Choquet regularization for reinforcement learning
University of Waterloo（滑铁卢大学）；Columbia University（哥伦比亚大学）
我们提出了\emph{Choquet regularizers}来衡量和管理强化学习（RL）的探索水平，并重新制定了Wang等人（2020，JMLR，21（198））的连续时间熵正则化RL问题，其中我们用Choquet正则化器替换了用于正则化的微分熵。我们推导出该问题的Hamilton-Jacobi-Bellman方程，并通过静态最大化均值方差约束的Choquet正则化子，在线性二次（LQ）情形下显式求解该方程。在LQ的设置下，我们推导出几个特定的Choquet正则化的显式最优分布，并反过来确定Choquet正则化，生成一些广泛使用的探索性采样器，如$ε$ -贪婪，指数，均匀和高斯。
2022-08-17 cs.LG q-fin.MF stat.ML
Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning
University of Michigan（密歇根大学）
本文提出一种基于POMDP和策略梯度强化学习的贝叶斯序贯最优实验设计（sOED）框架，利用深度神经网络和演员-评论家方法求解最优设计策略，并在基准和污染源反演问题中验证了其优于批量和贪婪设计的性能。
2022-03-20 cs.LG stat.CO stat.ME
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Exploration in Interactive Personalized Music Recommendation: A Reinforcement Learning Approach
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
当前的音乐推荐系统通常通过推荐具有最高用户评级的歌曲来以贪婪的方式起作用。然而，贪婪的推荐从长远来看是次优的：它不会主动收集用户偏好的信息，也不会推荐可能感兴趣的新颖歌曲。一个成功的推荐系统必须平衡探索用户偏好和利用这些信息进行推荐的需求。本文提出了一种新的音乐推荐方法，将这种探索-利用权衡公式化为一种称为多臂强盗的强化学习任务。为了学习用户偏好，它使用贝叶斯模型，该模型考虑了音频内容和推荐的新颖性。采用分段线性近似模型和变分推理算法来加快贝叶斯推理。我们的方法的另一个好处是音乐推荐和播放列表生成的单一统一模型。模拟结果和用户研究表明，新方法的强大潜力。
2013-11-06 cs.IR cs.LG cs.MM
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
Indiana University（印第安纳大学）
强化学习方法广泛应用的主要障碍之一是我们的核心学习算法的参数敏感性。在许多大规模的应用中，在线计算和函数逼近是扩展强化学习算法的关键策略。在这种情况下，我们有有效的和合理的理解算法，以适应学习率参数，在线学习过程中。这种元学习方法可以提高学习的鲁棒性，并使当前任务专业化，提高学习速度。对于我们在这里研究的时间差学习算法，还有另一个参数$λ$，它在实践中同样会影响学习速度和稳定性。不幸的是，与学习率参数不同，$λ$参数化了时间差分方法优化的目标函数。$λ$的不同选择产生不同的定点解，因此在线适配$λ$并表征优化实质上比适配学习速率参数更复杂。没有用于$λ$的元学习方法可以实现（1）增量更新，（2）与函数近似的兼容性，以及（3）在开和关策略采样下保持学习的稳定性。在本文中，我们提供了一个新的目标函数优化$λ$作为一个功能的状态，而不是时间。我们推导出一个新的增量，线性复杂度$λ$ -适应算法，不需要离线批量更新或访问的模型的世界，并提出了一套实验说明我们的新算法在三个不同的设置的实用性。总之，我们的贡献代表了在现实世界中的问题的时间差学习方法的黑箱应用的具体步骤。
2016-10-24 cs.AI cs.LG stat.ML
Convergence Guarantees for Deep Epsilon Greedy Policy Learning
University of Maryland, College Park（马里兰大学帕克分校）；Department of Mathematics, University of Maryland, College Park（马里兰大学帕克分校数学系）
策略学习是一个快速发展的领域。随着机器人和计算机控制日常生活，它们的出错率需要被最小化和控制。有许多策略学习方法和bandit方法都伴随着可证明的出错率。我们显示了一个错误或遗憾界和收敛性的深度Epperiment贪婪方法，选择行动与神经网络的预测。我们还表明，Eppery Greedy方法遗憾上限最小化与立方根探索。在真实世界数据集MNIST的实验中，我们构建了一个非线性强化学习问题。我们见证了无论是高噪声还是低噪声，有些方法收敛，有些不收敛，这与我们的收敛性证明一致。
2022-01-27 cs.IT cs.LG math.IT
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
Microsoft Research（微软研究院）；Google Inc.（谷歌公司）；Citadel（城堡投资）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
我们提出了一种新算法，可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索，从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法学习速度远远快于常见的探索策略，如$ε$ -贪婪，玻尔兹曼，自举，和内在的奖励为基础的。此外，我们还证明了，在重放缓冲区中加入一些成功的经验，可以使Q学习在可能失败的情况下变得可行。
2017-11-23 cs.LG cs.NE stat.ML
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University（南洋理工大学）
由深度Q网络（DQN）算法解决的大量实际工作表明，随机策略尽管简单，但却是最常用的探索方法。然而，大多数现有的随机探索方法要么探索新的行动，无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中，我们提出了一种新的偏好引导的$ε$贪婪探索算法，可以有效地学习动作分布符合景观的Q值DQN，而不引入额外的偏见。具体来说，我们设计了一个双架构，由两个分支组成，其中一个是DQN的副本，即Q分支。另一个分支，我们称之为偏好分支，学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策，并通过实验表明，推断出的动作偏好分布与相应的Q值的景观一致。因此，偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作，即，具有较大Q值的动作可以被更频繁地采样，而具有较小Q值的动作仍然有机会被探索，从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索，随机策略，数据效率，深度强化学习，深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
The Phenomenon of Policy Churn
DeepMind（深度思维）
我们识别并研究了基于值的强化学习中的策略扰动现象，即贪婪策略的快速变化。策略搅动以惊人的速度运行，在少数学习更新中改变了大部分状态中的贪婪行为（在典型的深度RL设置中，如Atari上的DQN）。我们凭经验验证了这一现象，验证了它不限于特定的算法或环境属性。大量的消融有助于将为什么会出现流失的合理解释减少到少数，所有这些都与深度学习有关。最后，我们假设，政策流失是一个有益的，但被忽视的形式隐式的探索，铸造$ε$ -贪婪的探索在一个新的光，即$ε$ -噪声起着比预期小得多的作用。
2022-10-20 cs.AI cs.LG stat.ML
Exploration Conscious Reinforcement Learning Revisited
Technion（以色列理工学院）
探索-利用权衡出现在强化学习中，当人们无法判断一个策略是否是最优的时候。然后，需要不断探索新的行动，而不是利用过去的经验。在实践中，通常通过使用固定的探索机制（例如$ε$贪婪探索）或通过添加高斯噪声来解决折衷，同时仍然尝试学习最优策略。在这项工作中，我们采取了不同的方法和研究探索意识的标准，导致最佳的政策方面的探索机制。正如我们所建立的，解决这些标准相当于解决一个代理马尔可夫决策过程。我们继续和探索意识的最优策略的属性进行分析，并描述了两个一般的方法来解决这样的标准。在这些方法的基础上，我们对现有的表格和深度强化学习算法进行了简单的修改，并在经验上证明了相对于非探索意识的同行，无论是离散还是连续的动作空间，都具有更好的性能。
2019-05-13 cs.LG stat.ML
Learning Combinatorial Node Labeling Algorithms
ETH Zurich（苏黎世联邦理工学院）
我们提出了一种新的神经架构来解决图优化问题，其中解决方案由任意节点标签组成，使我们能够解决像图着色这样的难题。我们使用强化学习来训练我们的模型，特别是策略梯度，它为我们提供了一个贪婪和概率策略。我们的架构建立在一个图形注意力网络，并使用几个归纳偏见，以提高解决方案的质量。我们学习的图着色的确定性算法比经典的基于度的贪婪算法给出了更好的解决方案，并且只需要几秒钟就可以应用于具有数万个顶点的图。此外，我们的概率策略优于所有贪婪的最先进的着色基线和机器学习基线。最后，我们表明，我们的方法也推广到其他问题，通过评估它的最小顶点覆盖和优于两个贪婪算法。
2022-05-10 cs.LG
Can Agents Learn by Analogy? An Inferable Model for PAC Reinforcement Learning
University of Maryland（马里兰大学）
基于模型的强化学习算法通过构建和利用环境模型来做出决策。然而，没有现有的算法试图推断任何状态动作对的动态从已知的状态动作对之前，满足它足够的时间。我们提出了一种新的基于模型的方法，称为贪婪推理模型（GIM），推断未知的动态从已知的动态的基础上的内部光谱特性的环境。换句话说，GIM可以“类比学习”。我们进一步引入了一个新的探索策略，确保代理快速，均匀地访问未知的状态-动作对。由于动态规划操作的数量与环境大小无关，因此GIM比最先进的基于模型的算法在计算上更有效。与没有推断的方法相比，在温和的条件下也可以实现更低的样品复杂度。实验结果证明了GIM在各种现实任务中的有效性和效率。
2020-02-24 cs.LG stat.ML
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy（韩国陆军士官学校）；KAIST（韩国科学技术院）
多代理设置是复杂和不可预测的，因为多个代理的行为相互影响。为了解决这种环境的不确定性，分布式强化学习算法，通过分布式输出结合不确定性已被集成与多智能体强化学习（MARL）方法，实现国家的最先进的性能。然而，分布式MARL算法仍然依赖于传统的$ε$ -贪婪，没有考虑合作策略。在本文中，我们提出了一个基于风险的探索，导致合作乐观的行为，通过改变分布的采样区域。最初，我们从状态-动作值的上分位数中提取期望值进行探索，这是乐观的动作，并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下，我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能，在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Hierarchical clustering in particle physics through reinforcement learning
New York University（纽约大学）；Bloomberg（彭博）
粒子物理实验通常需要通过对观测到的末态粒子进行分级聚类来重建衰变模式。我们表明，这个任务可以被描述为一个马尔可夫决策过程，并适应强化学习算法来解决它。特别是，我们表明，蒙特卡罗树搜索指导下的神经政策，可以构建高质量的层次聚类，并优于建立贪婪和束搜索基线。
2020-12-18 cs.AI cs.LG hep-ph
A Reinforcement Learning Approach to Online Learning of Decision Trees
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
在线决策树学习算法通常检查新数据点的所有特征以更新模型参数。我们提出了一种新的替代方案，基于强化学习的决策树（RLDT），它使用强化学习（RL）主动检查数据点的最小数量的特征，以高精度对其进行分类。此外，RLDT优化了长期回报，提供了一个更好的替代传统的短视贪婪的方法来增长决策树。我们证明，这种方法执行以及批处理学习算法和其他在线决策树学习算法，同时使显着更少的查询的数据点的功能。我们还表明，RLDT可以有效地处理概念漂移。
2015-07-24 cs.LG
Angrier Birds: Bayesian reinforcement learning
Stanford University（斯坦福大学）
我们训练一个强化学习者来玩简化版的愤怒的小鸟游戏。以类似于可由计算机视觉算法产生的输出的方式向学习者提供游戏状态。我们通过在随机最小二乘值迭代（RLSVI）中进行更系统的探索，提高了具有线性函数近似的常规ε-贪婪Q学习的效率，RLSVI是一种从最优策略的后验分布中对其策略进行采样的算法。随着更大的状态-动作空间，有效的探索变得越来越重要，RLSVI的快速学习证明了这一点。
2016-01-07 cs.AI cs.LG
Optimal Multi-Debris Mission Planning in LEO: A Deep Reinforcement Learning Approach with Co-Elliptic Transfers and Refueling
Department of Computer Science, Julius-Maximilians-Universität Würzburg, Germany（计算机科学系，乌尔姆-马克西米利安大学，德国）
本文提出一种结合共椭圆转移与补给的深度强化学习方法，用于近地轨道多碎片任务规划，实验显示其在任务效率和计算性能上优于传统方法。
2026-02-04 cs.LG cs.RO physics.space-ph
Depth and nonlinearity induce implicit exploration for RL
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
如何探索的问题，即，采取具有不确定结果的行动来学习未来可能的奖励，是强化学习（RL）中的一个关键问题。在这里，我们展示了一个令人惊讶的结果：我们展示了具有非线性Q函数和没有显式探索的Q学习（即，纯贪婪策略）可以学习几个标准基准任务，包括山地车，与最常用的$ε$ -贪婪探索一样好或更好。我们仔细研究了这一结果，并表明，Q-网络的深度和非线性的类型是重要的，以诱导这种确定性的探索。
2018-05-29 cs.AI cs.LG stat.ML
Truncated Horizon Policy Search: Combining Reinforcement Learning & Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了通过使用预言机的奖励塑造的想法来结合模仿和强化学习。我们研究了接近最优的成本去预言机在规划视野上的有效性，并证明了成本去预言机缩短了学习者的规划视野作为其准确性的函数：全局最优预言机可以将规划范围缩短为1，从而导致更容易优化的一步贪婪马尔可夫决策过程，而远离最优性的Oracle需要在更长的范围内进行规划以实现接近最优的性能。因此，我们的新见解弥合了模仿学习和强化学习之间的差距。受上述见解的启发，我们提出了截断HORIZON策略搜索（THOR），一种专注于搜索策略的方法，最大限度地提高总重塑奖励在一个有限的规划范围内，当预言是次优的。我们的实验表明，基于梯度的实现的THOR可以实现优越的性能相比，RL基线和IL基线，即使当oracle是次优的。
2018-05-29 cs.LG stat.ML
DQN Performance with Epsilon Greedy Policies and Prioritized Experience Replay
Brigham Young University
本文系统研究有限环境中 DQN 的 epsilon-greedy 探索调度与优先经验回放，通过多组仿真对比 uniform、no replay 和 prioritized 策略，揭示探索与记忆管理的权衡，并为资源受限场景提供强化学习实践建议。
2025-11-05 cs.AI cs.LG
Multi-Start Team Orienteering Problem for UAS Mission Re-Planning with Data-Efficient Deep Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在本文中，我们研究了多启动团队定向问题（MSTOP），一个任务重新规划问题，车辆最初位于远离仓库，并有不同的燃料量。我们考虑/假设多辆车的目标是行驶以最大化资源下收集的利润之和（例如，时间、燃料）消耗限制。这样的重新规划问题发生在广泛的智能无人机应用中，其中任务环境的变化迫使多个车辆的操作从原始计划改变。为了用深度强化学习（RL）解决这个问题，我们开发了一个策略网络，它在每个部分巡回上具有自注意力，在部分巡回和剩余节点之间具有编码器-解码器注意力。我们提出了一个修改后的REINFORCE算法，其中贪婪的推出基线被替换为本地小批量基线的基础上多个，可能是非重复的样本推出。通过为每个训练实例绘制多个样本，我们可以更快地学习，并以显著更少的实例获得稳定的策略梯度估计器。所提出的训练算法优于传统的贪婪卷展基线，即使与最大熵目标相结合。
2023-03-02 cs.LG cs.RO math.OC
On The Convergence Of Policy Iteration-Based Reinforcement Learning With Monte Carlo Policy Evaluation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习中的一种常见技术是从给定策略的蒙特卡罗模拟中评估价值函数，并使用估计的价值函数来获得相对于估计的价值函数是贪婪的新策略。在这种情况下，一个众所周知的长期未决问题是证明这样一个方案的收敛性，当一个策略的价值函数是根据从实施该策略获得的单个样本路径收集的数据估计的（参见[Sutton和Barto，2018]的第99页，[Tsitsiklis，2002]的第8页）。我们提出了一个解决方案的开放的问题，通过显示，这样的政策迭代方案的首次访问版本确实收敛到最优的政策，提供了政策改进步骤使用前瞻[银等，2016年，Mnih等人，2016，Silver等人，2017年12月27日，[[2017]]而不是简单的贪婪政策改进。我们提供的结果，为原来的开放式问题的表格设置，也提出了扩展的功能近似设置，在那里我们表明，从算法产生的政策执行接近最优政策内的功能近似误差。
2023-02-28 cs.AI cs.LG cs.SY
Solving the Paint Shop Problem with Flexible Management of Multi-Lane Buffers Using Reinforcement Learning and Action Masking
University of Freiburg（弗赖堡大学）；University of Vienna（维也纳大学）
本研究利用强化学习和动作掩码方法，解决具有灵活多车道缓冲管理的油漆车间问题，有效减少颜色变化并提高鲁棒性。
2026-01-05 cs.LG math.OC
