Greedy UnMixing for Q-Learning in Multi-Agent Reinforcement Learning
University of Technology Sydney（悉尼科技大学）；Faculty of Engineering and Information Technology（工程与信息技术学院）
本文介绍了贪婪Unmix（GUM）的合作多智能体强化学习（MARL）。Greedy UnMix旨在避免MARL方法由于高估作为大型联合状态-动作空间的一部分的值而失败的情况。它旨在通过一种保守的Q学习方法来解决这个问题，通过限制数据集中的状态边缘来避免未观察到的联合状态动作空间，同时尝试在分散执行范式的集中式训练下分解或简化问题空间。我们证明了在MARL场景的Q-学习中坚持Q-函数下限，并在一组基准MARL任务上表现出优于现有Q-学习MARL方法以及更一般的MARL算法的性能，尽管与最先进的方法相比相对简单。
2021-09-19 cs.LG cs.MA stat.ML
Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies
Technion（以色列理工学院）；Facebook AI Research（脸书人工智能研究院）
最先进的高效的基于基于模型的强化学习（RL）算法通常通过迭代求解经验模型来起作用，即，通过对由所收集的经验构建的马尔可夫决策过程（MDP）执行\emph{full-planning}。在本文中，我们专注于基于模型的RL在有限状态有限视野MDP设置，并建立探索与\emph{greedy policies}-由\emph{1-step planning} -可以实现严格的极小极大性能方面的遗憾，$\tilde{\mathcal{O}}(\sqrt{HSAT})$。因此，可以完全避免基于模型的RL中的完全规划，而不会降低任何性能，并且通过这样做，计算复杂性降低了$S$的一个因素。结果是基于实时动态规划的新的分析，然后扩展到基于模型的RL。具体来说，我们概括现有的算法，执行全面规划，使行动的1步规划。对于这些概括，我们证明了遗憾的界限与他们的全面规划同行相同的速度。
2019-10-31 cs.AI cs.LG stat.ML
Beyond the One Step Greedy Approach in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
著名的策略迭代算法在策略改进和策略评估之间交替进行。在以前的工作中，已经分析了该算法的实现与后一个评估阶段的几个变体，例如，$n$ -步骤和基于跟踪的返回。然而，多步骤前瞻性政策改进的情况下，尽管最近增加了其实力的经验证据，据我们所知，尚未仔细分析。在这项工作中，我们介绍了第一个这样的分析。也就是说，我们制定多步策略改进的变体，使用这些定义推导出新的算法，并证明其收敛性。此外，我们表明，最近突出的强化学习算法，事实上，我们的框架的实例。因此，我们揭示了他们的经验成功，并给出了一个配方，为未来的研究得出新的算法。
2018-07-30 cs.AI cs.LG stat.ML
ε-BMC: A Bayesian Ensemble Approach to Epsilon-Greedy Exploration in Model-Free Reinforcement Learning
University of Toronto（多伦多大学）
在强化学习（RL）算法的设计和实现中，如何解决探索-利用的权衡问题一直是一个基本问题。在本文中，我们专注于使用ε贪婪探索策略的无模型RL，尽管它很简单，但仍然是最常用的探索形式之一。然而，该策略的一个关键限制是$\varepsilon$的规范。在本文中，我们提供了一个新的贝叶斯观点的$\varepsilon$作为衡量的Q-价值函数的一致性。我们引入了一个封闭形式的贝叶斯模型更新的基础上贝叶斯模型组合（BMC），基于这个新的角度来看，这使我们能够适应$\varepsilon$使用的经验，在恒定的时间单调收敛的保证。我们证明，我们提出的算法，$\varepsilon$ - \texttt{BMC}，有效地平衡探索和开发不同的问题，执行优化或优于最佳调整的固定退火时间表和替代的数据相关的$\varepsilon$适应计划中提出的文献。
2020-07-02 cs.LG cs.RO stat.ML
Sparse approximation by greedy algorithms
University of South Carolina（南卡罗来纳大学）；Steklov Institute of Mathematics（斯捷克洛夫数学研究所）
本文综述了构造性稀疏逼近的最新成果，探讨了贪心算法在特殊字典中的Lebesgue型不等式、三角函数系的构造性稀疏逼近以及张量积结构字典的稀疏逼近方法，并提供了构造性方法和证明。
2015-11-05 cs.NA math.NA stat.ML
High-dimensional Sparse Inverse Covariance Estimation using Greedy Methods
UT Austin（德克萨斯大学奥斯汀分校）
在本文中，我们考虑的任务估计的稀疏逆协方差矩阵的零均值高斯随机向量的非零模式，从一组iid样本。注意，这也等同于恢复稀疏高斯马尔可夫随机场（GMRF）的底层图结构。我们提出了两种新的贪婪的方法来解决这个问题。第一种方法使用一系列全局向前和向后贪婪步骤估计总体逆协方差矩阵的非零协变量。第二种方法分别估计图中每个节点的邻域，再次使用贪婪的向前和向后步骤，并结合中间邻域形成整体估计。本文的主要贡献是一个严格的稀疏性分析，或恢复逆协方差矩阵的稀疏模式的一致性。令人惊讶的是，我们表明局部和全局贪婪方法都以仅给定$O(d\log(p))$样本的高概率学习模型的完整结构，这是对需要$O(d^2\log(p))$样本的现有技术$\ell_1$正则化高斯MLE（图形套索）的\emph{significant}改进。此外，我们的贪婪方法所施加的限制性特征值和光滑性条件比$\ell_1$正则化方法所需的强不可表示条件弱得多。我们证实了我们的结果与广泛的模拟和例子，比较我们的本地和全球贪婪的方法，$\ell_1$正则化高斯极大似然估计以及邻域贪婪的方法，节点$\ell_1$正则化线性回归（邻域套索）。
2011-12-29 cs.LG math.ST stat.ML
Learned Greedy Method (LGM): A Novel Neural Architecture for Sparse Coding and Beyond
The Computer Science Department - The Technion - Israel（以色列理工学院计算机科学系）
信号和图像处理领域受到深度神经网络的深刻影响。这些都成功地部署在广泛的现实世界的应用，获得最先进的结果，并超越了众所周知的和完善的经典方法。尽管它们取得了令人印象深刻的成功，但许多神经网络中使用的架构并没有明确的理由。因此，这些通常被视为“黑盒”机器，缺乏任何类型的可解释性。针对这一缺点的建设性补救措施是通过展开众所周知的迭代算法来系统地设计此类网络。这种方法的一个流行的代表是迭代收缩保持算法（ISTA）及其学习版本- LISTA，旨在处理信号的稀疏表示。在本文中，我们重新审视这个稀疏编码任务，并提出了一个展开版本的贪婪追求算法为同一目标。更具体地说，我们专注于著名的搜索匹配追踪（OMP）算法，并介绍其展开和学习的版本。我们的学习贪婪方法（LGM）的主要特点是能够容纳动态数量的展开层，和基于表示错误的停止机制，两者都适应于输入。我们开发了几个变种的建议LGM架构和测试他们中的一些在各种实验中，展示了他们的灵活性和效率。
2020-10-20 cs.LG eess.SP stat.ML
DICOD: Distributed Convolutional Sparse Coding
CMLA, ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷高等师范学院、巴黎萨克雷大学数学与应用数学中心）；L2TI, Université Paris 13（巴黎第十三大学信息处理与交互技术实验室）
在本文中，我们介绍了DICOD，卷积稀疏编码算法，建立长信号的移位不变表示。该算法被设计为在分布式环境中运行，具有本地消息传递，使其通信高效。它基于坐标下降，并使用局部贪婪更新，与贪婪坐标选择相比，这加快了分辨率。我们证明了该算法的收敛性，并强调其计算速度是超线性的核数。我们还提供了经验证据，我们的算法相比，国家的最先进的方法的加速性能。
2018-05-13 cs.LG stat.ML
Exploiting Semantic Epsilon Greedy Exploration Strategy in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
多智能体强化学习（MARL）可以对许多现实世界的应用进行建模。然而，许多MARL方法依赖于贪婪的探索，这可能会阻碍在困难的情况下访问有利的状态。在本文中，我们提出了一种新的方法QMIX（SEG）处理MARL。它利用价值函数分解方法QMIX训练每Agent策略和一种新的语义外延贪婪（SEG）探索策略。SEG是对传统的贪婪搜索策略的简单扩展，但实验表明它可以大大提高MARL的性能。我们首先将动作聚类成具有相似效果的动作组，然后在一个双层的贪婪探索层次结构中使用这些组进行动作选择。我们认为，SEG有利于语义探索，探索在空间组的行动，这比原子行动具有更丰富的语义意义。实验表明，QMIX（SEG）大大优于QMIX，并导致强大的性能竞争力与当前国家的最先进的MARL方法在星际争霸多智能体挑战赛（SMAC）的基准。
2022-01-27 cs.AI cs.LG cs.MA
Guarantees for Epsilon-Greedy Reinforcement Learning with Function Approximation
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；Cornell University（康奈尔大学）
短视的探索策略，如ε-greedy，softmax或高斯噪声，在某些强化学习任务中无法有效地探索，但在许多其他任务中表现良好。事实上，在实践中，由于它们的简单性，它们经常被选为首选。但是，这些政策在哪些方面取得了成功？我们能为它们的良好表现提供理论保证吗？尽管这些政策具有突出的实际重要性，但这些关键问题几乎没有得到研究。本文对这种策略进行了理论分析，并给出了带有近视探索的强化学习的第一遗憾和样本复杂度界限。我们的研究结果适用于基于值函数的算法在情节MDP与有界贝尔曼Eluder维数。我们提出了一个新的复杂性措施，称为近视勘探差距，由阿尔法表示，捕获的MDP，勘探政策和给定的价值函数类的结构属性。我们发现近视探索的样本复杂度与这个量的倒数1 /α ^2成二次方关系。我们进一步通过具体的例子证明，近视的探索差距确实是有利的，在近视的探索成功的几个任务，由于相应的动力学和奖励结构。
2022-06-19 cs.LG
Understanding Deep Neural Function Approximation in Reinforcement Learning via $ε$-Greedy Exploration
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文对在线环境下基于$ε$贪婪探索的强化学习（RL）中的深度神经函数逼近进行了理论研究。这个问题设置的动机是成功的深度Q网络（DQN）框架，属于这一制度。在这项工作中，我们从函数类和神经网络架构的角度（例如，深度和宽度）超出“线性”范围。具体而言，我们专注于基于值的算法与$ε$贪婪探索通过深（和两层）神经网络赋予Besov（和Barron）函数空间，分别，其目的是近似$d$维特征空间中的$α$ -光滑Q-函数。我们证明，使用$T$情节，缩放深度RL的神经网络的宽度$m = \widetilde{\mathcal{O}}(T^{\frac{d}{2α+ d}})$和深度$L=\mathcal{O}(\log T)$足以在Besov空间中进行次线性遗憾学习。此外，对于由Barron空间赋予的两层神经网络，缩放宽度$Ω(\sqrt{T})$是足够的。为了实现这一点，我们分析中的关键问题是如何估计深度神经函数近似下的时间差误差，因为$ε$贪婪探索不足以确保"乐观“。我们的分析重新制定的时间差误差的$L^2(\mathrm{d}μ)$ -可积空间在一定的平均测量$μ$，并将其转化为一个推广问题下的非iid设置。这可能对RL理论有自己的兴趣，以便更好地理解深度RL中的$ε$ -贪婪探索。
2022-10-16 cs.LG
Near-Oracle Performance of Greedy Block-Sparse Estimation Techniques from Noisy Measurements
本文研究了贪心算法从噪声测量中估计块稀疏参数向量的能力。特别是，块稀疏版本的正交匹配的追求和阈值化算法进行了分析下的对抗和高斯噪声模型。在对抗设置中，它表明，估计精度在噪声功率的恒定因子内。在高斯噪声下，Cramer-Rao界的推导，并表明，贪婪的技术来接近这个界在高信噪比。保证数值比较块和非块算法的实际性能，突出块稀疏技术的优势。
2010-09-05 cs.IT math.IT math.ST
A Greedy Approach to $\ell_{0,\infty}$ Based Convolutional Sparse Coding
Tel Aviv University（特拉维夫大学）
用于图像处理的稀疏编码技术传统上依赖于分别处理小的重叠块，然后进行平均。这具有的缺点是，重建的图像不再服从在处理中使用的稀疏先验。为了这个目的，卷积稀疏编码已经被引入，其中使用移位不变字典并且保持恢复图像的稀疏性。大多数这样的策略以整个图像的$\ell_0$“范数”或$\ell_1$范数为目标，这可能在图像中的各个区域之间产生不平衡的稀疏性。为了应对这一挑战，有人提出了$\ell_{0,\infty}$“规范”，作为“在当地运作，在全球思考”的替代方案。解决这些优化问题的非凸性所采取的方法是使用凸松弛或局部追踪算法。在本文中，我们提出了一个有效的贪婪方法稀疏编码和字典学习，这是专门为$\ell_{0,\infty}$，是基于匹配追踪。我们展示了我们的方法在椒盐噪声去除和图像修复中的使用。在https://web.eng.tau.ac.il/~raja上可以找到一个代码包，它再现了本文中提出的实验。
2018-12-26 cs.LG eess.IV eess.SP
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Minzu University（西南民族大学）；Chengdu University of Technology（成都理工大学）；Nanyang Technological University（南洋理工大学）
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题，提出乐观ε-贪心探索方法，通过乐观更新网络以概率ε采样最优动作，有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search are Related
本文考虑了最近出现的高光谱解混配方的基础上稀疏回归的自字典多测量向量（SD-MMV）模型，其中测量的高光谱像素被用作字典。在纯像素假设下操作，这种SD-MMV形式主义是特殊的，因为它允许同时识别端元光谱特征和端元的数量。以前的SD-MMV研究主要集中在凸松弛。在这项研究中，我们探讨了贪婪追求的替代方案，它通常提供了高效和简单的算法。特别是，我们设计了一个贪婪的SD-MMV算法使用同时正交匹配追踪。有趣的是，所提出的贪婪算法被证明是密切相关的一些现有的纯像素搜索算法，特别是，连续投影算法（SPA）。因此，SD-MMV和纯像素搜索之间的联系被揭示出来。然后，我们进行精确的恢复分析，并证明所提出的贪婪算法是强大的噪声-包括其识别的（未知）数量的端元-在一个足够低的噪声水平。通过仿真实验和实际数据实验验证了该算法的辨识性能。
2015-03-03 cs.IT math.IT math.OC
A greedy algorithm for sparse precision matrix approximation
精度矩阵估计是统计数据分析中的一个重要问题。本文介绍了一种用于压缩感知的快速稀疏精度矩阵估计算法GISS $^{ρ}$。GISS算法$^{ρ}$是基于$l_1$最小化原理，结合贪婪算法的计算优势而提出的。我们分析了所提出的GISS $^{ρ}$的渐近收敛速度的稀疏精度矩阵估计和稀疏恢复性能的停止标准。最后，我们数值比较GISS $^ρ$其他稀疏恢复算法，如ADMM和HTP在三个设置的精度矩阵估计。数值结果表明了该算法的优越性。
2019-07-01 math.ST stat.TH
Greedy based Value Representation for Optimal Coordination in Multi-agent Reinforcement Learning
Xian Jiaotong University（西安交通大学）
由于联合Q价值函数表示的局限性，线性值分解（LVD）或单调值分解（MVD）的多智能体强化学习方法存在相对泛化问题。结果，它们不能确保最佳一致性（即，个体贪婪行为与最大真实Q值之间的对应关系）。本文导出了LVD和MVD的联合Q价值函数的表达式。根据这个表达式，我们画出了一个转移图，其中每个自转移节点（n）都是一个可能的收敛。为了保证最佳的一致性，最佳节点必须是唯一的节点。因此，我们提出了基于贪婪的值表示（GVR），它通过较差的目标整形将最佳节点转化为最佳节点，并通过较好的经验重放进一步消除非最佳STNs。此外，GVR实现了最优性和稳定性之间的自适应权衡。我们的方法在各种基准测试的实验中优于最先进的基线。理论证明和矩阵博弈的实证结果表明，GVR保证最优的一致性充分的探索。
2022-11-22 cs.LG cs.MA
A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model
贝叶斯强化学习（RL）不仅能够整合领域知识，而且能够以自然的方式解决探索-利用困境。由于贝叶斯强化学习是棘手的，除了特殊情况下，以前的工作提出了几个近似方法。然而，这些方法通常对参数值过于敏感，并且在许多应用中几乎不可能找到可接受的参数设置。在本文中，我们提出了一个新的算法，Greatest近似贝叶斯RL实现参数空间中的鲁棒性。我们表明，对于所需的学习行为，我们提出的算法具有多项式样本的复杂性，低于现有的算法。我们还表明，该算法自然优于其他现有的算法时，先验分布没有显着误导。另一方面，该算法不能处理严重错误的先验知识，以及其他算法可以。这是一个自然的结果，事实上，该算法是贪婪的比其他算法。因此，我们讨论了一种方法来选择一个合适的算法为不同的任务的基础上的算法的贪婪。我们还介绍了一种新的方法来简化贝叶斯规划，在此基础上，未来的工作将能够得到新的算法。
2013-06-13 cs.AI cs.LG stat.ML
Fusion of Greedy Pursuits for Compressed Sensing Signal Reconstruction
贪婪追踪算法是压缩感知中稀疏信号恢复的一种常用算法。虽然许多贪婪的追求具有优雅的理论保证的性能，它是众所周知的，它们的性能取决于稀疏信号中的非零元素的统计分布。在实践中，稀疏信号的分布可能不是先验已知的。它还观察到，贪婪的追求的性能下降，可用的测量值的数量从一个阈值，这是方法相关的减少。为了提高在这些情况下的性能，我们引入了一个新的融合框架贪婪的追求，也提出了两个算法稀疏恢复。通过蒙特卡罗模拟，我们表明，所提出的计划，提高稀疏信号恢复干净，以及噪声测量的情况下。
2012-06-19 cs.IT math.IT stat.AP
On Optimistic versus Randomized Exploration in Reinforcement Learning
Google Deepmind（谷歌DeepMind）；Stanford University（斯坦福大学）
我们讨论了乐观和随机方法在强化学习中的相对优点。在文献中提出的乐观的方法应用乐观的提升值估计在每个状态动作对，并选择相对于所得到的乐观值函数是贪婪的动作。随机化方法从统计上合理的值函数中采样，并选择相对于随机样本贪婪的动作。先前的计算经验表明，随机方法可以导致统计上更有效的学习。我们提出了两个简单的分析例子，阐明为什么会出现这种情况。原则上，应该有乐观的方法，相对于随机方法来说，效果很好，但这需要棘手的计算。在文献中已经提出的乐观方法为了计算效率而牺牲统计效率。另一方面，随机化方法可以同时实现统计和计算效率。
2017-06-13 cs.LG stat.ML
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Temporally-Extended ε-Greedy Exploration
DeepMind（深度思维）
最近在强化学习（RL）方面的探索工作已经导致了一系列越来越复杂的问题解决方案。这种复杂性的增加往往以牺牲通用性为代价。最近的实证研究表明，当应用于更广泛的领域时，一些复杂的探索方法会被更简单的方法（如ε-greedy）所超越。在本文中，我们提出了一个探索算法，保留了简单的ε-贪婪，同时减少抖动。我们建立在一个简单的假设上：ε-贪婪探索的主要限制是它缺乏时间持久性，这限制了它逃避局部最优的能力。我们提出了一种时间扩展形式的ε-greedy，简单地重复采样动作随机持续时间。事实证明，对于许多持续时间分布，这足以改善对大量域的探索。有趣的是，一类受动物觅食行为生态模型启发的分布产生了特别强的性能。
2020-06-02 cs.LG stat.ML
On Solving the 2-Dimensional Greedy Shooter Problem for UAVs
University of Minnesota Twin Cities（明尼苏达大学双城分校）；St. Mark’s School of Texas（德克萨斯州圣马可学校）
无人机（UAV）是一种自动制导的飞行器，广泛用于监视和侦察任务。近年来，由于人工智能的许多突破，围绕无人机及其变体的追捕-逃避问题的一个版本已经得到了广泛的研究。提出了一种基于强化学习（RL）的无人机二维空中交战环境下的追逃方法，RL是一种面向目标的机器学习方法。在这项工作中，使用贪婪射手策略的无人机与使用深度Q学习技术训练的无人机进行了互动。仿真结果表明，在初始化过程中无人机充分分离的情况下，后一种无人机赢得了每次交战。这种方法强调了强化学习的详尽和强大的应用，以追求规避，提供洞察无人机飞行和互动的有效策略。
2019-11-02 cs.LG cs.RO stat.ML
Worst-case Performance of Greedy Policies in Bandits with Imperfect Context Observations
上下文强盗是在具有时变成分的环境中的不确定性下的序列决策的规范模型。在这种情况下，每个强盗手臂的预期奖励由一个未知参数与该手臂的上下文向量的内积组成。经典的强盗设置在很大程度上依赖于假设的上下文是完全观察到的，而不完全观察上下文强盗的更丰富的模型的研究是不成熟的。这项工作考虑了贪婪强化学习策略，这些策略采取行动，就好像参数和未观察到的上下文的当前估计值与相应的真值一致。我们建立了非渐近的最坏情况下的遗憾增长的时间范围和故障概率的多项式，而它的规模与武器的数量线性。数值分析显示上述效率的贪婪政策也提供。
2022-05-25 cs.LG stat.ML
A greedy anytime algorithm for sparse PCA
在解决一些高维统计问题，特别是涉及非凸优化的问题时，计算工作量很大，这使得高效运行（多项式时间）但不能保证统计一致性的算法的开发和分析得到了普及。鉴于不断增加的计算能力和不断降低的成本，算法的一个更有用的特征是它们能够利用手头输入的各种特性和可用的计算资源来校准所投入的计算工作。例如，设计一种算法，当SNR变弱时，通过增加运行时间来始终保证其输出的统计一致性。我们提出了一个新的贪婪算法的$\ell_0$稀疏PCA问题，支持校准原则。我们提供了一个严格的分析，我们的算法在尖峰协方差模型，以及模拟结果和与其他现有方法的比较。我们的研究结果表明，我们的算法恢复尖峰SNR制度，所有多项式时间算法失败，同时在一个合理的并行时间上运行的集群。
2020-02-12 cs.CC cs.LG math.ST
Info-Greedy sequential adaptive compressed sensing
提出 Info-Greedy Sensing 自适应压缩感知框架，通过序贯选择最大化条件信息增益的测量，为 k-稀疏、高斯及 GMM 信号设计算法，并验证其性能与鲁棒性。
2015-02-02 cs.IT math.IT math.ST
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University（印第安纳大学）
各种各样的表示学习方法已经被研究用于强化学习;然而，很少有人关注稀疏编码的效用。在强化学习之外，稀疏编码表示已被广泛使用，其非凸目标导致区分表示。在这项工作中，我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性，我们证明了所有的局部极小值是全局极小值，使该方法适合简单的优化策略。我们的经验表明，使用监督目标是关键，而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示，称为瓦片编码，证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
ETGL-DDPG: A Deep Deterministic Policy Gradient Algorithm for Sparse Reward Continuous Control
Department of Computing Science, University of Alberta（计算科学系，阿尔伯塔大学）；Huawei Canada Research Center（华为加拿大研究中心）
ETGL-DDPG通过引入εt-贪心、GDRB和最长n步技术，改进了DDPG在稀疏奖励连续控制中的性能。
2026-02-17 cs.LG cs.RO stat.ML
Greedy Feature Selection for Subspace Clustering
Rice University（莱斯大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究使用贪婪方法（正交匹配追踪）进行子空间聚类的精确特征选择，并证明其在稀疏采样条件下优于最近邻方法。
2013-07-03 cs.LG cs.NA math.NA
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University（首尔大学）
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
The Utility of Sparse Representations for Control in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究了强化学习中的稀疏表示控制。虽然这些表示广泛用于计算机视觉，但它们在强化学习中的流行仅限于稀疏编码，其中提取新数据的表示可能是计算密集型的。在这里，我们开始证明，学习控制策略增量与代表从一个标准的神经网络在经典的控制域失败，而学习与代表从一个神经网络，具有稀疏性的属性是有效的。我们提供的证据表明，这是因为稀疏表示提供了局部性，因此避免了灾难性干扰，特别是保持一致，稳定的值自举。然后我们讨论如何学习这种稀疏表示。我们探讨的想法分布正则化，其中隐藏节点的激活被鼓励匹配一个特定的分布，导致在整个时间的稀疏激活。我们确定了一种简单但有效的方法来获得稀疏表示，而不是由以前提出的策略，使其更实用的进一步调查稀疏表示强化学习。
2018-11-15 cs.AI cs.LG stat.ML
Beyond Greedy Search: Tracking by Multi-Agent Reinforcement Learning-based Beam Search
Anhui University（安徽大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
为了跟踪视频中的目标，目前的视觉跟踪器通常采用贪婪搜索的方法在每帧中定位目标，即选择响应得分最大的候选区域作为每帧的跟踪结果。然而，我们发现这可能不是最佳选择，特别是当遇到具有挑战性的跟踪场景时，如严重遮挡和快速运动。为了解决这个问题，我们提出了保持多个跟踪轨迹和应用束搜索策略的视觉跟踪，使具有较少的累积误差的轨迹可以被识别。因此，本文介绍了一种新的多智能体强化学习的束搜索跟踪策略，称为BeamTracking。它主要受到图像描述任务的启发，该任务以图像作为输入，并使用束搜索算法生成各种描述。因此，我们制定的跟踪作为一个样本选择问题，由多个并行的决策过程，其中每一个的目的是挑选出一个样本作为他们的跟踪结果在每一帧完成。每个维护的轨迹都与代理相关联，以执行决策并确定应该采取什么行动来更新相关信息。当所有帧都处理完后，我们选择具有最大累积分数的轨迹作为跟踪结果。在七个流行的跟踪基准数据集上的实验验证了该算法的有效性。
2022-08-30 cs.AI cs.CV cs.LG
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Greedy-Step Off-Policy Reinforcement Learning
MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
大多数策略评估算法都是基于Bellman期望和最优性方程的理论，由此衍生出两种流行的策略评估方法--策略迭代（PI）和值迭代（VI）。然而，由于多步偏离策略校正的大的方差，多步自举经常与基于PI的方法中的离策略学习处于交叉目的。相比之下，基于VI的方法是自然的off-policy，但受到one-step learning.本文中，我们推导出一个新的多步Bellman最优性方程，利用多步自举的最优价值函数的潜在结构。通过这个新方程，我们得到了一个新的多步数值迭代方法，该方法收敛于指数收缩率为$\mathcal{O}(γ^n)$的最优价值函数，但计算复杂度仅为线性计算复杂性.实验表明，本文提出的方法可靠、易于实现，在一系列标准基准数据集上的性能达到了最佳水平。
2021-12-15 cs.AI cs.LG cs.MA
Greedy Sparsity-Constrained Optimization
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
提出一种贪婪算法GraSP，用于近似任意形式代价函数的稀疏最小值，并在代价函数满足稳定受限Hessian或稳定受限线性化时保证收敛到真稀疏最优解的有界距离内。
2013-01-06 cs.NA math.NA math.OC
The Divergence of Reinforcement Learning Algorithms with Value-Iteration and Function Approximation
City University London（伦敦城市大学）
本文给出了几种主要的强化学习和自适应动态规划算法在使用价值函数的函数逼近器时值迭代的具体发散示例。这些分歧的例子不同于文献中以前的分歧的例子，因为它们适用于贪婪的政策，即在“价值迭代”的情况下。也许令人惊讶的是，使用贪婪策略，也可以得到算法TD（1）和Sarsa（1）的发散。除了这些分歧，我们也实现了分歧的自适应动态规划算法HDP，DHP和GDHP。
2012-07-29 cs.LG
TBQ($σ$): Improving Efficiency of Trace Utilization for Off-Policy Reinforcement Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
由于目标策略和行为策略之间的差异，具有资格痕迹的非策略强化学习具有挑战性。一种常见的方法是以概率的方式测量两个策略之间的差异，例如重要性抽样和树备份。然而，现有的基于概率策略测量的离线学习方法在贪婪目标策略下利用轨迹时效率低下，这对于控制问题是无效的。当采取非贪婪动作时，迹线立即被切断，这可能会失去资格迹线的优势并减慢学习过程。或者，一些非概率测量方法，如通用Q（$λ$）和朴素Q（$λ$）从不切割迹线，但在实践中面临收敛问题。针对上述问题，提出了一种新的树备份算法TBQ（$σ$），它有效地将树备份算法和朴素Q（$λ$）结合起来。TBQ（$σ$）通过引入一个新的参数$σ$来说明利用轨迹的\emph{degree}，实现了TB（$λ$）和Naive Q（$λ$）的有效整合以及它们之间的持续角色转换。从理论上分析了TB（$σ$）在策略评估和控制设置中的收缩特性。我们还推导了TBQ的在线版本（$σ$），并给出了收敛性证明。我们的经验表明，对于$ε$ -贪婪策略中的$ε\in(0,1]$，存在一定程度的利用$λ\in[0,1]$的痕迹，这可以提高离线强化学习的痕迹利用效率，从而加快学习过程并提高性能。
2019-05-17 cs.AI cs.LG stat.ML
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
尽管现有的Meta强化学习方法取得了成功，但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面，我们开发了一种新的元强化学习框架称为超Meta RL（HMRL），稀疏奖励RL问题。该方法由三个模块组成：跨环境Meta状态嵌入模块，构建了一个通用的Meta状态空间，以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块，通过跨环境知识互补有效地扩展了原稀疏奖励轨迹，从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明，HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Greedy Bandits with Sampled Context
George Mason University（乔治梅森大学）
贝叶斯策略的上下文强盗已被证明是有前途的单状态强化学习任务建模的不确定性，使用环境中的上下文信息。在本文中，我们提出了贪婪的土匪与采样上下文（GB-SC），上下文多武装土匪的方法，以开发先验的上下文信息使用汤普森采样，和手臂选择使用ε-贪婪的政策。框架GB-SC允许上下文奖励依赖性的评估，以及通过利用先前开发的部分可观察的上下文向量提供鲁棒性。我们的实验结果显示了在蘑菇环境中的预期遗憾和预期累积遗憾方面的竞争性能，以及对每个上下文子集如何影响决策的见解。
2020-07-27 cs.AI cs.LG
RLx2: Training a Sparse Deep Reinforcement Learning Model from Scratch
Tsinghua University（清华大学）
训练深度强化学习（DRL）模型通常需要很高的计算成本。因此，压缩DRL模型在训练加速和模型部署方面具有巨大的潜力。然而，现有的生成小模型的方法主要采用基于知识蒸馏的方法，通过迭代地训练密集网络。因此，训练过程仍然需要大量的计算资源。事实上，DRL中从头开始的稀疏训练尚未得到很好的探索，并且由于bootstrap训练中的非平稳性而特别具有挑战性。在这项工作中，我们提出了一种新的稀疏DRL训练框架，“操纵强化学习彩票”（RLx 2），它建立在基于梯度的拓扑进化，并能够训练一个稀疏DRL模型完全基于稀疏网络。具体来说，RLx 2引入了一种新的多步TD目标机制，具有动态容量的重放缓冲区，以实现稀疏模型中的鲁棒值学习和高效拓扑探索。它还在多个任务中达到了最先进的稀疏训练性能，显示了7.5 \times -20 \times模型压缩，性能下降不到3%，训练和推理分别减少了多达20 \times和50 \times FLOP。
2023-03-08 cs.LG
ES-C51: Expected Sarsa Based C51 Distributional Reinforcement Learning Algorithm
UIET, Panjab University , Chandigarh , India（旁遮普大学UIET，昌迪加尔，印度）；Federation University, Victoria, Australia（联邦大学，维多利亚，澳大利亚）
提出ES-C51算法，用期望Sarsa更新替代贪心更新，结合softmax处理相似奖励，提升分布式强化学习稳定性，在Gym和Atari-10上优于QL-C51。
2025-10-16 cs.LG
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center（CETIC研究中心）
本文研究了强化学习在局部搜索中用于邻域选择的效果，发现ε-贪心表现优异，而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh（爱丁堡大学）；J.P. Morgan AI Research（摩根大通人工智能研究）；Imperial College London（伦敦帝国理工学院）
研究连续时间强化学习中熵正则化的策略鲁棒性，建立相关理论保证，分析鲁棒集特性，实验验证其有效性。
2026-07-07 cs.LG math.OC
Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning
ETH Zurich（苏黎世联邦理工学院）；Bosch Center for Artificial Intelligence（博世人工智能中心）
具有概率动态模型的基于模型的强化学习算法是数据效率最高的学习方法之一。这通常归因于他们区分认知和任意不确定性的能力。然而，大多数算法在学习模型时区分这两种不确定性，但在优化策略时却忽略了这两种不确定性，导致了贪婪和探索不足。同时，乐观探索算法还没有实用的求解器。在本文中，我们提出了一个实用的乐观探索算法（H-UCRL）。H-UCRL重新参数化的一组合理的模型和幻觉控制直接对认知的不确定性。通过用幻觉输入扩充输入空间，可以使用标准贪婪规划器来求解H-UCRL。此外，我们分析了H-UCRL，并构造了一个一般的遗憾界校准模型，这是可证明的高斯过程模型的情况下，是次线性的。基于这一理论基础，我们展示了乐观探索如何轻松地与最先进的强化学习算法和不同的概率模型相结合。我们的实验表明，乐观的探索显着加快学习时，有惩罚的行动，这是众所周知的困难，现有的基于模型的强化学习算法的设置。
2020-12-01 cs.LG cs.RO cs.SY
The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning
City University London（伦敦城市大学）
在这篇理论论文中，我们关注的问题，学习一个价值函数的光滑一般函数逼近器，解决一个确定性的情节控制问题在一个大的连续状态空间。结果表明，学习值函数的梯度在每一个点沿着轨迹产生的贪婪的政策是一个充分条件的轨迹是局部极值，往往是局部最优的，我们认为，这带来了更高的效率值函数学习。这与传统的值函数学习形成对比，在传统的值函数学习中，值函数必须在整个状态空间上学习。它也证明了，政策梯度学习应用于一个贪婪的政策价值函数产生的权重更新相当于一个价值梯度权重更新，这提供了一个令人惊讶的连接之间的这两个替代范例的强化学习，和收敛证明控制问题的价值函数表示的一般光滑函数逼近。
2011-01-02 cs.AI cs.LG
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
University of Utah（犹他大学）；University at Buffalo（布法罗大学）
Greedy-GQ是一种基于值的强化学习（RL）算法，用于最优控制。最近，有限时间分析的贪婪-GQ已被开发下的线性函数逼近和马尔可夫采样，该算法被证明是实现一个$ε$ -平稳点的顺序$\mathcal{O}(ε^{-3})$的样本复杂度。如此高的样本复杂度是由于马尔可夫样本引起的大方差。本文提出了一种用于非策略最优控制的方差减小的贪婪GQ（VR-Greedy-GQ）算法。特别地，该算法应用基于SVRG的方差减小方案来减小两个时间尺度更新的随机方差。在线性函数逼近和马尔可夫采样下，研究了VR-Greedy-GQ的有限时间收敛性，并证明了该算法比原Greedy-GQ具有更小的偏差和方差误差.特别是，我们证明了VR-Greedy-GQ实现了一个改进的样本复杂度是在$\mathcal{O}(ε^{-2})$的顺序。我们进一步比较了VR-Greedy-GQ和Greedy-GQ在各种RL实验中的性能，以证实我们的理论研究结果。
2021-03-30 cs.LG math.OC
Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations
Cifrum；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Chuvash State University（楚瓦什国立大学）
本文提出了一种基于稀疏计算的方法，用于优化强化学习（RL）任务的神经网络。这种方法结合了两种思想：神经网络修剪和考虑输入数据相关性;它使得只有当神经元状态的变化超过一定阈值时才能更新神经元状态。它显著减少了运行神经网络时的乘法次数。我们测试了不同的RL任务，并实现了乘法次数减少20- 150倍。没有实质性的性能损失;有时性能甚至有所改善。
2022-04-07 cs.LG cs.NE
Almost-Optimal Local-Search Methods for Sparse Tensor PCA
针对稀疏张量 PCA 中局部马尔可夫链方法的“局部-计算”差距，提出基于正则化后验的贪心、随机贪心及随机阈值局部搜索方法，在多个机制区间达到近乎最优的多项式时间性能。
2025-06-11 cs.DS math.ST stat.ML
Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning
National Engineering School of Tunis, University of Tunis El Manar（突尼斯艾尔玛纳尔大学突尼斯国立工程师学校）；University of Tripoli（的黎波里大学）；University of Picardie Jules Verne Amiens（亚眠皮卡第朱尔斯·凡尔纳大学）
针对稀疏奖励长视野强化学习挑战，提出两级分层强化学习框架，高级战略规划与低级SAC算法结合并利用熵正则化策略优化，经SAR-2数据集训练评估，HRL-SAC在多方面优于普通SAC，为相关任务提供有前途的解决方案。
2026-07-28 cs.LG cs.RO
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg，以缓解离线强化学习在小数据集上的过拟合问题，在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
The State of Sparse Training in Deep Reinforcement Learning
Google Research（谷歌研究院）；Adept AI（Adept人工智能公司）
近年来，稀疏神经网络的使用得到了快速增长，特别是在计算机视觉中。它们的吸引力很大程度上源于训练和存储所需的参数数量的减少，以及学习效率的提高。有些令人惊讶的是，很少有人在深度强化学习（DRL）中探索它们的用途。在这项工作中，我们进行了系统的调查，将一些现有的稀疏训练技术应用于各种DRL代理和环境。我们的研究结果证实了在计算机视觉领域进行稀疏训练的结果-在DRL领域，对于相同的参数计数，稀疏网络的性能优于密集网络。我们提供了详细的分析如何在DRL的各种组件的影响，使用稀疏网络，并得出结论，建议有前途的途径，以提高稀疏训练方法的有效性，以及推进其在DRL的使用。
2022-06-17 cs.AI cs.LG
Exploration in Interactive Personalized Music Recommendation: A Reinforcement Learning Approach
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
当前的音乐推荐系统通常通过推荐具有最高用户评级的歌曲来以贪婪的方式起作用。然而，贪婪的推荐从长远来看是次优的：它不会主动收集用户偏好的信息，也不会推荐可能感兴趣的新颖歌曲。一个成功的推荐系统必须平衡探索用户偏好和利用这些信息进行推荐的需求。本文提出了一种新的音乐推荐方法，将这种探索-利用权衡公式化为一种称为多臂强盗的强化学习任务。为了学习用户偏好，它使用贝叶斯模型，该模型考虑了音频内容和推荐的新颖性。采用分段线性近似模型和变分推理算法来加快贝叶斯推理。我们的方法的另一个好处是音乐推荐和播放列表生成的单一统一模型。模拟结果和用户研究表明，新方法的强大潜力。
2013-11-06 cs.IR cs.LG cs.MM
