Null Counterfactual Factor Interactions for Goal-Conditioned Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California San Diego（加州大学圣地亚哥分校）；MBZUAI（马克斯·普朗克人工智能研究所）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
本文针对目标条件强化学习在以对象为中心领域中的稀疏奖励问题，提出基于零反事实交互定义的 HInt 事后重新标记方法和 NCII 交互推断模型，显著提升交互推断准确率并将样本效率提高最多 4 倍。
2025-05-06 cs.AI cs.LG
Where Hindsight Credit Can Reside: A Signed-Capacity View of Token Updates in RLVR
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Huawei Technologies Ltd.（华为技术有限公司）
本文通过条件互信息分析RLVR中令牌级信用的容量上限，提出四象限分解区分更新方向，并设计HAPO算法进行容量引导的优势重分配，提升数学推理性能。
2026-05-26 cs.AI cs.LG
HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents
本文提出 HINT-SD，一种针对长 Horizon 智能体的定向 hindsight 自监督学习框架，通过全轨迹 hindsight 选择失败相关的动作，并仅在目标动作跨度上应用反馈条件自监督学习，实验表明该方法在 BFCL v3 和 AppWorld 上比密集的每回合反馈基线提高了 18.80 个百分点，同时训练时间降低 2.26 倍。
2026-10-05 cs.AI cs.CL cs.LG
Closing the Gap between TD Learning and Supervised Learning with $Q$-Conditioned Maximization
Xi’an Jiaotong University（西安交通大学）；Westlake University（西湖大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Georgia Institute of Technology（佐治亚理工学院）；National University of Singapore（新加坡国立大学）；Aalto University School of Electrical Engineering, Aalto University（阿alto大学电气工程学院，阿alto大学）
提出GCReinSL，通过Q条件最大化和归一化流估计，赋予监督学习轨迹拼接能力，在离线目标条件强化学习中缩小与TD学习的性能差距。
2025-09-11 cs.LG
Trajectory-Relative Hindsight Distillation for Agentic Reinforcement Learning
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tencent（腾讯）
针对智能体强化学习中事后信号分配不清的问题，提出TRIAL框架，通过轨迹相对步分配优化监督信号，在WebShop、ALFWorld等任务上优于GRPO及多数基线方法，提升了任务性能。
2026-08-10 cs.CL cs.LG
On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
Mila (Quebec AI Institute)（米拉（魁北克人工智能研究所））；Université Laval（拉瓦尔大学）；CIFAR AI Chair（CIFAR人工智能教席）
发现事后重标记在多目标强化学习中导致偏好覆盖坍缩，提出her_mix方法恢复性能并大幅降低弃权偏好质量。
2026-09-24 cs.AI cs.LG
MHER: Model-based Hindsight Experience Replay
Tsinghua University（清华大学）；Tencent Robotics X（腾讯机器人X实验室）；Eindhoven University of Technology（埃因霍温理工大学）；King’s College London（伦敦国王学院）
解决具有稀疏奖励的多目标强化学习（RL）问题通常具有挑战性。现有的方法利用目标重新标记收集的经验，以减轻从稀疏奖励提出的问题。但这些方法在效率上仍有局限性，不能充分利用经验。在本文中，我们提出了基于模型的后见之明经验重放（MHER），它利用经验更有效地利用环境动态生成虚拟实现的目标。用与训练的动态模型交互产生的虚拟目标替换原始目标，导致了一种新的重新标记方法，基于模型的重新标记（MBR）。基于MBR，MHER执行强化学习和监督学习以有效地改进策略。理论上，我们还证明了MHER中的监督部分，即，利用MBR数据的目标条件监督学习优化了多目标RL目标的下限。在多个基于点的任务和模拟机器人环境中的实验结果表明，MHER实现了显着更高的样本效率比以前的无模型和基于模型的多目标方法。
2021-11-27 cs.AI cs.LG cs.RO
Hindsight Preference Learning for Offline Preference-based Reinforcement Learning
Nanjing University（南京大学）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出后见偏好学习（HPL），通过以轨迹段未来结果为条件的奖励建模人类偏好，并利用变分自编码器近似未来结果分布，从而在离线偏好强化学习中更有效地进行信用分配，实验证明其在多个领域能提供稳健且优越的奖励。
2024-07-05 cs.AI cs.LG
Unifying Goal-Conditioned RL and Unsupervised Skill Learning via Control-Maximization
Helmholtz Munich（海德堡大学慕尼黑分校）；Max Planck Institute for Biological Cybernetics（生物 cybernetics 最大计划研究所）；Princeton University（普林斯顿大学）；University of Tübingen（图宾根大学）
本文通过控制最大化理论统一了目标条件强化学习与无监督技能学习，揭示了两者在目标敏感性上的联系，并证明了不同GCRL形式的不等价性及与MISL目标的对应关系。
2026-10-23 cs.AI cs.LG cs.SY
Efficient Sparse-Reward Goal-Conditioned Reinforcement Learning with a High Replay Ratio and Regularization
NEC Corporation（NEC公司）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）
本文将高回放比正则化方法REDQ结合事后经验回放与目标Q值界定，扩展到稀疏奖励目标条件任务，并通过组件简化显著提升样本效率。
2023-12-10 cs.LG
Goal-conditioned Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Intel AI Labs（英特尔人工智能实验室）
为强化学习（RL）设计奖励是一项挑战，因为它需要传达所需的任务，高效优化，易于计算。当将RL应用于机器人时，后者特别成问题，其中检测是否达到所需的配置可能需要相当多的监督和仪器。此外，我们通常对能够达到广泛的配置感兴趣，因此每次设置不同的奖励可能是不切实际的。像后见之明经验重演（HER）这样的方法最近显示出学习策略的希望，这些策略能够达到许多目标，而不需要奖励。不幸的是，如果没有像重置到轨迹上的点这样的技巧，HER可能需要许多样本来发现如何到达状态空间的某些区域。在这项工作中，我们研究了不同的方法来结合演示，以大大加快收敛到能够达到任何目标的政策，也超过了其他模仿学习算法训练的代理的性能。此外，我们表明我们的方法也可以使用时，可用的专家轨迹不包含的行动，这可以利用动觉或第三人称演示。该代码可在https://sites.google.com/view/goalconditioned-il/上获得。
2020-05-27 cs.AI cs.LG cs.NE
How Far I'll Go: Offline Goal-Conditioned Reinforcement Learning via $f$-Advantage Regression
University of Pennsylvania（宾夕法尼亚大学）
离线目标条件强化学习（GCRL）承诺以从纯离线数据集达到不同目标的形式进行通用技能学习。我们提出了$\textbf{Go}$ al-条件$f$ - $\textbf{A}$优势$\textbf{R}$回归（GoFAR），一种新的基于回归的离线GCRL算法来自状态占用匹配的角度来看，关键的直觉是，达到目标的任务可以制定为一个动态遵守模仿者代理和专家代理之间的状态占用匹配问题，直接传送到目标。与之前的方法相比，GoFAR不需要任何事后重新标记，并且对其价值和政策网络进行了无交错优化。这些独特的功能赋予GoFAR更好的离线性能和稳定性以及统计性能保证，这是以前的方法无法实现的。此外，我们证明了GoFAR的训练目标可以重新调整，从纯粹的离线源域数据中学习一个独立于代理的目标条件规划器，这使得zero-shot转移到新的目标域。通过大量的实验，我们验证了GoFAR在各种问题设置和任务中的有效性，显着优于现有的最先进的。值得注意的是，在一个真正的机器人灵巧的操作任务，而没有其他方法取得有意义的进展，GoFAR获得复杂的操作行为，成功地实现了不同的目标。
2022-11-10 cs.AI cs.LG
Imitating Past Successes can be Very Suboptimal
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
先前的工作提出了一种简单的强化学习（RL）策略：用该经验中获得的结果标记经验，然后模仿重新标记的经验。这些基于结果的模仿学习方法因其简单、性能强以及与监督学习的紧密联系而备受关注。然而，目前还不清楚这些方法如何与标准RL目标，奖励最大化。在本文中，我们正式与结果条件模仿学习奖励最大化，绘制一个精确的学习政策和Q值之间的关系，并解释这些方法和以前的EM为基础的政策搜索方法之间的密切联系。该分析表明，现有的以结果为条件的模仿学习方法不一定改善策略，但是在某些假设下，简单的修改导致确实保证策略改善的方法。
2023-02-17 cs.AI cs.LG
Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning
Department of Electrical and Computer Engineering, George Washington University（乔治华盛顿大学电气与计算机工程系）
提出Hindsight Self-Distillation (HSD)方法，通过将教师模型条件于当前训练组中的成功同伴轨迹，在失败与成功轨迹的分歧处提供密集信用信号，提升LLM在数学和代码推理任务上的性能。
2026-06-16 cs.AI cs.LG
An Informational Curse of Horizon in Goal-Conditioned Policy Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究揭示目标条件策略学习中目标重标记地平线增加导致的信息性诅咒，并发现蒸馏短地平线策略的输入雅可比矩阵可提升长地平线策略性能。
2026-10-08 cs.AI cs.LG cs.RO
Locally-Guided Actor-Critic: Training a Goal-conditioned Actor with a Subgoal-aware Critic
ISIR；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
针对目标条件强化学习长 horizon 稀疏奖励的问题，该文提出 LG-AC 方法，以子目标条件值函数总和实现密集事后重标记，在目标链任务中性能优于 RIS、RS 等方法。
2026-09-01 cs.LG
Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment
Ubisoft La Forge, Bordeaux, France（育碧La Forge，法国波尔多）
本文提出SCIQL方法，通过结合离线目标条件RL技术与新的门控优势加权回归机制，在保持风格对齐的同时提升任务性能。
2026-06-28 cs.AI cs.LG cs.RO
Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning
本文提出一种预算条件可达性方法，用于安全离线强化学习，通过解耦奖励最大化与累积安全成本约束，实现安全策略学习。
2026-03-31 cs.AI cs.LG cs.RO
Beyond Error-Based Optimization: Experience-Driven Symbolic Regression with Goal-Conditioned Reinforcement Learning
EGRL-SR通过目标条件强化学习和经验回放，提升符号回归的稳健性和复杂表达式恢复能力。
2026-01-21 cs.AI cs.LG
Maximum Entropy-Regularized Multi-Goal Reinforcement Learning
Ludwig Maximilian University of Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
在多目标强化学习中，智能体通过目标条件策略学习实现多个目标。在学习过程中，智能体首先将轨迹收集到重放缓冲区中，然后随机选择这些轨迹进行重放。然而，在重放缓冲区中实现的目标往往偏向于行为策略。从贝叶斯的角度来看，当没有关于目标分布的先验知识时，智能体应该从不同的已实现目标中均匀地学习。因此，我们首先提出了一种新的多目标强化学习目标的加权熵的基础上。这一目标鼓励代理人最大化预期回报，以及实现更多样化的目标。其次，我们开发了一个基于最大熵的优先级框架，以优化提出的目标。为了评估这个框架，我们将其与深度确定性策略梯度相结合，无论是否有后见之明经验重放。在OpenAI Gym的一组多目标机器人任务上，我们将我们的方法与其他基线进行了比较，并在性能和样本效率方面都显示出了有希望的改进。
2020-05-24 cs.LG stat.ML
An Optimal Algorithm for Online Unconstrained Submodular Maximization
Stanford University（斯坦福大学）
我们考虑两个基本领域的接口处的基本问题：子模块优化和在线学习。在在线无约束次模极大化（USM）问题中，存在论域$[n]=\{1,2,...,n\}$和一系列随时间到达的$T$非负（不一定单调）次模函数.我们的目标是设计一个计算效率高的在线算法，它选择一个子集的$[n]$在每个时间步作为一个函数，只有过去，这样所选择的子集的累计值是尽可能接近的最大总值的一个固定的子集在事后。我们的主要结果是一个多项式时间无$1/2$遗憾算法这个问题，这意味着对于每个序列的非负子模函数，该算法的预期总值是至少$1/2$倍，事后最好的子集，直到误差项次线性$T$。当子模函数表示为值预言机时，任何多项式时间在线算法都不能提高$1/2$的因子。以前的工作离线问题意味着，挑选一个子集均匀随机在每个时间步实现零$1/4$ -遗憾。我们的技术的一个副产品是一个明确的子程序为两个专家的问题，有一个异常强大的遗憾保证：其选择的总价值是两倍的总价值的专家轮它没有选择该专家。这个子程序可能是独立的兴趣。
2018-06-08 cs.LG stat.ML
How to Explore with Belief: State Entropy Maximization in POMDPs
Politecnico di Milano（米兰理工大学）；Technion – Israel Institute of Technology（以色列理工学院）
本文研究了部分可观测环境下的状态熵最大化问题，提出了一种基于信念状态的高效策略梯度方法，并形式化分析了近似差距、优化景观与幻觉问题。
2024-06-04 cs.AI cs.LG
Looking Backward: Retrospective Backward Synthesis for Goal-Conditioned GFlowNets
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
针对目标条件GFlowNets训练中稀疏奖励和轨迹覆盖不足的问题，提出回顾式反向合成（RBS）方法，通过合成反向轨迹丰富训练数据，显著提升样本效率并超越多个基准上的强基线。
2025-02-23 cs.LG
C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
目标条件强化学习（RL）可以解决包括导航和操作在内的广泛领域的任务，但学习达到遥远的目标仍然是该领域的核心挑战。如果没有任何离线数据、专家演示和奖励塑造，学习如何达到这样的目标尤其困难。在本文中，我们提出了一个算法来解决遥远的目标达成任务，使用搜索在训练时自动生成一个课程的中间状态。我们的算法，分类器规划（C-规划），框架的学习目标条件的政策期望最大化：E-步骤对应于规划一个最佳序列的路点使用图搜索，而M-步骤的目的是学习一个目标条件的政策，以达到这些路点。与将目标条件强化学习与图搜索相结合的现有方法不同，我们的方法仅在训练期间执行搜索，而不是测试，从而显着降低了部署学习策略的计算成本。从经验上讲，我们证明了我们的方法是更有效的样本比以前的方法。此外，它能够解决非常长的视野操纵和导航任务，任务，以前的目标条件的方法和基于图搜索的方法无法解决。
2021-10-22 cs.AI cs.LG
An Open-Source Multi-Goal Reinforcement Learning Environment for Robotic Manipulation with Pybullet
Cardiff University（卡迪夫大学）
这项工作重新实现了OpenAI Gym多目标机器人操作环境，最初基于商业Mujoco引擎，到开源Pybullet引擎。通过比较后见之明经验重放辅助深度确定性策略梯度代理在两种环境中的性能，我们证明了我们成功地重新实现了原始环境。此外，我们为用户提供新的API，通过可定制的摄像头和内置的手持摄像头访问联合控制模式、图像观察和目标。我们进一步设计了一组多步骤，多目标，长视野和稀疏奖励的机器人操作任务，旨在启发新的目标条件强化学习算法，这样的挑战。我们使用一个简单的，基于人类先验的课程学习方法来基准多步操作任务。还提供了关于这类任务的未来研究机会的讨论。
2021-05-12 cs.LG cs.RO
Online Continuous Submodular Maximization
Yale Institute for Network Science（耶鲁大学网络科学研究所）；Department of Electrical Engineering, Yale University（耶鲁大学电气工程系）；Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
在本文中，我们考虑一个在线优化过程，其中的目标函数不是凸（也不是凹），而是属于一个广泛的连续子模函数类。首先，我们提出了一个变体的弗兰克-沃尔夫算法，可以访问的目标函数的全梯度。我们表明，它实现了遗憾界的$O(\sqrt{T})$（$T$是地平线的在线优化问题）对$(1-1/e)$ -近似的最佳可行的解决方案在事后。然而，在许多情况下，只有梯度的无偏估计可用。对于这样的设置，然后，我们提出了一个在线的随机梯度上升算法，也实现了遗憾界的$O(\sqrt{T})$遗憾，虽然对一个较弱的$1/2$ -近似的最佳可行的解决方案在事后。我们还将所得结果推广到$γ$ -弱次模函数，并证明了相同的次线性后悔界。最后，我们证明了我们的算法的效率在一些问题的情况下，包括非凸/非凹二次规划，子模集函数的多线性扩展，和D-最优设计。
2018-02-16 cs.AI cs.DS cs.LG
Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning
Graduate School of Artificial Intelligence（人工智能研究生院）；Ulsan National Institute of Science and Technology (UNIST)（釜山国立科学与技术研究所）；Ulsan, South Korea（韩国釜山）
本文提出严格子目标执行（SSE）框架，通过前沿经验回放（FER）分离不可达与可接受的子目标，提高高层决策效率，从而在长horizon任务中实现更可靠的规划。
2026-05-20 cs.AI cs.LG
Evidence-State Rewards for Long-Context Reasoning
Aalto University（阿alto大学）
提出Maven框架，通过可编辑证据记忆和动作级状态转移奖励，优化长上下文推理中的证据导航，优于仅结果强化学习和证据识别基线。
2026-07-03 cs.AI cs.LG
Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出用因果图增强目标条件强化学习，将其表述为以因果图为潜在变量的变分似然最大化问题，通过交替估计因果图后验和学习泛化模型提升泛化能力，并在九个任务上验证了方法的有效性。
2023-05-17 cs.AI cs.LG cs.RO
AMAGO: Scalable In-Context Reinforcement Learning for Adaptive Agents
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA Research（英伟达研究院）
本研究提出可扩展的上下文强化学习智能体AMAGO，通过重新设计离策略上下文方法实现长序列Transformer的并行端到端训练，在元RL、长期记忆及目标条件开放世界任务中表现优异。
2024-02-01 cs.LG
Adversarial Intrinsic Motivation for Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
以最小化与参考分布的不匹配为目标的学习已经被证明对于生成建模和模仿学习是有用的。在本文中，我们调查是否这样一个目标，一个政策的状态访问分布和目标分布之间的Wasserstein-1距离，可以有效地利用强化学习（RL）任务。具体而言，本文重点研究目标条件强化学习，其中理想化（无法实现）的目标分布在目标上具有充分的度量。本文介绍了一个准度量特定的马尔可夫决策过程（MDP），并使用此准度量估计上述Wasserstein-1距离。它进一步表明，使Wasserstein-1距离最小化的策略是以尽可能少的步骤达到目标的策略。我们的方法，称为对抗性内在动机（AIM），通过其双重目标估计Wasserstein-1距离，并使用它来计算补充奖励函数。我们的实验表明，这个奖励函数的变化顺利相对于过渡MDP和指导代理的探索，以有效地找到目标。此外，我们将AIM与后见之明经验重放（HER）相结合，并表明与鼓励探索或加速学习的其他奖励相比，所产生的算法在几个模拟机器人任务上显着加速学习。
2021-10-28 cs.LG
Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills
Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
我们考虑的问题，学习有用的机器人技能，从以前收集的离线数据，而不访问手动指定的奖励或额外的在线探索，一个设置，这是越来越重要的缩放机器人学习通过重用过去的机器人数据。特别是，我们提出了通过学习达到给定数据集中的任何目标状态来学习对环境的功能理解的目标。我们采用目标条件Q学习与后见之明重新标记，并开发了几种技术，使培训在一个特别具有挑战性的离线设置。我们发现，我们的方法可以在高维相机图像上操作，并在真实机器人上学习各种技能，这些技能可以推广到以前看不见的场景和物体。我们还表明，我们的方法可以通过目标链学习在多个事件中实现长期目标，并通过预训练或辅助目标学习丰富的表示，可以帮助下游任务。我们的实验视频可以在www.example.com上找到
2021-06-10 cs.LG cs.RO
GTRL: Grounding Divide-and-Conquer Value Learning with Temporal Differences
GTRL通过将一步TD目标融入分治更新，解决了离线GCRL中随机动态下的估值偏差和状态-目标对无更新问题，在OGBench任务上取得最高平均成功率。
2026-09-30 cs.LG
Counterfactual Shapley Credit Assignment
研究信用分配问题，提出基于因果理论的反事实沙普利信用分配框架，通过反事实沙普利值分配功劳责任，推导有效估计器实现$\phi$-PPO方法，结合优先轨迹重放，在复杂环境中有卓越样本效率，能精确对齐奖励真实原因。
2026-08-10 cs.AI cs.LG
GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL
The Hong Kong University of Science and Technology, Hong Kong SAR, China（香港科学与技术大学）；South China University of Technology, Guangdong, China（华南理工大学）
GAS通过增强数据集和引入目标函数，提升生成模型辅助离线安全强化学习中奖励与成本的平衡能力。
2026-02-05 cs.AI cs.LG
Regularized EM algorithm
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）；Aalto University（阿尔托大学）
期望最大化（EM）算法是一种广泛使用的计算局部最大似然估计（MLE）的迭代算法。它可以用于广泛的问题，包括基于高斯混合模型（GMM）的数据聚类。在样本量并不比数据维数大很多的情况下，可能会出现数值不稳定和收敛问题。在这种低样本支持（LSS）设置中，EM-GMM算法中的协方差阵更新可能变得奇异或条件不良，从而导致算法崩溃。另一方面，在许多信号处理问题中，可以获得指示不同簇协方差阵的某些结构的先验信息。在本文中，我们提出了一个正则化的期望最大化算法的GMM-S，可以有效地利用这种先验知识，以及应付LSS的情况。该方法旨在最大化惩罚GMM似然，其中正则化估计可用于确保协方差矩阵更新的正定性，并将估计量收缩到某些结构化目标协方差阵。我们表明，理论保证的收敛性，从而更好地执行期望最大化算法的结构协方差阵模型或低样本设置。
2023-03-27 cs.LG eess.SP stat.ML
Three Dogmas of Reinforcement Learning
Google DeepMind（谷歌DeepMind）；New York University（纽约大学）
该研究指出强化学习领域存在环境聚焦、任务求解式学习观、奖励假设三大教条，提出应彻底摒弃前两条、以细致方式对待第三条，以释放强化学习作为智能体研究标准框架的潜力。
2024-07-15 cs.AI cs.LG
Learning and Free Energies for Vector Approximate Message Passing
矢量近似消息传递（VAMP）是从噪声线性测量$\mathbf{y}=\mathbf{Ax}+\mathbf{w}$恢复信号$\mathbf{x}$的计算上简单的方法。与Donoho，Maleki和Montanari在2009年提出的AMP一样，VAMP的特征在于严格的状态演化（SE），它在某些大型随机矩阵下成立，并与最优性的副本预测相匹配。但是，虽然AMP的SE仅适用于大i.i.d.。亚高斯$\mathbf{A}$，VAMP的SE在更大的类别下成立：右旋转不变$\mathbf{A}$。然而，要运行VAMP，必须指定信号和噪声的统计参数。这项工作结合了VAMP与期望最大化，产生一个算法，EM-VAMP，可以联合恢复$\mathbf{x}$，同时学习这些统计参数。所提出的EM-VAMP算法的不动点被证明是固定点的某个约束的自由能，提供了一个变分解释的算法。仿真结果表明，EM-VAMP对高度病态的$\mathbf{A}$具有很好的鲁棒性，性能接近预言参数VAMP.
2018-03-08 cs.IT math.IT stat.ML
Learning Goal-Conditioned Policies Offline with Self-Supervised Reward Shaping
Meta AI；Inria（法国国家信息与自动化研究所）
开发可以通过从预先收集的数据集学习来执行多种技能的代理是机器人技术中的一个重要问题，其中与环境的在线交互非常耗时。此外，为每一个期望的技能手动设计奖励函数是禁止的。先前的工作通过从离线数据集学习目标条件策略来应对这些挑战，而无需手动指定奖励，通过事后重新标记。这些方法遭受的问题稀疏的奖励，并在长期任务失败。在这项工作中，我们提出了一个新的自监督学习阶段的预收集的数据集，以了解模型的结构和动态，并形成一个密集的奖励函数离线学习策略。我们评估我们的方法在三个连续的控制任务，并表明我们的模型显着优于现有的方法，特别是在涉及长期规划的任务。
2023-01-05 cs.AI cs.LG cs.RO
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST（韩国科学技术院）；UNIST（蔚山国立科学技术院）
本文提出变分课程强化学习（VCRL）和价值不确定性变分课程（VUVC），将变分赋能重构为目标条件强化学习中的课程学习，以提升无监督技能发现的样本效率与状态覆盖速度，并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning
The University of Texas at Austin（德克萨斯大学）；Army Research Laboratory（陆军研究实验室）
本文提出 D-Shape 方法，利用奖励塑形与目标条件化强化学习解决模仿学习与强化学习在次优演示下的目标冲突，在稀疏奖励网格世界实验中提升了样本效率并稳定收敛到最优策略。
2023-03-12 cs.AI cs.HC cs.LG
Stochastic Continuous Submodular Maximization: Boosting via Non-oblivious Function
City University of Hong Kong（香港城市大学）；Cainiao Network（菜鸟网络）
在本文中，我们重新审视随机连续次模最大化在离线和在线设置，这将有利于机器学习和运筹学领域的广泛应用。我们提出了一个提升框架，包括梯度上升和在线梯度上升。我们的方法的基本成分是一个新的非遗忘功能$F$来自一个因素揭示的优化问题，其任何固定点提供了一个$(1-e^{-γ})$ -近似的全局最大值的$γ$ -弱DR-次模块目标函数$f\in C^{1,1}_L(\mathcal{X})$。在离线情况下，提出了一种在$O(1/ε^2)$迭代后实现$(1-e^{-γ}-ε^{2})$ -逼近的Boosting梯度上升算法，提高了经典梯度上升算法的$(\frac{γ^2}{1+γ^2})$逼近比.在在线环境下，我们首次考虑了随机梯度反馈的对抗延迟，在此基础上，我们提出了一种具有相同非遗忘函数$F$的Boosting在线梯度算法。同时，我们验证了这种提升在线算法实现了$O(\sqrt{D})$的遗憾对$(1-e^{-γ})$ -近似的最佳可行的解决方案，在事后看来，其中$D$是梯度反馈的延迟之和。据我们所知，这是第一个结果，以获得$O(\sqrt{T})$遗憾对$(1-e^{-γ})$ -近似与$O(1)$梯度查询在每个时间步，当没有延迟存在，即，$D=T$。最后，数值实验证明了我们的助推方法的有效性。
2022-06-10 cs.LG math.OC
A Unified Theory of Compositionality, Modularity, and Interpretability in Markov Decision Processes
University of Minnesota（明尼苏达大学）
该研究提出无奖励MDP下的选项核贝尔曼方程与状态-时间选项核，兼具组合性、模块性与可解释性，可通过分解聚合实现高维目标级前向规划，支持可验证长时域规划与可扩展的内在动机。
2025-06-11 cs.AI cs.LG
EM-NeSy: Expectation Maximization for Neurosymbolic Learning
Department of Computer Science（计算机科学系）；KU Leuven（根特大学）
提出EM-NeSy框架，将概率神经符号学习视为期望最大化算法实例，通过概率推理计算符号后验，仅通过神经组件进行梯度更新，实现可扩展且高效的近似推理。
2026-06-15 cs.LG
Neural expectation-maximization and meta-models
该研究将Transformer网络解释为结合最大乘积LBP与EM的混合概率推理过程的近似，提出元模型范式统一多种机制，实验结果支持其视角。
2026-10-12 cs.LG
RGMDT: Return-Gap-Minimizing Decision Tree Extraction in Non-Euclidean Metric Space
The George Washington University（乔治·华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；United States Military Academy（美国军事学院）
本文提出 RGMDT 算法，通过建立回报差距上界并将决策树提取转化为非欧几里得聚类问题，在给定复杂度约束下显著优于启发式 DT 基线并接近最优回报。
2024-10-21 cs.AI cs.LG
RLZero: Direct Policy Inference from Language Without In-Domain Supervision
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Alberta（阿尔伯塔大学）；Sony AI（索尼AI）；UMass Amherst（马萨诸塞大学阿默斯特分校）
RLZero通过预训练的RL代理，无需领域内监督，直接从自然语言指令生成行为策略。
2025-11-25 cs.AI cs.GR cs.LG
Hindsight Relabeling is All You Need for Reach-Avoid Learning
Massachusetts Institute of Technology（麻省理工学院）；Harvard Medical School（哈佛医学院）；Kempner Institute at Harvard University（哈佛大学凯普勒研究所）
本文提出RADT，一种通过提示决策Transformer将目标和避让区域编码为提示令牌的离线强化学习方法，实现零样本到达-避让策略，在11个任务中优于基线，并成功应用于细胞重编程。
2026-11-05 cs.AI cs.LG q-bio.QM
Variational Empowerment as Representation Learning for Goal-Based Reinforcement Learning
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）；LG AI Research（LG人工智能研究院）；Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
学习达到目标状态和学习不同的技能，通过互信息（MI）最大化已被提出作为原则性框架的自我监督强化学习，允许代理获得广泛适用的多任务策略，最小的奖励工程。从一个简单的观察，标准的目标条件RL（GCRL）封装的优化目标的变分授权，我们讨论如何GCRL和MI为基础的RL可以推广到一个单一的家庭的方法，我们命名为变分GCRL（VGCRL），解释变分MI最大化，或变分授权，作为表示学习方法，获得功能感知的状态表示，达到目标。这种新颖的视角使我们能够：（1）推导出简单但未经探索的GCRL变体，以研究如何增加小的表示容量就可以扩展其功能;（2）通过修改潜在维度和应用谱归一化，研究递归函数容量和平滑度如何决定所发现的技能或潜在目标的质量;（3）将后见之明经验回放（HER）等技术从GCRL应用到基于MI的RL;（4）提出一种新的评价指标--潜在目标达成（LGR），用于比较具有不同潜在维度和潜在目标参数化选择的授权算法。通过原则性的数学推导和细致的实验研究，我们的工作奠定了一个新的基础，从评估，分析和发展表示学习技术在基于目标的强化学习。
2021-06-02 cs.AI cs.LG
Evaluation of Spectral Learning for the Identification of Hidden Markov Models
KTH Royal Institute of Technology（KTH皇家理工学院）
隐马尔可夫模型作为离散时间序列的模型已成功地应用于许多领域。在实际应用中，常常需要对这些模型的参数进行估计。目前主要的辨识方法，如极大似然估计，特别是期望最大化，是迭代的，容易有局部极小值的问题。最近在机器学习文献中提出了一种采用谱子空间方法的非迭代方法。本文评估了该算法的性能，并将其与期望最大化算法的性能进行了比较。我们发现，性能是混合的，它成功地确定了一些系统相对较少的可用观测，但完全失败的一些系统，即使大量的观测是可用的。一个悬而未决的问题是如何解释这种差异。我们提供了一些迹象表明，它可能与如何良好的条件下的一些系统参数。
2015-07-22 cs.LG math.OC stat.ML
