Semi-supervised mp-MRI Data Synthesis with StitchLayer and Auxiliary Distance Maximization
Huazhong University of Science and Technology（华中科技大学）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们解决了通过半监督对抗学习合成多参数磁共振成像（mp-MRI）数据的问题，即表观扩散系数（ADC）和T2加权（T2 w），包含临床显著（CS）前列腺癌（PCa）。具体来说，我们的合成器以顺序方式生成mp-MRI数据：首先从128-d潜在向量生成ADC图，然后将其转换为T2 w图像。合成器以半监督的方式训练。在监督训练过程中，提供了有限数量的成对ADC-T2 w图像和相应的ADC编码，并且合成器通过显式地最小化合成图像和真实图像之间的重建损失来学习配对关系。为了避免过拟合有限的ADC编码，在无监督训练过程中使用无限量的随机潜向量和未配对的ADC-T2 w图像来学习真实图像的边缘图像分布。为了提高合成的鲁棒性，我们将生成全尺寸图像的困难任务分解为几个简单的任务，这些任务仅生成子图像。然后采用StitchLayer以隔行扫描的方式将子图像融合在一起，形成全尺寸图像。为了强制合成图像确实包含可区分的CS PCa病变，我们建议还最大化CS和非CS图像之间的Jensen-Shannon散度（JSD）的辅助距离。实验结果表明，我们的方法可以有效地合成各种mpMRI图像，其中包含有意义的CS PCa病变，显示良好的视觉质量，并具有正确的配对关系。与最先进的合成方法相比，我们的方法在视觉和定量评价指标方面都有了显着的改进。
2018-12-17 cs.CV cs.LG stat.ML
Automatic Reward Design via Learning Motivation-Consistent Intrinsic Rewards
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
奖励设计是强化学习应用的关键部分，其性能在很大程度上取决于奖励信号如何构建设计者的目标，以及信号如何评估实现该目标的进展。在许多情况下，环境提供的外在奖励（例如，比赛的输赢）非常稀少，并使得难以直接训练代理。在实践中，研究者通常通过添加一些辅助奖励来辅助Agent的学习。然而，设计辅助奖励往往是转向一个试错搜索奖励设置，产生可接受的结果。在本文中，我们提出了自动生成目标一致的内在奖励的智能体学习，通过最大化的预期累积的外在奖励可以最大化。为此，我们引入了动机的概念，它抓住了最大化某些奖励的潜在目标，并提出了基于动机的奖励设计方法。其基本思想是通过最小化内在和外在动机之间的距离来塑造内在奖励。我们进行了大量的实验，并表明我们的方法比国家的最先进的方法在处理延迟奖励，探索和信用分配的问题。
2022-07-29 cs.AI cs.LG
Exploiting Correlated Auxiliary Feedback in Parameterized Bandits
National University of Singapore（新加坡国立大学）
针对可观测相关辅助反馈的参数化多臂老虎机新问题，提出利用辅助反馈构建紧置信界奖励估计器的方法，可依据相关系数刻画遗憾降幅，实验验证了性能提升效果。
2023-11-05 cs.LG stat.ML
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
提高样本效率是强化学习中的一个关键挑战，特别是在具有大状态空间和稀疏奖励的环境中。在文献中，这是通过使用辅助任务（子目标）或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹，而辅助任务已被纳入奖励稀疏的地方。然而，很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略，探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法，该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明，与几个有竞争力的基线相比，该算法具有性能优势。
2023-02-27 cs.AI cs.LG
EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria（法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；ISIR Sorbonne Université（索邦大学智能系统与机器人研究所）；Univ Angers（昂热大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
强化学习（RL）在长时间和稀疏奖励任务中是非常困难的，需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号，使其更好地指导学习过程。在语言条件强化学习的背景下，语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中，我们利用这个想法，并提出了一个自动奖励塑造方法，代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成（QG）和问答（QA）系统：它们由问题组成，引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候，它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹，这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明，该方法不需要工程师干预设计辅助目标，通过有效地指导探索，提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
A Unified Framework for Dynamic Reward Shaping in Reinforcement Learning
Dresden University of Applied Sciences（德累斯顿应用技术大学）
本研究提出统一分析框架，区分奖励塑造相关类型，分析12类方法族，明确最优性保证在当代深度强化学习流程中的存续条件，揭示适应率与学习器稳定性间未解决的关系。
2026-08-11 cs.AI cs.LG
Loss is its own Reward: Self-Supervision for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
强化学习针对期望累积奖励优化策略。监管需要如此狭窄吗？对于许多任务来说，奖励是延迟和稀疏的，这使得它成为端到端优化的困难和贫困信号。为了增加奖励，我们考虑了一系列自我监督的任务，包括状态，动作和后继者，以提供辅助损失。即使在没有奖励的情况下，这些损失也为表示学习提供了无处不在的即时监督。虽然目前的结果表明，仅从奖励中学习是可行的，但纯强化学习方法受到计算和数据效率问题的限制，这些问题可以通过辅助损失来弥补。自我监督的预训练和联合优化提高了端到端强化学习的数据效率和策略回报。
2017-03-09 cs.LG
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts（美国艺电）
针对强化学习难以建模多样人类游戏风格的问题，提出MultiGAIL，通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略，并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints
Facebook（脸书）
上下文强盗优化和强化学习的最新进展已经引起了人们对将这些方法应用于现实世界顺序决策问题的兴趣。现实世界的应用程序通常具有与当前部署的策略相关的约束。许多现有的约束感知算法考虑的问题与一个单一的目标（奖励）和一个约束的奖励相对于基线政策。然而，许多重要的应用涉及多个竞争目标和辅助约束。本文提出了一种新的汤普森抽样算法，用于求解带辅助约束的多结果上下文强盗问题。我们凭经验评估我们的算法的合成问题。最后，我们将我们的方法应用于现实世界的视频转码问题，并提供了一个实用的方法，导航安全性和性能之间的权衡使用贝叶斯优化。
2019-11-02 cs.AI cs.LG stat.ML
Reinforcement Learning with Unsupervised Auxiliary Tasks
DeepMind
深度强化学习代理通过直接最大化累积奖励来实现最先进的结果。然而，环境包含更广泛的各种可能的训练信号。在本文中，我们引入了一个代理，也最大化许多其他伪奖励功能，同时通过强化学习。所有这些任务都有一个共同的表现，就像无监督学习一样，在没有外部奖励的情况下继续发展。我们还引入了一种新的机制，将这种表示集中在外部奖励上，以便学习能够快速适应实际任务的最相关方面。我们的代理显着优于以前的国家的最先进的雅达利，平均880\%的专家人类的表现，和一套具有挑战性的第一人称，三维\emph{Labyrinth}任务，导致平均加速学习10 $\times$和平均87\%的专家人类的表现在Labeldoth。
2016-11-16 cs.LG cs.NE
Learning by Playing - Solving Sparse Reward Tasks from Scratch
Google DeepMind（谷歌DeepMind）
我们提出了预定辅助控制（SAC-X），强化学习（RL）的背景下，一个新的学习范式。SAC-X能够在存在多个稀疏奖励信号的情况下从头开始学习复杂的行为。为此，智能体配备了一组通用辅助任务，它试图通过离线策略RL同时学习。我们的方法背后的关键思想是，主动（学习）调度和执行辅助策略允许代理有效地探索其环境-使其能够在稀疏奖励RL方面表现出色。我们在几个具有挑战性的机器人操作设置的实验证明了我们的方法的力量。
2018-02-28 cs.LG cs.RO stat.ML
Auxiliary Task-based Deep Reinforcement Learning for Quantum Control
University of Science and Technology of China（中国科学技术大学）；University of New South Wales（新南威尔士大学）
由于强化学习不需要环境的先验知识，它在量子控制问题上具有巨大的潜力。在这项工作中，我们研究了基于深度确定性策略梯度的连续控制策略的有效性。为了解决量子学习控制中奖励信号稀疏的问题，提出了一种辅助的基于任务的深度强化学习（AT-DRL）方法。特别地，我们首先设计了一个基于量子态保真度的引导奖励函数，该函数能够实现保真度的增量改进。然后，我们引入辅助任务的概念，其网络与主网络共享参数以预测环境提供的奖励（称为主任务）。辅助任务与主任务同步学习，允许选择环境中最相关的特征，从而帮助智能体理解如何实现所需的状态。数值模拟结果表明，AT-DRL可以解决量子系统中的稀疏奖励问题，在设计有效制备量子态的控制脉冲方面具有巨大的潜力.
2023-02-28 cs.LG cs.SY eess.SY
Numeric Reward Machines
Ericsson Research（爱立信研究院）
本文提出数值-布尔型和数值型两类数值奖励机，将距离等数值特征引入奖励机以突破布尔特征限制，并在Craft领域验证其显著优于基线奖励机。
2024-04-30 cs.AI cs.LG
Behavior Alignment via Reward Function Optimization
University of Massachusetts（马萨诸塞大学）；Stanford University（斯坦福大学）；University of Alberta（阿尔伯塔大学）
本文提出一种基于双层目标的行为对齐奖励函数学习框架，自动融合设计者启发式辅助奖励与环境主奖励，提升对奖励错误指定和RL算法偏差的鲁棒性，并在多样化任务中验证其有效性。
2023-10-31 cs.LG
Distance-rank Aware Sequential Reward Learning for Inverse Reinforcement Learning with Sub-optimal Demonstrations
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
针对次优示范逆强化学习中奖励模糊性问题，提出距离排名感知序列奖励学习框架，结合轨迹排名、策略距离与Transformer，显著提升奖励估计性能。
2023-10-13 cs.AI cs.LG
Efficient Imitation Without Demonstrations via Value-Penalized Auxiliary Control from Examples
Space & Terrestrial Autonomous Robotic Systems (STARS) Laboratory at the University of Toronto Institute for Aerospace Studies (UTIAS)（多伦多大学航空航天研究所（UTIAS）空间与地面自主机器人系统（STARS）实验室）；Department of Computing Science at the University of Alberta（阿尔伯塔大学计算机科学系）
本文提出VPACE算法，通过添加辅助任务示例和值惩罚改善基于示例的强化学习探索，在保持有界值估计的同时显著提高学习效率。
2025-09-13 cs.AI cs.LG cs.RO
Simple Sensor Intentions for Exploration
DeepMind（深度思维）
现代强化学习算法可以学习越来越困难的控制问题的解决方案，同时减少其应用所需的先验知识量。剩下的挑战之一是奖励计划的定义，适当地促进探索，而不会以不期望的方式偏置解决方案，并且可以在没有昂贵仪器的情况下在真正的机器人系统上实现。在本文中，我们专注于一个设置中，目标任务定义通过简单的稀疏奖励，并通过代理内部辅助任务的探索促进。我们引入简单的传感器意图（SSI）作为一种通用的方式来定义辅助任务的想法。SSI减少了定义适当奖励所需的先验知识量。它们还可以直接从原始传感器流计算，因此不需要对真实系统进行昂贵且可能脆弱的状态估计。我们证明了基于这些奖励的学习系统可以在模拟和现实世界中解决复杂的机器人任务。特别是，我们表明，一个真正的机器人手臂可以从头开始学习掌握和解除和解决球在一杯任务时，只有原始传感器流用于控制器输入和辅助奖励定义。
2020-05-15 cs.AI cs.LG cs.RO
Learning Future Representation with Synthetic Observations for Sample-efficient Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对视觉强化学习中辅助训练数据有限的问题，本文提出自监督方法LFS，通过无需训练的未来观测合成、噪声筛选和基于聚类的时间关联任务提升表征学习，并在连续控制与无动作视频预训练中取得最优样本效率。
2024-05-20 cs.AI cs.LG
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST（韩国科学技术院）
针对离线强化学习中设计奖励信号成本高的问题，提出基于大型视觉语言模型的奖励生成方法RG-VLM，无需人类参与即可从离线数据生成奖励，能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and The Channel, Not the Content, Decides What Works
研究发现密集预测奖励在GRPO训练下会使大语言模型智能体崩溃，通过单因素消融定位原因，提出方差分布标准，还通过受控信号传递矩阵对比奖励通道和辅助损失通道，表明奖励通道至多中性，辅助损失通道有优势。
2026-08-05 cs.LG
On The Effect of Auxiliary Tasks on Representation Dynamics
University of Oxford（牛津大学）；DeepMind（深度思维公司）
虽然辅助任务在塑造强化学习代理所学习的表示方面起着关键作用，但关于实现这一点的机制仍有很多未知之处。这项工作发展了我们的理解之间的关系，辅助任务，环境结构，并表示通过分析动态的时间差算法。通过这种方法，我们建立了过渡算子的谱分解和各种辅助任务引起的表示之间的联系。然后，我们利用这些理论结果的见解，为稀疏奖励环境中的深度强化学习代理选择辅助任务提供信息。
2021-02-25 cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
When Distance Distracts: Representation Distance Bias in BT-Loss for Reward Models
University of California, Berkeley（加州大学伯克利分校）
分析BT损失中表示距离导致的梯度偏差，提出NormBT自适应归一化方案，提升奖励模型在细粒度区分上的性能。
2026-06-08 cs.AI cs.CL cs.LG
Episodic Novelty Through Temporal Distance
Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对CMDPs中稀疏奖励探索的挑战，提出ETD方法，利用时间距离作为状态相似度和内在奖励的度量，结合对比学习估计时间距离并基于状态新颖性计算内在奖励，在多种基准任务上显著优于现有方法。
2025-01-26 cs.AI cs.LG
Dynamics-Aware Comparison of Learned Reward Functions
Toyota Research Institute (TRI)（丰田研究院（TRI））；University of California, Berkeley（加州大学伯克利分校）
学习奖励函数的能力在现实世界中部署智能代理方面发挥着重要作用。然而，比较奖励函数，例如作为评估奖励学习方法的一种手段，提出了一个挑战。奖励函数通常通过考虑优化策略的行为来进行比较，但这种方法将奖励函数中的缺陷与用于优化它的策略搜索算法的缺陷混为一谈。为了解决这一挑战，Gleave et al.（2020）提出了等价策略不变比较（EPIC）距离。EPIC避免了策略优化，但这样做需要在转换时计算奖励值，这在系统动态下可能是不可能的。这对于学习的奖励函数来说是有问题的，因为它需要在训练分布之外对它们进行评估，导致不准确的奖励值，我们发现这会使EPIC在比较奖励时无效。为了解决这个问题，我们提出了动态感知奖励距离（DARD），一个新的奖励伪度量。DARD使用环境的近似转换模型将奖励函数转换为允许比较的形式，该比较对于奖励塑造是不变的，同时仅在接近其训练分布的转换上评估奖励函数。在模拟物理域的实验表明，DARD使可靠的奖励比较没有政策优化，是显着更具有预测性比基线方法的下游政策性能时，处理学习的奖励功能。
2022-01-25 cs.AI cs.LG
In-Context Reward Adaptation for Robust Preference Modeling
Northwestern University（西北大学）；Meta Superintelligence Labs（Meta超智能实验室）
提出基于Transformer的上下文奖励自适应框架，通过少量偏好示例和人类反应时间辅助信号，在线建模多样且未见的人类偏好，实现鲁棒的偏好建模和分布偏移适应。
2026-05-28 cs.AI cs.LG
TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance
Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海启智研究院）；Shanghai Jiao Tong University（上海交通大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出TimeRewarder方法，通过帧间时间距离从被动视频中学习密集奖励，以提升强化学习在稀疏奖励任务中的性能，实验表明其在多个任务中显著提高了成功率和样本效率。
2026-05-20 cs.AI cs.LG cs.RO
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
TLDR: Unsupervised Goal-Conditioned RL via Temporal Distance-Aware Representations
Yonsei University（延世大学）
针对无监督目标条件强化学习探索不足、奖励稀疏有噪的问题，提出基于时序距离感知表征的TLDR方法，通过选远距目标、设两类时序距离相关奖励提升探索与目标达成能力，在6个模拟运动环境中表现优于现有方法。
2024-12-09 cs.AI cs.LG
Improving Reinforcement Learning Efficiency with Auxiliary Tasks in Non-Visual Environments: A Comparison
Ruhr-University Bochum（波鸿鲁尔大学）；TH Köln（科隆应用技术大学）
本研究比较了基于解耦表示学习的常见辅助任务在非视觉RL环境中的效果，发现辅助任务仅在足够复杂环境中提升性能，且学习环境动态优于预测奖励。
2023-10-09 cs.AI cs.LG
Adaptive Sequential Experiments with Unknown Information Arrival Processes
Stanford University（斯坦福大学）
顺序实验的特点往往是探索-利用权衡，这是捕获的多臂强盗（MAB）框架。这一框架已被研究和应用，通常是在每个时间段只收到关于该时期选择的行动的反馈。然而，在许多实际的设置中，额外的数据可能在决策时期之间变得可用。我们引入了一个广义的MAB制定，它考虑了广泛的一类分布，是信息的平均奖励，并允许从这些分布的观察到达根据一个任意的和先验的未知到达过程。当它是已知的如何映射辅助数据的奖励估计，通过获得匹配的下限和上限，我们描述了这类问题的极大极小复杂度的频谱作为信息到达过程的函数，它捕获了这个过程的显着特征如何影响可实现的性能。在实现最佳性能方面，我们建立了置信上限和后验抽样政策具有自然的鲁棒性，相对于信息到达过程中没有任何调整，这揭示了这些流行的政策的一个新的属性，并进一步增加了他们的吸引力。当连接辅助数据和奖励的映射是一个先验未知的，我们的特征的必要和充分条件下，辅助信息允许性能提高。我们设计了一个新的政策，这是基于两个不同的置信上限（一个占辅助观察，一个不），并建立该政策的近最优。我们使用来自大型媒体网站的数据来分析通过利用辅助数据设计内容推荐在实践中可能捕获的价值。
2020-12-18 cs.LG stat.ML
Learning Long-Term Reward Redistribution via Randomized Return Decomposition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）；BIMSA（北京雁栖湖应用数学研究院）；AIR, Tsinghua University（清华大学智能产业研究院）；HeliXon Limited（华深智药）
强化学习的许多实际应用要求智能体从稀疏和延迟的奖励中学习。它挑战代理人将其行为归因于未来结果的能力。在本文中，我们考虑的问题制定的情节强化学习与轨迹反馈。它是指奖励信号的极端延迟，其中智能体只能在每个轨迹的末端获得一个奖励信号。一个流行的范例，这个问题的设置是学习与设计的辅助密集奖励函数，即代理奖励，而不是稀疏的环境信号。在此基础上，提出了一种新的奖励再分配算法--随机返回分解（RRD），用于学习情景强化学习的代理奖励函数.我们建立了一个替代问题的蒙特卡罗抽样，规模最小二乘为基础的奖励再分配的长期问题。我们分析了我们的代理损失函数与现有的方法在文献中，这说明了我们的方法的算法特性。在实验中，我们广泛评估我们提出的方法在各种基准任务与情节奖励，并表现出大幅改善基线算法。
2022-03-17 cs.AI cs.LG stat.ML
Efficiently Guiding Imitation Learning Agents with Human Gaze
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tufts University（塔夫茨大学）
人类的凝视被认为是人类任务演示中的意图揭示信号。在这项工作中，我们使用来自人类示范者的凝视线索来增强通过三种流行的模仿学习方法训练的代理的性能-行为克隆（BC），行为克隆观察（BCO）和轨迹排名奖励外推（T-REX）。基于强化学习代理的注意力和人类凝视之间的相似性，我们提出了一种新的方法，用于以计算高效的方式利用凝视数据，作为辅助损失函数的一部分，该函数引导网络在人类凝视的图像区域中具有更高的激活。这项工作是朝着用辅助凝视数据增强任何现有卷积模仿学习代理的训练迈出的一步。我们的辅助基于覆盖的凝视损失（CGL）引导学习更好的奖励函数或策略，而无需添加任何额外的可学习参数，也无需在测试时获得凝视数据。我们发现，我们提出的方法提高了95%的性能BC，343%的BCO，和390%的T-REX，平均超过20个不同的雅达利游戏。我们还发现，与现有的最先进的模仿学习方法辅助人类凝视（AGIL）相比，我们的方法实现了更好的性能，并且在学习方面更有效，演示更少。我们进一步解释训练CGL代理显着图可视化方法来解释他们的表现。最后，我们证明了CGL可以帮助缓解模仿学习中一个著名的因果混淆问题。
2021-04-21 cs.AI cs.LG
Reward Distance Comparisons Under Transition Sparsity
Thayer School of Engineering（塞耶工程学院）；Dartmouth College（达特茅斯学院）
针对过渡稀疏性下传统奖励比较方法计算成本高、依赖高覆盖率的问题，提出稀疏弹性奖励距离（SRRD）伪度量，通过适应多样本分布消除高覆盖率需求，经理论证明和实验验证其鲁棒性与多领域有效性。
2025-04-15 cs.LG
Generating Auxiliary Tasks with Reinforcement Learning
Department of Computer Science（计算机科学系）；Columbia University（哥伦比亚大学）；Department of Mechanical Engineering（机械工程系）
提出RL-AUX强化学习框架，通过动态分配辅助标签生成辅助任务，在CIFAR-100等数据集上优于人工辅助任务并匹配双层优化基线，证明RL生成辅助任务的可行性。
2025-11-03 cs.LG
Deep Reinforcement Learning with a Stage Incentive Mechanism of Dense Reward for Robotic Trajectory Planning
Huazhong University of Science and Technology（华中科技大学）；South East University（东南大学）；Central Queensland University（中央昆士兰大学）
(This工作已提交给IEEE可能出版。版权可能会在不通知的情况下转让，之后可能无法再访问此版本。为了提高基于深度强化学习（DRL）的机器人操作器轨迹规划方法在随机工作环境中的效率，提出了三种稠密奖励函数。这些奖励不同于传统的稀疏奖励。首先，通过对距离和方向约束进行建模，提出了一种姿态奖励函数，以加快学习过程，获得更合理的轨迹，减少探索的盲目性。其次，提出了一种步幅奖励函数，通过对关节约束的距离和运动距离进行建模来提高学习过程的稳定性。最后，为了进一步提高学习效率，我们从人类行为的认知过程中得到启发，提出了一种阶段激励机制，包括硬阶段激励奖励函数和软阶段激励奖励函数。大量的实验表明，软阶段激励奖励函数能够提高收敛速度高达46.9%的国家的最先进的DRL方法。收敛平均奖励的增加百分比为4.4 - 15.5%，标准差的减少百分比为21.9 - 63.2%。在评估实验中，机器人操作器的轨迹规划成功率达到99.6%。
2021-05-23 cs.AI cs.LG cs.RO
Wasserstein Distance Maximizing Intrinsic Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DeepMind
本文讨论的问题，学习技能的条件政策，有意义的行为在没有奖励信号。基于互信息的目标已经在学习技能方面显示出一些成功，这些技能在这种设置中达到不同的状态集合。这些目标包括KL-发散项，其通过访问不同的状态来最大化，即使这些状态在MDP中相距不远。本文提出了一种方法，奖励智能体学习技能，最大限度地提高他们的状态访问从开始状态的技能的Wasserstein距离。它表明，这样的目标导致的政策，覆盖更多的距离在MDP比多样性为基础的目标，并验证了各种雅达利环境的结果。
2021-10-28 cs.AI cs.LG
Face-to-Music Translation Using a Distance-Preserving Generative Adversarial Network with an Auxiliary Discriminator
FX Palo Alto Laboratory（FX帕洛阿尔托实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
在没有任何监督的情况下，学习两个不相关领域（如图像和音频）之间的映射是一项具有挑战性的任务。在这项工作中，我们提出了一个保持距离的生成对抗模型，将人脸图像转换到音频域。音频域由10个不同乐器家族（NSynth \cite{nsynth2017}）记录的音符声音的集合和距离度量定义，其中乐器家族类别信息与梅尔频率倒谱系数（MFCC）特征结合在一起。为了加强距离保持，使用损失项，该损失项惩罚面部和翻译的音频样本的成对距离之间的差异。此外，我们发现生成对抗模型中的距离保持约束导致翻译后的音频样本的多样性降低，并建议在使用距离保持约束的同时使用辅助翻译来增强翻译的多样性。我们还提供了一个可视化的演示结果和数值分析的保真度的翻译。我们提出的模型的学习翻译的视频演示可在www.example.com dl = 0。
2020-06-24 cs.LG cs.SD eess.AS
Homotopy Based Reinforcement Learning with Maximum Entropy for Autonomous Air Combat
Zhejiang University（浙江大学）
无人作战飞机（UCAV）的智能决策一直是一个具有挑战性的问题。传统的搜索方法难以满足高动态空战场景的实时性要求。强化学习（RL）方法通过使用神经网络可以显著缩短决策时间。然而，稀疏奖励问题限制了其收敛速度，人工先验经验奖励容易偏离原任务的最优收敛方向，给RL空战应用带来很大困难。在本文中，我们提出了一个同伦为基础的软行动者-评论家的方法（HSAC），专注于解决这些问题，通过以下的同伦路径之间的原始任务与稀疏的奖励和辅助任务与人工先验经验奖励。文中还证明了该方法的收敛性和可行性。为了验证该方法的可行性，首先构建了一个详细的三维空战仿真环境，并在攻击水平飞行UCAV任务和自主对抗任务中进行了仿真验证。实验结果表明，该方法的性能优于仅利用稀疏奖励或人工先验经验奖励的方法。用该方法训练的智能体在攻击水平飞行UCAV任务中的胜率可达98.3%以上，与用其他两种方法训练的智能体对抗时的平均胜率为67.4%。
2021-12-01 cs.AI cs.LG
Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Texas A&M University（德州农工大学）
在不同的环境中，具有相同的任务的泛化是视觉强化学习（RL）在真实场景中成功应用的关键。然而，来自高维观察的视觉干扰（在真实场景中很常见）可能会对视觉RL中的学习表示造成伤害，从而降低泛化性能。为了解决这个问题，我们提出了一种新的方法，即特征奖励序列预测（CRESP），通过学习奖励序列分布（RSD）来提取任务相关的信息，因为奖励信号在RL中是任务相关的，并且对视觉干扰不敏感。具体来说，为了通过RSD有效地捕获任务相关信息，CRESP引入了一个辅助任务-即预测RSD的特征函数-来学习任务相关表示，因为我们可以通过利用相应的特征函数来很好地近似高维分布。实验表明，CRESP显着提高了在看不见的环境中的泛化性能，在具有不同视觉干扰的DeepMind Control任务中的表现优于几种最先进的技术。
2022-06-30 cs.AI cs.CV cs.LG
Hindsight PRIORs for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple Inc.（苹果公司）
针对基于偏好的强化学习中信用分配缺失导致的奖励学习低效问题，提出Hindsight PRIOR策略，利用世界模型估计状态重要性并引导奖励分配，显著提升了运动与操作任务的学习效率和奖励恢复效果。
2024-04-12 cs.AI cs.HC cs.LG
Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions
针对在线强化学习样本效率低的问题，本文提出利用少量专家演示和可任意重置的模拟器，通过选择合适的辅助起始状态分布（以情节长度信息实现）加速学习，在稀疏奖励硬探索环境中实现了最先进的样本效率。
2025-07-07 cs.AI cs.LG cs.RO
GeoFix: Geometry Fixing for 4D Consistent Generation
KAIST（韩国科学技术院）；ETH Zürich（苏黎世联邦理工学院）；Google（谷歌公司）；EPFL（洛桑联邦理工学院）
GeoFix是一个统一框架，通过校准的单一几何奖励提升4D生成的几何一致性与视觉质量，在WorldScore 3D一致性和VBench质量得分上分别实现39%和4%的提升。
2026-10-14 cs.AI cs.CV cs.LG
IDRF: Inverse-Distilled Reward Fine-tuning of Masked Discrete Diffusion Models
Applied AI Institute（应用人工智能研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；CMAP, École Polytechnique（巴黎综合理工学院应用数学中心）；Institute of Foundation Models（基础模型研究所）；LRE, EPITA（EPITA 研究与工程实验室）
IDRF通过逆蒸馏正则化替代序列级KL惩罚，实现少步掩码离散扩散模型的奖励微调，在DNA、图像和文本生成中减少32倍去噪步骤，同时保持高质量。
2026-10-05 cs.LG
The tractability landscape of diffusion alignment: regularization, rewards, and computational primitives
本文探讨了扩散对齐中正则化、奖励和计算原语的选择如何影响算法问题和可处理奖励类。通过KL距离和Wasserstein距离分析，提出线性指数倾斜和近端传输 oracle 作为有效原语。
2026-05-12 cs.DS cs.LG
Cheap Reward Hacking Detection
Tamarillo
提出用小Transformer编码器将轨迹映射到单位球面，使嵌入距离近似奖励与元数据的L1距离，线性探针检测奖励黑客，AUC达0.9467，成本比LLM-as-judge低四个数量级。
2026-06-08 cs.AI cs.CR cs.LG
Wasserstein Distance guided Adversarial Imitation Learning with Reward Shape Exploration
Tsinghua University（清华大学）；Sun Yat-Sen University（中山大学）
生成式对抗模仿学习（GAIL）提供了一个对抗性学习框架，用于从高维连续任务的演示中模仿专家策略。然而，几乎所有的GAIL及其扩展都只设计了一种对数形式的奖励函数在对抗训练策略与Jensen-Shannon（JS）的分歧，为所有复杂的环境。固定对数类型的奖励函数可能难以解决所有复杂的任务，而JS发散引起的梯度消失问题将损害对抗学习过程。本文提出了一种新的Wasserstein距离引导的对抗性模仿学习（WDAIL）算法，以提高模仿学习（IL）的性能。该方法有三个改进：（a）在对抗训练过程中引入Wasserstein距离以获得更合适的度量;（b）在强化学习阶段使用近端策略优化（PPO），实现更简单，提高算法效率;（c）探索不同的奖励函数形状以适应不同的任务以提高性能。实验结果表明，该学习过程保持了显著的稳定性，在MuJoCo复杂的连续控制任务中取得了显著的效果。
2020-12-08 cs.LG cs.RO stat.ML
Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals
Carnegie Mellon University（卡内基梅隆大学）；Ariel University（阿里尔大学）；Microsoft Research（微软研究院）
针对强化学习样本效率低的问题，提出Read and Reward框架，通过阅读Atari游戏说明手册提取信息并生成辅助奖励，显著提升多种RL算法的性能与训练速度。
2024-07-20 cs.AI cs.CL cs.LG
Stochastic Multi-Armed Bandits with Control Variates
National University of Singapore（新加坡国立大学）；IIT Bombay（印度理工学院孟买分校）
本文研究了随机多臂强盗问题的一个新的变种，其中关于臂奖励的辅助信息以控制变量的形式提供。在排队和无线网络等许多应用中，手臂奖励是一些外生变量的函数。这些变量的平均值是从历史数据中先验已知的，可以用作控制变量。利用控制变量理论，我们得到了具有较小方差和更紧置信界的均值估计。我们开发了一个基于置信上限的算法命名为UCB-CV和表征的后悔界的奖励和控制变量之间的相关性时，他们遵循多元正态分布。我们还使用Jackknifing和Splitting等重新分配方法将UCB-CV扩展到其他分布。合成问题实例的实验验证所提出的算法的性能保证。
2022-01-15 cs.AI cs.LG stat.ML
Dynamical Distance Learning for Semi-Supervised and Unsupervised Skill Discovery
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
强化学习需要手动指定奖励函数来学习任务。虽然原则上这个奖励函数只需要指定任务目标，但在实践中，强化学习可能非常耗时，甚至不可行，除非奖励函数被成形为提供朝向成功结果的平滑梯度。这种形状很难用手指定，特别是当任务是从原始观察（如图像）中学习时。在本文中，我们研究了如何自动学习动态距离：从任何其他状态到达给定目标状态的预期时间步数的度量。这些动态距离可以用来为达到新目标提供良好的奖励函数，从而可以有效地学习复杂的任务。我们表明，动态距离可以用于半监督制度，其中与环境的无监督交互用于学习动态距离，而少量的偏好监督用于确定任务目标，没有任何手动设计的奖励函数或目标的例子。我们评估我们的方法在现实世界的机器人和模拟。我们表明，我们的方法可以学习用真实世界的9自由度手转动阀门，使用原始图像观察和10个偏好标签，而无需任何其他监督。学习技能的视频可以在项目网站上找到：https://sites.google.com/view/dynamical-distance-learning。
2020-02-14 cs.AI cs.CV cs.LG
A Comparison of Reward Functions in Q-Learning Applied to a Cart Position Problem
University of Waterloo（滑铁卢大学）
强化学习的不断发展导致了控制理论的进步。强化学习已经有效地解决了倒立摆问题，最近又解决了双倒立摆问题。在强化学习中，我们的智能体通过与控制系统交互来学习，目标是最大化奖励。在本文中，我们探讨了三个这样的奖励功能在车的位置问题。本文的结论是，一个不连续的奖励函数，给予非零奖励的代理人，只有当他们是在一个给定的距离从期望的位置给出了最好的结果。
2021-05-25 cs.AI cs.LG cs.RO
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架，在RLHF训练前通过辅助任务元学习塑形函数，可提升LLaMA-3-8B在多基准上的对齐性能，降低训练不稳定性。
2026-07-30 cs.CL cs.LG
Teaching Metric Distance to Discrete Autoregressive Language Models
Yonsei University（延世大学）；LG AI Research（LG AI研究院）；Seoul National University（首尔国立大学）
本文提出DIST2Loss，通过奖励加权分布替代one-hot目标，提升离散自回归模型的数据效率和跨领域表现，应用于视觉 grounding、机器人操控、奖励建模和向量量化图像生成。
2026-05-07 cs.CV cs.LG
