Biased Estimates of Advantages over Path Ensembles
The Chinese University of Hong Kong（香港中文大学）
优势的估计对于许多强化学习算法至关重要，因为它直接影响未来路径的选择。在这项工作中，我们提出了一个家庭的估计的基础上的顺序统计的路径集成，它允许一个灵活地驱动学习过程，朝着或反对风险。在此基础上，我们系统地研究了不同方法对估计优势的影响。我们的研究结果表明，有偏估计，如果选择适当，可以导致显着的好处。特别是，对于奖励稀疏的环境，乐观的估计将导致更有效的探索政策空间;而对于那些个人行动可能产生重大影响的环境，保守的估计是可取的。在各种基准测试中，包括MuJoCo连续控制，地形运动，Atari游戏和稀疏奖励环境，所提出的有偏估计方案始终表现出优于主流方法的改进，不仅加速了学习过程，而且获得了可观的性能增益。
2019-09-15 cs.LG stat.ML
BiCQL-ML: A Bi-Level Conservative Q-Learning Framework for Maximum Likelihood Inverse Reinforcement Learning
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）
BiCQL-ML通过双层框架联合优化奖励函数和保守Q函数，提升离线逆强化学习中的奖励恢复和下游策略性能。
2025-11-27 cs.LG cs.RO
On the Performance of Maximum Likelihood Inverse Reinforcement Learning
Universidad de Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa, Zaragoza（萨拉戈萨国防大学中心）
逆强化学习（IRL）解决了恢复任务描述的问题，给出了用于解决此类任务的最佳策略的演示。最优策略通常由专家或教师提供，使得IRL特别适合于学徒学习问题。任务描述以马尔可夫决策过程（MDP）的奖励函数的形式编码。已经提出了几种算法来找到对应于一组演示的奖励函数。在不同应用中提供最佳结果的算法之一是优化策略平方误差准则的梯度方法。在平行线的研究，其他作者最近提出了一个梯度近似的最大似然估计的奖励信号。一般来说，这两种方法在不同阶段近似梯度估计和准则，使算法易于处理和有效。在这项工作中，我们提供了一个详细的描述不同的方法，以突出奖励估计，政策相似性和计算成本方面的差异。我们还提供了实验结果，以评估性能的差异的方法。
2012-02-07 cs.LG
From Data to Rewards: a Bilevel Optimization Perspective on Maximum Likelihood Estimation
Huawei Noah’s Ark Lab（华为诺亚实验室）；Department of Data Science, EURECOM（EURECOM数据科学系）；Cognizant AI Lab（Cognizant人工智能实验室）；Statistics Program, KAUST（KAUST统计学项目）
针对生成模型在缺乏显式奖励信号时难以对齐的问题，提出双层优化框架，将奖励函数作为外层优化变量、策略梯度目标作为内层目标，理论分析证明其可推广至表格分类和基于模型的强化学习。
2025-10-13 cs.LG stat.ML
Scaling Reinforcement Learning for Diffusion Models via Velocity Matching
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达公司）
该研究提出基于奖励的速度匹配（RVM）方法，用于扩散模型的奖励微调，其训练成本显著降低，性能优于或相当基于轨迹的策略梯度方法，还通过动态跟踪奖励改善了视频生成的运动效果。
2026-09-29 cs.CV cs.LG
FoMo Rewards: Can we cast foundation models as reward functions?
Qualcomm AI Research（高通人工智能研究院）；University of Michigan（密歇根大学）；CBS, Harvard University（哈佛大学文理学院）
本文研究基础模型能否作为强化学习通用奖励函数，提出连接现成视觉模型与LLM、基于任务指令似然评分轨迹的流程，并验证其可区分正确与相似错误策略。
2023-12-06 cs.AI cs.LG
Robustly Improving Bandit Algorithms with Confounded and Selection Biased Offline Data: A Causal Approach
University of Arkansas（阿肯色大学）
本文从因果视角处理赌博机中离线数据的复合偏差，将偏差分为混杂与选择偏差，提取含真实均值的鲁棒因果界，引导学习近优策略并降低渐近遗憾。
2023-12-20 cs.AI cs.LG stat.ML
Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards
Seoul National University（首尔国立大学）；Upstage
本文提出了一种多步前向轨迹政策优化（NFPO）算法，通过引入N步前向轨迹来改进PPO的近似目标，从而在可验证奖励的强化学习中实现更精确的策略改进。
2026-05-20 cs.AI cs.LG
Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees
逆强化学习（IRL）的目标是恢复奖励函数和相关的最优策略，最适合观察到的状态序列和由专家执行的动作。IRL的许多算法具有固有的嵌套结构：内部循环找到给定参数化奖励的最优策略，而外部循环更新估计以优化拟合度量。对于高维环境，这样的嵌套循环结构需要一个显着的计算负担。为了减少嵌套循环的计算负担，SQIL [1]和IQ-Learn [2]等新方法强调策略估计，但牺牲了奖励估计的准确性。然而，如果没有准确的估计奖励，就不可能进行反事实分析，例如预测不同环境动态下的最优策略和/或学习新任务。在本文中，我们开发了一种新的单循环算法的IRL不妥协的奖励估计精度。在所提出的算法中，每个策略改进步骤之后是一个随机梯度步骤的似然最大化。我们证明了该算法可证明收敛到一个固定的解决方案，有限时间的保证。如果奖励是线性参数化的，我们确定的解决方案对应的最大熵IRL问题的解决方案。最后，通过使用MuJoCo机器人控制问题及其传输设置，我们表明，该算法实现了优越的性能相比，其他IRL和模仿学习基准。
2022-10-31 cs.LG stat.ML
Model-Based Offline Reinforcement Learning with Pessimism-Modulated Dynamics Belief
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于模型的离线强化学习（RL）旨在通过利用先前收集的静态数据集和动态模型来找到高度有益的策略。而动态模型通过重用静态数据集来学习，如果使用得当，其泛化能力有望促进策略学习。为此，一些作品提出量化预测动态的不确定性，并明确地将其应用于惩罚奖励。然而，由于动态和奖励本质上是不同的因素，在MDP的上下文中，通过奖励惩罚来表征动态不确定性的影响可能会在模型利用和风险规避之间产生意想不到的权衡。在这项工作中，我们反而保持了动态的信念分布，并评估/优化政策，通过有偏见的抽样信念。抽样程序，偏向悲观，来自基于交替马尔可夫博弈制定离线RL。我们正式表明，有偏采样自然会导致更新的动态信念与政策相关的重新加权因子，称为悲观主义调制的动态信念。为了改进策略，我们设计了一个迭代正则化策略优化算法，在一定条件下保证单调改进。为了实用，我们进一步设计了一个离线RL算法来近似找到解决方案。实证结果表明，该方法实现了国家的最先进的性能在广泛的基准任务。
2022-10-29 cs.AI cs.LG
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following
Yonsei University（延世大学）；University of Washington（华盛顿大学）；FuriosaAI
针对可验证指令遵循基准的奖励黑客问题，提出轻量级方法CALIF，用校准似然奖励增强验证器奖励，在提升IFBench约束满足度的同时维持回答质量，在多数基准比较中优于基础策略。
2026-10-15 cs.CL cs.LG
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Auckland（奥克兰大学）；Chongqing University（重庆大学）
本文提出信赖域奖励优化（TRRO）框架及其算法实例PIRO，通过次小化-最大化过程保证专家行为似然单调提升，解决了非对抗逆强化学习缺乏稳定性保证的问题，在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG
Maximum Likelihood Reinforcement Learning
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
MaxRL是一种基于采样的强化学习框架，通过最大似然估计提升模型训练效率，实验显示其在多个任务中表现优于现有方法。
2026-08-24 cs.LG
When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对离线IRL中世界模型误差会放大奖励估计偏差的问题，提出结合保守专家策略与最大似然的双层优化框架，并在MuJoCo和D4RL上显著超越现有基准。
2024-02-28 cs.AI cs.LG
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology（昆士兰理工大学）
针对强化学习中人在环方法引入人类反馈偏见的问题，提出混合框架 LLM-HFBF，利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形，显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
On the Second-Order Convergence of Biased Policy Gradient Algorithms
Northwestern University（西北大学）
针对强化学习中实际策略梯度算法因有限采样、评论家近似存在偏差且二阶收敛性未明确的问题，本文对含蒙特卡洛采样的有偏策略梯度及双循环演员-评论家算法开展二阶收敛分析，并证明TD(0)在马尔可夫链上的收敛性。
2024-05-14 cs.LG
Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization
HSE University（高等经济大学）；Constructor University（康斯特大学）；École polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥尔赛数学实验室）
针对 GFlowNets 中固定后向策略的限制，提出一种基于熵正则化 MDP 值函数直接最大化的后向策略优化算法，实验证明其在复杂环境中能实现更快收敛和更好的模式发现。
2025-03-03 cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Averaging log-likelihoods in direct alignment
Cohere
针对直接对齐中因补全长度不同导致对数似然非长度不变的问题，引入新平均算子使损失内对数似然平均化，实现长度不变性，并实证揭示了生成长度与分数间的权衡。
2024-06-27 cs.LG
Mind the Gap: Offline Policy Optimization for Imperfect Rewards
Tsinghua University（清华大学）；JD Technology（京东科技）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
奖励函数是强化学习（RL）中必不可少的，作为激励智能体解决给定任务的指导信号，然而，也是众所周知的难以设计。在许多情况下，只有不完美的奖励是可用的，这对RL代理造成了重大的性能损失。在这项研究中，我们提出了一个统一的离线策略优化方法，\textit{RGM (Reward Gap Minimization)}，它可以巧妙地处理不同类型的不完美奖励。RGM被制定为一个双层优化问题：上层优化的奖励校正项，执行访问分布匹配w.r.t.一些专家数据;较低层用校正的奖励解决悲观RL问题。通过利用较低层的二元性，我们得到了一个易于处理的算法，使基于采样的学习没有任何在线交互。综合实验表明，RGM实现了优越的性能，现有的方法在不同的设置不完美的奖励。此外，RGM可以有效地纠正错误的或不一致的奖励对专家的偏好和检索有用的信息，从有偏见的奖励。
2023-02-03 cs.AI cs.LG
Survival Instinct in Offline Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
该研究发现离线RL存在“生存本能”现象，即即便用错误奖励训练也能得到安全策略，源于悲观主义与数据偏差的共同作用，并据此提出RL新范式。
2023-11-08 cs.AI cs.LG
CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
Peking University（北京大学）；Xiaohongshu Inc.（小红书公司）；Zhejiang University（浙江大学）
本文提出CausalRM框架，通过因果理论处理观察性用户反馈中的噪声和偏见问题，提升RLHF任务性能，实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。
2026-03-19 cs.AI cs.CL cs.LG
Reward Shaping for Reinforcement Learning with Omega-Regular Objectives
Queen’s University Belfast（贝尔法斯特女王大学）；Institute of Software, CAS（中国科学院软件研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Liverpool（利物浦大学）
最近，已经成功地利用良好的MDP自动机（Büchi自动机与非确定性的限制形式）的无模型强化学习，一类自动机，包括良好的游戏自动机和最广泛的一类限制确定性自动机。使用这些Büchi自动机的基础是，Büchi条件，对于良好的MDP自动机，可以转化为可达性。这种翻译的缺点是，平均而言，奖励很晚才获得，这需要在学习过程中长时间的插曲。我们设计了一种新的奖励塑造方法来克服这个问题。我们表明，由此产生的模型是等价于一个有偏见的折扣，简化和改善以前的工作在这个方向上的折扣收益目标。
2020-01-16 cs.LG cs.LO
Beyond Correctness: Harmonizing Process and Outcome Rewards through RL Training
Amazon（亚马逊公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出PROF方法，通过过程一致性过滤提升推理质量和最终答案准确性，减少对强PRM的依赖。
2026-05-15 cs.AI cs.LG
Bidirectional Voronoi-biased Exploration Curriculum for Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；NVIDIA（英伟达）
针对稀疏奖励长时程任务，提出双向Voronoi偏置探索课程（BVER），从目标与初始状态两端同时扩展，加速目标条件强化学习，实验显示显著优于单侧扩展方法。
2026-10-05 cs.LG cs.RO
On Mitigating Affinity Bias through Bandits with Evolving Biased Feedback
Algorithms and Randomness Center, Georgia Institute of Technology（佐治亚理工学院算法与随机性中心）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
本文提出亲和老虎机（affinity bandits）模型刻画招聘反馈回路中的亲和偏差，证明其遗憾下界比标准老虎机大一个关于K的乘法因子，并设计出无需观察真实奖励即可近乎匹配该下界的淘汰式算法。
2025-03-07 cs.LG stat.ML
Large Language Models are Biased Reinforcement Learners
Binghamton University（宾汉姆顿大学）；École Normale Supérieure（巴黎高等师范学院）
本文通过多老虎机任务、提示操控、计算认知建模与隐藏层分析，发现LLM存在相对价值编码偏差，并由纳入相对价值的简单RL机制解释。
2024-05-19 cs.AI cs.CL cs.LG
Long-Horizon Language Model Reinforcement Learning via Progressive Point Matching
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
针对长视界任务中稀疏奖励导致学习缓慢的问题，本文提出无偏的密集奖励方法渐进式点匹配，在片段级奖励部分进展，理论及实验证明其指数级提升效率，并在困难数学推理任务上取得改进。
2026-09-09 cs.LG
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Empirical Likelihood for Contextual Bandits
Microsoft Dynamics 365 AI（微软 Dynamics 365 人工智能）；Microsoft Research（微软研究院）
我们提出了一个估计和置信区间计算的价值，从政策外的数据在上下文的强盗设置的政策。为此，我们应用经验似然技术制定我们的估计和置信区间作为简单的凸优化问题。然后，使用我们的置信区间的下限，我们提出了一个政策外的政策优化算法，搜索策略与大的回报下限。我们的经验发现，我们的估计和置信区间改善了以前的建议，在有限样本制度。最后，我们提出的策略优化算法优于一个强大的基线系统，用于从非策略数据中学习。
2020-10-17 cs.LG stat.ML
What Fundamental Structure in Reward Functions Enables Efficient Sparse-Reward Learning?
Department of Computer Science Iowa State University（计算机科学系爱荷华州立大学）；Department of Civil, Construction and Environmental Engineering Iowa State University（土木、建设与环境工程系爱荷华州立大学）
本文提出策略感知矩阵补全（PAMC），利用奖励矩阵的低秩加稀疏结构，在策略偏置采样下实现高效稀疏奖励学习，并证明其恢复保证与性能界限，实验显示其在多个基准上优于现有方法。
2025-09-09 cs.AI cs.LG
Discounted Beta-Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards
KAIST（韩国科学技术院）
针对基于可验证奖励的强化学习样本效率低的问题，提出折扣Beta-Bernoulli奖励估计方法，利用历史奖励统计量降低估计方差并避免方差崩溃，在多个推理基准上显著提升性能。
2026-05-23 cs.AI cs.LG
Continuously Discovering Novel Strategies via Reward-Switching Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
我们提出了奖励切换策略优化（RSPO），一种通过迭代找到既局部最优又与现有策略充分不同的新策略来发现复杂RL环境中的多种策略的范例。为了鼓励学习策略一致地收敛到先前未发现的局部最优值，RSPO在优化过程中通过基于概率的新颖性测量在外在和内在奖励之间切换。当采样的轨迹足够独特时，RSPO执行具有外部奖励的标准策略优化。对于在现有政策下具有高可能性的轨迹，RSPO利用内在多样性奖励来促进探索。实验表明，RSPO能够在各种领域发现广泛的策略，从单智能体粒子世界任务和MuJoCo连续控制到多智能体猎鹿游戏和StarCraftII挑战。
2022-05-03 cs.AI cs.LG
Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design
Georgia Institute of Technology（佐治亚理工学院）；National University of Singapore（新加坡国立大学）；Nanjing university（南京大学）
本文研究了扩散模型强化学习设计空间中的关键问题，通过分解策略梯度目标、似然估计器和回放采样方案三个因素，发现基于证据下界（ELBO）的模型似然估计器是实现有效、高效和稳定强化学习优化的主要因素，优于特定策略梯度损失函数的影响。
2026-09-18 cs.AI cs.LG
Catastrophic Goodhart: regularizing RLHF with KL divergence does not mitigate heavy-tailed reward misspecification
FAR Labs（FAR实验室）；Anthropic（Anthropic公司）；FAR AI（FAR AI公司）
该研究揭示RLHF中KL正则化无法缓解重尾奖励误设定，提出灾难性古德哈特现象，并实证奖励模型误差呈轻尾，但警示未来重尾风险。
2024-11-08 cs.LG
Reinforcement Learning with Perturbed Rewards
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois, Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究表明，强化学习（RL）模型在各种噪声场景中是脆弱的。例如，观察到的奖励信道在实践中经常受到噪声的影响（例如，当通过传感器收集奖励时），因此是不可信的。此外，对于诸如机器人之类的应用，可以操纵深度强化学习（DRL）算法，以通过接收损坏的奖励来产生任意错误。在本文中，我们考虑带扰动报酬的噪声RL问题，可以用混淆矩阵来近似。我们开发了一个强大的RL框架，使代理学习在嘈杂的环境中，只有扰动奖励观察。我们的解决方案框架建立在现有的RL/DRL算法的基础上，首先解决了有偏见的噪声奖励设置，而没有对真实分布的任何假设（例如，零均值高斯噪声，如在以前的作品）。我们的解决方案的核心思想包括估计奖励混淆矩阵和定义一组无偏的代理奖励。我们证明了我们的方法的收敛性和样本的复杂性。在不同DRL平台上的大量实验表明，基于我们估计的代理奖励的训练策略可以实现更高的预期奖励，并且比现有基线收敛得更快。例如，最先进的PPO算法能够获得84.6%和80.8%的改进，平均分数为五个雅达利游戏，出错率分别为10%和30%。
2020-02-01 cs.CR cs.CV cs.LG
Post-Training with Policy Gradients: Optimality and the Base Model Barrier
本文研究了训练后使用策略梯度方法在序列预测中的最优性和基础模型限制，提出通过过程奖励模型克服支持范围障碍，并展示了自适应学习率的SGD和PG在统计学习和在线学习中的有效性。
2026-08-13 cs.AI cs.LG stat.ML
Non-asymptotic Analysis of Biased Stochastic Approximation Scheme
École Polytechnique（巴黎综合理工学院）；University of Warsaw（华沙大学）；The Chinese University of Hong Kong（香港中文大学）
随机逼近（SA）是统计学习中的一种重要方法。近年来，关于它的非渐近收敛性的分析已在许多文献中得到了研究。然而，大多数先验分析都是在无偏梯度估计和凸目标函数等限制性假设下进行的，这大大限制了它们在在线和强化学习等复杂任务中的应用。这些限制在这项工作中基本上都得到了放松。特别是，我们分析了一个一般的SA计划，以尽量减少非凸，光滑的目标函数。我们考虑了漂移项依赖于状态依赖马尔可夫链且平均场不一定是梯度型的更新过程，覆盖了近似二阶方法，并允许一步更新的渐近偏差.我们用在线期望最大化算法和强化学习中平均奖励最大化的策略梯度方法来说明这些设置。
2019-06-16 cs.LG math.OC stat.ML
Top $K$ Ranking for Multi-Armed Bandit with Noisy Evaluations
Meta AI；CREST, ENSAE（法国国立统计与经济管理学院经济与统计研究中心）；Core Data Science, Meta（Meta核心数据科学部）
我们考虑一个多臂的强盗设置，在每一轮开始时，学习者收到嘈杂的独立，并可能有偏见，\emph{evaluations}的真实奖励的每个手臂，它选择$K$武器的目标是积累尽可能多的奖励超过$T$轮。假设在每一轮，每个手臂的真正奖励是从一个固定的分布，我们得出不同的算法方法和理论保证，这取决于如何产生的评价。首先，我们显示了$\widetilde{O}(T^{2/3})$遗憾在一般情况下，当观察功能是一个genearized的线性函数的真实回报。另一方面，我们表明，一个改进的$\widetilde{O}(\sqrt{T})$遗憾时，观察功能是噪声的线性函数的真实回报。最后，我们报告了一个实证验证，证实了我们的理论研究结果，提供了一个彻底的比较替代方法，并进一步支持这种设置在实践中的利益。
2022-04-12 cs.LG stat.ML
Kernel Based Maximum Entropy Inverse Reinforcement Learning for Mean-Field Games
Department of Mathematical Engineering, Özyeğin University（数学工程系，奥兹耶尼大学）
本文提出基于核方法的最大熵逆强化学习用于均场博弈，通过 RKHS 推断非线性奖励结构，提升策略恢复精度。
2026-03-05 cs.LG math.OC
Reward Augmented Maximum Likelihood for Neural Structured Prediction
Google Brain（谷歌大脑）
结构化输出预测中的一个关键问题是直接优化任务奖励函数，这对测试评估至关重要。本文提出了一种简单的和计算效率高的方法，将任务奖励的最大似然框架。通过建立对数似然和预期奖励目标之间的联系，我们表明，当给定输入的输出的条件分布与其指数缩放奖励成比例时，实现了最佳正则化预期奖励。因此，我们提出了一个框架，使用相应的奖励平滑输出的预测概率。我们优化了增广输出的条件对数概率，这些输出的采样与其指数缩放奖励成比例。在用于语音识别和机器翻译的神经序列到序列模型上的实验表明，通过使用奖励增强最大似然（RAML），在最大似然基线上有显著的改进，其中奖励被定义为输出和地面真实标签之间的负编辑距离。
2017-01-04 cs.LG
Reward Redistribution via Gaussian Process Likelihood Estimation
Department of Integrated Systems Engineering, The Ohio State University（整合系统工程系，俄亥俄州立大学）
针对强化学习稀疏延迟奖励及现有重分配方法忽略状态-动作对依赖的问题，提出GP-LRR框架，通过高斯过程建模奖励捕捉依赖，结合离策略算法在MuJoCo基准上提升了样本效率与策略性能。
2025-11-15 cs.LG cs.RO
Barely Biased Learning for Gaussian Process Regression
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时，估计对数边际似然。我们提出了一种方法，自适应地选择计算量估计时使用的对数边际似然，使目标函数的偏差是保证很小。虽然简单的原则上，我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Constructing Effective Personalized Policies Using Counterfactual Inference from Biased Data Sets with Many Features
University of California, Los Angeles（加州大学洛杉矶分校）；Nuffield College, Oxford University（牛津大学纳菲尔德学院）；Tsinghua University（清华大学）；Oxford-Man Institute, Oxford University（牛津大学牛津-曼研究所）
本文提出了一种新的方法来构建有效的个性化策略时，观察数据缺乏反事实信息，是有偏见的，并具有许多功能。这种方法适用于从医疗保健到广告到教育再到金融的各种环境。这些设置的共同点是，决策者可以观察到，对于每个先前的实例，实例的一系列特征，在该实例中采取的行动，以及实现的奖励-但不是没有采取的行动的奖励：反事实信息。在这样的环境中学习变得更加困难，因为观察到的数据通常会受到现有政策（生成数据的政策）的影响，并且因为在特定情况下可能影响奖励的特征阵列-因此在每个特定情况下决定行动时应该考虑-通常是巨大的。这里提出的方法估计观察到的数据的倾向得分，推断反事实，识别（相对较少）数量的特征，这些特征与每个可能的动作和实例（最）相关，并规定要遵循的策略。在实际数据集上对该算法与现有算法的性能进行了比较，结果表明该算法在性能上有了显著的提高。
2018-07-10 cs.LG stat.ML
Normalized Rewards for Preference Optimization
研究针对直接对齐算法过度优化隐式奖励模型的问题，提出添加正则化项的方法，通过研究似然变化分布理解过度优化，应用该正则化于相关方法，实现生成质量与基准能力权衡及奖励建模改进，提升了模型性能。
2026-07-21 cs.AI cs.LG
Bayes and Biased Estimators Without Hyper-parameter Estimation: Comparable Performance to the Empirical-Bayes-Based Regularized Estimator
KTH Royal Institute of Technology（瑞典皇家理工学院）；Competence Centre for Advanced BioProduction by Continuous Processing, AdBIOPRO（连续加工先进生物生产能力中心（AdBIOPRO））
本文针对岭回归中经验 Bayes 正则化估计依赖超参数估计的问题，利用大样本超额 MSE 构造无需调参的广义 Bayes 与闭式有偏估计量，实现相当性能且更高计算效率。
2025-03-14 cs.LG cs.SY eess.SY
Noise Contrastive Alignment of Language Models with Explicit Rewards
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）
该研究提出基于噪声对比估计的通用语言模型对齐框架NCA与InfoNCA，可处理显式奖励数据与偏好数据，证明DPO是InfoNCA的特例，并通过实验验证其在多任务上的性能优势。
2024-10-30 cs.CL cs.LG
MIMEx: Intrinsic Rewards from Masked Input Modeling
University of California, Berkeley（加州大学伯克利分校）
针对高维环境探索难题，本文将现有内在奖励方法统一为条件预测的特例，提出MIMEx框架，通过灵活调整掩码分布控制预测难度，在稀疏奖励视觉运动任务上取得更优结果。
2023-05-15 cs.AI cs.LG
Uncertainty-Guided Likelihood Tree Search
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；GenAI at Meta（Meta的生成式人工智能部门）
针对序贯决策中树搜索似然评估成本高、路径稀疏的问题，提出基于似然正则性假设的不确定性引导概率树搜索算法，可回溯且权衡探索利用，无需昂贵滚动评估与复杂贝叶斯推断，实验验证其能以更少高成本评估找到高似然路径。
2025-09-04 cs.LG
Mixture Density Network Estimation of Continuous Variable Maximum Likelihood Using Discrete Training Samples
University of Texas（德克萨斯大学）；Rutgers University（罗格斯大学）
混合密度网络（MDN）可用于在给定一组可观测量$\mathbf{x}$的情况下生成模型参数$\boldsymbolθ$的概率密度函数。在某些应用中，训练数据仅可用于连续参数$\boldsymbolθ$的离散值。在这种情况下，会出现一些性能限制问题，从而导致有偏差的估计。我们演示了使用MDNs的参数估计，讨论了偏差的起源，并提出了一个纠正方法，为每个问题。
2021-07-20 cs.LG hep-ex physics.data-an
ARAML: A Stable Adversarial Training Framework for Text Generation
Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
现有的用于文本生成的生成对抗网络（GAN）大多存在策略梯度等强化学习训练算法不稳定的问题，导致性能不稳定。为了解决这个问题，我们提出了一个新的框架，称为对抗性奖励增强最大似然（ARAML）。在对抗性训练期间，训练器将奖励分配给从数据附近的静态分布而不是生成器分布中获取的样本。该生成器是最优化的最大似然估计增强的最大似然的奖励，而不是策略梯度。实验表明，我们的模型可以比最先进的文本GANs具有更稳定的训练过程。
2019-08-20 cs.CL cs.LG
Neural Empirical Bayes: Source Distribution Estimation and its Applications to Simulation-Based Inference
SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；ULiège（列日大学）
我们重新审视经验贝叶斯的情况下，一个听话的似然函数，是典型的科学领域依赖于计算机模拟。我们研究了经验贝叶斯如何利用神经密度估计器，首先使用所有噪声损坏的观测来估计未损坏样本的先验或源分布，然后使用拟合的源分布进行单观测后验推断。我们提出了一种方法的基础上直接最大化的对数边际似然观测，检查有偏和去偏估计，并比较变分方法。我们发现，直到对称性，神经经验贝叶斯方法恢复地面真相源分布。随着学习的源分布在手，我们展示了适用于似然自由推理，并检查由此产生的后验估计的质量。最后，我们证明了神经经验贝叶斯对对撞机物理逆问题的适用性。
2021-02-26 cs.LG hep-ex hep-ph
