Reinforcement Learning from Wild Animal Videos
LAAS-CNRS；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）
本文提出RLWAV方法，通过训练视频分类器识别野生动物视频中的动作，并以分类分数为奖励训练多技能策略，实现四足机器人在无参考轨迹下学习行走、跳跃等技能。
2024-12-05 cs.CV cs.LG cs.RO
Deep Reinforcement Learning for Time-Critical Wilderness Search And Rescue Using Drones
University of Glasgow（格拉斯哥大学）；School of Engineering（工程学院）；Aerospace Sciences Research Division（航空航天科学研究部）
本文提出利用深度强化学习结合先验概率分布图优化无人机荒野搜索路径，并通过cubature引入连续动作空间，实验显示其搜索效率比传统算法提升超过160%。
2024-05-22 cs.LG cs.RO cs.SY
Maximum Likelihood Reinforcement Learning
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
MaxRL是一种基于采样的强化学习框架，通过最大似然估计提升模型训练效率，实验显示其在多个任务中表现优于现有方法。
2026-08-24 cs.LG
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood
University of Southern California（南加州大学）
本文提出RL2ML系列有限rollout替代目标，具有闭式无偏梯度估计，连接标准强化学习、类最大似然训练及超越最大似然目标，并揭示群体级更新尺度相变，将剩余自由度转化为一维优化问题。
2026-05-28 cs.LG
Pre-training Contextualized World Models with In-the-wild Videos for Reinforcement Learning
School of Software, BNRist, Tsinghua University（清华大学软件学院、北京信息科学与技术国家研究中心）
本文提出ContextWM，通过分离情境与动力学建模，利用自然场景视频预训练世界模型，显著提升基于模型的强化学习在机器人操作、运动控制和自动驾驶等任务中的样本效率。
2023-10-27 cs.CV cs.LG cs.RO
Reinforcement Learning for Wildfire Mitigation in Simulated Disaster Environments
The MITRE Corporation（MITRE公司）
本文提出SimFire火灾模拟器和SimHarness机器学习框架，用于生成野火场景并自动优化土地管理策略，以提升消防干预效果和资源分配。
2023-11-27 cs.AI cs.LG cs.MA
On the Performance of Maximum Likelihood Inverse Reinforcement Learning
Universidad de Zaragoza（萨拉戈萨大学）；Centro Universitario de la Defensa, Zaragoza（萨拉戈萨国防大学中心）
逆强化学习（IRL）解决了恢复任务描述的问题，给出了用于解决此类任务的最佳策略的演示。最优策略通常由专家或教师提供，使得IRL特别适合于学徒学习问题。任务描述以马尔可夫决策过程（MDP）的奖励函数的形式编码。已经提出了几种算法来找到对应于一组演示的奖励函数。在不同应用中提供最佳结果的算法之一是优化策略平方误差准则的梯度方法。在平行线的研究，其他作者最近提出了一个梯度近似的最大似然估计的奖励信号。一般来说，这两种方法在不同阶段近似梯度估计和准则，使算法易于处理和有效。在这项工作中，我们提供了一个详细的描述不同的方法，以突出奖励估计，政策相似性和计算成本方面的差异。我们还提供了实验结果，以评估性能的差异的方法。
2012-02-07 cs.LG
FoodRL: A Reinforcement Learning Ensembling Framework For In-Kind Food Donation Forecasting
FoodRL提出基于强化学习的元学习集成框架，通过聚类和动态加权多种预测模型提升实物食品捐赠预测的准确性与适应性，并在受自然灾害影响的食品银行数据上显著优于基线方法。
2025-11-06 cs.LG
Recurrent Auto-Encoders for Enhanced Deep Reinforcement Learning in Wilderness Search and Rescue Planning
Autonomous Systems And Connectivity Research Division, University of Glasgow（格拉斯哥大学自治系统与连接研究部门）
针对荒野搜索救援的大面积区域问题，提出循环自编码器与深度强化学习结合的方法，有效提升信息利用与学习效率，SAC算法性能最佳，参数和训练时间大幅减少。
2025-02-26 cs.LG cs.SY eess.SY
All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
本文从理论和实证角度探究强化学习在微调中的价值，发现两阶段在线微调因只需搜索简单验证器对应的策略子集，所需数据少于离线微调。
2025-10-17 cs.LG
Reinforcement Learning in the Wild: Scalable RL Dispatching Algorithm Deployed in Ridehailing Marketplace
DiDi Labs（滴滴实验室）；Didi Chuxing（滴滴出行）
在这项研究中，提出了一种基于强化学习的实时调度算法，并首次大规模部署。目前，网约车平台的调度方法主要是基于近视或基于规则的非近视方法。强化学习使调度策略能够被告知历史数据，并且能够利用所学习的信息来优化预期未来轨迹的回报。这一领域的先前研究取得了可喜的成果，但在性能增益、自依赖性、可转移性和可扩展的部署机制方面仍有进一步改进的空间。本研究提出了一个独立的基于RL的调度解决方案，配备了多种机制，以确保强大和有效的同策略学习和推理，同时适应全面部署。提出了一种新的基于时间差的值更新形式，更适合于问题的内在不确定性。对于驾驶员订单分配，提出了一种定制的效用函数，当根据市场统计数据进行调整时，会导致显着的性能改善和可解释性。此外，为了降低司机分配后取消的风险，引入了一种基于多臂强盗问题的自适应图修剪策略。该方法进行了评估，使用离线模拟与真实数据，并产生显着的性能改善。此外，该算法在滴滴运营下的多个城市上线部署，进行A/B测试，并在其中一个主要国际市场推出，作为主要派单模式。部署的算法显示，A/B测试的总驱动程序收入提高了1.3%以上。此外，通过因果推理分析，在全面部署后，检测到主要性能指标提高了5.3%。
2022-02-10 cs.LG cs.MA
Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement Learning in Discounted Linear MDPs
National Yang Ming Chiao Tung University（国立阳明交通大学）；Texas A&M University（德州农工大学）
针对线性MDPs中基于回归的方法计算效率低的问题，提出使用VBMLE方法，证明其具有$\widetilde{O}(d\sqrt{T})$遗憾且每步仅需一次优化，显著提升了计算效率并优于基准方法。
2023-10-17 cs.LG
SERA: Scale-Equalized Rollout Allocation for Maximum Likelihood Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanyang Technological University（南洋理工大学）
SERA通过重新分配固定回放预算以均衡有限回放尺度因子，解决MaxRL中低成功提示梯度衰减问题，提升梯度对齐与解覆盖率。
2026-09-30 cs.AI cs.LG
Likelihood Quantile Networks for Coordinating Multi-Agent Reinforcement Learning
Northeastern University（东北大学）
当多个智能体以分散的方式学习时，由于其他智能体的探索和学习，从单个智能体的角度来看，环境似乎是非平稳的。最近提出的深度多智能体强化学习方法试图通过尝试确定哪些样本来自其他智能体探索或次优性来减轻这种非平稳性，并在学习过程中较少考虑它们。基于同样的理念，本文介绍了一种分散分位数估计，其目的是通过区分非平稳样本的基础上的收益率的可能性，以提高性能。特别地，每个代理考虑其他代理探索和策略改变正在发生的可能性，基本上利用代理自己的估计来权衡应该应用于给定样本的学习率。我们介绍了一个正式的方法来计算我们的回报分布表示和方法，利用它来指导更新的差异。我们还探讨了风险寻求策略随着时间的推移调整学习的效果，并提出了自适应风险失真函数，指导风险敏感性。我们的实验，在传统的基准和新的领域，表明我们的方法是更稳定，样本效率和更有可能收敛到一个联合最优策略比以前的方法。
2020-06-14 cs.LG stat.ML
BiCQL-ML: A Bi-Level Conservative Q-Learning Framework for Maximum Likelihood Inverse Reinforcement Learning
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）
BiCQL-ML通过双层框架联合优化奖励函数和保守Q函数，提升离线逆强化学习中的奖励恢复和下游策略性能。
2025-11-27 cs.LG cs.RO
Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design
Georgia Institute of Technology（佐治亚理工学院）；National University of Singapore（新加坡国立大学）；Nanjing university（南京大学）
本文研究了扩散模型强化学习设计空间中的关键问题，通过分解策略梯度目标、似然估计器和回放采样方案三个因素，发现基于证据下界（ELBO）的模型似然估计器是实现有效、高效和稳定强化学习优化的主要因素，优于特定策略梯度损失函数的影响。
2026-09-18 cs.AI cs.LG
Tail-Likelihood Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Impossible, Inc.（Impossible公司）；Together AI；Aurora Innovation
针对强化学习优化平均奖励的局限，提出TailRL方法，通过最大化超过随机奖励阈值的对数概率，利用稀有高奖励样本提升模型性能。
2026-09-10 cs.LG stat.ML
From Language to Programs: Bridging Reinforcement Learning and Maximum Marginal Likelihood
Stanford University（斯坦福大学）
我们的目标是学习一个语义解析器，当只有间接监督时，将自然语言语句映射到可执行程序中：示例被标记为正确的执行结果，而不是程序本身。因此，我们必须在程序空间中搜索那些输出正确结果的程序，同时不要被虚假程序误导：不正确的程序碰巧输出正确的结果。我们连接两个常见的学习范式，强化学习（RL）和最大边际似然（MML），然后提出一个新的学习算法，结合两者的优势。新算法通过将MML中传统采用的系统搜索与RL的随机探索相结合，并通过更新参数，使概率在一致的程序中分布得更均匀，来防止虚假程序。我们将我们的学习算法应用到一个新的神经语义解析器，并在最近的上下文相关的语义解析任务上显示出比现有的最先进的结果显着的收益。
2017-04-25 cs.AI cs.LG stat.ML
Cold-Start Reinforcement Learning with Softmax Policy Gradient
Google Inc.（谷歌公司）
强化学习的策略梯度方法有两个常见的和不希望的开销过程，即热启动训练和样本方差减少。在本文中，我们描述了一种基于softmax价值函数的强化学习方法，该方法不需要这些过程。我们的方法结合了政策梯度方法的效率和最大似然方法的简单性的优点。我们将这种新的冷启动强化学习方法应用于结构化输出预测问题的训练序列生成模型。经验证据验证了该方法的自动摘要和图像描述任务。
2017-10-13 cs.LG
Learning to Query Internet Text for Informing Reinforcement Learning Agents
UC Irvine（加州大学欧文分校）
在强化学习中，泛化到分布外任务是一个具有挑战性的问题。一种成功的方法是通过对任务或环境描述进行调节来提高泛化能力，这些描述提供了有关当前转换或奖励函数的信息。以前，这些描述通常表示为生成或众包文本。在这项工作中，我们开始解决从野外发现的自然语言（例如，互联网论坛，文档和wiki）中提取有用信息的问题。这些自然的、预先存在的源特别具有挑战性、噪声大，并且与以前的方法相比提出了新的挑战。我们建议通过训练强化学习代理来学习像人类一样查询这些资源来解决这些挑战，并且我们实验了代理应该如何以及何时查询。为了解决\textit{how}，我们证明了预训练的QA模型在我们的目标域中执行zero-shot查询时表现良好。使用QA模型检索的信息，我们训练代理学习\textit{when}，它应该执行查询。我们表明，我们的方法正确地学习执行查询，以最大限度地提高奖励在强化学习设置。
2022-05-25 cs.LG
Reinforcement Learning without Human Feedback for Last Mile Fine-Tuning of Large Language Models
Two Six Technologies
本研究提出了一种无需人类反馈的强化学习框架，用于大语言模型的最后一英里微调，通过训练模型在各种场景下学习正确行为并抑制不良动作，在生成式摘要任务上显著优于似然最大化方法，为模型优化提供了新途径。
2024-08-29 cs.CL cs.LG
Instance-Dependent Continuous-Time Reinforcement Learning via Maximum Likelihood Estimation
Luddy School of Informatics, Computing, and Engineering（利迪学校信息学、计算与工程学院）；Department of Statistics（统计系）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
本文提出基于最大似然估计的连续时间强化学习算法，通过估计状态边际密度来指导学习，并建立了实例依赖的性能保证。
2025-12-02 cs.LG stat.ML
Malaria Likelihood Prediction By Effectively Surveying Households Using Deep Reinforcement Learning
Stanford University（斯坦福大学）
我们构建了一个深度强化学习（RL）代理，可以通过询问有关家庭的问题来预测疟疾检测呈阳性的可能性。RL代理学习确定接下来要问哪个调查问题，以及何时停止，以根据他们迄今为止的反应预测他们患疟疾的可能性。智能体对每个问题都有一个小的惩罚，对正确/错误的预测有一个大的奖励/惩罚;因此，它必须学会平衡调查的长度和最终预测的准确性。我们的RL代理是一个深度Q网络，它直接从问题的回答中学习策略，并为每个可能的调查问题和每个可能的预测类定义了一个动作。我们专注于肯尼亚，疟疾是一个巨大的健康负担，并根据2015年肯尼亚疟疾指标调查的6481个家庭的数据集对RL代理进行训练。为了研究调查问题适应响应的重要性，我们将我们的RL代理与监督学习（SL）基线进行了比较，该基线先验地固定了其调查问题集。我们评估预测准确性和调查问题的数量上提出了一个holdout集，发现RL代理能够预测80%的准确率，平均只使用2.5个问题。此外，RL代理学习自适应地调查响应，并且能够在预测准确性方面匹配SL基线，同时显着减少调查长度。
2017-11-25 cs.LG stat.ML
Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards
Seoul National University（首尔国立大学）；Upstage
本文提出了一种多步前向轨迹政策优化（NFPO）算法，通过引入N步前向轨迹来改进PPO的近似目标，从而在可验证奖励的强化学习中实现更精确的策略改进。
2026-05-20 cs.AI cs.LG
SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild
HKUST（香港科技大学）；TikTok（字节跳动）；Meituan（美团）
本研究跨10种基础模型探究零强化学习训练，提出格式奖励与查询难度等关键策略，显著提升推理性能，并首次在非Qwen小模型中观察到“顿悟时刻”，开源代码与模型。
2025-08-06 cs.AI cs.CL cs.LG
An Offline Deep Reinforcement Learning for Maintenance Decision-Making
Hitachi Industrial AI Lab（日立工业人工智能实验室）
近年来，已经提出了几种机器学习和深度学习框架来解决剩余使用寿命估计和故障预测问题。获得剩余使用寿命估计或在不久的将来发生故障的可能性有助于运营商评估运营状况，因此，为合理的维修和维护决策提供了更好的机会。然而，许多运营商认为，剩余使用寿命估计和故障预测解决方案是维护挑战的不完整答案。他们认为，知道未来发生故障的可能性不足以做出维护决策，从而最大限度地降低成本并确保运营商的安全。在本文中，我们提出了一种基于离线监督深度强化学习的维护框架，该框架不是提供故障可能性等信息，而是向运营商建议“继续运营”或“访问维修店”等行动，以最大限度地提高整体利润。使用离线强化学习可以从历史数据中学习最佳维护策略，而无需依赖昂贵的模拟器。我们展示了我们的解决方案的应用程序在一个案例研究中使用NASA的C-MAPSS数据集。
2021-09-28 cs.AI cs.LG
DribbleBot: Dynamic Legged Manipulation in the Wild
Massachusetts Institute of Technology（麻省理工学院）
DribbleBot是一种足式机器人系统，通过仿真强化学习训练策略并迁移到真实世界，克服了不同地形上球体运动动力学和机载计算约束下的感知挑战，证明了四足平台适合研究同时移动与操作的动态全身控制问题。
2023-04-03 cs.AI cs.LG cs.RO
LLQL: Logistic Likelihood Q-Learning for Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）
该研究发现强化学习中的贝尔曼近似误差近似服从Logistic分布，提出用Logistic最大似然函数替代均方误差作为损失函数，经多环境实验验证性能更优，并为相关研究提供分布视角的理论基础。
2023-12-13 cs.AI cs.LG
Robust Data Detection for MIMO Systems with One-Bit ADCs: A Reinforcement Learning Approach
Department of Electrical Engineering, Princeton University（普林斯顿大学电气工程系）；Department of Electrical Engineering, POSTECH（浦项科技大学电气工程系）
在接收器处使用一位模数转换器（ADC）是用于以大信号带宽和/或大量接收射频链操作的未来无线系统的功率高效解决方案。然而，该解决方案引起高的信道估计误差，并且因此使得难以执行最佳数据检测，该最佳数据检测需要在接收机处的似然函数的完美知识。在本文中，我们提出了一种似然函数学习方法的多输入多输出（MIMO）系统与一位ADC使用强化学习方法。其关键思想是利用数据检测得到的输入输出样本，来补偿似然函数中的失配。这个想法的潜在困难是由数据检测错误引起的样本中的标签不确定性。为了解决这个问题，我们定义了一个马尔可夫决策过程（MDP），以最大限度地提高从样本学习的似然函数的准确性。然后，我们开发了一个强化学习算法，有效地找到最佳的政策，通过近似的过渡函数和最佳状态的MDP。仿真结果表明，所提出的方法提供了显着的性能增益的最佳数据检测方法，遭受的不匹配的似然函数。
2019-03-29 cs.IT cs.LG eess.SP
WILD-SCAV: Benchmarking FPS Gaming AI on Unity3D-based Environments
University of Toronto（多伦多大学）；Nanjing University（南京大学）
深度强化学习（RL）的最新进展已经在Arcade Learning Environment、MuJoCo和ViZDoom等模拟环境中展示了复杂的决策能力。然而，它们很难扩展到更复杂的问题，主要是由于缺乏复杂性和变化的环境中，他们被训练和测试。此外，他们不能扩展到一个开放的世界环境，以促进长期的探索研究。为了学习现实的任务解决能力，我们需要开发一个具有更大多样性和复杂性的环境。我们开发了WILD-SCAV，这是一个基于3D开放世界FPS（第一人称射击）游戏的强大且可扩展的环境，以弥补这一差距。它提供了可变复杂性，各种任务和多种交互模式的逼真3D环境，智能体可以学习感知3D环境，导航和计划，以类似人类的方式竞争和合作。WILD-SCAV还支持不同的复杂性，例如具有不同地形的可配置地图，建筑结构和分布，以及具有合作和竞争任务的多智能体设置。可配置的复杂性，多任务和多代理场景的实验结果表明，WILD-SCAV在基准测试各种RL算法的有效性，以及它是潜在的，以产生具有广义任务解决能力的智能代理。我们的开源代码的链接可以在这里找到https://github.com/inspirai/wilderness-scavenger。
2022-10-14 cs.LG stat.ML
Maximum Likelihood Constraint Inference for Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
虽然逆强化学习（IRL）问题的大多数方法都集中在估计最能解释专家代理在控制任务上的策略或表现行为的奖励函数，但通常情况下，这种行为更简洁地表示为简单的奖励与一组硬约束的组合。在这种情况下，智能体试图最大化累积奖励，但要受到对其行为的这些给定约束。我们重新制定的马尔可夫决策过程（MDPs）的IRL的问题，这样，给定一个名义上的环境模型和名义上的奖励函数，我们试图估计状态，动作，并在环境中的功能约束，激励代理的行为。我们的方法是基于最大熵IRL框架，这使我们能够推理的可能性，一个专家代理的演示给我们的知识的MDP。使用我们的方法，我们可以推断哪些约束可以添加到MDP中，以最大限度地增加观察这些演示的可能性。我们提出了一种算法，迭代推断的最大似然约束，以最好地解释观察到的行为，我们评估其有效性，使用模拟的行为和记录的数据的人类导航周围的障碍。
2020-04-30 cs.AI cs.LG cs.RO
Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees
逆强化学习（IRL）的目标是恢复奖励函数和相关的最优策略，最适合观察到的状态序列和由专家执行的动作。IRL的许多算法具有固有的嵌套结构：内部循环找到给定参数化奖励的最优策略，而外部循环更新估计以优化拟合度量。对于高维环境，这样的嵌套循环结构需要一个显着的计算负担。为了减少嵌套循环的计算负担，SQIL [1]和IQ-Learn [2]等新方法强调策略估计，但牺牲了奖励估计的准确性。然而，如果没有准确的估计奖励，就不可能进行反事实分析，例如预测不同环境动态下的最优策略和/或学习新任务。在本文中，我们开发了一种新的单循环算法的IRL不妥协的奖励估计精度。在所提出的算法中，每个策略改进步骤之后是一个随机梯度步骤的似然最大化。我们证明了该算法可证明收敛到一个固定的解决方案，有限时间的保证。如果奖励是线性参数化的，我们确定的解决方案对应的最大熵IRL问题的解决方案。最后，通过使用MuJoCo机器人控制问题及其传输设置，我们表明，该算法实现了优越的性能相比，其他IRL和模仿学习基准。
2022-10-31 cs.LG stat.ML
Path-Space Mirror Descent for On-Policy Reinforcement Learning under the Generalized Schrödinger Bridge
School of Data Science, Fudan University（复旦大学数据科学学院）；Laboratory for Big Data and Decision, National University of Defense Technology（国防科技大学大数据与决策实验室）；ShanghaiTech University（上海科技大学）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Shanghai Innovation Institute（上海创新研究院）
针对生成式策略在在线策略优化中终端动作密度难处理的问题，提出GSB-MDPO方法，通过将策略优化建模为广义薛定谔桥问题并利用路径空间KL散度作为近端项，实现了无需显式终端似然评估的稳定更新。
2026-05-28 cs.LG
Control-Oriented Model-Based Reinforcement Learning with Implicit Differentiation
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）；Facebook（脸书）
基于基于模型的强化学习中的最大似然估计的缺点已经被越来越多的论文所强调。当模型类被错误指定或具有有限的表示能力时，具有高可能性的模型参数可能不一定导致代理在下游控制任务上的高性能。为了缓解这个问题，我们提出了一种端到端的模型学习方法，该方法使用隐式微分直接优化预期收益。我们把一个满足Bellman最优性算子的价值函数作为模型参数的隐函数，并说明如何区分该函数。我们提供了理论和实证证据，强调我们的方法的好处，在模型的误指定制度相比，基于可能性的方法。
2021-06-06 cs.AI cs.LG stat.ML
Scaling Reinforcement Learning for Diffusion Models via Velocity Matching
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达公司）
该研究提出基于奖励的速度匹配（RVM）方法，用于扩散模型的奖励微调，其训练成本显著降低，性能优于或相当基于轨迹的策略梯度方法，还通过动态跟踪奖励改善了视频生成的运动效果。
2026-09-29 cs.CV cs.LG
When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对离线IRL中世界模型误差会放大奖励估计偏差的问题，提出结合保守专家策略与最大似然的双层优化框架，并在MuJoCo和D4RL上显著超越现有基准。
2024-02-28 cs.AI cs.LG
Human-to-Robot Imitation in the Wild
Carnegie Mellon University（卡内基梅隆大学）
我们通过观察野外的人类来探讨学习的问题。虽然模仿和强化学习中的传统方法在现实世界中的学习中很有前途，但它们要么是样本效率低下，要么局限于实验室环境。与此同时，在处理被动的、非结构化的人类数据方面取得了很多成功。我们建议通过一个有效的一次性机器人学习算法来解决这个问题，该算法以第三人称视角为中心。我们称这种方法为WHIRL：在野外模仿人类的机器人学习。WHIRL提取了一个优先于人类演示者的意图，使用它来初始化我们的代理的策略。我们介绍了一个有效的现实世界的策略学习计划，提高使用的互动。我们的主要贡献是一个简单的基于采样的策略优化方法，一个新的目标函数对齐人类和机器人的视频，以及探索方法，以提高样本效率。我们展示了在现实世界中的一次性泛化和成功，包括野外20种不同的操作任务。视频和谈话https://human2robot.github.io
2022-07-19 cs.AI cs.CV cs.LG
Reward Biased Maximum Likelihood Estimation for Reinforcement Learning
Texas A&M University（得克萨斯农工大学）；Indian Institute of Science（印度科学学院）
为了克服自适应控制的基本“闭可辨识性问题”、“对偶控制问题”或“探索与利用问题”的中心障碍，提出了马尔可夫链自适应控制的有偏最大似然估计（RBMLE）.它利用了一个关键的观察，即由于最大似然参数估计可以在确定性等价方法下渐近地识别闭转移概率，因此限制参数估计必须具有小于真实但未知系统可获得的最优奖励的最优奖励。因此，它提出了一个抵消反向偏置，有利于具有更大的最佳回报的参数，提供了一个解决方案，上面提到的基本问题。因此，它提出了一种支持具有更大最优回报的参数的乐观方法，现在被称为“面对不确定性的乐观”。RBMLE方法已被证明是在各种情况下的长期平均奖励最优。然而，现代人的注意力集中在“后悔”或有限时间表现的更精细的概念上。最近对多武器随机土匪和线性背景土匪的RBMLE分析表明，它不仅具有最先进的遗憾，而且还表现出与当前最佳竞争者相当或更好的经验表现，并导致惊人的简单指数政策。出于这一动机，我们研究的有限时间性能的RBMLE的强化学习任务，涉及一般问题的最优控制未知马尔可夫决策过程。我们表明，它有一个遗憾的$\mathcal{O}( \log T)$在一个时间范围内的$T$步骤，类似于国家的最先进的算法。仿真研究表明，RBMLE优于其他算法，如UCRL 2和汤普森采样。
2021-05-15 cs.LG cs.SY eess.SY
Leveraging Grammar and Reinforcement Learning for Neural Program Synthesis
University of Oxford（牛津大学）；Microsoft Research（微软研究院）；Google（谷歌）；Deepmind（深度思维）
程序合成是自动生成符合规范的程序的任务。近年来，已经看到了许多用于程序合成的神经方法的提议，其中许多采用类似于神经机器翻译的序列生成范例，其中序列到序列模型被训练以最大化已知参考程序的可能性。虽然取得了令人印象深刻的成果，但这一战略有两个关键的局限性。首先，它忽略了程序别名：许多不同的程序可能满足给定的规范（特别是不完整的规范，如一些输入输出示例）。通过最大化只有一个参考程序的可能性，它惩罚了许多语义正确的程序，这可能会对合成器的性能产生不利影响。其次，这种策略忽略了这样一个事实，即程序有一个严格的语法，可以有效地检查。为了解决第一个限制，我们在监督模型之上执行强化学习，其目标是显式地最大化生成语义正确程序的可能性。为了解决第二个限制，我们引入了一个训练过程，直接最大限度地提高生成语法正确的程序，满足规范的概率。我们表明，我们的贡献导致模型的精度提高，特别是在训练数据有限的情况下。
2018-05-22 cs.LG stat.ML
GenPO: Generative Diffusion Models Meet On-Policy Reinforcement Learning
ShanghaiTech University（上海科技大学）；University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）；MoE Key Laboratory of Intelligent Perception and Human Machine Collaboration（智能感知与人机协同联合实验室）
GenPO通过生成扩散模型与在线强化学习结合，解决了扩散策略在计算状态-动作对数似然中的挑战，实现了高效的可逆动作映射和熵正则化，提升了机器人任务的训练效果。
2026-01-22 cs.LG
GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models
UCL Dept. of Statistical Science（伦敦大学学院统计科学系）；UCL Centre for AI（伦敦大学学院人工智能中心）；Alibaba Group（阿里巴巴集团）；Dept. of EEE（电子工程系）；Imperial College London（伦敦帝国理工学院）；UNIST（全南大学）；University of Basel（巴塞尔大学）
提出引导去噪器自蒸馏（GDSD）方法，通过从逆KL正则化强化学习的闭式最优解中导出的优势引导自教师直接蒸馏扩散语言模型的去噪器，避免了ELBO似然代理带来的训练-推理不匹配偏差，在规划、数学和代码基准上显著优于现有方法。
2026-05-28 cs.AI cs.LG
RoiRL: Efficient, Self-Supervised Reasoning with Offline Iterative Reinforcement Learning
Criteo AI Lab（Criteo人工智能实验室）；Ecole Polytechnique Paris（巴黎高等理工学院）
针对大语言模型推理强化学习依赖真实奖励或在线计算成本高的问题，提出轻量级离线迭代强化学习方法RoiRL，无需参考模型，训练更快且推理性能更优，为无标签自提升大模型提供可扩展路径。
2025-10-03 cs.LG
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research（谷歌研究院）
尽管最近在自然语言理解和生成方面取得了进展，并且对会话机器人的开发进行了数十年的研究，但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中，我们开发了一个实时的，开放式的对话系统，使用强化学习（RL）来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA（监督）语言模型与RL技术，特别适合于动态的动作空间，随着对话的进展而变化的会话状态。通过使用众包数据进行训练，我们的新系统能够在Google Assistant真实用户的现场实验中，在几个感兴趣的指标方面大大超过（强）基线监督模型。
2022-07-25 cs.CL cs.LG
Intelligent Communication Planning for Constrained Environmental IoT Sensing with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Caltech（加州理工学院）；UMass-Amherst（马萨诸塞大学阿默斯特分校）
针对功率和带宽受限的物联网传感器通信规划问题，提出多智能体强化学习方法学习环境数据时空相关性以减少冗余报告，在未知带宽限制下有效平衡数据收集与预测精度。
2023-08-19 cs.LG cs.MA cs.SY
Training Diffusion Models with Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
本文提出用强化学习直接优化扩散模型的下游目标，将去噪表述为多步决策问题并启用DDPO策略梯度算法，比奖励加权似然方法更有效，能适应图像可压缩性、美学质量等目标，并利用视觉语言模型反馈改善提示-图像对齐。
2024-01-04 cs.AI cs.CV cs.LG
Vision-Guided Quadrupedal Locomotion in the Wild with Multi-Modal Delay Randomization
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Tsinghua University（清华大学）
针对四足机器人在复杂环境中的视觉导航控制问题，提出了一种新的视觉导航控制方法。虽然强化学习（RL）为仿真中具有视觉输入的敏捷运动技能提供了一个有前途的范例，但在现实世界中部署RL策略仍然非常具有挑战性。我们的关键见解是，除了域差距的差异，在模拟和现实世界之间的视觉外观，控制管道的延迟也是困难的主要原因。在本文中，我们提出了多模态延迟随机化（MMDR）来解决这个问题时，训练RL代理。具体来说，我们模拟的延迟，真实的硬件使用过去的观察，随机采样周期，本体感觉和视觉。我们训练的RL策略的端到端的控制在物理模拟器没有任何预定义的控制器或参考运动，并直接部署在真正的A1四足机器人在野外运行。我们评估我们的方法在不同的户外环境中，复杂的地形和障碍。我们证明了机器人可以平稳地以高速机动，避免障碍物，并显示出显着的改善基线。我们的视频项目页面位于https://mehooz.github.io/mmdr-wild/。
2022-07-24 cs.CV cs.LG cs.RO
An Expectation-Maximization Perspective on Reinforcement Learning for LLM Reasoning
该研究提出EM策略梯度（EMPG）框架，将大语言模型推理的强化学习转化为期望最大化问题，在简化优化流程的同时，在GSM8K、MATH Hard数据集上取得与GRPO相当或更优的性能，且能生成更简洁的结构化推理轨迹。
2026-08-11 cs.AI cs.LG stat.ML
Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages
Department of Electrical & Computer Engineering（电气与计算机工程系）
本文提出一种针对扩散语言模型的强化学习方法，通过熵引导选择步骤和分步优势估计，实现无偏策略梯度，提升生成效果和计算效率。
2026-05-14 cs.AI cs.CL cs.LG
Rapid Locomotion via Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；NSF AI Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基础交互研究所）
敏捷的机动，如短跑和高速转弯在野外是具有挑战性的足式机器人。我们提出了一个端到端的学习控制器，实现了MIT Mini Cheetah的创纪录敏捷性，维持速度高达3.9 m/s。该系统在草地、冰和砾石等自然地形上快速运行和转弯，并对干扰做出稳健的响应。我们的控制器是一个神经网络，通过强化学习在模拟中训练，并转移到现实世界。两个关键组成部分是（i）速度命令的自适应课程和（ii）利用先前的工作进行仿真到现实迁移的在线系统辨识策略。有关机器人行为的视频，请访问：https://agility.csail.mit.edu/
2022-05-05 cs.AI cs.LG cs.RO
PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；Southern University of Science and Technology（南方科技大学）；Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究所）；LimX Dynamics
PolicyFlow是一种基于连续归一化流的在线强化学习算法，通过减少似然计算开销实现稳定训练，并通过布朗正则化器促进多样化行为。
2026-02-01 cs.LG cs.RO
Sequence-to-Sequence ASR Optimization via Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
尽管序列到序列方法在自动语音识别（ASR）系统中取得了成功，但模型仍然存在几个问题，主要是由于训练和推理条件之间的不匹配。在序列到序列架构中，在给定语音信号的输入和先前时间步的地面实况字素历史的情况下，训练模型以预测当前时间步的字素。然而，目前还不清楚该模型在推理过程中对真实世界语音的近似程度。因此，基于先前的预测从零开始生成整个转录是复杂的，并且错误可以随着时间传播。此外，该模型被优化以最大化训练数据的可能性，而不是实际量化识别质量的出错率评估度量。本文提出了一种采用强化学习（RL）思想训练序列到序列ASR模型的替代策略。与最大似然估计的标准训练方案不同，我们提出的方法利用了策略梯度算法。我们可以（1）在训练过程中根据模型的预测对整个转录进行采样，（2）直接用负Levenshtein距离作为奖励来优化模型。实验结果表明，我们显着提高了性能相比，只有最大似然估计训练的模型。
2018-02-28 cs.CL cs.LG cs.SD
Reinforcement learning of rare diffusive dynamics
University of California, Berkeley（加州大学伯克利分校）；University of Nottingham（诺丁汉大学）；Kavli Energy NanoScience Institute（卡夫利能源纳米科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一种方法来探测罕见的分子动力学轨迹直接使用强化学习。我们考虑的轨迹是有条件的配置空间区域之间的过渡在有限的时间内，像那些相关的反应事件的研究，以及轨迹表现出罕见的波动的时间积分量在很长的时间限制，像那些相关的大偏差函数的计算。在这两种情况下，强化学习技术用于优化增加的力，使条件轨迹集合和驱动轨迹集合之间的Kullback-Leibler发散最小化。在优化的附加力作用下，系统演化出一个典型的稀有涨落，给出其在原轨迹系综中似然的变分估计。采用低方差梯度值函数，提出了提高最优力的收敛性。我们开发的方法，采用这些梯度导致有效和准确的估计的最佳力量和各种模型系统的罕见事件的可能性。
2021-08-11 cond-mat.stat-mech cs.LG physics.chem-ph
Full Bayesian Reinforcement Learning via LF-IBIS
Department of Computer Science, University of Pisa, Italy（比萨大学计算机科学系）；Department of Economics and Statistics, University of Salerno, Italy（萨勒诺大学经济学与统计系）；Department of Statistics, Computer Science, Applications ”G.Parenti”, University of Florence, Italy（佛罗伦萨大学统计学、计算机科学与应用G.Parenti系）
提出LF-IBIS算法，结合近似贝叶斯计算与迭代批量重要性采样，在似然函数不可得时实现强化学习中的全贝叶斯推断，量化策略不确定性以平衡探索-利用。
2026-07-21 cs.AI cs.LG stat.ML
Kernel Based Maximum Entropy Inverse Reinforcement Learning for Mean-Field Games
Department of Mathematical Engineering, Özyeğin University（数学工程系，奥兹耶尼大学）
本文提出基于核方法的最大熵逆强化学习用于均场博弈，通过 RKHS 推断非线性奖励结构，提升策略恢复精度。
2026-03-05 cs.LG math.OC
