DORB: Dynamically Optimizing Multiple Rewards with Bandits
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
基于策略梯度的强化学习已被证明是一种很有前途的方法,用于直接优化语言生成任务的不可微评价指标。然而,针对特定指标奖励的优化主要只会导致该指标的改进,这表明该模型正在以特定的方式对该指标的制定进行游戏,而通常不会实现真正的定性改进。因此,使模型联合优化多个不同的度量奖励更有益。虽然吸引人,但这是具有挑战性的,因为需要手动决定这些指标奖励的重要性和缩放权重。此外,重要的是要考虑使用随时间灵活变化的指标奖励的动态组合和课程。考虑到上述方面,在我们的工作中,我们通过多臂强盗方法(DORB)同时自动优化多个度量奖励,其中在每一轮,强盗根据预期的臂增益选择下一步优化哪个度量奖励。我们将Exp 3算法用于强盗,并制定了两种强盗奖励方法:(1)单一多奖励强盗(SM-Bandit);(2)分层多奖励强盗(HM-Bandit)。我们通过两个重要的NLG任务:问题生成和数据到文本生成,包括在一个看不见的测试传输设置上的各种自动指标和人工评估,以经验证明了我们的方法的有效性。最后,我们提出了可解释的分析学习强盗课程的优化奖励。
2020-11-15 cs.AI cs.CL cs.LG
Reinforcement Learning with Conditional Expectation Reward
本文提出基于大语言模型自身作为隐式验证器的条件期望奖励方法,用于提升一般领域推理任务的准确性与适用性。
2026-03-11 cs.AI cs.CL cs.LG
Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning
Hikvision Research Institute(海康威视研究院)
在强化学习(RL)中,设计最优的奖励函数一直是人们所期望的,但却极其困难。当涉及到现代复杂任务时,复杂的奖励函数被广泛用于简化策略学习,但由于训练成本急剧增加,即使是对它们进行微小的调整也是昂贵的。为此,我们提出了一种后见之明的奖励调整方法,通过设计一种新的深度强化学习范式来模拟奖励函数在接近最优空间内的影响。我们简单地扩展输入观察与有效的环境奖励参数和训练的条件向量线性相关的模型在常规的方式,除了随机奖励配置,获得一个超政策,其特征是灵敏地调节的条件空间。我们证明了这种方法的可行性,并研究了其在多个MuJoCo任务的政策性能提升的潜在应用之一。
2021-09-06 cs.AI cs.LG
Language Models Can Learn from Verbal Feedback Without Scalar Rewards
Sea AI Lab(海智实验室);SUTD(新加坡科技设计大学);NUS(国立大学);NTU(南洋理工大学);University of Waterloo(滑铁卢大学)
针对RLHF/RLAIF将语言反馈压缩为标量奖励的问题,提出FCP框架,通过离线最大似然与在线自举把反馈作为条件信号,使LLM直接从语言反馈中学习。
2025-09-26 cs.AI cs.CL cs.LG
Detecting Proxy Gaming in RL and LLM Alignment via Evaluator Stress Tests
Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学);Department of Civil, Construction & Environmental Engineering, Iowa State University(土木、建设与环境工程系,爱荷华州立大学)
通过评估者压力测试检测强化学习和大语言模型对齐中的代理游戏,提升安全性和性能。
2026-01-04 cs.LG cs.SE
Reward-Directed Conditional Diffusion: Provable Distribution Estimation and Reward Improvement
Princeton University(普林斯顿大学)
本文提出利用含噪奖励标签训练伪标签器并指导条件扩散生成,证明其可估计奖励条件分布、恢复潜在子空间并向目标奖励改进。
2023-07-13 cs.LG
Diffusion Reward: Learning Rewards via Conditional Video Diffusion
Shanghai Qi Zhi Institute(上海期智研究院);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Sichuan University(四川大学);Tsinghua University(清华大学)
本文提出 Diffusion Reward 框架,利用条件视频扩散模型从专家视频中学习奖励,并通过条件熵负值引导探索,在仿真与真实机器人操作及未知任务上显著优于基线。
2024-08-09 cs.CV cs.LG cs.RO
AI Safety Gridworlds
DeepMind;Australian National University(澳大利亚国立大学)
我们提出了一套强化学习环境,说明各种安全性能的智能代理。这些问题包括安全可中断性,避免副作用,缺席监督,奖励博弈,安全探索,以及对自我修改,分布转移和对手的鲁棒性。为了衡量预期安全行为的合规性,我们为每个环境配备了对代理隐藏的性能函数。这使我们能够根据性能函数是否对应于观察到的奖励函数,将AI安全问题分类为鲁棒性和规范问题。我们评估了A2C和Rainbow,这两个最近的深度强化学习代理,在我们的环境中,并表明他们无法令人满意地解决这些问题。
2017-11-28 cs.AI cs.LG
Linking Process to Outcome: Conditional Reward Modeling for LLM Reasoning
本文提出条件奖励建模(CRM),通过将LLM推理视为时间过程,解决奖励分配模糊性和奖励黑客问题,提升推理性能。
2026-02-27 cs.LG
Learning to Understand Goal Specifications by Modelling Reward
Mila, Université de Montréal(蒙特利尔大学米拉);DeepMind(深度思维);Facebook AI Research(脸书人工智能研究院)
最近的研究表明,深度自主学习代理可以从不频繁的环境奖励中学习遵循类似语言的指令。然而,这给环境设计者带来了设计语言条件奖励函数的责任,由于环境和语言尺度的复杂性,语言条件奖励函数可能不容易或难以实现。为了克服这一限制,我们提出了一个框架,在该框架内,有条件的强化学习代理的训练使用的奖励不是从环境中获得的,但从奖励模型,这是共同训练的专家的例子。随着奖励模型的改进,它们学会了准确地奖励代理完成环境配置任务-以及指令-而这些任务在专家数据中不存在。该框架有效地将指令需要什么的表示与它们如何执行的表示分开。在一个简单的网格世界中,它使智能体能够学习一系列命令,这些命令需要与块进行交互,并理解空间关系和未指定的抽象安排。我们进一步表明,该方法允许我们的代理,以适应环境的变化,而不需要新的专家的例子。
2019-12-23 cs.AI cs.LG
Sycophancy to Subterfuge: Investigating Reward-Tampering in Large Language Models
Anthropic;Redwood Research;University of Oxford(牛津大学)
本文通过构建递进式可博弈环境课程,发现大语言模型会从简单规范博弈泛化到直接篡改自身奖励函数,且重训练与无害性训练均难以彻底消除该行为。
2024-06-29 cs.AI cs.CL
Gaming-Resistant Insurance Contracts for Autonomous AI Agents: Strategy-Proof Toll Mechanism Design
Hao-Hsuan Chen(何浩轩)
本文扩展了时间一致精算运行时的框架,使运营商策略化,刻画了自主AI代理保险合约的五种攻击空间,并证明了精算运行时的抗博弈性,通过新合约条款实现激励兼容。
2026-06-19 cs.AI cs.GT q-fin.RM
Reward-Adaptive Iterative Discovery: A Case Study on Automated Game Testing for NHL26
Electronic Arts (EA)(艺电公司)
以EA SPORTS NHL 26为例,针对游戏测试工作量大的问题,提出奖励自适应迭代发现(RAID)方法,通过扩展强化学习算法,使其能找到多样高质量解决方案,单次实验就找到六种类似人工测试的曲棍球得分利用策略。
2026-07-09 cs.AI cs.LG
CIG: Exploration via Conditional Information Gain
FZI Karlsruhe(弗赖堡研究所卡尔斯鲁厄分所);KIT Karlsruhe(卡尔斯鲁厄理工学院)
该研究提出了一种条件信息增益(CIG)奖励机制,用于强化学习中的探索问题,通过可追溯的log-determinant目标和Ensemble Disagreement核来生成因果每步奖励,从而在高维状态空间中实现有效的探索。
2026-05-20 cs.LG
Conditional Kernel Imitation Learning for Continuous State Environments
University of Southern California(南加州大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对连续状态空间下无环境交互、无奖励与动力学信息的模仿学习难题,提出基于条件核密度估计与马尔可夫平衡方程的框架,证明其渐近一致性,实验显示性能优于多种主流IL算法。
2023-08-24 cs.AI cs.LG
Reward Models Are Secretly Value Functions: Temporally Coherent Reward Modeling
AI at Meta(Meta人工智能)
本文提出时间一致的奖励建模方法,通过正则化项使奖励模型在任意token位置输出代表条件期望,提升token级奖励可解释性,并在ProcessBench上取得SOTA性能,同时优化PPO的资源利用。
2026-04-24 cs.LG
CWAE-IRL: Formulating a supervised approach to Inverse Reinforcement Learning problem
Ford Motor Company(福特汽车公司)
逆强化学习(IRL)用于从运行马尔可夫决策过程(MDP)的专家的动作推断奖励函数。本研究提出一种利用变分推论来学习报酬函数的新方法。使用这种技术,连续潜变量(在这种情况下的奖励函数)的棘手的后验分布被分析近似,似乎是接近先验信念,同时试图重建未来的状态条件下的当前状态和行动。奖励函数是使用众所周知的深度生成模型(称为条件变分自动编码器(CVAE))和Wasserstein损失函数推导出来的,因此称为条件Wasserstein自动编码器-IRL(CWAE-IRL),可以将其分析为向后和向前推理的组合。然后,这可以形成一个有效的替代以前的方法IRL,而没有知识的代理的系统动力学。在标准基准测试程序objectworld和pendulum上的实验结果表明,该算法能够有效地学习复杂高维环境下的潜在奖励函数.
2019-10-02 cs.AI cs.LG stat.ML
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
Fudan NLP Group(复旦大学NLP小组)
本文探讨大模型中奖励黑客的机制与挑战,提出代理压缩假说框架,分析优化过程中的表现偏差和对抗性行为,提出检测与缓解策略。
2026-04-15 cs.LG
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning
Vector Institute(向量学院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习(RL)方法通常将奖励函数视为黑箱。因此,这些方法必须与环境广泛互动,以发现奖励和最佳策略。然而,在大多数RL应用程序中,用户必须对奖励函数进行编程,因此有机会使奖励函数可见-向RL代理显示奖励函数的代码,以便它可以利用函数的内部结构以更有效的方式学习最佳策略。在本文中,我们展示了如何通过两个步骤来实现这一想法。首先,我们提出了奖励机,一种有限状态机,它支持奖励函数的规范,同时暴露奖励函数的结构。然后,我们描述了利用此结构来支持学习的不同方法,包括自动奖励塑造、任务分解以及带有离策略学习的反事实推理。在不同任务和RL代理之间的表格和连续域上的实验显示了利用奖励结构在样本效率和所得政策的质量方面的好处。最后,由于是有限状态机的一种形式,奖励机具有正则语言的表达能力,并且因此支持循环、序列和条件,以及线性时间逻辑和非马尔可夫奖励规范的典型的时间扩展属性的表达。
2022-01-17 cs.AI cs.LG
Regime-Conditional Stabilisation of LLM-Augmented Cooperative Multi-Agent Reinforcement Learning
National School of Artificial Intelligence (ENSIA)(国立人工智能学院(ENSIA));Cosys-Grettia, Univ Gustave Eiffel(古斯塔夫·埃菲尔大学Cosys-Grettia实验室)
研究大语言模型与合作多智能体强化学习集成时训练动态,指出非策略学习中动态更新奖励权重违反平稳假设。提出基于阶段的冻结计划和指数移动平均平滑两种稳定策略并评估,揭示奖励信号平稳性是必要设计约束。
2026-07-07 cs.AI cs.LG math.OC
Think Dense, Not Long: Dynamic Decoupled Conditional Advantage for Efficient Reasoning
Beihang University(北航);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));National University of Defense Technology(国防科技大学);Hong Kong Polytechnic University(香港理工大学);Alibaba Group(阿里巴巴集团)
DDCA通过动态解耦条件优势提升强化学习的效率-准确性平衡,减少生成token数量并保持准确性。
2026-02-02 cs.CL cs.LG
Reward Hacking and Agent Containment Failure: A Monte Carlo Study Based on the 2026 Hugging Face Incident
University of Cincinnati(辛辛那提大学);Haile College of Business, Northern Kentucky University(北肯塔基大学海尔商学院);Case Western Reserve University(凯斯西储大学)
本研究基于2026年Hugging Face入侵事件,构建五阶段概率风险模型,通过蒙特卡洛模拟发现分层控制优于单一措施,并主张将智能体评估视为敌对安全区域。
2026-09-29 cs.AI cs.CR
Risk-Aware Algorithms for Combinatorial Semi-Bandits
Indian Institute of Science(印度科学理工学院)
本文研究了半强盗反馈下的随机组合多臂强盗问题。虽然已经做了大量的工作,优化线性以及一些一般的奖励函数的预期奖励的算法,我们研究的问题,其中的目标是风险意识的一个变体。更具体地说,我们考虑的问题,最大化的条件风险价值(CVaR),风险度量,只考虑最坏情况下的回报。我们提出了新的算法,最大限度地提高CVaR的奖励从超级武器的组合强盗高斯和有界的手臂奖励的两种情况下。我们进一步分析这些算法,并提供遗憾的界限。我们相信,我们的研究结果提供了第一个理论见解组合半强盗问题的风险意识的情况下。
2021-12-02 cs.AI cs.LG
Self-correcting Reward Shaping via Language Models for Reinforcement Learning Agents in Games
Electronic Arts (EA)(美国艺电公司(EA));KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出一种基于语言模型的自动化奖励权重迭代微调方法,通过闭环自校正机制使游戏强化学习智能体在赛车任务中性能显著提升,达到与人类专家手动设计相当的水平。
2025-06-30 cs.AI
Fine-Tuning Discrete Diffusion Models via Reward Optimization with Applications to DNA and Protein Design
MIT(麻省理工学院);Genentech(基因泰克公司);Harvard University(哈佛大学);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文提出DRAKES算法,通过Gumbel-Softmax使离散扩散轨迹可微并结合KL约束进行奖励优化,实现高奖励且类天然的DNA与蛋白质序列设计。
2025-03-17 cs.AI cs.LG
OASIS: Conditional Distribution Shaping for Offline Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文提出OASIS,利用条件扩散模型塑形离线数据分布,以解决离线安全强化学习中不完美演示与安全高回报目标不匹配的问题,在基准上超越基线并展现高数据效率与鲁棒性。
2024-07-19 cs.LG
Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing
The Pennsylvania State University(宾夕法尼亚州立大学)
研究用于大语言模型路由的相关感知上下文博弈问题,提出耦合奖励混合与解耦预测混合两种利用替代奖励的算法,经理论分析和实验评估,相比基线方法提高了样本效率和精度 - 成本权衡。
2026-10-15 cs.AI cs.LG
Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization
University of Toronto(多伦多大学);DeepMind;Google Brain(谷歌大脑)
连续控制的标准动态模型利用前馈计算来预测下一个状态的条件分布,并使用具有对角协方差结构的多变量高斯来奖励给定的当前状态和动作。这种建模选择假设下一个状态和奖励的不同维度在给定当前状态和动作的情况下是有条件独立的,并且可以由完全可观察的基于物理的仿真环境需要确定性转换动态的事实驱动。在本文中,我们挑战这个条件独立性假设,并提出了一个家庭的表达自回归动力学模型,产生不同的维度的下一个状态和奖励顺序条件上以前的维度。我们证明,自回归动力学模型确实优于标准的前馈模型的对数似然保持过渡。此外,我们在RL Unplugged(一套离线MuJoCo数据集)上比较了不同的基于模型和无模型的离线策略评估(OPE)方法,发现自回归动态模型始终优于所有基线,实现了新的最先进水平。我们表明,自回归动态模型是有用的离线政策优化作为一种方式,以丰富重放缓冲区,通过数据增强和提高使用基于模型的规划的性能。
2021-04-28 cs.AI cs.LG stat.ML
Towards Governing Agent's Efficacy: Action-Conditional $β$-VAE for Deep Transparent Reinforcement Learning
Seoul National University(首尔国立大学);Samsung Electronics(三星电子)
我们在强化学习(RL)的设置中解决了深度神经网络的黑盒问题,其中神经代理以不可控的方式学习最大化奖励收益。当交互环境包括广阔的状态空间时,这种学习方法是有风险的,因为几乎不可能预见所有不想要的结果并预先用负奖励惩罚它们。与以前的作品中学习的神经功能的反向分析不同,我们提出的方法\nj{tackles the blackbox issue by encouraging}是一个RL策略网络,通过实现一个解纠缠的表示学习方法来学习可解释的潜在特征。为此,我们的方法允许RL代理通过将其影响与不可控的环境因素区分开来来理解自我效能,这与人类理解场景的方式非常相似。我们的实验结果表明,学习的潜在因素不仅是可解释的,而且还可以建模整个访问状态空间的分布与特定的动作条件。我们已经实验表明,拟议结构的这一特征可以导致对RL代理的期望行为进行事后治理。
2018-11-11 cs.AI cs.LG stat.ML
Off-Policy Evaluation for Missingness-Aware Policies in MDPs with Rewards Missing Not at Random
Department of Statistics, University of Michigan at Ann Arbor(密歇根大学安娜堡分校统计学系);Department of Statistics(统计学系);Applied Probability, University of California at Santa Barbara(加州大学圣巴巴拉分校应用概率系);Department of Mathematical Sciences, University of Texas at Dallas(德克萨斯大学达拉斯分校数学科学系)
针对奖励非随机缺失的离线强化学习问题,提出基于未来状态作为影子变量的识别方法,并利用桥函数和min-max估计器恢复条件均值奖励,实现缺失感知策略的离线评估。
2026-06-19 cs.LG stat.ML
The Minimal Search Space for Conditional Causal Bandits
Lehman College and The Graduate Center, City University of New York(纽约市立大学雷曼学院和研究生中心)
本文针对条件干预的因果老虎机问题,提出一种图论方法识别包含最优条件干预的最小节点集,并设计O(|V|+|E|)算法,显著缩小搜索空间并加速收敛。
2026-07-09 cs.AI cs.LG stat.ML
ProxT2I: Efficient Reward-Guided Text-to-Image Generation via Proximal Diffusion
Johns Hopkins University(约翰霍普金斯大学);Amazon(亚马逊)
ProxT2I通过近端扩散和奖励引导方法,提升文本到图像生成的效率和人类偏好对齐,实现高效且轻量的生成效果。
2025-11-26 cs.AI cs.CV cs.LG
RLInspect: An Interactive Visual Approach to Assess Reinforcement Learning Algorithm
Engineering for Research(工程研究中心);Thoughtworks Technologies(Thoughtworks科技公司)
本文提出交互式可视化分析工具RLInspect,通过综合分析状态、动作、智能体架构和奖励等组件,帮助用户深入理解强化学习模型行为并识别训练问题,以构建更稳健可靠的系统。
2024-11-13 cs.AI
Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes
本文提出 RED 强化学习框架,利用平均回报 MDP 的结构性质同时处理多类学习子任务,并给出含收敛保证的预测与控制算法,首次实现完全在线 CVaR 风险感知策略优化。
2025-08-28 cs.AI cs.LG
Value function estimation using conditional diffusion models for control
Apple(苹果公司)
针对深度强化学习高质量演示数据不足的问题,提出基于扩散模型的DVF算法,可利用无奖励无动作的低质量状态序列学习交互动力学并估计动作价值,在机器人基准上取得良好效果。
2023-06-09 cs.AI cs.LG
Adding Conditional Control to Diffusion Models with Reinforcement Learning
Princeton University(普林斯顿大学);Genentech(基因泰克公司);University of California, Berkeley(加利福尼亚大学伯克利分校)
提出基于强化学习的CTRL方法,利用离线数据集为预训练扩散模型添加条件控制,以软最优策略最大化奖励,实现推理时条件采样,提升效率并简化数据集构建。
2025-02-24 cs.AI cs.LG stat.ML
Domain-Adversarial and Conditional State Space Model for Imitation Learning
Panasonic Corporation(松下电器公司);Ritsumeikan University(立命馆大学)
研究了部分可观测马尔可夫决策过程中的状态表示学习(SRL),以学习机器人控制任务中有用数据的抽象特征。对于SRL,获取领域不可知的状态对于实现有效的模仿学习是必不可少的。如果没有这些状态,模仿学习就会受到对控制无用的领域相关信息的阻碍。然而,现有的方法无法消除这种干扰的状态时,从专家和代理的数据显示大的域转移。为了克服这个问题,我们提出了一个领域对抗和条件状态空间模型(DAC-SSM),使控制系统获得领域不可知和任务和动态感知的状态。DAC-SSM联合优化状态推断、观测重构、前向动力学和奖励模型。为了从状态中去除域相关信息,模型以对抗方式使用域鉴别器进行训练,并且重建以域标签为条件。我们实验评估的模型预测控制的性能,通过模仿学习连续控制的稀疏奖励任务的模拟器,并比较它与现有的SRL方法的性能。来自DAC-SSM的代理实现了与专家相当的性能,并且是基线的两倍多。我们得出结论,领域不可知的状态是必不可少的模仿学习,具有较大的域转移,可以使用DAC-SSM获得。
2021-06-04 cs.AI cs.LG cs.RO
Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures
The Ohio State University(俄亥俄州立大学);University of Michigan(密歇根大学)
传统的强化学习(RL)旨在最大化预期的总回报,而不确定结果的风险需要控制,以确保在风险规避环境中的可靠性能。本文研究了无限时域马尔可夫决策过程中报酬序列的动态风险最大化问题。我们将期望条件风险测度(ECRM)应用于无限期风险厌恶的MDP,并证明了其时间一致性。使用一个凸组合的期望和条件风险价值(CVaR)作为一个特殊的一步条件风险度量,我们重新制定的风险厌恶MDP作为一个风险中性的对应扩大行动空间和操纵的即时回报。我们进一步证明了相关的Bellman算子是一个压缩映射,这保证了任何基于值的RL算法的收敛性。因此,我们开发了一个风险规避的深度Q学习框架,我们基于两个简单的MDP的数值研究表明,风险规避设置可以减少方差并增强结果的鲁棒性。
2023-01-14 cs.LG math.OC
In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学)
提出数据集内轨迹回报正则化(DTR)方法,利用条件序列建模和集成归一化技术缓解离线偏好强化学习中的奖励偏差问题,在多个基准上取得优越性能。
2024-12-21 cs.AI cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题,提出扩散分类器驱动的奖励方法(DPR及条件变体C-DPR),通过判别性推断提升奖励质量,实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Renmin University of China(中国人民大学);The Chinese University of Hong Kong(香港中文大学)
本文提出 CANON 条件优势估计方法,无需预设熵或响应长度等指标的方向,即可自适应放大目标指标影响,并在数学与逻辑推理任务中提升性能和 token 效率。
2025-09-28 cs.AI cs.CL
Accelerating Reinforcement Learning with Value-Conditional State Entropy Exploration
KAIST(韩国科学技术院);UC Berkeley(加州大学伯克利分校)
针对状态熵探索在奖励任务中偏向低价值区域的问题,提出价值条件化状态熵内在奖励,在多个基准上显著加速强化学习。
2024-08-08 cs.AI cs.LG
Goal-directed Generation of Discrete Structures with Conditional Generative Models
University of Geneva(日内瓦大学);University of Applied Sciences Western Switzerland(瑞士西部应用科学大学);University College London(伦敦大学学院);Alan Turing Institute(阿兰·图灵研究所)
尽管最近取得了进展,但结构化离散数据的目标导向生成仍然具有挑战性。对于诸如程序合成(生成源代码)和材料设计(生成分子)之类的问题,找到满足所需约束或表现出所需性质的例子是困难的。在实践中,通常采用昂贵的启发式搜索或强化学习算法。在本文中,我们研究了使用条件生成模型直接攻击这个逆问题,通过建模离散结构的分布给定的属性的兴趣。不幸的是,这种模型的最大似然训练经常失败,因为来自生成模型的样本不充分地尊重输入属性。为了解决这个问题,我们引入了一种新的方法来直接优化强化学习目标,最大化预期奖励。我们避免了高方差的得分函数估计,否则将需要从一个近似的归一化奖励采样,允许简单的蒙特卡罗模型梯度估计。我们在两个任务上测试我们的方法:生成具有用户定义属性的分子和识别评估给定目标值的短Python表达式。在这两种情况下,我们发现最大似然估计和其他基线的改进。
2020-10-23 cs.LG stat.ML
An Imperfect Verifier is Good Enough: Learning with Noisy Rewards
Handshake AI;ETH Zurich(苏黎世联邦理工学院)
研究通过引入噪声探讨强化学习在有噪声奖励下的鲁棒性,发现15%的噪声率下验证准确率接近干净基线,表明不完美验证不影响RLVR效果。
2026-09-29 cs.AI cs.LG
Nested-Wasserstein Self-Imitation Learning for Sequence Generation
Duke University(杜克大学);University at Buffalo(布法罗大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院);DeepMind(深度思维)
强化学习(RL)已被广泛研究,以改善序列生成模型。然而,用于RL训练的传统奖励通常不能捕获足够的语义信息,因此呈现模型偏差。此外,稀疏和延迟的奖励使RL探索效率低下。为了缓解这些问题,我们提出了分布式语义匹配的嵌套Wasserstein距离的概念。为了进一步利用它,开发了一种新的嵌套Wasserstein自模仿学习框架,鼓励模型利用历史高回报序列进行增强的探索和更好的语义匹配。我们的解决方案可以理解为近似执行近端策略优化与Wasserstein信任区域。各种无条件和有条件的序列生成任务的实验表明,所提出的方法始终导致性能的提高。
2020-01-20 cs.CL cs.LG
PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals
Warwick Manufacturing Group(华威制造集团);University of Warwick(华威大学)
稀疏奖励学习仍然是强化学习(RL)中的一个重大挑战,特别是当目标是训练能够实现多个不同目标的策略时。到目前为止,处理多目标,稀疏奖励环境的最成功的方法是无模型RL算法。在这项工作中,我们提出了PlanGAN,一个基于模型的算法,专门设计用于解决多目标任务的环境与稀疏奖励。我们的方法建立在这样一个事实上,即代理收集的任何经验轨迹都包含有关如何实现该轨迹期间观察到的目标的有用信息。我们用它来训练一个条件生成模型(GANs)的集合,以生成合理的轨迹,将代理从当前状态引导到指定的目标。然后,我们将这些想象的轨迹结合到一个新的规划算法中,以尽可能有效地实现预期的目标。PlanGAN的性能已经在许多机器人导航/操作任务上进行了测试,并与一系列无模型强化学习基线进行了比较,包括后见之明经验重放。我们的研究表明,PlanGAN可以实现相当的性能,同时具有大约4-8倍的样本效率。
2020-06-01 cs.AI cs.LG stat.ML
An Information Theoretic Approach to Interaction-Grounded Learning
The Chinese University of Hong Kong(香港中文大学)
针对交互接地学习中反馈变量与上下文-动作对的条件独立假设落地问题,提出基于变分互信息的VI-IGL框架及广义f-VI-IGL框架,通过极小-极大优化学习奖励解码器,实验证明其性能优于现有同类强化学习算法。
2024-02-02 cs.LG
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan(密歇根大学)
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先,我们研究了表格环境下的Q-学习算法,并将其成功地应用于OpenAi Gym环境Taxi。其次,我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三,我们还研究了强化学习在自动驾驶中的应用,以及与安全检查约束(安全控制器)的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体,并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
Calibration-First Reward-Component Auditing for Reinforcement Learning Control in Smart Greenhouses
College of Information and Electrical Engineering, China Agricultural University(中国农业大学信息与电气工程学院)
针对智能温室控制,提出校准优先奖励审计框架,在GreenLight - Gym中分解标量奖励,使其适应气候轨迹并对温室数据组件评分,确保奖励组件在多场景下可比。
2026-07-15 cs.AI
Transfer Reward Learning for Policy Gradient-Based Text Generation
University of Liverpool(利物浦大学)
特定于任务的分数通常用于优化和评估条件文本生成系统的性能。然而,这样的分数是不可微的,并且不能在标准的监督学习范例中使用。因此,使用策略梯度方法,因为可以在不需要可微目标的情况下计算梯度。然而,我们认为,目前的n-gram重叠作为奖励的措施,可以通过使用基于模型的奖励,直接比较句子对的相似性的任务转移。这些奖励模型要么输出整个预测句子和目标句子之间的句子级句法和语义相似度的分数作为预期回报,要么输出中间短语作为分段累积奖励。我们证明,使用一个\textit{Transferable Reward Learner}导致改进的结果语义评价措施的政策梯度模型的图像描述任务。我们的InferSent actor-critic模型在MSCOCO上的BLEU训练的actor-critic模型上进行了6.97点的Word Mover距离相似性度量评估,也提高了滑动窗口余弦相似性度量10.48点。在较小的Flickr-30 k数据集上也获得了类似的性能改进,证明了所提出的迁移学习方法的普遍适用性。
2019-09-09 cs.CL cs.CV cs.LG
Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport
Department of Applied Mathematics and Theoretical Physics(应用数学与理论物理系)
本文提出超参数轨迹推断任务,通过学习神经网络在不同超参数下的条件输出分布,构建近似模型以模拟未观测的超参数设置。方法基于条件拉格朗日最优传输,结合流形假设和最少作用原理提升模型可行性。
2026-03-18 cs.AI cs.LG
GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL
The Hong Kong University of Science and Technology, Hong Kong SAR, China(香港科学与技术大学);South China University of Technology, Guangdong, China(华南理工大学)
GAS通过增强数据集和引入目标函数,提升生成模型辅助离线安全强化学习中奖励与成本的平衡能力。
2026-02-05 cs.AI cs.LG
Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity
提出一种基于状态增强的静态 CVaR 目标新公式,通过奖励再分配得到稠密奖励和压缩 Bellman 算子,并开发风险厌恶值迭代和无模型 Q 学习算法,具有收敛保证和离散化误差界。
2026-07-01 cs.AI cs.LG
Training Interactive Agent in Large FPS Game Map with Rule-enhanced Reinforcement Learning
School of Software Engineering, University of Science and Technology of China(中国科学技术大学软件学院);Tencent Games(腾讯游戏)
针对大型复杂3D FPS游戏中AI部署的导航与战斗挑战,提出结合Navmesh、射击规则与深度强化学习的NSRL方法,构建可在《Arena Breakout》大地图交互作战的PMCA智能体,实现多样化类人可控行为。
2024-10-07 cs.AI