Uncertainty-Based Methods for Automated Process Reward Data Construction and Output Aggregation in Mathematical Reasoning
本文提出不确定性驱动的过程奖励数据自动构建框架及两种不确定性感知输出聚合方法,在多个基准上验证了其提升数学推理能力的有效性与效率。
2025-08-03 cs.AI cs.CL
Driving Style Encoder: Situational Reward Adaptation for General-Purpose Planning in Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
自动驾驶的通用规划算法结合了任务、行为和局部运动规划。这种规划算法将环境和驾驶运动学的特征映射到复杂的奖励函数中。为了实现这一目标,规划专家通常依赖于线性奖励函数。这些奖励函数的规范和调优是一个繁琐的过程,需要大量的经验。此外,手动设计的线性奖励函数不能在不同的驾驶情况下推广。在这项工作中,我们提出了一种基于逆强化学习的深度学习方法,该方法可以生成依赖于情境的奖励函数。我们的神经网络提供了一个基于模型预测控制的规划器的采样驾驶策略的特征和动作之间的映射,并预测即将到来的规划周期的奖励函数。在我们的评估中,我们将深度网络预测的奖励函数的驱动风格与聚类和线性奖励函数进行了比较。我们提出的深度学习方法优于集群线性奖励函数,并且与具有有关情况的先验知识的线性奖励函数相当。
2020-09-13 cs.AI cs.LG cs.RO
Auto MC-Reward: Automated Dense Reward Design with Large Language Models for Minecraft
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学);OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室,OpenGVLab);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院);Shanghai Jiao Tong University(上海交通大学)
本文提出Auto MC-Reward系统,利用大语言模型自动设计、验证并迭代Minecraft中的稠密奖励函数,以解决稀疏奖励下的探索效率问题,显著提升了智能体在复杂任务中的成功率和学习效率。
2024-03-30 cs.AI cs.CL cs.CV
Comedic Fool's Gold: Reward Exploits and Countermeasures in Conversational Humor
Pebble ML
本研究探讨对话式幽默训练中自动化奖励的漏洞与对策,发现基于嵌入的意外性奖励易受词序打乱攻击,观众模型易受笑声线索影响,最终运行虽提升综合分数0.0903并减少40%零分会话,但幽默改进未达目标,凸显奖励设计需兼顾防漏洞与保目标行为。
2026-10-02 cs.AI cs.CL cs.LG
Diverse and Effective Red Teaming with Auto-generated Rewards and Multi-step Reinforcement Learning
OpenAI
本文提出将自动化红队测试分解为目标生成与攻击生成两步,利用LLM生成多样化目标,并通过多步强化学习训练攻击者,在保持攻击有效性的同时显著提升攻击多样性。
2024-12-24 cs.AI cs.CL cs.LG
Automated Reward Design for Gran Turismo
Mila, University of Montreal(蒙特利尔大学Mila);Turing Inc.(图灵公司);Sony AI(索尼人工智能);Sony AI, UT Austin(索尼人工智能、得克萨斯大学奥斯汀分校)
本文提出一种结合 LLM 奖励生成、VLM 偏好评估与人类反馈的自动奖励设计方法,为 Gran Turismo 7 生成媲美冠军级智能体 GT Sophy 的赛车 RL 智能体,推进了现实世界应用。
2025-11-03 cs.AI
Combining Automated Optimisation of Hyperparameters and Reward Shape
RWTH Aachen University(亚琛工业大学);Universiteit Leiden(莱顿大学)
针对强化学习中超参数与奖励函数难调优且相互依赖的问题,提出二者联合优化方法并加入方差惩罚提升策略稳定性,实验证明其在多数环境中性能提升显著且计算成本增加少。
2024-10-09 cs.AI cs.LG
Online Policy Learning from Offline Preferences
Kyoto University(京都大学)
本研究提出将离线偏好与虚拟偏好整合的PbRL框架,利用虚拟偏好跟踪智能体行为以解决奖励函数泛化问题,并在连续控制任务中验证了其有效性。
2024-03-15 cs.LG
Expediting Reinforcement Learning by Incorporating Knowledge About Temporal Causality in the Environment
TU Dortmund University Research Center Trustworthy Data Science(图宾根大学可信数据科学与安全研究中心)
本文提出将基于时序逻辑的因果图融入奖励形式体系,以加速强化学习策略学习并支持任务规范迁移,并提供了收敛性理论证明和实验验证。
2025-10-17 cs.AI cs.LG
GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training
Key Lab of HCST (PKU), MOE;SCS, Peking University, Beijing, China;Tencent Inc., Shenzheng, China;Hong Kong University of Science;Department of Computer Science, University of Texas at Dallas, Richardson, USA;School of Computing Science, Simon Fraser University, Burnaby, BC, Canada
GUI-GENESIS通过自动合成高效GUI训练环境并提供可验证奖励,显著提升了GUI代理的训练效率和性能。
2026-02-15 cs.AI cs.LG
Human-centric Reward Optimization for Reinforcement Learning-based Automated Driving using Large Language Models
Faculty of Applied Science & Engineering, University of Toronto(多伦多大学应用科学与工程学院);University of Minnesota – Twin Cities(明尼苏达大学双城分校);University of Wisconsin – Madison(威斯康星大学麦迪逊分校);Transportation Research Institute, University of Toronto(多伦多大学交通研究所);IRC for Smart Mobility & Logistics, King Fahd University of Petroleum and Minerals(法赫德石油和矿产大学智能移动与物流研究所)
本文提出利用大语言模型以人本化方式优化强化学习奖励函数,通过指令和动态环境描述辅助生成奖励,使自动驾驶智能体行为更类人且性能更优,并验证了提示设计对行为塑造的重要影响。
2024-12-26 cs.AI
Reward Design for Reinforcement Learning Agents
Saarland University(萨尔大学)
本论文研究强化学习中的奖励设计,提出教师驱动、自适应和元学习三种方法,以加速智能体收敛至最优行为。
2025-03-27 cs.LG
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
行为和运动规划在自动驾驶中起着重要的作用。传统上,行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性,可能会发生不可预测的情况,其中行为规划者无法匹配预定义的行为模板。最近,已经引入了通用规划器,其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而,出现了两个挑战:首先,该函数必须将复杂的特征空间映射到奖励。其次,奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中,我们提出了一种方法,依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外,我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明,我们能够学习奖励函数超过手动专家调整的水平,没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
MaxCode: A Max-Reward Reinforcement Learning Framework for Automated Code Optimization
Johns Hopkins University(约翰霍普金斯大学);Amazon Web Services(亚马逊网络服务)
MaxCode通过max-reward强化学习框架提升代码优化性能,实现20.3%的绝对速度提升和10.1%的相对排名提升。
2026-01-09 cs.CL cs.LG
A Multi-Component Reward Function with Policy Gradient for Automated Feature Selection with Dynamic Regularization and Bias Mitigation
本文提出一种结合偏差缓解的强化学习自动化特征选择框架,通过多组件奖励函数动态平衡泛化、准确性与公平性,解决隐藏依赖导致的模型偏差问题。
2025-10-09 cs.CY cs.LG stat.ML
Reward-Adaptive Iterative Discovery: A Case Study on Automated Game Testing for NHL26
Electronic Arts (EA)(艺电公司)
以EA SPORTS NHL 26为例,针对游戏测试工作量大的问题,提出奖励自适应迭代发现(RAID)方法,通过扩展强化学习算法,使其能找到多样高质量解决方案,单次实验就找到六种类似人工测试的曲棍球得分利用策略。
2026-07-09 cs.AI cs.LG
Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
提出过程优势验证器(PAVs),通过在独立证明者策略下衡量推理步骤的进展来改进LLM,显著提升了测试时搜索与在线RL的准确率和计算效率。
2024-10-10 cs.CL cs.LG
Automated Hybrid Reward Scheduling via Large Language Models for Robotic Skill Learning
National Engineering Laboratory for Big Data System Computing Technology(大数据系统计算技术国家工程实验室)
针对高自由度机器人技能学习中多奖励分量统一优化效率低的问题,提出基于大语言模型的自动化混合奖励调度框架AHRS,通过多分支价值网络动态调整各奖励分量权重,在多个任务上平均提升6.48%性能。
2025-05-05 cs.AI cs.RO
DISCOVER: Automated Curricula for Sparse-Reward Reinforcement Learning
ETH Zürich, Switzerland(苏黎世联邦理工学院,瑞士);Max Planck Institute for Intelligent Systems, Germany(智能系统马克斯·普朗克研究所,德国)
本文提出 DISCOVER,通过从现有 RL 算法中提取方向感并自动选择面向目标任务的探索性目标,解决高维超长时域稀疏奖励任务的探索难题,并给出理论界与高维实验验证。
2025-10-20 cs.AI cs.LG cs.RO
AURORA:Automated Training Framework of Universal Process Reward Models via Ensemble Prompting and Reverse Verification
INFLY TECH (Shanghai) Co., Ltd.(影智科技(上海)有限公司);Fudan University(复旦大学);Shanghai University of Engineering Science(上海工程技术大学)
提出 AURORA 自动化框架,通过集成提示标注与参考答案反向验证训练通用 PRM,并构建 UniversalBench,提升多样策略和长 CoT 下的过程评估准确性。
2025-02-17 cs.CL
Bounded Reasoning: Cognitive Hierarchy in Human-versus-AI Cyber Defense
Rutgers University(罗格斯大学)
本研究通过攻击图上的序贯网络防御博弈,比较人类与自动化防御者,发现人类适应行为符合前景理论,且仅用平均分数评估会掩盖有界推理的差异。
2026-10-06 cs.CR cs.HC cs.LG
Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Saarland University(萨尔兰大学)
研究探索基于强化学习的大语言模型生成过程模型时奖励函数设计,训练两个模型家族,发现强化学习可提质量,均等奖励加权效果好,设计选择与模型架构相互作用复杂,奖励构成是优化关键,结果适用于多维度质量评估的结构化生成任务。
2026-07-08 cs.AI cs.CL cs.LG
LearningFlow: Automated Policy Learning Workflow for Urban Driving with Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文提出 LearningFlow,通过多个 LLM 智能体协作自动生成训练课程与奖励函数,减少人工设计并提升样本效率,在 CARLA 中验证了其性能、泛化与算法适应性。
2025-01-09 cs.AI cs.LG cs.RO
Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而,仍有一些关键挑战需要解决,以提供更可靠的政策。在本文中,我们提出了一个通用的风险意识的DQN方法,以学习高层次的行动,通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息,其允许用于多车道场景。此外,我们提出了一个基于风险的奖励函数,它惩罚有风险的情况,而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络,并学习更可靠的策略,在具有挑战性的情况下更安全。所提出的方法的效率相比,与传统的碰撞为基础的奖励计划,也与基于规则的交叉口导航政策的DQN学习。评估结果表明,所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作,并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
UltraLogic: Enhancing LLM Reasoning through Large-Scale Data Synthesis and Bipolar Float Reward
Hunyuan, Tencent(腾讯 Hunyuan);Waseda University(早稻田大学)
UltraLogic通过大规模数据合成和双极浮点奖励机制,提升大语言模型的推理能力,强调任务多样性和难度匹配对训练效率的促进作用。
2026-01-06 cs.AI cs.CL
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Task Phasing: Automated Curriculum Learning from Demonstrations
Texas A&M University(德克萨斯A&M大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼AI)
将强化学习(RL)应用于稀疏奖励域是众所周知的挑战,因为指导信号不足。解决这些领域的常见RL技术包括(1)示教学习和(2)课程学习。虽然对这两种方法进行了详细的研究,但很少将它们放在一起考虑。本文的目的是这样做,通过引入一个原则性的任务分阶段的方法,使用演示自动生成的课程序列。使用逆RL(次优)演示,我们定义了一个简单的初始任务。然后,我们的任务分阶段方法提供了一个框架,逐渐增加任务的复杂性,直到目标任务,同时在每次分阶段迭代中重新调整RL代理。考虑了两种分阶段的方法:(1)逐渐增加RL代理控制的时间步长的比例,以及(2)逐步取消指导信息奖励函数。我们提出的条件,保证这些方法的收敛到一个最优的政策。在3个稀疏奖励域上的实验结果表明,我们的任务分阶段方法在渐近性能方面优于最先进的方法。
2023-03-28 cs.AI cs.LG
A New Approach for Tactical Decision Making in Lane Changing: Sample Efficient Deep Q Learning with a Safety Feedback Reward
Eatron Technologies;Istanbul Technical University(伊斯坦布尔理工大学)
自动换道是高度自动化车辆中最具挑战性的任务之一,因为它具有安全性、不确定性和多智能体的特性。本文提出了最先进的Q学习方法的新部署,即彩虹DQN,它使用一个新的安全驱动的奖励计划,以解决动态和不确定的仿真环境中的问题。我们提出了各种比较结果表明,我们的新方法,从安全层的奖励反馈显着提高代理的性能和样本效率。此外,通过彩虹DQN的新部署,它表明,通过检查代理生成的Q值的分布,提取更多的直觉关于代理的行动。该算法表现出优越的性能,基线算法在具有挑战性的情况下,只有200000训练步骤(即相当于55小时的驾驶)。
2020-09-24 cs.AI cs.LG cs.RO
DORB: Dynamically Optimizing Multiple Rewards with Bandits
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
基于策略梯度的强化学习已被证明是一种很有前途的方法,用于直接优化语言生成任务的不可微评价指标。然而,针对特定指标奖励的优化主要只会导致该指标的改进,这表明该模型正在以特定的方式对该指标的制定进行游戏,而通常不会实现真正的定性改进。因此,使模型联合优化多个不同的度量奖励更有益。虽然吸引人,但这是具有挑战性的,因为需要手动决定这些指标奖励的重要性和缩放权重。此外,重要的是要考虑使用随时间灵活变化的指标奖励的动态组合和课程。考虑到上述方面,在我们的工作中,我们通过多臂强盗方法(DORB)同时自动优化多个度量奖励,其中在每一轮,强盗根据预期的臂增益选择下一步优化哪个度量奖励。我们将Exp 3算法用于强盗,并制定了两种强盗奖励方法:(1)单一多奖励强盗(SM-Bandit);(2)分层多奖励强盗(HM-Bandit)。我们通过两个重要的NLG任务:问题生成和数据到文本生成,包括在一个看不见的测试传输设置上的各种自动指标和人工评估,以经验证明了我们的方法的有效性。最后,我们提出了可解释的分析学习强盗课程的优化奖励。
2020-11-15 cs.AI cs.CL cs.LG
Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning
Department of Computer Science, University of Tübingen(图宾根大学计算机科学系)
针对AutoML领域的CASH资源分配难题,本文提出适配轻尾有界奖励分布的最大k臂老虎机方法MaxUCB,在四个标准AutoML基准上验证其性能优于现有方法,并开源了代码与数据。
2025-11-19 cs.AI cs.LG
medR: Reward Engineering for Clinical Offline Reinforcement Learning via Tri-Drive Potential Functions
National University of Singapore(新加坡国立大学);University of Helsinki(赫尔辛基大学);Harbin Institute of Technology(哈尔滨工业大学)
medR通过三驱动势函数实现临床离线强化学习中的自动化奖励设计,提升策略性能。
2026-02-04 cs.LG
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成,提出RLAES框架,通过强化学习联合优化。引入RFE评估框架,提出AGFO和ACR方法。实验表明RFE能捕捉一致性,RLAES-AGFO在评分性能上最佳,保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
Ferret: Faster and Effective Automated Red Teaming with Reward-Based Scoring Technique
Singapore University of Technology and Design(新加坡科技设计大学)
提出Ferret方法,通过每次迭代生成多个对抗性提示变异并利用奖励模型评分选择最有效的,将攻击成功率提升至95%,比Rainbow Teaming高46%,并减少15.2%的时间,生成可转移的对抗性提示。
2024-08-20 cs.CL
MLREF: Efficient Module Reuse for Reward Design in Reinforcement Learning via Large Language Models
Institute for Interdisciplinary Information Sciences Tsinghua University(清华大学交叉信息研究院)
该研究针对强化学习奖励设计瓶颈,提出MLREF框架,通过模块池复用奖励组件,结合三种优化机制,在17个任务上实现比强基线更优且更稳定的性能。
2026-08-20 cs.AI cs.CL cs.LG
EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);ISIR Sorbonne Université(索邦大学智能系统与机器人研究所);Univ Angers(昂热大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
强化学习(RL)在长时间和稀疏奖励任务中是非常困难的,需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号,使其更好地指导学习过程。在语言条件强化学习的背景下,语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中,我们利用这个想法,并提出了一个自动奖励塑造方法,代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成(QG)和问答(QA)系统:它们由问题组成,引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候,它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹,这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明,该方法不需要工程师干预设计辅助目标,通过有效地指导探索,提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
Domain Knowledge-Based Automated Analog Circuit Design with Deep Reinforcement Learning
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Washington University in St. Louis(圣路易斯华盛顿大学)
模拟电路的设计自动化是集成电路领域的一个长期挑战。本文提出了一种深度强化学习方法,以加快在预布局阶段的模拟电路的设计,其中的目标是找到设备参数,以满足所需的电路规格。我们的方法受到经验丰富的人类设计师的启发,他们依赖于模拟电路设计的领域知识(例如,电路拓扑和电路规范之间的耦合)来解决问题。与所有现有方法不同,我们的方法最初将这些关键领域的知识与基于图形的策略网络的策略学习,从而最好地建模电路参数和设计目标之间的关系。在典型电路上的实验结果表明,它达到了人类水平的设计精度(~99%),效率是现有最佳性能方法的1.5倍。我们的方法也表现出更好的泛化能力,看不见的规格和电路性能优化的最优性。此外,它适用于设计不同的模拟电路在不同的半导体技术,打破了现有的ad-hoc方法在设计一个特定类型的模拟电路与传统的半导体技术的限制。
2022-02-26 cs.AI cs.AR cs.LG
Automated Feature Selection for Inverse Reinforcement Learning
Aalto University(阿尔托大学);Tampere University(坦佩雷大学)
针对逆向强化学习在连续状态空间中缺乏良好特征的问题,提出利用多项式基函数构建候选特征集并结合轨迹概率与特征期望相关性进行自动特征选择的方法,有效恢复专家奖励函数。
2024-03-22 cs.LG cs.RO
Disentangling causal effects for hierarchical reinforcement learning
University of Tartu(塔尔图大学);Institute of Computer Science(计算机科学研究所)
稀疏报酬下的探索和信用分配仍然是具有挑战性的问题。我们认为,这些挑战的出现部分是由于内在的刚性操作的行动水平。动作可以精确地定义如何执行活动,但不适合描述要执行的活动。相反,因果效应具有内在的可组合性和时间抽象性,使其成为描述性任务的理想选择。通过利用因果效应的层次结构,本研究旨在加快任务特定行为的学习和援助探索。借用因果文献中的反事实和常态措施,我们从环境的其他动态引起的影响中解脱出可控的影响。我们提出了CEHRL,一个分层的方法,使用变分自编码器的可控效果的分布模型。高级策略使用此分布来1)通过随机效应探索来探索环境,以便不断发现和学习新的效应,以及2)通过优先考虑最大化给定奖励函数的效应来学习特定于任务的行为。实验结果表明,与随机动作探索相比,随机效果探索是一种更有效的机制,并且通过将信用分配给少数效果而不是许多动作,CEHRL学习任务更快。
2022-02-21 cs.AI cs.LG
Accurate and Diverse LLM Mathematical Reasoning via Automated PRM-Guided GFlowNets
Technology Innovation Institute(技术创新研究所);Mohamed Bin Zayed University of Artificial Intelligence(莫罕默德·本·扎耶德人工智能大学)
本文提出利用自动化训练的PRM引导步骤级GFlowNets,在无需人工标注下评估中间推理步骤,使LLM在数学推理中同时提升准确性与多样性,并在多个基准上取得显著提升。
2025-10-13 cs.CL cs.LG
Local Look-Ahead Guidance via Verifier-in-the-Loop for Automated Theorem Proving
Language Technology Lab, University of Amsterdam(阿姆斯特丹大学语言技术实验室);Qualcomm AI Research(高通人工智能研究)
针对自动定理证明中奖励稀疏与计算成本高的问题,提出验证器在环的局部前瞻引导方法,利用Lean在每一步提供中间反馈,实验表明能全局提升推理准确性与效率。
2025-06-24 cs.AI cs.CL cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST(韩国科学技术院)
针对离线强化学习中设计奖励信号成本高的问题,提出基于大型视觉语言模型的奖励生成方法RG-VLM,无需人类参与即可从离线数据生成奖励,能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Uncertainty-aware Reward Design Process
Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);Beijing Normal University(北京师范大学);Tilburg University(蒂尔堡大学)
本文提出不确定性感知的奖励设计过程(URDP),通过大语言模型自一致性分析量化奖励函数不确定性,并结合不确定性感知贝叶斯优化与双层优化架构,在35个任务上显著提升了自动化奖励设计的质量和效率。
2025-07-03 cs.LG cs.RO
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH(奥地利技术研究所股份有限公司);TU Wien(维也纳工业大学)
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中,我们介绍了一种新的,分层的,基于潜力的奖励成形方法(HPRS),用于定义有效的,多变量的奖励,为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求,并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造,我们表明,HPRS保持政策最优。我们的实验评估表明,HPRS的卓越能力,在捕捉预期的行为,从而在任务满意的政策,提高舒适度,并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性,以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Towards Autonomous Reinforcement Learning for Real-World Robotic Manipulation with Large Language Models
Department of Information Engineering, University of Padova(帕多瓦大学信息工程系);ABB Corporate Research(ABB企业研究)
本文提出ARCHIE无监督流程,利用GPT-4从自然语言任务描述自动生成RL奖励函数与成功判定代码,并在ABB YuMi单臂及双臂操作任务中验证其有效性。
2025-06-10 cs.AI cs.LG cs.RO
BitsAI-Fix: LLM-Driven Approach for Automated Lint Error Resolution in Practice
ByteDance(字节跳动);Carnegie Mellon University(卡内基梅隆大学);Zhejiang University(浙江大学)
针对企业代码库lint错误堆积问题,提出基于大语言模型的自动化修复工作流BitsAI-Fix,采用渐进式强化学习与规则奖励机制,在字节跳动部署中服务超5000名工程师,修复准确率约85%。
2025-08-05 cs.AI cs.LG cs.SE
Automatically Finding Reward Model Biases
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种利用LLM自动发现奖励模型偏差的方法,揭示了已知和新型偏差,并展示了进化迭代优于传统搜索方法。
2026-02-16 cs.AI cs.LG
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning
Vector Institute(向量学院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习(RL)方法通常将奖励函数视为黑箱。因此,这些方法必须与环境广泛互动,以发现奖励和最佳策略。然而,在大多数RL应用程序中,用户必须对奖励函数进行编程,因此有机会使奖励函数可见-向RL代理显示奖励函数的代码,以便它可以利用函数的内部结构以更有效的方式学习最佳策略。在本文中,我们展示了如何通过两个步骤来实现这一想法。首先,我们提出了奖励机,一种有限状态机,它支持奖励函数的规范,同时暴露奖励函数的结构。然后,我们描述了利用此结构来支持学习的不同方法,包括自动奖励塑造、任务分解以及带有离策略学习的反事实推理。在不同任务和RL代理之间的表格和连续域上的实验显示了利用奖励结构在样本效率和所得政策的质量方面的好处。最后,由于是有限状态机的一种形式,奖励机具有正则语言的表达能力,并且因此支持循环、序列和条件,以及线性时间逻辑和非马尔可夫奖励规范的典型的时间扩展属性的表达。
2022-01-17 cs.AI cs.LG
Reinforcement Learning with Segment Reward Feedback under Linear Function Approximation
National University of Singapore(新加坡国立大学);Microsoft Research Asia(微软亚洲研究院);NVIDIA Research(英伟达研究院);Technion(以色列理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
研究线性函数逼近下分段奖励反馈的强化学习,提出针对二元和求和反馈的算法,发现二元反馈下分段数指数降低遗憾,求和反馈下粒度影响小,等长分段最优。
2026-10-07 cs.LG
Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs
Vanderbilt University(范德比大学)
提出MRBT结构,结合LLM自动生成奖励和动作掩码,通过SMT验证和神经符号RL循环,提升组合任务训练效率和成功率。
2026-05-23 cs.LG
ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
提出ARES框架,从原始预训练文档自动生成问答对和实例级加权评分标准,用于可扩展的基于评分标准的强化学习,在多个开放任务上超越持续预训练、监督微调和二元奖励强化学习。
2026-05-25 cs.CL
Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models
School of Computer Science, Fudan University(复旦大学计算机科学学院);City University of Hong Kong(香港城市大学);University of Hong Kong(香港大学)
本文提出 FedPipe 自动化联邦流水线,通过贡献选权、低秩适配器训练聚合与按需参数量化,在资源异构边缘环境中低成本微调 LLM,且不增加推理延迟。
2024-12-06 cs.AI cs.LG
PROF: An LLM-based Reward Code Preference Optimization Framework for Offline Imitation Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
针对现有离线模仿学习奖励估计过度简化奖励结构的问题,提出基于LLM的PROF框架,结合RPR策略自动优化奖励函数,在D4RL基准上性能优于或持平现有强基线。
2025-11-14 cs.AI cs.LG
Learning to Shape Rewards using a Game of Two Partners
奖励塑造(RS)是强化学习(RL)中克服奖励稀疏或无信息问题的一种有效方法。然而,RS通常依赖于手动设计的成形奖励函数,其构造耗时且容易出错。它还需要领域知识,这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法(ROSA),一个自动的奖励塑造框架,其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理(整形器)使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习,而另一个代理(控制器)使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA,采用现有的RL算法,学习构建一个成形奖励函数,这是有益的任务,从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验,并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
Learning to Inject: Automated Prompt Injection via Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
提出AutoInject,一种基于强化学习的黑盒框架,自动学习对抗性后缀进行提示注入,在AgentDojo上优于模板攻击和多种自适应攻击,并突破专门防御模型。
2026-06-11 cs.AI cs.LG