SAIL-RL: Guiding MLLMs in When and How to Think via Dual-Reward RL Tuning
National University of Singapore(新加坡国立大学)
SAIL-RL通过双奖励强化学习调优,提升多模态大语言模型的推理能力和可靠性。
2026-02-03 cs.CL cs.CV
Fine-grained Image Captioning with CLIP Reward
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(奥多比研究中心);Adobe Inc.(奥多比公司)
现代图像描述模型通常是以文本相似度为目标进行训练的。然而,由于公共数据集中的参考标题通常描述最突出的常见对象,因此使用文本相似性目标训练的模型往往会忽略图像的特定和详细方面,这些方面将其与其他方面区分开来。为了生成更具描述性和独特性的字幕,我们建议使用CLIP(一种在Web上训练的多模态编码器)来计算多模态相似度并将其用作奖励函数。我们还提出了一个简单的微调策略的CLIP文本编码器,以改善语法,不需要额外的文本注释。这完全消除了在奖励计算期间对参考字幕的需要。为了全面评估描述性字幕,我们引入了FineCapEval,这是一个用于字幕评估的新数据集,具有细粒度标准:整体、背景、对象、关系。在我们对文本到图像检索和FineCapEval的实验中,所提出的CLIP引导模型比CIDER优化模型生成更独特的字幕。我们还表明,我们的无监督的语法微调的CLIP文本编码器的退化问题的天真CLIP奖励。最后,我们展示了人类分析,其中注释者根据各种标准强烈偏好CLIP奖励而不是CIDER和MLE目标。代码和数据:https://github.com/j-min/CLIP-Caption-Reward
2023-03-29 cs.AI cs.CL cs.CV
DUEL: Adversarial Self-Play for Multimodal Reasoning
Meta AI
提出DUEL框架,通过对抗性自我对弈从预训练VLM生成监督信号,结合长度归一化对数似然奖励,无需人工标注即可提升视觉推理与判别能力。
2026-05-24 cs.CL cs.CV
VL-RewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models
HKU(香港大学);SCUT(华南理工大学);SJTU(上海交通大学);PKU(北京大学);Allen AI(AllenAI)
本文提出VL-RewardBench基准,包含1,250个高质量样本以评估视觉语言生成式奖励模型,实验表明其极具挑战性,并揭示了模型在视觉感知、推理扩展和判断训练方面的关键改进见解。
2025-06-02 cs.CL cs.CV
Learning Multimodal Rewards from Rankings
Stanford University(斯坦福大学)
从人类反馈中学习已被证明是获取机器人奖励函数的有用方法。然而,专家反馈往往被认为是从一个潜在的单峰奖励函数。这个假设并不总是成立,包括在多个专家提供数据或单个专家为不同任务提供数据的情况下-因此,我们超越了学习单峰奖励,并专注于学习多模态奖励函数。我们制定的多模态奖励学习作为一个混合学习问题,并开发了一种新的基于排名的学习方法,专家只需要排名一组给定的轨迹。此外,由于在机器人技术中访问交互数据通常是昂贵的,我们开发了一种主动查询方法来加速学习过程。我们使用OpenAI的LunarLander的多任务变体和真正的Fetch机器人进行实验和用户研究,在那里我们从具有不同偏好的多个用户那里收集数据。结果表明,我们的方法可以有效地学习多模态奖励函数,并提高数据效率的基准方法,我们适应我们的学习问题。
2021-10-18 cs.AI cs.LG cs.RO
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
提出GELI方法,利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励,学习轮次级奖励模型并应用于RHLF流程,有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
Entropy-Guided Data-Efficient Training for Multimodal Reasoning Reward Models
School of Software, Tsinghua University(清华大学软件学院);AMAP, Alibaba Group(阿里巴巴集团AMAP)
本文提出熵引导训练方法,通过熵指导数据筛选和训练策略提升多模态推理奖励模型的性能。
2026-02-02 cs.AI cs.LG
EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning
The Hong Kong Polytechnic University(香港理工大学);Kyoto University(京都大学)
针对现有多模态情感偏好学习方法缺乏错误内容定位与纠正监督的局限,提出带可验证奖励的接地感知强化学习框架EmoGavel,经实验验证其可提升偏好预测与错误判别能力。
2026-10-12 cs.LG cs.MM eess.AS
Unlocking Multimodal Mathematical Reasoning via Process Reward Model
Tsinghua University(清华大学);ByteDance(字节跳动);Zhejiang University(浙江大学);Ping An Technology (Shenzhen) Co., Ltd(平安科技(深圳)有限公司)
针对多模态数学推理中数据稀缺、过程标注难、奖励易破解的问题,提出三阶段URSA框架,构建专用数据集与PS-GRPO算法,在6个基准上超越Gemma3-12B与GPT-4o。
2025-10-05 cs.AI cs.CL cs.LG
Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning
本文提出一种结合因果推断与多模态表示学习的反事实奖励模型,通过反事实信任分数缓解RLHF中的多模态偏差,在假新闻检测中达到89.12%准确率并减少虚假相关性和不公平强化信号。
2025-08-27 cs.LG
Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);iFLYTEK AI Research(iFLYTEK人工智能研究院);Hong Kong University of Science and Technology(香港科学与技术大学)
Perception-R1通过引入视觉感知奖励提升多模态大语言模型的多模态推理能力
2026-03-03 cs.AI cs.CV cs.LG
Guide Your Agent with Adaptive Multimodal Rewards
KAIST(韩国科学技术院);Dyson Robot Learning Lab(戴森机器人学习实验室);UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind);University of Michigan(密歇根大学);LG AI Research(LG AI研究院)
本文提出ARP框架,通过在预训练多模态空间计算视觉与文本相似度作为自适应奖励信号,训练回报条件策略,有效缓解目标误泛化,提升智能体在未见环境中的泛化能力。
2023-10-25 cs.AI cs.CV cs.LG
Learning Deliberately, Acting Intuitively: Unlocking Test-Time Reasoning in Multimodal LLMs
Kyoto University(京都大学);Initial S;NEC Corporation, Japan(日本NEC公司)
提出D2I框架,通过训练时使用基于规则的格式奖励进行有意推理以增强模态对齐,推理时移除显式策略转为直觉推理,从而提升多模态大语言模型的推理能力,无需额外标注或复杂奖励。
2026-05-27 cs.CL cs.CV cs.LG
CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
针对音乐生成模型缺乏有效评估机制的问题,提出CMI-RewardBench基准,包含大规模偏好数据集和参数高效奖励模型,实现多模态指令下的音乐质量评估。
2026-06-12 cs.AI cs.LG cs.MM
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而,大多数现有的方法遭受消失的内在奖励,这不能提供可持续的勘探激励。此外,它们严重依赖于复杂的模型和额外的存储器来记录学习过程,导致高计算复杂性和低鲁棒性。为了解决这个问题,提出了基于熵的方法来评估全局探索性能,鼓励代理更公平地访问状态空间。然而,估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中,我们引入了一种新的度量称为Jain的公平性指数(JFI),以取代熵正则化,从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是,JFI更具可计算性和鲁棒性,并且可以很容易地推广到任意任务中。此外,我们利用变分自动编码器(VAE)模型来捕获状态的终身新颖性,并将其与全局JFI得分相结合,以形成多模态内在奖励。最后,大量的仿真结果表明,我们的多模态奖励塑造(MMRS)方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
IRIS: Implicit Reward-Guided Internal Sifting for Mitigating Multimodal Hallucination
Department of Artificial Intelligence, Westlake University, Hangzhou, China(人工智能系,西湖大学,杭州,中国);Sony Research, Sony(索尼研究,索尼)
IRIS通过隐式奖励引导内部筛选,有效缓解多模态大语言模型的幻觉问题,无需外部反馈且性能优异。
2026-02-03 cs.AI cs.LG
AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
The University of Hong Kong(香港大学)
AlphaGRPO通过分解性可验证奖励提升多模态生成能力,实现文本到图像生成和自反思修正,验证了自反思强化方法在生成高质量输出中的有效性。
2026-05-12 cs.AI cs.CV cs.LG
Generating Personas for Games with Multimodal Adversarial Imitation Learning
Electronic Arts(美国艺电)
针对强化学习难以建模多样人类游戏风格的问题,提出MultiGAIL,通过辅助参数和多判别器奖励模型在单智能体中生成多种人设策略,并在连续与离散动作环境中验证有效。
2023-08-15 cs.AI cs.LG
A Rolling Stone Gathers No Moss: Adaptive Policy Optimization for Stable Self-Evaluation in Large Multimodal Models
本文提出AdaPO在线强化学习框架,通过引入自适应奖励模型和奖励感知动态KL正则化机制,根据任务训练状态实时调整目标以缓解奖励黑客问题,显著提升了大型多模态模型的直接推理与自评估能力。
2025-08-05 cs.AI cs.LG
Imitation Learning for Fashion Style Based on Hierarchical Multimodal Representation
JD.com American Technologies(京东美国科技)
时尚是一种复杂的社会现象。人们从专家或时尚偶像的示范中追随时尚风格。然而,对于机器智能体来说,学习模仿时装专家的示范可能是具有挑战性的,特别是对于具有高维多模态观察的环境中的复杂风格。现有的研究大多是利用监督学习的方法来模仿时尚图标的行为。这些方法受到分布偏移的影响:由于智能体大量模仿一些给定的服装演示,它可以从一种风格漂移到另一种风格,给出细微的差异。在这项工作中,我们提出了一个对抗性的逆强化学习制定恢复奖励功能的基础上,分层多模态表示(HM-AIRL)在模仿过程中。层次联合表示能更全面地对专家组合服装演示进行建模,以恢复奖励函数。我们证明了所提出的HM-AIRL模型能够恢复对多模态观测变化具有鲁棒性的奖励函数,使我们能够在不同风格之间的显著变化下学习策略。
2020-04-13 cs.CV cs.LG
R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization
Nanyang Technological University(南洋理工大学)
本文提出StepGRPO在线强化学习框架,通过逐步奖励提升多模态大语言模型的推理能力,并推出R1-VL模型系列,在8个基准上验证了优越性。
2025-08-04 cs.AI cs.CL cs.CV
Athena: Enhancing Multimodal Reasoning with Data-efficient Process Reward Models
Advanced Micro Devices Inc.(先进微器件公司);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
提出 Athena-PRM,一种多模态过程奖励模型,通过利用弱和强完成者之间的预测一致性高效生成高质量过程标签,在仅5000样本下显著提升复杂推理问题的逐步评估性能。
2026-05-26 cs.AI cs.CL cs.CV
Residual Visual Credit Optimization: Conserved Evidence Routing for Multimodal Reinforcement Learning
Meta Superintelligence Labs(Meta超级智能实验室);University of Southern California(南加州大学);Meta Recommendation System(Meta推荐系统);Meta
针对多模态强化学习中结果奖励无法分配至各决策的问题,提出残差视觉信用优化(RVCO),通过守恒证据路由将信用按感知依赖分配,在四个模型家族和七个基准上提升准确率并保持训练稳定性。
2026-10-06 cs.CL cs.LG
DreamPRM: Domain-Reweighted Process Reward Model for Multimodal Reasoning
University of California, San Diego(加州大学圣地亚哥分校);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
针对多模态推理数据集质量不平衡及分布偏移问题,提出基于双层优化的领域重加权训练框架DreamPRM,通过优先处理高质量推理信号并更新领域权重,显著提升了多模态大型语言模型的泛化能力与测试时扩展性能。
2025-11-04 cs.AI cs.LG
MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning
本文提出MathSE自演化框架,通过迭代推理、反思与奖励引导微调提升多模态大模型的数学推理能力,在MathVL-test上超越开源模型QVQ。
2025-11-10 cs.AI cs.LG
Structured Role-Aware Policy Optimization for Multimodal Reasoning
School of Computing & Data Science, The University of Hong Kong(计算与数据科学学院,香港大学);School of Computing & Data Science and Institute of Data Science, The University of Hong Kong(计算与数据科学学院和数据科学研究所,香港大学)
本文提出结构化角色感知策略优化(SRPO),通过角色感知的token级信用分配提升多模态推理中的证据基础推理能力,无需外部奖励模型。
2026-05-08 cs.AI cs.LG
ReLook: Vision-Grounded RL with a Multimodal LLM Critic for Agentic Web Coding
LLM Department, Tencent(腾讯大语言模型部门);Peking University(北京大学);Nanjing University(南京大学)
ReLook是一个基于视觉的智能体强化学习框架,通过在训练中引入多模态LLM作为视觉批评器提供反馈并采用严格接受规则,在推理时解耦批评器,有效提升了前端代码生成的质量。
2025-10-13 cs.CL cs.LG
Multimodal Bandits: Regret Lower Bounds and Optimal Algorithms
Division of Decision and Control Systems(决策与控制系统系);KTH Royal Institute of Technology(皇家理工学院);Laboratoire des signaux et systèmes(信号与系统实验室);Université Paris-Saclay, CNRS, CentraleSupélec(巴黎萨克雷大学、国家科学研究中心、中央理工-巴黎高等理工学院)
针对期望奖励函数最多有m个模态的随机多臂老虎机问题,提出了首个可计算的Graves-Lai优化问题求解算法,从而实现了该问题的渐近最优算法。
2025-10-29 cs.LG math.ST stat.ML
OmniVerifier-M1: Multimodal Meta-Verifier with Explicit Structured Recalibration
Tsinghua University(清华大学);Pennsylvania State University(宾夕法尼亚州立大学);University of Southern California(南加州大学);Microcyto;Princeton University(普林斯顿大学)
提出OmniVerifier-M1,通过符号化元验证(如边界框)和解耦强化学习,实现多模态大模型的可靠细粒度验证与动态区域级自校正。
2026-05-27 cs.AI cs.CL cs.CV
DreamPRM-1.5: Unlocking the Potential of Each Instance for Multimodal Process Reward Model Training
University of California, San Diego(加州大学圣地亚哥分校)
针对多模态过程奖励模型训练的分布偏移与样本质量不均问题,提出实例级重加权框架DreamPRM-1.5,通过双层优化分配样本权重,搭配两种互补机制与稳定训练方案,缩小与最优上界的差距,在多个基准上取得领先性能。
2025-10-21 cs.LG
Reparameterized Policy Learning for Multimodal Trajectory Optimization
UC San Diego(加州大学圣地亚哥分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对高维连续动作空间强化学习的高斯策略参数化局限,提出将策略建模为最优轨迹生成模型的框架,推导变分界目标,并提出RPG方法,在多类任务中性能优于现有方法。
2023-07-20 cs.LG
Same Reward, Different Skills: When Multimodal RL Learns to Look
University of the Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本研究提出视觉可解析性设计规则,证明多模态强化学习仅在视觉证据为必要且任务可学习时才能学会观察,并通过反事实坐标实验验证了该规则的有效性。
2026-10-02 cs.LG
When Does a Video-Language Model Stop Watching? Reward Strength Controls the Formation and Reversal of Visual Shortcuts in Multimodal RLVR
Zekun Xu(徐泽坤)
研究多模态强化学习中视觉捷径的形成与逆转机制,发现惩罚强度可控制其出现和消除,且存在关键干预窗口。
2026-06-23 cs.AI cs.CV cs.LG
Diffusion Reward Models
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对奖励模型忽略人类偏好多模态性的问题,提出扩散奖励模型DRM,以条件密度估计替代点估计,在五个基准上达到或超越基线,并提升下游RLHF策略性能。
2026-09-30 cs.AI cs.LG
Enhancing Robotic Manipulation with AI Feedback from Multimodal Large Language Models
Tianjin University(天津大学)
本文提出训练多模态大语言模型CriticGPT,仅从图像输入理解机器人操作轨迹视频并生成偏好反馈,实验表明其奖励模型能有效指导策略学习并超越现有预训练表示模型。
2024-02-22 cs.AI cs.LG cs.RO
From Intent to Execution: Multimodal Chain-of-Thought Reinforcement Learning for Precise CAD Code Generation
Fudan University(复旦大学);ByteDance Inc(字节跳动公司)
本文提出CAD-RL框架,通过多模态思维链冷启动与三类任务奖励驱动的强化学习后训练,并辅以三种优化策略,显著提升CAD代码生成的推理质量、数值精度与可执行性,同时发布包含16,540个真实示例的ExeCAD数据集。
2025-08-18 cs.CV cs.LG
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
Fudan NLP Group(复旦大学NLP小组)
本文探讨大模型中奖励黑客的机制与挑战,提出代理压缩假说框架,分析优化过程中的表现偏差和对抗性行为,提出检测与缓解策略。
2026-04-15 cs.LG
Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
DeepMind(深度思维)
人工智能的一个重要目标是创建能够与人类自然交互并从他们的反馈中学习的代理。在这里,我们演示了如何使用基于人类反馈的强化学习(RLHF)来改进模拟的、具体的代理,这些代理通过模仿学习训练到基本的能力水平。首先,我们收集了人类在模拟的3D世界中与代理交互的数据。然后,我们要求注释者记录他们认为智能体朝着人类指示的目标前进或倒退的时刻。使用这些注释数据,我们利用了一种新的方法-我们称之为“跨时间布拉德利-特里”(IBT)建模-来构建一个捕获人类判断的奖励模型。经过培训以优化IBT奖励模型提供的奖励的代理在我们的所有指标方面都有所改进,包括在与代理的实时交互期间的后续人类判断。总之,我们的研究结果展示了如何成功地利用人类的判断来改善代理行为,使我们能够在没有程序奖励功能的复杂的具体领域中使用强化学习。代理行为的视频可以在https://youtu.be/v_Z9F2_eKk4上找到。
2022-11-21 cs.HC cs.LG cs.MA
Towards Scalable RLVR: Multimodal Instruction Following Data Synthesis and Distillation
Harbin Institute of Technology(哈尔滨工业大学);Peking University(北京大学)
针对多模态指令跟随中RLVR数据稀缺问题,提出MIFS流水线,通过生成式约束协议和可学习性蒸馏合成数据,并利用代码验证器提供奖励,使MLLMs在四个基准上平均提升8.13%,训练收敛快3倍,且缓解了SFT的泛化权衡。
2026-09-16 cs.CL cs.LG
MJ-Bench: Is Your Multimodal Reward Model Really a Good Judge for Text-to-Image Generation?
University of Chicago(芝加哥大学);NUS(新加坡国立大学);Stanford University(斯坦福大学);UCSC(加州大学圣克鲁兹分校);Duke University(杜克大学);ESSEC(埃塞克高等商学院);Illinois Tech(伊利诺伊理工学院);UCSD(加州大学圣地亚哥分校);Peking University(北京大学);University of Queensland(昆士兰大学);Stony Brook University(石溪大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校);USTC(中国科学技术大学)
本文提出 MJ-Bench 基准,系统评估多模态裁判在文本到图像生成中的对齐、安全、质量和偏见反馈能力,发现闭源 VLM 整体更优,并验证了其对模型微调的实际指导价值。
2024-07-05 cs.CL cs.CV cs.LG
On the Statistical Efficiency of Reward-Free Exploration in Non-Linear RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软);Microsoft Research(微软研究院);Google Research(谷歌研究院)
研究了一般非线性函数逼近下的无奖励强化学习(RL),并在各种标准结构假设下建立了样本效率和硬度结果.在积极的方面,我们提出了RFOLIVE(Reward-Free OLIVE)算法,用于在最小结构假设下进行样本有效的无奖励探索,其覆盖了先前研究的线性MDP的设置(Jin等人,2020 b)、线性完备性(Zanette et al.,2020 b)和具有未知表示的低秩MDP(Modi等人,2021年)。我们的分析表明,可探索性或可达性的假设,以前为后两种设置,是没有必要的无奖励探索统计。在消极的一面,我们提供了一个统计硬度的结果,奖励免费和奖励意识的探索线性完备性假设下,当潜在的功能是未知的,低秩和线性完备性设置之间的指数分离。
2022-10-22 cs.AI cs.LG stat.ML
MIRO: MultI-Reward cOnditioned pretraining improves T2I quality and efficiency
LIGM, ENPC, IP Paris, CNRS, UGE, France;LIX, CNRS, \'Ecole Polytechnique, IP Paris, France
MIRO通过在训练过程中对模型施加多个奖励,直接学习用户偏好,从而提升文本到图像生成的质量和效率,同时在GenEval组合基准和用户偏好评分上取得最佳成绩。
2026-05-19 cs.CV cs.LG
GRPO-CARE: Consistency-Aware Reinforcement Learning for Multimodal Reasoning
The University of Hong Kong(香港大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);The Chinese University of Hong Kong(香港中文大学)
针对多模态大模型后训练中推理连贯性不足的问题,提出一致性感知强化学习框架GRPO-CARE,通过自适应一致性奖励优化答案正确性与推理逻辑,在SEED-Bench-R1上提升性能与一致性。
2025-06-19 cs.AI cs.CL cs.CV
Subgoal-based Reward Shaping to Improve Efficiency in Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(信息学国立研究所)
针对强化学习在大规模状态-动作空间中学习缓慢的问题,本文扩展基于势函数的奖励塑造,提出便于人类提供子目标知识的奖励塑造方法,并在三类任务中验证其学习效率优于基线及其他子目标方法。
2021-04-13 cs.AI cs.LG
SlimSearcher: Training Efficiency-Aware Web Agents via Adaptive Reward Gating
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
提出SlimSearcher框架,通过帕累托高效过滤和自适应奖励门控,在保持或提升准确率的同时将工具调用轮次减少17%-58%。
2026-06-05 cs.AI cs.LG
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University(波士顿大学)
在强化学习(RL)问题中,错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机,将高层次的任务知识时,指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习,其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务,使具体化的奖励机可以区分专家演示的轨迹,从其他轨迹具有高精度。实验结果表明,学习奖励机可以显着提高复杂RL任务的训练效率,并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
TimeMaster: Training Time-Series Multimodal LLMs to Reason via Reinforcement Learning
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对时序MLLMs推理难题,提出基于强化学习的TimeMaster方法,采用三部分结构化输出与复合奖励,经SFT+GRPO两阶段训练,在TimerBed基准6项任务上取得SOTA,还具备类专家推理与领域洞察生成能力。
2025-06-16 cs.AI cs.LG
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin(德克萨斯大学奥斯汀分校);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所)
我们引入了自监督在线奖励塑造(SORS),其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号,而策略更新则使用新推断的,通常密集的奖励函数来执行。我们引入的理论表明,在某些条件下,这种改变的奖励函数不会改变原来的MDP的最优策略,同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明,在多个域中,该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率,而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
The Dark Side of Rich Rewards: Understanding and Mitigating Noise in VLM Rewards
Google DeepMind(谷歌DeepMind)
本文发现 VLM 奖励中的假阳性噪声会损害具身智能体学习,提出基于二元互信息的 BiMI 奖励函数以缓解噪声,并在多个导航环境中显著提升了学习效率。
2025-11-08 cs.LG cs.RO
Near-Optimal Deployment Efficiency in Reward-Free Reinforcement Learning with Linear Function Approximation
UC Santa Barbara(加州大学圣巴巴拉分校)
我们研究了在\emph{reward-free}探索环境下使用线性函数逼近的部署有效强化学习(RL)问题。这是一个动机很好的问题,因为在现实生活中的RL应用程序中部署新策略是昂贵的。在线性MDP设置与功能维度$d$和规划视野$H$,我们提出了一种新的算法,收集最多$\widetilde{O}(\frac{d^2H^5}{ε^2})$轨迹内$H$部署,以确定$ε$ -最优策略的任何(可能依赖于数据)的选择奖励函数。据我们所知,我们的方法是第一个实现最佳的部署复杂性和最佳的$d$依赖样本复杂性在同一时间,即使奖励是已知的提前。我们的新技术包括探索保持政策离散化和广义G-最优实验设计,这可能是独立的利益。最后,我们分析了低适应RL中遗憾最小化的相关问题,并给出了切换成本和批处理复杂度的信息论下界。
2023-02-22 cs.AI cs.LG stat.ML
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
向强化学习(RL)代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈,即教师在两个行为片段之间的偏好,来学习基于人类偏好的更灵活的奖励模型。然而,反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题,因为定制的人类反馈非常昂贵。为了处理这个问题,以前的方法主要集中在改进查询选择和策略初始化。与此同时,最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励,通过测量的基础上学习奖励的新颖性。具体来说,我们利用学习奖励模型的集合之间的不一致。我们的直觉是,学习奖励模型中的分歧反映了定制的人类反馈的不确定性,可能对探索有用。我们的实验表明,与其他现有的测量状态访问新颖性的探索方法相比,来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Toddler-Guidance Learning: Impacts of Critical Period on Multimodal AI Agents
Seoul National University(首尔大学);AIIS, Seoul National University(首尔大学人工智能研究院)
关键期是指幼儿大脑快速发育的阶段。为了促进儿童的认知发展,在这一阶段进行适当的指导至关重要。不过,目前尚不清楚人工智能智能体的训练是否也存在这样的关键时期。与人类幼儿类似,适时的指导和多模式交互也可能显著提高人工智能智能体的训练效率。为了验证这一假设,我们适应这一概念的关键期学习人工智能智能体和调查的关键期在虚拟环境中的人工智能智能体。在强化学习(RL)框架下,对关键期和幼儿指导学习进行了形式化描述。然后,我们建立了一个幼儿的环境,与VECA工具箱模仿人类幼儿的学习特点。我们研究了三个离散水平的相互作用:弱导师指导(稀疏奖励),中度导师指导(帮助者奖励),导师示范(行为克隆)。我们还引入了由30,000张真实世界图像组成的EAVE数据集,以充分反映幼儿的观点。我们从两个角度评估关键时期对人工智能智能体的影响:如何以及何时在单模态和多模态学习中最好地指导它们。我们的实验结果表明,在100万和200万个训练步骤上,具有适度导师指导和关键期的单模态和多模态代理都有明显的改善。我们在EAVE数据集上使用迁移学习验证了这些结果,并找到了相同关键期的性能提升和指导。
2022-01-12 cs.AI cs.CV cs.LG
Quality over Quantity: Boosting Data Efficiency Through Ensembled Multimodal Data Curation
针对网络爬取数据集非结构化异质的策展难题,提出集成多模态算子的学习驱动方法EcoDatum,通过质量引导去重与弱监督集成优化数据打分,在DataComp基准上以28%的提升登顶榜首,显著提升数据策展与训练效率。
2025-06-12 cs.AI cs.LG
ARCHER: Aggressive Rewards to Counter bias in Hindsight Experience Replay
North Carolina State University(北卡罗来纳州立大学)
经验重放是解决深度强化学习(RL)中样本效率低下的重要技术,但由于重放缓冲区中成功经验不成比例地少,因此在从二进制和稀疏奖励中学习时面临困难。最近提出了后见之明经验重放(HER)通过操纵不成功的转换来解决这个困难,但是在这样做时,HER在重放缓冲区经验中引入了显著的偏差,因此实现了样本效率的次优改进。本文分析了HER模型中偏差的来源,并提出了一种简单有效的方法来消除偏差,以最有效地利用HER模型提供的样本效率。我们的方法是基于反事实推理的ARCHER方法,它通过一个折衷来扩展HER模型,使得事后经验的奖励在数值上大于真实的奖励。我们在DeepMind Control Suite的两个连续控制环境中验证了我们的算法- Reacher和Finger,它们模拟了机械臂的操作任务-结合了各种奖励函数,任务复杂性和目标采样策略。我们的实验一致表明,使用更积极的后见之明奖励来对抗偏见可以提高样本效率,从而在计算预算有限的RL应用程序中建立ARCHER的更大优势。
2018-09-07 cs.AI cs.LG stat.ML