AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
The University of Hong Kong(香港大学)
AlphaGRPO通过分解性可验证奖励提升多模态生成能力,实现文本到图像生成和自反思修正,验证了自反思强化方法在生成高质量输出中的有效性。
2026-05-12 cs.AI cs.CV cs.LG
Spectral Edge Dynamics: An Analytical-Empirical Study of Phase Transitions in Neural Network Training
研究通过谱边分析揭示神经网络训练中的相变现象,提出谱边动态模型及最大性原理,验证了谱边位置对学习过程的影响。
2026-05-07 cs.AI cs.LG
Pressure, What Pressure? Sycophancy Disentanglement in Language Models via Reward Decomposition
Stanford University(斯坦福大学);University of Oklahoma(俄克拉荷马大学)
本文提出通过奖励分解方法减少语言模型的奉承行为,引入多组件组相对策略优化(GRPO)奖励,分解训练信号为五个维度,有效降低奉承倾向。
2026-04-07 cs.AI
Rethinking Reinforcement Fine-Tuning in LVLM: Convergence, Reward Decomposition, and Generalization
Federal University of Bahia(巴伊亚联邦大学)
本文提出TA-MDP框架,分析强化微调中奖励结构对GRPO收敛性的影响,并推导奖励分解定理和泛化界限,揭示工具增强策略在分布外迁移中的有效性。
2026-04-21 cs.CL cs.LG
Uncertainty-Aware Reward Modeling for Stable RLHF
Zhejiang University(浙江大学);Peking University(北京大学);National University of Singapore(新加坡国立大学)
提出不确定性感知奖励建模(UARM),通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势,以缓解奖励黑客问题,提升对齐质量。
2026-06-19 cs.AI cs.LG
LC-ERD: Mining Latent Logic for Self-Evolving Reasoning via Consistency-Regulated Reward Decomposition
The Chinese University of Hong Kong(香港中文大学);Shanghai Jiaotong University(上海交通大学);Fudan University(复旦大学)
针对大语言模型推理中高质量过程数据稀缺的问题,提出LC-ERD框架,通过潜在逻辑挖掘和一致性调节的奖励分解,实现自我对齐与推理进化。
2026-05-30 cs.AI cs.CL
Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling
Zhejiang University(浙江大学)
提出贝叶斯非负奖励模型(BNRM),通过非负因子分析和变分推断,在Bradley-Terry偏好模型中实现解耦与去偏,有效缓解奖励过度优化,提升鲁棒性和可解释性。
2026-06-01 cs.AI cs.LG
ReCal: Reward Calibration for RL-based LLM Routing
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Shanghai AI Laboratory(上海人工智能实验室)
提出ReCal框架,通过分层奖励分解和分布感知优化校准奖励信号,解决多目标冲突和异质性任务优化偏差,提升LLM路由性能与稳定性。
2026-06-12 cs.AI cs.LG
SESSE: Sketch, Expand, Sort, Summarize, Evaluate -- LLM-as-Judge Evaluation via Structured Decomposition
Apple(苹果公司)
该研究针对大模型作为评判者评估无法分离质量维度等问题,提出无需训练的SESSE框架,在RewardBench上实现与基线近乎相当的性能,且可提供可解释的审计跟踪。
2026-08-20 cs.AI cs.LG
RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs?
University of California, Berkeley(加州大学伯克利分校);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学);Ai2 Main dataset contributor(Ai2 主数据贡献者)
该研究提出DELTA-Code基准探究大语言模型经强化学习习得新算法技能的可学习性与可迁移性,发现RL训练存在顿悟相变,明确了关键训练要素,同时验证了模型在组合迁移上有提升但变革性迁移仍有短板。
2025-10-03 cs.CL cs.LG
Where Hindsight Credit Can Reside: A Signed-Capacity View of Token Updates in RLVR
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Huawei Technologies Ltd.(华为技术有限公司)
本文通过条件互信息分析RLVR中令牌级信用的容量上限,提出四象限分解区分更新方向,并设计HAPO算法进行容量引导的优势重分配,提升数学推理性能。
2026-05-26 cs.AI cs.LG
DreamPRM-Code: Function-as-Step Process Reward Model with Label Correction for LLM Coding
University of California, San Diego(加州大学圣迭戈分校)
DreamPRM-Code通过链式函数提示策略和元学习校正机制,提升LLM在编码任务中的表现,达到LiveCodeBench的最高准确率
2025-12-17 cs.AI cs.CL cs.LG
SD-GRPO: Verifiable Segment Decomposition for Long-Form Vision-Language Generation
DEEPNOID Inc.(DEEPNOID公司)
提出SD-GRPO方法,通过将长格式输出分解为片段并计算逐片段优势,解决GRPO在视觉-语言任务中粗粒度信用分配不足的问题,实验证明其在多种长格式生成任务中优于基线。
2026-06-02 cs.AI cs.CV cs.LG
Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳校区)
本文提出Hybrid Reward-Cyclic模型,通过博弈论分解显式分离传递性和循环性偏好,结合动态自我博弈优化方法提升大语言模型对齐效果,实验证明其在混合传递-循环设置中具有结构优势和更高的准确率。
2026-05-17 cs.AI cs.CL
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
提出GELI方法,利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励,学习轮次级奖励模型并应用于RHLF流程,有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search
Michigan State University(密歇根州立大学);Amazon(亚马逊);Pennsylvania State University(宾夕法尼亚州立大学)
针对大语言模型基于树的推理搜索方法效率不足的问题,提出将推理拆分为规划与执行的双阶段测试时搜索框架,搭配分阶段奖励模型与动态预算分配机制,在基准任务上实现准确率提升与冗余计算减少。
2025-09-29 cs.AI cs.CL cs.LG
DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification
Georgia Institute of Technology(佐治亚理工学院)
针对多语言数值声明验证,探索基于大语言模型(LLM)的推理轨迹排序和分组奖励建模两种方法。LLM方法用LoRA微调验证器评分,还尝试子声明分解;奖励模型用TF-IDF及特征评分。结果显示LLM方法多数指标更优,阿拉伯语中AraBERT表现更佳且子声明分解未提升性能。
2026-07-29 cs.AI cs.CL
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu(作者)
本文提出了一种整合模仿学习与强化学习的LLM微调框架,通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
Characterizing Learning in Deep Neural Networks using Tractable Algorithmic Complexity Analysis
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系);The American University in Cairo(开罗美国大学)
本文提出QuBD方法,用于估计深度神经网络权重的算法复杂度,揭示训练过程中复杂度随学习阶段的变化规律,为模型压缩提供理论依据。
2026-11-10 cs.LG
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University(清华大学);Microsoft Research(微软研究院);UC San Diego(加州大学圣地亚哥分校)
许多强化学习(RL)任务具有特定的属性,可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能,并且此类属性的一般类别是多奖励通道。在这些环境中,完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励,或分解奖励没有先验知识,但性能下降。在本文中,我们提出了分布式奖励分解强化学习(DRDRL),一种新的奖励分解算法,捕捉多个奖励通道结构下的分布式设置。从经验上讲,我们的方法捕获了多通道结构,并发现了有意义的奖励分解,而不需要任何先验知识。因此,我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
DecMetrics: Structured Claim Decomposition Scoring for Factually Consistent LLM Outputs
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对当前主张分解研究重生成方法、轻分解质量评估的缺口,该研究提出包含三项指标的DecMetrics评估框架,并以此为奖励函数优化轻量级分解模型,旨在设立主张分解基准,提升事实核查系统的可靠性与有效性。
2025-08-31 cs.AI cs.CL
Socratic-PRMBench: Benchmarking Process Reward Models with Systematic Reasoning Patterns
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Tongyi Lab, Alibaba Group(阿里云实验室)
本文提出Socratic-PRMBench基准,通过六种推理模式系统评估Process Reward Models,揭示现有模型在多模式推理步骤评估中的缺陷。
2025-05-29 cs.AI cs.CL
Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria
Nanyang Technological University(南洋理工大学);Ant Group(蚂蚁集团);MMLab, The Chinese University of Hong Kong(香港中文大学MMLab);UIUC(伊利诺伊大学香槟分校)
本文提出Auto-Rubric as Reward框架,通过显式标准分解替代隐含权重优化,提升多模态生成模型对人类偏好的对齐效果,实验证明显式标准能更可靠地实现数据高效对齐。
2026-11-10 cs.AI
Spectral Edge Dynamics Reveal Functional Modes of Learning
研究揭示训练过程中学习的低维功能模式,通过谱边动态识别任务的代数对称性决定的结构,展示不同任务的谱边特性及功能模式。
2026-04-06 cs.AI cs.LG
Goedel-Code-Prover: Hierarchical Proof Search for Open State-of-the-Art Code Verification
ETH Zürich(苏黎世联邦理工学院);Princeton Language and Intelligence(普林斯顿语言与智能实验室);Department of Computer Science, Princeton University(普林斯顿大学计算机科学系);MiroMind
本文提出Goedel-Code-Prover框架,通过分层证明搜索提升Lean4中代码验证的自动化水平,实现62%的成功率,优于现有基线方法。
2026-08-11 cs.AI cs.SE
Learning Long-Term Reward Redistribution via Randomized Return Decomposition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学);BIMSA(北京雁栖湖应用数学研究院);AIR, Tsinghua University(清华大学智能产业研究院);HeliXon Limited(华深智药)
强化学习的许多实际应用要求智能体从稀疏和延迟的奖励中学习。它挑战代理人将其行为归因于未来结果的能力。在本文中,我们考虑的问题制定的情节强化学习与轨迹反馈。它是指奖励信号的极端延迟,其中智能体只能在每个轨迹的末端获得一个奖励信号。一个流行的范例,这个问题的设置是学习与设计的辅助密集奖励函数,即代理奖励,而不是稀疏的环境信号。在此基础上,提出了一种新的奖励再分配算法--随机返回分解(RRD),用于学习情景强化学习的代理奖励函数.我们建立了一个替代问题的蒙特卡罗抽样,规模最小二乘为基础的奖励再分配的长期问题。我们分析了我们的代理损失函数与现有的方法在文献中,这说明了我们的方法的算法特性。在实验中,我们广泛评估我们提出的方法在各种基准任务与情节奖励,并表现出大幅改善基线算法。
2022-03-17 cs.AI cs.LG stat.ML
Episodic Return Decomposition by Difference of Implicitly Assigned Sub-Trajectory Reward
Nanjing University(南京大学);Polixir Technologies(波利希尔科技);Peng Cheng Laboratory(鹏城实验室)
针对强化学习中延迟奖励尤其是极端回合奖励下样本效率低的问题,提出Diaster回合回报分解方法,通过子轨迹奖励差值生成逐步代理奖励,经理论和实验验证可提升样本效率与性能。
2023-12-17 cs.LG
The Horcrux: Mechanistically Interpretable Task Decomposition for Detecting and Mitigating Reward Hacking in Embodied AI Systems
Berkeley AI Safety Initiative (BASIS) UC Berkeley(伯克利人工智能安全计划(BASIS)伯克利大学);Department of Electrical and Computer Engineering Johns Hopkins University(电气与计算机工程系约翰霍普金斯大学)
本研究提出MITD方法,通过可解释性任务分解有效检测和缓解具身AI系统中的奖励黑客行为,实验表明分解深度可显著降低奖励黑客频率。
2025-11-22 cs.LG
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology(以色列理工学院);University of Augsburg(奥格斯堡大学)
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体,并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
Information-Theoretic Reward Decomposition for Generalizable RLHF
Shanghai Jiao Tong University(上海交通大学);UT Austin(得克萨斯大学奥斯汀分校);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院)
针对RLHF中奖励模型泛化性差的问题,本文提出将奖励分解为无提示与提示相关两部分,并基于信息论提取,通过优先级排序训练,提升了对齐与泛化性能。
2025-10-24 cs.AI cs.CL cs.LG
Learning Independently-Obtainable Reward Functions
University of Michigan(密歇根大学)
我们提出了一种新的方法来学习一组解纠缠的奖励函数,这些奖励函数和原始环境奖励相加,并且被约束为独立可获得。我们定义独立的可获得性方面的价值函数获得一个学习的奖励,同时追求另一个学习的奖励。从经验上讲,我们说明了我们的方法可以学习有意义的奖励分解在各种领域,这些分解表现出某种形式的泛化性能时,环境的奖励被修改。从理论上讲,我们得到的结果最大化我们的方法的目标所产生的奖励函数和相应的最优政策的影响。
2019-03-05 cs.AI cs.LG stat.ML
RUDDER: Return Decomposition for Delayed Rewards
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Institute for Machine Learning(机器学习研究所);LIT AI Lab(LIT人工智能实验室);Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究所(IARAI))
我们提出了RUDDER,一种新的强化学习方法在有限马尔可夫决策过程(MDP)的延迟奖励。在MDP中,Q值等于预期的即时奖励加上预期的未来奖励。后者与时间差(TD)学习中的偏差问题和蒙特卡洛(MC)学习中的高方差问题有关。当奖励被推迟时,这两个问题都更加严重。RUDDER的目标是使期望的未来奖励为零,这将Q值估计简化为计算即时奖励的平均值。我们提出了以下两个新概念,以将预期的未来回报推向零。(i)奖励再分配,导致回报等价的决策过程具有相同的最优策略,当最优时,零预期未来奖励。(ii)通过贡献分析进行返回分解,将强化学习任务转换为回归任务,深度学习在这方面表现出色。在具有延迟奖励的人工任务上,RUDDER明显快于MC,并且指数地快于蒙特卡罗树搜索(MCTS)、TD(λ)和奖励塑造方法。在Atari游戏中,在近端策略优化(PPO)基线之上的RUDDER提高了分数,这在延迟奖励的游戏中最为突出。源代码可在\url{https://github.com/ml-jku/rudder}获得,演示视频可在\url{https://goo.gl/EQerZV}获得。
2019-09-10 cs.AI cs.LG math.OC
A Closer Look at Reward Decomposition for High-Level Robotic Explanations
University of Hamburg(汉堡大学);Hamburger Informatik Technologie-Center e.V. (HITeC)(汉堡信息学技术中心);ZAL Center of Applied Aeronautical Research(ZAL应用航空研究中心)
针对强化学习机器人行为解释难、单步解释有歧义的问题,提出结合奖励分解与抽象动作空间的可解释Q-Map学习框架,经两类机器人场景验证有效,还可集成大语言模型实现推理与交互查询。
2023-11-04 cs.AI cs.LG cs.RO
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research(爱立信研究院);KTH Royal Institute of Technology(瑞典皇家理工学院);Boston University(波士顿大学)
本文提出时间策略分解TPD,通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO,为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
Learning Symbolic Representations for Reinforcement Learning of Non-Markovian Behavior
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所)
许多现实世界的强化学习(RL)问题需要学习复杂的、时间上扩展的行为,这些行为可能只在行为完成时才接收奖励信号。如果值得奖励的行为是已知的,它可以用非马尔可夫奖励函数来指定--一个依赖于状态-动作历史的方面,而不仅仅是当前状态和动作的函数。这样的奖励函数产生稀疏的奖励,需要过多的经验来找到一个策略,捕捉值得奖励的行为模式。最近的工作利用知识表示(KR)提供了一个象征性的抽象方面的状态,总结奖励相关的属性的状态-动作的历史和支持学习的马尔可夫分解的问题在KR的自动机。提供这样的分解已经被证明可以极大地提高学习率,特别是当与利用自动机结构的算法相结合时。然而,这样的技术依赖于KR的先验知识。在这项工作中,我们将探讨如何自动发现有用的状态抽象,支持学习自动机的状态动作的历史。其结果是一个端到端的算法,可以学习最佳策略,与简单的非马尔可夫域上的最先进的RL相比,环境样本显著减少。
2023-01-08 cs.AI cs.LG
Average-Reward Reinforcement Learning for Multichain MDPs: A Hierarchical Decomposition Approach
University of Alberta(阿尔伯塔大学)
针对多链MDP的平均奖励强化学习,提出基于Bather分解的层次化异步值迭代算法,收敛到最优增益并生成增益最优策略,进一步扩展两种算法提升瞬态性能,为一般多链MDP提供首批无模型平均奖励RL方法。
2026-10-08 cs.LG math.OC
STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning
Renmin University of China(中国人民大学);Peking University(北京大学);King’s College London(伦敦国王学院);National Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能全国重点实验室)
提出STAS方法,通过将全局回报分解到各时间步并利用Shapley值和蒙特卡洛采样进行时空信用分配,有效解决了情景强化学习中的延迟奖励问题。
2024-01-04 cs.AI cs.LG
Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition
DCST, Tsinghua University(清华大学计算机科学与技术系);Tsinghua University(清华大学)
近年来,许多研究已经将强化学习应用于训练对话策略,并显示出很大的前景。一种常见的方法是采用用户模拟器来获得用于强化学习算法的大量模拟用户体验。然而,模拟真实的用户模拟器是具有挑战性的。基于规则的模拟器需要大量的领域专业知识来完成复杂的任务,而数据驱动的模拟器需要大量的数据,甚至不清楚如何评估模拟器。为了避免事先建立一个明确的用户模拟器,我们提出了多Agent对话策略学习,它把系统和用户作为对话代理。两个智能体相互作用,同时共同学习。该方法使用演员-评论家框架,以促进预训练和提高可扩展性。我们还提出了混合价值网络的角色感知的奖励分解,以整合面向任务的对话中的每个代理的角色特定的领域知识。实验结果表明,该方法可以成功地建立一个系统的政策和用户的政策,并通过会话交互的两个代理可以实现高的任务成功率。
2020-04-23 cs.CL cs.LG
Multi-Agent Collaboration via Reward Attribution Decomposition
University of California, Berkeley(加州大学伯克利分校);Unveristy of California, San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学);Facebook AI Research(Facebook人工智能研究院)
多智能体强化学习(MARL)的最新进展已经在Quake 3和Dota 2等游戏中实现了超人的表现。不幸的是,这些技术需要比人类多几个数量级的训练回合,并且即使在同一个游戏中也不能推广到新的代理配置。在这项工作中,我们提出了协作Q学习(CollaQ),实现了最先进的性能在星际争霸多智能体的挑战,并支持特设团队发挥。我们首先制定多智能体协作作为一个联合优化奖励分配,并表明每个代理有一个近似的最优策略,分解成两部分:一部分,只依赖于代理自己的状态,和其他部分,是与附近的代理的状态。根据这一新的发现,CollaQ将每个智能体的Q函数分解为一个自我项和一个交互项,并通过多智能体奖励归因(MARA)损失来规范训练。CollaQ在各种星际争霸地图上进行了评估,结果表明它优于现有的最先进的技术(即,QMIX、QTRAN和VDN),在相同样本数的情况下将胜率提高40%。在更具挑战性的特设团队游戏设置中(即,重新加权/添加/删除单位,无需重新训练或微调),CollaQ比之前的SoTA性能高出30%以上。
2020-10-16 cs.AI cs.LG cs.MA
Mesh-RL: Coupled subgrid reinforcement learning
University of Alberta(阿尔伯塔大学)
提出Mesh-RL框架,通过有限元启发的空间域分解和边界一致时序差分更新,加速稀疏奖励环境中的长程信用分配,提升收敛速度与学习稳定性。
2026-06-26 cs.LG
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Nvidia Research(英伟达研究院);Technion Institute of Technology(以色列理工学院)
协作多智能体强化学习(MARL)面临着显着的可扩展性问题,由于状态和动作空间是指数大的代理的数量。随着环境规模的增长,有效的信用分配变得越来越困难,并经常导致不可行的学习时间。尽管如此,在许多现实环境中,仍然存在简化的底层动态,可以用于更具可扩展性的解决方案。在这项工作中,我们有效地利用这种局部结构,同时保持全球合作。我们提出了一种新的,基于值的多代理算法称为LOMAQ,它采用了本地奖励的集中式训练分散执行范式。此外,我们提供了一个直接的奖励分解方法,找到这些局部奖励时,只有一个全球性的信号提供。我们根据经验测试了我们的方法,表明与其他方法相比,它具有很好的扩展性,显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
On the Emergence of Implicit Curriculum in RLVR Learning Dynamics
本文研究了RLVR中隐式课程的形成机制,通过理论分析和实验验证,发现混合难度训练能自然诱导隐式课程,使简单问题先被学习并为更难问题奠定基础,其效果由难度谱的平滑性决定。
2026-06-29 cs.AI cs.LG math.OC
Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);East China Normal University(华东师范大学);Tongji University(同济大学)
针对合作式稀疏奖励多智能体强化学习中现有自动子目标生成方法样本效率低的问题,提出结合预训练语言模型思维链与语言锚定强化学习的SAMA方法,显著提升样本效率。
2023-09-30 cs.AI cs.CL cs.LG
Model based Multi-agent Reinforcement Learning with Tensor Decompositions
TU Delft(代尔夫特理工大学);University of Oxford(牛津大学)
多智能体强化学习中的一个挑战是能够在难以处理的状态-动作空间上进行推广。受Tesseract启发[Mahajan等人,2021],这篇立场论文通过将转换和奖励函数建模为低CP秩的张量,研究了在未探索的状态-动作对上的状态-动作空间中的泛化。在合成MDP上的初步实验表明,如果真实的转换和奖励函数确实具有低秩,则在基于基于模型的强化学习算法中使用张量分解可以导致更快的收敛。
2021-10-27 cs.LG cs.MA
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google(谷歌);The Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
在这项工作中,我们提供了理论上的保证,在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例,它允许人们并行学习许多策略,并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题,然后推导出它的近似解。特别地,我们专注于局部的近似解,即,仅观察关于当前状态的信息的解决方案。本地策略易于实现,并且不需要大量的计算资源,因为它们不执行规划。虽然局部确定性策略,如最近邻,在实践中被用于分层强化学习,我们提出了三个随机策略,保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile(智利天主教大学);Vector Institute(向量研究院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习是人工智能的核心问题。这个问题包括定义人工代理,可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机(RM)提供奖励函数的结构化的、基于自动机的表示,其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里,我们表明,RM可以从经验中学习,而不是由用户指定,并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题,其目标是找到一个RM,分解成一组子问题的问题,使其最佳的无记忆的政策的组合是一个最佳的政策,为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性,在这些领域中,它的性能显着优于A3 C,PPO和ACER,并讨论了它的优点,局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Discrete Diffusion Trajectory Alignment via Stepwise Decomposition
Stanford University(斯坦福大学);Caltech(加州理工学院);Tsinghua University(清华大学)
本研究提出一种离线偏好优化方法,通过分步分解实现离散扩散模型的轨迹对齐,提升DNA序列设计和语言建模的性能。
2026-02-01 cs.LG
REAR: Test-time Preference Realignment through Reward Decomposition
Nanyang Technological University(新加坡国立大学);Nanjing University(南京大学)
提出REAR框架,通过将奖励函数分解为问题相关和偏好相关两部分,推导出可线性组合的对齐奖励,实现无需训练的测试时偏好重对齐,适用于多种任务。
2026-06-29 cs.CL cs.LG
Disentangling Dynamics and Returns: Value Function Decomposition with Future Prediction
Tianjin University(天津大学);Tencent(腾讯);The Chinese University of Hong Kong(香港中文大学)
价值函数对于无模型强化学习(RL)隐式获取策略或指导策略更新至关重要。价值评估在很大程度上取决于环境动态的随机性和奖励信号的质量。本文从未来预测的角度,将价值函数分解为与回报无关的未来动态部分和与政策无关的轨迹回归部分,提出了价值估计的两步理解。然后,我们从上述分解中推导出一个实用的深度RL算法,该算法由卷积轨迹表示模型、预测未来轨迹的预期表示的条件变分动力学模型和将轨迹表示映射到其返回的凸轨迹返回模型组成。我们的算法在MuJoCo连续控制任务中进行了评估,并在常见设置和延迟奖励设置下显示出优异的结果。
2019-05-27 cs.LG stat.ML
RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Cloud AI Research(谷歌云人工智能研究)
RubricEM通过规则引导的策略分解和反思元策略进化,解决深度研究代理在不可验证奖励下的训练问题,实现长周期优化和可重用经验积累。
2026-10-19 cs.CL cs.LG
Global path preference and local response: A reward decomposition approach for network path choice analysis in the presence of locally perceived attributes
Shibaura Institute of Technology(芝浦工业大学)
提出一种整合到递归路径选择模型的奖励分解方法,区分全局与局部属性效用,揭示行人仅局部感知并响应街道视觉质量,凸显局部感知政策属性下干预位置选择的重要性。
2023-07-14 cs.LG econ.EM physics.soc-ph
Risk-Sensitive Reinforcement Learning: a Martingale Approach to Reward Uncertainty
JP Morgan AI Research(摩根大通人工智能研究院)
我们引入了一个新的框架来解释敏感性奖励的不确定性顺序决策问题。虽然到目前为止研究的马尔可夫决策过程的风险敏感配方集中在作为一个整体的累积奖励的分布,我们的目标是学习政策敏感的奖励的不确定性/随机性,这在某些情况下具有概念上更有意义的优势。为此,我们提出了一个新的分解的随机性包含在累积奖励的基础上的Doob分解的随机过程,并引入了一个新的概念工具-\textit{chaotic variation} -它可以被严格地解释为风险度量的鞅分量相关的累积奖励过程。我们在强化学习方面进行了创新,将这种新的风险敏感方法融入到无模型算法中,基于策略梯度和价值函数,并说明了其在网格世界和投资组合优化问题上的相关性。
2020-09-15 cs.LG q-fin.RM stat.ML
A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR
Outlook.com(Outlook公司)
本文通过预注册实验和因果分解方法,证明RLVR中朴素奖励设计估计量存在系统性偏差,并量化了自我一致性激发与真正奖励设计信号的贡献。
2026-06-08 cs.AI cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
奖励分解是多智能体强化学习集中训练分散执行(CTDE)范式中的一个关键问题。为了充分利用全局信息,利用所有代理的状态和相关环境将Q值分解为单个信用,我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~(MNMPG)框架来提取全局层次结构以进行精细的奖励分解。通过效用网络,从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明,我们的方法只需要一个简单的效用网络,就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时,可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA