SRFT: A Single-Stage Method with Supervised and Reinforcement Fine-Tuning for Reasoning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Meituan(美团);Shanghai Jiao Tong University(上海交通大学)
SRFT提出一种单阶段方法,通过熵感知加权统一监督微调和强化学习,直接优化LLM,在数学推理基准上平均准确率达59.1%,显著优于零RL方法。
2025-06-24 cs.AI cs.CL cs.LG
A Self-Supervised Reinforcement Learning Approach for Fine-Tuning Large Language Models Using Cross-Attention Signals
UC Berkeley School of Information(加州大学伯克利分校信息学院)
该研究提出一种无需人类在环反馈的自监督强化学习框架,利用大型语言模型内部的交叉注意力信号构建奖励,引导模型微调,在提示相关性和一致性上优于非RL基线,为低标注对齐扩展提供方向。
2025-04-16 cs.AI
UFT: Unifying Supervised and Reinforcement Fine-Tuning
Massachusetts Institute of Technology(麻省理工学院)
本文提出统一微调范式UFT,将SFT与RFT集成到同一后训练过程中,兼顾监督信号与自主探索,在不同模型规模上均优于二者,并从理论上证明其可突破RFT的指数样本复杂度瓶颈。
2025-10-19 cs.CL cs.LG
Toward Effective Reinforcement Learning Fine-Tuning for Medical VQA in Vision-Language Models
Arizona State University(亚利桑那州立大学);Clemson University(克莱姆森大学);Washington University in St.Louis(华盛顿大学圣路易斯分校);Banner Alzheimer’s Institute(Banner阿尔茨海默病研究所)
该研究针对医学视觉问答任务中强化学习微调难以实现临床对齐的问题,探究了四个关键影响维度,实验表明基于GRPO的强化学习微调效果优于标准监督微调,为医学多模态大模型的领域微调提供了新见解。
2025-05-20 cs.AI cs.CL cs.CV
Improving Medical Visual Reinforcement Fine-Tuning via Perception and Reasoning Augmentation
Beijing University of Posts and Telecommunications(北京邮电大学);Emory University(埃默里大学);Sichuan University(四川大学);Peking University(北京大学)
本研究提出VRFT-Aug框架,通过增强感知与推理能力,改进医疗影像领域的强化微调效果,提升模型在医学应用中的可靠性与推理能力。
2026-02-11 cs.AI cs.CV
Fine-tuning Timeseries Predictors Using Reinforcement Learning
Reykjavik University, Department of Engineering(雷克雅未克大学工程系)
本文提出通过强化学习优化金融预测模型,通过反向传播损失提升模型性能,并验证微调对模型的提升效果及迁移学习价值。
2026-03-20 cs.AI cs.LG
A Max-Min Entropy Framework for Reinforcement Learning
UNIST(蔚山科学技术院);KAIST(韩国科学技术院)
在本文中,我们提出了一个最大-最小熵的强化学习(RL)的框架,以克服软演员-评论家(SAC)算法实现最大熵RL在无模型的基于样本的学习的局限性。最大熵强化学习指导策略在未来达到高熵状态,而最大最小熵框架旨在学习访问低熵状态并最大化这些低熵状态的熵,以促进更好的探索。针对一般的马尔可夫决策过程,基于探索与利用的分离,在最大最小熵框架下构造了一个有效的算法。数值结果表明,该算法产生了显着的性能改善,目前国家的最先进的强化学习算法。
2021-12-20 cs.AI cs.LG
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);Nvidia Research(英伟达研究院)
最大熵(MaxEnt)强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而,动作熵不一定与状态熵一致,例如,当多个动作产生相同的过渡时。相反,我们建议最大化过渡熵,即,下一个状态的熵我们表明,过渡熵可以描述为两个术语,即,依赖于模型的过渡熵和动作冗余。特别是,我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法,以尽量减少行动冗余,并证明其有效性的合成环境与多个冗余的行动,以及当代基准在雅达利和Mujoco。我们的研究结果表明,动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习(IRL)算法推断出一个奖励函数,该函数解释了专家在环境中提供的演示。最大因果熵(MCE)IRL是目前最流行的IRL公式,有许多扩展。在本教程中,我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源,为那些新的领域,并作为一个简明的参考,为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)(电子和电信研究院(ETRI))
本文针对深度强化学习中的探索问题,发现低初始熵导致学习失败,提出熵感知模型初始化策略,有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
Maximum Entropy Reinforcement Learning with Mixture Policies
Technion, Israel Institute of Technology(以色列理工学院)
混合模型是一种表达性的假设类,可以近似一组丰富的策略。然而,在最大熵(MaxEnt)框架中使用混合策略并不简单。混合模型的熵不等于其分量之和,在大多数情况下也没有封闭形式的表达式。因此,在MaxEnt算法中使用这样的策略需要构建混合熵的易处理的近似。在本文中,我们得到一个简单的,低方差混合熵估计。我们表明,它是密切相关的边际熵的总和。配备我们的熵估计,我们推导出一个算法的软演员批评(SAC)的混合策略的情况下,并评估它的一系列连续控制任务。
2021-03-18 cs.AI cs.LG
Enforcing KL Regularization in General Tsallis Entropy Reinforcement Learning via Advantage Learning
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Osaka University(大阪大学);Advanced Telecommunication Research(国际电气通信基础技术研究所)
强化学习中的最大Tsallis熵(Maximum Tsallis entropy,MTE)框架由于其灵活的建模选择(包括广泛使用的Shannon熵和稀疏熵)而近年来得到了广泛的应用。然而,非香农熵遭受近似误差和随后的表现不佳,无论是由于其敏感性或缺乏封闭形式的政策表达。为了提高灵活性和经验性能之间的权衡,我们建议通过在Munchausen DQN(MDQN)激励的MTE中执行隐式Kullback-Leibler(KL)正则化来加强其错误鲁棒性。我们这样做,通过绘制MDQN和优势学习之间的连接,MDQN被证明是失败的推广到MTE框架。经过大量实验验证,所提出的方法Tsallis优势学习(TAL)不仅在各种非封闭形式Tsallis熵方面显着改进了Tsallis-DQN,而且表现出与最先进的最大香农熵算法相当的性能。
2022-05-16 cs.AI cs.LG
A Comparative Theoretical Analysis of Entropy Control Methods in Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Météo France/CNRS, Université de Toulouse, CNRM UMR 3589(法国气象局/法国国家科学研究中心,图卢兹大学,国家气象研究中心 UMR 3589)
本文比较了传统熵正则化与基于协方差的熵控制方法,揭示了熵变化由log-probabilities与logit更新的协方差决定,传统方法引入持续偏差导致次优策略,而基于协方差方法通过稀疏正则化实现无偏性。
2026-04-02 cs.AI cs.LG
An Entropy Regularization Free Mechanism for Policy-based Reinforcement Learning
ByteDance(字节跳动);Nankai University(南开大学)
基于策略的强化学习方法存在策略崩溃问题。我们发现基于值的强化学习方法具有ε-greedy机制,具有封闭多样性、不变性探索和自适应权衡三个特性,这有助于基于值的方法避免策略崩溃问题。然而,不存在一个并行的机制,基于策略的方法,实现所有三个特征。在本文中,我们提出了一个熵正则化的自由机制,设计的基于策略的方法,实现了封闭形式的多样性,不变性探索和自适应权衡。我们的实验表明,我们的机制是超级样本效率的基于策略的方法,并提高了基于策略的基线,以一个新的国家的最先进的街机学习环境。
2021-06-01 cs.AI cs.LG
Tracking Drift: Variation-Aware Entropy Scheduling for Non-Stationary Reinforcement Learning
School of Future Technology, Southeast University, Nanjing, China(东南大学未来技术学院,南京,中国);School of Automation, Southeast University, Nanjing, China(东南大学自动化学院,南京,中国)
本文提出AES方法,通过动态调整熵系数以应对环境漂移,减少性能下降并加快恢复速度。
2026-07-15 cs.AI cs.LG
Offline Reinforcement Learning with Behavioral Supervisor Tuning
Imperial College London(帝国理工学院)
提出TD3-BST算法,通过训练不确定性模型引导策略在数据集支持范围内选择动作,无需针对数据集调整超参数即可在基准测试中取得最佳性能。
2024-07-27 cs.AI cs.LG
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Kakao Brain
在本文中,我们提出了一类新的马尔可夫决策过程(MDP),称为Tsallis MDP,Tsallis熵最大化,推广现有的最大熵强化学习(RL)。Tsallis MDP为原始RL问题和具有各种类型熵的RL提供了统一的框架,包括著名的标准香农-吉布斯(SG)熵,使用额外的实值参数,称为熵指数。通过控制熵指数,我们可以产生各种类型的熵,包括SG熵,不同的熵会导致Tsallis MDP中不同类别的最优策略。我们还提供了Tsallis MDP的完整数学分析,包括最优性条件,性能误差界和收敛性。我们的理论结果使我们能够在RL中使用任何正熵指数。为了处理复杂和大规模的问题,我们提出了一个无模型的演员-评论家RL方法使用Tsallis熵最大化。我们评估了Tsallis熵的正则化效果与不同的熵指数值,并表明熵指数控制所提出的方法的探索趋势。对于不同类型的RL问题,我们发现,一个不同的值的熵指数是可取的。该方法使用MuJoCo模拟器进行评估,并达到了最先进的性能。
2019-02-07 cs.AI cs.LG stat.ML
Count-Based Temperature Scheduling for Maximum Entropy Reinforcement Learning
University of California, Irvine(加利福尼亚大学欧文分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
最大熵强化学习(MaxEnt RL)算法,如Soft Q-Learning(SQL)和Soft Actor-Critic权衡奖励和策略熵,这有可能提高训练稳定性和鲁棒性。然而,大多数MaxEnt RL方法使用恒定的权衡系数(温度),与直觉相反,温度应该在训练早期较高,以避免过度拟合噪声值估计,并在训练后期降低,因为我们越来越相信高值估计确实会带来良好的回报。此外,我们对价值估计的信心是依赖于状态的,每当我们使用更多的证据来更新估计时,信心就会增加。在本文中,我们提出了一个简单的基于状态的温度调度方法,并将其实例化为基于计数的软Q学习(CBSQL)的SQL。我们评估我们的方法在玩具领域以及在几个雅达利2600域,并显示出可喜的成果。
2021-11-28 cs.AI cs.LG
Maximum Entropy Diverse Exploration: Disentangling Maximum Entropy Reinforcement Learning
Binghamton University(宾汉姆顿大学);Yantai University(烟台大学)
两个迄今为止断开的研究线程,多样性探索(DE)和最大熵强化学习已经解决了强化学习算法通过表面上不同的机制所面临的广泛问题。在这项工作中,我们确定了这两种方法之间的联系。首先,提出了一个基于鉴别器的多样性目标,并将其与常用的发散性度量相连接。然后,我们将这个目标扩展到最大熵框架,并提出了一个算法最大熵多样性探索(MEDE),它提供了一个原则性的方法来学习不同的行为。理论研究表明,由MEDE学习的策略集捕获与最优最大熵策略相同的模态。实际上,所提出的算法将最大熵策略分解为不同的组成策略。实验表明,MEDE在学习高性能和多样化的策略方面优于现有技术。
2019-11-03 cs.AI cs.LG stat.ML
Rényi State Entropy for Exploration Acceleration in Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
深度强化学习最关键的挑战之一是保持智能体的长期探索能力。为了解决这个问题,最近有人提出为代理提供内在奖励以鼓励探索。然而,大多数现有的内在奖励为基础的方法在文献中提出的未能提供可持续的勘探激励,一个问题被称为消失的奖励。此外,这些常规方法在其学习过程中招致复杂的模型和额外的存储器,导致高计算复杂性和低鲁棒性。在这项工作中,提出了一种新的内在奖励模块的基础上的雷尼熵提供高质量的内在奖励。结果表明,所提出的方法实际上推广了现有的状态熵最大化方法。特别地,引入了$k$ -最近邻估计器进行熵估计,同时设计了$k$ -值搜索方法以保证估计精度。大量的仿真结果表明,所提出的Rényi熵为基础的方法可以实现更高的性能相比,现有的计划。
2022-03-08 cs.AI cs.LG
Evaluating the Perceived Safety of Urban City via Maximum Entropy Deep Inverse Reinforcement Learning
Sichuan University(四川大学)
受城市感知专家评价策略的启发,提出了一种基于逆强化学习(IRL)的城市安全预测框架,并给出了相应的奖励函数.我们还提出了一种可扩展的状态表示方法,将预测问题建模为马尔可夫决策过程(MDP),并使用强化学习(RL)来解决问题。此外,我们基于众包方法建立了一个名为SmallCity的数据集来进行研究。据我们所知,这是首次将IRL方法引入城市安全感知和规划领域,帮助专家定量分析感知特征。我们的研究结果表明,IRL在这一领域有着广阔的前景。我们稍后将开放众包数据汇集网站和本文提出的模型。
2022-11-27 cs.AI cs.LG
Surprise-Adaptive Intrinsic Motivation for Unsupervised Reinforcement Learning
Université de Montréal(蒙特利尔大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所)
针对无监督强化学习中单一熵目标无法适配所有环境的问题,提出将目标选择建模为多臂老虎机的惊奇自适应智能体,通过新型内在反馈信号控制环境熵,在高低熵场景及基准任务中均实现有效行为学习。
2024-08-16 cs.AI cs.LG
Implicit Policy for Reinforcement Learning
Columbia University(哥伦比亚大学)
我们引入了隐式策略,这是一类通用的表达策略,可以灵活地表示强化学习中的复杂动作分布,并具有计算熵正则化策略梯度的有效算法。我们的经验表明,尽管其简单的实施,熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架,如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University(重庆大学)
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题,并取得了巨大的成功。然而,大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习(drl)应用于混合行动空间的多智能体问题的研究还很少。因此,我们提出了一种新的算法:深度多智能体混合软Actor-Critic(MAHSAC)来填补这一空白。该算法遵循集中式训练分散式执行(CTDE)的思想,扩展了软Actor-Critic算法(SAC),使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的,它具有连续的观察和离散的动作空间,以及一些基本的模拟物理。实验结果表明,MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时,它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
GraphRARE: Reinforcement Learning Enhanced Graph Neural Network with Relative Entropy
Beihang University(北京航空航天大学);Nanyang Technological University(南洋理工大学);RMIT University(皇家墨尔本理工大学);Beijing University of Technology(北京工业大学)
针对现有图神经网络在异质性图上表现不佳的问题,本文提出结合节点相对熵与深度强化学习的GraphRARE框架,通过优化图拓扑提升节点分类性能,在7个真实数据集上验证了有效性。
2024-04-13 cs.AI cs.LG
Entropy-Preserving Reinforcement Learning
本文提出熵保持强化学习方法,通过监控和控制熵来维持探索多样性,提升策略性能和可训练性。
2026-03-12 cs.AI cs.LG
Entropy Pacing Policy Optimization for Multi-Task Agentic Reinforcement Learning
Generative AI Lab, College of Computing and Data Science, Nanyang Technological University(生成式人工智能实验室,南洋理工大学计算与数据科学学院);Tongyi Lab, Alibaba Group(阿里集团通义实验室)
研究多任务智能强化学习中任务间探索-利用步长不匹配问题,提出熵步长策略优化(EPPO),核心是任务级动态裁剪机制,实验证明EPPO在多任务智能基准上结果优于同类方法。
2026-07-09 cs.AI cs.LG
Soft $Q(λ)$: A multi-step off-policy method for entropy regularised reinforcement learning using eligibility traces
University of Oxford(牛津大学)
本文提出Soft Q(λ),一种基于效用追踪的离策略方法,通过引入新的Soft Tree Backup操作符,扩展了软Q学习的多步框架,实现了高效的信用分配。
2026-07-20 cs.AI cs.LG
Convergence of a model-free entropy-regularized inverse reinforcement learning algorithm
Swiss Data Science Center(瑞士数据科学中心)
本文提出一种无模型熵正则化逆强化学习算法,结合随机梯度下降和随机软策略迭代更新,证明了在生成模型下能以特定样本复杂度恢复近似最优奖励并逼近专家策略。
2025-03-03 cs.AI cs.LG
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology(奈良科学技术大学大学院科学技术研究科)
本文旨在建立一种基于熵正则化值的强化学习方法,保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限,我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数,它是可扩展的大规模(连续)的状态空间问题。我们提出了一种新的强化学习算法,利用这个下限作为一个标准,调整的程度,减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind(CreateAmind(需确认具体中文译名,此处按原文保留))
熵正则化是强化学习中的一个重要思想,在最近的软Q网络(SQN)和软Actor-Critic(SAC 1)等算法中取得了巨大成功。在这项工作中,我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理(SPGT)。在SPGT的基础上,推导出了一系列新的策略优化算法,如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等,并发现SDDPG与SAC 1是等价的。对于策略梯度,策略网络通常表示为具有全局动作方差的高斯分布,这损害了表示能力。我们在策略网络中引入了一个局部行为方差,发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外,我们的方法可以很容易地扩展到大规模的实验,具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University(清华大学)
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题,提出无评判者预训练范式,兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
ECHO: Entropy-Confidence Hybrid Optimization for Test-Time Reinforcement Learning
Northeastern University, Shenyang, China(东北大学(沈阳));Shenzhen Campus of Sun Yat-sen University, China(中山大学深圳校区)
针对测试时强化学习中高熵分支导致rollout崩溃和早期伪标签噪声引发过拟合的问题,提出熵-置信度混合组相对策略优化(ECHO),通过自适应分支控制和置信度剪枝缓解崩溃,并采用置信度自适应裁剪和优势塑造增强训练鲁棒性。
2026-05-27 cs.AI cs.LG
Scores as Actions: a framework of fine-tuning diffusion models by continuous-time reinforcement learning
Department of IEOR, Columbia University(哥伦比亚大学工业工程与运筹学系);Department of CS, Stony Brook University(石溪大学计算机科学系)
该研究将扩散模型微调任务建模为连续时间随机控制问题,提出把分数匹配函数作为动作的统一RL微调框架,并构建了对应的连续时间RL理论,相关文本到图像生成实验将在配套论文呈现。
2024-09-12 cs.AI cs.LG
Task Specialization Fine-Tuning for Contextual Reinforcement Learning
Nanyang Technological University(南洋理工大学);MIT(麻省理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对上下文强化学习的任务专业化微调难题,提出TSFT框架,通过整数线性规划分配微调预算,在多领域实验中提升了任务覆盖性能。
2026-08-19 cs.AI cs.LG
Maximum Entropy Model-based Reinforcement Learning
JetBrains Research(JetBrains研究院);HSE University(俄罗斯高等经济学院)
强化学习的最新进展已经证明了它能够在超人的水平上解决硬代理-环境交互任务。然而,强化学习方法在实际和现实任务中的应用目前受到限制,这是由于大多数强化学习算法的样本效率低下,即,需要大量的训练片段。例如,在Dota 2中击败人类玩家的OpenAI Five算法已经训练了数千年的游戏时间。有几种方法可以解决样本效率低下的问题,这些方法可以更有效地利用已经收集的经验,或者旨在通过更好地探索环境来获得更相关和更多样化的经验。然而,据我们所知,没有这样的方法存在基于模型的算法,这表明他们的高样本效率在解决具有高维状态空间的硬控制任务。这项工作将探索技术和基于模型的强化学习联系起来。我们设计了一种新的探索方法,考虑到基于模型的方法的功能。我们还通过实验证明,我们的方法显着提高了基于模型的算法梦想家的性能。
2021-12-02 cs.AI cs.LG
ETTRL: Balancing Exploration and Exploitation in LLM Test-Time Reinforcement Learning Via Entropy Mechanism
Beihang University(北京航空航天大学);Northwestern Polytechnical University(西北工业大学);Kuaishou Technology(快手科技)
针对 TTRL 的高推理成本、早期估计偏差和多样性不足问题,本文提出基于熵的 ETMR 与 EAR 策略,在 AIME 2024 上以更少 token 显著提升 Llama3.1-8B 性能。
2025-08-29 cs.AI cs.LG
Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出动态约束机制,通过在线细化模型提升强化学习微调的稳定性与性能,在对话和代码生成任务中优于KL正则化和无约束基线。
2026-03-18 cs.AI cs.LG
Evidence on the Regularisation Properties of Maximum-Entropy Reinforcement Learning
Université Paris-Saclay(巴黎-萨克雷大学);CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique(法国国家科学研究中心,跨学科数字科学实验室)
该研究通过混沌系统验证最大熵强化学习策略在噪声下的鲁棒性,并利用复杂性度量解释其正则化性质。
2025-01-28 cs.LG
Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning
The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);Tsinghua University(清华大学);University of the Chinese Academy of Sciences(中国科学院大学)
提出概率-熵校准信号(相对排名指标)进行token级重加权,以平衡预训练先验与下游对齐,在数学推理、分布外推理和代码生成任务上优于仅基于概率或熵的方法。
2026-05-27 cs.AI cs.LG
Maximum Entropy Reinforcement Learning with Diffusion Policy
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);AiRiA
本文提出MaxEntDP方法,用扩散模型替代高斯策略实现最大熵强化学习,以增强多模态探索能力,在Mujoco基准上优于高斯策略及其他生成模型,并达到与先进扩散在线RL算法相当的性能。
2025-06-06 cs.AI cs.LG
E-GRPO: High Entropy Steps Drive Effective Reinforcement Learning for Flow Models
Tsinghua University(清华大学)
E-GRPO通过增加SDE采样步骤的熵,提升流模型强化学习的效果,通过合并低熵步骤为高熵步骤并引入多步群体归一化优势,提高探索效率和奖励信号清晰度。
2026-01-01 cs.AI cs.CV cs.LG
Compiler-R1: Towards Agentic Compiler Auto-tuning with Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Beijing University of Posts and Telecommunications(北京邮电大学);Hangzhou Institute for Advanced Study at UCAS(UCAS杭州高等研究院)
Compiler-R1提出首个强化学习驱动的编译器自动调优框架,利用高质量推理数据集和两阶段端到端训练,在七个数据集上平均减少8.46%的IR指令数,显著提升LLM优化能力。
2025-05-30 cs.AI cs.LG
Boosting Maximum Entropy Reinforcement Learning via One-Step Flow Matching
Tianjin Key Laboratory of Intelligent Unmanned Swarm Technology(天津智能无人群技术与系统重点实验室);School of Electrical and Information Engineering(电气与信息工程学院);Tianjin University(天津大学)
FLAME通过一步流匹配提升最大熵强化学习,解决能量分布不可行和对数似然估计偏差问题,实现高效探索和低延迟控制。
2026-02-02 cs.AI cs.LG
Multi-task Maximum Entropy Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
多任务逆强化学习(IRL)是从专家论证中推断多个奖励函数的问题。以前的工作,建立在贝叶斯IRL,是无法扩展到复杂的环境中,由于计算的限制。本文在计算效率更高的最大因果熵(MCE)IRL框架下,提出了一种多任务IRL模型。实验表明,我们的方法可以执行一次性的模仿学习在网格世界环境中,单任务IRL算法需要数百个演示来解决。我们概述了初步工作,使用元学习扩展我们的方法,现代MCE IRL算法的函数逼近器设置。评估常见的模拟机器人基准的多任务变体,我们发现这些IRL算法的严重局限性,并得出结论,为进一步的工作提出建议。
2018-07-15 cs.AI cs.LG stat.ML
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University(普渡大学)
逆向强化学习(IRL)是一种从演示中进行示教学习的强大方法。在本文中,我们解决IRL问题的先验知识,最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制,需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习(X-MEN)算法,保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样(一种可证明的采样方法,将#P完全采样问题转换为对NP预言机的查询)嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明,X-MEN收敛速度更快的最佳政策相比,基线方法,总是产生的轨迹,满足多状态组合约束。
2022-03-22 cs.LG
Beyond Fine-Tuning: Transferring Behavior in Reinforcement Learning
DeepMind(深度思维)
设计自主获取知识并使用它来有效地解决新任务的代理是强化学习中的一个重要挑战。在无监督预训练阶段获得的知识通常在奖励暴露后通过微调神经网络权重来转移,这是监督领域的常见做法。鉴于强化学习问题的性质,我们认为,标准的微调策略本身是不够的,在具有挑战性的领域的有效转移。我们引入了行为转移(BT),这是一种利用预先训练的策略进行探索的技术,它是对转移神经网络权重的补充。我们的实验表明,当在没有奖励的情况下与大规模的预训练相结合时,现有的内在动机目标可以导致复杂行为的出现。然后,BT可以利用这些预先训练的策略来发现比没有预先训练更好的解决方案,并且将BT与标准微调策略相结合会带来额外的好处。通常在需要结构化探索的领域中观察到最大的收益,包括预先训练的策略的行为与下游任务不一致的设置。
2021-06-08 cs.AI cs.LG stat.ML
Weighted Maximum Entropy Inverse Reinforcement Learning
Singapore Management University(新加坡管理大学);Massachusetts Institute of Technology(麻省理工学院)
我们研究了逆强化学习(IRL)和模仿学习(IM),即从专家演示的轨迹中恢复奖励或策略函数的问题。我们提出了一种新的方法来改善学习过程,通过增加一个权重函数的最大熵框架,具有学习和恢复的随机性(或有限理性)的专家政策的能力的动机。我们的框架和算法允许学习奖励(或策略)函数和添加到马尔可夫决策过程的熵项的结构,从而增强学习过程。我们的数值实验,使用人类和模拟演示和离散和连续的IRL/IM任务表明,我们的方法优于以前的算法。
2022-08-20 cs.LG
Soft Policy Gradient Method for Maximum Entropy Deep Reinforcement Learning
Tsinghua University(清华大学)
最大熵深度强化学习(RL)方法已经在一系列具有挑战性的连续任务上得到了证明。然而,现有的方法要么在训练大型非策略数据时存在严重的不稳定性,要么无法扩展到具有非常高的状态和动作维度的任务,例如3D人形运动。另外,对于非最优软价值函数,期望Boltzmann策略集的最优性也不具有说服力。本文首先推导了基于熵正则化期望回报目标的软策略梯度。然后,将软策略梯度与软Bellman方程相结合,提出了一种无策略、无模型的最大熵深度强化学习算法--深度软策略梯度(DSPG)。为了确保稳定的学习,同时消除两个单独的批评软价值函数的需要,我们利用双采样方法,使软贝尔曼方程易于处理。实验结果表明,我们的方法在性能上优于off-policy先验方法。
2019-09-07 cs.AI cs.LG stat.ML
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge(剑桥大学)
本文质疑偏好数据集的有效性,提出用示范数据对齐LLM,借鉴逆强化学习与模仿学习构建序贯决策框架,分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University(首尔大学)
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程(MDP),该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件,然后给出了稀疏MDP的最优性条件。然后,我们提出了一个稀疏值迭代方法,解决了稀疏MDP,然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比,软MDP利用因果熵正则化。我们表明,稀疏MDP的性能误差有一个恒定的界限,而软MDP的错误增加相对于动作的数量,其中这种性能误差是由引入的正则化项。在实验中,我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
Revisiting Entropy in Reinforcement Learning for Large Reasoning Models
TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China(天津大学计算机科学与技术学院 TJUNLP 实验室,中国);Independent Researcher(独立研究者);College of Computer and Information Engineering, Tianjin Normal University, China(天津师范大学计算机与信息工程学院,中国)
本文研究了强化学习可验证奖励中大语言模型熵崩溃问题,分析了熵与响应多样性、校准及性能的关系,提出正优势重加权方法以调节熵并保持性能。
2026-04-19 cs.AI cs.CL cs.LG
Entropy Regularized Reinforcement Learning Using Large Deviation Theory
University of Massachusetts Boston(马萨诸塞大学波士顿分校);San Jose State University(圣何塞州立大学)
本文通过建立熵正则化强化学习与非平衡统计力学中稀有事件条件下马尔可夫过程的映射,利用大偏差理论在长时间极限下推导出最优策略和动力学的精确解析解,并提出了一个经模拟验证的新框架。
2023-04-10 cond-mat.stat-mech cs.AI cs.LG
Low Entropy Communication in Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
多智能体强化学习中的通信因其在协作中的重要作用而受到关注。然而,多智能体系统可能会受到通信资源的限制,因此需要有效的通信技术在现实世界中的场景。根据香农-哈特利定理,在较差信道中可靠传输的消息需要较低的熵。因此,我们的目标是减少多智能体通信中的消息熵。一个基本的挑战是熵的梯度要么是0,要么是无穷大,这使得基于梯度的方法无法使用。为了解决这个问题,我们提出了一个伪梯度下降方案,它通过明智地调整消息的分布来降低熵。我们进行了实验,两个基地的通信框架与六个环境设置,发现我们的计划可以减少消息熵高达90%,几乎没有损失的合作性能。
2023-02-10 cs.LG cs.MA