REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge
University of California, Los Angeles(加州大学洛杉矶分校);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Google Research Now at Google DeepMind(谷歌研究 现在在谷歌深Mind)
提出REAL框架,通过广义策略梯度将回归目标融入强化学习,优化LLM作为评分器的数值评估,在多个规模模型上超越SFT和标准RL方法。
2026-05-29 cs.AI cs.LG
Newton's Lantern: A Reinforcement Learning Framework for Finetuning AC Power Flow Warm Start Models
Pravah(普拉瓦)
本文提出牛顿之灯框架,通过结合分组相对策略优化与学习奖励模型,有效解决热启动误差方向对牛顿迭代次数的影响,实现高效收敛。
2026-05-11 cs.AI cs.LG cs.SY
Rectifying Regression in Reinforcement Learning
本文从理论上证明平均绝对误差优于均方误差作为强化学习值函数回归目标,并表明交叉熵损失与平均绝对误差更匹配,实验验证其在线性强化学习中优于平方损失。
2025-11-10 cs.LG
Distributional Reinforcement Learning with Dual Expectile-Quantile Regression
Naver Labs Europe(纳维尔实验室欧洲分部);University of Amsterdam(阿姆斯特丹大学)
针对分布强化学习中分位数回归因使用Huber损失导致分布坍缩的问题,提出联合学习期望分位数与分位数的方法,在保持完整回报分布估计的同时实现高效学习,并在Atari基准上达到基线性能。
2025-05-26 cs.AI cs.LG
Ranking-aware Reinforcement Learning for Ordinal Ranking
AMAP, Alibaba Group(阿里集团AMAP)
RARL通过整合回归和学习到排名任务,利用排名-aware奖励和响应突变操作提升有序排名性能。
2026-01-28 cs.AI cs.LG
How Far I'll Go: Offline Goal-Conditioned Reinforcement Learning via $f$-Advantage Regression
University of Pennsylvania(宾夕法尼亚大学)
离线目标条件强化学习(GCRL)承诺以从纯离线数据集达到不同目标的形式进行通用技能学习。我们提出了$\textbf{Go}$ al-条件$f$ - $\textbf{A}$优势$\textbf{R}$回归(GoFAR),一种新的基于回归的离线GCRL算法来自状态占用匹配的角度来看,关键的直觉是,达到目标的任务可以制定为一个动态遵守模仿者代理和专家代理之间的状态占用匹配问题,直接传送到目标。与之前的方法相比,GoFAR不需要任何事后重新标记,并且对其价值和政策网络进行了无交错优化。这些独特的功能赋予GoFAR更好的离线性能和稳定性以及统计性能保证,这是以前的方法无法实现的。此外,我们证明了GoFAR的训练目标可以重新调整,从纯粹的离线源域数据中学习一个独立于代理的目标条件规划器,这使得zero-shot转移到新的目标域。通过大量的实验,我们验证了GoFAR在各种问题设置和任务中的有效性,显着优于现有的最先进的。值得注意的是,在一个真正的机器人灵巧的操作任务,而没有其他方法取得有意义的进展,GoFAR获得复杂的操作行为,成功地实现了不同的目标。
2022-11-10 cs.AI cs.LG
Behavior Preference Regression for Offline Reinforcement Learning
Imperial College London(帝国理工学院)
针对离线强化学习的策略约束问题,提出行为偏好回归算法(BPR),通过成对比较最大化策略行为一致性并拟合Q函数最大模式,在多个数据集上取得最先进性能。
2025-03-02 cs.AI cs.LG
Distributional Reinforcement Learning with Quantile Regression
DeepMind;University of Cambridge(剑桥大学);Google Brain(谷歌大脑)
在强化学习中,智能体通过采取行动并观察下一个状态和奖励来与环境交互。当以概率抽样时,这些状态转换、奖励和行动都可以在观察到的长期回报中引起随机性。传统上,强化学习算法对这种随机性进行平均以估计价值函数。在本文中,我们建立在最近的工作,倡导一种分布式的方法来强化学习,其中分布的回报是明确建模,而不是只估计均值。也就是说,我们研究学习值分布而不是价值函数的方法。我们给出的结果缩小了Bellemare,Dabney和Munos(2017)给出的理论和算法结果之间的差距。首先,我们将现有的结果扩展到近似分布设置。其次,我们提出了一种新的分布式强化学习算法与我们的理论公式。最后,我们在Atari 2600游戏上评估了这个新算法,观察到它的性能明显优于DQN上最近的许多改进,包括相关的分布式算法C51。
2017-10-27 cs.AI cs.LG stat.ML
Reinforcement Learning over Predictive Distributions for LLM Regression
Georgia Institute of Technology(佐治亚理工学院);Allen Institute for AI(人工智能研究院)
本文提出Distribution-Aware Reward,一种基于预测分布的强化学习方法,旨在提升语言模型在回归任务中的预测分布质量,而非仅优化单个解码输出。通过连续排名概率分数评估多个解码样本的分布,并基于每个rollout对分布质量的边际贡献分配信用,从而提升预测的准确性和分散性。实验表明,该方法在多个任务中优于监督微调和点wise强化学习基线,尤其在KBSS数据集上Spearman相关性提升6点。
2026-10-07 cs.AI cs.CL cs.LG
Interactive Symbolic Regression through Offline Reinforcement Learning: A Co-Design Framework
ETH Zürich(苏黎世联邦理工学院);China Yangtze Power Co.,Ltd(中国长江电力股份有限公司);EPFL(洛桑联邦理工学院)
针对符号回归面临的组合空间挑战及缺乏专家交互的问题,提出基于离线强化学习的Sym-Q框架,无需Transformer解码器,支持专家动态调整表达式节点,在SSDNC基准上优于现有算法且通过交互机制进一步提升性能。
2025-02-13 cs.AI cs.LG
Interpretable Reinforcement Learning with Ensemble Methods
University of New Hampshire(新罕布什尔大学)
我们建议使用提升回归树作为一种方法来计算人类可解释的解决方案,以解决强化学习问题。Boosting结合了几个回归树,以提高其准确性,而不会显着降低其固有的可解释性。先前的工作分别集中在强化学习和可解释的机器学习上,但在可解释的强化学习方面进展甚微。我们的实验结果表明,增强回归树计算的解决方案既可解释,又符合领先的强化学习方法的质量。
2018-09-19 cs.LG stat.ML
Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning
Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences(中国科学院大学电子电气与通信工程学院)
本文提出FormulaGPT,将基于强化学习的符号回归搜索历史蒸馏进GPT,使其在上下文中生成并更新强化学习策略,从而兼顾精度、鲁棒性、通用性与推理效率。
2024-04-09 cs.AI cs.LG
Q-Value Weighted Regression: Reinforcement Learning with Limited Data
University of Warsaw(华沙大学);Google(谷歌);Google Brain(谷歌大脑)
离线环境下的样本效率和性能已经成为深度强化学习的重大挑战。我们介绍了Q值加权回归(QWR),这是一种简单的RL算法,在这些方面表现出色。QWR是优势加权回归(AWR)的扩展,AWR是一种非策略的行动者-评论家算法,在连续控制任务上表现非常好,也是在离线设置中,但样本效率低,并且难以处理高维观测空间。我们对AWR进行了分析,解释了它的缺点,并使用这些见解来激励QWR。我们的实验表明,QWR匹配的国家的最先进的算法,无论是在任务上的连续和离散的行动。特别是,QWR在MuJoCo套件上产生的结果与SAC相当,并且-使用相同的超参数集-在一组Atari游戏上产生的结果与高度调整的Rainbow实现相当。我们还验证了QWR在离线RL设置中表现良好。
2021-02-12 cs.LG
RSRM: Reinforcement Symbolic Regression Machine
Renmin University of China(中国人民大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出强化符号回归机RSRM,通过MCTS、双重Q学习和调制子树发现三个模块协同,从稀缺数据中高效发现复杂数学方程,并在多个基准上取得领先性能。
2023-05-24 cs.AI cs.LG cs.SC
Quasi-Newton Trust Region Policy Optimization
MERL(三菱电机研究实验室)
我们提出了一个信赖域策略优化方法,采用拟牛顿近似的海森,称为拟牛顿信赖域策略优化QNTRPO。梯度下降是连续控制的强化学习任务的实际算法。该算法在广泛的任务中用于强化学习时达到了最先进的性能。然而,该算法有一些缺点,包括:缺乏步长选择标准,收敛速度慢。我们调查使用的信赖域方法,使用狗腿步骤和拟牛顿近似的Hessian策略优化。我们通过数值实验证明,在广泛的具有挑战性的连续控制任务,我们的特定选择是有效的样本数量和提高性能
2019-12-26 cs.AI cs.LG cs.RO
Injecting Distributional Awareness into MLLMs via Reinforcement Learning for Deep Imbalanced Regression
The Hong Kong University of Science(香港科学与技术大学)
本文提出基于组相对策略优化的分布感知强化学习框架,通过一致性相关系数奖励实现跨样本关系监督,提升长尾回归任务的分布对齐能力,在中等和少样本场景下表现优异。
2026-05-11 cs.CL cs.CV cs.LG
Bayesian Symbolic Regression with Entropic Reinforcement Learning
本研究提出ERRLESS方法,将最大熵强化学习与贝叶斯视角结合用于符号回归,在Feynman基准上表现具有竞争力,生成的表达式简短可解释,且后验预测均值的R²优于SMC基线。
2026-08-12 cs.LG
Policy Newton Algorithm in Reproducing Kernel Hilbert Space
Tsinghua University(清华大学)
本文提出RKHS中的策略牛顿方法,通过三次正则化辅助目标和表示定理将无限维二阶优化转化为有限维问题,实现局部二次收敛,并在RL基准上取得更快收敛和更高奖励。
2025-06-02 cs.AI cs.LG
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法,通过动态调整探索与调查的平衡,提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Elucidating the Design Space of Regression-based Diffusion Reinforcement Learning
Tencent(腾讯)
本文统一了基于回归的扩散强化学习方法,提出新范式DiffusionRFT,收敛更快、训练更稳定、性能最优。
2026-09-29 cs.CV cs.LG
A Cramér Distance perspective on Quantile Regression based Distributional Reinforcement Learning
Amadeus SAS(艾玛迪斯SAS)
分布式强化学习(DRL)扩展了基于值的方法,通过近似未来收益的完整分布而不是仅平均值,提供更丰富的信号,从而提高性能。基于分位数回归(QR)的方法(如QR-DQN)通过最小化1-瓦瑟斯坦距离将任意分布投影到阶梯分布的参数子集中。然而,由于梯度中的偏差,分位数回归损失被用于训练,从而保证相同的最小值并享受无偏梯度。对分位数的非交叉约束已经被证明可以提高QR-DQN对于基于不确定性的探索策略的性能。这项工作的贡献是在固定的分位数水平的设置,是双重的。首先,我们证明了Cramér距离产生一个投影,与1-Wasserstein的一致,并且在非交叉约束下,平方Cramér和分位数回归损失产生共线梯度,揭示了DRL这些重要元素之间的连接。其次,我们提出了一个低复杂度的算法来计算Cramér距离。
2022-02-22 cs.LG stat.ML
Interactive Symbolic Regression through Offline Reinforcement Learning: A Co-Design Framework
针对符号回归(SR)组合空间大、缺乏专家交互的问题,提出符号Q网络(Sym-Q)交互式框架,通过离线强化学习结合树编码器提升效率,支持专家协同定制表达式,在SSDNC基准及真实案例中性能优于现有算法。
2025-02-11 cs.AI cs.LG cs.SC
FlowCritic: Bridging Value Estimation with Flow Matching in Reinforcement Learning
School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China(电子科技大学机械与电子工程学院);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院)
针对现有价值估计方法在分布表达上的局限,提出FlowCritic,利用流匹配生成式建模价值分布,以提升强化学习价值估计的可靠性。
2026-10-23 cs.AI cs.LG
Mitigating Covariate Shift in Misspecified Regression with Applications to Reinforcement Learning
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research, NYC(微软研究院(纽约))
本文针对协变量偏移下的L∞错误设定回归问题,提出一种基于鲁棒优化的新算法,避免经验风险最小化中的错误设定放大现象,并应用于离线与在线强化学习,建立了结构条件与覆盖概念之间的新分离。
2024-01-22 cs.LG math.OC stat.ML
Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression
University College London(伦敦大学学院)
本文提出一种将神经网络强化学习策略蒸馏为GBMs、EBMs和符号回归等可解释模型的方法,结合DAgger算法解决分布偏移,在多种机器人步态上以极低交互成本实现高可解释性。
2024-03-21 cs.AI cs.LG cs.RO
Solving Offline Reinforcement Learning with Decision Tree Regression
Iowa State University(爱荷华州立大学)
本研究提出将离线强化学习重构为回归任务,引入 RCDTP 和 RWDTP 两种决策树策略框架,在 D4RL 等数据集上实现快速训练与推理,性能与现有方法相当,并具备良好的可解释性。
2024-10-14 cs.LG cs.SY eess.SY
Path Learning with Trajectory Advantage Regression
本文提出轨迹优势回归方法,将路径优化问题转化为回归问题,实现离线路径学习与归因。
2025-06-24 cs.LG
RL as Regressor: A Reinforcement Learning Approach for Function Approximation
针对标准回归受限于可微损失函数的问题,提出将回归建模为强化学习问题的范式,以预测为动作、自定义奖励信号,经含噪正弦波案例验证,该框架可解决回归问题且目标定义更灵活。
2025-07-31 cs.LG
Variational Adaptive-Newton Method for Explorative Learning
Center for Advanced Intelligence Project (AIP), RIKEN(理化学研究所革新智能综合研究中心)
我们提出了变分自适应牛顿(VAN)方法,这是一种黑盒优化方法,特别适合于主动学习和强化学习等探索性学习任务。类似于贝叶斯方法,VAN估计可用于探索的分布,但需要类似于连续优化方法的计算。我们的理论贡献表明,VAN是一个二阶方法,统一现有的方法在不同领域的连续优化,变分推断,和进化策略。我们的实验结果表明,VAN在各种各样的学习任务上表现良好。这项工作提出了一种通用的探索性学习方法,有可能改善主动学习和强化学习等领域的学习。
2017-11-15 cs.LG stat.ML
FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning
Iowa State University(爱荷华州立大学)
针对离线强化学习中安全与性能难以平衡的问题,提出FAWAC方法,通过可行性条件约束策略更新并改进AWR算法,还提出诱惑性数据集处理策略,在标准基准上实现了安全与性能的有效平衡。
2024-12-12 cs.LG
A Cubic-regularized Policy Newton Algorithm for Reinforcement Learning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Indian Institute of Science(印度科学学院)
针对无模型强化学习控制问题,提出两种带三次正则化的策略 Newton 算法,通过采样轨迹估计梯度与 Hessian,并证明其收敛至二阶驻点,样本复杂度由 O(ε^{-4.5}) 改进至 O(ε^{-3.5})。
2023-04-21 cs.LG math.OC stat.ML
Noise-Resilient Symbolic Regression with Dynamic Gating Reinforcement Learning
Cooperation Product Department, Interactive Entertainment Group, Tencent(腾讯互动娱乐集团合作产品部);Stanford University(斯坦福大学)
本文提出抗噪声符号回归方法NRSR,结合强化学习、抗噪声门控模块NGM和混合路径熵奖励项,在高噪声与干净数据基准上均取得优异性能。
2025-01-02 cs.LG
Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential Reinforcement Learning
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出CEQR-DQN算法,通过结合深度证据学习与保形推理的分位数校准,在无模型分布式强化学习中显式计算全局不确定性,解决了偶然与认知不确定性分离估计及OOD观测处理问题,显著提升了MinAtar游戏得分与学习速度。
2024-06-04 cs.AI cs.LG
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
在本文中,我们的目标是开发一个简单的和可扩展的强化学习算法,使用标准的监督学习方法作为子程序。我们的目标是一个算法,只利用简单和收敛的最大似然损失函数,同时也能够利用政策外的数据。我们提出的方法,我们称之为加权回归(AWR),由两个标准的监督学习步骤:一个回归到目标值的价值函数,另一个回归到加权目标行动的政策。该方法简单而通用,可以适应连续和离散的动作,并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时,将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR,并表明与许多成熟的最先进的RL算法相比,它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略,而无需额外的环境交互。此外,我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
PIQL: Projective Implicit Q-Learning with Support Constraint for Offline Reinforcement Learning
Institut Polytechnique de Paris(巴黎理工学院)
PIQL通过引入投影和支持约束改进隐式Q学习,提升离线强化学习的适应性和性能,实现多步价值估计和更严格的有利动作标准,在多个基准上取得最佳效果。
2026-02-02 cs.AI cs.LG
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University(德克萨斯农工大学)
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务,因为目前还不清楚如何收集训练数据以改进政策。在这项工作中,我们提出了自我监督强化学习(SSRL),一个简单的算法,优化政策与纯粹的监督损失。我们证明,没有策略梯度或价值估计,"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹,SSRL与当代算法相比具有更稳定的性能和更少的运行时间,显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
Computationally efficient Gauss-Newton reinforcement learning for model predictive control
Chair of Process Automation Systems, TU Dortmund University(多特蒙德工业大学过程自动化系统教席);Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)(挪威科技大学工程控制论系)
本文提出一种计算高效的Gauss-Newton强化学习方法,用于模型预测控制,通过消除对二阶策略导数的需求,实现超线性收敛,并通过动量基Hessian平均和自适应信任区域提升鲁棒性。
2026-04-02 cs.LG cs.SY eess.SY
Deep Reinforcement Learning via L-BFGS Optimization
强化学习(RL)算法允许人工智能体改进其动作选择,从而增加其环境中的奖励体验。深度强化学习算法需要解决非凸和非线性无约束优化问题。用于解决深度RL中的优化问题的方法限于一阶算法类,例如随机梯度下降(SGD)。SGD方法的主要缺点是它们具有不逃逸鞍点的不良效果,并且它们的性能会受到病态的严重阻碍。此外,SGD方法需要详尽的试验和错误来微调许多学习参数。使用二阶导数信息可以提高收敛性能,但计算大规模问题的Hessian矩阵是不切实际的。拟牛顿法和SGD一样只需要一阶梯度信息,但它们可以构造Hessian矩阵的低秩近似,并导致超线性收敛。有限记忆Broyden-Fletcher-Goldfarb-Shanno(L-BFGS)方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在本文中,我们介绍了一种有效的优化方法,基于有限内存BFGS拟牛顿法使用线搜索策略-作为替代SGD方法。我们的方法通过继续使用梯度信息来计算低秩Hessian近似,从而弥合了一阶方法和二阶方法之间的差距。我们提供了正式的收敛性分析,以及经验的一个子集的经典ATARI 2600游戏的结果。我们的研究结果表明,具有较好的泛化特性,以及快速的训练时间和不需要的经验重放机制的鲁棒收敛。
2019-04-16 cs.AI cs.LG math.OC
Safety-Aware Reinforcement Learning for Control via Risk-Sensitive Action-Value Iteration and Quantile Regression
Institute for Systems Research(系统研究 institute);University of Maryland(马里兰大学);College Park(学院 park)
本文提出一种基于风险敏感动作价值迭代和分位数回归的安全感知强化学习算法,通过整合条件价值在风险(CVaR)来确保安全,同时提供理论保证和实验验证,提升动态环境中的安全性能。
2025-12-07 cs.LG cs.RO
The Enhanced Physics-Informed Kolmogorov-Arnold Networks: Applications of Newton's Laws in Financial Deep Reinforcement Learning (RL) Algorithms
Virginia Polytechnic Institute(弗吉尼亚理工大学);State University, Blacksburg, USA(州立大学,弗吉尼亚州黑斯堡);Ho Chi Minh University of Banking, Ho Chi Minh City, Vietnam(胡志明银行大学,胡志明市)
本文提出了一种结合物理信息柯尔莫戈罗夫-阿诺德网络的强化学习框架,用于金融投资组合优化,通过引入物理信息正则化损失提升模型稳定性与收益表现。
2026-02-05 cs.CE cs.LG
Symbolic Regression Methods for Reinforcement Learning
Czech Institute of Informatics, Robotics, and Cybernetics, Czech Technical University in Prague(布拉格捷克理工大学信息学、机器人与控制论研究所);Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克理工大学电气工程学院);Cognitive Robotics, Delft University of Technology(代尔夫特理工大学认知机器人系)
强化学习算法可以解决动态决策和最优控制问题。对于连续值的状态和输入变量,强化学习算法必须依赖于函数逼近器来表示价值函数和策略映射。常用的数值逼近器,如神经网络或基函数展开,有两个主要缺点:它们是黑箱模型,对所学习的映射几乎没有洞察力,并且它们需要对其超参数进行大量的试错调整。本文提出了一种利用符号回归构造解析表达式形式的光滑价值函数的新方法。我们介绍了三个离线的方法来寻找价值函数的基础上的状态转换模型:符号值迭代,符号政策迭代,和直接的Bellman方程的解决方案。四个非线性控制问题:摩擦下的速度控制,一个链接和两个链接摆摆动,和磁操纵的方法进行说明。结果表明,价值函数产生性能良好的政策,是紧凑的,数学上易于处理,并容易插入到其他算法。这使得它们潜在地适合于闭环系统的进一步分析。与另一种方法使用神经网络的比较表明,我们的方法优于神经网络为基础的。
2021-11-13 cs.LG cs.NE cs.SY
Inverse Reinforcement Learning with Just Classification and a Few Regressions
Department of Statistics, University of Washington(华盛顿大学统计系);Netflix(网飞);Cornell University(康奈尔大学)
本文提出GenPQR方法,通过模块化分类和回归技术,实现逆强化学习中的奖励恢复,无需依赖锚点动作限制或专用神经网络架构,理论支持更广泛的状态wise线性归一化。
2026-11-13 cs.LG econ.EM math.OC
Linear Bellman Completeness Suffices for Efficient Online Reinforcement Learning with Few Actions
MIT(麻省理工学院)
针对线性函数逼近的在线强化学习中Bellman完备性下现有统计算法需解非凸优化、缺乏计算高效方法的问题,本文首次提出动作数为任意常数时满足线性Bellman完备性的多项式时间RL算法。
2024-06-18 cs.AI cs.LG stat.ML
Diffusion Actor-Critic: Formulating Constrained Policy Iteration as Diffusion Noise Regression for Offline Reinforcement Learning
Hong Kong University of Science and Technology(香港科技大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Southern University of Science and Technology(南方科技大学)
本文提出扩散演员-评论家(DAC),将KL约束策略迭代转化为扩散噪声回归,直接以扩散模型表示目标策略,结合软Q引导和Q集成下置信界,在D4RL基准上超越最先进方法。
2025-02-25 cs.LG
Bridging the Gap between Newton-Raphson Method and Regularized Policy Iteration
Laboratory for Information and Decision Systems, Massachusetts Institute of Technology(信息与决策系统实验室,麻省理工学院);Department of Mechanical Engineering, Tsinghua University(机械工程系,清华大学);College of Artificial Intelligence and the School of Vehicle and Mobility, Tsinghua University(人工智能学院和车辆与移动系统学院,清华大学)
研究正则化策略迭代(RPI)的理论基础,证明其与牛顿-拉夫逊方法等价,实现统一收敛分析,得出RPI局部二次收敛性等结论,还研究了不精确策略评估下的RPI并提出新算法,推进了强化学习正则化理论理解与算法设计。
2026-07-17 cs.LG
Model-Free $δ$-Policy Iteration Based on Damped Newton Method for Nonlinear Continuous-Time H$\infty$ Tracking Control
针对未知连续时间非线性系统的 H$\infty$ 跟踪控制,提出基于阻尼牛顿法的无模型 $δ$-PI 算法,并通过 NN 实现与仿真验证其适用性。
2024-01-23 cs.LG
Model-Based Reinforcement Learning with Value-Targeted Regression
University of Alberta(阿尔伯塔大学);Peking University(北京大学);DeepMind(深度思维);Princeton University(普林斯顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
研究了基于基于模型的强化学习(RL)的后悔最小化问题。我们专注于有限视野情节RL的过渡模型$P$属于一个已知的家庭的模型$\mathcal{P}$,其中的一个特殊情况是当模型在$\mathcal{P}$采取线性混合物的形式:$P_θ = \sum_{i=1}^{d} θ_{i}P_{i}$。我们提出了一种基于模型的RL算法,它是基于乐观原则:在每一集,与收集的数据是“一致的”模型集的构建。一致性标准基于模型在预测\emph{values}的任务中产生的总平方误差,该总平方误差由沿转换的最后值估计确定。然后,通过用构造的模型集求解乐观规划问题来选择下一个值函数。在线性混合模型的特殊情况下,我们得到了遗憾的界,遗憾界的形式为$\tilde{\mathcal{O}}(d\sqrt{H^{3}T})$,其中$H$、$T$和$d$分别是$θ$的视界、总步数和维数.特别地,该后悔界限与状态或动作的总数无关,并且接近下限$Ω(\sqrt{HdT})$。对于一般的模型族$\mathcal{P}$,后悔界是使用Russo & Van Roy(2014)提出的所谓的Eluder维数的概念推导出来的。
2020-06-01 cs.LG stat.ML
Reinforcement Learning to Initialize Newton-Raphson for AC Power Flow with Quantum Annealing-Based Environment Updates
Delft University of Technology(代尔夫特理工大学);Leiden University(莱顿大学);Alliander N.V.(Alliander公司);Eindhoven University of Technology(埃因霍温理工大学)
本文利用量子增强的强化学习优化牛顿-拉夫森初始化,加速电力流分析中的收敛速度并提升鲁棒性。
2026-09-29 cs.ET cs.LG cs.SY
Implicit Quantile Networks for Distributional Reinforcement Learning
DeepMind(深度思维)
在这项工作中,我们建立在分布式强化学习的最新进展,给出了一个普遍适用的,灵活的,最先进的分布式DQN的变体。我们通过使用分位数回归来近似状态-动作回报分布的完整分位数函数来实现这一点。通过重新参数化样本空间上的分布,这产生了一个隐含定义的回报分布,并产生了一个大类的风险敏感政策。我们证明了改进的性能在ALE的57雅达利2600游戏,并使用我们的算法的隐式定义的分布研究风险敏感的政策在雅达利游戏的影响。
2018-06-14 cs.AI cs.LG stat.ML
Quantile Regression for Distributional Reward Models in RLHF
University of Freiburg(弗莱堡大学)
针对传统RLHF奖励模型点估计无法体现人类偏好多样性的问题,提出基于分位数回归的分位数奖励模型QRM,学习多峰偏好分布,在RewardBench上表现更优,还可用于风险感知RL减少LLM极端负面回复。
2024-09-16 cs.AI cs.CL cs.LG
Path Planning using Reinforcement Learning: A Policy Iteration Approach
Somaiya Vidyavihar University(索迈亚维迪亚维哈尔大学)
随着实时处理的影响在最近的过去被实现,强化学习算法的有效实现的需求一直在上升。尽管Bellman方程在RL算法中有许多优点,但它们并非没有大的设计参数搜索空间。本研究旨在阐明与强化学习参数相关的设计空间探索,特别是策略迭代。考虑到微调强化学习算法参数的计算开销很大,我们提出了一种基于自动调谐器的有序回归方法来加速探索这些参数的过程,并反过来加速收敛到最优策略。我们的方法提供了1.82倍的峰值加速比,平均1.48倍的加速比,比以前的国家的最先进的。
2023-03-13 cs.AI cs.LG cs.RO
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta(阿尔伯塔大学)
函数逼近是构造大型决策问题的一种强大方法,在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化(Reconstruction Counterfactual Regret Minimization,RCFR)是一种近似求解具有归一化校正线性单元(Normalized Rectified Linear Unit,ReLU)参数化策略的不完美信息博弈的简单算法。相比之下,更传统的softmax参数化在强化学习领域是标准的,并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配,它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由,RFR实施替代政策参数化($f$ -RFR),包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现,以前研究的ReLU参数化在近似误差较小时表现更好,而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology(佐治亚理工学院)
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此,其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML,其中人类教师通过演示,批评或行动建议在训练中发挥直接作用,可能会减轻代理对别名的敏感性。然而,交互式机器学习只有在人类交互的数量有限时才是实用的,需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验,这两种算法使人类教师能够在视觉锯齿条件下给出行动建议,反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷,我们改变了各种人类行动建议技术的准确性和频率。训练效率,对不频繁和不准确的顾问输入的鲁棒性,以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Interpretable Policies for Reinforcement Learning by Genetic Programming
Technical University of Munich, Department of Informatics(慕尼黑技术大学信息学院);Siemens AG, Corporate Technology(西门子股份公司企业技术部)
本文提出基于模型驱动批量强化学习和遗传编程的GPRL方法,通过预存的默认状态-动作轨迹样本自动生成可解释的强化学习策略,实验表明其优于传统符号回归方法。
2018-04-04 cs.AI cs.NE cs.SY