Toward Discretization-Consistent Closure Schemes for Large Eddy Simulation Using Reinforcement Learning
Institute of Aerodynamics and Gas Dynamics, University of Stuttgart（斯图加特大学空气动力学与气体动力学研究所）
本研究将大涡模拟闭合模型系数适配构建为马尔可夫决策过程，用强化学习后验求解，开发了显式隐式两类离散一致性闭合方案，性能匹配或优于传统模型，降低了隐式滤波大涡模拟的不确定性。
2023-12-13 cs.LG physics.flu-dyn
Policy Zooming: Adaptive Discretization-based Infinite-Horizon Average-Reward Reinforcement Learning
针对连续空间利普希茨MDP的无限时域平均回报RL问题，提出基于自适应策略缩放的无模型PZRL-MF与基于模型PZRL-MB算法，推导得到与问题缩放维度相关的低遗憾上界。
2025-11-17 cs.LG
Robust optimal well control using an adaptive multi-grid reinforcement learning framework
Heriot-Watt University（赫瑞-瓦特大学）
强化学习（Reinforcement learning，RL）是解决模型参数高度不确定且系统部分可观测的鲁棒最优井控问题的有效工具。然而，RL的鲁棒控制策略往往依赖于执行大量的仿真。对于计算密集型模拟的情况，这很容易变得计算上难以处理。为了解决这一瓶颈，自适应多重网格RL框架介绍了几何多重网格方法在迭代数值算法中使用的原则的启发。RL控制策略最初是使用计算效率高的低保真度模拟，使用基本偏微分方程（PDE）的粗网格离散化来学习的。随后，模拟保真度以自适应的方式增加到对应于模型域的最精细离散化的最高保真度模拟。所提出的框架是使用最先进的，无模型的基于策略的RL算法，即邻近策略优化（PPO）算法。结果显示两个案例研究的强大的最优井控制问题的启发SPE-10模型2基准案例研究。使用所提出的框架，节省约60-70%的计算成本，其单一的细网格对应的显着收益的计算效率。
2022-07-13 cs.LG
An In-Depth Analysis of Discretization Methods for Communication Learning using Backpropagation with Multi-Agent Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
本文系统比较了多智能体强化学习中多种通信离散化方法，提出ST-DRU新方法，并基于DIAL和COMA提出COMA-DIAL框架，实验表明ST-DRU在不同环境下均取得最佳或接近最佳性能且从不失败。
2023-08-09 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Adaptive Mesh Refinement
Massachusetts Institute of Technology（麻省理工学院）
计算物理中问题的有限元离散化通常依赖于自适应网格细化（AMR）来优先解决模拟过程中包含重要特征的区域。然而，这些空间细化策略通常是启发式的，并依赖于特定领域的知识或试错。我们把自适应网格细化的过程作为一个局部的，顺序的不完全信息下的决策问题，制定AMR作为一个部分可观察的马尔可夫决策过程。使用深度强化学习方法，我们直接从数值模拟中为AMR策略训练训练策略网络。训练过程不需要手头的偏微分方程的精确解或高保真地面真值，也不需要预先计算的训练数据集。我们的强化学习制定的本地性质允许政策网络在比部署它们的问题小得多的问题上进行廉价的训练。该方法不特定于任何特定的偏微分方程，问题维度或数值离散化，并且可以灵活地结合不同的问题物理。为此，我们应用的方法，以不同的偏微分方程组，使用各种高阶不连续Galerkin和杂交不连续Galerkin有限元离散。我们发现，由此产生的深度强化学习策略与常见的AMR算法相比具有竞争力，在问题类别中具有很好的泛化能力，并且在准确性和成本之间取得了有利的平衡，因此它们通常会导致每个问题自由度的更高准确性。
2022-09-25 cs.CE cs.LG
Finetuning from Offline Reinforcement Learning: Challenges, Trade-offs and Practical Solutions
UCL（伦敦大学学院）；DeepMind（深度思维）
离线强化学习（RL）允许从离线数据集训练有能力的代理，而无需与环境进行任何交互。在线微调这些离线模型可以进一步提高性能。但是，我们应该如何理想地微调从离线RL训练中获得的代理？虽然离线RL算法原则上可以用于微调，但在实践中，它们的在线性能提高缓慢。相比之下，我们表明，它是可以使用标准的在线离线策略算法更快的改进。然而，我们发现这种方法可能遭受政策崩溃，其中政策经历了严重的性能恶化在初始在线学习。我们调查的政策崩溃的问题，以及它如何涉及到数据的多样性，算法的选择和在线重放分布。基于这些见解，我们提出了一个保守的策略优化过程，可以实现稳定和样本效率的在线学习离线预训练。
2023-03-30 cs.LG
Offline Reinforcement Learning at Multiple Frequencies
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
利用离线机器人数据的许多来源需要解决这些数据的异构性。在本文中，我们专注于异质性的一个特定方面：从不同控制频率收集的离线数据中学习。在不同的实验室中，控制器的离散化、传感器的采样率以及感兴趣的任务的需求可能不同，从而导致聚合数据集中的频率混合。我们研究了离线强化学习（RL）算法在训练过程中如何适应具有混合频率的数据。我们观察到，对于不同的离散化，$Q$值以不同的速率传播，这导致了许多现成的离线RL的学习挑战。我们提出了一个简单而有效的解决方案，强制一致的$Q$值更新的速度，以稳定学习。通过将$N$步长返回中的$N$值与离散化大小进行缩放，我们有效地平衡了$Q$值传播，从而导致更稳定的收敛。在三个模拟的机器人控制问题上，我们根据经验发现，这种简单的方法平均比单纯的混合方法好50%。
2022-07-26 cs.AI cs.LG cs.RO
Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization
Mila（米拉）；Google（谷歌）；National University of Singapore（新加坡国立大学）
矢量量化（VQ）是一种离散化潜在表示的方法，已成为深度学习工具包的主要组成部分。理论和经验表明，表示的离散化导致改进的泛化，包括在强化学习中，其中离散化可以用于瓶颈多智能体通信，以促进代理专业化和鲁棒性。大多数基于矢量量化的方法的离散化紧密度由表示矢量中的离散码的数量和码本大小定义，它们被固定为超参数。在这项工作中，我们建议学习动态选择离散化的输入条件下的紧密性，基于假设数据自然包含的复杂性，要求不同程度的代表性粗糙度的变化。我们表明，动态变化的紧密性的通信瓶颈可以提高模型的视觉推理和强化学习任务的性能。
2022-02-02 cs.AI cs.LG
Identifying Decision Points for Safe and Interpretable Reinforcement Learning in Hypotension Treatment
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）
许多批处理RL健康应用程序首先将时间离散化为固定的时间间隔。然而，这种离散化既失去了分辨率，又迫使在每个（潜在的精细）间隔进行策略计算。在这项工作中，我们开发了一个新的框架，将连续的轨迹压缩成几个可解释的决策点-批量数据支持多个备选方案的地方。我们应用我们的方法从一组肥胖患者数据集创建推荐。我们减少了状态空间，从而加快了规划速度，并允许临床专家轻松检查。
2021-01-09 cs.LG
Fine-tuning Timeseries Predictors Using Reinforcement Learning
Reykjavik University, Department of Engineering（雷克雅未克大学工程系）
本文提出通过强化学习优化金融预测模型，通过反向传播损失提升模型性能，并验证微调对模型的提升效果及迁移学习价值。
2026-03-20 cs.AI cs.LG
A Multilevel Reinforcement Learning Framework for PDE-based Control
Herriot-Watt University（赫瑞-瓦特大学）
强化学习（RL）是解决控制问题的一种很有前途的方法。然而，无模型强化学习算法的样本效率低下，需要数千甚至数百万的样本来学习最优控制策略。RL中计算成本的主要来源对应于由模型动力学决定的过渡函数。当模型动态用耦合偏微分方程表示时，这尤其成问题。在这种情况下，过渡函数通常涉及求解所述PDE的大规模离散化。我们提出了一个多级RL框架，以减轻这种成本，利用子级模型，对应于粗尺度离散化（即多级模型）。这是通过制定政策和/或价值网络的目标函数的近似多级蒙特卡洛估计来完成的，而不是在经典框架中所做的蒙特卡洛估计。作为这个框架的演示，我们提出了一个多级版本的近端策略优化（PPO）算法。在这里，级别指的是所选择的基于仿真的环境的网格保真度。我们提供了两个基于模拟的环境，采用随机偏微分方程，使用有限体积离散化解决的例子。对于所提出的案例研究，我们观察到大量的计算节省使用多级PPO相比，其经典的对应。
2022-10-28 cs.LG cs.SY eess.SY
Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）
提出CFHRL框架，通过自适应递归细化子目标并基于可学习可达性成本停止细化，解决长视界离线目标条件强化学习中的弱监督和累积误差问题。
2026-05-27 cs.LG
Uncertainty-Guided Checkpoint Selection for Reinforcement Finetuning of Large Language Models
Applied Artificial Intelligence Initiative（应用人工智能计划）；Deakin University（德肯大学）
针对大语言模型强化微调中检查点选择的稳定性与成本问题，提出不确定性引导的检查点选择方法UGCS，通过样本级不确定性识别困难案例并排序检查点，在多数据集和模型上优于传统策略，能持续识别泛化能力更强的检查点。
2025-11-13 cs.LG
Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem
IDEAS NCBR；University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Google DeepMind（谷歌DeepMind）；Institute of Mathematics, Polish Academy of Sciences（波兰科学院数学研究所）
本文揭示微调强化学习模型中的性能下降源于对预训练能力的遗忘，提出用知识保留技术缓解，并在NetHack和Montezuma's Revenge上验证，取得新最先进结果。
2024-07-17 cs.LG
Making Deep Q-learning methods robust to time discretization
Université Paris Sud（巴黎第十一大学）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
尽管取得了显著的成功，但深度强化学习（DRL）对超参数化、实现细节或小的环境变化并不鲁棒（Henderson et al. 2017，Zhang et al. 2018）。克服这种敏感性是使DRL适用于现实世界问题的关键。在本文中，我们确定在近连续时间环境中对时间离散化的敏感性是一个关键因素;这包括，例如，改变每秒帧数或控制器的动作频率。从经验上讲，我们发现基于Q学习的方法，如深度Q学习（Mnih et al.，2015）和深度确定性策略梯度（Lillicrap等人，2015年，以小的时间步长崩溃。形式上，我们证明了Q学习在连续时间中不存在。我们详细介绍了一种原则性的方法来构建一个非策略RL算法，该算法在广泛的时间离散化范围内产生类似的性能，并根据经验证实了这种鲁棒性。
2019-01-29 cs.LG stat.ML
DiPRL: Learning Discrete Programmatic Policies via Architecture Entropy Regularization
Eindhoven University of Technology（埃因霍温理工大学）；Centrum Wiskunde & Informatica（数学与信息学研究中心）
本文提出DiPRL，一种通过架构熵正则化学习可解释程序性策略的方法，以避免事后细化阶段，提高策略表达性和任务性能。
2026-05-18 cs.AI cs.LG
Reinforcement Learning Fine-tuning of Language Models is Biased Towards More Extractable Features
AI Safety Hub Labs（AI安全中心实验室）
该研究探究大语言模型监督微调的归纳偏置原则是否适用于强化学习微调，通过对照实验验证了预训练后越易提取的特征越易被最终策略利用等两个假设，为相关假设提供了统计显著的证据。
2023-11-07 cs.CL cs.LG
Reinforcement Learning for Intensity Control: An Application to Choice-Based Network Revenue Management
Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）；Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
本文提出一种连续时间强化学习框架用于强度控制，通过基于选择的网络收益管理案例研究，展示其在大规模问题中的高效性和优越性。
2026-04-12 cs.LG math.OC
Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出动态约束机制，通过在线细化模型提升强化学习微调的稳定性与性能，在对话和代码生成任务中优于KL正则化和无约束基线。
2026-03-18 cs.AI cs.LG
Reinforcement Fine-Tuning for Materials Design
Beijing National Laboratory for Condensed Matter Physics（北京凝聚态物理国家实验室）；School of Physical Sciences, University of Chinese Academy of Sciences, Beijing 100190, China（中国科学院大学物理科学学院）；Songshan Lake Materials Laboratory, Dongguan, Guangdong 523808, China（松山湖材料实验室）
本研究通过强化微调提升材料生成模型的性能，实现基于属性的材料设计与检索，发现具有矛盾材料属性的新型晶体。
2026-01-16 cond-mat.mtrl-sci cs.LG physics.comp-ph
Continuous-Time Model-Based Reinforcement Learning
Aalto University（阿尔托大学）
基于模型的强化学习（MBRL）方法依赖于离散时间状态转换模型，而物理系统和绝大多数控制任务在连续时间中操作。为了避免时间离散近似的底层过程中，我们提出了一个连续时间MBRL框架的基础上一个新的演员-评论家的方法。我们的方法还推断出未知的状态演化微分贝叶斯神经常微分方程（ODE）占认知的不确定性。我们实现和测试我们的方法上一个新的ODE-RL套件，明确解决连续时间控制系统。我们的实验表明，该模型对不规则和噪声数据是鲁棒的，是采样效率，并可以解决控制问题，离散时间MBRL方法带来的挑战。
2021-06-11 cs.LG stat.ML
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对在线决策Transformer（ODT）用低奖励离线数据预训练后在线微调效果差的问题，研究发现加入TD3梯度可有效提升其微调性能，为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
CO-RFT: Efficient Fine-Tuning of Vision-Language-Action Models through Chunked Offline Reinforcement Learning
CO-RFT提出分块离线强化学习框架，利用30-60个演示微调VLA模型，在真实环境中成功率提升57%，周期缩短22.3%，并展现位置泛化能力。
2025-08-04 cs.LG cs.RO
Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning
Nanyang Technological University（南洋理工大学）；Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR）；Northwestern University（西北大学）
本文提出TokenBuncher，通过限制模型响应熵来防御基于强化学习的有害微调，实验显示其能有效抑制有害行为同时保持正常任务性能。
2026-08-05 cs.CL cs.LG
A research framework for writing differentiable PDE discretizations in JAX
University College London（伦敦大学学院）
微分模拟器是一个新兴的概念，在几个领域的应用，从强化学习到最优控制。它们的显着特点是能够计算相对于输入参数的分析梯度。像神经网络一样，它是通过组成几个称为层的构建块来构建的，模拟通常需要计算运算符的输出，该运算符本身可以分解为链接在一起的基本单元。虽然神经网络的每一层都代表一个特定的离散运算，但同一个运算符可以有多种表示，这取决于所采用的离散化和需要解决的研究问题。在这里，我们提出了一个简单的设计模式来构建一个图书馆的可微运营商和离散化，通过表示运营商之间的映射家庭的连续函数，参数化的有限向量。我们演示了声学优化问题上的方法，其中亥姆霍兹方程离散使用傅立叶谱方法，和可微性证明使用梯度下降，以优化声透镜的声速。拟议的框架是开源的，可在\url{https://github.com/ucl-bug/jaxdf}上获得
2021-11-09 cs.LG physics.comp-ph
A Tractable Algorithm For Finite-Horizon Continuous Reinforcement Learning
Indian Institute of Technology (BHU)（印度理工学院（贝拿勒斯印度教大学））；Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）
我们考虑有限时域连续强化学习问题。我们的贡献是三方面的。首先，我们给出了一个基于乐观值迭代的算法。其次，我们给出了任意离散化状态空间的算法的$Ω(T^{2/3})$的后悔下界，改进了Ortner和Ryabko \cite{contrl}的$Ω(T^{1/2})$对同一问题的后悔界.接下来，假设奖励和转移是Hölder连续的，我们证明了离散化误差的上界是$const.Ln^{-α}T$。最后，我们给出了一些简单的实验来验证我们的命题。
2019-06-26 cs.AI cs.LG
Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning
Facultad de Ciencias Físicas y Matemáticas（物理与数学科学学院）；Universidad de Chile（智利大学）；Department of Mathematics & I-X（数学与I-X系）；Imperial College London（伦敦帝国学院）
针对扩散模型强化学习微调中的模式崩溃问题，提出分层奖励微调（HRF）方法，通过动态训练和滑动窗口正则化提升下游任务的多样性并增强微调鲁棒性。
2024-10-10 cs.LG stat.ML
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley（加州大学伯克利分校）
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据，提出具有可证明保证的算法，并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning
University of Washington（华盛顿大学）；Tsinghua University（清华大学）；University of Hong Kong（香港大学）；Amazon, Inc.（亚马逊公司）
该研究提出通过注意力头排序与划分，实现语言模型的稀疏与持续强化学习微调，在多类任务上验证了该方法可提升微调效果与任务保留能力。
2026-10-16 cs.CL cs.LG
Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces
Microsoft Research（微软研究院）
ATLAS通过强化微调框架使小型语言模型在大规模工具空间中更高效地执行任务，通过学习上下文获取和动作执行，提升长周期工作流程的稳定性与效率。
2026-03-05 cs.AI cs.LG
Direct Random Search for Fine Tuning of Deep Reinforcement Learning Policies
University of California, Santa Barbara（加州大学圣巴巴拉分校）
研究人员已经证明，深度强化学习（DRL）是一种强大的工具，可以找到在复杂机器人系统上表现良好的策略。然而，这些政策往往是不可预测的，可以诱导高度可变的行为时，只有略有不同的初始条件进行评估。训练考虑因素约束DRL算法设计，因为大多数算法在训练期间必须使用随机策略。然而，在部署过程中使用的最终策略可以并且经常是确定性的，在每一步都使用最大可能性操作（MLA）。在这项工作中，我们表明，直接随机搜索是非常有效的微调DRL政策，直接优化他们使用确定性推出。我们通过大量的强化学习环境来说明这一点，使用从不同算法获得的各种各样的策略。我们的研究结果表明，这种方法在我们测试的环境中产生更一致和更高性能的代理。此外，我们还演示了如何使用这种方法来扩展我们以前的工作，缩小深度神经网络（DNN）策略下运行的闭环系统的可达状态空间的维数。
2022-03-04 cs.LG cs.RO
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University（清华大学）
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题，提出无评判者预训练范式，兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Task Specialization Fine-Tuning for Contextual Reinforcement Learning
Nanyang Technological University（南洋理工大学）；MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对上下文强化学习的任务专业化微调难题，提出TSFT框架，通过整数线性规划分配微调预算，在多领域实验中提升了任务覆盖性能。
2026-08-19 cs.AI cs.LG
Scores as Actions: a framework of fine-tuning diffusion models by continuous-time reinforcement learning
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of CS, Stony Brook University（石溪大学计算机科学系）
该研究将扩散模型微调任务建模为连续时间随机控制问题，提出把分数匹配函数作为动作的统一RL微调框架，并构建了对应的连续时间RL理论，相关文本到图像生成实验将在配套论文呈现。
2024-09-12 cs.AI cs.LG
Improving Document Image Understanding with Reinforcement Finetuning
Cinnamon AI（肉桂人工智能公司）；Hung Yen University of Technology and Education（兴安技术教育大学）；Deakin University（迪肯大学）
成功的人工智能系统通常需要大量的标记数据来从文档图像中提取信息。在本文中，我们调查的问题，提高性能的人工智能系统在理解文档图像，特别是在训练数据是有限的情况下。我们提出了一种新的微调方法，使用强化学习解决这个问题。我们的方法将信息抽取模型视为一个策略网络，并使用策略梯度训练来更新模型，以最大化补充传统交叉熵损失的组合奖励函数。我们在四个数据集上使用标签和专家反馈的实验表明，我们的微调机制始终提高了最先进的信息提取器的性能，特别是在小训练数据制度。
2022-09-26 cs.CV cs.IR cs.LG
DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models
Google Research（谷歌研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UC Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；KAIST（韩国科学技术院）
本文提出DPOK，将文本到图像扩散模型微调建模为在线强化学习问题，通过带KL正则化的策略梯度最大化人类反馈奖励，并在图文对齐与图像质量上优于监督微调。
2023-11-01 cs.CV cs.LG
Beyond Fine-Tuning: Transferring Behavior in Reinforcement Learning
DeepMind（深度思维）
设计自主获取知识并使用它来有效地解决新任务的代理是强化学习中的一个重要挑战。在无监督预训练阶段获得的知识通常在奖励暴露后通过微调神经网络权重来转移，这是监督领域的常见做法。鉴于强化学习问题的性质，我们认为，标准的微调策略本身是不够的，在具有挑战性的领域的有效转移。我们引入了行为转移（BT），这是一种利用预先训练的策略进行探索的技术，它是对转移神经网络权重的补充。我们的实验表明，当在没有奖励的情况下与大规模的预训练相结合时，现有的内在动机目标可以导致复杂行为的出现。然后，BT可以利用这些预先训练的策略来发现比没有预先训练更好的解决方案，并且将BT与标准微调策略相结合会带来额外的好处。通常在需要结构化探索的领域中观察到最大的收益，包括预先训练的策略的行为与下游任务不一致的设置。
2021-06-08 cs.AI cs.LG stat.ML
Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning
AI Institute, Seoul National University（首尔国立大学人工智能学院）；Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
针对现有强化学习因果动力学模型忽略上下文细粒度关系的问题，提出一种利用离散潜变量将状态-动作空间量化为子组以学习细粒度因果结构的新颖动力学模型，显著提升了对未见状态和局部虚假相关性的鲁棒性。
2024-06-05 cs.AI cs.LG
Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界，通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本，并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning
Aalto University（阿尔托大学）；Technical University Darmstadt（达姆施塔特工业大学）
离线强化学习通过从固定数据集学习，使得在不与环境交互的情况下学习代理行为成为可能。然而，根据离线数据集的质量，这种预先训练的代理可能具有有限的性能，并且还需要通过与环境交互来在线微调。在在线微调期间，由于从离线数据到在线数据的突然分布偏移，预先训练的代理的性能可能迅速崩溃。虽然离线RL方法（如行为克隆丢失）强制执行的约束在一定程度上防止了这一点，但这些约束也通过迫使代理保持接近行为策略来显着减缓在线微调。我们提出了自适应权衡行为克隆损失在线微调的基础上代理的性能和训练的稳定性。此外，我们使用一个随机的Q函数集成，通过执行大量的学习更新，进一步提高在线微调的样本效率。实验表明，该方法产生的最先进的离线到在线强化学习性能流行的D4RL基准。代码可用：\url{https://github.com/zhaoyi11/adaptive_bc}。
2022-10-25 cs.LG cs.RO
Learning to Repeat: Fine Grained Action Repetition for Deep Reinforcement Learning
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
强化学习算法可以学习用于顺序决策任务的复杂行为模式，其中代理与环境交互并以从环境中采样的奖励的形式获取反馈。传统上，这样的算法做出决策，即，在代理-环境交互的每个时间步选择要执行的动作。在本文中，我们提出了一种新的框架，细粒度动作重复（FiGAR），它使代理能够决定动作以及重复它的时间尺度。FiGAR可用于改进任何深度强化学习算法，该算法通过在动作空间中启用时间抽象来保持显式的策略估计。我们实证证明了我们的框架的有效性，在不同的域上的三个策略搜索算法的性能改进：异步优势演员评论在雅达利2600域，信任域的Mujoco域和深度确定性策略梯度在TORCS赛车域的政策优化。
2020-09-21 cs.AI cs.LG cs.NE
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge（剑桥大学）
本文质疑偏好数据集的有效性，提出用示范数据对齐LLM，借鉴逆强化学习与模仿学习构建序贯决策框架，分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
RAVEN++: Pinpointing Fine-Grained Violations in Advertisement Videos with Active Reinforcement Reasoning
Tencent（腾讯）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
RAVEN++通过主动强化推理提升广告视频中细粒度违规检测的精度与泛化能力
2025-11-24 cs.CL cs.LG
Improving Targeted Molecule Generation through Language Model Fine-Tuning Via Reinforcement Learning
Department of Physics and Computer Science（物理与计算机科学系）
本研究针对新药研发成本高、耗时长的问题，提出基于PPO强化学习微调语言模型的从头靶向药物设计方法，通过复合奖励函数兼顾药效与分子有效性，显著提升了生成分子的多项关键化学指标与新颖性。
2025-05-18 cs.LG q-bio.BM
ReinFlow: Fine-tuning Flow Matching Policy with Online Reinforcement Learning
ReinFlow通过在线强化学习微调流匹配策略，提升连续机器人控制性能，实现高效去噪与训练稳定性。
2026-01-08 cs.LG cs.RO
Reinforcement Learning for Thermostatically Controlled Loads Control using Modelica and Python
Ukrainian Catholic University（乌克兰天主教大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
该项目的目的是调查和评估应用强化学习（RL）的电力系统控制的机会。作为概念验证（proof of concept，ESTA），使用基于Modelica的流水线开发了用于功耗调节的恒温控制负载（thermostatically controlled loads，TCLs）的电压控制。Q-学习RL算法已被验证为确定性和随机初始化的TCL。后一种建模更接近于真实的电网行为，考虑到负载切换的随机性，这对控制开发提出了挑战。此外，本文还讨论了Q-学习参数，包括状态-动作空间的离散化，对控制器性能的影响。
2020-05-09 cs.LG cs.SY eess.SY
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
Discretization of continuous input spaces in the hippocampal autoencoder
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
本研究通过稀疏自编码器将视觉事件离散化为类似海马位置细胞的空间调谐，并扩展至听觉域，证明极高维编码可平铺输入空间，支持强化学习智能体完成视觉空间认知任务。
2024-05-23 cs.AI cs.LG q-bio.NC
Reinforcement Learning without Human Feedback for Last Mile Fine-Tuning of Large Language Models
Two Six Technologies
本研究提出了一种无需人类反馈的强化学习框架，用于大语言模型的最后一英里微调，通过训练模型在各种场景下学习正确行为并抑制不良动作，在生成式摘要任务上显著优于似然最大化方法，为模型优化提供了新途径。
2024-08-29 cs.CL cs.LG
GRPO-RM: Fine-Tuning Representation Models via GRPO-Driven Reinforcement Learning
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院（iOPEN），西北工业大学）；HuaWei Technologies Co., Ltd.（华为技术有限公司）；The University of Hong Kong（香港大学）
针对GRPO能否推广至表示学习模型的问题，本文提出GRPO-RM方法，通过预定义输出集替代LLM的token采样、设计专用奖励函数，经多数据集实验验证了其有效性。
2025-11-19 cs.CV cs.LG
Coarse-to-fine Q-Network with Action Sequence for Data-Efficient Reinforcement Learning
UC Berkeley（伯克利大学）
针对强化学习数据效率问题，提出CQN-AS算法，通过在评论家网络中显式学习动作序列的Q值，在稀疏奖励任务中性能优于基线算法，提升数据利用效率。
2025-11-16 cs.AI cs.LG cs.RO
Metric State Space Reinforcement Learning for a Vision-Capable Mobile Robot
我们解决的问题，自主学习控制器的视觉能力的移动机器人。我们扩展了McCallum（1995）的最近序列记忆算法，以允许在状态动作轨迹上的一般度量。我们证明了我们的方法的可行性，成功地运行我们的算法在一个真正的移动机器人。该算法是新颖和独特的，因为它（a）探索环境，并直接在移动机器人上学习，而不使用手工制作的计算机模型作为中间步骤，（b）不需要手动离散化的传感器输入空间，（c）工作在分段连续的感知空间，（d）处理部分可观测性。与以前的方法相比，这允许从更少的经验中学习。
2006-03-07 cs.LG cs.RO
Rethinking Reinforcement fine-tuning of LLMs: A Multi-armed Bandit Learning Perspective
University of Science and Technology of China（中国科学技术大学）；IFlyTek (China)（iFlytek（中国））
本文从多臂老虎机学习视角重新思考大语言模型的强化微调，通过极简实验流程揭示优化选择的作用及瓶颈问题，为该领域提供新见解。
2026-01-21 cs.AI cs.LG
On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
智能代理应该能够利用以前学习的任务中的知识，以便快速有效地学习新任务。元学习方法已经成为实现这一目标的流行解决方案。然而，Meta强化学习（meta-RL）算法迄今仅限于任务分布较窄的简单环境。此外，在监督学习和自监督学习中，预训练之后进行微调以适应新任务的范例已经成为一种简单而有效的解决方案。这就质疑了元学习方法在强化学习中的好处，因为这通常是以高复杂性为代价的。因此，我们在各种基于视觉的基准测试中研究了元RL方法，包括Procgen，RLBench和Atari，其中对完全新颖的任务进行了评估。我们的研究结果表明，当元学习方法在不同的任务上进行评估时（而不是同一任务的不同变体），多任务预训练与微调新任务的表现一样好，甚至更好，比元预训练与Meta测试时自适应。这对未来的研究是令人鼓舞的，因为多任务预训练往往比元RL更简单，计算成本更低。根据这些发现，我们主张在更具挑战性的任务上评估未来的元强化学习方法，并将多任务预训练与微调作为一个简单但强大的基线。
2023-02-16 cs.AI cs.CV cs.LG
