Movable Antenna-Equipped UAV for Data Collection in Backscatter Sensor Networks: A Deep Reinforcement Learning-based Approach
Aalto University（阿尔托大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Jyväskylä（于韦斯屈莱大学）
本文针对反向散射传感器网络数据采集，提出为无人机配备定向可移动天线，并采用基于SAC的深度强化学习策略联合优化无人机轨迹与天线朝向，以最小化数据采集时间，仿真验证其在时间和能耗上均优于传统方案。
2024-11-21 cs.LG eess.SP
Multi-Agent Reinforcement Learning with Common Policy for Antenna Tilt Optimization
Ericsson（爱立信）
本文提出一种共享通用策略的多智能体强化学习方法，通过预训练和增量调整优化无线网络小区参数（如远程天线倾角），显著提升了网络性能。
2023-05-24 cs.AI cs.LG cs.MA
Offline Reinforcement Learning with Behavioral Supervisor Tuning
Imperial College London（帝国理工学院）
提出TD3-BST算法，通过训练不确定性模型引导策略在数据集支持范围内选择动作，无需针对数据集调整超参数即可在基准测试中取得最佳性能。
2024-07-27 cs.AI cs.LG
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University（清华大学）
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题，提出无评判者预训练范式，兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Scores as Actions: a framework of fine-tuning diffusion models by continuous-time reinforcement learning
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of CS, Stony Brook University（石溪大学计算机科学系）
该研究将扩散模型微调任务建模为连续时间随机控制问题，提出把分数匹配函数作为动作的统一RL微调框架，并构建了对应的连续时间RL理论，相关文本到图像生成实验将在配套论文呈现。
2024-09-12 cs.AI cs.LG
Beyond Fine-Tuning: Transferring Behavior in Reinforcement Learning
DeepMind（深度思维）
设计自主获取知识并使用它来有效地解决新任务的代理是强化学习中的一个重要挑战。在无监督预训练阶段获得的知识通常在奖励暴露后通过微调神经网络权重来转移，这是监督领域的常见做法。鉴于强化学习问题的性质，我们认为，标准的微调策略本身是不够的，在具有挑战性的领域的有效转移。我们引入了行为转移（BT），这是一种利用预先训练的策略进行探索的技术，它是对转移神经网络权重的补充。我们的实验表明，当在没有奖励的情况下与大规模的预训练相结合时，现有的内在动机目标可以导致复杂行为的出现。然后，BT可以利用这些预先训练的策略来发现比没有预先训练更好的解决方案，并且将BT与标准微调策略相结合会带来额外的好处。通常在需要结构化探索的领域中观察到最大的收益，包括预先训练的策略的行为与下游任务不一致的设置。
2021-06-08 cs.AI cs.LG stat.ML
Task Specialization Fine-Tuning for Contextual Reinforcement Learning
Nanyang Technological University（南洋理工大学）；MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对上下文强化学习的任务专业化微调难题，提出TSFT框架，通过整数线性规划分配微调预算，在多领域实验中提升了任务覆盖性能。
2026-08-19 cs.AI cs.LG
Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）
本文提出将移动边缘计算与基础模型融合，通过Emulator-Adapter架构和混合多智能体深度强化学习策略，实现去中心化场景下动态最优资源分配，兼顾计算效率与任务性能。
2023-10-26 cs.AI cs.DC cs.LG
Enhancing Reinforcement Learning Fine-Tuning with an Online Refiner
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出动态约束机制，通过在线细化模型提升强化学习微调的稳定性与性能，在对话和代码生成任务中优于KL正则化和无约束基线。
2026-03-18 cs.AI cs.LG
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge（剑桥大学）
本文质疑偏好数据集的有效性，提出用示范数据对齐LLM，借鉴逆强化学习与模仿学习构建序贯决策框架，分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
Compiler-R1: Towards Agentic Compiler Auto-tuning with Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）；Hangzhou Institute for Advanced Study at UCAS（UCAS杭州高等研究院）
Compiler-R1提出首个强化学习驱动的编译器自动调优框架，利用高质量推理数据集和两阶段端到端训练，在七个数据集上平均减少8.46%的IR指令数，显著提升LLM优化能力。
2025-05-30 cs.AI cs.LG
Towards Efficient Online Tuning of VLM Agents via Counterfactual Soft Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
本文提出反事实软强化学习方法CoSo，通过动态评估token对动作的因果影响来优化VLM智能体的在线探索，并在多种任务中验证了其提升探索效率和性能的有效性。
2025-06-03 cs.AI cs.LG
Reinforcement Fine-Tuning for Materials Design
Beijing National Laboratory for Condensed Matter Physics（北京凝聚态物理国家实验室）；School of Physical Sciences, University of Chinese Academy of Sciences, Beijing 100190, China（中国科学院大学物理科学学院）；Songshan Lake Materials Laboratory, Dongguan, Guangdong 523808, China（松山湖材料实验室）
本研究通过强化微调提升材料生成模型的性能，实现基于属性的材料设计与检索，发现具有矛盾材料属性的新型晶体。
2026-01-16 cond-mat.mtrl-sci cs.LG physics.comp-ph
Learning to Do or Learning While Doing: Reinforcement Learning and Bayesian Optimisation for Online Continuous Tuning
Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所）；Karlsruhe Institute of Technology KIT（卡尔斯鲁厄理工学院）
本文在真实粒子加速器的常规在线调优任务中比较 RLO 与 BO，发现 RLO 通常更优但并非总最佳，并提出算法选择准则以推动自主调优落地。
2023-06-06 cs.AI cs.LG physics.acc-ph
Rethinking Reinforcement fine-tuning of LLMs: A Multi-armed Bandit Learning Perspective
University of Science and Technology of China（中国科学技术大学）；IFlyTek (China)（iFlytek（中国））
本文从多臂老虎机学习视角重新思考大语言模型的强化微调，通过极简实验流程揭示优化选择的作用及瓶颈问题，为该领域提供新见解。
2026-01-21 cs.AI cs.LG
A Transferable and Automatic Tuning of Deep Reinforcement Learning for Cost Effective Phishing Detection
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
许多具有挑战性的现实问题需要部署集成多个互补的学习模型，以达到可接受的性能水平。虽然有效，但将整个集合应用于每个样本是昂贵的，并且通常是不必要的。深度强化学习（DRL）提供了一种具有成本效益的替代方案，其中检测器是根据其前任的输出动态选择的，其有用性与其计算成本相权衡。尽管有潜力，但基于DRL的解决方案在这方面并没有得到广泛使用，部分原因是难以为每个新任务配置奖励函数，DRL代理对数据变化的不可预测反应，以及无法使用通用性能指标（例如，TPR/FPR）来指导算法的性能。在这项研究中，我们提出了微调和校准基于DRL的政策，使他们能够满足多个性能目标的方法。此外，我们提出了一种有效的安全策略从一个数据集转移到另一个数据集的方法。最后，我们证明了我们的方法对对抗攻击是高度鲁棒的。
2022-09-19 cs.AI cs.CR cs.LG
On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
智能代理应该能够利用以前学习的任务中的知识，以便快速有效地学习新任务。元学习方法已经成为实现这一目标的流行解决方案。然而，Meta强化学习（meta-RL）算法迄今仅限于任务分布较窄的简单环境。此外，在监督学习和自监督学习中，预训练之后进行微调以适应新任务的范例已经成为一种简单而有效的解决方案。这就质疑了元学习方法在强化学习中的好处，因为这通常是以高复杂性为代价的。因此，我们在各种基于视觉的基准测试中研究了元RL方法，包括Procgen，RLBench和Atari，其中对完全新颖的任务进行了评估。我们的研究结果表明，当元学习方法在不同的任务上进行评估时（而不是同一任务的不同变体），多任务预训练与微调新任务的表现一样好，甚至更好，比元预训练与Meta测试时自适应。这对未来的研究是令人鼓舞的，因为多任务预训练往往比元RL更简单，计算成本更低。根据这些发现，我们主张在更具挑战性的任务上评估未来的元强化学习方法，并将多任务预训练与微调作为一个简单但强大的基线。
2023-02-16 cs.AI cs.CV cs.LG
Reinforcement Learning Fine-tuning of Language Models is Biased Towards More Extractable Features
AI Safety Hub Labs（AI安全中心实验室）
该研究探究大语言模型监督微调的归纳偏置原则是否适用于强化学习微调，通过对照实验验证了预训练后越易提取的特征越易被最终策略利用等两个假设，为相关假设提供了统计显著的证据。
2023-11-07 cs.CL cs.LG
Ranking and Partitioning of Attention Heads for Sparse and Continual Reinforcement Learning Fine-tuning
University of Washington（华盛顿大学）；Tsinghua University（清华大学）；University of Hong Kong（香港大学）；Amazon, Inc.（亚马逊公司）
该研究提出通过注意力头排序与划分，实现语言模型的稀疏与持续强化学习微调，在多类任务上验证了该方法可提升微调效果与任务保留能力。
2026-10-16 cs.CL cs.LG
DemoTuner: Automatic Performance Tuning for Database Management Systems Based on Demonstration Reinforcement Learning
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院）
DemoTuner通过LLM辅助的演示强化学习方法，利用文档中的调优提示提升数据库管理系统参数调优效果，实现性能提升和效率优化。
2026-01-16 cs.DB cs.LG
Self-adaptive Torque Vectoring Controller Using Reinforcement Learning
University of Surrey（萨里大学）
连续直接横摆力矩控制系统如力矩矢量控制器是实现车辆稳定性的重要组成部分。该控制器已被广泛研究，其中心目标是通过提供一致的稳定转弯响应来保持车辆稳定性。精确的转矩矢量控制器参数整定可以显著提高飞行器的性能和稳定性。然而，如果不对参数进行任何重新调整，特别是在极端驾驶条件下，例如低摩擦表面或高速，车辆无法保持稳定性。本文提出了一种基于深度确定性策略梯度（DDPG）的强化学习（RL）算法，用于转矩矢量控制器的参数整定。结果表明，通过强化学习进行参数整定的扭矩矢量控制器在一系列不同的驾驶环境下表现良好，广泛的摩擦条件和不同的速度，这突出了强化学习作为参数调整的自适应算法的优势。此外，在强化学习算法的训练环境之外的场景下，验证了DDPG算法的鲁棒性。仿真已经进行了使用四轮车辆模型与非线性轮胎特性。我们比较我们的DDPG为基础的参数调整对遗传算法和传统的试错调整的扭矩矢量控制器，结果表明，基于强化学习的参数调整显着提高了车辆的稳定性。
2021-03-27 cs.LG cs.SY eess.SY
Evolution Strategies at Scale: LLM Fine-Tuning Beyond Reinforcement Learning
University of California, Los Angeles, Los Angeles, CA, USA（加州大学洛杉矶分校）；Cognizant AI Lab, San Francisco, CA, USA（Cognizant AI实验室）；The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校）；Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院）
本文提出使用进化策略进行大规模LLM微调，证明其在多个方面优于强化学习，为LLM微调提供了新的方法。
2026-07-15 cs.AI cs.LG cs.NE
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Control: Stochasticity vs Determinism
Mechatronics Engineering Department（机械工程系）；The German University in Cairo（开罗德国大学）
研究在四旋翼控制中，通过动态熵调节训练随机策略的强化学习算法，并与确定性策略算法对比，发现动态熵调节可防止灾难性遗忘并提高探索效率。
2026-06-01 cs.AI cs.LG cs.RO
Auto-tuning Distributed Stream Processing Systems using Reinforcement Learning
对分布式系统进行微调被认为是一项工艺，依赖于直觉和经验。当系统需要近乎实时的地做出反应时，这变得更具挑战性，因为流媒体引擎必须保持预先商定的服务质量指标。在本文中，我们提出了一种自动化方法，该方法基于监督和强化学习方法的组合，以根据先前的负载推荐最合适的杠杆配置。有了这个，流媒体引擎可以自动调整，而不需要人类来确定正确的方式和适当的时间来部署它们。这为今天尚未应用的新配置打开了大门，因为管理这些系统的复杂性已经超过了人类专家的能力。我们展示了强化学习系统如何在比人类更短的时间内找到更好的配置，并适应不断变化的工作负载。
2018-09-14 cs.DB cs.DC cs.LG
Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning
Stanford University（斯坦福大学）
提出无需重置的微调系统RoboFuME，结合校准离线强化学习与视觉语言模型构建奖励分类器，实现机器人自主在线微调并显著提升目标任务学习效率。
2023-10-23 cs.AI cs.LG cs.RO
EMORL: Ensemble Multi-Objective Reinforcement Learning for Efficient and Flexible LLM Fine-Tuning
Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所）；Soochow University（苏州大学）；University Hospital of Cologne（科隆大学医院）
提出EMORL集成多目标强化学习框架，通过微调多个模型并聚合隐藏状态及分层网格搜索优化权重，在咨询反思生成任务上实现更低训练消耗、更好可扩展性和可解释性。
2025-07-09 cs.AI cs.CL cs.LG
Performance-Driven Controller Tuning via Derivative-Free Reinforcement Learning
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
为所设计的控制器选择合适的参数集对最终性能至关重要，但通常需要繁琐而仔细的整定过程，这意味着强烈需要自动整定方法。然而，在现有的方法中，无导数方法的可扩展性差或效率低，而基于梯度的方法由于可能的不可微控制器结构而常常不可用。为了解决这些问题，我们使用一种新的无导数强化学习（RL）框架来解决控制器调整问题，该框架在经验收集过程中在参数空间中执行时间步长扰动，并将无导数策略更新集成到高级演员-评论家RL架构中，以实现高通用性和效率。为了证明该框架的有效性，我们进行数值实验的两个具体的例子，从自动驾驶，即自适应巡航控制与PID控制器和MPC控制器的轨迹跟踪。实验结果表明，该方法优于流行的基线，并突出其强大的潜力，控制器调整。
2022-09-11 cs.LG cs.SY eess.SY
Action-Factored Multi-Agent Reinforcement Learning for Scalable Quantum Device Tuning
University of Oxford（牛津大学）
针对量子器件调谐中参数串扰致学习不稳定问题，提出用在线学习动作空间分解表示的方法，框架QADAPT借此高效学习共享策略，实现零样本泛化及收敛步骤数恒定，为大规模量子处理器快速校准提供可扩展途径。
2026-07-13 cond-mat.mes-hall cs.LG
On the Non-decoupling of Supervised Fine-tuning and Reinforcement Learning in Post-training
Theory Laboratory Central Research Institute, 2012 Laboratories（理论实验室中央研究院，2012实验室）；Huawei Technologies Co., Ltd（华为技术有限公司）
研究证明在训练后阶段，监督微调与强化学习无法解耦，且在交替训练顺序下会导致性能下降。
2026-01-12 cs.AI cs.IT cs.LG
Learning and Editing Universal Graph Prompt Tuning via Reinforcement Learning
The University of Hong Kong（香港大学）；Beijing Institute of Technology（北京理工大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出LEAP模型，通过强化学习在保留通用图提示理论基础的同时，优化提示选择与编辑，提升图和节点任务的性能。
2025-12-09 cs.LG
Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay
UIUC（伊利诺伊大学香槟分校）；New York University（纽约大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft（微软）
本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。
2026-02-16 cs.AI cs.CL cs.LG
CO-RFT: Efficient Fine-Tuning of Vision-Language-Action Models through Chunked Offline Reinforcement Learning
CO-RFT提出分块离线强化学习框架，利用30-60个演示微调VLA模型，在真实环境中成功率提升57%，周期缩短22.3%，并展现位置泛化能力。
2025-08-04 cs.LG cs.RO
RLGS: Reinforcement Learning-Based Adaptive Hyperparameter Tuning for Gaussian Splatting
针对3DGS超参数调优依赖人工且效果不佳的问题，提出即插即用的强化学习框架RLGS，动态调整学习率等关键超参数，在多种变体和数据集上显著提升渲染质量，实现自动化调优。
2025-08-06 cs.CV cs.GR cs.LG
MARFT: Multi-Agent Reinforcement Fine-Tuning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；OPPO Research Institute（OPPO研究院）
针对基于大语言模型的多智能体系统，提出多智能体强化微调（MARFT）框架，通过引入Flex-MG马尔可夫博弈公式和通用算法，解决异步交互、异构架构等挑战，提升系统鲁棒性和适应性。
2026-10-12 cs.AI cs.LG cs.MA
Metatrace Actor-Critic: Online Step-size Tuning by Meta-gradient Descent for Reinforcement Learning Control
Borealis AI
强化学习（RL）在“深度”和“浅层”环境中都取得了许多成功。在这两种情况下，通常需要进行显著的超参数调优以实现良好的性能。此外，当使用非线性函数逼近时，状态表示中的非平稳性会导致学习不稳定。有各种各样的技术可以解决这个问题-最明显的是大的经验重放缓冲区或使用多个并行演员。这些技术的代价是远离传统上制定的在线RL问题（即，单个代理在线学习而不维护训练样本的大数据库）。元学习可以通过在线调整超参数并允许算法更鲁棒地调整问题中的非平稳性来潜在地帮助解决这两个问题。本文应用Meta梯度下降推导出一套步长调整算法，专门用于在线RL控制的资格痕迹。我们的新技术Metatrace使用了类似于$TD(λ)$等方法的资格跟踪。我们探索调整单个标量步长和每个学习参数的单独步长。我们首先评估Metatrace在经典的山地车问题中的线性函数逼近控制，然后在嘈杂的，非平稳的版本。最后，我们将Metatrace应用于Arcade学习环境中的5个游戏中的非线性函数逼近控制，在那里我们探索了它如何影响学习速度和对初始步长选择的鲁棒性。实验结果表明，Metatrace的元步长参数易于设置，Metatrace可以加快学习速度，并且Metatrace可以允许RL算法处理学习任务中的非平稳性。
2019-05-24 cs.AI cs.LG stat.ML
Model Based Residual Policy Learning with Applications to Antenna Control
KTH Royal Institute of Technology（瑞典皇家理工学院）；Ericsson Research（爱立信研究院）
针对天线倾角控制问题，提出基于模型的残差策略学习方法MBRPL，通过基于模型的方法增强现有策略，显著提升了样本效率并减少了环境交互，为算法在实际网络中的部署迈出一步。
2023-09-11 cs.AI cs.LG cs.SY
TuneAgent: Agentic Operating System Kernel Tuning with Reinforcement Learning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Nanyang Technological University（南洋理工大学）
提出TuneAgent框架，利用基于规则的强化学习使大语言模型自主探索Linux内核空间，通过结构化奖励函数和两阶段训练策略解决稀疏反馈问题，实现高达5.6%的性能提升。
2026-05-31 cs.AI cs.LG cs.OS
Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning
Nanyang Technological University（南洋理工大学）；Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR）；Northwestern University（西北大学）
本文提出TokenBuncher，通过限制模型响应熵来防御基于强化学习的有害微调，实验显示其能有效抑制有害行为同时保持正常任务性能。
2026-08-05 cs.CL cs.LG
Direct Random Search for Fine Tuning of Deep Reinforcement Learning Policies
University of California, Santa Barbara（加州大学圣巴巴拉分校）
研究人员已经证明，深度强化学习（DRL）是一种强大的工具，可以找到在复杂机器人系统上表现良好的策略。然而，这些政策往往是不可预测的，可以诱导高度可变的行为时，只有略有不同的初始条件进行评估。训练考虑因素约束DRL算法设计，因为大多数算法在训练期间必须使用随机策略。然而，在部署过程中使用的最终策略可以并且经常是确定性的，在每一步都使用最大可能性操作（MLA）。在这项工作中，我们表明，直接随机搜索是非常有效的微调DRL政策，直接优化他们使用确定性推出。我们通过大量的强化学习环境来说明这一点，使用从不同算法获得的各种各样的策略。我们的研究结果表明，这种方法在我们测试的环境中产生更一致和更高性能的代理。此外，我们还演示了如何使用这种方法来扩展我们以前的工作，缩小深度神经网络（DNN）策略下运行的闭环系统的可达状态空间的维数。
2022-03-04 cs.LG cs.RO
Reinforcement Learning for Efficient and Tuning-Free Link Adaptation
KTH Royal Institute of Technology（瑞典皇家理工学院）；Ericsson Research（爱立信研究院）
无线链路使数据传输参数适应于动态信道状态--这称为链路自适应。传统的链路自适应依赖于调整参数，这些参数对于配置最佳链路性能是具有挑战性的。最近，强化学习已经被提出来自动化链路自适应，其中传输参数被建模为多臂强盗的离散臂。在这种情况下，我们提出了一个潜在的学习模型，链路自适应，利用数据传输参数之间的相关性。此外，最近成功的汤普森采样多臂强盗问题的动机，我们提出了一个潜在的汤普森采样（LTS）算法，快速学习给定的信道状态的最佳参数。我们通过一个自动跟踪信道动态的免调谐机制将LTS扩展到衰落无线信道。在衰落无线信道的数值评估中，与最先进的链路自适应算法相比，LTS将链路吞吐量提高了100%。
2021-05-05 cs.IT cs.LG eess.SP
Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review
Genentech（基因泰克）；Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）
本教程综述了基于强化学习的扩散模型微调方法，以优化下游奖励函数，涵盖多种RL算法及其优势、局限和与相关主题的联系。
2024-07-18 cs.AI cs.LG q-bio.QM
Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
强化学习是机器人控制学习的一种很有前途的范例，它允许在不需要动力学模型的情况下学习复杂的控制策略。然而，即使是最先进的算法也很难调整到最佳性能。我们建议采用多个强化学习代理的集成，每个代理具有不同的超参数集，以及在线选择最佳性能集的机制。在文献中，合奏技术通常用于提高性能，但目前的工作专门解决减少超参数调整工作。此外，我们的方法的目标在线学习一个机器人系统，并不需要并行运行多个模拟器。虽然这个想法是通用的，但选择的模型是深度确定性策略梯度，它是一种代表性的深度学习行动者-批评者方法，在连续动作设置中具有良好的性能，但已知具有高方差。我们比较了我们的在线加权q-集成的方法，q-平均集成策略在文献中使用替代政策的培训，以及在线培训，证明了新方法的优势，在消除超参数调整。在常见的机器人基准环境中验证了对现实世界系统的适用性：双足机器人半猎豹和游泳者。与使用随机参数化的q-平均集成相比，在线加权Q-集成呈现出总体较低的方差和优越的结果。
2022-09-29 cs.LG cs.RO
DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models
Google Research（谷歌研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UC Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；KAIST（韩国科学技术院）
本文提出DPOK，将文本到图像扩散模型微调建模为在线强化学习问题，通过带KL正则化的策略梯度最大化人类反馈奖励，并在图文对齐与图像质量上优于监督微调。
2023-11-01 cs.CV cs.LG
Deep Reinforcement Learning for Ranking Utility Tuning in the Ad Recommender System at Pinterest
Pinterest Inc.（Pinterest公司）；Carnegie Mellon University（卡内基梅隆大学）
针对广告推荐系统排序效用手动调优的次优问题，提出深度强化学习个性化效用调优框架DRL-PUT，在线A/B实验显示其点击率、长点击率较基线分别提升9.7%、7.7%。
2025-09-05 cs.LG
Speech Recognition With LLMs Adapted to Disordered Speech Using Reinforcement Learning
Google Research（谷歌研究院）
本文提出用音频 token 替换低频文本 token 使 LLM 能处理语音，并采用基于句法和语义奖励的强化学习替代监督微调，显著提升对 disordered speech 的适应能力。
2024-12-25 cs.CL cs.LG cs.SD
Human Implicit Preference-Based Policy Fine-tuning for Multi-Agent Reinforcement Learning in USV Swarm
Korea Military Academy (KMA)（韩国军事学院）；KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of California, Riverside（加州大学河滨分校）
提出一种基于人类反馈的MARL方法，通过Agent-Level Feedback系统解决信用分配问题，并利用LLM评估器在多场景下验证，有效优化了USV集群策略。
2025-03-07 cs.AI cs.LG cs.MA
Improving Targeted Molecule Generation through Language Model Fine-Tuning Via Reinforcement Learning
Department of Physics and Computer Science（物理与计算机科学系）
本研究针对新药研发成本高、耗时长的问题，提出基于PPO强化学习微调语言模型的从头靶向药物设计方法，通过复合奖励函数兼顾药效与分子有效性，显著提升了生成分子的多项关键化学指标与新颖性。
2025-05-18 cs.LG q-bio.BM
Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem
IDEAS NCBR；University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；Google DeepMind（谷歌DeepMind）；Institute of Mathematics, Polish Academy of Sciences（波兰科学院数学研究所）
本文揭示微调强化学习模型中的性能下降源于对预训练能力的遗忘，提出用知识保留技术缓解，并在NetHack和Montezuma's Revenge上验证，取得新最先进结果。
2024-07-17 cs.LG
RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada（华为加拿大技术有限公司）；York University（约克大学）；Canada CIFAR AI Chair, Amii（加拿大 CIFAR 人工智能主席，Amii）
本文提出RLFTSim框架，通过强化学习微调提升交通仿真场景的真实感，并通过目标条件化方法实现对交通仿真可控性的提炼，实验表明其在真实感和可控性方面均优于其他启发式搜索方法。
2026-05-18 cs.AI cs.CV cs.LG
Hyperparameter Tuning for Deep Reinforcement Learning Applications
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Cukurova University（丘库罗瓦大学）；Scientific Networking Division（科学网络部门）；Department of Computer Science（计算机科学系）；USA（美国）；Turkey（土耳其）
强化学习（RL）应用程序，其中代理可以通过与环境交互来简单地学习最佳行为，正在从控制简单的计算机到复杂的数据中心的各种应用程序中迅速获得巨大的成功。然而，设置正确的超参数可能会对部署的解决方案性能和通过RL产生的用于决策的推理模型的可靠性产生巨大影响。超参数搜索本身是一个费力的过程，需要多次迭代和计算昂贵，以找到产生最佳神经网络架构的最佳设置。与其他神经网络架构相比，由于其算法复杂性和所需的仿真平台，深度RL没有见证太多的超参数调整。在本文中，我们提出了一个分布式可变长度遗传算法框架，系统地调整超参数的各种RL应用程序，提高训练时间和鲁棒性的架构，通过进化。我们证明了我们的方法在许多RL问题上的可扩展性（从简单的健身房到复杂的应用程序），并与贝叶斯方法进行了比较。我们的研究结果表明，随着世代的增加，最佳解决方案需要更少的训练集，计算成本更低，同时部署更稳健。我们的研究结果对于推进深度强化学习控制器解决现实问题至关重要。
2022-01-26 cs.LG cs.NE
Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究混合强化学习设置，提出一种三阶段算法，在数据收集时无需奖励信息，通过单策略部分集中性概念指导离线与在线数据结合，在样本复杂度上超越纯离线和纯在线RL。
2023-05-17 cs.IT cs.LG math.IT
From self-tuning regulators to reinforcement learning and back again
University of Pennsylvania（宾夕法尼亚大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Lund University（隆德大学）；Google Brain（谷歌大脑）
机器和强化学习（RL）越来越多地被应用于规划和控制与物理世界交互的自治系统的行为。例子包括自动驾驶汽车、分布式传感器网络和敏捷机器人。然而，当机器学习被应用于这些新的设置时，算法最好具有控制理论的标志性的相同类型的可靠性，鲁棒性和安全界限，否则故障可能是灾难性的。因此，随着学习算法越来越积极地部署在安全关键环境中，控制理论家必须加入对话。本教程的目的是提供一个起点，控制理论家希望学习相关问题的工作，通过涵盖最近的进展桥接学习和控制理论，并将这些结果在适当的历史背景下的系统辨识和适应控制。
2019-09-22 cs.LG math.OC stat.ML
Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning
Aalto University（阿尔托大学）；Technical University Darmstadt（达姆施塔特工业大学）
离线强化学习通过从固定数据集学习，使得在不与环境交互的情况下学习代理行为成为可能。然而，根据离线数据集的质量，这种预先训练的代理可能具有有限的性能，并且还需要通过与环境交互来在线微调。在在线微调期间，由于从离线数据到在线数据的突然分布偏移，预先训练的代理的性能可能迅速崩溃。虽然离线RL方法（如行为克隆丢失）强制执行的约束在一定程度上防止了这一点，但这些约束也通过迫使代理保持接近行为策略来显着减缓在线微调。我们提出了自适应权衡行为克隆损失在线微调的基础上代理的性能和训练的稳定性。此外，我们使用一个随机的Q函数集成，通过执行大量的学习更新，进一步提高在线微调的样本效率。实验表明，该方法产生的最先进的离线到在线强化学习性能流行的D4RL基准。代码可用：\url{https://github.com/zhaoyi11/adaptive_bc}。
2022-10-25 cs.LG cs.RO
AITuning: Machine Learning-based Tuning Tool for Run-Time Communication Libraries
National Center for Atmospheric Research（美国国家大气研究中心）
在这项工作中，我们使用深度强化学习方法来解决调整通信库的问题。强化学习是一种机器学习技术，在解决类似游戏的情况下非常有效。事实上，在通信库中调整一组参数以在并行应用程序中获得更好的性能可以表示为一个游戏：找到提供最佳回报的正确组合/路径。尽管AITuning被设计为与不同的运行时间库一起使用，但我们的工作重点是将其应用于构建在MPI-3之上的OpenCoarrays运行时间通信库。这项工作不仅展示了使用强化学习算法来调整通信库的潜力，而且还展示了MPI-3标准引入的MPI工具信息接口如何被运行时间库有效地使用，以在没有人为干预的情况下提高性能。
2019-09-13 cs.LG cs.PF stat.ML
