Offline Reinforcement Learning with Behavioral Supervisor Tuning
Imperial College London(帝国理工学院)
提出TD3-BST算法,通过训练不确定性模型引导策略在数据集支持范围内选择动作,无需针对数据集调整超参数即可在基准测试中取得最佳性能。
2024-07-27 cs.AI cs.LG
Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
针对RLHF中偏好数据收集方式不同(在线/离线)的问题,提出价值激励偏好优化(VPO)统一方法,通过值函数正则化奖励函数并调节乐观/悲观策略,兼具理论保证与文本摘要、对话任务的实验有效性。
2025-02-19 cs.AI cs.LG stat.ML
A Tutorial: An Intuitive Explanation of Offline Reinforcement Learning Theory
Department of Computer Science University of Alberta(计算机科学系阿尔伯塔大学)
本综述探讨了离线强化学习理论的关键直觉及其对算法设计的启示,分析了证明所需的函数表示与数据覆盖条件、不可解反例及充分条件,以揭示算法局限并指导新方案探索。
2025-08-11 cs.LG stat.ML
Benchmarking Offline Reinforcement Learning on Real-Robot Hardware
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Harvard University(哈佛大学);KTH Stockholm(斯德哥尔摩皇家理工学院)
针对真实机器人离线强化学习,提出包含灵巧操作数据和真机执行选项的基准,评估开源算法并提供可复现实验设置。
2023-07-28 cs.LG cs.RO
Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only
Westlake University(西湖大学)
本文提出PORL方法,仅利用离线预训练策略进行在线强化学习微调,无需预训练Q函数,通过在线阶段快速初始化Q函数避免悲观估计,达到与先进算法相当的性能,并支持直接微调行为克隆策略。
2025-05-22 cs.AI cs.LG cs.RO
Critic-Free Pretraining for Efficient Online Reinforcement Learning Fine-Tuning
Tsinghua University(清华大学)
该研究针对离线转在线强化学习中复用离线评判者导致的适配问题,提出无评判者预训练范式,兼容主流算法且在多任务上表现更优。
2026-08-14 cs.AI cs.LG
Offline Behavior Distillation
School of Computer Science, The University of Sydney(悉尼大学计算机学院);College of Computing & Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对离线强化学习大数据导致的训练低效问题,提出离线行为蒸馏框架及动作值加权PBC目标,以线性折扣复杂度实现更优蒸馏性能、更快收敛和更强泛化能力。
2024-10-30 cs.AI cs.LG
OrcaRouter: A Production-Oriented LLM Router with Hybrid Offline-Online Learning
Continuum AI
提出OrcaRouter,一种结合LinUCB上下文赌博机与混合离线-在线学习协议的生产级LLM路由器,通过离线全信息反馈和在线赌博机学习实现低成本高精度模型选择。
2026-05-29 cs.AI cs.CL cs.LG
TrajDeleter: Enabling Trajectory Forgetting in Offline Reinforcement Learning Agents
University of Virginia(弗吉尼亚大学);Chinese Academy of Sciences(中国科学院)
本文提出 Trajdeleter,首个面向离线强化学习智能体的轨迹遗忘方法,通过引导智能体在待遗忘轨迹相关状态下性能下降并保持其他轨迹性能,仅需约 1.5% 重训时间即可平均遗忘 94.8% 的目标轨迹。
2024-09-02 cs.CR cs.LG
Meta-Reinforcement Learning for the Tuning of PI Controllers: An Offline Approach
University of British Columbia(不列颠哥伦比亚大学);Backstrom Systems Engineering Ltd.(巴克斯特伦系统工程有限公司);Honeywell Process Solutions(霍尼韦尔过程解决方案)
元学习是机器学习的一个分支,它训练神经网络模型来合成各种各样的数据,以便快速解决新问题。在过程控制中,许多系统具有相似且易于理解的动态特性,这表明通过元学习创建可泛化的控制器是可行的。在这项工作中,我们制定了一个Meta强化学习(元RL)控制策略,可用于调整比例积分控制器。我们的元RL代理具有一个循环结构,它通过闭环中的隐藏状态变量来积累“上下文”以学习系统的动态。这种体系结构使代理能够自动适应流程动态的变化。在这里报告的测试中,元RL代理在一阶加时间延迟系统上完全离线训练,并在来自用于训练的过程动态相同分布的新系统上产生了出色的结果。一个关键的设计元素是在模拟环境中训练期间离线利用基于模型的信息的能力,同时保持无模型的策略结构,用于与真实过程动态不确定的新过程进行交互。元学习是构造样本有效智能控制器的一种很有前途的方法。
2022-09-19 cs.LG cs.SY eess.SY
Offline and Distributional Reinforcement Learning for Wireless Communications
University of Oulu(奥卢大学);Centre for Wireless Communications (CWC)(无线通信中心)
针对6G实时无线网络中传统在线强化学习面临的交互成本高、不安全及无法处理不确定性等局限,提出结合离线与分布式强化学习的新框架及CQR算法,在UAV轨迹优化与RRM中有效提升了收敛速度与风险管理能力。
2025-04-04 cs.LG cs.MA cs.NI
Flexible Blood Glucose Control: Offline Reinforcement Learning from Human Feedback
University of Bristol(布里斯托尔大学);University Hospital Southampton(南安普顿大学医院)
本文提出PAINT框架,通过基于草图的奖励学习和安全约束离线RL算法,从患者记录中学习灵活的胰岛素给药策略,在模拟T1D患者中显著降低血糖风险并有效结合患者偏好与专业知识。
2025-01-27 cs.AI cs.LG
A Real-World Quadrupedal Locomotion Benchmark for Offline Reinforcement Learning
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
本文构建真实四足运动 ORL 基准,利用 MPC 采集的数据集评测 11 种算法,表明最优 ORL 可媲美甚至超越无模型 RL,但稳定性与快速适应仍不及 MPC。
2023-09-13 cs.LG cs.RO
A Survey on Offline Reinforcement Learning: Taxonomy, Review, and Open Problems
University of Campinas(坎皮纳斯大学);Aeronautics Institute of Technology(航空技术学院)
本文综述离线强化学习,提出统一分类体系,系统梳理算法进展、基准特性与性能比较,并指出开放问题和未来方向。
2023-04-19 cs.AI cs.LG stat.ML
Offline Imitation of Badminton Player Behavior via Experiential Contexts and Brownian Motion
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出 RallyNet,一种基于上下文马尔可夫决策过程与几何布朗运动的分层离线模仿学习模型,用于从离线羽毛球单打数据中按回合模仿运动员决策行为,并在真实数据集上验证其性能优于现有方法至少16%。
2024-08-03 cs.AI cs.LG
AWAC: Accelerating Online Reinforcement Learning with Offline Datasets
UC Berkeley(加州大学伯克利分校)
强化学习(RL)为从经验中学习控制策略提供了一种有吸引力的形式。然而,RL的经典主动公式需要对每个行为进行漫长的主动探索过程,这使得它很难应用于现实世界的设置,如机器人控制。如果我们能够让强化学习算法有效地使用先前收集的数据来帮助在线学习过程,这样的应用程序就可以变得更加实用:先前的数据将提供一个起点,减轻探索和样本复杂性带来的挑战,而在线训练使智能体能够完善所需的技能。这样的先验数据可以构成专家演示或说明潜在有用的转变的次优先验数据。虽然许多现有方法已经使用最优演示来引导RL,或者已经使用次优数据来纯离线训练,但是仍然非常难以用离线数据训练策略并且实际上继续用在线RL进一步改进它。在本文中,我们分析了为什么这个问题是如此具有挑战性,并提出了一种算法,结合样本有效的动态规划与最大似然策略更新,提供了一个简单而有效的框架,能够利用大量的离线数据,然后快速执行RL策略的在线微调。我们表明,我们的方法,优势加权演员评论家(AWAC),使技能的快速学习与先前的演示数据和在线经验相结合。我们在模拟和真实世界的机器人领域展示了这些好处,包括用真正的多指手进行灵巧操作,用机器人手臂打开抽屉,以及旋转阀门。我们的研究结果表明,结合先验数据可以减少学习一系列机器人技能所需的时间,以实际的时间尺度。
2021-04-24 cs.LG cs.RO stat.ML
Pre-Training for Robots: Offline RL Enables Learning New Tasks from a Handful of Trials
UC Berkeley(加州大学伯克利分校);New York University(纽约大学);Stanford University(斯坦福大学)
本文提出基于离线强化学习的机器人预训练框架 PTR,通过结合多样化离线数据预训练与少至 10 个演示的快速微调,使真实 WidowX 机器人无需视觉预训练即可在新环境中学习新任务并实现自主改进。
2023-09-23 cs.LG cs.RO
Continual Task Learning through Adaptive Policy Self-Composition
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Jilin University(吉林大学);Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学)
针对离线强化学习中的持续学习挑战,提出基于结构的持续transformer模型CompoFormer,通过元策略网络自适应组合先前策略,有效缓解灾难性遗忘,在可塑性与稳定性间取得良好平衡。
2024-11-18 cs.AI cs.LG
Skill-based Meta-Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Southern California(南加利福尼亚大学);AITRICS;Naver AI Lab(Naver人工智能实验室)
虽然深度强化学习方法在机器人学习中显示出令人印象深刻的结果,但它们的样本效率低下使得使用真实机器人系统学习复杂的长时间行为是不可行的。为了缓解这个问题,Meta强化学习方法旨在通过学习如何学习来实现对新任务的快速学习。然而,该应用程序仅限于具有密集奖励的短期任务。为了能够学习长期行为,最近的工作已经探索了以离线数据集的形式利用先前的经验,而没有奖励或任务注释。虽然这些方法提高了样本效率,但仍需要与环境进行数百万次交互才能解决复杂的任务。在这项工作中,我们设计了一种方法,使元学习的长期视野,稀疏奖励的任务,使我们能够解决看不见的目标任务与数量级更少的环境相互作用。我们的核心思想是在元学习期间利用从离线数据集提取的先前经验。具体来说,我们建议(1)从离线数据集中提取可重用的技能和技能先验,(2)元训练一个高级策略,学习有效地将学习到的技能组合成长期行为,以及(3)快速调整元训练策略以解决看不见的目标任务。在导航和操作中的连续控制任务上的实验结果表明,该方法可以通过结合元学习的优势和离线数据集的使用来有效地解决长时间的新目标任务,而RL,元RL和多任务RL中的先前方法需要更多的环境交互来解决任务。
2022-04-25 cs.AI cs.LG
REX: Rapid Exploration and eXploitation for AI Agents
Salesforce Research(赛富时研究院);CTO Office, Salesforce(赛富时首席技术官办公室)
针对现有AutoGPT风格AI智能体决策依赖精确描述、缺乏系统试错机制的问题,提出引入奖励层与UCB类概念的REX方法,无需微调即可适配基础模型,性能可比肩甚至优于CoT、RAP,且大幅缩短执行时间。
2024-01-26 cs.AI cs.LG
Data Center Cooling System Optimization Using Offline Reinforcement Learning
Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Global Data Solutions Co., Ltd.(全球数据解决方案有限公司)
针对数据中心冷却系统节能优化的挑战,提出物理信息离线RL框架,通过符合时间反转对称性的图神经网络建模,在生产数据中心实验中实现14~21%节能且满足安全约束,验证其在工业控制中的潜力。
2025-02-14 cs.AI cs.LG cs.SY
Entropy Regularized Task Representation Learning for Offline Meta-Reinforcement Learning
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence(芬兰人工智能中心)
针对离线元强化学习中上下文分布不匹配导致任务表示过拟合的问题,提出通过最大化行为策略熵来近似最小化互信息,学习更鲁棒的任务表示,在MuJoCo环境中优于基线方法。
2025-01-22 cs.LG
Beyond Rewards: a Hierarchical Perspective on Offline Multiagent Behavioral Analysis
Google Research(谷歌研究院)
每年,在越来越复杂的多智能体领域中,专家级的性能都得到了提高,其中值得注意的例子包括围棋,扑克和星际争霸II。这种快速发展伴随着相应的需要,以更好地了解这些代理人如何实现这种性能,使他们的安全部署,确定限制,并揭示潜在的手段,以改善他们。在本文中,我们从以性能为中心的多智能体学习中后退一步,而是将我们的注意力转向智能体行为分析。我们引入了一个模型不可知的方法发现的行为集群在多智能体领域,使用变分推理学习层次的行为在联合和本地代理水平。我们的框架没有对代理的底层学习算法做任何假设,不需要访问它们的潜在状态或策略,并且只使用离线观察数据进行训练。我们说明了我们的方法的有效性,使耦合的行为在联合和本地代理级别的理解,检测整个训练过程中的行为变化点,发现核心行为概念,展示了该方法的可扩展性,一个高维的多代理MuJoCo控制域,还说明了该方法可以解开以前训练的政策在OpenAI的捉迷藏域。
2023-02-16 cs.LG cs.MA
DISCERN: Diversity-based Selection of Centroids for k-Estimation and Rapid Non-stochastic Clustering
Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学)
基于中心的聚类算法(如K-Means)的应用之一是将数据点划分为K个聚类。在某些示例中,特征空间与我们试图解决的潜在问题有关,有时我们可以获得合适的特征空间。然而,虽然K-Means是最有效的离线聚类算法之一,但它不具备估计聚类数的能力,这在某些实际情况下是有用的。其他实用的方法太复杂了,因为它们需要对每个可能的K至少运行一次K-Means。为了解决这个问题,我们提出了一个类似于K-Means++的K-Means初始化,它能够基于特征空间估计K,同时以确定性的方式为K-Means找到合适的初始质心。然后,我们比较了所提出的方法,DISCERN,与一些最实用的K估计方法,同时还比较了随机初始化时,使用K-Means++和使用DISCERN的K-Means的聚类结果。结果表明,在估计和最终的聚类性能的改善。
2020-09-22 cs.LG stat.ML
From Exact Hits to Close Enough: Semantic Caching for LLM Embeddings
Department of Computer Science, Technion – Israel Institute of Technology(计算机科学系,技术离子技术研究所)
本文提出语义缓存的离线和在线策略,通过多项式时间启发式方法提高LLM嵌入的语义准确性。
2026-02-07 cs.AI cs.CL cs.LG
CoreDiff: Contextual Error-Modulated Generalized Diffusion Model for Low-Dose CT Denoising and Generalization
Fudan University(复旦大学);Shanghai Center for Brain Science and Brain-inspired Technology(上海脑科学与类脑研究中心);Sichuan University(四川大学)
本文提出CoreDiff,一种用于低剂量CT去噪的上下文误差调制广义扩散模型,通过保均值退化算子减少采样步骤,并设计CLEAR-Net缓解误差累积,结合单样本学习框架实现快速泛化,在去噪和泛化性能上优于现有方法。
2023-10-06 cs.CV cs.LG eess.IV
Multiscale Astrocyte Network Calcium Dynamics for Biologically Plausible Intelligence in Anomaly Detection
University of Essex(埃塞克斯大学)
本文提出受星形胶质细胞钙信号启发的Ca²⁺调制学习框架,将多细胞钙动力学模拟器与深度神经网络结合,在CTU-13网络流量异常检测中实现约98%准确率并降低误报,且运行时开销可忽略。
2025-11-06 cs.AI cs.LG cs.NE
Single-shot autofocusing of microscopy images using deep learning
University of California, Los Angeles(加州大学洛杉矶分校)
我们展示了一种基于深度学习的离线自动聚焦方法,称为Deep-R,该方法经过训练,可以快速盲目地自动聚焦在任意离焦平面处获取的标本的单次显微镜图像。我们使用荧光和明场显微镜模式成像的各种组织切片来说明Deep-R的功效,并在不同的情况下展示快照自动聚焦,例如均匀的轴向散焦以及视场内的样品倾斜。我们的研究结果表明,与标准的在线算法自动对焦方法相比,Deep-R的速度明显更快。这种基于深度学习的盲自动聚焦框架为大样本区域的快速显微成像开辟了新的机会,同时也降低了样本上的光子剂量。
2021-01-22 cs.CV cs.LG eess.IV