DeFlow: Decoupling Behavior-Prior Modeling and Value Maximization for Offline Policy Extraction
Peking University, Institute of Artificial Intelligence, China, Beijing（北京大学人工智能研究所）
DeFlow通过解耦流形建模与价值最大化，利用流匹配技术实现高效离线策略提取，提升复杂行为流形的捕捉与生成能力。
2026-10-16 cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
Don't Trade Off Safety: Diffusion Regularization for Constrained Offline RL
University of California Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
针对离线约束强化学习的安全与性能平衡问题，提出DRCORL方法，通过扩散模型提取策略并结合梯度操纵实现安全适配，在机器人任务中兼具可靠安全性、快速推理与优异奖励表现，实用性强。
2025-09-04 cs.LG
Session-Level Dynamic Ad Load Optimization using Offline Robust Reinforcement Learning
Meta
针对会话级广告负载优化中的混杂偏差与分布偏移，论文提出离线鲁棒对决 DQN 框架，在数据集、真实广告数据及在线 A/B 测试中均取得显著收益。
2025-01-09 cs.LG
[Re] FairDICE: A Fair Tradeoff in Multi-objective Offline RL
University of Amsterdam（阿姆斯特丹大学）
该研究探讨了多目标离线强化学习中公平权衡的问题，提出FairDICE算法通过自适应学习多目标权重来实现公平妥协，但发现代码错误导致其在连续环境中退化为标准行为克隆，并需修正超参数以提升实验有效性。
2026-05-21 cs.LG
Recall-Extend Dynamics: Enhancing Small Language Models through Controlled Exploration and Refined Offline Integration
本文提出Recall-Extend Dynamics（RED）方法，通过受控探索、熵变化比率调节离线SFT权重以及基于样本准确率的策略转移机制，平衡离线蒸馏与在线强化学习，从而增强小语言模型的推理能力。
2025-08-21 cs.AI cs.CL cs.LG
Benchmarking Offline Multi-Objective Reinforcement Learning in Critical Care
本文评估了三种离线多目标强化学习算法在重症护理中的性能，发现PEDA DT在灵活性和多目标决策方面表现优异，为个性化医疗决策提供了新思路。
2025-12-08 cs.LG
GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL
The Hong Kong University of Science and Technology, Hong Kong SAR, China（香港科学与技术大学）；South China University of Technology, Guangdong, China（华南理工大学）
GAS通过增强数据集和引入目标函数，提升生成模型辅助离线安全强化学习中奖励与成本的平衡能力。
2026-02-05 cs.AI cs.LG
Escaping Offline Pessimism: Vector-Field Reward Shaping for Safe Frontier Exploration
本文提出向量场奖励塑造方法，通过梯度对齐和旋转向量项诱导持续安全前沿探索，验证了在连续导航任务中有效平衡安全与信息收集。
2026-03-18 cs.LG
In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
Peng Cheng Laboratory（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）
提出数据集内轨迹回报正则化（DTR）方法，利用条件序列建模和集成归一化技术缓解离线偏好强化学习中的奖励偏差问题，在多个基准上取得优越性能。
2024-12-21 cs.AI cs.LG
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）
本文提出了一种潜在安全约束策略方法，通过条件变分自动编码器和受约束奖励-回报最大化框架，实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Sliced $L^p$ Distributional Balancing
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出切片 $L^p$ 分布平衡（SLDB）方法，通过一维投影的 $L^p$ 距离加权平衡协变量分布，并开发高效算法及理论框架，实现因果效应的有效估计。
2026-09-29 stat.ME
SimuDICE: Offline Policy Optimization Through World Model Updates and DICE Estimation
Delft University of Technology（代尔夫特理工大学）
针对离线强化学习中分布不匹配与样本有限的问题，提出SimuDICE框架，结合世界模型与DICE估计优化模拟经验采样，以更少的样本和规划步骤实现可比性能且鲁棒性强。
2024-12-09 cs.AI cs.LG
Load Balancing for Ultra-Dense Networks: A Deep Reinforcement Learning Based Approach
Beijing University of Posts and Telecommunications（北京邮电大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出了一种基于深度强化学习（DRL）的移动性负载均衡（MLB）算法以及一个两层架构，以解决超密集网络（UDN）的大规模负载均衡问题。我们的贡献是三方面的。首先，本文提出了一个两层的架构，以解决大规模的负载均衡问题，在自组织的方式。所提出的架构可以通过动态地将小小区根据其历史负载分组到自组织的簇中来缓解全局业务变化，并且之后通过簇内负载均衡来进一步适应局部业务变化。其次，对于集群内的负载均衡，本文提出了一种基于非策略DRL的MLB算法，在异步并行学习框架下自主学习最优MLB策略，而无需对底层UDN环境进行任何先验知识假设。此外，该算法支持多种行为策略的联合探索，可以使用传统的MLB方法来指导学习过程，从而提高学习效率和稳定性。第三，提出了一种基于离线评估的安全保障机制，保证在线系统能够始终使用最优的、经过良好训练的MLB策略，不仅稳定了在线性能，而且使现有策略之外的探索能够以安全的方式充分利用机器学习。实验结果表明，在具有不规则网络拓扑、耦合干扰和随机用户移动的一般UDN环境中，该框架的负载均衡性能优于现有的MLB方法.
2019-08-10 cs.LG cs.NI stat.ML
Solving Continual Offline Reinforcement Learning with Decision Transformer
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文针对持续离线强化学习中稳定性与可塑性难以平衡的问题，提出基于决策Transformer的MH-DT和LoRA-DT方法，通过多头知识存储与低秩适应缓解遗忘，在多个基准上优于现有方法。
2024-04-07 cs.AI cs.LG
FormulaZero: Distributionally Robust Online Adaptation via Offline Population Synthesis
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
平衡性能和安全性对于在多智能体环境中部署自动驾驶汽车至关重要。特别是，自动驾驶赛车是一个惩罚安全但保守的政策的领域，突出了对稳健，适应性策略的需求。目前的方法要么简化了对其他代理人的假设，要么缺乏强大的在线适应机制。这项工作使算法的贡献，这两个挑战。首先，为了生成一个现实的，多样化的对手，我们开发了一种新的方法，自我发挥的基础上复制交换马尔可夫链蒙特卡罗。其次，我们提出了一个分布式鲁棒的强盗优化过程，自适应调整风险规避相对于对手的行为信念的不确定性。当在实时运动规划中近似这些计算时，我们严格量化了性能和鲁棒性的权衡，并且我们在自动驾驶汽车上实验性地展示了我们的方法，这些自动驾驶汽车可以达到与一级方程式赛车相当的缩放速度。
2020-08-22 cs.LG cs.MA cs.RO
Q-learning Penalized Transformer for Safe Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）
本文提出 Q-learning 惩罚 Transformer（QPT）框架，通过 Q 形惩罚将安全约束融入条件序列建模，在 DSRL 基准 38 个任务上优于基线并实现零样本阈值适应。
2026-09-30 cs.LG
Adaptive Replay Buffer for Offline-to-Online Reinforcement Learning
KAIST（韩国科学技术院）；MongooseAI；Omelet
本文提出自适应回放缓冲区，通过动态优先级采样提升离线到在线强化学习的性能，实验表明其能有效缓解早期性能下降并提高最终表现。
2026-04-08 cs.AI cs.LG
Ad-load Balancing via Off-policy Learning in a Content Marketplace
ShareChat；Sourcegraph
针对社交媒体平台广告负载均衡中用户满意度与广告收入的目标冲突问题，提出基于逆倾向得分、双重稳健无偏估计器的离策略学习框架，大规模A/B实验验证其可显著提升两类指标。
2023-12-19 cs.IR cs.LG
To Switch or Not to Switch? Balanced Policy Switching in Offline Reinforcement Learning
London School of Economics（伦敦政治经济学院）
本文针对离线强化学习中的策略切换问题，提出基于最优传输的平衡切换框架及Net Actor-Critic算法，并在机器人控制和交通灯基准上验证了其有效性。
2025-02-26 cs.IT cs.LG math.IT
Bandits with Partially Observable Confounded Data
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
我们研究线性上下文强盗访问一个大的，混淆的，离线的数据集，从一些固定的政策采样。我们发现，这个问题是密切相关的一个变种的强盗问题的边信息。我们构造了一个线性强盗算法，利用投影信息，并证明了遗憾界。我们的研究结果表明，利用混淆的离线数据的能力。特别是，我们证明了遗憾的界限，提高当前的界限相关的数据中的上下文的可见维度的一个因素。我们的研究结果表明，混淆离线数据可以显着提高在线学习算法。最后，我们通过合成模拟展示了我们的方法的各种特性。
2021-08-10 cs.AI cs.LG stat.ML
A Comparison Between Decision Transformers and Traditional Offline Reinforcement Learning Algorithms
School of Mathematics, Statistics and Computer Science（数学、统计与计算机科学学院）；University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）；Centre for Artificial Intelligence Research (CAIR)（人工智能研究中心）
本文比较了决策变压器与传统离线强化学习算法在ANT环境中的表现，发现DT在稀疏奖励场景中表现优异，而传统方法在密集奖励中更具优势。
2025-11-20 cs.LG
Finetuning Offline World Models in the Real World
University of California San Diego（加州大学圣迭戈分校）；Tsinghua University（清华大学）
针对强化学习数据效率低及离线RL分布偏移问题，提出利用真实机器人离线数据预训练世界模型，并通过平衡回报与模型不确定性在线微调，实现少样本任务适应。
2023-10-24 cs.AI cs.CV cs.LG
Balancing Expressivity and Learnability in Quantum Kernel Bandit Optimization
National University of Singapore（新加坡国立大学）；University of Birmingham（伯明翰大学）
针对量子核高斯过程赌博机优化，提出投影量子核与经典核近似技术以降低特征维度，推导了误设定GP赌博机算法的遗憾界，平衡了近似误差与信息增益。
2026-07-02 cs.IT cs.LG math.IT
Learning Partial Action Replacement in Offline MARL
Warwick Manufacturing Group, University of Warwick（华威大学华威制造集团）；Department of Statistics, University of Warwick（华威大学统计系）
本文提出PLCQL框架，通过将部分动作替换子集选择建模为上下文老虎机问题，学习状态依赖的替换策略，提升离线MARL的计算效率和性能。
2026-03-30 cs.AI cs.LG cs.MA
A Lecture Note on Offline RL and IRL, Part II: Foundations of Inverse Reinforcement Learning and Dynamic Discrete Choice Models
University of Washington, Foster School of Business（华盛顿大学，福斯特商学院）
本文证明了逆强化学习（IRL）与动态离散选择（DDC）模型的等价性，回顾了经典识别结果和计算范式，并介绍了现代机器学习方法及其识别特性。
2026-05-29 cs.LG econ.EM
Interpretable Control by Reinforcement Learning
Siemens AG（西门子股份公司）
在本文中，三个最近推出的强化学习（RL）方法被用来生成人类可解释的政策的车杆平衡基准。新的RL方法以紧凑的模糊控制器和简单的代数方程的形式学习人类可解释的策略。的表示，以及实现的控制性能进行了比较，与两个经典的控制器设计方法和三个不可解释的RL方法。所有八种方法都使用相同的先前生成的数据批次，并离线生成其控制器-而不与真实的基准动态进行交互。实验表明，新的强化学习方法能够自动生成性能良好的策略，同时这些策略是人类可解释的。此外，其中一种方法被应用到自动学习基于方程的政策，硬件车杆演示器通过只使用人类玩家生成的批处理数据。在第一次尝试中生成的解决方案已经代表了成功的平衡策略，这表明该方法适用于现实世界的问题。
2020-07-20 cs.AI cs.LG cs.RO
Parameterized Projected Bellman Operator
German Research Center for AI (DFKI)（德国人工智能研究中心 (DFKI)）；TU Darmstadt（达姆施塔特工业大学）；Politecnico di Milano（米兰理工大学）
针对近似值迭代中转移样本质量差、投影步骤计算成本高的问题，提出可学习的投影贝尔曼算子PBO，通过神经网络参数化实现离线/在线学习，理论分析其性质并实验验证其优于常规贝尔曼算子。
2024-03-06 cs.AI cs.LG
Fitted Occupancy-Ratio Evaluation without Bellman Completeness
Stanford University（斯坦福大学）
针对离线强化学习分布偏移下的离策略评估问题，提出拟合占用比评估方法FORE，通过伴随贝尔曼递归估计占用比，仅需占用比可实现性，无需贝尔曼完备性等条件，保障离线策略评估收敛性。
2026-07-29 cs.LG stat.ML
Finer Behavioral Foundation Models via Auto-Regressive Features and Advantage Weighting
针对前向-后向表示（FB）框架训练行为基础模型（BFMs）的线性编码限制和离线训练问题，引入自回归特征提升表达能力，并适配离线RL技术，在D4RL基准上性能与单任务离线智能体相当。
2024-12-05 cs.LG
Trust Region Q Adjoint Matching
KAIST AI（韩国科学技术院人工智能）；Seoul National University（首尔国立大学）；RLWRLD
针对预训练流策略的离策略强化学习不稳定性，提出信任区域Q伴随匹配方法，通过投影对偶下降自适应控制路径空间KL散度，实现稳定微调，在50个OGBench任务中离线RL成功率达68%。
2026-10-09 cs.AI cs.LG cs.RO
ODICE: Revealing the Mystery of Distribution Correction Estimation via Orthogonal-gradient Update
Shanghai Jiao Tong University（上海交通大学）；UT Austin（德克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）；AIR
针对离线RL与IL中DICE方法因前后梯度冲突性能不佳的问题，提出将反向梯度投影至前向梯度法平面的正交梯度更新，经理论与实验验证该方法实现SOTA性能与强鲁棒性。
2024-02-01 cs.AI cs.LG
Q-function Decomposition with Intervention Semantics with Factored Action Spaces
IBM T. J. Watson Research Center（IBM 沃森研究中心）；The Chinese University of Hong Kong（香港中文大学）
针对离散分解动作空间中组合爆炸导致的强化学习难题，本文提出动作分解强化学习方法，利用因果效应估计在低维投影子空间上分解 Q 函数，显著提升了样本效率。
2025-04-30 cs.AI cs.LG
Spectral Decomposition Representation for Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）；University of Alberta（阿尔伯塔大学）；Georgia Tech（佐治亚理工学院）
表示学习通常通过管理维度灾难在强化学习中起着关键作用。一类具有代表性的算法利用随机过渡动力学的谱分解来构造在理想化设置中具有强理论性质的表示。然而，目前的谱方法受到有限的适用性，因为它们被构造为仅状态聚合和来自一个依赖于策略的过渡内核，而不考虑探索的问题。为了解决这些问题，我们提出了一种替代的谱方法，谱分解表示（SPEDER），从动态中提取状态-动作抽象，而不会引起对数据汇集策略的虚假依赖，同时还平衡了学习过程中的探索与利用权衡。理论分析建立了所提出的算法在在线和离线设置的样本效率。此外，实验研究表明，在几个基准测试的性能优于当前国家的最先进的算法。
2023-03-07 cs.LG stat.ML
From Rules to Rewards: Reinforcement Learning for Interest Rate Adjustment in DeFi Lending
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；UZH Blockchain Center（苏黎世大学区块链中心）
本文利用离线强化学习优化 DeFi 借贷利率调整，基于 Aave 历史数据比较 CQL、BC 和 TD3-BC，发现 TD3-BC 在平衡利用率、资本稳定性与风险方面表现最优，并能有效应对历史压力事件。
2025-05-31 cs.LG
Counterfactual learning of new adaptive instructional policies using logged data
提出离线上下文赌博机框架，基于Rasch模型映射学生-项目交互到连续潜变量，通过平衡挑战与成功的奖励函数优化“心流”，在四个真实数据集上实现策略改进。
2026-06-23 cs.LG
DTR Bandit: Learning to Make Response-Adaptive Decisions With Low Regret
Cornell University（康奈尔大学）
动态治疗方案（DTR）是个性化的、自适应的、多阶段的治疗计划，其使治疗决策适应于个体的初始特征以及每个后续阶段的中间结果和特征，其受先前阶段中的决策的影响。例如，糖尿病、癌症和抑郁症等慢性疾病的个性化一线和二线治疗，这些治疗适应于患者对一线治疗的反应、疾病进展和个体特征。虽然现有的文献主要集中在估计的最佳DTR从离线数据，如从顺序随机试验，我们研究的问题，开发的最佳DTR在一个在线的方式，其中与每个人的互动影响我们的累积奖励和我们的数据收集为未来的学习。我们称之为DTR强盗问题。我们提出了一种新的算法，通过仔细平衡探索和利用，保证实现率最优的遗憾时，过渡和奖励模型是线性的。我们证明了我们的算法和它的好处都在合成实验和案例研究中的适应性治疗抑郁症使用真实世界的数据。
2022-09-20 cs.LG math.OC stat.ML
RLZero: Direct Policy Inference from Language Without In-Domain Supervision
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Alberta（阿尔伯塔大学）；Sony AI（索尼AI）；UMass Amherst（马萨诸塞大学阿默斯特分校）
RLZero通过预训练的RL代理，无需领域内监督，直接从自然语言指令生成行为策略。
2025-11-25 cs.AI cs.GR cs.LG
Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent
University of Oulu（奥卢大学）；US Army Research Laboratory（美国陆军研究实验室）；Purdue University（普渡大学）
在本文中，我们提出了一个节能的联邦元学习框架。我们的目标是能够学习一个元模型，可以微调到一个新的任务，在分布式设置中的几个样本，并在低计算和通信能耗。我们假设每个任务都由一个单独的代理拥有，因此使用有限数量的任务来训练元模型。假设每个任务都是在代理的本地数据上离线训练的，我们提出了一个轻量级算法，该算法从所有代理的本地模型开始，并以向后的方式使用投影随机梯度上升（P-SGA）找到一个元模型。所提出的方法避免了复杂的计算，如计算hessian，双循环，矩阵求逆，同时实现高性能，在显着更少的能源消耗相比，最先进的方法，如MAML和iMAML进行实验的正弦曲线回归和图像分类任务。
2021-05-31 cs.AI cs.DC cs.LG
Reinforcement-aware Knowledge Distillation for LLM Reasoning
Meta；Guo et al.；Lin et al.；Xu et al.；Shao et al.；Schulman et al.；Xie et al.
提出RL感知蒸馏（RLAD），通过信任区域比率蒸馏（TRRD）在强化学习后训练中实现选择性模仿，解决分布不匹配和目标干扰问题，在逻辑推理和数学基准上优于现有方法。
2026-06-19 cs.AI cs.LG
