Towards Robust Offline Reinforcement Learning under Diverse Data Corruption
HKUST(香港科技大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Washington University (St. Louis)(圣路易斯华盛顿大学);Tencent Robotics X(腾讯Robotics X实验室);Peking University(北京大学);CUHK (SZ)(香港中文大学(深圳))
该研究针对离线强化学习易受数据损坏影响的问题,发现隐式Q学习(IQL)鲁棒性较强,通过引入Huber损失和分位数估计器改进IQL,提出了更鲁棒的RIQL算法,在多种数据损坏场景下表现优异。
2024-03-09 cs.AI cs.LG
Robust Policy Expansion for Offline-to-Online RL under Diverse Data Corruption
Tsinghua University(清华大学);Tencent(腾讯);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对离线到在线强化学习在数据损坏下性能下降的问题,提出基于逆概率加权的鲁棒策略扩展方法RPEX,在D4RL数据集上实现最先进性能。
2025-10-16 cs.AI cs.LG
Tackling Data Corruption in Offline Reinforcement Learning via Sequence Modeling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);City University of Hong Kong(香港城市大学);Rice University(莱斯大学);University of Liverpool(利物浦大学);Tencent Robotics X(腾讯Robotics X实验室)
针对离线强化学习中的数据损坏问题,提出结合嵌入dropout、高斯加权学习和迭代数据校正的Robust Decision Transformer(RDT),显著提升了序列建模在噪声数据下的鲁棒性和性能。
2025-03-02 cs.AI cs.LG
A Unified Theoretical Analysis of Private and Robust Offline Alignment: from RLHF to DPO
Wayne State University(韦恩州立大学)
该研究在线性建模假设下,通过归约框架统一分析RLHF与DPO在LTC、CTL两种隐私-损坏场景下的离线对齐问题,证明LTC挑战更大,同时推进了单一场景下的相关理论研究。
2025-05-21 cs.AI cs.LG
Sparse Offline Reinforcement Learning with Corruption Robustness
University of Warwick(沃里克大学);MPI-SWS
本文研究了在强数据扰动下的稀疏离线强化学习鲁棒性,提出基于稀疏鲁棒估计器的actor-critic方法,提供首次非空保障。
2026-05-12 cs.LG stat.ML
ADG: Ambient Diffusion-Guided Dataset Recovery for Corruption-Robust Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ADG方法,利用环境扩散模型识别并修复离线强化学习中的损坏数据,可无缝集成任意离线RL算法,在多个基准上取得最先进结果。
2025-06-05 cs.AI cs.LG
Cascading Bandits Robust to Adversarial Corruptions
Hong Kong University of Science and Technology(香港科技大学);East China Normal University(华东师范大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
针对级联老虎机受对抗性篡改(如点击欺诈)时性能下降的问题,提出CBAC问题并设计两种分别假设篡改水平已知和未知的鲁棒算法,理论证明其未受攻击时对数级遗憾、受攻击时遗憾随篡改水平线性增加,实验验证了鲁棒性。
2025-02-12 cs.LG
Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment
University of Maryland, College Park(马里兰大学帕克分校);Amazon(亚马逊);University of Texas Arlington(德克萨斯大学阿灵顿分校)
本文提出RLHF-COV和DPO-COV算法,同时缓解离线和在线RLHF/DPO对齐中的腐败、过度优化和冗余问题,并通过理论证明和实验验证其有效性。
2025-12-09 cs.AI cs.LG
Learning from Imperfect Human Feedback: a Tale from Corruption-Robust Dueling
University of Chicago(芝加哥大学);University of Virginia(弗吉尼亚大学)
本文研究从不完美人类反馈中学习(LIHF),将其建模为腐败规模随时间衰减的凹效用连续动作对决老虎机,提出了达到近乎最优遗憾下界的RoSMID算法,并构建了适用于其他梯度算法的通用抗腐败分析框架。
2024-10-14 cs.LG stat.ML
Robust Linear Dueling Bandits with Post-serving Context under Unknown Delays and Adversarial Corruptions
KAIST(韩国科学技术院)
针对同时存在服务后上下文、延迟反馈和对抗性破坏的易变环境,提出RCDP-UCB算法,通过预测服务后上下文和自适应加权策略,实现了延迟无关的遗憾上界,并揭示了破坏与延迟之间的加性成本结构。
2026-05-30 cs.LG
Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption
The Hong Kong University of Science and Technology(香港科技大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对基于模型的强化学习中的对抗性腐败,提出CR-OMLE和CR-PMLE算法,利用基于总变差的信息比作为MLE权重,实现在线和离线设置下的最优或近最优遗憾保证。
2024-07-20 cs.LG stat.ML
Counterfactual Transport Flows for Offline Conservative Trajectory Refinement
ETH Zürich(苏黎世联邦理工学院);University of Science and Technology of China(中国科学技术大学)
提出反事实传输流框架,通过检索高反馈轨迹构建局部偏好对,实现离线决策的保守轨迹细化,在D4RL基准上提升历史回报表现。
2026-06-08 cs.LG
Online Bandit Learning with Offline Preference Data for Improved RLHF
University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind);USC(南加州大学)
针对现有在线强化学习方法无法利用离线偏好数据的问题,提出可借助离线偏好数据热启动的后验采样算法warmPref-PS,通过建模专家能力高效利用数据,在理论和实验上均验证了其优于基线的性能。
2025-05-16 cs.LG
Communication-Corruption Coupling and Verification in Cooperative Multi-Objective Bandits
Dept. of Electrical Engineering University at Buffalo Buffalo, NY, USA(电气工程系 布法罗大学)
该研究探讨了在对抗性腐败和有限验证条件下,合作多目标老虎机中通信与腐败的耦合关系,提出了一种协议诱导的多重性功能,并证明了在不同共享策略下团队的遗憾界限。
2026-02-20 cs.LG
Online Learning to Rank under Corruption: A Robust Cascading Bandits Approach
Brown University(布朗大学);University of Washington - Tacoma(华盛顿大学-塔科马)
本文提出鲁棒级联老虎机算法 MSUCB,通过中位数均值估计器首次在带腐败的在线学习排序中兼顾最优对数遗憾与强鲁棒性,并在真实数据集上显著优于现有方法。
2025-11-04 cs.LG
Binary Reward Labeling: Bridging Offline Preference and Reward-Based Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出二元奖励标注框架,将偏好反馈转换为标量奖励以复用基于奖励的离线强化学习算法,并在 D4RL 偏好数据集上验证其性能。
2024-10-23 cs.LG
From Reward-Free Representations to Preferences: Rethinking Offline Preference-Based Reinforcement Learning
本文提出一种结合无奖励表示学习和对比搜索微调的离线偏好强化学习框架,通过从无奖励离线数据中学习潜在后继度量表示,再利用偏好数据进行对比搜索和微调,显著提升了偏好效率。
2026-05-31 cs.LG
When Offline Evaluation Misleads: A Diagnostic Protocol for Reward and Policy Selection in Delayed-Feedback Contextual Bandits
Thumbtack, Inc.(Thumbtack公司)
针对延迟反馈情境多臂老虎机的奖励与策略选择,提出有序诊断协议,验证其有效性并揭示奖励排序易误导、个性化溢价易高估的结论。
2026-08-13 cs.LG
Deploying Offline Reinforcement Learning with Human Feedback
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室)
强化学习(RL)在现实世界的应用中已经显示出对决策任务的承诺。一个实用的框架涉及从离线数据集训练参数化策略模型,然后将其部署到在线环境中。然而,这种方法可能存在风险,因为离线训练可能并不完美,导致RL模型的性能较差,可能会采取危险的行动。为了解决这个问题,我们提出了一个替代框架,涉及到一个人监督RL模型,并在在线部署阶段提供额外的反馈。我们正式这个在线部署问题,并开发两种方法。第一种方法使用模型选择和置信上限算法从训练的离线RL模型的候选集合中自适应地选择要部署的模型。第二种方法涉及在监督信号到达时在线部署阶段对模型进行微调。我们证明了这些方法的有效性,机器人运动控制和交通灯控制任务,通过实证验证。
2023-03-13 cs.AI cs.LG
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research(谷歌研究院);Heidelberg University(海德堡大学);NEC Laboratories Europe(NEC欧洲实验室)
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息?在离线强化学习(RL)设置中使用这样的交互日志是一种有前途的方法。然而,由于NLP任务的性质和生产系统的限制,出现了一系列的挑战。我们对这些挑战进行了简要概述,并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Offline congestion games: How feedback type affects data coverage requirement
本文首次研究离线拥塞博弈中近似纳什均衡的恢复问题,针对设施级、智能体级、博弈级三种反馈类型,提出对应数据覆盖条件与算法,证明不同反馈类型存在形式化差异。
2024-10-04 cs.GT cs.LG cs.MA
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China(中国海洋大学);Bilkent University(比尔肯特大学);University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明,人类在训练的早期会给出大量的反馈,但之后就很少了。在这篇文章中,我们研究了代理学习的潜力,从教练的面部表情,通过解释他们作为评价反馈。为此,我们实现了TAMER,这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥,并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型,我们的分析表明,告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外,我们的模拟实验结果表明,仅仅从基于面部表情的预测反馈中学习是可能的,并且使用强大/有效的预测模型或回归方法,面部反应将显着提高代理的性能。此外,我们的实验支持以前的研究表明,双向反馈和竞争元素的重要性,在培训界面。
2020-01-23 cs.HC cs.LG
Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs
Virginia Tech(弗吉尼亚理工大学);University of Southern California(南加州大学);Dolby Labs(杜比实验室);Adobe Research(Adobe研究)
针对LLM路由中离线训练与在线部署反馈不一致的问题,提出BaRP方法,利用Bandit反馈在部分反馈下训练,支持测试时偏好调节,实验显示优于离线路由器和最大LLM,且泛化稳健。
2025-10-08 cs.LG
Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法,利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试,该方法能提升适应性、减少对齐错误,在有限数据下也保持稳健。
2026-07-10 cs.AI cs.HC cs.LG
Listwise Reward Estimation for Offline Preference-based Reinforcement Learning
Seoul National University(首尔大学)
本文提出列表式奖励估计LiRE,通过构建轨迹排序列表利用二阶偏好信息进行离线偏好强化学习,并在新数据集上验证其优于现有基线且对反馈数量和噪声具有鲁棒性。
2024-08-08 cs.AI cs.LG
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对离线强化学习面临的挑战,提出不确定性估计下的保守查询与自适应正则化框架,通过莫尔斯网络估计不确定性,采用保守查询策略与自适应正则化方案,与CQL集成并在D4RL基准测试,取得优异或有竞争力的性能。
2026-07-22 cs.LG
Human-centric Dialog Training via Offline Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
我们如何训练一个对话模型,通过学习人类的反馈来产生更好的对话,而不冒人类教它有害的聊天行为的风险?我们首先在线托管模型,并从实时的开放式对话中收集人类反馈,然后使用离线强化学习(RL)来训练和改进模型。我们确定了隐含的会话线索,包括语言相似性,笑声的启发,情感等,这表明积极的人类反馈,并将这些嵌入到多个奖励功能中。一个众所周知的挑战是,在离线环境中学习RL策略通常会失败,这是因为缺乏探索能力以及对未来奖励的估计过于乐观。当将RL用于语言模型时,这些问题变得更加困难,因为语言模型很容易拥有20,000个动作词汇表和许多可能的奖励函数。我们通过开发一类新的离线RL算法来解决这一挑战。这些算法使用KL控制来惩罚与预先训练的先验语言模型的偏差,并使用一种新的策略来使算法在面对不确定性时变得悲观而不是乐观。我们测试了由此产生的对话模型与80个用户在开放域设置的评级,并发现它实现了显着的改进,现有的深度离线RL方法。新的离线RL方法对于使用人类反馈的静态数据集来改进任何现有的生成对话模型是可行的。
2020-10-12 cs.CL cs.LG
Online Policy Learning from Offline Preferences
Kyoto University(京都大学)
本研究提出将离线偏好与虚拟偏好整合的PbRL框架,利用虚拟偏好跟踪智能体行为以解决奖励函数泛化问题,并在连续控制任务中验证了其有效性。
2024-03-15 cs.LG
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种用于离线奖励学习的统一线性规划框架,无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数,具有可证明的样本效率和最优性保证,性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
A Framework for Adapting Offline Algorithms to Solve Combinatorial Multi-Armed Bandit Problems with Bandit Feedback
提出通用框架,将离线近似算法适配为组合多臂老虎机问题的次线性α-遗憾方法,仅需老虎机反馈,并应用于子模最大化,实验优于对抗性全老虎机方法。
2023-10-11 cs.AI cs.DS cs.LG
Provable Pluralistic Alignment: Multi-Party RLHF under Offline Human Feedback
Peking University(北京大学);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学);Rutgers University(罗格斯大学)
本文提出离线RLHF下多方多元对齐的统一框架,通过联合估计参与方奖励并在纳什、功利和平均主义目标下悲观优化,处理有限、异质及循环反馈,提供有限样本保证。
2026-09-09 cs.AI cs.LG stat.ME
CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning
Iowa State University(爱荷华州立大学);BRAC University(BRAC大学)
本文针对离线强化学习中冗余数据成本高、简单子采样易丢失关键转移的问题,提出可复用的CODS数据选择方法,在D4RL、ALFWorld、GSM8K等任务上取得优异性能。
2026-08-11 cs.LG
Kernelized Offline Contextual Dueling Bandits
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
针对人类反馈获取成本高的问题,提出离线上下文对决式老虎机设定,设计上置信界风格算法并证明遗憾界,实验显示其效果优于均匀采样上下文的策略。
2023-07-21 cs.AI cs.LG stat.ML
Offline Clustering of Preference Learning with Active-data Augmentation
Nanjing University(南京大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对离线偏好学习中的用户相似性识别与数据不平衡挑战,提出Off-C$^2$PL及带主动数据增强的A$^2$-Off-C$^2$PL算法,通过聚类聚合数据并主动补充信息量最少的维度样本,理论证明与实验均验证了其有效性。
2025-10-31 cs.LG
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”,在仅限制逐点与总体扰动且不知算法的条件下,可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
Offline Constrained RLHF with Multiple Preference Oracles
University of Iowa(爱荷华大学)
本文基于多偏好Oracle研究离线约束强化学习,通过最大似然估计Oracle奖励并分析统计不确定性传播,将约束目标转化为KL-正则化拉格朗日函数,提出仅需对偶的算法以保证约束满足并提供有限样本性能保证。
2026-09-21 cs.LG
Real-World Offline Reinforcement Learning from Vision Language Model Feedback
Indian Institute of Technology, Kharagpur(印度理工学院,克哈格浦尔分校);IIIS, Tsinghua University(清华大学人工智能研究所);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出一种利用视觉语言模型偏好反馈自动为离线数据集生成奖励标签的系统,结合离线强化学习(隐式Q学习)在真实穿衣和模拟操作任务中显著优于基线方法。
2025-08-06 cs.AI cs.LG cs.RO
Offline RLAIF: Piloting VLM Feedback for RL via SFO
Jacob Beck 1
针对离线强化学习中如何整合 VLM 反馈的挑战,提出子轨迹过滤优化(SFO)框架,并设计子轨迹过滤行为克隆(SFBC)方法,通过回顾性过滤机制移除失败前的子轨迹,显著提升了基于视觉反馈的智能体学习的鲁棒性。
2025-09-14 cs.AI cs.LG
Corruption-Robust Offline Two-Player Zero-Sum Markov Games
University of Warwick(华威大学)
研究离线双人零和马尔可夫博弈中数据腐败的鲁棒性,提出鲁棒悲观极小极大值迭代算法,在腐败数据或仅干净数据覆盖下实现近最优次优性差距,首次给出此类问题的刻画。
2024-03-04 cs.GT cs.LG
Robust Asynchronous Q-Learning under Reward and State Corruption via Batching
North Carolina State University(北卡罗来纳州立大学)
研究在奖励和状态受对抗性损坏反馈下学习最优策略问题,提出基于批处理的BR-Async-Q算法,通过划分数据流为批次及构建鲁棒估计来抵御数据损坏,给出高概率误差界,为异步Q学习提供首个鲁棒性保证。
2026-07-27 cs.LG cs.SY eess.SY
Stochastic $k$-Submodular Bandits with Full Bandit Feedback
Iowa State University(爱荷华州立大学);Purdue University(普渡大学)
本文针对全赌博机反馈下的在线 $k$-子模优化,提出首个次线性 $\alpha$-遗憾界,覆盖多种约束场景,通过离线到在线框架转化算法,并分析离线算法的鲁棒性。
2024-12-14 cs.DS cs.LG stat.ML
Unsupervised Data Generation for Offline Reinforcement Learning: A Perspective from Model
本文从基于模型的离线强化学习优化视角,理论分析了批次数据对算法性能的影响,提出UDG方法在任务无关设置下生成并选择数据,有效缩小与最优策略的性能差距并在未知任务上超越监督式数据生成。
2025-06-24 cs.LG
Augmenting Offline Reinforcement Learning with State-only Interactions
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出利用无奖励的仅状态在线交互,通过条件扩散模型生成高回报轨迹并与离线数据拼接增强,从而提升下游离线强化学习性能。
2024-10-02 cs.LG
A General Offline Reinforcement Learning Framework for Interactive Recommendation
Westlake University(西湖大学)
针对交互式推荐难以在线探索的问题,本文提出通用离线强化学习框架,结合概率生成模型、随机策略推理及五种分布失配缓解方法,并在两个真实数据集上验证其优于现有方法。
2023-10-01 cs.IR cs.LG
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA(佛罗里达州立大学计算机科学系)
本文提出DARE框架,通过行为一致性实现样本级约束放松,解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战,改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Flexible Blood Glucose Control: Offline Reinforcement Learning from Human Feedback
University of Bristol(布里斯托尔大学);University Hospital Southampton(南安普顿大学医院)
本文提出PAINT框架,通过基于草图的奖励学习和安全约束离线RL算法,从患者记录中学习灵活的胰岛素给药策略,在模拟T1D患者中显著降低血糖风险并有效结合患者偏好与专业知识。
2025-01-27 cs.AI cs.LG
Corruption-robust exploration in episodic reinforcement learning
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research NYC(微软研究院纽约市分部);UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
本文研究情景强化学习在奖励和转移概率同时存在对抗性腐败时的探索问题,提出结合乐观探索与动作消除的框架,在无腐败时保持近最优遗憾,并能优雅适应未知腐败水平,首次给出可容纳非独立同分布转移的次线性遗憾保证。
2023-11-01 cs.AI cs.DS cs.LG
Preference Elicitation for Offline Reinforcement Learning
ETH AI Center(ETH人工智能中心);ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(智能系统马克斯·普朗克研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所);University of Zürich(苏黎世大学)
本文提出Sim-OPRL算法,通过环境模型在模拟轨迹上引发偏好,结合悲观与乐观策略,解决离线偏好强化学习中的偏好获取问题,并提供样本复杂度保证与实验验证。
2025-02-28 cs.AI cs.LG
Offline Reinforcement Learning for Mobile Notifications
LinkedIn Corporation(领英公司)
移动通知系统在推动和维持在线平台的用户参与方面发挥了重要作用。对于机器学习从业者来说,它们是有趣的推荐系统,具有更多的顺序和长期反馈考虑。通知系统中的大多数机器学习应用都是围绕响应预测模型构建的,试图将短期影响和长期影响归因于通知决策。然而,用户的体验取决于一系列通知,并且将影响归因于单个通知并不总是准确的,如果不是不可能的话。在本文中,我们认为,强化学习是一个更好的框架通知系统的性能和迭代速度。我们提出了一个离线强化学习框架来优化驱动用户参与的顺序通知决策。我们描述了一种状态边缘化的重要性采样策略评估方法,该方法可用于离线评估策略和调整学习超参数。通过模拟近似的通知生态系统,我们展示了离线评估方法的性能和优势,作为强化学习建模方法的一部分。最后,我们通过生产系统的在线探索收集数据,训练离线双深Q网络,在线发布成功的策略。我们还讨论了实际的考虑和结果,通过部署这些政策的大规模推荐系统用例。
2022-02-04 cs.LG
Reinforcement Learning with Sparse Rewards using Guidance from Offline Demonstration
Texas A&M University(得克萨斯农工大学)
现实世界中的强化学习(RL)的主要挑战是奖励反馈的稀疏性。通常,可用的是直观但稀疏的奖励函数,仅指示任务是部分完成还是全部完成。然而,缺乏精心设计的细粒度反馈意味着大多数现有的RL算法无法在合理的时间范围内学习可接受的策略。这是因为策略在获得任何有用的反馈之前必须执行大量的探索操作。在这项工作中,我们通过开发一种算法来解决这个具有挑战性的问题,该算法利用次优行为策略生成的离线演示数据,在这种稀疏奖励设置中实现更快,更有效的在线RL。所提出的算法,我们称之为学习在线离线指导(ESTA)算法,合并了一个政策改进的步骤,通过使用离线演示数据的一个额外的政策指导步骤。其关键思想是,通过从离线数据中获得指导(而不是模仿),以次优策略的方式调整其策略,同时能够学习超越并接近最优。我们提供了我们的算法的理论分析,并提供了一个下界的性能改善,在每个学习情节。我们还将我们的算法扩展到更具挑战性的不完整观测设置,其中演示数据仅包含真实状态观测的删失版本。我们证明了我们的算法优于国家的最先进的方法在一些基准环境与稀疏的奖励和审查状态。此外,我们证明了我们的方法的价值,通过实现轨迹跟踪和避障的移动机器人,在那里它表现出优异的性能。
2022-02-13 cs.AI cs.LG
Square$χ$PO: Differentially Private and Robust $χ^2$-Preference Optimization in Offline Direct Alignment
Wayne State University(韦恩州立大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出 Square$χ$PO 算法,通过将标准对数损失替换为概率平方损失,在一般函数逼近下同时实现了具备理论保证的差分隐私保护与鲁棒的离线直接对齐,并揭示了隐私与损坏先后顺序的影响。
2025-05-27 cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题,提出扩散分类器驱动的奖励方法(DPR及条件变体C-DPR),通过判别性推断提升奖励质量,实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Redistribution-based Cost Inference Improves Sparse Safe Offline RL
University of the Witwatersrand(威特沃特斯兰德大学)
针对安全离线强化学习中稀疏轨迹级停止反馈问题,提出RCI框架转换为密集每步代价,经理论证明转换无损,实验在两类任务上违规率更低且鲁棒性好。
2026-08-13 cs.AI cs.LG
Offline-to-online hyperparameter transfer for stochastic bandits
Google LLC(谷歌公司);TTIC(芝加哥丰田技术研究所)
本文研究随机老虎机超参数调优难题,提出利用多任务离线数据为未知分布中的新在线任务迁移超参数,并给出任务间与任务内样本复杂度界。
2025-01-06 cs.LG