Robust Asynchronous Q-Learning under Reward and State Corruption via Batching
North Carolina State University（北卡罗来纳州立大学）
研究在奖励和状态受对抗性损坏反馈下学习最优策略问题，提出基于批处理的BR-Async-Q算法，通过划分数据流为批次及构建鲁棒估计来抵御数据损坏，给出高概率误差界，为异步Q学习提供首个鲁棒性保证。
2026-07-27 cs.LG cs.SY eess.SY
Robust Reinforcement Learning from Corrupted Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）
针对人类反馈偏好标签易受污染的问题，提出鲁棒RLHF方法$R^3M$，通过ℓ₁正则化建模稀疏异常值，兼具高效性与理论保证，可扩展至多类偏好优化方法，在机器人控制与大语言模型生成任务上验证了奖励鲁棒性的提升。
2024-07-09 cs.LG
Easy to Catch a Liar, Hard to Clear an Honest One: Language Models Diagnosing a Corrupted Reward Channel from a Verified Record
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本研究探讨语言模型在奖励报告异常时，能否利用验证记录区分诚实与撒谎的报告者；发现模型能有效识别撒谎者，但常误判诚实者，且受表面特征影响，失败程度超预期。
2026-09-16 cs.AI cs.CL cs.LG
Corrupt Bandits for Preserving Local Privacy
Inria Lille Nord-Europe（法国国家信息与自动化研究所里尔北欧中心）；Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）
我们研究了随机多臂强盗（MAB）问题的一个变种，其中的奖励是腐败的。在这个框架中，出于在线推荐系统中的隐私保护的动机，目标是最大化（未观察到的）奖励的总和，基于通过具有已知参数的随机腐败过程对这些奖励的变换的观察。我们提供了一个下界的预期遗憾的任何强盗算法在此损坏的设置。我们设计了一个频率论算法，KLUCB-CF，和贝叶斯算法，TS-CF，并给出他们的遗憾上界。我们还提供了适当的腐败参数，以保证所需的本地隐私水平，并分析这如何影响遗憾。最后，我们提出了一些实验结果，证实了我们的分析。
2017-11-02 cs.LG stat.ML
Efficient and Optimal Policy Gradient Algorithm for Corrupted Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对受对抗性污染的随机多臂老虎机问题，提出将策略梯度算法SAMBA应用于该场景，证明其计算高效且遗憾上界更优，仿真验证其性能优于现有基准。
2025-02-19 cs.LG
Corruption Robust Offline Reinforcement Learning with Human Feedback
University of Warwick（华威大学）；Max-Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Independent Researcher（独立研究员）
研究离线环境下人类反馈强化学习的数据鲁棒性，提出基于置信集和悲观策略的鲁棒方法，首次提供可证明的鲁棒性保证。
2026-07-01 cs.AI cs.LG
Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions
University of Science and Technology of China（中国科学技术大学）
针对多样数据损坏导致离线强化学习智能体性能下降的问题，提出基于贝叶斯推理的TRACER方法，通过熵度量区分并降低损坏数据影响，在多种损坏场景下性能优于现有最优方法。
2024-11-01 cs.AI cs.LG
The Alignment Illusion: How BadReward Corrupts Text-to-Image Generation
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；KTH Royal Institute of Technology（皇家理工学院）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出BadReward，一种针对多模态RLHF奖励模型的隐蔽干净标签投毒攻击，通过特征碰撞破坏奖励模型，使T2I模型生成不当图像，揭示多模态RLHF安全威胁。
2026-11-03 cs.AI cs.CR cs.LG
ADG: Ambient Diffusion-Guided Dataset Recovery for Corruption-Robust Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出ADG方法，利用环境扩散模型识别并修复离线强化学习中的损坏数据，可无缝集成任意离线RL算法，在多个基准上取得最先进结果。
2025-06-05 cs.AI cs.LG
RoDiF: Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback
Interactive Systems (IRIS) Lab, Arizona State University, Tempe AZ, USA.（智能机器人与交互系统实验室，亚利桑那州立大学）
RoDiF通过几何假设切割视角和保守切割策略，实现无假设噪声分布的鲁棒直接微调，提升扩散策略在损坏人类反馈下的性能。
2026-01-31 cs.LG cs.RO
Multi-Hop Knowledge Graph Reasoning with Reward Shaping
Salesforce Research（Salesforce研究院）
多跳推理是不完备知识图谱（KG）上的一种有效的查询回答（QA）方法。该问题可以用强化学习（RL）设置来表述，其中基于策略的代理顺序地扩展其推理路径，直到到达目标。然而，在一个不完整的KG环境中，代理收到低质量的奖励损坏的假阴性的训练数据，这损害了在测试时的泛化。此外，由于没有使用黄金动作序列进行训练，智能体可能会被虚假的搜索轨迹误导，从而偶然导致正确的答案。我们提出了两个建模改进来解决这两个问题：（1）我们通过采用预训练的一跳嵌入模型来估计未观察到的事实的奖励来减少假阴性监督的影响;（2）我们通过强制代理使用随机生成的边缘掩码探索不同的路径来对抗对策略RL的虚假路径的敏感性。我们的方法在几个基准数据集上显着改进了现有的基于路径的KGQA模型，并且与基于嵌入的模型相当或更好。
2018-09-11 cs.AI cs.CL cs.LG
The Distributional Reward Critic Framework for Reinforcement Learning Under Perturbed Rewards
The Ohio State Univeristy（俄亥俄州立大学）
针对强化学习中未知且更一般的奖励扰动问题，本文提出分布奖励评论家框架，可在训练中估计奖励分布与扰动，兼容任意RL算法，并在44/48个测试设置中取得最高或并列最高回报。
2025-03-10 cs.LG
Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization
University of Florida（佛罗里达大学）；UC San Diego（加州大学圣迭戈分校）；Northeastern University（东北大学）；Northwestern University（西北大学）；Stanford University（斯坦福大学）；Universität Innsbruck（因斯布鲁克大学）
针对多奖励策略优化中现有方法的缺陷，提出SA-MRPO方法，动态分配优化资源，在数学推理、自适应推理、编码任务中均实现性能提升。
2026-10-06 cs.AI cs.LG
Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
UC Berkeley（加州大学伯克利分校）；Transmute AI；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）
研究揭示了过程奖励模型在对抗性攻击下的脆弱性，指出其更像流畅性检测器而非推理验证器，并提出PRM-BiasBench用于评估模型鲁棒性。
2026-02-20 cs.LG
Communication-Constrained Bandits under Additive Gaussian Noise
National University of Singapore（新加坡国立大学）
研究加性高斯噪声和二阶矩功率约束下的分布式随机多臂老虎机，给出极小极大遗憾下界，并提出多阶段 UE-UCB++ 算法实现近似匹配。
2023-06-06 cs.IT cs.LG math.IT
Learning Fast Sample Re-weighting Without Reward Data
Google Cloud AI（谷歌云AI）
训练样本重新加权是一种有效的方法来解决数据偏差，如不平衡和损坏的标签。最近的方法开发了基于学习的算法，以基于强化学习和元学习的框架来学习样本重新加权策略以及模型训练。然而，依赖于额外的无偏奖励数据限制了它们的普遍适用性。此外，现有的基于学习的样本重新加权方法需要对模型和加权参数进行嵌套优化，这需要昂贵的二阶计算。本文针对这两个问题，提出了一种新的基于学习的快速样本重新加权（FSR）方法，不需要额外的奖励数据。该方法基于两个关键思想：从历史中学习以建立代理奖励数据和特征共享以降低优化成本。我们的实验表明，所提出的方法相比，在标签噪声鲁棒性和长尾识别的最新技术水平，取得了有竞争力的结果，这样做，同时实现显着提高训练效率。源代码可在https://github.com/google-research/google-research/tree/master/ieg上公开获得。
2021-09-07 cs.CV cs.LG
Meta-Cognitive Reinforcement Learning with Self-Doubt and Recovery
China Mobile Research Institute（中国移动研究院）；China Mobile GBA (Greater Bay Area) Innovation Institute（中国移动粤港澳大湾区创新研究院）
本文提出一种元认知强化学习框架，使智能体能根据内部可靠性信号评估、调节和恢复学习行为，通过引入由价值预测误差稳定性驱动的元信任变量，提升鲁棒性与学习稳定性。
2026-03-23 cs.AI cs.LG
Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets
Department of Cybersecurity（网络安全系）；Rochester Institute of Technology（罗切斯特理工学院）；Mechanical Engineering Department（机械工程系）
本文提出了一种鲁棒的模仿学习方法Density-Ratio Weighted Behavioral Cloning，通过使用一个小的验证干净参考集估计轨迹级密度比，以优先考虑干净的专家行为并降低或丢弃受污染的数据，从而在不需了解污染机制的情况下提升政策性能。
2026-05-17 cs.LG cs.SY eess.SY
Imitation Dominates Reinforcement: Direct In-Context RL Is Closer to ICL Than RL
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
该研究通过实验发现直接上下文强化学习（ICRL）中奖励影响极小，轨迹推动性能提升的关键并非语义内容，直接ICRL更应视为上下文学习（ICL）的特例，为智能体记忆设计提供了新方向。
2026-11-04 cs.CL cs.LG
Robust Policy Gradient against Strong Data Corruption
University of Wisconsin--Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
研究了对抗性腐败下的鲁棒强化学习问题。我们的攻击模型假设一个\textit{adaptive}对手可以任意破坏奖励和过渡在每一步的情节，最多$ε$ -分数的学习情节。我们的攻击模型是严格强于那些考虑在以前的作品。我们的第一个结果表明，没有算法可以找到一个更好的比$O(ε)$ -最优策略下，我们的攻击模型。接下来，我们表明，令人惊讶的自然策略梯度（NPG）方法保留了自然的鲁棒性，如果奖励腐败是有界的，可以找到一个$O(\sqrtε)$最优的政策。因此，我们开发了一个过滤的策略梯度（FPG）算法，甚至可以容忍无限的奖励腐败，并可以找到一个$O(ε^{1/4})$最优的政策。我们强调，FPG是第一个可以实现一个有意义的学习保证时，一个恒定的分数的情节被损坏。补充的理论结果，我们表明，神经实现的FPG实现强大的鲁棒学习性能的MuJoCo连续控制基准。
2021-06-08 cs.LG
Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning
Dept. of Comp. Sci. & Tech., Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, THBI Lab, Tsinghua University, Beijing（计算机科学与技术系，人工智能研究院，BNRist中心，清华大学-博世联合机器学习中心，THBI实验室，清华大学，北京）；Dept. of Automation, Tsinghua University, Beijing（自动化系，清华大学，北京）
本文提出Ranking-Aware Calibration方法，通过利用组内强化学习自然产生的比较信号，提升多模态强化学习的校准能力，从而提高任务准确性和校准效果。
2026-05-16 cs.LG
Structured Role-Aware Policy Optimization for Multimodal Reasoning
School of Computing & Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）；School of Computing & Data Science and Institute of Data Science, The University of Hong Kong（计算与数据科学学院和数据科学研究所，香港大学）
本文提出结构化角色感知策略优化(SRPO)，通过角色感知的token级信用分配提升多模态推理中的证据基础推理能力，无需外部奖励模型。
2026-05-08 cs.AI cs.LG
On Corruption-Robustness in Performative Reinforcement Learning
Archimedes/Athena RC（阿基米德/雅典娜研究中心）；University of Warwick（华威大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文针对表现性强化学习中数据可能被对抗性污染的问题，提出基于污染梯度凸-凹优化的重复重训练方法及鲁棒梯度均值估计器，证明其末迭代收敛到近似稳定策略且误差与√ε线性相关，并通过实验验证了考虑污染的必要性。
2025-05-08 cs.LG
Reinforcement Learning with Perturbed Rewards
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois, Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究表明，强化学习（RL）模型在各种噪声场景中是脆弱的。例如，观察到的奖励信道在实践中经常受到噪声的影响（例如，当通过传感器收集奖励时），因此是不可信的。此外，对于诸如机器人之类的应用，可以操纵深度强化学习（DRL）算法，以通过接收损坏的奖励来产生任意错误。在本文中，我们考虑带扰动报酬的噪声RL问题，可以用混淆矩阵来近似。我们开发了一个强大的RL框架，使代理学习在嘈杂的环境中，只有扰动奖励观察。我们的解决方案框架建立在现有的RL/DRL算法的基础上，首先解决了有偏见的噪声奖励设置，而没有对真实分布的任何假设（例如，零均值高斯噪声，如在以前的作品）。我们的解决方案的核心思想包括估计奖励混淆矩阵和定义一组无偏的代理奖励。我们证明了我们的方法的收敛性和样本的复杂性。在不同DRL平台上的大量实验表明，基于我们估计的代理奖励的训练策略可以实现更高的预期奖励，并且比现有基线收敛得更快。例如，最先进的PPO算法能够获得84.6%和80.8%的改进，平均分数为五个雅达利游戏，出错率分别为10%和30%。
2020-02-01 cs.CR cs.CV cs.LG
Corruption-Tolerant Asynchronous Q-Learning with Near-Optimal Rates
Electrical and Computer Engineering, North Carolina State University, Raleigh, NC, USA（北卡罗来纳州立大学电气与计算机工程系）
本文研究了在存在对抗性损坏奖励的情况下，在折扣无限时间 horizon 的强化学习设置中学习最优策略的问题。通过开发一种新的鲁棒Q学习变体，并在具有时间相关数据的挑战性异步采样模型下分析该算法，证明了在存在损坏的情况下，该方法的有限时间保证与现有界限相匹配，仅在加性项上与损坏样本的比例成比例。还建立了信息论下界，揭示了我们的保证是近最优的。值得注意的是，我们的算法对底层奖励分布不敏感，并为异步Q学习提供了首次有限时间鲁棒性保证。分析中的关键元素是针对近鞅的改进Azuma-Hoeffding不等式，这可能在研究强化学习算法时有更广泛的应用。
2026-05-21 cs.LG cs.SY eess.SY
Verifiable Rewards for Calibrated Probabilistic Forecasting
Cascade Research（Cascade研究机构）
针对概率预测中奖励信号噪声导致校准退化的问题，提出基于历史结果的无标签可验证奖励，结合梯度掩码保持推理链，使7B模型达到博彩市场校准水平。
2026-07-02 cs.LG
On the continuity and smoothness of the value function in reinforcement learning and optimal control
Paderborn University（帕德博恩大学）
本文研究强化学习与最优控制中价值函数的连续性，通过提供并验证连续性模的上界，证明在较弱假设下价值函数始终Hölder连续，且轻微扰动系统可使不可微价值函数变得可微。
2024-03-21 cs.AI cs.SY eess.SY
A New Bandit Setting Balancing Information from State Evolution and Corrupted Context
Center for Applied Intelligent Systems Research（应用智能系统研究中心）；Halmstad University（哈尔姆斯塔德大学）
针对移动健康等场景中状态不可观测、上下文可能被污染的序贯决策问题，提出融合上下文老虎机与多臂老虎机策略的算法，通过马尔可夫状态转移建模提升决策效率，实验验证其性能优于现有方法。
2023-11-05 cs.LG stat.ML
Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment
University of Maryland, College Park（马里兰大学帕克分校）；Amazon（亚马逊）；University of Texas Arlington（德克萨斯大学阿灵顿分校）
本文提出RLHF-COV和DPO-COV算法，同时缓解离线和在线RLHF/DPO对齐中的腐败、过度优化和冗余问题，并通过理论证明和实验验证其有效性。
2025-12-09 cs.AI cs.LG
Predictive Bandits
Royal Institute of Technology (KTH)（皇家理工学院（KTH））；Ericsson Research（爱立信研究院）
我们介绍和研究一类新的随机土匪问题，称为预测土匪。在每一轮中，决策者首先决定是否收集关于特定武器的奖励的信息（以便可以预测他们在这一轮中的奖励）。这些测量是昂贵的，并且可能被噪声破坏。然后决策者选择一只手臂在回合中实际使用。预测强盗在许多领域中找到应用;例如，它们可以应用于无线电通信系统中的信道选择问题。在本文中，我们提供了第一个预测土匪的理论结果，并专注于决策者被允许测量最多一个手臂每轮的情况。我们推导出这些问题的渐近实例特定的遗憾下界，并开发算法的遗憾匹配这些基本限制。我们通过数值实验说明了我们的算法的性能。特别是，我们强调了通过使用奖励预测可以实现的收益，并研究了相应测量中噪声的影响。
2020-04-02 cs.LG stat.ML
LLM Misalignment via Adversarial RLHF Platforms
本文提出一种针对公开RLHF平台的对抗性攻击，通过选择性操纵偏好数据集损坏奖励模型，导致语言模型在目标领域内发生错位并产生不良行为，揭示了RLHF平台的安全漏洞。
2025-03-04 cs.AI cs.LG
Cooperative Stochastic Multi-agent Multi-armed Bandits Robust to Adversarial Corruptions
University California San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们研究了在合作的多智能体设置，$V$代理与一个共同的$K$ -武装土匪问题，和每对代理可以相互通信，以加快学习过程中的对抗性腐败的随机土匪问题。在这个问题中，奖励是从所有代理和回合的分布中独立采样的，但它们可能会被对手破坏。我们的目标是最大限度地减少所有代理的总体遗憾和通信成本。我们首先表明，腐败的添加剂长期是不可避免的任何算法在这个问题。然后，我们提出了一个新的算法，是不可知的腐败程度。我们的算法不仅实现了近最佳的遗憾在随机设置，但也获得了遗憾与腐败的腐败设置中的附加项，同时保持有效的通信。该算法也适用于单代理腐败问题，并实现了一个高概率的遗憾，消除了腐败水平的乘法依赖$K$。我们对单药病例的结果解决了Gupta et al. [2019]的一个未决问题。
2021-06-08 cs.LG
Towards Robust Offline Reinforcement Learning under Diverse Data Corruption
HKUST（香港科技大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Washington University (St. Louis)（圣路易斯华盛顿大学）；Tencent Robotics X（腾讯Robotics X实验室）；Peking University（北京大学）；CUHK (SZ)（香港中文大学（深圳））
该研究针对离线强化学习易受数据损坏影响的问题，发现隐式Q学习（IQL）鲁棒性较强，通过引入Huber损失和分位数估计器改进IQL，提出了更鲁棒的RIQL算法，在多种数据损坏场景下表现优异。
2024-03-09 cs.AI cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Composite Reward Design in PPO-Driven Adaptive Filtering
Middle East Technical University (METU)（中东技术大学）
本文提出基于PPO的自适应滤波框架，通过复合奖励平衡信噪比提升、均方误差降低和残差平滑度，实验显示其在动态非稳态环境中优于传统滤波器。
2026-07-03 cs.LG cs.SY eess.SP
Data Valuation using Reinforcement Learning
Google Cloud AI（谷歌云人工智能）；UCLA（加州大学洛杉矶分校）
量化数据的价值是机器学习中的一个基本问题。数据估值有多个重要的用例：（1）构建关于学习任务的见解，（2）领域自适应，（3）损坏的样本发现，以及（4）鲁棒学习。为了自适应地学习数据值与目标任务预测模型，我们提出了一个元学习框架，我们命名为数据估值使用强化学习（DVRL）。我们采用数据值估计器（由深度神经网络建模）来学习每个数据在预测模型的训练中使用的可能性。我们训练的数据值估计器使用的强化信号的奖励上获得的一个小的验证集，反映目标任务的性能。我们证明了DVRL在不同类型的数据集和不同的应用场景中产生优于其他方法的数据值估计。DVRL的损坏的样本发现性能在许多机制中接近最优（即，就好像噪声样本是先验已知的），并且对于领域自适应和鲁棒学习，DVRL分别显著优于最先进的14.6%和10.8%。
2019-09-25 cs.LG stat.ML
Multi-Agent Stochastic Bandits Robust to Adversarial Corruptions
CICS, UMass Amherst（马萨诸塞大学阿默斯特分校CICS（计算机与信息科学学院））；CS, CityU（香港城市大学计算机科学系）
针对异构多智能体多臂老虎机中的对抗性攻击问题，提出一种鲁棒的协作学习算法，证明对手攻击仅引入加性遗憾项，并在退化场景下改进现有最优遗憾界。
2024-11-12 cs.LG stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham（伯明翰大学）；Iowa State University（爱荷华州立大学）
针对带噪声上下文的随机线性老虎机问题，提出一种基于贝叶斯框架的Thompson Sampling算法，并通过信息论分析证明其贝叶斯遗憾，发现延迟观测真实上下文可降低遗憾，实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
One More Step Towards Reality: Cooperative Bandits with Imperfect Communication
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
合作强盗问题由于其在大规模决策中的应用而变得越来越重要。然而，这个问题的大多数研究只集中在完美的通信设置，而在大多数现实世界的分布式设置，通信往往是随机网络，任意腐败和延迟。在本文中，我们研究了三个典型的现实世界的通信场景下，即（a）消息传递随机时变网络，（b）即时奖励共享网络上的随机延迟，（c）消息传递与adversarially损坏的奖励，包括拜占庭通信。对于这些环境中的每一个，我们提出了分散的算法，实现有竞争力的性能，以及对所产生的群体遗憾的接近最优的保证。此外，在设置与完美的通信，我们提出了一种改进的延迟更新算法，优于现有的国家的最先进的各种网络拓扑结构。最后，我们提出了紧网络依赖的极大极小下限的群体遗憾。我们提出的算法是直接实现，并获得有竞争力的经验性能。
2021-11-24 cs.LG stat.ML
Nearly Optimal Algorithms for Linear Contextual Bandits with Adversarial Corruptions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
我们研究了存在对抗性腐败的线性上下文强盗问题，其中每一轮的奖励都被对手腐败，腐败水平（即，在范围上的损坏幅度的总和）是$C\geq 0$。在这种情况下，最著名的算法是有限的，因为它们要么是计算效率低，或需要一个强大的假设上的腐败，或他们的遗憾是至少$C$倍，比没有腐败的遗憾。在本文中，为了克服这些局限性，我们提出了一种新的算法的基础上的乐观原则，面对不确定性。我们算法的核心是加权岭回归，其中每个选择的动作的权重取决于其置信度达到某个阈值。我们发现，对于已知的$C$和未知的$C$的情况下，我们的算法与适当的选择超参数实现了遗憾，几乎匹配的下限。因此，我们的算法几乎是最佳的对数因子的两种情况下。值得注意的是，我们的算法实现了近最优的遗憾损坏和未损坏的情况下（$C=0$）同时。
2022-07-10 cs.LG stat.ML
Reward Learning with Trees: Methods and Evaluation
University of Bristol（布里斯托大学）；Thales（泰雷兹集团）
最近从人类反馈中学习奖励函数的努力倾向于使用深度神经网络，其缺乏透明度阻碍了我们解释代理行为或验证对齐的能力。我们探索学习本质上可解释的树模型的优点。我们开发了一个最近提出的方法学习奖励树的偏好标签，并表明它是广泛的竞争对手神经网络具有挑战性的高维任务，具有良好的鲁棒性有限或损坏的数据。在发现奖励树学习可以在复杂的环境中有效地完成之后，我们考虑了为什么应该使用它，证明了可解释的奖励结构为可追溯性，验证和解释提供了重要的范围。
2022-10-03 cs.AI cs.LG
Inverse Rational Control with Partially Observable Continuous Nonlinear Dynamics
Soongsil University（崇实大学）；Google Inc.（谷歌公司）；University of Minnesota（明尼苏达大学）；Rice University（莱斯大学）
神经科学中的一个基本问题是大脑如何创建一个世界的内部模型，以使用模糊的感官信息序列来指导行动。这自然被表述为部分观测下的强化学习问题，其中代理必须根据其证据估计世界中的相关潜在变量，预测可能的未来状态，并选择优化总预期奖励的行动。这个问题可以通过控制理论来解决，它允许我们找到给定系统动态和目标函数的最佳动作。然而，动物往往表现得不够理想。为什么？为什么？我们假设动物有自己的内部世界模型，并根据这个有缺陷的模型选择具有最高预期主观奖励的行为。我们将这种行为描述为理性的，但不是最优的。逆理性控制（IRC）问题的目的是确定哪个内部模型最能解释代理的行为。我们的贡献在这里概括了过去的工作逆理性控制，解决了这个问题的离散控制部分可观测马尔可夫决策过程。在这里，我们容纳连续的非线性动力学和连续的行动，并归咎于感官观察腐败的未知噪声是私人的动物。我们首先构建一个最优贝叶斯代理，该代理使用深度强化学习学习在整个动态和主观奖励模型空间上推广的最优策略。至关重要的是，这使我们能够计算从次优代理获得的实验可观察动作轨迹的模型的可能性。然后，我们使用梯度上升找到使可能性最大化的模型参数。
2020-10-30 cs.AI cs.LG cs.SY
Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback
K. N. Toosi University of Technology（K. N. Toosi大学）；Amirkabir University of Technology（阿美尔卡比尔技术大学）；The University of Tokyo（东京大学）
TriTrust-PBRL通过多专家反馈联合学习奖励模型和信任参数，实现对抗性偏好下的鲁棒偏好强化学习。
2026-10-09 cs.AI cs.LG
Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System
Imperial College London（帝国理工学院）；Laiye Network Technology Co. Ltd.（来也网络科技有限公司）；KAIST（韩国科学技术院）；University of Bath（巴斯大学）
设计面向任务的对话系统是一个具有挑战性的研究课题，因为它不仅需要生成满足用户要求的话语，而且要保证可理解性。许多先前的工作训练端到端（E2 E）模型与监督学习（SL），然而，在标注系统话语的偏见仍然是一个瓶颈。强化学习（RL）通过使用不可微的评估度量（例如，成功率）作为奖励。尽管如此，现有的工作与强化学习表明，生成的系统话语的可理解性可能会损坏时，提高性能，满足用户的请求。在我们的工作中，我们（1）提出了对话策略和自然语言生成器（NLG）之间的层次结构建模与选项框架，称为HDNO，其中潜在的对话行为被应用，以避免设计特定的对话行为表示;（2）通过分层强化学习（HRL）训练HDNO，以及建议在训练期间在对话策略和NLG之间的异步更新，以理论上保证它们收敛到局部最大化器;以及（3）建议使用用语言模型建模的词典作为额外奖励，以进一步提高可理解性。我们在MultiWoz 2.0和MultiWoz 2.1（多域对话数据集）上测试了HDNO，并与使用RL，LaRL和HDSA训练的单词级E2 E模型进行了比较，显示了自动评估指标和人工评估的性能改进。最后，我们论证了潜在对话行为的语义，以说明HDNO的可解释性。
2021-02-19 cs.AI cs.CL cs.LG
Detecting and Mitigating the Correct-Answer Extinction Window in Test-Time Reinforcement Learning with Majority Voting
Meituan（美团）
本文提出TTRL-Guard框架，通过翻转率感知奖励缩放、少数保留采样和风险条件稀疏更新三种机制，检测并缓解测试时强化学习中多数投票导致的正确答案信号永久抑制问题。
2026-05-27 cs.AI cs.LG
The Pareto Frontier of Instance-Dependent Guarantees in Multi-Player Multi-Armed Bandits with no Communication
Microsoft Research（微软研究院）
研究了随机多人多臂强盗问题。在这个问题中，$m$参与者合作以最大化他们从$K > m$武器中获得的总奖励。然而，玩家不能交流，如果他们在同一时间拉同一只手臂，就会受到惩罚（例如没有奖励）。我们问是否有可能获得最佳的实例依赖的遗憾$\tilde{O}(1/Δ)$，其中$Δ$是$m$-th和$m+1$-st最佳臂之间的差距。这种保证最近在一个模型中实现，该模型允许参与者通过故意碰撞进行隐式通信。令人惊讶的是，我们表明，没有沟通，这样的保证是无法实现的。事实上，对于$Δ$的某些值，获得最佳的$\tilde{O}(1/Δ)$后悔必然意味着在其他制度中严格的次优后悔。我们的主要结果是帕累托最优的实例相关的权衡，可能没有通信的一个完整的表征。我们的算法概括了Bubeck，Budzinski和第二作者。在那里，我们的算法成功，即使碰撞后的反馈可以被破坏的自适应对手，由于一个强大的无碰撞属性。我们的下界是基于多尺度的拓扑障碍，是全新的。
2022-06-06 cs.LG cs.MA stat.ML
Robust Policy Expansion for Offline-to-Online RL under Diverse Data Corruption
Tsinghua University（清华大学）；Tencent（腾讯）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
针对离线到在线强化学习在数据损坏下性能下降的问题，提出基于逆概率加权的鲁棒策略扩展方法RPEX，在D4RL数据集上实现最先进性能。
2025-10-16 cs.AI cs.LG
Composing Meta-Policies for Autonomous Driving Using Hierarchical Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
不是为每个新任务学习新的控制策略，而是当任务共享某些结构时，可以从先前学习的策略组成“元策略”。本文报告了在连续状态、离散动作自动驾驶模拟器上使用深度强化学习的实验结果。我们探讨了深度神经网络如何表示在一组先前学习的策略之间切换的元策略，特别是在新场景的动态由先前学习的动态混合组成的设置中，以及状态观测可能被感知噪声破坏的设置中。我们还报告了不同的动态混合，分心政策，感知噪声的幅度/分布，和障碍物的实验结果。在一个充分观察的实验中，Meta策略学习算法实现了2.6倍的回报，实现了下一个最佳的策略组合技术，探索少了80%。在部分观察的实验中，Meta策略学习算法在50次迭代后收敛，而RL的直接应用即使在200次迭代后也无法收敛。
2017-11-04 cs.AI
The Mechanism Matters: When Knowledge Graphs Help Reinforcement Learning
研究探讨知识图谱对强化学习的影响，通过对照研究改变任务、机制和质量，发现结构化KG在特定任务上提升样本效率，其价值与知识量有关，安全性取决于机制，为从业者使用KG指导RL提供具体指导。
2026-07-23 cs.LG
Adversarially-Robust TD Learning with Markovian Data: Finite-Time Rates and Fundamental Limits
North Carolina State University（北卡罗来纳州立大学）
本文研究 Huber 污染奖励下基于马尔可夫数据的策略评估问题，提出 Robust-TD 算法，其有限时间收敛保证与原始 TD 仅相差不可避免的 $O(ε)$ 项，并给出匹配的极小极大下界。
2025-02-07 cs.LG cs.SY eess.SY
Corruption-Robust Offline Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
研究了离线强化学习中的对抗鲁棒性问题。给定由元组$(s, a, r, s')$组成的批处理数据集，允许攻击者任意修改元组的$ε$部分。从损坏的数据集，学习器的目标是鲁棒地识别一个接近最优的策略。我们首先表明，最坏情况下的$Ω(dε)$最优间隙是不可避免的线性MDP的尺寸$d$，即使对手只损坏的奖励元素在元组。这与鲁棒监督学习中的无量纲结果和腐败在线RL设置中最著名的下限形成对比。接下来，我们提出了强大的变种的最小二乘值迭代（LSVI）算法，利用强大的监督学习神谕，实现接近匹配的性能，在有和没有完整的数据覆盖的情况下。该算法需要$ε$的知识来设计在无覆盖情况下的悲观奖金。令人惊讶的是，在这种情况下，$ε$的知识是必要的，因为我们表明，自适应未知的$ε$是不可能的。这再次与最近的结果腐败鲁棒的在线RL，并暗示鲁棒的离线RL是一个严格困难的问题。
2021-06-11 cs.LG
Provably Robust Blackbox Optimization for Reinforcement Learning
Google Brain Robotics（谷歌大脑机器人团队）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
最近，强化学习（RL）社区对无衍生优化（DFO）和“进化策略”（ES）的兴趣激增，越来越多的证据表明它们可以与机器人技术中政策优化问题的最新方法相媲美。然而，众所周知，DFO方法具有过高的采样复杂度。它们也可能对噪声奖励和随机动态非常敏感。在本文中，我们提出了一类新的算法，称为鲁棒黑箱优化（RBO）。值得注意的是，即使所有测量值中多达$23\%$被任意损坏，RBO也可以证明将梯度恢复到高精度。RBO依赖于使用鲁棒回归方法来学习梯度流，以实现偏离策略的更新。在几个MuJoCo机器人控制任务中，当所有其他RL方法在对抗性噪声存在下崩溃时，RBO能够有效地训练策略。我们还表明，RBO可以应用于腿运动任务，包括路径跟踪四足机器人。
2019-07-08 cs.LG stat.ML
A Robust Phased Elimination Algorithm for Corruption-Tolerant Gaussian Process Bandits
ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
我们考虑一个未知的，连续的，昂贵的评价奖励函数的顺序优化，从嘈杂和adversarially损坏观察到的奖励。当破坏攻击受到适当的预算$C$和功能生活在再生核希尔伯特空间（RKHS），该问题可以被视为损坏的高斯过程（GP）的强盗优化。我们提出了一种新的强大的消除型算法，在历元运行，结合探索与不频繁的切换，选择一个小的子集的行动，并发挥每个动作的多个时刻。我们的算法，鲁棒GP阶段消除（RGP-PE），成功地平衡了对腐败的鲁棒性与探索和利用，使得其性能在存在（或不存在）对抗性腐败的情况下降低到最低限度。当$T$是样本数，$γ_T$是最大信息增益时，我们的遗憾界中的腐败相关项是$O(C γ_T^{3/2})$，对于几个通常考虑的内核，它比现有的$O(C \sqrt{T γ_T})$要严格得多。我们进行了第一次实证研究的鲁棒性在腐败的GP强盗设置，并表明，我们的算法是强大的对抗各种各样的攻击。
2022-03-28 cs.AI cs.LG stat.ML
SearchGym: Bootstrapping Real-World Search Agents via Cost-Effective and High-Fidelity Environment Simulation
The Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
SearchGym通过高效高保真的模拟环境提升搜索代理的鲁棒性和性能，实验表明其在多个基准测试中优于现有方法。
2026-01-21 cs.AI cs.CL
