Corrupt Bandits for Preserving Local Privacy
Inria Lille Nord-Europe（法国国家信息与自动化研究所里尔北欧中心）；Orange Labs（Orange实验室）；CNRS（法国国家科学研究中心）；Univ. Lille（里尔大学）
我们研究了随机多臂强盗（MAB）问题的一个变种，其中的奖励是腐败的。在这个框架中，出于在线推荐系统中的隐私保护的动机，目标是最大化（未观察到的）奖励的总和，基于通过具有已知参数的随机腐败过程对这些奖励的变换的观察。我们提供了一个下界的预期遗憾的任何强盗算法在此损坏的设置。我们设计了一个频率论算法，KLUCB-CF，和贝叶斯算法，TS-CF，并给出他们的遗憾上界。我们还提供了适当的腐败参数，以保证所需的本地隐私水平，并分析这如何影响遗憾。最后，我们提出了一些实验结果，证实了我们的分析。
2017-11-02 cs.LG stat.ML
Robust Reinforcement Learning from Corrupted Human Feedback
Georgia Tech（佐治亚理工学院）；Amazon（亚马逊公司）
针对人类反馈偏好标签易受污染的问题，提出鲁棒RLHF方法$R^3M$，通过ℓ₁正则化建模稀疏异常值，兼具高效性与理论保证，可扩展至多类偏好优化方法，在机器人控制与大语言模型生成任务上验证了奖励鲁棒性的提升。
2024-07-09 cs.LG
Corruption-Tolerant Asynchronous Q-Learning with Near-Optimal Rates
Electrical and Computer Engineering, North Carolina State University, Raleigh, NC, USA（北卡罗来纳州立大学电气与计算机工程系）
本文研究了在存在对抗性损坏奖励的情况下，在折扣无限时间 horizon 的强化学习设置中学习最优策略的问题。通过开发一种新的鲁棒Q学习变体，并在具有时间相关数据的挑战性异步采样模型下分析该算法，证明了在存在损坏的情况下，该方法的有限时间保证与现有界限相匹配，仅在加性项上与损坏样本的比例成比例。还建立了信息论下界，揭示了我们的保证是近最优的。值得注意的是，我们的算法对底层奖励分布不敏感，并为异步Q学习提供了首次有限时间鲁棒性保证。分析中的关键元素是针对近鞅的改进Azuma-Hoeffding不等式，这可能在研究强化学习算法时有更广泛的应用。
2026-05-21 cs.LG cs.SY eess.SY
RoDiF: Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback
Interactive Systems (IRIS) Lab, Arizona State University, Tempe AZ, USA.（智能机器人与交互系统实验室，亚利桑那州立大学）
RoDiF通过几何假设切割视角和保守切割策略，实现无假设噪声分布的鲁棒直接微调，提升扩散策略在损坏人类反馈下的性能。
2026-01-31 cs.LG cs.RO
Efficient and Optimal Policy Gradient Algorithm for Corrupted Multi-armed Bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对受对抗性污染的随机多臂老虎机问题，提出将策略梯度算法SAMBA应用于该场景，证明其计算高效且遗憾上界更优，仿真验证其性能优于现有基准。
2025-02-19 cs.LG
Improved Corruption Robust Algorithms for Episodic Reinforcement Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们研究情节强化学习下未知的对抗腐败的奖励和转移概率的基础系统。我们提出了新的算法，与现有的结果相比（Lykouris等人，2020），在表格设置的总腐败方面实现严格更好的后悔界限。具体来说，首先，我们的后悔界限依赖于更精确的总回报腐败和过渡腐败的数值，而不仅仅是腐败事件的总数。其次，我们的遗憾界限是强化学习设置中第一个让腐败数量相对于$\min\{\sqrt{T}, \text{PolicyGapComplexity}\}$以相加方式而不是乘法方式出现的。我们的研究结果遵循一个通用的算法框架，结合腐败强大的政策消除元算法，插件奖励免费探索子算法。替换元算法或子算法可以扩展框架以解决具有潜在更多结构的其他损坏的设置。
2021-03-08 cs.AI cs.LG
Easy to Catch a Liar, Hard to Clear an Honest One: Language Models Diagnosing a Corrupted Reward Channel from a Verified Record
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本研究探讨语言模型在奖励报告异常时，能否利用验证记录区分诚实与撒谎的报告者；发现模型能有效识别撒谎者，但常误判诚实者，且受表面特征影响，失败程度超预期。
2026-09-16 cs.AI cs.CL cs.LG
Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets
Department of Cybersecurity（网络安全系）；Rochester Institute of Technology（罗切斯特理工学院）；Mechanical Engineering Department（机械工程系）
本文提出了一种鲁棒的模仿学习方法Density-Ratio Weighted Behavioral Cloning，通过使用一个小的验证干净参考集估计轨迹级密度比，以优先考虑干净的专家行为并降低或丢弃受污染的数据，从而在不需了解污染机制的情况下提升政策性能。
2026-05-17 cs.LG cs.SY eess.SY
Online Corrupted User Detection and Regret Minimization
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
针对多用户在线系统中的恶意行为，提出LOCUD问题及RCLUB-WCU赌博机算法和OCCUD检测算法，实现稳健学习与在线识别损坏用户，理论保证遗憾最优且实验性能优越。
2023-10-10 cs.LG
Communication-Constrained Bandits under Additive Gaussian Noise
National University of Singapore（新加坡国立大学）
研究加性高斯噪声和二阶矩功率约束下的分布式随机多臂老虎机，给出极小极大遗憾下界，并提出多阶段 UE-UCB++ 算法实现近似匹配。
2023-06-06 cs.IT cs.LG math.IT
Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions
University of Science and Technology of China（中国科学技术大学）
针对多样数据损坏导致离线强化学习智能体性能下降的问题，提出基于贝叶斯推理的TRACER方法，通过熵度量区分并降低损坏数据影响，在多种损坏场景下性能优于现有最优方法。
2024-11-01 cs.AI cs.LG
The Distributional Reward Critic Framework for Reinforcement Learning Under Perturbed Rewards
The Ohio State Univeristy（俄亥俄州立大学）
针对强化学习中未知且更一般的奖励扰动问题，本文提出分布奖励评论家框架，可在训练中估计奖励分布与扰动，兼容任意RL算法，并在44/48个测试设置中取得最高或并列最高回报。
2025-03-10 cs.LG
Learning Fast Sample Re-weighting Without Reward Data
Google Cloud AI（谷歌云AI）
训练样本重新加权是一种有效的方法来解决数据偏差，如不平衡和损坏的标签。最近的方法开发了基于学习的算法，以基于强化学习和元学习的框架来学习样本重新加权策略以及模型训练。然而，依赖于额外的无偏奖励数据限制了它们的普遍适用性。此外，现有的基于学习的样本重新加权方法需要对模型和加权参数进行嵌套优化，这需要昂贵的二阶计算。本文针对这两个问题，提出了一种新的基于学习的快速样本重新加权（FSR）方法，不需要额外的奖励数据。该方法基于两个关键思想：从历史中学习以建立代理奖励数据和特征共享以降低优化成本。我们的实验表明，所提出的方法相比，在标签噪声鲁棒性和长尾识别的最新技术水平，取得了有竞争力的结果，这样做，同时实现显着提高训练效率。源代码可在https://github.com/google-research/google-research/tree/master/ieg上公开获得。
2021-09-07 cs.CV cs.LG
Reinforcement Learning with Perturbed Rewards
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois, Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究表明，强化学习（RL）模型在各种噪声场景中是脆弱的。例如，观察到的奖励信道在实践中经常受到噪声的影响（例如，当通过传感器收集奖励时），因此是不可信的。此外，对于诸如机器人之类的应用，可以操纵深度强化学习（DRL）算法，以通过接收损坏的奖励来产生任意错误。在本文中，我们考虑带扰动报酬的噪声RL问题，可以用混淆矩阵来近似。我们开发了一个强大的RL框架，使代理学习在嘈杂的环境中，只有扰动奖励观察。我们的解决方案框架建立在现有的RL/DRL算法的基础上，首先解决了有偏见的噪声奖励设置，而没有对真实分布的任何假设（例如，零均值高斯噪声，如在以前的作品）。我们的解决方案的核心思想包括估计奖励混淆矩阵和定义一组无偏的代理奖励。我们证明了我们的方法的收敛性和样本的复杂性。在不同DRL平台上的大量实验表明，基于我们估计的代理奖励的训练策略可以实现更高的预期奖励，并且比现有基线收敛得更快。例如，最先进的PPO算法能够获得84.6%和80.8%的改进，平均分数为五个雅达利游戏，出错率分别为10%和30%。
2020-02-01 cs.CR cs.CV cs.LG
ADG: Ambient Diffusion-Guided Dataset Recovery for Corruption-Robust Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；The Chinese University of Hong Kong（香港中文大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出ADG方法，利用环境扩散模型识别并修复离线强化学习中的损坏数据，可无缝集成任意离线RL算法，在多个基准上取得最先进结果。
2025-06-05 cs.AI cs.LG
Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
UC Berkeley（加州大学伯克利分校）；Transmute AI；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）
研究揭示了过程奖励模型在对抗性攻击下的脆弱性，指出其更像流畅性检测器而非推理验证器，并提出PRM-BiasBench用于评估模型鲁棒性。
2026-02-20 cs.LG
Bellman Optimality of Average-Reward Robust Markov Decision Processes with a Constant Gain
本文研究了鲁棒马尔可夫决策过程中的平均奖励问题，通过分析常增益设置，探讨了鲁棒贝尔曼方程的解存在性及其与最优平均奖励的关系，为长期平均标准下的鲁棒动态决策提供了理论基础。
2026-10-21 cs.LG math.OC
Multi-Hop Knowledge Graph Reasoning with Reward Shaping
Salesforce Research（Salesforce研究院）
多跳推理是不完备知识图谱（KG）上的一种有效的查询回答（QA）方法。该问题可以用强化学习（RL）设置来表述，其中基于策略的代理顺序地扩展其推理路径，直到到达目标。然而，在一个不完整的KG环境中，代理收到低质量的奖励损坏的假阴性的训练数据，这损害了在测试时的泛化。此外，由于没有使用黄金动作序列进行训练，智能体可能会被虚假的搜索轨迹误导，从而偶然导致正确的答案。我们提出了两个建模改进来解决这两个问题：（1）我们通过采用预训练的一跳嵌入模型来估计未观察到的事实的奖励来减少假阴性监督的影响;（2）我们通过强制代理使用随机生成的边缘掩码探索不同的路径来对抗对策略RL的虚假路径的敏感性。我们的方法在几个基准数据集上显着改进了现有的基于路径的KGQA模型，并且与基于嵌入的模型相当或更好。
2018-09-11 cs.AI cs.CL cs.LG
A New Bandit Setting Balancing Information from State Evolution and Corrupted Context
Center for Applied Intelligent Systems Research（应用智能系统研究中心）；Halmstad University（哈尔姆斯塔德大学）
针对移动健康等场景中状态不可观测、上下文可能被污染的序贯决策问题，提出融合上下文老虎机与多臂老虎机策略的算法，通过马尔可夫状态转移建模提升决策效率，实验验证其性能优于现有方法。
2023-11-05 cs.LG stat.ML
Imitation Dominates Reinforcement: Direct In-Context RL Is Closer to ICL Than RL
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
该研究通过实验发现直接上下文强化学习（ICRL）中奖励影响极小，轨迹推动性能提升的关键并非语义内容，直接ICRL更应视为上下文学习（ICL）的特例，为智能体记忆设计提供了新方向。
2026-11-04 cs.CL cs.LG
Corruption Robust Offline Reinforcement Learning with Human Feedback
University of Warwick（华威大学）；Max-Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Independent Researcher（独立研究员）
研究离线环境下人类反馈强化学习的数据鲁棒性，提出基于置信集和悲观策略的鲁棒方法，首次提供可证明的鲁棒性保证。
2026-07-01 cs.AI cs.LG
Robust Average-Reward Markov Decision Processes
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Central Florida（中佛罗里达大学）；Air Force Research Laboratory（空军研究实验室）
在鲁棒马尔可夫决策过程（MDP）中，转移核中的不确定性是通过找到一个策略来解决的，该策略在MDP的不确定性集合上优化最坏情况下的性能。虽然大部分的文献都集中在折扣MDPs，强大的平均回报MDPs仍然在很大程度上未被探索。在本文中，我们专注于鲁棒平均奖励MDP，其目标是找到一个政策，优化最坏情况下的平均奖励的不确定性集。我们首先采用一种方法，使用折扣MDP近似平均奖励MDP。证明了当折扣因子$γ$趋于$1$时，鲁棒折扣价值函数收敛于鲁棒平均报酬，并且当$γ$较大时，鲁棒折扣MDP的任何最优策略也是鲁棒平均报酬的最优策略.我们进一步设计了一个鲁棒的动态规划方法，并从理论上证明了它的收敛性。然后，我们直接研究鲁棒平均报酬MDP，而不使用折扣MDP作为中间步骤。我们推导了鲁棒平均报酬MDP的鲁棒Bellman方程，证明了最优策略可以从其解导出，并进一步设计了一个鲁棒相对值迭代算法，该算法可证明地找到其解，或等价地，找到最优鲁棒策略.
2023-03-01 cs.AI cs.LG
On Corruption-Robustness in Performative Reinforcement Learning
Archimedes/Athena RC（阿基米德/雅典娜研究中心）；University of Warwick（华威大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文针对表现性强化学习中数据可能被对抗性污染的问题，提出基于污染梯度凸-凹优化的重复重训练方法及鲁棒梯度均值估计器，证明其末迭代收敛到近似稳定策略且误差与√ε线性相关，并通过实验验证了考虑污染的必要性。
2025-05-08 cs.LG
Robust Multi-Agent Bandits with Heavy-Tailed Rewards and Information Asymmetry
该研究针对重尾奖励和信息不对称的多智能体多臂老虎机问题，为三种信息不对称场景开发鲁棒分散式算法，通过实验验证了理论结果并阐明相关权衡。
2026-08-12 cs.AI cs.LG
Robust Optimization for Mitigating Reward Hacking with Correlated Proxies
Department of Computer Science（计算机科学系）
本文提出通过鲁棒策略优化方法应对奖励黑客问题，基于r相关性代理奖励空间，改进代理优化并提升鲁棒性与透明度。
2026-04-13 cs.LG
Robust Policy Gradient against Strong Data Corruption
University of Wisconsin--Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
研究了对抗性腐败下的鲁棒强化学习问题。我们的攻击模型假设一个\textit{adaptive}对手可以任意破坏奖励和过渡在每一步的情节，最多$ε$ -分数的学习情节。我们的攻击模型是严格强于那些考虑在以前的作品。我们的第一个结果表明，没有算法可以找到一个更好的比$O(ε)$ -最优策略下，我们的攻击模型。接下来，我们表明，令人惊讶的自然策略梯度（NPG）方法保留了自然的鲁棒性，如果奖励腐败是有界的，可以找到一个$O(\sqrtε)$最优的政策。因此，我们开发了一个过滤的策略梯度（FPG）算法，甚至可以容忍无限的奖励腐败，并可以找到一个$O(ε^{1/4})$最优的政策。我们强调，FPG是第一个可以实现一个有意义的学习保证时，一个恒定的分数的情节被损坏。补充的理论结果，我们表明，神经实现的FPG实现强大的鲁棒学习性能的MuJoCo连续控制基准。
2021-06-08 cs.LG
Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning
Dept. of Comp. Sci. & Tech., Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, THBI Lab, Tsinghua University, Beijing（计算机科学与技术系，人工智能研究院，BNRist中心，清华大学-博世联合机器学习中心，THBI实验室，清华大学，北京）；Dept. of Automation, Tsinghua University, Beijing（自动化系，清华大学，北京）
本文提出Ranking-Aware Calibration方法，通过利用组内强化学习自然产生的比较信号，提升多模态强化学习的校准能力，从而提高任务准确性和校准效果。
2026-05-16 cs.LG
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS（高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心）
针对RLHF奖励模型在长尾场景下的系统性失败，本文提出机制可解释性框架识别罕见事件神经电路，并给出CART方法以指导数据增强、正则化与集成，从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
Evaluating Robustness of Reward Models for Mathematical Reasoning
Yonsei University（延世大学）
针对RewardBench数学子集评估不可靠的问题，本文提出新的奖励模型评估设计并构建RewardMATH基准，可更准确衡量数学推理奖励模型鲁棒性及奖励过度优化风险。
2024-10-02 cs.AI cs.CL cs.LG
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Reward-Robust RLHF in LLMs
Tsinghua University（清华大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baichuan AI（百川智能）
针对奖励模型不完美导致的奖励黑客和意图不一致问题，提出结合贝叶斯奖励模型集成的奖励鲁棒RLHF框架，通过平衡性能与鲁棒性优化目标，显著提升了LLM对齐的准确性与长期稳定性。
2024-10-16 cs.AI cs.CL cs.LG
Confounding Robust Continuous Control via Automatic Reward Shaping
Columbia University（哥伦比亚大学）
本文提出通过自动学习奖励塑造函数，从因果视角提升连续控制在未观察混淆变量下的鲁棒性。
2026-02-10 cs.AI cs.LG cs.RO
Robust Imitation Learning from Corrupted Demonstrations
Tencent AI Lab（腾讯人工智能实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑从损坏的演示中离线模仿学习，其中恒定部分的数据可能是噪声甚至是任意离群值。经典的方法，如行为克隆假设，示范是由一个假定的最佳专家收集，因此可能会严重失败时，从损坏的示范学习。我们提出了一种新的鲁棒算法，通过最小化的中位数（MENS）的目标，保证了准确的估计政策，即使在存在恒定比例的离群值。我们的理论分析表明，我们的强大的方法在损坏的设置享有几乎相同的错误缩放和样本复杂性的保证，作为经典的行为克隆在专家演示设置。在连续控制基准上的实验验证了该方法的鲁棒性和有效性，与现有的模仿学习方法相比，取得了较好的效果。
2022-01-29 cs.AI cs.LG stat.ML
Robust Localization in Wireless Networks From Corrupted Signals
Uppsala University（乌普萨拉大学）
我们解决的问题，基于时间的定位在无线网络中，当一个未知的部分数据被损坏的非理想信号条件。虽然基于时间的技术能够实现准确的定位，但它们对这种损坏的数据也很敏感。我们开发了一个强大的方法，适用于一系列的定位技术，包括到达时间，到达时间差和基于时间表的传输时间差。该方法是非参数的，只需要一个上限的部分损坏的数据，从而避免了分布假设的破坏噪声分布。数值实验证明了该方法的鲁棒性。
2021-03-01 cs.IT cs.LG eess.SP
Robust Distributed Optimization With Randomly Corrupted Gradients
Rice University（莱斯大学）
在本文中，我们提出了一个一阶分布式优化算法，可证明是强大的拜占庭故障任意和潜在的敌对行为，其中所有参与的代理都容易失败。我们模型每个代理的状态随着时间的推移，作为一个两个状态的马尔可夫链，表明拜占庭或值得信赖的行为在不同的时刻。我们对任何给定时间的拜占庭代理的最大数量没有限制。我们设计了基于三层防御的方法：1）时间鲁棒聚合，2）空间鲁棒聚合，3）梯度归一化。我们研究了两种随机最优化的设置，即样本平均近似和随机逼近。我们提供了强凸和光滑的非凸费用函数我们的方法的收敛保证。
2022-06-17 cs.DC cs.LG math.OC
Robust and Scalable Column/Row Sampling from Corrupted Big Data
University of Central Florida（中佛罗里达大学）
本文提出新的采样算法，能在严重数据腐蚀下定位信息列，并开发可扩展的随机化设计，同时对稀疏腐蚀和异常值具有鲁棒性，实验显示优于现有鲁棒采样算法。
2016-11-18 cs.LG cs.NA math.NA
Multi-Task Corrupted Prediction for Learning Robust Audio-Visual Speech Representation
Kim Jaechul Graduate School of AI, KAIST（金jaechul人工智能研究生院，韩国科学技术院）；School of Electrical Engineering, KAIST（电气工程学院，韩国科学技术院）
针对音视频语音识别中视觉损坏问题，提出自监督框架CAV2vec，通过自蒸馏与多任务损坏预测任务对齐损坏模态并蒸馏跨模态知识，显著提升了噪声环境下的识别准确率。
2025-04-30 cs.LG cs.MM cs.SD
FairSAM: Fair Classification on Corrupted Image Data Through Sharpness-Aware Minimization
Clemson University（克莱姆森大学）
针对图像分类模型在数据损坏时性能下降且不公平的问题，提出FairSAM框架，将公平性策略融入锐度感知最小化，平衡鲁棒性与公平性。
2026-06-23 cs.AI cs.LG
Learning Deep Neural Networks under Agnostic Corrupted Supervision
Michigan State University（密歇根州立大学）
在存在损坏的监督的情况下训练深度神经模型是具有挑战性的，因为损坏的数据点可能会显著影响泛化性能。为了缓解这个问题，我们提出了一种高效的鲁棒算法，该算法在不对腐败类型进行任何假设的情况下实现了强有力的保证，并为分类和回归问题提供了统一的框架。与量化数据点的质量的许多现有方法（例如，基于它们各自的损失值），并相应地对它们进行过滤，所提出的算法集中于控制数据点对平均梯度的集体影响。与基于损失值的最新过滤方法相比，即使我们的算法未能排除损坏的数据点，该数据点对整体损失的影响也非常有限。在多个基准数据集上进行的大量实验证明了该算法在不同类型的腐败下的鲁棒性。
2021-02-12 cs.LG stat.ML
Robust Risk Minimization for Statistical Learning
Uppsala University（乌普萨拉大学）
我们考虑一个一般的统计学习问题，其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法，只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重，并显示它们如何提供对损坏的数据的鲁棒性。此外，我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法，包括回归，分类，无监督学习和经典的参数估计，与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
Performance Weighting for Robust Federated Learning Against Corrupted Sources
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
联邦学习已经成为分布式机器学习的主要计算范例。其独特的数据隐私属性使我们能够协同训练模型，同时为参与客户提供某些隐私保护保证。然而，在实际应用中，联邦环境可能由善意和恶意客户端组成，后者的目的是破坏和降低联邦模型的性能。可以应用不同的损坏方案，例如模型中毒和数据损坏。在这里，我们关注后者，即联邦学习对各种数据破坏攻击的敏感性。我们发现，标准的全球聚合计划的本地权重是低效的，在存在损坏的客户端。为了缓解这个问题，我们提出了一类面向任务的基于性能的方法计算的分布式验证数据集的目标是检测和减轻损坏的客户端。具体来说，我们构建了一个强大的重量聚合计划的基础上几何平均值，并证明其有效性下的随机标签洗牌和有针对性的标签翻转攻击。
2022-05-02 cs.CR cs.LG
A Robust Phased Elimination Algorithm for Corruption-Tolerant Gaussian Process Bandits
ETH Zürich（苏黎世联邦理工学院）；National University of Singapore（新加坡国立大学）
我们考虑一个未知的，连续的，昂贵的评价奖励函数的顺序优化，从嘈杂和adversarially损坏观察到的奖励。当破坏攻击受到适当的预算$C$和功能生活在再生核希尔伯特空间（RKHS），该问题可以被视为损坏的高斯过程（GP）的强盗优化。我们提出了一种新的强大的消除型算法，在历元运行，结合探索与不频繁的切换，选择一个小的子集的行动，并发挥每个动作的多个时刻。我们的算法，鲁棒GP阶段消除（RGP-PE），成功地平衡了对腐败的鲁棒性与探索和利用，使得其性能在存在（或不存在）对抗性腐败的情况下降低到最低限度。当$T$是样本数，$γ_T$是最大信息增益时，我们的遗憾界中的腐败相关项是$O(C γ_T^{3/2})$，对于几个通常考虑的内核，它比现有的$O(C \sqrt{T γ_T})$要严格得多。我们进行了第一次实证研究的鲁棒性在腐败的GP强盗设置，并表明，我们的算法是强大的对抗各种各样的攻击。
2022-03-28 cs.AI cs.LG stat.ML
Efficient and Consistent Robust Time Series Analysis
Microsoft Research（微软研究院）；Australian National University（澳大利亚国立大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
研究了标准自回归（AR）时间序列模型下存在任意异常值时的鲁棒时间序列分析问题。我们设计了一个有效的硬阈值为基础的算法，可以获得一致的估计的最佳AR模型，尽管大部分的时间序列点被损坏。我们的算法交替估计损坏的点集和模型参数，并受到鲁棒回归和硬阈值方法的最新进展的启发。然而，现有技术的直接应用受到时间序列域中的关键差异的阻碍：每个点与所有先前的点相关，从而使现有工具直接不适用。我们将展示如何使用新的证明技术来克服这一障碍。使用我们的技术，我们也能够提供第一个有效的和可证明的一致性估计的鲁棒回归问题，其中一个标准的线性观测模型与白加性噪声被任意损坏。我们说明了我们的方法在合成数据集上，并表明我们的方法确实能够始终如一地恢复最佳参数，尽管有很大一部分点被损坏。
2016-07-01 cs.LG stat.ML
Robust Regression with Highly Corrupted Data via Physics Informed Neural Networks
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）；College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学空天科学学院）
物理信息神经网络（PINN）已经被提出来解决两大类问题：数据驱动的解决方案和数据驱动的偏微分方程发现。当这种数据由于可能的传感器机制故障而高度损坏时，该任务变得不可行。我们提出了基于最小绝对偏差的PINN（LAD-PINN）来重建解并恢复偏微分方程中的未知参数-即使虚假数据或离群值破坏了很大比例的观测值。为了进一步提高恢复隐藏物理的准确性，提出了两阶段的基于中值绝对偏差的PINN（MAD-PINN）算法，其中LAD-PINN作为异常检测器，然后MAD筛选出高度损坏的数据。然后，可以随后应用vanilla PINN或其变体来利用剩余的正常数据。通过几个例子，包括泊松方程，波动方程，定常或非定常Navier-Stokes方程，我们说明了所提出的算法的通用性，准确性和效率恢复控制方程从噪声和高度损坏的测量数据。
2022-10-19 cs.LG cs.NA math.NA
Adaptive Robust Learning using Latent Bernoulli Variables
Uppsala University（乌普萨拉大学）；Science for Life Laboratory（生命科学实验室）
该研究提出用潜在 Bernoulli 变量识别损坏样本，并以变分 EM 最大化边缘化似然，实现可自动推断噪声水平、近乎无额外开销的无参数自适应鲁棒学习。
2024-06-14 cs.LG stat.ML
Completing Low-Rank Matrices with Corrupted Samples from Few Coefficients in General Basis
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
从损坏和丢失的数据中恢复子空间对于信号处理和信息论中的各种应用是至关重要的。为了完成缺失值和检测列损坏，现有的鲁棒矩阵完成（MC）方法大多集中于从少量损坏系数w.r.t.标准基础，但不适用于更一般的基础，例如，傅立叶基本文证明了秩为$r$的$m\times n$矩阵的值域空间可以由较少的系数w. r. t精确地恢复。一般的基础上，虽然$r$和损坏的样本的数量都高达$O(\min\{m,n\}/\log^3 (m+n))$。我们的模型涵盖了以前的特殊情况下，和强大的MC可以恢复具有更高的秩的内在矩阵。此外，我们建议一个通用的正则化参数，这是$λ=1/\sqrt{\log n}$的选择。通过我们的$\ell_{2,1}$滤波算法，这是有理论保证的，我们可以进一步减少我们的模型的计算成本。作为应用，我们还发现扩展的鲁棒低秩表示和扩展的鲁棒MC的解是相互可表达的，因此在一定条件下，我们的理论和算法都可以应用于具有缺失值的子空间聚类问题.实验验证了我们的理论。
2016-05-23 cs.IT cs.LG cs.NA
A Bayesian Robust Regression Method for Corrupted Data Reconstruction
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）；Beijing Institute of Spacecraft System Engineering（北京航天器系统工程研究所）；Department of Statistics, Purdue University（普渡大学统计系）
由于噪声和数据损坏的普遍存在，恢复真实的回归参数与一定比例的损坏的响应变量是一个必不可少的任务。克服这个问题的方法通常涉及鲁棒最小二乘回归，但很少有方法在面对严重的自适应对抗攻击时表现良好。在许多应用中，先验知识通常可以从历史数据或工程经验中获得，通过将先验信息融入鲁棒回归方法，我们开发了一种有效的鲁棒回归方法，可以抵抗自适应对抗攻击。首先，我们提出了一种新的TRIP算法，它改善了自适应对抗攻击时的崩溃点。然后，为了提高算法的鲁棒性，减少先验信息的引入所带来的估计误差，利用贝叶斯加权思想构造了鲁棒性更强的BRHT（robust Bayesian Reweighting regression via Hard Recommendation holding）算法。我们证明了所提出的算法的理论收敛性在温和的条件下，和广泛的实验表明，在不同类型的数据集攻击，我们的算法优于其他基准的。最后，我们将我们的方法应用到一个涉及空间太阳能电池阵列的实际应用中的数据恢复问题，证明了它们良好的适用性。
2023-01-08 cs.LG
Multivariate Regression with Grossly Corrupted Observations: A Robust Approach and its Applications
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息研究所）；Institute of Psychology, Chinese Academy of Sciences（中国科学院心理研究所）；School of Computing, National University of Singapore（新加坡国立大学计算学院）
本文研究了多元线性回归问题，其中部分观测值严重损坏或丢失，并且这种损坏的大小和位置先验未知。为了解决这个问题，我们提出了一种新的方法，明确考虑误差源以及其稀疏性。我们的方法的一个有趣的特性在于它允许单个回归输出元素或任务拥有其独特的噪声水平的能力。此外，尽管使用非光滑优化问题，我们的方法仍然保证收敛到其最优解。合成数据上的实验表明，我们的方法相比，现有的多元回归模型的竞争力。此外，经验上，我们的方法已经验证了非常有前途的结果，在两个示例性的现实世界的应用：第一个关注的预测\textit{Big-Five}个性的基础上，在社交网络网站（SNS）的用户行为，而第二个是3D人类手部姿势估计从深度图像。我们的方法和比较方法的实施以及所涉及的数据集都是公开的，以支持开源和可复制的研究计划。
2017-01-11 cs.CV cs.LG stat.ML
Skeleton-based Robust Registration Framework for Corrupted 3D Point Clouds
Engineering Research Center for Metallurgical Automation（冶金自动化工程研究中心）；Measurement Technology Ministry of Education, Wuhan University of Science（测量技术教育部武汉科技大学）；School of Information Management（信息管理学院）；Institute of Big Data（大数据研究院）；Digital Economy, Hubei University of Economics, Wuhan, 430205, China（数字经济，湖北经济学院，武汉，430205，中国）
针对受损3D点云配准难题，提出SRRF框架，融合点云与骨架对齐变换并引入分布距离损失，在多种损坏场景下优于现有方法。
2025-09-29 cs.CV cs.LG
Auto-weighted Robust Federated Learning with Corrupted Data Sources
Uppsala University（乌普萨拉大学）；The University of Hong Kong（香港大学）；University College London（伦敦大学学院）
联邦学习通过启用具有大量参与者的学习统计模型，同时将他们的数据保存在本地客户端中，提供了一个高效的通信和隐私保护的培训过程。然而，标准的联邦学习技术天真地最小化了平均损失函数，容易受到离群值、系统错误标记甚至对手的数据破坏。此外，由于对用户数据隐私的日益关注，服务提供商通常禁止验证数据样本的质量。在本文中，我们提出了自动加权鲁棒联邦学习（arfl），一种新的方法，联合学习的全局模型和局部更新的权重，以提供对损坏的数据源的鲁棒性，以解决这一挑战。我们证明了一个学习界的预期风险的预测和权重的客户端，这指导了定义的目标，强大的联邦学习。通过比较客户端的经验损失与最佳p个客户端的平均损失（p平均）来分配权重，因此我们可以降低损失显著高的客户端的权重，从而降低它们对全局模型的贡献。我们表明，这种方法实现了鲁棒性时，损坏的客户端的数据分布不同于良性的。为了优化目标函数，我们提出了一种基于块最小化范式的通信高效算法。我们在多个基准数据集上进行实验，包括CIFAR-10，FEMNIST和Shakespeare，考虑不同的深度神经网络模型。结果表明，我们的解决方案对不同的情况下，包括标签洗牌，标签翻转和嘈杂的功能是强大的，并优于国家的最先进的方法在大多数情况下。
2022-07-14 cs.AI cs.LG
Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting
Department of Computer Science（计算机科学系）；Technion, Israel（技术学院，以色列）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Massachusetts Institute of Technology（麻省理工学院）；Departments of Electrical and Computer Engineering and of Computer Science（电气工程与计算机科学系）
本文提出了一种在标签损坏情况下鲁棒的置信预测方法，通过不确定填补和鲁棒再加权技术，确保预测的有效性。
2026-02-26 cs.LG
Robust Asymmetric Heterogeneous Federated Learning with Corrupted Clients
Taikang Center for Life and Medical Sciences（泰康生命与医学科学中心）
本文提出RAHFL框架，通过多样性增强监督对比学习和非对称异构联邦学习策略，解决模型异构与数据损坏客户端下的鲁棒联邦学习问题。
2025-03-12 cs.AI cs.CV cs.LG
Local Differential Privacy for Bayesian Optimization
Department of ECE（ECE系）；The Ohio State University（俄亥俄州立大学）；Alibaba, USA（阿里巴巴（美国））
针对当前数据密集型在线学习系统中隐私问题日益受到关注的现状，考虑了非参数高斯过程中具有局部差分隐私（LDP）保证的黑箱优化问题.具体来说，来自每个用户的奖励被进一步损坏以保护隐私，并且学习者只能访问损坏的奖励以最小化遗憾。我们首先推导出任何LDP机制和任何学习算法的遗憾下界。然后，基于GP-UCB框架和Laplace DP机制，提出了三种近似最优算法。在这个过程中，我们还提出了一个新的贝叶斯优化（BO）方法（称为MoMA-GP-UCB）的均值技术和核近似的基础上，它补充了以前的BO算法的重尾收益与降低的复杂性。此外，不同算法在合成和真实世界数据集上的实证比较突出了MoMA-GP-UCB在私人和非私人场景中的优异性能。
2020-10-13 cs.CR cs.LG
Robust PCA via Outlier Pursuit
Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
奇异值分解（和主成分分析）是最广泛使用的降维技术之一：成功且可有效计算，但它仍然受到众所周知的，有据可查的异常值敏感性的困扰。最近的工作已经考虑了每个点都有一些任意损坏的组件的设置。然而，在SVD或PCA的应用中，如鲁棒协同过滤或生物信息学，恶意代理，有缺陷的基因，或简单的损坏或污染的实验可能会有效地产生完全损坏的整个点。我们提出了一个有效的基于凸优化的算法，我们称之为离群值追踪，在一些温和的假设下，对未损坏的点（满足，例如，通过PCA问题中的标准生成假设）恢复精确的最优低维子空间，并识别损坏点。这种不符合低维近似的损坏点的识别在生物信息学和金融应用等领域具有重要意义。我们的技术涉及使用核范数最小化的矩阵分解，然而，我们的结果，设置和方法，必然与矩阵完成和矩阵分解中的现有工作线有很大不同，因为我们开发了一种方法来恢复未损坏矩阵的正确列空间，而不是确切的矩阵本身。在任何问题中，人们试图恢复一个结构，而不是确切的初始矩阵，迄今为止开发的技术依赖于证书的最优性，将失败。我们提出了一个重要的扩展这些方法，允许治疗这样的问题。
2010-12-31 cs.IT cs.LG math.IT
