Best-of-Venom: Attacking RLHF by Injecting Poisoned Preference Data
Technical University of Darmstadt（达姆施塔特工业大学）；Google DeepMind（谷歌DeepMind）
本文提出 Best-of-Venom 偏好投毒攻击，证明向公开 RLHF 偏好数据注入 1–5% 恶意偏好对即可操纵模型生成目标实体及指定情感，并为防御提供启示。
2024-08-06 cs.AI cs.CL cs.CR
Language Models Can Learn from Verbal Feedback Without Scalar Rewards
Sea AI Lab（海智实验室）；SUTD（新加坡科技设计大学）；NUS（国立大学）；NTU（南洋理工大学）；University of Waterloo（滑铁卢大学）
针对RLHF/RLAIF将语言反馈压缩为标量奖励的问题，提出FCP框架，通过离线最大似然与在线自举把反馈作为条件信号，使LLM直接从语言反馈中学习。
2025-09-26 cs.AI cs.CL cs.LG
Are My Optimized Prompts Compromised? Exploring Vulnerabilities of LLM-based Optimizers
Tsinghua University（清华大学）；Microsoft（微软）
研究发现基于 LLM 的提示优化存在重大安全漏洞，提出假奖励攻击及轻量级防御措施，揭示优化流程为重要攻击目标。
2026-01-13 cs.AI cs.CL cs.CR
Improving Reinforcement Learning from Human Feedback Using Contrastive Rewards
Fudan University（复旦大学）；ByteDance Research（字节跳动研究院）；Northwestern University（西北大学）
本文提出对比奖励方法，通过在奖励中引入惩罚项来改进RLHF，提高奖励模型鲁棒性，并在PPO中减少方差，经实验验证优于强基线。
2024-03-14 cs.AI cs.CL
Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback
通过序列到序列奖励建模方法改进RLHF，提升LLMs对齐人类意图的性能。
2025-12-24 cs.AI cs.CL
Prototypical Reward Network for Data-Efficient RLHF
Portland State University（波特兰州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Renmin University of China（中国人民大学）
本文提出Proto-RM框架，利用原型网络在有限人类反馈下增强奖励模型，以更少数据实现与或优于传统方法的RLHF性能。
2024-07-07 cs.AI cs.CL
Aligning Dialogue Agents with Global Feedback via Large Language Model Multimodal Reward Decomposition
MIT（麻省理工学院）；CMU（卡内基梅隆大学）
本文提出了一种基于大语言模型的多模态奖励分解方法，通过分解会话级反馈来提升对话生成质量，无需人工反馈。
2026-02-11 cs.CL
RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards
NVIDIA
RLBFF结合人类偏好与规则验证，提升奖励模型对响应质量的精准捕捉，优于Bradley-Terry模型，在RM-Bench和JudgeBench上取得优异成绩，且支持用户自定义反馈原则。
2026-05-17 cs.AI cs.CL cs.LG
CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks
Peking University（北京大学）；Xiaohongshu Inc.（小红书公司）；Zhejiang University（浙江大学）
本文提出CausalRM框架，通过因果理论处理观察性用户反馈中的噪声和偏见问题，提升RLHF任务性能，实验显示在WildGuardMix和HarmBench上分别提升49.2%和32.7%。
2026-03-19 cs.AI cs.CL cs.LG
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成，提出RLAES框架，通过强化学习联合优化。引入RFE评估框架，提出AGFO和ACR方法。实验表明RFE能捕捉一致性，RLAES-AGFO在评分性能上最佳，保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
提出GELI方法，利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励，学习轮次级奖励模型并应用于RHLF流程，有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
RewardExplainer: Learning Reward Model Explanations from Counterfactual Preference Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Jilin University（吉林大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出RewardExplainer框架，通过反事实反馈训练可复用的奖励模型解释器，生成可干预的自然语言评分机制，提升解释忠实度并用于识别偏见和去偏，增强模型鲁棒性。
2026-09-29 cs.CL cs.LG
Gradient Regularization Mitigates Reward Hacking in Reinforcement Learning from Human Feedback and Verifiable Rewards
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）；Mila（蒙特利尔大学Mila）
研究基于人类反馈或可验证奖励的强化学习中奖励作弊问题，提出用梯度正则化使训练偏向奖励更准确区域，理论推导并实证验证，还改进方法，结果显示其比KL惩罚表现更好。
2026-07-07 cs.AI cs.CL cs.LG
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
针对 RLHF 中奖励模型预测不准的问题，本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法，并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Is poisoning a real threat to LLM alignment? Maybe more so than you think
University of Maryland（马里兰大学）；Capital One（Capital One公司）
本文系统评估 DPO 在后门与非后门偏好投毒下的安全风险，证明仅 0.5% 投毒数据即可诱发有害行为，显著低于 PPO 所需的 4%。
2025-06-09 cs.CL cs.CR cs.LG
SAFER: Probing Safety in Reward Models with Sparse Autoencoder
University of Science and Technology of China（中国科学技术大学）
SAFER通过稀疏自动编码器探索奖励模型的安全性，揭示可解释特征并改进安全性对齐。
2026-01-30 cs.AI cs.CL
Reward Poisoning in Reinforcement Learning: Attacks Against Unknown Learners in Unknown Environments
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
我们研究了针对强化学习（RL）的黑箱奖励中毒攻击，其中对手的目的是操纵奖励来误导一系列具有未知算法的RL代理，以在对手先验未知的环境中学习邪恶的策略。也就是说，我们的攻击对对手的先验知识做了最少的假设：它对环境或学习者没有初始知识，除了它执行的动作之外，它也没有观察到学习者的内部机制。我们设计了一种新的黑盒攻击，U2，可以证明达到接近匹配的性能，以最先进的白盒攻击，证明了奖励中毒的可行性，即使在最具挑战性的黑盒设置。
2021-02-16 cs.AI cs.CR cs.LG
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology（昆士兰理工大学）
针对强化学习中人在环方法引入人类反馈偏见的问题，提出混合框架 LLM-HFBF，利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形，显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
Zhejiang University（浙江大学）；Xiaohongshu Inc（小红书公司）；National University of Singapore（新加坡国立大学）；New York University（纽约大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对偏好反馈的样本相关噪声问题，提出CleanRM方法，利用少量干净反馈通过最优传输校准噪声比例，训练出无偏奖励模型，在RLHF下游任务中性能优于现有去噪基线。
2026-10-16 cs.AI stat.ML
Beyond Scalar Rewards: Dense Feedback for LLM Policy Synthesis in Sequential Social Dilemmas
Komorebi AI Technologies（Komorebi AI技术公司）
本研究通过反馈工程，比较稀疏奖励与密集社会指标反馈对LLM在多智能体环境中生成程序化策略的影响，发现密集反馈能打破奖励别名，提升策略性能。
2026-07-01 cs.CL cs.GT
REvolve: Reward Evolution with Large Language Models using Human Feedback
Centre for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心）
REvolve利用人类反馈引导大语言模型进化生成奖励函数，在自动驾驶、人形运动和灵巧操作中优于现有基线。
2025-05-23 cs.AI cs.NE
Feedback Loops With Language Models Drive In-Context Reward Hacking
University of California, Berkeley（加州大学伯克利分校）
本文揭示语言模型与外部世界的反馈回路会引发上下文内奖励黑客行为（ICRH），识别了输出精炼和策略精炼两种机制，并指出静态评估的不足，提出三项评估建议以捕捉此类有害行为。
2024-06-06 cs.AI cs.CL cs.LG
Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback
\dagger（机构1）
本文提出ONI，一种分布式架构，利用LLM反馈在线合成内在奖励，无需离线数据集，在NetHack任务上达到最先进性能。
2025-10-23 cs.AI cs.CL cs.LG
Understanding Impact of Human Feedback via Influence Functions
KAIST（韩国科学技术院）；Columbia University（哥伦比亚大学）
针对RLHF中人类反馈噪声大、易偏差导致奖励信号错位的问题，提出一种计算高效的影响函数近似方法，可应用于大语言模型奖励模型与大规模偏好数据集，实现标注偏差检测与标注策略优化，提升反馈可解释性与RLHF可扩展监督能力。
2025-09-01 cs.AI cs.HC cs.LG
Adaptive Reward-Poisoning Attacks against Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
在针对强化学习（RL）的奖励中毒攻击中，攻击者可以在每一步都将环境奖励$r_t$扰动为$r_t+δ_t$，目的是迫使RL代理学习恶意策略。我们分类这种攻击的无穷范数约束$δ_t$：我们提供了一个较低的阈值，低于该奖励中毒攻击是不可行的，RL被证明是安全的，我们提供了一个相应的上限阈值，高于该攻击是可行的。可行攻击可以进一步分类为非自适应攻击，其中$δ_t$仅取决于$(s_t,a_t, s_{t+1})$，或自适应攻击，其中$δ_t$进一步取决于RL代理在时间$t$的学习过程。非自适应攻击一直是先前工作的焦点。然而，我们表明，在温和的条件下，自适应攻击可以实现邪恶的政策在步骤多项式的状态空间大小$|S|$，而非自适应攻击需要指数步骤。我们提供了一个建设性的证明，一个快速自适应攻击策略达到多项式率。最后，我们表明，根据经验，攻击者可以使用最先进的深度RL技术找到有效的奖励中毒攻击。
2020-06-22 cs.AI cs.CR cs.LG
VARP: Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences
University of Maryland（马里兰大学）；University of Central Florida（中佛罗里达大学）
针对机器人连续控制中奖励设计偏差与VLM偏好标注不准的问题，提出VARP方法，通过轨迹叠加提升VLM偏好准确率，结合智能体性能正则化奖励学习，显著提升任务成功率与回合回报。
2025-03-18 cs.AI cs.HC cs.LG
The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）；University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）
提出SAVE框架，利用价值函数生成在线策略反馈，通过对比学习更新奖励模型，在六个基准上超越现有方法。
2026-05-29 cs.CL
Reward Modeling with Ordinal Feedback: Wisdom of the Crowd
Imperial College Business School, Imperial College London（伦敦帝国理工学院商学院）；HKUST-GZ（香港科技大学（广州））；University of North Carolina（北卡罗来纳大学）
本文提出基于序数反馈的奖励建模框架，将二元偏好推广到任意粒度，通过边际无偏性条件和群体智慧理论证明其统计优势，并验证细粒度及打平样本能提升奖励学习效果。
2024-11-19 cs.AI cs.CL cs.LG
Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback
MeRLa是元学习的任务感知奖励塑形框架，在RLHF训练前通过辅助任务元学习塑形函数，可提升LLaMA-3-8B在多基准上的对齐性能，降低训练不稳定性。
2026-07-30 cs.CL cs.LG
EmoFeedback$^2$: Reinforcement of Continuous Emotional Image Generation via LVLM-based Reward and Textual Feedback
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
EmoFeedback$^2$通过基于LVLM的奖励与文本反馈机制，提升连续情绪图像生成的质量与情绪保真度。
2026-07-31 cs.AI cs.CV
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在离线多智能体强化学习（MARL）中，智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下，外源攻击者修改奖励数据集之前，代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略，同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同，我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡（MPDSE），保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明，攻击工作在各种MARL代理，包括不确定性意识的学习者，我们表现出线性规划，有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
Iterative Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback
MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
提出耦合校准与学习（CCL）算法，通过令牌级分支耦合教师校准与学生更新，仅用源反馈，在理论上证明可消除教师偏差并收敛至最优学生，无需目标域奖励。
2026-10-30 cs.AI cs.LG math.ST
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”，在仅限制逐点与总体扰动且不知算法的条件下，可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
Using Human Feedback to Fine-tune Diffusion Models without Any Reward Model
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Automation, Tsinghua University（清华大学自动化系）；Parametrix Technology Company Ltd.（参数科技有限公司）
本文提出D3PO方法，无需训练奖励模型即可直接微调扩散模型，有效降低计算开销与成本，并在实验中展现出与真实奖励方法相当的效果，同时减少图像失真并提升安全性。
2024-03-23 cs.AI cs.CV cs.LG
RIPRAG: Hack a Black-box Retrieval-Augmented Generation Question-Answering System with Reinforcement Learning
RIPRAG通过强化学习攻击黑盒RAG系统，提升污染攻击成功率0.72，揭示LLM安全防御的不足。
2026-01-11 cs.AI
RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States
Nanjing University（南京大学）；Xiamen University（厦门大学）；Zhejiang University（浙江大学）
RoMeRL通过降阶效用状态解决自进化LLM智能体记忆的反馈分散与记忆-奖励陷阱问题，在ALFWorld等基准上显著提升任务性能、降低记忆规模与LLM调用
2026-08-11 cs.CL cs.LG
Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback
Technische Universität Berlin（柏林工业大学）
研究强化学习训练后计算资源分配问题，引入浮点运算核算框架，通过LoRA适配的Qwen2.5策略发现条件分配前沿，揭示模型选择与训练分配关联及奖励系统对核算影响，提出RACE协议，建议相关论文报告总浮点运算及计算分配方式。
2026-07-16 cs.CL cs.LG
The Alignment Illusion: How BadReward Corrupts Text-to-Image Generation
City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；KTH Royal Institute of Technology（皇家理工学院）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出BadReward，一种针对多模态RLHF奖励模型的隐蔽干净标签投毒攻击，通过特征碰撞破坏奖励模型，使T2I模型生成不当图像，揭示多模态RLHF安全威胁。
2026-11-03 cs.AI cs.CR cs.LG
Defense Against Reward Poisoning Attacks in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）
研究了强化学习中奖励中毒攻击的防御策略。作为一个威胁模型，我们考虑攻击，最小限度地改变奖励，使攻击者的目标策略唯一最优下中毒的奖励，与最优差距指定的攻击参数。我们的目标是设计代理，对这种攻击的最坏情况下的效用w.r.t.真实的、未中毒的奖励，同时在中毒的奖励下计算他们的策略。我们提出了一个优化框架，用于获得最佳的防御策略，无论是当攻击参数是已知的和未知的。此外，我们表明，防御政策的建议的优化问题的解决方案具有可证明的性能保证。特别是，我们提供了以下界限相对于真实的，未中毒的，奖励：a）防御策略的预期回报的下限，以及b）这些防御策略与攻击者的目标策略相比是次优的上限。最后，我们通过说明我们的正式结果背后的直觉，并表明导出的界限是非平凡的。
2021-06-20 cs.AI cs.LG
Learning Reward for Physical Skills using Large Language Model
本文提出利用环境反馈从大型语言模型中提取任务知识，通过LLM提出奖励函数特征并迭代自对齐更新参数，解决物理技能奖励函数学习的挑战。
2023-10-21 cs.AI cs.RO
When Critics Disagree: Adaptive Reward Poisoning Attacks in RIS-Aided Wireless Control System
Department of Computer and Software Engineering（计算机与软件工程系）
本文提出了一种基于分歧引导的奖励中毒攻击（DGRP），用于攻击Soft Actor-Critic（SAC）智能体，以评估RIS辅助网络中深度强化学习（DRL）的鲁棒性。
2026-05-19 cs.AI cs.LG
Execute Order 66: Targeted Data Poisoning for Reinforcement Learning
United States Navy（美国海军）；University of Maryland（马里兰大学）；United States Naval Academy（美国海军学院）
强化学习的数据投毒在历史上一直专注于一般性能下降，并且有针对性的攻击已经通过涉及控制受害者的策略和奖励的扰动而成功。我们为强化学习引入了一种阴险的中毒攻击，这种攻击只会在特定的目标状态下导致代理的不当行为-同时最小限度地修改一小部分训练观察结果，而不需要对策略或奖励进行任何控制。我们通过将最近的技术梯度对齐应用于强化学习来实现这一点。我们测试我们的方法，并证明在不同难度的两个雅达利游戏的成功。
2022-07-28 cs.AI cs.CR cs.LG
Efficient Adversarial Attacks on Online Multi-agent Reinforcement Learning
University of California, Davis（加州大学戴维斯分校）
本文研究在线 MARL 中的对抗攻击，提出融合动作投毒与奖励投毒的混合策略，在无环境和算法先验信息时仍能高效诱导目标策略或最大化指定累积奖励。
2023-07-15 cs.AI cs.CR cs.LG
Preference Poisoning Attacks on Reward Model Learning
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对奖励模型偏好学习的投毒漏洞，提出基于梯度和按距离排序的两类攻击方法，实验证明少量投毒即可实现高攻击成功率，且现有前沿防御方法效果有限。
2024-10-08 cs.AI cs.CL cs.LG
Implicit Poisoning Attacks in Two-Agent Reinforcement Learning: Adversarial Policies for Training-Time Attacks
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔兰大学）
在有针对性的中毒攻击中，攻击者操纵代理与环境的交互，迫使代理采用感兴趣的策略，称为目标策略。以前的工作主要集中在修改标准MDP原语的攻击，如奖励或转换。在本文中，我们研究了有针对性的中毒攻击在两个代理设置，攻击者隐式毒药的有效环境的代理之一，通过修改其同行的政策。我们开发了一个优化框架，设计最佳的攻击，其中的攻击成本的措施有多少解决方案偏离假设的默认策略的对等代理。我们进一步研究这个优化框架的计算特性。专注于一个表格设置，我们表明，在中毒攻击的基础上MDP原语（转换和（无界）奖励），这总是可行的，这是NP难的，以确定隐式中毒攻击的可行性。我们提供的表征结果，建立攻击问题的可行性的充分条件，以及攻击的最佳成本的上限和下限。我们提出了两种算法方法来找到一个最佳的对抗政策：基于模型的方法与表格政策和无模型的方法与参数/神经政策。我们通过实验展示了所提出的算法的有效性。
2023-02-27 cs.AI cs.CR cs.LG
Trustworthy AI-Driven Dynamic Hybrid RIS: Joint Optimization and Reward Poisoning-Resilient Control in Cognitive MISO Networks
LINCS Laboratory, Department of Computer and Software Engineering, Polytechnique Montréal（蒙特利尔理工学院计算机与软件工程系LINCS实验室）
本文提出一种动态混合RIS，用于解决认知MISO网络中不可靠的直接SU链路和能量约束问题，通过联合优化传输波束成形和RIS相位，采用SAC深度强化学习方法，并提出轻量级实时防御机制以对抗奖励中毒攻击。
2026-03-27 cs.AI cs.NI
Saving Stochastic Bandits from Poisoning Attacks via Limited Data Verification
University of California San Diego（加州大学圣地亚哥分校）；University of Warwick（华威大学）；University of Virginia（弗吉尼亚大学）
本文研究了有界报酬条件下数据投毒攻击下的强盗算法。我们考虑了一个强攻击者模型，在这个模型中，攻击者可以观察到所选择的动作及其相应的奖励，并且可以用加性噪声污染奖励。我们表明，任何强盗算法与遗憾$O(\log T)$可以被迫遭受遗憾$Ω(T)$与预期的污染量$O(\log T)$。这个污染量也是必要的，因为我们证明了存在$O(\log T)$后悔强盗算法，特别是经典的UCB，它需要$Ω(\log T)$量的污染遭受后悔$Ω(T)$。为了对抗这种攻击，我们的第二个主要贡献是提出基于验证的机制，使用有限的验证来访问有限数量的未受污染的奖励。特别是，对于无限验证的情况下，我们表明，与$O(\log T)$预期的验证次数，一个简单的修改版本的ETC型土匪算法可以恢复顺序最佳的$O(\log T)$遗憾，无论由攻击者使用的污染量。我们还提供了一个类似UCB的验证方案，称为安全UCB，也享有从任何攻击完全恢复，也与$O(\log T)$预期的验证数量。为了得到一个匹配的下限验证的数量，我们证明了任何顺序最优的强盗算法，这个数量的验证$Ω(\log T)$是必要的恢复顺序最优的遗憾。另一方面，当验证的数量是有界的预算$B$以上，我们提出了一种新的算法，安全-BARBAR，可证明实现$O(\min\{C,T/\sqrt{B} \})$遗憾与高概率对弱攻击者$C$是由攻击者的污染总量，这打破了已知的$…
2022-05-03 cs.AI cs.CR cs.LG
Learning to Attack: A Bandit Approach to Adversarial Context Poisoning
AdvBandit通过构建代理模型和优化扰动，提出了一种对抗性上下文污染的多臂老虎机方法，有效提升攻击效果并控制检测风险。
2026-02-28 cs.AI cs.LG
Policy Teaching in Reinforcement Learning via Environment Poisoning Attacks
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了强化学习的安全威胁，其中攻击者毒化学习环境以迫使代理执行攻击者选择的目标策略。作为一个受害者，我们考虑RL代理，其目标是找到一个政策，最大限度地提高奖励在无限地平线的问题设置。攻击者可以在训练时操纵学习环境中的奖励和过渡动态，并且有兴趣以隐身的方式这样做。我们提出了一个优化框架，找到一个最佳的隐身攻击不同的攻击成本的措施。我们提供了攻击成本的下限/上限，并在两种设置中实例化我们的攻击：（i）离线设置，其中代理在中毒的环境中进行规划，以及（ii）在线设置，其中代理正在学习带有中毒反馈的策略。我们的研究结果表明，攻击者可以很容易地在温和的条件下成功地教任何目标的政策，受害者和突出的重大安全威胁，强化学习代理在实践中。
2020-11-21 cs.AI cs.CR cs.LG
Data Poisoning to Fake a Nash Equilibrium in Markov Games
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
该研究刻画了离线多智能体强化学习的数据投毒攻击，提出唯一纳什集概念，通过线性规划高效计算最优投毒策略，为设计鲁棒MARL算法奠定基础。
2024-06-18 cs.AI cs.CR cs.GT
Policy Teaching via Environment Poisoning: Training-time Adversarial Attacks against Reinforcement Learning
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了强化学习的安全威胁，其中攻击者毒化学习环境以迫使代理执行攻击者选择的目标策略。作为一个受害者，我们认为RL代理的目标是找到一个政策，最大限度地提高平均奖励在未贴现的无限地平线的问题设置。攻击者可以在训练时操纵学习环境中的奖励或过渡动态，并且有兴趣以隐身的方式这样做。我们提出了一个优化框架，找到一个\emph{optimal stealthy attack}的不同措施的攻击成本。我们提供了充分的技术条件下，攻击是可行的，并提供上/下限的攻击成本。我们在两种设置中实例化我们的攻击：（i）代理在中毒环境中进行规划的\emph{offline}设置，以及（ii）代理使用带有中毒反馈的后悔最小化框架学习策略的\emph{online}设置。我们的研究结果表明，攻击者可以很容易地在温和的条件下成功地教任何目标的政策，受害者和突出的重大安全威胁，强化学习代理在实践中。
2020-08-19 cs.AI cs.CR cs.LG
Iterative Reward Shaping using Human Feedback for Correcting Reward Misspecification
IBM Research（IBM研究院）；Trinity College Dublin（都柏林圣三一学院）
本文提出ITERS，一种利用人类轨迹级反馈进行迭代奖励塑形的方法，以自动纠正强化学习中的奖励错误规范，并在三个环境中验证其有效性。
2023-08-30 cs.AI
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple（苹果公司）
强化学习（RL）代理的奖励是具有挑战性的。基于偏好的强化学习（PbRL）通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而，PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励（PRIOR）框架，它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束，可以减少一半所需的反馈量，并提高整体奖励恢复。此外，我们证明，使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
Dual Defense: Enhancing Privacy and Mitigating Poisoning Attacks in Federated Learning
Beihang University（北京航空航天大学）；Beijing Jiaotong University（北京交通大学）；University of Pittsburgh（匹兹堡大学）；Zhongguancun Laboratory（中关村实验室）
针对联邦学习中隐私泄露与投毒攻击并存且现有方案存在拓扑破坏或可扩展性问题的困境，提出DDFed框架，通过FHE安全聚合与加密更新的两阶段异常检测，在不改变FL拓扑的情况下同时增强隐私保护并抵御投毒攻击。
2025-02-08 cs.AI cs.CR
