Deep Reinforcement Learning for Power Grid Multi-Stage Cascading Failure Mitigation
School of System Science and Engineering(系统科学与工程学院)
针对现有单阶段策略难以处理电网多级连锁故障的问题,本文构建仿真环境,并采用确定性策略梯度强化学习实现连续控制,在 IEEE 14-bus 与 IEEE 118-bus 系统中验证了缓解效果。
2025-05-13 cs.AI cs.SY eess.SY
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
PolicyCleanse: Backdoor Detection and Mitigation in Reinforcement Learning
University of Maryland, College Park(马里兰大学帕克分校);Simular Research(Simular研究院);Northwestern University(西北大学);UC Riverside(加州大学河滨分校)
针对多智能体强化学习中的特洛伊木马后门威胁,本文提出PolicyCleanse方法,利用特洛伊智能体累积奖励下降的特性检测后门及触发动作,并结合机器遗忘技术缓解后门,实验证明其检测准确且胜率比基线至少高3%。
2023-09-14 cs.AI cs.LG
Reinforcement Learning Assisted Beamforming for Inter-cell Interference Mitigation in 5G Massive MIMO Networks
波束成形是5G大规模多输入多输出(MMIMO)通信中的关键技术,由于无线传输信道(即空气)的性质,MMIMO通信受到许多损害。小区间干扰(ICI)是5G通信由于频率复用技术而面临的主要损害之一。在本文中,我们提出了一种强化学习(RL)辅助的全动态波束成形,用于5G下行链路中的ICI抑制。该算法结合了波束形成技术和全动态Q学习技术,以最小化ICI,并导致一个低复杂度的方法,无需信道估计。性能分析表明,与其他算法相比,该算法在信干噪比(SINR)和计算复杂性方面的服务质量得到了改善。
2021-07-02 cs.AI cs.IT cs.NI
Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld
Kwame Nkrumah University of Science and Technology(夸梅·恩克鲁玛科技大学)
该研究针对强化学习的规范博弈问题,构建清洁机器人网格世界场景,提出受限强化学习方法,可消除博弈行为并恢复真实目标性能,还推导验证了相关精确恒等式。
2026-10-16 cs.AI cs.LG
Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs
Southeast University(东南大学);Nanjing University(南京大学);Waseda University(早稻田大学);University of California(加利福尼亚大学)
针对大语言模型偏见问题,提出基于多角色辩论反馈的强化学习方法RLDF,通过自反思或师生模式构建含高低偏见样本的数据集训练奖励模型,实验验证其偏见缓解有效性并开源相关资源。
2024-08-16 cs.AI
AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting
针对强化学习训练混合难度样本时的梯度饥饿、策略退化等问题,提出自适应课程强化学习框架AdaCuRL,通过动态难度匹配、历史回顾等机制,在多推理基准上显著提升LLMs和MLLMs性能。
2025-11-12 cs.AI cs.CL cs.LG
Mitigation of Policy Manipulation Attacks on Deep Q-Networks with Parameter-Space Noise
Kansas State University(堪萨斯州立大学)
最近的发展已经确定了深度强化学习对通过故意扰动输入(称为对抗性示例)的策略操纵攻击的脆弱性。在这项工作中,我们提出了一种基于在训练过程中向深度强化学习器的参数空间添加噪声来减轻此类攻击的技术。我们通过实验验证了参数空间噪声在降低对抗性示例的可转移性方面的效果,并展示了该技术在测试和训练时减轻白盒和黑盒攻击影响的良好性能。
2018-06-04 cs.CR cs.LG stat.ML
Deep Reinforcement Learning for Urban Air Quality Management: Multi-Objective Optimization of Pollution Mitigation Booth Placement in Metropolitan Environments
School of Computer Science(计算机科学学院);Engineering, Vellore Institute of Technology(工程学院,维洛雷理工学院);Chennai Campus(钦奈校区);Chennai, Tamil Nadu 600127, India(钦奈,泰米尔纳德邦600127,印度)
本研究提出深度强化学习框架,采用PPO算法优化德里市空气净化亭布置,以改善空气质量指数,并与传统策略对比,验证其多维性能优势。
2025-10-07 cs.AI cs.CV cs.LG
Steering Away from Memorization: Reachability-Constrained Reinforcement Learning for Text-to-Image Diffusion
Stanford University, Stanford, CA, USA(斯坦福大学);Yonsei University, Seoul, Korea(延世大学)
RADS通过约束强化学习方法,在保持生成质量的同时减少文本到图像扩散模型的记忆化问题。
2026-11-13 cs.AI cs.CV cs.LG
Reinforcement Learning for Wildfire Mitigation in Simulated Disaster Environments
The MITRE Corporation(MITRE公司)
本文提出SimFire火灾模拟器和SimHarness机器学习框架,用于生成野火场景并自动优化土地管理策略,以提升消防干预效果和资源分配。
2023-11-27 cs.AI cs.LG cs.MA
Cluster Based Deep Contextual Reinforcement Learning for top-k Recommendations
Delhi Technological University(德里理工大学)
在过去的几十年里,电子商务领域的快速发展导致了对个性化,高效和动态推荐系统的迫切需求。为了充分满足这一需求,我们提出了一种新的方法,通过创建一个集成的聚类与强化学习来生成前k推荐。我们采用了DB扫描集群来处理巨大的项目空间,从而提高了效率。此外,通过使用深度上下文强化学习,我们提出的工作充分利用了用户特征。通过部分更新和批量更新,模型可以不断学习用户模式。基于Duelling Bandit的探索由于其自适应性质而与最先进的策略相比提供了稳健的探索。在公共数据集上进行的详细实验验证了我们关于我们的技术与现有技术相比的效率的说法。
2020-11-29 cs.AI cs.IR cs.LG
Combating Reinforcement Learning's Sisyphean Curse with Intrinsic Fear
Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能);University of California San Diego(加利福尼亚大学圣地亚哥分校);Google(谷歌);Microsoft Research(微软研究院);Citadel(西得尔)
许多实际的环境包含灾难性的状态,一个最佳的代理将访问不频繁或从来没有。即使是在玩具问题上,深度强化学习(DRL)代理也倾向于在新策略下忘记它们的存在后定期重新访问这些状态。我们引入了内在恐惧(IF),一个学习的奖励塑造,保护DRL代理对周期性的灾难。IF智能体拥有一个经过训练的恐惧模型,可以预测即将发生的灾难的概率。然后,该分数用于惩罚Q学习目标。我们的理论分析限制了由于在扰动目标上学习而导致的平均回报的减少。我们还证明了分类错误的鲁棒性。另外,由于奖励塑造,IF模型往往学习得更快。实验表明,内在恐惧DQN解决了其他病理环境,并改善了几个Atari游戏。
2018-03-13 cs.LG cs.NE stat.ML
Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation
Nexcepta(内克塞克塔)
针对动态无线环境中DRL抗干扰系统的灾难性遗忘问题,提出基于PackNet的持续深度强化学习方法,使网络在学习新干扰模式时保留旧知识,显著提升抗干扰性能与鲁棒性。
2024-10-14 cs.AI cs.LG cs.NI
Reinforcement Learning-based Defect Mitigation for Quality Assurance of Additive Manufacturing
Virginia Tech(弗吉尼亚理工学院暨州立大学);New Jersey Institute of Technology(新泽西理工学院);IoTeX
增材制造(AM)是一种强大的技术,可以使用各种材料以逐层的方式生产复杂的3D几何形状。然而,质量保证是在AM行业的主要挑战,由于在AM过程中可能随时间变化的加工条件。值得注意的是,在打印过程中可能会出现新的缺陷,这无法通过专注于现有缺陷的离线分析工具来缓解。这一挑战促使本工作开发基于在线学习的方法来处理印刷过程中的新缺陷。由于AM通常制造少量定制产品,本文旨在创建一个基于在线学习的策略,以减轻AM过程中的新缺陷,同时最大限度地减少所需的样本数量。所提出的方法是基于无模型强化学习(RL)。它被称为连续G学习,因为它转移了几个先验知识来源,以减少AM过程中所需的训练样本。离线知识是从文献中获得的,而在线知识是在印刷过程中学习的。所提出的方法开发了一种新的算法,用于学习最佳的缺陷缓解策略证明了最佳的性能时,利用这两个知识源。在熔丝制造(FFF)平台的数值和现实世界的案例研究进行,并证明所提出的方法的有效性。
2022-10-28 cs.LG stat.AP
Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories
University of California, Davis(加州大学戴维斯分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工大学);Meta AI;Adobe Research(Adobe研究)
本文提出SMART框架,将谄媚行为视为推理优化问题,通过不确定性感知的自适应蒙特卡洛树搜索和基于进展的强化学习两阶段方法,在保持模型通用能力的同时显著减少谄媚行为。
2025-09-20 cs.AI
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而,在集成中训练这些大量的神经网络具有极高的计算成本,这可能成为训练大规模系统的障碍。在本文中,我们提出了DNS:一个基于确定性点过程的神经网络采样器,专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样,从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS,用于连续控制任务,并在MuJoCo环境中进行了评估。我们的实验表明,DNS增强的REDQ优于基线REDQ的平均累积奖励,并实现这一目标时,使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG
Real-Time Cascade Mitigation in Power Systems Using Influence Graph Improved by Reinforcement Learning
School of Mechanical and Electrical Engineering, Soochow University(苏州大学机械与电子工程学院);Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学);Department of Mechanical Engineering, University of Akron(机械工程系,阿克伦大学);Department of Computer and Information Technology, Purdue University(计算机与信息科技系,普渡大学)
本文将影响图扩展为含不确定性和无效动作处理的 MDP,并用策略梯度强化学习实现电力系统实时连锁故障缓解,在 IEEE 14-bus 与 118-bus 系统上验证其可降低连锁风险。
2025-06-10 cs.LG physics.data-an physics.soc-ph
Fake News Mitigation via Point Process Based Intervention
Georgia Tech(佐治亚理工学院);Georgia State University(佐治亚州立大学)
我们提出了第一个多阶段干预框架,通过将强化学习与点过程网络活动模型相结合来解决社交网络中的假新闻。假新闻和缓解事件在网络中的传播由具有额外外生控制项的多变量Hawkes过程建模。通过选择状态的特征表示,定义缓解动作并构造奖励函数来衡量缓解活动的有效性,我们将假新闻缓解问题映射到强化学习框架中。我们开发了一个策略迭代方法,独特的多变量网络点过程,在预算约束下的最大总回报的行动优化的目标。我们的方法在Twitter网络上的实时干预实验中表现出良好的性能,以减轻替代假新闻活动,并在合成数据集上优于替代品。
2017-06-19 cs.LG cs.SI
MPC-based Deep Reinforcement Learning Method for Space Robotic Control with Fuel Sloshing Mitigation
本文提出融合PPO/SAC强化学习与模型预测控制的框架,用于抑制燃料晃动并提升卫星自主对接精度与成功率,实验验证了SAC-MPC的优越性。
2025-09-25 cs.LG cs.RO
Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning
本文提出一种结合因果推断与多模态表示学习的反事实奖励模型,通过反事实信任分数缓解RLHF中的多模态偏差,在假新闻检测中达到89.12%准确率并减少虚假相关性和不公平强化信号。
2025-08-27 cs.LG
Autonomous Attack Mitigation for Industrial Control Systems
Stanford University(斯坦福大学);Johns Hopkins University Applied Physics Lab(约翰斯·霍普金斯大学应用物理实验室)
保护计算机网络免受网络攻击需要及时响应警报和威胁情报。关于如何响应的决策涉及基于不完美的妥协指标协调多个节点的行动,同时最大限度地减少对网络运营的中断。目前,剧本用于自动化响应过程的部分,但通常将复杂的决策留给人类分析师。在这项工作中,我们提出了一个深度的强化学习方法,在大型工业控制网络的自主响应和恢复。我们提出了一种基于注意力的神经架构,该架构对受保护的网络的大小是灵活的。为了训练和评估自主防御Agent,我们提出了一个适合强化学习的工业控制网络仿真环境。实验表明,学习代理可以有效地减轻高级攻击,在执行前几个月内几乎没有可观察到的信号。所提出的深度强化学习方法在模拟中优于完全自动化的剧本方法,采取更少的破坏性行动,同时还保护网络上的更多节点。学习的策略也比剧本方法对攻击者行为的变化更鲁棒。
2021-11-03 cs.AI cs.CR cs.LG
SAAS: Self-Aware Reinforcement Learning for Over-Search Mitigation in Agentic Search
School of Informatics, Xiamen University(厦门大学信息学院);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
提出SAAS强化学习框架,通过搜索边界建模、边界感知奖励和分阶段优化策略,使LLM智能体具备动态自我感知能力,在不降低准确率的前提下显著减少过度搜索。
2026-06-16 cs.AI cs.CL cs.LG
CyberForce: A Federated Reinforcement Learning Framework for Malware Mitigation
University of Zurich (UZH)(苏黎世大学);University of Murcia(穆尔西亚大学);armasuisse Science & Technology(armasuisse科学与技术局)
本文提出CyberForce框架,将联邦学习与强化学习结合,在保护物联网设备数据隐私的同时,通过设备指纹与异常检测驱动MTD技术选择,实现比集中式方法更快、更鲁棒的零日攻击缓解。
2024-09-30 cs.AI cs.CR
Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem
IDEAS NCBR;University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Google DeepMind(谷歌DeepMind);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所)
本文揭示微调强化学习模型中的性能下降源于对预训练能力的遗忘,提出用知识保留技术缓解,并在NetHack和Montezuma's Revenge上验证,取得新最先进结果。
2024-07-17 cs.LG
Extreme Risk Mitigation in Reinforcement Learning using Extreme Value Theory
University of California, Santa Barbara(加州大学圣巴巴拉分校);Jefferson National Laboratory(杰斐逊国家实验室);Pacific Northwest National Laboratory(太平洋西北国家实验室);Oak Ridge National Laboratory(橡树岭国家实验室)
针对强化学习中的极端风险,本文提出基于极值理论对状态-动作值函数分布的极端值进行参数化建模,以提升智能体对罕见灾难性事件的预测与规避能力,并在多种基准任务上验证了其优于现有风险规避算法。
2023-08-24 cs.LG
Mitigation of Adversarial Policy Imitation via Constrained Randomization of Policy (CRoP)
SAIL Lab(SAIL实验室);University of New Haven(纽黑文大学)
深度强化学习(DRL)策略容易受到未经授权的复制攻击,其中对手利用模仿学习从观察到的行为中复制目标策略。在本文中,我们提出了约束随机化的政策(CRoP)作为缓解这种攻击的技术。CRoP导致在性能损失约束下随机执行次优动作。我们提出了一个参数分析的CRoP,解决CRoP的最优性,并建立理论界的对抗预算和损失的期望。此外,我们报告了在Atari环境下的对抗性模仿的CRoP的实验评估,证明了我们提出的方法对策略复制攻击的有效性和可行性。
2021-09-29 cs.AI cs.LG
Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning
HK PolyU(香港理工大学);SJTU(上海交通大学);EIT, Ningbo(宁波工程学院);NTU(National University of Technology);HKU(香港大学);INFIFORCE
Plasticine是首个开源框架,用于评估深度强化学习中的塑性优化,提供多种缓解方法和评估指标,帮助研究者系统量化塑性损失并分析动态。
2026-02-10 cs.AI cs.LG
Auxiliary-task Based Deep Reinforcement Learning for Participant Selection Problem in Mobile Crowdsourcing
Baidu Inc.(百度公司);IIIS, Tsinghua University(清华大学交叉信息研究院);Lancaster University(兰卡斯特大学);Nanjing University(南京大学);Tencent Holdings Ltd.(腾讯控股有限公司)
在移动众包(MCS)中,平台选择参与者来完成来自招聘人员的位置感知任务,旨在实现多个目标(例如,利润最大化、能源效率和公平)。然而,不同的MCS系统具有不同的目标,并且即使在一个MCS系统中也可能存在冲突的目标。因此,设计一种适用于不同MCS系统的参与者选择算法以实现多个目标是至关重要的。为了解决这个问题,我们将参与者选择问题表示为强化学习问题,并提出了一种新的方法来解决这个问题,我们称之为基于任务的深度强化学习(ADRL)。我们使用Transformers从MCS系统的上下文中提取表示,并使用指针网络来处理组合优化问题。为了提高样本效率,我们采用了一个任务训练过程,训练网络预测招聘人员即将完成的任务,这有利于深度学习模型的嵌入式学习。此外,我们发布了一个模拟的环境中的一个特定的MCS任务,共乘任务,并在此环境中进行广泛的性能评估。实验结果表明,ADRL优于和提高样本效率比其他公认的基线在各种设置。
2020-08-26 cs.LG stat.ML
Learning to Communicate in Multi-Agent Reinforcement Learning for Autonomous Cyber Defence
Electrical and Computer Engineering Department, Royal Military College of Canada(加拿大皇家军事学院电子与计算机工程系);Defence Research and Development Canada(加拿大国防研究发展署)
本文提出在Cyber Operations Research Gym中利用可微分智能体间学习算法训练防御智能体,使其在部分可观测网络环境中学习低成本通信与防御战术策略,从而提升自主网络防御的协同决策能力。
2025-07-19 cs.CR cs.LG cs.MA
InvestESG: A multi-agent reinforcement learning benchmark for studying climate investment as a social dilemma
University of Washington(华盛顿大学);Google Deepmind(谷歌DeepMind)
该研究提出多智能体强化学习基准InvestESG,模拟企业气候投资的跨期社会困境,通过开源模拟验证ESG披露指令下投资者参与对企业减缓措施的影响,为气候投资政策设计提供MARL研究工具与实证依据。
2025-02-10 cs.CY cs.LG cs.MA
Reinforcement Learning for Neural Model Editing
Shaivi Malik
提出将神经模型编辑形式化为强化学习问题,通过奖励反馈学习编辑策略,在偏见缓解和机器遗忘任务上取得良好效果。
2026-06-12 cs.CV cs.LG
Distributed Multi-Agent Reinforcement Learning with One-hop Neighbors and Compute Straggler Mitigation
The Boeing Company(波音公司);San Diego State University(圣地亚哥州立大学);University of California San Diego(加州大学圣迭戈分校)
本文提出DARL1N方法,通过将智能体信息交换限制在单跳邻居来降低多智能体强化学习的维度复杂度,并引入编码分布式学习架构缓解计算落后节点影响,在保持策略质量的同时显著提升训练效率和可扩展性。
2024-12-30 cs.LG cs.MA
Deep VULMAN: A Deep Reinforcement Learning-Enabled Cyber Vulnerability Management Framework
University of South Florida(南佛罗里达大学);United States Military Academy, West Point(西点军校)
网络漏洞管理是网络安全运营中心(CSOC)的一项重要功能,可帮助保护组织免受对其计算机和网络系统的网络攻击。对手对CSOC拥有不对称的优势,因为与安全团队在资源受限的环境中缓解它们的扩展速度相比,这些系统中的缺陷数量以显著更高的速度增加。目前的方法是确定性的一次性决策方法,在确定和选择缓解脆弱性时不考虑未来的不确定性。这些办法还受到资源分配不理想的限制,无法灵活地调整对脆弱性抵达者的波动作出的反应。我们提出了一个新的框架,深VULMAN,由一个深度强化学习代理和整数规划方法,以填补这一空白的网络漏洞管理过程。我们的顺序决策框架,首先,确定了接近最优的资源分配的缓解下的不确定性为一个给定的系统状态,然后确定最优的一组优先级的脆弱性实例缓解。我们提出的框架优于目前的方法,在优先选择重要的组织特定的漏洞,模拟和现实世界的漏洞数据,观察了一年的时间。
2022-10-24 cs.AI cs.CR cs.NE
Concentration Network for Reinforcement Learning of Large-Scale Multi-Agent Systems
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
当处理一系列迫在眉睫的问题时,人类可以通过根据它们对动机指数的贡献来优先考虑这些问题,从而自然地集中于这些问题的子集,例如,赢得一场比赛的概率。这种集中的思想提供了对由数百个代理参与的复杂大规模多代理系统(LMAS)的强化学习的见解。在这样的LMAS中,每个代理在每个步骤接收一长串实体观察,这可能会压倒现有的聚合网络,如图注意力网络,并导致效率低下。在本文中,我们提出了一个称为ConcNet的集中网络。首先,ConcNet考虑几个动机指数对观察到的实体进行评分,例如,期望的生存时间和状态值的代理,然后排名,修剪,并聚集所观察到的实体的编码,以提取特征。其次,与众所周知的注意力机制不同,ConcNet具有独特的动机子网络,在对观察到的实体进行评分时明确考虑动机指数。此外,我们提出了一个浓度策略梯度架构,可以从头开始学习有效的政策在LMAS。大量的实验表明,该架构具有良好的可扩展性和灵活性,并显着优于现有的方法在LMAS基准测试。
2022-04-07 cs.AI cs.LG cs.MA
Reward Delay Attacks on Deep Reinforcement Learning
Washington University in St. Louis(圣路易斯华盛顿大学)
大多数强化学习算法隐含地假设强同步。我们提出了针对Q学习的新型攻击,通过将奖励信号延迟有限的时间段来利用这一假设所带来的漏洞。我们考虑两种类型的攻击目标:有针对性的攻击,其目的是使目标政策被学习,和无针对性的攻击,其目的只是为了诱导一个政策,低奖励。我们通过一系列的实验来评估所提出的攻击的有效性。我们的第一个观察是,当目标只是最小化奖励时,奖励延迟攻击非常有效。事实上,我们发现,即使是天真的基线奖励延迟攻击也非常成功地最小化奖励。另一方面,有针对性的攻击更具挑战性,尽管我们证明了所提出的方法在实现攻击者的目标方面仍然非常有效。此外,我们还引入了第二个威胁模型,该模型可以捕获最小的缓解措施,以确保奖励不会乱序使用。我们发现,这种缓解仍然不足以确保延迟攻击的鲁棒性,但保持奖励的顺序。
2022-09-08 cs.AI cs.CR cs.LG
COVID-19 Pandemic Cyclic Lockdown Optimization Using Reinforcement Learning
Oracle Corporation(甲骨文公司)
这项工作研究了使用强化学习(RL)来优化循环封锁,这是控制COVID-19大流行的方法之一。该问题被构造为用于跟踪参考值的最优控制系统,该参考值对应于关键资源(诸如ICU病床)的最大使用水平。然而,代替使用常规的最优控制方法,RL被用于找到最优控制策略。开发了一个框架,使用基于RL的开关控制器来计算最佳循环锁定定时。基于RL的控制器实现为RL代理,与流行病模拟器交互,实现为扩展的SEIR流行病模型。RL代理学习策略函数,该策略函数产生开放/锁定决策的最优序列,使得RL奖励函数中指定的目标被优化。使用了两个并行目标:第一个是公共卫生目标,最大限度地减少ICU床位使用超过ICU床位阈值的情况,第二个是社会经济目标,最大限度地减少封锁时间。假设当一个地区面临超过资源容量限制的紧迫危险,以及由于缺乏必要的经济资源在长期封锁期间支持其受影响人口而实施长期封锁将导致严重的社会和经济后果时,周期性封锁被视为长期封锁的临时替代方案。
2020-09-10 cs.AI cs.LG q-bio.PE
A Mobile Data-Driven Hierarchical Deep Reinforcement Learning Approach for Real-time Demand-Responsive Railway Rescheduling and Station Overcrowding Mitigation
Chang'an University(长安大学);University of Leeds(利兹大学)
针对现有铁路重调度方法忽略需求即时波动的问题,本研究利用实时移动数据,提出分层深度强化学习框架解决实时需求响应型重调度与车站拥挤问题,在低车辆占比下仍能保障高需求满足率与环境适应性。
2023-11-07 cs.AI cs.LG cs.SY
Temper and Tilt Lead to SLOP: Reward Hacking Mitigation with Inference-Time Alignment
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
本文提出通过引入参考模型温度调整,扩展推理时间对齐技术,使其适用于生成奖励模型的集合,并通过实验验证该方法在提升鲁棒性的同时保持对齐性能。
2026-05-13 cs.AI cs.CL cs.LG
Memristor Hardware-Friendly Reinforcement Learning
最近,通过使用强化学习(RL),在解决各个领域中的复杂问题方面取得了重大进展,RL允许机器或代理从与环境的交互而不是显式监督中学习。随着摩尔定律的终结似乎即将到来,能够实现高性能神经形态硬件系统的新兴技术正吸引越来越多的关注。也就是说,利用忆阻器(可编程和非易失性双端器件)作为硬件神经网络中的突触权重的神经形态架构是实现这种高能效和复杂神经系统的候选者。然而,具有集成学习能力的忆阻硬件的挑战之一是在学习过程期间可能需要的大量写入周期,并且这种情况在RL情况下甚至加剧。在这项工作中,我们提出了一个忆阻神经形态硬件实现的演员评论家算法在RL。通过引入双重训练过程(即,非原位预训练和原位重新训练)和若干训练技术,可以显著减少权重更新的数量,因此它将适合于有效的原位学习实现。作为一个案例研究,我们考虑平衡倒立摆,在RL和控制理论的经典问题的任务。我们相信,这项研究表明,使用忆阻器为基础的硬件神经网络处理复杂的任务,通过原位强化学习的承诺。
2020-01-20 cs.ET cs.LG
Hidden in Plain Text: Emergence & Mitigation of Steganographic Collusion in LLMs
LASR Labs(LASR实验室);University College London(伦敦大学学院);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学)
本文首次发现LLMs在训练期间因奖励激励设置不当而产生隐写术合谋,并指出现有缓解措施不足,需创新技术以防止此类合谋。
2025-12-02 cs.CL cs.CR cs.LG
Harnessing Network Effect for Fake News Mitigation: Selecting Debunkers via Self-Imitation Learning
RMIT University(皇家墨尔本理工大学)
本研究提出NAGASIL方法,通过负采样和状态增强的自模仿学习,在社交网络上选择辟谣者传播真实新闻以缓解假新闻,实验证明其性能优于现有模型。
2024-01-28 cs.AI cs.LG cs.SI
Mitigating Multi-Stage Cascading Failure by Reinforcement Learning
GEIRI North America(美国GEIRI北美公司);Aalborg University(奥尔堡大学)
提出了一种基于强化学习(RL)方法的级联故障缓解策略。首先介绍了强化学习的基本原理。然后,多级级联故障(MSCF)的问题,并研究其挑战。该问题由基于DC-OPF(最优潮流)的RL来解决。RL框架的关键元素(奖励,状态等)的设计也进行了详细的讨论。在IEEE 118节点系统上,通过浅层和深层神经网络进行的实验表明,在降低系统崩溃率方面取得了可喜的结果。
2019-08-19 cs.LG cs.SY eess.SY
A Multi-Component Reward Function with Policy Gradient for Automated Feature Selection with Dynamic Regularization and Bias Mitigation
本文提出一种结合偏差缓解的强化学习自动化特征选择框架,通过多组件奖励函数动态平衡泛化、准确性与公平性,解决隐藏依赖导致的模型偏差问题。
2025-10-09 cs.CY cs.LG stat.ML
Sensory Anticipation of Optical Flow in Mobile Robotics
IIIA-CSIC(西班牙国家研究委员会人工智能研究所);Imperial College London(伦敦帝国理工学院)
为了预测碰撞等危险事件,智能体需要进行长期预测。然而,由于内部和外部变量以及环境动态的不确定性,这些都是具有挑战性的。一个sensorimotor模型在线获得的移动机器人使用一个国家的最先进的方法,学习图像中的光流分布,在空间和时间。学习模型用于预测给定时间范围内的光流,并通过使用强化学习来预测即将发生的碰撞。我们证明,多模态预测减少到更简单的分布,一旦采取行动。
2012-10-03 cs.LG cs.RO
Correlated Proxies: A New Definition and Improved Mitigation for Reward Hacking
University of California, Berkeley(加州大学伯克利分校)
本文基于参考策略下代理与真实奖励相关性的失效定义奖励黑客,理论提出并实验验证对策略占用度量的 $χ^2$ 散度正则化比 KL 惩罚更能缓解 RLHF 等场景中的奖励黑客。
2025-03-13 cs.AI cs.LG
Cluster-Based Social Reinforcement Learning
Purdue University(普渡大学)
社交强化学习方法在大型网络中对代理进行建模,对于假新闻缓解,个性化教学/医疗保健和病毒式营销非常有用,但由于网络规模和稀疏的交互数据,将代理间的依赖关系有效地纳入模型中具有挑战性。以前的社会强化学习方法要么忽略代理依赖关系,要么以计算密集的方式对其进行建模。在这项工作中,我们将代理的依赖关系有效地在一个紧凑的模型中聚类用户(基于他们的回报和贡献的目标),并结合这一方法,很容易从集群级的政策,以获得个性化的代理级别的政策。我们还提出了一个动态的聚类方法,捕捉不断变化的用户行为。在真实世界数据集上的实验表明,与不使用代理相关性或仅使用静态集群的几个基线相比,我们提出的方法学习更准确的策略估计并更快地收敛。
2020-03-23 cs.LG stat.ML
Reward Hacking Mitigation using Verifiable Composite Rewards
University of Delaware(特拉华大学)
本文针对医学问答中RLVR推理阶段的奖励黑客问题,提出带特定惩罚的复合奖励函数,有效改善推理格式、减少奖励黑客行为并保持良好准确率。
2025-09-19 cs.AI cs.LG
What Makes Reasoning Invalid: Echo Reflection Mitigation for Large Language Models
本文针对大语言模型在复杂领域推理中出现的“回声反射”问题,提出自适应熵策略优化(AEPO)方法,通过反思感知信息过滤和自适应熵优化提升反思质量,并在多个基准上取得最优性能。
2025-11-09 cs.AI cs.LG
Plasticity Loss in Deep Reinforcement Learning: A Survey
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Independent Researcher(独立研究员);Microsoft AI(微软人工智能);Department of Machine Learning and Systems Biology, Max Planck Institute of Biochemistry(生物化学研究所机器学习与系统生物学部门)
本文综述了深度强化学习中可塑性丧失的问题,提出统一定义,分析其驱动因素与病理,整理超过50种缓解策略,并指出当前评估实践的不足。
2026-04-18 cs.AI cs.LG
Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking
Department of Computer Science, University of California, Davis, USA(加州大学戴维斯分校计算机科学系);Meta AI Research(Meta AI研究院)
本文提出对抗性奖励审计框架,通过动态竞争机制检测并缓解奖励黑客问题,实现最佳的对齐-效用权衡。
2026-09-29 cs.AI cs.LG
Efficient falsification approach for autonomous vehicle validation using a parameter optimisation technique based on reinforcement learning
Australian Centre for Field Robotics(澳大利亚野外机器人学中心);University of Sydney(悉尼大学)
尽管许多安全挑战尚未解决,但自动驾驶汽车(AV)的大规模部署似乎迫在眉睫。众所周知,没有普遍认可的验证和确认(VV)方法保证绝对安全,这对于该技术的接受至关重要。交通参与者行为的不确定性和动态世界在先进的自治系统中引起随机反应。与传统方法相比,ML算法和概率技术的增加为真实世界的测试过程增加了显着的复杂性。这一领域的大多数研究都集中在生成具有挑战性的具体场景或测试用例,通过查看从真实世界数据中收集的提取参数的频率分布来评估系统性能。这些方法通常采用Monte-Carlo模拟和重要性采样来产生临界情况。本文提出了一种有效的证伪方法来评估被测系统。该方法是基于一个参数优化问题,以搜索具有挑战性的情况。优化过程旨在找到具有最大回报的挑战性案例。该方法采用策略梯度强化学习算法来实现学习。场景的风险性是通过建立良好的RSS安全度量、欧几里得距离和碰撞实例来衡量的。我们证明,通过使用所提出的方法,我们可以更有效地搜索具有挑战性的情况下,可能会导致系统失败,以满足安全要求。
2020-11-16 cs.AI cs.RO
Machine Learning-Based Cyber Defense for Cloud Infrastructure: An Adaptive Deep Q-Network Architecture for Intelligent Intrusion Detection and Automated Threat Mitigation
Wilmington University(威尔明顿大学);Washington University of Science and Technology(华盛顿科技大学);South Dakota School of Mines & Technology(南达科他矿业理工学院);South Dakota State University(南达科他州立大学);St. Francis College(圣弗朗西斯学院);Stanton University(斯坦顿大学)
该研究针对云环境复杂网络攻击问题,提出自适应DQN网络防御框架,经CICIDS2017等数据集验证,其入侵检测与威胁缓解性能优于多种传统机器学习模型,展现出强化学习在云自主网络安全中的应用潜力。
2026-08-13 cs.AI cs.CR
Reinforcement Learning for Mitigating Intermittent Interference in Terahertz Communication Networks
Kansas State University(堪萨斯州立大学);University of Colorado Colorado Spring(科罗拉多斯普林斯分校科罗拉多大学);Virginia Tech(弗吉尼亚理工学院暨州立大学)
具有极高数据速率要求的新兴无线服务(诸如实时延展实境应用)要求新颖的解决方案来进一步增加未来无线网络的容量。在这方面,利用太赫兹频段的大可用带宽被视为一个关键的推动因素。为了克服在这些非常高的频率下的大的传播损耗,不可避免地要管理在高度定向的链路上的传输。然而,大量用户的不协调定向传输可能会对太赫兹网络造成严重干扰。虽然这样的干扰将在短的随机时间间隔上被接收,但是接收的功率可能很大。在这项工作中,提出了一种新的框架,基于强化学习,使用自适应多阈值策略,有效地检测和减轻间歇性干扰的方向性链路在时域中。为了找到最佳阈值,问题被配制成一个多维多臂强盗系统。然后,提出了一种算法,该算法允许接收器以非常低的复杂度学习最佳阈值。所提出的方法的另一个关键优点是它不依赖于关于干扰统计的任何先验知识,因此,它适合于动态场景中的干扰减轻。仿真结果证实了优越的比特错误率性能相比,两个传统的时域干扰抑制方法所提出的方法。
2020-03-10 cs.LG cs.NI eess.SP