Simplifying Polylogarithms with Machine Learning
Harvard University(哈佛大学)
多对数函数,如对数或双对数,满足许多代数恒等式。对于对数,所有的恒等式都遵循乘积规则。对于双对数和更高权重的经典多项式,恒等式可以涉及五个或更多个函数。在许多与粒子物理学相关的计算中,复杂的多面体组合经常来自费曼积分。虽然从积分得到的初始表达式通常是简化的,但通常很难知道应用哪些恒等式以及以什么顺序应用。为了解决这个瓶颈,我们探索机器学习方法可以在多大程度上提供帮助。我们考虑强化学习方法,其中的身份类似于在游戏中的动作,和一个Transformer网络的方法,其中的问题被视为类似的语言翻译任务。虽然这两种方法都是有效的,但Transformer网络似乎更强大,并有望在数学物理中的符号操作任务中得到实际应用。
2022-06-08 cs.LG hep-ph hep-th
Explainable Reinforcement Learning: A Survey
OFFIS – Institute for Information Technology(OFFIS——信息技术研究所)
可解释人工智能(XAI),即,开发更透明和可解释的人工智能模型,在过去几年中获得了越来越多的关注。这是因为,随着它们成长为强大而无处不在的工具,人工智能模型表现出一个不利的特征:性能-透明度权衡。这描述了一个事实,即模型的内部工作越复杂,其预测或决策是如何实现的就越不清楚。但是,特别是考虑到机器学习(ML)方法,如强化学习(RL),其中系统自主学习,理解其决策的潜在推理的必要性变得显而易见。由于据我们所知,目前还没有一项工作提供可解释强化学习(XRL)方法的概述,因此本调查试图解决这一差距。我们给出了一个简短的问题,重要术语的定义,并提供了一个分类和评估目前的XRL方法。我们发现,a)大多数XRL方法通过模仿和简化复杂的模型而不是设计一个固有的简单模型来发挥作用,b)XRL(和XAI)方法通常忽略了考虑方程的人性化方面,没有考虑到心理学或哲学等相关领域的研究。因此,需要跨学科的努力来使生成的解释适应(非专家)人类用户,以便在XRL和XAI领域中有效地取得进展。
2020-05-13 cs.LG stat.ML
Simplifying Latent Dynamics with Softly State-Invariant World Models
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);University of Tübingen(蒂宾根大学);Helmholtz Institute for Human-Centered AI(亥姆霍兹以人为本人工智能研究所);Helmholtz Center Munich(慕尼黑亥姆霍兹中心)
针对现有世界模型无法保证动作效果系统性表征的问题,提出软状态不变的简约潜在空间模型PLSM,通过最小化潜在状态与动作引发的潜在变化间的互信息正则化动力学,在预测、规划及无模型强化学习任务中提升了准确性、泛化性和性能。
2024-11-01 cs.LG
Provable Domain Adaptation for Offline Reinforcement Learning with Limited Samples
Rensselaer Polytechnic Institute(新泽西理工学院);Columbia University(哥伦比亚大学)
本文提出首个可证明的有限样本离线强化学习领域适应框架,通过理论分析和实验验证,探讨权重分配对性能的影响,并提供收敛保证。
2026-02-07 cs.LG stat.ML
Exploiting Symmetry in Dynamics for Model-Based Reinforcement Learning with Asymmetric Rewards
University of California, Berkeley(加州大学伯克利分校)
针对强化学习中常假设动力学与奖励同对称的局限,本文仅基于动力学对称性,用Cartan活动标架法学习具备指定对称性的动力学模型,拓展了对称技术的适用场景,且实验验证其模型精度更高。
2024-08-16 cs.AI cs.LG cs.RO
Double Actor-Critic with TD Error-Driven Regularization in Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);School of Engineering, University of Newcastle(纽卡斯尔大学工程学院)
本文提出TDDR算法,在双重演员-评论家框架中引入TD误差驱动正则化,在不增加额外超参数的前提下提升价值估计精度,并在连续控制任务中取得有竞争力的表现。
2024-09-28 cs.AI cs.LG
Simplifying Reward Design through Divide-and-Conquer
设计一个好的奖励函数对于机器人规划和强化学习至关重要,但它也可能具有挑战性和令人沮丧。奖励需要在多个不同的环境中工作,这通常需要多次迭代调优。我们引入了一种新颖的分治方法,使设计师能够为每个环境单独指定奖励。通过将这些单独的奖励函数视为对潜在真实奖励的观察,我们推导出一种在所有环境中推断共同奖励的方法。我们进行用户研究,在一个抽象的网格世界域和运动规划域的7自由度机械手,衡量用户的努力和解决方案的质量。我们表明,我们的方法更快,更容易使用,并产生更高质量的解决方案比典型的方法设计一个奖励联合在所有环境中。我们还进行了一系列实验,测量这些结果对奖励设计任务的不同属性的敏感性,例如环境的数量,每个环境的可行解决方案的数量,以及每个环境中变化的总特征的比例。我们发现,独立的奖励设计优于标准的,联合的,奖励设计过程中,但最好的工作时,设计问题可以分为更简单的子问题。
2018-06-07 cs.AI cs.LG cs.RO
Learning to Unscramble: Simplifying Symbolic Expressions via Self-Supervised Oracle Trajectories
Rutgers University(罗格斯大学)
本文提出基于自监督Oracle轨迹的方法,通过训练策略网络简化复杂数学表达式,在高能物理问题中实现高准确率的符号简化。
2026-04-11 cs.LG cs.SC hep-ph
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo(东京大学)
研究针对离线强化学习中轨迹规划器的问题,提出捷径轨迹规划(STP)框架,将捷径模型作为轨迹生成器,单阶段训练条件捷径轨迹模型,支持可调推理,用增强可行性感知校正的评论家选候选计划,在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model
贝叶斯强化学习(RL)不仅能够整合领域知识,而且能够以自然的方式解决探索-利用困境。由于贝叶斯强化学习是棘手的,除了特殊情况下,以前的工作提出了几个近似方法。然而,这些方法通常对参数值过于敏感,并且在许多应用中几乎不可能找到可接受的参数设置。在本文中,我们提出了一个新的算法,Greatest近似贝叶斯RL实现参数空间中的鲁棒性。我们表明,对于所需的学习行为,我们提出的算法具有多项式样本的复杂性,低于现有的算法。我们还表明,该算法自然优于其他现有的算法时,先验分布没有显着误导。另一方面,该算法不能处理严重错误的先验知识,以及其他算法可以。这是一个自然的结果,事实上,该算法是贪婪的比其他算法。因此,我们讨论了一种方法来选择一个合适的算法为不同的任务的基础上的算法的贪婪。我们还介绍了一种新的方法来简化贝叶斯规划,在此基础上,未来的工作将能够得到新的算法。
2013-06-13 cs.AI cs.LG stat.ML
FinFlowRL: An Imitation-Reinforcement Learning Framework for Adaptive Stochastic Control in Finance
School of Business, Stevens Institute of Technology(斯蒂文斯理工学院商学院)
针对传统金融随机控制难以适应非平稳市场的问题,提出 FinFlowRL 框架,融合多专家模仿预训练、噪声空间强化微调与动作分块,实现跨市场条件的自适应最优控制。
2025-08-30 cs.AI cs.LG q-fin.CP
Improving Playtesting Coverage via Curiosity Driven Reinforcement Learning Agents
SEED - Electronic Arts (EA)(艺电SEED部门)
随着现代游戏的规模和复杂性不断增长,确保所有相关内容都经过测试,并正确识别和修复任何潜在问题变得越来越具有挑战性。然而,试图仅使用人类参与者来最大化测试覆盖率,会导致繁琐且难以编排的过程,这通常会减慢开发周期。通过自主智能体补充游戏测试已经显示出加速和简化这一过程的巨大前景。本文解决了自动探索和测试一个给定的情况下,使用强化学习代理训练,以最大限度地提高游戏状态覆盖率的问题。这些代理中的每一个都根据其动作的新颖性而获得奖励,从而鼓励在复杂的3D场景中的好奇和探索行为,其中先前提出的探索技术表现不佳。好奇的智能体能够学习到达地图周围不同区域所需的复杂导航机制,从而提供必要的数据来识别潜在的问题。此外,本文还探讨了不同的可视化策略,并评估如何更好地利用收集到的数据来驱动设计决策,并认识到可能的问题和疏忽。
2021-06-23 cs.LG
Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective
VNIT Nagpur(那格浦尔国家技术学院);Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
提出单一目标联合优化潜空间模型与策略,直接作为预期回报下界,在匹配或提升样本效率的同时大幅减少计算时间。
2023-06-24 cs.AI cs.LG cs.RO
Local Policy Optimization for Trajectory-Centric Reinforcement Learning
UTA Research Institute, University of Texas at Arlington(德克萨斯大学阿灵顿分校UTA研究所);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文的目标是提出一种同时进行轨迹和局部稳定化策略优化的方法,以生成以概率为中心的基于基于模型的强化学习(MBRL)的局部策略。这是因为非线性系统的全局策略优化在算法和数值上都是一个非常具有挑战性的问题。然而,许多机器人操作任务是以机器人为中心的,因此不需要全局模型或策略。由于学习模型估计的不准确性,当用于实际系统时,开环轨迹优化过程主要导致非常差的性能。受这些问题的启发,我们试图将轨迹优化和局部策略综合问题表述为一个单一的优化问题。然后将其作为非线性规划的一个实例同时求解。我们提供了一些分析结果,以及所提出的技术在一些简化的假设下实现的性能。
2020-01-22 cs.LG cs.RO cs.SY
Simplifying Deep Temporal Difference Learning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of Oxford(牛津大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Institut de Ciències del Mar(海洋科学研究所)
本文提出PQN,一种无需目标网络和大型回放缓冲区的简化深度Q学习算法,利用LayerNorm正则化和向量化环境并行采样,在保持稳定性的同时,性能媲美复杂方法且速度提升高达50倍。
2025-04-21 cs.LG
Reinforcement Learning for Robust Parameterized Locomotion Control of Bipedal Robots
University of California, Berkeley(加州大学伯克利分校)
为双足机器人开发鲁棒行走控制器是一项具有挑战性的工作。传统的基于模型的运动控制器需要简化假设和仔细建模;任何小的误差都可能导致不稳定的控制。为了解决这些挑战的双足运动,我们提出了一个无模型强化学习框架,用于训练强大的运动策略在模拟,然后可以转移到一个真正的双足Cassie机器人。为了促进仿真到现实迁移,域随机化用于鼓励策略学习在系统动态变化中鲁棒的行为。学习的策略使Cassie能够执行一组多样化的动态行为,同时比传统的控制器和使用剩余控制的先前基于学习的方法更鲁棒。我们证明了这一点,如跟踪目标步行速度,步行高度,转向偏航的多才多艺的步行行为。
2021-03-26 cs.AI cs.LG cs.RO
EasyRL4Rec: An Easy-to-use Library for Reinforcement Learning Based Recommender Systems
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);AIR, Tsinghua University(清华大学AIR)
EasyRL4Rec是一个专为基于强化学习的推荐系统设计的易用代码库,提供多样化环境、统一评估标准和定制化状态与动作设计,以解决框架缺失、评估不一致和复现困难等问题。
2024-05-24 cs.IR cs.LG
Offline Reinforcement Learning for Road Traffic Control
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
交通信号控制是城市交通中的一个重要问题,具有显著的经济和环境影响潜力。虽然人们对交通信号控制的强化学习(RL)越来越感兴趣,但到目前为止,这项工作主要集中在通过模拟进行学习,这可能会由于简化假设而导致不准确。相反,关于交通的真实经验数据是可用的,可以以最低的成本加以利用。离线或批量RL的最新进展已经实现了这一点。特别是基于模型的离线RL方法,已经被证明比其他方法更好地从经验数据中进行概括。我们建立了一个基于模型的学习框架,从使用循环交通信号控制策略收集的数据集推断马尔可夫决策过程(MDP),该策略既常见又易于收集。MDP是建立在悲观的成本,以管理的分布情况下,使用自适应整形的奖励,这是为了提供更好的正则化相比,以前的相关工作,除了PAC最优。我们的模型进行了评估,一个复杂的信号环形交叉口显示,它是可以建立高性能的交通控制策略,在一个数据有效的方式。
2022-12-11 cs.AI cs.LG
Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits
Massachusetts Institute of Technology(麻省理工学院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文研究仅在轨迹终点获得奖励时的在线RL信用分配问题,提出基于一般函数逼近的样本高效算法,并揭示其与逐步奖励的指数级统计分离及偏好反馈扩展。
2025-07-24 cs.AI cs.LG math.ST
Join Query Optimization with Deep Reinforcement Learning Algorithms
Zurich University of Applied Sciences(苏黎世应用科技大学)
连接查询优化是一项复杂的任务,是查询处理性能的核心。实际上它属于NP难问题。传统的查询优化器使用动态规划(DP)方法结合一组规则和限制,以避免穷举所有可能的连接顺序。然而,DP方法是非常资源密集的。此外,由于简化假设的属性独立性,传统的查询优化依赖于错误的成本估计,这可能会导致次优的查询计划。深度强化学习(DRL)最近的成功为查询优化领域解决上述问题创造了新的机会。在本文中,我们提出了我们的DRL为基础的完全观察优化(FOOP),这是一个通用的查询优化框架,使插件在不同的机器学习算法。FOOP的主要思想是使用一个数据自适应学习查询优化器,它避免了连接顺序的穷举,因此比基于动态规划的传统方法快得多。特别是,我们评估各种DRL算法,并表明,近端策略优化显着优于Q-学习算法。最后,我们展示了集成学习技术结合DRL可以进一步提高查询优化器。
2019-11-26 cs.AI cs.DB cs.LG
Symbolic Equation Solving via Reinforcement Learning
RIKEN Center for Emergent Matter Science (CEMS)(理化学研究所 emergen 物质科学中心(CEMS));School of Mathematical Sciences, Queen Mary University of London(伦敦玛丽女王大学数学科学学院);The University of Tokyo(东京大学)
提出一种基于强化学习智能体操作符号栈计算器的深度学习接口,实现精确数学变换,无幻觉,能自主发现规则并逐步求解符号线性方程。
2024-11-04 cs.LG cs.SC
Curiosity Killed or Incapacitated the Cat and the Asymptotically Optimal Agent
Oxford University(牛津大学);Australian National University(澳大利亚国立大学);Google DeepMind(谷歌DeepMind)
强化学习器是学习选择导致高奖励的行为的代理。理想情况下,强化学习器的策略的值接近最优-其中最优的知情策略是最大化奖励的策略。不幸的是,我们表明,如果一个代理保证是“渐近最优”在任何(随机可计算)的环境中,然后受到一个假设的真实环境,这个代理将被“摧毁”或“丧失能力”的概率为1。强化学习中的许多工作都使用遍历性假设来避免这个问题。通常情况下,在简化假设下进行理论研究,即使没有这些假设,我们也可以提供实用的解决方案,但强化学习中的遍历性假设可能会让我们在为危险环境中的智能体准备安全有效的探索策略时完全误入歧途。而不是假设的问题,我们提出了一个代理,Mentee,与接近导师的性能,做安全的探索,而不是鲁莽的探索适度的保证。重要的是,Mentee的探索概率取决于从探索中获得的预期信息。在一个简单的非遍历环境中,一个弱的导师,我们发现Mentee优于现有的渐近最优代理和它的导师。
2021-05-26 cs.AI cs.LG
Behavior Imitation for Manipulator Control and Grasping with Deep Reinforcement Learning
School of Mechanical & Aerospace Engineering(机械与航空航天工程学院);Nanyang Technological University(南洋理工大学)
本文提出将三维人体姿态估计与深度强化学习结合,把运动模仿转化为关节角度预测问题,仅需几秒视频即可让机械臂学会模仿人类手臂动作,实现轻量高效且泛化性强的行为模仿。
2024-05-02 cs.LG cs.RO
RecoMind: A Reinforcement Learning Framework for Optimizing In-Session User Satisfaction in Recommendation Systems
Pinterest Inc.(Pinterest公司)
针对超大规模推荐系统应用RL优化会话目标的难题,提出基于模拟器的RecoMind框架,结合现有推荐模型与定制探索策略,经实验验证显著提升会话内用户满意度。
2025-07-31 cs.LG
Non-Markovian policies occupancy measures
Microsoft Research Montréal(微软研究院蒙特利尔);MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学)
强化学习(RL)的一个中心研究对象是马尔可夫策略,其中代理的行为是从无记忆概率分布中选择的,仅以其当前状态为条件。马尔可夫政策家族的范围足够广,令人感兴趣,但又足够简单,便于分析。然而,强化学习往往涉及更复杂的政策:政策的合奏,政策的选择,政策更新在线等,我们的主要贡献是证明,任何非马尔可夫政策的占用措施,即,与它一起收集的过渡样本的分布可以等效地由马尔可夫策略生成。这个结果允许定理的马尔可夫政策类直接扩展到其非马尔可夫对应,大大简化了证明,特别是那些涉及重放缓冲区和数据集。我们在强化学习领域提供了各种应用实例。
2022-05-27 cs.LG cs.SY eess.SY
Neurosymbolic Reinforcement Learning and Planning: A Survey
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Embry-Riddle Aeronautical University(安柏瑞德航空大学);University of Colorado, Boulder(科罗拉多大学博尔德分校)
本文综述神经符号强化学习领域,按神经、符号和强化学习三部分分类为学习用于推理、推理用于学习及学习-推理三类,并分析各工作的RL组件及应用中的机遇与挑战。
2023-09-02 cs.AI cs.LG
Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions
ETH Zürich(苏黎世联邦理工学院)
进化策略(ES)是一种有效的黑盒优化技术,适用于无法计算真实梯度的深度神经网络,例如强化学习。我们继续最近的一系列研究,使用代理梯度,以提高梯度估计ES。我们提出了一种新的方法,最佳地将替代梯度信息。与以前的工作不同,我们的方法不需要关于代理梯度质量的信息,并且总是保证找到比代理梯度更好的下降方向。这允许迭代地使用先前的梯度估计作为当前搜索点的替代梯度。我们从理论上证明,这会产生快速收敛到真正的梯度线性函数和简化的假设下,它显着提高一般函数的梯度估计。最后,我们评估我们的方法经验MNIST和强化学习任务,并表明它大大提高了ES的梯度估计,没有额外的计算成本。
2019-10-11 cs.LG cs.NE
Adaptive Preference Scaling for Reinforcement Learning with Human Feedback
Georgia Tech(佐治亚理工学院);Amazon(亚马逊公司);Texas A&M University(德克萨斯农工大学)
本文提出一种基于分布鲁棒优化的自适应偏好损失方法,通过为不同偏好对分配自适应缩放参数提升奖励函数灵活性,并兼容DPO等框架,实验证明其能提高策略性能并简化超参调整。
2024-06-04 cs.AI cs.LG
MOSEAC: Streamlined Variable Time Step Reinforcement Learning
Polytechnique Montréal(蒙特利尔理工学院)
针对变时间步长强化学习(VTS-RL)超参数调整复杂的问题,提出MOSEAC方法,通过自适应奖励方案仅需单一超参数引导探索,简化了学习过程并降低了部署成本,实验证明其在减少时间步数和能耗的同时保持了高性能。
2024-06-03 cs.LG cs.RO
Reinforcement Learning for Ballbot Navigation in Uneven Terrain
VimaLabs(维马实验室)
本文提出基于MuJoCo的开源Ballbot模拟器,展示了通过强化学习方法有效导航不平整地形的成果。
2026-01-30 cs.AI cs.LG cs.RO
Safe Deep Reinforcement Learning for Resource Allocation with Peak Age of Information Violation Guarantees
Department of Electrical and Electronics Engineering, Koc University(电气与电子工程系,科克大学)
本文提出一种基于优化理论的安全深度强化学习两阶段框架,通过师生机制指导智能体在满足PAoI违例概率等约束下最小化功耗,实现了比基线更快的收敛速度与更高稳定性。
2025-07-11 cs.AI cs.LG cs.MA
Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出利用约束违反信号构造可行动作目标分布并训练 normalizing flows,将其集成到深度 RL 中,显著减少约束违反并保持更优控制性能。
2025-02-08 cs.AI cs.LG
MinAtar: An Atari-Inspired Testbed for Thorough and Reproducible Reinforcement Learning Experiments
University of Alberta(阿尔伯塔大学)
Arcade Learning Environment(ALE)是一个用于评估强化学习代理的流行平台。雅达利游戏的吸引力很大程度上来自于这样一个事实,即雅达利游戏展示了我们期望从智能代理中获得的能力,并且不偏向于任何特定的解决方案。ALE的挑战包括(1)从原始像素提取相关信息的表示学习问题,以及(2)利用动作和奖励之间复杂的延迟关联的行为学习问题。通常,我们感兴趣的研究问题更多地属于后者,但表示学习问题增加了显着的计算费用。我们介绍MinAtar,简称微型雅达利,一套新的环境,捕捉特定雅达利游戏的一般机制,同时简化了代表性的复杂性,更专注于行为的挑战。MinAtar由五款Atari游戏组成:Seaquest,Breakout,Asterix,Freeway和Space Invaders。每个MinAtar环境为代理提供10 x10 xn二进制状态表示。每个游戏都在10 x10的网格上进行,其中n个通道对应于游戏特定的对象,例如游戏Breakout中的球,球拍和砖块。为了调查MinAtar带来的行为挑战,我们评估了一个较小版本的DQN架构以及具有资格跟踪的在线演员-评论家。随着表示学习问题的简化,我们可以用显著更少的计算开销来执行实验。在我们的实验中,我们使用节省的计算时间来执行步长参数扫描和更多的运行比典型的ALE。像这样的实验提高了可重复性,并使我们能够得出更有信心的结论。我们希…
2019-06-07 cs.AI cs.LG
CarPlanner: Consistent Auto-regressive Trajectory Planning for Large-scale Reinforcement Learning in Autonomous Driving
Zhejiang University(浙江大学);Cainiao Network(菜鸟网络)
针对自动驾驶强化学习轨迹规划训练效率低、难适配大规模真实场景的问题,提出带一致性机制、生成-选择框架的CarPlanner,首次在nuPlan数据集上超越IL及规则类SOTA方法。
2025-03-24 cs.CV cs.LG cs.RO
Interpreting Agent Behaviors in Reinforcement-Learning-Based Cyber-Battle Simulation Platforms
SRI(SRI研究院);Laboratory for Advanced Cybersecurity Research(高级网络安全研究实验室)
本文通过简化状态与动作空间、跟踪关键事件,分析 CAGE Challenge 2 中的深度强化学习防御智能体,揭示攻防行为模式、动作有效性及诱饵作用。
2025-06-09 cs.CR cs.LG
Expert-Free Online Transfer Learning in Multi-Agent Reinforcement Learning
针对深度强化学习探索成本高、数据需求大且任务变更易致知识失效的问题,引入迁移学习利用外部知识简化探索,降低智能体处理陌生任务的学习复杂度并缩短收敛时间。
2025-01-26 cs.AI cs.LG cs.MA
Multi-agent Reinforcement Learning in Bayesian Stackelberg Markov Games for Adaptive Moving Target Defense
Arizona State University(亚利桑那州立大学)
网络安全领域大多是一场猫捉老鼠的游戏,新的攻击的发现引领了这一趋势。为了剥夺攻击者的侦察优势,研究人员提出了主动防御方法,如移动目标防御(MTD)。为了找到好的移动策略,研究人员将MTD建模为防御者和网络对手之间的领导者-追随者游戏。我们认为,现有的模型是不够的顺序设置时,有一个理性的对手的信息不完整,并产生次优的运动策略。此外,虽然存在一系列关于在网络安全的顺序设置中学习防御策略的工作,但由于不完整信息引起的可扩展性问题,它们要么不受欢迎,要么倾向于忽略对手的战略性质,从而简化场景以使用单代理强化学习技术。为了解决这些问题,我们提出了(1)一个统一的博弈论模型,称为贝叶斯Stackelberg马尔可夫博弈(BSMG),可以对攻击者类型和MTD系统的细微差别的不确定性进行建模,以及(2)贝叶斯强Stackelberg Q学习(BSS-Q)方法,可以通过交互在合理的时间内学习BSMG的最佳移动策略。我们在不完全信息马尔可夫博弈的景观BSMG和强Stackelberg均衡(SSE)的概念,在他们的特点。我们表明,我们的学习方法收敛到一个SSE的BSMG,然后强调,学习的运动策略(1)提高了最先进的MTD的Web应用程序的安全性和(2)收敛到最佳的策略,即使在MTD域的不完整的信息,对手的奖励和过渡的先验信息是缺席。
2020-07-20 cs.AI cs.CR cs.GT
Multi-Agent Reinforcement Learning for Intraday Operating Rooms Scheduling under Uncertainty
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);Department of Mathematics & Risk Management Institute & Center for Quantitative Finance, National University of Singapore(新加坡国立大学数学系及风险管理研究所及量化金融中心);Department of Mathematics and Computer Science, Freie Universität Berlin(柏林自由大学数学与计算机科学系);Department of Network Optimization, Zuse Institute Berlin(柏林Zuse研究所网络优化部);Faculty of Mathematics and Natural Sciences, Technische Universität Berlin(柏林技术大学数学与自然科学学院);Department of Applied Algorithmic Methods, Zuse Institute Berlin(柏林Zuse研究所应用算法方法部)
本文提出基于多代理强化学习的手术室调度方法,通过集中训练和分布式执行策略,有效应对不确定性,提升调度效率和及时性。
2025-12-04 cs.LG
A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning
Google Deepmind(谷歌DeepMind)
本文通过 ODE 框架分析了动作条件自预测目标(BYOL-AC),揭示了其与固定策略方法的联系,并基于模型与无模型视角统一了三种目标,证明了 BYOL-AC 在多种设置下表现更优。
2024-06-04 cs.AI cs.LG
Extreme Event Prediction with Multi-agent Reinforcement Learning-based Parametrization of Atmospheric and Oceanic Turbulence
Rice University(莱斯大学);ETH Zurich(苏黎世联邦理工学院);Harvard University(哈佛大学)
本文提出利用科学多智能体强化学习(SMARL)结合湍流物理原理学习大气与海洋湍流闭合参数化,仅用少量高保真样本估计的拟涡能谱训练策略,即可在低分辨率模拟中稳定重现高保真统计特性,为数据稀缺条件下GCM闭合建模提供了新途径。
2023-12-01 cs.CE cs.LG physics.ao-ph
Safe Offline Reinforcement Learning with Feasibility-Guided Diffusion Model
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与运载学院);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对安全离线RL中零违规与回报、行为正则化难以兼顾的问题,提出FISOR,将硬安全约束转化为最大可行区域并以能量引导扩散模型解耦学习,在DSRL全部任务中保证安全且多数任务回报最优。
2024-01-19 cs.AI cs.LG cs.RO
Simplifying Reinforced Feature Selection via Restructured Choice Strategy of Single Agent
Northeast Normal University(东北师范大学);University of Central Florida(中佛罗里达大学)
特征选择旨在选择特征的子集以优化下游预测任务的性能。最近,多代理增强特征选择(MARFS)已被引入到自动化特征选择,通过创建代理为每个功能选择或删除相应的功能。虽然MARFS享有自动化的选择过程中,MARFS遭受不仅在内容和维度方面的数据复杂性,但也指数增加的计算成本方面的代理。这就引出了一个新的研究问题:能否在强化学习环境下简化智能体的选择过程,从而提高特征选择的效率和成本?为了解决这个问题,我们开发了一个单一的代理人加强特征选择的方法与重组的选择策略。具体而言,重构的选择策略包括:1)我们只使用一个单一的代理来处理多个功能的选择任务,而不是使用多个代理。2)我们开发了一种扫描方法,使单个代理在每一轮扫描中做出多个选择/取消选择的决定。3)我们利用与特征的预测标签的相关性来优先化代理对多个特征的扫描顺序。4)我们提出了一种卷积自动编码算法,结合编码的索引信息的功能,以改善状态表示。5)我们设计了一个奖励计划,考虑到预测精度和特征冗余,以促进探索过程。最后,我们提出了广泛的实验结果证明所提出的方法的效率和有效性。
2020-09-19 cs.LG stat.ML
ECHO: Prune To Act, Trace To Learn With Selective Turn Memory In Agentic RL
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Baidu Inc.(百度公司);University of Science and Technology of China(中国科学技术大学)
提出ECHO框架,通过选择性回合记忆和源索引重建解决长程智能体强化学习中的历史崩溃与可追踪学习问题,在BrowseComp-Plus上达到43.4%准确率,优于GRPO和SUPO。
2026-08-04 cs.AI cs.LG
Self-supervised Subgraph Neural Network With Deep Reinforcement Walk Exploration
WASEDA University(早稻田大学)
本文提出RWE-SGNN框架,将子图神经网络与图神经网络解释器的生成方法结合,通过强化行走探索过程高效提取重要子结构,以数据驱动方式提升图表示学习的表达能力和性能。
2025-02-03 cs.LG