Reinforcement Learning for Accelerator Beamline Control: a simulation-based approach
Laboratory of Methods for Big Data Analysis, HSE University(大数据分析方法实验室,俄罗斯莫斯科高等经济大学);Budker Institute of Nuclear Physics(布德克核物理研究所);Tikhonov Moscow Institute of Electronics and Mathematics,HSE University(图辛诺夫莫斯科电子数学研究所,俄罗斯莫斯科高等经济大学)
本文提出RLABC库,利用强化学习优化加速器束线配置,通过DDPG算法实现94%和91%的传输率,提升束线调节效率。
2025-10-18 cs.AI physics.acc-ph
RIFT: A Scalable Methodology for LLM Accelerator Fault Assessment using Reinforcement Learning
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Missouri-Columbia(密苏里大学哥伦比亚分校)
RIFT通过强化学习引导智能故障定位,实现高效LLM加速器故障评估,提升故障覆盖率与成本效益
2025-12-10 cs.AI cs.LG
Optimisation of the Accelerator Control by Reinforcement Learning: A Simulation-Based Approach
本研究提出基于强化学习的模拟框架,用于优化加速器控制,通过智能建议提升性能并减少调优时间。
2025-03-12 cs.LG physics.acc-ph
ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
DNN加速器通过在DNN计算期间利用激活/权重/输出的重用来提供效率,以减少从DRAM到芯片的数据移动。复用被加速器的流水线捕获。虽然在探索和比较各种硬件方面已经有了重要的先前工作,但是用于分配片上硬件资源的策略(即,计算和存储器),其可以优化性能/能量,同时满足感兴趣的DNN的面积/功率的平台约束。平衡计算和内存的设计空间选择组合爆炸,正如我们在这项工作中所展示的那样(例如,运行\mobilenet的选择多达O(10^(72)),这使得通过穷举搜索进行手动调优是不可行的。考虑到不同的DNN和层类型表现出不同的重用量,也很难提出一个特定的启发式方法。在本文中,我们提出了一个自主的策略,称为孔子X找到优化的硬件资源分配为给定的模型和低风格。ConfuciuX利用强化学习方法REINFORCE来指导搜索过程,利用训练循环中详细的硬件性能成本模型来估计奖励。我们还增加了RL的方法与遗传算法进一步微调。与其他技术(如贝叶斯优化,遗传算法,模拟退火和其他RL方法)相比,ConfuciuX在训练中表现出最高的样本效率。它收敛到优化的硬件配置比其他技术快4.7到24倍。
2020-09-04 cs.AR cs.LG eess.SP
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway(高威大学)
针对多目标强化学习中偏好多样且策略从零训练困难的问题,提出 DG-MORL,利用示范、角点权重对齐和自进化机制提升性能,并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
CAREL: Instruction-guided reinforcement learning with cross-modal auxiliary objectives
Sharif University of Technology(谢里夫理工大学)
本文提出CAREL框架,通过跨模态辅助损失和指令跟踪方法,提升语言引导目标达成强化学习的样本效率与泛化能力。
2025-09-07 cs.AI cs.LG
A Comparative Evaluation of Teacher-Guided Reinforcement Learning Techniques for Autonomous Cyber Operations
Royal Military College of Canada Electrical(加拿大皇家军事学院电气工程系);Royal Military College of Canada Department of Mathematics(加拿大皇家军事学院数学系)
针对自主网络作战(ACO)中智能体从零学习导致收敛慢、早期性能差的问题,本研究在CybORG环境中实现四种教师引导强化学习技术并比较,发现教师集成可显著提升训练效率,为ACO提供优化方向。
2025-08-20 cs.AI cs.LG
Fast Population-Based Reinforcement Learning on a Single Machine
InstaDeep Ltd(InstaDeep有限公司)
在强化学习中,训练智能体群体已经证明了稳定训练、提高探索和渐近性能以及生成一组不同的解决方案的巨大潜力。然而,基于人口的训练通常不被从业者考虑,因为它被认为是非常缓慢的(当顺序实施时),或计算昂贵的(如果代理在独立的加速器上并行训练)。在这项工作中,我们比较了实现并回顾了以前的研究,以表明明智地使用编译和向量化允许基于人口的训练在一台机器上进行,与训练单个代理相比,使用一个加速器具有最小的开销。我们还表明,当提供了一些加速器,我们的协议扩展到大人口规模的应用程序,如超参数调整。我们希望这项工作和我们的代码的公开发布将鼓励从业者更频繁地使用基于人群的学习来进行研究和应用。
2022-06-17 cs.AI cs.LG cs.NE
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz(康斯坦茨大学)
针对深度强化学习智能体违反安全约束的问题,提出一种利用安全评论器的反例引导修复算法,通过梯度约束优化联合修复智能体与评论器,消除不安全行为。
2024-05-24 cs.LG cs.LO
Language-Guided Reinforcement Learning for Hard Attention in Few-Shot Learning
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克AI研究院)
本文提出LaHA框架,利用语言引导的深度强化学习解决少样本学习中的硬注意力发现难题,通过聚焦关键数据片段提升模型准确性与可解释性,并在基准数据集上验证了有效性。
2025-04-20 cs.AI cs.LG
Guided Exploration in Reinforcement Learning via Monte Carlo Critic Optimization
Independent Researcher Oxford, UK United Kingdom;Independent Researcher
针对深度确定性离策略算法中随机噪声探索需手动调参且缺乏训练中校准的问题,提出基于蒙特卡洛评论家集成的引导探索方法,动态校正探索动作,并用于同时修改策略与评论家,在DMControl多个任务上取得优于现代强化学习算法的性能。
2024-05-06 cs.AI cs.LG
Breaking the Grid: Distance-Guided Reinforcement Learning in Large Discrete Action Spaces
Technical University of Munich(慕尼黑技术大学);University of Twente(埃因霍温大学)
本文提出距离引导强化学习(DGRL),通过采样动态邻域和基于距离的更新,在高达10^20个动作的问题中实现高效的强化学习,证明了其在结构任务中的局部价值提升,并在混合连续-离散动作空间中实现泛化。
2026-11-10 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California(南加州大学)
演示引导的强化学习(RL)是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题,并试图一步一步地遵循所提供的演示,类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然,这种学习会很慢,但通常新行为并不是完全看不见的:它们与我们以前学到的行为共享子任务。在这项工作中,我们的目标是利用这种共享的子任务结构,以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后,我们提出了基于技能的学习与演示(SkiLD),演示引导RL的算法,有效地利用提供的演示,通过以下演示的技能,而不是原始的动作,从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Heuristic-Guided Reinforcement Learning
Microsoft Research(微软研究院)
我们提供了一个加速强化学习(RL)算法的框架,由领域知识或离线数据构造的算法。Tabula Rasa RL算法需要与顺序决策任务的范围相匹配的环境交互或计算。使用我们的框架,我们展示了如何启发式引导RL诱导一个更短的地平线子问题,可证明解决了原来的任务。我们的框架可以被看作是一个基于视界的正则化,用于在有限的相互作用预算下控制RL中的偏差和方差。在理论方面,我们描述了一个很好的启发式和RL加速的影响的性质。特别是,我们引入了一个可改进的启发式,启发式,允许RL代理推断超出其先验知识的新概念。在经验方面,我们实例化我们的框架,以加速几个国家的最先进的算法在模拟机器人控制任务和程序生成的游戏。我们的框架补充了关于热启动RL的丰富文献,包括专家演示或探索性数据集,并介绍了将先验知识注入RL的原则性方法。
2021-11-22 cs.AI cs.LG
Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning
Inria and DI-ENS, PSL Research University(Inria和DI-ENS,PSL研究大学);Sorbonne Université, CNRS, ISIR, France(索邦大学,CNRS,ISIR,法国)
引导流策略通过结合多步流匹配与提炼的演员,有效区分高价值动作,从而在多个基准测试中实现卓越性能。
2026-03-05 cs.AI cs.LG
Automata Guided Reinforcement Learning With Demonstrations
Boston University(波士顿大学)
由于难以根据奖励函数指定任务以及学习信号的较大差异,具有复杂时间结构和长视野的任务对强化学习代理构成了挑战。我们建议通过结合时序逻辑(TL)和强化学习来解决这些问题。我们的方法自动生成内在的奖励,符合整体任务目标的TL任务规范。从我们的框架产生的政策有一个可解释的和层次结构。我们验证了所提出的方法实验上的一组机器人操作任务。
2018-09-25 cs.AI
MAGMA: An Optimization Framework for Mapping Multiple DNNs on Multiple Accelerator Cores
Georgia Institute of Technology(佐治亚理工学院)
随着深度学习继续推动边缘和云数据中心中的各种应用,构建具有多个子加速器核心/小芯片的大型加速器的趋势越来越明显。这项工作着眼于在这样的加速器上支持多租户的问题。特别是,我们专注于从几个DNN同时在加速器上映射作业的问题。鉴于极大的搜索空间,我们制定的搜索作为一个优化问题,并开发了一个优化框架,称为M3 E。此外,我们还开发了一种名为MAGMA的专用优化算法,该算法具有自定义运算符,可以实现结构化的样本高效探索。我们在不同的加速器设置(大/小加速器)和不同的子加速器配置(同质/异质)上定量地比较了MAGMA与几种最先进的方法,黑盒优化和强化学习方法,并观察到MAGMA可以始终如一地找到更好的映射。
2022-01-26 cs.AI cs.AR
Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning
Jilin University(吉林大学)
针对离线强化学习中扩散模型中间能量难以估计的问题,提出解析能量引导策略优化(AEPO),通过闭式解与神经网络逼近对数期望,在D4RL基准上超越多种基线方法。
2025-05-03 cs.AI cs.LG
EpiFlow: Bridging Safety and Performance in Offline Reinforcement Learning via Epigraph-Guided Flow Matching
EpiFlow通过epigraph引导的流匹配方法,在安全关键任务中实现了高效且安全的离线强化学习。
2026-11-09 cs.AI cs.LG
Automata-Guided Hierarchical Reinforcement Learning for Skill Composition
Boston University(波士顿大学);Department of Mechanical Engineering(机械工程系)
通过(深度)强化学习学习的技能通常在各个领域的泛化能力很差,当面临新任务时,重新训练是必要的。我们提出了一个框架,结合技术在\textit{formal methods}与\textit{reinforcement learning}(RL)。我们提供的方法允许使用逻辑表达式方便地指定任务,学习具有明确定义的内在奖励的分层策略(元控制器和低级控制器),并从现有的技能中构建新技能,几乎没有额外的探索。我们在一个简单的网格世界模拟以及AI2Thor中更复杂的厨房环境中评估了所提出的方法
2018-05-21 cs.AI
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Technical University of Munich(慕尼黑技术大学);Foundation Robotics Labs, Munich(慕尼黑基础机器人实验室);Eötvös Loránd University(劳尔·艾尔多迪大学)
针对离线强化学习场景,提出基于能量引导流匹配的FlowQ算法,通过近似高斯路径学习条件速度场,在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
Pgx: Hardware-Accelerated Parallel Game Simulators for Reinforcement Learning
Kyoto University(京都大学);ATR(国际电气通信基础技术研究所);The University of Tokyo(东京大学)
本文提出基于 JAX 并针对 GPU/TPU 优化的棋盘游戏强化学习环境套件 Pgx,通过自动向量化与并行化实现比 Python 现有实现快 10-100 倍的模拟速度,并提供基准环境、小型游戏集和基线模型以加速 RL 研究。
2024-01-15 cs.AI cs.LG
Beating Atari with Natural Language Guided Reinforcement Learning
Stanford University(斯坦福大学)
我们介绍了第一个深度强化学习代理,它可以在自然语言指令的帮助下学习击败Atari游戏。该代理使用环境观测和自然语言之间的多模态嵌入,通过一系列英语指令来自我监控进度,除了增加游戏分数之外,还为完成指令授予自己奖励。我们的代理在通常被认为是最困难的Atari 2600环境:Montezuma's Revenge上的表现明显优于Deep Q-Networks(DQN),异步优势演员评论家(A3 C)代理以及发布到OpenAI Gym的最佳代理。
2017-04-18 cs.AI
NurseSchedRL: Attention-Guided Reinforcement Learning for Nurse-Patient Assignment
Yeshiva University(耶鲁大学)
本文提出 NurseSchedRL 强化学习框架,通过注意力表示、约束动作掩码和 PPO 优化护士-患者分配,在仿真中提升排班效率、技能匹配度并降低疲劳。
2025-09-10 cs.AI cs.LG
A Reinforcement Learning Approach to Domain-Knowledge Inclusion Using Grammar Guided Symbolic Regression
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用数学实验室);Réseau de Transport d’Electricité (Rte) R&D(法国电力传输网络研发部)
近年来,符号回归一直受到广泛关注,为潜在的大数据关系提供可解释的符号表示。符号回归方法最初被圈到遗传算法,现在包括各种基于深度学习的替代方法。然而,这些方法仍然不能很好地推广到现实世界的数据,主要是因为它们几乎不包括领域知识,也不考虑变量之间的物理关系,如已知的方程和单位。针对这些问题,我们提出了一种基于强化的语法引导的符号回归(RBG 2-SR)方法,该方法使用上下文无关文法作为强化动作空间,利用领域知识约束表示空间。我们详细介绍了一个部分可观测马尔可夫决策过程(POMDP)建模的问题和基准我们的方法对国家的最先进的方法。我们还分析了POMDP状态定义,并提出了一个物理方程搜索用例,我们比较我们的方法,基于语法和非基于语法的符号回归方法。实验结果表明,我们的方法是有竞争力的对其他国家的最先进的方法的基准,并提供了最好的错误复杂性权衡,突出了在现实世界中使用基于语法的方法的兴趣。
2022-02-09 cs.AI cs.LG
HLSmith: An Expert-Guided Agentic Framework for C/C++-to-HLS Translation
University of Minnesota Twin Cities(明尼苏达大学双城分校);Simon Fraser University(西蒙弗雷泽大学);Argonne National Laboratory(阿贡国家实验室)
本研究提出HLSmith框架,结合HLS优化专业知识库、分阶段反馈驱动编排流程及模型适配流水线,在PolyBench上较ChatHLS实现4.24倍几何平均加速比,所有基准均生成正确设计,开放权重模型下最高加速比达138倍。
2026-09-23 cs.AI cs.AR
RL-ABC: Reinforcement Learning for Accelerator Beamline Control
Laboratory of Methods for Big Data Analysis, HSE University, Moscow, Russia(大数据分析方法实验室,莫斯科HSE大学);Budker Institute of Nuclear Physics, Novosibirsk, Russia(布德ker核物理研究所,新西伯利亚俄罗斯)
本文提出RL-ABC框架,通过将束流线调谐转化为马尔可夫决策过程,利用强化学习算法实现自动优化,支持多种RL算法并提升训练效率。
2026-10-01 cs.LG hep-ex
Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a Jointly Trained Generative Latent Space
SRI International(斯坦福国际研究院)
我们提出了一种新的生成方法,用于根据表征代理行为的结果变量为强化学习(RL)代理生成看不见的和似是而非的反事实示例。我们的方法使用一个变分自编码器训练的潜在空间,共同编码的观察和结果变量有关的代理的行为的信息。反事实生成使用遍历在这个潜在的空间,通过梯度驱动的更新,以及潜在的插值对情况下,从一个池的例子。其中包括提高生成示例的可能性的更新,这提高了生成的反事实的可验证性。从三个强化学习环境中的实验,我们表明,这些方法产生的反事实是更合理的,接近他们的查询相比,纯粹的结果驱动或基于案例的基线。最后,我们表明,一个潜在的联合训练,以重建输入的观察和行为结果变量产生更高质量的反事实比潜在的训练只重建观察输入。
2022-07-15 cs.AI cs.LG
Reinforcement Learning-Guided Semi-Supervised Learning
本文提出RLGSSL方法,将半监督学习建模为单臂老虎机问题,通过强化学习损失和奖励函数自适应利用有标签与无标签数据,并结合教师-学生框架,在多个基准数据集上取得优于现有SSL方法的性能。
2024-05-02 cs.AI cs.LG
Opinion-Guided Reinforcement Learning
McMaster University(麦克马斯特大学)
本文提出一种端到端建模与管理顾问观点的强化学习方法,并通过合成及人类顾问实验验证不确定观点可提升奖励、探索效率与策略质量。
2024-08-03 cs.AI cs.LG
LearningGroup: A Real-Time Sparse Training on FPGA via Learnable Weight Grouping for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
多智能体强化学习(MARL)是一种在多机器人控制和自动驾驶汽车等各种应用中构建交互式人工智能系统的强大技术。与有监督模型或单智能体强化学习积极利用网络剪枝不同,多智能体强化学习具有协作和交互的特点,如何利用网络剪枝还不清楚。\par本文提出了一个实时的【形】稀疏训练加速系统LearningGroup,该系统首次采用算法/架构协同设计的方法对MARL进行网络剪枝。我们使用权重分组算法创建稀疏性,并提出片上稀疏数据编码循环(OSEL),使快速编码与高效实现。基于OSEL的编码格式,LearningGroup执行有效的权重压缩和计算工作负载分配到多个核心,其中每个核心同时处理权重矩阵的多个稀疏行与向量处理单元。因此,LearningGroup系统将稀疏数据生成的周期时间和内存占用最小化,最高可达5.72倍和6.81倍。其FPGA加速器在MARL中的各种条件下显示出257.40-3629.48 GFLOPS的吞吐量和7.10-100.12 GFLOPS/W的能效,这是Nvidia Titan RTX GPU的7.13倍和12.43倍,这要归功于FPGA提供的完全片上训练和高度优化的低/数据格式。最重要的是,该加速器在密集情况下处理稀疏数据的速度高达12.52倍,这是最先进的稀疏训练加速器中最高的。
2022-10-29 cs.AR cs.LG
Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning
Seoul National University(首尔国立大学)
本文提出SAS框架,通过自对齐机制在不重新训练的情况下实现离线安全强化学习的测试时适应,利用Lyapunov条件筛选可行轨迹并生成上下文提示,提升安全性与性能。
2026-04-29 cs.AI cs.LG
TGPO: Tree-Guided Preference Optimization for Robust Web Agent Reinforcement Learning
East China Normal University(东华大学);Alibaba Group(阿里巴巴集团);University of Electronic Science and Technology of China(电子科技大学);Wuhan University(武汉大学);Sun Yat-sen University(中山大学)
本文提出树引导偏好优化(TGPO)框架,通过树结构轨迹表示、过程奖励模型和动态加权机制,解决 Web Agent 强化学习中的信用分配错位、标注成本高和奖励稀疏问题,并在两个数据集上取得更高成功率和更少冗余步骤。
2025-09-19 cs.AI cs.LG
Vanishing Bias Heuristic-guided Reinforcement Learning Algorithm
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文在 lunar lander 环境中实现多种经典与神经网络强化学习方法,并提出 Heuristic RL 算法,利用启发式引导早期训练并缓解人类偏差,实验结果显示该方法具有良好前景。
2023-06-17 cs.AI cs.LG cs.RO
Deep Reinforcement Learning Guided Improvement Heuristic for Job Shop Scheduling
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Institute of Marine Science and Technology, Shandong University(山东大学海洋科学与技术研究院);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种DRL引导的改进启发式方法求解JSSP,通过基于图神经网络的完整解表示方案和并行评估机制,大幅超越现有DRL方法。
2024-02-14 cs.AI cs.LG
Lyapunov Function-guided Reinforcement Learning for Flight Control
Faculty of Aerospace Engineering, Delft University of Technology(航空航天工程学院,代尔夫特理工大学)
本文提出一种基于 Lyapunov 函数增量指标的强化学习方法,用于评估和增强级联在线学习飞行控制系统的收敛性能,并通过仿真验证了其有效性。
2025-10-26 cs.AI
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
目标条件分层强化学习(HRL)在解决复杂的长时间强化学习任务方面取得了可喜的成果。然而,在目标约束的HRL中,高层策略的动作空间往往很大,从而导致探索性差,导致训练效率低下。在本文中,我们提出了地标引导的历史强化学习(HIGL),这是一种新的框架,用于训练具有地标引导的减少的动作空间的高级策略,即,有希望的国家去探索。高级别指标的关键组成部分有两个方面:(a)对可供探索的地标进行抽样;(b)鼓励高级别政策为选定的地标制定一个次级目标。对于(a),我们考虑两个标准:整个访问状态空间的覆盖(即,状态的分散性)和状态的新颖性(即,状态的预测误差)。对于(b),我们选择一个地标作为节点是地标的图中最短路径中的第一个地标。我们的实验表明,我们的框架在各种控制任务中的表现优于现有技术,这要归功于地标引导的高效探索。
2021-12-05 cs.LG
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs(VECTOR实验室)
PGSRM通过嵌入相似度生成语义奖励,为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
Risk Sensitive Model-Based Reinforcement Learning using Uncertainty Guided Planning
University of Bristol(布里斯托大学)
识别不确定性并采取缓解措施对于安全可靠的强化学习代理至关重要,特别是在高风险环境中部署时。在本文中,风险敏感性,促进了基于模型的强化学习算法,利用自举集成的动力学模型,以估计环境认知不确定性的能力。我们提出了不确定性指导的交叉熵方法规划,该方法惩罚在模型推出期间导致高方差状态预测的动作序列,将代理引导到具有低不确定性的状态空间的已知区域。实验显示的能力,为代理,以确定不确定的区域的状态空间规划过程中,并采取行动,保持代理在高置信度的地区,而不需要明确的约束。其结果是在获得回报方面的业绩下降,显示出风险和回报之间的权衡。
2021-11-09 cs.LG
ROI-Constrained Bidding via Curriculum-Guided Bayesian Reinforcement Learning
ShanghaiTech University(上海科技大学);Alibaba Group(阿里巴巴集团)
实时竞价是现代在线广告系统中的一种重要机制。广告主在考虑各种财务要求,特别是投资回报率(ROI)约束的情况下,采用竞价策略来优化其广告效果。在顺序竞价过程中,投资回报率的变化是非单调的,往往会导致约束满足和目标优化之间的拉锯效应。虽然一些现有的方法在静态或轻度变化的广告市场中显示出有希望的结果,但它们无法推广到具有ROI约束的高度动态的广告市场,因为它们无法自适应地平衡非平稳性和部分可观察性中的约束和目标。在这项工作中,我们专注于投资回报率约束招标在非平稳市场。基于部分可观测约束马尔可夫决策过程,我们的方法利用了一个指标增强的奖励函数,没有额外的权衡参数,并开发了一个课程引导贝叶斯强化学习(CBRL)框架,自适应地控制非平稳广告市场的约束目标权衡。在一个大规模工业数据集上进行的大量实验表明,CBRL在分布内和分布外数据机制中都具有良好的泛化能力,并且具有优越的学习效率和稳定性。
2022-07-16 cs.AI cs.LG
Decision Theory-Guided Deep Reinforcement Learning for Fast Learning
Virginia Tech(弗吉尼亚理工大学);North Carolina State University(北卡罗来纳州立大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出决策理论引导的深度强化学习(DT-guided DRL),通过整合决策理论解决DRL冷启动问题,在倒立摆和迷宫任务中显著提升初始奖励(最高增184%)及收敛后性能(最高多53%)。
2024-02-08 cs.AI cs.GT cs.LG
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University(延世大学);Korea Institute of Science and Technology(韩国科学技术院)
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题,通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
Knowledge-guided Deep Reinforcement Learning for Interactive Recommendation
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
交互式推荐旨在从项目和用户之间的动态交互中学习,以实现响应性和准确性。强化学习在应对动态环境方面具有先天优势,因此在交互式推荐研究中引起了越来越多的关注。受知识感知推荐的启发,本文提出了知识引导的深度强化学习(KGRL),利用强化学习和知识图谱的优势进行交互式推荐。该模型是在演员-评论家网络框架上实现的。它维护一个本地知识网络来指导决策,并采用注意力机制来捕获项目之间的长期语义。我们在模拟的在线环境中使用六个公开的真实世界数据集进行了全面的实验,并证明了我们的模型优于几种最先进的方法。
2020-04-17 cs.IR cs.LG stat.ML
Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction
Simula Research Laboratory(Simula研究所)
强化学习(RL)智能体在解决具有有限反馈的大观察和动作空间的任务方面取得了巨大的成功。尽管如此,训练代理是数据密集型的,并且不能保证学习到的行为是安全的,并且不违反环境规则,这对于现实世界场景中的实际部署具有限制。本文讨论了通过将深度强化学习与基于约束的增强模型集成来引导强化学习代理实现安全行为的可靠代理工程。在约束集内,RL代理可以自由地适应和探索,从而不会妨碍其解决给定问题的有效性。然而,一旦RL代理离开由约束定义的空间,外部模型可以提供指导,使其仍然可靠地工作。我们讨论了RL过程中的约束指导的集成点,并进行实验的两个案例研究:一个严格约束的纸牌游戏和网格世界环境与额外的组合子目标。我们的研究结果表明,约束指导既提供了可靠性的提高和更安全的行为,以及加速培训。
2021-04-24 cs.AI cs.LG
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation
Lehigh University(理海大学)
本文提出一种大语言模型引导的策略调制框架,通过LLM识别关键状态、提供动作建议并分配隐式奖励,无需额外训练或人工干预,在标准RL基准上超越最先进基线,有效解决训练瓶颈。
2025-05-27 cs.AI cs.LG
State-Novelty Guided Action Persistence in Deep Reinforcement Learning
UM-SJTU Joint Institute(上海交大密西根联合学院);Shanghai Jiao Tong University(上海交通大学);Duke Kunshan University(昆山杜克大学)
本文提出状态新颖性引导的动作持久性方法,依据状态空间探索状态动态调整动作重复概率,无需额外价值函数或策略,并可增强多种探索策略,显著提升 DRL 在 DMControl 上的样本效率。
2024-09-09 cs.AI cs.LG
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Wayne State University(韦恩州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出物理模型引导的最坏情况采样策略,并将其集成至Phy-DRL框架,以解决DRL训练中忽略安全关键极端场景的问题,显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文提出了一种新的种群引导并行学习方案,以提高离线强化学习(RL)的性能。在该方案中,多个相同的学习器使用各自的值函数和策略,共享一个经验重放缓冲区,在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围,从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围,可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性(TD 3)策略梯度算法,构建了工作算法。数值结果表明,该算法的性能优于目前大多数最先进的强化学习算法,在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学)
强化学习(RL)已经取得了显著的成就,但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题,人口引导新奇搜索(PNS)的并行学习方法,本文提出。在PNS中,种群被划分为多个子种群,每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略,并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导,同时,上传他们的政策,以首席代理。为了平衡探索和利用,每个首席代理都采用了新奇搜索(NS),以鼓励具有高新奇性的政策,同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性(TD 3)策略梯度算法。PNS的有效性,以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是,PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略,以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Relevance-Guided Modeling of Object Dynamics for Reinforcement Learning
University of Washington(华盛顿大学)
当前的深度强化学习(RL)方法包含关于环境的最小先验知识,限制了计算和样本效率。\textit{Objects}提供了对世界的简洁和因果描述,并且许多最近的工作已经提出了无监督对象表示学习,其使用静态对象属性(如视觉一致性)的先验和损失。然而,物体的动力学和相互作用也是物体性的关键线索。在本文中,我们提出了一个框架,推理对象的动态和行为,以快速确定最小的和特定于任务的对象表示。为了证明对对象行为和动态进行推理的必要性,我们引入了一套RGBD MuJoCo对象收集和避免任务,这些任务虽然直观且视觉上简单,但却混淆了最先进的无监督对象表示学习算法。我们还强调了这个框架在几个Atari游戏上的潜力,使用我们的对象表示和标准RL和规划算法,比现有的深度RL算法学习得更快。
2021-06-03 cs.AI cs.LG stat.ML
SpecRLBench: A Benchmark for Generalization in Specification-Guided Reinforcement Learning
Boston University(波士顿大学)
本文提出SpecRLBench基准测试,用于评估基于线性时序逻辑的规范引导强化学习方法的泛化能力,涵盖导航和操作领域多个难度层级,包含静态和动态环境、多样机器人动力学和观测模态,通过实验揭示现有方法的优缺点及复杂性挑战。
2026-04-27 cs.LG