Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning
Tomas Leroy-Stone
提出一种将队友建模为世界模型中可学习组件的方法,通过分解潜在状态并引入心智理论头来推断队友行为,实现零样本和少样本协调。
2026-05-29 cs.AI cs.LG cs.MA
QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
我们探索基于价值的解决方案,多智能体强化学习(MARL)任务的集中训练与分散执行(CTDE)制度最近流行。然而,VDN和QMIX是使用将联合动作-价值函数分解为单独的函数以用于分散执行的思想的代表性示例。VDN和QMIX只解决了一小部分可因子分解的MARL任务,这是由于它们在因子分解中的结构约束,如可加性和单调性。本文提出了一种新的MARL分解方法QTRAN,它摆脱了这种结构约束,并采用了一种新的方法将原联合作用价值函数转化为一个易于分解的具有相同最优作用的函数。QTRAN保证比VDN或QMIX更一般的因式分解,因此比以前的方法覆盖更广泛的MARL任务。我们的实验任务的多域高斯挤压和修改的捕食者-猎物证明了QTRAN的优越性能,特别是在游戏中的利润更大的利润更积极地惩罚非合作行为。
2019-05-14 cs.AI cs.LG cs.MA
Socialbots on Fire: Modeling Adversarial Behaviors of Socialbots via Multi-Agent Hierarchical Reinforcement Learning
Penn State University(宾夕法尼亚州立大学);University of Warwick(华威大学)
Socialbots是社交平台上软件驱动的用户帐户,自主行动(模仿人类行为),旨在影响其他用户的意见或为特定目标传播有针对性的错误信息。由于社交机器人破坏了社交平台的生态系统,它们通常被认为是有害的。因此,已经有一些计算工作来自动检测社交机器人。然而,据我们所知,这些社交机器人的对抗性质尚未被研究。这就引出了一个问题:“控制社交机器人的对手能否利用人工智能技术来为自己谋利?”“对于这个问题,我们成功地证明了对手确实有可能利用强化学习(RL)等计算学习机制来最大限度地发挥社交机器人的影响力,同时避免被检测到。我们首先将对抗性socialbot学习表示为两个功能分层RL代理之间的合作游戏。当一个代理策划一系列可以避免检测的活动时,另一个代理旨在通过选择性地与正确的用户连接来最大化网络影响力。我们提出的策略网络使用大量的合成图进行训练,并且在强大的bot检测器(检测准确率为90%)下,在最大化网络影响力(高达+18%)和可持续的隐蔽性(高达+40%的不可检测性)方面,都比看不见的现实生活图的基线更好。在推理过程中,我们的方法的复杂性线性扩展,独立于网络的结构和新闻的病毒式传播。这使得我们的方法在现实环境中部署时成为实用的对抗攻击。
2022-02-26 cs.AI cs.CR cs.LG
Partner Approximating Learners (PAL): Simulation-Accelerated Learning with Explicit Partner Modeling in Multi-Agent Domains
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Institute of Control Systems (IRS)(控制系统研究所 (IRS))
混合的合作-竞争控制场景,如人机交互与交互伙伴的个人目标是非常具有挑战性的强化学习代理。为了有助于直观的人机协作,我们专注于连续状态和控制域中的问题,其中没有明确的通信被认为是和代理不知道别人的目标或控制律,但只感觉到他们的控制输入回顾。我们提出的框架结合了一个学习的合作伙伴模型的基础上,在线数据与强化学习代理,在模拟环境中训练,包括合作伙伴模型。因此,我们克服了独立学习器的缺点,此外,还受益于强化学习所需的真实世界数据量的减少,这在人机环境中至关重要。我们最后分析了一个例子,证明了我们提出的框架的优点,它学习速度快,由于模拟环境和适应不断变化的合作伙伴,由于合作伙伴近似。
2020-03-02 cs.AI cs.LG cs.MA
Hybrid Modeling, Sim-to-Real Reinforcement Learning, and Large Language Model Driven Control for Digital Twins
Department of Engineering Cybernetics, NTNU(工程 cybernetics 系,NTNU);Department of Mechanical, Aerospace and Biomedical Engineering, University of Tennessee(机械、航空航天与生物医学工程系,田纳西大学)
本研究以微型温室为测试平台,融合多类建模与控制方法构建数字孪生系统,对比了四种预测模型和三种控制策略的性能,为动态系统数字孪生的建模与控制方案选择提供了量化参考。
2025-10-27 cs.AI
Modeling Unseen Environments with Language-guided Composable Causal Components in Reinforcement Learning
University of California San Diego(加州大学圣地亚哥分校)
本文提出语言引导的WM3C框架,通过可组合因果组件建模环境动态并解耦潜在转移,在模拟与机器人操作任务中显著提升RL对未见环境的泛化能力。
2025-05-13 cs.AI
Human-Level Reinforcement Learning through Theory-Based Modeling, Exploration, and Planning
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Center for Brains, Minds, and Machines(脑、心智与机器中心)
强化学习(RL)研究智能体如何通过一段时间的交互来实现环境中的奖励。机器强化学习的最新进展已经超过了人类在世界上最古老的棋盘游戏和许多经典视频游戏方面的专业知识,但它们需要大量的经验才能成功学习-今天的算法都没有考虑到人类能够如此快速地学习如此多不同的任务。在这里,我们提出了一种新的方法来应对这一挑战,这种方法基于一种特别强大的基于模型的强化学习形式,我们称之为基于理论的强化学习,因为它使用类似人类的直观理论-丰富,抽象,物理对象,故意代理及其交互的因果模型-来探索和建模环境,并有效地计划以实现任务目标。我们实例化的方法在一个视频游戏玩代理称为EMPA(探索,建模和规划代理),它执行贝叶斯推理学习概率生成模型表示为游戏引擎模拟器的程序,并运行内部模拟这些模型,以支持有效的基于对象的,关系探索和启发式规划。EMPA在一套90款具有挑战性的Atari风格视频游戏上与人类的学习效率非常接近,在短短几分钟的游戏时间内学习新游戏,并强大地推广到新的游戏环境和新的水平。该模型还捕捉了人们探索轨迹和学习动态中的细粒度结构。它的设计和行为为构建更通用的类人AI系统提供了一条前进的道路。
2021-07-27 cs.AI
Decision Transformer: Reinforcement Learning via Sequence Modeling
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们介绍了一个框架,抽象的强化学习(RL)作为一个序列建模问题。这使我们能够利用Transformer架构的简单性和可伸缩性,以及语言建模(如GPT-x和BERT)的相关进步。特别是,我们提出了决策Transformer,一个架构,铸造的RL作为条件序列建模的问题。与先前的RL方法不同,该方法拟合价值函数或计算策略梯度,决策Transformer通过利用因果屏蔽的Transformer来简单地输出最佳动作。通过将期望回报(奖励)、过去状态和动作作为自回归模型的条件,我们的决策Transformer模型可以生成实现期望回报的未来动作。尽管简单,Decision Transformer在Atari、OpenAI Gym和Key-to-Door任务上的性能仍与最先进的无模型离线RL基线相匹配或超过。
2021-06-24 cs.AI cs.LG
Active Perception in Adversarial Scenarios using Maximum Entropy Deep Reinforcement Learning
Massachusetts Institute of Technology (MIT)(麻省理工学院)
我们提出了一个积极的感知问题,其中一个自主智能体积极与第二个代理与潜在的敌对行为。鉴于对方的意图不确定,目的是收集进一步的证据,以帮助辨别潜在的威胁。主要的技术挑战是代理意图的部分可观察性,对手建模,以及相应的不确定性建模。请注意,对手代理可能会通过使用从过去的经验中学习到的欺骗性策略来误导自主智能体。我们提出了一种方法,结合信念空间规划,生成对手建模,最大熵强化学习,以获得一个随机的信念空间政策。通过在仿真框架中考虑各种对抗行为并最小化自主智能体行为的可预测性,所得到的策略对未建模的对抗策略更具鲁棒性。这种改进的鲁棒性经验表明,对对手,适应和利用自主智能体的政策相比,一个标准的机会约束部分可观测马尔可夫决策过程的强大的方法。
2019-09-18 cs.AI
Scilab-RL: A software framework for efficient reinforcement learning and cognitive modeling research
Hamburg University of Technology(汉堡工业大学);Institute for Data Science Foundations(数据科学基础研究所)
针对认知建模与强化学习研究缺乏整合多类功能的模块化工具套件的问题,提出聚焦目标条件强化学习的Scilab-RL软件框架,可降低实验时间成本、提升研究效率。
2024-01-25 cs.AI cs.LG cs.RO
Developing and Integrating Trust Modeling into Multi-Objective Reinforcement Learning for Intelligent Agricultural Management
针对农业AI算法推荐与农民实践脱节的问题,本研究将基于能力、善意、诚信维度的农民信任量化模型嵌入多目标强化学习策略优化,推动AI在农业的广泛应用。
2025-05-16 cs.AI
Feature Engineering for Predictive Modeling using Reinforcement Learning
IBM TJ Watson Research Center(IBM 托马斯·J·沃森研究中心)
特征工程是预测建模过程中至关重要的一步。它涉及给定特征空间的变换,通常使用数学函数,目的是减少给定目标的建模误差。然而,没有明确的基础来执行有效的特征工程。它涉及领域知识,直觉,最重要的是,一个漫长的试错过程。监督这一过程所涉及的人类注意力极大地影响了模型生成的成本。我们提出了一个新的框架,自动化功能工程。它基于对转换图的性能驱动探索,该转换图系统且紧凑地列举了给定选项的空间。通过对过去的例子进行强化学习,得到了一种高效的探索策略。
2017-09-21 cs.AI cs.LG stat.ML
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab(腾讯人工智能实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
离线强化学习(RL)试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括:1)生成建模,即,使用固定数据近似策略;以及2)学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分,通过减少由训练数据的分布偏移引起的价值函数近似的自举误差,但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL(动作条件Q学习),一个剩余生成模型,以减少离线RL的策略近似误差。我们表明,我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外,我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场(MOBA)游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Contrastive learning-based agent modeling for deep reinforcement learning
University of Technology Sydney(悉尼科技大学)
本文提出CLAM方法,仅利用自我智能体的局部观测和对比学习实时生成其他智能体的高质量策略表示,在合作与竞争任务中均达到当前最优。
2025-07-28 cs.AI cs.MA
SimuAgent: An LLM-Based Simulink Modeling Assistant Enhanced with Reinforcement Learning
School of Engineering, University of Warwick(战争学院);Intelligent Control and Smart Energy (ICSE) Research Group(智能控制与智能能源研究组)
SimuAgent结合强化学习和LLM,提升Simulink建模效率与准确性,实现快速收敛和高鲁棒性。
2026-01-08 cs.AI
Modeling Mobile Health Users as Reinforcement Learning Agents
Harvard University(哈佛大学)
移动健康(mHealth)技术通过提供针对用户需求定制的干预(例如推送通知),使患者能够在日常生活中采用/保持健康行为。在这些环境中,如果没有干预,人类的决策可能会受到损害(例如,将短期快乐置于自己的长期目标之上)。在这项工作中,我们正式这种关系的框架中,用户优化(可能受损)马尔可夫决策过程(MDP)和mHealth代理干预用户的MDP参数。我们发现,不同类型的障碍意味着不同类型的最佳干预。我们还提供了这些差异的分析和实证探索。
2022-12-01 cs.AI cs.LG
Modeling driver's evasive behavior during safety-critical lane changes:Two-dimensional time-to-collision and deep reinforcement learning
University of Canterbury(坎特伯雷大学);Old Dominion University(奥道明大学)
本研究利用SPMD项目的大规模互联车辆数据,提出二维碰撞时间(2D-TTC)识别变道安全关键情况,并采用DDPG算法建模驾驶员的纵向与横向规避行为,为安全感知交通仿真和预测性碰撞避免系统提供支持。
2022-09-29 cs.AI
Multiagent-based Participatory Urban Simulation through Inverse Reinforcement Learning
University College London(伦敦大学学院)
基于多主体的参与式仿真在城市规划中具有突出的特点,因为获得的模型被认为是领域和局部知识的混合系统。然而,为特定的社会现象产生现实的代理人的关键问题始终存在。现有的模型试图规定涉及人类行为的因素,这似乎是棘手的。本文引入逆强化学习(IRL)来解决这个问题。IRL是为人类行为的计算建模而开发的,并在机器人学,心理学和机器学习方面取得了巨大的成功。这种新风格的建模所提出的可能性得出的结论,并强调了这种建模的相对挑战。
2017-12-21 cs.AI cs.MA
Using Collision Momentum in Deep Reinforcement Learning Based Adversarial Pedestrian Modeling
The Ohio State University(俄亥俄州立大学)
针对现有行人仿真算法难在极端场景挖掘自动驾驶短板的问题,提出一种专门针对碰撞的强化学习算法,可高效生成更严重碰撞,助力识别修正自动驾驶算法缺陷。
2023-06-13 cs.AI cs.LG cs.RO
Decision Mamba: Reinforcement Learning via Sequence Modeling with Selective State Spaces
CyberAgent(赛博agent公司);RIKEN(理化学研究所)
本文将 Mamba 框架集成到 Decision Transformer 中提出 Decision Mamba,通过在多种决策环境中的实验验证其能提升序贯决策性能。
2024-03-29 cs.AI cs.LG
Offline Reinforcement Learning as One Big Sequence Modeling Problem
University of California at Berkeley(加州大学伯克利分校)
强化学习(RL)通常涉及估计静态策略或单步模型,利用马尔可夫特性及时分解问题。然而,我们也可以将RL视为一个通用的序列建模问题,其目标是产生一系列动作,从而产生一系列高回报。从这个角度来看,人们不禁要考虑,在其他领域(如自然语言处理)中运行良好的高容量序列预测模型是否也能为RL问题提供有效的解决方案。为此,我们探讨如何RL可以处理的工具,序列建模,使用Transformer架构的轨迹和重新利用束搜索作为规划算法的分布模型。将RL框架为序列建模问题简化了一系列设计决策,使我们能够省去离线RL算法中常见的许多组件。我们展示了这种方法在长期动态预测、模仿学习、目标条件强化学习和离线强化学习中的灵活性。此外,我们表明,这种方法可以与现有的无模型算法相结合,以产生一个国家的最先进的计划,在稀疏回报,长期任务。
2021-11-29 cs.AI cs.LG
Temporal-IRL: Modeling Port Congestion and Berth Scheduling with Inverse Reinforcement Learning
Sichuan University(四川大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Temporal-IRL模型,利用逆强化学习从历史AIS数据中重构泊位调度并学习奖励函数,以预测船舶排序和港口停留时间,从而准确预测港口拥堵。
2025-06-24 cs.AI
Reinforcement Learning Enhanced LLM Agents for Complex Vehicle Routing Problems
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);National University of Singapore(新加坡国立大学)
该研究针对车辆路径问题建模需大量领域知识的局限,提出RLEA多智能体框架,结合强化学习与大语言模型,在48种VRP变体上实现16.67%更高成功率,显著降低运行时错误,验证了方法的有效性。
2026-09-02 cs.AI
Controllable Flow Matching for Online Reinforcement Learning
CtrlFlow通过条件流匹配直接建模轨迹分布,提升在线强化学习的样本效率和策略鲁棒性。
2026-01-03 cs.AI cs.LG
StarOR: Synergizing Tree Search and Test-Time Reinforcement Learning for Optimization Modeling
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Northwest A&F University(西北农林科技大学)
提出StarOR框架,结合蒙特卡洛树搜索与测试时强化学习,通过四阶段分解和GRPO更新LoRA适配器,实现无监督细粒度奖励的中间决策优化,在5个基准上以4B模型达到最优性能。
2026-09-29 cs.AI cs.LG
Diffusion World Model: Future Modeling Beyond Step-by-Step Rollout for Offline Reinforcement Learning
Princeton University(普林斯顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta
提出Diffusion World Model(DWM),通过单次前向传播同时预测多步未来状态与奖励,集成于离线强化学习的值估计,在D4RL上较一步模型提升44%性能。
2024-10-15 cs.AI cs.LG
Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation
The Hong Kong Polytechnic University(香港理工大学)
许多现实世界的应用可以被表述为多智能体协作问题,例如网络数据包路由和自动驾驶汽车的协调。深度强化学习(deep reinforcement learning,DRL)的出现为多智能体协作提供了一种很有前途的方法。然而,传统的DRL解决方案遭受在策略搜索过程中具有连续动作空间的多个代理的高维数。此外,智能体策略的动态性使得训练过程具有非平稳性。为了解决这些问题,我们提出了一个分层的强化学习方法,高层次的决策和低层次的个人控制,有效的政策搜索。特别是,多个智能体的合作,可以学习高层次的离散行动空间有效。同时,低层次的个体控制可以简化为单智能体的强化学习。除了层次强化学习,我们提出了一个对手建模网络,在学习过程中建模其他代理的政策。与端到端DRL方法相比,我们的方法通过将整个任务以分层的方式分解为子任务来降低学习复杂度。为了评估我们的方法的效率,我们进行了一个真实的案例研究,在合作换道的情况下。仿真和实际实验都表明了该方法在碰撞率和收敛速度方面的优越性。
2022-06-25 cs.AI cs.MA cs.RO
PersRM-R1: Enhance Personalized Reward Modeling with Reinforcement Learning
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Science and Technology of China(中国科学技术大学);University of Hamburg(汉堡大学);University College London(伦敦大学学院)
针对现有奖励模型(RMs)难以捕捉有限数据下用户特定偏好的问题,提出首个基于推理的PersRM-R1框架,结合合成数据生成与两阶段训练(监督+强化微调),实现从少量示例识别个人因素,性能优于同规模模型且比肩大模型。
2025-08-12 cs.AI cs.LG
Beyond Winning and Losing: Modeling Human Motivations and Behaviors Using Inverse Reinforcement Learning
近年来,强化学习(RL)方法已被应用于建模游戏,并取得了巨大的成功,在各种环境中实现了超人的表现,如雅达利,围棋和扑克。然而,这些研究大多集中在赢得游戏,在很大程度上忽略了丰富而复杂的人类动机,这是理解不同球员的不同行为所必需的。在本文中,我们提出了一种新的方法,称为多动机行为建模(MMBM),考虑到多方面的人类动机和模型的底层价值结构的球员使用逆RL。我们的方法不需要访问系统的动态,使得它可行的大型多人在线游戏等复杂的交互式环境建模。MMBM在魔兽世界阿凡达历史数据集上进行了测试,该数据集记录了超过70,000名用户在三年内的游戏体验。我们的模型揭示了不同玩家群体的价值结构存在显著差异。利用动机建模的结果,我们还预测和解释了他们的不同的游戏行为,并提供了一个定量评估的游戏环境的重新设计如何影响玩家的行为。
2018-07-05 cs.AI cs.LG stat.ML
Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一个算法框架,学习鲁棒政策的非对称信息博弈,其中的联合奖励可能取决于不确定的对手类型(一个私人信息只知道对手本身和它的盟友)。为了最大化奖励,主角Agent必须通过Agent建模来推断对手类型。我们使用多智能体强化学习(MARL)通过自我游戏来学习对手模型,它捕获了智能体之间的完整策略交互和推理。然而,从自我游戏中学习的代理策略可能会受到相互过度拟合的影响。包围训练方法可以用来提高Agent策略对不同对手的鲁棒性,但它也显著增加了计算开销。为了实现一个很好的权衡之间的鲁棒性的学习政策和计算复杂性,我们建议训练一个单独的对手政策对主角代理评估的目的。由于强化学习器固有的随机性,这个对手所获得的奖励是主角代理策略鲁棒性的噪声度量。为了处理这种随机性,我们应用随机优化方案来动态更新对手集成,以优化目标函数,在鲁棒性和计算复杂性之间取得平衡。我们的经验表明,在相同的有限的计算预算下,所提出的方法比标准集成训练更强大的策略学习。
2020-03-03 cs.AI cs.LG
Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
基于Transformer神经网络架构的自然语言处理(NLP)的令人印象深刻的结果激发了研究人员探索将离线强化学习(RL)视为通用序列建模问题。最近的工作基于这种范式已经取得了国家的最先进的结果,在几个主要是确定性离线Atari和D4RL基准。然而,由于这些方法将国家和行动联合建模为单个排序问题,因此它们很难理清政策和世界动态对回报的影响。因此,在对抗或随机环境中,这些方法会导致过度乐观的行为,这在自动驾驶等安全关键系统中可能是危险的。在这项工作中,我们提出了一种方法,明确地解开政策和世界模型,这使我们能够在测试时搜索的政策,是强大的多个可能的未来的环境中解决这种乐观偏见。我们在模拟中展示了我们的方法在各种自动驾驶任务上的优越性能。
2022-07-21 cs.AI cs.LG cs.RO
A deep inverse reinforcement learning approach to route choice modeling with context-dependent rewards
The University of Hong Kong(香港大学)
路径选择建模是交通规划和需求预测的基础性工作。经典方法一般采用离散选择模型(DCM)框架,具有线性效用函数和高级路由特性。虽然最近的几项研究已经开始探索深度学习对路线选择建模的适用性,但它们仅限于具有相对简单的模型架构并依赖于预定义选择集的基于路径的模型。现有的基于链接的模型可以捕捉动态的性质,在行程中的链接选择,而不需要选择集生成,但仍然假设线性关系和链接添加剂功能。为了解决这些问题,本研究提出了一种通用的深度逆强化学习(IRL)框架,用于基于链路的路线选择建模,该框架能够整合不同的功能(状态,动作和行程上下文)并捕获复杂的关系。具体来说,我们采用对抗性IRL模型来解决路径选择问题,以便在没有值迭代的情况下有效估计上下文相关的奖励函数。基于中国上海出租车GPS数据的实验结果验证了所提出的模型优于传统的DCM和其他模仿学习基线的预测性能,即使是在训练数据中看不到的目的地。进一步的分析表明,该模型具有竞争力的计算效率和合理的解释。该方法为未来路径选择模型的发展提供了一个新的方向。该方法具有通用性,可适用于不同模式和网络的其他路径选择问题。
2023-02-28 cs.AI cs.LG
EEGDancer: Dynamic Emotion Latent Space Masked Modeling with Reinforcement Learning for EEG Continuous Emotion Prediction
National University of Singapore(新加坡国立大学);Agency for Science, Technology and Research(科技研究局)
提出EEGDancer框架,结合向量量化表示学习、掩码时间建模和强化学习轨迹优化,解决EEG连续情感预测中长时依赖和噪声问题。
2026-06-04 cs.AI cs.HC
Automating Predictive Modeling Process using Reinforcement Learning
IBM Research AI(IBM研究人工智能部门(注:IBM Research AI是IBM Research的一部分,通常译为IBM研究人工智能部门或IBM人工智能研究院,但根据机构粒度要求,提取到公司/研究院级别,这里IBM本身是公司,Research AI可视为其研究部门))
建立一个好的预测模型需要一系列的活动,如数据填补,特征转换,估计选择,超参数搜索和集成建设。由于选项的空间大、复杂和异质,现成的优化方法对于现实的响应时间是不可行的。在实践中,大部分预测建模过程是由经验丰富的数据科学家进行的,他们有选择地使用可用的工具。随着时间的推移,他们对操作员的行为有了理解,并在不确定的情况下进行系列决策,通俗地说就是有根据的猜测。随着对监督机器学习应用的前所未有的需求,需要自动搜索这些任务中的参数的良好组合以最小化建模误差的解决方案。我们介绍了一种新的系统,称为APRL(自主预测建模通过强化学习),它使用过去的经验,通过强化学习优化这种顺序决策,从一组不同的行动在一个以前看不见的预测学习问题的时间约束。APRL动作被用来优化最终集合的性能。这与其他系统相反,其他系统首先最大化单个模型的准确性,并创建集成作为断开的后处理步骤。因此,APRL能够在各种各样的问题上平均减少高达71%的分类错误。
2019-03-02 cs.AI cs.LG stat.ML
Relevance-Guided Modeling of Object Dynamics for Reinforcement Learning
University of Washington(华盛顿大学)
当前的深度强化学习(RL)方法包含关于环境的最小先验知识,限制了计算和样本效率。\textit{Objects}提供了对世界的简洁和因果描述,并且许多最近的工作已经提出了无监督对象表示学习,其使用静态对象属性(如视觉一致性)的先验和损失。然而,物体的动力学和相互作用也是物体性的关键线索。在本文中,我们提出了一个框架,推理对象的动态和行为,以快速确定最小的和特定于任务的对象表示。为了证明对对象行为和动态进行推理的必要性,我们引入了一套RGBD MuJoCo对象收集和避免任务,这些任务虽然直观且视觉上简单,但却混淆了最先进的无监督对象表示学习算法。我们还强调了这个框架在几个Atari游戏上的潜力,使用我们的对象表示和标准RL和规划算法,比现有的深度RL算法学习得更快。
2021-06-03 cs.AI cs.LG stat.ML
Personalized Decision Supports based on Theory of Mind Modeling and Explainable Reinforcement Learning
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出结合心智理论建模与可解释强化学习的个性化决策支持系统,通过DRL提供建议、ToM预测用户行为以把握干预时机,并用反事实解释增强可解释性,在模拟团队决策众包实验中表现优于基线,且具备广泛应用潜力。
2023-12-13 cs.AI cs.HC cs.LG
CURLing the Dream: Contrastive Representations for World Modeling in Reinforcement Learning
University of Tsukuba(筑波大学);Federal University of Santa Maria(圣玛丽亚联邦大学);Technological University of Uruguay(乌拉圭理工大学)
本文提出 Curled-Dreamer,将 CURL 对比损失与自编码器重构损失引入 DreamerV3,在 DeepMind Control Suite 上显著提升视觉强化学习的性能、学习速度与策略鲁棒性。
2024-08-31 cs.AI cs.CV cs.LG
Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling
School of Automation and Intelligent Sensing(自动化与智能感知学院)
该研究针对强化学习sim-to-real迁移难题,提出基于潜在空间的分析方法,可直观观测基于模型方法的迁移挑战,并在MuJoCo环境中验证了其测量与缓解迁移差距的能力,同时指出了现存挑战。
2025-06-15 cs.AI cs.LG
Dream to Chat: Model-based Reinforcement Learning on Dialogues with User Belief Modeling
Geely AI Lab(Geely人工智能实验室);Beijing Institute of Technology(北京理工大学)
本文提出DreamCUB框架,通过构建对话世界模型预测用户信念(情绪、情感、意图),结合模型强化学习提升对话质量,在情绪分类和情感识别上达到最优,并具有良好的迁移性。
2025-09-26 cs.AI cs.CL
Selecting Mechanical Parameters of a Monopode Jumping System with Reinforcement Learning
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
腿式系统与轮式系统相比有许多优点。例如,他们可以更容易地在极端、不平坦的地形上航行。然而,也有缺点,特别是在模拟系统的非线性方面的困难。研究表明,在腿式机车系统中使用柔性部件可以提高性能指标,例如效率和运行速度。由于在建模柔性系统时遇到的困难,诸如强化学习之类的控制方法可用于定义控制策略。此外,强化学习的任务可以是学习系统的机械参数以匹配控制输入。它示出在这项工作中,当部署强化学习,以找到一个弹簧棒跳跃系统的设计参数,设计的代理学习是最佳的设计空间内提供给代理。
2022-12-02 cs.AI cs.RO
Modeling Interactions of Autonomous Vehicles and Pedestrians with Deep Multi-Agent Reinforcement Learning for Collision Avoidance
Technical University of Munich(慕尼黑工业大学);EURECOM(欧洲通信学院)
可靠的行人碰撞避免缓解(PCAM)系统是安全自动驾驶汽车(AV)的关键组成部分。车辆-行人交互的性质,其中一个代理的决定直接影响其他代理的最佳行为,反之亦然,是一个具有挑战性的,但往往被忽视的方面,这样的系统。我们解决这个问题,通过建模马尔可夫决策过程(MDP)的模拟AV行人互动在一个没有标记的人行横道。AV的PCAM决策策略通过深度强化学习(DRL)来学习。由于模拟行人现实是具有挑战性的,我们比较两个层次的智能行人行为。虽然基线模型遵循预定义的策略,但我们的高级行人模型被定义为第二个DRL代理。该模型捕捉了人类行为中固有的连续学习和不确定性,使AV-行人交互成为深度多智能体强化学习(DMARL)问题。我们基准开发的PCAM系统,根据碰撞率和由此产生的交通流的效率,专注于观察的不确定性对决策的代理的影响。结果表明,AV能够完全减轻碰撞的大多数调查条件下,DRL行人模型学习智能过街行为。
2022-05-31 cs.AI cs.LG cs.MA
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará(塞阿拉联邦大学)
本文提出基于随机效用理论的逆强化学习方法,通过扩展状态和确定性最优策略假设对驾驶员轨迹建模,并证明最大熵逆强化学习为其特例,最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
Learning to Model Optimization Problems from Solver Outcomes
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出EVOM框架,通过将数学规划求解器作为确定性验证器,利用强化学习生成并执行求解代码,实现高效的优化建模。实验表明EVOM在多个数据集上表现优异,支持零样本求解器迁移和低成本适应。
2026-10-30 cs.AI cs.CL
Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge
University of Oslo(奥斯陆大学)
渗透测试是一项保安工作,目的是透过模拟对系统的攻击,以评估系统的保安情况。到目前为止,渗透测试主要由受过训练的攻击者进行,成功与否主要取决于可用的专业知识。自动化这一实践构成了一个重要的问题,因为人类专家可能尝试对系统进行的操作范围以及她依赖于做出决策的知识范围很难捕获。在本文中,我们把注意力集中在简化的渗透测试问题的形式表示捕获的标志黑客的挑战,我们分析了如何无模型强化学习算法可能有助于解决这些问题。在建模中,这些捕获的旗帜比赛作为强化学习问题,我们强调,一个具体的挑战,特征渗透测试是发现问题的结构的问题。然后,我们将展示如何通过依赖于可能提供给代理的不同形式的先验知识来缓解这一挑战。通过这种方式,我们展示了使用强化学习解决渗透测试的可行性如何依赖于无模型算法和基于模型的算法之间的谨慎权衡。通过使用注入先验知识的技术,我们证明了可以更好地指导代理并限制其探索问题的空间,从而更有效地实现解决方案。
2021-05-22 cs.AI cs.CR cs.LG
Bringing Value Models Back: Generative Critics for Value Modeling in LLM Reinforcement Learning
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出生成式批评者GenAC,通过链式推理改进价值建模,提升RL性能。
2026-09-10 cs.AI cs.CL cs.LG
Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学);Intelligent Game and Decision Lab (IGDL)(智能游戏与决策实验室);Institute of Military Transportation(军事交通运输研究院);School of Artificial Intelligence, Hebei University of Technology(人工智能学院,河北工业大学)
本文提出基于隐式因果图建模的可迁移延迟感知强化学习方法,通过节点级语义编码和消息传递机制学习可迁移的结构表示和环境动态知识,以优化策略并实现跨任务知识迁移。
2026-05-12 cs.AI cs.LG
Offline Reinforcement Learning and Sequence Modeling for Downlink Link Adaptation
Politecnico di Milano(米兰理工大学);Ericsson AB(爱立信公司)
针对链路自适应建模的挑战及在线强化学习部署问题,本文提出三种基于批量约束深度Q学习、保守Q学习和决策Transformer的离线强化学习设计,在适当数据收集下可匹配在线方法性能。
2024-11-28 cs.AI cs.LG cs.SY
Modeling and Optimization of Epidemiological Control Policies Through Reinforcement Learning
Chatham High School(查塔姆高中)
本研究结合SEIRD流行病学模型与深度双循环Q网络,训练强化学习智能体优化疫情控制策略,在降低感染率的同时减轻经济影响。
2024-01-25 cs.AI q-bio.PE
Modeling Behavioral Preferences of Cyber Adversaries Using Inverse Reinforcement Learning
THINC Lab, School of Computing, University of Georgia(THINC实验室,计算学院,佐治亚大学)
本文提出用逆强化学习从审计日志取证数据中学习网络攻击者的行为偏好,首次证明低层级取证数据可自动揭示对手固有偏好,并可作为独特行为签名改进威胁归因。
2025-05-02 cs.AI cs.CR cs.LG
Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning
Damascus University(大马士革大学)
提出AnoSeqs方法,通过离线收集安全状态序列构建异常检测模型,在目标环境中调整奖励以惩罚访问异常状态,从而训练风险规避的RL策略,在自动驾驶等基准环境中提升安全性。
2024-07-29 cs.AI cs.LG
SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and Reinforcement Learning
针对现有HOI生成方法存在的物理伪影问题,提出SimGenHOI框架,结合扩散Transformer生成模型与强化学习控制策略,通过互微调提升交互真实性与跟踪鲁棒性,实现可控物理合理的人形机器人-物体交互。
2025-08-18 cs.AI cs.RO
Modeling Survival in model-based Reinforcement Learning
Lamar University(拉马尔大学)
尽管最近的无模型强化学习算法已被证明能够掌握复杂的决策任务,但这些方法的样本复杂性仍然是将它们用于许多现实世界应用的障碍。在这方面,基于模型的强化学习提出了一些补救措施。然而,本质上,基于模型的方法在计算上更昂贵,并且容易出现次优。一个原因是模型生成的数据总是不如真实数据准确,这通常会导致不准确的转换和奖励函数模型。为了缓解这个问题,这项工作提出了生存的概念,通过讨论的情况下,代理的目标是生存和其类比,以最大限度地提高预期的回报。为此,一个替代模型的奖励函数逼近器的介绍,学习避免终端状态,而不是最大限度地从安全状态的累积奖励。集中在终端状态,作为状态空间的一小部分,大大减少了训练工作。接下来,提出了一种基于模型的强化学习方法(生存)训练代理,以避免危险的状态,通过建立在时间信用分配在附近的终端状态的安全地图模型。最后,所提出的算法的性能进行了研究,以及建议和当前的方法之间的比较。
2020-04-18 cs.AI cs.LG cs.RO
Reward Models in Deep Reinforcement Learning: A Survey
National Key Laboratory for Novel Software Technology, Nanjing University, China(国家新型软件技术关键实验室,南京大学,中国);School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学,中国)
本综述系统梳理深度强化学习中的奖励模型,按来源、机制和学习范式分类,涵盖应用与评估方法,并指出未来研究方向。
2025-06-18 cs.AI cs.LG
Can Wikipedia Help Offline Reinforcement Learning?
The University of Tokyo(东京大学);Yale University(耶鲁大学);Google Brain(谷歌大脑)
由于缺乏大规模的现成数据集以及不同环境之间的可移植性差异很大,因此微调强化学习(RL)模型一直具有挑战性。最近的工作着眼于从序列建模的角度处理离线RL,由于引入了Transformer架构,结果有所改善。然而,当模型从头开始训练时,它的收敛速度很慢。在本文中,我们希望利用这种强化学习的公式作为序列建模,并研究在离线RL任务(控制,游戏)上进行微调时,预训练序列模型在其他领域(视觉,语言)上的可移植性。为此,我们还提出了技术,以提高这些域之间的传输。结果显示,在各种环境下,收敛速度和奖励方面的性能都有一致的提高,将训练速度提高了3- 6倍,并在使用维基百科预训练和GPT 2语言模型的各种任务中实现了最先进的性能。我们希望这项工作不仅能揭示利用通用序列建模技术和RL预训练模型的潜力,还能激发未来在完全不同领域的生成建模任务之间共享知识的工作。
2022-07-24 cs.AI cs.CL cs.LG