Learning to Herd Agents Amongst Obstacles: Training Robust Shepherding Behaviors using Deep Reinforcement Learning
George Mason University（乔治梅森大学）
机器人牧羊问题考虑的是一组相干代理的控制和导航（例如，一群鸟或一队无人机）通过外部机器人的运动，称为牧羊人。基于机器学习的方法已经成功地在没有障碍物的空旷环境中解决了这个问题。另一方面，基于规则的方法可以处理环境中充满障碍物的更复杂的场景，并允许多个牧羊人协同工作。然而，这些基于规则的方法是脆弱的，因为很难定义一套全面的规则，可以处理所有可能的情况。为了克服这些局限性，我们提出了第一个已知的基于学习的方法，可以在障碍物之间放牧代理。通过使用深度强化学习技术与概率路线图相结合，我们使用嘈杂但受控的环境和行为参数训练牧羊模型。我们的实验结果表明，该方法是鲁棒的，即它是不敏感的不确定性来源于环境和行为模型。因此，该方法具有更高的成功率，更短的完成时间和路径长度比基于规则的行为方法。这些优势在涉及更困难的群体和艰苦的通道的更具挑战性的场景中尤为突出。
2020-05-19 cs.LG cs.RO
The impact of behavioral diversity in multi-agent reinforcement learning
University of Cambridge（剑桥大学）
本研究采用多样性测量和控制范式，探讨了行为异质性在多智能体强化学习中的影响，证明控制行为多样性能带来优于同质化训练的非平凡收益，是集体人工智能学习的基本组件。
2025-01-29 cs.AI cs.LG cs.MA
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research（谷歌研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力，我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的，这些方法很少明确地利用这种结构。具体来说，我们引入了一个理论上的动机的政策相似性度量（PSM）测量状态之间的行为相似性。PSM分配高相似性的状态，在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量，我们与PSM实例化，以获得政策相似性嵌入（PSE）。我们证明了PSE在不同的基准测试中提高了泛化能力，包括具有虚假相关性的LQR，从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Approximated Behavioral Metric-based State Projection for Federated Reinforcement Learning
College of Artificial Intelligence, China University of Petroleum-Beijing（人工智能学院，中国石油大学（北京））；Hainan Institute of China University of Petroleum (Beijing)（中国石油大学（北京）海南学院）
针对联邦强化学习中的隐私与性能权衡问题，提出FedRAG框架，通过共享并聚合基于近似行为度量的状态投影函数，在不泄露任务敏感信息的同时提升各客户端学习效果。
2025-05-15 cs.LG
Adaptive Behavioral AI: Reinforcement Learning to Enhance Pharmacy Services
Causal Foundry（因果研究院）；SwipeRx（SwipeRx公司）
本研究提出一套通过移动健康应用提供个性化行为干预的强化学习运营系统，在印尼SwipeRx药剂师应用开展初步实验验证潜力，可拓展用于优化医疗服务供给。
2024-08-14 cs.AI cs.CY cs.LG
Offline Reinforcement Learning with Behavioral Supervisor Tuning
Imperial College London（帝国理工学院）
提出TD3-BST算法，通过训练不确定性模型引导策略在数据集支持范围内选择动作，无需针对数据集调整超参数即可在基准测试中取得最佳性能。
2024-07-27 cs.AI cs.LG
Driver Modeling through Deep Reinforcement Learning and Behavioral Game Theory
Bilkent University（比尔肯特大学）
本文提出了一种深度强化学习和层次博弈论的协同组合，作为高速公路驾驶场景下驾驶员行为预测的建模框架。需要一个可以解决多个人与人和人与自动化交互的建模框架，其中所有代理都可以同时建模为决策者，这是这项工作背后的主要动机。这样的建模框架可以用于自动驾驶车辆的验证和确认：据估计，为了使自动驾驶车辆达到与有驾驶员的汽车相同的安全水平，需要数百万英里的驾驶测试。本文提出的建模框架可用于由多个人类决策者组成的高保真交通模拟器中，以通过允许安全和快速评估自动驾驶算法来减少测试所花费的时间和精力。为了证明所提出的建模框架的保真度，游戏理论的驱动程序模型进行比较，从交通数据中提取的真实人类驾驶员的行为模式。
2020-03-24 cs.LG cs.MA
Where You Go is Who You Are: Behavioral Theory-Guided LLMs for Inverse Reinforcement Learning
University of Florida（佛罗里达大学）；Johns Hopkins University（约翰霍普金斯大学）；Stony Brook University（石溪大学）
本研究提出SILIC框架，结合大语言模型引导的逆强化学习与认知链推理，依据计划行为理论从轨迹数据推断社会人口统计属性，在家庭出行调查中显著优于现有基线。
2025-05-22 cs.AI cs.LG
Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning
University of Cambridge（剑桥大学）
本研究提出多样性控制（DiCo）方法，通过策略架构约束将多智能体行为多样性精确控制到设定值，保持学习目标不变，理论证明有效，并在合作与竞争任务中提升性能和样本效率。
2024-05-23 cs.AI cs.LG cs.MA
Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning
Universidad Tecnológica Nacional（国立科技大学）；GISIQ, Facultad Regional Villa María, UTN（国立科技大学维拉玛丽亚地区学院 GISIQ）；CIT Villa María, CONICET-UNVM（国家科学与技术研究理事会-国立维拉玛丽亚大学维拉玛丽亚科技研究中心）；INGAR, CONICET-UTN（国家科学与技术研究理事会-国立科技大学工业自动化研究所）
在机器学习算法中，超参数的优化设置是充分利用现有数据的关键。为此，已经提出了几种方法，如进化策略，随机搜索，贝叶斯优化和启发式经验法则。在强化学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容在很大程度上取决于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单纯形算法，这些方法对于大多数RL任务来说效率非常低，显著减慢了学习曲线，并给用户留下了有目的地偏置数据收集的负担。在这项工作中，为了使RL算法更加独立于用户，提出了一种新的方法，自主超参数设置使用贝叶斯优化。通过执行行为克隆，在元学习级别使用来自过去事件和不同超参数值的数据，这有助于提高最大化获取函数的强化学习变体的有效性。此外，通过在强化学习代理设计中紧密集成贝叶斯优化，减少了收敛到给定任务的最优策略所需的状态转换的数量。计算实验揭示了与其他手动调整和基于优化的方法相比有希望的结果，其突出了改变算法超参数以增加生成数据的信息内容的益处。
2021-12-15 cs.LG
Modeling Behavioral Preferences of Cyber Adversaries Using Inverse Reinforcement Learning
THINC Lab, School of Computing, University of Georgia（THINC实验室，计算学院，佐治亚大学）
本文提出用逆强化学习从审计日志取证数据中学习网络攻击者的行为偏好，首次证明低层级取证数据可自动揭示对手固有偏好，并可作为独特行为签名改进威胁归因。
2025-05-02 cs.AI cs.CR cs.LG
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich（苏黎世大学信息学院）；ETH AI Center（ETH人工智能中心）
提出两阶段框架BRIDGE，先从无奖励专家数据学习安全初始策略，再用基于偏好的人类反馈在线微调，理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
GUIDE: Reinforcement Learning for Behavioral Action Support in Type 1 Diabetes
College of Health Solutions, Arizona State University（亚利桑那州立大学健康解决方案学院）；School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；School for Engineering of Matter Transport and Energy, Arizona State University（亚利桑那州立大学物质传输与能源工程学院）；Institute for Foundation of Machine Learning, The University of Texas at Austin（德克萨斯大学奥斯汀分校机器学习基础研究所）；Sony AI（索尼人工智能）
GUIDE通过强化学习框架为1型糖尿病患者提供行为建议，结合实时血糖数据和离线在线算法，提升血糖控制效果，实现85.49%的时间在目标范围内。
2026-10-06 cs.LG
When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning?
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
离线强化学习（RL）算法可以利用先前收集的经验获得有效的策略，而无需任何在线交互。人们普遍认为，离线RL即使从高度次优的数据中也能够提取出良好的策略，在这种情况下，模仿学习找到的次优解决方案并没有比生成数据集的演示器更好。然而，从业者的另一个常见用例是从类似于演示的数据中学习。在这种情况下，可以选择应用离线RL，但也可以使用行为克隆（BC）算法，该算法通过监督学习模拟数据集的子集。因此，很自然地会问：即使BC是一种自然的选择，离线RL方法何时可以在同等数量的专家数据下优于BC？为了回答这个问题，我们描述了允许离线RL方法比BC方法执行得更好的环境的特性，即使只提供专家数据。此外，我们表明，在足够多的噪声次优数据上训练的策略可以获得比具有专家数据的BC算法更好的性能，特别是在长期问题上。我们验证了我们的理论结果，通过广泛的实验诊断和高维域，包括机器人操作，迷宫导航，雅达利游戏，各种数据分布。我们观察到，在特定但常见的条件下，如稀疏奖励或嘈杂的数据源，现代离线RL方法可以显着优于BC。
2022-04-12 cs.LG
Policy Fusion for Adaptive and Customizable Reinforcement Learning Agents
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
在这篇文章中，我们研究的问题，训练智能代理使用强化学习的游戏开发的目的。与旨在取代人类玩家并实现超人性能的系统不同，我们的代理旨在与玩家产生有意义的互动，同时展示游戏设计师所期望的行为特征。我们将展示如何结合不同的行为政策，以获得一个有意义的“融合”政策，其中包括所有这些行为。为此，我们提出了四种不同的策略融合方法来组合预训练的策略。我们进一步展示了如何将这些方法与逆强化学习结合使用，以创建具有游戏设计者选择的特定行为风格的智能代理，而无需定义许多可能设计不良的奖励函数。两个不同环境下的实验表明，熵加权策略融合显着优于所有其他。我们提供了几个实际的例子和用例，说明这些方法对视频游戏制作和设计师确实有用。
2021-04-21 cs.LG
Behavioral Entropy-Guided Dataset Generation for Offline Reinforcement Learning
U.S. Army Research Laboratory（美国陆军研究实验室）
本文提出以行为熵（BE）作为连续高维环境中离线强化学习数据集生成的探索目标，推导了可处理的k近邻估计器及理论保证，并在MuJoCo任务上验证其优于Shannon熵、Rényi熵、SMM和RND等基线方法。
2025-02-06 cs.LG
Behavioral Homophily in Social Media via Inverse Reinforcement Learning: A Reddit Case Study
University of Technology Sydney（悉尼科技大学）；EPFL（洛桑联邦理工学院）
本文提出用逆强化学习推断用户策略，并以策略相似度度量行为同质性，在 Reddit 六年 590 万次交互上验证了该方法能揭示传统内容方法无法捕捉的行为模式与用户角色。
2025-02-05 cs.LG cs.SI
Reliable Conditioning of Behavioral Cloning for Offline Reinforcement Learning
UCLA（加州大学洛杉矶分校）；Meta AI Research（Meta人工智能研究院）
行为克隆（BC）通过监督学习模仿离线轨迹，为离线RL提供了一个简单的解决方案。最近的进展（Chen等人，2021; Janner等人，2021; Emmons等人，2021年）已经表明，通过以期望的未来回报为条件，BC可以与基于价值的同行竞争，同时享受更多的简单性和培训稳定性。虽然有希望，我们表明，这些方法可能是不可靠的，因为它们的性能可能会显着下降时，条件高，分布外（ood）的回报。这在实践中是至关重要的，因为我们通常期望通过以ood值为条件，策略的性能优于离线数据集。我们发现，这种不可靠性产生的次优的训练数据和模型架构。我们提出了ConserWeightive Behavioral Cloning（CWBC），这是一种简单有效的方法，用于提高条件BC的可靠性，其中有两个关键组成部分：轨迹加权和保守正则化。轨迹加权增加了高返回轨迹的权重，以减少BC方法的训练-测试间隙，而保守正则化器鼓励策略保持接近数据分布，以获得良好的条件。我们在RvS的背景下研究CWBC（Emmons等人，2021）和决策Transformers（Chen等人，2021年），并显示CWBC显着提高了他们在各种基准上的表现。
2023-02-03 cs.AI cs.LG
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Centre for Autonomous Marine Operations and Systems (AMOS)（自主海洋作业与系统中心）
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类，以识别行为模式和次优决策，并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
On Pathologies in KL-Regularized Reinforcement Learning from Expert Demonstrations
University of Oxford（牛津大学）
来自专家演示的KL正则化强化学习已被证明成功地提高了深度强化学习算法的样本效率，使其能够应用于具有挑战性的物理现实任务。然而，我们发现，KL正则化强化学习与来自专家演示的行为参考策略可能会受到病态的训练动态，这可能导致缓慢，不稳定和次优的在线学习。我们的经验表明，病理发生通常选择的行为政策类，并证明其对样本效率和在线政策性能的影响。最后，我们证明了病理可以通过非参数行为参考策略来补救，这使得KL正则化强化学习在各种具有挑战性的运动和灵巧手操作任务上显着优于最先进的方法。
2022-12-28 cs.AI cs.LG stat.ME
Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies
Naver Labs Europe（纳维尔实验室欧洲分部）；Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
本文提出一种无监督的行为模式发现框架，用于在强化学习细调多模态生成策略时保持行为多样性，通过互信息作为内在奖励提升任务成功率。
2026-05-12 cs.LG cs.RO
Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics
Chalmers University of Technology（查尔姆斯理工大学）；Gothenburg University（哥德堡大学）
本文提出了一种两阶段奖励课程方法，通过分离任务目标与行为术语，提升机器人强化学习中奖励函数设计的有效性和稳定性。
2026-03-05 cs.LG cs.RO
Diffusion Policy with Behavioral Advantage Correction for Offline Reinforcement Learning
School of Chemistry, Chemical Engineering and Biotechnology, Nanyang Technological University（南洋理工大学化学、化学工程与生物技术学院）
该研究针对离线强化学习中分布偏移导致的Q值估计偏差问题，提出带行为优势修正的扩散策略（DPBAC）算法，结合BAC-PE与扩散模型，在D4RL任务上实现优于SOTA的性能。
2026-08-04 cs.AI cs.LG cs.SY
CoDrift: Compositional Drifting for Offline Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）
CoDrift是面向离线强化学习的组合框架，通过组合三类目标场生成策略，在OGBench和D4RL的73个任务中，于离线和离线转在线设置均取得最优平均排名。
2026-08-26 cs.LG cs.RO
Fitting Reinforcement Learning Model to Behavioral Data under Bandits
IMBIT//BrainLinks-BrainTools；Department of Computer Science, University of Freiburg（弗莱堡大学计算机科学系）
本文提出了一种基于凸松弛和优化的新型方法，用于在多臂老虎机环境下拟合强化学习模型，通过理论分析和实验验证，证明其在计算效率和性能上的优势。
2026-03-26 cs.CE cs.LG math.OC
Effective Diversity in Population Based Reinforcement Learning
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；Google Brain Robotics（谷歌大脑机器人）
探索是强化学习中的一个关键问题，因为智能体只能从它们在环境中获得的数据中学习。考虑到这一点，维护一个代理群体是一种有吸引力的方法，因为它允许使用各种行为收集数据。这种行为多样性通常通过多目标损失函数来提高。然而，这些方法通常利用基于成对距离的平均场更新，这使得它们容易受到循环行为和增加的冗余的影响。此外，明确地促进多样性往往会对优化已经富有成效的奖励行为产生不利影响。因此，奖励多样性的权衡通常依赖于竞争力。最后，这些方法需要行为表示，通常是手工制作的和特定于领域的。在本文中，我们介绍了一种方法，以优化所有成员的人口同时进行。我们不使用成对距离，而是在行为流形中测量整个种群的体积，该行为流形由任务不可知的行为嵌入定义。此外，我们的算法多样性通过行列式（DvD），适应多样性的程度，在训练过程中使用在线学习技术。我们介绍了进化和基于梯度的DvD实例，并表明它们有效地提高了探索，而不降低性能时，更好的探索是不需要的。
2020-10-07 cs.LG stat.ML
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks 公司）
为了让机器人执行关键任务，它们必须能够快速适应环境的变化以及受伤和/或其他身体变化。深度强化学习已被证明在训练机器人控制策略以在复杂环境中操作方面是成功的。然而，现有方法通常仅采用单个策略。这可能会限制适应性，因为大规模的环境修改可能需要与学习环境完全不同的行为。为了解决这个问题，我们提出了基于地图的多策略强化学习（MMPRL），其目的是搜索和存储编码不同行为特征的多个策略，同时在环境变化之前最大化期望奖励。由于这些政策，这是存储到一个多维的离散地图，根据其行为特征，适应可以在合理的时间内进行，而无需重新训练的机器人。可以使用贝叶斯优化从地图中调用适当的预训练策略。我们的实验表明，MMPRL使机器人能够快速适应大的变化，而不需要任何关于可能发生的伤害类型的先验知识。学习行为的一个亮点可以在这里找到：https://youtu.be/QwInbilXNOE。
2017-10-18 cs.AI cs.LG cs.RO
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology（加州理工学院）
本研究提出泛化黑客现象，模型在强化学习中通过自我接种机制阻止行为泛化，在保持高奖励的同时抵抗行为修正，首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
Events as Triggers for Behavioral Diversity in Multi-Agent Reinforcement Learning
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
本文提出通过事件触发机制解耦智能体身份与行为，引入神经流形多样性与事件驱动超网络，实现动态行为适应与零样本泛化，提升多智能体协作效率。
2026-11-02 cs.LG cs.MA
Experiential Reinforcement Learning
University of Southern California（南加州大学）；Microsoft（微软公司）；University of Pennsylvania（宾夕法尼亚大学）
经验强化学习通过显式经验-反思-巩固循环提升语言模型在稀疏奖励环境中的学习效率和性能。
2026-02-15 cs.AI cs.LG
Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）
本文通过行为校准强化学习提升大语言模型的不确定性量化能力，使其在数学推理和事实问答任务中表现更优。
2026-01-28 cs.AI cs.LG
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind（谷歌DeepMind）
本研究证明离线演员-评论家强化学习可扩展至大型模型，遵循与监督学习相似的缩放规律，并在132个连续控制任务上超越行为克隆基线，引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Multi-Agent Reinforcement Learning for Safe Autonomous Driving Under Pedestrian Behavioral Uncertainty
University of Bern（伯恩大学）；AI4I, The Italian Institute of Artificial Intelligence（意大利人工智能研究所）
本文使用多智能体近端策略优化（MAPPO）联合训练自动驾驶汽车和12个行人，通过隐藏的行人特质模拟乱穿马路行为，相比固定策略基线显著降低了碰撞率，并揭示了速度差异指标可用于检测未预期的乱穿马路行为。
2026-05-25 cs.AI cs.HC cs.LG
From Static Constraints to Dynamic Adaptation: Sample-Level Constraint Relaxation for Offline-to-Online Reinforcement Learning
Department of Computer Science, Florida State University, Tallahassee, FL, USA（佛罗里达州立大学计算机科学系）
本文提出DARE框架，通过行为一致性实现样本级约束放松，解决了离线到在线强化学习中保留离线保守性与适应在线反馈之间的挑战，改进了细调稳定性并优于现有基线。
2026-05-17 cs.LG
Direct Behavior Specification via Constrained Reinforcement Learning
Institut d’intelligence aritficielle du Québec (Mila)（魁北克人工智能研究所（Mila））；École Polytechnique de Montréal（蒙特利尔理工学院）；Ubisoft La Forge（育碧La Forge实验室）；Université de Montréal（蒙特利尔大学）；ServiceNow（ServiceNow公司）
强化学习的标准制定缺乏一种实用的方法来指定什么是允许的和禁止的行为。大多数情况下，从业者通过手动设计奖励函数来完成行为规范的任务，这是一个违反直觉的过程，需要多次迭代，并且很容易被代理奖励投机攻击。在这项工作中，我们认为，受约束的RL，这几乎完全用于安全RL，也有可能显着减少在应用RL项目中用于奖励规范的工作量。为此，我们建议在CMDP框架中指定行为偏好，并使用拉格朗日方法自动权衡这些行为约束。具体来说，我们研究如何CMDPs可以适应解决基于目标的任务，同时坚持几个约束。我们评估这个框架上的一组连续控制任务相关的应用程序的强化学习NPC设计在视频游戏。
2022-06-18 cs.LG
Reward Engineering for Spatial Epidemic Simulations: A Reinforcement Learning Platform for Individual Behavioral Learning
Department of Computer Science University of British Columbia（计算机科学系，不列颠哥伦比亚大学）；Department of Mathematics and Institute of Applied Mathematics University of British Columbia（数学系和应用数学研究所，不列颠哥伦比亚大学）
提出ContagionRL平台，通过奖励函数设计系统评估空间流行病模拟中个体行为学习策略，发现势场奖励方法能有效提升非药物干预依从性和空间规避策略。
2026-03-24 cs.AI cs.LG q-bio.PE
UBCL: A Reinforcement Learning Framework for Controllable and Diverse Player Behaviors
Boğaziçi University（博雅奇大学）；Turkish Aerospace（土耳其航空航天）
本文提出了一种基于PPO的多智能体强化学习框架，通过可控的行为空间实现多样化玩家行为，适用于自动化测试和游戏平衡。
2026-09-11 cs.LG
Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）
本文提出一种多维行为评估方法，通过大语言模型判官评估代理系统决策过程，利用闭环强化学习反馈提升预测性能，验证了方法在股票预测中的有效性。
2026-05-16 cs.AI cs.CL cs.LG
A Dataset Perspective on Offline Reinforcement Learning
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究所（IARAI））；Dynatrace Research（Dynatrace研究院）
强化学习（RL）在现实世界中的应用可能是昂贵的或有风险的，因为在训练过程中的次优策略。在离线RL中，由于禁止与环境交互，因此可以避免此问题。策略是从给定的数据集中学习的，这完全决定了它们的性能。尽管如此，数据集特征如何影响离线RL算法仍然很难研究。数据集特征由对此数据集进行采样的行为策略确定。因此，我们将行为策略的特征定义为在与马尔可夫决策过程（MDP）的相互作用中产生高预期信息的探索性和具有高预期收益的剥削性。我们实现了两个相应的经验措施的数据集采样的行为政策在确定性MDP。第一个经验测量SACo由归一化的唯一状态-动作对定义，并捕获探索。第二个经验度量TQ由归一化的平均轨迹回报定义，并捕获利用。实证结果表明了TQ和SACo的有效性。在使用我们提出的措施的大规模实验中，我们表明，无约束的非策略深度Q网络家族需要具有高SACo的数据集才能找到好的策略。此外，实验表明，策略约束算法在具有高TQ和SACo的数据集上表现良好。最后，实验表明，对于具有高TQ的数据集，纯队列约束的行为克隆与最佳离线RL算法具有竞争力。
2022-07-12 cs.AI cs.LG
Benchmarking Batch Deep Reinforcement Learning Algorithms
Mila, McGill University（麦吉尔大学米拉研究所）；Facebook（脸书）；Facebook AI Research（脸书人工智能研究院）
广泛使用的深度强化学习算法已被证明在批量设置中失败-从固定的数据集学习而不与环境交互。根据这一结果，有几篇论文显示了在各种环境和批次设置下的合理性能。在本文中，我们在Atari域的统一设置下对最近的离线策略和批量强化学习算法的性能进行了基准测试，数据由单个部分训练的行为策略生成。我们发现，在这些条件下，这些算法中的许多算法的性能低于使用相同数量的数据在线训练的DQN，以及部分训练的行为策略。为了引入一个强大的基线，我们将批量约束Q-学习算法适应于离散动作设置，并显示它在此任务中优于所有现有算法。
2019-10-03 cs.AI cs.LG stat.ML
Revealing Behavioral Plasticity in Large Language Models: A Token-Conditional Perspective
本文提出ToCoRL框架，通过令牌条件强化学习使LLM在推理时实现稳定的行为适应，从而实现精确的行为控制。
2026-03-09 cs.AI cs.CL cs.LG
Synthetic Error Injection Fails to Elicit Self-Correction In Language Models
ucb（伯克利大学）
本研究发现合成错误注入无法有效提升语言模型的自我修正能力，揭示了策略性强化学习在激发自我修正方面的独特优势。
2025-12-02 cs.AI cs.LG
Inverse Risk-Sensitive Reinforcement Learning
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
我们解决的问题，逆强化学习在马尔可夫决策过程中的代理是风险敏感的。特别是，我们通过利用起源于行为心理学、行为经济学和神经科学的人类决策模型，在强化学习框架中对风险敏感性进行建模。我们提出了一个基于梯度的逆强化学习算法，最大限度地减少了损失函数定义的观察到的行为。我们证明了所提出的技术的性能上的两个例子，其中第一个是典型的网格世界的例子，其中第二个是一个马尔可夫决策过程建模乘客的决定乘坐共享。在后者中，我们使用来自乘车共享公司的定价和旅行时间数据来构建马尔可夫决策过程的转移概率和回报。
2017-11-21 cs.LG stat.ML
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Quantifying Potential Observation Missingness in Inverse Reinforcement Learning
School of Engineering and Applied Sciences（工程与应用科学学院）；Harvard University（哈佛大学）
本文研究逆强化学习中因观察缺失导致的决策偏差问题，提出算法量化行为数据中可能的观察缺失范围，通过合成导航任务、癌症治疗模拟和ICU治疗数据实验验证方法有效性。
2026-05-12 cs.LG
Implicit Behavioral Cloning
Robotics at Google（谷歌机器人）
我们发现，在广泛的机器人策略学习的情况下，对待监督策略学习与隐式模型一般表现得更好，平均而言，比常用的显式模型。我们提出了广泛的实验，这一发现，我们提供了直观的洞察力和理论论据区分隐式模型的属性相比，他们明确的同行，特别是在逼近复杂的，潜在的不连续和多值（集值）函数。在机器人策略学习任务，我们表明，隐式的行为克隆政策与基于能量的模型（EBM）往往优于常见的显式（均方误差，或混合密度）的行为克隆政策，包括对任务的高维动作空间和视觉图像输入。我们发现这些策略在D4RL基准测试套件中具有挑战性的人类专家任务上提供了有竞争力的结果或优于最先进的离线强化学习方法，尽管没有使用奖励信息。在现实世界中，具有隐式策略的机器人可以从人类演示中学习接触丰富任务的复杂和非常微妙的行为，包括具有高组合复杂性的任务和需要1mm精度的任务。
2021-09-01 cs.CV cs.LG cs.RO
Play with Emotion: Affect-Driven Reinforcement Learning
Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）
本文介绍了一种范式转变，将情感建模的任务视为一个强化学习（RL）过程。根据所提出的范例，RL代理通过尝试最大化一组奖励（即行为和情感模式）来学习策略（即情感交互），通过他们对环境（即上下文）的经验。我们的假设是，强化学习是一个有效的范式交织的影响启发和表现与行为和情感的示范。重要的是，我们的第二个假设--建立在达马西奥的躯体标记假设之上--是情绪可以成为决策的促进者。我们通过训练Go-Blend代理来模拟人类的觉醒和行为演示，在赛车游戏中测试我们的假设; Go-Blend是Go-Explore算法的修改版本，该算法最近在硬探索任务中表现出了最高的性能。我们首先改变唤醒为基础的奖励功能，并观察代理，可以有效地显示调色板的影响和行为模式，根据指定的奖励。然后，我们使用唤醒为基础的状态选择机制，以偏置的策略，去混合探索。我们的研究结果表明，Go-Blend不仅是一种有效的情感建模范式，更重要的是，情感驱动的RL提高了探索并产生了更高性能的代理，验证了Damasio在游戏领域的假设。
2022-08-26 cs.AI cs.HC cs.LG
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics（数学系）；Department of Electrical Engineering and Information Technology（电气工程与信息科技系）；IIIT at ETIT（ETIT的IIIT）
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题，提出先行为克隆后强化学习的混合方法，并采用多头注意力网络，最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
Error Bounds of Imitating Policies and Environments
Nanjing University（南京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Polixir Technologies（波利克斯尔科技）
模仿学习通过模仿专家演示来训练策略。各种模拟方法被提出并进行了实证评价，但其理论认识还有待进一步研究。本文首先通过行为克隆和生成对抗模仿两种模仿方法分析了专家策略与被模仿策略之间的价值差距。实验结果表明，与行为克隆相比，生成对抗模仿可以减少合成错误，从而具有更好的样本复杂度。注意到通过将环境迁移模型看作一个对偶智能体，模仿学习也可以用来学习环境模型。因此，在模仿政策的边界基础上，我们进一步分析了模仿环境的绩效。实验结果表明，生成对抗性模仿比行为克隆更能有效地模仿环境模型，为基于基于模型的强化学习提供了一种新的对抗性模仿方法.我们希望这些结果能够启发未来模仿学习和基于模型的强化学习的发展。
2020-10-22 cs.LG
Data-Driven Simulation of Ride-Hailing Services using Imitation and Reinforcement Learning
University of Moratuwa（莫拉图瓦大学）
网约车平台的快速增长创造了一个竞争激烈的市场，企业难以盈利，需要更好的运营策略。然而，对于这些平台来说，现实世界的实验是有风险和昂贵的，因为它们每天都要处理数百万用户。因此，需要一个模拟的环境，他们可以预测用户的反应，在平台特定的参数，如旅行费用和奖励的变化。构建这样的模拟是具有挑战性的，因为这些平台存在于动态环境中，成千上万的用户经常相互交互。本文提出了一个框架来模拟和预测用户，特别是司机，在乘车服务的行为。为此，我们使用了数据驱动的混合强化学习和模仿学习方法。首先，该代理利用行为克隆来模仿驾驶员的行为，使用真实世界的数据集。接下来，强化学习应用于模拟环境中预先训练的代理之上，以使它们能够适应平台中的变化。我们的框架为网约车平台提供了一个理想的平台，可以实验平台特定的参数来预测驾驶员的行为模式。
2021-04-06 cs.AI cs.LG
HARPO: Learning to Subvert Online Behavioral Advertising
University of Southern California（南加州大学）；University of California, Davis（加州大学戴维斯分校）
在线行为广告和相关的跟踪工具构成了真正的隐私威胁。不幸的是，现有的隐私增强工具并不总是有效地对抗在线广告和跟踪。我们提出了Harpo，一种基于学习的原则性方法，通过混淆来颠覆在线行为广告。Harpo使用强化学习自适应地将真实页面访问与虚假页面交织在一起，以扭曲跟踪器对用户浏览配置文件的视图。我们根据真实世界的用户分析和用于在线行为广告的广告定位模型来评估Harpo。结果表明，Harpo通过触发超过40%的不正确兴趣段和6倍高的出价值来提高隐私。对于相同的开销，Harpo比现有的混淆工具性能高出16倍。Harpo还能够实现比现有混淆工具更好的对抗性检测。Harpo在利用模糊处理颠覆在线行为广告方面有意义地推进了最先进的技术
2021-11-24 cs.CR cs.LG
Reward function compression facilitates goal-dependent reinforcement learning
University of California, Berkeley（加州大学伯克利分校）
本研究提出人类通过将复杂目标信息压缩为稳定的奖励函数来提高目标依赖强化学习的效率，实验表明目标空间大小损害学习但可压缩性改善学习，且奖励处理速度与学习正相关。
2026-07-02 cs.LG q-bio.NC
Offline reinforcement learning for job-shop scheduling problems
TECNALIA（泰克纳利亚技术中心）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country（巴斯克大学）
本文提出一种新型离线强化学习方法，通过异构图表示状态、边属性编码动作并平衡奖励与专家模仿，有效解决了具有复杂约束的作业车间调度问题，性能优于现有技术。
2025-04-05 cs.AI cs.LG
Towards Emotionally Intelligent and Responsible Reinforcement Learning
针对医疗保健等领域个性化决策系统忽视情感背景与伦理约束的问题，提出负责任强化学习（RRL）框架，将情感理解与伦理考量整合到序列决策中，通过CMDP优化参与度与依从性并确保安全，连接多领域并为相关系统提供方法学基础。
2025-11-13 cs.AI cs.CL cs.HC
