Decomposed Mutual Information Optimization for Generalized Context in Meta-Reinforcement Learning
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tianjin University(天津大学);Tsinghua University(清华大学)
在机器人应用中,适应过渡动力学的变化是必不可少的。上下文感知Meta强化学习通过学习具有紧凑上下文的条件策略,提供了一种灵活的方法来根据动态变化调整行为。然而,在实际应用中,智能体可能会遇到复杂的动力学变化。多个混杂因素可能会影响过渡动态,使其难以推断准确的决策背景。本文解决了这样的挑战分解相互信息优化(DOMINO)的上下文学习,明确地学习一个解开的上下文,最大限度地提高上下文和历史轨迹之间的互信息,同时最小化状态转换预测误差。理论分析表明,DOMINO算法通过学习解纠缠上下文,可以克服多混杂挑战对互信息的低估,减少对不同环境下样本采集数量的需求。大量的实验表明,DOMINO学习的上下文有利于基于模型和无模型强化学习算法的动力学泛化方面的样本效率和性能在看不见的环境。
2022-10-09 cs.LG
Bidirectional-Reachable Hierarchical Reinforcement Learning with Mutually Responsive Policies
Tsinghua University(清华大学);Institute for AI Industry Research(人工智能产业研究院)
针对分层强化学习中子目标可达性受单侧主导限制的问题,提出双向可达分层策略优化算法,通过相互响应机制实现双向信息共享与纠错,在长期任务上优于现有基线,提升探索效率与鲁棒性。
2024-06-26 cs.AI cs.LG
Conditional Mutual Information for Disentangled Representations in Reinforcement Learning
University of Edinburgh(爱丁堡大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
针对强化学习中特征相关导致的泛化问题,提出通过最小化条件互信息学习解耦表示,实验证明在相关性变化下提升泛化与训练性能。
2023-10-12 cs.LG
Mutual Information-based State-Control for Intrinsically Motivated Reinforcement Learning
Siemens AG(西门子公司);Ludwig Maximilian University of Munich(慕尼黑大学);University of California, Berkeley(加州大学伯克利分校);Horizon Robotics(地平线机器人技术公司)
在强化学习中,智能体通过外部奖励信号学习达到一组目标。在自然界中,智能生物从内部驱动器中学习,绕过了对外部信号的需求,这对广泛的任务都是有益的。基于这一观察,我们提出了一个内在的目标,目标状态和可控状态之间的互信息。这个目标鼓励代理人控制其环境。随后,我们推导出建议的奖励函数,它可以有效地优化代理目标。最后,我们在不同的机器人操作和导航任务中评估开发的框架,并证明我们的方法的有效性。显示实验结果的视频可在https://youtu.be/CT4CKMWBYz0上获得
2020-06-12 cs.LG stat.ML
Robust Multi-Agent Reinforcement Learning by Mutual Information Regularization
针对多智能体强化学习中现有鲁棒方法计算量大、鲁棒性不足的问题,提出无需对手的互信息正则化方法MIR3,通过最大化鲁棒性下界提升鲁棒性,在星际争霸II、机器人群控制及真实部署中均优于基线。
2024-05-21 cs.AI cs.LG
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute(优范研究院);Their Fantastic Institute(泽范研究院)
互信息是一个核心统计量,在机器学习的所有领域都有应用,无论是在多个数据模态上训练密度模型,最大化噪声传输信道的效率,还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法,不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术,为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法,其中互信息形成了一个众所周知的内部驱动的定义,称为授权。使用互信息的变分下界,结合处理视觉输入流的卷积网络,我们开发了一种随机优化算法,该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation
Beijing Institute of Technology(北京理工大学);Beihang University(北京航空航天大学)
本文提出MISE方法,通过生成自我评估提供密集奖励信号并校准环境反馈,使基于大语言模型的智能体能自主学习,理论证明其等价于结合互信息与KL散度的优化目标,实验表明其在无监督条件下优于基线方法。
2026-04-13 cs.CL cs.LG
Graph Convolutional Reinforcement Learning
Peking University(北京大学);Rice University(莱斯大学)
学习合作在多智能体环境中至关重要。关键是要理解代理之间的相互作用。然而,多智能体环境是高度动态的,其中智能体保持移动,并且它们的邻居快速变化。这使得很难学习代理之间相互作用的抽象表示。为了解决这些困难,我们提出了图卷积强化学习,其中图卷积适应多智能体环境的底层图的动态,关系内核通过它们的关系表示来捕获智能体之间的相互作用。利用卷积层从逐渐增加的感受野中产生的潜在特征来学习合作,并通过时间关系正则化来进一步改善合作以实现一致性。经验上,我们表明,我们的方法大大优于现有的方法在各种合作的情况下。
2020-02-11 cs.AI cs.LG cs.MA
Experience Sharing in Mutual Reinforcement Learning for Heterogeneous Language Models
Purdue University(普渡大学);AWS Agentic AI(AWS智能体实验室)
本文提出互强化学习框架,通过共享经验提升异构语言模型性能,采用共享经验交换、多工人资源分配和 tokenizer 异质性层实现跨模型经验共享,验证了在稳定与支持之间取得平衡的可行性。
2026-05-08 cs.AI cs.CL cs.LG
Mutual Information Regularized Offline Reinforcement Learning
Sea AI Lab
本文提出 MISA 框架,通过状态与动作的互信息下界约束离线 RL 的策略改进方向,并统一 CQL 与 TD3+BC,在 D4RL 上显著优于基线。
2024-02-28 cs.AI cs.LG
Empowerment-driven Exploration using Mutual Information Estimation
Technical University of Munich(慕尼黑工业大学)
探索是强化学习中的一项艰巨挑战,在稀疏奖励环境中至关重要。然而,许多依赖于ε贪婪的最先进的深度强化学习算法在这些环境中失败了。在这种情况下,授权可以作为一种内在的奖励信号,使代理人能够最大限度地发挥其在不久的将来的影响力。我们制定授权的状态和行动之间的信道容量,并通过估计之间的互信息的行动和以下状态计算。使用互信息神经估计器和前向动力学模型来估计互信息。我们证明,授权驱动的代理是能够显着提高的得分的基线DQN代理的游戏蒙特祖玛的复仇。
2018-10-11 cs.AI cs.LG stat.ML
Mutual Reinforcement Learning
Oklahoma State University(俄克拉荷马州立大学)
最近,协作机器人已经开始训练人类来完成复杂的任务,它们之间的互信息交换可以导致成功的机器人与人类协作。在本文中,我们展示了一种新的方法,称为相互强化学习(MRL),其中人类和自主智能体作为强化学习者在技能转移的情况下,通过不断的沟通和反馈的应用和有效性。一个自主智能体最初充当一个教师,可以教一个新手人类参与者使用MRL策略的复杂技能。当在物理(积木)($n=34$)或模拟(俄罗斯方块)环境($n=31$)中教授技能时,专家试图识别每个人偏好的适当奖励渠道,并使用探索-开发策略相应地调整自己。这些奖励渠道偏好可以识别人类参与者的重要行为,因为他们以后很可能会在类似情况下采取相同的行为。通过这种方式,在专家系统和新手操作员之间进行技能转移。我们将被试人群分为三组,观察技能迁移现象,并用Simpson的心理测量学模型进行分析。5-点李克特量表也被用来识别人类参与者的认知模型。我们得到了一个共享的认知模型,它不仅提高了人类的认知,但提高了机器人的认知策略,以了解其人类合作伙伴的心理模型,同时建立一个成功的机器人-人类协作框架。
2019-09-20 cs.HC cs.LG cs.RO
Mutual Information Tracks Policy Coherence in Reinforcement Learning
Semarx Research Ltd.(Semarx研究有限公司)
提出信息论框架,通过分析状态-动作互信息模式诊断强化学习部署时异常,实现无需架构修改的精确故障定位。
2025-09-12 cs.AI cs.LG cs.RO
Skill-aware Mutual Information Optimisation for Generalisation in Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);University of Edinburgh(爱丁堡大学)
本文提出技能感知互信息(SaMI)及其估计器SaNCE,通过区分上下文嵌入来提升元强化学习智能体的零样本泛化能力,并在MuJoCo和Panda-gym基准上验证了其有效性及对样本减少的鲁棒性。
2024-11-06 cs.AI cs.LG cs.RO
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley(慕尼黑量子谷)
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现,实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
On Practical Reinforcement Learning: Provable Robustness, Scalability, and Statistical Efficiency
Deakin University(迪肯大学)
本论文对现代实际应用中的基本强化学习方法进行了深入研究,包括鲁棒强化学习、分布式强化学习和离线神经函数逼近强化学习。本文首先为读者提供了RL的总体概述以及统计和优化方面的关键技术背景。在每一个设置,论文激励的问题进行研究,回顾了目前的文献,提供计算效率的算法,可证明的效率保证,并得出结论,未来的研究方向。本文在算法、理论和经验方面对上述三种设置做出了基本贡献,同时与实际考虑保持相关。
2022-03-03 cs.AI cs.LG stat.ML
Adaptive reinforcement learning of multi-agent ethically-aligned behaviours: the QSOM and QDSOM algorithms
Univ Lyon(里昂大学);UCBL(里昂第一大学);CNRS(法国国家科学研究中心);INSA Lyon(里昂国立应用科学学院);Centrale Lyon(里昂中央理工学院);Univ Lyon 2(里昂第二大学);LIRIS(里昂信息与图像系统实验室);Institut Henri Fayol(亨利·法约尔研究所);MINES Saint-Etienne(圣艾蒂安国立高等矿业学院);CONFLUENCE: Sciences et Humanités research unit (EA 1598)(汇流:科学与人文研究单元(EA 1598));Lyon Catholic University(里昂天主教大学)
本文提出QSOM和QDSOM两种自适应强化学习算法,通过结合Q-Table与自组织映射处理多维连续空间,使多智能体系统能适应代表伦理考量的动态奖励函数变化,并在智能电网能量分配中验证了其优于基线的性能。
2023-07-02 cs.AI cs.CY cs.LG
Deep Reinforcement Learning for Safe Landing Site Selection with Concurrent Consideration of Divert Maneuvers
The University of Tokyo(东京大学);Georgia Institute of Technology(佐治亚理工学院)
这项研究提出了一个新的综合框架,确定安全着陆位置和规划飞行中的转向机动。现有的着陆区选择算法主要是利用当地地形的坡度、粗糙度等特征来判断着陆点的安全性和优先级。然而,当未来有额外的观察和转向机会时,这些算法无法评估考虑整体下降轨迹的决定本身以选定着陆点为目标的安全性。为了应对这一挑战,我们提出了一个强化学习框架,优化着陆点选择策略,同时引导和控制策略的目标着陆点。经过训练的智能体可以评估和选择着陆点,并明确考虑地形特征、未来观测的质量和控制,以在系统级实现安全有效的着陆轨迹。所提出的框架能够实现94.8 $\%$的成功着陆在高度具有挑战性的着陆点,其中超过80 $\%$的区域周围的初始目标着陆点是危险的,通过有效地更新目标着陆点和下降期间的反馈控制增益。
2021-02-24 cs.AI cs.LG cs.RO
Optimising Lockdown Policies for Epidemic Control using Reinforcement Learning
TCS Research(塔塔咨询服务研究院);Microsoft Research(微软研究院)
在新型冠状病毒肺炎(COVID-19)疫情持续的背景下,多份报告和研究试图对该疾病的传播进行建模和预测。关于限制对健康和经济的损害的政策也有激烈的辩论。一方面,人口的健康和安全是大多数国家的主要考虑。另一方面,我们不能忽视全国范围内严格封锁可能造成的长期经济损害。在这篇工作论文中,我们提出了一种定量方法来计算单个城市或地区的封锁决策,同时平衡健康和经济因素。此外,这些政策是自动学习所提出的算法,作为疾病参数(传染性,妊娠期,症状持续时间,死亡概率)和人口特征(密度,运动倾向)的函数。我们考虑了现实的考虑因素,如不完美的封锁,并表明使用强化学习获得的政策是一个可行的量化方法对封锁。
2020-05-01 cs.AI cs.LG physics.soc-ph
Skill Learning via Policy Diversity Yields Identifiable Representations for Reinforcement Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);University of Cambridge(剑桥大学);Princeton University(普林斯顿大学)
本文从可辨识表征学习角度研究互信息技能学习,证明对比后继特征方法可在线性变换意义下可证明地恢复环境真实特征,并在 MuJoCo 与 DeepMind Control 上验证了该结论。
2025-07-19 cs.AI cs.LG stat.ML
Mutual Information as Intrinsic Reward of Reinforcement Learning Agents for On-demand Ride Pooling
Dalian University of Technology(大连理工大学);University of Virginia(弗吉尼亚大学);Nanyang Technological University(南洋理工大学)
针对按需拼车中分布不寻常请求难以获服务的问题,提出基于强化学习的车辆调度框架,将车辆与订单分布间的互信息作为内在奖励以改善相关性,在真实数据集上使收入平均提升3%。
2024-01-07 cs.AI cs.LG cs.SY
Representation Convergence: Mutual Distillation is Secretly a Form of Regularization
HKUST(GZ)(香港科技大学(广州));QLU(齐齐哈尔大学);ETH Zurich(苏黎世联邦理工学院);SCU(四川大学)
本文证明强化学习策略间的互蒸馏作为隐式正则化,防止过拟合无关特征,从而提升泛化性能,并在像素输入上自发涌现不变表示。
2025-09-24 cs.AI cs.LG
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology(国防科技大学)
近年来,深度强化学习(RL)算法在多智能体领域取得了很大进展。然而,由于RL的特性,复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战,同质代理之间的相互学习策略是必不可少的,这是在以前的研究中,由于大多数现有的方法不考虑使用代理模型的知识,而探索不足。在本文中,我们提出了一种适应方法的大多数多智能体强化学习(MARL)算法称为KnowSR,它利用代理之间的学习差异。我们采用知识蒸馏(KD)的思想,在代理之间共享知识,以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性,我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明,KnowSR优于最近报道的方法,强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings
University of Michigan(密歇根大学)
强化学习(RL)可用于学习治疗策略并辅助医疗保健决策。然而,考虑到需要在复杂的状态/动作空间上进行推广,函数逼近器(例如,深度神经网络)需要模型选择以减少过拟合并提高部署时的策略性能。然而,用于模型选择的标准验证管道需要在实际环境中运行学习的策略,这在医疗保健环境中通常是不可行的。在这项工作中,我们研究了离线RL的模型选择管道,该管道依赖于离线策略评估(OPE)作为验证性能的代理。我们对流行的OPE方法进行了深入分析,突出了用于对一组候选策略进行排名时的额外超参数和计算要求(辅助模型的拟合/推理)。我们比较了不同OPE方法的效用,作为学习治疗脓毒症患者的模型选择管道的一部分。在我们考虑的所有OPE方法中,拟合Q评估(Fitted Q Evaluation,简称QFE)始终导致最佳验证排名,但计算成本很高。为了平衡排名准确性和计算效率之间的权衡,我们提出了一个简单的两阶段方法,通过避免潜在的不必要的计算来加速模型选择。我们的工作可以作为离线RL模型选择的实用指南,并可以帮助RL从业者使用真实世界的数据集选择策略。为了便于重复性和将来的扩展,本文附带的代码可在https://github.com/MLD3/OfflineRL_ModelSelection上在线获得。
2021-07-23 cs.LG
Mean Field Multi-Agent Reinforcement Learning
University College London(伦敦大学学院);Shanghai Jiao Tong University(上海交通大学)
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时,由于维数灾难和智能体交互的指数增长,学习变得难以处理。在本文中,我们提出了\emph{Mean Field Reinforcement Learning},其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的:个体代理的最优策略的学习取决于群体的动态,而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法,并分析了纳什均衡解的收敛性。高斯挤压,伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外,我们报告的第一个结果,解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Integrated Noise and Safety Management in UAM via A Unified Reinforcement Learning Framework
针对UAM中噪声与安全间隔的冲突问题,提出统一强化学习框架的分布式空中交通管理系统,通过智能体学习高度调整策略实现多目标协同优化,验证了方法的有效性与多目标权衡特性。
2026-09-02 cs.LG cs.MA
The Information Geometry of Unsupervised Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
如果下游任务事先未知,强化学习(RL)代理如何准备解决这些任务?一种方法是无监督的技能发现,这是一类学习一组策略而不访问奖励函数的算法。这样的算法与表示学习算法(例如,对比学习)在监督学习中,因为两者都是预训练算法,其最大化对互信息目标的某种近似。虽然先前的工作已经表明,通过这种方法学习的技能集可以加速下游RL任务,但先前的工作很少分析这些技能学习算法是否是最优的,甚至什么最优性概念适用于它们。在这项工作中,我们表明,基于互信息最大化的无监督技能发现算法不会学习对每个可能的奖励函数都是最佳的技能。然而,我们发现,技能的分布提供了一个最佳的初始化,最大限度地减少对adversarially选择的奖励函数的遗憾,假设某种类型的适应过程。我们的分析还提供了这些技能学习方法的几何视角。
2021-10-06 cs.LG
MIME: Mutual Information Minimisation Exploration
University of Otago(奥塔哥大学)
我们表明,强化学习代理人,学习惊喜(missal)陷入突然的环境过渡边界,因为这些过渡是很难学习。我们提出了一个反直觉的解决方案,我们称之为互信息最小化探索(MIME),其中代理学习环境的潜在表示,而不试图预测未来的状态。我们表明,我们的代理执行显着更好的尖锐的过渡边界,同时匹配的性能,在其他地方的驱动代理。特别是,我们在困难的学习游戏上展示了最先进的性能,如Gravitar,Montezuma的复仇和Doom。
2020-01-16 cs.LG stat.ML
Cooperation in Human and Machine Agents: Promise Theory Considerations
ChiTek-i AS
本文探讨人类与机器代理合作中的承诺理论,分析其在组织设计和功能实现中的统一视角,涵盖人类、硬件、软件及AI的合作与互动。
2026-04-12 cs.AI cs.MA
Heterogeneous Agent Collaborative Reinforcement Learning
Beihang University(北航);Bytedance China(字节跳动中国);Tsinghua University(清华大学);Peking University(北京大学);Apple(苹果公司)
本文提出了一种新的强化学习从可验证奖励(RLVR)问题HACRL,通过异质智能体共享验证的轨迹实现协同优化,解决了孤立多智能体在线优化的效率问题,并提出HACPO算法以最大化样本利用率和跨智能体知识转移。
2026-10-26 cs.LG
Automated Reinforcement Learning: An Overview
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫尔蒙尼乌斯数据科学学院);Shandong University(山东大学)
本文综述了自动化强化学习的发展,包括基于大语言模型的技术,并探讨了其挑战和未来研究方向。
2026-07-21 cs.AI cs.LG
Federated Deep Reinforcement Learning
Sun Yat-Sen University(中山大学);WeBank(微众银行)
在深度强化学习中,当状态的特征空间较小且训练数据有限时,构建高质量的策略是具有挑战性的。尽管之前的迁移学习方法在深度强化学习中取得了成功,但由于许多隐私感知应用中数据和/或模型的隐私性,通常不允许将数据或模型从代理直接迁移到另一代理。在本文中,我们提出了一种新的深度强化学习框架,联邦建立模型的高质量的代理考虑他们的隐私,即联邦深度强化学习(FedRL)。为了保护数据和模型的隐私,我们在更新局部模型时利用高斯差分来共享彼此的信息。在实验中,我们评估我们的FedRL框架在两个不同的领域,网格世界和Text 2Action域,通过比较各种基线。
2020-02-09 cs.AI cs.LG
Foresight of Graph Reinforcement Learning Latent Permutations Learnt by Gumbel Sinkhorn Network
Beihang University(北京航空航天大学);Nanyang Technological University(南洋理工大学)
多智能体环境中的协作问题越来越受到人们的重视,为此提出了一些结合图神经网络的强化学习算法来理解智能体之间的相互作用。然而,高度复杂和动态的多智能体环境要求更巧妙的图神经网络,它不仅能全面地表示图的拓扑结构,而且能全面地表示由于智能体的出现、消失和移动而引起的结构的演化过程。为了解决这些问题,本文提出了Gumbel Sinkhorn图注意力强化学习,图注意力网络高度代表了多智能体环境下的底层图拓扑结构,并借助Gumbel Sinkhorn网络通过学习潜在排列,更好地适应图的动态拓扑结构.从经验上讲,模拟结果显示我们提出的图强化学习方法如何通过学习潜在的排列在PettingZoo多智能体环境中优于现有的方法。
2021-10-23 cs.AI cs.LG
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST(韩国科学技术院);UNIST(蔚山国立科学技术院)
本文提出变分课程强化学习(VCRL)和价值不确定性变分课程(VUVC),将变分赋能重构为目标条件强化学习中的课程学习,以提升无监督技能发现的样本效率与状态覆盖速度,并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
在多智能体环境中,单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题,专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难:相互适应次优行为,我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先,代理利用策略梯度算法来学习能够实现多个目标的策略。其次,代理学习修改器策略,以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Offline Reinforcement Learning for Mobile Notifications
LinkedIn Corporation(领英公司)
移动通知系统在推动和维持在线平台的用户参与方面发挥了重要作用。对于机器学习从业者来说,它们是有趣的推荐系统,具有更多的顺序和长期反馈考虑。通知系统中的大多数机器学习应用都是围绕响应预测模型构建的,试图将短期影响和长期影响归因于通知决策。然而,用户的体验取决于一系列通知,并且将影响归因于单个通知并不总是准确的,如果不是不可能的话。在本文中,我们认为,强化学习是一个更好的框架通知系统的性能和迭代速度。我们提出了一个离线强化学习框架来优化驱动用户参与的顺序通知决策。我们描述了一种状态边缘化的重要性采样策略评估方法,该方法可用于离线评估策略和调整学习超参数。通过模拟近似的通知生态系统,我们展示了离线评估方法的性能和优势,作为强化学习建模方法的一部分。最后,我们通过生产系统的在线探索收集数据,训练离线双深Q网络,在线发布成功的策略。我们还讨论了实际的考虑和结果,通过部署这些政策的大规模推荐系统用例。
2022-02-04 cs.LG
Fairness in Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);University of Michigan-Shanghai Jiao Tong University Joint Institute(上海交通大学密西根学院)
决策支持系统(例如,用于生态保护)和自治系统(例如,智能城市中的自适应控制器)开始部署在实际应用中。虽然它们的操作通常会影响许多用户或利益相关者,但它们的设计通常不会考虑公平性,这可能会导致对某些用户或利益相关者完全不公平的结果。为了解决这个问题,我们提倡使用社会福利函数来编码公平性,并在(深度)强化学习的背景下提出这个普遍的新问题,尽管它可能会扩展到其他机器学习任务。
2019-07-24 cs.AI cs.LG stat.ML
Can Meta-Interpretive Learning outperform Deep Reinforcement Learning of Evaluable Game strategies?
Imperial College London(帝国理工学院)
深度强化学习系统在许多复杂的双人游戏(围棋、国际象棋、象棋)中表现优于世界级的人类玩家。然而,由于易处理性的考虑,极小极大遗憾的学习系统不能在这样的游戏中进行评估。在本文中,我们考虑简单的游戏(Noughts-and-Crosses和Hexapawn),其中极大极小遗憾可以有效地评估。我们使用这些游戏来比较标准和深度强化学习的两种变体的累积最小最大遗憾,以及一种名为MIGO的新元解释学习系统的两种变体。在我们的实验中,正常和深度强化学习的所有测试变体都比Noughts-and-Crosses和Hexapawn上的MIGO变体表现更差(更高的累积极大极小遗憾)。此外,MIGO的学习规则相对容易理解,并被证明在Noughts-and-Crosses和Hexapawn之间的两个方向上都实现了显著的迁移学习。
2019-02-26 cs.AI cs.LG
Ranking-aware Reinforcement Learning for Ordinal Ranking
AMAP, Alibaba Group(阿里集团AMAP)
RARL通过整合回归和学习到排名任务,利用排名-aware奖励和响应突变操作提升有序排名性能。
2026-01-28 cs.AI cs.LG
Hierarchical Modular Reinforcement Learning Method and Knowledge Acquisition of State-Action Rule for Multi-target Problem
Prefectural University of Hiroshima(广岛县立大学);Iyo Bank, Ltd.(伊予银行有限公司)
分层模块化强化学习(Hierarchical Modular Reinforcement Learning,HMRL)由两层学习组成,其中利润分享在高层规划猎物位置,Q学习方法在低层训练状态动作到目标。本文将HMRL扩展到多目标问题,考虑目标间的距离。该函数称为“AT场”,可以根据两个代理之间的距离和另一个代理的优势/劣势来估计代理的利益。此外,与状态-动作规则相关的知识由C4.5提取。在这种情况下的行动是通过使用所获得的知识来决定的。为了验证所提出的方法的有效性,一些实验结果的报告。
2018-04-08 cs.AI cs.LG cs.MA
Open-Ended Reinforcement Learning with Neural Reward Functions
ETH Zürich(苏黎世联邦理工学院)
受无监督学习在计算机视觉和自然语言处理中取得的巨大成功的启发,强化学习社区最近开始更多地关注技能的无监督发现。大多数当前的方法,如DIAYN或DADS,优化某种形式的互信息目标。我们提出了一种不同的方法,使用由神经网络编码的奖励函数。这些被反复训练以奖励更复杂的行为。在高维机器人环境中,我们的方法学习了各种有趣的技能,包括半猎豹的前空翻和Humanoid的单腿跑步。在基于像素的Montezuma的复仇环境中,我们的方法也以最小的变化工作,它学习复杂的技能,包括与物品互动和访问不同的地点。我们的方法的实施可以在这个链接中找到:https://github.com/amujika/Open-Ended-Reinforcement-Learning-with-Neural-Reward-Functions。
2022-10-12 cs.AI cs.LG cs.RO
Opportunities and Challenges from Using Animal Videos in Reinforcement Learning for Navigation
Boston University(波士顿大学)
我们研究了使用动物视频(观察)来提高强化学习(RL)在具有稀疏奖励的导航任务中的效率和性能。出于理论考虑,我们将加权策略优化用于非策略RL,并描述了从动物视频中学习时的主要挑战。我们提出解决方案,并在一系列2D导航任务上测试我们的想法。我们展示了我们的方法如何利用动物视频来提高RL算法的性能,而RL算法不利用这些观察结果。
2022-11-10 cs.AI cs.CV cs.LG
Robust Domain Randomised Reinforcement Learning through Peer-to-Peer Distillation
University of Edinburgh(爱丁堡大学)
在强化学习中,域随机化是一种越来越受欢迎的技术,用于学习对部署时的域转移具有鲁棒性的更一般的策略。然而,天真地聚集来自随机域的信息可能导致梯度估计的高方差和不稳定的学习过程。为了解决这个问题,我们提出了一个点对点的在线蒸馏策略的RL称为P2PDRL,其中多个工人被分配到一个不同的环境,并通过相互正规化的基础上Kullback-Leibler分歧交换知识。我们在连续控制任务上的实验表明,P2PDRL能够在比基线更广泛的随机分布中进行鲁棒学习,并且在测试时对新环境进行更鲁棒的概括。
2020-12-09 cs.LG
A Laplacian Framework for Option Discovery in Reinforcement Learning
University of Alberta(阿尔伯塔大学);Google DeepMind(谷歌DeepMind)
表示学习和选项发现是强化学习(RL)中的两个最大挑战。原价值函数(PVF)是用于MDP中的表示学习的公知方法。在本文中,我们解决的选项发现问题,显示PVF如何隐式定义选项。我们通过引入本征目的,从学习的表征中获得的内在奖励函数来实现。从本征目的发现的选项遍历状态空间的主方向。它们对多个任务都很有用,因为它们是在不考虑环境奖励的情况下发现的。此外,不同的选项在不同的时间尺度上起作用,这有助于探索。我们展示了传统的表格域,以及在雅达利2600游戏的特征。
2017-06-16 cs.AI cs.LG
Efficient RLVR Training via Weighted Mutual Information Data Selection
InSight通过加权互信息数据选择方法提升RLVR训练效率,实现性能和加速的显著提升。
2026-03-02 cs.CL cs.LG
Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning
Seoul National University(首尔国立大学)
在高度复杂的环境中,许多机器人任务是由许多时间相关的子任务组成的。重要的是通过仔细考虑时间抽象来发现情境意图和适当的行动,以有效地解决问题。为了理解与不断变化的任务动态分离的意图,我们将基于授权的正则化技术扩展到基于生成对抗网络框架的多任务情况。在动态未知的多任务环境下,我们专注于从未标记的专家样本中学习奖励和策略。在本研究中,我们将情境授权定义为互信息的最大值,它代表了以特定状态和子任务为条件的行为如何影响未来。该方法通过推导情境互信息的变分下界来优化情境互信息,并通过在目标函数中加入诱导项来同时学习可转移的多任务奖励函数和策略.通过这样做,多任务奖励函数有助于学习针对环境变化的稳健政策。我们验证了我们的方法在多任务学习和多任务迁移学习上的优势。我们证明了我们提出的方法具有鲁棒性的随机性和不断变化的任务动态。最后,我们证明了我们的方法具有显着更好的性能和数据效率比现有的模仿学习方法在各种基准。
2022-06-19 cs.AI cs.LG cs.RO
Reinforcement learning based local search for grouping problems: A case study on graph coloring
Université d’Angers(昂热大学);Institut Universitaire de France(法国大学研究院)
优化问题的目标是根据一定的准则和约束条件将一组项目划分为多个互不相交的子集。优化问题涵盖了一大类重要的组合优化问题,这些问题通常在计算上是困难的。在本文中,我们提出了一个通用的解决方法分组问题,即,基于强化学习的局部搜索(RLS),其将强化学习技术与基于下降的局部搜索相结合。所提出的方法的可行性验证了一个著名的代表性分组问题(图着色),其中一个非常简单的基于下降的着色算法。对流行的DIMACS和COLOR 02基准图的实验研究表明,RLS实现了竞争力的性能相比,一些著名的着色算法。
2016-04-01 cs.AI
Striking a Balance in Fairness for Dynamic Systems Through Reinforcement Learning
University of Arkansas(阿肯色大学)
本文针对动态系统中的顺序决策公平性问题,提出将传统公平与长期公平统一纳入强化学习的算法框架,并通过三个案例验证其能在公平与效用间取得平衡。
2024-01-12 cs.AI cs.LG
EMI: Exploration with Mutual Information
Seoul National University(首尔大学);Neural Processing Research Center(神经处理研究中心);UC Berkeley(加州大学伯克利分校)
当奖励信号非常稀疏时,强化学习算法就很困难。在这些情况下,朴素的随机探索方法基本上依赖于随机漫步偶然发现一个有价值的状态。最近的工作利用内在动机,通过生成模型,预测的前向模型,或新颖性的判别建模来指导探索。我们提出了EMI,这是一种探索方法,它构建了状态和动作的嵌入表示,不依赖于完整观察的生成解码,而是提取预测信号,可用于引导基于表示空间中的前向预测的探索。我们的实验显示具有挑战性的运动任务与连续控制和基于图像的探索任务与Atari上的离散动作的竞争结果。源代码可在https://github.com/snu-mllab/EMI上获得。
2019-06-13 cs.AI cs.LG stat.ML
UpSkill: Mutual Information Skill Learning for Structured Response Diversity in LLMs
Princeton University(普林斯顿大学)
UpSkill通过互信息技能学习提升大语言模型在结构化响应多样性中的表现,提高pass@k准确性而不影响pass@1。
2026-02-25 cs.AI cs.LG
Heterogeneity-aware Personalized Federated Learning via Adaptive Dual-Agent Reinforcement Learning
East China Normal University(华东师范大学)
本文提出HAPFL方法,通过基于PPO的双RL智能体动态分配异构模型并调整训练强度,结合知识蒸馏互学习机制,有效解决了联邦学习中客户端异构性导致的精度损失和掉队者问题,显著提升了训练效率。
2025-01-28 cs.AI cs.LG
Generator and Critic: A Deep Reinforcement Learning Approach for Slate Re-ranking in E-commerce
Alibaba Group(阿里巴巴集团)
与逐点排序相比,石板重排序问题考虑了项目之间的相互影响,以提高电子商业中的用户满意度。以前的作品要么直接排名项目的端到端的模型,或排名项目的评分功能,权衡点的分数和项目之间的差异。然而,有两个主要的现有挑战没有得到很好的研究:(1)由于一个石板中的项目之间的复杂的相互影响,石板的评估是困难的;(2)即使给出最优评估,搜索最优石板也是具有挑战性的,因为动作空间是指数级的。在本文中,我们提出了一种新的生成器和评论家石板重新排名的方法,其中的评论家评估石板和生成器排名的项目通过强化学习的方法。我们提出了一个完整的石板批评(FSC)模型,认为真正的印象深刻的项目,并避免了现有模型的印象偏见。对于Generator,为了解决大动作空间的问题,我们提出了一种新的探索强化学习算法,称为PPO-Exploration。实验结果表明,FSC模型的性能明显优于现有的评价方法,PPO-Exploration算法的性能明显优于现有的强化学习方法。Generator和Critic方法在世界上最大的电子商业网站之一的现场实验中提高了石板效率(4%的gmv和5%的订单数)和多样性。
2020-05-25 cs.IR cs.LG stat.ML
Neuro-symbolic Action Masking for Deep Reinforcement Learning
Utrecht University(乌得勒支大学)
NSAM通过自动学习符号模型与深度策略优化结合,提升深度强化学习的样本效率并减少约束违规。
2026-02-11 cs.AI cs.LG
Non-zero-sum Game Control for Multi-vehicle Driving via Reinforcement Learning
Tsinghua University(清华大学)
车辆在道路上行驶时,其行为会受到周围车辆的影响。预测和决策不应该被认为是两个独立的阶段,因为所有的车辆都是交互式地做出决策的。本文将多车驾驶场景构建为一个非零和博弈,提出了一个集预测、决策和控制为一体的博弈控制框架。在此框架中考虑了车辆之间相互作用的相互影响,因为决策是由纳什均衡策略做出的。为了有效地获得该策略,ADP,一个基于基于模型的强化学习方法,被用来解决耦合Hamilton-Jacobi-Bellman方程。驾驶性能通过跟踪、效率、安全性和舒适性指标进行评估。实验表明,我们的算法可以通过直接控制加速度和转向角来实现完美的驾驶。车辆可以学习超车和超车等互动行为。综上所述,本文提出了一个多车驾驶非零和博弈模型,为解决多车驾驶的纳什均衡策略提供了一种有效的方法,并在无信号交叉口进行了验证。
2023-02-08 cs.AI cs.LG