An Optimal Control Formulation of Tool Affordance Applied to Impact Tasks
Harbin Institute of Technology（哈尔滨工业大学）；Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出一种结合iLQR与ADMM的最优控制方法，通过引入方向速度可操作性成本来考虑工具可供性，应用于钉钉子等冲击任务，并在模拟和真实7轴机器人上验证了最大化方向可操作性的重要性。
2024-02-09 cs.RO
Systematically Exploring the Landscape of Grasp Affordances via Behavioral Manifolds
Maastricht University（马斯特里赫特大学）；Faculty of Psychology and Neuroscience（心理与神经科学学院）
提出一种显式考虑抓取合成的抓取可供性学习方法，通过映射抓取策略空间提升结果透明度与可解释性。
2024-06-27 cs.RO
MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning
Dongguan Key Laboratory of Intelligent Equipment and Smart Industry, School of Advanced Engineering, Great Bay University（东莞智能装备与智能制造重点实验室，先进工程学院，大湾大学）；Chair of Applied Statistics, Technische Universität Dresden（应用统计学教授职位，德累斯顿技术大学）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据解析与人工智能中心（ScaDS.AI））；College of Automation, Guangdong University of Technology（自动化学院，广东技术大学）
本文提出MTA-RL框架，通过多模态Transformer-based 3D affordances和强化学习实现可靠的城市自动驾驶，提升样本效率和稳定性，优于现有基线方法。
2026-05-11 cs.AI cs.CV cs.RO
RT-Affordance: Affordances are Versatile Intermediate Representations for Robot Manipulation
Google DeepMind（谷歌DeepMind）；The University of Austin at Texas（德克萨斯大学奥斯汀分校）
RT-Affordance提出以可供性为中间表示，分层生成可供性计划并条件化策略，利用互联网数据和领域内图像，在多样新任务上性能提升超50%。
2024-11-05 cs.AI cs.CL cs.CV
Dexterous Functional Grasping
Carnegie Mellon University（卡内基梅隆大学）
本文提出模块化灵巧功能性抓取框架，通过物体区域匹配获取可供性，并结合少量人类数据的 eigengrasp 动作空间训练仿真 RL 策略，实现稳定真实的野外物体抓握。
2023-12-05 cs.AI cs.CV cs.LG
Learning Generalizable Dexterous Manipulation from Human Grasp Affordance
UC San Diego（加州大学圣地亚哥分校）
多指灵巧手操作是机器人领域最具挑战性的问题之一。虽然与强化学习相比，模仿学习的最新进展大大提高了样本效率，但由于专家演示有限，学习的策略很难推广到操纵新对象。在本文中，我们建议学习灵巧的操作，使用大规模的示范与不同的3D对象的类别，这是从人类掌握的启示模型。这将策略推广到同一类别内的新对象实例。为了训练的政策，我们提出了一个新的模仿学习目标与几何表示学习目标，使用我们的演示。通过在模拟中重新定位不同对象的实验，我们表明，我们的方法在操纵新对象时优于基线，具有很大的优势。我们还消融了3D对象表示学习的重要性，为操作。我们在项目网站https://kristery.github.io/ILAD/上提供了视频、代码和其他信息。
2022-06-29 cs.CV cs.LG cs.RO
Learning Human-Robot Handovers Through $π$-STAM: Policy Improvement With Spatio-Temporal Affordance Maps
Sapienza University of Rome（罗马大学）
人机交互的特点是高度的不确定性和不良的问题结构，使他们成为困难的任务。虽然机器学习方法已经显示出有希望的结果，但它们在具有大状态维度的问题（例如在人形机器人的情况下）中的应用仍然有限。另外，通过使用这些方法并且在与人类操作员交互期间，不能获得关于空间约束（例如，社会规则）。在本文中，我们提出了一种新的迭代算法来学习空间启示和生成机器人行为的时空启示图- $π$ -STAM-策略改进。我们的目标是通过使用启示来生成一个适应未知动作语义的策略。通过这种方式，在学习执行人-机器人交接任务时，我们可以（1）有效地生成良好的策略，只需很少的训练片段，（2）轻松编码动作语义，如果可用，则执行先验知识。我们在仿真和真实NAO机器人上实验验证了我们的方法，其任务包括从人类手中拿走物体。实验结果表明，该算法在降低计算量和学习时间的同时，获得了较好的策略。
2016-10-15 cs.RO
AffordDP: Generalizable Diffusion Policy with Transferable Affordance
ShanghaiTech University（上海科技大学）
针对扩散策略在机器人操作中跨域泛化能力弱的问题，提出融合可迁移可供性的AffordDP方法，通过3D接触信息建模可供性、结合视觉基础模型与点云配准实现迁移，并在扩散采样中加入引导，在仿真与真实场景中均优于现有方法，实现对未见物体实例和类别的泛化操作。
2025-03-20 cs.RO
Affordance-Based Hierarchical Reinforcement Learning for Quadruped Pedipulation
Embry-Riddle Aeronautical University（埃姆布里-瑞德航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）
提出三级层级强化学习框架，利用姿态和交互点可负担性引导导航与操控策略，在仿真和真实环境中实现自主物体操控。
2026-06-05 cs.RO
AnchorDP3: 3D Affordance Guided Sparse Diffusion Policy for Robotic Manipulation
Jingdong Technology Information Technology Co., Ltd（京东科技信息技术有限公司）；Tsinghua University（清华大学）；Fudan University（复旦大学）；Southeast University（东南大学）；University of Science and Technology of China（中国科学技术大学）
提出双臂机器人操作扩散策略框架AnchorDP3，通过语义分割、任务条件编码和可供性锚定关键位姿扩散三项创新，在RoboTwin基准测试中实现98.7%平均成功率，有望消除人类示范实现自主策略生成。
2025-06-25 cs.AI cs.RO
A Novel Task-Driven Diffusion-Based Policy with Affordance Learning for Generalizable Manipulation of Articulated Objects
Department of Automation at the University of Science and Technology of China（中国科学技术大学自动化系）；School of Automation, Chongqing University（重庆大学自动化学院）
本文提出 DART 框架，通过可供性学习与线性时序逻辑增强扩散策略，并结合基于交互数据的动作优化，显著提升铰接物体灵巧操作的学习效率、跨类别泛化能力与鲁棒性。
2025-09-18 cs.RO
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）；University of Michigan（密歇根大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注，但当有多个智能体在潜在竞争环境中玩耍时，理论上知之甚少。我们采取措施，提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化，但未知的过渡。我们考虑两类转移结构：因子独立转移和单控制器转移。对于这两种情况下，我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后，$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后，在事后观察整个政策序列。我们的算法结合了上置信界（UCB）型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时，他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Learning to Play Video Games with Intuitive Physics Priors
IIT Kanpur（印度理工学院坎普尔分校）
本文提出基于对象的输入表示和直觉物理先验，使智能体通过Q-learning算法学习多款电子游戏，展现出优越的泛化能力，尤其针对不熟悉对象，推动机器以人类为中心的方式学习。
2024-09-20 cs.AI cs.CV cs.LG
Learning from 10 Demos: Generalisable and Sample-Efficient Policy Learning with Oriented Affordance Frames
QUT Centre for Robotics, Queensland University of Technology（昆士兰科技大学机器人中心，昆士兰理工大学）；University of Adelaide（阿德莱德大学）
该研究提出定向可供性框架这一结构化表示，仅需10个演示即可高效学习机器人策略，结合自进度预测实现子策略无缝切换，达成长时序多物体任务的组合泛化，在小样本下仍对未知物体属性与布局有高成功率。
2025-08-31 cs.AI cs.RO
PolicyEvolve: Evolving Programmatic Policies by LLMs for multi-player games via Population-Based Training
School of Computer Science（计算机科学学院）；School of Information and Software Engineering（信息与软件工程学院）
PolicyEvolve利用LLMs通过基于种群的训练框架，为多玩家游戏自动生成可解释的程序化策略，减少人工代码依赖和环境交互，实现高性能对抗策略。
2025-09-07 cs.AI cs.LG
Contrastively Learning Visual Attention as Affordance Cues from Demonstrations for Robotic Grasping
School of CS & AI, Arizona State University（亚利桑那州立大学计算机科学与人工智能学院）
传统的作品，学习掌握示能表示从示范需要明确地预测把握配置，如抓手接近角度或把握预形。然后，经典的运动规划器可以通过使用这种预测的配置来采样轨迹。在这项工作中，我们的目标是通过将这两个目标整合到基于深度神经网络的端到端模仿学习框架中，来填补启示发现和基于启示的政策学习之间的差距。从心理学的角度来看，注意力和示能性之间有着密切的联系。因此，与端到端的神经网络，我们建议学习启示线索作为视觉注意，作为一个有用的指示信号，演示如何完成任务，而不是明确建模启示。为了实现这一点，我们提出了一个对比学习框架，包括一个暹罗编码器和一个轨迹解码器。我们进一步引入了一个耦合的三重损失，以鼓励发现的启示线索，以更实惠的相关性。我们的实验结果表明，我们的模型与耦合三重损失实现了最高的抓取成功率在模拟机器人环境。我们的项目网站可以访问www.example.com。
2021-08-14 cs.AI cs.LG cs.RO
Affordance-Driven Next-Best-View Planning for Robotic Grasping
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对杂乱场景中遮挡物体难以抓取的问题，本文提出ACE-NBV，通过新视角想象预测抓取可供性并选择下一最佳视角，仿真与真实机器人实验验证了其有效性。
2023-11-03 cs.RO
PLATO: Predicting Latent Affordances Through Object-Centric Play
以可扩展的方式构建多样化的操作技能库仍然是机器人技术中尚未解决的挑战。解决这一挑战的一种方法是非结构化的人类游戏，即人类在环境中自由运作以达到未指定的目标。Play是一种简单而廉价的方法，用于收集不同的用户演示，并在环境中覆盖广泛的状态和目标。由于这种多样化的覆盖范围，现有的从游戏中学习的方法对离线数据分布的在线政策偏差更加鲁棒。然而，这些方法通常难以在场景变化和具有挑战性的操作原语下学习，部分原因是将复杂行为与它们引起的场景变化不正确地关联起来。我们的观点是，以对象为中心的游戏数据视图可以帮助链接人类行为和由此产生的环境变化，从而提高多任务策略学习。在这项工作中，我们构建了一个潜在的空间来模拟对象的启示-定义其用途的对象的属性-在环境中，然后学习一个策略来实现所需的启示。通过建模和预测所需的启示在可变的地平线任务，我们的方法，预测潜在的启示通过以对象为中心的游戏（PLATO），优于现有的方法在复杂的操作任务，在2D和3D对象操作模拟和现实世界的环境中的各种类型的互动。视频可以在我们的网站上找到：https://tinyurl.com/4u23hwfv
2022-10-20 cs.RO
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan（东京大学）；RIKEN Center for Advanced Intelligence Project, Japan（日本RIKEN高级智能项目中心）
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法，在双人零和设置中从理论和经验角度分析其组合，提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果，并基于正则化策略优化推导出一种实用的模型无关强化学习算法，通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
End-to-End Affordance Learning for Robotic Manipulation
Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
在交互环境中学习操纵三维物体一直是强化学习（RL）中的一个具有挑战性的问题。特别是，很难训练一个策略，可以推广到具有不同语义类别，不同形状几何形状和通用功能的对象。近年来，视觉示能表示技术在为以对象为中心的信息先验提供有效的可操作语义方面显示出了巨大的前景。因此，一个有效的政策可以通过知道如何在把手上施加力量来训练打开一扇门。然而，为了学习启示，它通常需要人类定义的动作原语，这限制了适用任务的范围。在这项研究中，我们利用视觉启示，通过使用RL训练过程中产生的联系信息来预测感兴趣的联系地图。这样的接触预测过程然后导致可以概括不同类型的操纵任务的端到端示能表示学习框架。令人惊讶的是，即使在多阶段和多代理人的情况下，这种框架的有效性。我们测试了我们的方法对八种类型的操作任务。结果表明，我们的方法优于基线算法，包括基于视觉的启示方法和RL方法，在成功率上有很大的优势。演示可以在https://sites.google.com/view/rlafford/上找到。
2022-09-26 cs.AI cs.RO
Mastering Strategy Card Game (Legends of Code and Magic) via End-to-End Policy and Optimistic Smooth Fictitious Play
ByteDance（字节跳动）
深度强化学习结合Fictionary Play在许多基准测试游戏上显示出令人印象深刻的结果，然而，其中大多数都是单阶段的。相比之下，现实世界的决策问题可能由多个阶段组成，其中观察空间和行动空间在各个阶段之间可能完全不同。我们研究了一个两阶段的策略纸牌游戏Legends of Code and Magic，并提出了一个端到端的策略来解决多阶段游戏中出现的困难。我们还提出了一个乐观光滑虚拟博弈算法来寻找两人博弈的纳什均衡。我们的方法赢得了COG2022比赛的双重冠军。大量的研究验证并显示了我们方法的先进性。
2023-03-07 cs.AI cs.GT cs.LG
AffordTrajDP: Dynamic Affordance-Guided Visuomotor Policy Learning for Robotic Manipulation
Nanyang Technological University（南洋理工大学）
针对静态 affordance 导致的机器人操纵轨迹漂移问题，提出 AffordTrajDP 动态框架，以物体为中心传播锚点 affordance 生成轨迹，在 ManiSkill3 上成功率达70.0%，现实实验验证其鲁棒性与组件有效性。
2026-09-01 cs.RO
UAD: Unsupervised Affordance Distillation for Generalization in Robotic Manipulation
Stanford University（斯坦福大学）
针对机器人操作中现有视觉可用性预测依赖人工标注或预定义任务的问题，提出无监督可用性蒸馏方法UAD，利用基础模型自动生成标注数据训练模型，提升对野外场景、未知物体及指令的泛化能力。
2025-08-25 cs.AI cs.CV cs.RO
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.（赛博艾坚特公司）
政策外评估（OPE）是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下，大多数研究都集中在单人情况下，而不是多人情况下。在这项研究中，我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性，该可利用性通常用作确定策略配置文件（即，一组策略）是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后，我们提出的方法来找到最佳的候选人的政策配置文件，选择的政策配置文件，最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后，我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks
East China Normal University（东华大学）；Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
本文提出NaviMaster，通过统一框架整合GUI导航和具身导航，采用视觉目标轨迹收集管道、统一强化学习框架和距离感知奖励，提升泛化能力。
2026-05-02 cs.LG cs.RO
PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation
University of Pennsylvania（宾夕法尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）；Massachusetts Institute of Technology（麻省理工学院）
PALM通过具身理由推理和子任务进展线索，改进长horizon机器人操作的策略学习，实现91.8%的成功率和更长的任务长度。
2026-04-04 cs.RO
Affordance-based Robot Manipulation with Flow Matching
Honda Research Institute EU（本田欧洲研究院）
本文提出将参数高效提示微调用于可供性理解，并以流匹配学习机器人动作轨迹，在10个日常生活任务数据集上验证了该方法在性能、稳定性和推理速度上的优势。
2025-11-07 cs.AI cs.RO
EMAgnet: Parameter-Space EMA Regularization for Policy Gradient Self-Play in Large Games
Riot Games（拳头游戏）；University of California, Irvine（加州大学尔湾分校）；New York University（纽约大学）
提出EMAgnet，通过指数移动平均（EMA）对策略参数进行自适应正则化，替代均匀分布正则化，在两人零和博弈中降低可剥削性。
2026-06-24 cs.AI cs.GT cs.LG
Targeted Search Control in AlphaZero for Effective Policy Improvement
University of Alberta（阿尔伯塔大学）
AlphaZero是一个自我发挥的强化学习算法，通过策略迭代实现国际象棋，将棋和围棋的超人发挥。为了成为一个有效的策略改进算子，AlphaZero的搜索需要对其搜索树中出现的状态进行准确的值估计。AlphaZero从游戏的初始状态开始训练自玩比赛，并且只对前几步的动作进行采样，限制了它对游戏树更深处状态的探索。我们介绍了Go-Exploit，这是AlphaZero的一种新的搜索控制策略。Go-Exploit从感兴趣的状态档案中采样其自我游戏轨迹的开始状态。从不同的起始状态开始自我游戏轨迹使Go-Exploit能够更有效地探索游戏树，并学习更好地概括的价值函数。产生较短的自我发挥轨迹允许去开拓训练更独立的价值目标，提高价值训练。最后，Go-Exploit固有的探索性减少了探索性行动的需要，使其能够在更具剥削性的政策下进行训练。在Connect Four和9 x9 Go的比赛中，我们表明Go-Exploit比标准AlphaZero具有更高的样本效率，从而在对抗参考对手和正面比赛中表现更好。我们还比较了Go-Exploit和KataGo，这是AlphaZero的一个更有效的重新实现，并证明了Go-Exploit具有更有效的搜索控制策略。此外，当KataGo的其他创新被纳入时，Go-Exploit的样本效率得到了提高。
2023-02-28 cs.AI cs.LG
Learning Policies from Self-Play with Policy Gradients and MCTS Value Estimates
Maastricht University（马斯特里赫特大学）
近年来，最先进的博弈代理通常涉及在自我博弈过程中训练的策略，其中蒙特卡罗树搜索（MCTS）算法和训练的策略迭代地相互改进。最强的结果已经获得时，政策的训练，以模仿MCTS的搜索行为，最大限度地减少交叉熵损失。由于多边贸易体制在设计上包含了探索的成分，以这种方式训练的政策也可能表现出类似的探索程度。在本文中，我们感兴趣的是学习政策的项目与未来的目标，包括提取可解释的策略，而不是国家的最先进的游戏性能。对于这些目标，我们认为，这种程度的探索是不可取的，我们提出了一个新的目标函数的培训政策，不是探索性的。我们推导出一个策略梯度表达式最大化这个目标函数，这可以估计使用MCTS值估计，而不是MCTS访问计数。我们经验性地评估各种属性的政策，在各种棋盘游戏。
2019-05-14 cs.AI cs.LG stat.ML
Learning to Play Pong using Policy Gradient Learning
Universiti Teknologi Brunei（文莱理工大学）
强化学习（RL）中的活动围绕着学习马尔可夫决策过程（MDP）模型，特别是以下参数：状态值V;状态-动作值Q;以及策略pi。这些参数通常以数组的形式实现。放大问题意味着放大阵列的大小，这将很快导致计算瓶颈。为了解决这个问题，RL问题通常被制定为使用手工制作的输入功能来限制数组的大小来学习特定任务。在本报告中，我们讨论了另一种端到端深度强化学习（DRL）方法，其中DRL试图学习一般任务表示，在我们的上下文中，这是指学习从一系列屏幕快照中玩Pong游戏，而没有游戏特定的手工制作功能。我们应用人工神经网络（ANN）近似的RL模型的政策。策略网络通过策略梯度（PG）方法从一系列帧学习玩Pong游戏，除了像素信息和分数之外没有任何额外的语义。与传统的表格RL方法相比，数组中的内容具有明确的解释，如V或Q，从策略网络的权重对知识内容的解释更具迷惑性。在这项工作中，我们实验了各种深度ANN架构，即，前馈ANN（FFNN）、卷积ANN（CNN）和异步优势演员-评论家（A3 C）。我们还研究了隐藏节点的激活和输入和隐藏层之间的权重，之前和之后的DRL已经成功地学会了玩乒乓球游戏。深入了解内部学习机制和未来的研究方向进行了讨论。
2018-07-23 cs.AI cs.LG stat.ML
PlayPolicy: Dexterity from Supervised Play
Amazon Frontier AI & Robotics (FAR)（亚马逊前沿人工智能与机器人部门（FAR））；University of Maryland, College Park（马里兰大学帕克分校）
该研究提出DSP框架，通过人类监督玩耍学习策略，自主收集数据训练世界模型，结合MPC与自玩蒸馏策略，在真实世界欠驱动推压等任务中，性能优于事后行为克隆且数据量远少于强化学习。
2026-10-27 cs.AI cs.RO
Efficient Competitive Self-Play Policy Optimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自我游戏的强化学习最近取得了许多成功。自我发挥，其中代理与自己竞争，通常用于生成训练数据，用于迭代策略改进。在以前的工作中，启发式规则的目的是为当前的学习者选择一个对手。典型的规则包括选择最新代理、最佳代理或随机历史代理。然而，这些规则在实践中可能是低效的，有时甚至在最简单的矩阵游戏中也不能保证收敛。在本文中，我们提出了一个新的算法框架竞争自我发挥强化学习在两个球员零和游戏。我们认识到这样一个事实，即纳什均衡与随机支付函数的鞍点重合，这促使我们借用经典鞍点优化文献的思想。我们的方法同时训练多个代理，并智能地将对方视为对手，基于来自基于扰动的鞍优化方法的简单对抗规则。我们从理论上证明了我们的算法收敛到一个近似的平衡点，在凹凸游戏的标准假设下的高概率。除了理论，我们进一步展示了我们的方法的经验优势，依赖于矩阵游戏，网格世界足球，五子棋，模拟机器人相扑，神经网络政策函数逼近上述服从选择算法的基线方法。
2020-09-13 cs.AI cs.GT cs.LG
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
Policy Gradient Methods Find the Nash Equilibrium in N-player General-sum Linear-quadratic Games
University of Oxford（牛津大学）
考虑有限时间内具有随机动态的一般和N-局中人线性二次对策，证明了自然策略梯度法对Nash均衡的整体收敛.为了证明该方法的收敛性，我们要求系统中存在一定量的噪声。我们给出了一个条件，基本上是一个下界的噪声的模型参数的协方差，以保证收敛。我们用数值实验来说明我们的结果，表明即使在政策梯度法可能不会收敛于确定性设置的情况下，噪声的加入导致收敛。
2022-08-15 cs.GT cs.LG math.OC
Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search
University of Alberta（阿尔伯塔大学）
蒙特卡罗树搜索（MCTS）和深度强化学习的结合是两人完全信息博弈中的最新技术。在本文中，我们描述了一种搜索算法，使用MCTS的一个变体，我们增强了1）一种新的动作值规范化机制的游戏与潜在的无限奖励（这是在许多优化问题的情况下），2）定义一个虚拟的损失函数，使有效的搜索并行化，和3）的政策网络，训练的几代人的自我发挥，以指导搜索。我们衡量我们的方法在“SameGame”-一个流行的单人游戏测试域的有效性。我们的实验结果表明，我们的方法优于基线算法在几个电路板尺寸。此外，它与最先进的搜索算法在公共位置集上具有竞争力。
2020-05-22 cs.AI cs.LG
Low-complexity modular policies: learning to play Pac-Man and a new framework beyond MDPs
在本文中，我们提出了一种学习玩吃豆人的方法。我们定义了一组高级观察和动作模块。动作在时间上被延长，并且多个动作模块可以同时生效。代理的决策被表示为基于规则的策略。对于学习，我们应用交叉熵方法，最近的全局优化算法。学习的策略比手工制定的策略得分更高，接近人类玩家的平均得分。我们认为，学习是成功的，主要是因为（i）政策空间包括个人行动的组合，因此它是足够丰富的，（ii）搜索是偏向于低复杂度的政策和低复杂度的解决方案，可以很快找到，如果它们存在。基于这些原则，我们制定了一个新的理论框架，可以在附录中找到作为支持材料。
2006-10-30 cs.AI cs.LG
Provable Fictitious Play for General Mean-Field Games
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Cornell University（康奈尔大学）
我们提出了一个平稳平均场博弈的强化学习算法，目标是学习一对平均场状态和平稳策略，构成纳什均衡。将平均场状态和策略看作两个局中人，提出了一种虚拟博弈算法，分别通过梯度下降和近端策略优化交替更新平均场状态和策略.我们的算法与以前的文献形成鲜明对比，以前的文献解决了由迭代平均场状态引起的每个单智能体强化学习问题。此外，我们证明了我们的虚拟播放算法收敛到纳什均衡在一个次线性的速度。据我们所知，这似乎是第一个可证明收敛的单循环强化学习算法的平均场游戏的基础上迭代更新的平均场状态和政策。
2020-10-08 cs.GT cs.LG
Mastering the Game of Go with Self-play Experience Replay
NetEase AI Lab（网易人工智能实验室）
QZero通过自我对战和非策略经验回放，首次展示了无模型强化学习在掌握围棋中的高效性与可行性。
2026-01-06 cs.AI cs.LG
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania（宾夕法尼亚大学）
本文提出一个自我对弈强化学习框架，在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法，发现PPO优于其他方法，并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
Learning to Play No-Press Diplomacy with Best Response Policy Iteration
DeepMind
深度强化学习（RL）的最新进展已经在许多2人零和游戏中取得了相当大的进展，例如围棋，扑克和星际争霸。这种游戏的纯粹对抗性质允许RL方法在概念上简单且有原则的应用。然而，现实世界的设置是多代理，代理交互是共同利益和竞争方面的复杂混合物。我们认为外交，一个7人的棋盘游戏，旨在强调困境造成的许多代理的相互作用。它还具有较大的组合动作空间和同时移动，这对RL算法来说是一个挑战。我们提出了一个简单而有效的近似最佳反应算子，旨在处理大型组合动作空间和同时移动。我们还介绍了一个家庭的政策迭代方法，近似虚构的发挥。通过这些方法，我们成功地将强化学习应用于外交：我们证明了我们的代理令人信服地优于以前的最先进技术，博弈论均衡分析表明，新的过程产生了一致的改进。
2022-01-04 cs.AI cs.GT cs.LG
Learning Visual Affordances with Target-Orientated Deep Q-Network to Grasp Objects by Harnessing Environmental Fixtures
University of Minnesota（明尼苏达大学）
本文介绍了一个具有挑战性的物体抓取任务，并提出了一种自监督学习方法。该任务的目标是抓住一个物体，这是不可行的与一个单一的平行夹持器，但只有利用环境夹具（例如，墙壁、家具、重物）。这个滑动到墙壁抓取任务假设没有先验知识，除了目标对象的部分观察。因此，机器人应该学习一个有效的策略，给出一个场景观察，可能包括目标对象，环境固定装置，和任何其他干扰对象。我们将问题表述为视觉示能表示学习，针对该视觉示能表示学习，提出了面向目标的深度Q网络（TO-DQN）来有效地学习视觉示能表示图（即，Q-maps）来引导机器人动作。由于训练需要机器人的探索和碰撞的夹具，TO-DQN首先训练安全与模拟机器人操作器，然后应用到一个真正的机器人。我们的经验表明，TO-DQN可以在模拟中学习解决不同环境设置中的任务，并且在训练效率和鲁棒性方面优于Deep Q-Network（DQN）的标准和变体。仿真和真实机器人实验的测试性能表明，TO-DQN训练的策略达到了与人类相当的性能。
2021-04-03 cs.CV cs.RO
Phase-Conditioned Affordance Fields for SE(3)-Equivariant Visuomotor Policies
该研究针对现有SE(3)等变视觉运动策略的全局假设缺陷，提出相位条件化affordance场，提升了多任务下的策略成功率与鲁棒性。
2026-10-14 cs.AI cs.RO
PANDORA: Diffusion Policy Learning for Dexterous Robotic Piano Playing
Texas A&M University（德克萨斯农工大学）
本研究提出专为灵巧机器人钢琴演奏设计的扩散策略学习框架PANDORA，结合FiLM增强的条件U-Net、含LLM语义反馈的复合奖励与残差逆运动学优化，在ROBOPIANIST环境中实现精度与表现力均优于基线的SOTA性能。
2025-03-17 cs.LG cs.RO cs.SD
Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
最近对深度强化学习（RL）漏洞的研究表明，对手代理采用的对抗策略可以影响目标RL代理（受害者代理）在多代理环境中表现不佳。在现有的研究中，对抗性政策是直接训练的基础上与受害者代理的互动经验。这种方法有一个关键的缺点：从历史互动中获得的知识可能无法正确地推广到受害者代理的未探索的政策区域，这使得经过训练的对抗性政策的有效性大大降低。在这项工作中，我们设计了一个新的有效的对抗策略学习算法，克服了这一缺点。我们的新算法的核心思想是创建一个新的模仿者来模仿受害者代理的策略，而对抗策略不仅基于与受害者代理的交互，而且还基于模仿者的反馈来预测受害者的意图。通过这样做，我们可以利用模仿学习的能力，仅基于受害者的样本轨迹就可以很好地捕捉受害者策略的潜在特征。我们的受害者模仿学习模型不同于以前的模型，因为环境的动态由对手的策略驱动，并且在对抗策略训练过程中会不断变化。当对手的策略稳定时，我们给出了一个可证明的界来保证一个理想的模仿策略。我们通过让模仿者成为受害者的更强版本，进一步加强了我们的对抗性策略学习。最后，我们使用四个竞争激烈的MuJoCo游戏环境的广泛实验表明，我们提出的对抗性策略学习算法优于最先进的算法。
2022-10-30 cs.LG
SAGA: Open-World Mobile Manipulation via Structured Affordance Grounding
RAI Institute（RAI研究院）
SAGA通过结构化可及性接地实现开放世界移动操作，能有效处理多种任务形式并实现零样本执行。
2025-12-14 cs.AI cs.LG cs.RO
Affordance Learning for End-to-End Visuomotor Robot Control
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
训练端到端的深度机器人策略需要大量特定于域、任务和硬件的数据，而这些数据的提供成本通常很高。在这项工作中，我们建议通过采用具有模块化架构的深度神经网络来解决这个问题，该架构由独立的感知，策略和轨迹部分组成。系统的每一部分都是在合成数据上或在模拟中完全训练的。数据在系统的各部分之间交换，作为示能表示和轨迹的低维潜在表示。然后在一个zero-shot传输场景中使用弗兰卡熊猫机器人arm.Results的性能进行评估表明，从RGB图像中提取的场景启示的低维表示是足够的成功训练机械手的政策。我们还介绍了一种方法的启示数据集生成，这是很容易推广到新的任务，对象和环境，不需要手动像素标记。
2019-03-10 cs.LG cs.RO
Multiple Policy Value Monte Carlo Tree Search
National Chiao Tung University（国立交通大学）；Pervasive Artificial Intelligence Research (PAIR) Labs（普适人工智能研究（PAIR）实验室）
许多最强大的游戏程序使用蒙特卡罗树搜索（MCTS）和深度神经网络（DNN）的组合，其中DNN用作策略或值评估器。给定有限的预算，例如在线游戏或在AlphaZero（AZ）训练的自我游戏阶段，需要在准确的状态估计和更多的MCTS模拟之间达到平衡，这两者对于强大的游戏代理都是至关重要的。通常，较大的DNN在泛化和准确评估方面更好，而较小的DNN成本更低，因此可以在相同的预算下产生更多的MCTS模拟和更大的搜索树。本文提出了一种新的策略值MCTS（MPV-MCTS）方法，它将不同规模的多策略值神经网络（PV-NN）结合起来，以保留每个网络的优点，其中使用了两个PV-NN f_S和f_L。我们通过对NoGo博弈的实验表明，组合的f_S和f_L MPV-MCTS优于具有策略值MCTS的单个PV-NN，称为PV-MCTS。此外，MPV-MCTS在AZ训练方面也优于PV-MCTS。
2019-05-31 cs.AI
Improving Fictitious Play Reinforcement Learning with Expanding Models
Nanjing University（南京大学）；Polixir（玻色量子（注：Polixir常见译名为玻色量子，若为其他译法可调整，此处按常见科技公司译名处理））
具有强化学习的虚拟游戏是零和游戏的通用和有效的框架。然而，使用当前的深度神经网络模型，虚拟游戏的实现面临着至关重要的挑战。神经网络模型训练采用梯度下降的方法来更新所有的连接权值，因此在训练后很容易忘记旧的对手来击败新的对手。现有的方法通常维护一个历史政策模型池，以避免遗忘。然而，学习在随机游戏中击败游泳池，即，在策略模型上的广泛分布或者消耗样本，或者不足以利用具有有限样本量的所有模型。在本文中，我们提出了一个学习过程与神经虚拟发挥，以减轻上述问题。我们训练单个模型作为我们的策略模型，该模型由子模型和选择器组成。每次面对一个新的对手，模型通过添加一个新的子模型来扩展，其中仅更新新的子模型而不是整个模型。同时，选择器也被更新，以在状态级将新的子模型与先前的子模型混合，使得模型被维护为行为策略，而不是广泛分布在策略模型上。在网格世界寻宝游戏Kuhn poker和Mini-RTS环境下的实验表明，该方法有效地解决了遗忘问题，提高了神经网络虚拟博弈的学习效率和鲁棒性.
2019-11-28 cs.AI cs.LG stat.ML
Model-free Reinforcement Learning for Stochastic Stackelberg Security Games
本文考虑了两个局中人的序列随机Stackelberg对策，其中一个局中人是领导者，另一个局中人是跟随者。跟随者可以访问系统的状态，而领导者则不能。假设参与者按照各自的最佳利益行事，追随者的策略是对领导者的策略做出最佳反应。在这种情况下，领导者的优势是承诺一个政策，使自己的回报最大化的知识，追随者将发挥其政策的最佳反应。因此，两个参与者都收敛到一对策略，形成了博弈的斯塔克伯格均衡。最近，[1]提出了一种序列分解算法来计算这类博弈的Stackelberg均衡，它允许在线性时间内计算马尔可夫均衡策略，而不是像以前那样，在双指数时间内计算。在本文中，我们的想法扩展到一个MDP的动态是不知道的球员，提出了一个RL算法的基础上预期Sarsa学习Stackelberg均衡策略，通过模拟模型的MDP。我们使用粒子滤波器来估计一个共同的代理计算的最优策略的基础上，这是共同的两个球员的信念更新。我们提出了一个安全游戏的例子来说明我们的算法学习的政策。通过模拟MDP的模型。我们使用粒子滤波器来估计一个共同的代理计算的最优策略的基础上，这是共同的两个球员的信念更新。我们提出了一个安全游戏的例子来说明我们的算法学习的政策。
2020-05-24 cs.LG cs.MA math.OC
Distributed Learning in Multi-Armed Bandit with Multiple Players
University of California, Davis（加州大学戴维斯分校）
我们制定和研究一个分散的多臂强盗（MAB）问题。有M个分布式参与者竞争N个独立的武器。每一只手臂，在演奏时，都提供了身份证。根据具有未知参数的分布进行奖励。在每一次，每个玩家选择一只手臂玩，不与其他玩家交换观察或任何信息。选择相同手臂的玩家发生碰撞，根据碰撞模型，要么没有人获得奖励，要么碰撞的玩家以任意方式分享奖励。我们发现，分散的MAB的最小系统遗憾随着时间的增长，在相同的对数顺序在集中式的对手，球员集体作为一个单一的实体，通过交换意见和共同决策。一个分散的政策，以实现这一最优秩序，同时确保公平的参与者之间，而不假设任何预先协议或参与者之间的信息交换。基于M个最优武器的时分公平共享（TDFS），构造了该策略，并在一般报酬模型下证明了其序最优性。此外，TDFS策略的基本结构可以与任何订单最优的单人策略一起使用，以实现分散设置中的订单最优性。我们还建立了一个下界的系统遗憾的增长率的一般类的分散政策，建议的政策属于。该问题在认知无线电网络、多信道通信系统、多智能体系统、网络搜索和广告以及社交网络中有潜在的应用。
2010-06-07 cs.LG math.OC math.PR
Visual Affordance Prediction for Guiding Robot Exploration
Carnegie Mellon University（卡内基梅隆大学）
本文提出用Transformer在VQ-VAE潜在空间中学习视觉可供性分布，以预测场景中可实现的未来状态，并将其作为目标采样分布引导机器人操作中的视觉目标条件策略探索，展现出对训练分布外物体的组合泛化能力。
2023-05-28 cs.AI cs.RO
CoA-VLA: Improving Vision-Language-Action Models via Visual-Textual Chain-of-Affordance
Shanghai University（上海大学）；Midea Group（美的集团）；East China Normal University（华东师范大学）
针对机器人VLA模型在复杂多任务环境下的性能提升问题，提出融合视觉-文本可供性链推理的CoA-VLA方法，通过四类可供性与共注入模块优化策略，在多任务上超越OpenVLA等SOTA模型且泛化性更强。
2025-07-31 cs.RO
Policy Invariance under Reward Transformations for General-Sum Stochastic Games
Carleton University（卡尔顿大学）；Royal Military College of Canada（加拿大皇家军事学院）
我们扩展了潜在的成形方法从马尔可夫决策过程的多人一般和随机游戏。我们证明了纳什均衡在一个随机游戏保持不变后，潜在的塑造应用于环境。策略不变性的性质提供了一种可能的方法来加快收敛时，学习玩随机游戏。
2014-01-16 cs.GT cs.LG
