Towards optimized actions in critical situations of soccer games with deep reinforcement learning
SAS Institute(SAS 研究所)
足球是一项奖励很少的运动:在关键情况下任何聪明或粗心的行为都可能改变比赛的结果。因此,球员、教练和球探都对在关键情况下的最佳行动感到好奇,比如在很有可能失去控球权或进球的时候。这项工作提出了一种新的状态表示的足球比赛和一批强化学习训练智能策略网络。该网络获得情境的上下文信息,并提出最佳行动,以最大限度地提高团队的预期目标。我们进行了广泛的数值实验的足球日志由InStat为104欧洲足球比赛。结果表明,在所有104个博弈中,优化后的策略获得了比行为策略中的对应策略更高的回报。此外,我们的框架学习接近现实世界中预期行为的策略。例如,在优化策略中,我们观察到,在特定情况下,一些动作(如犯规或出界)有时比射门更有价值。
2021-09-14 cs.LG
Evaluating Soccer Player: from Live Camera to Deep Reinforcement Learning
MINES Paristech, PSL - Research University(巴黎国立高等矿业学院,巴黎文理研究大学);SportsDynamics(运动动力学公司);ENS Paris-Saclay(巴黎萨克雷高等师范学院)
科学地评价足球运动员是一个具有挑战性的机器学习问题。不幸的是,大多数现有的答案都有非常不透明的算法训练过程;相关数据几乎不可访问,几乎不可能生成。在本文中,我们将介绍一个由两部分组成的解决方案:一个开源的玩家跟踪模型和一种新的方法,该方法仅基于深度强化学习来评估这些玩家,而无需人工数据训练或指导。我们的跟踪模型是在我们即将发布的数据集上以监督方式进行训练的,我们的评估模型仅依赖于虚拟足球比赛的模拟。结合这两种架构,可以直接从现场摄像机评估足球运动员,而无需大数据集的限制。我们将我们的新方法称为预期折扣目标(EDG),因为它代表了球队在特定状态下可以得分或失球的数量。这种方法比现有的基于真实世界数据的方法更有意义,并且可以很容易地扩展到其他运动。
2021-01-13 cs.GT cs.LG
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University(加兹温伊斯兰阿扎德大学);University of Leeds(利兹大学)
在本文中,我们提出了一种主动视觉方法,使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点,以获得最有用的地标自我定位,同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题,先前已经提出了几种基于概率熵的方法,这些方法高度依赖于自定位模型的准确性。然而,在这项研究中,我们将这个问题描述为一个情景强化学习问题,并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率,在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明,所提出的方法优于基于熵的方法在RoboCup的上下文中,在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning
Nagoya University(名古屋大学);RIKEN(理化学研究所);Japan Science and Technology Agency(日本科学技术振兴机构)
本文提出基于多智能体深度强化学习的统一框架,在连续状态空间中评估足球有球与无球球员的行动价值,并通过与传统指标和专家评分的对比验证了其有效性。
2023-12-01 cs.AI cs.LG
Reinforcement Learning Within the Classical Robotics Stack: A Case Study in Robot Soccer
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
本文提出一种将无模型强化学习集成到经典机器人技术栈的新架构,结合多保真度sim2real方法与启发式子行为选择,在RoboCup SPL中夺冠,验证了RL行为集成到完整机器人架构的可行性。
2025-03-07 cs.AI cs.LG cs.RO
SoccerDiffusion: Toward Learning End-to-End Humanoid Robot Soccer from Gameplay Recordings
University of Hamburg(汉堡大学)
SoccerDiffusion提出基于Transformer扩散模型从RoboCup真实比赛录像中学习人形机器人足球端到端控制,并通过蒸馏实现单步实时推理,可复现行走、踢球和摔倒恢复等行为。
2025-07-03 cs.AI cs.LG cs.RO
Comparison of Multi-agent and Single-agent Inverse Learning on a Simulated Soccer Example
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
我们比较了逆强化学习(IRL)和相对较新的多智能体逆强化学习(MIRL)模型的性能。在比较方法之前,我们扩展了一个已发布的贝叶斯IRL方法,该方法仅适用于奖励仅依赖于状态的情况,而一般的方法能够处理奖励依赖于状态和动作的情况。IRL和MIRL之间的比较是在一个抽象的足球比赛的背景下,使用两个游戏模型,其中的奖励只取决于状态和一个,它取决于状态和行动。结果表明,IRL方法的性能比MIRL方法差得多。我们推测,IRL的表现不佳,是因为它未能捕捉均衡信息的方式可能在MIRL。
2014-03-26 cs.GT cs.LG
Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning
Google DeepMind(谷歌DeepMind);University of Oxford(牛津大学);Google(谷歌公司);Isomorphic Labs(同构实验室);University College London(伦敦大学学院)
本研究利用深度强化学习训练20关节双足人形机器人掌握1v1足球的多种敏捷运动与战术技能,通过仿真训练零样本迁移至真实机器人,性能显著优于脚本基线。
2024-04-11 cs.AI cs.LG cs.RO
RL-X: A Deep Reinforcement Learning Library (not only) for RoboCup
Hochschule Offenburg(奥芬堡应用技术大学)
本文提出了深度强化学习库RL-X,其提供灵活易扩展的代码库与独立单目录算法,基于JAX实现,在RoboCup 3D联赛及经典基准中相比Stable-Baselines3最高达4.5倍加速。
2023-10-20 cs.LG cs.RO
Learning to Play Soccer From Scratch: Sample-Efficient Emergent Coordination through Curriculum-Learning and Competition
Universidad de Chile(智利大学);Advanced Mining Technology Center (AMTC)(高级采矿技术中心)
这项工作提出了一个计划,允许学习复杂的多智能体行为的样本有效的方式,适用于2v2足球。该问题被公式化为马尔可夫博弈,并使用深度强化学习来解决。我们提出了一个基本的多智能体扩展TD3学习每个球员的政策,在一个分散的方式。为了方便学习,2v2足球的任务分为三个阶段:1v0,1v1和2v2。多智能体阶段(1v1和2v2)的学习过程使用在前一阶段训练的智能体作为固定对手。此外,我们建议使用经验共享,这是一种共享在前一阶段训练的固定对手的经验的方法,用于训练当前学习的代理,以及一种跳帧形式,以显着提高性能。我们的研究结果表明,高质量的足球比赛,可以获得我们的方法在不到40M的互动。在https://youtu.be/f25l1j1U9RM中可以找到游戏结果的视频摘要。
2021-03-09 cs.LG cs.MA
Data-Efficient Hierarchical Goal-Conditioned Reinforcement Learning via Normalizing Flows
ArenaX Labs(ArenaX实验室)
本文提出基于归一化流的分层隐式Q学习框架,通过提升策略表达能力与数据效率,实现更稳健的长周期任务学习。
2026-02-11 cs.AI cs.LG cs.RO
Guided Data Augmentation for Offline Reinforcement Learning and Imitation Learning
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出引导式数据增强框架GuDA,通过人类对轨迹进展的简单判断自动筛选专家质量增强数据,在少量次优数据下提升离线强化学习与模仿学习性能,并优于随机和基于模型的数据增强策略。
2024-08-08 cs.LG cs.RO
OpenSTARLab: Open Approach for Spatio-Temporal Agent Data Analysis in Soccer
Nagoya University(名古屋大学);The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文提出开源框架OpenSTARLab,通过统一数据预处理、深度学习事件建模和强化学习组件,解决足球事件与追踪数据稀缺及整合难题,并验证其在预测准确率和模拟性能上的有效性。
2025-02-06 cs.LG
Multi-Pass Q-Networks for Deep Reinforcement Learning with Parameterised Action Spaces
University of the Witwatersrand(金山大学);Brown University(布朗大学)
强化学习中的参数化动作由具有连续动作参数的离散动作组成。这为解决需要将高级操作与灵活控制相结合的复杂领域提供了一个框架。最近的P-DQN算法扩展了深度Q网络,以在这样的动作空间上学习。然而,它将所有动作参数视为Q网络的单个联合输入,从而使其理论基础无效。我们分析了这种方法的问题,并提出了一种新的方法,多通道深度Q网络,或MP-DQN,来解决这些问题。我们的经验表明,MP-DQN显着优于P-DQN和其他以前的算法在数据效率和收敛的政策性能的平台,机器人足球目标,半场进攻域。
2019-05-10 cs.LG stat.ML
Learning Humanoid Robot Running Skills through Proximal Policy Optimization
Aeronautics Institute of Technology(航空技术学院)
在当前的足球3D发展水平中,运动控制是球队表现的关键因素。最近的工作利用基于机器学习的无模型方法来利用机器人动力学,以获得更快的运动技能,实现运行策略,因此,在足球3D环境中开辟了一个新的研究方向。在这项工作中,我们提出了一种基于深度强化学习的方法,该方法使用神经网络学习跑步技能,而无需任何先验知识,其输入与机器人的动力学相关。我们的研究结果优于以前的国家的最先进的短跑速度在足球3D文献报道的显着保证金。它还展示了样本效率的改进,能够在短短几个小时内学习如何运行。我们报告了我们的结果,分析了训练过程,并在速度,可靠性和人类相似性方面评估了策略。最后,我们提出了导致我们改进以前结果的关键因素,并分享了未来工作的一些想法。
2019-10-22 cs.AI cs.LG cs.RO
Reinforcement Learning from Hierarchical Critics
University of Tasmania(塔斯马尼亚大学);University of Technology Sydney(悉尼科技大学)
在这项研究中,我们研究了使用全局信息来加快学习过程,并增加强化学习(RL)在竞争任务中的累积奖励。在行动者-批评者强化学习中,我们从两个层次上引入多个合作批评者,并提出了一种从层次批评者中进行强化学习(RLHC)算法。在我们的方法中,每个代理接收本地和全球的批评家关于竞争任务的价值信息,并访问多个合作的批评家在一个自上而下的层次结构。因此,每个代理不仅接收低级别的细节,而且还考虑从更高级别的协调,从而获得全局信息,以提高训练性能。然后,我们测试所提出的RLHC算法对基准算法,近端策略优化(PPO),在一个统一的环境中进行的网球和足球代理的比赛的两个实验方案。结果表明,RLHC在这两个竞争任务上都优于基准。
2020-03-01 cs.LG cs.MA stat.ML
Parametrized Deep Q-Networks Learning: Reinforcement Learning with Discrete-Continuous Hybrid Action Space
Tencent AI Lab(腾讯人工智能实验室);Princeton University(普林斯顿大学);Northwestern University(西北大学)
大多数现有的深度强化学习(DRL)框架只考虑离散动作空间或连续动作空间。受计算机游戏中应用的启发,我们考虑了离散-连续混合动作空间的场景。为了处理混合动作空间,以前的工作要么近似的混合空间离散化,或放松到一个连续的集合。在本文中,我们提出了一个参数化的深度Q网络(P-DQN)框架的混合行动空间没有近似或松弛。该算法结合了DQN(处理离散动作空间)和DDPG(处理连续动作空间)的思想,将它们无缝融合。仿真算例、RoboCup足球比赛进球和王者荣耀单人模式下的实验结果验证了该方法的有效性。
2018-10-10 cs.AI cs.LG stat.ML
Opponent Modeling in Deep Reinforcement Learning
University of Maryland(马里兰大学);University of Colorado(科罗拉多大学);Massachusetts Institute of Technology(麻省理工学院)
对手建模是必要的,在多代理设置中,具有竞争目标的次要代理也会调整他们的策略,但它仍然具有挑战性,因为策略相互作用并发生变化。大多数以前的工作集中在开发概率模型或参数化策略的特定应用程序。受深度强化学习最近成功的启发,我们提出了基于神经的模型,可以共同学习策略和对手的行为。我们没有明确预测对手的行动,而是将对手的观察编码到深度Q网络(DQN)中;然而,我们保留了使用多任务的显式建模(如果需要)。通过使用混合专家架构,我们的模型自动发现对手的不同策略模式,而无需额外的监督。我们评估我们的模型在模拟足球比赛和流行的琐事游戏,表现出优越的性能比DQN及其变种。
2016-09-18 cs.LG
Deep Multi-Agent Reinforcement Learning with Discrete-Continuous Hybrid Action Spaces
Tianjin University(天津大学);Fuxi AI Lab in Netease(网易伏羲人工智能实验室)
深度强化学习(Deep Reinforcement Learning,DRL)已被应用于解决具有离散动作空间或连续动作空间的各种协作多智能体问题。然而,据我们所知,没有以前的工作已经成功地应用DRL多智能体问题的离散连续混合(或参数化)的行动空间,这是非常常见的实践。我们的工作填补了这一空白,提出了两个新的算法:深度多智能体参数化Q网络(深度MAPQN)和深度多智能体层次混合Q网络(深度MAHHQN)。我们遵循集中式训练但分散式执行的范式:不同代理之间的不同级别的通信用于促进训练过程,而每个代理在执行过程中根据本地观察独立执行其策略。我们对几个具有挑战性的任务(模拟RoboCup足球和游戏Ghost Story)的实证结果表明,Deep MAPQN和Deep MAHHQN都是有效的,并且显著优于现有的独立深度参数化Q学习方法。
2019-03-12 cs.AI cs.LG cs.MA
Deep Reinforcement Learning in Parameterized Action Space
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文首次将深度强化学习成功扩展到参数化动作空间MDP,通过在模拟RoboCup足球中学习离散动作类型与连续参数的联合策略,使智能体进球可靠性超过2012年RoboCup冠军。
2024-05-03 cs.AI cs.LG cs.MA
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习(MIRL)。与著名的逆强化学习(IRL)问题相比,MIRL是在随机博弈的背景下形式化的,它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题,并提出了一个贝叶斯解决方案的方法,其中生成模型是基于一个假设,即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下,一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明,协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab(腾讯人工智能实验室);Tsinghua University(清华大学)
介绍了一个用于多智能体强化学习(MARL)研究的工具包Arena。在MARL中,它通常需要为每个代理定制观察,奖励和动作,改变合作-竞争代理交互,以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计,称为Interface,用于以两种方式操纵此类例程:1)不同的接口可以连接和组合,这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间,接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口,包括星际争霸II,Pommerman,ViZDoom,Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外,Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
HARL-A: An Extensible Benchmark Framework for Heterogeneous Multi-Agent Adversarial Reinforcement Learning in IsaacLab
Utah State University(犹他州立大学);US DEVCOM Army Research Laboratory(美国陆军研究实验室)
针对现有MARL研究多聚焦协作、对抗场景研究不足的问题,研究扩展IsaacLab框架,集成竞争性HAPPO算法,构建含异构非对称智能体的对抗环境,实现高保真仿真下的高效鲁棒对抗策略训练。
2026-10-07 cs.LG cs.RO
Curious Exploration and Return-based Memory Restoration for Deep Reinforcement Learning
Advanced Mechatronics Researcher Lab(先进机电一体化研究实验室);Institute for Transport Studies, University of Leeds(利兹大学交通研究所);The University of Georgia(佐治亚大学)
奖励工程和设计一个激励性的奖励函数是在复杂环境中训练智能体的重要任务。此外,不准确的奖励函数可能导致偏离行为,这远非有效和优化的行为。在本文中,我们专注于训练一个单一的代理得分目标与二元成功/失败的奖励函数在半场进攻域。作为这项研究的主要优点,代理没有对环境的假设,这意味着它只遵循原来的强化学习代理的制定。使用这种奖励函数的主要挑战是正奖励信号的高度稀疏性。为了解决这个问题,我们使用了一种简单的基于预测的探索策略(称为好奇探索)以及一种基于返回的记忆恢复(RMR)技术,该技术倾向于记住更有价值的记忆。所提出的方法可以用来训练代理在环境中具有相当复杂的状态和动作空间。我们的实验结果表明,许多最近的解决方案,包括我们的基线方法无法学习和执行在复杂的足球领域。然而,所提出的方法可以很容易地收敛到接近最优的行为。介绍我们训练有素的代理人的表现的视频可在http://bit.ly/HFO_Binary_Reward上获得。
2021-05-02 cs.AI cs.LG cs.MA
RobocupGym: A challenging continuous control benchmark in Robocup
University of the Witwatersrand(威特沃特斯兰德大学);University of Oxford(牛津大学)
本文提出 RobocupGym,一个基于 Robocup 3D 仿真联赛的连续控制基准,简化强化学习应用,支持高维任务和 Nao 机器人控制,并开源代码。
2024-07-03 cs.LG cs.RO
Reinforcement Learning for Real-Time Vision-Language-Action Policies
Stanford University(斯坦福大学)
针对VLA模型推理延迟导致动作过时的问题,提出Real-Time EXPO-FT框架,通过解耦动作生成与编辑实现实时强化学习微调,在Kinetix基准和动态真实世界任务中显著提升性能。
2026-09-17 cs.LG cs.RO
Generative World Models of Tasks: LLM-Driven Hierarchical Scaffolding for Embodied Agents
Department of Computer Science University of Wisconsin-Madison(计算机科学系威斯康星大学麦迪逊分校)
针对复杂多智能体任务端到端方法因探索空间大和奖励稀疏而失败的问题,提出结合LLM作为生成式世界模型来动态生成分层任务环境(HTEs)支架的框架,以引导探索、生成学习信号并提升智能体样本效率。
2025-11-04 cs.AI cs.CL cs.LG
Efficient Competitive Self-Play Policy Optimization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自我游戏的强化学习最近取得了许多成功。自我发挥,其中代理与自己竞争,通常用于生成训练数据,用于迭代策略改进。在以前的工作中,启发式规则的目的是为当前的学习者选择一个对手。典型的规则包括选择最新代理、最佳代理或随机历史代理。然而,这些规则在实践中可能是低效的,有时甚至在最简单的矩阵游戏中也不能保证收敛。在本文中,我们提出了一个新的算法框架竞争自我发挥强化学习在两个球员零和游戏。我们认识到这样一个事实,即纳什均衡与随机支付函数的鞍点重合,这促使我们借用经典鞍点优化文献的思想。我们的方法同时训练多个代理,并智能地将对方视为对手,基于来自基于扰动的鞍优化方法的简单对抗规则。我们从理论上证明了我们的算法收敛到一个近似的平衡点,在凹凸游戏的标准假设下的高概率。除了理论,我们进一步展示了我们的方法的经验优势,依赖于矩阵游戏,网格世界足球,五子棋,模拟机器人相扑,神经网络政策函数逼近上述服从选择算法的基线方法。
2020-09-13 cs.AI cs.GT cs.LG
Behavioral Homophily in Social Media via Inverse Reinforcement Learning: A Reddit Case Study
University of Technology Sydney(悉尼科技大学);EPFL(洛桑联邦理工学院)
本文提出用逆强化学习推断用户策略,并以策略相似度度量行为同质性,在 Reddit 六年 590 万次交互上验证了该方法能揭示传统内容方法无法捕捉的行为模式与用户角色。
2025-02-05 cs.LG cs.SI
Comparative Analysis of Parameterized Action Actor-Critic Reinforcement Learning Algorithms for Web Search Match Plan Generation
University of the Western Cape(南非开普敦大学)
本文比较 SAC、GAC 与 TQC 在参数化动作空间高维决策任务中的表现,通过 NNI 调参与可复现实验证明 PAGAC 训练最快、回报最高且更稳定可靠。
2025-10-03 cs.AI cs.LG