Towards robust and domain agnostic reinforcement learning competitions
OpenAI(开放人工智能研究中心);AIcrowd;Huawei(华为技术有限公司);Plato
强化学习竞赛已经形成了标准研究基准的基础,促进了最先进技术的进步,并塑造了该领域的发展方向。尽管如此,大多数挑战都存在相同的基本问题:针对所提出挑战的参与者解决方案通常是特定于域的,偏向于最大限度地利用计算资源,并且不能保证可重现。在本文中,我们提出了一个新的竞争设计框架,促进了克服这些障碍的算法的发展。我们提出了四个中央机制,以实现这一目标:提交再培训,域随机化,通过域混淆,和竞争计算和环境样本预算的限制,desemantization。为了证明这种设计的有效性,我们提出、组织并运行了MineRL 2020样本高效强化学习竞赛。在这项工作中,我们描述了竞争的组织成果,并表明,由此产生的参与者提交的可复制的,非特定的竞争环境,和样本/资源效率,尽管困难的竞争任务。
2021-06-07 cs.AI cs.LG cs.NE
Scaling Imitation Learning in Minecraft
University of Freiburg(弗莱堡大学);Intel Labs(英特尔实验室)
模仿学习是一种在沉浸式环境中学习感觉运动协调的强大技术家族。我们应用模仿学习在Minecraft环境中的硬探索问题上实现最先进的性能。我们报告的实验,突出了网络架构,损失函数,和数据增强的影响。我们方法的早期版本在NeurIPS 2019的MineRL竞赛中获得第二名。在这里,我们报告了更强的结果,可以作为未来参赛作品和相关研究的起点。我们的代码可在https://github.com/amiranas/minerl_imitation_learning上获得。
2020-07-06 cs.AI cs.LG stat.ML
JueWu-MC: Playing Minecraft with Sample-efficient Hierarchical Reinforcement Learning
Tencent AI Lab(腾讯人工智能实验室)
由于部分可观察性、高维视觉感知和延迟奖励的复合挑战,在像Minecraft这样的开放世界游戏中学习理性行为仍然是强化学习(RL)研究的挑战。为了解决这个问题,我们提出了JueWu-MC,这是一种样本高效的分层RL方法,配备了表示学习和模仿学习来处理感知和探索。具体来说,我们的方法包括两个层次结构,其中高级控制器学习策略来控制选项,低级工作人员学习解决每个子任务。为了提高子任务的学习,我们提出了一种技术组合,包括1)动作感知的表示学习,捕捉动作和表示之间的潜在关系,2)基于判别器的自我模仿学习,有效的探索,和3)集成行为克隆与一致性过滤策略的鲁棒性。大量的实验表明,JueWu-MC显著提高了样本效率,并大大优于一组基线。值得注意的是,我们赢得了NeurIPS MineRL 2021研究竞赛的冠军,并取得了有史以来最高的性能分数。
2021-12-07 cs.AI cs.LG
The MineRL BASALT Competition on Learning from Human Feedback
OpenAI;Carnegie Mellon University(卡内基梅隆大学);AIcrowd;University of Eastern Finland(东芬兰大学);Center for Human-Compatible AI, UC Berkeley(加州大学伯克利分校人类兼容人工智能中心);UC Berkeley(加州大学伯克利分校)
在过去的十年里,人们对深度学习研究的兴趣显著增加,许多公开的成功证明了它的潜力。因此,这些系统现在被纳入商业产品。随之而来的是一个额外的挑战:我们如何构建人工智能系统来解决没有明确定义的规范的任务?虽然已经提出了多种解决方案,但在这次比赛中,我们特别关注一个:从人类反馈中学习。我们不是使用预定义的奖励函数或使用具有预定义类别集的标记数据集来训练AI系统,而是使用从某种形式的人类反馈中获得的学习信号来训练AI系统,这些反馈可以随着对任务的理解的变化而演变,或者随着AI系统的能力的提高。MinerRL BASALT竞赛旨在推动对这一重要技术类别的研究。我们在Minecraft中设计了一套四个任务,我们预计很难写下硬编码的奖励函数。这些任务由一段自然语言定义:例如,“创建一个瀑布并为它拍摄一张风景照片”,并附带额外的澄清细节。参与者必须使用他们想要的任何方法为每个任务训练一个单独的代理。然后由阅读任务描述的人对代理进行评估。为了帮助参与者开始,我们提供了四个任务中每个任务的人类演示数据集,以及利用这些演示的模仿学习基线。我们希望,这项竞赛将提高我们构建人工智能系统的能力,使其能够按照设计者的意图去做,即使这种意图很难形式化。除了允许人工智能解决更多的任务外,这还可以更有效地监管人工智能系统,并在价值对齐问题上取得进展。
2021-07-05 cs.AI cs.LG
Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations
Artificial Intelligence Research Institute FRC CSC RAS(俄罗斯科学院计算机科学与控制研究中心人工智能研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Higher School of Economics(高等经济学院);Moscow Aviation Institute(莫斯科航空学院)
目前,深度强化学习(RL)在复杂的游戏和机器人环境中显示出令人印象深刻的结果。通常,这些结果是以巨大的计算成本为代价实现的,并且需要代理与环境之间的交互事件的数量令人难以置信。提高强化学习方法的样本效率主要有两种途径--使用分层方法和专家演示。在本文中,我们提出了这些方法的组合,允许代理使用低质量的演示在复杂的基于视觉的环境中有多个相关的目标。我们的健忘经验重放(Forger)算法有效地处理专家数据中的错误,并减少质量损失时,适应动作空间和状态表示代理的能力。我们提出的面向目标的重放缓冲区结构允许代理自动突出子目标,以解决复杂的分层任务的演示。我们的方法是通用的,可以集成到各种非政策的方法。它超越了所有已知的现有最先进的强化学习方法,在各种模型环境中使用专家演示。基于我们算法的解决方案击败了著名的MineRL竞赛的所有解决方案,并允许代理在Minecraft环境中开采钻石。
2020-06-17 cs.AI cs.LG
Battlesnake Challenge: A Multi-agent Reinforcement Learning Playground with Human-in-the-loop
Amazon Web Services(亚马逊云科技)
我们提出了Battlesnake Challenge,这是一个基于人机在环学习(HILL)的多智能体强化学习框架。它是基于Battlesnake开发的,Battlesnake是传统蛇游戏的多人游戏扩展,其中2条或更多蛇争夺最终生存。Battlesnake Challenge包括一个用于模型训练的离线模块和一个用于现场比赛的在线模块。我们开发了一个模拟的游戏环境,用于离线多智能体模型训练,并确定了一组可以灌输以改善学习的基线知识。我们的框架是代理不可知论和不可知论,研究人员可以设计自己的算法,训练他们的模型,并在网上的Battlesnake比赛中展示。我们验证了我们的初步实验的框架和基线算法。我们的研究结果表明,提出的HILL方法的代理始终优于代理没有HILL。此外,奖励操纵策略在网络竞赛中表现最好。我们在https://github.com/awslabs/sagemaker-battlesnake-ai上开源了我们的框架。
2020-07-20 cs.AI cs.LG stat.ML
A Competition Winning Deep Reinforcement Learning Agent in microRTS
本文介绍首个赢得 IEEE microRTS 竞赛的深度强化学习智能体 RAISocketAI,其通过迭代微调基础策略和向特定地图迁移学习取得优异表现,为未来竞赛与 DRL 研究提供基准和起点。
2025-01-02 cs.AI cs.LG
ViZDoom Competitions: Playing Doom from Pixels
Poznan University of Technology(波兹南理工大学);NNAISENSE SA(NNAISENSE公司)
本文介绍了2016年和2017年举行的前两届Visual Doom AI竞赛。挑战是在第一人称射击(FPS)游戏《毁灭战士》(Doom)中创建在多人死亡竞赛中竞争的机器人。机器人只能根据视觉信息做出决定,原始屏幕缓冲区。为了玩得好,机器人需要了解他们的周围环境,导航,探索,并同时处理对手。这些方面,再加上比赛的竞争性多智能体方面,使比赛成为评估最先进的强化学习算法的独特平台。本文讨论了规则,解决方案,结果和统计数据,让我们深入了解代理的行为。更详细地描述了性能最佳的药剂。比赛结果得出的结论是,尽管强化学习可以产生有能力的Doom机器人,但它们仍然无法在这场比赛中成功地与人类竞争。本文还回顾了ViZDoom环境,这是一个灵活,易于使用,高效的3D平台,用于基于视觉的强化学习研究,基于公认的第一人称视角游戏Doom。
2018-09-10 cs.AI cs.CV cs.LG
Reinforcement Learning from Hierarchical Critics
University of Tasmania(塔斯马尼亚大学);University of Technology Sydney(悉尼科技大学)
在这项研究中,我们研究了使用全局信息来加快学习过程,并增加强化学习(RL)在竞争任务中的累积奖励。在行动者-批评者强化学习中,我们从两个层次上引入多个合作批评者,并提出了一种从层次批评者中进行强化学习(RLHC)算法。在我们的方法中,每个代理接收本地和全球的批评家关于竞争任务的价值信息,并访问多个合作的批评家在一个自上而下的层次结构。因此,每个代理不仅接收低级别的细节,而且还考虑从更高级别的协调,从而获得全局信息,以提高训练性能。然后,我们测试所提出的RLHC算法对基准算法,近端策略优化(PPO),在一个统一的环境中进行的网球和足球代理的比赛的两个实验方案。结果表明,RLHC在这两个竞争任务上都优于基准。
2020-03-01 cs.LG cs.MA stat.ML
Obstacle Tower Without Human Demonstrations: How Far a Deep Feed-Forward Network Goes with Reinforcement Learning
Technische Universität Dortmund(多特蒙德工业大学);Juelich Supercomputing Center(于利希超级计算中心);Helmholtz Research Center Juelich(于利希亥姆霍兹研究中心);Universiteit Leiden(莱顿大学);Hochschule Rhein-Waal(莱茵-瓦尔应用科学大学)
障碍塔挑战是掌握一个程序生成的水平链,随后变得更难完成的任务。虽然去年比赛中表现最好的参赛作品使用人类演示或奖励塑造来学习如何应对挑战,但我们提出了一种具有竞争力的方法(排名第七),但通过深度强化学习完全从头开始,具有相对简单的前馈深度网络结构。我们特别关注所采取的方法的泛化性能,这些方法涉及竞争后可用的不同种子和各种视觉主题,并调查代理失败的地方和原因。请注意,我们的方法不像使用递归隐藏状态那样具有短期记忆。通过这项工作,我们希望能够更好地理解一个相对简单,灵活的解决方案,可以应用于具有复杂3D视觉输入的环境中的学习,其中抽象任务结构本身仍然相当简单。
2020-07-20 cs.AI cs.LG stat.ML
Multiagent Cooperation and Competition with Deep Reinforcement Learning
University of Tartu(塔尔图大学);ETH Zurich(苏黎世联邦理工学院)
多智能体系统出现在大多数社会、经济和政治环境中。在目前的工作中,我们将Google DeepMind提出的Deep Q-Learning Network架构扩展到多智能体环境,并研究由独立Deep Q-Networks控制的两个智能体如何在经典视频游戏Pong中进行交互。通过操纵Pong的经典奖励计划,我们展示了竞争和合作行为是如何出现的。有竞争力的代理人学习有效地比赛和得分。在协作奖励计划下训练的代理找到一个最佳策略,以尽可能长时间地保持球在游戏中。我们还描述了从竞争到合作行为的进展。目前的工作表明,深度Q网络可以成为研究生活在高度复杂环境中的多智能体系统的分散学习的实用工具。
2015-11-27 cs.AI cs.LG q-bio.NC
Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark
AIcrowd Research, AIcrowd(AIcrowd Research,AIcrowd);Toyota Research Institute(丰田研究所);Microsoft Research(微软研究院);Three Thirds;Institute of Informatics, Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所);Temple University(天普大学);AIcrowd Community(AIcrowd社区);DiDi Labs(滴滴实验室)
NeurIPS 2020 Procgen竞赛被设计为一个集中的基准,具有明确定义的任务,用于测量强化学习中的样本效率和泛化。泛化仍然是深度强化学习中最基本的挑战之一,但我们没有足够的基准来衡量社区在强化学习泛化方面的进展。我们为强化学习设计了一个集中式基准测试,它可以通过以可扩展的方式对数千个用户提交的代码库的训练和推出阶段进行端到端评估,来帮助测量强化学习中的样本效率和泛化。我们通过定义明确的任务和标准化端到端评估设置,在现有的Procgen Benchmark基础上设计了基准。该设计旨在最大限度地提高研究人员的灵活性,他们希望设计此类基准的未来迭代,但也施加了必要的实际约束,以允许这样的系统扩展。本文介绍了竞争设置以及通过此设置确定的顶级解决方案的详细信息和分析,这些解决方案是在NeurIPS 2020年竞争迭代的背景下确定的。
2021-03-29 cs.AI cs.LG
Deep Reinforcement Learning for General Video Game AI
New York University(纽约大学);Southern University of Science and Technology(南方科技大学);Queen Mary University of London(伦敦玛丽女王大学)
通用视频游戏AI(GVGAI)竞赛及其相关的软件框架提供了一种在大量以特定领域描述语言编写的游戏上对AI算法进行基准测试的方法。虽然竞争已经看到了很多的兴趣,它迄今为止一直集中在在线规划,提供了一个前向模型,允许使用算法,如蒙特卡罗树搜索。在本文中,我们描述了如何将GVGAI接口到OpenAI Gym环境,这是一种将代理连接到强化学习问题的广泛使用的方式。使用这个接口,我们描述了几种深度强化学习算法在一些GVGAI游戏中的广泛使用的实现。我们进一步分析结果,以提供这些游戏相对于彼此的相对难度的第一个指标,以及在类似条件下相对于街机学习环境中的相对难度。
2018-06-06 cs.AI cs.LG cs.NE
Learning by Competition of Self-Interested Reinforcement Learning Agents
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
人工神经网络可以通过向实现REINFORCE学习规则的单元均匀地广播奖励信号来训练。虽然这在训练网络时为反向传播提供了一种生物学上合理的替代方案,但与之相关的高方差使得训练深度网络变得不切实际。高方差源于低效的结构性信用分配,因为单个奖励信号被用于评估所有单元的集体行动。为了便于结构化的信用分配,我们建议用单位的传出权重的$L^2$范数的变化来替换隐藏单位的奖励信号。因此,网络中的每个隐藏单元都试图最大化其传出权重的范数,而不是全局奖励,因此我们称这种学习方法为权重最大化。我们证明了权重最大化近似遵循期望中的报酬梯度。与反向传播相反,权重最大化可用于训练连续值和离散值单元。此外,权重最大化解决了与生物相容性相关的反向传播的几个主要问题。我们的实验表明,使用权重最大化训练的网络可以比REINFORCE学习得更快,比反向传播稍慢。权重最大化说明了一个合作行为的例子,自动产生于竞争游戏中的自利代理的人口,没有任何中央协调。
2021-12-22 cs.AI cs.LG
MimicBot: Combining Imitation and Reinforcement Learning to win in Bot Bowl
Philips Research(飞利浦研究院);Eindhoven University of Technology(埃因霍温理工大学)
本文描述了一种混合智能体,它被训练成参加Bot Bowl III比赛的Fantasy Football AI。代理MimicBot使用专门设计的深度策略网络实现,并使用模仿和强化学习相结合的方法进行训练。在这种背景下使用强化学习方法的先前尝试由于许多原因而失败,例如,由于环境中的固有随机性以及大量且不均匀数量的可用动作,其中课程学习方法未能始终如一地击败随机支付的代理。目前,没有任何机器学习方法可以击败使用游戏领域知识的脚本机器人。我们的解决方案,由于模仿学习和混合决策过程,始终击败这样的脚本代理。此外,我们揭示了如何在强化学习设置中更有效地训练,同时大幅提高样本效率。MimicBot是Bot Bowl III比赛的获胜者,它是目前最先进的解决方案。
2021-08-21 cs.AI cs.LG
A Deep Reinforcement Learning Blind AI in DareFightingICE
Ritsumeikan University(立命馆大学);Hanoi University of Science And Technology(河内科学技术大学)
本文介绍了一种深度强化学习代理(AI),它在IEEE CoG 2022的DareFightingICE竞赛中使用声音作为DareFightingICE平台上的输入。在这项工作中,只使用声音作为输入的AI被称为盲AI。虽然最先进的人工智能主要依赖于其环境提供的视觉或结构化观察,但学习仅从声音玩游戏仍然是新的,因此具有挑战性。我们提出了不同的方法来处理音频数据,并使用近端策略优化算法为我们的盲AI。我们还建议使用我们的盲AI来评估提交给竞赛的声音设计,并为此任务定义两个指标。实验结果表明,不仅我们的盲AI的有效性,但也提出了两个度量。
2022-06-30 cs.AI cs.LG
Results of the NeurIPS 2023 Neural MMO Competition on Multi-task Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);CarperAI;Competition Winners(竞赛优胜者);University of Maryland, College Park(马里兰大学帕克分校);Plurality Institute(Plurality研究所)
本文报告 NeurIPS 2023 Neural MMO 竞赛结果,参赛者训练的目标条件策略可泛化到未见任务、地图和对手,最佳方案在单张 4090 GPU 上训练 8 小时即超过基线 4 倍,并已开源相关代码与权重。
2025-08-17 cs.LG
RangL: A Reinforcement Learning Competition Platform
Austrian Institute of Technology(奥地利技术研究所);Queen Mary University of London(伦敦玛丽女王大学);Oxquant;Delft University of Technology(代尔夫特理工大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Quaisr;The Alan Turing Institute(艾伦·图灵研究所);Technical University of Denmark(丹麦技术大学);University of Natural Resources and Life Sciences, Vienna(维也纳自然资源与生命科学大学)
由艾伦图灵研究所主办的RangL项目旨在通过支持与现实世界动态决策问题相关的竞赛来鼓励更广泛地采用强化学习。本文介绍了RangL团队开发的可重用代码存储库,并为英国净零技术中心支持的2022年净零挑战之路部署。这一挑战的获胜解决方案旨在优化英国的能源转型政策,到2050年实现净零碳排放。RangL存储库包括一个OpenAI Gym强化学习环境和代码,支持提交到开源EvalAI平台的远程实例并在其中进行评估,以及所有获胜的学习代理策略。该存储库是RangL为未来挑战提供可重用结构的能力的一个说明性示例。
2022-07-28 cs.AI cs.GL cs.LG
Long-Term Planning with Deep Reinforcement Learning on Autonomous Drones
Gebze Technical University(盖布泽技术大学)
在本文中,我们研究了一个长期的规划方案,是基于在现实生活中举行的无人机赛车比赛。我们在为NeurIPS 2019上的“无人机游戏:无人机竞赛”创建的框架上进行了这项实验。赛车环境是使用微软的AirSim无人机赛车实验室创建的。一个强化学习代理,在我们的案例中是一个模拟的四旋翼,已经用策略邻近优化(PPO)算法进行了训练,能够成功地与另一个运行经典路径规划算法的模拟四旋翼竞争。智能体观测包括来自IMU传感器的数据、通过仿真获得的无人机GPS坐标和对手无人机GPS信息。在训练过程中使用对手无人机GPS信息有助于处理复杂的状态空间,作为专家指导可以实现高效和稳定的训练过程。本文中执行的所有实验都可以在我们的GitHub存储库中找到并通过代码复制
2020-07-11 cs.AI cs.IT cs.LG
Emergent collective intelligence from massive-agent cooperation and competition
Tsinghua University, Shenzhen International Graduate School(清华大学深圳国际研究生院);University of California, San Diego(加州大学圣地亚哥分校);Georgia Institute of Technology(佐治亚理工学院)
受地球上不同种群之间通过合作和竞争进化的生物体的启发,我们通过代理强化学习来研究人工集体智能的出现。为此,我们提出了一个新的智能体强化学习环境,勒克斯,在两个团队中的动态和大规模的代理争夺有限的资源和击退黑暗。在Lux中,我们通过课程学习阶段的标准强化学习算法构建代理,并通过像素到像素的策略网络利用集中控制。当智能体通过自我游戏共同进化时,我们观察到智能的几个阶段,从获得原子技能到发展群体策略。由于这些学习的群体策略产生于没有明确协调机制的个人决策,我们认为人工集体智能产生于个体-主体的合作和竞争。我们进一步分析了各种学习策略的出现,通过指标和消融研究,旨在提供见解的强化学习实现在智能体环境。
2023-01-05 cs.AI cs.MA
Competitive Multi-Operator Reinforcement Learning for Joint Pricing and Fleet Rebalancing in AMoD Systems
Technical University of Denmark(丹麦技术大学);Technical University of Munich(慕尼黑技术大学);Stanford University(斯坦福大学)
本文提出多运营商强化学习框架,研究竞争对AMoD系统定价和车队再平衡策略学习的影响,实验显示竞争可使价格降低并产生不同的车队布局模式。
2026-03-05 cs.LG cs.MA
Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics
本文针对竞赛数学强化微调的三大困难,提出Question-begets-Question(QbQ)方法及自演进课程,使Qwen2.5-Math-7B的AIME任务pass@1从5.6%提升至16.5%,且能解决更难问题。
2026-08-04 cs.AI cs.CL cs.LG
Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);University of California, Berkeley(加州大学伯克利分校)
在多样化和复杂环境中运行的强化学习代理可以从其行为的结构化分解中受益。通常,这是在分层强化学习的上下文中解决的,其目的是将策略分解为较低级别的原语或选项,以及触发针对给定情况的适当行为的较高级别的元策略。然而,元策略仍然必须在所有状态下产生适当的决策。在这项工作中,我们提出了一个政策设计,分解成原语,类似于分层强化学习,但没有一个高层次的元政策。相反,每个原语可以自己决定是否希望在当前状态下操作。我们使用信息理论机制来实现这种分散决策:每个原语选择它需要多少关于当前状态的信息来做出决策,并且请求关于当前状态的最多信息的原语在世界上行动。原语被规则化以使用尽可能少的信息,这导致了自然竞争和专业化。我们的实验表明,这种政策架构提高了平面和层次化的政策方面的泛化。
2019-06-25 cs.AI cs.LG stat.ML
Learning Phase Competition for Traffic Signal Control
Pennsylvania State University(宾夕法尼亚州立大学);Zhejiang Univerisity(浙江大学);Shanghai Jiao Tong Univerisity(上海交通大学);Tsinghua Univerisity(清华大学);Shanghai Tianrang Intelligent Technology Co., Ltd(上海天壤智能科技有限公司)
越来越多的城市数据和先进的学习技术使人们能够提高城市功能的效率。其中,提高城市交通效率是最突出的课题之一。最近的研究提出了使用强化学习(RL)的交通信号控制。与传统的运输方法严重依赖先验知识不同,强化学习可以直接从反馈中学习。另一方面,如果没有仔细的模型设计,现有的RL方法通常需要很长时间才能收敛,并且学习的模型可能无法适应新的场景。例如,一个为早上的交通训练得很好的模型可能不适用于下午的交通,因为交通流可能会被逆转,导致非常不同的状态表示。在本文中,我们提出了一种称为FRAP的新颖设计,该设计基于交通信号控制中相位竞争的直观原理:当两个交通信号发生冲突时,应优先考虑交通流量较大的一个(即,更高的要求)。通过相位竞争模型,我们的模型实现了不变性的对称情况下,如翻转和旋转的交通流。通过进行全面的实验,我们证明了我们的模型在复杂的全相位选择问题中找到了比现有RL方法更好的解决方案,在训练过程中收敛得更快,并且对于不同的道路结构和交通条件具有更好的泛化能力。
2019-05-12 cs.AI cs.LG stat.ML
Real-Time Bidding with Multi-Agent Reinforcement Learning in Display Advertising
Alibaba Group(阿里巴巴集团);University College London(伦敦大学学院);Shanghai JiaoTong University(上海交通大学)
实时广告允许广告商为访问用户的每个印象出价。为了优化特定的目标,如最大化的收入和投资回报率(ROI)的广告投放,广告客户不仅需要估计广告和用户的兴趣之间的相关性,但最重要的是需要一个战略响应相对于其他广告客户在市场上出价。在本文中,我们制定投标优化与多智能体强化学习。为了处理大量的广告客户,我们提出了一种聚类方法,并为每个聚类分配一个策略投标代理。提出并实现了一种实用的分布式协调多代理竞价系统(DCMAB),以平衡广告主之间的竞争与合作。对行业规模的真实世界数据的实证研究证明了我们的方法的有效性。我们的研究结果表明,基于集群的投标将在很大程度上优于单代理和土匪的方法,和协调投标实现更好的整体目标比纯粹的自利投标代理。
2018-09-11 cs.AI cs.LG stat.ML
A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot Soccer
Centro de Informática - Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心);Mila, Universite de Montréal(蒙特利尔大学 Mila)
本文介绍了一个开放的框架,称为VSSS-RL,研究强化学习(RL)和模拟到真实的机器人足球,专注于IEEE非常小尺寸足球(VSSS)联赛。我们提出了一个模拟的环境中,连续或离散的控制策略可以训练控制足球代理的完整行为和一个模拟到真实的方法的基础上领域自适应,以适应所获得的政策,真正的机器人。我们的研究结果表明,经过训练的政策学习了广泛的行为,这些行为很难用手工制定的控制政策来实现。借助VSSS-RL,我们在2019年拉丁美洲机器人竞赛(LARC)中击败了人类设计的策略,在21支队伍中获得第四名,成为第一个在该竞赛中成功应用强化学习(RL)的团队。环境和硬件规格都是开源的,以允许我们的结果和进一步研究的再现性。
2020-08-18 cs.AI cs.LG cs.RO
DIP-RL: Demonstration-Inferred Preference Learning in Minecraft
DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室);Boston Dynamics AI Institute(波士顿动力人工智能研究所);Columbia University(哥伦比亚大学)
针对非结构化环境中奖励信号难以设计的问题,提出DIP-RL算法,通过三种方式利用人类演示学习奖励函数指导强化学习,在Minecraft砍树任务中性能优于基线,相关研究曾获NeurIPS竞赛奖项。
2023-07-22 cs.AI cs.HC cs.LG
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);New York University(纽约大学)
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中,都设计了三个新游戏。在前三个版本中,培训和测试级别是分开设计的。自2020年起,每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后,我们提出了一种新的强化学习技术与一般的视频游戏玩双观察,假设它更有可能观察到类似的局部信息在不同的水平,而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图,而是将游戏屏幕的编码,转换的全局和局部观察作为两个同时输入,旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的,并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI
Cooperative Lane Changing via Deep Reinforcement Learning
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
在本文中,我们研究了如何使用深度强化学习来学习自动驾驶车辆的适当变道策略。我们发现,奖励的系统应考虑整体的交通效率,而不是个别车辆的行驶效率。总之,合作而不是竞争会带来更和谐、更高效的交通系统
2019-06-20 cs.AI cs.LG cs.SY
Online Control of Adaptive Large Neighborhood Search using Deep Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Singapore Management University(新加坡管理大学)
提出基于深度强化学习的DR-ALNS方法,通过在线选择算子、调整参数和控制接受准则来优化自适应大邻域搜索,在定向越野问题上优于多种基线方法且所需训练数据更少。
2024-04-03 cs.AI cs.LG
Tacit algorithmic collusion in deep reinforcement learning guided price competition: A study using EV charge pricing game
University of South Florida(南佛罗里达大学)
针对电动汽车充电枢纽动态定价竞争,本文提出随机优化与MADRL相结合的两步方法,并用合谋指数量化发现AI定价仅呈现低至中等水平的隐性算法合谋。
2024-05-10 cs.AI cs.LG cs.SY
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Massachusetts Institute of Technology (MIT)(麻省理工学院)
我们提出了一个名为DeepTraffic的交通模拟,其中车辆子集的规划系统由神经网络处理,作为无模型,非策略强化学习过程的一部分。DeepTraffic的主要目标是让成千上万的学生、教育工作者和研究人员能够亲自动手学习深度强化学习,以通过大规模的公开竞争激励和推动对深度Q学习网络变体和超参数配置的探索和评估。本文研究了由DeepTraffic竞赛的第一次迭代产生的策略网络的众包超参数调整,其中数千名参与者积极搜索超参数空间。
2019-01-03 cs.AI cs.NE cs.RO
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而,一旦解决,这些环境变得不那么有价值,需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena,这是一个用于强化学习研究和实验的新平台,它具有一系列高质量的环境,暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务,由原始像素和额外的数值组成,所有这些都支持单人和双人模式,允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理,以获得类似人类的行为,证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性,提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
From Competition to Synergy: Unlocking Reinforcement Learning for Subject-Driven Image Generation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
本文提出Customized-GRPO方法,通过Synergy-Aware Reward Shaping和Time-Aware Dynamic Weighting解决强化学习中身份保持与提示遵循的平衡问题,提升图像生成质量。
2026-04-22 cs.CV cs.GR cs.LG
Emergent Tool Use From Multi-Agent Autocurricula
OpenAI;Google Brain(谷歌大脑)
通过多智能体竞争,简单的目标的捉迷藏,和标准的强化学习算法的规模,我们发现,代理创建一个自我监督的自动课程诱导多轮不同的紧急战略,其中许多需要复杂的工具使用和协调。我们在我们的环境中发现了代理策略中六个紧急阶段的明确证据,每个阶段都为对方团队创造了新的压力,以适应;例如,代理学会使用可移动的盒子建造多对象庇护所,这反过来又导致代理发现他们可以使用坡道克服障碍。我们进一步提供的证据表明,随着环境复杂性的增加,多智能体竞争可能会更好地扩展,并导致行为以更多的人类相关技能为中心,而不是其他自我监督的强化学习方法,如内在动机。最后,我们提出了转移和微调作为一种方式来定量评估有针对性的能力,我们比较隐藏和寻找代理的内在动机和随机初始化基线在一套特定领域的智能测试。
2020-02-11 cs.AI cs.LG cs.MA
Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT LIDS(麻省理工学院信息与决策系统实验室)
在多智能体环境中学习竞争行为,比如赛车,需要对潜在的对抗性互动进行长期推理。本文提出了深度潜在竞争(DLC),一种新的强化学习算法,学习竞争的视觉控制策略,通过自我发挥的想象力。DLC代理想象多智能体交互序列的学习世界模型,结合了联合过渡函数与对手的观点预测的紧凑的潜在空间。想象中的自我游戏减少了现实世界中昂贵的样本生成,而潜在的表征使规划能够随着观察维度优雅地扩展。我们证明了我们的算法在学习竞争行为的有效性,一个新的多智能体赛车基准,需要规划从图像观察。代码和视频可在https://sites.google.com/view/deep-latent-competition获得。
2021-02-19 cs.AI cs.LG cs.RO
Multi-Agent Reinforcement Learning for Market Making: Competition without Collusion
King's College London(伦敦国王学院)
人工智能中的一个核心问题是:部署在市场上的不同人工智能智能体之间的互动会导致共谋吗?更一般地说,了解紧急行为,无论是卡特尔还是更先进的机器人的市场主导地位,如何影响市场整体是一个重要的研究问题。本文提出了一个分层的多智能体强化学习框架来研究做市过程中的算法合谋问题。该框架包括一个自利的做市商(Agent~A),它是在由对手塑造的不确定环境中训练的,以及三个底层竞争者:自私的Agent~B1(其目标是最大化其自身的PnL)、竞争Agent~B2(其目标是最小化其对手的PnL)和混合Agent~B $^\star$,混合Agent ~ B可以在其他两者的行为之间进行调节。为了分析这些代理人如何塑造彼此的行为并影响市场结果,我们提出了互动层面的指标,量化行为不对称和系统层面的动态,同时提供潜在的信号指示紧急互动模式。实验结果表明,Agent~B2在零和交易环境下相对于Agent ~ B1具有优势,在收紧平均价差的同时积极捕捉订单流,从而提高了市场执行效率。与此相反,当与其他寻求利润的代理人共存时,代理人B $^\star$表现出自利倾向,通过自适应报价来确保主导的市场份额,但与B2相比,对代理人A和B1的回报施加较温和的不利影响。这些研究结果表明,自适应激励控制支持更可持续的战略共存异构代理环境中,并提供了一个结构化的镜头评估算法交易系统的行为设计。
2025-10-29 cs.AI cs.MA
Learning to Play Soccer by Reinforcement and Applying Sim-to-Real to Compete in the Real World
Universidade Federal de Pernambuco(伯南布哥联邦大学);Universite de Montréal(蒙特利尔大学)
这项工作提出了一个应用程序的强化学习(RL)的IEEE非常小尺寸足球(VSSS),在拉丁美洲机器人比赛(LARC)的传统联赛的真正的足球机器人的完全控制。在VSSS联赛中,两支由三个小机器人组成的球队互相比赛。我们提出了一个模拟的环境中,连续或离散的控制策略可以训练,和一个模拟到真实的方法,允许使用所获得的政策,以控制机器人在现实世界中。结果表明,学习的政策显示了广泛的剧目的行为是很难指定的手。这种称为VSSS-RL的方法能够在1对1的比赛中击败2018年LARC排名第三的球队前锋的人类设计策略。
2020-03-24 cs.AI cs.LG cs.RO
Learning by Doing: Controlling a Dynamical System using Causality, Control, and Reinforcement Learning
University of Copenhagen(哥本哈根大学);Lund University(隆德大学);Carnegie Mellon University(卡内基梅隆大学);Uppsala University(乌普萨拉大学);Université Paris-Saclay(巴黎萨克雷大学);RWTH Aachen University(亚琛工业大学)
因果关系、控制和强化学习中的问题超越了经典的机器学习在i.i.d.下的预测任务。意见。相反,这些领域考虑学习如何主动扰动系统以实现对响应变量的特定影响的问题。可以说,他们在这个问题上有互补的观点:在控制中,通常旨在首先通过激励策略识别系统,然后应用基于模型的设计技术来控制系统。在(非基于模型的)强化学习中,人们直接优化奖励。在因果关系中,一个焦点是因果结构的可识别性。我们相信,将不同的观点结合起来可能会产生协同效应,而这种竞争是实现这种协同效应的第一步。参与者可以访问动态系统生成的观测和(离线)干预数据。Track CHEM考虑的是一个开环问题,其中可以在动态开始时设置单个脉冲,而Track ROBO考虑的是一个闭环问题,其中可以在每个时间步设置控制变量。这两条轨道的目标都是推断出驱动系统到所需状态的控制。代码是开源的(https://github.com/LearningByDoingCompetition/learningbydoing-comp),以复制比赛的获奖解决方案,并促进在比赛任务中尝试新方法。
2022-02-12 cs.LG cs.RO cs.SY
The 2017 AIBIRDS Competition
Australian National University(澳大利亚国立大学)
本文介绍了在第26届国际人工智能联合会议上举行的第六届AIBIRDS竞赛的概况。这项比赛要求参赛者开发一个智能代理,可以玩基于物理的益智游戏愤怒的小鸟。这款游戏使用了一个复杂的物理引擎,要求智能体在有限的环境信息下推理和预测行动的结果。参加这项比赛的代理商必须在规定的时间内解决各种各样以前看不见的关卡。解决这些级别所需的物理推理和规划与许多现实世界的问题非常相似。今年的比赛展示了迄今为止开发的一些最好的代理,甚至包括几种新的人工智能技术,如深度强化学习。在本文中,我们描述的框架,规则,提交代理和结果,这场比赛。我们还提供了相关工作和其他视频游戏AI竞赛的一些背景信息,以及讨论未来AIBIRDS竞赛和代理改进的一些潜在想法。
2018-03-14 cs.AI
Deep Q-Network for AI Soccer
Samsung Electronics(三星电子);KAIST(韩国科学技术院)
强化学习在游戏应用中表现出了突出的表现,特别是在Atari游戏和围棋中。基于这些成功的例子,我们尝试将著名的强化学习算法之一,深度Q网络,应用于AI足球比赛。AI Soccer是一个5:5的机器人足球游戏,每个参与者开发一个算法,控制一个团队中的五个机器人击败对手。深度Q网络旨在实现我们最初的奖励,状态空间和动作空间来训练每个代理,以便它可以在游戏中的不同情况下采取适当的行动。我们的算法能够成功地训练的代理人,其性能初步证明,通过对10支球队希望参加AI足球国际比赛的小型比赛。本次比赛由AI世界杯组委会与WCG 2019西安AI大师赛联合举办。在这个有39个国家的130支队伍参加的国际比赛中,我们用我们的算法取得了晋级16强的成绩。
2022-09-21 cs.AI
Enhanced Rolling Horizon Evolution Algorithm with Opponent Model Learning: Results for the Fighting Game AI Competition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Queen Mary University of London(伦敦玛丽女王大学)
Fighting Game AI Competition(FTGAIC)为2人视频游戏AI提供了一个具有挑战性的基准。挑战来自于大的动作空间,不同风格的角色和能力,以及游戏的实时性。本文提出了一种结合滚动时域进化算法(RHEA)和对手模型学习的新算法。该方法很容易适用于任何2人视频游戏。与传统的RHEA相比,提出了一种对手模型,并根据对手的历史观察,分别通过交叉熵监督学习和策略梯度强化学习和Q学习进行优化。该模型是在实时游戏过程中学习的。通过学习对手模型,扩展的RHEA能够根据对手可能做的事情制定更现实的计划。这往往会导致更好的结果。我们将我们的方法直接与FTGAIC 2018竞赛中的机器人进行了比较,发现我们的方法在所有三个角色上都明显优于所有机器人。此外,我们提出的具有基于策略梯度的对手模型的机器人是唯一一个在2019年比赛中排名前五的机器人中没有使用蒙特卡罗树搜索(MCTS)的机器人,它获得了第二名,同时使用的领域知识比获胜者少得多。
2020-03-31 cs.AI cs.LG
Skynet: A Top Deep RL Agent in the Inaugural Pommerman Team Competition
University of Alberta(阿尔伯塔大学);Borealis AI
Pommerman团队环境是最近提出的一个基准,它涉及一个多智能体域,具有部分可观察性,分散执行(无通信)以及非常稀疏和延迟的奖励等挑战。在NeurIPS 2018上举行的首届Pommerman团队竞赛吸引了25名参赛者,他们提交了一个由2名代理人组成的团队。我们提交的nn_team_skynet955_skynet955赢得了“学习代理”类别的第二名。我们的团队由2个神经网络组成,这些神经网络使用最先进的深度强化学习算法进行训练,并利用奖励塑造、课程学习和自动推理模块等概念进行动作修剪。在这里,我们描述了这些元素,此外,我们提出了一个开源的代理,可用于在Pommerman环境中的培训和测试的集合。代码可在:https://github.com/BorealisAI/pommerman-baseline
2019-04-20 cs.AI cs.LG cs.MA
Learning global control of underactuated systems with Model-Based Reinforcement Learning
University of Padova(帕多瓦大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出采用数据高效的MC-PILCO基于模型强化学习算法,为欠驱动的pendubot和acrobot系统学习全局控制策略,并应用于ICRA 2025的AI Olympics竞赛。
2025-04-09 cs.AI cs.LG cs.RO
Distilling Reinforcement Learning Tricks for Video Games
University of Eastern Finland(东芬兰大学);University of Applied Sciences Northwestern Switzerland(瑞士西北应用科学与艺术大学)
强化学习(RL)研究的重点是可以应用于不同领域的通用解决方案。这导致RL从业者可以在几乎任何领域使用的方法。然而,最近的研究往往缺乏有效使用强化学习所需的工程步骤(“技巧”),例如奖励塑造,课程学习,以及将大任务分成小块。这些技巧是常见的,如果不是必要的,以实现国家的最先进的结果和赢得RL比赛。为了简化工程工作,我们从最先进的结果中提取技巧的描述,并研究这些技巧如何改善标准的深度Q学习代理。这项工作的长期目标是通过提供统一的软件框架和多个领域的相关见解,将经过验证的RL方法与特定领域的技巧相结合。
2021-07-01 cs.AI cs.LG
CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
快速城市化、分布式可再生能源、储能和电动汽车的日益整合为电网带来了新的挑战。在美国,建筑物约占总电力需求的70%,需求响应有可能将电力峰值减少约20%。释放这种潜力需要在分布式系统上运行的控制系统,理想情况下是数据驱动和无模型的。为此,强化学习(RL)算法在过去几年中获得了越来越多的关注。然而,需求响应强化学习的研究一直缺乏标准化的水平,推动了强化学习研究在计算机科学社区的巨大进步。为了解决这个问题,我们创建了CityLearn,这是一个OpenAI Gym环境,允许研究人员实现,共享,复制和比较他们的RL实现以进行需求响应。在这里,我们讨论了这种环境和CityLearn挑战赛,这是我们组织的一项RL竞赛,旨在推动该领域的进一步发展。
2020-12-18 cs.AI cs.LG
First Three Years of the International Verification of Neural Networks Competition (VNN-COMP)
RWTH Aachen University(亚琛工业大学);ETH Zurich(苏黎世联邦理工学院);Stony Brook University(石溪大学);Vanderbilt University(范德比大学);Carnegie Mellon University(卡内基梅隆大学)
本文总结并元分析了2020至2022年三届国际神经网络验证竞赛(VNN-COMP)的流程、规则、结果与趋势,并展望未来发展方向。
2023-01-14 cs.AI cs.LG cs.SE
Learning to Run challenge: Synthesizing physiologically accurate motion using deep reinforcement learning
在各种条件下合成生理上准确的人体运动可以帮助从业者在模拟环境中计划手术,设计实验或原型辅助设备,从而减少时间和成本并改善治疗效果。由于生物力学模型的大而复杂的解空间,当前的方法被约束到特定的运动和模型,需要仔细设计的控制器,并阻碍了许多可能的应用。我们试图发现现代优化方法是否有效地探索这些复杂的空间。为了做到这一点,我们将这个问题作为一个竞赛,参与者的任务是开发一个控制器,使一个基于生理学的人类模型能够在不使用任何实验数据的情况下尽快通过复杂的障碍课程。为他们提供了一个人体肌肉骨骼模型和一个基于物理的模拟环境。在本文中,我们讨论了比赛的设计,技术难点,结果,和分析的顶部控制器。这项挑战证明,深度强化学习技术尽管计算成本高,但可以成功地用作在高维生物力学系统中合成生理可行运动的优化方法。
2018-03-31 cs.AI
Flatland Competition 2020: MAPF and MARL for Efficient Train Coordination on a Grid World
AIcrowd;ETH Zurich(苏黎世联邦理工学院);FHNW(瑞士西北应用科学与艺术大学);University of Southern California(南加州大学);Monash University(莫纳什大学);HSE University(高等经济大学);JetBrains Research;Netcetera
Flatland竞赛旨在寻找解决车辆重新调度问题(VRSP)的新方法。VRSP涉及交通网络中的行程安排以及发生中断时(例如车辆故障)的车辆重新调度。几十年来,在各种环境下求解VRSP一直是运筹学(OR)的一个活跃领域,但现代铁路网络日益复杂,使得交通的动态实时调度几乎不可能。最近,多智能体强化学习(MARL)已经成功地解决了许多智能体需要协调的具有挑战性的任务,例如多人视频游戏。然而,在现实生活中,如铁路网络中,数百个代理的协调仍然具有挑战性,用于竞争的Flatland环境以简化的方式对这些现实世界的属性进行建模。提交者必须在尽可能短的时间内将尽可能多的列车(代理人)带到目标车站。虽然最好的提交是在OR类别中,但参与者发现了许多有前途的MARL方法。使用集中式和分散式学习方法,顶级提交使用环境的图形表示来构建基于树的观察。此外,还实施了不同的协调机制,如代理人之间的沟通和优先顺序。本文介绍了竞争的设置,四个优秀的竞争解决方案,并相互比较。
2021-03-30 cs.AI cs.LG
DQNAS: Neural Architecture Search using Reinforcement Learning
Florida Institute of Technology(佛罗里达理工学院);BITS Pilani, Dubai Campus(比拉尼技术与科学学院迪拜校区)
卷积神经网络由于ImageNet的竞争而变得越来越受欢迎,因此已被用于各种图像相关的应用。卷积神经网络在人脸识别、运动目标检测和跟踪、基于卡路里含量的食物分类等应用中表现出了显著的效果。卷积神经网络的设计要求专家具有跨领域的知识,并且这是费力的,这需要大量的时间来测试不同超参数的不同值以及考虑现有结构的不同配置。神经网络结构搜索是一种自动生成神经网络结构的方法,它为研究人员节省了所有的蛮力测试麻烦,但缺点是长时间消耗大量的计算资源。在本文中,我们提出了一个自动化的神经架构搜索框架DQNAS,指导原则的强化学习以及一次性训练,旨在生成神经网络架构,表现出优越的性能,并具有最小的可扩展性问题。
2023-01-17 cs.AI cs.LG
Macro action selection with deep reinforcement learning in StarCraft
Bilibili(哔哩哔哩);Nanjing University(南京大学)
星际争霸(SC)是最流行和最成功的实时的战略(RTS)游戏之一。近年来,由于其巨大的状态空间、部分可观测信息、多智能体协作等特点,SC机器人被广泛认为是人工智能研究的一个具有挑战性的试验平台,在每年的AIIDE和CIG竞赛中,越来越多的SC机器人被提出并不断改进。然而,顶级机器人和专业人类玩家之间仍然存在很大的差距。一个重要的原因是,目前的SC机器人主要依靠预定义的规则来选择游戏中的宏动作。这些规则的可扩展性和效率不足以应对游戏中巨大但部分可观察的状态空间。在本文中,我们提出了一个深度强化学习(DRL)框架来改进宏动作的选择。我们的框架基于Ape-X DQN和长短期记忆(LSTM)的组合。我们使用这个框架来构建我们的机器人,命名为LastOrder。我们的评估基于AIIDE 2017星际争霸AI竞赛集的所有机器人的训练,显示LastOrder实现了83%的获胜率,在总共28个参赛者中超过了26个机器人。
2019-10-12 cs.AI
Learn 2 Rage: Experiencing The Emotional Roller Coaster That Is Reinforcement Learning
Australian Institute of Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
该研究总结 Learn-to-Race 自动驾驶赛车挑战赛获胜方案,由初始 SAC 像素到动作强化学习转向学习型视觉算子结合规则控制器,实现更少训练、更强泛化与可解释性,并大幅领先其他智能体。
2024-10-24 cs.CV cs.LG cs.RO
A Deep Reinforcement Learning Chatbot
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
我们介绍MILABOT:由蒙特利尔学习算法研究所(MILA)为亚马逊Alexa Prize竞赛开发的深度强化学习聊天机器人。MILABOT能够通过语音和文本与人类就流行的闲聊话题进行对话。该系统包括一个集成的自然语言生成和检索模型,包括基于模板的模型,词袋模型,序列到序列的神经网络和潜变量神经网络模型。通过将强化学习应用于众包数据和现实世界的用户交互,系统已经被训练为从其集合中的模型中选择适当的响应。该系统已通过A/B测试与现实世界的用户进行了评估,在那里它的表现明显优于许多竞争系统。由于其机器学习架构,该系统可能会随着额外的数据而改进。
2017-11-05 cs.AI cs.CL cs.LG
A Deep Reinforcement Learning Chatbot (Short Version)
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
我们介绍MILABOT:由蒙特利尔学习算法研究所(MILA)为亚马逊Alexa Prize竞赛开发的深度强化学习聊天机器人。MILABOT能够通过语音和文本与人类就流行的闲聊话题进行对话。该系统由自然语言生成和检索模型的集成,包括神经网络和基于模板的模型。通过将强化学习应用于众包数据和现实世界的用户交互,系统已经被训练为从其集合中的模型中选择适当的响应。该系统已通过A/B测试与现实世界的用户进行了评估,在那里它的表现明显优于其他系统。结果突出了将集成系统与深度强化学习耦合的潜力,这是开发真实世界,开放域会话代理的富有成效的途径。
2018-01-20 cs.AI cs.CL cs.LG