DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning
Texas A&M University(德州农工大学);Kwai Inc.(快手公司);Georgia Institute of Technology(佐治亚理工学院)
游戏是对现实世界的抽象,在游戏中,人工智能体学会与其他智能体竞争和合作。虽然各种完全信息和非完全信息游戏都取得了显著的成就,但斗地主(又名斗地主)斗地主),一个三人纸牌游戏,仍然没有解决。斗地主是一个非常具有挑战性的领域,竞争,合作,不完全信息,大的状态空间,特别是大量的可能行动,其中法律行动显着不同的回合。不幸的是,现代强化学习算法主要集中在简单和小的动作空间,并不奇怪,显示出没有取得令人满意的进展豆地主。在这项工作中,我们提出了一个概念上简单而有效的DouDizhu AI系统,即DouZero,它增强了传统的蒙特卡洛方法与深度神经网络,动作编码和并行演员。在一台拥有四个GPU的服务器上从零开始,DouZero在几天的训练中超越了所有现有的DouDizhu AI程序,并在344个人工智能智能体中排名Botzone排行榜第一。通过构建DouZero,我们证明了经典的Monte-Carlo方法可以在具有复杂动作空间的硬域中提供强有力的结果。代码和在线演示发布在https://github.com/kwai/DouZero上,希望这种见解可以激励未来的工作。
2021-06-11 cs.AI cs.LG
Diversity is Strength: Mastering Football Full Game with Interactive Reinforcement Learning of Multiple AIs
Netease(网易)
本文提出DIS框架,通过互联历史模型池结构和评估筛选方案同时训练多种AI,在不使用人类数据的情况下生成多样且强大的策略,首次在GRF复杂多智能体环境中同时赢得5v5和11v11赛道。
2023-06-28 cs.AI
Mastering Atari Games with Limited Data
Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校);Shanghai Qi Zhi Institute(上海期智研究院)
强化学习在许多应用中取得了巨大的成功。然而,样本效率仍然是一个关键的挑战,突出的方法需要数百万(甚至数十亿)的环境步骤来训练。最近,在样本高效的基于图像的RL算法方面取得了重大进展;然而,在Atari游戏基准测试中保持一致的人类水平性能仍然是一个难以捉摸的目标。我们提出了一个基于MuZero的高效的基于模型的视觉RL算法,我们称之为EfficientZero。我们的方法在Atari 100 k基准测试中实现了194.3%的平均人类性能和109.0%的中值性能,只有两个小时的实时游戏体验,并且在DMControl 100 k基准测试中的某些任务中优于国家SAC。这是第一次一个算法在Atari游戏上用这么少的数据实现超人的性能。EfficientZero的性能也接近DQN的2亿帧性能,而我们消耗的数据少500倍。EfficientZero的低样本复杂度和高性能可以使RL更接近现实世界的适用性。我们以易于理解的方式实现我们的算法,可以在https://github.com/YeWR/EfficientZero上找到。我们希望它将加速在更广泛的社区基于MCTS的RL算法的研究。
2021-12-12 cs.AI cs.CV cs.LG
Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Sun Yat-sen University(中山大学);Lehigh University(里海大学);College of Computing and Data Science, NTU(南洋理工大学计算与数据科学学院)
针对持续离线强化学习中智能体的可塑性-稳定性权衡挑战,提出基于经验回放的Continual Diffuser模型,构建含90个多领域任务的离线基准,实验证明其性能优于现有扩散方法及代表性基线。
2025-01-15 cs.AI cs.LG
Suphx: Mastering Mahjong with Deep Reinforcement Learning
Microsoft Research Asia(微软亚洲研究院);Kyoto University(京都大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);Nankai University(南开大学)
人工智能(AI)在许多领域都取得了巨大的成功,而游戏AI自诞生以来就被广泛认为是其滩头阵地。近年来,关于游戏AI的研究逐渐从相对简单的环境(例如,完全信息游戏如围棋、国际象棋、将棋或两个玩家的完全信息游戏如单挑德州扑克)到更复杂的游戏(例如,多玩家信息游戏,如多玩家德州扑克和StartCraft II)。麻将是一种流行于世界各地的多人信息博弈游戏,但由于其复杂的玩法/评分规则和丰富的隐藏信息,对人工智能研究非常具有挑战性。我们为麻将设计了一个名为Suphx的人工智能,它基于深度强化学习,并引入了一些新技术,包括全局奖励预测,预言指导和运行时策略自适应。Suphx在稳定排名方面表现出比大多数顶级人类玩家更强的表现,并且在Tenhou平台上所有官方排名的人类玩家中排名超过99.99%。这是计算机程序第一次在麻将中胜过大多数顶级人类玩家。
2020-04-01 cs.AI
Relative Variational Intrinsic Control
DeepMind(深度思维公司)
在没有外部奖励的情况下,智能体仍然可以通过识别和掌握环境中的一系列不同技能来学习有用的行为。现有的技能学习方法使用互信息目标来激励每种技能是多样的并且与其余技能区分开。然而,如果不注意限制技能多样化的方式,可能会出现琐碎的技能组合。为了确保有用的技能多样性,我们提出了一种新的技能学习目标,相对变分内在控制(RVIC),它激励学习技能,是在他们如何改变代理的关系,其环境中区分。由此产生的一组技能平铺了智能体可用的示能表示空间。我们定性地分析了多种环境下的技能行为,并展示了RVIC技能在分层强化学习中使用时比现有方法发现的技能更有用。
2020-12-14 cs.AI cs.LG
Sim2Dust: Mastering Dynamic Waypoint Tracking on Granular Media
本文提出Sim2Dust仿真到现实框架,通过大规模并行、程序化随机环境训练强化学习航点跟踪策略,并在月球模拟设施的轮式漫游车上零样本验证,证明程序化多样性优于静态场景训练。
2025-10-20 cs.AI cs.LG cs.RO
Beyond Reasoning: RL-Policy Guided LLM Inference for Efficient Strategy in Liar's Poker
Allometry Labs(Allometry实验室);Graduate School of Business, Columbia University(哥伦比亚大学商学院);Sauder School of Business, University of British Columbia(不列颠哥伦比亚大学萨德尔商学院)
本文提出Solly,首个在简化版骗子扑克中达到精英人类水平的AI,通过自我对战与深度强化学习实现超越人类和大语言模型的策略与表现。
2026-11-10 cs.AI cs.MA
Mastering Multi-Drone Volleyball through Hierarchical Co-Self-Play Reinforcement Learning
Tsinghua University(清华大学)
本文提出分层共自博弈强化学习框架,通过三阶段训练流水线实现多无人机volleyball任务的高水平战略协调与低水平敏捷控制,实验显示其在胜率和团队行为涌现方面的优越性能。
2026-02-26 cs.AI
Lipschitz Lifelong Monte Carlo Tree Search for Mastering Non-Stationary Tasks
The George Washington University(乔治·华盛顿大学)
本文提出 LiZero 方法,通过引入自适应 UCT(aUCT)将源任务知识迁移至非平稳新任务的探索与利用,实现了基于 MCTS 的 Lipschitz 终身规划,显著提升了采样效率并加快了收敛速度。
2025-02-02 cs.AI
Doctor-R1: Mastering Clinical Inquiry with Experiential Agentic Reinforcement Learning
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University(计算机科学与技术系,人工智能研究院,清华大学);College of AI, Tsinghua University(人工智能学院,清华大学);Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR),清华大学)
Doctor-R1通过经验代理强化学习提升临床决策与患者咨询能力,实现更高效的医疗咨询和决策支持。
2026-03-01 cs.AI
Mastering Continual Reinforcement Learning through Fine-Grained Sparse Network Allocation and Dormant Neuron Exploration
IHPC, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局IHPC);College of Computing and Data Science, Nanyang Technological University (NTU)(南洋理工大学计算与数据科学学院)
本文提出SSDE方法,通过结构化稀疏性下的细粒度参数分配和敏感性引导的休眠神经元再激活机制,在持续强化学习中同时提升可塑性与稳定性,并在CW10-v1基准上以95%成功率取得最优性能。
2025-03-10 cs.LG
RoboGolf: Mastering Real-World Minigolf with a Reflective Multi-Modality Vision-Language Model
Shanghai Qi Zhi Institute(上海期智研究院);Universität Hamburg(汉堡大学);Tsinghua University(清华大学)
RoboGolf提出基于视觉语言模型的框架,结合双摄像头感知、闭环动作细化与反射平衡循环,解决真实世界迷你高尔夫中的空间与运动动力学推球问题,并通过离线轨迹分析验证能力。
2024-07-21 cs.AI cs.RO
Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning
RobotEra TECHNOLOGY CO., LTD.(RobotEra科技有限公司);Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
本研究提出端到端强化学习框架DWL,通过去噪世界模型学习解决仿人机器人在复杂地形上的运动控制问题,实现全球首个掌握雪地、楼梯等挑战性地形的仿人机器人,并具备零样本仿真到现实迁移能力。
2024-08-26 cs.AI cs.RO cs.SY
Learning Curricula in Open-Ended Worlds
本文提出无监督环境设计(UED)方法,在智能体能力前沿自动生成开放式环境课程,并通过理论与实验证明其可显著提升强化学习智能体的鲁棒性与泛化能力。
2023-12-08 cs.AI cs.LG
ROCKET-1: Mastering Open-World Interaction with Visual-Temporal Context Prompting
PKU(北京大学);UCLA(加州大学洛杉矶分校);BIGAI(北京智源人工智能研究院)
针对视觉语言模型适配开放世界具身决策时语言难传空间信息的问题,提出视觉-时序上下文提示协议,结合SAM-2目标跟踪训练低层策略ROCKET-1,在Minecraft中实现76%的开放世界交互性能绝对提升。
2025-03-20 cs.AI cs.CV
SLAC: Safe and Efficient Real-Robot Reinforcement Learning via Unsupervised Simulation Pre-Training
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能);Amazon Robotics(亚马逊机器人技术)
研究旨在解决高自由度机器人强化学习难题,提出SLAC方法,利用低保真模拟器预训练潜在动作空间,通过定制无监督方法训练并用于新型离策略算法,在双手移动操纵任务中达领先性能,高效学习复杂任务。
2026-07-20 cs.AI cs.LG cs.RO
Modeling Survival in model-based Reinforcement Learning
Lamar University(拉马尔大学)
尽管最近的无模型强化学习算法已被证明能够掌握复杂的决策任务,但这些方法的样本复杂性仍然是将它们用于许多现实世界应用的障碍。在这方面,基于模型的强化学习提出了一些补救措施。然而,本质上,基于模型的方法在计算上更昂贵,并且容易出现次优。一个原因是模型生成的数据总是不如真实数据准确,这通常会导致不准确的转换和奖励函数模型。为了缓解这个问题,这项工作提出了生存的概念,通过讨论的情况下,代理的目标是生存和其类比,以最大限度地提高预期的回报。为此,一个替代模型的奖励函数逼近器的介绍,学习避免终端状态,而不是最大限度地从安全状态的累积奖励。集中在终端状态,作为状态空间的一小部分,大大减少了训练工作。接下来,提出了一种基于模型的强化学习方法(生存)训练代理,以避免危险的状态,通过建立在时间信用分配在附近的终端状态的安全地图模型。最后,所提出的算法的性能进行了研究,以及建议和当前的方法之间的比较。
2020-04-18 cs.AI cs.LG cs.RO
Interactive Imitation Learning for Dexterous Robotic Manipulation: Challenges and Perspectives -- A Survey
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了交互模仿学习在灵巧机械手操作中的挑战与前景,探讨了该方法在提升机器人灵巧操作能力方面的潜力与改进方向。
2025-08-11 cs.LG cs.RO
Scaling Tasks, Not Samples: Mastering Humanoid Control through Multi-Task Model-Based Reinforcement Learning
本文提出EfficientZero-Multitask算法,通过多任务模型基于强化学习提升人形机器人控制性能,实现高效样本利用和高任务适应性。
2026-03-02 cs.AI cs.RO
Discovering Diverse Multi-Agent Strategic Behavior via Reward Randomization
UC Berkeley(加州大学伯克利分校);UCSD(加利福尼亚大学圣地亚哥分校);CMU(卡内基梅隆大学);University of Washington(华盛顿大学);Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Peking University(北京大学)
我们提出了一个简单的,通用的和有效的技术,奖励随机化发现复杂的多智能体游戏中的不同的战略政策。将奖励随机化和策略梯度相结合,提出了一种新的策略优化算法--奖励随机策略梯度(RPG)。RPG是能够发现多个独特的人类可解释的战略,在具有挑战性的时间信任困境,包括网格世界的游戏和现实世界的游戏www.example.com,其中存在多个均衡,但标准的多代理策略梯度算法总是收敛到一个固定的一个次优的回报为每个球员,即使使用国家的最先进的探索技术。此外,通过RPG中的一组不同策略,我们可以(1)通过微调该组中的最佳策略来获得更高的收益;(2)通过使用这组策略作为其训练对手来获得自适应代理。源代码和示例视频可以在我们的网站上找到:www.example.com。
2021-03-12 cs.AI cs.LG
MrCoM: A Meta-Regularized World-Model Generalizing Across Multi-Scenarios
本文提出元正则化上下文世界模型MrCoM,通过状态空间分解、元状态正则化和元值正则化,实现跨多场景的统一世界模型泛化,并在实验中显著超越现有方法。
2025-11-09 cs.AI cs.LG
From Tabula Rasa to Emergent Abilities: Discovering Robot Skills via Real-World Unsupervised Quality-Diversity
Adaptive & Intelligent Robotics Lab(智能机器人实验室)
本文提出 URSA 框架,扩展 QDAC 以无监督方式让四足机器人在仿真和真实世界中发现并复用多样高性能运动技能,且在损伤适应任务上优于基线。
2025-08-28 cs.AI cs.LG cs.RO
DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning
University of Toronto(多伦多大学);Tsinghua University(清华大学)
提出DLWM框架,结合潜在空间推理与强化学习,通过多样化潜在假设和资源感知策略提升多模态推理效率,准确率提升2-5%,内存减少24%。
2026-11-19 cs.CV cs.LG
Trajectory-Oriented Policy Optimization with Sparse Rewards
School of Mathematical Sciences Beihang University Beijing, China;Institute of Artificial Intelligence Beihang University Beijing, China
针对稀疏奖励下深度强化学习探索困难的问题,提出利用离线演示轨迹和 MMD 轨迹距离约束策略优化,并在离散与连续控制任务中显著优于基线。
2024-04-10 cs.LG
AGI-Elo: How Far Are We From Mastering A Task?
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院);Singapore MIT Alliance for Research and Technology(新加坡-麻省理工联合研究和技术联盟)
本文提出AGI-Elo统一评级系统,通过模型与任务的竞争性交互,联合建模任务难度与模型能力,实现细粒度、难度感知的评估,并在多领域数据集上验证,为任务难度与模型进展提供新视角。
2025-05-24 cs.AI cs.RO
The Pensieve Paradigm: Stateful Language Models Mastering Their Own Context
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
StateLM 通过内部推理循环和记忆工具,使语言模型具备状态管理能力,从而在长文档问答、聊天记忆和深度研究任务中取得显著性能提升。
2026-02-12 cs.AI
CityLearn: Diverse Real-World Environments for Sample-Efficient Navigation Policy Learning
Queensland University of Technology(昆士兰科技大学);Universidad Nacional de Ingeniería(国立工程大学)
现实环境中的视觉导航任务通常需要自运动和位置识别反馈。虽然深度强化学习已经成功地以端到端的方式解决了这些感知和决策问题,但这些算法需要大量的经验来从高维数据中学习导航策略,由于样本复杂性,这对于真实机器人来说通常是不切实际的。在本文中,我们解决这些问题有两个主要贡献。我们首先利用位置识别和深度学习技术结合目标目的地反馈来生成紧凑的双峰图像表示,然后可以使用这些图像表示从少量的经验中有效地学习控制策略。第二,我们提出了一个交互式框架,CityLearn,它首次实现了在城市大小的、具有极端视觉外观变化的现实环境中训练和部署导航算法。CityLearn拥有10多个基准数据集,通常用于视觉位置识别和自动驾驶研究,包括全球60个城市的100多个记录的遍历。我们在两个CityLearn环境中评估我们的方法,在单个遍历上训练我们的导航策略。结果表明,我们的方法可以比使用原始图像时快2个数量级以上,并且还可以概括极端的视觉变化,包括白天到黑夜和夏季到冬季的过渡。
2020-03-02 cs.CV cs.LG cs.RO
ITBench: Evaluating AI Agents across Diverse Real-World IT Automation Tasks
IBM(国际商业机器公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ITBench框架,为AI智能体在SRE、CISO、FinOps等现实IT自动化任务提供基准测试方法,含94个场景,助力研究者理解挑战,推动AI驱动IT自动化发展。
2025-02-07 cs.AI cs.DC cs.MA
TrajGen: Generating Realistic and Diverse Trajectories with Reactive and Feasible Agent Behaviors for Autonomous Driving
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology Beijing(北京科技大学);Baidu Inc.(百度公司)
具有反应性和可行性代理行为的真实和多样化的仿真场景可用于自动驾驶系统性能的验证和验证,而无需依赖昂贵且耗时的真实世界测试。现有的模拟器依赖于基于抽象的背景车辆行为模型,无法捕捉真实场景中复杂的交互行为。为了弥合仿真和现实世界之间的差距,我们提出了TrajGen,一个两阶段的轨迹生成框架,它可以直接从人类演示捕获更真实的行为。特别是,TrajGen由多模态轨迹预测阶段和基于强化学习的轨迹修改阶段组成。在第一阶段,我们提出了一种新的辅助RouteLoss的轨迹预测模型,以产生多模态的不同轨迹在可驾驶区域。在第二阶段,使用强化学习来跟踪预测轨迹,同时避免碰撞,这可以提高生成轨迹的可行性。此外,我们开发了一个数据驱动的模拟器I-Sim,可用于并行训练强化学习模型的基础上自然驾驶数据。I-Sim中的车辆模型可以保证TrajGen生成的轨迹满足车辆运动学约束。最后,我们给出了全面的指标来评估模拟场景中生成的轨迹,这表明TrajGen在保真度,反应性,可行性和多样性方面优于轨迹预测或逆强化学习。
2022-03-31 cs.AI cs.RO
Choosing the Best of Both Worlds: Diverse and Novel Recommendations through Multi-Objective Reinforcement Learning
University of Novi Sad(诺维萨德大学);Telefonica Research(西班牙电信研究院);Google Research(谷歌研究院);Shandong University(山东大学)
自推荐系统(RS)出现以来,推荐的准确性(相关性)一直是评价RS算法质量的金标准。然而,通过关注项目相关性,人们在其他重要指标方面付出了巨大的代价:用户陷入“过滤泡沫”,他们的选项阵列显着减少,从而降低了用户体验的质量并导致流失。推荐,特别是基于会话的/顺序的推荐,是一项复杂的任务,具有多个并且经常相互冲突的目标,现有的最先进的方法无法解决。在这项工作中,我们接受了上述挑战,并为RS设置引入了标量化多目标强化学习(SMORL),这是一种新型的强化学习(RL)框架,可以有效地解决多目标推荐任务。建议的SMORL代理增强了标准推荐模型,增加了RL层,使其同时满足三个主要目标:推荐的准确性,多样性和新颖性。我们将这个框架与四个最先进的基于会话的推荐模型相结合,并将其与只关注准确性的单目标RL代理进行比较。我们在两个真实世界数据集上的实验结果显示,总体多样性大幅增加,准确性适度提高,推荐的重复性降低,并证明了加强多样性和新颖性作为补充目标的重要性。
2021-10-28 cs.IR cs.LG
Language-Driven Active Learning for Diverse Open-Set 3D Object Detection
University of California San Diego(加利福尼亚大学圣迭戈分校);Aalborg Universitet(奥尔堡大学)
针对自动驾驶3D场景中少数类与新型目标检测难题,提出语言驱动的主动学习框架VisLED及VisLED-Querying算法,可在开放/封闭世界设置下查询多样有效样本,在nuScenes上性能优于随机采样、媲美熵查询方法。
2024-06-18 cs.AI cs.CV cs.LG
ScreenExplorer: Training a Vision-Language Model for Diverse Exploration in Open GUI World
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
针对现有GUI智能体泛化能力差、依赖人工数据的问题,本文提出ScreenExplorer,利用GRPO在真实开放GUI环境中训练VLM,并引入基于世界模型的好奇心奖励与经验蒸馏,显著提升探索能力和环境适应性。
2025-05-25 cs.AI
Collaborative Deterministic-Probabilistic Forecasting for Diverse Spatiotemporal Systems
Tsinghua University(清华大学)
本文提出 CoST 框架,通过确定性模型与轻量扩散模型协同进行均值-残差分解,并引入尺度感知扩散,在十类真实数据集上提升预测性能并降低计算成本。
2025-09-27 cs.AI cs.LG
Efficient Generation of Diverse Cooperative Agents with World Models
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出 XPM-WM 框架,利用学习到的世界模型生成模拟轨迹,以降低零样本协调中多样化伙伴种群的训练成本,并在保持性能的同时提升样本效率与可扩展性。
2026-10-27 cs.AI
SafeAPT: Safe Simulation-to-Real Robot Learning using Diverse Policies Learned in Simulation
Aalto University(阿尔托大学)
仿真到真实学习的框架,即在仿真中学习策略并将这些策略转移到现实世界中,是机器人数据高效学习最有前途的方法之一。然而,由于仿真和真实世界之间不可避免的现实差距,在仿真中学习的策略可能并不总是在真实机器人上生成安全行为。因此,在现实世界中的策略的适应期间,机器人可能会损坏自身或对其周围环境造成伤害。在这项工作中,我们引入了一种新的学习算法称为SafeAPT,利用不同的剧目的政策演变的模拟和转移最有前途的安全政策,真正的机器人通过情节互动。为了实现这一点,SafeAPT迭代地学习概率奖励模型以及使用现实世界的观察与模拟经验相结合作为先验的安全模型。然后,它使用奖励模型对指令集执行贝叶斯优化,同时使用安全模型保持指定的安全约束。SafeAPT允许机器人安全地适应各种目标,并在模拟中使用相同的策略。我们比较了SafeAPT与几个基线,无论是在模拟和真实的机器人实验,并表明SafeAPT发现高性能的政策在几分钟内在现实世界中,同时最大限度地减少安全违规的互动过程中。
2022-01-27 cs.AI cs.LG cs.NE
The brain versus AI: World-model-based versatile circuit computation underlying diverse functions in the neocortex and cerebellum
Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
该研究通过将回路计算细分为结构、输入输出和学习算法三要素,比较大脑新皮层、小脑与AI的相似性,提出整合内部模型等理论的新学说,揭示通用世界模型计算是脑区以统一回路实现多功能的核心机制。
2024-11-29 cs.AI q-bio.NC
Diverse Auto-Curriculum is Critical for Successful Real-World Multiagent Learning Systems
University College London(伦敦大学学院);Huawei R&D U.K.(华为英国研发部);Huawei Canada(华为加拿大公司);Shanghai Jiao Tong University(上海交通大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
多智能体强化学习(MARL)在解决各种类型的视频游戏方面取得了显着的成功。这种成功的基石是自动课程框架,它通过不断为代理创建新的挑战性任务来适应,从而促进新技能的获得,从而塑造学习过程。为了将MARL方法扩展到视频游戏之外的现实世界领域,我们在这篇蓝天论文中设想,保持多样性意识的自动课程对于成功的MARL应用程序至关重要。具体来说,我们认为,\emph{behavioural diversity}是一个关键的,但未充分探索,现实世界的多智能体学习系统的组成部分,并在了解如何设计一个多样性意识的自动课程的重要工作。我们列出了自动课程技术的四个开放性挑战,我们认为这些挑战值得这个社区更多的关注。为了验证我们的愿景,我们建议将自动驾驶中的现实交互行为建模作为重要的测试平台,并推荐SMARTS/ULTRA基准测试。
2021-02-16 cs.AI cs.MA
DiffRoad: Realistic and Diverse Road Scenario Generation for Autonomous Vehicle Testing
Shanghai Jiao Tong University(上海交通大学);Shanghai University(上海大学);Shanghai Institute of Technology(上海应用技术大学);National University of Singapore(新加坡国立大学)
提出DiffRoad扩散模型,通过逆向去噪过程和Road-UNet架构生成可控高保真3D道路场景,并利用道路连续性与合理性指标筛选场景,为自动驾驶测试提供丰富场景库。
2024-11-14 cs.AI cs.LG cs.RO
Learning to Model the World with Language
UC Berkeley(加州大学伯克利分校)
提出 Dynalang 智能体,通过学习多模态世界模型将多样化语言作为预测未来的信号,统一语言理解与未来预测,在多种任务中显著提升性能并支持纯文本预训练与基于环境的语言生成。
2024-05-31 cs.AI cs.CL cs.LG
MCP-Flow: Facilitating LLM Agents to Master Real-World, Diverse and Scaling MCP Tools
TikTok;Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校)
MCP-Flow通过自动化流程提升LLM在现实世界MCP环境中的能力,通过大规模服务器发现、数据合成和模型训练,生成高质量指令-功能调用对和轨迹,推动代理任务性能提升。
2026-04-16 cs.AI
Ensuring Fair LLM Serving Amid Diverse Applications
Virginia Tech(弗吉尼亚理工大学);Microsoft(微软公司);University of Virginia(弗吉尼亚大学)
本文针对多租户LLM平台中请求滥用导致的不公平问题,基于MS CoPilot真实数据提出FairServe系统,通过应用特征感知限流和加权服务计数器调度确保公平访问,实验证明其优于现有方法。
2024-11-24 cs.AI cs.DC cs.LG
CrafText Benchmark: Advancing Instruction Following in Complex Multimodal Open-Ended World
AIRI;MIPT(莫斯科物理技术学院);FRC CSC RAS(俄罗斯科学院应用数学与控制论研究所)
本文提出多模态动态环境指令遵循基准 CrafText,含3,924条指令、3,423个独特词及四类任务,并设计评估协议以测试模型对新颖表述和动态任务的泛化与决策能力。
2025-05-17 cs.AI
WorldScore: A Unified Evaluation Benchmark for World Generation
Stanford University(斯坦福大学)
WorldScore提出一个统一评估基准,用于评估不同世界生成方法,涵盖3D、4D场景生成及视频生成,通过可控性、质量和动态性三个维度评估19种模型。
2025-11-29 cs.AI cs.CV cs.GR
ARKitScenes: A Diverse Real-World Dataset For 3D Indoor Scene Understanding Using Mobile RGB-D Data
Apple(苹果公司)
场景理解是一个非常活跃的研究领域。商业深度传感器,如Kinect,在过去几年中已经发布了几个RGB-D数据集,这些数据集催生了3D场景理解的新方法。最近,随着苹果iPad和iPhone中LiDAR传感器的推出,数百万人可以在他们常用的设备上访问高质量的RGB-D数据。这为计算机视觉社区以及应用程序开发人员开启了一个全新的场景理解时代。场景理解的基础研究以及机器学习的进步现在可以影响人们的日常体验。然而,将这些场景理解方法转化为现实世界的体验需要额外的创新和开发。本文介绍ARKitScenes。它不仅是第一个使用现在广泛使用的深度传感器捕获的RGB-D数据集,而且据我们所知,它也是发布的最大的室内场景理解数据。除了来自移动终端的原始数据和处理后的数据外,ARKitScenes还包括使用固定激光扫描仪捕获的高分辨率深度图,以及用于大型家具分类的手动标记的3D定向边界框。我们进一步分析了两个下游任务的数据的有用性:3D目标检测和颜色引导的深度上采样。我们证明了我们的数据集可以帮助推动现有最先进方法的界限,并引入了更好地代表现实世界场景的新挑战。
2022-01-12 cs.AI cs.CV
Scalable RF Simulation in Generative 4D Worlds
University of Pennsylvania(宾夕法尼亚大学)
提出WaveVerse框架,通过语言引导的4D世界生成器和物理信号模拟器实现可扩展的射频信号仿真,在相位敏感基准上表现高保真度,并有效提升下游任务性能。
2026-05-27 cs.AI cs.CV eess.SP
Q&A Prompts: Discovering Rich Visual Clues through Mining Question-Answer Prompts for VQA requiring Diverse World Knowledge
School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文提出Q&A Prompts方法,通过训练视觉问题生成模型挖掘图像中的问答对作为丰富视觉线索,并将其作为提示输入多模态大语言模型,在OK-VQA和A-OKVQA等需要世界知识的视觉问答数据集上取得显著提升。
2024-10-12 cs.AI cs.CL cs.CV
Casper: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
Casper系统利用预训练视觉语言模型的常识知识,通过开放世界感知、VLM意图推断和技能库,在辅助遥操作中实时推断多样化人类意图并执行灵活技能,实验证明其优于直接遥操作和现有辅助遥操作基线。
2025-07-04 cs.AI cs.RO