Developing AI agents capable of interacting with open-world environments to solve diverse tasks is a compelling challenge. However, evaluating such open-ended agents remains difficult, with current benchmarks facing scalability limitations. To address this, we introduce Minecraft Universe (MCU), a comprehensive evaluation framework set within the open-world video game Minecraft. MCU incorporates three key components: (1) an expanding collection of 3,452 composable atomic tasks that encompasses 11 major categories and 41 subcategories of challenges; (2) a task composition mechanism capable of generating infinite diverse tasks with varying difficulty; and (3) a general evaluation framework that achieves 91.5\% alignment with human ratings for open-ended task assessment. Empirical results reveal that even state-of-the-art foundation agents struggle with the increasing diversity and complexity of tasks. These findings highlight the necessity of MCU as a robust benchmark to drive progress in AI agent development within open-ended environments. Our evaluation code and scripts are available at https://github.com/CraftJarvis/MCU.
Unifying Behavioral and Response Diversity for Open-ended Learning in Zero-sum Games
Shanghai Jiao Tong University（上海交通大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）；University College London（伦敦大学学院）
衡量和促进政策多样性对于解决存在战略周期且没有一致赢家的具有强非传递动态的游戏至关重要（例如，石头剪刀布）。考虑到这一点，通过开放式学习来维护一个多样化的政策库是一个有吸引力的解决方案，它可以生成自动课程，以避免被利用。然而，在传统的开放式学习算法，有没有广泛接受的定义的多样性，这使得它很难构建和评估的多样性政策。在这项工作中，我们总结了以前的多样性的概念，并致力于提供一个统一的多样性措施，在多智能体开放式学习，包括马尔可夫游戏中的所有元素，基于行为多样性（BD）和响应多样性（RD）。在轨迹分布层次上，我们将状态-动作空间中的BD重新定义为占有测度的差异。对于奖励动力学，我们提出RD通过政策在遇到不同对手时的反应来表征多样性。我们还表明，目前的许多多样性措施属于BD或RD的类别之一，但不是两者兼而有之。利用这种统一的多样性测度，设计了开放式学习中寻求最佳对策时相应的多样性促进目标和种群有效性。我们验证我们的方法在两个相对简单的游戏，如矩阵游戏，非传递混合模型，和复杂的\textit{Google Research Football}环境。在矩阵博弈和非传递混合模型中，我们发现的种群具有最低的可利用性和最高的种群有效性;在\textit{Google Research Football}中，我们发现的种群在与不同水平的对手进行交互时具有最大的目标差。
Exploring open-ended gameplay features with Micro RollerCoaster Tycoon
OriGen.AI, Tandon School of Engineering New York University（纽约大学坦登工程学院OriGen.AI）；Tandon School of Engineering New York University（纽约大学坦登工程学院）；Cross Labs Cross Compass, Ltd.（Cross Compass有限公司Cross Labs）
AI Gamestore: Scalable, Open-Ended Evaluation of Machine General Intelligence with Human Games
MIT（麻省理工学院）；Harvard University（哈佛大学）；University of British Columbia（不列颠哥伦比亚大学）；Princeton University（普林斯顿大学）；University of Cambridge（剑桥大学）；Universitat Politècnica de València（瓦伦西亚理工大学）
When Stories Evolve: Benchmarking LLM Storytelling Across Agent Architectures in Open-Ended World Simulations
The University of Hong Kong（香港大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Beijing Institute of Mathematical Sciences and Applications (BIMSA)（北京数学科学与应用研究院）
Open-Ended Learning Leads to Generally Capable Agents
DeepMind（深度思维）
在这项工作中，我们创建的代理，可以执行远远超出一个单一的，个人的任务，表现出更广泛的行为概括到一个巨大的，丰富的挑战空间。我们定义了一个环境领域内的任务的宇宙，并展示了训练代理，一般能够跨越这个广阔的空间和超越的能力。环境是天生的多智能体，跨越竞争，合作和独立游戏的连续体，这些游戏位于程序生成的物理3D世界中。由此产生的空间是非常多样化的，在对代理人提出的挑战，因此，即使是测量代理人的学习进度是一个开放的研究问题。我们提出了一个迭代的概念，连续几代代理之间的改进，而不是寻求最大化一个单一的目标，使我们能够量化的进展，尽管任务是无与伦比的可实现的奖励。我们表明，通过构建一个开放式的学习过程，动态地改变训练任务分布和训练目标，使代理永远不会停止学习，我们实现了新行为的一致学习。由此产生的智能体能够在我们人类可解决的每一个评估级别中获得奖励，其行为可以推广到任务领域中的许多点。这种zero-shot概括的例子包括在Hide and Seek、Capture the Flag和Tag上的良好性能。通过分析和手工创作的探测任务，我们发现我们的代理人的行为，并发现有趣的新兴启发式行为，如试错实验，简单的工具使用，选项切换和合作。最后，我们证明了这个代理的一般能力可以通过廉价的微调解锁更大规模的行为转移。
SAG-Agent: Enabling Long-Horizon Reasoning in Strategy Games via Dynamic Knowledge Graphs
College of Computer Science, Sichuan University（四川大学计算机学院）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education（教育部机器学习与工业智能工程研究中心）；Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR）高性能计算研究所）；Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR）前沿人工智能研究中心）
Multi-Robot Open Adaptive Teaming Across Unseen Environments, Partners, and Scales
Shanghai Jiao Tong University（上海交通大学）；Sun Yat-sen University（中山大学）；National University of Singapore（新加坡国立大学）；Genisom AI；University of Bristol（布里斯托大学）；Purdue University（普渡大学）；Newcastle University（新castle大学）
Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
University of Macau（澳门大学）；Westlake University（西湖大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Cambridge（剑桥大学）；University of Aberdeen（阿伯丁大学）
