BLOCK: An Open-Source Bi-Stage MLLM Character-to-Skin Pipeline for Minecraft
BLOCK通过双阶段流程生成Minecraft皮肤，结合MLLM和FLUX.2模型，提出EvolveLoRA提升生成稳定性与效率。
2026-03-12 cs.AI cs.CV
Auto MC-Reward: Automated Dense Reward Design with Large Language Models for Minecraft
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）；OpenGVLab, Shanghai AI Laboratory（上海人工智能实验室，OpenGVLab）；Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出Auto MC-Reward系统，利用大语言模型自动设计、验证并迭代Minecraft中的稠密奖励函数，以解决稀疏奖励下的探索效率问题，显著提升了智能体在复杂任务中的成功率和学习效率。
2024-03-30 cs.AI cs.CL cs.CV
Experience-based Knowledge Correction for Robust Planning in Minecraft
Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系）；Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院）
XENON通过经验修正知识，提升Minecraft中的鲁棒规划能力，优于现有方法。
2026-02-18 cs.AI cs.LG
Ghost in the Minecraft: Generally Capable Agents for Open-World Environments via Large Language Models with Text-based Knowledge and Memory
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Institute of Automation, Chinese Academy of Science (CASIA)（中国科学院自动化研究所）；Centre for Artificial Intelligence and Robotics, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新中心）
提出 GITM 框架，利用 LLM 结合文本知识、记忆与结构化动作规划 Minecraft 智能体，显著提升 ObtainDiamond 成功率并首次集齐主世界科技树物品。
2023-06-01 cs.AI cs.CL cs.CV
MCPDial: A Minecraft Persona-driven Dialogue Dataset
Vector Institute for AI（Vector人工智能研究所）；Microsoft Research（微软研究院）；University of British Columbia（不列颠哥伦比亚大学）
本研究提出用大语言模型生成游戏中人格驱动对话的方法，构建了含丰富角色描述、长对话及规范函数调用的Minecraft对话数据集MCPDial，并通过定性分析验证其质量。
2024-10-29 cs.AI cs.CL
The AI Settlement Generation Challenge in Minecraft: First Year Report
University of Hertfordshire（赫特福德大学）；New York University（纽约大学）
这篇文章概述了我们从Minecraft中的AI定居点生成竞赛的第一年中学到的东西，这是一场关于制作AI程序的竞赛，这些程序可以在Minecraft中为看不见的地图生成有趣的定居点。这一挑战旨在集中研究适应性和整体的程序内容生成。根据现有地图生成Minecraft城镇和村庄是一项合适的任务，因为它要求生成的内容同时具有自适应性，功能性，唤起性和美学性。在这里，我们介绍了第一次迭代的比赛结果。我们讨论了评估方法，提出了不同的技术方法的竞争对手，并概述了开放的问题。
2021-03-27 cs.AI
Voyager: An Open-Ended Embodied Agent with Large Language Models
UT Austin（德克萨斯大学奥斯汀分校）；UW Madison（威斯康星大学麦迪逊分校）；NVIDIA（英伟达）；Caltech（加州理工学院）；Stanford（斯坦福大学）
Voyager是首个在Minecraft中由LLM驱动的具身终身学习智能体，通过自动课程、可执行代码技能库和迭代提示机制实现无需人工干预的持续探索与技能获取，在获取物品和完成任务上远超现有SOTA。
2023-10-19 cs.AI cs.LG
Comparing PCG metrics with Human Evaluation in Minecraft Settlement Generation
University of Hertfordshire（赫特福德大学）
有一系列的度量标准可以应用于过程化内容生成所产生的工件，其中有几个带有定性声明。在本文中，我们调整了一系列现有的PCG指标来生成Minecraft定居点，开发了一些受PCG文献启发的新指标，并将所得测量结果与现有的人类评估进行了比较。目的是分析这些指标如何在不同类别中捕获人类评估分数，指标如何推广到另一个游戏领域，以及指标如何处理更复杂的工件。我们提供了各种指标的探索性研究，并提供了信息增益和几个相关性分析。我们发现了人类得分和衡量特定元素的指标之间的一些关系，衡量块的多样性，并衡量目前复杂块的制作材料的存在。
2021-07-06 cs.AI
Believable Minecraft Settlements by Means of Decentralised Iterative Planning
LIACS, Universiteit Leiden（莱顿大学莱顿计算机科学与先进计算研究所）
本文提出一种去中心化迭代规划方法，用于在Minecraft中生成可信且适应随机地形的聚落，并凭借该方法赢得GDMC 2022竞赛，且可迁移至其他程序化生成任务。
2023-09-19 cs.AI
MineObserver 2.0: A Deep Learning & In-Game Framework for Assessing Natural Language Descriptions of Minecraft Imagery
University of Illinois - Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出结合计算机视觉与自然语言处理的MineObserver 2.0框架，可实时评估Minecraft科学学习中学习者自然语言观察描述的准确性，配套教师仪表盘，研究显示其准确性与反馈实用性均优于前代，未来将优化描述与持续学习能力。
2023-12-19 cs.AI
Generative Design in Minecraft (GDMC), Settlement Generation Competition
University of Hertfordshire（赫特福德大学）；New York University（纽约大学）
本文介绍了Minecraft的定居生成竞赛，这是Minecraft生成设计挑战赛的第一部分。定居点生成竞赛是关于创建人工智能（AI）代理，这些代理可以根据给定的Minecraft地图生成功能，美观和可信的定居点-理想情况下，可以与人类创建的设计竞争。比赛的目的是推进游戏的程序化内容生成，特别是在克服自适应和整体PCG的挑战方面。本文介绍了挑战赛的技术细节，但主要集中在这次比赛提供了什么样的挑战，以及为什么它们是科学相关的。
2018-07-31 cs.AI cs.CY
Generating Redstone Style Cities in Minecraft
Southern University of Science and Technology（南方科技大学）；New York University（纽约大学）
本研究针对《我的世界》城市生成需求，提出含六步流程、支持三种布局算法的红石风格城市生成器，经测试与用户调研验证其在不同地形及适配、功能维度表现优异。
2023-07-19 cs.AI
JARVIS-VLA: Post-Training Large-Scale Vision Language Models to Play Visual Games with Keyboards and Mouse
Peking University（北京大学）；BIGAI（大疆创新）
提出基于视觉语言后训练的动作执行方法，通过自监督优化视觉语言模型，在 Minecraft 中实现超 1k 种原子任务，较最佳基线提升 40%，达到 SOTA。
2025-09-12 cs.AI cs.CV
BAP v2: An Enhanced Task Framework for Instruction Following in Minecraft Dialogues
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Amazon（亚马逊）；Amazon AGI（亚马逊人工智能实验室）
针对《我的世界》对话中的指令跟随任务，提出BAP v2框架，通过改进评估、生成合成数据并引入新模型Llama-CRAFTS，将F1分数提升至53.0，较先前工作提高6个百分点。
2025-09-23 cs.AI cs.CL
Automated Isovist Computation for Minecraft
University of Hertfordshire（赫特福德大学）
游戏的程序化内容生成在研究和行业中都是一个日益增长的趋势，尽管对于内容的好坏以及如何自动评估没有达成共识。过去已经开发了许多指标，通常集中在工件的整体上，大多缺乏人类经验的基础。在这项研究中，我们开发了一套新的自动化指标，从建筑的想法，即isovists和空间语法，这有一个跟踪记录捕捉人类的空间体验的动机。这些度量可以从玩家的角度针对特定游戏状态来计算，并且考虑它们在游戏世界中的实施例。我们将展示如何将这些指标应用于Minecraft的3D区块世界。我们使用来自Minecraft中的GDMC结算生成挑战的生成结算数据集，并在isovist属性和人类评委给予这些设置元素的评级之间建立了几个基于排名的相关性。我们还制作了一系列热图，展示了该方法基于位置的适用性，这允许开发这些指标作为特定时间和空间的游戏体验的衡量标准。
2022-04-07 cs.AI
Describe, Explain, Plan and Select: Interactive Planning with Large Language Models Enables Open-World Multi-Task Agents
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）；Computer Science Department, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学系）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
针对开放世界多任务具身智能体的长期规划与并行子目标排序难题，提出基于LLM的交互式DEPS方法，通过描述、解释和可训练目标选择器纠错并改进计划。
2024-07-08 cs.AI
Knowledge Graph-enhanced Large Language Model for Incremental Game PlayTesting
Southwest University（西南大学）；Waseda University（早稻田大学）；Institute of Science Tokyo（东京科学研究院）
本文提出KLPEG框架，通过构建知识图谱积累游戏知识并利用LLMs解析更新日志进行多跳推理，精准定位增量更新影响范围并生成定制测试用例，显著提升了自动化playtesting的效率与准确性。
2025-11-04 cs.AI
Minecraft-ify: Minecraft Style Image Generation with Text-guided Image Editing for In-Game Application
School of Art and Technology, Chung-Ang University（中央大学艺术与技术学院）；VIVE STUDIOS（VIVE工作室）；GSAIM, Chung-Ang University（中央大学GSAIM）；Department of Computer Science and Engineering, Chung-Ang University（中央大学计算机科学与工程系）
提出 Minecraft-ify 角色纹理生成系统，可基于真实图像或学习分布生成适配立方体三维角色的面部纹理，并通过 StyleGAN 与 StyleCLIP 实现文本引导编辑。
2024-03-03 cs.AI cs.CV cs.GR
Creative Agents: Empowering Agents with Imagination for Creative Tasks
School of Computer Science Peking University（北京大学计算机学院）
本研究提出通过增强想象力的创意代理，首次在Minecraft生存模式中实现多样化建筑创建，利用大语言模型和扩散模型提升创造力表现。
2025-12-26 cs.AI cs.LG
Plancraft: an evaluation dataset for planning with LLM agents
University of Edinburgh（爱丁堡大学）
本文提出 Plancraft 多模态评测数据集，基于 Minecraft 合成界面评估 LLM 智能体的规划、工具使用与决策能力，发现现有模型在规划任务上表现不佳并给出改进建议。
2025-07-15 cs.AI cs.CL
Why Build an Assistant in Minecraft?
在本文中，我们描述了一个研究计划的基本原理，旨在建立一个开放的“助理”在游戏Minecraft，以取得进展的问题，自然语言理解和学习对话。
2019-07-25 cs.AI cs.CL
ADAM: An Embodied Causal Agent in Open-World Environments
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对开放世界中现有智能体因果知识学习难、可解释性与泛化性弱的问题，提出由四大模块组成的具身因果智能体ADAM，可从零构建因果图，在Minecraft中表现出强鲁棒性与泛化能力，开创了因果方法与具身智能体融合的新范式。
2024-10-29 cs.AI cs.CL cs.CV
Open-Ended Evolution for Minecraft Building Generation
Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）
本文提出了一个程序内容生成器，它根据新颖性的开放式和内在定义来演化Minecraft建筑。为了实现这一目标，我们使用3D自动编码器评估个体在潜在空间中的新颖性，并在探索和转换阶段之间交替。在探索过程中，系统通过CPPN-NEAT和潜在空间（由当前自动编码器定义）中的约束新颖性搜索来进化多个CPPN种群。我们应用一组修复和约束函数，以确保候选人在进化过程中遵守基本的结构规则和约束。在转换过程中，我们重塑潜在空间的边界，通过用新的内容重新训练自动编码器来识别解空间中新的有趣区域。在这项研究中，我们评估了五种不同的方法来训练自动编码器在转型及其对人口的质量和多样性在进化过程中的影响。我们的研究结果表明，通过重新训练自动编码器，与静态模型相比，我们可以实现更好的开放式复杂度，当使用具有不同复杂度的个体的更大数据集进行重新训练时，这种复杂度会进一步提高。
2022-09-07 cs.AI cs.LG cs.NE
WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents
Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；University of Maryland（马里兰大学）；Tencent（腾讯）
本文提出神经符号方法WALL-E，通过无梯度规则学习将LLM与环境动态对齐以构建精确世界模型，并基于MPC优化前瞻动作，在Minecraft和ALFWorld中以更低成本取得更高成功率。
2024-10-11 cs.AI
Generative Design in Minecraft: Chronicle Challenge
University of Hertfordshire（赫特福德大学）；Queen Mary, University of London（伦敦大学玛丽皇后学院）；New York University（纽约大学）
我们引入编年史挑战作为Minecraft中结算生成挑战的可选补充。整体竞争的焦点之一是自适应程序内容生成（PCG），这是计算创造力中一个可以说是未充分探索的问题。在基础挑战中，参与者必须创建新的定居点，以响应世界上现有的内容，如景观或气候。我们的目标是了解潜在的创造性过程，并设计更好的PCG系统。编年史挑战特别关注以自然语言表达的生成定居点历史为基础的叙事生成。我们讨论了编年史挑战赛的独特之处，与其他比赛相比，澄清了有资格提交的编年史的特点，并描述了评估标准。此外，我们借鉴了基于模拟的方法在计算的故事作为例子，如何应对这一挑战。
2019-05-14 cs.AI cs.CL cs.CY
Modular Procedural Generation for Voxel Maps
University of Arizona（亚利桑那大学）
在Minecraft中开发的任务环境在人工智能（AI）研究中越来越受欢迎。然而，目前大多数这些是手动构建的，因此未能利用程序内容生成（PCG），一个独特的虚拟任务环境的能力。在本文中，我们提出了mcg，一个开源库，以促进实现PCG算法的基于体素的环境，如Minecraft。该库的设计考虑到人机协作研究，因此采取“自上而下”的生成方法，同时生成适合实证研究的低级和高级机器可读表示。这些可以被考虑人类空间认知的下游人工智能应用程序使用。这种方法的好处包括快速、可扩展和有效地开发虚拟环境，在语义级别控制环境统计的能力，以及响应玩家实时的动作生成新环境的能力。
2021-04-18 cs.AI
Large Language Model (LLM) as a System of Multiple Expert Agents: An Approach to solve the Abstraction and Reasoning Corpus (ARC) Challenge
National University of Singapore（新加坡国立大学）
本研究提出将LLM构建为多专家智能体系统，通过文本抽象空间转换、联想推导动作程序及迭代环境反馈解决ARC挑战，在111道训练题上达45%准确率，证明了该思路的可行性与拓展潜力。
2023-10-08 cs.AI cs.CL
World Models with Hints of Large Language Models for Goal Achieving
The Ohio State University（俄亥俄州立大学）；University of Maryland, College Park（马里兰大学学院公园分校）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai AI Lab（上海人工智能实验室）
本文提出 DLLM，将 LLM 生成的提示性子目标融入世界模型推演并据此分配内在奖励，从而在多种稀疏奖励环境中显著提升长时序目标达成性能。
2024-06-11 cs.AI cs.LG
DreamCraft: Text-Guided Generation of Functional 3D Environments in Minecraft
New York University（纽约大学）；Meta
提出DreamCraft方法，通过训练量化神经辐射场并利用专门损失项整合功能约束，在Minecraft中实现了从自由文本生成匹配描述且具备功能性（如满足邻接规则）的3D制品。
2024-04-23 cs.AI cs.CL cs.GR
Vision-Language Models Provide Promptable Representations for Reinforcement Learning
U.C. Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文提出利用预训练视觉语言模型作为可提示表示来初始化强化学习策略，在Minecraft和Habitat任务中优于通用嵌入，且通过思维链提示提升新场景性能1.5倍。
2024-05-23 cs.AI cs.CV cs.LG
Game Generation via Large Language Models
Southern University of Science and Technology（南方科技大学）
本文提出基于LLM的框架，利用视频游戏描述语言同时生成游戏规则与关卡，扩展了LLM在程序化内容生成领域的应用。
2024-05-30 cs.AI
The Embodied World Model Based on LLM with Visual Information and Prediction-Oriented Prompts
University of York（约克大学）；Kyushu Institute of Technology（九州工业大学）
本研究针对VOYAGER具身AI视觉数据利用不足等问题，探讨了结合视觉信息与面向预测的提示来发挥LLM作为世界模型的功能，实验证明该方法有效提升了具身AI性能。
2024-06-02 cs.AI cs.CL
ImproBR: Bug Report Improver Using LLMs
Bilkent University（比尔肯特大学）
ImproBR通过结合DistilBERT、启发式分析和LLM分析，提升bug报告的结构完整性、可执行性及可复现性，显著提高质量。
2026-04-28 cs.AI cs.SE
ROCKET-1: Mastering Open-World Interaction with Visual-Temporal Context Prompting
PKU（北京大学）；UCLA（加州大学洛杉矶分校）；BIGAI（北京智源人工智能研究院）
针对视觉语言模型适配开放世界具身决策时语言难传空间信息的问题，提出视觉-时序上下文提示协议，结合SAM-2目标跟踪训练低层策略ROCKET-1，在Minecraft中实现76%的开放世界交互性能绝对提升。
2025-03-20 cs.AI cs.CV
APT: Architectural Planning and Text-to-Blueprint Construction Using Large Language Models for Open-World Agents
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出 LLM 驱动的 APT 框架，通过思维链、多模态输入、记忆与反思让 Minecraft 智能体规划并构建复杂建筑，并配套基准验证其性能与涌现能力。
2024-11-29 cs.AI cs.LG
VLIS: Unimodal Language Models Guide Multimodal Language Generation
Yonsei University（延世大学）
针对现有视觉-语言模型复杂语言理解能力不足的问题，提出无需额外训练的VLIS框架，以视觉-语言模型提取的图-文逐点互信息为重要性采样权重调整纯文本模型词元似然，在多类任务上取得提升，为多模态语言生成提供新方向。
2023-12-19 cs.AI cs.CL
Multi-Programming Language Ensemble for Code Generation in Large Language Model
NinjaTech AI（忍者科技人工智能）
提出MPLE多编程语言集成框架，将各语言代码生成视为弱专家并融合输出，可结合反思与MCTS，在HumanEval等基准上最高提升17.92%。
2024-09-06 cs.AI cs.CL
Natural Language Generation Using Link Grammar for General Conversational Intelligence
Saratoga High School（萨拉托加高中）；SingularityNET Foundation（奇点网络基金会）；Aigents（Aigents公司）；Novosibirsk State University（新西伯利亚国立大学）
许多当前的人工通用智能（AGI）和自然语言处理（NLP）架构不具备通用会话智能-也就是说，它们要么不处理语言，要么无法在没有手动劳动密集型方法（如基于模板的定制）的情况下以类似于人类语言的形式传达知识。在本文中，我们提出了一种使用Link Grammar数据库自动生成语法有效句子的新技术。这种自然语言生成方法远远优于当前最先进的基线，并且可以作为原型AGI问答管道中的最终组件，可以理解地处理自然语言材料。
2021-04-19 cs.AI cs.CL
Matrix-Game: Interactive World Foundation Model
Skywork AI
Matrix-Game是一个基于两阶段训练和超170亿参数的交互式世界基础模型，实现Minecraft中可控视频生成，并在GameWorld Score基准上全面超越现有开源模型。
2025-06-23 cs.AI cs.CV
Octopus: Embodied Vision-Language Programmer from Environmental Feedback
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）；BUPT（北京邮电大学）；XJTU（西安交通大学）；Hong Kong Baptist University（香港浸会大学）
Octopus提出以可执行代码生成连接高层规划与底层操作，并利用环境反馈强化学习（RLEF）优化具身智能体决策，在OctoVerse多任务环境中验证了其有效性。
2024-10-20 cs.AI cs.CV cs.LG
See and Think: Embodied Agent in Virtual Environment
Zhejiang University（浙江大学）；University of Washington（华盛顿大学）；Hong Kong University of Science and Technology (GZ)（香港科技大学（广州））
针对虚拟环境具身智能体构建需求，提出融合视觉感知、语言推理与代码动作的Minecraft智能体STEVE，配套构建多类型数据集，实验验证其在科技树解锁与方块搜索任务上的速度优势。
2024-07-09 cs.AI
StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Aether AI Lab（以太人工智能实验室）
研究针对长时程任务中智能体任务进展难解释、验证和恢复的问题，提出StructAgent框架，通过统一因果结构维护任务进展并规范工作流程，实验证明其能提升多种模型性能且具有通用性。
2026-07-14 cs.AI cs.CL cs.LG
Shape Inference and Grammar Induction for Example-based Procedural Generation
KU Leuven（鲁汶大学）
设计师越来越多地依赖于过程生成来自动生成各个行业的内容。这些技术需要对所需内容以及如何实际实现这些过程方法的广泛了解。从示例内容中学习可解释的生成模型的算法可以减轻这两个困难。我们提出了SIGI，一种新的方法，用于推断形状和诱导形状语法从基于网格的3D建筑的例子。这种可解释的语法非常适合于协同创新设计。应用于Minecraft建筑，我们展示了如何使用形状语法自动生成类似风格的新建筑。
2021-09-21 cs.AI cs.LG
MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
NVIDIA（英伟达）；Columbia（哥伦比亚大学）；SJTU（上海交通大学）；Caltech（加州理工学院）；Stanford（斯坦福大学）；UT Austin（德克萨斯大学奥斯汀分校）
自主智能体在Atari游戏和围棋等专业领域取得了长足的进步。然而，他们通常在孤立的环境中学习白板，目标有限且手动构思，因此无法概括广泛的任务和能力。受人类如何在开放世界中不断学习和适应的启发，我们倡导构建通才代理的三位一体的成分：1）支持多种任务和目标的环境，2）多模式知识的大规模数据库，以及3）灵活和可扩展的代理架构。我们介绍MineDojo，这是一个基于流行的Minecraft游戏构建的新框架，其特点是具有数千个不同的开放式任务的模拟套件以及包含Minecraft视频、教程、维基页面和论坛讨论的互联网规模知识库。使用MineDojo的数据，我们提出了一种新的代理学习算法，利用大型预训练的视频语言模型作为学习的奖励函数。我们的代理能够解决各种自由形式语言指定的开放式任务，而无需任何手动设计的密集形奖励。我们开源了模拟套件、知识库、算法实现和预训练模型（minedojo.org），以促进研究，实现具有普遍能力的具身智能体的目标。
2022-11-22 cs.AI cs.CL cs.CV
Hierarchically Composing Level Generators for the Creation of Complex Structures
University of the Witwatersrand（金山大学）
针对程序化内容生成难以应用于复杂游戏关卡的问题，提出递归组合简单底层生成器的组合式关卡生成方法，在多任务中优于非组合基线，可生成大型连贯复杂结构。
2023-07-19 cs.AI
Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning
School of Computing and AI（计算与人工智能学院）；Arizona State University（亚利桑那州立大学）
针对强化学习在稀疏奖励领域样本效率低的问题，提出利用大语言模型生成规划作为启发式规则构建奖励塑形信号，实验验证该方法可显著提升多种强化学习算法的样本效率。
2024-10-07 cs.AI cs.LG
SmartPlay: A Benchmark for LLMs as Intelligent Agents
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
本文提出SmartPlay基准，通过6种游戏和9种能力测试，系统评估LLM作为智能体的性能，并识别方法论差距。
2024-03-17 cs.AI cs.LG
Language Generation for Broad-Coverage, Explainable Cognitive Systems
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文介绍了自然语言生成（NLG）的语言赋予的智能代理（LEIA）开发的OntoAgent认知体系结构的最新进展。该方法在很大程度上借鉴了过去在这种范式下对自然语言理解的工作：它使用相同的知识基础、计算语言学理论、代理架构和随着时间的推移开发广泛覆盖能力的方法，同时仍然支持近期应用。
2022-01-25 cs.AI cs.CL
Few-Shot Natural Language Inference Generation with PDD: Prompt and Dynamic Demonstration
Shanghai Jiao Tong University（上海交通大学）
自然语言推理生成任务是在给定文本前提和两者之间的逻辑关系的情况下生成文本假设。该任务可用于实际的数据增强和可控文本生成。在本文中，我们提出了语言模型与提示和动态演示（LM-PDD）来解决这个问题，在Few-Shot设置。该框架在资源较少的情况下优于标准的微调模型，在SNLI和MNLI数据集上取得了平均8%的绝对改进，在13个自然语言分类任务上的结果也表明，该动态演示方法具有良好的泛化能力。
2022-05-21 cs.AI cs.CL
Controllable Text Generation for Open-Domain Creativity and Fairness
University of California, Los Angeles（加州大学洛杉矶分校）
大型预训练语言模型的最新进展在生成自然语言方面表现出了强大的效果，并显着提高了许多自然语言生成（NLG）应用程序（如机器翻译和文本摘要）的性能。然而，当生成任务更加开放并且内容不够具体时，现有技术很难生成长期连贯和创造性的内容。此外，这些模型表现出甚至放大了从训练语料库中学习到的社会偏见。这是因为生成模型被训练为捕获表面模式（即单词序列），而不是捕获底层语义和话语结构，以及包括社会规范在内的背景知识。在本文中，我介绍了我们最近的可控文本生成工作，以提高语言生成模型的创造性和公平性。我们探讨分层生成和约束解码，与创造性的语言生成，包括故事，诗歌和比喻的语言，和偏见减轻生成模型的应用。
2022-09-24 cs.AI cs.CL
Can Everybody Sign Now? Exploring Sign Language Video Generation from 2D Poses
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
最近的工作已经解决了由用于手语的人体关节的2D/3D坐标表示的人体姿势的生成。我们使用深度学习中最先进的技术进行运动传输，并在美国手语数据集How2 Sign上对其进行评估，以生成签名者在给定2D姿势骨架的情况下执行手语的视频。我们对生成的视频进行了定量和定性评估，结果表明，由于缺乏手中的细节，目前的模型不足以生成足够的手语视频。
2021-01-04 cs.AI cs.CV
A Hybrid Natural Language Generation System Integrating Rules and Deep Learning Algorithms
University of Aberdeen（阿伯丁大学）；The University of Sydney（悉尼大学）
本文提出了一种增强的自然语言生成系统，结合了基于规则的方法和现代深度学习算法的优点，提高其性能的程度，生成的文本内容能够表现出灵活的人类写作风格和内容逻辑是高度可控的。本文还提出了一种新的方法HMCU来全面、准确地衡量自然语言处理的性能。
2020-06-17 cs.AI cs.CL
Concept Generation in Language Evolution
University of Bristol（布里斯托大学）
本文研究了随着语言的发展，从现有概念的组合中产生新概念的过程。我们给出了一种组合概念的方法，并将研究复合概念在语言进化中的效用，从而研究概念生成的效用。
2016-01-25 cs.AI cs.CL cs.MA
DU-VLG: Unifying Vision-and-Language Generation via Dual Sequence-to-Sequence Pre-training
Baidu Inc.（百度公司）
由于模型结构和预训练目标的限制，现有的视觉和语言生成模型不能通过双向生成来利用成对的图像和文本。在本文中，我们提出了DU-VLG，一个框架，统一的视觉和语言生成序列生成问题。DU-VLG使用新颖的双重预训练任务进行训练：多模态去噪自动编码器任务和模态转换任务。为了弥合图像理解和生成之间的差距，我们进一步设计了一种新的承诺损失。我们比较了图像描述和文本到图像生成数据集的预训练目标。结果表明，DU-VLG产生更好的性能比单向生成目标训练的变体或变体没有承诺损失。与之前最先进的系统相比，我们在三项视觉和语言生成任务上还获得了更高的分数。此外，人类法官进一步证实，我们的模型生成真实和相关的图像以及忠实和信息丰富的字幕。
2022-03-17 cs.AI cs.CL cs.CV
