Value-based Search in Execution Space for Mapping Instructions to Programs
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
将自然语言指令映射到给定目标世界监督的程序的训练模型只需要在训练时搜索好的程序。搜索通常是在部分程序或程序树的空间中使用束搜索来完成的，但是随着指令长度的增长，找到好的程序变得困难。在这项工作中，我们提出了一个搜索算法，使用目标世界的状态，在训练时已知的，训练一个评论家网络，预测每个搜索状态的预期回报。然后，我们通过用搜索状态所代表的程序的可能性来插值它们的预期奖励，从而在梁上对搜索状态进行评分。此外，我们不是在程序的空间中搜索，而是在程序执行的更压缩状态中搜索，并增加了最近的实体和动作。在SCONE数据集上，我们表明，与标准束搜索和其他基线相比，我们的算法在所有三个域上都显着提高了性能。
2019-03-19 cs.CL
Instructional Goal-Aligned Question Generation for Student Evaluation in Virtual Lab Settings: How Closely Do LLMs Actually Align?
Department of EdPsych, University of Wisconsin-Madison（威斯康星大学麦迪逊分校教育心理学系）；Department of CS, Wichita State University（威斯康星州立大学Wichita分校计算机科学系）；Department of CSSE, Auburn University（阿伯茨罕大学计算机科学与工程系）
本文提出一个用于虚拟实验室中教学目标对齐问题生成的框架，整合目标理解、实验理解、问题分类法和 TELeR 提示控制，经 19 个开源 LLM 评估，显著提升问题质量与格式遵循度。
2025-10-07 cs.CL
Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision
University of California, San Diego（加州大学圣地亚哥分校）；Allen Institute for AI（AI研究院）
本文提出 Instruct-LF 系统，将 LLM 指令遵循能力与统计模型结合，通过提出目标相关属性并基于梯度优化揭示隐藏因子，在无任务监督下实现目标导向的潜在因子发现，显著提升下游任务性能与人类评估偏好。
2025-04-27 cs.CL
Mapping Navigation Instructions to Continuous Control Actions with Position-Visitation Prediction
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）
我们提出了一种映射自然语言指令和原始观测的四轴无人机的连续控制的方法。我们的模型预测可解释的位置访问分布，指示代理在执行过程中应该去哪里，它应该停止，并使用预测的分布来选择要执行的动作。这种两步模型分解允许使用监督学习和模仿学习的组合进行简单而有效的训练。我们用一个逼真的无人机模拟器来评估我们的方法，并证明了两种最先进的自动跟踪方法的绝对任务完成精度提高了16.85%。
2018-12-10 cs.AI cs.CL cs.CV
Pragmatic Instruction Following and Goal Assistance via Cooperative Language-Guided Inverse Planning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
针对模糊指令下的智能体辅助问题，提出贝叶斯架构 CLIPS，联合语言与行动推断人类目标并最小化预期达成成本，在两个规划领域显著优于基线并接近人类判断。
2024-02-27 cs.AI cs.CL cs.LG
Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning
AXXX；MIRAI
本文提出SuperIgor框架，通过自学习机制使语言模型生成并优化高层计划，减少手动标注需求。通过迭代共训练，强化学习代理和语言模型共同改进，验证了在动态和随机环境中严格遵循指令的能力。
2026-04-22 cs.AI cs.CL
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University（康奈尔大学）
我们研究的问题，学习机器人的政策，遵循自然语言的指令，可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据，使用范例来识别对象，并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示，编码对象的位置和它们的指示使用，并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施，以下政策，从而使它能够在测试时，通过简单地添加样本以前看不见的对象的原因。我们评估的任务，学习映射原始的观察和指示，以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术，即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
Grounding Hindsight Instructions in Multi-Goal Reinforcement Learning for Robotics
Hamburg University of Technology（汉堡工业大学）；University of Hamburg（汉堡大学）
本文重点研究了机器人强化学习与稀疏奖励的自然语言目标表示。一个开放的问题是样本效率低下，这源于自然语言的组合性，以及语言在感官数据和动作中的基础。我们通过三个贡献来解决这些问题。我们首先提出了一种机制，利用专家反馈后见之明指令重放。其次，我们提出了一个seq2seq模型来生成语言后见之明指令。最后，我们提出了一类新的语言为重点的学习任务。我们表明，后见之明的指示，提高学习性能，正如预期的那样。此外，我们还提供了一个意想不到的结果：我们表明，我们的代理的学习性能可以提高三分之一，如果在某种意义上说，代理学习与自己交谈，在自我监督的方式。我们通过学习生成语言指令来实现这一点，这些语言指令本来适合作为最初无意行为的自然语言目标。我们的研究结果表明，性能增益与任务的复杂性增加。
2022-09-08 cs.AI cs.CL cs.LG
A Tale of Two DRAGGNs: A Hybrid Approach for Interpreting Action-Oriented and Goal-Oriented Instructions
Brown University（布朗大学）
在各种随机环境中与人类一起工作的机器人必须能够准确地解释自然语言命令。这些指令通常分为两类：指定目标条件或目标状态的指令，以及指定显式操作或如何执行给定任务的指令。最近的方法已经使用奖励函数作为基于目标的命令的语义表示，其允许使用最先进的规划器来为给定任务找到策略。然而，这些奖励函数不能直接用于表示面向动作的命令。我们引入了一种新的混合方法，深度递归目标接地网络（DRAGGN），用于任务接地和执行，处理来自任何类别的自然语言作为输入，并推广到看不见的环境。我们的机器人仿真结果表明，一个系统成功地解释目标导向和行动导向的任务规范，使我们更接近强大的自然语言理解人机交互。
2017-07-26 cs.AI cs.CL
Inferring the Goals of Communicating Agents from Actions and Instructions
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种多模态贝叶斯逆向规划模型，结合智能体动作与 GPT-3 生成的自然语言指令推断合作团队目标，在多智能体网格世界中与人类判断高度相关（R=0.96），并证明指令能加速目标推断且降低不确定性。
2023-06-28 cs.AI cs.CL cs.RO
Stay on the Path: Instruction Fidelity in Vision-and-Language Navigation
Google Research（谷歌研究院）
学习和表征方面的进步为将语言与其他模式联系起来的工作注入了新的活力。一个特别令人兴奋的方向是视觉和语言导航（VLN），其中智能体解释自然语言指令和视觉场景，以在环境中移动并达到目标。尽管最近取得了进展，目前的研究还不清楚语言理解在这项任务中发挥了多大的作用，特别是因为主要的评估指标集中在目标完成，而不是相应的指令的行动顺序。在这里，我们强调了Room-to-Room数据集的当前指标的缺点（Anderson等人，2018 b），并提出了一个新的度量，覆盖加权长度得分（CLS）。我们还表明，在数据集中的现有路径是不理想的评估指令遵循，因为他们是直接到目标的最短路径。我们加入现有的短路径，形成更具挑战性的扩展路径，以创建一个新的数据集，房间对房间（R4 R）。使用R4 R和CLS，我们表明，代理人收到奖励的指令保真度优于代理人，专注于目标完成。
2019-06-21 cs.AI cs.CL
Generating Diverse Programs with Instruction Conditioned Reinforced Adversarial Learning
Georgia Tech（佐治亚理工学院）；DeepMind（深度思维）
深度强化学习的进步已经导致代理在各种感觉运动领域表现良好。在这项工作中，我们研究的设置中，代理必须学会生成程序的不同场景的条件下，一个给定的符号指令。最终目标通过场景的图像指定给我们的代理。与目标图像一致的符号指令被用作我们策略的条件输入。由于单个指令对应于一组不同但仍然一致的最终目标图像，因此代理需要学习在给定指令的程序上生成分布。我们证明，通过对强化对抗学习目标的简单改变，我们可以学习指令条件政策，以实现相应的不同目标。最重要的是，我们的代理的随机政策，更准确地捕捉目标分布的多样性比一个固定的基于像素的奖励函数基线。我们在两个领域证明了我们的方法的有效性：（1）使用基于指令的绘制软件绘制MNIST数字，以及（2）在满足特定指令的3D编辑器中构建场景。
2018-12-03 cs.CL cs.CV cs.LG
From Instructions to Intrinsic Human Values -- A Survey of Alignment Goals for Big Models
Microsoft Research Asia（微软亚洲研究院）
本文综述大模型对齐目标，从定义与评估两视角分析三层目标，揭示从能力到价值取向的转变，提出内在人类价值观为关键对齐目标并讨论挑战与资源。
2023-09-04 cs.AI cs.CL cs.CY
Chasing Ghosts: Instruction Following as Bayesian State Tracking
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（脸书人工智能研究院）；Oregon State University（俄勒冈州立大学）
视觉上接地的导航指令可以被解释为遵循正确轨迹的智能体将遇到并执行的一系列预期观察和动作。基于这种直觉，我们制定的贝叶斯状态跟踪学习观察和运动模型的框架内的视觉和语言导航（VLN）的目标位置找到这些预期事件的问题。连同在导航过程中构建语义空间地图的映射器，我们制定了一个端到端的可微分贝叶斯滤波器，并训练它通过预测最有可能的轨迹来识别目标。由此产生的导航策略构成了一种新的方法，明确建模的概率分布状态的指令遵循，编码强大的几何和算法先验，同时使更大的可解释性。我们的实验表明，我们的方法在预测地图上的目标位置时优于强大的LingUNet基线。在完整的VLN任务，即导航到目标位置，我们的方法实现了有希望的结果，较少依赖于导航约束。
2019-11-26 cs.AI cs.CL cs.CV
Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural Language Instructions
AIRI；MIPT（莫斯科物理技术学院）；Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）
采用预先训练好的语言模型来为具体化的智能体生成行动计划是一种很有前途的研究策略。然而，在真实或模拟环境中执行指令需要验证动作的可行性以及它们与目标完成的相关性。我们提出了一种结合语言模型和强化学习的新方法，用于根据自然语言指令在类似Minecraft的环境中构建对象。我们的方法首先从指令中生成一组一致可实现的子目标，然后使用预先训练的RL策略完成相关的子任务。该方法在IGLU 2022竞赛中形成了RL基线。
2022-11-01 cs.AI cs.CL
Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing
该论文提出上下文感知神经梯度映射框架，通过将上下文嵌入融入梯度调整机制，实现细粒度指令处理，提升泛化能力、鲁棒性和计算效率。
2025-04-24 cs.AI cs.CL
Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一个神经序列到序列模型的方向以下，一项任务，是必不可少的实现有效的自主智能体。我们的基于记忆的编码器-解码器模型与长短期记忆递归神经网络（LSTM-RNN）将自然语言指令转换为动作序列的基础上，可观察的世界状态的表示。我们引入了一个多层次的对齐器，使我们的模型专注于句子“区域”突出的当前世界状态，通过使用多个抽象的输入句子。与现有方法相比，我们的模型不使用专门的语言资源（例如，解析器）或任务专用注释（例如，种子词典）。因此，它是可推广的，但仍然达到了迄今为止在基准单句数据集上报告的最佳结果，以及有限训练多句设置的竞争结果。我们分析我们的模型，通过一系列的烧蚀，阐明我们的模型的主要组成部分的贡献。
2015-12-17 cs.AI cs.CL cs.LG
Following High-level Navigation Instructions on a Simulated Quadcopter with Imitation Learning
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；Tel Aviv University（特拉维夫大学）
我们介绍了一种方法，通过直接从图像，指令和姿态估计映射到连续的低级别的速度命令进行实时控制的高级别的导航指令。接地语义映射网络（GSMN）是一个完全可区分的神经网络架构，通过在网络中加入针孔摄像机投影模型，在世界参考系中构建显式语义映射。存储在地图中的信息是从经验中学习的，而本地到世界的转换是显式计算的。我们使用DaggerFM来训练模型，DaggerFM是Dagger的一个修改版本，它通过表格收敛保证来提高训练速度和内存使用。我们在虚拟环境中测试GSMN在现实的四轴飞行器模拟器，并表明，结合显式映射和接地模块，使GSMN能够超越强大的神经基线，几乎达到专家的政策性能。最后，我们分析了学习的地图表示，并表明，使用显式地图导致一个可解释的解释遵循模型。
2018-05-31 cs.AI cs.CL cs.CV
Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL
Inria（法国国家信息与自动化研究所）；Université Paris-Sorbonne（巴黎索邦大学）
在现实世界中，语言主体也是具身主体：它们在物理世界中感知和行动。语言根植的概念质疑语言和具体化之间的相互作用：学习主体如何将语言表征连接或根植于物理世界？这个问题最近已经被强化学习社区在预防跟踪代理的框架下进行了研究。在这些代理中，行为策略或奖励功能的条件是嵌入的指令表示的自然语言。本文提出了另一种方法：使用语言条件目标生成器。给定任何目标条件策略，可以训练语言条件目标生成器来为代理生成语言无关的目标。这种方法允许从语言习得中解耦感觉运动学习，并使代理能够为任何给定的指令展示多种行为。我们提出了这种方法的一个特定的实例，并证明了它的好处。
2020-06-12 cs.AI cs.CL cs.LG
Language-guided Semantic Mapping and Mobile Manipulation in Partially Observable Environments
University of Rochester（罗切斯特大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
用于基础语言理解的数据驱动模型的最新进展使机器人能够解释越来越复杂的指令。这些方法的两个基本限制是，大多数需要一个完整的环境模型是已知的先验，他们试图在一个世界表示，是平坦的，不必要的详细，这限制了可扩展性的原因。最近的语义映射方法通过利用语言作为传感器来推断环境的拓扑，度量和语义属性的分布来解决部分可观察性。然而，在可以支持不同指令的基础的高度详细的地图上维护分布在计算上是昂贵的，并且阻碍了实时的人机协作。我们提出了一个新的框架，学习适应感知根据任务，以保持紧凑的分布在语义图。移动机械手的实验表明，更有效的指令遵循在先验未知的环境。
2019-10-22 cs.AI cs.CL cs.RO
Executing Instructions in Situated Collaborative Interactions
Cornell University（康奈尔大学）；IBM（国际商业机器公司）；Columbia University（哥伦比亚大学）；Intel（英特尔公司）；Facebook（脸书公司）
我们研究了一个协作场景，用户不仅指示系统完成任务，而且还与它一起行动，这允许用户通过改变他们的语言或决定自己简单地完成一些任务来适应系统的能力，并要求系统有效地从错误中恢复，因为用户有策略地分配新的目标。我们构建了一个游戏环境来研究这种情况，并学习将用户指令映射到系统操作。我们介绍了一种学习方法，专注于从指令之间的级联错误中恢复，并建模方法来明确地推理具有多个目标的指令。我们使用记录的交互和与人类用户的在线游戏，并观察用户如何适应系统的能力，一个新的评估协议进行评估。
2022-11-22 cs.AI cs.CL cs.LG
InstructNav: Zero-shot System for Generic Instruction Navigation in Unexplored Environment
Peking University（北京大学）；Southeast University（东南大学）；University of Oxford（牛津大学）
InstructNav提出动态导航链与多源价值地图，首次实现零样本通用指令导航，在R2R-CE、Habitat ObjNav和DDN等任务上显著超越现有方法。
2024-06-07 cs.AI cs.CL cs.CV
Overcoming Referential Ambiguity in Language-Guided Goal-Conditioned Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所（ISIR））
针对语言指令中的指称歧义，本文在教师/学习者积木堆叠任务中结合教学法与实用主义推理，提升了目标条件强化学习学习者的样本效率。
2023-09-27 cs.CL cs.LG
From Weak Task Specifications to Scientific Extraction Agents: Optimizing Task Construction
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能全国重点实验室）；CCCC Second Highway Consultants Co., Ltd.（中交第二公路勘察设计研究院有限公司）
针对科学提取智能体，提出从弱任务规范自动构建任务配置并持续优化的框架，在异质催化文献上验证了联合优化模式与指令的有效性。
2026-09-29 cs.CL
Infer Human's Intentions Before Following Natural Language Instructions
University of Washington（华盛顿大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
该研究针对人类指令的歧义问题，提出FISER框架，通过显式推断人类意图改进协作具身任务的指令遵循，在HandMeThat基准上达到最优性能。
2026-08-27 cs.AI cs.CL cs.LG
Plan-Grounded Large Language Models for Dual Goal Conversational Settings
NOVA School of Science and Technology（NOVA科学与技术学院）；NOVA LINCS
针对双目标混合主动对话，提出PlanLLM模型，将对话基于程序性计划并兼顾用户指令，实验显示比强基线提升2.1倍且泛化良好。
2024-02-01 cs.AI cs.CL
Learning Complementary Action Modeling from Automotive Maintenance Instructions
Eindhoven University of Technology（埃因霍温理工大学）；BMW Group（宝马集团）；Chemnitz University of Technology（开姆尼茨工业大学）
针对汽车维修说明中动作短语决定程序关系的问题，提出互补动作建模任务，通过候选匹配和受控序列生成方法识别或生成程序性对应指令。
2026-06-29 cs.CL
Pre-Learning Environment Representations for Data-Efficient Neural Instruction Following
University of California, Berkeley（加州大学伯克利分校）
我们认为学习映射的问题，从自然语言指令的状态转换（行动），在一个数据有效的方式。我们的方法从这样一个想法中得到灵感：将语言与通过前语言观察已经形成的概念联系起来应该更容易。我们增加了一个基线的预防以下的学习者与初始环境学习阶段，使用观察的语言自由状态转换，以诱导一个合适的潜在的行动表示之前，处理预防以下的训练数据。我们表明，映射到预先学习的表示大大提高了系统的表现，其表示是从有限的教学数据单独学习。
2019-07-23 cs.AI cs.CL cs.LG
Are We There Yet? Learning to Localize in Embodied Instruction Following
Amazon Alexa AI（亚马逊Alexa人工智能部门）
智能指令遵循是一个具有挑战性的问题，它要求智能体从复杂的语言和视觉输入中推断出一系列原始动作以达到目标环境状态。行动学习从现实的环境和指令（ALFRED）是最近提出的基准，这个问题包括一步一步的自然语言指令，以实现子目标，组成一个最终的高层次的目标。这项任务的关键挑战包括定位目标位置并通过视觉输入导航到目标位置，以及将语言指令与对象的视觉外观相结合。为了解决这些挑战，在这项研究中，我们增加了代理的视野在导航子目标与多个视角，和训练代理预测其相对空间关系的目标位置在每个时间步。我们还通过在模型管道中引入预训练的目标检测模块来改进语言基础。实证研究表明，我们的方法超过了基线模型的性能。
2021-01-09 cs.AI cs.CL cs.CV
Deriving Procedural and Warning Instructions from Device and Environment Models
这项研究是集中在家用电器的说明书的生成。我们展示了如何知识的设备，连同知识的环境，可以用于推理的指令。由指令传达的信息可以根据工件和环境的知识的版本来计划。我们提出了后者，我们称之为{ \it规划知识}，在公理的形式在{ \it情况演算}。该规划知识正式地表征了工件的行为，并且它用于产生设备和用户为完成给定目标而采取的基本行动计划。我们解释了如何从这个基本计划中生成程序和警告指令。为了部分地证明指令生成可以从正式的设备设计规范自动化，我们假设规划知识是{ \it可从设备和世界知识导出\/}的。
1995-06-24 cmp-lg cs.CL
Narrative Landscape: Mapping Narrative Dispositions Across LLMs
School of Digital Humanities and Computational Social Sciences, KAIST（数字人文与计算社会科学学院，韩国科学技术院）
本文提出一个量化框架，用于评估LLM输出中稳定的模型特定规律。通过跨六个前沿模型和三种指令类型的结构化叙事约束选择任务，从一致性和多样性两个维度分析模型倾向，并引入基于PCA的可视化方法进行直接比较。
2026-05-09 cs.AI cs.CL
Language-Aligned Waypoint (LAW) Supervision for Vision-and-Language Navigation in Continuous Environments
Simon Fraser University（西蒙弗雷泽大学）；IIT Kanpur（印度理工学院坎普尔分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在视觉和语言导航（VLN）任务中，一个具体的代理导航3D环境，以下自然语言的指令。在这个任务中的一个挑战是如何处理“偏离路径”的情况下，代理转向从参考path.Prior工作监督代理与行动的基础上最短的路径从代理的位置到目标，但这种目标导向的监督往往是不符合指令。此外，以前的工作所采用的评估指标并不衡量代理能够遵循多少语言指令。在这项工作中，我们提出了一个简单有效的与语言对齐的监督方案，以及一个衡量代理在导航期间完成的子指令数量的新指标。
2021-09-30 cs.CL cs.CV cs.RO
VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions
National Taiwan University（国立台湾大学）；National Tsing Hua University（国立清华大学）；DRIC
本文提出VLN-NF基准，通过引入假前提指令，要求智能体在目标不存在时进行探索并明确输出NOT-FOUND，采用ROAM方法在房间级导航与室内探索中取得最佳性能。
2026-04-19 cs.CL cs.CV cs.RO
Empirical Analysis of Large Vision-Language Models against Goal Hijacking via Visual Prompt Injection
Tohoku University（东北大学）；NTT Human Informatics Laboratories, NTT Corporation（NTT公司NTT人类信息学实验室）
本文提出视觉提示注入攻击方法GHVPI，可劫持大型视觉语言模型的执行任务，实验显示GPT-4V攻击成功率达15.8%，揭示了其安全风险。
2024-08-07 cs.CL cs.CR cs.LG
When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究）
研究揭示LLMs在多轮对话中因注意力关闭导致任务目标丢失的现象，提出目标可访问性比率（GAR）及通道转换框架，分析不同架构下目标相关行为的生存机制及失败模式。
2026-10-07 cs.AI cs.CL
When and What to Ask Through World States and Text Instructions: IGLU NLP Challenge Solution
University College London（伦敦大学学院）
针对协作建造中的歧义问题，提出分类与排序方法，分别决定何时提问及选择澄清问题，在NeurIPS 2022 NLP任务中取得F1 0.757和MRR约0.38的成绩。
2023-05-09 cs.AI cs.CL cs.LG
Sharing the Cost of Success: A Game for Evaluating and Learning Collaborative Multi-Agent Instruction Giving and Following Policies
CoLabPotsdam（波茨坦协同实验室）；University of Potsdam（波茨坦大学）
提出一种协作多智能体参考游戏，通过考虑目标达成与交互努力的评分机制，利用PPO与启发式策略训练神经伙伴，发现其能降低联合努力但仍有改进空间。
2024-03-26 cs.CL cs.CV
Learning to Map Natural Language Instructions to Physical Quadcopter Control using Simulated Flight
Cornell University（康奈尔大学）
我们提出了一个联合仿真和现实世界的学习框架，用于将导航指令和原始第一人称观察映射到连续控制。我们的模型估计环境探索的需要，预测在执行过程中访问环境位置的可能性，并控制代理探索和访问高可能性的位置。有监督强化异步学习（Supervised Reinforcement Asynchronous Learning，SuReAL）学习使用模拟和真实环境，而不需要在训练期间在物理环境中自主飞行，并结合监督学习来预测要访问的位置和强化学习来进行连续控制。我们评估了我们的方法与物理四轴飞行器的自然语言解释以下的任务，并展示了有效的执行和探索行为。
2019-10-21 cs.AI cs.CL cs.CV
$I^2G$: Generating Instructional Illustrations via Text-Conditioned Diffusion
University of Rochester（罗切斯特大学）
提出语言驱动框架，将程序性文本分解为目标与步骤，通过成分解析、话语连贯模型及新评估协议，在三个数据集上显著优于基线，生成准确反映指令的视觉内容。
2025-05-22 cs.AI cs.CL
Policy-Guided World Model Planning for Language-Conditioned Visual Navigation
Drexel University（德雷塞尔大学）
本文提出PiJEPA框架，结合学习导航策略与潜在世界模型规划，通过微调Octo策略和冻结预训练视觉编码器，提升语言指导下的视觉导航准确性与指令遵循性。
2026-03-26 cs.AI cs.CL cs.RO
Theory of Mind in Action: The Instruction Inference Task in Dynamic Human-Agent Collaboration
North Carolina State University（北卡罗来纳州立大学）；Delft University of Technology（代尔夫特理工大学）
本文提出指令推断任务，通过Tomcat模型评估人机协作中理论思维能力，实验表明Fs-CoT在GPT-4o和DeepSeek-R1上表现接近人类参与者。
2026-04-17 cs.AI cs.CL cs.MA
