When Contextual Inference Fails: Cancelability in Interactive Instruction Following
Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室）；Department of Language Science and Technology, Saarland University（萨尔兰大学语言科学与技术系）
研究探讨了在协作积木构建任务中，如何区分字面解释与情境推理，引入了交互基准测试BWIM，发现模型在判断与行动间存在脱节，未能有效利用信息进行澄清。
2026-08-21 cs.CL
Investigating the Effectiveness of Task-Agnostic Prefix Prompt for Instruction Following
KAIST（韩国科学技术院）；UCL（伦敦大学学院）；LG AI Research（LG AI 研究院）
本研究提出任务无关前缀提示（TAPP）作为固定前置提示，显著提升多种大语言模型在推理时的指令跟随能力，平均提升34.58%（基础模型）和12.26%（指令微调模型），并假设其通过增强对指令的关注来改善输出分布估计。
2023-12-24 cs.AI cs.CL
Instruction Retrieval at Inference Time for Small Language Models
School of Information University of Michigan（信息学院 华盛顿大学）
本文提出一种在推理时通过检索结构化指令来增强小型模型推理能力的方法，通过领域背景与分步程序的配对，提升模型在医学、法律和数学等领域的准确性。
2026-10-01 cs.AI cs.CL
Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE
Arizona State University（亚利桑那州立大学）
针对大语言模型推理慢、成本高的问题，提出带中间层损失的指令微调方法LITE，结合token级动态置信度提前退出策略，在保持生成质量的同时显著降低LLaMA-2的推理计算成本。
2023-11-07 cs.CL
CARTIER: Cartographic lAnguage Reasoning Targeted at Instruction Execution for Robots
针对机器人导航中自然对话式隐式指令解析难题，提出CARTIER方法，借助LLM结合场景物体上下文解读交互，在AI2Thor家居场景中查询解析可靠性较现有方法最高提升42%。
2024-02-01 cs.CL cs.RO
InstructionCP: A fast approach to transfer Large Language Models into target language
National Taiwan University（国立台湾大学）；ASUS Open Cloud Infrastructure Software Center（华硕开放云基础设施软件中心）
提出InstructionCP方法，通过在持续预训练中整合指令标签，使大型语言模型高效迁移至目标语言，同时保留对话与RLHF能力，仅需0.1B数据即可实现。
2024-05-30 cs.AI cs.CL
Unified Pragmatic Models for Generating and Following Instructions
University of California, Berkeley（加州大学伯克利分校）
我们表明，明确的语用推理有助于正确地生成和遵循自然语言指令复杂的，顺序的任务。我们的实用主义模型可以推理出说话者为什么会发出某些指令，以及听者听到这些指令后会有什么反应。像以前的务实的模型，我们使用学习基地的听众和扬声器模型，建立一个务实的扬声器，使用基地的听众来模拟候选人的描述解释，和一个务实的听众，原因与事实相反的替代描述。我们将这些模型扩展到具有顺序结构的任务。语言生成和解释的评估表明，语用推理提高了国家的最先进的听者模型（在正确解释人类指令）和扬声器模型（在生产指令正确解释人类）在不同的设置。
2018-05-28 cs.CL
Pragmatic Instruction Following and Goal Assistance via Cooperative Language-Guided Inverse Planning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
针对模糊指令下的智能体辅助问题，提出贝叶斯架构 CLIPS，联合语言与行动推断人类目标并最小化预期达成成本，在两个规划领域显著优于基线并接近人类判断。
2024-02-27 cs.AI cs.CL cs.LG
DM2RM: Dual-Mode Multimodal Ranking for Target Objects and Receptacles Based on Open-Vocabulary Instructions
Keio University（庆应义塾大学）
针对家用服务机器人开放词汇指令下难同时识别目标物体与容器的问题，提出DM2RM双模式多模态排序模型，通过模式切换机制实现单模型双目标检索，在新数据集和真实机器人平台上性能优于现有方法，零样本任务成功率达82%。
2024-08-15 cs.CL cs.CV cs.RO
Instruction Duplication as an Inference-Time Control Primitive
PeaceTech VC
本研究提出指令重复作为推理时控制原语，经多模型医学多项选择任务验证，可提升All-8诊断等指标，在答案工程场景中能显著改善轨迹修复效果，是低复杂度的实用控制方法。
2026-09-04 cs.AI cs.CL
InstaTrans: An Instruction-Aware Translation Framework for Non-English Instruction Datasets
Upstage AI
本文提出 InstaTrans 指令感知翻译框架，通过完整翻译高质量英语指令数据集构建非英语数据，并验证其可低成本提升 LLM 的目标语言性能。
2024-10-02 cs.AI cs.CL
Theory of Mind in Action: The Instruction Inference Task in Dynamic Human-Agent Collaboration
North Carolina State University（北卡罗来纳州立大学）；Delft University of Technology（代尔夫特理工大学）
本文提出指令推断任务，通过Tomcat模型评估人机协作中理论思维能力，实验表明Fs-CoT在GPT-4o和DeepSeek-R1上表现接近人类参与者。
2026-04-17 cs.AI cs.CL cs.MA
Steering Instruction Hierarchies at Inference Time
针对前沿大语言模型常违反指令层级的问题，提出无需训练的V-Steer方法，通过编辑缓存值向量调控指令层级，提升角色冲突基准准确率，性能优于仅提示基线，部分场景达到SoTA训练方法水平。
2026-07-30 cs.CL
Why Instruction-Based Unlearning Fails in Diffusion Models?
University of Rochester（罗切斯特大学）；UCLA（加州大学洛杉矶分校）；UCSB（加州大学圣塔芭芭拉分校）
研究探讨了基于指令的反学习在扩散模型中的有效性，发现扩散模型在仅依赖自然语言反学习指令时无法有效抑制目标概念，揭示了提示级指令的局限性。
2026-04-02 cs.CL cs.CV
A helps B while B hurts A: directed transfer in instruction-tuning mixture
University of Cologne（科隆大学）
本研究提出迁移图，通过有符号估计源任务对目标任务的正负影响，在指令微调混合中筛选任务，显著提升推理目标准确率。
2026-10-01 cs.AI cs.CL cs.LG
Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor
Tel Aviv University（特拉维夫大学）；Meta AI
指令微调使预训练的语言模型能够从推理时间自然语言描述执行新任务。这些方法依赖于以众包数据集或用户交互形式存在的大量人类监督。在这项工作中，我们介绍了不自然的指令：一个创造性和多样化的指令的大型数据集，几乎没有人工劳动。我们收集了64，000个例子，通过提示一个语言模型，其中有三个种子指令示例，并引出第四个。然后，通过提示模型重新表述每个指令来扩展该集合，从而创建总共约240，000个指令、输入和输出的示例。实验表明，尽管包含相当数量的噪声，但在非自然指令上进行的训练与在开源手动管理的数据集上进行的训练的有效性相媲美，在各种基准测试中超过了T0++和Tk-Instruct等模型的性能。这些结果表明，模型生成的数据作为一种具有成本效益的替代众包数据集扩展和多样化的潜力。
2022-12-19 cs.AI cs.CL cs.LG
CodecLM: Aligning Language Models with Tailored Synthetic Data
Google Cloud AI Research（谷歌云AI研究院）；Google Cloud AI（谷歌云AI）；Google Research（谷歌研究院）
CodecLM框架通过编码-解码原理，利用LLM将种子指令编码为元数据并解码生成定制合成数据，结合Self-Rubrics和对比过滤，在多个基准上超越现有方法，提升指令遵循能力。
2024-04-08 cs.AI cs.CL cs.LG
Are We There Yet? Learning to Localize in Embodied Instruction Following
Amazon Alexa AI（亚马逊Alexa人工智能部门）
智能指令遵循是一个具有挑战性的问题，它要求智能体从复杂的语言和视觉输入中推断出一系列原始动作以达到目标环境状态。行动学习从现实的环境和指令（ALFRED）是最近提出的基准，这个问题包括一步一步的自然语言指令，以实现子目标，组成一个最终的高层次的目标。这项任务的关键挑战包括定位目标位置并通过视觉输入导航到目标位置，以及将语言指令与对象的视觉外观相结合。为了解决这些挑战，在这项研究中，我们增加了代理的视野在导航子目标与多个视角，和训练代理预测其相对空间关系的目标位置在每个时间步。我们还通过在模型管道中引入预训练的目标检测模块来改进语言基础。实证研究表明，我们的方法超过了基线模型的性能。
2021-01-09 cs.AI cs.CL cs.CV
The Promises and Pitfalls of Using Language Models to Measure Instruction Quality in Education
University of Maryland（马里兰大学）；Boston University（波士顿大学）；University of Virginia（弗吉尼亚大学）
本文首次利用NLP技术评估K-12课堂和职前教师模拟任务中的多种高推断教学实践，发现预训练语言模型在低推断变量上接近人类评分者水平，但在复杂实践中效果下降，且仅用教师话语即可较好衡量学生中心变量。
2024-04-03 cs.AI cs.CL
Inferring Compact Representations for Efficient Natural Language Understanding of Robot Instructions
University of Rochester（罗切斯特大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术学院）
机器人能够解释自然语言的速度和准确性是实现有效人机交互的基础。大量的注意力已经放在开发提高语言理解效率的模型和近似推理算法上。然而，现有的方法仍然试图推理的环境是平坦的，不必要的详细，这限制了可伸缩性的表示。一个开放的问题，然后开发的方法，能够产生最紧凑的环境模型，足以准确和有效的自然语言理解。我们提出了一个模型，利用环境相关的信息编码内的指令，以确定必要的观察和感知分类器的子集，感知一个简洁的，特定的环境表示。该框架使用三个概率图形模型从语料库的注释指令来推断突出的场景语义，感知分类器和接地符号。两个机器人在不同环境中运行的实验结果表明，通过利用内容和结构的指令，我们的方法学习紧凑的环境表示，显着提高自然语言符号接地的效率。
2019-03-21 cs.AI cs.CL cs.LG
The Turking Test: Can Language Models Understand Instructions?
Tel-Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
监督机器学习为学习者提供了一组目标任务的输入-输出示例。然而，人类也可以从自然语言的指令中学习执行新任务。机器也能学会理解指令吗？我们提出了Turking测试，该测试考察模型遵循不同复杂度的自然语言指令的能力。这些任务范围从简单的任务（如检索句子中的第n个单词）到需要创造力的任务（如为SNLI和SQuAD生成示例以代替人类智能工作者（“turkers”））。尽管我们的评估方法宽松，但我们观察到，大型预训练语言模型在所有任务中的表现都很差。分析模型的错误模式表明，模型往往会忽略明确的指令，并经常生成不能被解释为试图解决任务的输出。虽然目前还不清楚指令理解是否可以被传统的语言模型所捕获，但指令理解的纯粹表达能力使其成为新兴的Few-Shot推理范式的一个有吸引力的替代方案。
2020-10-22 cs.AI cs.CL cs.LG
Towards Understanding End-of-trip Instructions in a Taxi Ride Scenario
Institute for Creative Technologies, University of Southern California（南加州大学创意技术研究所）；Intel Corp（英特尔公司）
我们介绍了一个数据集，包含人类创作的描述目标位置在“结束的行程在出租车”的情况下。我们描述了我们的数据汇集方法和一种新的注释方案，支持这样的目标位置的描述的理解。我们的数据集包含合成和真实世界图像的目标位置描述以及视觉注释（地面实况标签，车辆和物体的尺寸，目标位置的坐标，目标位置与车辆和物体的距离和方向），可用于各种视觉和语言任务。我们还进行了一个试点实验，如何语料库可以应用到视觉参考分辨率在这一领域。
2018-07-11 cs.CL
VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions
National Taiwan University（国立台湾大学）；National Tsing Hua University（国立清华大学）；DRIC
本文提出VLN-NF基准，通过引入假前提指令，要求智能体在目标不存在时进行探索并明确输出NOT-FOUND，采用ROAM方法在房间级导航与室内探索中取得最佳性能。
2026-04-19 cs.CL cs.CV cs.RO
Teach Better or Show Smarter? On Instructions and Exemplars in Automatic Prompt Optimization
Google Cloud AI Research（谷歌云人工智能研究部门）
本研究系统比较了自动提示优化中的指令优化与示例优化方法，发现示例选择策略（如随机搜索）可超越先进指令优化，且两者组合具有协同效应，强调示例优化在未来研究中应受更多重视。
2024-11-06 cs.AI cs.CL cs.LG
Phase Diagram of Vision Large Language Models Inference: A Perspective from Interaction across Image and Instruction
Japan Advanced Institute of Science and Technology（日本先进科学研究院）；RIKEN（日本资源技术研究所）
本文通过测量不同模态 token 隐状态间的上下文化，揭示 VLLMs 沿 Transformer 深度推理时经历对齐、模态内编码、模态间编码和输出准备四阶段动态。
2025-05-15 cs.CL
Improving Cross-Task Generalization with Step-by-Step Instructions
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Cloud（华为云）；Singapore Management University（新加坡管理大学）
针对指令缺乏中间步骤导致跨任务泛化困难的问题，提出自动生成逐步指令辅助模型分解任务，实验证明其能提升不同规模模型的跨任务泛化性能。
2023-05-08 cs.CL
Can You Label Less by Using Out-of-Domain Data? Active & Transfer Learning with Few-shot Instructions
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
标记社交媒体数据的毒性和社会偏见的定制维度是具有挑战性和劳动密集型的。现有的转移和主动学习方法旨在减少注释工作，需要微调，这遭受过拟合噪声，并可能导致小样本量的域移位。在这项工作中，我们提出了一种新的主动传输Few-Shot指令（ATF）的方法，不需要微调。ATF利用预先训练的语言模型（PLM）的内部语言知识来促进来自现有预标记数据集（源域任务）的信息的传输，同时对未标记的目标数据（目标域任务）进行最小的标记工作。我们的策略可以产生正转移，与无转移相比，在大的22b参数PLM下，实现10.5%的平均AUC增益。我们进一步表明，通过主动学习对少数目标域样本进行注释可能有利于迁移，但随着注释工作的增加，这种影响会减少（在100到2000个注释示例之间，增益下降26%）。最后，我们发现，并不是所有的转让方案产生积极的收益，这似乎与PLM的目标域任务的初始性能。
2022-11-21 cs.AI cs.CL
Improving Instruction-Following in Language Models through Activation Steering
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
本文提出通过计算含与不含指令输入的激活差异得到指令特定向量，以模块化激活引导方法增强语言模型对输出约束的遵守能力，实验验证其在有无显式指令场景及跨模型迁移中的有效性，为指令遵循提供推理时细粒度控制。
2025-04-14 cs.AI cs.CL cs.LG
The Best Instruction-Tuning Data are Those That Fit
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
GRAPE通过选择与目标模型分布最匹配的响应，提升大语言模型的微调效果，实验显示其在多个基准测试中表现优异。
2026-01-11 cs.AI cs.CL cs.LG
Grounding Natural Language Instructions: Can Large Language Models Capture Spatial Information?
University of Manchester（曼彻斯特大学）；Blue Prism AI Labs（蓝棱镜人工智能实验室）；ByteDance AI Lab（字节跳动人工智能实验室）；Idiap Research Institute（Idiap研究所）
为智能过程自动化设计的模型需要能够使用户界面元素接地。这个界面元素基础的任务集中在将自然语言中的指令链接到它们的目标对象上。尽管BERT和类似的预训练语言模型在几个NLP任务中表现出色，但它们的使用尚未在UI基础领域得到广泛探索。本工作集中于测试和探测三种不同的基于变压器的模型的接地能力：BERT，RobERTa和LayoutLM。我们的主要重点是这些模型的空间推理能力，因为它们在这个领域的重要性。我们观察到，LayoutLM有一个很有前途的优势，在这一领域的应用程序，即使它是为不同的原始目的（代表扫描的文档）：学习的空间功能似乎是可转移到UI接地设置，特别是因为他们表现出的能力，区分目标方向之间的自然语言指令。
2021-09-17 cs.AI cs.CL
Enhancing and Accelerating Large Language Models via Instruction-Aware Contextual Compression
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
本文提出Instruction-Aware Contextual Compression方法，通过过滤低信息量内容来压缩上下文，在保持性能的同时显著降低内存消耗和推理延迟，实现效率与性能的有效平衡。
2024-08-28 cs.CL
Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization
Dialpad Inc.（Dialpad公司）
本文研究在会议摘要任务中将同一上下文的多个查询合并为单个提示，以减少LLM推理调用成本，并通过对比多种主流LLMs验证了多查询提示在优化推理成本方面的有效性。
2024-10-20 cs.CL
VISA: Agentic Self-Evolving Data Synthesis for Multimodal Instruction Following
vivo AI Lab（vivo AI实验室）
VISA是一种智能体式自进化数据合成框架，通过自进化循环优化多模态指令合成，在MM-IFEval等基准上提升了多模态指令遵循性能。
2026-08-28 cs.CL
Adaptive Instruction Composition for Automated LLM Red-Teaming
Capital One, AI Foundations（Capital One人工智能基础研究）
本文提出自适应指令生成框架，通过强化学习平衡探索与利用，提升红队测试的攻击效果与多样性，优于随机组合和现有方法。
2026-04-22 cs.AI cs.CL cs.CR
Multimodal Sequential Generative Models for Semi-Supervised Language Instruction Following
The University of Tokyo（东京大学）
能够遵循语言指令的智能体预计在各种情况下都是有用的，例如导航。然而，训练基于神经网络的智能体需要大量成对的轨迹和语言。本文提出了使用多模态生成模型的半监督学习的指令遵循任务。该模型学习成对数据的共享表示，并通过该表示重构未成对数据来实现半监督学习。将模型应用于序列到序列任务（包括指令遵循）的关键挑战是学习可变长度多模态数据的共享表示并纳入注意力机制。为了解决这些问题，本文提出了一种新的网络架构，以吸收多模态数据的序列长度的差异。此外，为了进一步提高性能，本文展示了如何将基于生成模型的方法与现有的半监督方法（称为说话者跟随模型）相结合，并提出了一个正则化项，可以使用不成对的轨迹来改进推理。在BabyAI和R2 R环境下的实验结果表明，该方法利用非配对数据提高了指令遵循的性能，并将R2 R环境下说话人跟随模型的性能提高了2 ~ 4%.
2022-12-29 cs.AI cs.CL cs.LG
INSTRUCTIR: A Benchmark for Instruction Following of Information Retrieval Models
KAIST AI（韩国科学技术院人工智能学院）；LG AI Research（LG人工智能研究院）
本文提出 INSTRUCTIR 基准，通过用户对齐指令评估信息检索模型的指令遵循能力，并发现现有指令微调检索器可能存在过拟合问题。
2024-02-22 cs.CL
Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning
China University of Petroleum (East China)（中国石油大学（华东））；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）；Nanyang Technological University（南洋理工大学）
针对LLM翻译中的脱靶问题，提出两阶段微调算法，通过最大似然估计与非似然损失学习指令冲突样本，有效提升翻译方向遵循能力与翻译质量，同时保持通用性能。
2024-03-21 cs.AI cs.CL
Training with Pseudo-Code for Instruction Following
通过伪代码训练提升LLM指令跟随能力，实现8-21%的提升并在数学和常识推理中取得平均30%的提升。
2026-03-11 cs.AI cs.CL
Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions
Keio University（庆应义塾大学）
针对复杂操作指令中的目标物体分割问题，提出两阶段多模态扩散分割模型 MDSM，并构建新数据集，其平均 IoU 较基线提升 10.13。
2023-07-17 cs.CL cs.CV cs.RO
Do different prompting methods yield a common task representation in language models?
FAIR at Meta（Meta 的 FAIR 部门）；New York University（纽约大学）；Princeton University（普林斯顿大学）
研究通过函数向量分析不同提示方法对语言模型任务表示的影响，发现不同提示形式导致不同的任务机制，支持结合指令和演示的实践。
2025-11-30 cs.CL cs.LG
Value-based Search in Execution Space for Mapping Instructions to Programs
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
将自然语言指令映射到给定目标世界监督的程序的训练模型只需要在训练时搜索好的程序。搜索通常是在部分程序或程序树的空间中使用束搜索来完成的，但是随着指令长度的增长，找到好的程序变得困难。在这项工作中，我们提出了一个搜索算法，使用目标世界的状态，在训练时已知的，训练一个评论家网络，预测每个搜索状态的预期回报。然后，我们通过用搜索状态所代表的程序的可能性来插值它们的预期奖励，从而在梁上对搜索状态进行评分。此外，我们不是在程序的空间中搜索，而是在程序执行的更压缩状态中搜索，并增加了最近的实体和动作。在SCONE数据集上，我们表明，与标准束搜索和其他基线相比，我们的算法在所有三个域上都显着提高了性能。
2019-03-19 cs.CL
Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights
本文探讨通过合并语言特定基础模型与指令微调模型，以实现低资源语言的有效指令跟随和多语言能力，减少计算成本并提升性能。
2026-03-30 cs.AI cs.CL
Label Drop for Multi-Aspect Relation Modeling in Universal Information Extraction
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Information Management, Wuhan University（武汉大学信息管理学院）；NAAC（国家档案局）
针对多关系抽取中关系相关性建模不足及无关标签干扰问题，提出融合多方面关系建模与 label drop 机制的 LDNet，并在 9 项任务、33 个数据集上验证其优势。
2025-02-18 cs.AI cs.CL
InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Inc.（美团公司）
最近，基于语义的方法已经在少样本学习场景中取得了显着的性能，通过弥合语言模型预训练和下游任务的微调之间的差距。然而，现有的提示模板大多是为任务级任务而设计的，不适合序列标记目标。为了解决上述问题，我们提出了一个多任务的推理为基础的生成框架，命名为InstructionNER，低资源命名实体识别。具体而言，我们将NER任务重新表述为生成问题，该问题通过特定于任务的指令和答案选项来丰富源句子，然后推断自然语言中的实体和类型。我们进一步提出了两个辅助任务，包括实体提取和实体类型，使模型能够捕获更多的边界信息的实体和加深理解的实体类型语义，分别。实验结果表明，我们的方法始终优于其他基线上的五个数据集在Few-Shot设置。
2022-03-08 cs.CL
TESS 2: A Large-Scale Generalist Diffusion Language Model
Yale University（耶鲁大学）；University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究院）；The Ohio State University（俄亥俄州立大学）
TESS 2 通过持续预训练适配强 AR 模型并进行指令微调，结合推理时奖励引导，实现了超越同类扩散模型并匹敌强自回归模型的指令跟随性能，同时展示了推理计算量的细粒度可控性。
2025-06-01 cs.CL
PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning
University of Notre Dame（圣母大学）；Snap Inc.（Snap公司）；University of Southern California（南加利福尼亚大学）
提出PLUG方法，利用高资源语言作为枢纽增强低资源语言的指令微调，并引入X-AlpacaEval基准，使LLMs指令遵循能力平均提升29%。
2024-02-12 cs.CL
Cross-Lingual Vision-Language Navigation
UC San Diego（加州大学圣迭戈分校）；UC Santa Cruz（加州大学圣克鲁兹分校）；ByteDance AI Lab（字节跳动人工智能实验室）；UC Santa Barbara（加州大学圣巴巴拉分校）
用自然语言指令命令机器人导航是基础语言理解和机器人技术的长期目标。但根据先前对视觉语言导航（VLN）的研究，主导语言是英语。为了超越英语并为讲不同语言的人提供服务，我们收集了一个双语的房间到房间（BL-R2 R）数据集，用新的中文指令扩展了原始基准。基于这个新引入的数据集，我们研究了如何在现有的英语指令上训练代理，但在零样本学习场景下使用另一种语言有效地导航。在没有任何目标语言的训练数据的情况下，即使与完全访问目标语言训练数据的模型相比，我们的模型也显示出有竞争力的结果。此外，我们还研究了当给定一定数量的目标语言训练数据时，该模型的迁移能力。
2020-12-06 cs.CL cs.CV cs.RO
EVTP-IVS: Effective Visual Token Pruning For Unifying Instruction Visual Segmentation In Multi-Modal Large Language Models
Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）；LinkedIn Corporation（领英公司）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）
本文提出EVTP-IV视觉令牌剪枝方法，通过在k-center中融入空间信息提升令牌覆盖率，在仅使用20%令牌的情况下实现视频最高5倍、图像最高3.5倍加速，并保持与现有方法相当的指令视觉分割精度。
2025-08-16 cs.AI cs.CL cs.CV
Learning Action Conditions from Instructional Manuals for Instruction Understanding
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Cambridge（剑桥大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学学院）
本文提出动作条件推断任务，利用弱监督从说明书手册中自动构建训练数据，并通过利用完整指令上下文和启发式方法显著提升动作前后置条件推断的F1分数。
2024-07-03 cs.CL
Grounded Language Understanding for Manipulation Instructions Using GAN-Based Classification
National Institute of Information and Communications Technology（国立信息与通信技术研究所）
本研究的目标任务是国内服务机器人（DSRs）接地语言理解。特别是，我们专注于指导理解的动词缺失的短句。这一任务对于构建通信的DSRs至关重要，因为操纵对于DSRs是必不可少的。现有的指令理解方法通常只从非基础知识中估计缺失的信息，因此，预测的动作是否是物理上可执行的还不清楚。在本文中，我们提出了一个接地的指令理解方法来估计适当的对象给定的指令和情况。我们扩展了生成对抗网络（GAN），并使用潜在表示构建了一个基于GAN的分类器。为了定量评估所提出的方法，我们已经开发了一个数据集的基础上，用于视觉QA的标准数据集。实验结果表明，该方法比基线方法得到更好的结果。
2018-01-16 cs.CL cs.HC cs.RO
VLN-Trans: Translator for the Vision and Language Navigation Agent
Michigan State University（密歇根州立大学）
语言理解对于导航代理遵循指令是必不可少的。我们观察到两种问题的指令，可以使导航任务具有挑战性：1。由于教练和建模代理的不同视觉能力，所提到的地标是不可识别的导航代理。2.所提到的地标适用于多个目标，因此对于在候选视点中选择目标而言没有区别。为了处理这些问题，我们设计了一个翻译模块的导航代理转换成易于遵循的子指令表示在每一步的原始指令。翻译者需要根据智能体的视觉能力和所观察到的视觉环境来关注可识别的和独特的地标。为了实现这一目标，我们创建了一个新的合成子指令数据集和设计特定的任务，训练翻译和导航代理。我们在Room 2 Room ~（R2 R）、Room 4 room ~（R4 R）和Room 2 Room Last（R2 R-Last）数据集上评估了我们的方法，并在多个基准测试中获得了最先进的结果。
2023-02-18 cs.CL
Instruction Finetuning for Leaderboard Generation from Empirical AI Research
Leibniz University of Hannover（汉诺威莱布尼茨大学）；TIB（德国科技信息图书馆）
本研究提出用预训练大语言模型的指令微调方法自动从AI论文中提取四元组以生成研究排行榜，使用FLAN-T5模型提升信息抽取效果，为结构化知识表示提供新方案。
2024-08-19 cs.CL
Specialist or Generalist? Instruction Tuning for Specific NLP Tasks
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；Cohere；Tencent AI Lab（腾讯AI实验室）
本文研究了在构建特定NLP任务的专家模型时引入通用指令微调的效果，发现其在任务覆盖广或数据有限时提升性能并增强理解推理能力，但含幻觉的通用数据会损害事实知识任务表现。
2023-10-23 cs.CL
Understanding How Model Size Affects Few-shot Instruction Prompting
Yale-NUS College（耶鲁-新加坡国立大学学院）；Bukalapak
大语言模型受训练数据记忆和遗忘现象的影响。但这些是如何根据模型大小而变化的呢？我们对这个问题的工作，通过调查模型的大小如何影响模型的能力，在给定的上下文中区分一个词的含义。我们引入了一个名为DeltaWords的数据集，该数据集评估模型遵循指令选择一个句子的能力，该句子将目标词替换为反义词。我们显示了一个弱的逆缩放趋势，任务的准确性降低模型大小的增加，在极Few-Shot提示制度。我们发现，增加的例子的数量往往不成比例地受益于较大的模型比较小的模型。
2022-12-04 cs.CL cs.LG stat.ML
