LogicIF: Towards Complex Logic Instruction Following
University of Texas at Dallas(德克萨斯大学达拉斯分校);Independent Researcher(独立研究者);Duke University(杜克大学);University of Central Florida(佛罗里达大学中央分校)
本文提出LogicIFGen和LogicIFEval,用于生成和评估复杂逻辑指令,揭示了当前LLMs在复杂指令跟随上的不足。
2026-08-11 cs.CL cs.LG
Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学 key laboratory,复旦大学计算机科学与人工智能学院);School of Data Science, Fudan University(复旦大学数据科学学院);Ant Group(蚂蚁集团)
本文提出一种无需外部监督的自监督强化学习框架,通过直接从指令中生成奖励信号和伪标签来解决多约束任务中稀疏奖励问题,实验表明其在多个领域数据集上表现优异。
2026-04-14 cs.AI cs.CL
Mitigating Exploration Bias in RL for Multi-Instruction Following
UT Dallas(德克萨斯大学达拉斯分校);UT Austin(德克萨斯大学奥斯汀分校);UC Santa Barbara(加利福尼亚大学圣巴巴拉分校)
针对多指令遵循RL中偏向简单指令的探索偏差,本文提出两个衡量指标与含行为引导、稀缺感知奖励的两阶段框架,在三个基准上显著优于基线。
2026-08-26 cs.CL cs.LG
Beating Atari with Natural Language Guided Reinforcement Learning
Stanford University(斯坦福大学)
我们介绍了第一个深度强化学习代理,它可以在自然语言指令的帮助下学习击败Atari游戏。该代理使用环境观测和自然语言之间的多模态嵌入,通过一系列英语指令来自我监控进度,除了增加游戏分数之外,还为完成指令授予自己奖励。我们的代理在通常被认为是最困难的Atari 2600环境:Montezuma's Revenge上的表现明显优于Deep Q-Networks(DQN),异步优势演员评论家(A3 C)代理以及发布到OpenAI Gym的最佳代理。
2017-04-18 cs.AI
Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning
AXXX;MIRAI
本文提出SuperIgor框架,通过自学习机制使语言模型生成并优化高层计划,减少手动标注需求。通过迭代共训练,强化学习代理和语言模型共同改进,验证了在动态和随机环境中严格遵循指令的能力。
2026-04-22 cs.AI cs.CL
OctoBench: Benchmarking Scaffold-Aware Instruction Following in Repository-Grounded Agentic Coding
Fudan University(复旦大学);MiniMax;Peking University(北京大学)
OctoBench通过评估仓库基础代理编程中的支架意识指令遵循能力,揭示了任务解决与合规性之间的差距,推动更高效的编码代理发展。
2026-01-16 cs.AI cs.CL
VerIF: Verification Engineering for Reinforcement Learning in Instruction Following
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
针对指令跟随强化学习中验证实践不足的问题,提出结合规则代码验证与大模型验证的VerIF方法,构建VerInstruct数据集,训练后模型在同等规模下达SOTA且通用能力不受影响。
2025-06-11 cs.AI cs.CL
Beyond the Trade-off: Self-Supervised Reinforcement Learning for Reasoning Models' Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学关键实验室,计算机科学与人工智能学院,复旦大学);School of Data Science, Fudan University(数据科学学院,复旦大学);Ant Group(蚂蚁集团)
提出自监督强化学习框架,利用推理模型内部信号提升指令遵循能力,无需外部监督,在保持推理性能的同时显著增强指令遵循,且可扩展、成本低。
2025-08-04 cs.AI
HIGhER : Improving instruction following with Hindsight Generation for Experience Replay
Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);DeepMind(深度思考);Google Research(谷歌研究院)
语言创造了世界的紧凑表示,并允许通过组合性描述无限的情况和目标。虽然这些特征可以促进指示,调节或结构化交互式代理行为,但即使在简单的指令遵循场景中,正确地将语言理解和强化学习联系起来仍然是一个开放的问题。这种联合学习问题可以通过专家演示、辅助损失或神经归纳偏差来缓解。在本文中,我们提出了一种正交的方法,称为经验重放(HIGH HER)的后见之明生成扩展后见之明经验重放(HER)的方法,以语言为条件的政策设置。每当智能体没有完成它的指令时,HIGHER就会学习输出一个与智能体轨迹相匹配的新指令,并用积极的奖励重新标记该事件。为了做到这一点,HIGHER通过使用过去的成功轨迹来学习将状态映射到指令中,这消除了需要外部专家干预来重新标记事件的需要,就像在香草HER.We显示了我们的方法在BabyAI环境中的效率,并演示了它如何补充其他指令遵循方法。
2020-12-10 cs.CL cs.LG stat.ML
Enhancing LLM Instruction Following: An Evaluation-Driven Multi-Agentic Workflow for Prompt Instructions Optimization
Card Intelligence, Capital One(卡德智能,Capital One)
本文提出了一种多智能体工作流,通过评估驱动的方法优化提示指令,提升大语言模型对约束条件的遵循能力。
2026-01-06 cs.AI
Factorizing Perception and Policy for Interactive Instruction Following
GIST(光州科学技术院);Allen Institute for AI(艾伦人工智能研究所)
基于语言指令执行简单的家务对人类来说是非常自然的,但它仍然是人工智能智能体的一个开放性挑战。“交互式指令遵循”任务试图朝着在环境中的每一步共同导航、交互和推理的构建代理取得进展。为了解决多方面的问题,我们提出了一个模型,将任务分解为具有增强组件的交互式感知和行动策略流,并将其命名为MOCA,一种模块化的以对象为中心的方法。我们经验验证,MOCA优于现有技术的显着利润率的ALFRED基准与改进的泛化。
2021-09-02 cs.AI cs.CV cs.RO
GROOT: Learning to Follow Instructions by Watching Gameplay Videos
PKU(北京大学);BIGAI(北京通用人工智能研究院);UCLA(加利福尼亚大学洛杉矶分校)
本文提出 GROOT,通过观看游戏参考视频学习开放世界指令跟随,利用因果 Transformer 编码视频目标空间,在 Minecraft SkillForge 上取得 70% 对最佳基线胜率并缩小人机差距。
2023-11-29 cs.AI cs.LG
Executing Instructions in Situated Collaborative Interactions
Cornell University(康奈尔大学);IBM(国际商业机器公司);Columbia University(哥伦比亚大学);Intel(英特尔公司);Facebook(脸书公司)
我们研究了一个协作场景,用户不仅指示系统完成任务,而且还与它一起行动,这允许用户通过改变他们的语言或决定自己简单地完成一些任务来适应系统的能力,并要求系统有效地从错误中恢复,因为用户有策略地分配新的目标。我们构建了一个游戏环境来研究这种情况,并学习将用户指令映射到系统操作。我们介绍了一种学习方法,专注于从指令之间的级联错误中恢复,并建模方法来明确地推理具有多个目标的指令。我们使用记录的交互和与人类用户的在线游戏,并观察用户如何适应系统的能力,一个新的评估协议进行评估。
2022-11-22 cs.AI cs.CL cs.LG
Non-instructional Fine-tuning: Enabling Instruction-Following Capabilities in Pre-trained Language Models without Instruction-Following Data
本文提出用OpenWebText随机文本前半段作指令、GPT-3.5/4-turbo补全作响应的非指令性数据微调预训练LLMs,验证其能获得指令遵循能力,且LLaMA-3-70B-Instruct在Arena Hard上可比肩LLaMA-3.1-70B-Instruct。
2024-08-27 cs.AI cs.CL cs.LG
Pre-Learning Environment Representations for Data-Efficient Neural Instruction Following
University of California, Berkeley(加州大学伯克利分校)
我们认为学习映射的问题,从自然语言指令的状态转换(行动),在一个数据有效的方式。我们的方法从这样一个想法中得到灵感:将语言与通过前语言观察已经形成的概念联系起来应该更容易。我们增加了一个基线的预防以下的学习者与初始环境学习阶段,使用观察的语言自由状态转换,以诱导一个合适的潜在的行动表示之前,处理预防以下的训练数据。我们表明,映射到预先学习的表示大大提高了系统的表现,其表示是从有限的教学数据单独学习。
2019-07-23 cs.AI cs.CL cs.LG
SAIF: A Sparse Autoencoder Framework for Interpreting and Steering Instruction Following of Language Models
Case Western Reserve University(凯斯西储大学);Wake Forest University(维克森林大学);Cisco(思科公司)
提出 SAIF 框架,利用稀疏自编码器识别并因果验证指令相关潜在特征,实现对 LLM 指令遵循行为的可解释引导,并验证其跨规模扩展性。
2025-02-17 cs.AI cs.CL cs.LG
Improving Instruction-Following in Language Models through Activation Steering
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
本文提出通过计算含与不含指令输入的激活差异得到指令特定向量,以模块化激活引导方法增强语言模型对输出约束的遵守能力,实验验证其在有无显式指令场景及跨模型迁移中的有效性,为指令遵循提供推理时细粒度控制。
2025-04-14 cs.AI cs.CL cs.LG
Instruction-Following Evaluation for Large Language Models
Google(谷歌);Yale University(耶鲁大学)
提出IFEval基准,通过25种可验证指令和约500个提示,客观评估LLM的指令遵循能力,并展示两个主流模型的评估结果。
2023-11-14 cs.AI cs.CL cs.LG
Continual Learning for Instruction Following from Realtime Feedback
University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
提出利用协作交互中的实时二元反馈、通过contextual bandit持续训练指令遵循智能体的方法,数千次人机交互显示准确率绝对提升15.4%,且反馈信号接近监督演示数据。
2023-12-05 cs.AI cs.CL cs.LG
Conifer: Improving Complex Constrained Instruction-Following Ability of Large Language Models
Alibaba Group(阿里巴巴集团)
本文提出 Conifer 指令微调数据集与渐进式学习方案,利用 GPT-4 精炼数据,显著提升 LLM 对复杂约束多层级指令的遵循能力。
2024-04-03 cs.AI cs.CL cs.LG
Multimodal Sequential Generative Models for Semi-Supervised Language Instruction Following
The University of Tokyo(东京大学)
能够遵循语言指令的智能体预计在各种情况下都是有用的,例如导航。然而,训练基于神经网络的智能体需要大量成对的轨迹和语言。本文提出了使用多模态生成模型的半监督学习的指令遵循任务。该模型学习成对数据的共享表示,并通过该表示重构未成对数据来实现半监督学习。将模型应用于序列到序列任务(包括指令遵循)的关键挑战是学习可变长度多模态数据的共享表示并纳入注意力机制。为了解决这些问题,本文提出了一种新的网络架构,以吸收多模态数据的序列长度的差异。此外,为了进一步提高性能,本文展示了如何将基于生成模型的方法与现有的半监督方法(称为说话者跟随模型)相结合,并提出了一个正则化项,可以使用不成对的轨迹来改进推理。在BabyAI和R2 R环境下的实验结果表明,该方法利用非配对数据提高了指令遵循的性能,并将R2 R环境下说话人跟随模型的性能提高了2 ~ 4%.
2022-12-29 cs.AI cs.CL cs.LG
Continual Learning for Grounded Instruction Generation by Observing Human Following Behavior
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
通过观察人类用户的指令执行,我们研究了自然语言指令生成的持续学习。我们专注于一个协作的情况下,系统的行为和委托任务给人类用户使用自然语言。我们将用户执行生成的指令与原始系统意图进行比较,作为系统成功传达其意图的指示。我们展示了如何使用这个信号来提高系统的能力,通过上下文强盗学习生成指令。在与真实用户的交互中,我们的系统随着时间的推移在生成语言的能力上表现出了显着的改进。
2021-08-10 cs.AI cs.CL cs.LG
Instruction Following by Principled Boosting Attention of Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文提出InstABoost方法,通过提升指令相关注意力来增强指令遵循,避免了其他方法的缺陷,提升了指令引导与任务相关上下文的平衡。
2026-03-26 cs.AI cs.CL cs.LG
Nevermind: Instruction Override and Moderation in Large Language Models
Drexel University(德雷塞尔大学)
本研究基准测试了不同规模LLM在冲突情境下的指令遵循能力,发现较大模型表现最佳,但改进指令遵循与安全过滤相矛盾,提出安全措施应外部化。
2024-02-05 cs.AI cs.CL cs.LG
Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination
Seoul National University(首尔大学);LG AI Research(LG AI研究院);University of Michigan(密歇根大学)
该研究定义并验证了偏置神经元的存在,提出 CRISPR 方法利用可解释性技术自动识别并消除指令遵循语言模型中的偏置神经元,在零样本设置下有效缓解偏置且不损失模型性能,仅消除至少三个神经元即可生效。
2024-06-05 cs.AI cs.CL cs.LG
Pragmatic Instruction Following and Goal Assistance via Cooperative Language-Guided Inverse Planning
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
针对模糊指令下的智能体辅助问题,提出贝叶斯架构 CLIPS,联合语言与行动推断人类目标并最小化预期达成成本,在两个规划领域显著优于基线并接近人类判断。
2024-02-27 cs.AI cs.CL cs.LG
Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals
Carnegie Mellon University(卡内基梅隆大学);Ariel University(阿里尔大学);Microsoft Research(微软研究院)
针对强化学习样本效率低的问题,提出Read and Reward框架,通过阅读Atari游戏说明手册提取信息并生成辅助奖励,显著提升多种RL算法的性能与训练速度。
2024-07-20 cs.AI cs.CL cs.LG
Multilingual Instruction Tuning With Just a Pinch of Multilinguality
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
本研究探究多语言大语言模型指令微调中的多语言数据作用,发现少量多语言样本即可显著提升跨语言指令遵循与泛化能力,为高效构建多语言指令微调模型提供新思路。
2024-05-21 cs.AI cs.CL cs.LG
ReasonIF: Large Reasoning Models Fail to Follow Instructions During Reasoning
Together AI;Stanford University(斯坦福大学)
ReasonIF基准评估大型推理模型在推理过程中遵循指令的能力,发现多数模型IFS低于0.25,并提出多轮推理与推理指令微调(RIF)策略,将GPT-OSS-20B的IFS从0.11提升至0.27。
2025-10-17 cs.AI cs.LG
InstructPix2Pix: Learning to Follow Image Editing Instructions
University of California, Berkeley(加州大学伯克利分校)
我们提出了一种根据人类指令编辑图像的方法:给定一个输入图像和一个告诉模型该做什么的书面指令,我们的模型遵循这些指令来编辑图像。为了获得这个问题的训练数据,我们结合了两个大型预训练模型的知识-一个语言模型(GPT-3)和一个文本到图像模型(稳定扩散)-以生成一个大型图像编辑示例数据集。我们的条件扩散模型InstructPix 2 Pix是在我们生成的数据上训练的,并在推理时推广到真实图像和用户编写的指令。由于它在向前传递中执行编辑,并且不需要每个示例进行微调或反转,因此我们的模型可以在几秒钟内快速编辑图像。我们展示了令人信服的编辑结果的输入图像和书面说明的多样化集合。
2023-01-18 cs.AI cs.CL cs.CV
FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);University of Glasgow(格拉斯哥大学);Yale University(耶鲁大学)
本文提出 FollowIR 数据集与成对评估框架,评测 IR 模型遵循复杂指令的能力,并通过微调训练出性能显著提升的 FollowIR-7B。
2024-05-07 cs.CL cs.IR cs.LG
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University(康奈尔大学)
我们研究的问题,学习机器人的政策,遵循自然语言的指令,可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据,使用范例来识别对象,并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示,编码对象的位置和它们的指示使用,并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施,以下政策,从而使它能够在测试时,通过简单地添加样本以前看不见的对象的原因。我们评估的任务,学习映射原始的观察和指示,以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术,即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
National Taiwan University(国立台湾大学);Amazon(亚马逊)
研究文本到音频指令跟随问题,提出用音频感知大语言模型作细粒度评判器的框架,经验证后用其反馈构建偏好对优化,引入S3Bench基准,实验证明该方法能提升事件完整性、时间排序和指令跟随准确性,且保持音频质量。
2026-07-28 cs.AI cs.CL cs.LG
Who is In Charge? Dissecting Role Conflicts in Instruction Following
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究揭示大型语言模型在指令遵循中存在角色冲突,通过机制分析发现系统-用户冲突与社会冲突的不同处理方式,并强调了对齐方法的重要性。
2025-12-17 cs.CL cs.LG
When Models Can't Follow: Testing Instruction Adherence Across 256 LLMs
University of Nevada Las Vegas(内华达大学拉斯维加斯分校)
针对现有LLM指令遵循评估易受训练数据干扰的问题,提出含20个提示词的精简评估框架,测试256个主流及新兴LLM,揭示常见失效模式,提供实用诊断工具与全面实证分析。
2025-10-18 cs.CL cs.LG
Spotlight Your Instructions: Instruction-following with Dynamic Attention Steering
IBM Research(IBM研究院)
通过动态调整注意力机制,提升大型语言模型对复杂指令的遵循能力,实现更高效的指令处理。
2026-01-25 cs.LG
GROOT-2: Weakly Supervised Multi-Modal Instruction Following Agents
PKU(北京大学);BIGAI(北京智源人工智能研究院);UCLA(加利福尼亚大学洛杉矶分校);Team CraftJarvis(CraftJarvis团队)
针对多模态指令跟随难题,提出弱监督结合潜变量模型的GROOT-2智能体,通过约束性自我模仿与人类意图对齐,在四个环境中验证了其有效性。
2024-12-07 cs.AI cs.LG cs.RO
Instruction-Following Speech Recognition
Apple(苹果公司);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出指令跟随语音识别,训练 Listen-Attend-Spell 模型从零开始理解并执行自由形式文本指令,在 Librispeech 上无需 LLMs 或预训练模块即可完成转录操作、摘要及选择性转录等任务,并提升隐私安全性。
2023-09-18 cs.CL cs.LG cs.SD