Instruction-Following Evaluation for Large Language Models
Google（谷歌）；Yale University（耶鲁大学）
提出IFEval基准，通过25种可验证指令和约500个提示，客观评估LLM的指令遵循能力，并展示两个主流模型的评估结果。
2023-11-14 cs.AI cs.CL cs.LG
Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination
Seoul National University（首尔大学）；LG AI Research（LG AI研究院）；University of Michigan（密歇根大学）
该研究定义并验证了偏置神经元的存在，提出 CRISPR 方法利用可解释性技术自动识别并消除指令遵循语言模型中的偏置神经元，在零样本设置下有效缓解偏置且不损失模型性能，仅消除至少三个神经元即可生效。
2024-06-05 cs.AI cs.CL cs.LG
Multimodal Sequential Generative Models for Semi-Supervised Language Instruction Following
The University of Tokyo（东京大学）
能够遵循语言指令的智能体预计在各种情况下都是有用的，例如导航。然而，训练基于神经网络的智能体需要大量成对的轨迹和语言。本文提出了使用多模态生成模型的半监督学习的指令遵循任务。该模型学习成对数据的共享表示，并通过该表示重构未成对数据来实现半监督学习。将模型应用于序列到序列任务（包括指令遵循）的关键挑战是学习可变长度多模态数据的共享表示并纳入注意力机制。为了解决这些问题，本文提出了一种新的网络架构，以吸收多模态数据的序列长度的差异。此外，为了进一步提高性能，本文展示了如何将基于生成模型的方法与现有的半监督方法（称为说话者跟随模型）相结合，并提出了一个正则化项，可以使用不成对的轨迹来改进推理。在BabyAI和R2 R环境下的实验结果表明，该方法利用非配对数据提高了指令遵循的性能，并将R2 R环境下说话人跟随模型的性能提高了2 ~ 4%.
2022-12-29 cs.AI cs.CL cs.LG
MMMT-IF: A Challenging Multimodal Multi-Turn Instruction Following Benchmark
Stanford University（斯坦福大学）；Google（谷歌公司）
本文提出多模态多轮指令遵循基准MMMT-IF和程序化指令遵循指标PIF，揭示现有大模型在长对话中检索并遵循分散指令的能力显著下降，并开源数据集与评测代码。
2024-09-26 cs.AI cs.CL cs.LG
Conifer: Improving Complex Constrained Instruction-Following Ability of Large Language Models
Alibaba Group（阿里巴巴集团）
本文提出 Conifer 指令微调数据集与渐进式学习方案，利用 GPT-4 精炼数据，显著提升 LLM 对复杂约束多层级指令的遵循能力。
2024-04-03 cs.AI cs.CL cs.LG
Learning Instruction-Following Policies through Open-Ended Instruction Relabeling with Large Language Models
Carnegie Mellon University（卡内基梅隆大学）
本文提出利用大型语言模型对智能体历史轨迹进行开放式指令重标注，通过识别隐式完成的子任务丰富训练数据，从而在无需大量人工标注的情况下高效学习统一的指令遵循强化学习策略，并在Craftax环境中显著提升了样本效率与策略性能。
2025-06-24 cs.CL cs.LG
Nevermind: Instruction Override and Moderation in Large Language Models
Drexel University（德雷塞尔大学）
本研究基准测试了不同规模LLM在冲突情境下的指令遵循能力，发现较大模型表现最佳，但改进指令遵循与安全过滤相矛盾，提出安全措施应外部化。
2024-02-05 cs.AI cs.CL cs.LG
Improving Instruction-Following in Language Models through Activation Steering
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
本文提出通过计算含与不含指令输入的激活差异得到指令特定向量，以模块化激活引导方法增强语言模型对输出约束的遵守能力，实验验证其在有无显式指令场景及跨模型迁移中的有效性，为指令遵循提供推理时细粒度控制。
2025-04-14 cs.AI cs.CL cs.LG
The Instruction Gap: LLMs get lost in Following Instruction
Vishesh Tripathi；Uday Allu；Biddwan Ahmed
本研究揭示了LLMs在企业部署中遵循指令的不足，通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳，指出指令遵循能力的鸿沟及改进方向。
2025-12-19 cs.AI cs.CL
ImpRIF: Stronger Implicit Reasoning Leads to Better Complex Instruction Following
ByteDance China（字节跳动中国）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）
本文提出ImpRIF方法，通过构建可验证推理图提升大语言模型对隐式推理指令的理解，从而增强复杂指令遵循能力，在五个基准测试中表现优异。
2026-04-20 cs.AI cs.CL
M-IFEval: Multilingual Instruction-Following Evaluation
Lightblue KK.；Arkema（阿科玛）
本文提出多语言指令遵循评估基准M-IFEval，将IFEval扩展至法、日、西三种语言并涵盖通用与语言特定指令，在8个主流LLM上验证了多语言评估的必要性。
2025-02-07 cs.AI cs.CL
Do LLMs estimate uncertainty well in instruction-following?
University of Cambridge（剑桥大学）；Apple（苹果公司）；National University of Singapore（新加坡国立大学）
本研究首次系统评估LLMs在指令遵循中的不确定性估计，发现现有方法在细微错误下表现不佳，提出受控评估框架以促进更可靠的AI代理。
2025-03-28 cs.AI cs.CL
MUFFIN: Curating Multi-Faceted Instructions for Improving Instruction-Following
The Pennsylvania State University（宾夕法尼亚州立大学）；The Ohio State University（俄亥俄州立大学）；Fudan University（复旦大学）；Westlake University（西湖大学）；Temple University（天普大学）
MUFFIN通过为每个输入自动扩展多样化的任务来策划指令遵循数据集，在四个零样本基准上显著提升了不同规模LLM的指令遵循能力。
2024-03-15 cs.AI cs.CL
BLEUBERI: BLEU is a surprisingly effective reward for instruction following
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出BLEUBERI方法，利用BLEU作为奖励函数进行组相对策略优化，证明其在指令遵循任务上可与奖励模型对齐效果媲美，且更经济、更具事实依据。
2025-10-24 cs.AI cs.CL cs.LG
Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection
University of California Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）；Tencent AI Lab（腾讯人工智能实验室）
本文构建了一个基准来评估大型语言模型对提示注入攻击的指令遵循鲁棒性，通过大量实验揭示了模型在区分注入指令与原始指令方面的重大漏洞，并指出未来应重点提升模型对提示的整体理解与指令辨别能力。
2023-11-25 cs.AI cs.CL
WildIFEval: Instruction Following in the Wild
The Hebrew University of Jerusalem（希伯来大学杰里科分校）；IBM Research（IBM研究院）
提出WildIFEval数据集，包含7K条真实用户的多约束指令，用于评估LLM的指令遵循能力，发现所有模型仍有较大改进空间。
2026-06-12 cs.AI cs.CL
Towards Better Evaluation of Instruction-Following: A Case-Study in Summarization
Google Research（谷歌研究院）
针对LLMs指令遵循评估方法正确性研究不足的问题，本文构建了含300个文档-指令对、900个答案的真实数据集riSum进行元评估，并提出新的基于LLM的无参考评估方法，其表现媲美高成本有参考指标。
2023-10-20 cs.AI cs.CL cs.LG
Pragmatic Instruction Following and Goal Assistance via Cooperative Language-Guided Inverse Planning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
针对模糊指令下的智能体辅助问题，提出贝叶斯架构 CLIPS，联合语言与行动推断人类目标并最小化预期达成成本，在两个规划领域显著优于基线并接近人类判断。
2024-02-27 cs.AI cs.CL cs.LG
Modular Networks for Compositional Instruction Following
UC Berkeley（加州大学伯克利分校）
在指令遵循中使用的标准架构通常在训练期间观察到的子目标的新颖组合（例如，导航到地标或拾取物体）上挣扎。我们提出了一个模块化的架构，以下自然语言的指令，描述序列的不同的子目标。在我们的方法中，每个子目标模块执行特定子目标类型的自然语言指令。通过学习分割指令并预测每个段的子目标类型来选择要执行的模块序列。当与ALFRED（一个具有挑战性的指令遵循基准）上的标准非模块化序列到序列方法相比时，我们发现模块化提高了对新子目标组合物以及训练中看不到的环境的泛化。
2021-04-13 cs.AI cs.CL cs.CV
From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning
University of Georgia（佐治亚大学）；Tencent AI Lab（腾讯人工智能实验室）
本文通过局部与全局解释方法对比预训练和指令微调后的大语言模型，揭示指令微调使模型识别指令、增强指令动词注意力并旋转前馈知识以面向用户任务，为理解和优化LLMs提供基础。
2024-04-04 cs.AI cs.CL cs.LG
Replay Failures as Successes: Sample-Efficient Reinforcement Learning for Instruction Following
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Dalian University of Technology（大连理工大学）；University of Science and Technology of China（中国科学技术大学）；Alibaba Cloud Computing（阿里云计算）；Chinese Academy of Sciences（中国科学院）
HiR 提出了一种样本高效强化学习框架，通过将失败尝试视为成功来提升指令跟随任务的性能，利用双偏好学习实现高效优化。
2025-12-29 cs.AI cs.CL cs.LG
Training with Pseudo-Code for Instruction Following
通过伪代码训练提升LLM指令跟随能力，实现8-21%的提升并在数学和常识推理中取得平均30%的提升。
2026-03-11 cs.AI cs.CL
Constraint Back-translation Improves Complex Instruction Following of Large Language Models
Department of Computer Science and Technology, BNRist, Tsinghua University（计算机科学与技术系，BNRist，清华大学）
针对LLMs复杂指令遵循能力不足的问题，提出约束回译技术，利用先进LLMs从现有高质量数据对中提取隐含约束并添加至指令，构建了CRAB数据集，有效提升了模型后训练效果。
2025-04-29 cs.AI cs.CL
TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild
Tencent AI Lab（腾讯AI实验室）；Nara Institute of Science and Technology（奈良科学技术研究所）；Tsinghua University（清华大学）
本文提出 TextBind 框架，仅需图像-文本对即可让大型语言模型生成多轮交错多模态指令-响应对话，并设计了以语言模型为中心的 MIM 架构处理图文输入输出，发布了相关数据集、模型和演示以促进多模态指令遵循研究。
2024-06-03 cs.AI cs.CL
IFHierBench: Hierarchical Instruction Following for Large Language Models
Technical University of Munich（慕尼黑工业大学）
本研究提出分层指令遵循基准IFHierBench，评估发现现有大语言模型遵循嵌套约束的能力不足，为提升指令遵循能力的训练方法提供了研究方向。
2026-07-31 cs.AI cs.CL
Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability
Nara Institute of Science and Technology（奈良科学技術大學）
本研究提出Ordered CommonGen基准，通过有序覆盖率同时评估LLMs的组合泛化与指令遵循能力，发现LLMs存在顺序偏见且最强者覆盖率仅约75%，需改进。
2025-06-18 cs.AI cs.CL
KITE: A Benchmark for Evaluating Korean Instruction-Following Abilities in Large Language Models
Korea University（高丽大学）；Soongsil University（崇实大学）
针对韩语缺乏指令遵循基准的问题，提出KITE基准，涵盖通用与韩语特定开放式任务，结合自动与人工评估，揭示模型差异并公开数据集与代码。
2025-10-17 cs.AI cs.CL
Instruction Following without Instruction Tuning
Stanford University（斯坦福大学）
本文提出隐式指令微调，发现仅在响应上训练或在窄领域数据上训练均可产生指令遵循，并假设对语言模型分布进行简单改变即可实现该能力。
2024-09-21 cs.CL
Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
本研究提出SPARCOM分析框架，通过分离和分析指令特异性稀疏组件（神经元与MoE专家），揭示了微调如何重构大语言模型的计算机制，并证明这些组件在指令执行中的关键作用，为可信LLM社区提供了深刻见解。
2025-05-27 cs.CL cs.LG
Mitigating Exploration Bias in RL for Multi-Instruction Following
UT Dallas（德克萨斯大学达拉斯分校）；UT Austin（德克萨斯大学奥斯汀分校）；UC Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对多指令遵循RL中偏向简单指令的探索偏差，本文提出两个衡量指标与含行为引导、稀缺感知奖励的两阶段框架，在三个基准上显著优于基线。
2026-08-26 cs.CL cs.LG
Do LLMs "know" internally when they follow instructions?
University of Cambridge（剑桥大学）；Apple（苹果公司）；University of Pennsylvania（宾夕法尼亚大学）
本研究探究LLMs是否在内部表征中编码指令遵循成功信息，识别出可预测遵循结果的“指令遵循维度”，并通过沿此维度修改表征提升遵循率，为可靠智能体构建提供洞见。
2025-03-28 cs.AI cs.CL
Sparse Activation Editing for Reliable Instruction Following in Narratives
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对叙事中指令遵循难题，提出无需训练的Concise-SAE框架，通过编辑指令相关神经元提升性能，并构建1,212示例基准FreeInstruct验证，实现最先进效果且不损生成质量。
2025-05-22 cs.AI cs.CL cs.HC
MuSC: Improving Complex Instruction Following with Multi-granularity Self-Contrastive Training
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；Nanjing University（南京大学）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出多粒度自对比训练框架MuSC，通过指令分解重组构建约束感知偏好数据，并执行动态token级监督的偏好优化，在不依赖更强模型的情况下显著提升了LLMs的复杂与通用指令遵循能力。
2025-05-30 cs.AI cs.CL
Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University（上海数据科学 key laboratory，复旦大学计算机科学与人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学学院）；Ant Group（蚂蚁集团）
本文提出一种无需外部监督的自监督强化学习框架，通过直接从指令中生成奖励信号和伪标签来解决多约束任务中稀疏奖励问题，实验表明其在多个领域数据集上表现优异。
2026-04-14 cs.AI cs.CL
DIALEVAL: Automated Type-Theoretic Evaluation of LLM Instruction Following
Macquarie University, Australia（麦考瑞大学，澳大利亚）
DIALEVAL通过双LLM代理实现复杂指令的自动类型理论评估，提升对话场景下的评估准确性与人类判断一致性。
2026-02-10 cs.AI cs.CL
Panda LLM: Training Data and Evaluation for Open-Sourced Chinese Instruction-Following Large Language Models
Nanyang Technological University（南洋理工大学）
本研究围绕开源大语言模型的指令微调展开，探究训练数据的数量、质量、语言分布等因素对中英文指令微调模型性能的影响，配套定量分析完善评估，为开源中文对话模型发展提供参考，且相关资源已开源。
2023-05-04 cs.AI cs.CL
Accessible Instruction-Following Agent
Kent School（肯特学校）
本研究提出UVLN框架，结合GPT3与BLIP，通过机器翻译增强跨语言视觉-语言导航，提升非英语指令跟随智能体的可交互性与可访问性。
2023-05-08 cs.AI cs.CL
Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning
AXXX；MIRAI
本文提出SuperIgor框架，通过自学习机制使语言模型生成并优化高层计划，减少手动标注需求。通过迭代共训练，强化学习代理和语言模型共同改进，验证了在动态和随机环境中严格遵循指令的能力。
2026-04-22 cs.AI cs.CL
The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models
University of Amsterdam（阿姆斯特丹大学）；University of Groningen（格罗宁根大学）
SIFo基准通过四个任务评估大型语言模型在多指令遵循中的能力，发现较新和更大的模型在任务表现上更优，揭示了当前语言模型在指令序列处理上的鲁棒性不足。
2024-10-03 cs.CL
Empowering Cross-lingual Abilities of Instruction-tuned Large Language Models by Translation-following demonstrations
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）
针对大语言模型跨语言能力不均衡问题，提出带翻译跟随示例的CrossAlpaca指令调优模型，通过语义对齐增强非英语能力，在多类基准六种语言上优于单语调优模型。
2023-08-27 cs.AI cs.CL
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China（中国人民大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
本研究提出MathIF基准，发现推理能力增强与指令遵循之间存在张力，长思维链或推理强化学习会降低遵循能力，简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
VerIF: Verification Engineering for Reinforcement Learning in Instruction Following
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
针对指令跟随强化学习中验证实践不足的问题，提出结合规则代码验证与大模型验证的VerIF方法，构建VerInstruct数据集，训练后模型在同等规模下达SOTA且通用能力不受影响。
2025-06-11 cs.AI cs.CL
OctoBench: Benchmarking Scaffold-Aware Instruction Following in Repository-Grounded Agentic Coding
Fudan University（复旦大学）；MiniMax；Peking University（北京大学）
OctoBench通过评估仓库基础代理编程中的支架意识指令遵循能力，揭示了任务解决与合规性之间的差距，推动更高效的编码代理发展。
2026-01-16 cs.AI cs.CL
Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation
Sony Group Corporation（索尼集团公司）
针对大语言模型指令遵循能力缺乏评估指标的问题，本文提出基于MRC模型的故事结局生成场景自动评估流水线，验证其与人类评估一致，且发现近期开源LLMs指令遵循性能接近GPT-3.5。
2024-06-24 cs.CL
Bridging Auxiliary Constraints to Resolve Instruction Following in Large Reasoning Models
The Chinese University of Hong Kong（香港中文大学）；University of International Relations（国际关系大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）；Westlake University（西湖大学）；King’s College London（伦敦国王学院）
针对大型推理模型难以可靠遵循多重约束的问题，提出约束关系图补全框架，通过显式建模约束关系并发现桥接约束，将约束违反率降低39%。
2026-06-02 cs.AI cs.CL
Instruction-Following Evaluation of Large Vision-Language Models
本研究评估了大视觉-语言模型在微调后的指令遵循能力，发现其能力下降并分析了原因，提出通过包含输出格式指示的训练数据集可缓解此问题。
2025-12-29 cs.CL cs.CV
Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge
National Yang Ming Chiao Tung University（国立阳明交通大学）；Hon Hai Research Institute（鸿海研究院）
针对多模型合并时任务特定知识与指令遵循知识纠缠导致性能下降的问题，提出层感知任务算术（LATA），通过层特定权重放大任务相关层、衰减指令层，在多个基准上提升多任务学习与选择性遗忘性能。
2025-02-27 cs.CL cs.LG
Instruction Tuning with GPT-4
Microsoft Research（微软研究院）
本文首次尝试使用GPT-4生成指令跟随数据对LLaMA进行微调，实验表明该方法显著提升了模型在新任务上的零样本性能，并公开了数据与代码库。
2023-04-06 cs.AI cs.CL
SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature
Allen Institute for AI（艾伦人工智能研究所）；Yale University（耶鲁大学）；University of Washington（华盛顿大学）；Hebrew University（希伯来大学）；MIT（麻省理工学院）；Northwestern University（西北大学）
本文构建含13.7万实例、覆盖54项任务的专家编写科学文献指令数据集 SciRIFF，并通过混合微调使 LLM 在 SciRIFF-Eval 上较基线平均提升70.6%。
2025-09-29 cs.AI cs.CL
Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
Samsung Research（三星研究院）
本研究探讨了LLMs连续预训练与指令微调的关系，旨在无需指令数据和微调的情况下，找到一种计算效率最高的策略以同时获取最新知识并保持指令遵循能力。
2024-10-14 cs.CL
Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
National Taiwan University（国立台湾大学）；Amazon（亚马逊）
研究文本到音频指令跟随问题，提出用音频感知大语言模型作细粒度评判器的框架，经验证后用其反馈构建偏好对优化，引入S3Bench基准，实验证明该方法能提升事件完整性、时间排序和指令跟随准确性，且保持音频质量。
2026-07-28 cs.AI cs.CL cs.LG
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University（康奈尔大学）
我们研究的问题，学习机器人的政策，遵循自然语言的指令，可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据，使用范例来识别对象，并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示，编码对象的位置和它们的指示使用，并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施，以下政策，从而使它能够在测试时，通过简单地添加样本以前看不见的对象的原因。我们评估的任务，学习映射原始的观察和指示，以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术，即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
Investigating the Effectiveness of Task-Agnostic Prefix Prompt for Instruction Following
KAIST（韩国科学技术院）；UCL（伦敦大学学院）；LG AI Research（LG AI 研究院）
本研究提出任务无关前缀提示（TAPP）作为固定前置提示，显著提升多种大语言模型在推理时的指令跟随能力，平均提升34.58%（基础模型）和12.26%（指令微调模型），并假设其通过增强对指令的关注来改善输出分布估计。
2023-12-24 cs.AI cs.CL
Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models
Youtu-Agent Team（YouTu-Agent团队）
针对大语言模型复杂指令遵循能力弱、普通思维链效果不佳的问题，提出RAIF方法，通过可验证奖励强化学习和专家行为克隆激励推理，使1.5B模型性能提升11.74%，媲美8B模型且泛化性良好。
2025-09-30 cs.AI cs.CL cs.CV
