CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context
Maritaca AI；Jusbrasil
CAPITU基准通过八部巴西文学经典作品背景，结合可验证指令约束与文化内容，评估LLM在巴西葡萄牙语中的指令遵循能力，测试18种前沿模型，揭示多轮对话中约束持久性差异及形态学约束等挑战。
2026-03-23 cs.CL
HomeBench: Evaluating LLMs in Smart Homes with Valid and Invalid Instructions Across Single and Multiple Devices
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）；Baidu Inc.（百度公司）
本文提出HomeBench，首个包含单/多设备有效与无效指令的智能家居数据集，评估13个LLM，发现GPT-4o在无效多设备场景成功率仅0.0%，揭示现有模型在此类任务上的不足。
2025-05-27 cs.CL
Evaluating Large Language Models at Evaluating Instruction Following
Tsinghua University（清华大学）；Princeton University（普林斯顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 LLMBar 元评价基准，通过 419 对具有迷惑性的指令遵循/偏离输出检验 LLM 评价器，并给出提示策略以缩小其与人类评价的差距。
2024-04-16 cs.CL cs.LG
TOWER: Tree Organized Weighting for Evaluating Complex Instructions
University of Notre Dame（圣母大学）
针对现有大模型复杂指令遵循评估未区分指令各部分重要性的问题，提出融入人类重要性判断的树结构评估指标TOWER，验证了树结构表示的人类一致性，并发布InFoBench树标注与评估代码。
2024-10-08 cs.AI cs.CL
LIFBench: Evaluating the Instruction Following Performance and Stability of Large Language Models in Long-Context Scenarios
East China Normal University（东华师范大学）；iQIYI Inc（iQIYI公司）；Shanghai Innovation Institute（上海创新研究院）
本文提出 LIFBench 数据集与 LIFEval 评分方法，从长度、表达和变量维度系统评估 20 个主流 LLM 在长上下文指令遵循中的性能与稳定性。
2025-07-23 cs.CL
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China（中国人民大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
本研究提出MathIF基准，发现推理能力增强与指令遵循之间存在张力，长思维链或推理强化学习会降低遵循能力，简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
The Stability Trap: Evaluating the Reliability of LLM-Based Instruction Adherence Auditing
Workday Inc.（Workday公司）
本研究通过引入有界指令分解框架，揭示了基于大语言模型的指令遵循审计中判决稳定性与推理稳定性之间的矛盾，提出需严格限定自动化评估协议以提升可靠性。
2026-01-16 cs.CL cs.SE
InFoBench: Evaluating Instruction Following Ability in Large Language Models
Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））；University of Central Florida（中佛罗里达大学）；University of Georgia（佐治亚大学）；Emory University（埃默里大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出了分解需求遵循率（DRFR）新指标和InFoBench基准，通过将复杂指令分解为简单标准来详细评估大型语言模型的指令遵循能力，实验证明该方法可靠且GPT-4可作为低成本标注器。
2024-01-07 cs.AI cs.CL
Evaluating the Zero-shot Robustness of Instruction-tuned Language Models
Northeastern University（东北大学）
本文通过收集80多个任务的319条人工指令评估指令微调LLM的零样本鲁棒性，发现未见过的等价措辞会显著降低并放大性能波动，进而提出优化软提示嵌入以拉近语义等价指令表示的方法，持续提升鲁棒性。
2023-07-09 cs.CL cs.LG
Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models
National Taiwan University（国立台湾大学）；Graduate Institute of Communication Engineering（通讯工程研究所）
本文提出Speech-IFEval基准，用于评估语音感知语言模型的指令遵循能力并量化灾难性遗忘，发现多数模型在基本指令上表现远逊于文本模型且对提示变化敏感，强调需超越任务级指标进行评估。
2025-05-25 cs.CL eess.AS
Evaluating the Robustness to Instructions of Large Language Models
本文评估了Alpaca、Vicuna等指令微调大型语言模型在已见和未见任务上的鲁棒性，发现模型处理不熟悉指令的性能显著下降，且对关系抽取指令的鲁棒性弱于问答指令。
2023-11-27 cs.AI cs.CL
KITE: A Benchmark for Evaluating Korean Instruction-Following Abilities in Large Language Models
Korea University（高丽大学）；Soongsil University（崇实大学）
针对韩语缺乏指令遵循基准的问题，提出KITE基准，涵盖通用与韩语特定开放式任务，结合自动与人工评估，揭示模型差异并公开数据集与代码。
2025-10-17 cs.AI cs.CL
From Tools to Teammates: Evaluating LLMs in Multi-Session Coding Interactions
Universitat Pompeu Fabra（巴塞罗那庞培乌法布拉大学）；University of Amsterdam（阿姆斯特丹大学）；Cohere（Cohere公司）；Cohere Labs（Cohere实验室）；Cohere Labs Community（Cohere实验室社区）；Amsterdam UMC（阿姆斯特丹大学医学中心）
本文构建多会话编码数据集 MemoryCode，评估 LLM 跨会话追踪并执行指令的能力，发现即便是 GPT-4o 也因长链信息检索与整合不足而性能下降。
2025-06-06 cs.CL
Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability
Meituan（美团）
本研究提出名为Meeseeks的全自动迭代式指令遵循基准，通过集成反馈机制引导大语言模型自校正，构建含700余实例的多标签数据集，实验发现多数前沿模型经20轮迭代后表现仍不佳，并揭示了相关共性问题与反直觉现象。
2025-10-22 cs.CL
FireBench: Evaluating Instruction Following in Enterprise and API-Driven LLM Applications
Columbia University（哥伦比亚大学）；Fireworks AI
FireBench 是一个评估企业及 API 驱动 LLM 应用中指令遵循能力的基准测试，通过 2400 个样本评估六个核心能力维度，评估 11 个 LLM 的表现。
2026-03-05 cs.CL cs.SE
Indi-RomCoM: Code-Mixed Benchmark for Evaluating LLMs on Romanized Indic-English Instructions
Shiv Nadar University Chennai（金奈希夫·纳达尔大学）；Google Cloud AI Research（谷歌云人工智能研究）；IIT Madras（印度理工学院马德拉斯分校）
提出Indi-RomCoM基准，用于评估大语言模型在罗马化印度语-英语混合指令上的表现，涵盖7个任务、4种语言和3种混合强度，发现模型性能随混合密度增加而下降。
2026-07-01 cs.AI cs.CL
BASIS: Evaluating Belief-Aware Solutions in Interactive Settings beyond Instructions
Dept. of Comp. Sci. \& Tech., Institute for AI, Tsinghua University, Beijing, China；Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China
本文提出通过心灵理论评估和弥合用户代理交互中的认知分歧，通过强化学习提升模型对用户心理状态的推理能力，从而增强下游任务性能。
2026-10-16 cs.CL
Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection
University of California Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）；Tencent AI Lab（腾讯人工智能实验室）
本文构建了一个基准来评估大型语言模型对提示注入攻击的指令遵循鲁棒性，通过大量实验揭示了模型在区分注入指令与原始指令方面的重大漏洞，并指出未来应重点提升模型对提示的整体理解与指令辨别能力。
2023-11-25 cs.AI cs.CL
Evaluating using Mock Tool Calls to Quarantine Untrusted Prompt Inputs
通过自动化红队测试，研究将不可信内容包装在模拟工具调用中作为隔离措施是否能提高大语言模型的鲁棒性，发现该方法通常无效甚至有害。
2026-05-28 cs.CL
LIFEBench: Evaluating Length Instruction Following in Large Language Models
BUPT（北京邮电大学）；NTU（南洋理工大学）；NUS（新加坡国立大学）；M-A-P；NCEPU（华北电力大学）；Sony AI（索尼人工智能）
该研究提出包含10,800个中英文实例的LIFEBench基准，系统评估26个LLM在16至8192词等长度约束下的指令遵循能力，揭示模型在长输出场景普遍失效。
2025-06-11 cs.AI cs.CL
Discerning minds or generic tutors? Evaluating instructional guidance capabilities in Socratic LLMs
Beijing Normal University（北京师范大学）
本文提出基于真实教育对话的 GuideEval 基准，从感知、统筹和启发三阶段评估苏格拉底式 LLM 的自适应教学引导能力，并通过行为引导微调显著改善其表现。
2025-09-29 cs.AI cs.CL
PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task Completion
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
针对大语言模型复杂多模态工具使用能力评估空白，研究提出PPTC基准与PPTX-Match评估系统，测试发现GPT-4单轮表现最优但多轮会话准确率仅6%，指出三大核心挑战并开源相关资源。
2023-11-07 cs.CL
MulDimIF: A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models
Fudan University（复旦大学）；Lenovo Research（联想研究院）；Tencent（腾讯）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Key Lab of Intelligent Information Processing（上海智能信息处理重点实验室）
本文提出MulDimIF框架，通过多维约束模式、类别和难度等级，设计可控指令生成流程，生成9106个可验证样本，评估18个LLM模型，发现不同约束设置下性能差异显著，并通过训练提升指令遵循能力而不影响通用性能。
2026-04-15 cs.AI cs.CL
M-IFEval: Multilingual Instruction-Following Evaluation
Lightblue KK.；Arkema（阿科玛）
本文提出多语言指令遵循评估基准M-IFEval，将IFEval扩展至法、日、西三种语言并涵盖通用与语言特定指令，在8个主流LLM上验证了多语言评估的必要性。
2025-02-07 cs.AI cs.CL
Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation
Sony Group Corporation（索尼集团公司）
针对大语言模型指令遵循能力缺乏评估指标的问题，本文提出基于MRC模型的故事结局生成场景自动评估流水线，验证其与人类评估一致，且发现近期开源LLMs指令遵循性能接近GPT-3.5。
2024-06-24 cs.CL
What Changed? Detecting and Evaluating Instruction-Guided Image Edits with Multimodal Large Language Models
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；University of Pisa（比萨大学）；University of Trento（特伦托大学）；IIT-CNR
针对指令引导图像编辑评估难的问题，提出基于多模态大语言模型的DICE模型，通过差异检测与一致性估计两阶段方法，实现与人类判断高度相关的编辑质量评估。
2025-05-26 cs.AI cs.CL cs.CV
Evaluating and Optimizing Educational Content with Large Language Model Judgments
Stanford University（斯坦福大学）
本文提出用语言模型作为教育专家评估教学效果，并以语言模型判断为奖励函数优化生成数学练习题，验证了其与人类教师偏好的一致性。
2024-05-06 cs.AI cs.CL
ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents
Upstage；Opentutorials；Indiana University Bloomington（印第安纳大学布卢明顿分校）；Korea University Sejong Campus（韩国大学世宗校区）
ISD-Agent-Bench通过结合经典ISD理论与现代推理方法，为评估基于LLM的教学系统设计代理提供了全面的基准。
2026-02-11 cs.CL cs.SE
Can Foundation Models Moderate Online Content? Evaluating Instruction- vs. Example-Driven Policy Operationalization
MPI-SWS（马克斯·普朗克软件系统研究所）；Saarland University（萨尔大学）；INRIA（法国国家信息与自动化研究所）
本文通过新基准ModerationBench比较指令驱动与示例驱动范式，证明基础模型在内容审核中显著优于现有系统，F1分数近三倍提升，为可靠政策执行提供路径。
2026-09-14 cs.AI cs.CL cs.CY
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现，发现提示对评估结果影响有限，困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale
Northeastern University（东北大学）；Qurrent AI
针对大型语言模型系统在代码仓库编辑任务中缺乏稳健评估工具的问题，提出基于自然语言指令的基准 RES-Q，包含 100 个真实 GitHub 提交任务，全面评估系统的指令解释、信息检索与代码编辑能力，揭示了传统基准无法体现的模型差异。
2024-06-25 cs.CL
From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs
DEIB, Politecnico di Milano（米兰理工大学DEIB学院）；KASTEL, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院KASTEL研究所）
本文提出M2AD数据集，用于评估多模态大语言模型在技术任务中的协助能力，探讨其推理、步骤跟踪和指令引用能力。
2026-03-20 cs.AI cs.CL cs.CV
PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
该研究提出PPTC-R基准，从对抗指令和软件版本两方面评估大语言模型的PPT任务完成鲁棒性，测试发现GPT-4表现最优但多挑战下所有模型性能均显著下降，为开发更鲁棒的LLM及智能体提供参考。
2024-03-06 cs.CL
RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出RefuteBench基准，评估LLMs在问答、翻译和邮件写作任务中对用户反驳指令的遵循能力，发现模型易依赖内部知识且随对话变长会遗忘反馈，并提出召回并重复提示方法有效增强模型响应性。
2024-07-24 cs.AI cs.CL
DELIA: Diversity-Enhanced Learning for Instruction Adaptation in Large Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对指令微调中模型仅适应格式而非获取知识的问题，提出DELIA方法，利用多样性数据缓冲将有偏特征转化为理想特征近似，在翻译和格式化文本生成任务上显著优于基线。
2024-08-19 cs.AI cs.CL
Beyond Skepticism: Evaluating LLMs Pedagogical Intent Reasoning with the Adaptive Pedagogical Vigilance Framework
Zhejiang University（浙江大学）
提出自适应教学警觉（APV）框架，通过贝叶斯教学意图推理引擎建模教学选择与学习者推理，显著提升LLM区分教学与暴露内容的能力，与人类判断高度相关。
2026-07-03 cs.CL
MM-BigBench: Evaluating Multimodal Models on Multimodal Content Comprehension Tasks
Northeastern University（东北大学）；Nanjing University of Science and Technology（南京理工大学）；University of Göttingen（哥廷根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出MM-BigBench评估框架，通过多种度量标准全面评估多模态模型在多模态内容理解任务上的性能，涵盖20个语言模型、14个数据集和6项任务，并引入适应性度量以量化模型与指令间的匹配度。
2023-10-13 cs.CL cs.MM
S2S-Arena: Evaluating Paralinguistic Instruction Following in Speech-to-Speech Models
Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology（深圳先进技术研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanjing University（南京大学）；Shenzhen Loop Area Institute（深圳河套学院）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学CentraleSupélec分校）；National University of Singapore（新加坡国立大学）
S2S-Arena通过四级交互协议和双阶段数据构建流程，评估语音模型在语义理解和副语言表达上的能力，揭示了现有系统在复杂副语言需求下的性能差距。
2026-05-07 cs.CL cs.SD eess.AS
Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks
Arizona State University（亚利桑那州立大学）
本文评估DPO及其变体在三种配置下对齐LLM的效果，发现小数据子集即可接近最优性能，对齐方法虽对复杂推理提升有限但能增强数学求解，且指令微调模型可提高真实性。
2025-02-08 cs.CL
Evaluating and Aligning CodeLLMs on Human Preference
Alibaba Group（阿里巴巴集团）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
本文构建贴近真实任务的CodeArena基准，并利用近20B tokens的SynCode-Instruct验证合成指令微调，表明开源代码LLM与专有模型在人类偏好对齐上仍有明显差距。
2024-12-06 cs.CL
Who Is Your Ideal Companion? Evaluating Emotional Companion Capabilities of LLMs Based on Adult Attachment Theory
本研究基于成人依恋理论构建情感陪伴基准ECBench，评估32个LLM的依恋倾向，探究其在多轮交互中的表现及可调整性，为情感陪伴类LLM的选择提供理论与工具支持。
2026-11-05 cs.CL
ReIFE: Re-evaluating Instruction-Following Evaluation
Yale University（耶鲁大学）；Salesforce AI；Allen Institute for AI（艾伦人工智能研究所）
该研究提出元评估套件ReIFE，通过25个基础LLM、15种评估协议在4个数据集上的大规模评估，揭示了基础模型、评估协议与数据集间的关联规律，为指令遵循评估研究提供支撑。
2024-10-09 cs.AI cs.CL cs.LG
Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs
LibrAI；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；The University of Melbourne（墨尔本大学）
该研究构建了首个评估LLM安全防护的开源数据集Do-Not-Answer，通过标注六个流行模型的响应并训练小型分类器，实现了与GPT-4相当的自动安全评估效果。
2023-09-04 cs.CL
Evaluating Instruction-Tuned Large Language Models on Code Comprehension and Generation
Fudan University（复旦大学）
本文在四个代码理解与生成任务上评估了10个开源指令微调LLM，发现其在零样本下极具竞争力，少样本和微调能进一步提升性能，并据此提出了模型选择与权衡的实际建议。
2023-08-02 cs.AI cs.CL
The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models
University of Amsterdam（阿姆斯特丹大学）；University of Groningen（格罗宁根大学）
SIFo基准通过四个任务评估大型语言模型在多指令遵循中的能力，发现较新和更大的模型在任务表现上更优，揭示了当前语言模型在指令序列处理上的鲁棒性不足。
2024-10-03 cs.CL
DARE-bench: Evaluating Modeling and Instruction Fidelity of LLMs in Data Science
University of Houston（德克萨斯大学休斯顿分校）；Snowflake AI Research（Snowflake人工智能研究院）
DARE-bench通过提供可验证的真实值任务和大规模训练数据，有效评估和提升LLMs在数据科学中的建模和指令忠实度。
2026-02-27 cs.AI cs.CL
CCR-Bench: A Comprehensive Benchmark for Evaluating LLMs on Complex Constraints, Control Flows, and Real-World Cases
CCR-Bench是一个用于评估大语言模型在复杂约束、控制流和现实世界案例中表现的全面基准，通过现实工业场景的样本揭示了当前模型在复杂指令理解上的不足。
2026-03-09 cs.AI cs.CL
Evaluating Ill-Defined Tasks in Large Language Models
IBM Research San Jose, CA（IBM研发San Jose分校）
本文分析了现有评估基准在处理模糊任务时的不足，通过复杂指令跟随和自然语言到Mermaid序列图的案例研究，揭示了评估方法的不稳定性与非诊断性，推动更稳健的评估设计。
2026-03-17 cs.AI cs.CL
Beyond Idealized Patients: Evaluating LLMs under Challenging Patient Behaviors in Medical Consultations
University of Southern California（南加州大学）
本文研究了医疗咨询中常见的挑战性患者行为，定义了四种行为类别，并提出了CPB-Bench基准测试集，评估了多种LLM在处理这些行为时的表现，发现模型在处理矛盾或医学上不合理的患者信息时存在困难。
2026-10-02 cs.CL
MSA at BEA 2025 Shared Task: Disagreement-Aware Instruction Tuning for Multi-Dimensional Evaluation of LLMs as Math Tutors
Faculty of Computer Science, MSA University（计算机科学学院，MSA大学）
本文提出MSA-MathEval系统，采用统一指令微调和感知分歧的集成推理，在BEA 2025共享任务中实现LLM数学辅导多维评估，并在提供指导等维度取得领先排名。
2025-05-24 cs.CL
When Instructions Multiply: Measuring and Estimating LLM Capabilities of Multiple Instructions Following
The University of Tokyo（东京大学）；Kyoto University（京都大学）；University of the Ryukyus（冲绳大学）
本研究提出两个多指令跟随基准（ManyIFEval和StyleMBPP），通过实验发现性能随指令数增加而下降，并开发回归模型以约10%误差预测未见组合的性能，实现高效评估。
2025-09-25 cs.CL
Evaluating Text Creativity across Diverse Domains: A Dataset and Large Language Model Evaluator
Renmin University of China（中国人民大学）；Beijing Normal University（北京师范大学）；Kuaishou Technology（快手科技）
本文提出了一种基于CreataSet数据集的CrEval评估器，通过结合人类和合成数据提升大语言模型的创造力评估效果。
2026-01-29 cs.CL
WebGen-Bench: Evaluating LLMs on Generating Interactive and Functional Websites from Scratch
Multimedia Laboratory (MMLab), The Chinese University of Hong Kong（香港中文大学多媒体实验室）
本文提出WebGen-Bench基准，通过647个测试用例评估LLM智能体从零生成多文件网站代码库的能力，并构建WebGen-Instruct训练集微调模型，使Qwen2.5-Coder-32B准确率达38.2%，超越最强专有模型。
2025-08-11 cs.CL
FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
本文提出了多级细粒度约束遵循基准FollowBench，涵盖5类约束并采用多级机制递增约束，通过提示强模型评估13个主流LLM，揭示了其在指令遵循上的弱点。
2024-06-05 cs.CL
