Evaluating Spatiotemporal Consistency in Automatically Generated Sewing Instructions
Congree Language Technologies GmbH(Congree语言技术有限公司);Saarland University(萨尔兰大学)
针对LLM生成的逐步缝纫说明,本文提出基于树的自动时空一致性评估指标,证明其更贴合人工错误计数与质量评分,并对文本相似度反事实样本更稳健。
2025-09-29 cs.CL
Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge
National Yang Ming Chiao Tung University(国立阳明交通大学);Hon Hai Research Institute(鸿海研究院)
针对多模型合并时任务特定知识与指令遵循知识纠缠导致性能下降的问题,提出层感知任务算术(LATA),通过层特定权重放大任务相关层、衰减指令层,在多个基准上提升多任务学习与选择性遗忘性能。
2025-02-27 cs.CL cs.LG
Pre-Learning Environment Representations for Data-Efficient Neural Instruction Following
University of California, Berkeley(加州大学伯克利分校)
我们认为学习映射的问题,从自然语言指令的状态转换(行动),在一个数据有效的方式。我们的方法从这样一个想法中得到灵感:将语言与通过前语言观察已经形成的概念联系起来应该更容易。我们增加了一个基线的预防以下的学习者与初始环境学习阶段,使用观察的语言自由状态转换,以诱导一个合适的潜在的行动表示之前,处理预防以下的训练数据。我们表明,映射到预先学习的表示大大提高了系统的表现,其表示是从有限的教学数据单独学习。
2019-07-23 cs.AI cs.CL cs.LG
Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants
University of Alberta(阿尔伯塔大学);Platform and Content Group, Tencent(腾讯平台与内容事业群)
针对LLMs难以准确评估和遵循相似指令变体的问题,提出数据增强技术DeMoRecon构建细粒度指令变体数据集FGIV,经其微调的模型在多种指令遵循基准上性能显著提升。
2024-10-15 cs.AI cs.CL cs.LG
LogicIF: Towards Complex Logic Instruction Following
University of Texas at Dallas(德克萨斯大学达拉斯分校);Independent Researcher(独立研究者);Duke University(杜克大学);University of Central Florida(佛罗里达大学中央分校)
本文提出LogicIFGen和LogicIFEval,用于生成和评估复杂逻辑指令,揭示了当前LLMs在复杂指令跟随上的不足。
2026-08-11 cs.CL cs.LG
Instruction Following without Instruction Tuning
Stanford University(斯坦福大学)
本文提出隐式指令微调,发现仅在响应上训练或在窄领域数据上训练均可产生指令遵循,并假设对语言模型分布进行简单改变即可实现该能力。
2024-09-21 cs.CL
Who is In Charge? Dissecting Role Conflicts in Instruction Following
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究揭示大型语言模型在指令遵循中存在角色冲突,通过机制分析发现系统-用户冲突与社会冲突的不同处理方式,并强调了对齐方法的重要性。
2025-12-17 cs.CL cs.LG
SAIF: A Sparse Autoencoder Framework for Interpreting and Steering Instruction Following of Language Models
Case Western Reserve University(凯斯西储大学);Wake Forest University(维克森林大学);Cisco(思科公司)
提出 SAIF 框架,利用稀疏自编码器识别并因果验证指令相关潜在特征,实现对 LLM 指令遵循行为的可解释引导,并验证其跨规模扩展性。
2025-02-17 cs.AI cs.CL cs.LG
XIFBench: Evaluating Large Language Models on Multilingual Instruction Following
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Queen Mary University of London(伦敦大学女王学院);Soochow University(苏州大学)
本文提出XIFBench基准,通过558条多语言指令和细粒度约束评估LLMs的指令遵循能力,并引入三项方法论创新支持跨语言评估,揭示了语言资源等因素对多语言指令遵循的影响。
2025-11-03 cs.CL
The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Groningen(格罗宁根大学)
SIFo基准通过四个任务评估大型语言模型在多指令遵循中的能力,发现较新和更大的模型在任务表现上更优,揭示了当前语言模型在指令序列处理上的鲁棒性不足。
2024-10-03 cs.CL
Continual Learning for Instruction Following from Realtime Feedback
University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
提出利用协作交互中的实时二元反馈、通过contextual bandit持续训练指令遵循智能体的方法,数千次人机交互显示准确率绝对提升15.4%,且反馈信号接近监督演示数据。
2023-12-05 cs.AI cs.CL cs.LG
Task Competence Is Not Instruction Following: Evaluating Instruction-Conflicting Behavior in Small Language Models
Khajeh Nasir Toosi University of Technology(哈杰·纳西尔·图西理工大学);Apta AI, Spark AI Research(阿普塔人工智能公司,星火人工智能研究院)
研究小语言模型在指令冲突时的行为,通过跨任务设计,用标准准确率等指标评估指令微调的Qwen模型,发现任务能力提升不自动带来可靠行为控制,任务能力与指令遵循是不同能力,仅报标准准确率会掩盖问题。
2026-10-14 cs.CL
Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation
Sony Group Corporation(索尼集团公司)
针对大语言模型指令遵循能力缺乏评估指标的问题,本文提出基于MRC模型的故事结局生成场景自动评估流水线,验证其与人类评估一致,且发现近期开源LLMs指令遵循性能接近GPT-3.5。
2024-06-24 cs.CL
Empowering Reliable Visual-Centric Instruction Following in MLLMs
Hong Kong University of Science and Technology(香港科学与技术大学);Penn State(宾夕法尼亚州立大学)
本文提出VC-IFEval基准,通过引入视觉依赖性约束,系统评估多模态大语言模型在指令跟随任务中的性能与改进。
2026-01-06 cs.LG
Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
Samsung Research(三星研究院)
本研究探讨了LLMs连续预训练与指令微调的关系,旨在无需指令数据和微调的情况下,找到一种计算效率最高的策略以同时获取最新知识并保持指令遵循能力。
2024-10-14 cs.CL
TOWER: Tree Organized Weighting for Evaluating Complex Instructions
University of Notre Dame(圣母大学)
针对现有大模型复杂指令遵循评估未区分指令各部分重要性的问题,提出融入人类重要性判断的树结构评估指标TOWER,验证了树结构表示的人类一致性,并发布InFoBench树标注与评估代码。
2024-10-08 cs.AI cs.CL
Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models
Alibaba Inc.(阿里巴巴集团);Qwen Team(通义千问团队)
本文提出AutoIF方法,通过将指令遵循数据质量验证转化为代码验证并利用执行反馈生成训练数据,显著提升了Qwen2和LLaMA3在SFT、离线DPO和在线DPO下的指令遵循能力。
2024-07-18 cs.AI cs.CL cs.LG
Instruction Following by Principled Boosting Attention of Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文提出InstABoost方法,通过提升指令相关注意力来增强指令遵循,避免了其他方法的缺陷,提升了指令引导与任务相关上下文的平衡。
2026-03-26 cs.AI cs.CL cs.LG
Large Language Model Instruction Following: A Survey of Progresses and Challenges
The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
本文首次全面综述大语言模型指令遵循研究,围绕指令定义与类型、建模方法、数据集与评估指标、性能影响因素及现存挑战五个核心问题展开系统梳理,为后续研究提供参考。
2024-05-25 cs.CL
Instruction-Following Evaluation for Large Language Models
Google(谷歌);Yale University(耶鲁大学)
提出IFEval基准,通过25种可验证指令和约500个提示,客观评估LLM的指令遵循能力,并展示两个主流模型的评估结果。
2023-11-14 cs.AI cs.CL cs.LG
DecIF: Improving Instruction-Following through Meta-Decomposition
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学)
针对指令数据依赖外部资源的问题,提出 DecIF 框架,通过元分解自动生成、校验指令与响应,并在多场景实验中证明其优异的指令遵循性能。
2025-06-11 cs.CL
When Instructions Multiply: Measuring and Estimating LLM Capabilities of Multiple Instructions Following
The University of Tokyo(东京大学);Kyoto University(京都大学);University of the Ryukyus(冲绳大学)
本研究提出两个多指令跟随基准(ManyIFEval和StyleMBPP),通过实验发现性能随指令数增加而下降,并开发回归模型以约10%误差预测未见组合的性能,实现高效评估。
2025-09-25 cs.CL
Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination
Seoul National University(首尔大学);LG AI Research(LG AI研究院);University of Michigan(密歇根大学)
该研究定义并验证了偏置神经元的存在,提出 CRISPR 方法利用可解释性技术自动识别并消除指令遵循语言模型中的偏置神经元,在零样本设置下有效缓解偏置且不损失模型性能,仅消除至少三个神经元即可生效。
2024-06-05 cs.AI cs.CL cs.LG
Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院)
该研究提出同时评估大语言模型安全性与鲁棒性的Latent Jailbreak基准,构建含嵌入恶意指令的潜在越狱提示数据集,通过多维度分析发现现有模型对不同指令动词存在响应优先级差异与越狱率区别。
2023-08-28 cs.CL
Instruction-Following Evaluation of Large Vision-Language Models
本研究评估了大视觉-语言模型在微调后的指令遵循能力,发现其能力下降并分析了原因,提出通过包含输出格式指示的训练数据集可缓解此问题。
2025-12-29 cs.CL cs.CV
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China(中国人民大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出MathIF基准,发现推理能力增强与指令遵循之间存在张力,长思维链或推理强化学习会降低遵循能力,简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);University of Glasgow(格拉斯哥大学);Yale University(耶鲁大学)
本文提出 FollowIR 数据集与成对评估框架,评测 IR 模型遵循复杂指令的能力,并通过微调训练出性能显著提升的 FollowIR-7B。
2024-05-07 cs.CL cs.IR cs.LG
Multimodal Sequential Generative Models for Semi-Supervised Language Instruction Following
The University of Tokyo(东京大学)
能够遵循语言指令的智能体预计在各种情况下都是有用的,例如导航。然而,训练基于神经网络的智能体需要大量成对的轨迹和语言。本文提出了使用多模态生成模型的半监督学习的指令遵循任务。该模型学习成对数据的共享表示,并通过该表示重构未成对数据来实现半监督学习。将模型应用于序列到序列任务(包括指令遵循)的关键挑战是学习可变长度多模态数据的共享表示并纳入注意力机制。为了解决这些问题,本文提出了一种新的网络架构,以吸收多模态数据的序列长度的差异。此外,为了进一步提高性能,本文展示了如何将基于生成模型的方法与现有的半监督方法(称为说话者跟随模型)相结合,并提出了一个正则化项,可以使用不成对的轨迹来改进推理。在BabyAI和R2 R环境下的实验结果表明,该方法利用非配对数据提高了指令遵循的性能,并将R2 R环境下说话人跟随模型的性能提高了2 ~ 4%.
2022-12-29 cs.AI cs.CL cs.LG
MMMT-IF: A Challenging Multimodal Multi-Turn Instruction Following Benchmark
Stanford University(斯坦福大学);Google(谷歌公司)
本文提出多模态多轮指令遵循基准MMMT-IF和程序化指令遵循指标PIF,揭示现有大模型在长对话中检索并遵循分散指令的能力显著下降,并开源数据集与评测代码。
2024-09-26 cs.AI cs.CL cs.LG
Conifer: Improving Complex Constrained Instruction-Following Ability of Large Language Models
Alibaba Group(阿里巴巴集团)
本文提出 Conifer 指令微调数据集与渐进式学习方案,利用 GPT-4 精炼数据,显著提升 LLM 对复杂约束多层级指令的遵循能力。
2024-04-03 cs.AI cs.CL cs.LG
HIGhER : Improving instruction following with Hindsight Generation for Experience Replay
Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);DeepMind(深度思考);Google Research(谷歌研究院)
语言创造了世界的紧凑表示,并允许通过组合性描述无限的情况和目标。虽然这些特征可以促进指示,调节或结构化交互式代理行为,但即使在简单的指令遵循场景中,正确地将语言理解和强化学习联系起来仍然是一个开放的问题。这种联合学习问题可以通过专家演示、辅助损失或神经归纳偏差来缓解。在本文中,我们提出了一种正交的方法,称为经验重放(HIGH HER)的后见之明生成扩展后见之明经验重放(HER)的方法,以语言为条件的政策设置。每当智能体没有完成它的指令时,HIGHER就会学习输出一个与智能体轨迹相匹配的新指令,并用积极的奖励重新标记该事件。为了做到这一点,HIGHER通过使用过去的成功轨迹来学习将状态映射到指令中,这消除了需要外部专家干预来重新标记事件的需要,就像在香草HER.We显示了我们的方法在BabyAI环境中的效率,并演示了它如何补充其他指令遵循方法。
2020-12-10 cs.CL cs.LG stat.ML
StyleAdaptedLM: Enhancing Instruction Following Models with Efficient Stylistic Transfer
Adobe Research, India(Adobe研究院, 印度);Adobe Inc.(Adobe公司)
本文提出 StyleAdaptedLM 框架,通过在非结构化风格语料上训练 LoRA 适配器并与指令模型合并,在不损失指令遵循能力的前提下高效实现品牌或作者风格定制。
2025-07-24 cs.CL
Nevermind: Instruction Override and Moderation in Large Language Models
Drexel University(德雷塞尔大学)
本研究基准测试了不同规模LLM在冲突情境下的指令遵循能力,发现较大模型表现最佳,但改进指令遵循与安全过滤相矛盾,提出安全措施应外部化。
2024-02-05 cs.AI cs.CL cs.LG
GraphIF: Enhancing Multi-Turn Instruction Following for Large Language Models with Relation Graph Prompt
Zhenhe Li 1(李振和1);Can Lin 1(林灿1);Ling Zheng 1(郑凌1);Wen-Da Wei 2(韦文达2);Junli Liang 1(梁俊利1);Qi Song 1(宋琪1)
GraphIF通过构建关系图结构,利用图提示提升大语言模型的多轮指令遵循能力,实验表明其在多轮对话评估指标上表现优异。
2026-01-15 cs.CL
Improving Instruction-Following in Language Models through Activation Steering
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
本文提出通过计算含与不含指令输入的激活差异得到指令特定向量,以模块化激活引导方法增强语言模型对输出约束的遵守能力,实验验证其在有无显式指令场景及跨模型迁移中的有效性,为指令遵循提供推理时细粒度控制。
2025-04-14 cs.AI cs.CL cs.LG
The Stability Trap: Evaluating the Reliability of LLM-Based Instruction Adherence Auditing
Workday Inc.(Workday公司)
本研究通过引入有界指令分解框架,揭示了基于大语言模型的指令遵循审计中判决稳定性与推理稳定性之间的矛盾,提出需严格限定自动化评估协议以提升可靠性。
2026-01-16 cs.CL cs.SE
Instruction-following Evaluation through Verbalizer Manipulation
Samsung Research America(美国三星研究院);University of Southern California(南加州大学)
本文提出言语化器操纵评估协议,通过改变任务标签与模型先验的对齐程度来检验指令遵循能力,并在多模型多数据集上验证其有效性,发现现有模型在低对齐言语化器上表现显著下降。
2024-04-02 cs.CL
The Instruction Gap: LLMs get lost in Following Instruction
Vishesh Tripathi;Uday Allu;Biddwan Ahmed
本研究揭示了LLMs在企业部署中遵循指令的不足,通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳,指出指令遵循能力的鸿沟及改进方向。
2025-12-19 cs.AI cs.CL
InFoBench: Evaluating Instruction Following Ability in Large Language Models
Tencent AI Lab, Seattle(腾讯人工智能实验室(西雅图));University of Central Florida(中佛罗里达大学);University of Georgia(佐治亚大学);Emory University(埃默里大学);Shanghai Jiao Tong University(上海交通大学)
本文提出了分解需求遵循率(DRFR)新指标和InFoBench基准,通过将复杂指令分解为简单标准来详细评估大型语言模型的指令遵循能力,实验证明该方法可靠且GPT-4可作为低成本标注器。
2024-01-07 cs.AI cs.CL
Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models
National Taiwan University(国立台湾大学);Graduate Institute of Communication Engineering(通讯工程研究所)
本文提出Speech-IFEval基准,用于评估语音感知语言模型的指令遵循能力并量化灾难性遗忘,发现多数模型在基本指令上表现远逊于文本模型且对提示变化敏感,强调需超越任务级指标进行评估。
2025-05-25 cs.CL eess.AS
Analysis of Language Change in Collaborative Instruction Following
Cornell University(康奈尔大学);City University of New York(纽约市立大学)
我们在一个协作的、以目标为导向的教学任务中分析语言随时间的变化,在这个任务中,效用最大化的参与者形成惯例并增加他们的专业知识。以前的工作主要是在参考游戏的背景下研究这种情况,并一致发现,语言的复杂性是沿着多个维度,如话语长度,作为惯例的形成。相比之下,我们发现,由于能够提高指令效用,教师增加语言的复杂性,沿着这些先前研究的维度,以更好地与越来越熟练的指令追随者合作。
2021-09-09 cs.CL
ImpRIF: Stronger Implicit Reasoning Leads to Better Complex Instruction Following
ByteDance China(字节跳动中国);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室)
本文提出ImpRIF方法,通过构建可验证推理图提升大语言模型对隐式推理指令的理解,从而增强复杂指令遵循能力,在五个基准测试中表现优异。
2026-04-20 cs.AI cs.CL
IFEval-Audio: Benchmarking Instruction-Following Capability in Audio-based Large Language Models
Nanyang Technological University (NTU)(南洋理工大学);MiroMind(米罗Mind);Institute for Infocomm Research (I 2 R)(信息与通信研究院);A*STAR(科技研究局)
针对音频类大型语言模型指令遵循能力未被充分研究的问题,提出IFEval-Audio评测数据集(含280个三元组、6个维度),对先进音频LLMs进行基准测试并公开数据集,填补该领域空白。
2025-11-12 cs.CL
ConInstruct: Evaluating Large Language Models on Conflict Detection and Resolution in Instructions
该研究针对现有LLMs指令遵循评估忽略冲突约束场景的问题,提出ConInstruct基准以评估LLMs的冲突检测与解决能力,实验发现专有LLMs冲突检测能力强但很少主动通知用户冲突,为LLMs改进提供方向。
2025-11-19 cs.CL
SEIF: Self-Evolving Reinforcement Learning for Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学 key laboratory,计算机科学与人工智能学院,复旦大学);School of Data Science, Fudan University(数据科学学院,复旦大学);Ant Group(蚂蚁集团)
SEIF提出了一种自演化框架,通过闭环自我进化提升大语言模型的指令跟随能力,通过动态调整指令难度与模型能力相互促进,实验表明其在多模型规模上均有效提升性能。
2026-05-08 cs.CL
Parrot: Enhancing Multi-Turn Instruction Following for Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Kuaishou(快手);School of Information, Renmin University of China(中国人民大学信息学院)
Parrot通过高效收集类人多轮指令和上下文感知偏好优化,显著提升LLM多轮指令遵循能力,实验显示最高提升7.2%,并开源数据集和代码。
2024-05-23 cs.CL
Modular Networks for Compositional Instruction Following
UC Berkeley(加州大学伯克利分校)
在指令遵循中使用的标准架构通常在训练期间观察到的子目标的新颖组合(例如,导航到地标或拾取物体)上挣扎。我们提出了一个模块化的架构,以下自然语言的指令,描述序列的不同的子目标。在我们的方法中,每个子目标模块执行特定子目标类型的自然语言指令。通过学习分割指令并预测每个段的子目标类型来选择要执行的模块序列。当与ALFRED(一个具有挑战性的指令遵循基准)上的标准非模块化序列到序列方法相比时,我们发现模块化提高了对新子目标组合物以及训练中看不到的环境的泛化。
2021-04-13 cs.AI cs.CL cs.CV
Alignment-based compositional semantics for instruction following
University of California, Berkeley(加州大学伯克利分校)
本文描述了一个基于解释的模型,用于解释上下文中的自然语言指令。我们将指令遵循视为对计划的搜索,根据对文本和环境的结构化观察对行动序列进行评分。通过明确建模的低层次组成结构的个人行动和高层次的结构完整的计划,我们能够学习接地表示的句子意义和语用约束的解释。为了展示模型的灵活性,我们将其应用于一组不同的基准测试任务。在每一项任务上,我们都超越了强大的特定任务基准,并取得了几项新的最先进的成果。
2017-04-12 cs.CL
M-IFEval: Multilingual Instruction-Following Evaluation
Lightblue KK.;Arkema(阿科玛)
本文提出多语言指令遵循评估基准M-IFEval,将IFEval扩展至法、日、西三种语言并涵盖通用与语言特定指令,在8个主流LLM上验证了多语言评估的必要性。
2025-02-07 cs.AI cs.CL
IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation
The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University(清华大学对话人工智能(CoAI)小组);Zhipu AI(智谱AI);University of Electronic Science and Technology of China(电子科技大学)
本文提出IF-RewardBench,一个全面的指令遵循元评估基准,通过构建偏好图评估评判模型的排序能力,揭示现有模型缺陷,并展示其在下游任务中的更强相关性。
2026-04-16 cs.CL
Do LLMs estimate uncertainty well in instruction-following?
University of Cambridge(剑桥大学);Apple(苹果公司);National University of Singapore(新加坡国立大学)
本研究首次系统评估LLMs在指令遵循中的不确定性估计,发现现有方法在细微错误下表现不佳,提出受控评估框架以促进更可靠的AI代理。
2025-03-28 cs.AI cs.CL
CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context
Maritaca AI;Jusbrasil
CAPITU基准通过八部巴西文学经典作品背景,结合可验证指令约束与文化内容,评估LLM在巴西葡萄牙语中的指令遵循能力,测试18种前沿模型,揭示多轮对话中约束持久性差异及形态学约束等挑战。
2026-03-23 cs.CL
Dancing in Chains: Reconciling Instruction Following and Faithfulness in Language Models
AWS AI Labs(亚马逊云科技人工智能实验室);Google(谷歌公司);Stanford University(斯坦福大学);Samaya AI(Samaya人工智能公司);Orby AI(Orby人工智能公司);NVIDIA(英伟达公司)
本文揭示了语言模型中指令遵循与忠实性之间的权衡,并提出基于拒绝采样的持续自指令微调方法ReSet,以更少的高质量数据显著优于普通多任务学习。
2024-07-31 cs.CL
Evaluating the Robustness to Instructions of Large Language Models
本文评估了Alpaca、Vicuna等指令微调大型语言模型在已见和未见任务上的鲁棒性,发现模型处理不熟悉指令的性能显著下降,且对关系抽取指令的鲁棒性弱于问答指令。
2023-11-27 cs.AI cs.CL