Non-instructional Fine-tuning: Enabling Instruction-Following Capabilities in Pre-trained Language Models without Instruction-Following Data
本文提出用OpenWebText随机文本前半段作指令、GPT-3.5/4-turbo补全作响应的非指令性数据微调预训练LLMs,验证其能获得指令遵循能力,且LLaMA-3-70B-Instruct在Arena Hard上可比肩LLaMA-3.1-70B-Instruct。
2024-08-27 cs.AI cs.CL cs.LG
Differentiable Instruction Optimization for Cross-Task Generalization
The University of Tokyo(东京大学);The University of Edinburgh(爱丁堡大学);RIKEN(理化学研究所)
本文提出可微指令优化方法,通过双层优化和梯度下降学习指令,以提升跨任务泛化能力,实验证明其优于仅用人工指令。
2023-06-16 cs.AI cs.CL cs.LG
Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants
University of Alberta(阿尔伯塔大学);Platform and Content Group, Tencent(腾讯平台与内容事业群)
针对LLMs难以准确评估和遵循相似指令变体的问题,提出数据增强技术DeMoRecon构建细粒度指令变体数据集FGIV,经其微调的模型在多种指令遵循基准上性能显著提升。
2024-10-15 cs.AI cs.CL cs.LG
LongForm: Effective Instruction Tuning with Reverse Instructions
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
LongForm通过反向指令从人类语料生成指令数据,构建LongForm-C数据集,以低成本实现有效指令微调,在长文本生成和问答任务上超越更大规模及先前微调模型。
2024-10-03 cs.AI cs.CL cs.LG
Instruction Following without Instruction Tuning
Stanford University(斯坦福大学)
本文提出隐式指令微调,发现仅在响应上训练或在窄领域数据上训练均可产生指令遵循,并假设对语言模型分布进行简单改变即可实现该能力。
2024-09-21 cs.CL
From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning
University of Georgia(佐治亚大学);Tencent AI Lab(腾讯人工智能实验室)
本文通过局部与全局解释方法对比预训练和指令微调后的大语言模型,揭示指令微调使模型识别指令、增强指令动词注意力并旋转前馈知识以面向用户任务,为理解和优化LLMs提供基础。
2024-04-04 cs.AI cs.CL cs.LG
Instructive Decoding: Instruction-Tuned Large Language Models are Self-Refiner from Noisy Instructions
KAIST AI(韩国科学技术院人工智能学院)
本文提出指导性解码(ID)方法,通过对比原始指令与噪声指令的预测来调整 logits,无需额外参数更新即可显著提升指令微调模型在分布外指令下的性能。
2024-02-17 cs.CL
MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions
CIS, LMU Munich(慕尼黑大学CIS学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Cohere for AI
本文提出MURI方法,利用反向指令和翻译流水线,无需人工标注即可为200种低资源语言生成超200万指令-输出对,经评估和微调实验验证,有效提升NLU和开放式生成性能。
2024-09-19 cs.AI cs.CL cs.LG
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
OpenAI
针对LLM因系统提示与不可信输入同优先级而易受攻击的漏洞,提出指令层级框架及数据生成方法,训练GPT-3.5选择性忽略低特权指令,大幅提升对未见攻击的鲁棒性且基本不损失标准能力。
2024-04-19 cs.CL cs.CR cs.LG
Instruction Diversity Drives Generalization To Unseen Tasks
Meta AI Research(元人工智能研究院)
本文通过字符串重写任务实验发现,指令集的多样性而非单任务样本量,是驱动大型语言模型向未见任务泛化及保证鲁棒性的关键因素。
2024-02-16 cs.AI cs.CL cs.LG
InstOptima: Evolutionary Multi-objective Instruction Optimization via Large Language Model-based Instruction Operators
University of Exeter(埃克塞特大学)
本文提出 InstOptima,将指令生成建模为进化多目标优化问题,利用 LLM 模拟变异与交叉算子,并通过目标引导机制同时优化性能、长度和困惑度,从而生成多样且高质量的指令。
2023-10-26 cs.CL
Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models
Amazon(亚马逊公司)
本文提出 chain-of-instructions(CoI)组合式指令及 CoI-tuning,通过让模型逐步完成相互衔接的子任务,提升 LLM 对复杂、未见和长指令链的泛化能力。
2025-01-03 cs.CL
Multilingual Instruction Tuning With Just a Pinch of Multilinguality
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
本研究探究多语言大语言模型指令微调中的多语言数据作用,发现少量多语言样本即可显著提升跨语言指令遵循与泛化能力,为高效构建多语言指令微调模型提供新思路。
2024-05-21 cs.AI cs.CL cs.LG
Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor
Tel Aviv University(特拉维夫大学);Meta AI
指令微调使预训练的语言模型能够从推理时间自然语言描述执行新任务。这些方法依赖于以众包数据集或用户交互形式存在的大量人类监督。在这项工作中,我们介绍了不自然的指令:一个创造性和多样化的指令的大型数据集,几乎没有人工劳动。我们收集了64,000个例子,通过提示一个语言模型,其中有三个种子指令示例,并引出第四个。然后,通过提示模型重新表述每个指令来扩展该集合,从而创建总共约240,000个指令、输入和输出的示例。实验表明,尽管包含相当数量的噪声,但在非自然指令上进行的训练与在开源手动管理的数据集上进行的训练的有效性相媲美,在各种基准测试中超过了T0++和Tk-Instruct等模型的性能。这些结果表明,模型生成的数据作为一种具有成本效益的替代众包数据集扩展和多样化的潜力。
2022-12-19 cs.AI cs.CL cs.LG
Instruction Following by Principled Boosting Attention of Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文提出InstABoost方法,通过提升指令相关注意力来增强指令遵循,避免了其他方法的缺陷,提升了指令引导与任务相关上下文的平衡。
2026-03-26 cs.AI cs.CL cs.LG
When Instructions Multiply: Measuring and Estimating LLM Capabilities of Multiple Instructions Following
The University of Tokyo(东京大学);Kyoto University(京都大学);University of the Ryukyus(冲绳大学)
本研究提出两个多指令跟随基准(ManyIFEval和StyleMBPP),通过实验发现性能随指令数增加而下降,并开发回归模型以约10%误差预测未见组合的性能,实现高效评估。
2025-09-25 cs.CL
Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
Samsung Research(三星研究院)
本研究探讨了LLMs连续预训练与指令微调的关系,旨在无需指令数据和微调的情况下,找到一种计算效率最高的策略以同时获取最新知识并保持指令遵循能力。
2024-10-14 cs.CL
Instructions as Backdoors: Backdoor Vulnerabilities of Instruction Tuning for Large Language Models
Harvard(哈佛大学);UCLA(加利福尼亚大学洛杉矶分校);USC(南加利福尼亚大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);UC, Davis(加利福尼亚大学戴维斯分校)
本文揭示LLM指令微调的后门风险,证明仅约1000个恶意指令即可实现逾90%攻击成功率,并评估投毒迁移、指令迁移与持续微调抵抗性。
2024-04-03 cs.AI cs.CL cs.CR
How Many Data Samples is an Additional Instruction Worth?
Arizona State University(亚利桑那州立大学)
最近引入的推理范式使非专家用户能够通过用自然语言定义新任务来利用NLP资源。指令调整模型的表现明显优于多任务学习模型(没有指令),但它们远不是最先进的特定任务模型。通过创建具有大量任务实例或模型中的架构变化的数据集来提高模型性能的常规方法对于非专家用户可能是不可行的。但是,它们可以编写替代指令来表示指令任务。增强教学有帮助吗?我们增加了一个子集的任务,在扩展版本的自然指令与额外的指令,并发现它显着提高模型的性能(高达35%),特别是在低数据制度。我们的研究结果表明,一个额外的指令可以相当于约200个数据样本平均跨任务。
2023-02-13 cs.AI cs.CL cs.CV
SeDi-Instruct: Enhancing Alignment of Language Models through Self-Directed Instruction Generation
Daegu Gyeongbuk Institute of Science and Technology(大邱庆北科学技术院)
本文提出 SeDi-Instruct 框架,通过多样性过滤和迭代反馈任务生成,以更低成本自动生成高质量指令数据,在提升模型准确性的同时显著降低数据生成开销。
2025-02-07 cs.CL
Instruction Quality Matters: Refining Instructions for Effective Preference Learning
Sogang University(西江大学);Korea University(高丽大学)
该研究发现指令质量是偏好学习的隐性瓶颈,提出基于奖励信号与评分标准引导的LLM反馈的指令优化流程,可提升偏好数据质量,增强LLM对齐效果。
2026-08-28 cs.CL
Pre-Learning Environment Representations for Data-Efficient Neural Instruction Following
University of California, Berkeley(加州大学伯克利分校)
我们认为学习映射的问题,从自然语言指令的状态转换(行动),在一个数据有效的方式。我们的方法从这样一个想法中得到灵感:将语言与通过前语言观察已经形成的概念联系起来应该更容易。我们增加了一个基线的预防以下的学习者与初始环境学习阶段,使用观察的语言自由状态转换,以诱导一个合适的潜在的行动表示之前,处理预防以下的训练数据。我们表明,映射到预先学习的表示大大提高了系统的表现,其表示是从有限的教学数据单独学习。
2019-07-23 cs.AI cs.CL cs.LG
Agentic Policy Optimization via Instruction-Policy Co-Evolution
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组)
INSPO通过指令与策略的共演机制,动态优化指令以提升代理在多轮检索和推理任务中的性能,显著优于静态指令基线。
2026-01-31 cs.AI cs.CL cs.LG
Task Competence Is Not Instruction Following: Evaluating Instruction-Conflicting Behavior in Small Language Models
Khajeh Nasir Toosi University of Technology(哈杰·纳西尔·图西理工大学);Apta AI, Spark AI Research(阿普塔人工智能公司,星火人工智能研究院)
研究小语言模型在指令冲突时的行为,通过跨任务设计,用标准准确率等指标评估指令微调的Qwen模型,发现任务能力提升不自动带来可靠行为控制,任务能力与指令遵循是不同能力,仅报标准准确率会掩盖问题。
2026-10-14 cs.CL
TAG-INSTRUCT: Controlled Instruction Complexity Enhancement through Structure-based Augmentation
Peking University(北京大学);Southern University of Science and Technology(南方科技大学);Tongji University(同济大学);Shanghai University of Finance and Economics(上海财经大学);The University of Hong Kong(香港大学)
本文提出TAG-INSTRUCT框架,通过结构化语义压缩与RL引导的标签扩展在紧凑标签空间中实现可控的指令复杂度增强,实验表明其可控性和稳定性优于现有方法。
2025-06-02 cs.CL
Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?
Lamarr Institute(拉马尔研究所);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);TU Dresden(德累斯顿工业大学);FZ Jülich(于利希研究中心)
本研究首次系统探究多语言大语言模型指令微调的语言构成影响,发现平行语料微调可提升跨语言指令遵循能力最高9.9%,且7B多语言模型反例证伪浅层对齐假说,还验证了人工与GPT-4评估的一致性。
2024-10-10 cs.CL
MM-Instruct: Generated Visual Instructions for Large Multimodal Model Alignment
CUHK MMLab(香港中文大学多媒体实验室);Waseda University(早稻田大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室);CPII under InnoHK(创新香港旗下的CPII机构)
本文提出MM-Instruct数据集,利用LLM从图像描述数据生成多样化视觉指令,并训练LLaVA-Instruct模型显著提升多模态模型的指令遵循能力。
2024-06-28 cs.AI cs.CL cs.CV
MoDS: Model-oriented Data Selection for Instruction Tuning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
提出面向模型的数据选择方法MoDS,基于质量、覆盖率和必要性三个标准从大规模数据中筛选少量高质量指令对微调大模型,实验证明4000条精选数据优于214k全量数据。
2023-11-27 cs.CL
Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance
Department of Computer Science University of Sheffield, UK(计算机科学系 剑桥大学谢菲尔德分校)
本文探究在指令微调数据中引入移除停用词、打乱词序等扰动对大型语言模型(LLMs)的影响,发现其在部分情况下能提升LLMs在MMLU等基准原始及扰动版本上的性能,为增强模型对含噪指令的韧性提供了思路。
2025-11-11 cs.CL
The Atomic Instruction Gap: Instruction-Tuned LLMs Struggle with Simple, Self-Contained Directives
Singapore University of Technology and Design(新加坡科技设计大学)
该研究通过在修改后的 MMLU 与 MMLU-Pro 上测试 20 个 IT-LLM,发现选项标签格式会显著影响其执行简单原子指令的表现,揭示现有指令微调的根本不足。
2025-10-20 cs.CL
Improving Cross-Task Generalization with Step-by-Step Instructions
Harbin Institute of Technology(哈尔滨工业大学);Huawei Cloud(华为云);Singapore Management University(新加坡管理大学)
针对指令缺乏中间步骤导致跨任务泛化困难的问题,提出自动生成逐步指令辅助模型分解任务,实验证明其能提升不同规模模型的跨任务泛化性能。
2023-05-08 cs.CL
RAISE: Reinforced Adaptive Instruction Selection For Large Language Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);University of Illinois Chicago(伊利诺伊大学香槟分校);Seoul National University(首尔国立大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
RAISE通过强化学习动态选择指令,提升大语言模型微调效率与效果。
2026-02-13 cs.CL
The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Groningen(格罗宁根大学)
SIFo基准通过四个任务评估大型语言模型在多指令遵循中的能力,发现较新和更大的模型在任务表现上更优,揭示了当前语言模型在指令序列处理上的鲁棒性不足。
2024-10-03 cs.CL
Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models
University of Notre Dame(圣母大学);Microsoft Azure AI(微软Azure人工智能部门)
本文提出Auto-Instruct方法,利用LLM生成候选指令并用575个NLP任务训练的评分模型排序,在118个域外任务上超越人工和基线指令,且具泛化能力。
2023-10-19 cs.CL
InstructDial: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning
Carnegie Mellon University(卡内基梅隆大学)
指令微调是自然语言处理中的一种新兴范式,其中自然语言指令与语言模型一起使用,以在看不见的任务上诱导zero-shot性能。指令已经被证明可以在大型和小型语言模型中对看不见的任务和数据集实现良好的性能。对话是探索指令微调的特别有趣的领域,因为对话系统执行与语言相关的多种任务(例如,自然语言理解和生成、领域特定的交互),但是还没有针对对话相关的任务系统地探索指令微调。我们介绍了指令拨号,一个指令微调框架的对话,其中包括一个存储库的48个不同的对话任务,在一个统一的文本到文本的格式创建从59个公开可用的对话数据集。接下来,我们将探索在不同的对话任务中,在InstructDial上调整的模型的跨任务泛化能力。我们的分析表明,InstructDial在看不见的数据集和任务(如对话评估和意图检测)上实现了良好的zero-shot性能,在Few-Shot设置中甚至具有更好的性能。为了确保模型遵守指令,我们引入了新的元任务。我们建立基准zero-shot和Few-Shot性能的模型训练使用所提出的框架上的多个对话任务。
2022-10-26 cs.CL
Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation
Sony Group Corporation(索尼集团公司)
针对大语言模型指令遵循能力缺乏评估指标的问题,本文提出基于MRC模型的故事结局生成场景自动评估流水线,验证其与人类评估一致,且发现近期开源LLMs指令遵循性能接近GPT-3.5。
2024-06-24 cs.CL
MIDB: Multilingual Instruction Data Booster for Enhancing Cultural Equality in Multilingual Instruction Synthesis
针对多语言指令合成中因机器翻译缺陷、本地化不足导致的文化不平等问题,提出基于16种语言约36.8k条专家修订示例训练的MIDB,提升数据质量并增强多语言LLMs的指令遵循与文化理解能力。
2025-11-11 cs.CL
Beyond IID: Optimizing Instruction Learning from the Perspective of Instruction Interaction and Dependency
Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
针对现有指令学习忽略不同类别指令交互依赖的问题,本文研究指令交互依赖模式,提出基于线性规划的指令集优化方法和依赖引导的SFT课程学习方案,在多个基准上取得优于强基线的效果。
2024-09-11 cs.AI cs.CL
Lius: Translation Model Based Instructional Lingustic Using Continual Instruction Tuning In Kupang Malay
Universitas Gadjah Mada(加札马达大学)
针对低资源语言库邦马来语,提出利用双语词典的词汇和语义特征设计指令,并采用持续指令调优(CIT)范式微调大语言模型,在多个指标上超越基线4-6分,优于NMT和多语言LLM 10-13分。
2026-06-11 cs.CL
DecIF: Improving Instruction-Following through Meta-Decomposition
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学)
针对指令数据依赖外部资源的问题,提出 DecIF 框架,通过元分解自动生成、校验指令与响应,并在多场景实验中证明其优异的指令遵循性能。
2025-06-11 cs.CL
Instruction Pre-Training: Language Models are Supervised Multitask Learners
Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对有监督多任务学习的潜力,本文提出指令预训练框架,通过开源模型构建的高效合成器生成2亿条指令-响应对增强语料库预训练语言模型,实验表明其能增强基础模型、提升指令调优收益,还能让Llama3-8B媲美甚至超越Llama3-70B。
2024-11-28 cs.CL
Mosaic-IT: Cost-Free Compositional Data Synthesis for Instruction Tuning
University of Maryland(马里兰大学);Texas A&M University(德克萨斯A&M大学);Stony Brook University(石溪大学)
本文提出 Mosaic-IT,一种无需人工或教师模型的组合式数据合成方法,通过随机拼接多条指令并引入高层元指令训练大语言模型,在多个基准上提升指令遵循能力,同时将训练成本降低 80%。
2025-06-05 cs.CL
CoachLM: Automatic Instruction Revisions Improve the Data Quality in LLM Instruction Tuning
Huawei(华为)
本文提出 CoachLM,通过人类专家修订样本训练的自动指令修订方法,显著提升 LLM 指令微调数据质量,高质量样本比例从 17.7% 增至 78.9%,指令遵循能力平均提升 29.9%,并已在华为系统中部署应用。
2024-03-21 cs.CL
Dual Instruction Tuning with Large Language Models for Mathematical Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
针对LLMs数学推理中CoT生成易出错的问题,提出结合正向中间推理状态预测与反向指令重构的双重指令微调策略,通过多任务微调有效提升了模型在多种数学推理任务上的准确性与泛化能力。
2024-03-27 cs.CL
MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
Virginia Tech(弗吉尼亚理工大学)
本研究提出首个多模态指令微调基准数据集MultiInstruct,基于OFA模型结合迁移学习策略,提升了多模态零样本性能,并设计敏感度指标验证了多任务微调对降低指令变体敏感度的作用。
2023-06-10 cs.CL
Smaller Language Models Are Better Instruction Evolvers
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Renmin University of China(中国人民大学)
本研究质疑大型语言模型在指令进化中的优势,通过实验证明较小语言模型能生成更有效的指令,并提出IC-IFD指标以更准确评估指令数据有效性。
2024-12-15 cs.CL
Cross-Task Generalization via Natural Language Crowdsourcing Instructions
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Arizona State University(亚利桑那州立大学)
人类(例如,crowdworkers)在解决不同任务方面具有非凡的能力,只需阅读定义它们的文本指令并查看几个示例。尽管传统的监督学习在单个数据集上取得了成功,但这种模型通常难以跨任务进行泛化(例如,问答系统不能解决分类任务)。人工智能的一个长期挑战是建立一个模型,通过理解定义它的人类可读指令来学习新任务。为了研究这个问题,我们引入了NATURAL INFORCETIONS,一个包含61个不同任务的数据集,它们的人类编写的指令,以及193k个任务实例(输入输出对)。这些指令是从用于创建现有NLP数据集的众包指令获得的,并且被映射到统一模式。使用这个元数据集,我们通过在可见的任务上训练模型并测量对其余不可见任务的泛化来测量跨任务泛化。我们采用生成式预训练语言模型来编码特定于任务的指令以及输入并生成任务输出。我们的研究结果表明,模型受益于指令时,评估的泛化看不见的任务(19%更好的模型利用指令)。然而,这些模型远远落后于估计的性能上限,表明在这一方向上还有很大的进步空间。
2022-03-14 cs.AI cs.CL cs.CV
The Instruction Gap: LLMs get lost in Following Instruction
Vishesh Tripathi;Uday Allu;Biddwan Ahmed
本研究揭示了LLMs在企业部署中遵循指令的不足,通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳,指出指令遵循能力的鸿沟及改进方向。
2025-12-19 cs.AI cs.CL
Building Instruction-Tuning Datasets from Human-Written Instructions with Open-Weight Large Language Models
Department of Computer Science, School of Computing, Institute of Science Tokyo(计算机科学系、计算学院、科学东京研究所);National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院);Research and Development Center for Large Language Models, NII(大型语言模型研究与开发中心、日本科学振兴会)
本研究通过将人类编写的指令与开放权重LLM生成的回复配对,构建了最先进的指令微调数据集,证明人类指令信号在指令微调中仍具优势,并验证了该方法在日语上的有效性和局限性。
2025-08-14 cs.CL
Ada-Instruct: Adapting Instruction Generators for Complex Reasoning
Shanghai University of Finance and Economics(上海财经大学)
针对Self-Instruct无法生成长复杂指令的缺陷,本文提出通过少量示例微调开源LLM的自适应指令生成器Ada-Instruct,能够生成与复杂推理任务分布一致的长指令。
2024-10-03 cs.AI cs.CL
Mol-Instructions: A Large-Scale Biomolecular Instruction Dataset for Large Language Models
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);ZJU-Ant Group Joint Research Center for Knowledge Graphs, Zhejiang University(浙江大学-蚂蚁集团知识图谱联合研究中心);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州创新中心)
本文提出面向生物分子领域的大规模指令数据集 Mol-Instructions,通过分子、蛋白质和生物分子文本三类指令微调 LLM,提升其理解与预测能力。
2024-03-04 cs.AI cs.CE cs.CL
TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution
University of Alberta(阿尔伯塔大学);Platform and Content Group, Tencent(腾讯平台与内容事业群)
针对传统指令进化方法难以提升复杂度、跨域难度管控不足的问题,提出TaCIE方法,通过拆解-生成新要素-重组的方式生成难度递增的复杂指令,微调后大语言模型性能显著优于传统方法,推动指令微调技术发展。
2024-09-18 cs.AI cs.CL cs.CY
Empowering Reliable Visual-Centric Instruction Following in MLLMs
Hong Kong University of Science and Technology(香港科学与技术大学);Penn State(宾夕法尼亚州立大学)
本文提出VC-IFEval基准,通过引入视觉依赖性约束,系统评估多模态大语言模型在指令跟随任务中的性能与改进。
2026-01-06 cs.LG
AIR: Complex Instruction Generation via Automatic Iterative Refinement
Alibaba Group(阿里巴巴集团)
本文提出自动迭代细化框架AIR,通过从文档生成并迭代优化带约束的复杂指令,构建AIR-10K数据集,显著提升大语言模型遵循复杂指令的能力。
2025-02-27 cs.AI cs.CL