InstructEdit: Instruction-based Knowledge Editing for Large Language Models
Zhejiang University(浙江大学);Tencent(腾讯)
针对大语言模型知识编辑跨任务泛化性受限的问题,提出基于指令的统一编辑技术InstructEdit,在多任务设置下显著提升了编辑器的控制能力与泛化表现。
2024-04-28 cs.AI cs.CL cs.CV
From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification
University of Southern California(南加州大学);AWS AI Labs(亚马逊云科技人工智能实验室)
该研究提出ACT框架,通过自动验证约束满足率生成偏好监督信号,经排序学习让语言模型对齐带约束的用户指令,提升多任务性能且约束遵循能力可迁移。
2024-03-10 cs.AI cs.CL cs.LG
Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following
针对大语言模型遵循复杂指令时因惰性推理导致效果不佳的问题,提出Light-IF框架,通过预览和自检查机制及熵保持微调与强化学习,显著提升指令遵循能力,Light-IF-32B超越更大开源和闭源模型。
2025-08-05 cs.AI cs.CL cs.LG
Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following
Fudan University(复旦大学);Ant Group(蚂蚁集团)
针对多约束指令中约束顺序导致LLM性能波动的问题,本文提出探测任务与CDDI指数定量测量难度分布,发现LLM在“由难到易”的约束顺序下表现最佳,并通过解释性研究揭示了注意力与约束顺序的相关性。
2025-03-03 cs.AI cs.CL
Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning
School of Information, Renmin University of China(中国人民大学信息学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学歌华人工智能学院);Alibaba Group(阿里巴巴集团)
本文提出Data-CUBE数据课程方法,通过优化任务顺序和实例难度分配,减少多任务学习中的干扰,提升句子表示学习性能。
2024-01-07 cs.CL cs.IR
A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团)
本文提出 Tree-Instruct,通过扩展指令语义树可控提升复杂性,并实证表明复杂指令在相同 token 预算下更能持续增强 LLM 对齐性能。
2024-02-29 cs.CL
RubricEval: A Rubric-Level Meta-Evaluation Benchmark for LLM Judges in Instruction Following
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与技术学院);Donghua University(东华大学);Ant Group(蚂蚁集团)
RubricEval旨在解决rubric级评估的可靠性问题,通过多样化的指令和响应以及高质量实例,评估评判者在指令遵循中的表现,发现即使GPT-4o在Hard子集也仅达到55.97%的准确率。
2026-03-26 cs.AI
Solla: Towards a Speech-Oriented LLM That Hears Acoustic Context
School of Data Science, Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院、深圳大数据研究院);Bytedance(字节跳动)
针对现有大模型忽略语音指令与音频混合输入场景的问题,提出集成音频标注模块与ASR辅助预测的Solla框架,构建含三类任务、双难度的SA-Eval基准,实验证明其联合理解语音音频的效果更优。
2025-03-19 cs.CL cs.SD eess.AS
Emergence of Context Characteristics Sensitivity in Large Language Models
Nanyang Technological University(南洋理工大学);University of Copenhagen(哥本哈根大学)
通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段,发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化,其中监督微调使模型倾向于使用易理解的上下文,而后续阶段可能强化或改变这一偏好。
2026-06-08 cs.AI cs.CL
Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models
Microsoft(微软);Singapore University of Technology and Design(新加坡科技设计大学);Peking University(北京大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本文提出广义指令微调方法 GLAN,仅利用人类知识与能力分类体系即可大规模生成覆盖多学科的合成指令数据,无需任务特定数据即可显著提升大语言模型在推理、编程、考试和指令遵循等多方面的表现,并支持便捷扩展新领域。
2024-02-20 cs.CL
Confucius: Iterative Tool Learning from Introspection Feedback by Easy-to-Difficult Curriculum
Shandong University(山东大学);Leiden University(莱顿大学)
本文提出Confucius框架,通过由易到难的课程和迭代内省反馈自我指导方法,训练LLM在现实场景中从大型工具集中选择和使用复杂工具,实验证明其优于现有基线。
2023-12-21 cs.AI cs.CL
LLM-Detector: Improving AI-Generated Chinese Text Detection with Open-Source LLM Instruction Tuning
Macao Polytechnic University(澳门理工大学);Fudan University(复旦大学);Wuhan University(武汉大学)
针对现有AI生成中文文本检测模型域内过拟合、域外及句子级检测效果差的问题,提出基于开源LLM指令微调的LLM-Detector,在两级检测任务上均优于基线且泛化性强、易部署。
2024-02-02 cs.CL
MetaLint: Easy-to-Hard Generalization for Code Linting
Carnegie Mellon University(卡内基梅隆大学)
MetaLint通过元学习框架将代码检查转化为指令遵循任务,能根据自然语言规范评估代码是否符合最佳实践,实现无需重新训练的泛化能力,且在不同编程语言和场景中表现优异。
2026-08-11 cs.CL cs.LG cs.SE
The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty
Monash University(莫纳什大学)
该研究发现,用于教育评估难度估计的LLM会系统性低估由学习者误解驱动的数学题难度,提出“易陷阱”现象,其仅能捕捉难度大致排序,无法反映学生实际认知难度。
2026-07-30 cs.AI cs.CY
AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models
Princeton Language and Intelligence(普林斯顿语言与智能)
AdaptMI提出自适应技能选择方法,仅在模型表现不佳时引入技能示例,并针对缺失技能补充示例,在五个小语言模型上提升数学推理准确率最多6%。
2025-09-10 cs.CL
Jellyfish: A Large Language Model for Data Preprocessing
Osaka University(大阪大学);NEC Corporation(日本电气股份有限公司);Nagoya University(名古屋大学)
针对现有依赖GPT API的大语言模型数据预处理方案存在数据泄露风险的问题,研究通过定制化指令微调技术训练本地7B-13B参数的Jellyfish系列模型,性能媲美GPT-3.5/4且泛化性、推理能力更优,兼顾数据安全与定制化需求。
2024-10-28 cs.AI cs.CL cs.DB
LMentry: A Language Model Benchmark of Elementary Language Tasks
Tel Aviv University(特拉维夫大学);Meta AI
随着大语言模型性能的快速提高,基准测试也变得越来越大、越来越复杂。我们提出了LMentry,一个基准,避免这种“军备竞赛”,专注于一组紧凑的任务,是微不足道的人类,例如写一个句子包含一个特定的词,确定哪些词在列表中属于一个特定的类别,或选择两个词中的哪一个更长。LMentry专门设计用于提供对大语言模型的功能和健壮性的快速和可解释的见解。我们的实验揭示了各种各样的失败案例,虽然对人类来说是显而易见的,但对大语言模型构成了相当大的挑战,包括OpenAI最新的175 B参数优化模型TextDavinci002。LMentry补充了大语言模型的当代评估方法,提供了一个快速,自动和易于运行的“单元测试“,而无需求助于复杂任务的大型基准测试套件。
2022-12-19 cs.AI cs.CL cs.LG
How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts
Apple(苹果公司)
本文提出MAD-Bench基准评估多模态大语言模型对欺骗性提示的脆弱性,发现GPT-4o准确率达82.82%远超其他模型(9%-50%),并提出通过添加提示段落鼓励模型三思的简单方法使准确率翻倍。
2024-07-23 cs.CL cs.CV
AgentGen: Enhancing Planning Abilities for Large Language Model based Agent via Environment and Task Generation
The University of Hong Kong(香港大学);Microsoft Corporation(微软公司)
本文提出AgentGen框架,通过LLM自动生成多样化环境和从易到难的规划任务,并结合双向演化方法Bi-Evol合成平滑难度任务集,用于指令微调以显著增强LLM智能体的规划能力。
2025-02-06 cs.AI cs.CL cs.LG
Scale Efficient Training for Large Datasets
Northwestern Polytechnical University(西北工业大学)
本文提出SeTa动态样本剪枝方法,通过随机剪枝、基于损失的难度聚类和滑动窗口由易到难移除低价值样本,在多数据集、骨干网络与任务上最高降低50%训练成本并保持性能。
2025-03-17 cs.AI cs.CV cs.LG
Key-Element-Informed sLLM Tuning for Document Summarization
针对小规模大语言模型在长文档摘要中关键信息缺失、相关性低的问题,提出关键要素引导的指令调优方法KEITSum,通过识别文档关键要素指导摘要生成,在对话和新闻数据集上取得与专有LLM相当的高质量摘要效果。
2024-11-19 cs.AI cs.CL
Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
针对数据选择中元学习方法的细粒度评估与可迁移性权衡问题,提出基于逐点值匹配目标的可扩展框架TESS,在LLM安全性和指令调优上实现跨数据集与跨模型规模的有效迁移。
2026-10-02 cs.AI cs.CL cs.LG
LATTE: LAnguage Trajectory TransformEr
Technische Universität München(慕尼黑工业大学);Microsoft(微软)
自然语言是表达人类意图的最直观的方式之一。然而,将指令和命令转换为机器人运动生成和部署在现实世界中远非一件容易的任务。传统上,将机器人固有的低级几何和运动力学约束与人类的高级语义指令相结合的挑战是使用特定于任务的解决方案来解决的,这些解决方案在硬件平台之间几乎没有通用性,通常使用静态的目标动作和命令集。这项工作提出了一个灵活的基于语言的框架,允许用户修改通用的机器人轨迹。我们的方法利用预先训练的语言模型(BERT和CLIP)直接从自由形式的文本输入和场景图像中编码用户的意图和目标对象,融合由Transformer编码器网络生成的几何特征,并最终使用Transformer解码器输出轨迹,而不需要与任务或机器人信息相关的先验知识。通过将轨迹参数化空间扩展到3D和速度,而不仅仅是XY运动,我们显着扩展了Bucker等人之前的工作。此外,我们现在训练模型使用场景中对象的实际图像作为上下文(而不是文本描述),并且我们在操纵之外的各种场景中评估系统,例如空中和足式机器人。我们的模拟和现实生活中的实验表明,我们的Transformer模型可以成功地遵循人类的意图,在多个环境中修改轨迹的形状和速度。代码库网址:https://github.com/arthurfenderbucker/LaTTe-Language-Trajectory-TransformEr.git
2022-09-16 cs.AI cs.CL cs.CV
Dynamic Skill Adaptation for Large Language Models
Stanford University(斯坦福大学)
本文提出动态技能适配框架DSA,通过构建技能图自动生成教科书式和练习式训练数据,并在指令微调中动态调整样本权重与复杂度,有效提升大语言模型对数学推理和社会研究等复杂技能的适配能力。
2024-12-26 cs.CL
Get my drift? Catching LLM Task Drift with Activation Deltas
Microsoft(微软公司);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
该研究提出通过LLM激活增量检测任务漂移现象,发现简单线性分类器在分布外测试集上能以近乎完美的ROC AUC检测提示注入等攻击,且无需微调,易于部署。
2025-03-06 cs.CL cs.CR cs.CY
RTLLM: An Open-Source Benchmark for Design RTL Generation with Large Language Model
Hong Kong University of Science and Technology(香港科技大学)
提出开源基准RTLLM,用于评估LLM生成设计RTL,并引入自我规划提示技巧,显著提升GPT-3.5性能。
2023-11-11 cs.AR cs.LG
CityGPT: Empowering Urban Spatial Cognition of Large Language Models
Department of Electronic Engineering, BNRist, Tsinghua University(电子工程系、BNRist、清华大学);School of Electronic and Information Engineering, Beijing Jiaotong University(电子信息工程学院、北京交通大学);Department of Electronic Engineering, Tsinghua University(电子工程系、清华大学);Department of Urban Planning, Tsinghua University(城市规划系、清华大学)
本文提出CityGPT框架,通过构建城市指令数据集CityInstruction和自加权微调方法SWFT训练中小规模大语言模型,并设计CityEval基准验证其在城市空间任务上可媲美甚至超越专有模型。
2025-05-31 cs.AI cs.CL cs.LG
Transferable text data distillation by trajectory matching
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出基于轨迹匹配的文本数据蒸馏方法,通过合成伪提示数据并匹配最近邻实现跨架构迁移,在ARC-Easy和MMLU基准上优于SOTA数据选择方法LESS,并展现出从OPT到Llama的良好可迁移性。
2025-04-24 cs.CL
Beyond Attention or Similarity: Maximizing Conditional Diversity for Token Pruning in MLLMs
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(国家多媒体信息处理重点实验室,计算机学院,北京大学);ByteDance(字节跳动)
提出CDPruner,一种无需训练且与模型无关的视觉token剪枝方法,通过行列式点过程最大化保留token的条件多样性,在大幅降低MLLMs推理成本的同时保持高性能。
2025-07-01 cs.AI cs.CV
MineCEraft: Evaluating Language Models as Construction Engineers in the World of Minecraft
本研究推出开源基准MineCEraft,评估LLMs在《我的世界》建造任务中的表现,通过723条指令、17类任务的实验,分析了LLMs应用于建造工程的失败模式与挑战。
2026-09-01 cs.AI
From Pixels to Prompts: Vision-Language Models
MBZUAI
本文探讨了视觉-语言模型的发展历程,旨在提供清晰的认知框架,帮助读者理解该领域的核心概念和应用,而非罗列所有数据集和模型变体。
2026-10-27 cs.AI
Exploring Learning Complexity for Efficient Downstream Dataset Pruning
Department of Statistics and Data Science, Southern University of Science and Technology(统计与数据科学系,南方科技大学);State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
本文提出无需训练的难度分数DLC,通过轻量级权重掩码快速估计样本学习复杂度,并结合FlexRand欠采样策略,在图像与指令数据集剪枝中实现高效且先进的性能。
2025-05-08 cs.LG
Many-Shot In-Context Learning for Molecular Inverse Design
Sanofi(赛诺菲);Sanofi-Aventis Deutschland GmbH(赛诺菲-安万特德国有限公司);DataSentics
针对分子逆向设计实验数据不足的问题,提出一种迭代纳入高预测性能分子的半监督学习方法,并集成至多模态LLM实现文本指令交互修改,大幅提升了分子设计性能且易于使用。
2024-07-26 cs.AI cs.CL
COLLIE: Systematic Construction of Constrained Text Generation Tasks
Princeton University(普林斯顿大学)
提出基于语法的可扩展轻量框架 COLLIE,用于构建多粒度、可组合的约束文本生成任务,并自动生成 COLLIE-v1 数据集评估五个指令微调模型。
2023-07-17 cs.AI cs.CL cs.LG
Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4
University of Stuttgart(斯图加特大学);Institute for Natural Language Processing(自然语言处理研究所)
本文研究利用GPT-3.5和GPT-4结合自动提示技术实现语义邻近度标注自动化,通过复用人工指南设计提示并集成到开源工具中,发现精确提示设计至关重要且小幅修改人工指南即可提升性能。
2024-07-04 cs.CL
SelFusion: Self-distillation for Diffusion Language Models
Chung-Ang University(中央大学)
本文针对扩散语言模型(DLM)生成质量差的问题,提出无需外部教师模型的自蒸馏框架SelFusion,通过双向蒸馏两种掩码模式实现性能提升,在指令跟随任务中效果优于传统知识蒸馏方法。
2026-08-25 cs.CL
TextGames: Learning to Self-Play Text-Based Puzzle Games via Language Model Reasoning
Capital One(第一资本金融公司);Brown University(布朗大学)
本文提出TextGames基准,通过文本谜题评估大语言模型的推理能力,发现模型在困难任务上表现不佳,而推理优化模型优于指令遵循模型。
2025-02-25 cs.AI cs.CL
LLM4Causal: Democratized Causal Tools for Everyone via Large Language Model
North Carolina State University(北卡罗来纳州立大学)
本文构建微调开源大模型LLM4Causal,结合两个因果指令数据集,使其能识别任务、调用函数并解释结果,显著提升端到端因果问题求解能力。
2024-10-28 cs.AI cs.CL stat.ML
Scaling Synthetic Data Creation with 1,000,000,000 Personas
Tencent AI Lab(腾讯AI实验室)
本文提出利用 LLM 内部多元视角的人格驱动数据合成方法,并构建包含 10 亿人格的 Persona Hub,以大规模生成数学推理、指令、知识文本、游戏 NPC 和工具等多样化合成数据,推动合成数据范式变革。
2025-05-08 cs.CL cs.LG
Jupiter-N Technical Report
Locai Labs, University College London(Locai实验室,伦敦大学学院)
木星-N通过混合推理模型在Nemotron 3 Super基础上进行微调,提升代理能力、文化对齐和威尔士语支持,同时保留基础模型能力。
2026-04-19 cs.AI cs.CL
Evaluating the Quality of Code Comments Generated by Large Language Models for Novice Programmers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估了GPT-4、GPT-3.5-Turbo和Llama2为新手程序员生成代码注释的教学质量,发现GPT-4在清晰度、概念阐释等方面与专家注释相当,且在复杂度讨论和对新手支持度上显著优于其他模型,突出了LLMs为新手生成定制化代码注释的潜力。
2024-09-22 cs.AI cs.HC cs.SE
InjectLab: A Tactical Framework for Adversarial Threat Modeling Against Large Language Models
Western Governors University(西部州长大学)
InjectLab提出一个受MITRE ATT&CK启发的开源框架,通过六个战术下的25余种技术映射LLM提示层对抗行为,并提供检测、缓解及YAML测试工具,以系统化应对提示攻击风险。
2025-04-16 cs.AI cs.CR cs.HC
GROUNDHOG: Grounding Large Language Models to Holistic Segmentation
University of Michigan(密歇根大学);Amazon AGI(亚马逊AGI)
本文提出 GROUNDHOG,通过掩码特征提取、视觉实体标记及实体检索合并,将 MLLM 的语言接地从边界框扩展到像素级统一分割,并构建 M3G2 数据集,显著提升多任务接地表现、降低幻觉。
2024-04-16 cs.AI cs.CL cs.CV
NeuronGen: Neural Network Parameter Generation via Large Language Models
The Pennsylvania State University(宾夕法尼亚州立大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Auburn University(阿肯色大学欧文市)
本文提出NeuroGen,一种利用大型语言模型生成神经网络参数的两阶段方法,通过预训练和指令微调实现,实验证明其可行性,并展望LLM与轻量NN协同的新范式。
2026-11-17 cs.AI
DNR Bench: Benchmarking Over-Reasoning in Reasoning LLMs
ServiceNow(ServiceNow公司)
针对推理型大语言模型(RLMs)存在的过度推理问题,本文提出DNR Bench基准测试,通过150个对抗性提示评估模型避免不必要生成的能力,实验发现RLMs令牌生成量超必要值70倍,表现不及非推理模型,凸显优化RLMs训练与推理策略的重要性。
2025-04-18 cs.LG
DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task
ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学);United Imaging Intelligence(联影智能);Huashan Hospital, Fudan University(复旦大学附属华山医院)
本文提出DoctorGLM,通过收集中文医疗对话数据并在单张A100 80G上13小时微调ChatGLM-6B,以低成本构建易于部署的中文医疗大语言模型。
2023-04-17 cs.CL
VLN-Trans: Translator for the Vision and Language Navigation Agent
Michigan State University(密歇根州立大学)
语言理解对于导航代理遵循指令是必不可少的。我们观察到两种问题的指令,可以使导航任务具有挑战性:1。由于教练和建模代理的不同视觉能力,所提到的地标是不可识别的导航代理。2.所提到的地标适用于多个目标,因此对于在候选视点中选择目标而言没有区别。为了处理这些问题,我们设计了一个翻译模块的导航代理转换成易于遵循的子指令表示在每一步的原始指令。翻译者需要根据智能体的视觉能力和所观察到的视觉环境来关注可识别的和独特的地标。为了实现这一目标,我们创建了一个新的合成子指令数据集和设计特定的任务,训练翻译和导航代理。我们在Room 2 Room ~(R2 R)、Room 4 room ~(R4 R)和Room 2 Room Last(R2 R-Last)数据集上评估了我们的方法,并在多个基准测试中获得了最先进的结果。
2023-02-18 cs.CL
Multi-View Learning for Vision-and-Language Navigation
Peking University(北京大学);Microsoft Research AI(微软研究院人工智能部门);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
学习在视觉环境中遵循自然语言指令进行导航是一项具有挑战性的任务,因为自然语言指令是高度可变的、模糊的和不明确的。在本文中,我们提出了一种新的训练范式,从每个人(LEO)学习,它利用多个指令(作为不同的视图)为同一轨迹,以解决语言歧义和提高泛化。通过跨指令共享参数,我们的方法可以更有效地从有限的训练数据中学习,并在看不见的环境中更好地推广。在最近的房间到房间(R2R)基准数据集上,LEO在路径长度加权(SPL)成功率方面比贪婪代理(25.3% $\rightarrow$ 41.4%)提高了16%(绝对)。此外,LEO是对大多数现有的视觉和语言导航模型的补充,允许与现有技术轻松集成,从而导致LEO+,创造了最新的技术水平,将R2R基准推至62%(绝对提高9%)。
2020-03-09 cs.CL cs.CV cs.LG
Adjusting Image Attributes of Localized Regions with Low-level Dialogue
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院)
自然语言图像编辑(NLIE)旨在使用自然语言指令来编辑图像。由于新手对图像编辑技术缺乏经验,他们的指令通常是模糊的,并且包含高级抽象,这些抽象往往对应于要完成的复杂编辑步骤。由于缺乏经验,我们的目标是通过教新手使用低级命令术语编辑图像来平滑学习曲线。为此,我们开发了一个面向任务的对话系统,以调查低层次的指令NLIE。我们的系统将语言建立在编辑操作的基础上,并为用户提供可供选择的选项。虽然不得不用低级术语表达,但用户评估显示,25%的用户认为我们的系统易于使用,这与我们的动机产生了共鸣。分析表明,用户普遍适应使用建议的低级语言接口。在这项研究中,我们确定,对象分割的关键因素,用户满意度。我们的工作表明,低层次的,直接的语言动作映射方法,可以应用到其他问题领域以外的图像编辑,如音频编辑或工业设计的优势。
2020-02-11 cs.CL