Reinforcement learning fine-tuning of language model for instruction following and math reasoning
Stanford University(斯坦福大学)
该研究在 Qwen2.5-0.5B Base 上比较 SFT、DPO 与带奖励模型的 RLOO,发现 DeBERTa-RLOO 对齐最佳,并验证合成数据增强和外部验证 best-of-N 可显著提升数学推理。
2025-07-27 cs.AI cs.CL
Dual Instruction Tuning with Large Language Models for Mathematical Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
针对LLMs数学推理中CoT生成易出错的问题,提出结合正向中间推理状态预测与反向指令重构的双重指令微调策略,通过多任务微调有效提升了模型在多种数学推理任务上的准确性与泛化能力。
2024-03-27 cs.CL
System-2 Mathematical Reasoning via Enriched Instruction Tuning
Tencent(腾讯);University of Technology Sydney(悉尼科技大学)
针对LLMs多步数学推理数据稀缺问题,提出EIT方法,通过ERP和ERS结合人类与AI反馈生成细粒度推理轨迹微调模型,无需符号验证即在GSM8K和MATH上超越现有方法。
2024-12-24 cs.AI cs.CL
Training with Pseudo-Code for Instruction Following
通过伪代码训练提升LLM指令跟随能力,实现8-21%的提升并在数学和常识推理中取得平均30%的提升。
2026-03-11 cs.AI cs.CL
Instruction-Conditioned Exploration for Reinforcement Learning with Self-Distillation to an Unconditioned Policy
University of Southampton(南安普顿大学)
该研究针对LLM强化学习中的探索挑战,提出指令条件探索(ICE)方法,结合非对称RL/SD训练目标,使Qwen3-1.7B数学推理性能提升5.0%且长上下文下仍有效。
2026-08-06 cs.AI cs.CL cs.LG
Layer Swapping for Zero-Shot Cross-Lingual Transfer in Large Language Models
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出通过交换微调后的语言专家与数学专家的顶层和底层Transformer层,实现无需目标语言数学数据的零样本跨语言数学推理迁移,在MGSM基准上提升10%。
2025-03-04 cs.AI cs.CL cs.LG
Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Mila, University of Montreal(蒙特利尔大学Mila研究所);Google DeepMind(谷歌DeepMind)
本文提出NTKEval方法,通过分析大语言模型在不同数学数据训练下的概率分布变化,评估其数学领域理解,发现上下文学习体现领域理解而指令微调缺乏。
2024-05-24 cs.AI cs.CL cs.LG
Schema-Key Wording as an Instruction Channel in Structured Generation under Constrained Decoding
Zhejiang University(浙江大学)
本文探讨了在受限解码中模式键作为隐式指令通道的作用,提出结构生成是多通道指令问题,并通过实验展示模式键词汇对准确性的影响,揭示了不同模型对不同通道的依赖性。
2026-09-17 cs.AI cs.CL
Light-IF: Endowing LLMs with Generalizable Reasoning via Preview and Self-Checking for Complex Instruction Following
针对大语言模型遵循复杂指令时因惰性推理导致效果不佳的问题,提出Light-IF框架,通过预览和自检查机制及熵保持微调与强化学习,显著提升指令遵循能力,Light-IF-32B超越更大开源和闭源模型。
2025-08-05 cs.AI cs.CL cs.LG
One Size doesn't Fit All: A Personalized Conversational Tutoring Agent for Mathematics Instruction
School of Computer Science, Wuhan University(武汉大学计算机学院);DAMO Academy, Alibaba Group(阿里巴巴达摩院);College of Computer and Cyber Security, Hebei Normal University(河北师范大学计算机与网络空间安全学院)
针对数学教学中学习者差异被忽视的问题,本文提出 PACE 个性化对话辅导智能体,结合学习风格画像、苏格拉底式反馈与个性化训练,提升教学适应性和学习效果。
2025-02-19 cs.AI cs.CL
Do Instruction-Tuned Models Always Perform Better Than Base Models? Evidence from Math and Domain-Shifted Benchmarks
M42, Abu Dhabi, UAE(阿布扎希德)
研究通过数学和领域转移基准验证指令微调模型在不同设置下的表现差异,发现其性能依赖于提示模式而非内在推理能力。
2026-01-19 cs.LG
Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2
Independent Researcher(独立研究员)
通过峰值幅度准则对GLU-MLP层进行结构化宽度剪枝,发现降低扩展比会损害参数化知识任务,但能提升指令遵循能力,挑战了剪枝导致均匀退化的假设。
2026-06-15 cs.AI cs.CL cs.LG
The TalkMoves Dataset: K-12 Mathematics Lesson Transcripts Annotated for Teacher and Student Discursive Moves
University of Colorado Boulder(科罗拉多大学博尔德分校)
教学片段记录是理解课堂教学中话语模式的有效工具。根据大多数教育专家的说法,持续的课堂话语是学生公平,参与和丰富学习环境的关键组成部分。本文描述了TalkMoves数据集,由567个来自视频记录的人类注释的K-12数学课程成绩单(包括整个课程或部分课程)组成。这套成绩单主要包括面对面的课程,包括全班讨论和/或小组工作,以及一些在线课程。所有的成绩单都是人工转录的,由说话者(教师或学生)分段,并根据可解释的谈话理论在句子层面上注释了十个话语移动。此外,转录包括话语级信息的形式的对话行为标签的基础上交换台对话行为语料库。该数据集可供教育工作者、政策制定者和研究人员使用,以了解K-12数学教室中教师和学生话语的性质。该数据集的一部分已被用于开发TalkMoves应用程序,该应用程序为教师提供有关其数学教学的自动化,即时和可操作的反馈。
2022-04-06 cs.AI cs.CL cs.LG
Select2Reason: Efficient Instruction-Tuning Data Selection for Long-CoT Reasoning
DataArc Tech Ltd.(DataArc科技有限公司);Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));IDEA Research, International Digital Economy Academy(IDEA研究所,国际数字经济学院);Hithink RoyalFlush Information Network Co., Ltd(Hithink RoyalFlush信息网络有限公司)
Select2Reason通过高效数据选择提升长链推理性能,实验证明其在多个基准测试中表现优异。
2025-12-23 cs.AI cs.CL
CoinMath: Harnessing the Power of Coding Instruction for Math LLMs
Institute for Infocomm Research (IR), A*STAR(信息通信研究院(IR),新加坡科技研究局);Centre for Frontier AI Research (CFAR), A*STAR(前沿人工智能研究中心(CFAR),新加坡科技研究局)
本研究通过探究编码风格对数学推理的影响,提出CoinMath策略,利用多样化编码风格的代码推理链,显著提升数学大语言模型性能。
2024-12-16 cs.CL
MSA at BEA 2025 Shared Task: Disagreement-Aware Instruction Tuning for Multi-Dimensional Evaluation of LLMs as Math Tutors
Faculty of Computer Science, MSA University(计算机科学学院,MSA大学)
本文提出MSA-MathEval系统,采用统一指令微调和感知分歧的集成推理,在BEA 2025共享任务中实现LLM数学辅导多维评估,并在提供指导等维度取得领先排名。
2025-05-24 cs.CL
Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context
本文提出首个评估LLM反事实指令跟随能力的基准数据集,发现主流模型在模拟反向表现人物时表现不佳,揭示了反事实指令跟随的挑战。
2026-03-16 cs.CL
LLMs can be easily Confused by Instructional Distractions
IPAI, Seoul National University(IPAI,首尔国立大学);LG AI Research(LG人工智能研究所);Dept. of ECE, Seoul National University(电子工程系,首尔国立大学);SNU-LG AI Research Center(SNU-LG人工智能研究所)
本文提出DIM-Bench基准,用于评估LLMs在指令性干扰下的表现,发现即使最先进的LLMs也容易受干扰而无法准确遵循用户意图。
2025-02-05 cs.AI cs.CL
PARAMANU-GANITA: Can Small Math Language Models Rival with Large Language Models on Mathematical Reasoning?
Gyan AI Research(智研AI研究院);CNRS(法国国家科学研究中心);LIG(信息与信号处理实验室);Grenoble INP(格勒诺布尔理工学院);Univ. Grenoble Alpes(格勒诺布尔大学);Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文提出2.08亿参数的数学专用小型语言模型Paramanu-Ganita,通过领域预训练与CoT微调,在多个数学推理基准上超越7B等大模型,兼具高性能与低成本。
2025-03-05 cs.AI cs.CL cs.LG
Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification
Department of Computer Science, Aarhus University(计算机科学系,阿arhus大学);Baidu Inc.(百度公司)
本文提出LENS框架,通过去除干扰标记提升强化学习推理效率,实验显示其在数学推理和科学推理中性能更优,收敛更快。
2026-04-20 cs.AI cs.CL cs.LG
SUPERNOVA: Eliciting General Reasoning in LLMs with Reinforcement Learning on Natural Instructions
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出SUPERNOVA框架,通过自然指令数据集构建高质量的强化学习可验证奖励数据集,通过100+次强化学习实验系统研究如何利用这些数据集提升下游推理性能,并在BigBench Extra Hard基准上实现64.4个百分点的相对提升。
2026-06-04 cs.AI cs.CL cs.LG
Infinity Instruct: Scaling Instruction Selection and Synthesis to Enhance Language Models
Beijing Academy of Artificial Intelligence(北京人工智能研究院);University of Oxford(牛津大学)
针对现有开源指令数据集领域狭窄、限制LLM泛化能力的问题,提出两阶段构建的高质量指令数据集Infinity-Instruct,微调多个开源模型后基础与指令跟随能力均显著提升,验证了基础与对话训练的协同效应。
2025-06-09 cs.AI cs.CL
Large Language Models Approach Expert Pedagogical Quality in Math Tutoring but Differ in Instructional and Linguistic Profiles
African University of science and Technology(非洲科学与技术大学);University of Konstanz(康斯坦茨大学)
通过分析数学辅导对话数据集,比较专家、新手教师和七种大型语言模型的教学质量,发现大型语言模型平均接近专家水平,但在教学策略和语言特征上存在系统性差异。
2026-05-26 cs.CL cs.CY
MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning
University of Waterloo(滑铁卢大学);The Ohio State University(俄亥俄州立大学);HKUST(香港科技大学);University of Edinburgh(爱丁堡大学)
本研究提出面向通用数学求解的MAmmoTH开源大模型系列,基于融合CoT与PoT的MathInstruct数据集训练,在多数学推理数据集上显著超越现有开源模型,验证了混合推理与多样问题覆盖的价值。
2023-10-03 cs.CL
LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning
Institute of Computing and Intelligence, Harbin Institute of Technology(哈尔滨工业大学计算与智能学院);Peng Cheng Laboratory(鹏城实验室)
本文提出两阶段指令微调框架 LinguaLIFT,通过语言对齐层和语码转换微调,仅用英文数据将推理能力迁移至低资源语言,并构建覆盖48种语言的 MMWP 基准,实验表现优于多个基线。
2025-02-17 cs.AI cs.CL
Teaching According to Students' Aptitude: Personalized Mathematics Tutoring via Persona-, Memory-, and Forgetting-Aware LLMs
针对现有大语言模型辅导系统难以捕捉学生知识动态演化的问题,提出融合角色、记忆与遗忘机制的TASA个性化数学辅导框架,实验证明其学习效果与辅导适应性优于基线方法。
2025-11-19 cs.AI cs.CL cs.HC
GRIP: A Graph-Based Reasoning Instruction Producer
University of Science and Technology of China(中国科学技术大学);MetaStone Technology(MetaStone技术)
本文提出基于图的推理指令生成器GRIP,利用知识图谱中的显式与隐式关系从种子数据大规模合成多样且高质量的推理指令,并构建含210万问答对的GRIP-MATH数据集,显著提升数学推理性能并降低成本。
2025-09-22 cs.CL
Text as Images: Can Multimodal Large Language Models Follow Printed Instructions in Pixels?
Apple(苹果公司);Microsoft Research(微软研究院);University of Washington(华盛顿大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出 VIM 评测像素化印刷指令,在八个基准上揭示开源 MLLM 的显著性能下降,并训练可同时鲁棒遵循文本与视觉模态指令的 v-MLLM。
2024-06-10 cs.AI cs.CL cs.CV
INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large Language Models
Singapore University of Technology and Design(新加坡科技设计大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本研究提出专门面向指令微调大语言模型的综合评估套件INSTRUCTEVAL,从多维度评估模型性能并分析影响因素,发现指令数据质量是性能提升关键,同时指出开源模型的短板与评估必要性,以推动该类模型的发展与认知深化。
2023-06-15 cs.AI cs.CL
Leveraging Unstructured Text Data for Federated Instruction Tuning of Large Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对联邦指令微调要求客户端具备结构化指令数据的不切实际问题,提出FedIT-U2S框架,通过基于检索的少样本生成将非结构化文本转为指令对再微调,拓宽应用场景且在多领域显著提升模型效果。
2024-09-11 cs.AI cs.CL cs.MA
AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models
Princeton Language and Intelligence(普林斯顿语言与智能)
AdaptMI提出自适应技能选择方法,仅在模型表现不佳时引入技能示例,并针对缺失技能补充示例,在五个小语言模型上提升数学推理准确率最多6%。
2025-09-10 cs.CL
Mastering Text, Code and Math Simultaneously via Fusing Highly Specialized Language Models
Tsinghua University(清华大学)
本文提出UltraFuser框架,通过token级门控机制融合语言、编程和数学三个高度专业化的专家模型,并构建包含约30万条指令的UltraChat 2数据集,采用两阶段训练策略实现模型对文本、代码和数学三大领域的同时精通。
2024-03-26 cs.AI cs.CL
The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Groningen(格罗宁根大学)
SIFo基准通过四个任务评估大型语言模型在多指令遵循中的能力,发现较新和更大的模型在任务表现上更优,揭示了当前语言模型在指令序列处理上的鲁棒性不足。
2024-10-03 cs.CL
Instruction Retrieval at Inference Time for Small Language Models
School of Information University of Michigan(信息学院 华盛顿大学)
本文提出一种在推理时通过检索结构化指令来增强小型模型推理能力的方法,通过领域背景与分步程序的配对,提升模型在医学、法律和数学等领域的准确性。
2026-10-01 cs.AI cs.CL
Task Competence Is Not Instruction Following: Evaluating Instruction-Conflicting Behavior in Small Language Models
Khajeh Nasir Toosi University of Technology(哈杰·纳西尔·图西理工大学);Apta AI, Spark AI Research(阿普塔人工智能公司,星火人工智能研究院)
研究小语言模型在指令冲突时的行为,通过跨任务设计,用标准准确率等指标评估指令微调的Qwen模型,发现任务能力提升不自动带来可靠行为控制,任务能力与指令遵循是不同能力,仅报标准准确率会掩盖问题。
2026-10-14 cs.CL
Simulating Student-Tutor Interactions with LLMs for Multilingual Math Feedback
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·本·泽德人工智能大学)
本文首次通过LLM模拟多语言师生互动,在11种语言和4种先进LLM上探索352种设置,发现与学生母语一致的多语言反馈能显著提升低资源语言中的数学学习效果。
2026-10-14 cs.AI cs.CL
Fine-tuning Large Language Models with Sequential Instructions
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出顺序指令微调方法,通过构建任务链并自动化生成顺序指令,提升大语言模型在编程、数学和开放式生成等复杂多步任务中的指令遵循能力,并推出 SeqEval 基准加以验证。
2024-07-03 cs.CL
mCoT: Multilingual Instruction Tuning for Reasoning Consistency in Language Models
Center for Language and Cognition (CLCG)(语言与认知中心(CLCG));University of Groningen(格罗宁根大学)
针对大语言模型多语言推理可靠性存疑的问题,构建覆盖11种语言的mCoT-MATH数据集,提出多语言CoT指令微调,7B参数的mCoT模型实现跨语言推理一致性和优异性能。
2024-07-10 cs.CL
MDIT: A Model-free Data Interpolation Method for Diverse Instruction Tuning
Tsinghua University(清华大学)
针对指令微调中数据多样性不足的问题,提出无模型数据插值方法MDIT,通过任务插值和多样性聚类生成高质量指令数据,经其微调的LLMs在多基准任务中性能显著提升。
2025-04-14 cs.CL
MAmmoTH2: Scaling Instructions from the Web
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
本文提出从网络语料中高效获取千万级指令数据的新范式,构建MAmmoTH2模型,显著提升LLM推理性能,无需人工标注或GPT-4蒸馏。
2024-05-23 cs.CL
DS$^2$-Instruct: Domain-Specific Data Synthesis for Large Language Models Instruction Tuning
DS$^2$-Instruct通过零样本方法生成领域特定指令数据集,结合任务关键词和布卢姆分类法不同认知层次,提升模型在数学、金融等七个领域性能。
2026-03-16 cs.CL
Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases
Beike Inc.(贝壳公司)
ChatGPT的成功最近吸引了众多的努力来复制它,预防调整策略是取得显着成果的关键因素。指令调整不仅显著提高了模型的性能和泛化能力,而且使模型生成的结果更符合人类语音模式。然而,目前的研究很少研究不同数量的指令数据对模型性能的影响,特别是在现实世界的用例。在本文中,我们探讨了大语言模型的性能的基础上,指令微调跨不同规模的指令数据。实验中构建了由12个主要在线用例组成的评估数据集。以Bloomz-7 B1-mt为基础模型,结果表明:1)仅仅增加指令数据量就能导致开放式生成等任务的持续改进; 2)在数学和代码等任务中,随着数据量的增加,模型性能曲线保持相当平坦。我们进一步分析了这些现象的可能原因,并提出了潜在的未来研究方向,如有效地选择高质量的训练数据,缩放的基础模型和专门用于硬任务的训练方法。我们将发布我们的训练和评估数据集,以及模型检查点。
2023-03-26 cs.CL
Mixture-of-Instructions: Aligning Large Language Models via Mixture Prompting
Alibaba Group(阿里巴巴集团)
本文提出指令混合(MoI)技术,通过指令打包与多样化系统提示缓解LLM对系统提示的过拟合,并在Qwen-7B-chat上验证其在编程、数学和工具使用任务中的对齐效果提升。
2025-02-05 cs.CL
Learning In-context Learning for Named Entity Recognition
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出基于上下文学习的命名实体识别方法,通过元函数预训练将上下文NER能力注入预训练语言模型,仅用少量示例即可识别新类型实体,并在4个少样本数据集上显著优于微调方法。
2023-05-26 cs.CL
Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing
该论文提出上下文感知神经梯度映射框架,通过将上下文嵌入融入梯度调整机制,实现细粒度指令处理,提升泛化能力、鲁棒性和计算效率。
2025-04-24 cs.AI cs.CL
Prompt2Skill: Unsupervised Skill Optimization From Natural Language Instructions
Vanderbilt University(范德堡大学);University of Southern California(南加州大学);Adobe Systems(Adobe系统公司)
Prompt2Skill提出仅从自然语言任务描述构建技能的无监督框架,通过推导任务规范、合成数据集和闭环反思编辑,在四个领域上平均提升10.8个百分点,优于直接提示基线。
2026-10-01 cs.AI cs.CL
A Post-trainer's Guide to Multilingual Training Data: Uncovering Cross-lingual Transfer Dynamics
Cohere For AI;University of São Paulo(圣保罗大学);Meta
本研究通过控制多语言数据混合,在后训练中考察跨语言迁移动态,发现其受多种设置组合影响,并识别出有效迁移的条件。
2025-04-23 cs.AI cs.CL
SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models
Tsinghua University(清华大学);Zhipu AI(智谱AI);California Institute of Technology(加州理工学院)
针对LLMs在复杂科学概念、符号推导和数值计算上的不足,提出自反思指令标注框架构建高质量科学数据集SciInstruct,微调多个模型显著提升其科学与数学推理能力且不损失语言理解能力。
2024-11-18 cs.CL
Scaling Code-Assisted Chain-of-Thoughts and Instructions for Model Reasoning
OpenDataLab, Shanghai Artificial Intelligence Laboratory(OpenDataLab,上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Soochow University(苏州大学)
针对大语言模型推理中CoT方法生成不可控、泛化性弱等问题,提出Caco框架,通过代码驱动的自动数据合成与验证闭环,规模化生成高质量推理数据,提升模型数学推理与跨任务泛化能力。
2025-10-05 cs.CL cs.PL
Instruction-Following Pruning for Large Language Models
Apple AI/ML(苹果人工智能/机器学习)
本文提出指令遵循剪枝方法,通过稀疏掩码预测器根据用户指令动态选择模型参数,联合优化预测器与LLM,使3B激活模型超越3B稠密模型并媲美9B模型性能。
2025-06-02 cs.CL
On the Paradoxical Interference between Instruction-Following and Task Solving
Department of Computer Science and Technology, BNRist(计算机科学与技术系,BNRist)
本文揭示指令遵循可能干扰LLMs任务解决能力,并提出SUSTAINSCORE指标量化此干扰,通过实验表明添加自我显而易见约束会导致性能下降。
2026-01-29 cs.CL
Self-Refine Instruction-Tuning for Aligning Reasoning in Language Models
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学)
提出自精炼指令微调方法,通过两阶段过程(LLM演示指令微调与基于DPO的自精炼)对齐小模型与大模型的推理能力,在常识和数学推理任务上显著超越传统指令微调。
2024-05-01 cs.CL
Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for Language Models
Microsoft(微软);Singapore University of Technology and Design(新加坡科技设计大学);Peking University(北京大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本文提出广义指令微调方法 GLAN,仅利用人类知识与能力分类体系即可大规模生成覆盖多学科的合成指令数据,无需任务特定数据即可显著提升大语言模型在推理、编程、考试和指令遵循等多方面的表现,并支持便捷扩展新领域。
2024-02-20 cs.CL
QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions
本文提出QAQ框架,通过双向语义一致性评估合成数据质量,利用反向互信息量化答案对查询的信息增益,实验表明选择25%数据可达到全数据训练效果,提升数据筛选效率。
2026-09-01 cs.CL