ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples
Yale University(耶鲁大学);Zhejiang University(浙江大学);Penn State University(宾夕法尼亚州立大学)
对表格数据进行推理需要理解表格结构和广泛的表格推理技能。当前具有特定于表的架构和预训练方法的模型在理解表结构方面表现良好,但它们仍然难以处理需要各种表推理技能的任务。在这项工作中,我们开发了ReasTAP,以表明高级表推理技能可以在预训练期间注入模型,而无需复杂的特定于表的架构设计。我们定义了7种表格推理技巧,如数值运算、时间比较和合取。每个推理技巧都与一个示例生成器相关联,该示例生成器根据采样模板在半结构化表上合成问题。我们将表格预训练任务建模为序列生成任务,并预训练ReasTAP以生成合成示例的精确答案。ReasTAP在四个基准上进行评估,涵盖三个下游任务,包括:1)用于表问答的WikiSQL和WTQ; 2)用于表事实验证的TabFact;以及3)用于忠实表到文本生成的LogicNLG。实验结果表明,ReasTAP在所有基准测试中都达到了新的最先进的性能,并在低资源设置上有了显着的改进。我们的代码可在https://github.com/Yale-LILY/ReasTAP上公开获取。
2022-10-22 cs.CL
On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models
Carnegie Mellon University, Language Technologies Institute(卡内基梅隆大学,语言技术研究所)
研究探讨了预训练、中训练和强化学习在推理语言模型中的相互作用,发现RL需预训练留有余地才能提升能力,中训练提升性能,过程级奖励提高推理准确性。
2025-12-08 cs.CL
At Which Training Stage Does Code Data Help LLMs Reasoning?
National University of Defense Technology(国防科技大学);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学)
该研究系统探究代码数据在预训练、指令微调等不同训练阶段对大语言模型推理能力的影响,通过多领域推理任务验证了混合预训练、指令微调阶段引入代码数据的不同作用及动态混合策略的效果,深化了对LLMs推理能力提升的认知。
2023-09-30 cs.CL
AIR: Post-training Data Selection for Reasoning via Attention Head Influence
Beihang University(北洋大学);Independent Researcher(独立研究者)
AIR通过注意力头影响机制,提升大语言模型推理能力的后训练数据选择效率。
2025-12-15 cs.CL
Adaptive Group Policy Optimization: Towards Stable Training and Token-Efficient Reasoning
HPC-AI Tech(HPC-AI技术)
针对 GRPO 在推理型 LLM 强化学习训练中的零方差、波动和令牌低效问题,本文提出带自适应损失函数的 AGPO,实现更稳定训练、更优性能及更少推理令牌。
2025-09-29 cs.CL
Neuro-symbolic Training for Reasoning over Spatial Language
Department of Computer Science Michigan State University(计算机科学系密歇根州立大学)
本文提出利用空间逻辑规则作为约束的神经符号训练方法,通过额外监督提升语言模型在嵌套表达和多跳文本空间推理及问答上的泛化能力,并在现有基准上验证了其有效性。
2025-05-29 cs.CL
Pre-training Language Models for Comparative Reasoning
University of Notre Dame(圣母大学);Tencent AI Seattle Lab(腾讯西雅图人工智能实验室)
本文提出利用结构化与非结构化数据收集可扩展比较数据,并通过三个新颖目标预训练语言模型,显著提升其在低资源条件下的比较推理能力,并发布首个集成基准。
2023-11-28 cs.CL
LLM Reasoning Engine: Specialized Training for Enhanced Mathematical Reasoning
Purdue University(普渡大学)
针对大语言模型数学推理能力不足、现有方法依赖集成且目标域数据稀缺的问题,提出结合问题复述策略与专项训练目标的方法,经多数据集多模型实验验证可有效提升数学推理性能。
2025-03-19 cs.CL
Can language models learn analogical reasoning? Investigating training objectives and comparisons to human performance
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Malta(马耳他大学)
本文探究类比推理是否可被模型学习,通过多种训练目标在更接近人类类比评估的数据上进行实验,发现模型仅需少量数据即可学会类比推理,且训练后表现接近人类水平。
2024-05-03 cs.CL
Language models can learn implicit multi-hop reasoning, but only if they have lots of training data
Saarland University(萨尔兰大学);Utrecht University(乌得勒支大学)
本文研究了语言模型通过大量训练数据学习隐式多跳推理的能力,并发现训练数据量随推理跳数呈指数增长,但通过课程学习可部分缓解这一需求。
2026-02-04 cs.CL
DeepDistill: Enhancing LLM Reasoning Capabilities via Large-Scale Difficulty-Graded Data Training
a-m-team(a-m团队)
本文提出 DeepDistill,构建含 334 万查询、4000 万响应的难度分级推理数据集,并依据通过率与 CV 筛选数据、采用更高学习率训练,使基座模型在 AIME2024 达到 79.2% 通过率。
2025-05-13 cs.CL
Beyond English-Centric Training: How Reinforcement Learning Improves Cross-Lingual Reasoning in LLMs
Zhejiang University(浙江大学);Westlake University(西湖大学)
本文系统比较 RL 与 SFT 对大语言模型跨语言推理的影响,发现 RL 准确率和泛化更强,且非英语 RL 训练效果优于英语训练。
2025-09-28 cs.CL
Enhancing Tabular Reasoning with Pattern Exploiting Training
Bloomberg(彭博社);IIT Guwahati(印度理工学院古瓦哈提分校);University of Utah(犹他大学)
基于预训练的语言模型的最近方法已经表现出优于表格任务的性能(例如,表格NLI),尽管显示出固有的问题,例如在对表格数据进行推理时不使用正确的证据和跨输入的不一致预测。在这项工作中,我们利用模式开发训练(PET)(即,策略MLM),以加强这些表格式语言模型模型的预先存在的知识和推理能力。与当前基线相比,我们升级后的模型对知识事实和表格推理有更好的理解。此外,我们还证明了这种模型对于InfoTabs上表格推理的底层下游任务更有效。此外,我们还展示了我们的模型对通过各种字符和单词级扰动生成的对抗集的鲁棒性。
2022-10-21 cs.CL
Revisiting Complete Reasoning Traces for Post-Training
NAVER AI Lab(NAVER人工智能实验室)
本文重新审视后训练中的完整推理轨迹,发现其收益有限,而部分轨迹在重度截断下仍有效,并证明基于端点的训练可提升推理及强化学习等后训练方法。
2026-09-09 cs.CL
Reasoning Core: Designing Broad Procedural Data for Completion-Supervised Reasoning Training
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本研究推出含50类任务生成器的Reasoning Core集合,经对比实验,其在3B规模模型的三个推理基准上得分最优,相关资源已公开。
2026-08-06 cs.CL
Oops, Wait: Discourse Tokens Matter in Reasoning Model
NAVER AI Lab(NAVER人工智能实验室)
本文研究话语标记(如“wait”)在推理轨迹中的作用,发现数据高效微调可部分复现其模式,但不如大规模后训练与高置信答案转换对齐。
2026-06-16 cs.CL
Learning to Reason: Training LLMs with GPT-OSS or DeepSeek R1 Reasoning Traces
DICTA;NVIDIA
本研究通过比较DeepSeek-R1和gpt-oss生成的推理轨迹对中型LLMs在数学问题上的微调效果,评估了推理轨迹在提升模型推理能力中的作用。
2025-11-24 cs.CL
Scaling Competence, Shrinking Reasoning: Cognitive Signatures in Language Model Learning
Microsoft(微软)
该研究通过分析语言模型推理标记的动态变化,揭示了模型在任务学习中的能力发展过程,并提出相关指标用于优化训练。
2025-11-22 cs.CL
Self-Training with Direct Preference Optimization Improves Chain-of-Thought Reasoning
Singapore University of Technology and Design(新加坡科技设计大学);Soochow University(苏州大学)
本文提出将直接偏好优化(DPO)集成到自训练中,利用模型自身输出的偏好数据引导其生成更准确多样的思维链推理,从而提升小规模语言模型在数学推理任务上的性能,同时降低对大型专有模型的依赖与成本。
2024-07-25 cs.CL
FastCuRL: Curriculum Reinforcement Learning with Stage-wise Context Scaling for Efficient Training R1-like Reasoning Models
Tencent Hunyuan(腾讯文英)
本文提出FastCuRL课程强化学习框架,通过分阶段上下文缩放提升R1类推理模型训练效率,在多个竞赛级基准上以更少训练资源超越现有模型。
2025-09-20 cs.CL
Balanced Actor Initialization: Stable RLHF Training of Distillation-Based Reasoning Models
Peking University(北京大学)
针对将RLHF应用于蒸馏训练推理模型时出现的序列长度崩塌、奖励曲棍球棒曲线等不稳定问题,提出两阶段加权融合的平衡智能体初始化方法,有效提升训练稳定性与推理能力保留效果。
2025-08-30 cs.CL
Rethinking Easy-to-Hard: Limits of Curriculum Learning in Post-Training for Deductive Reasoning
Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所,图宾根);ETH Zürich(苏黎世联邦理工学院);The Chinese University of Hong Kong(香港中文大学)
本研究系统评估了课程学习在LLM后训练中的影响,发现基于难度的训练顺序在准确性及响应长度上无显著优势,挑战了课程学习在演绎推理中的实用性。
2026-03-28 cs.CL
Efficient Reasoning via Thought-Training and Thought-Free Inference
Xi’an Jiaotong University(西安交通大学);JD Future Academy(京东未来学院)
3TF通过训练混合模型实现高效推理,使模型能在无显式推理生成的情况下进行高质量推理。
2025-11-28 cs.CL
Long Is More Important Than Difficult for Training Reasoning Models
Nanjing University of Science and Technology(南京理工大学);Nanjing Agricultural University(南京农业大学);Jiangsu Police Institute(江苏警官学院)
本研究发现推理长度而非问题难度是影响推理模型性能的关键,提出推理长度缩放定律,通过生成任意长度推理数据的方法,仅用1000个样本训练的Long1K-32B模型在MATH、GPQA基准上取得优异表现。
2025-03-23 cs.CL
DeReason: A Difficulty-Aware Curriculum Improves Decoupled SFT-then-RL Training for General Reasoning
University of Zurich(苏黎世大学);University of Pennsylvania(宾夕法尼亚大学);ETH Zurich(苏黎世联邦理工学院);HKUST (GZ)(香港科技大学(广州))
DeReason通过基于难度的数据解耦策略,优化SFT与RL的训练分配,提升一般推理能力。
2026-03-11 cs.CL
Describe-then-Reason: Improving Multimodal Mathematical Reasoning through Visual Comprehension Training
University of Notre Dame(圣母大学);Tencent AI Seattle Lab(腾讯AI西雅图实验室);Nanyang Technological University(南洋理工大学)
针对开源多模态大模型在复杂数学推理中视觉理解不足的问题,提出两步训练流程VCAR,通过先生成视觉描述再辅助生成推理步骤,显著提升了模型在高视觉需求数学问题上的表现。
2024-04-26 cs.CL
Unified Data Selection for LLM Reasoning
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
本文提出了一种无需训练的高熵和(HES)指标,用于评估和选择高质量的推理样本,通过在三种主流训练范式(监督微调、拒绝微调和强化学习)中验证,证明了其在提高LLM推理性能和减少计算开销方面的有效性。
2026-05-21 cs.CL
Logit Arithmetic Elicits Long Reasoning Capabilities Without Training
University of Michigan(密歇根大学)
本文提出ThinkLogit方法,通过逻辑运算将小型推理引导器的能力转移至大模型,无需训练即可提升推理性能,实验显示在六个基准测试中实现21.5%-24.2%的提升。
2026-04-20 cs.CL
Enhancing Reasoning Skills in Small Persian Medical Language Models Can Outperform Large-Scale Data Training
Faculty of Computer Engineering University of Isfahan(计算机工程系 布鲁金斯大学);School of Computer Science University of Windsor(计算机科学学院 温莎大学)
通过RLAIF和DPO方法,提升小规模波斯语医疗模型推理能力,使其在有限数据下超越大规模训练模型。
2026-01-06 cs.CL
The Synergy Dilemma of Long-CoT SFT and RL: Investigating Post-Training Techniques for Reasoning VLMs
Huawei Technologies(华为技术有限公司);HKUST(香港科技大学)
本文系统探究了长CoT SFT与RL在多模态推理VLMs中的作用,发现两者各有优劣且联合使用时陷入“协同困境”,亟需更无缝自适应的方法释放其组合潜力。
2025-07-10 cs.CL
Your Language Model May Think Too Rigidly: Achieving Reasoning Consistency with Symmetry-Enhanced Training
Carnegie Mellon University(卡内基梅隆大学);AHN;Salesforce(赛富时);UMass Amherst(马萨诸塞大学阿默斯特分校)
针对查询措辞变化导致LLM推理性能下降的问题,提出对称增强数据增强方法MEND,在知识提取阶段提升鲁棒性,实验证明其在逻辑和算术推理任务上表现更优。
2025-02-25 cs.CL
LogiGAN: Learning Logical Reasoning via Adversarial Pre-training
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sun Yat-Sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了LogiGAN,一个无监督的对抗性预训练框架,用于提高语言模型的逻辑推理能力。在利用检测算法自动识别海量文本中的逻辑推理现象的基础上,通过训练语言模型来预测被屏蔽的逻辑语句。受人类学习中反思思维的促进作用的启发,我们用一个对抗性的生成器-验证器架构来模拟学习-思维过程,以辅助逻辑学习。Logi GAN实现了一种新的顺序GAN方法,该方法(a)通过利用Generator作为具有与Verifier达成评分共识的学习目标的并行级生成似然评分器来规避顺序GAN的不可微挑战;(b)对于具有任意目标长度的大规模预训练在计算上是可行的。使用LogiGAN预训练的基础和大规模语言模型在12个需要一般推理能力的数据集上表现出明显的性能改善,揭示了逻辑在广泛推理中的基础作用,以及LogiGAN的有效性。对LogiGAN组件的消融研究揭示了语言和逻辑能力之间的相对正交性,并表明反思性思维的促进作用也可能推广到机器学习。
2022-12-09 cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China(中国人民大学);Tencent AI Lab(腾讯人工智能实验室)
基于嵌入的方法在知识库问答(KBQA)中很受欢迎,但目前很少有模型具有数值推理能力,因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架,特别是考虑到数值推理。我们在NSM(一种最先进的基于嵌入的KBQA模型)之上提出NumericalTransformer,以创建NT-NSM。为了实现更好的训练,我们提出了两个预训练任务,在两个生成的训练数据集上使用显式的面向数值的损失函数,以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明,在我们的训练算法的帮助下,NT-NSM具有数值推理技能,并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Towards a Mechanistic Understanding of Large Reasoning Models: A Survey of Training, Inference, and Failures
Peking University(北京大学);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
本文综述了大规模推理模型的训练、推理及失败机制,旨在揭示其内部运作并为未来研究提供方向。
2026-01-11 cs.CL
REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation
Peking University(北京大学);Nanjing University(南京大学)
该研究提出REER-PT框架,通过逆向工程推理生成预训练数据的推理注释以增强数据,使模型在多个知识和推理基准上性能提升最高达2.07个百分点。
2026-09-01 cs.CL
Training LLMs for Divide-and-Conquer Reasoning Elevates Test-Time Scalability
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft(微软)
本文提出一种端到端强化学习框架,通过分而治之推理提升LLMs在复杂任务上的推理能力和测试时可扩展性。
2026-02-02 cs.CL
Right Is Not Enough: The Pitfalls of Outcome Supervision in Training LLMs for Math Reasoning
Fudan University(复旦大学);Ant Group(蚂蚁集团);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文揭示了LLMs数学推理中通过不合理过程得出正确答案的奖励作弊问题,提出逐步验证方法ParaStepVerifier,有效提升识别有缺陷解法的准确性,为评估和训练具有真正数学推理能力的LLMs提供更稳健的途径。
2025-06-24 cs.CL
SyncThink: A Training-Free Strategy to Align Inference Termination with Reasoning Saturation
National Key Laboratory for Multimedia Information Processing, Peking University(北京大学多媒体信息处理国家级重点实验室);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);School of Computer Science, Peking University(北京大学计算机科学学院)
SyncThink是一种无需训练的解码方法,通过监控模型自身的推理过渡信号来终止推理,从而减少CoT的开销并提高推理效率。
2026-01-07 cs.CL
Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning
Peking University(北京大学)
本文提出OPHSD方法,通过将增强的模型作为教师进行自蒸馏,提升模型在复杂推理任务中的泛化能力和独立表现。
2026-05-09 cs.CL
Multi-granular Training Strategies for Robust Multi-hop Reasoning Over Noisy and Heterogeneous Knowledge Sources
Universidad Autónoma de Asunción(亚松森自治大学)
针对多源多跳问答的级联错误等问题,提出生成式框架AMKOR,结合LLMs动态融合知识、概率束推理探索轨迹及多粒度学习策略,在四个数据集上性能超基线,为该任务建立新基准。
2025-02-09 cs.CL
Improving Latent Reasoning in LLMs via Soft Concept Mixing
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
通过引入Soft Concept Mixing方法,改进大语言模型的潜在推理能力,提升推理性能并保持训练稳定性。
2025-11-21 cs.CL
Reasoning as State Transition: A Representational Analysis of Reasoning Evolution in Large Language Models
Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University, Beijing 100084, China(计算机科学与技术系,人工智能研究所,清华-博世联合机器学习中心,THBI实验室,BNRist中心,清华大学,北京100084,中国);College of AI, Tsinghua University, Beijing 100084, China(人工智能学院,清华大学,北京100084,中国)
本研究从表征视角分析大型语言模型推理过程的演变,揭示训练后模型通过优化表示分布提升推理能力的机制。
2026-01-31 cs.CL
QwenLong-L1.5: Post-Training Recipe for Long-Context Reasoning and Memory Management
QwenLong-L1.5通过长上下文数据合成、稳定强化学习和内存增强架构,提升长上下文推理能力及超长任务处理性能。
2025-12-15 cs.CL
Skill-Aware Data Selection and Fine-Tuning for Data-Efficient Reasoning Distillation
University of Michigan(密歇根大学)
本文提出了一种基于技能的蒸馏框架,通过数据选择和微调提升推理效率,实验证明在数学推理基准上优于随机微调基线。
2026-01-15 cs.CL
Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning
University of Science and Technology of China(中国科学技术大学)
提出BRIDGE框架,通过选择性知识迁移使SFT辅助RL训练,在数学推理等任务上优于两阶段和单阶段混合方法。
2026-05-30 cs.CL
From Training to Generalization: Improving Moral Reasoning Through Pragmatic Inference
Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);Nanyang Technological University(南洋理工大学);University of Mississippi(密苏里大学);Northeastern University(东北大学);Qualcomm(高通公司);Michigan State University(密歇根州立大学)
针对大语言模型在道德推理中泛化能力不足的问题,提出基于元语用链接和道德基础理论的语用推理方法,使模型获取道德推理目标与社会变量间的元语用链接,在三个任务上验证了其适应性和泛化性。
2026-06-15 cs.CL
AStar: Boosting Multimodal Reasoning with Automated Structured Thinking
AStar通过自动化结构化思维提升多模态推理效率,实现更高准确率和更强迁移能力。
2026-02-28 cs.CL
FABSVer: Faster Training and Better Self-Verification for LLM Mathematical Reasoning
Zuoyebang Education Technology(左岳邦教育科技)
提出FABSVer方法,通过融合解生成与自验证为单次前向传播,并引入动态参考模型更新(DRMU)突破奖励瓶颈,在三个模型规模上实现更优的自验证与推理性能,训练时间仅为现有方法的51%-71%。
2026-05-27 cs.CL
GeoPQA: Bridging the Visual Perception Gap in MLLMs for Geometric Reasoning
Nanyang Technological University(南洋理工大学);DAMO Academy, Alibaba Group(阿里达摩院);Hupan Lab(华普实验室)
本文针对多模态大语言模型在几何推理中的视觉感知瓶颈,提出 GeoPQA 基准和两阶段强化学习训练框架,先增强几何结构感知再培养推理能力,在 Qwen2.5-VL-3B-Instruct 上使几何推理和问题求解分别提升 9.7% 和 9.1%,并验证了感知基础对有效推理的重要性。
2025-09-22 cs.CL
Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation
确定小句之间因果关系的可解释性是一项需要复杂推理能力的常识推理任务。此任务的一般方法是在特定数据集上训练大型预训练语言模型。然而,任务的可用训练数据往往是稀缺的,这导致模型训练的不稳定性或依赖于数据集的浅层特征。本文提出了一些技术,使模型更强大的因果推理领域。首先,我们通过同义词替换生成扰动输入来进行对抗训练。其次,基于语篇连接词的语言学理论,我们使用语篇分析器来检测大文本中的因果连接子句,并使用生成语言模型来生成干扰词,从而执行数据增强。这两种方法都提高了模型在合理选择(COPA)数据集和平衡COPA数据集上的性能,平衡COPA数据集是原始数据的修改版本,旨在避免表面线索,从而产生更具挑战性的基准。我们在两个数据集上的性能和鲁棒性都有统计学上的显著改善,即使只有少量额外生成的数据点。
2021-01-13 cs.CL
Dual Tuning for Reasoning Efficacy-Driven Data Curation in Multimodal LLM Training
Ant Group(蚂蚁集团)
本文提出双调优框架,通过评估训练数据对推理训练的收益及推理训练的效能,指导多模态大语言模型的数据筛选与训练策略匹配。
2026-05-09 cs.CL cs.CV
Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Weixin AI, Tencent Inc(腾讯微信人工智能)
该研究针对大语言模型在超能力任务上产生无效推理的问题,提出CaRL方法对齐模型行为与能力边界,实验验证其可减少无效推理且不牺牲任务性能。
2026-08-03 cs.CL
Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning
University of Notre Dame(圣母大学);Tencent AI Lab(腾讯AI实验室)
针对现有数学推理训练仅靠数据增强适配单轮问答的局限,提出将反思嵌入训练样本的反思增强方法,训练模型通过多视角、抽象类比深化理解,在标准及需反思的复杂场景均有效,且与现有方法互补。
2024-10-05 cs.CL
Self-Training Large Language Models with Confident Reasoning
POSTECH(POSTECH大学);KAIST(韩国科学技术院)
针对自我训练中仅关注最终答案质量而忽略推理路径的问题,提出基于推理层面置信度的CORE-PO方法,通过策略优化偏好高置信度推理路径,在多个基准上提升准确性。
2025-05-23 cs.CL cs.LG