Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning
Fudan University(复旦大学);ShanghaiTech University(上海科技大学)
本文提出融合显式结构推理与语言预训练的统一框架,通过构建结构化查询并在PLM语义表示空间上逐步推理,提升模型跨结构复杂推理、少样本迁移及KG模态推理能力。
2023-07-15 cs.CL
Video-Skill-CoT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning
UNC Chapel Hill(UNC夏洛特山分校);Nanyang Technological University(南洋理工大学)
针对视频推理中领域技能适应难的问题,提出Video-Skill-CoT框架,自动构建技能感知的思维链监督并采用技能特定专家学习,在三个基准上持续优于强基线。
2025-10-24 cs.AI cs.CL cs.CV
New Skills or Sharper Primitives? A Probabilistic Perspective on the Emergence of Reasoning in RLVR
University of Science(科学技术大学);The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);Nanjing University(南京大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
RLVR通过提升原子步骤概率,使模型在多步骤推理中克服指数衰减,展现新能力而非单纯激发潜在痕迹。
2026-02-09 cs.CL
DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution
DIVE是一种多样性驱动的无参数框架,可让冻结LLM从任务经验和验证器反馈中进化出自然语言技能,在多项推理任务上优于现有方法,还能实现模型间技能迁移,让小模型性能匹配或超越大模型。
2026-08-14 cs.CL
Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models
Georgia Institute of Technology(佐治亚理工学院);Tencent AI Lab(腾讯AI实验室)
本文提出技能上下文提示(SKiC),通过在同一提示中展示基础技能及组合示例,仅需两个示例即可激发LLMs的组合泛化能力,实现近乎完美的系统泛化,并解锁其内部技能,且微调SKiC风格数据可实现零样本弱到强泛化。
2024-07-16 cs.CL
Injecting Salesperson's Dialogue Strategies in Large Language Models with Chain-of-Thought Reasoning
National Taiwan University(台湾大学)
本文提出改进数据集SalesBot 2.0及基于思维链推理的新模型SalesAgent,通过策略性提示注入大语言模型常识与销售人员对话策略,有效提升了话题转换、意图理解与策略选择能力,增强了销售对话的连贯性与自然度。
2024-04-29 cs.AI cs.CL
Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);University of Oxford(牛津大学)
该研究针对现有基准无法评估LLM跨技能长程推理能力的问题,提出Skill Entropy(技能熵)并构建Skill²-Bench基准,还开发Skill-Entropy RL训练框架,显著提升了Qwen3模型在该基准上的表现。
2026-08-06 cs.CL cs.LG
Piecing Together Clues: A Benchmark for Evaluating the Detective Skills of Large Language Models
Fudan University(复旦大学);Xiaohongshu Inc.(小红书科技有限公司)
研究提出DetectBench数据集评估大型语言模型在复杂信息下的关键信息检测与多跳推理能力,并设计Detective Thinking Framework方法,通过鼓励模型在推理前识别所有线索,有效缓解了现有模型在这两方面表现不佳的问题。
2024-03-20 cs.CL
Large Language Models on the Chessboard: A Study on ChatGPT's Formal Language Comprehension and Complex Reasoning Skills
Chingshin Academy(静心学园);Academia Sinica(中央研究院);National Central University(国立中央大学)
本研究以国际象棋为案例,评估ChatGPT在形式语言理解与复杂推理任务中的表现,发现其注意力机制局限和自调节不足,但策略连贯且信息充分时决策更果断。
2023-08-29 cs.CL
Reasoning Curriculum: Bootstrapping Broad LLM Reasoning from Math
Salesforce AI Research(Salesforce AI研究院);University of California, Los Angeles(加州大学洛杉矶分校)
提出Reasoning Curriculum两阶段课程学习法,先通过纯数学强化学习激发推理技能,再经混合领域联合强化学习迁移巩固,在多模型上实现持续增益,提供通用推理的紧凑方案。
2025-10-30 cs.AI cs.CL
Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models
Tsinghua University(清华大学)
本文构建KNOT数据集,将冲突知识推理分为直接提取、显式推理和隐式推理三个层次,并通过大量实验为大语言模型在复杂情境下解决知识冲突提供经验性指导。
2024-04-04 cs.CL
ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning
The University of Hong Kong(香港大学)
ASDA通过迭代误差纠正学习生成结构化技能 artifact,无需修改模型权重,在金融推理任务中实现显著提升,优于无训练基线。
2026-09-09 cs.AI cs.CE cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China(中国人民大学);Tencent AI Lab(腾讯人工智能实验室)
基于嵌入的方法在知识库问答(KBQA)中很受欢迎,但目前很少有模型具有数值推理能力,因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架,特别是考虑到数值推理。我们在NSM(一种最先进的基于嵌入的KBQA模型)之上提出NumericalTransformer,以创建NT-NSM。为了实现更好的训练,我们提出了两个预训练任务,在两个生成的训练数据集上使用显式的面向数值的损失函数,以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明,在我们的训练算法的帮助下,NT-NSM具有数值推理技能,并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Leveraging Parameter Space Symmetries for Reasoning Skill Transfer in LLMs
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Capital One(Capital One公司)
针对任务算术在大语言模型技能迁移中易受参数发散负干扰的问题,提出利用Transformer参数空间对称性先对齐再迁移的方法,适配GQA与SwiGLU层,可高效迁移推理技能,性能优于标准任务算术。
2025-11-13 cs.AI cs.CL cs.LG
Atomic Reasoning for Scientific Table Claim Verification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stevens Institute of Technology(史蒂文斯理工学院);MBZUAI
针对科学表格声明验证中的细粒度推理难题,提出可动态组合原子技能的技能链方法,并构建 SciAtomicBench,仅用350个微调样本即超过 GPT-4o 思维链。
2025-06-08 cs.CL
Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs
University of Pennsylvania(宾夕法尼亚大学)
大语言模型(LLM)像人类一样推理的潜力一直是机器学习社区中备受争议的话题。然而,人类的推理能力是多方面的,可以以各种形式出现,包括类比,空间和道德推理等。这一事实提出了一个问题,即LLM是否可以在所有这些不同的领域中表现同样出色。本研究旨在通过直接使用或借鉴现有类比和空间推理数据集的实验,研究LLM在不同推理任务中的表现。此外,为了评估LLM像人类一样推理的能力,他们的表现是在更开放的自然语言问题上进行评估的。我的研究结果表明,法学硕士擅长类比和道德推理,但在空间推理任务上表现得很熟练。我相信这些实验对于为LLM的未来发展提供信息至关重要,特别是在需要多样化推理专业知识的背景下。通过揭示LLM的推理能力,这项研究旨在推动我们对它们如何更好地模仿人类认知能力的理解。
2023-03-22 cs.AI cs.CL
Teaching Algorithmic Reasoning via In-context Learning
Mila(米拉研究所);Université de Montreal(蒙特利尔大学);Google Research(谷歌研究院)
大语言模型(LLM)通过扩展模型和数据大小,显示出越来越多的上下文学习能力。尽管取得了这些进展,LLM仍然无法解决算法推理问题。虽然为最终答案提供了一个基本原理,导致了多步推理问题的进一步改进,但Anil et al. 2022表明,即使是简单的算法推理任务,如奇偶校验,也远未解决。在这项工作中,我们确定并研究了成功教授算法推理的四个关键阶段:(1)将算法制定为技能,(2)同时教授多种技能(技能积累),(3)教授如何组合技能(技能组合)和(4)教授如何使用技能作为工具。我们表明,它是可以教算法推理LLMs通过上下文学习,我们称之为算法提示。我们评估我们的方法在各种算术和定量推理任务,并表现出显着的提升性能比现有的提示技术。特别是,对于长奇偶校验、加法、乘法和减法,与最佳可用基线相比,我们分别实现了约10倍、9倍、5倍和2倍的误差减少。
2022-11-15 cs.AI cs.CL cs.LG
Skill-Conditioned Gated Self-Distillation for LLM Reasoning
Tsinghua University(清华大学);Fudan University(复旦大学);City University of Hong Kong(香港城市大学);Huazhong University of Science and Technology(华中科技大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出技能条件门控自蒸馏(SGSD),通过从经验技能库中检索技能-错误对构建多教师池,并利用验证器验证教师极性,以鲁棒门控目标蒸馏信息性师生差异,在弱先验信息假设下提升数学推理性能。
2026-09-04 cs.AI cs.CL
Skill-Based Mixture-of-Experts: Adaptive Routing for Heterogeneous Reasoning via Inferred Skills
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出Skill-MoE框架,通过推断查询所需技能进行实例级专家选择,并采用批推理策略降低开销,在单GPU上集成16个专家模型,在多个推理基准上平均提升8.15%。
2026-05-30 cs.AI cs.CL cs.LG
Conditions for Length Generalization in Learning Reasoning Skills
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对 LLM 推理中的长度泛化难题,本文在 MDP 与 DAG 形式化任务上给出并证明了泛化成立与否的条件,且通过实验验证。
2023-12-06 cs.AI cs.CL cs.LG
Overcoming Barriers to Skill Injection in Language Modeling: Case Study in Arithmetic
Virginia Tech(弗吉尼亚理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
通过它们的迁移学习能力,高度参数化的大型预训练语言模型已经主导了大量下游语言任务的NLP领域。虽然这些模型在语言上很精通,但它们无法结合非语言实体(数字和算术推理)的学习,这限制了它们在需要数字理解或严格数学推理的任务中的使用。然而,正如我们在本文中所说明的,构建一个通用的语言模型,同时也精通数学推理,并不像在数值数据集上训练它那样简单。在这项工作中,我们开发了一个新的框架,使语言模型数学精通,同时保留他们的语言实力。具体来说,我们提供信息理论的干预措施,以克服灾难性遗忘的语言技能,同时注入非语言技能到语言模型。
2022-11-03 cs.AI cs.CL cs.LG
Compute Optimal Scaling of Skills: Knowledge vs Reasoning
University of Wisconsin(威斯康星大学);GenAI at Meta(Meta 生成式人工智能)
该研究发现大语言模型的计算最优缩放具有技能依赖性,知识类与推理类技能缩放行为存在本质差异,且验证集的技能构成可能导致计算最优参数量出现近50%的偏差。
2025-06-13 cs.AI cs.CL cs.LG
LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents
Shanghai Jiao Tong University(上海交通大学);Sun Yat-Sen University(中山大学);Shanghai Innovation Institute(上海创新研究院);OPPO Research Institute(OPPO研究院)
提出LatentSkill框架,通过预训练超网络将文本技能转换为即插即用的LoRA适配器,将技能知识存储在权重空间而非上下文空间,从而减少预填充令牌并提升性能。
2026-08-27 cs.AI cs.CL
TabClaw: An Interactive and Self-Evolving Agent for Spreadsheet Manipulation and Table Reasoning
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(中国科学技术大学认知智能国家重点实验室)
提出TabClaw,一个开源交互式AI智能体,通过可编辑执行计划、流式ReAct循环、并行多表推理和用户记忆提取,提升电子表格操作和表格推理的透明性与个性化。
2026-06-09 cs.CL
ReasTAP: Injecting Table Reasoning Skills During Pre-training via Synthetic Reasoning Examples
Yale University(耶鲁大学);Zhejiang University(浙江大学);Penn State University(宾夕法尼亚州立大学)
对表格数据进行推理需要理解表格结构和广泛的表格推理技能。当前具有特定于表的架构和预训练方法的模型在理解表结构方面表现良好,但它们仍然难以处理需要各种表推理技能的任务。在这项工作中,我们开发了ReasTAP,以表明高级表推理技能可以在预训练期间注入模型,而无需复杂的特定于表的架构设计。我们定义了7种表格推理技巧,如数值运算、时间比较和合取。每个推理技巧都与一个示例生成器相关联,该示例生成器根据采样模板在半结构化表上合成问题。我们将表格预训练任务建模为序列生成任务,并预训练ReasTAP以生成合成示例的精确答案。ReasTAP在四个基准上进行评估,涵盖三个下游任务,包括:1)用于表问答的WikiSQL和WTQ; 2)用于表事实验证的TabFact;以及3)用于忠实表到文本生成的LogicNLG。实验结果表明,ReasTAP在所有基准测试中都达到了新的最先进的性能,并在低资源设置上有了显着的改进。我们的代码可在https://github.com/Yale-LILY/ReasTAP上公开获取。
2022-10-22 cs.CL
Extending Activation Steering to Broad Skills and Multiple Behaviours
Utrecht University(乌得勒支大学);King’s College London(伦敦国王学院)
针对大语言模型危险能力的风险问题,研究激活引导技术在广泛技能与多种行为场景的效果,发现宽/窄技能引导效果相当,多向量合并法失效而多位置同步注入法有前景。
2024-03-09 cs.AI cs.CL cs.CY
Decoupling Reasoning and Knowledge Injection for In-Context Knowledge Editing
Tsinghua University(清华大学)
针对上下文知识编辑中新知识注入与模型推理纠缠导致冲突的问题,提出DecKER框架,通过生成掩码推理路径并结合混合检索与模型验证解耦推理与知识编辑,在多跳问答基准上显著提升了推理一致性与准确性。
2025-05-31 cs.AI cs.CL
WebCoT: Enhancing Web Agent Reasoning by Reconstructing Chain-of-Thought in Reflection, Branching, and Rollback
Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
本文提出 WebCoT,通过将反思与前瞻、分支和回滚等关键推理技能重构为思维链并进行微调蒸馏,显著提升了 Web 智能体在多个基准上的表现。
2025-09-18 cs.CL
Dr. Assistant: Enhancing Clinical Diagnostic Inquiry via Structured Diagnostic Reasoning Data and Reinforcement Learning
Baidu Inc.(百度公司)
Dr. Assistant通过结构化诊断推理数据和强化学习提升临床诊断能力,优于开放源代码模型并接近闭源模型表现。
2026-01-20 cs.CL
Enhancing Quantitative Reasoning Skills of Large Language Models through Dimension Perception
Fudan University(复旦大学);DataGrand Co., LTD.(达观数据有限公司)
针对LLMs因忽略带单位数量的维度概念而导致定量推理性能低的问题,提出基于维度感知的增强框架,构建DimUnitKB知识库与DimEval基准,使GPT-4定量推理准确率从43.55%提升至50.67%。
2023-12-29 cs.AI cs.CL cs.LG
STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs
IBM Research(IBM研究院)
STaD框架通过生成受控变体任务,系统探测LLM在组合技能上的不足,揭示不同模型的独特技能缺口。
2026-04-21 cs.AI cs.CL
Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大型模型与智能治理研究重点实验室);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(下一代智能搜索与推荐工程研究中心,教育部);Tianjin University of Science and Technology(天津科技大学);Beijing Institute of Technology(北京理工大学)
本文通过理论和结构分析揭示CoT训练通过组合学习技能提升模型推理泛化能力的核心机制。
2026-02-12 cs.AI cs.CL cs.LG
Learning Non-linguistic Skills without Sacrificing Linguistic Proficiency
Virginia Tech(弗吉尼亚理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
本研究针对LLM学习非语言技能时导致语言能力灾难性遗忘的问题,提出基于信息论干预和技能特定损失的新框架,在仅用1/4非语言数据且无需额外语言数据下,实现非语言技能与语言保留双优。
2023-05-14 cs.AI cs.CL cs.LG
LogicSkills: A Structured Benchmark for Formal Reasoning in Large Language Models
Niche, Inc.(Niche公司);Oregon State University – Cascades(俄勒冈州立大学-卡斯卡德分校);MaiNLP;Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出LogicSkills基准,评估大语言模型在形式符号化、反例构造和有效性评估三项核心逻辑技能中的表现,揭示高任务准确率可能掩盖核心技能弱点。
2026-09-09 cs.AI cs.CL
A Decomposition Perspective to Long-context Reasoning for LLMs
Large Language Model Department, Tencent(腾讯大语言模型部门);Xi'an Jiaotong University(西安交通大学);Tencent(腾讯);Fudan University(复旦大学);City University of Hong Kong(香港城市大学)
本文从分解视角出发,将长上下文推理分解为基本原子技能,并通过伪数据集训练提升模型能力,实验证明该方法在多个基准测试中提升了7.7%的性能。
2026-04-09 cs.AI cs.CL cs.LG
From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models
Department of Computer Science 1 and Psychology 2(计算机科学系和心理学系);Stanford University(斯坦福大学)
本研究分析了语言模型在预训练和后训练过程中数学推理能力的发展,揭示了数学技能学习顺序与课程设计的相关性,并探讨了指令微调对不同数学技能的影响。
2025-10-14 cs.AI cs.CL
Negotiating with LLMS: Prompt Hacks, Skill Gaps, and Reasoning Deficits
University of Liechtenstein(列支敦士登大学);University of Duesseldorf(杜塞尔多夫大学)
本文通过40多人参与的与LLM价格谈判用户研究,揭示了LLM在竞争性场景中的推理缺陷和易受提示攻击的弱点,并指出人类谈判结果差异大,反映出与LLM互动的素养差距。
2024-11-22 cs.AI cs.CL
Ratchet: How Reliable Must an LLM Judge Be to Retire a Skill?
AWS Generative AI Innovation Center(AWS 生成式人工智能创新中心);HSBC Holdings Plc.(汇丰控股有限公司);HSBC Technology Center, China(汇丰技术中心,中国)
本文提出Ratchet,一种单代理循环,使冻结的LLM能够自行编写、检索、整理和淘汰其自然语言技能,通过整合四个卫生机制提升技能库的生命周期管理,从而在MBPP+ hard-100数据集上显著提升性能。
2026-08-10 cs.AI cs.CL
Missing Premise exacerbates Overthinking: Are Reasoning Models losing Critical Thinking Skill?
University of Maryland(马里兰大学);Lehigh University(利哈伊大学)
本文发现推理型大语言模型在缺失前提问题上会出现 MiP-Overthinking 现象,响应冗长且无效,并揭示当前训练方案缺乏对高效思考的鼓励,为缓解过度思考问题提供了新见解。
2025-04-11 cs.AI cs.CL cs.LG
Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process
CMU(卡内基梅隆大学);Meta FAIR;MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文通过受控实验研究语言模型解决小学数学问题的隐藏推理机制,探讨其是否真正具备推理技能及与人类推理的异同,揭示了超越当前LLM理解的内部机制。
2024-07-29 cs.AI cs.CL cs.LG
One Sample to Rule Them All: Extreme Data Efficiency in Multidiscipline Reasoning with Reinforcement Learning
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团);GAIR
本文提出多学科学习框架,通过一个训练样本提升多领域推理能力,证明样本质量而非数量对模型性能的关键作用。
2026-04-02 cs.CL cs.LG
Skill Issue: Are Skills Language-Invariant in LLMs?
A*STAR(新加坡科技研究局);Weizmann Institute of Science(魏茨曼科学研究所);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of Cambridge(剑桥大学);EleutherAI
该研究以多语言自博弈方法量化大型语言模型的跨语言技能不一致性,发现同一模型在不同语言下博弈实力差异显著,语言可影响决策阶段,技能差异是多语言模型开发的主要障碍。
2026-08-27 cs.AI cs.CL cs.GT
InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection
Zhejiang University(浙江大学);Dalian University of Technology(大连理工大学);Reallm Labs(Reallm实验室);ByteDance Inc(字节跳动公司);The Hong Kong Polytechnic University(香港理工大学)
本文提出 InfiGUIAgent,通过两阶段监督微调融合 GUI 基础能力、分层推理与期望—反思推理,在多个 GUI 基准上验证了原生推理对自动化交互的提升。
2025-01-08 cs.AI cs.CL cs.HC
TextGames: Learning to Self-Play Text-Based Puzzle Games via Language Model Reasoning
Capital One(第一资本金融公司);Brown University(布朗大学)
本文提出TextGames基准,通过文本谜题评估大语言模型的推理能力,发现模型在困难任务上表现不佳,而推理优化模型优于指令遵循模型。
2025-02-25 cs.AI cs.CL
DivLogicEval: A Framework for Benchmarking Logical Reasoning Evaluation in Large Language Models
The Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学);WeChat AI, Tencent(腾讯微信AI)
本文提出DivLogicEval基准,以反直觉自然句子评估LLM逻辑推理,并引入新指标减少偏差,实验比较了多种流行LLM的性能。
2025-09-26 cs.AI cs.CL cs.LG
The Blind Curator: How a Biased Judge Silently Disables Skill Retirement in Self-Evolving Agents
AWS Generative AI Innovation Center(亚马逊云科技生成式人工智能创新中心);HSBC Holdings Plc., HSBC Technology Center, China(汇丰控股有限公司,汇丰科技中心,中国)
研究自我进化智能体中,有偏见的评判者对技能淘汰的影响。通过损坏奖励分析等方法发现,“误判通过”偏差会导致技能淘汰机制失效,此为行为安全结果。还提出廉价审计可判断评判者是否越过阈值影响智能体。
2026-08-19 cs.AI cs.CL cs.CR
Skill-Aware Data Selection and Fine-Tuning for Data-Efficient Reasoning Distillation
University of Michigan(密歇根大学)
本文提出了一种基于技能的蒸馏框架,通过数据选择和微调提升推理效率,实验证明在数学推理基准上优于随机微调基线。
2026-01-15 cs.CL
Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers
Sun Yat-sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
本文介绍了ReasonFormer,一个统一的推理框架,用于反映人类在复杂决策中的模块化和组合推理过程。受认知科学中双加工理论的启发,表征模块(自动思维)和推理模块(控制思维)被解耦,以捕获不同层次的认知。在表示模块的顶部,预先训练的推理模块是模块化的,并且在特定和基本的推理技能方面是专业的(例如,逻辑、简单QA等)。为了模拟受控组合思维过程,不同的推理模块被动态激活,并以并行和级联的方式组合,以控制激活什么推理技能以及推理过程将达到多深以解决当前问题。统一推理框架用单个模型解决多个任务,并以端到端的方式进行训练和推理。在11个需要不同推理技能和复杂性的数据集上进行评估,ReasonFormer表现出显著的性能提升,揭示了组合推理能力。Few-Shot实验通过学习为有限数据的新任务组合预训练技能,并将表示模块和推理模块解耦,从而表现出更好的泛化能力。进一步的分析表明,推理模块的模块化,不同的任务激活不同的推理技能在不同的推理深度。
2022-12-07 cs.CL
On-Policy Distillation Teaches New Skills but Not New Knowledge
The Hong Kong University of Science and Technology(香港科技大学)
本文通过受控合成框架和多种模型实验,发现反向KL在策略蒸馏主要传递组合推理技能而非新事实知识,而前向KL可恢复事实传递,表明该方法教会模型组织已有知识而非扩展参数知识。
2026-10-08 cs.CL
ALERT: Adapting Language Models to Reasoning Tasks
Meta AI;Max Planck Institute(马克斯·普朗克研究所);ETH(苏黎世联邦理工学院)
本文提出 ALERT 基准与分析套件,基于20多个数据集和10种推理技能评估并比较预训练与微调模型,揭示微调提升多类推理能力但易导致提示模板过拟合。
2023-07-07 cs.CL
Turning Tables: Generating Examples from Semi-structured Tables for Endowing Language Models with Reasoning Skills
Tel-Aviv University(特拉维夫大学);The Allen Institute for AI(艾伦人工智能研究所)
用语言建模目标预先训练的模型拥有丰富的世界知识和语言技能,但已知在需要推理的任务中会很困难。在这项工作中,我们建议利用半结构化表格,并自动生成大规模的问题段落对,其中回答问题需要对段落中的多个事实进行推理。我们在这个合成数据上添加了一个预训练步骤,其中包括需要16种不同推理技能的示例,例如数字比较,合取和事实组成。为了提高数据效率,我们提出了采样策略,重点训练模型目前缺乏的推理技能。我们在三个专注于推理的阅读理解数据集上评估了我们的方法,并表明我们的模型PReasM大大优于T5,这是一种流行的预训练编码器-解码器模型。此外,基于当前模型误差的采样示例可以加快训练速度并提高整体性能。
2021-07-15 cs.CL cs.LG
Laying the Foundation First? Investigating the Generalization from Atomic Skills to Complex Reasoning Tasks
Fudan University(复旦大学);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
本文提出探测框架与分层课程学习策略,发现原子技能不能自发泛化到复杂推理任务,但通过该策略可显著提升开源模型性能,且泛化有效于跨数据集和跨领域场景。
2024-03-14 cs.AI cs.CL cs.LG
Injecting External Knowledge into the Reasoning Process Enhances Retrieval-Augmented Generation
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology(计算技术研究所);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
针对RAG中噪声段落问题,提出段落注入方法,将检索段落显式融入LLM推理过程,在四个数据集上显著提升性能与鲁棒性。
2025-10-08 cs.CL cs.IR
Atomic Skills are the Prerequisite: When Reinforcement Learning Synthesizes Compositional Reasoning, and When It Only Amplifies
University of Waterloo(滑铁卢大学);Duke University(杜克大学);National University of Singapore(新加坡国立大学);Princeton University(普林斯顿大学);Peking University(北京大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
通过互补推理任务,研究强化学习是合成新技能还是仅放大已有技能,发现强化学习在基础模型通过监督微调掌握独立原子技能后才能合成新组合策略。
2026-05-27 cs.AI cs.CL