Can Post-Training Transform LLMs into Causal Reasoners?
Shanghai Artificial Intelligence Library(上海人工智能图书馆);Fudan University(复旦大学);Tongji University(同济大学)
本文通过CauGym数据集评估了训练后方法对LLM因果推理能力的提升,发现适当训练可使小型模型在因果推理任务中超越大模型。
2026-08-06 cs.AI cs.CL cs.LG
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs(Meta 超智能实验室)
本文提出自蒸馏推理器,通过单个LLM同时担任教师和学生,利用特权信息提升推理效率,优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
Small Language Models are Equation Reasoners
Hongik University(弘益大学);Sangmyung University(祥明大学);Ewha Womans University(梨花女子大学);Yonsei University(延世大学)
本文研究小型语言模型在算术推理上表现不佳的原因,提出自然语言格式变异性带来歧义的假设,并通过仅用方程格式的实验证明其能有效提升sLM(尤其是T5-Tiny)的算术推理能力。
2024-09-19 cs.CL
Infection-Reasoner: A Compact Vision-Language Model for Wound Infection Classification with Evidence-Grounded Clinical Reasoning
Worcester Polytechnic Institute(沃斯特理工学院);UMass Chan Medical School(UMass Chan医学院)
本文提出Infection-Reasoner,一种紧凑的视觉-语言模型,通过两阶段训练提升伤口感染分类和推理生成的准确性与解释性,实验结果显示其在分类和推理质量上优于现有方法。
2026-04-21 cs.AI cs.CV
Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs
Graduate School of Artificial Intelligence, Korea Advanced Institute of Science and Technology(人工智能研究生院,韩国科学技术院)
本文提出Universal Reasoner,一种可组合且即插即用的推理模块,能够在冻结的大规模语言模型上提供专门的推理能力,通过共享或对齐的token空间实现弱到强的泛化,实验表明其在数学推理和机器翻译中优于现有微调方法。
2026-05-20 cs.AI cs.CL cs.LG
Think Then Embed: Generative Context Improves Multimodal Embedding
AI at Meta(Meta人工智能部门);University of Central Florida(中央佛罗里达大学);New York University(纽约大学)
本研究提出Think-Then-Embed框架,通过生成性推理提升多模态嵌入性能,实现更高效的复杂指令处理。
2026-01-19 cs.AI cs.LG
Reverse Thinking Makes LLMs Stronger Reasoners
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google Cloud AI Research(谷歌云人工智能研究部);Google DeepMind(谷歌DeepMind)
本文提出RevThink框架,通过数据增强和多任务学习让大语言模型学会从问题到方案及反向推理,在12个数据集上显著提升推理性能并展现样本效率和泛化能力。
2025-03-07 cs.AI cs.CL cs.LG
Can Small Language Models be Good Reasoners for Sequential Recommendation?
Beijing University of Posts and Telecommunications(北京邮电大学);Ant Group(蚂蚁集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beihang University(北京航空航天大学)
本文提出逐步知识蒸馏框架SLIM,利用大模型CoT推理蒸馏小模型,使小模型以低成本获得序列推荐中的逐步推理能力。
2024-03-28 cs.CL cs.IR cs.LG
Thinking While Speaking: Inference-Time Knowledge Transfer for Responsive and Intelligent Conversational Voice Agents
Paul G. Allen School of Computer Science & Engineering(保罗·G·阿伦计算机科学与工程学院)
提出对话填充方法,通过小型说话者模型即时生成上下文响应以隐藏推理模型延迟,并在推理中无缝整合流式知识,在保持毫秒级响应速度的同时将准确度差距缩小至前沿推理模型的6.3%以内。
2026-07-02 cs.CL
Smaller = Weaker? Benchmarking Robustness of Quantized LLMs in Code Generation
NC State University(北卡罗来纳州立大学);William & Mary(威廉与玛丽学院)
本文首次系统研究了量化对 LLMs 在代码生成任务中鲁棒性的影响,发现量化模型在对抗攻击和噪声扰动下通常比全精度模型表现出更强的鲁棒性。
2025-06-28 cs.AI cs.PL cs.SE
Teaching Models to Balance Resisting and Accepting Persuasion
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Anthropic(Anthropic公司)
针对大型语言模型易受对抗性说服且难接受有益说服的问题,提出利用多智能体递归对话树生成数据、通过偏好优化训练的PBT方法,平衡正负说服表现,提升多智能体辩论稳定性与综合性能。
2025-02-10 cs.AI cs.CL
RAVEL: Reasoning Agents for Validating and Evaluating LLM Text Synthesis
RAVEL通过引入智能体框架和C3EBench基准,评估LLM在文本合成中的推理能力,发现推理能力比生成能力更重要。
2026-02-28 cs.CL
A Study on Knowledge Distillation from Weak Teacher for Scaling Up Pre-trained Language Models
KAIST(韩国科学技术院);Meta AI
本文研究在 NLP 预训练中通过弱教师蒸馏扩展预训练语言模型,系统分析教师质量、损失权重和参数重映射初始化三个关键因素对 DWT 效果的影响。
2023-05-26 cs.AI cs.CL
TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data
National University of Singapore(新加坡国立大学);Estates Pte Ltd(6Estates私人有限公司);University of Science and Technology of China(中国科学技术大学)
本文提出TAT-LLM,通过逐步流水线自动生成训练数据并微调LLaMA 2,在表格与文本混合问答的离散推理任务上超越GPT-4等基线模型。
2024-09-28 cs.AI cs.CL
Small Language Models Need Strong Verifiers to Self-Correct Reasoning
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院);University of Illinois at Chicago(芝加哥伊利诺伊大学)
本文研究小型语言模型的自校正推理能力,提出利用正确解答引导错误批评并筛选后微调的新流程,在多个推理数据集上提升性能,并强调强验证器对自校正效果至关重要。
2024-06-06 cs.CL
Smaller Large Language Models Can Do Moral Self-Correction
Michigan State University(密歇根州立大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
本文实证发现,经过安全对齐微调的3.8B参数小型LLMs也能取得良好的道德自我修正表现,挑战了小模型无法进行道德自我修正的假设,并揭示了安全对齐的关键作用及模型规模在理解社会规范上的差异。
2025-03-03 cs.CL
R2-Router: A New Paradigm for LLM Routing with Reasoning
University of Science and Technology of China(中国科学技术大学)
针对现有LLM路由忽略输出长度对质量和成本影响的问题,提出R2-Router,通过将输出长度预算作为可控变量联合选择最优LLM和预算,实现低成本高质量路由。
2026-05-29 cs.CL
Speculative Decoding and the Curse of Multilinguality
University of Colorado(科罗拉多大学)
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略,发现任务特定蒸馏虽能提升效率但泛化性差,而n-gram模型尽管接受率较低,但由于生成速度快,始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
ECR-Chain: Advancing Generative Language Models to Better Emotion-Cause Reasoners through Reasoning Chains
Renmin University of China(中国人民大学)
针对当前因果情绪蕴含(CEE)任务忽视情绪产生过程、缺乏可解释性的问题,本研究提出ECR-Chain逐步推理方法,通过少样本提示提升ChatGPT的CEE性能,还构建ECR-Chain数据集助力Vicuna-7B取得SOTA,实现了可解释的情绪-原因推理。
2024-05-21 cs.CL
Ladders of Thought: A Self-Evolving Curriculum of Progressively Simplified Reasoning Traces
University of Maryland, College Park(马里兰大学帕克分校);Capital One(第一资本)
提出思维阶梯框架,通过渐进式问题改写与自我进化课程,显著提升中小规模语言模型的数学与多跳推理能力,优于知识蒸馏。
2026-09-23 cs.AI cs.LG
Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget
Pohang University of Science and Technology (POSTECH)(浦项科技大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本研究将SLM-LLM协作视为预算约束下的信息获取问题,提出三阶段RLVR框架,使SLM选择性查询LLM顾问,在数学推理和编码任务中优化性能-成本权衡,并可迁移至其他模型。
2026-10-02 cs.AI
Superfiltering: Weak-to-Strong Data Filtering for Fast Instruction-Tuning
University of Maryland(马里兰大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
本文提出“超滤”方法,利用更小更弱的模型筛选指令数据以微调更大更强的模型,在降低过滤成本的同时提升微调效率和模型性能。
2024-06-07 cs.CL
Concept Distillation from Strong to Weak Models via Hypotheses-to-Theories Prompting
Microsoft(微软)
提出概念蒸馏(CD)自动提示优化方法,通过收集弱模型错误、强模型生成规则并验证过滤,显著提升弱模型在NL2Code和数学推理任务上的性能,如Mistral-7B准确率提高20%。
2025-02-23 cs.AI cs.CL
Measuring Weak-to-Strong Legibility of Reasoning Models
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
针对推理语言模型在多智能体场景中生成的中间思维链,提出“弱到强可读性”概念,并设计衡量指标以评估强模型输出对弱模型的易理解性。
2026-11-09 cs.AI cs.CL cs.MA
TriAgent: Divergence-Aware Multi-Agent Committees for Cost-Efficient Financial Sentiment Analysis
The Overlake School(奥弗湖学校);Edwards Vacuum Inc.(爱德华兹真空公司);The University of Memphis(孟菲斯大学)
研究针对基于生产LLM的金融情绪分析成本高问题,提出TriAgent多智能体委员会,按上下文粒度分层,用SDI衡量分歧并路由查询,有批评者平稳期等发现及三个推论,节省成本且效果好。
2026-07-23 cs.CE cs.CL cs.DB
AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses
Salesforce AI Research(Salesforce人工智能研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出在测试时通过构建 harness,无需重新训练即可将强模型的认知结构迁移给弱模型,使目标模型在四个心理理论基准上的平均性能从0.49提升至0.91,为模型能力迁移提供了新的思路。
2026-08-13 cs.AI cs.CL cs.LG