OpenTab: Advancing Large Language Models as Open-domain Table Reasoners
University of Maryland, College Park(马里兰大学帕克分校);Amazon Web Services(亚马逊网络服务);George Mason University(乔治梅森大学)
针对现有检索增强大语言模型在结构化表格数据上表现不佳的问题,提出开放域表格推理框架OpenTab,通过表格检索、SQL解析与中间数据推理提升性能,在两类设置下准确率最高提升21.5%。
2024-04-12 cs.LG
Mixture of Cognitive Reasoners: Modular Reasoning with Brain-Like Specialization
EPFL(瑞士联邦理工学院洛桑);Brain and Cognitive Sciences at MIT(麻省理工学院脑与认知科学系);Kempner Institute at Harvard University(哈佛大学肯普纳研究所)
本文提出MiCRo模型,通过类脑专业化模块实现认知行为,提供可解释的推理模块,支持动态路由并优于基线模型。
2026-04-12 cs.LG
Feature Resemblance: Towards a Theoretical Understanding of Analogical Reasoning in Transformers
Department of Information Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学信息工程系)
本文通过最小化Transformer抽象模型,从理论上证明联合训练和特定课程顺序能使实体在表示空间中对齐,从而通过特征相似性实现属性转移,即类比推理。
2026-05-25 cs.CL cs.LG
Language Models are Multilingual Chain-of-Thought Reasoners
Google Research(谷歌研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院)
我们评估的推理能力的大语言模型在多语种设置。我们引入了多语言小学数学(MGSM)基准,通过手动翻译GSM8K数据集的250个小学数学问题(Cobbe等人,2021年)分为10个不同类型的语言。我们发现,通过思维链提示解决MGSM问题的能力随着模型规模的增加而出现,并且模型具有非常强大的多语言推理能力,即使在孟加拉语和斯瓦希里语等代表性不足的语言中也是如此。最后,我们表明,多语言推理能力的语言模型扩展到其他任务,如常识推理和词的上下文语义判断。MGSM基准可在https://github.com/google-research/url-nlp上公开获得。
2022-10-06 cs.AI cs.CL cs.LG
Making Small Language Models Efficient Reasoners: Intervention, Supervision, Reinforcement
University of Michigan(密歇根大学)
针对小型语言模型推理中冗长与高计算成本问题,提出温度缩放与TLDR强化学习方法,实现令牌效率提升约50%且几乎不损失准确性。
2025-05-23 cs.LG
Analogical proportions
本文从第一性原理提出泛代数中的类比比例抽象框架,可统一跨域比较数学对象,并证明其可嵌入一阶逻辑且与结构保持映射兼容,为类比推理与学习理论奠定基础。
2023-12-29 cs.AI cs.LG cs.LO
Meta-Reasoner: Dynamic Guidance for Optimized Inference-time Reasoning in Large Language Models
National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文提出Meta-Reasoner框架,通过动态调整推理策略提升大语言模型的推理效率,实验显示在数学和科学任务中准确率提升9-12%,推理时间减少28-35%。
2026-05-07 cs.AI cs.LG
$\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space
The University of Texas at Austin(德克萨斯大学奥斯汀分校);UC San Diego(圣地亚哥大学);TTIC;Georgia Tech(佐治亚理工学院)
∇-Reasoner通过潜在空间中的测试时间梯度下降提升LLM推理能力,实现20%以上的准确率提升并减少模型调用次数。
2026-03-05 cs.LG
Audio-Reasoner: Improving Reasoning Capability in Large Audio Language Models
Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学);Rakuten
针对多模态推理忽视音频模态的问题,本文提出Audio-Reasoner,通过构建120万样本的CoTA推理数据集并进行结构化思维链训练,在多个音频推理基准上取得最先进性能。
2025-09-20 cs.AI cs.CL cs.LG
Large Language Models Are Not Strong Abstract Reasoners
University of Auckland(奥克兰大学)
本文针对大型语言模型在抽象推理任务上的能力进行评估,引入了一个新基准,发现即使应用改进技术,LLMs性能仍有限,并提出引导其遵循因果路径以提升泛化与推理能力。
2024-01-02 cs.CL cs.LG
Large Language and Reasoning Models are Shallow Disjunctive Reasoners
Cardiff University(卡迪夫大学)
本文通过定性时空推理任务研究大型推理模型的分布外泛化能力,发现零样本LRMs仅在单路径推理中优于LLMs,在多路径设置下均表现不佳,并揭示其本质是浅层析取推理器。
2025-06-02 cs.AI cs.CL cs.LG
Scientific and Creative Analogies in Pretrained Language Models
University of Amsterdam(阿姆斯特丹大学);Meta AI;King’s College London(伦敦国王学院);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
本文研究了大规模预训练语言模型(如BERT和GPT-2)中的类比编码。现有的类比数据集通常集中在一组有限的类比关系,具有高相似性的两个域之间的类比举行。作为一个更现实的设置,我们引入了科学和创意类比数据集(SCAN),一个新的类比数据集,包含跨不同领域的多个属性和关系结构的系统映射。使用这个数据集,我们测试了几个广泛使用的预训练语言模型(LM)的类比推理能力。我们发现,国家的最先进的LM实现这些复杂的类比任务的低性能,突出了类比理解仍然带来的挑战。
2022-11-28 cs.CL cs.LG
TS-Reasoner: Domain-Oriented Time Series Inference Agents for Reasoning and Automated Analysis
本文提出TS-Reasoner,一种面向领域的时序推理代理,结合大语言模型与领域工具,实现多步推理和约束感知分析,实验表明其在时序理解与多步推理任务中优于通用LLM。
2026-04-10 cs.AI cs.LG
Transformers meet Neural Algorithmic Reasoners
Google DeepMind(谷歌DeepMind)
本文提出混合架构 TransNAR,通过两阶段训练让 Transformer 交叉注意 NAR 的节点嵌入,从而增强语言模型的算法推理能力。
2024-06-13 cs.CL cs.LG
Towards Neural Network-based Reasoning
The Chinese University of Hong Kong(香港中文大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
我们提出了神经推理机,一个基于神经网络的自然语言句子推理框架。给定一个问题,神经推理器可以推断多个支持事实,并以特定形式找到问题的答案。Neural Reasoner具有1)特定的交互池机制,允许它检查多个事实,以及2)深度架构,允许它在推理任务中建模复杂的逻辑关系。假设问题和事实中不存在特定的结构,神经推理器能够适应不同类型的推理和不同形式的语言表达。尽管模型很复杂,但神经推理器仍然可以以端到端的方式进行有效的训练。我们的实证研究表明,神经推理可以优于现有的神经推理系统,在[8]中提出的两个困难的人工任务(位置推理和路径查找)上具有显着的优势。例如,它将路径查找(10K)的准确率从33.4%提高到98%以上。
2015-08-22 cs.AI cs.CL cs.LG
Large Language Models Are Better Logical Fallacy Reasoners with Counterargument, Explanation, and Goal-Aware Prompt Formulation
Sungkyunkwan University(成均馆大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
本研究提出一种结合反论证、解释和目标感知的提示公式化方法,显著提升大型语言模型在零样本和微调设置下的逻辑谬误检测性能。
2025-03-30 cs.AI cs.CL cs.LG
Are Large-Language Models Graph Algorithmic Reasoners?
University of California, Los Angeles(加州大学洛杉矶分校)
针对大语言模型在显式图多步推理上的短板,研究提出首个聚焦经典图算法的综合基准MAGMA,涵盖五种基础图算法,评测发现前沿LLMs仍存挑战,需通过先进提示技术和算法指令提升图推理能力。
2024-10-29 cs.AI cs.LG
Agent Instructs Large Language Models to be General Zero-Shot Reasoners
Washington University in St. Louis(圣路易斯华盛顿大学);UC Berkeley(加州大学伯克利分校)
本研究构建自主智能体指导大语言模型推理,提升其通用零样本推理能力,在29个数据集中20个达SOTA,大幅提升多款主流大模型性能。
2024-08-14 cs.AI cs.CL cs.LG
Are Language Models Efficient Reasoners? A Perspective from Logic Programming
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems, Tübingen(智能系统马克斯·普朗克研究所);EPFL(苏黎世联邦理工学院);Idiap Research Institute(Idiap研究机构);Purdue University(普渡大学)
本文从逻辑编程角度评估语言模型的推理效率,发现其在存在无关信息时推理能力下降,生成证明常包含不必要的推理步骤。
2026-01-15 cs.AI cs.CL cs.LG
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs(Meta 超智能实验室)
本文提出自蒸馏推理器,通过单个LLM同时担任教师和学生,利用特权信息提升推理效率,优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
Evaluating the Robustness of Analogical Reasoning in Large Language Models
University of Amsterdam(阿姆斯特丹大学);Santa Fe Institute(圣塔菲研究所)
本文通过字母串、数字矩阵和故事类比三类变体任务,评估LLMs类比推理的鲁棒性,发现GPT模型在多数变体上表现脆弱,缺乏人类零样本类比推理的鲁棒性,强调评估AI认知能力需同时关注准确性与鲁棒性。
2024-11-21 cs.AI cs.CL cs.LG
From Twitter to Reasoner: Understand Mobility Travel Modes and Sentiment Using Large Language Models
Columbia University(哥伦比亚大学);Data Science Institute (DSI)(数据科学研究所);Department of Civil Engineering and Engineering Mechanics (CEEM)(土木工程与工程力学系)
本研究提出利用大语言模型从社交媒体帖子中推断出行方式并推理情感的方法框架,无需人工标注,发现多数帖子呈负面情感,并据此为交通运营商和政策制定者提出建议。
2024-11-04 cs.AI cs.LG cs.SI
RSAT: Structured Attribution Makes Small Language Models Faithful Table Reasoners
Department of Computer Science, The George Washington University, USA(计算机科学系,乔治·华盛顿大学,美国)
RSAT通过结构化归因提升小型语言模型的表格推理可信度,采用SFT和GRPO阶段训练,显著提高推理忠实度并确保引用有效性。
2026-05-07 cs.AI cs.CL cs.IR
RAVEN: A Dataset for Relational and Analogical Visual rEasoNing
UCLA Center for Vision, Cognition, Learning and Autonomy(加州大学洛杉矶分校视觉、认知、学习与自主性中心);International Center for AI and Robot Autonomy (CARA)(人工智能与机器人自主性国际中心(CARA))
在涉及低水平感知的基本视觉任务中,如物体识别,检测和跟踪,已经取得了巨大的进展。不幸的是,人工视觉系统和人类智能在更高层次的视觉问题,特别是涉及推理的问题方面仍然存在巨大的性能差距。早期为机器配备高级推理的尝试一直围绕着视觉问答(VQA),这是一项将视觉和语言理解相关联的典型任务。在这项工作中,我们提出了一个新的数据集,内置的乌鸦的渐进矩阵(RPM)的背景下,旨在提升机器智能相关联的视觉与结构,关系,和类比推理的层次表示。与以往的作品中使用RPM测量抽象推理,我们建立了一个语义之间的联系,通过提供结构表示的视觉和推理。这一增加使得一种新的类型的抽象推理,通过联合操作的结构表示。使用现代计算机视觉的机器推理能力在这个新提出的数据集进行评估。此外,我们还提供了人的表现作为参考。最后,我们通过结合一个简单的神经模块,结合视觉理解和结构推理,在所有模型中显示出一致的改进。
2019-03-07 cs.AI cs.CV cs.LG
Large Language Models are Zero-Shot Reasoners
The University of Tokyo(东京大学);Google Research(谷歌研究院)
预训练的大语言模型(LLM)被广泛应用于自然语言处理(NLP)的许多子领域,并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是,思维链(CoT)提示,最近的技术,通过一步一步的答案的例子引出复杂的多步推理,实现了最先进的性能在算术和符号推理,困难的系统2的任务,不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力,但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明,我们的零射击CoT,使用相同的单一提示模板,显着优于zero-shot LLM性能在不同的基准推理任务,包括算术(MultiArith,GSM 8 K,AQUA-RAT,SVAMP),符号推理(最后一封信,硬币翻转),以及其他逻辑推理任务(日期理解,跟踪洗牌对象),没有任何手工制作的Few-Shot的例子,例如,使用大型InstructGPT模型,将MultiArith的准确度从17.7%提高到78.7%,将GSM 8 K的准确度从10.4%提高到40.7%(text-davinci-002),以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力,这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
Your Dense Retriever is Secretly an Expeditious Reasoner
School of Computer Science and Engineering, Beihang University, China(北京航空航天大学计算机科学与工程学院);Beijing Institute for General Artificial Intelligence, China(北京通用人工智能研究院)
针对稠密检索器难处理推理型查询、全用LLM重构查询成本过高的问题,提出混合查询重写框架AdaQR,通过路由器动态分配推理路径,在嵌入空间实现类LLM推理,在BRIGHT基准上降本28%且检索性能提升7%。
2025-10-28 cs.AI cs.IR cs.LG
Beyond the Answer: Decoding the Behavior of LLMs as Scientific Reasoners
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过定制遗传Pareto算法优化提示,研究提示对科学推理行为的影响,揭示模型特定的局部逻辑,并探讨其可迁移性和脆弱性。
2026-03-30 cs.AI cs.LG
Video models are zero-shot learners and reasoners
本文发现 Veo 3 等生成式视频模型具备零样本视觉任务处理与初步视觉推理能力,表明视频模型有望发展为统一的通才视觉基础模型。
2025-09-29 cs.AI cs.CV cs.LG
MetaCtrl: Your Large Language Models Can Reason Better and More Concisely with a Metacognitive Controller
Southern University of Science and Technology(南方科技大学);The Hong Kong University of Science and Technology(香港科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tongji University(同济大学)
MetaCtrl提出轻量级元认知控制器,通过强化学习动态调节冻结推理者的推理过程,在七个基准上提升准确性并缩短推理长度,且可迁移至新模型。
2026-09-30 cs.AI cs.LG
HoneyBee: Data Recipes for Vision-Language Reasoners
本文提出HoneyBee数据集,通过数据整理方法提升视觉-语言推理能力,发现上下文来源策略和数据干预显著提升性能,并提出测试时缩放策略以降低解码成本。
2026-03-12 cs.CV cs.LG
Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding
Salesforce AI Research(Salesforce AI研究院)
本文提出LaTRO框架,将推理建模为潜在分布采样并通过变分方法优化,使LLM无需外部反馈即可自我改进推理过程与评估能力,在多个模型和数据集上显著提升零样本推理准确率。
2024-11-21 cs.AI cs.CL cs.LG
Can Small Language Models be Good Reasoners for Sequential Recommendation?
Beijing University of Posts and Telecommunications(北京邮电大学);Ant Group(蚂蚁集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beihang University(北京航空航天大学)
本文提出逐步知识蒸馏框架SLIM,利用大模型CoT推理蒸馏小模型,使小模型以低成本获得序列推荐中的逐步推理能力。
2024-03-28 cs.CL cs.IR cs.LG
PCL-Reasoner-V1.5: Advancing Math Reasoning with Offline Reinforcement Learning
Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学)
PCL-Reasoner-V1.5通过离线强化学习方法,在数学推理任务中达到新高度,实现90.9%和85.6%的准确率。
2026-01-21 cs.AI cs.CL cs.LG
Agents Thinking Fast and Slow: A Talker-Reasoner Architecture
Google DeepMind(谷歌DeepMind)
本文提出 Talker-Reasoner 智能体架构,将交谈与多步推理规划分离,类比人类快慢思考系统,提升了模块化与响应速度,并在睡眠辅导场景中验证了其有效性。
2024-10-10 cs.AI cs.CL cs.LG
Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces
ILLC, University of Amsterdam(伊拉斯谟范例学院、阿姆斯特丹大学);ILCC, University of Edinburgh(爱丁堡大学)
针对视觉-语言模型生成的字幕遗漏推理关键细节导致的接口不匹配问题,提出自适应澄清强化学习AC-RL,以澄清请求为隐式监督,通过交互训练模型生成全面初始字幕,在7个视觉数学推理基准上准确率提升4.4个百分点,且可减少最多39%的澄清请求。
2025-09-30 cs.CL cs.CV cs.LG
X-Reasoner: Towards Generalizable Reasoning Across Modalities and Domains
Microsoft Research(微软研究院)
本文提出 X-Reasoner,证明仅用通用领域文本后训练即可实现跨模态、跨领域推理,并通过医学文本继续训练得到 X-Reasoner-Med,在通用和医学基准上取得领先性能。
2025-05-06 cs.AI cs.CL cs.LG
Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning
Johns Hopkins University(约翰霍普金斯大学)
本文提出生成对抗推理器,通过对抗性强化学习联合训练LLM推理器和判别器,提升推理质量与准确性。
2026-03-25 cs.AI cs.CL cs.LG
HS-STaR: Hierarchical Sampling for Self-Taught Reasoners via Difficulty Estimation and Budget Reallocation
Alibaba Group(阿里巴巴集团);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
针对自教学推理器统一采样预算效率低的问题,提出 HS-STaR,通过奖励引导的难度估计识别能力边界问题并动态重分配采样预算,在不增加预算的情况下显著提升推理性能。
2025-09-28 cs.AI cs.CL cs.LG
$R^3$: Training Robots to Reason in Natural Language via Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出R^3方法,通过中间训练和基于准则的强化学习将VLM转化为机器人推理器,在两个测试平台上提升了机器人的探索与泛化能力,优于仅指令式的模仿学习基线。
2026-08-27 cs.AI cs.CL cs.LG