TemplateRL: Structured Template-Guided Reinforcement Learning for LLM Reasoning
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；Princeton University（普林斯顿大学）；Shanghai AI Lab（上海人工智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
TemplateRL通过结构化模板引导强化学习提升大语言模型推理能力，通过MCTS构建问题解决模板库并整合到RL训练中，提高轨迹命中率并减少无效探索，实验显示在AIME和AMC上表现优于GRPO。
2026-05-15 cs.CL cs.LG
IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates
University College London（伦敦大学学院）
本文提出IAO提示方法，通过输入-动作-输出的结构化模板显式建模大语言模型的知识访问与应用过程，在提升零样本推理性能的同时增强知识利用的可验证性和透明度。
2025-02-05 cs.CL
Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration
College of Software Technology, Zhejiang University（浙江大学软件技术学院）；Fullong Technology, Ningbo, Zhejiang, China（宁波 fuller 技术有限公司）；Ningbo Zhoushan Port Co., Ltd., Ningbo, Zhejiang, China（宁波舟山港股份有限公司）；School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院）
提出DART框架，通过可行性感知探索动态调整推理示范，弥合专家与小型语言模型能力差距，提升推理泛化和数据效率。
2025-05-27 cs.CL
Unlocking the Potential of Diffusion Language Models through Template Infilling
Seoul National University（首尔国立大学）
本文提出了一种针对扩散语言模型的模板填充方法，通过在生成响应空间中建立全局蓝图，提升了数学推理、代码生成和旅行规划等任务的性能，同时在多token生成中实现了生成质量与速度的平衡。
2026-05-18 cs.AI cs.CL
MalruleLib: Large-Scale Executable Misconception Reasoning with Step Traces for Modeling Student Thinking in Mathematics
Rice University（里士大学）；University of Central Florida（中央佛罗里达大学）
MalruleLib通过可执行的错误推理和步骤追踪，建模数学学生思维，实现跨模板的误解预测与反馈。
2026-01-06 cs.CL
Mixture of Reasonings: Teach Large Language Models to Reason with Adaptive Strategies
Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）
本文提出推理混合（MoR）训练框架，通过将多样化推理策略嵌入大语言模型并利用GPT-4o生成推理链模板进行监督微调，使模型无需任务特定提示即可自适应推理，实验显示MoR150相比基线最高提升13.5%。
2025-07-03 cs.AI cs.CL
Training and Evaluating Language Models with Template-based Data Generation
University of California Los Angeles（加州大学洛杉矶分校）
本文提出Template-based Data Generation方法，通过生成高质量数学问题及可验证解，解决大语言模型在复杂推理任务中的数据稀缺问题，并引入TemplateMath Part I: TemplateGSM数据集。
2026-05-13 cs.AI cs.CL cs.LG
From Templates to Natural Language: Generalization Challenges in Instruction-Tuned LLMs for Spatial Reasoning
Computational Linguistics, Department of Linguistics University of Potsdam（乌特雷赫特大学语言学系计算语言学部）；German Research Center for Artificial Intelligence (DFKI), Berlin（德国人工智能研究中心（DFKI）柏林）
本文研究指令微调大语言模型在空间定位任务中从合成指令向人类自然语言指令泛化的挑战，发现模型在简单任务上表现良好但在复杂任务上性能显著下降，并通过错误分析揭示了泛化差距。
2025-08-18 cs.CL
Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up
East China Normal University（东华大学）；Macquarie University（麦考瑞大学）
提出思维反转（RoT）框架，通过偏好引导的反向推理预热，在推理前增强LLM逻辑能力，实验证明其准确性和效率均优于现有方法。
2025-05-26 cs.AI cs.CL
ARC-TGI: Human-Validated Task Generators with Reasoning Chain Templates for ARC-AGI
Dresden University of Technology（德累斯顿技术大学）；Amazon（亚马逊）；TIB - Leibniz Information Centre（莱比锡信息中心）；Leibniz University of Hanover（汉诺威莱比锡大学）
ARC-TGI通过推理链模板生成任务，结合人工验证确保规则推导的准确性，提升ARC-AGI任务的可扩展性和可控性。
2026-03-05 cs.AI cs.CL cs.LG
Synthesize Step-by-Step: Tools, Templates and LLMs as Data Generators for Reasoning-Based Chart VQA
Johns Hopkins University（约翰斯·霍普金斯大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出逐步合成策略，利用LLM将复杂图表问题分解为子问题并结合Python工具生成增强数据，显著提升ChartQA和PlotQA上的推理问答准确率。
2024-03-28 cs.CL cs.CV
SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction
Peking University（北京大学）；Skywork AI（天工AI）；National University of Singapore（新加坡国立大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出SuperCorrect两阶段框架，利用教师模型思维模板蒸馏和跨模型DPO自我纠正，显著提升小型LLM数学推理能力，在7B模型中取得SOTA性能。
2025-02-26 cs.CL
Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments
Apple（苹果公司）；Hasso Plattner Institute & ELLIS Unit Potsdam（霍普夫研究所与波茨坦ELLIS单元）
Multilingual Reasoning Gym通过多语言程序化生成可验证推理问题，支持跨语言大规模数据生成和强化学习研究。
2026-03-11 cs.CL
PrAg-PO: Prompt Augmented Policy Optimization for Robust and Diverse Mathematical Reasoning
Brown University（布朗大学）；Palona AI；Harvard University（哈佛大学）
本文提出PrAg-PO，通过混合提示模板与特定格式奖励提升大语言模型的数学推理能力，增强鲁棒性和多样性，优于GRPO和DAPO。
2026-05-08 cs.AI cs.CL cs.LG
Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning
Nanjing University of Science and Technology（南京理工大学）；JD Explore Academy（京东探索研究院）；Yunnan University（云南大学）；Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）
提出直接-间接推理（DIR）方法，通过逆否命题和矛盾的提示模板激发LLMs的间接推理，与CoT变体集成，在四个逻辑推理和数学证明数据集上显著提升性能。
2025-01-27 cs.AI cs.CL
Advancing Spatial Reasoning in Large Language Models: An In-Depth Evaluation and Enhancement Using the StepGame Benchmark
University of Leeds（利兹大学）；Alan Turing Institute（艾伦·图灵研究所）
本研究改进了StepGame基准以准确评估大型语言模型的空间推理能力，发现GPT在多跳推理上存在局限，并通过结合模板映射与逻辑推理及CoT/ToT提示策略显著提升了其准确性。
2024-01-08 cs.AI cs.CL cs.DB
KARMA: Knowledge graph-based Automated Reasoning Materialization and Alignment
Sejong University（世宗大学）
研究针对基于模板对比合成的问题，提出KARMA方法，通过枚举知识图谱路径生成对比候选，用解耦槽级目标进行偏好监督，在多领域基准测试中表现优于基线。
2026-09-04 cs.AI cs.CL cs.LG
Template-Driven LLM-Paraphrased Framework for Tabular Math Word Problem Generation
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；Duke Kunshan University（昆山杜克大学）
针对表格数学应用题自动生成样本存在的正确性与多样性问题，提出模板驱动的LLM改写框架TeLL，通过提取模板确保正确性、利用LLM改写提升多样性并增加推理步骤，构建高质量数据集TabMWP-TeLL，有效提升了LLM求解TMWP的性能。
2024-12-20 cs.CL
MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning
AI21 Labs（AI21实验室）
巨大的语言模型（LM）开创了人工智能的新时代，成为基于自然语言的知识任务的门户。虽然LM是现代AI的基本要素，但它在许多方面也有固有的局限性。我们将讨论这些限制，以及如何通过采用系统方法来避免这些限制。将挑战概念化为除了语言处理之外还涉及知识和推理的挑战，我们定义了一个具有多个神经模型的灵活架构，并辅以离散知识和推理模块。我们描述了这种神经符号架构，称为模块化推理，知识和语言（MRKL，发音为“奇迹”）系统，实现它的一些技术挑战，以及Jurassic-X，AI 21 Labs的MRKL系统实现。
2022-05-01 cs.AI cs.CL
Forward-Backward Reasoning in Large Language Models for Mathematical Verification
Southern University of Science and Technology（南方科技大学）；Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）
针对Self-Consistency前向推理饱和问题，提出FOBAR方法结合前向与后向推理验证候选答案，在多个数学数据集上达到SOTA，并验证了其有效性与扩展性。
2024-06-05 cs.AI cs.CL cs.LG
EviDR: Evidence-Emphasized Discrete Reasoning for Reasoning Machine Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）
推理机器阅读理解（R-MRC）旨在回答需要基于文本进行离散推理的复杂问题。为了支持离散推理，证据，通常是描述问题相关事实的简洁文本片段，包括主题实体和属性值，是从问题到答案的关键线索。然而，以前的端到端的方法，实现最先进的性能很少解决问题，支付足够的重视证据的建模，错过了机会，进一步提高模型的推理能力，为R-MRC。为了缓解上述问题，在本文中，我们提出了一个证据强调离散推理方法（EviDR），其中句子和子句级别的证据是第一次检测的基础上，远程监督，然后用来驱动一个推理模块实现的关系异构图卷积网络，以获得答案。在DROP（discrete reasoning over paragraphs）数据集上进行了大量实验，实验结果表明了该方法的有效性。此外，定性分析验证了所提出的证据强调的离散推理R-MRC的能力。
2021-10-26 cs.CL
Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text Documents via Semantic-Oriented Hierarchical Graphs
National University of Singapore（新加坡国立大学）；Estates Pte Ltd（6Estates私人有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出Doc2SoarGraph框架，利用语义导向层次图建模视觉丰富表格-文本文档中元素间的差异与关联，在TAT-DQA数据集上大幅超越基线模型，实现离散推理的新最优性能。
2024-02-22 cs.AI cs.CL
Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space
University of California, Santa Barbara（加州大学圣芭芭拉分校）；University of California, Santa Cruz（加州大学圣克ruz分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）；LMSYS Org（LMSYS组织）；Microsoft（微软）
针对当前大语言模型离散推理的局限性，研究提出无需训练的Soft Thinking方法，通过连续概念空间的软性概念词元实现类人推理，在数学与编程基准上提升了准确率且减少了词元用量，兼具可解释性。
2025-05-21 cs.AI cs.CL
CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models
Xiaomi AI Lab（小米AI实验室）
该研究提出无需训练的CoTS框架，通过令牌级概率竞争动态平衡离散确定与软探索，在六个推理基准上优于标准CoT及现有无训练潜在推理方法。
2026-10-16 cs.AI cs.CL
Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems
Embibe
数学推理将是人工智能取得重大进展的下一个前沿领域之一。解决数学应用题（MWPs）并因此获得更好的数学推理能力的持续激增将继续成为未来研究的关键。我们检查非神经和神经的方法来解决以自然语言叙述的数学应用题。我们还强调了这些方法的能力是可推广的，数学上合理的，可解释的和可解释的。神经方法主导了当前的最新技术水平，我们调查了它们，强调了MWP求解的三种策略：（1）直接答案生成，（2）用于推断答案的表达式树生成，以及（3）用于答案计算的模板检索。此外，我们还讨论了技术方法，回顾了直观的设计选择的演变，以解决MWPs，并检查他们的数学推理能力。我们最终确定了几个差距，保证需要外部知识和知识注入学习，在解决MWPs的其他几个机会。
2021-10-29 cs.AI cs.CL
ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces
Adobe Research（Adobe研究）
ThinkRouter通过在低信心时路由至离散空间，高信心时路由至潜在空间，提升推理效率和准确性，平均提高Pass@1 19.70分，减少生成长度15.55%。
2026-02-12 cs.AI cs.CL cs.LG
Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
提出离散潜变量推理（DLR）方法，将连续潜状态转化为离散令牌，通过渲染压缩实现高效、可解释的潜空间推理，在五个基准上优于先前方法并达到20倍压缩。
2026-11-03 cs.CL
SeLaR: Selective Latent Reasoning in Large Language Models
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology（广东省超高清沉浸式媒体技术重点实验室）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
SeLaR通过引入熵门机制和熵感知对比正则化，解决大语言模型中链式推理的稳定性与探索性问题，优于标准CoT和训练自由方法。
2026-04-19 cs.AI cs.CL
Do not be greedy, Think Twice: Sampling and Selection for Document-level Information Extraction
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（希茨中心 - Ixa，巴斯克国家大学UPV/EHU）
提出ThinkTwice框架，通过采样生成多个候选模板并选择最优，利用无监督一致性和有监督奖励模型，在文档级信息抽取中超越贪婪解码方法。
2026-09-25 cs.CL
OPERA:Operation-Pivoted Discrete Reasoning over Text
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）
机器阅读理解（MRC），需要涉及符号运算的离散推理，例如，加法、排序和计数是一项具有挑战性的任务。根据这种性质，基于语义解析的方法预测可解释但复杂的逻辑形式。然而，逻辑形式的生成是不平凡的，即使是一个小扰动的逻辑形式将导致错误的答案。为了缓解这个问题，提出了基于多预测器的方法来直接预测不同类型的答案并实现改进。然而，他们忽视了符号运算的利用，并遇到了缺乏推理能力和可解释性。为了继承这两种方法的优点，我们提出了OPERA，一个操作为中心的离散推理框架，其中轻量级的符号操作（与逻辑形式相比）作为神经模块，以促进推理能力和可解释性。具体而言，首先选择操作，然后软执行，以模拟答案推理过程。在DROP和RACENUM数据集上的大量实验表明了OPERA的推理能力。进一步的分析验证了其可解释性。
2022-05-04 cs.CL
STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts
Technion（以色列理工学院）；Princeton University（普林斯顿大学）；Independent（独立作者）；Hebrew University（希伯来大学）
STATe通过结构化动作模板提升文本生成的多样性和可控性，通过显式动作序列捕捉可解释特征，增强生成质量与可解释性。
2026-08-07 cs.CL cs.LG
TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data
National University of Singapore（新加坡国立大学）；Estates Pte Ltd（6Estates私人有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出TAT-LLM，通过逐步流水线自动生成训练数据并微调LLaMA 2，在表格与文本混合问答的离散推理任务上超越GPT-4等基线模型。
2024-09-28 cs.AI cs.CL
CCI4.0: A Bilingual Pretraining Dataset for Enhancing Reasoning in Large Language Models
Data Research Team（数据研究团队）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文构建 35TB 双语预训练数据集 CCI4.0，通过模型驱动的数据清洗流水线和分阶段 CoT 提取，提升 LLM 在数学、代码等下游任务中的推理性能。
2025-06-09 cs.AI cs.CL
TransientTables: Evaluating LLMs' Reasoning on Temporally Evolving Semi-structured Tables
UC San Diego（加州大学圣迭戈分校）；University of Utah（犹他大学）；University of Pennsylvania（宾夕法尼亚大学）；Arizona State University（亚利桑那州立大学）
针对LLMs在静态数据集上时序推理受限的问题，提出TRANSIENTTABLES基准数据集，通过模板生成流水线构建问题，并引入任务分解策略提升模型在时序演化表格上的推理性能。
2025-04-02 cs.CL cs.CV cs.IR
Automatic Slide Updating with User-Defined Dynamic Templates and Natural Language Instructions
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Institute of Artificial Intelligence and Future Networks, Beijing Normal University（北京师范大学人工智能与未来网络研究院）；Faculty of Arts and Sciences, Beijing Normal University（北京师范大学文理学院）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）
本文提出DynaSlide基准，结合多模态解析和自然语言指令，实现幻灯片动态更新，保留布局与样式，并设计评估协议揭示未来研究挑战。
2026-04-20 cs.CL
Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本文提出思维增强推理方法BoT，通过元缓冲区存储跨任务提炼的思维模板并动态实例化，结合缓冲区管理器提升大模型推理准确性与鲁棒性，在10项任务上超越SOTA且成本极低。
2024-10-14 cs.CL
MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Models
Georgia Institute of Technology（佐治亚理工学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Harvard University（哈佛大学）
MetaState通过引入轻量级循环增强模块，为冻结的离散扩散语言模型提供持久固定大小的工作记忆，提升推理性能，平均提升4.5%。
2026-07-14 cs.AI cs.CL cs.LG
DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
University of California, Berkeley（加州大学伯克利分校）
针对多跳推理中非循环Transformer的深度局部存储问题，提出DiscoLoop架构，通过循环同时携带离散嵌入和连续隐藏状态，实现近乎完美的泛化，并在符号和合成语言任务中显著减少训练步数。
2026-07-28 cs.AI cs.CL cs.LG
DROP: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs
University of California, Irvine（加州大学尔湾分校）；Peking University（北京大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
阅读理解最近取得了快速进展，系统在最流行的数据集上与人类相匹配。然而，大量的工作突出了这些系统的脆弱性，表明还有许多工作要做。我们介绍了一个新的英语阅读理解基准，DROP，它需要对段落的内容进行离散推理。在这个众包、对抗性创建的96k问题基准测试中，系统必须解析问题中的引用，可能是多个输入位置，并对它们执行离散操作（例如加法、计数或排序）。这些操作需要比以前的数据集更全面地了解段落的内容。我们在这个数据集上应用了阅读理解和语义解析文献中最先进的方法，并表明最好的系统在我们的广义准确性指标上仅达到32.7%的F1，而专家的人类表现为96.0%。我们还提出了一个新的模型，结合阅读理解方法与简单的数字推理，以达到47.0%F1。
2019-04-16 cs.CL
UniRPG: Unified Discrete Reasoning over Table and Text as Program Generation
Harbin Institute of Technology（哈尔滨工业大学）；JD AI Research（京东人工智能研究院）
需要离散推理的问答，例如，算术计算、比较和计数，在知识上是一项具有挑战性的任务。在本文中，我们提出了UniRPG，一种基于语义解析的方法，在可解释性和可扩展性方面取得了进展，可以在异构知识资源上执行统一的离散推理，即，表和文本，作为程序生成。具体地说，UniRPG由一个神经程序员和一个符号程序执行器组成，其中程序是从表和文本中提取的一组预定义的一般原子和高阶操作和参数的组合。首先，程序员通过生成操作和复制参数将问题解析为程序，然后执行器根据程序从表格和文本中得出答案。为了减轻昂贵的程序注释问题，我们设计了一个远程监督的方法，程序员学习，伪程序自动构造没有注释的派生。在TAT-QA数据集上的大量实验表明，与最先进的方法相比，UniRPG实现了巨大的改进，增强了可解释性和可扩展性，即使没有派生注释。此外，它在没有派生的文本数据集DROP上实现了有希望的性能。
2022-10-15 cs.CL
Injecting Numerical Reasoning Skills into Knowledge Base Question Answering Models
Renmin University of China（中国人民大学）；Tencent AI Lab（腾讯人工智能实验室）
基于嵌入的方法在知识库问答（KBQA）中很受欢迎，但目前很少有模型具有数值推理能力，因此难以回答顺序约束问题。本文提出了一种新的嵌入式KBQA框架，特别是考虑到数值推理。我们在NSM（一种最先进的基于嵌入的KBQA模型）之上提出NumericalTransformer，以创建NT-NSM。为了实现更好的训练，我们提出了两个预训练任务，在两个生成的训练数据集上使用显式的面向数值的损失函数，以及一种基于模板的数据增强方法来丰富有序约束的QA数据集。在KBQA基准测试上进行的大量实验表明，在我们的训练算法的帮助下，NT-NSM具有数值推理技能，并且在回答顺序约束问题时大大优于基线。
2022-05-16 cs.CL
Weakly Supervised Neuro-Symbolic Module Networks for Numerical Reasoning
Salesforce AI Research（赛富时人工智能研究院）
神经模块网络（NMN）已经非常成功地将显式推理作为各种问答任务中的可学习模块，包括机器阅读理解（MRC）中文本上最通用的数值推理形式。然而，为了实现这一点，当代NMN需要强有力的监督，在执行查询作为一个专门的程序推理模块，并没有推广到更开放的设置没有这样的监督。因此，我们提出了弱监督神经符号模块网络（WNSMN）作为基于MRC的数值推理的唯一监督。它学习执行从查询的依存句法分析获得的噪声启发式程序，作为神经和符号推理模块上的离散动作，并在强化学习框架中端到端地训练它，并从答案匹配中获得离散奖励。在DROP的数字答案子集上，WNSMN在可比的弱监督设置下训练时，在精确匹配准确率方面比NMN高出32%，比无推理语言模型GenBERT高出8%。这展示了模块化网络的有效性和可推广性，它可以以端到端的方式处理噪声程序上的显式离散推理。
2021-01-28 cs.CL
A Multi-Type Multi-Span Network for Reading Comprehension that Requires Discrete Reasoning
National University of Defense Technology（国防科技大学）
在阅读理解和问答领域取得了快速进展，其中几个系统在一些简化的设置中实现了人类平等。然而，当这些模型应用于更现实的场景时，例如答案涉及各种类型，多个文本串是正确答案，或者需要离散推理能力时，这些模型的性能显著下降。在本文中，我们介绍了多类型多跨度网络（MTMSN），这是一种神经阅读理解模型，它结合了一个多类型答案预测器，旨在支持各种答案类型（例如，跨度、计数、求反和算术表达式），其中多跨度提取方法用于动态地产生一个或多个文本跨度。此外，提出了一种算术表达式重排序机制来对候选表达式进行排序，以进一步确认预测。实验表明，我们的模型在DROP隐藏测试集上达到了79.9 F1，创造了新的最先进的结果。发布源代码\footnote{\url{https://github.com/huminghao16/MTMSN}}，以方便将来的工作。
2019-08-30 cs.CL
Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process
CMU（卡内基梅隆大学）；Meta FAIR；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文通过受控实验研究语言模型解决小学数学问题的隐藏推理机制，探讨其是否真正具备推理技能及与人类推理的异同，揭示了超越当前LLM理解的内部机制。
2024-07-29 cs.AI cs.CL cs.LG
Barriers to Discrete Reasoning with Transformers: A Survey Across Depth, Exactness, and Bandwidth
Oracle AI
本文综述了Transformer在离散推理任务中的理论限制，从电路复杂度、近似理论和通信复杂度三个角度分析了深度、精确性和带宽等障碍，并探讨了模型设计的改进方向。
2026-01-19 cs.CL
Improving Latent Reasoning in LLMs via Soft Concept Mixing
School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学）
通过引入Soft Concept Mixing方法，改进大语言模型的潜在推理能力，提升推理性能并保持训练稳定性。
2025-11-21 cs.CL
Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science and Hessian Center for AI (hessian.AI), Technical University of Darmstadt（德累斯顿技术大学计算机科学系、海斯堡人工智能中心（hessian.AI）、通用知识处理实验室（UKP Lab））
针对推理驱动的隐蔽越狱漏洞，本文提出 POATE 对比推理攻击，并设计 Intent-Aware CoT 与 Reverse Thinking CoT 以检测恶意意图、拒绝有害输出。
2025-09-30 cs.CL
PROST: Physical Reasoning of Objects through Space and Time
University of Colorado Boulder（科罗拉多大学博尔德分校）
我们提出了一个新的探测数据集名为PROST：物理推理对象通过空间和时间。该数据集包含18，736个多项选择题，由14个手动策划的模板组成，涵盖10个物理推理概念。所有的问题都被设计成在zero-shot设置中探索因果和掩蔽语言模型。我们进行了广泛的分析，表明最先进的预训练模型在物理推理方面是不够的：它们受到答案选项呈现给它们的顺序的影响，当问题中的最高级被颠倒时，它们会挣扎（例如，最<->少），并且增加预训练数据和参数的量仅产生最小的改进。这些结果为以下假设提供了支持：当前预训练模型对物理交互的推理能力本质上受到缺乏现实世界经验的限制。通过强调这些局限性，我们希望激励模型的发展，使其对物理世界有着类似人类的理解。
2021-06-07 cs.CL
ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning
York University（约克大学）；Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
图表在分析数据方面非常受欢迎。在探索图表时，人们经常会问各种复杂的推理问题，涉及几个逻辑和算术运算。他们通常也会在问题中提到图表的视觉特征。然而，大多数现有的数据集并不关注这样复杂的推理问题，因为它们的问题是基于模板的，答案来自固定的词汇表。在这项工作中，我们提出了一个大规模的基准测试，涵盖了9.6K人类书写的问题以及从人类书写的图表摘要生成的23.1K问题。为了解决我们的基准测试中涉及图表的视觉和逻辑推理的独特挑战，我们提出了两个基于transformer的模型，它们以统一的方式将图表的视觉特征和数据表结合起来来回答问题。虽然我们的模型在以前的数据集以及我们的基准测试中获得了最先进的结果，但评估也揭示了在回答复杂推理问题时面临的几个挑战。
2022-03-19 cs.CL
Learning to Ask for Data-Efficient Event Argument Extraction
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州创新中心）；Alibaba Group（阿里巴巴集团）
事件变元抽取是信息抽取的一项重要任务，它能发现特定的变元角色。在本研究中，我们将EAE作为一个基于问题的完形填空任务，并实证分析固定离散标记模板的性能。由于生成人工注释的问题模板通常是耗时和劳动密集型的，我们进一步提出了一种新的方法，称为“学习问”，它可以学习优化的问题模板，EAE没有人的注释。使用ACE-2005数据集的实验表明，我们的方法的基础上优化的问题实现了最先进的性能在Few-Shot和监督设置。
2021-10-01 cs.AI cs.CL cs.IR
Discrete Neural Algorithmic Reasoning
Yandex Research（Yandex研究院）
本文提出强制神经推理器将执行轨迹保持为有限预定义状态的组合，通过分离离散与连续数据流并在状态转换上进行监督训练，在多算法任务中实现完美测试分数并证明算法正确性。
2025-08-13 cs.CL cs.LG
Is Discrete Difficulty Sufficient? Leveraging Continuous Difficulty for Efficient Self-Consistency in LLMs
Konkuk University（建国大学）；DATUMO INC.（DATUMO公司）
本研究针对大语言模型自一致性（SC）token消耗高的问题，提出灵活自一致性（FSC），以连续信号估计难度动态调整路径数，在保持准确率的同时最高节省76% token。
2026-08-26 cs.CL
Investigating Prompting Techniques for Zero- and Few-Shot Visual Question Answering
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文研究视觉语言模型在零样本与少样本视觉问答中的提示策略，发现问题模板选择、图像描述增强、自一致性推理及LLM引导预处理能有效提升模型性能。
2025-02-09 cs.CL cs.CV
Multi-Step Reasoning in Korean and the Emergent Mirage
OneLineAI；Yonsei University（延世大学）；MODULABS
本文提出韩语多步常识推理基准 HRMCR，发现模型性能在特定训练计算量阈值附近急剧提升，但逐步分析表明这种“涌现”可能只是多步错误累积造成的假象。
2025-03-12 cs.CL
