Swarm Intelligence Enhanced Reasoning: A Density-Driven Framework for LLM-Based Multi-Agent Optimization
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
近年来,为了进一步丰富大语言模型(LLM)在推理场景下的复杂问题求解能力,提出了许多方法,如思想链(CoT)提示和多Agent辩论(MAD).然而,这些方法可能无法解决复杂的问题,由于缺乏找到最佳解决方案的能力。群体智能在传统的优化问题中已经成为一种强有力的寻优工具。为此,我们建议通过引入一种新的基于Agent的群体智能(ASI)范式,将群体智能集成到推理过程中。在这种模式中,我们制定LLM推理作为一个优化问题,并使用群体智能计划,以指导一组基于LLM的代理在协作搜索最优解。为了避免群体智能陷入局部最优,我们进一步发展了一个群体智能增强推理(SIER)框架,它发展了一种密度驱动的策略来增强推理能力。具体来说,我们建议进行核密度估计和非支配排序,以同时优化解决方案的质量和多样性。在这种情况下,SIER通过扩展推理路径的多样性,有效地增强了解空间的探索能力;此外,采用步骤级质量评价,通过纠正低质量的中间步骤,帮助Agent提高解的质量。然后,我们使用质量阈值来动态地控制探索的终止和候选步骤的选择,从而使推理过程更加灵活和高效。广泛的实验是…
2025-05-30 cs.AI cs.MA
Notes on a Path to AI Assistance in Mathematical Reasoning
Rutgers University(罗格斯大学)
本文基于作者在 2023 年研讨会上的演讲,探讨如何发展出能够真正辅助研究型数学家进行数学推理的 AI 路径。
2023-10-04 cs.AI math.HO
Artificial Intelligence Should Genuinely Support Clinical Reasoning and Decision Making To Bridge the Translational Gap
ETH Zurich(苏黎世联邦理工学院);Johns Hopkins University School of Medicine(约翰霍普金斯大学医学院)
本文指出以技术为中心的AI方法导致临床转化鸿沟,提出以社会技术视角设计数据驱动工具来辅助医生认知与决策,强调现实影响优先于基准性能。
2025-06-05 cs.AI cs.CY cs.HC
Artificial Cognitively-inspired Generation of the Notion of Topological Group in the Context of Artificial Mathematical Intelligence
Institución Universitaria Pascual Bravo(帕斯夸尔·布拉沃大学学院);Visión Real Cognitiva S. A. S.(真实认知视觉公司);Vienna University of Technology(维也纳技术大学)
概念计算这一新的计算范式已被引入到人工数学智能的研究计划中。我们为拓扑群的基本数学概念提供了明确的人工生成(或概念计算)。具体来说,我们开始与两个基本概念属于拓扑和抽象代数,我们描述递归形式规范的通用代数规约语言(CASL)。概念空间之间的概念融合的概念可以在异构工具集(HETS)中具体化。拓扑群的基本概念是通过基于概念融合和概念识别的三种不同的人工规范明确产生的,从连续函数和数学群的概念开始(用最小集合论条件描述)。这构成了人工数学智能第三支柱的额外启发式证据。
2021-12-05 cs.AI
I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in Large Language and Reasoning Models
IBM Research – Zurich(IBM瑞士研究中心);ETH Zurich(苏黎世联邦理工学院)
本文提出符号基准I-RAVEN-X,通过增加操作数复杂度、属性范围和感知不确定性,评估大语言模型与大推理模型在类比与数学推理上的泛化与鲁棒性,发现LRMs表现更优但仍难以应对不确定性推理。
2025-10-31 cs.AI cs.LG
Math Takes Two: A test for emergent mathematical reasoning in communication
Cooper Cognitive(Cooper认知)
本文提出Math Takes Two基准测试,通过两个无先验数学知识的智能体交流,评估模型在视觉任务中通过发现潜在结构来发展抽象概念的能力。
2026-03-30 cs.AI cs.LG
Beyond Statistical Learning: Exact Learning Is Essential for General Intelligence
Google DeepMind(谷歌DeepMind)
本文指出统计学习导致AI系统在演绎推理上不可靠,主张为实现可靠演绎推理,AI研究须从优化统计性能转向要求所有输入均正确的精确学习范式。
2025-06-30 cs.AI cs.LG
Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University, China(国家新型软件技术重点实验室,南京大学,中国);School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学,中国);School of Intelligence Science and Technology, Nanjing University, China(智能科学与技术学院,南京大学,中国)
本文系统综述了利用神经符号方法提升大语言模型推理能力的最新进展,从Symbolic->LLM、LLM->Symbolic和LLM+Symbolic三个视角梳理方法,并讨论关键挑战与未来方向。
2025-08-19 cs.AI cs.LG
CoRe3D: Collaborative Reasoning as a Foundation for 3D Intelligence
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
CoRe3D通过协作推理框架实现3D内容生成,结合语义和空间推理提升3D输出的一致性与描述一致性。
2026-02-10 cs.AI cs.CV cs.LG
No Train Still Gain. Unleash Mathematical Reasoning of Large Language Models with Monte Carlo Tree Search Guided by Energy Function
本文提出结合蒙特卡洛树搜索和轻量级能量函数的方法,将微调LLM重构为Residual-EBM并利用MCTS评估推理路径,无需额外训练即在GSM8k和AQUA-RAT上显著提升pass@1。
2023-09-12 cs.AI cs.LG
Can A Gamer Train A Mathematical Reasoning Model?
Keio University(庆应大学)
本文结合强化学习与显存优化,在单张16GB RTX 3080 Ti上训练1.5B数学推理模型,使其性能媲美数倍大模型,降低高性能AI研究门槛。
2025-06-10 cs.AI cs.CL cs.LG
Universal Algorithmic Intelligence: A mathematical top->down approach
序贯决策理论正式解决了不确定世界中的理性主体问题,如果真实的环境先验概率分布是已知的。Solomonoff的泛归纳理论形式化地解决了未知先验分布的序列预测问题。我们将这两种思想结合起来,得到一个无参数的通用人工智能理论。我们给出了强有力的论据,由此产生的AIXI模型是最智能的无偏代理可能。我们概述了AIXI模型如何正式解决一些问题类,包括序列预测,战略游戏,功能最小化,强化和监督学习。AIXI模型的主要缺点是它是不可计算的。为了克服这个问题,我们构造了一个修改后的算法AIXITl,它仍然有效地比任何其他时间t和长度l有界代理更智能。AIXITl的计算时间是t x 2^l的数量级。讨论了智能顺序关系的形式化定义、视界问题以及AIXI理论与其他人工智能方法的关系。
2007-01-20 cs.AI cs.LG
Artifical intelligence and inherent mathematical difficulty
University of Warwick(华威大学);Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
本文通过更新可计算性与复杂性理论的限制性论证,并结合自动定理证明、SAT求解器和大语言模型等AI方法,论证数学证明发现本质上困难,AI技术只是蛮力搜索,只能处理低逻辑复杂度命题。
2024-08-01 cs.AI cs.CC math.HO
Truly Assessing Fluid Intelligence of Large Language Models through Dynamic Reasoning Evaluation
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);The University of Hong Kong(香港大学)
提出基于分层认知框架的DRE-Bench动态推理基准,通过36项任务和多变体测试评估LLM流体智力,发现模型低级认知稳健但高级泛化不足。
2025-09-28 cs.AI
Mathematical Reasoning via Self-supervised Skip-tree Training
Google Research(谷歌研究院)
我们研究了应用于数学公式的自监督语言建模是否能够实现逻辑推理。我们提出了几个逻辑推理任务,可用于评估在正式数学语句上训练的语言模型,例如类型推断,提出缺失的假设和完成等式。为了训练形式数学的语言模型,我们提出了一种新的跳跃树任务。我们发现,在跳过树任务上训练的模型显示出惊人的强大数学推理能力,并且优于在标准跳过序列任务上训练的模型。我们还通过测量预测在其他证明中可证明和有用的频率来分析模型制定新模型的能力。
2020-08-12 cs.AI cs.LG cs.PL
CoMAT: Chain of Mathematically Annotated Thought Improves Mathematical Reasoning
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学);Imperial College London(伦敦帝国学院)
CoMAT通过符号转换和推理执行两个阶段提升数学推理能力,在多个基准测试中超越传统CoT方法。
2026-01-15 cs.AI cs.CL cs.LG
Phy-Q as a measure for physical reasoning intelligence
School of Computing, The Australian National University(澳大利亚国立大学计算学院)
人类精通对物理对象行为的推理,并相应地选择行动来完成任务,而这仍然是人工智能面临的一个主要挑战。为了促进解决这个问题的研究,我们提出了一个新的测试平台,需要一个代理的原因物理场景,并采取适当的行动。受婴儿期获得的物理知识和机器人在现实环境中操作所需的能力的启发,我们确定了15个基本的物理场景。我们创建了各种不同的任务模板,并确保同一场景中的所有任务模板都可以通过使用一个特定的战略物理规则来解决。通过这样的设计,我们评估两个不同的泛化水平,即局部泛化和广义泛化。我们进行了广泛的评估与人类球员,学习代理与不同的输入类型和架构,启发式代理与不同的策略。受人类智商计算方式的启发,我们定义了物理推理商(Phy-Q分数),它反映了使用我们考虑的物理场景的代理的物理推理智能。我们的评估表明,1)所有的代理都远远低于人类的表现,2)学习代理,即使具有良好的局部泛化能力,也很难学习底层的物理推理规则,并且无法广泛地泛化。我们鼓励开发能够达到人类水平Phy-Q分数的智能代理。网址:https://github.com/phy-q/benchmark
2023-01-27 cs.AI cs.LG
Enhancing Neural Mathematical Reasoning by Abductive Combination with Symbolic Library
Nanjing University(南京大学);Polixir Technologies(智谱科技)
近年来,数学推理已被证明是对神经系统的一个严峻挑战。包括表达翻译,逻辑推理和数学知识获取在内的能力似乎是克服挑战所必需的。本文证明了一些能力可以通过溯因组合与离散系统,已编程与人类知识。在一个数学推理数据集上,我们采用最近提出的溯因学习框架,提出了结合Transformer神经模型和符号数学库的ABL-Sym算法。ABL-Sym在插值任务上显示出9.73%的精度提高,在外推任务上显示出47.22%的精度提高,超过了最先进的方法。在线演示:http://math.polixir.ai
2022-03-28 cs.AI cs.LG
Bias-Restrained Prefix Representation Finetuning for Mathematical Reasoning
针对表示微调(ReFT)在数学推理任务上性能下降的问题,本文提出BREP ReFT方法,通过优化初始推理前缀生成、干预早期推理、约束干预向量模长提升性能,实验证明其优于现有PEFT和标准ReFT方法。
2025-11-13 cs.AI cs.LG
Limits of PRM-Guided Tree Search for Mathematical Reasoning with LLMs
University of Tübingen(图宾根大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);Western University(西部大学)
本研究提出自适应算法最大化PRM分数,发现PRM引导的树搜索相比BoN无显著提升,且PRM可靠性随深度下降,需改进奖励建模。
2025-10-23 cs.AI cs.LG
MathMixup: Boosting LLM Mathematical Reasoning with Difficulty-Controllable Data Synthesis and Curriculum Learning
CASIA(中国科学院自动化研究所);ZGCA(浙江大学);UCAS(中国科学技术大学);PKU(北京大学);ByteDance(字节跳动)
MathMixup通过难度可控的数据合成与课程学习策略,提升LLM的数学推理能力,实验显示其在多个基准测试中表现优于现有方法。
2026-01-14 cs.AI cs.LG
MACI: Multi-Agent Collaborative Intelligence for Adaptive Reasoning and Temporal Planning
Stanford University(斯坦福大学)
本文提出多智能体协作智能框架MACI,通过元规划器、任务智能体和运行时监控器三个组件,结合常识推理与规划验证解耦,克服传统LLM在推理、时间感知和约束管理上的局限,在调度任务中表现稳健。
2025-01-29 cs.AI
Algorithmic Randomness as Foundation of Inductive Reasoning and Artificial Intelligence
Australian National University(澳大利亚国立大学)
这篇文章是一个简短的个人帐户的过去,现在和未来的算法随机性,强调其作用的归纳推理和人工智能。它是为对科学和哲学感兴趣的普通读者而写的。直觉上,随机性是缺乏秩序或可预测性。如果随机性是决定论的对立面,那么算法随机性就是可计算性的对立面。除了许多其他的东西,这些概念已经被用来量化奥卡姆剃刀,解决归纳问题,并定义智能。
2011-02-12 cs.AI cs.CC cs.IT
DeepVision-103K: A Visually Diverse, Broad-Coverage, and Verifiable Mathematical Dataset for Multimodal Reasoning
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
DeepVision-103K是一个用于多模态推理的视觉多样、覆盖面广且可验证的数学数据集,通过增强模型的视觉反思和推理能力推动多模态推理发展。
2026-02-18 cs.AI cs.LG
MDPO: Multi-Granularity Direct Preference Optimization for Mathematical Reasoning
提出多粒度直接偏好优化(MDPO)方法,从整体解、推理和步骤三个粒度优化LLM数学推理,统一训练目标与生成指标,在GSM8K和MATH上优于DPO,且无需人工标注。
2025-05-30 cs.AI cs.LG
World Models in Artificial Intelligence: Sensing, Learning, and Reasoning Like a Child
TECNALIA, Basque Research & Technology Alliance (BRTA)(泰克纳利亚,巴斯克研究与技术联盟(BRTA));University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));Medical University Graz(格拉茨医科大学);University of Natural Resources and Life Sciences Vienna(维也纳自然资源与生命科学大学)
针对现有世界模型缺乏儿童式结构化自适应表征的问题,提出受皮亚杰认知发展理论启发的框架,指出六大关键研究方向,推动AI从模式识别迈向真正的理解与推理。
2025-03-19 cs.AI cs.CV cs.ET
A mathematical framework of intelligence and consciousness based on Riemannian Geometry
Peking University(北京大学)
本文提出基于黎曼几何的数学框架,将智能元素视为高维空间中的token嵌入并形成流形,将思维流描述为流形测地线上的顺序激活,意识作为自指过程通过预测误差调整测地线,为生物与人工智能的结构和动力学提供统一理论。
2024-11-10 cs.AI math.DG
Process In-Context Learning: Enhancing Mathematical Reasoning via Dynamic Demonstration Insertion
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Huawei Poisson Lab, China(华为Poisson实验室)
PICL通过动态插入相关演示来提升数学推理能力,有效缓解推理过程中的困惑问题。
2026-01-17 cs.AI cs.LG
What Are Step-Level Reward Models Rewarding? Counterintuitive Findings from MCTS-Boosted Mathematical Reasoning
TAL Education Group(好未来教育集团)
本文探究MCTS增强的步骤级奖励模型在数学推理中的反直觉机制,发现自然语言思维描述影响甚微,而模型主要奖励数学语言的逻辑连贯性,为精简高效SRMs设计提供指导。
2025-03-08 cs.AI cs.LG
Critic-Guided Heterogeneous Multi-Agent Reasoning for Reliable Mathematical Problem Solving
University of Science and Technology of China(中国科学技术大学)
提出一种基于评论的异构多智能体框架,通过生成器-验证器结构和自适应学习系统,利用中间反馈评估和引导推理过程,在GSM8K基准上实现高达13%的准确率提升,并减少对大模型的依赖。
2026-06-04 cs.AI cs.LG
Probabilistic Results on the Architecture of Mathematical Reasoning Aligned by Cognitive Alternation
Peking University(北京大学)
该研究设想可求解数学问题的机器,将定量推理系统拆分为思维与认知过程两部分,并给出该架构的概率性描述。
2023-08-17 cs.AI math.PR
Agentic AI with Structured CoT for Enhancing AI's Spatial Intelligence: Visualization and Reasoning of Rotation
Texas A&M University(德克萨斯A&M大学)
本研究通过结构化思维链结合上下文信息,显著提升了GPT-5.6模型在三维旋转任务上的空间推理性能,揭示了视觉、文本与推理信息整合对智能体AI空间智能的关键作用。
2026-11-17 cs.AI
Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback
Meta GenAI;National Taiwan University(台湾大学);Meta FAIR;UC Berkeley(加州大学伯克利分校)
Step-KTO通过结合过程级和结果级二元反馈训练LLM,提升数学推理的最终答案准确性和中间步骤质量,在MATH-500上显著优于强基线。
2025-01-18 cs.AI cs.LG
MaRVL-QA: A Benchmark for Mathematical Reasoning over Visual Landscapes
Waymo;Google(谷歌)
针对多模态大语言模型在图像数学推理上的不足,提出MaRVL-QA基准,含拓扑计数与变换识别两任务,评估显示现有模型依赖表面启发式,为提升空间推理能力提供新工具。
2025-09-09 cs.AI cs.CV cs.LG
A criterion for Artificial General Intelligence: hypothetic-deductive reasoning, tested on ChatGPT
Higher School of Economics, Moscow(莫斯科高等经济学院)
本文提出假设-演绎推理是AGI的关键推理能力,通过简单测试发现ChatGPT在复杂问题上该能力有限,并指出若AI能在广泛语境中具备此能力则可视为AGI。
2026-06-23 cs.AI
MIRAGE: A Multi-modal Benchmark for Spatial Perception, Reasoning, and Intelligence
Tsinghua University(清华大学);Shopee(虾皮);Alibaba International Digital Commerce(阿里巴巴国际数字商业集团);University of Bristol(布里斯托大学)
MIRAGE是一个多模态基准,通过计数、关系及二者结合的任务评估模型的空间感知与推理能力,揭示现有模型的局限,并为时空推理研究奠定基础。
2025-06-23 cs.AI cs.CV
Forward-Backward Reasoning in Large Language Models for Mathematical Verification
Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学)
针对Self-Consistency前向推理饱和问题,提出FOBAR方法结合前向与后向推理验证候选答案,在多个数学数据集上达到SOTA,并验证了其有效性与扩展性。
2024-06-05 cs.AI cs.CL cs.LG
Integrating Arithmetic Learning Improves Mathematical Reasoning in Smaller Models
Electrical and Computer Engineering University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系)
本文通过整合合成算术数据集提升小型模型的数学推理能力,采用中间微调和指令微调混合两种方法,实验表明能有效增强模型的算术能力与推理性能。
2026-03-18 cs.AI cs.CL cs.LG
Evolutionary System 2 Reasoning: An Empirical Proof
本文提出进化推理优化框架,通过进化策略提升LLM的推理能力,实验证实即使弱模型也能通过简单进化获得强大推理能力。
2025-12-05 cs.AI
Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning
University of Science and Technology of China(中国科学技术大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
数学推理是通用人工智能的关键能力之一,它要求机器从解决问题中掌握数学逻辑和知识。然而,就在推理过程中学习和应用的知识而言,现有的方法并不透明(因此不可解释)。在本文中,我们提出了一个通用的学习应用(LeAp)框架,以增强现有的模型(骨干)在一个原则性的方式通过显式知识学习。在LeAp中,我们在一个新的问题-知识-表达范式中进行知识学习,知识编码器从问题数据中获取知识,知识解码器将知识应用于表达推理。学习到的数学知识,包括词-词关系和词-算子关系,形成了一个显性的知识图谱,将知识的“学”与“用”有机地连接起来。此外,对于问题的解决,我们设计了一个语义增强模块和推理增强模块,应用知识,以提高问题的理解和符号推理能力的任何骨干,分别。从理论上证明了LeAp自主学习机制的优越性。在三个真实数据集上的实验表明,LeAp提高了所有骨干的性能,学习准确的知识,并实现了更可解释的推理过程。
2023-02-11 cs.AI cs.CL cs.LG
Commonsense Reasoning, Commonsense Knowledge, and The SP Theory of Intelligence
本文介绍了如何“SP理论的智能”与“SP计算机模型”,概述了在附录中,可能会抛出光方面的常识推理(CSR)和常识知识(CSK),讨论了在另一篇论文中由欧内斯特戴维斯和加里马库斯(DM)。在四个主要部分,本文介绍:1)要解决的主要问题; 2)其他研究CSR和CSK; 3)为什么SP系统可能证明有用的CSR和CSK 4)如何DM描述的例子可能在SP系统中建模。关于DM所描述的CSR自动化的成功,SP系统在简化和集成方面的优势可以促进这些领域之间的无缝集成,以及这些领域与智能的其他方面的无缝集成。在考虑DM描述的CSR自动化的挑战时,本文详细描述了SP-多重比对的例子。SP系统如何模拟电影《教父》中马头场景的解释和推理过程。提出了一种解决DM描述的“长尾”问题的方法。SP系统有一些潜在的有用的东西要说的几个DM的研究目标在CSR和CSK。
2018-08-04 cs.AI
Enhancing Mathematical Problem Solving in LLMs through Execution-Driven Reasoning Augmentation
North Carolina State University(北卡罗来纳州立大学)
本研究提出IIPC方法,通过迭代优化程序推理链并结合执行反馈,提升大语言模型的数学问题解决能力。
2026-02-08 cs.AI cs.LG cs.MA
LPML: LLM-Prompting Markup Language for Mathematical Reasoning
Albert Inc.(阿尔伯特公司);The University of Tokyo(东京大学);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心);Kyoto University(京都大学)
提出LPML框架,通过XML式标记语言将思维链与Python REPL结合,利用零样本提示增强LLM的数学推理能力,并纠正推理与计算错误。
2023-10-11 cs.AI cs.LG cs.PL
Self-Evolved Preference Optimization for Enhancing Mathematical Reasoning in Small Language Models
Microsoft Research, India(微软研究院(印度));IIT Delhi, India(印度德里理工学院)
本文提出自进化数据生成流水线SPHERE,通过自我生成、自我纠正和多样性诱导三个阶段迭代优化推理链,显著提升小型语言模型的数学推理能力,并在多个数学基准上达到或超越GPT-4o。
2025-03-04 cs.AI cs.CL cs.LG
An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems
Department of Computer Science University of Illinois Urbana–Champaign(计算机科学系伊利诺伊大学厄巴纳-香槟分校);Department of Computer Science Stanford University(计算机科学系斯坦福大学)
本文提出了一种新的评估方法,通过数学等价转换的变体测试LLMs的数学推理鲁棒性,发现模型在不同变体上的表现差异显著。
2026-10-09 cs.AI cs.CL cs.LG
Prompt-Driven Low-Altitude Edge Intelligence: Modular Agents and Generative Reasoning
本文提出P2AECF框架,通过模块化代理和生成推理实现灵活、高效和适应的低空边缘智能。
2026-02-15 cs.AI
LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning
Vector Institute(向量研究所);University of Toronto(多伦多大学);Google Research(谷歌研究院);University of Cambridge(剑桥大学)
虽然在神经架构中设计感应偏置已经被广泛研究,但我们假设Transformer网络足够灵活,可以从合适的通用任务中学习感应偏置。在这里,我们通过以数据集的形式编码归纳偏差来取代架构工程。灵感来自皮尔士的观点,演绎,归纳和溯因推理的原语,我们设计了三个合成任务,旨在要求模型有这三个能力。我们专门设计这些任务是合成的,没有数学知识,以确保只有基本的推理偏见可以从这些任务中学习。这定义了一种新的预训练方法,称为“LIME”(Learning Inductive Bias for Mathematical REasoning)。使用LIME训练的模型在四个非常不同的大型数学推理基准测试中的表现明显优于vanilla Transformers。与传统预训练方法的计算成本不同,LIME只需要典型下游任务的一小部分计算成本。用于生成LIME任务的代码可以在https://github.com/tonywu95/LIME上获得。
2022-03-16 cs.AI cs.LG cs.LO
Value of Information for Argumentation based Intelligence Analysis
Defence Science and Technology Laboratory(国防科学技术实验室)
论证提供了论证和这些论证之间的攻击的表示。论证可以用来表示对证据进行推理以得出结论的过程。在这样的推理过程中,理解信息的价值可以根据推理过程的输出来提高决策的质量。一项信息的价值本质上取决于现有的证据和推理所回答的问题。在本文中,我们引入了一个价值的参数框架的信息,以确定最有价值的参数在框架中的参数的有限集合内,参数和攻击,可以添加到改变输出的评估。我们证明了在一个参数框架内的信息的价值,代表在海事领域的情报分析。了解信息在情报分析中的价值将使分析人员能够平衡收集的成本和风险,有效地要求进一步收集情报,以增加对假设分析的信心。
2021-02-16 cs.AI
Controllable Mathematical Reasoning via Self-Optimizing Thought Vectors
Kepler(开普勒)
本文提出利用自优化思维向量与熵最小化实现可控数学推理,在GSM8K上以Gemma-2-9B达到90.1%准确率,无需外部奖励标注,验证了框架的有效性。
2025-10-25 cs.AI
On the consistent reasoning paradox of intelligence and optimal trust in AI: The power of 'I don't know'
University of Cambridge(剑桥大学);Simon Fraser University(西蒙菲莎大学)
本文提出一致推理悖论(CRP),证明追求类人一致推理的 AI 必然会产生幻觉且难以自我检测,因此可信 AI 必须能够计算“我不知道”函数并主动弃权。
2024-08-05 cs.AI cs.LG math.OC
Hybrid Reasoning Systems That Prioritize and Enhance Human Intelligence
Southern California Permanente Medical Group(南加州永久医疗集团)
本文提出通过生成式AI工具增强人类推理能力,构建优先考虑人类智能的混合系统,以应对未来挑战。
2026-10-05 cs.AI cs.HC
Schoenfeld's Anatomy of Mathematical Reasoning by Language Models
University of Maryland, College Park(马里兰大学学院公园分校)
本文通过Schoenfeld的事件理论,提出ThinkARM框架,解剖语言模型的推理过程,揭示推理与非推理模型在结构上的差异,并通过案例研究展示探索步骤与正确性及效率方法的影响。
2026-05-11 cs.AI cs.CL cs.LG
Projection: A Mechanism for Human-like Reasoning in Artificial Intelligence
University of Surrey(萨里大学)
人工智能系统还不能与人类的能力相匹配,将知识应用于与它们被编程或训练的情况不同的情况。在视觉对象识别中,利用自上而下的信息(来自模型)的推理方法已被证明对于在困难条件下识别实体是有效的。在这里,这种类型的推理,称为“投影”,被证明是解决将知识应用于各种或具有挑战性的情况的问题的关键机制,涉及一系列人工智能领域,如视觉,机器人或语言。最后讨论了投影与解决常识问题的相关性。
2022-05-17 cs.AI cs.CV cs.RO
Continuum-Interaction-Driven Intelligence: Human-Aligned Neural Architecture via Crystallized Reasoning and Fluid Generation
Tsinghua University(清华大学)
针对当前AI系统的幻觉、不可预测性等问题,本研究受人类认知二元性启发,提出整合概率生成与白盒过程性推理的双通道架构,解决对齐性与可信性问题,为可信AI部署与下一代人机协作提供新范式与理论基础。
2025-04-12 cs.AI