CoMAT: Chain of Mathematically Annotated Thought Improves Mathematical Reasoning
School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学）；Imperial College London（伦敦帝国学院）
CoMAT通过符号转换和推理执行两个阶段提升数学推理能力，在多个基准测试中超越传统CoT方法。
2026-01-15 cs.AI cs.CL cs.LG
Primender Sequence: A Novel Mathematical Construct for Testing Symbolic Inference and AI Reasoning
本研究提出融合素性与数字后缀规则的Primender序列作为LLM符号推理基准，设计评估框架测试多款前沿模型的规则推断、假设验证与序列生成能力，为相关基准测试提供新构造与可复现方法。
2025-06-12 cs.AI cs.HC cs.SC
Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models
University of Padova（帕多瓦大学）；Department of General Psychology, University of Padova（帕多瓦大学普通心理学系）
本文系统评估了 Llama 2 系列模型在符号推理任务上的能力，发现增大模型规模和相关微调能显著提升性能，但提升主要集中在低复杂度公式上，高难度问题仍具挑战性。
2024-06-05 cs.AI cs.CL cs.LG
ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）；AMD（超威半导体公司）；Arizona State University（亚利桑那州立大学）
提出 ReasonAgain，从 GSM8K 和 MATH 提取并验证符号程序，再生成替代输入-输出问题，用于更严格地评估 LLM 数学推理并揭示其脆弱性。
2024-10-24 cs.AI
Enhancing Mathematical Reasoning in Large Language Models with Self-Consistency-Based Hallucination Detection
The Hong Kong University of Science and Technology（香港理工大学）；Fudan University（复旦大学）
提出结构化自一致性框架，在中间步骤和最终输出上强制一致性，以减少大型语言模型在定理证明、符号变换和数值计算中的幻觉，显著提升推理准确性与稳定性。
2025-06-19 cs.AI
CoEvo: Continual Evolution of Symbolic Solutions Using Large Language Models
针对现有符号解发现方法难以持续优化扩展知识的问题，提出CoEvo框架，结合大语言模型与演化搜索，借助动态知识库与多表示形式提升符号发现效率与范围，支持持续创新。
2025-11-14 cs.AI cs.LG cs.NE
Tool-Augmented Hybrid Ensemble Reasoning with Distillation for Bilingual Mathematical Problem Solving
Boston University（波士顿大学）；University of Pennsylvania（宾夕法尼亚大学）；Northwestern University（西北大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
HERALD通过结合自适应学习、工具强化学习和知识蒸馏，提升双语数学问题求解的准确性和稳定性。
2025-12-22 cs.AI
SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
Carnegie Mellon University（卡内基梅隆大学）；Virginia Tech（弗吉尼亚理工大学）
SNIP通过符号与数值域间的对比学习统一预训练，增强跨域嵌入相似性，在数学性质预测和符号回归等任务上优于全监督基线，尤其在小数据场景下表现突出。
2024-03-15 cs.AI cs.LG
Automated Code Review Using Large Language Models with Symbolic Reasoning
Computer Engineering Yıldız Technical University Istanbul, Turkiye（计算机工程 杨兹技术大学 伊斯坦布尔，土耳其）
针对LLM逻辑推理不足的问题，提出融合符号推理与提示技术的混合自动化代码审查方法，并在CodexGlue上对比CodeT5等模型，验证其可提升审查准确性与效率。
2025-07-24 cs.AI cs.SE
Enhancing Neural Mathematical Reasoning by Abductive Combination with Symbolic Library
Nanjing University（南京大学）；Polixir Technologies（智谱科技）
近年来，数学推理已被证明是对神经系统的一个严峻挑战。包括表达翻译，逻辑推理和数学知识获取在内的能力似乎是克服挑战所必需的。本文证明了一些能力可以通过溯因组合与离散系统，已编程与人类知识。在一个数学推理数据集上，我们采用最近提出的溯因学习框架，提出了结合Transformer神经模型和符号数学库的ABL-Sym算法。ABL-Sym在插值任务上显示出9.73%的精度提高，在外推任务上显示出47.22%的精度提高，超过了最先进的方法。在线演示：http://math.polixir.ai
2022-03-28 cs.AI cs.LG
Advanced Weakly-Supervised Formula Exploration for Neuro-Symbolic Mathematical Reasoning
The University of Tokyo（东京大学）
针对神经符号推理中中间标签难获取且大模型生成指令不可靠的问题，提出利用问题输入与最终输出的弱监督来探索中间标签的高级方法，并在 Mathematics 数据集上验证了其有效性。
2025-02-02 cs.AI cs.LG
Distilling Wikipedia mathematical knowledge into neural network models
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
机器学习在符号数学中的应用正变得越来越流行，但缺乏一个集中的真实世界符号表达式源来用作训练数据。相比之下，自然语言处理领域利用了维基百科等提供大量真实文本数据的资源。采用“数学作为语言”的哲学，我们通过引入一个管道来弥合这一差距，该管道用于将嵌入在维基百科中的数学表达式提取为符号编码，以用于下游机器学习任务。我们证明了一个$\textit{mathematical}$ $\textit{language}$ $\textit{model}$在这个“语料库”的表达式训练，可以作为一个优先级，以提高性能的神经引导搜索的任务的符号回归。
2021-04-13 cs.AI cs.LG
A Neuro-Symbolic Benchmark Suite for Concept Quality and Reasoning Shortcuts
DISI, University of Trento（特伦托大学DISI学院）；DI, University of Pisa（比萨大学DI学院）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Padova（帕多瓦大学）；University of Edinburgh（爱丁堡大学）；CIMeC, University of Trento（特伦托大学CIMeC中心）
针对学习推理任务中存在的推理捷径问题，研究推出rsbench神经符号基准套件，提供可定制任务、概念质量评估指标及新颖形式化验证流程，发现高质量概念获取仍是未解决难题。
2024-10-29 cs.AI cs.LG
Enhancing Transformer Representations of Symbolic ODE Expressions
University of Southampton（南安普顿大学）
本研究探索树位置嵌入与对比学习增强Transformer对符号ODE表达式的结构化表示，提升学习性能并支持数学交换性质。
2026-09-22 cs.AI cs.LG
A Neural-Guided Dynamic Symbolic Network for Exploring Mathematical Expressions from Data
AnnLab（安澜实验室）；Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Key Laboratory of Semiconductor Neural Network Intelligent Sensing and Computing Technology（北京市半导体神经网络智能感知与计算重点实验室）；Center of Materials Science and Optoelectronics Engineering, University of Chinese Academy of Sciences（中国科学院大学材料科学与光电技术学院）
针对符号回归在高维问题、常数学习及泛化上的困难，提出神经引导的动态符号网络DySymNet，利用强化学习探索并优化符号网络结构以识别最佳拟合表达式，在多个基准上优于基线模型。
2024-06-01 cs.AI cs.LG
Ontology-Guided Neuro-Symbolic Inference: Grounding Language Models with Mathematical Domain Knowledge
Advanced Institute for Artificial Intelligence (AI2)（人工智能研究院）
本研究通过引入形式化数学本体，提升语言模型在数学推理任务中的可靠性，验证了神经符号方法在增强形式化 grounding 方面的潜力与挑战。
2026-09-02 cs.AI cs.LG cs.SC
Deep Divide-and-Reduce in Symbolic Regression
针对现有符号回归方法的缺陷，提出DDRSR方法，拓宽表达式分解简化适用范围、规避暴力搜索，在相关任务中展现显著优势，明确适用场景与未来方向。
2026-09-17 cs.AI cs.LG
A Neuro-Symbolic Method for Solving Differential and Functional Equations
University of Waterloo（滑铁卢大学）
当神经网络用于求解微分方程时，它们通常以黑盒函数的形式产生解，这些解在数学上不能直接解释。我们介绍了一种生成符号表达式来求解微分方程的方法，同时利用深度学习训练方法。与现有的方法不同，我们的系统不需要学习符号数学的语言模型，使其可扩展，紧凑，易于适应各种任务和配置。作为该方法的一部分，我们提出了一种新的神经结构，用于学习数学表达式，以优化可定制的目标。该系统的目的是总是返回一个有效的符号公式，生成一个有用的近似时，一个精确的解析解微分方程是不是或不能找到。我们通过例子演示了我们的方法可以应用于一些微分方程，往往获得符号近似是有用的或有见地的。此外，我们展示了如何可以毫不费力地推广到其他数学任务，包括积分和函数方程的符号解决方案的系统。
2020-11-04 cs.AI cs.LG cs.SC
Discovering physical laws with parallel symbolic enumeration
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；School of Engineering Science, University of Chinese Academy of Sciences（中国科学院大学工程科学学院）；State Key Laboratory of Nonlinear Mechanics, Institute of Mechanics, Chinese Academy of Sciences（中国科学院力学研究所非线性力学重点实验室）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）
本文提出并行符号枚举（PSE）方法，在无限搜索空间中高效发现简洁可泛化的数学公式，较现有算法在200多个数据集上准确率最高提升99%、速度提升一个数量级，推动了符号回归在科学发现中的应用。
2025-09-11 cs.AI cs.LG
Operator Feature Neural Network for Symbolic Regression
Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）
针对符号回归现有方法未考虑变量与符号数学本质的问题，提出采用算子表征、引入算子隐式特征编码的OF-Net，通过算子特征替代数值损失预测表达式算子组合，在公开数据集上取得优异恢复率与高$R^2$得分，并分析优缺点给出优化方案。
2024-08-14 cs.AI cs.LG
Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
发现描述数据集的底层数学表达式是人工智能的核心挑战。这是$\textit{symbolic regression}$的问题。尽管最近在训练神经网络以解决复杂任务方面取得了进展，但符号回归的深度学习方法尚未得到充分探索。我们提出了一个框架，通过一个简单的想法利用深度学习进行符号回归：使用大模型搜索小模型的空间。具体来说，我们使用一个递归神经网络发出一个分布在易于处理的数学表达式，并采用一种新的风险寻求策略梯度训练网络，以产生更好的拟合表达式。我们的算法优于几个基线方法（包括Eureqa，符号回归的黄金标准），它能够准确地恢复符号表达式的一系列基准问题，无论有没有添加噪声。更广泛地说，我们的贡献包括一个框架，可以应用于优化层次结构，可变长度的对象下的黑盒性能指标，能够将约束条件在原位，和风险寻求策略梯度制定，优化最佳情况下的性能，而不是预期的性能。
2021-04-05 cs.LG stat.ML
Mathematical Principles and Experimental Discoveries of the Emergence of Symbolic Patterns in Artificial Neural Networks
本文研究ANN符号模式涌现的数学原理，证明其推理逻辑可表述为稀疏符号交互，相关准则使符号模式涌现，为ANN符号解释奠基，还凸显交际学习潜力。
2026-08-10 cs.LG
Neuro-Symbolic Activation Discovery: Transferring Mathematical Structures from Physics to Ecology for Parameter-Efficient Neural Networks
Pre-Doctoral Researcher, School of Computing, Mohammed VI Polytechnic University (UM6P), Ben Guerir, Morocco（预博士研究员，计算学院，穆莱·易斯聚合技术大学（UM6P），本·盖里尔，摩洛哥）
本研究提出神经符号激活发现框架，通过遗传编程从物理数据中提取数学公式用于生态分类，实现参数高效且准确的神经网络模型。
2026-01-10 cs.AI cs.LG cs.NE
Discovering Mathematical Equations with Diffusion Language Model
本文提出基于连续状态扩散语言模型的符号回归预训练框架DiffuSR，通过可训练嵌入层和交叉注意力机制建模方程分布并引导去噪生成，结合注入logit先验的遗传规划推理策略，在标准基准上实现了与最先进自回归方法相媲美的性能，并生成更具可解释性和多样性的数学表达式。
2025-09-16 cs.LG
Math Takes Two: A test for emergent mathematical reasoning in communication
Cooper Cognitive（Cooper认知）
本文提出Math Takes Two基准测试，通过两个无先验数学知识的智能体交流，评估模型在视觉任务中通过发现潜在结构来发展抽象概念的能力。
2026-03-30 cs.AI cs.LG
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo（滑铁卢大学）
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性，符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年，但基于深度学习的方法相对较新，是一个活跃的研究领域。在这项工作中，我们提出了SymbolicGPT，一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点，包括性能和灵活性方面的优势。通过全面的实验，我们表明，我们的模型表现强劲的竞争模型的准确性，运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
SpatialMath: Spatial Comprehension-Infused Symbolic Reasoning for Mathematical Problem-Solving
Indian Institute of Technology Delhi（印度理工学院德里）；Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎克）；Microsoft Research（微软研究院）
SpatialMath通过整合空间表示到结构化符号推理链中，提升多模态模型在视觉密集型数学问题中的推理能力。
2026-01-24 cs.CL cs.CV cs.LG
Relational reasoning and generalization using non-symbolic neural networks
Stanford University（斯坦福大学）
平等（身份）的概念是简单和普遍存在的，使其成为一个关键的案例研究更广泛的问题表示支持抽象的关系推理。以前的研究表明，神经网络不是人类关系推理的合适模型，因为它们不能表示数学上的同一性，即最基本的平等形式。我们重新讨论这个问题。在我们的实验中，我们使用任意表示和在单独的任务上预先训练的表示来评估平等的样本外泛化，以使它们具有结构。我们发现神经网络能够学习（1）基本等式（数学恒等式），（2）仅使用正训练实例的序列等式问题（学习ABA模式序列），以及（3）仅使用基本等式训练实例的复杂分层等式问题（“零射击”泛化）。在后两种情况下，我们的模型执行先前工作中提出的任务，以划分人类独特的符号能力。这些结果表明，符号推理的基本方面可以从数据驱动的非符号学习过程中出现。
2022-05-01 cs.AI cs.CL cs.LG
Exploring Hidden Semantics in Neural Networks with Symbolic Regression
China University of Petroleum-Beijing（中国石油大学（北京））；University of Wisconsin Milwaukee（威斯康星大学密尔沃基分校）
最近的许多研究集中在发展机制来解释神经网络（NN）的黑箱行为。然而，很少有工作已经做了提取潜在的隐藏语义（数学表示）的神经网络。一个简洁和明确的数学表示的神经网络模型可以提高其行为的理解和解释。为了满足这一需求，我们提出了一种新的符号回归方法神经工程（称为SRNet）发现的数学表达式的NN。SRNet创建了一个笛卡尔遗传编程（NNCGP）来表示NN中单个层的隐藏语义。然后，它利用多染色体NNCGP来表示NN的所有层的隐藏语义。该方法使用（1+ $λ$）进化策略（称为MNNCGP-ES）来提取神经网络中所有层的最终数学表达式。在12个符号回归基准和5个分类基准上的实验表明，SRNet不仅能够揭示神经网络各层之间的复杂关系，而且能够提取整个神经网络的数学表示。与LIME和MAPLE相比，SRNet具有更高的插值精度，并且倾向于逼近实际数据集上的真实模型。
2022-04-22 cs.LG cs.NE
A New Deterministic Technique for Symbolic Regression
Centro de investigación CITIC（CITIC研究中心）；University of A Coruña（拉科鲁尼亚大学）
本文描述了一种新的符号回归方法，它允许从数据集中找到数学表达式。这种方法有很强的数学基础。与其他方法如遗传编程相反，该方法是确定性的，并且不涉及初始解的群体的创建。相反，一个简单的表达式正在生长，直到它适合数据。实验结果表明，该方法在很短的计算时间内取得了与其他机器学习方法一样好的效果。该技术的另一个优点是表达式的复杂性可以被限制，因此系统可以返回用户可以容易地分析的数学表达式，这与诸如GSGP的其他技术相反。
2019-11-15 cs.LG stat.ML
Discovering Mathematical Formulas from Data via GPT-guided Monte Carlo Tree Search
ANNLAB, Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所ANNLAB）；School of Integrated Circuits, University of Chinese Academy of Sciences（中国科学院大学集成电路学院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
针对符号回归中现有MCTS方法搜索效率低、预训练策略网络泛化差的问题，提出SR-GPT算法，将GPT与MCTS耦合互优化，在多数据集上的表达式恢复效果超越当前最优算法。
2024-01-30 cs.AI cs.LG
Symbolic integration by integrating learning models with different strengths and weaknesses
Keio University（庆应义塾大学）
集成是不可或缺的，不仅在数学中，而且在其他广泛的领域。最近开发了一种深度学习方法，并显示出能够集成以前无法在计算机上集成的数学函数。然而，该方法将集成视为等同于自然语言翻译，并且不反映数学信息。在这项研究中，我们调整了学习模型，将数学信息考虑在内，并开发了一系列学习模型，这些模型可以更稳健地学习数值运算的顺序。这样，我们取得了98.80%的正确回答率与符号积分，比任何现有的方法，更高的速度。根据原函数的导数与被积函数是否一致来判断积分的正确性。基于该策略构建的集成模型，通过符号积分，正确率达到99.79%。
2021-03-09 cs.LG cs.SC
Symbolic Physics Learner: Discovering governing equations via Monte Carlo tree search
Northeastern University（东北大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Notre Dame（圣母大学）；Renmin University of China（中国人民大学）
非线性动力学在自然界中普遍存在，在各种科学和工程学科中都很常见。从有限的数据中提取控制非线性动力学的分析表达式仍然至关重要但具有挑战性。为了解决这个根本问题，我们提出了一种新的符号物理学习机（SPL）发现非线性动力学的数学结构。其核心思想是通过计算规则和符号解释数学运算和系统状态变量，通过表达式树建立数学公式的符号推理，并采用蒙特卡罗树搜索（MCTS）代理根据测量数据探索最优表达式树。MCTS代理通过遍历表达式树获得一个乐观的选择策略，其特征在于映射到底层物理的算术表达式。所提出的框架的显着特点包括搜索的灵活性和发现方程的简约性的执法。SPL机的有效性和优越性证明了数值例子，与国家的最先进的基线。
2023-02-02 cs.AI cs.LG cs.SC
Symbolically Solving Partial Differential Equations using Deep Learning
我们描述了一种基于神经元的方法，用于以数学表达式的形式生成微分方程的精确或近似解。与其他神经方法不同，我们的系统返回可以直接解释的符号表达式。我们的方法使用神经架构来学习数学表达式以优化可定制的目标，并且是可扩展的，紧凑的，并且容易适应各种任务和配置。该系统已被证明可以有效地找到各种微分方程的精确或近似符号解，并在自然科学中得到应用。在这项工作中，我们强调我们的方法如何适用于多变量偏微分方程和更复杂的边界和初值条件。
2020-11-12 cs.LG cs.NE cs.SC
GSR: A Generalized Symbolic Regression Approach
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
在机器学习中，识别最能描述数据集的数学关系仍然是一个非常具有挑战性的问题，被称为符号回归（SR）。与通常被视为黑箱的神经网络相比，SR试图通过组装分析函数来洞察给定数据集的自变量和目标变量之间的潜在关系。在本文中，我们提出了GSR，广义符号回归方法，通过修改传统的SR优化问题的制定，同时保持主要SR目标不变。在GSR中，我们推断自变量和目标变量的某些变换之间的数学关系。我们约束我们的搜索空间的基函数的加权和，并提出了一个基于矩阵的编码方案的遗传编程方法。我们表明，我们的GSR方法是有竞争力的强大SR基准方法，实现了有前途的实验性能上著名的SR基准问题集。最后，我们强调GSR的优势，通过引入SymSet，一个新的SR基准集，这是更具有挑战性的相对于现有的基准。
2023-01-08 cs.AI cs.LG cs.NE
Scalable Neural Symbolic Regression using Control Variables
School of Computer Science（计算机科学学院）；GaTech（佐治亚理工学院）；School of Computing and Data Science（计算与数据科学学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；William & Mary（威廉玛丽学院）；Department of EECS（电子工程与计算机科学系）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Wake Forest University（维克森林大学）
针对现有符号回归方法处理多变量复杂方程时的可扩展性问题，提出ScaleSR模型，通过控制变量将多变量SR分解为单变量问题自底向上组合，在多基准集上性能优于SOTA且大幅缩减搜索空间。
2024-07-09 cs.LG
A Symbolic Framework for Evaluating Mathematical Reasoning and Generalisation with Transformers
University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
提出基于符号引擎生成并扰动方程推导的评估框架，揭示 BERT 与 GPT 在分布外数学推理及间接数学实体引用上的共同弱点。
2024-04-08 cs.CL cs.LG
Deep Symbolic Optimization for Combinatorial Optimization: Accelerating Node Selection by Discovering Potential Heuristics
University of Science and Technology of China（中国科学技术大学）
针对传统组合优化求解器依赖人工调优、深度学习方法成本高且可解释性差的问题，提出融合二者优势的Dso4NS框架，通过数据驱动搜索符号表达式优化B&B节点选择，在CPU上实现了媲美GPU顶尖方法的性能。
2024-07-10 cs.LG
Discovering an interpretable mathematical expression for a full wind-turbine wake with artificial intelligence enhanced symbolic regression
School of Ocean and Civil Engineering, Shanghai Jiao Tong University（上海交通大学海洋与土木工程学院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）
本研究提出一种遗传符号回归算法，结合双高斯分布领域知识与分层方程结构，发现了全尾流区平均速度亏损的可解释数学表达式，该模型经实验与高保真数值模拟验证，具备高精度与稳健性。
2024-06-02 cs.LG cs.SC physics.flu-dyn
Adaptive Problem Generation via Symbolic Representations
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联盟研究技术）；Massachusetts Institute of Technology（麻省理工学院）；Singapore Management University（新加坡管理大学）
本文提出通过符号表示生成自适应问题，以提升小型语言模型在数学任务上的表现。
2026-02-22 cs.LG
E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出E-Gen，一种基于e-graph的大规模数学表达式数据集生成方案，并利用等价生成与对比学习训练嵌入模型，在多个数学语言处理任务上超越先前方法和大语言模型。
2025-03-09 cs.CL cs.LG cs.SC
Decomposable Neural Symbolic Regression
Gianforte School of Computing（吉安福特计算学院）；Montana State University（蒙塔纳州立大学）
本文提出一种可解释的神经符号回归方法，利用Transformer、遗传算法和遗传编程生成可解释的多元表达式，通过多集合Transformer生成单变量符号骨架，并通过GA和GP融合优化，实现比其他方法更准确的数学表达。
2026-08-25 cs.LG
Deep Learning for Symbolic Mathematics
Facebook AI Research（脸书人工智能研究院）
神经网络在解决统计或近似问题方面比在执行计算或处理符号数据方面更好。在本文中，我们表明，他们可以令人惊讶地擅长更详细的数学任务，如符号积分和解微分方程。我们提出了一个语法表示的数学问题，和方法生成大型数据集，可用于训练序列到序列模型。我们取得的结果优于商业计算机代数系统，如矩阵或数学软件。
2019-12-02 cs.LG cs.SC
SymTorch: Symbolic Distillation of Neural Networks
Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系）
SymTorch通过符号化蒸馏方法，将神经网络组件转化为可解释的数学表达式，揭示训练过程中学习的函数结构。其在物理定律自动发现中表现出色，包括从图神经网络中恢复相互作用力、从物理启发型神经网络中提取精确解，以及揭示洛伦兹系统的混沌动力学。
2026-05-11 cs.LG
Improving exploration in policy gradient search: Application to symbolic optimization
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
许多设计用于自动化数学任务的机器学习策略利用神经网络来搜索数学符号的大型组合空间。与传统的进化方法相比，在搜索的核心使用神经网络允许学习更高级别的符号模式，提供明智的方向来指导搜索。当没有标记数据可用时，仍然可以使用强化学习来训练这样的网络。然而，我们证明，这种方法可以从早期的承诺现象和初始化偏差，这两个限制探索。我们提出了两种探索方法来解决这些问题，建立在熵正则化和分布初始化的想法。我们表明，这些技术可以提高性能，增加样本效率，并降低符号回归任务的解决方案的复杂性。
2021-07-19 cs.LG stat.ML
Artificial Intelligence for Mathematical Reasoning: An Integrated Survey of Language Models, Neuro-symbolic Systems, and Verified Discovery
University of California, Berkeley（加州大学伯克利分校）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
本文综述了数学推理领域从早期规则系统到当代推理模型、多智能体系统及验证发现工作流的演变，沿非正式推理、形式推理、数学发现及推理技术四轴组织，并评估了基准测试、失败模式及未来方向。
2026-07-28 cs.AI cs.CL cs.CV
End-to-end symbolic regression with transformers
Meta AI；Sorbonne Université（索邦大学）；Ecole Normale Supérieure（巴黎高等师范学院）
符号回归是一项困难的任务，它通过观察一个函数的值来预测它的数学表达式，通常包括两个步骤：预测表达式的“骨架”直到选择数值常数，然后通过优化非凸损失函数来拟合常数。占主导地位的方法是遗传编程，它通过迭代这个子例程大量的时间演变的候选人。神经网络最近被要求在一次尝试中预测正确的骨架，但仍然没有那么强大。在本文中，我们挑战这个两步的过程，任务Transformer直接预测完整的数学表达式，包括常数。随后可以通过将它们馈送到非凸优化器作为知情的初始化来细化预测的常数。我们提出消融表明，这种端到端的方法产生更好的结果，有时甚至没有细化步骤。我们评估我们的模型从SRBench基准测试的问题，并表明我们的模型的性能接近国家的最先进的遗传编程与几个数量级更快的推理。
2022-04-22 cs.LG
Agentic Symbolic Search: Characterizing PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks
National University of Singapore（新加坡国立大学）
提出ASYS框架，通过智能体将PDE理论转化为可微分符号程序，结合进化搜索和梯度优化自动发现解析形式或近似，在多个问题中生成可解释表示。
2026-06-19 cs.LG cs.NA math.NA
NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning Tasks
Arizona State University（亚利桑那州立大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
鉴于数字在文本中无处不在的性质，用数字进行推理来执行简单的计算是AI系统的一项重要技能。虽然为此开发了许多数据集和模型，但最先进的人工智能系统是脆弱的;当它们出现在稍微不同的场景中时，无法执行底层的数学推理。从在自然语言理解背景下提出的GLUE中汲取灵感，我们提出了NumGLUE，这是一个多任务基准，用于评估AI系统在八个不同任务上的性能，其核心要求简单的算术理解。我们发现，这个基准远远不能用神经模型来解决，包括最先进的大规模语言模型，它们的表现明显比人类差（低46.4%）。此外，NumGLUE促进了跨任务的知识共享，特别是那些训练数据有限的任务，当一个模型在所有任务上联合训练时，与特定于任务的建模相比，其优越的性能（每个任务的平均增益为3.4%）证明了这一点。最后，我们希望NumGLUE能够鼓励系统在语言中执行强大和通用的算术推理，这是朝着能够执行更复杂的数学推理迈出的第一步。
2022-04-12 cs.AI cs.CL cs.LG
Identification of Empirical Constitutive Models for Age-Hardenable Aluminium Alloy and High-Chromium Martensitic Steel Using Symbolic Regression
University of Bremen（不莱梅大学）；Leibniz Institute for Materials Engineering – IWT（莱比锡材料工程研究所）；University of Applied Sciences Upper Austria（上奥地利应用技术大学）
本研究针对材料科学中过程-结构-性能关系的建模需求，提出使用符号回归推导时效硬化铝合金和高铬马氏体钢的塑性变形本构模型，通过两种测试方法获取数据，验证了该方法的优势并讨论了挑战。
2025-11-11 cond-mat.mtrl-sci cs.LG
Symbolic Equation Solving via Reinforcement Learning
RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所 emergen 物质科学中心（CEMS））；School of Mathematical Sciences, Queen Mary University of London（伦敦玛丽女王大学数学科学学院）；The University of Tokyo（东京大学）
提出一种基于强化学习智能体操作符号栈计算器的深度学习接口，实现精确数学变换，无幻觉，能自主发现规则并逐步求解符号线性方程。
2024-11-04 cs.LG cs.SC
Discovering interpretable elastoplasticity models via the neural polynomial method enabled symbolic regressions
Columbia University（哥伦比亚大学）
本文提出一种两步机器学习方法，结合代理模型与符号回归，将神经网络弹塑性模型转化为可解释的数学表达式，克服扩展性问题并提升可移植性。
2024-02-01 cs.CE cs.LG
Moxia: A Trust-First Neuro-Symbolic Execution Architecture for Self-Explaining Mathematical Reasoning
Independent researcher（独立研究者）
提出AXIOM架构，将语言模型限制为规范化器，通过确定性计算机代数系统管道实现可验证的数学推理，在4个MATH类别上达到94.36%的正确率和100%的信任度。
2026-08-13 cs.AI cs.CL cs.LG
Seeing Through Risk: A Symbolic Approximation of Prospect Theory
Tradeweb Markets；Western University（西方大学）
提出一种融合前景理论的可解释符号建模框架，用效应量引导特征替代不透明函数，在合成数据上验证了框架效应与损失厌恶，兼具预测性能与心理可解释性。
2025-04-20 cs.AI cs.LG math.OC
