Smooth Symbolic Regression: Transformation of Symbolic Regression into a Real-valued Optimization Problem
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
符号回归的典型方法在候选解中产生相当突然的变化。在这项工作中，我们试图将符号回归从一个优化问题，一个如此崎岖的景观，典型的分析方法不会产生有意义的结果，一个可以与典型的和非常平滑的实值问题进行比较。虽然坚固性可能不会干扰优化的性能，但它限制了分析的可能性。在这里，我们探索了转换的不同方面，并提出了一个简单的过程来创建从符号回归问题的实值优化问题。
2021-08-06 cs.LG
Steel Phase Kinetics Modeling using Symbolic Regression
University of Applied Sciences Upper Austria（上奥地利应用科学大学）；MCL Forschungs GmbH（MCL研究有限责任公司）
本文描述了一种基于符号回归和遗传编程的钢相动力学经验建模方法。该算法采用从粘度计测量收集的处理数据，并产生模拟相动力学的微分方程系统。我们的初步结果表明，所提出的方法可以识别紧凑的微分方程，适合的数据。该模型预测铁素体，珠光体和贝氏体形成为一个单一的钢类型。模型中尚未包括马氏体。未来的工作应包括马氏体和推广到多种不同的化学成分的钢类型。
2022-12-19 cs.LG cs.NE
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris（巴黎大学）；Ochanomizu University（御茶水女子大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通过结合遗传编程，MAP精英和协方差矩阵自适应演化策略，我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索，同时保持多样性并避免过早收敛和膨胀。然后，协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题，我们的算法是能够找到正是大多数的$31$目标提取的文献上，我们评估它。
2019-06-10 cs.LG cs.NE
Evaluation of Population Initialization Methods for Genetic Programming-based Symbolic Regression
Heuristic and Evolutionary Algorithms Laboratory, University of Applied Sciences Upper Austria（上奥地利应用科学大学启发式与进化算法实验室）；Astrophysics, University of Oxford（牛津大学天体物理学系）；Institute of Cosmology & Gravitation, University of Portsmouth（朴茨茅斯大学宇宙学与引力研究所）
研究遗传编程符号回归中不同种群初始化方法对解精度和复杂度的影响，发现初始化方法对最终帕累托前沿的影响可忽略。
2026-07-01 cs.LG cs.NE
Complexity Measures for Multi-objective Symbolic Regression
University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
多目标符号回归的优点是，在最大化学习模型的准确性的同时，复杂性自动适应，并且不需要事先指定。优化的结果不再是一个单一的解决方案，而是一个完整的帕累托前沿，描述了准确性和复杂性之间的权衡。在这篇文章中，我们研究了在使用NSGA-II进行多目标优化时，哪些复杂性度量最适合用于符号回归。此外，我们提出了一种新的复杂性措施，包括语义信息的基础上发生的功能符号的模型，并测试其效果在几个基准数据集。比较多个复杂性措施的结果中所取得的精度和模型长度，以说明如何搜索方向的算法受到影响。
2021-09-01 cs.LG cs.NE
LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington（惠灵顿维多利亚大学数据科学与人工智能中心及工程与计算机科学学院）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）
本文提出一种元学习框架，使LLM自动设计进化符号回归算法的选择算子，解决现有方法中语义指导不足和代码膨胀问题，实验表明LLM设计的选择算子优于九个专家设计基线，达到最先进的性能。
2026-03-31 cs.AI cs.LG cs.NE
Dimension Reduction for Symbolic Regression
针对符号回归中公式恢复困难的问题，提出通过搜索小替换并测试函数依赖性来迭代降维，可显著提升多种最先进符号回归算法的性能。
2025-06-24 cs.LG
Adaptive Protection for Evolutionary Feature Construction in Symbolic Regression with Application to Credit Classification
Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；School of Engineering and Computer Science（工程与计算机科学学院）；Victoria University of Wellington（惠灵顿维多利亚大学）；Business School, Sichuan University（四川大学商学院）；Michigan State University（密歇根州立大学）
针对符号回归进化特征构建中重要特征易丢失的问题，提出基于特征重要性的自适应保护机制，经98个回归基准数据集和2个信用分类数据集验证，可提升解质量与搜索效率。
2026-08-17 cs.LG cs.NE
Bayesian Symbolic Regression via Posterior Sampling
NASA Langley Research Center（美国国家航空航天局兰利研究中心）
本文提出一种基于SMC的贝叶斯符号回归方法，通过概率选择、自适应温度调节和归一化边际似然，提高噪声环境下符号回归的鲁棒性和泛化能力。
2025-12-11 cs.LG
Symbolic Regression via Neural-Guided Genetic Programming Population Seeding
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
符号回归是识别符合黑箱过程的观测输出的数学表达式的过程。这是一个离散优化问题，通常被认为是NP-难的。解决该问题的现有方法包括神经引导搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/遗传编程的方法，符号回归和其他组合优化问题。我们提出了一个神经元引导的组件用于种子的随机重启遗传编程组件的起始人口，逐渐学习更好的起始人口。在一些常见的基准测试任务中，从数据集中恢复底层表达式，我们的方法比最近发布的使用相同实验设置的最佳模型多恢复65%的表达式。我们证明，在不依赖神经引导组件的情况下运行许多代遗传编程，对于符号回归来说，比两者耦合更强的替代公式表现得更好。最后，我们引入了一组新的22个符号回归基准问题，其难度比现有基准更高。源代码在www.github.com/brendenpetersen/deep-symbolic-optimization上提供。
2021-11-17 cs.AI cs.LG cs.NE
Neuro-Evolutionary Approach to Physics-Aware Symbolic Regression
Czech Institute of Informatics, Robotics, and Cybernetics CTU in Prague（捷克信息学、机器人学和自动化研究中心CTU布拉格分校）；Dept. of Cognitive Robotics, TU Delft（认知机器人学系代尔夫特理工大学）；CIIRC, CTU in Prague（智能信息研究中心CTU布拉格分校）
提出一种结合进化搜索神经网络拓扑与梯度调参的神经进化符号回归方法，利用记忆策略和群体扰动避免过早收敛，在三个真实问题上优于其他基于NN的方法。
2025-04-23 cs.LG cs.NE
Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
UCI（加州大学欧文分校）
研究符号回归能否发现优于标准优化器的神经网络权重更新规则，通过固定深度符号表达式表示候选规则，在30个组合中25次找到更好规则，总均方误差降低44.47%，表明其可发现紧凑优化器变体但需大规模验证。
2026-07-27 cs.LG
Neural Symbolic Regression that Scales
ETH（苏黎世联邦理工学院）；CSEM SA（瑞士电子与微技术中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
符号方程是科学发现的核心。从一组输入输出对中发现潜在方程的任务称为符号回归。传统上，符号回归方法使用手工设计的策略，这些策略不会随着经验而改进。在本文中，我们介绍了第一个利用大规模预训练的符号回归方法。我们程序化地生成一组无界方程，同时预训练一个Transformer，以从相应的一组输入输出对预测符号方程。在测试时，我们在一组新的点上查询模型，并使用其输出来指导对方程的搜索。我们的经验表明，这种方法可以重新发现一组众所周知的物理方程，并且随着时间的推移，它会随着更多的数据和计算而改进。
2021-06-11 cs.LG
Scaling Up Unbiased Search-based Symbolic Regression
Friedrich Schiller University（弗里德里希-席勒大学）；University Hospital Jena（耶纳大学医院）
本文提出系统搜索小表达式空间的无偏符号回归方法，在基准数据集上比现有方法更准确、更抗噪，且能更好地恢复真实符号表达式。
2025-06-24 cs.LG
SPINEX_ Symbolic Regression: Similarity-based Symbolic Regression with Explainable Neighbors Exploration
Clemson University（克莱姆森大学）；University of Manitoba（曼尼托巴大学）
本研究提出基于SPINEX系列的新型符号回归算法SPINEX_SymbolicRegression，通过基于相似度的方法筛选高精度高结构相似度的表达式，在180余个国际基准函数测试中表现稳定且部分场景优于主流算法，兼具可解释性。
2024-11-05 cs.LG stat.CO
Symbolic-Diffusion: Deep Learning Based Symbolic Regression with D3PM Discrete Token Diffusion
Department of Mechatronics Engineering University of Waterloo（机械工程系大学水力学院）；Department of Computer Science University of Waterloo（计算机科学系大学水力学院）；Department of Statistics and Actuarial Science University of Waterloo（统计与精算科学系大学水力学院）
本文提出符号扩散模型，利用D3PM离散令牌扩散同时生成方程所有令牌，在符号回归任务中相比自回归方法取得相当或更优性能，开辟了新的研究方向。
2025-10-08 cs.LG
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo（滑铁卢大学）
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性，符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年，但基于深度学习的方法相对较新，是一个活跃的研究领域。在这项工作中，我们提出了SymbolicGPT，一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点，包括性能和灵活性方面的优势。通过全面的实验，我们表明，我们的模型表现强劲的竞争模型的准确性，运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
Deep Variational Inference Symbolic Regression
Clinical Operational Research Unit（临床运营研究单位）；University College London（伦敦大学学院）；Department of Computer Science（计算机科学系）
本文提出深度变分推断符号回归（DVISR），通过变分贝叶斯方法改进深度符号回归，实现对表达式树及其常数的后验推断，提升在噪声和有限数据下的不确定性量化能力。
2026-05-01 cs.LG
Interaction-Transformation Evolutionary Algorithm for Symbolic Regression
Federal University of ABC（ABC联邦大学）
交互转换（IT）是符号回归的一种新表示，它将搜索空间限制为更简单但表达性更强的函数形式。这种表示的优点是创建了一个更平滑的搜索空间，不像遗传编程中使用的常用表示--表达式树所生成的空间。本文介绍了一种进化算法，能够进化的人口IT表达式只支持的变异算子。结果表明，这种表示是能够找到更好的近似真实世界的数据集相比，传统的方法和最先进的遗传编程算法。
2020-09-20 cs.LG cs.NE stat.ML
Symbolic Regression Algorithms with Built-in Linear Regression
最近，出现了几种符号回归（SR）算法，它们采用一种形式的多元线性回归（LR）来产生广义线性模型。LR的使用允许算法从搜索开始就以相对较小的误差创建模型;因此，这种算法被声称比基于香草遗传编程的SR算法快（有时是数量级）。然而，这些算法在一组常见的问题上的系统比较仍然缺失。在本文中，我们从概念上和实验上比较几个代表这样的算法（GPTIPS，FFX和EFS）。它们作为现成的、即用型技术应用，主要使用其默认设置。几个合成和现实世界的SR基准问题的方法进行了比较。它们的性能也与三种传统的机器学习算法--多元回归、随机森林和支持向量回归的性能有关。
2017-03-10 cs.LG
Symbolic regression outperforms other models for small data sets
Abzu AI
机器学习通常应用于健康科学，以获得对复杂现象和关系的预测和新的理解，但用于模型训练的足够数据的可用性是一个普遍的问题。传统的机器学习技术，如随机森林和梯度提升，在处理只有几百个观测值的数据集时往往会过拟合。本研究表明，对于250个观察值的小型训练集，符号回归比传统的机器学习框架更好地概括样本外数据，这是通过验证集上的决定系数R2来衡量的。在240种情况中的132种情况下，符号回归在样本外数据上实现了比任何其他模型更高的R2。此外，符号回归还保留了线性模型和决策树的可解释性，这是其优越的泛化能力的额外好处。第二个最好的算法是随机森林，它在240个案例中的37个案例中表现最好。当将比较限制在可解释的模型时，符号回归在240种情况中的184种情况下表现最好。
2021-05-16 cs.LG
Discovering Symmetries of ODEs by Symbolic Regression
Paul Kahlmeyer, Niklas Merk, Joachim Giesen（未知）
针对常微分方程（ODEs）中李点对称性难以自动求解的问题，提出基于搜索的符号回归方法来寻找李点对称性生成元，从而发现现有计算机代数系统（CASs）无法找到的ODEs对称性。
2025-06-24 cs.LG
Neural Structure Embedding for Symbolic Regression via Continuous Structure Search and Coefficient Optimization
Department of Electrical Engineering and Computer Science, University of Kansas（电气工程与计算机科学系，堪萨斯大学）
本文提出SRCO框架，通过将符号结构转化为连续可优化表示空间，提升符号回归的效率与准确性，实验表明在方程精度、鲁棒性和搜索效率上优于现有方法。
2026-03-23 cs.LG
A Comparison of Recent Algorithms for Symbolic Regression to Genetic Programming
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
本文比较了端到端transformer符号回归模型与基于遗传编程的传统方法，在新数据集上的实验表明Operon等传统遗传编程方法仍优于两种近期提出的符号回归方法。
2024-06-05 cs.AI cs.LG
KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework
ETH Zürich（苏黎世联邦理工学院）
本文提出基于Kolmogorov-Arnold网络的KAN-SR框架，通过深度学习技术和简化策略恢复Feynman符号回归科学发现数据集的真实方程，并结合神经控制微分方程精确建模生物过程系统。
2025-09-12 cs.LG
Enhancing Symbolic Regression and Universal Physics-Informed Neural Networks with Dimensional Analysis
Cheriton School of Computer Science（切尔顿计算机科学学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Waterloo（滑铁卢大学）；Electrical Engineering and Computer Science Department（电气工程与计算机科学系）；Department of Applied Mathematics（应用数学系）；University of Michigan（密歇根大学）
提出结合量纲分析（Buckingham Π定理和Ipsen方法）与符号回归及通用物理信息神经网络，通过无量纲化降低输入维度、减少过拟合，提高微分方程未知项恢复的准确性和计算效率。
2026-06-23 cs.LG
OccamNet: A Fast Neural Model for Symbolic Regression at Scale
Massachusetts Institute of Technology（麻省理工学院）
本文提出OccamNet，一种通过概率分布采样函数并结合强化学习交叉熵匹配训练的神经符号回归模型，能以低内存开销快速找到紧凑可解释的符号拟合，并在多种任务上超越现有方法。
2023-11-28 cs.LG cs.NE stat.ML
Genetic Programming Based Symbolic Regression for Analytical Solutions to Differential Equations
University of Utah（犹他大学）；Scientific Computing and Imaging Institute（科学计算与成像研究所）；NASA Langley Research Center（美国国家航空航天局兰利研究中心）
在本文中，我们提出了一个机器学习方法发现的解析解微分方程。该方法利用了一个内在的解释算法，遗传编程为基础的符号回归。与传统的准确性措施在机器学习，我们证明了恢复真正的解析解的能力，而不是数值近似。该方法通过评估其恢复已知的两个单独的微分方程的解析解的能力进行验证。所开发的方法相比，一个传统的，纯粹的数据驱动的遗传编程为基础的符号回归算法。的真实的解决方案，或一个代数等价物，成功的进化的可靠性，证明。
2023-02-07 cs.LG
Symplectically Integrated Symbolic Regression of Hamiltonian Dynamical Systems
Dartmouth College（达特茅斯学院）
在这里，我们提出了符号集成符号回归（SISR），从数据中学习物理控制方程的一种新技术。SISR采用深度符号回归方法，使用具有突变的多层LSTM-RNN对Hamilton符号表达式进行概率采样。使用辛神经网络，我们开发了一种与模型无关的方法，用于从数据中提取有意义的物理先验，这些先验可以即时施加到RNN输出中，限制其搜索空间。RNN生成的哈密顿算子使用四阶辛积分方案进行优化和评估;预测性能用于训练LSTM-RNN，以通过风险寻求策略梯度方法生成越来越好的函数。采用这些技术，我们提取正确的控制方程的振子，摆，两体和三体引力系统的噪声和非常小的数据集。
2022-09-04 cs.LG
Active Learning in Symbolic Regression with Physical Constraints
University of Rochester（罗切斯特大学）
本文提出将符号回归与基于委员会查询的主动学习及物理约束结合，以选择后续实验并在极少数据下恢复已知方程。
2024-08-09 cs.LG cs.NE physics.chem-ph
Racing Control Variable Genetic Programming for Symbolic Regression
Purdue University（普渡大学）
针对符号回归中固定实验调度导致发现过程延迟的问题，提出竞速控制变量遗传规划（Racing-CVGP），通过并行执行多个实验调度并提前淘汰不利调度，显著加速方程发现过程，在合成与真实数据集上均优于现有方法。
2023-09-13 cs.AI cs.LG cs.NE
Online Symbolic Regression with Informative Query
State Key Lab of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所处理器国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）
符号回归是从观测数据$\{ \vx_i, y_i \}$中提取数学表达式的任务，在科学发现中起着至关重要的作用。尽管现有的方法有前途的性能，他们中的大多数进行符号回归\textit{offline}设置。也就是说，他们将观察到的数据点视为给定的数据点，这些数据点只是从均匀分布中采样，而没有探索数据的表达潜力。然而，对于现实世界的科学问题，用于符号回归的数据通常是通过做实验主动获得的，这是一个\textit{online}设置。因此，如何获得信息的数据，可以促进符号回归过程是一个重要的问题，仍然具有挑战性。在本文中，我们提出了QUOSR，\textbf{qu} ery为基础的框架\textbf{o} nline \textbf{s}象征性的\textbf{r}出口，可以自动获得信息数据的迭代方式。具体来说，在每一步中，QUOSR接收历史数据点，生成新的$\vx$，然后查询符号表达式得到相应的$y$，其中$(\vx, y)$作为新的数据点。重复此过程，直到达到最大查询步骤数。为了使生成的数据点信息丰富，我们实现了一个神经网络的框架和训练它通过最大限度地提高生成的数据点和目标表达之间的互信息。通过综合实验，我们表明，QUOSR可以通过生成信息丰富的数据来促进现代符号回归方法。
2023-02-21 cs.LG
SNIP++: Fine-Grained Symbolic-Numerical Alignment for Symbolic Regression
Université Laval（拉瓦尔大学）；Mila（米拉研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对符号回归中多模态嵌入仅全局对齐、无法感知局部编辑影响的问题，提出SNIP++方法，通过结构位置编码与多粒度对比学习实现细粒度符号-数值对齐，显著提升局部编辑区分能力并迁移至外部语料库。
2026-09-29 cs.AI cs.LG cs.NE
Parsing the Language of Expression: Enhancing Symbolic Regression with Domain-Aware Symbolic Priors
Purdue University（普渡大学）；University of Florida（佛罗里达大学）；University of Maryland College Park（马里兰大学帕克分校）
本文提出一种融合多科学领域符号先验的符号回归方法，通过树结构循环神经网络和分层树表示提升表达式生成效率与准确性，实验表明该方法收敛更快、精度更高。
2025-03-12 cs.LG cs.SC
Symbolic Regression via Control Variable Genetic Programming
Purdue University（普渡大学）
针对多自变量符号回归难题，受科学控制变量实验启发提出CVGP方法，通过增量式变量引入与定制实验设计缩减搜索空间，理论与实验均验证其优于现有基线。
2023-05-25 cs.AI cs.LG cs.NE
Active Learning Improves Performance on Symbolic RegressionTasks in StackGP
Michigan State University（密歇根州立大学）
在本文中，我们介绍了一个主动学习方法的符号回归使用StackGP。该方法从StackGP建模的少量数据点开始。为了改进模型，系统递增地添加数据点，使得新点最大化由模型集合测量的预测不确定性。使用较大的数据集重新运行符号回归。这个循环继续，直到系统满足终止标准。我们使用Feynman AI基准方程组来检查我们的方法使用更少数据点找到合适模型的能力。该方法成功地重新发现了100个费曼方程中的72个，使用尽可能少的数据点，而无需使用领域专业知识或数据翻译。
2022-02-09 cs.LG
Neural-Guided Symbolic Regression with Asymptotic Constraints
Google Research（谷歌研究院）
符号回归是一种离散优化问题，涉及搜索适合给定数据点的表达式。在许多情况下，关于未知表达式的其他数学约束不仅提供了除了某些输入处的值之外的更多信息，而且还有效地约束了搜索空间。我们确定的渐近约束的领导多项式权力的功能接近零和无穷大的有用的约束，并创建一个系统，使用它们的符号回归。该系统的第一部分是一个有条件的产生式规则生成神经网络，优先生成产生式规则，以构建表达式所需的领导权力，产生新的表达式外的训练域。第二部分，我们称之为神经引导的蒙特卡罗树搜索，在搜索过程中使用网络来找到符合一组数据点和期望的领先功率的表达式。最后，我们对数千个目标表达式进行了广泛的实验验证，与现有的在训练集之外寻找未知函数的方法相比，我们的系统显示了有效性。
2019-12-23 cs.LG cs.NE stat.ML
A Transformer Model for Symbolic Regression towards Scientific Discovery
OMRON SINIC X Corporation（欧姆龙 SINIC X 公司）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Amazon Alexa（亚马逊 Alexa）；Tohoku University（东北大学）
本文提出一种面向科学发现的符号回归Transformer模型，通过设计三种灵活性递增的编码器架构防止过拟合，在SRSD数据集上以归一化树编辑距离取得最先进结果且不增加计算成本。
2023-12-13 cs.LG
Symbolic Regression with Multimodal Large Language Models and Kolmogorov Arnold Networks
NSF AI Institute for Fundamental Interactions, MIT, Cambridge, MA 02139, USA（NSF人工智能基础相互作用研究所，麻省理工学院，剑桥，马萨诸塞州，02139，美国）；Department of Physics, Northeastern University, Boston, MA 02115, USA（物理系，东北大学，波士顿，马萨诸塞州，02115，美国）；Department of Mathematics, Northeastern University, Boston, MA 02115, USA（数学系，东北大学，波士顿，马萨诸塞州，02115，美国）；Rudolf Peierls Centre for Theoretical Physics, University of Oxford, Oxford OX1 2JD, UK（鲁道夫·佩尔尔斯理论物理中心，牛津大学，牛津 OX1 2JD，英国）
本研究提出结合视觉大语言模型与KAN的新型符号回归方法，以LLM生成函数试探解构成遗传算法种群，无需预设函数集，验证了单变量的有效性并拓展至多变量场景。
2025-05-12 cs.LG cs.NE cs.SC
Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models
Algoverse AI Research（Algoverse AI研究院）
针对符号回归中Transformer模型在小数据集上性能下降的问题，提出应用k折交叉验证技术，在缩减至15,000个数据点的数据集上训练，验证损失相对改进53.31%，显著提升模型泛化与一致性。
2025-06-30 cs.CL cs.LG
GSR: A Generalized Symbolic Regression Approach
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
在机器学习中，识别最能描述数据集的数学关系仍然是一个非常具有挑战性的问题，被称为符号回归（SR）。与通常被视为黑箱的神经网络相比，SR试图通过组装分析函数来洞察给定数据集的自变量和目标变量之间的潜在关系。在本文中，我们提出了GSR，广义符号回归方法，通过修改传统的SR优化问题的制定，同时保持主要SR目标不变。在GSR中，我们推断自变量和目标变量的某些变换之间的数学关系。我们约束我们的搜索空间的基函数的加权和，并提出了一个基于矩阵的编码方案的遗传编程方法。我们表明，我们的GSR方法是有竞争力的强大SR基准方法，实现了有前途的实验性能上著名的SR基准问题集。最后，我们强调GSR的优势，通过引入SymSet，一个新的SR基准集，这是更具有挑战性的相对于现有的基准。
2023-01-08 cs.AI cs.LG cs.NE
Fast Symbolic Regression Benchmarking
Interdisciplinary Center for Scientific Computing, Heidelberg University, 69120 Heidelberg, Germany（科学计算跨学科研究中心，海德堡大学，69120海德堡，德国）
针对现有符号回归基准过度强调单一表达式恢复、依赖SymPy评估成功及未提前终止搜索的问题，引入可接受表达式列表和提前终止回调机制改进基准，基于SRSD问题测试两算法包，提升重发现率并降低计算开销。
2025-08-20 cs.LG
Deep Generative Symbolic Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出深度生成式符号回归（DGSR）框架，利用预训练深度生成模型捕捉方程内在规律，在多变量设置下提升了真实方程恢复率且推理更高效。
2023-12-30 cs.LG
Symbolic Regression by Exhaustive Search: Reducing the Search Space Using Syntactical Constraints and Efficient Semantic Structure Deduplication
University of Applied Sciences Upper Austria（上奥地利应用科技大学）；Johannes Kepler University（约翰内斯·开普勒大学）
符号回归是一种强大的系统辨识技术，在工业场景中，没有先验知识的模型结构。这些场景通常需要特定的模型属性，如可解释性，鲁棒性，可信度和可扩展性，这是不容易实现的使用标准的方法，如遗传编程的符号回归。在本章中，我们将介绍一个确定性的符号回归算法，专门设计来解决这些问题。该算法使用一个上下文无关文法产生的模型，参数化的非线性最小二乘局部优化过程。所有可能的模型的有限枚举是由结构限制以及用于检测语义等价的解决方案的缓存机制来保证的。枚举顺序是通过专门设计的算法来建立的，以提高搜索效率。一个全面的基准套件的实证测试表明，我们的方法是有竞争力的遗传编程在许多无噪声的问题，同时保持理想的属性，如简单，可靠的模型和再现性。
2021-09-28 cs.LG
Interpretable Scientific Discovery with Symbolic Regression: A Review
Qatar Computing Research Institute（卡塔尔计算研究所）
本综述聚焦符号回归这一可直接从数据中学习可解释数学表达式的机器学习方法，梳理了其从遗传编程到深度学习驱动的发展脉络，系统总结各类方法的优劣，覆盖多领域应用进展。
2023-05-02 cs.AI cs.LG hep-ph
Scalable Neural Symbolic Regression using Control Variables
School of Computer Science（计算机科学学院）；GaTech（佐治亚理工学院）；School of Computing and Data Science（计算与数据科学学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；William & Mary（威廉玛丽学院）；Department of EECS（电子工程与计算机科学系）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Wake Forest University（维克森林大学）
针对现有符号回归方法处理多变量复杂方程时的可扩展性问题，提出ScaleSR模型，通过控制变量将多变量SR分解为单变量问题自底向上组合，在多基准集上性能优于SOTA且大幅缩减搜索空间。
2024-07-09 cs.LG
Symbolic Regression Driven by Training Data and Prior Knowledge
Delft University of Technology（代尔夫特理工大学）
在符号回归中，对分析模型的搜索通常纯粹由在训练数据样本上观察到的预测误差驱动。然而，当数据样本不充分覆盖输入空间时，预测误差不提供朝向期望模型的充分指导。然后，标准的符号回归技术产生部分不正确的模型，例如，在其稳态特性或局部行为方面。如果在搜索过程中已经考虑到这些特性，则可以产生更准确和相关的模型。我们提出了一种多目标符号回归方法，该方法由训练数据和所需模型应表现的属性的先验知识驱动。以形式约束的形式给出的属性在内部由一组离散数据样本表示，候选模型在该样本上被精确地检查。所提出的方法进行了实验评估的三个测试问题的结果清楚地表明，它的能力，以发展现实的模型，适合的训练数据，同时符合所需的模型特性的先验知识在同一时间。它优于标准符号回归的几个数量级的均方差从参考模型。
2020-04-24 cs.AI cs.LG cs.NE
SymFormer: End-to-end symbolic regression using transformer-based architecture
Delft University of Technology（代尔夫特理工大学）
现实世界中的许多问题都可以用数学公式自然地描述。从一组观察到的输入和输出中找到公式的任务称为符号回归。近年来，神经网络已被应用于符号回归，其中基于变换的神经网络是最有前途的。在对Transformer进行大量公式（以天为单位）的训练之后，实际的推断，即，为新的、看不见的数据找到公式是非常快的（以秒的量级）。这比最先进的进化方法快得多。Transformers的主要缺点是它们生成的公式没有数值常数，必须单独优化，因此产生次优结果。我们提出了一种基于变换的方法称为SymFormer，它通过同时输出各个符号和相应的常数来预测公式。这导致在拟合可用数据方面的更好性能。此外，SymFormer提供的常数可作为后续通过梯度下降进行调整的良好起点，以进一步提高性能。我们在一组基准测试中表明，SymFormer在推理速度更快的同时，性能优于两种最先进的方法。
2022-10-20 cs.CV cs.LG cs.NE
Solving the 2D Advection-Diffusion Equation using Fixed-Depth Symbolic Regression and Symbolic Differentiation without Expression Trees
SDSU（圣地亚哥州立大学）
本文提出一种结合固定深度符号回归与无表达式树符号微分的新方法，用于高效求解二维对流扩散方程，并在两个不同边界条件下验证了其准确性与可扩展性。
2024-11-11 cs.LG cs.NA math.NA
Symbolic regression for scientific discovery: an application to wind speed forecasting
Maastricht University（马斯特里赫特大学）
符号回归对应于允许从数据中揭示分析方程的技术集合。通过一个封闭的形式公式，这些技术提供了巨大的优势，如潜在的科学发现新的法律，以及可解释性，特征工程以及快速推理。类似地，基于深度学习的技术已经显示出对复杂模式建模的非凡能力。本文的目的是应用最近的端到端的符号回归技术，即方程学习器（EQL），得到一个解析方程的风速预测。我们表明，这是可能的，可以获得一个分析方程，可以实现合理的精度，短期的视野预测，只使用几个功能。
2021-10-26 cs.LG physics.ao-ph
Deep Symbolic Regression for Recurrent Sequences
École Normale Supérieure（巴黎高等师范学院）；Meta AI；Sorbonne Université（索邦大学）
符号回归，即从其值的观察来预测函数，众所周知是一项具有挑战性的任务。在本文中，我们训练Transformers Transformers来推断整数或浮点数序列的函数或递归关系，这是人类智商测试中的一个典型任务，在机器学习文献中几乎没有解决。我们在OEIS序列的一个子集上评估了我们的整数模型，并表明它在递归预测方面优于内置的Mathematica函数。我们还表明，我们的浮动模型是能够产生信息的词汇表外的函数和常数，如$\operatorname{bessel0}(x)\approx \frac{\sin(x)+\cos(x)}{\sqrt{πx}}$和$1.644934\approx π^2/6$的近似。在https://symbolicregression.metademolab.com上提供了我们模型的交互式演示。
2022-06-28 cs.LG
Cluster Analysis of a Symbolic Regression Search Space
University of Applied Sciences Upper Austria（上奥地利应用科技大学）；Johannes Kepler University（约翰内斯·开普勒大学）
在本章中，我们将仔细研究遗传编程生成的符号回归模型在搜索空间中的分布。这项工作的动机是通过使用可以独立于目标函数预先计算的模型相似性信息来改进对拟合良好的符号回归模型的搜索。对于我们的分析，我们使用一个单变量符号回归模型的限制语法，并生成所有可能的模型到一个固定的长度限制。我们识别独特的模型，并根据表型和基因型相似性对它们进行聚类。我们发现，表型相似性导致定义明确的集群，而基因型相似性不产生一个明确的聚类。通过将GP访问的候选解映射到枚举的搜索空间，我们发现GP最初探索整个搜索空间，然后在一个简单的基准问题中收敛到最高质量表达式的子空间。
2021-09-28 cs.LG
A Reinforcement Learning Approach to Domain-Knowledge Inclusion Using Grammar Guided Symbolic Regression
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用数学实验室）；Réseau de Transport d’Electricité (Rte) R&D（法国电力传输网络研发部）
近年来，符号回归一直受到广泛关注，为潜在的大数据关系提供可解释的符号表示。符号回归方法最初被圈到遗传算法，现在包括各种基于深度学习的替代方法。然而，这些方法仍然不能很好地推广到现实世界的数据，主要是因为它们几乎不包括领域知识，也不考虑变量之间的物理关系，如已知的方程和单位。针对这些问题，我们提出了一种基于强化的语法引导的符号回归（RBG 2-SR）方法，该方法使用上下文无关文法作为强化动作空间，利用领域知识约束表示空间。我们详细介绍了一个部分可观测马尔可夫决策过程（POMDP）建模的问题和基准我们的方法对国家的最先进的方法。我们还分析了POMDP状态定义，并提出了一个物理方程搜索用例，我们比较我们的方法，基于语法和非基于语法的符号回归方法。实验结果表明，我们的方法是有竞争力的对其他国家的最先进的方法的基准，并提供了最好的错误复杂性权衡，突出了在现实世界中使用基于语法的方法的兴趣。
2022-02-09 cs.AI cs.LG
Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
发现描述数据集的底层数学表达式是人工智能的核心挑战。这是$\textit{symbolic regression}$的问题。尽管最近在训练神经网络以解决复杂任务方面取得了进展，但符号回归的深度学习方法尚未得到充分探索。我们提出了一个框架，通过一个简单的想法利用深度学习进行符号回归：使用大模型搜索小模型的空间。具体来说，我们使用一个递归神经网络发出一个分布在易于处理的数学表达式，并采用一种新的风险寻求策略梯度训练网络，以产生更好的拟合表达式。我们的算法优于几个基线方法（包括Eureqa，符号回归的黄金标准），它能够准确地恢复符号表达式的一系列基准问题，无论有没有添加噪声。更广泛地说，我们的贡献包括一个框架，可以应用于优化层次结构，可变长度的对象下的黑盒性能指标，能够将约束条件在原位，和风险寻求策略梯度制定，优化最佳情况下的性能，而不是预期的性能。
2021-04-05 cs.LG stat.ML
