Analyzing Generalization in Pre-Trained Symbolic Regression
Department of Computer Science University of Jena（计算机科学系 约纳大学）
本研究系统评估预训练符号回归模型的泛化能力，发现其在分布内表现良好但分布外性能持续下降，指出泛化差距是实际应用的关键障碍。
2025-09-24 cs.AI cs.LG
Smooth Symbolic Regression: Transformation of Symbolic Regression into a Real-valued Optimization Problem
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
符号回归的典型方法在候选解中产生相当突然的变化。在这项工作中，我们试图将符号回归从一个优化问题，一个如此崎岖的景观，典型的分析方法不会产生有意义的结果，一个可以与典型的和非常平滑的实值问题进行比较。虽然坚固性可能不会干扰优化的性能，但它限制了分析的可能性。在这里，我们探索了转换的不同方面，并提出了一个简单的过程来创建从符号回归问题的实值优化问题。
2021-08-06 cs.LG
Dimension Reduction for Symbolic Regression
针对符号回归中公式恢复困难的问题，提出通过搜索小替换并测试函数依赖性来迭代降维，可显著提升多种最先进符号回归算法的性能。
2025-06-24 cs.LG
Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
UCI（加州大学欧文分校）
研究符号回归能否发现优于标准优化器的神经网络权重更新规则，通过固定深度符号表达式表示候选规则，在30个组合中25次找到更好规则，总均方误差降低44.47%，表明其可发现紧凑优化器变体但需大规模验证。
2026-07-27 cs.LG
Neural Symbolic Regression that Scales
ETH（苏黎世联邦理工学院）；CSEM SA（瑞士电子与微技术中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
符号方程是科学发现的核心。从一组输入输出对中发现潜在方程的任务称为符号回归。传统上，符号回归方法使用手工设计的策略，这些策略不会随着经验而改进。在本文中，我们介绍了第一个利用大规模预训练的符号回归方法。我们程序化地生成一组无界方程，同时预训练一个Transformer，以从相应的一组输入输出对预测符号方程。在测试时，我们在一组新的点上查询模型，并使用其输出来指导对方程的搜索。我们的经验表明，这种方法可以重新发现一组众所周知的物理方程，并且随着时间的推移，它会随着更多的数据和计算而改进。
2021-06-11 cs.LG
Scaling Up Unbiased Search-based Symbolic Regression
Friedrich Schiller University（弗里德里希-席勒大学）；University Hospital Jena（耶纳大学医院）
本文提出系统搜索小表达式空间的无偏符号回归方法，在基准数据集上比现有方法更准确、更抗噪，且能更好地恢复真实符号表达式。
2025-06-24 cs.LG
Symbolic-Diffusion: Deep Learning Based Symbolic Regression with D3PM Discrete Token Diffusion
Department of Mechatronics Engineering University of Waterloo（机械工程系大学水力学院）；Department of Computer Science University of Waterloo（计算机科学系大学水力学院）；Department of Statistics and Actuarial Science University of Waterloo（统计与精算科学系大学水力学院）
本文提出符号扩散模型，利用D3PM离散令牌扩散同时生成方程所有令牌，在符号回归任务中相比自回归方法取得相当或更优性能，开辟了新的研究方向。
2025-10-08 cs.LG
Deep Variational Inference Symbolic Regression
Clinical Operational Research Unit（临床运营研究单位）；University College London（伦敦大学学院）；Department of Computer Science（计算机科学系）
本文提出深度变分推断符号回归（DVISR），通过变分贝叶斯方法改进深度符号回归，实现对表达式树及其常数的后验推断，提升在噪声和有限数据下的不确定性量化能力。
2026-05-01 cs.LG
Symbolic Regression Algorithms with Built-in Linear Regression
最近，出现了几种符号回归（SR）算法，它们采用一种形式的多元线性回归（LR）来产生广义线性模型。LR的使用允许算法从搜索开始就以相对较小的误差创建模型;因此，这种算法被声称比基于香草遗传编程的SR算法快（有时是数量级）。然而，这些算法在一组常见的问题上的系统比较仍然缺失。在本文中，我们从概念上和实验上比较几个代表这样的算法（GPTIPS，FFX和EFS）。它们作为现成的、即用型技术应用，主要使用其默认设置。几个合成和现实世界的SR基准问题的方法进行了比较。它们的性能也与三种传统的机器学习算法--多元回归、随机森林和支持向量回归的性能有关。
2017-03-10 cs.LG
Symbolic regression outperforms other models for small data sets
Abzu AI
机器学习通常应用于健康科学，以获得对复杂现象和关系的预测和新的理解，但用于模型训练的足够数据的可用性是一个普遍的问题。传统的机器学习技术，如随机森林和梯度提升，在处理只有几百个观测值的数据集时往往会过拟合。本研究表明，对于250个观察值的小型训练集，符号回归比传统的机器学习框架更好地概括样本外数据，这是通过验证集上的决定系数R2来衡量的。在240种情况中的132种情况下，符号回归在样本外数据上实现了比任何其他模型更高的R2。此外，符号回归还保留了线性模型和决策树的可解释性，这是其优越的泛化能力的额外好处。第二个最好的算法是随机森林，它在240个案例中的37个案例中表现最好。当将比较限制在可解释的模型时，符号回归在240种情况中的184种情况下表现最好。
2021-05-16 cs.LG
Discovering Symmetries of ODEs by Symbolic Regression
Paul Kahlmeyer, Niklas Merk, Joachim Giesen（未知）
针对常微分方程（ODEs）中李点对称性难以自动求解的问题，提出基于搜索的符号回归方法来寻找李点对称性生成元，从而发现现有计算机代数系统（CASs）无法找到的ODEs对称性。
2025-06-24 cs.LG
Neural Structure Embedding for Symbolic Regression via Continuous Structure Search and Coefficient Optimization
Department of Electrical Engineering and Computer Science, University of Kansas（电气工程与计算机科学系，堪萨斯大学）
本文提出SRCO框架，通过将符号结构转化为连续可优化表示空间，提升符号回归的效率与准确性，实验表明在方程精度、鲁棒性和搜索效率上优于现有方法。
2026-03-23 cs.LG
KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework
ETH Zürich（苏黎世联邦理工学院）
本文提出基于Kolmogorov-Arnold网络的KAN-SR框架，通过深度学习技术和简化策略恢复Feynman符号回归科学发现数据集的真实方程，并结合神经控制微分方程精确建模生物过程系统。
2025-09-12 cs.LG
Enhancing Symbolic Regression and Universal Physics-Informed Neural Networks with Dimensional Analysis
Cheriton School of Computer Science（切尔顿计算机科学学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Waterloo（滑铁卢大学）；Electrical Engineering and Computer Science Department（电气工程与计算机科学系）；Department of Applied Mathematics（应用数学系）；University of Michigan（密歇根大学）
提出结合量纲分析（Buckingham Π定理和Ipsen方法）与符号回归及通用物理信息神经网络，通过无量纲化降低输入维度、减少过拟合，提高微分方程未知项恢复的准确性和计算效率。
2026-06-23 cs.LG
Genetic Programming Based Symbolic Regression for Analytical Solutions to Differential Equations
University of Utah（犹他大学）；Scientific Computing and Imaging Institute（科学计算与成像研究所）；NASA Langley Research Center（美国国家航空航天局兰利研究中心）
在本文中，我们提出了一个机器学习方法发现的解析解微分方程。该方法利用了一个内在的解释算法，遗传编程为基础的符号回归。与传统的准确性措施在机器学习，我们证明了恢复真正的解析解的能力，而不是数值近似。该方法通过评估其恢复已知的两个单独的微分方程的解析解的能力进行验证。所开发的方法相比，一个传统的，纯粹的数据驱动的遗传编程为基础的符号回归算法。的真实的解决方案，或一个代数等价物，成功的进化的可靠性，证明。
2023-02-07 cs.LG
Symplectically Integrated Symbolic Regression of Hamiltonian Dynamical Systems
Dartmouth College（达特茅斯学院）
在这里，我们提出了符号集成符号回归（SISR），从数据中学习物理控制方程的一种新技术。SISR采用深度符号回归方法，使用具有突变的多层LSTM-RNN对Hamilton符号表达式进行概率采样。使用辛神经网络，我们开发了一种与模型无关的方法，用于从数据中提取有意义的物理先验，这些先验可以即时施加到RNN输出中，限制其搜索空间。RNN生成的哈密顿算子使用四阶辛积分方案进行优化和评估;预测性能用于训练LSTM-RNN，以通过风险寻求策略梯度方法生成越来越好的函数。采用这些技术，我们提取正确的控制方程的振子，摆，两体和三体引力系统的噪声和非常小的数据集。
2022-09-04 cs.LG
Online Symbolic Regression with Informative Query
State Key Lab of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所处理器国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）
符号回归是从观测数据$\{ \vx_i, y_i \}$中提取数学表达式的任务，在科学发现中起着至关重要的作用。尽管现有的方法有前途的性能，他们中的大多数进行符号回归\textit{offline}设置。也就是说，他们将观察到的数据点视为给定的数据点，这些数据点只是从均匀分布中采样，而没有探索数据的表达潜力。然而，对于现实世界的科学问题，用于符号回归的数据通常是通过做实验主动获得的，这是一个\textit{online}设置。因此，如何获得信息的数据，可以促进符号回归过程是一个重要的问题，仍然具有挑战性。在本文中，我们提出了QUOSR，\textbf{qu} ery为基础的框架\textbf{o} nline \textbf{s}象征性的\textbf{r}出口，可以自动获得信息数据的迭代方式。具体来说，在每一步中，QUOSR接收历史数据点，生成新的$\vx$，然后查询符号表达式得到相应的$y$，其中$(\vx, y)$作为新的数据点。重复此过程，直到达到最大查询步骤数。为了使生成的数据点信息丰富，我们实现了一个神经网络的框架和训练它通过最大限度地提高生成的数据点和目标表达之间的互信息。通过综合实验，我们表明，QUOSR可以通过生成信息丰富的数据来促进现代符号回归方法。
2023-02-21 cs.LG
Active Learning Improves Performance on Symbolic RegressionTasks in StackGP
Michigan State University（密歇根州立大学）
在本文中，我们介绍了一个主动学习方法的符号回归使用StackGP。该方法从StackGP建模的少量数据点开始。为了改进模型，系统递增地添加数据点，使得新点最大化由模型集合测量的预测不确定性。使用较大的数据集重新运行符号回归。这个循环继续，直到系统满足终止标准。我们使用Feynman AI基准方程组来检查我们的方法使用更少数据点找到合适模型的能力。该方法成功地重新发现了100个费曼方程中的72个，使用尽可能少的数据点，而无需使用领域专业知识或数据翻译。
2022-02-09 cs.LG
A Transformer Model for Symbolic Regression towards Scientific Discovery
OMRON SINIC X Corporation（欧姆龙 SINIC X 公司）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Amazon Alexa（亚马逊 Alexa）；Tohoku University（东北大学）
本文提出一种面向科学发现的符号回归Transformer模型，通过设计三种灵活性递增的编码器架构防止过拟合，在SRSD数据集上以归一化树编辑距离取得最先进结果且不增加计算成本。
2023-12-13 cs.LG
Fast Symbolic Regression Benchmarking
Interdisciplinary Center for Scientific Computing, Heidelberg University, 69120 Heidelberg, Germany（科学计算跨学科研究中心，海德堡大学，69120海德堡，德国）
针对现有符号回归基准过度强调单一表达式恢复、依赖SymPy评估成功及未提前终止搜索的问题，引入可接受表达式列表和提前终止回调机制改进基准，基于SRSD问题测试两算法包，提升重发现率并降低计算开销。
2025-08-20 cs.LG
Deep Generative Symbolic Regression
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出深度生成式符号回归（DGSR）框架，利用预训练深度生成模型捕捉方程内在规律，在多变量设置下提升了真实方程恢复率且推理更高效。
2023-12-30 cs.LG
Symbolic Regression by Exhaustive Search: Reducing the Search Space Using Syntactical Constraints and Efficient Semantic Structure Deduplication
University of Applied Sciences Upper Austria（上奥地利应用科技大学）；Johannes Kepler University（约翰内斯·开普勒大学）
符号回归是一种强大的系统辨识技术，在工业场景中，没有先验知识的模型结构。这些场景通常需要特定的模型属性，如可解释性，鲁棒性，可信度和可扩展性，这是不容易实现的使用标准的方法，如遗传编程的符号回归。在本章中，我们将介绍一个确定性的符号回归算法，专门设计来解决这些问题。该算法使用一个上下文无关文法产生的模型，参数化的非线性最小二乘局部优化过程。所有可能的模型的有限枚举是由结构限制以及用于检测语义等价的解决方案的缓存机制来保证的。枚举顺序是通过专门设计的算法来建立的，以提高搜索效率。一个全面的基准套件的实证测试表明，我们的方法是有竞争力的遗传编程在许多无噪声的问题，同时保持理想的属性，如简单，可靠的模型和再现性。
2021-09-28 cs.LG
Scalable Neural Symbolic Regression using Control Variables
School of Computer Science（计算机科学学院）；GaTech（佐治亚理工学院）；School of Computing and Data Science（计算与数据科学学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；William & Mary（威廉玛丽学院）；Department of EECS（电子工程与计算机科学系）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Wake Forest University（维克森林大学）
针对现有符号回归方法处理多变量复杂方程时的可扩展性问题，提出ScaleSR模型，通过控制变量将多变量SR分解为单变量问题自底向上组合，在多基准集上性能优于SOTA且大幅缩减搜索空间。
2024-07-09 cs.LG
Deep Symbolic Regression for Recurrent Sequences
École Normale Supérieure（巴黎高等师范学院）；Meta AI；Sorbonne Université（索邦大学）
符号回归，即从其值的观察来预测函数，众所周知是一项具有挑战性的任务。在本文中，我们训练Transformers Transformers来推断整数或浮点数序列的函数或递归关系，这是人类智商测试中的一个典型任务，在机器学习文献中几乎没有解决。我们在OEIS序列的一个子集上评估了我们的整数模型，并表明它在递归预测方面优于内置的Mathematica函数。我们还表明，我们的浮动模型是能够产生信息的词汇表外的函数和常数，如$\operatorname{bessel0}(x)\approx \frac{\sin(x)+\cos(x)}{\sqrt{πx}}$和$1.644934\approx π^2/6$的近似。在https://symbolicregression.metademolab.com上提供了我们模型的交互式演示。
2022-06-28 cs.LG
Cluster Analysis of a Symbolic Regression Search Space
University of Applied Sciences Upper Austria（上奥地利应用科技大学）；Johannes Kepler University（约翰内斯·开普勒大学）
在本章中，我们将仔细研究遗传编程生成的符号回归模型在搜索空间中的分布。这项工作的动机是通过使用可以独立于目标函数预先计算的模型相似性信息来改进对拟合良好的符号回归模型的搜索。对于我们的分析，我们使用一个单变量符号回归模型的限制语法，并生成所有可能的模型到一个固定的长度限制。我们识别独特的模型，并根据表型和基因型相似性对它们进行聚类。我们发现，表型相似性导致定义明确的集群，而基因型相似性不产生一个明确的聚类。通过将GP访问的候选解映射到枚举的搜索空间，我们发现GP最初探索整个搜索空间，然后在一个简单的基准问题中收敛到最高质量表达式的子空间。
2021-09-28 cs.LG
Bayesian Symbolic Regression with Entropic Reinforcement Learning
本研究提出ERRLESS方法，将最大熵强化学习与贝叶斯视角结合用于符号回归，在Feynman基准上表现具有竞争力，生成的表达式简短可解释，且后验预测均值的R²优于SMC基线。
2026-08-12 cs.LG
MOSAIC-SR: Transformer-Guided Symbolic Regression for Scientific Equation Recovery
University of Waterloo（滑铁卢大学）
MOSAIC-SR利用预训练Transformer生成初始草图，引导符号回归搜索，通过尺度感知常数优化和局部符号修复，在多个基准上实现最高符号解率与高预测精度。
2026-09-21 cs.LG
SPINEX_ Symbolic Regression: Similarity-based Symbolic Regression with Explainable Neighbors Exploration
Clemson University（克莱姆森大学）；University of Manitoba（曼尼托巴大学）
本研究提出基于SPINEX系列的新型符号回归算法SPINEX_SymbolicRegression，通过基于相似度的方法筛选高精度高结构相似度的表达式，在180余个国际基准函数测试中表现稳定且部分场景优于主流算法，兼具可解释性。
2024-11-05 cs.LG stat.CO
Where are we now? A large benchmark study of recent symbolic regression methods
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提供了一个广泛的基准最近的遗传编程方法的背景下，最先进的机器学习方法的符号回归。我们使用了一组近100个回归基准测试问题，这些问题是从网络上的开源存储库中挑选出来的。我们对最近的四种符号回归方法以及scikit-learn的九种机器学习方法进行了严格的基准测试。结果表明，符号回归表现强劲相比，国家的最先进的梯度提升算法，虽然在运行时间是最慢的可用方法。我们详细讨论了结果，并指出未来的研究方向，可能会让符号回归获得更广泛的采用在机器学习社区。
2018-06-07 cs.LG cs.NE
Mask-Based Deep Symbolic Regression
Kahlert School of Computing（卡勒特计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）；Department of Mechanical Engineering（机械工程系）；University of Utah（犹他大学）
提出基于扩散的符号回归方法，利用随机掩码扩散去噪生成方程，结合GRPO强化学习与风险寻求策略，有效提升了方程生成的质量与多样性。
2026-10-19 cs.LG
SymbolicArena: A Unified Infrastructure for Benchmark Distillation and Dynamic Evaluation in Symbolic Regression
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CDL, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所CDL）；Nanjing University of Science and Technology（南京理工大学）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
SymbolicArena 提出统一基础设施，通过蒸馏 664 个任务为 Core50 基准，减少 92.5% 评估成本，并保持与完整任务集的一致性，同时揭示数值拟合与符号恢复间的显著差距。
2026-09-29 cs.LG
Symbolic-Regression Boosting
Ben-Gurion University（本-古里安大学）；University of Pennsylvania（宾夕法尼亚大学）
修改标准的梯度提升，通过替换嵌入式弱学习器，有利于一个强（er）的，我们提出SyRBo：符号回归提升。在98个回归数据集上的实验表明，通过向符号回归器添加少量的提升阶段（2- 5），通常可以获得统计上显著的改进。我们注意到，在任何符号回归器之上编码SyRBo是简单的，增加的成本只是多了几轮进化。SyRBo本质上是一个简单的附加组件，可以很容易地添加到现有的符号回归器中，通常会带来有益的结果。
2022-06-24 cs.LG cs.NE
Symbolic Regression as Feature Engineering Method for Machine and Deep Learning Regression Tasks
Bar Ilan University（巴伊兰大学）；Ariel University（阿里尔大学）；University College London（伦敦大学学院）
本文提出将符号回归作为机器学习模型前的特征工程步骤，实验证明其可显著提升机器学习与深度学习回归模型在合成、物理真实数据及超导临界温度预测任务中的RMSE表现。
2023-11-10 cs.LG
A Comparison of Recent Algorithms for Symbolic Regression to Genetic Programming
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
本文比较了端到端transformer符号回归模型与基于遗传编程的传统方法，在新数据集上的实验表明Operon等传统遗传编程方法仍优于两种近期提出的符号回归方法。
2024-06-05 cs.AI cs.LG
ODEFormer: Symbolic Regression of Dynamical Systems with Transformers
EPFL（洛桑联邦理工学院）；Helmholtz AI, Helmholtz Center Munich（亥姆霍兹慕尼黑中心亥姆霍兹人工智能研究所）；TU München（慕尼黑工业大学）
本研究提出首个可从单条解轨迹推断多维符号ODE系统的Transformer模型ODEFormer，在两个数据集上表现优于现有方法，鲁棒性与推理速度更优，并公开相关资源。
2023-10-09 cs.LG
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo（滑铁卢大学）
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性，符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年，但基于深度学习的方法相对较新，是一个活跃的研究领域。在这项工作中，我们提出了SymbolicGPT，一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点，包括性能和灵活性方面的优势。通过全面的实验，我们表明，我们的模型表现强劲的竞争模型的准确性，运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
Parsing the Language of Expression: Enhancing Symbolic Regression with Domain-Aware Symbolic Priors
Purdue University（普渡大学）；University of Florida（佛罗里达大学）；University of Maryland College Park（马里兰大学帕克分校）
本文提出一种融合多科学领域符号先验的符号回归方法，通过树结构循环神经网络和分层树表示提升表达式生成效率与准确性，实验表明该方法收敛更快、精度更高。
2025-03-12 cs.LG cs.SC
Hash-Based Tree Similarity and Simplification in Genetic Programming for Symbolic Regression
Josef Ressel Centre for Symbolic Regression（约瑟夫·雷塞尔符号回归中心）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Johannes Kepler University（约翰内斯·开普勒大学）
本文介绍了一种运行时高效的树哈希算法，用于识别同构子树，在符号回归的遗传编程中有两个重要的应用：快速，在线计算种群多样性和符号表达式树的代数简化。基于这种散列方法，我们提出了一个简单的多样性保护机制与有前途的结果收集的符号回归基准问题。
2021-07-22 cs.LG cs.NE
Prediction Intervals and Confidence Regions for Symbolic Regression Models based on Likelihood Profiles
Federal University of ABC（ABC联邦大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）
符号回归是一种非线性回归方法，其通常通过诸如遗传编程的演化计算方法来执行。回归模型的不确定性的量化对于模型的解释和决策制定是重要的。线性近似和所谓的似然曲线是用于计算非线性回归模型的置信区间和预测区间的众所周知的可能性。这些简单而有效的技术到目前为止在遗传编程文献中被完全忽略了。在这项工作中，我们详细描述了计算的可能性配置文件，并提供了一些说明性的例子与模型创建三个不同的符号回归算法在两个不同的数据集。这些例子突出了似然配置文件的重要性，以了解符号回归模型的局限性，并帮助用户采取明智的预测后的决定。
2022-09-14 cs.LG cs.NE
Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models
Algoverse AI Research（Algoverse AI研究院）
针对符号回归中Transformer模型在小数据集上性能下降的问题，提出应用k折交叉验证技术，在缩减至15,000个数据点的数据集上训练，验证损失相对改进53.31%，显著提升模型泛化与一致性。
2025-06-30 cs.CL cs.LG
Binary and Multinomial Classification through Evolutionary Symbolic Regression
Ben-Gurion University（本-古里安大学）
我们提出了三种基于进化符号回归的二进制和多项式数据集分类算法：GPLearnClf，CartesianClf和ClaSyCo。测试了超过162个数据集，并与三种最先进的机器学习算法- XGBoost，LightGBM和深度神经网络-进行了比较，我们发现我们的算法具有竞争力。此外，我们演示了如何通过使用最先进的超参数优化器自动为数据集找到最佳方法。
2022-06-25 cs.LG cs.NE
Symbolic regression for scientific discovery: an application to wind speed forecasting
Maastricht University（马斯特里赫特大学）
符号回归对应于允许从数据中揭示分析方程的技术集合。通过一个封闭的形式公式，这些技术提供了巨大的优势，如潜在的科学发现新的法律，以及可解释性，特征工程以及快速推理。类似地，基于深度学习的技术已经显示出对复杂模式建模的非凡能力。本文的目的是应用最近的端到端的符号回归技术，即方程学习器（EQL），得到一个解析方程的风速预测。我们表明，这是可能的，可以获得一个分析方程，可以实现合理的精度，短期的视野预测，只使用几个功能。
2021-10-26 cs.LG physics.ao-ph
Neuro-Symbolic Generative Art: A Preliminary Study
Adobe（奥多比公司）；Georgia Tech（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
生成艺术方法有两类：神经的，其中训练深度模型以从数据分布中生成样本，以及符号或算法的，其中艺术家设计主要参数，并且自治系统在这些约束内生成样本。在这项工作中，我们提出了一个新的混合流派：神经符号生成艺术。作为初步研究，我们训练生成的深度神经网络的样本从符号的方法。我们通过人类研究表明，受试者发现最终的文物和创造过程中使用我们的神经符号的方法比符号的方法更有创造力的时间分别为61%和82%。
2020-07-04 cs.AI cs.CV cs.LG
Predicting Friction System Performance with Symbolic Regression and Genetic Programming with Factor Variables
University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Miba Frictec GmbH（米巴摩擦技术有限公司）
摩擦系统是其中摩擦用于力传递的机械系统（例如机械制动系统或自动变速箱）。为了找到最佳和安全的设计参数，工程师必须预测摩擦系统的性能。这在实际应用中尤其困难，因为它受到许多参数的影响。我们已经使用符号回归和遗传编程，为这项任务找到准确和可靠的预测模型。然而，如何纳入名义变量并不简单。特别地，独热编码是不令人满意的，因为遗传编程倾向于去除这样的指示变量。因此，我们使用所谓的因子变量来表示符号回归模型中的名义变量。我们的研究结果表明，GP是能够产生的符号回归模型预测摩擦性能的预测精度是可比的人工神经网络。具有因子变量的符号回归模型比使用独热编码的模型简单。
2021-07-19 cs.LG cs.NE
A Reinforcement Learning Approach to Domain-Knowledge Inclusion Using Grammar Guided Symbolic Regression
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学与应用数学实验室）；Réseau de Transport d’Electricité (Rte) R&D（法国电力传输网络研发部）
近年来，符号回归一直受到广泛关注，为潜在的大数据关系提供可解释的符号表示。符号回归方法最初被圈到遗传算法，现在包括各种基于深度学习的替代方法。然而，这些方法仍然不能很好地推广到现实世界的数据，主要是因为它们几乎不包括领域知识，也不考虑变量之间的物理关系，如已知的方程和单位。针对这些问题，我们提出了一种基于强化的语法引导的符号回归（RBG 2-SR）方法，该方法使用上下文无关文法作为强化动作空间，利用领域知识约束表示空间。我们详细介绍了一个部分可观测马尔可夫决策过程（POMDP）建模的问题和基准我们的方法对国家的最先进的方法。我们还分析了POMDP状态定义，并提出了一个物理方程搜索用例，我们比较我们的方法，基于语法和非基于语法的符号回归方法。实验结果表明，我们的方法是有竞争力的对其他国家的最先进的方法的基准，并提供了最好的错误复杂性权衡，突出了在现实世界中使用基于语法的方法的兴趣。
2022-02-09 cs.AI cs.LG
Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
发现描述数据集的底层数学表达式是人工智能的核心挑战。这是$\textit{symbolic regression}$的问题。尽管最近在训练神经网络以解决复杂任务方面取得了进展，但符号回归的深度学习方法尚未得到充分探索。我们提出了一个框架，通过一个简单的想法利用深度学习进行符号回归：使用大模型搜索小模型的空间。具体来说，我们使用一个递归神经网络发出一个分布在易于处理的数学表达式，并采用一种新的风险寻求策略梯度训练网络，以产生更好的拟合表达式。我们的算法优于几个基线方法（包括Eureqa，符号回归的黄金标准），它能够准确地恢复符号表达式的一系列基准问题，无论有没有添加噪声。更广泛地说，我们的贡献包括一个框架，可以应用于优化层次结构，可变长度的对象下的黑盒性能指标，能够将约束条件在原位，和风险寻求策略梯度制定，优化最佳情况下的性能，而不是预期的性能。
2021-04-05 cs.LG stat.ML
Multi-task GINN-LP for Multi-target Symbolic Regression
Department of Electrical；Computer Engineering Prairie View A\&M University, Prairie View, TX 77446, USA Email
针对符号回归泛化性受限及仅支持单输出的问题，提出多任务回归GINN-LP模型，集成多任务深度学习与共享幂项逼近块主干，在实际多目标应用中实现了竞争性预测性能与高可解释性，扩展了符号回归的适用场景。
2025-11-17 cs.AI cs.LG
Interpretable Scientific Discovery with Symbolic Regression: A Review
Qatar Computing Research Institute（卡塔尔计算研究所）
本综述聚焦符号回归这一可直接从数据中学习可解释数学表达式的机器学习方法，梳理了其从遗传编程到深度学习驱动的发展脉络，系统总结各类方法的优劣，覆盖多领域应用进展。
2023-05-02 cs.AI cs.LG hep-ph
Efficient Generator of Mathematical Expressions for Symbolic Regression
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；University of Ljubljana（卢布尔雅那大学）
提出基于层次结构变分自编码器HVAE的符号回归方法，通过递归编码解码数学表达式生成平滑低维潜在空间，结合进化算法的EDHiE系统在标准基准上优于现有最先进方法。
2023-09-10 cs.AI cs.LG
LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington（惠灵顿维多利亚大学数据科学与人工智能中心及工程与计算机科学学院）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）
本文提出一种元学习框架，使LLM自动设计进化符号回归算法的选择算子，解决现有方法中语义指导不足和代码膨胀问题，实验表明LLM设计的选择算子优于九个专家设计基线，达到最先进的性能。
2026-03-31 cs.AI cs.LG cs.NE
Symbolic regression for defect interactions in 2D materials
HSE University（高等经济大学）；Institute for Functional Intelligent Materials, National University of Singapore（新加坡国立大学功能智能材料研究所）；National University of Singapore（新加坡国立大学）；Constructor University（康斯特大学）
本文提出利用深度符号回归算法SEGVAE研究二维材料缺陷相互作用，通过对比图神经网络方法验证其有效性与可解释性。
2026-01-12 cond-mat.mtrl-sci cs.LG
Controllable Neural Symbolic Regression
CSEM SA（瑞士电子与微技术中心）；ETH Zürich（苏黎世联邦理工学院）；Meta AI；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（巴黎智能系统与机器人研究所）
针对现有神经符号回归无法利用用户先验知识的问题，提出NSRwH，将真实表达式的预期结构假设显式注入预测，提升准确率并控制表达式结构。
2023-04-20 cs.AI cs.LG
Vertical Symbolic Regression via Deep Policy Gradient
Purdue University（普渡大学）
针对纵向符号回归与深度神经网络直接结合存在的梯度传递等问题，提出基于深度策略梯度的VSR-DPG方法，将符号回归建模为序列决策过程，在多类方程识别基准上性能显著优于现有方法。
2024-02-01 cs.AI cs.LG
Solving the 2D Advection-Diffusion Equation using Fixed-Depth Symbolic Regression and Symbolic Differentiation without Expression Trees
SDSU（圣地亚哥州立大学）
本文提出一种结合固定深度符号回归与无表达式树符号微分的新方法，用于高效求解二维对流扩散方程，并在两个不同边界条件下验证了其准确性与可扩展性。
2024-11-11 cs.LG cs.NA math.NA
