Contemporary Symbolic Regression Methods and their Relative Performance
近年来提出了许多有前途的符号回归方法，但该领域的进展仍然缺乏统一，强大和透明的基准测试标准。在本文中，我们通过引入一个开源的，可重复的基准测试平台，符号回归来解决这个缺点。我们评估了14种符号回归方法和7种机器学习方法对一组252个不同的回归问题。我们的评估包括没有已知模型形式的真实数据集以及地面实况基准问题，包括物理方程和常微分方程组。对于真实世界的数据集，我们对每种方法学习模型的能力进行了基准测试，相对于最先进的机器学习方法，这些方法具有低错误和低复杂度。对于合成的问题，我们评估每种方法的能力，找到精确的解决方案，在不同程度的噪音的存在。根据这些对照实验，我们得出结论，最好的执行方法，现实世界的回归结合遗传算法参数估计和/或语义搜索驱动程序。当任务是在存在噪声的情况下恢复精确方程时，我们发现深度学习和基于遗传算法的方法表现相似。我们提供了一个详细的指南，以重现这个实验和贡献新的方法，并鼓励其他研究人员与我们合作，共同和生活的符号回归基准。
2021-07-29 cs.NE
[RETRACTED]Evolving Form and Function: Dual-Objective Optimization in Neural Symbolic Regression Networks
针对现有神经符号回归仅用符号目标训练、忽略方程预测能力的问题，提出结合梯度下降与进化计算的双目标优化方法，生成符号与行为准确性更优的方程，提升符号回归效果。
2025-10-22 cs.NE
Online Diversity Control in Symbolic Regression via a Fast Hash-based Tree Similarity Measure
多样性是遗传编程的一个重要方面，与搜索性能直接相关。当考虑在基因型水平，多样性往往需要昂贵的树距离的措施，有负面影响的算法的运行时性能。在这项工作中，我们引入了一个快速的，基于哈希的树距离度量，以大大加快算法运行过程中人口多样性的计算。我们结合这一措施与标准的GA和NSGA-II遗传算法，以引导搜索更高的多样性。我们验证的方法上的基准问题的集合符号回归，我们的方法始终优于标准的GA以及NSGA-II配置不同的次要目标。
2019-02-03 cs.NE
Local Optimization Often is Ill-conditioned in Genetic Programming for Symbolic Regression
该研究通过奇异值分解分析遗传编程中局部优化问题的条件数，发现雅可比矩阵常呈病态，并指出限制树大小和增加非线性函数可缓解此问题。
2022-09-02 cs.NE
Symbolic regression by uniform random global search
符号回归（SR）是一个数据分析问题，我们在其中搜索最适合数值数据集的数学表达式。这是一个全局优化问题。最流行的SR方法是通过遗传编程（SRGP）。将算法的性能与随机搜索的性能进行比较是一种常见的研究范式，但是将SRGP与随机搜索进行比较的数据却很缺乏。我们描述了一种新的算法SR，即SR均匀随机全局搜索（SRURGS），也被称为纯随机搜索。我们进行实验比较SRURGS与SRGP使用100个随机生成的方程。我们的结果表明，SRGP在生成简单问题的R^2良好的方程方面比SRURGS更快。然而，我们的实验表明，SRURGS比SRGP更强大，能够在更具挑战性的问题中产生良好的输出。由于SRURGS可以说是最简单的全局搜索算法，我们认为它应该作为一个控制算法，对其他符号回归算法进行比较。SRURGS只有一个调整参数，并且在概念上非常简单，使其成为解决SR问题的有用工具。该方法产生的随机方程，这是有用的符号回归基准问题的生成。我们已经发布了文档齐全的开源python代码，目前正在正式的同行评审中，以便感兴趣的研究人员可以在实践中部署该工具。
2019-11-18 cs.NE
A divide and conquer method for symbolic regression
符号回归的目的是根据给定的样本数据集，找到一个最能解释自变量与目标值之间关系的函数。遗传编程（GP）由于能同时优化函数结构和系数，被认为是解决该问题的一种合适方法。然而，GP的收敛速度可能太慢，涉及大量的变量的大规模问题。幸运的是，在许多应用中，目标函数是可分离或部分可分离的。这一特点促使我们开发了一种新的方法，分而治之（D&C），符号回归，其中目标函数被划分为许多子函数，然后由任何GP算法确定的子函数。通过一种新提出的技术，双相关检验（BiCT）的可分性进行了探索。D&C驱动的GP已经在一些实际应用中进行了测试，研究表明D&C可以帮助GP更快地获得目标功能。
2017-06-27 cs.NE
Dimensionally Constrained Symbolic Regression
我们描述了维度约束的符号回归，它已被开发用于高能物理（HEP）中某些类别事件的质量测量。通过符号回归，我们可以推导出HEP中众所周知的方程。然而，在大量变量的问题中，我们发现，通过限制符号回归中允许的项，收敛行为得到改善。约束符号回归（DCSR）找到的解决方案具有更好的适应性比通常可能与符号回归。在某些情况下，找到了新的解决方案。
2011-06-20 cs.NE physics.comp-ph stat.ML
Elite Bases Regression: A Real-time Algorithm for Symbolic Regression
符号回归是数据采掘中一个重要而又具有挑战性的研究课题。它可以检测出潜在的数学模型。遗传编程（GP）是符号回归中最常用的方法之一。然而，它的收敛速度可能太慢，大规模的问题，大量的变量。这一缺陷已成为实际应用中的瓶颈。本文提出了一种新的非进化实时的【形】符号回归算法-精英基回归（EBR）。EBR生成一组候选基函数，这些基函数按照特定的映射规则用解析矩阵编码。同时，保留一定数量的精英基，并根据与目标模型的相关系数迭代更新。然后，通过精英基础来跨越回归模型。EBR和最近提出的符号回归的机器学习方法，快速函数提取（FFX）之间的比较研究进行。数值结果表明，EBR可以更有效地解决符号回归问题。
2017-05-15 cs.DS cs.NE
Analysing Symbolic Regression Benchmarks under a Meta-Learning Approach
为遗传编程（GP）定义一个简洁有效的测试平台是研究界经常出现的问题。本文在这个方向上迈出了新的一步，提出了一种不同的方法来定量地衡量符号回归基准的质量。所提出的方法是基于元学习，并使用一组数据集的元特征-如样本的数量或输出偏度-来描述数据集。我们的想法是将这些元特征与GP方法获得的误差相关联。这些元特征定义了一个基准空间，理想情况下，这些基准空间应该具有覆盖空间不同区域的数据集（点）。对63个数据集的初步分析表明，目前的基准集中在这个基准空间的一个小区域。我们还发现，实例数和输出偏度是与GP输出错误最相关的元特征。这两个结论都可以帮助定义哪些数据集应该构成符号回归方法的有效测试平台。
2018-05-25 cs.NE
Where are we now? A large benchmark study of recent symbolic regression methods
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提供了一个广泛的基准最近的遗传编程方法的背景下，最先进的机器学习方法的符号回归。我们使用了一组近100个回归基准测试问题，这些问题是从网络上的开源存储库中挑选出来的。我们对最近的四种符号回归方法以及scikit-learn的九种机器学习方法进行了严格的基准测试。结果表明，符号回归表现强劲相比，国家的最先进的梯度提升算法，虽然在运行时间是最慢的可用方法。我们详细讨论了结果，并指出未来的研究方向，可能会让符号回归获得更广泛的采用在机器学习社区。
2018-06-07 cs.LG cs.NE
Zobrist Hash-based Duplicate Detection in Symbolic Regression
本文针对遗传编程符号回归中重复评估搜索点导致的计算浪费问题，提出基于Zobrist哈希的缓存机制，并在Operon框架上实现，在真实回归问题上取得最高34%的加速且不影响搜索质量。
2025-08-19 cs.NE
Symbolic-Regression Boosting
Ben-Gurion University（本-古里安大学）；University of Pennsylvania（宾夕法尼亚大学）
修改标准的梯度提升，通过替换嵌入式弱学习器，有利于一个强（er）的，我们提出SyRBo：符号回归提升。在98个回归数据集上的实验表明，通过向符号回归器添加少量的提升阶段（2- 5），通常可以获得统计上显著的改进。我们注意到，在任何符号回归器之上编码SyRBo是简单的，增加的成本只是多了几轮进化。SyRBo本质上是一个简单的附加组件，可以很容易地添加到现有的符号回归器中，通常会带来有益的结果。
2022-06-24 cs.LG cs.NE
Symbolically Regressing Fish Biomass Spectral Data: A Linear Genetic Programming Method with Tunable Primitives
本文将鱼类生物量光谱数据建模为符号回归问题，提出带可调基元的线性遗传规划方法，提升了预测性能与模型可解释性，并验证了其良好通用性。
2025-05-28 cs.NE
Hash-Based Tree Similarity and Simplification in Genetic Programming for Symbolic Regression
Josef Ressel Centre for Symbolic Regression（约瑟夫·雷塞尔符号回归中心）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Johannes Kepler University（约翰内斯·开普勒大学）
本文介绍了一种运行时高效的树哈希算法，用于识别同构子树，在符号回归的遗传编程中有两个重要的应用：快速，在线计算种群多样性和符号表达式树的代数简化。基于这种散列方法，我们提出了一个简单的多样性保护机制与有前途的结果收集的符号回归基准问题。
2021-07-22 cs.LG cs.NE
Prediction Intervals and Confidence Regions for Symbolic Regression Models based on Likelihood Profiles
Federal University of ABC（ABC联邦大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）
符号回归是一种非线性回归方法，其通常通过诸如遗传编程的演化计算方法来执行。回归模型的不确定性的量化对于模型的解释和决策制定是重要的。线性近似和所谓的似然曲线是用于计算非线性回归模型的置信区间和预测区间的众所周知的可能性。这些简单而有效的技术到目前为止在遗传编程文献中被完全忽略了。在这项工作中，我们详细描述了计算的可能性配置文件，并提供了一些说明性的例子与模型创建三个不同的符号回归算法在两个不同的数据集。这些例子突出了似然配置文件的重要性，以了解符号回归模型的局限性，并帮助用户采取明智的预测后的决定。
2022-09-14 cs.LG cs.NE
Binary and Multinomial Classification through Evolutionary Symbolic Regression
Ben-Gurion University（本-古里安大学）
我们提出了三种基于进化符号回归的二进制和多项式数据集分类算法：GPLearnClf，CartesianClf和ClaSyCo。测试了超过162个数据集，并与三种最先进的机器学习算法- XGBoost，LightGBM和深度神经网络-进行了比较，我们发现我们的算法具有竞争力。此外，我们演示了如何通过使用最先进的超参数优化器自动为数据集找到最佳方法。
2022-06-25 cs.LG cs.NE
Shape-constrained Symbolic Regression -- Improving Extrapolation with Prior Knowledge
我们调查的功能图像及其衍生物的约束条件，将先验知识的符号回归。这种方法被称为形状约束符号回归，允许我们在选定的输入上强制执行函数的单调性。目的是找到符合预期行为并具有改进的外推能力的模型。我们证明了这一想法的可行性，并提出和比较两种进化算法的形状约束的符号回归：i）基于树的遗传编程，放弃不可行的解决方案在选择步骤中的扩展，和ii）两个种群的进化算法，分离的可行的不可行的解决方案。在这两种算法中，我们使用区间算术来近似模型及其偏导数的边界。一组19个合成和四个现实世界的回归问题的算法进行了测试。这两种算法都能够识别符合形状约束的模型，而这不是未经修改的符号回归算法的情况。然而，有约束的模型的预测精度较差的训练集和测试集。形状约束多项式回归对测试集产生最好的结果，但也对更大的模型产生最好的结果。
2021-05-31 cs.NE stat.ML
Predicting Friction System Performance with Symbolic Regression and Genetic Programming with Factor Variables
University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Miba Frictec GmbH（米巴摩擦技术有限公司）
摩擦系统是其中摩擦用于力传递的机械系统（例如机械制动系统或自动变速箱）。为了找到最佳和安全的设计参数，工程师必须预测摩擦系统的性能。这在实际应用中尤其困难，因为它受到许多参数的影响。我们已经使用符号回归和遗传编程，为这项任务找到准确和可靠的预测模型。然而，如何纳入名义变量并不简单。特别地，独热编码是不令人满意的，因为遗传编程倾向于去除这样的指示变量。因此，我们使用所谓的因子变量来表示符号回归模型中的名义变量。我们的研究结果表明，GP是能够产生的符号回归模型预测摩擦性能的预测精度是可比的人工神经网络。具有因子变量的符号回归模型比使用独热编码的模型简单。
2021-07-19 cs.LG cs.NE
A Data-Free Symbolic Regression Approach for Solving Equations
Intelligent Maintenance and Operations Systems Laboratory, EPFL（EPFL智能维护与运营系统实验室）
提出符号方程求解器（SES），将方程求解转化为可微符号模型的优化问题，无需配对数据，直接从方程和边界条件构建目标函数，恢复显式符号解。
2026-06-05 cs.NE cs.SC
LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington（惠灵顿维多利亚大学数据科学与人工智能中心及工程与计算机科学学院）；Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系）
本文提出一种元学习框架，使LLM自动设计进化符号回归算法的选择算子，解决现有方法中语义指导不足和代码膨胀问题，实验表明LLM设计的选择算子优于九个专家设计基线，达到最先进的性能。
2026-03-31 cs.AI cs.LG cs.NE
Steel Phase Kinetics Modeling using Symbolic Regression
University of Applied Sciences Upper Austria（上奥地利应用科学大学）；MCL Forschungs GmbH（MCL研究有限责任公司）
本文描述了一种基于符号回归和遗传编程的钢相动力学经验建模方法。该算法采用从粘度计测量收集的处理数据，并产生模拟相动力学的微分方程系统。我们的初步结果表明，所提出的方法可以识别紧凑的微分方程，适合的数据。该模型预测铁素体，珠光体和贝氏体形成为一个单一的钢类型。模型中尚未包括马氏体。未来的工作应包括马氏体和推广到多种不同的化学成分的钢类型。
2022-12-19 cs.LG cs.NE
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris（巴黎大学）；Ochanomizu University（御茶水女子大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通过结合遗传编程，MAP精英和协方差矩阵自适应演化策略，我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索，同时保持多样性并避免过早收敛和膨胀。然后，协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题，我们的算法是能够找到正是大多数的$31$目标提取的文献上，我们评估它。
2019-06-10 cs.LG cs.NE
Symbolic Regression via Neural-Guided Genetic Programming Population Seeding
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
符号回归是识别符合黑箱过程的观测输出的数学表达式的过程。这是一个离散优化问题，通常被认为是NP-难的。解决该问题的现有方法包括神经引导搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/遗传编程的方法，符号回归和其他组合优化问题。我们提出了一个神经元引导的组件用于种子的随机重启遗传编程组件的起始人口，逐渐学习更好的起始人口。在一些常见的基准测试任务中，从数据集中恢复底层表达式，我们的方法比最近发布的使用相同实验设置的最佳模型多恢复65%的表达式。我们证明，在不依赖神经引导组件的情况下运行许多代遗传编程，对于符号回归来说，比两者耦合更强的替代公式表现得更好。最后，我们引入了一组新的22个符号回归基准问题，其难度比现有基准更高。源代码在www.github.com/brendenpetersen/deep-symbolic-optimization上提供。
2021-11-17 cs.AI cs.LG cs.NE
Prove Symbolic Regression is NP-hard by Symbol Graph
本文通过引入符号图表示整个数学表达式空间，将符号回归问题与NP难的度约束斯坦纳树形图问题相关联，从而证明了符号回归的NP难性质。
2024-04-22 cs.CC cs.NE
Symbolic Regression is NP-hard
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）
符号回归（SR）是学习数学表达式形式的数据模型的任务。就其本质而言，SR模型具有同时准确和人类可解释的潜力。不幸的是，找到这样的模型，即，执行SR似乎是计算密集型任务。从历史上看，SR已经解决了贪婪或遗传算法，虽然一些作品暗示了可能的硬度SR，还没有证据表明，SR是，事实上，NP-难。这就引出了一个问题：是否有一个精确的多项式时间算法来计算SR模型？我们提供的证据表明，答案可能是否定的，表明SR是NP难的。
2022-07-11 cs.AI cs.NE
Evaluation of Population Initialization Methods for Genetic Programming-based Symbolic Regression
Heuristic and Evolutionary Algorithms Laboratory, University of Applied Sciences Upper Austria（上奥地利应用科学大学启发式与进化算法实验室）；Astrophysics, University of Oxford（牛津大学天体物理学系）；Institute of Cosmology & Gravitation, University of Portsmouth（朴茨茅斯大学宇宙学与引力研究所）
研究遗传编程符号回归中不同种群初始化方法对解精度和复杂度的影响，发现初始化方法对最终帕累托前沿的影响可忽略。
2026-07-01 cs.LG cs.NE
Glyph: Symbolic Regression Tools
我们提出Glance-一个基于符号回归的遗传编程的Python包。Glasgow是专为使用让数值模拟让现实世界的实验。对于实验者来说，glyph-remote提供了任务分离：ZeroMQ接口将遗传编程优化任务与实验（或数值）运行的评估分开。字形可在http://github.com/ambrosys/glyph上访问。领域专家能够在他们的实验中轻松地使用符号回归，即使他们不是专业的程序员。通用的接口设计使重用潜力保持在较高水平。Github和PyPI上都有。
2018-03-21 cs.MS cs.NE math.OC
Shared Symbolic Backbones for Physically Consistent Multi-Output Symbolic Regression
Universidad Politecnica de Madrid（马德里理工大学）
本文提出神经进化符号回归方法，以共享符号主干实现耦合多输出系统的物理一致性，在弱可识别共享因子场景下优于独立方法，是结构化共享机制提取器。
2026-07-30 cs.AI cs.CE cs.NE
Complexity Measures for Multi-objective Symbolic Regression
University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
多目标符号回归的优点是，在最大化学习模型的准确性的同时，复杂性自动适应，并且不需要事先指定。优化的结果不再是一个单一的解决方案，而是一个完整的帕累托前沿，描述了准确性和复杂性之间的权衡。在这篇文章中，我们研究了在使用NSGA-II进行多目标优化时，哪些复杂性度量最适合用于符号回归。此外，我们提出了一种新的复杂性措施，包括语义信息的基础上发生的功能符号的模型，并测试其效果在几个基准数据集。比较多个复杂性措施的结果中所取得的精度和模型长度，以说明如何搜索方向的算法受到影响。
2021-09-01 cs.LG cs.NE
Symbolic Discovery of Stochastic Differential Equations with Genetic Programming
Department of Machine Learning and Neural Computing, Donders Institute for Brain, Cognition and Behaviour, Radboud University（拉德堡德大学唐德斯大脑与行为研究所机器学习与神经计算系）
本文提出基于遗传编程的随机微分方程符号发现方法，通过最大似然估计联合优化漂移和扩散函数，实现对控制方程的准确恢复和高维系统的高效扩展。
2026-03-10 cs.NE cs.SC
Active Learning in Symbolic Regression with Physical Constraints
University of Rochester（罗切斯特大学）
本文提出将符号回归与基于委员会查询的主动学习及物理约束结合，以选择后续实验并在极少数据下恢复已知方程。
2024-08-09 cs.LG cs.NE physics.chem-ph
The Inefficiency of Genetic Programming for Symbolic Regression
University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Federal University of ABC（ABC联邦大学）；Institute of Cosmology & Gravitation, University of Portsmouth（朴茨茅斯大学宇宙学与引力研究所）；CNRS & Sorbonne Université, Institut d’Astrophysique de Paris (IAP)（法国国家科学研究中心与索邦大学，巴黎天体物理研究所）
研究分析了遗传编程在有限设置中搜索行为，比较了随机搜索与遗传编程在语义唯一表达空间中的效率，改进算法提升了穷举符号回归算法的性能。
2026-03-27 astro-ph.GA astro-ph.IM cs.NE
Interaction-Transformation Evolutionary Algorithm for Symbolic Regression
Federal University of ABC（ABC联邦大学）
交互转换（IT）是符号回归的一种新表示，它将搜索空间限制为更简单但表达性更强的函数形式。这种表示的优点是创建了一个更平滑的搜索空间，不像遗传编程中使用的常用表示--表达式树所生成的空间。本文介绍了一种进化算法，能够进化的人口IT表达式只支持的变异算子。结果表明，这种表示是能够找到更好的近似真实世界的数据集相比，传统的方法和最先进的遗传编程算法。
2020-09-20 cs.LG cs.NE stat.ML
Adaptive Protection for Evolutionary Feature Construction in Symbolic Regression with Application to Credit Classification
Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；School of Engineering and Computer Science（工程与计算机科学学院）；Victoria University of Wellington（惠灵顿维多利亚大学）；Business School, Sichuan University（四川大学商学院）；Michigan State University（密歇根州立大学）
针对符号回归进化特征构建中重要特征易丢失的问题，提出基于特征重要性的自适应保护机制，经98个回归基准数据集和2个信用分类数据集验证，可提升解质量与搜索效率。
2026-08-17 cs.LG cs.NE
Neuro-Evolutionary Approach to Physics-Aware Symbolic Regression
Czech Institute of Informatics, Robotics, and Cybernetics CTU in Prague（捷克信息学、机器人学和自动化研究中心CTU布拉格分校）；Dept. of Cognitive Robotics, TU Delft（认知机器人学系代尔夫特理工大学）；CIIRC, CTU in Prague（智能信息研究中心CTU布拉格分校）
提出一种结合进化搜索神经网络拓扑与梯度调参的神经进化符号回归方法，利用记忆策略和群体扰动避免过早收敛，在三个真实问题上优于其他基于NN的方法。
2025-04-23 cs.LG cs.NE
OccamNet: A Fast Neural Model for Symbolic Regression at Scale
Massachusetts Institute of Technology（麻省理工学院）
本文提出OccamNet，一种通过概率分布采样函数并结合强化学习交叉熵匹配训练的神经符号回归模型，能以低内存开销快速找到紧凑可解释的符号拟合，并在多种任务上超越现有方法。
2023-11-28 cs.LG cs.NE stat.ML
Symbolic Regression Driven by Training Data and Prior Knowledge
Delft University of Technology（代尔夫特理工大学）
在符号回归中，对分析模型的搜索通常纯粹由在训练数据样本上观察到的预测误差驱动。然而，当数据样本不充分覆盖输入空间时，预测误差不提供朝向期望模型的充分指导。然后，标准的符号回归技术产生部分不正确的模型，例如，在其稳态特性或局部行为方面。如果在搜索过程中已经考虑到这些特性，则可以产生更准确和相关的模型。我们提出了一种多目标符号回归方法，该方法由训练数据和所需模型应表现的属性的先验知识驱动。以形式约束的形式给出的属性在内部由一组离散数据样本表示，候选模型在该样本上被精确地检查。所提出的方法进行了实验评估的三个测试问题的结果清楚地表明，它的能力，以发展现实的模型，适合的训练数据，同时符合所需的模型特性的先验知识在同一时间。它优于标准符号回归的几个数量级的均方差从参考模型。
2020-04-24 cs.AI cs.LG cs.NE
Racing Control Variable Genetic Programming for Symbolic Regression
Purdue University（普渡大学）
针对符号回归中固定实验调度导致发现过程延迟的问题，提出竞速控制变量遗传规划（Racing-CVGP），通过并行执行多个实验调度并提前淘汰不利调度，显著加速方程发现过程，在合成与真实数据集上均优于现有方法。
2023-09-13 cs.AI cs.LG cs.NE
SNIP++: Fine-Grained Symbolic-Numerical Alignment for Symbolic Regression
Université Laval（拉瓦尔大学）；Mila（米拉研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对符号回归中多模态嵌入仅全局对齐、无法感知局部编辑影响的问题，提出SNIP++方法，通过结构位置编码与多粒度对比学习实现细粒度符号-数值对齐，显著提升局部编辑区分能力并迁移至外部语料库。
2026-09-29 cs.AI cs.LG cs.NE
Symbolic Regression via Control Variable Genetic Programming
Purdue University（普渡大学）
针对多自变量符号回归难题，受科学控制变量实验启发提出CVGP方法，通过增量式变量引入与定制实验设计缩减搜索空间，理论与实验均验证其优于现有基线。
2023-05-25 cs.AI cs.LG cs.NE
Neural-Guided Symbolic Regression with Asymptotic Constraints
Google Research（谷歌研究院）
符号回归是一种离散优化问题，涉及搜索适合给定数据点的表达式。在许多情况下，关于未知表达式的其他数学约束不仅提供了除了某些输入处的值之外的更多信息，而且还有效地约束了搜索空间。我们确定的渐近约束的领导多项式权力的功能接近零和无穷大的有用的约束，并创建一个系统，使用它们的符号回归。该系统的第一部分是一个有条件的产生式规则生成神经网络，优先生成产生式规则，以构建表达式所需的领导权力，产生新的表达式外的训练域。第二部分，我们称之为神经引导的蒙特卡罗树搜索，在搜索过程中使用网络来找到符合一组数据点和期望的领先功率的表达式。最后，我们对数千个目标表达式进行了广泛的实验验证，与现有的在训练集之外寻找未知函数的方法相比，我们的系统显示了有效性。
2019-12-23 cs.LG cs.NE stat.ML
Symbolic Regression with Multimodal Large Language Models and Kolmogorov Arnold Networks
NSF AI Institute for Fundamental Interactions, MIT, Cambridge, MA 02139, USA（NSF人工智能基础相互作用研究所，麻省理工学院，剑桥，马萨诸塞州，02139，美国）；Department of Physics, Northeastern University, Boston, MA 02115, USA（物理系，东北大学，波士顿，马萨诸塞州，02115，美国）；Department of Mathematics, Northeastern University, Boston, MA 02115, USA（数学系，东北大学，波士顿，马萨诸塞州，02115，美国）；Rudolf Peierls Centre for Theoretical Physics, University of Oxford, Oxford OX1 2JD, UK（鲁道夫·佩尔尔斯理论物理中心，牛津大学，牛津 OX1 2JD，英国）
本研究提出结合视觉大语言模型与KAN的新型符号回归方法，以LLM生成函数试探解构成遗传算法种群，无需预设函数集，验证了单变量的有效性并拓展至多变量场景。
2025-05-12 cs.LG cs.NE cs.SC
GSR: A Generalized Symbolic Regression Approach
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
在机器学习中，识别最能描述数据集的数学关系仍然是一个非常具有挑战性的问题，被称为符号回归（SR）。与通常被视为黑箱的神经网络相比，SR试图通过组装分析函数来洞察给定数据集的自变量和目标变量之间的潜在关系。在本文中，我们提出了GSR，广义符号回归方法，通过修改传统的SR优化问题的制定，同时保持主要SR目标不变。在GSR中，我们推断自变量和目标变量的某些变换之间的数学关系。我们约束我们的搜索空间的基函数的加权和，并提出了一个基于矩阵的编码方案的遗传编程方法。我们表明，我们的GSR方法是有竞争力的强大SR基准方法，实现了有前途的实验性能上著名的SR基准问题集。最后，我们强调GSR的优势，通过引入SymSet，一个新的SR基准集，这是更具有挑战性的相对于现有的基准。
2023-01-08 cs.AI cs.LG cs.NE
SymFormer: End-to-end symbolic regression using transformer-based architecture
Delft University of Technology（代尔夫特理工大学）
现实世界中的许多问题都可以用数学公式自然地描述。从一组观察到的输入和输出中找到公式的任务称为符号回归。近年来，神经网络已被应用于符号回归，其中基于变换的神经网络是最有前途的。在对Transformer进行大量公式（以天为单位）的训练之后，实际的推断，即，为新的、看不见的数据找到公式是非常快的（以秒的量级）。这比最先进的进化方法快得多。Transformers的主要缺点是它们生成的公式没有数值常数，必须单独优化，因此产生次优结果。我们提出了一种基于变换的方法称为SymFormer，它通过同时输出各个符号和相应的常数来预测公式。这导致在拟合可用数据方面的更好性能。此外，SymFormer提供的常数可作为后续通过梯度下降进行调整的良好起点，以进一步提高性能。我们在一组基准测试中表明，SymFormer在推理速度更快的同时，性能优于两种最先进的方法。
2022-10-20 cs.CV cs.LG cs.NE
A Probabilistic Linear Genetic Programming with Stochastic Context-Free Grammar for solving Symbolic Regression problems
传统的线性遗传编程（LGP）算法仅基于选择机制来指导搜索。遗传操作员将个体的随机部分组合或突变，而不知道结果是否会导致更适合的个体。概率模型构建遗传编程（PMB-GP）方法被提出来通过概率模型来克服这个问题，该概率模型捕获适合个体的结构并使用它来采样新个体。这项工作提出了使用LGP与随机上下文无关文法（SCFG），有一个概率分布，根据选定的个人更新。我们提出了一种方法，使文法适应LGP的线性表示。与建议的概率方法进行测试，并与两个混合的方法，在几个符号回归基准问题表明，结果是统计上优于传统的LGP。
2017-04-03 cs.NE math.PR stat.ML
Generalizability of Functional Forms for Interatomic Potential Models Discovered by Symbolic Regression
近年来，在使用机器学习算法开发原子间相互作用势模型方面取得了很大进展。机器学习的势模型通常比密度泛函理论快几个数量级，但也比嵌入原子方法等物理衍生模型慢几个数量级。在我们以前的工作中，我们使用符号回归来开发快速，准确和可转移的铜原子间势模型，具有类似于嵌入原子方法的新功能形式。为了确定这些形式的成功在多大程度上是特定于铜的，在这里，我们探讨了这些模型对其他面心立方过渡金属的可推广性，并分析了它们在几种材料特性上的样品外性能。我们发现这些形式对化学性质与铜相似的元素特别有效。与具有相似复杂性的优化Sutton-Chen模型相比，使用符号回归发现的函数形式在所有考虑的元素中表现更好，除了黄金，它们具有相似的性能。它们在训练的属性上的表现类似于一个适度复杂的嵌入式原子形式，并且它们在其他属性上的平均准确度更高。我们将这种改进的广义准确性归因于使用符号回归发现的模型的相对简单性。遗传规划模型被发现优于其他模型从文献中约50%的时间在各种属性的预测，约1/10的模型复杂性平均。我们讨论了这些结果的影响，更广泛的应用，符号回归的发展新的潜力，并强调如何发现一个元素的模型可以用来播种新的搜索不同的元素。
2023-03-25 cond-mat.mtrl-sci cs.LG cs.NE
Integration of Neural Network-Based Symbolic Regression in Deep Learning for Scientific Discovery
Massachusetts Institute of Technology（麻省理工学院）；University of Zagreb（萨格勒布大学）
符号回归是一种强大的技术，可以发现描述数据的分析方程，这可以导致训练数据集之外的可解释模型和泛化性。相比之下，神经网络在图像识别和自然语言处理任务上已经达到了惊人的准确度，但通常被视为难以解释的黑箱模型，并且通常推断不佳。在这里，我们使用一种基于神经网络的符号回归架构，称为方程式学习器（EQL）网络，并将其与其他深度学习架构集成，以便整个系统可以通过反向传播进行端到端训练。为了证明这种系统的功能，我们研究了它们在几个基本不同的任务上的性能。首先，我们证明了神经网络可以执行符号回归并学习几个函数的形式。接下来，我们提出了一个MNIST算术任务，其中神经网络的一个单独部分提取数字。最后，我们展示了预测的动态系统，其中一个未知的参数是通过编码器提取。我们发现，与基于标准神经网络的架构相比，基于EQL的架构可以在训练数据集之外进行很好的外推，为深度学习在科学探索和发现中的应用铺平了道路。
2020-08-13 cs.LG cs.NE physics.data-an
