Minimum variance threshold for epsilon-lexicase selection
针对进化算法中父代选择因聚合测试用例误差导致信息损失的问题,提出基于最小分区总方差的epsilon-lexicase选择新准则,嵌入FEAT算法后经SRBench基准测试,在真实数据集上性能优于传统方法,合成数据集上性能相当。
2024-04-08 cs.NE
Batch Tournament Selection for Genetic Programming
SkipTheDishes Restaurant Services Inc.(SkipTheDishes餐饮服务公司);Kyushu University(九州大学);Michigan State University(密歇根州立大学)
词典选择通过引入有序测试用例实现了很好的解质量。然而,词典选择的计算复杂性会阻碍其在许多应用中的使用。在本文中,我们介绍了批量锦标赛选择(BTS),混合的比赛和词典选择,这是大约一个数量级的速度比词典选择,同时实现有竞争力的解决方案的质量。在一些回归数据集上的测试表明,BTS在平均绝对误差方面与词典选择相比,速度提高了25倍。令人惊讶的是,BTS和词典选择在多样性和性能方面几乎没有差异。这揭示了批处理和有序测试用例是完全不同的机制,它们共享促进个体专业化的相同一般原则。这项工作介绍了一种有效的算法,揭示了lexicase成功背后的主要原则,可能为算法的出现开辟了一系列新的可能性。
2019-04-18 cs.LG cs.NE
DALex: Lexicase-like Selection via Diverse Aggregation
Amherst College(阿默斯特学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
DALex通过随机加权聚合训练误差,将词典式选择转化为矩阵乘法,实现显著加速,同时保持几乎相同的求解性能,并可调节超参数在严格与松弛变体间插值。
2024-02-09 cs.LG cs.NE
Benchmarking Zero-Shot LLM-Generated Parent Selection in Genetic Programming for Symbolic Regression
Victoria University of Wellington(惠灵顿维多利亚大学);Michigan State University(密歇根州立大学)
研究符号回归遗传编程中零样本大语言模型生成亲本选择算子,在标准框架内对八个模型进行基准测试,比较不同模型生成算子在多个回归基准上的表现,发现Claude Sonnet~4.6和Gemini~3.1 Pro表现出色,证明零样本合成是可行方法。
2026-07-28 cs.NE
Leveraging Symbolic Regression for Heuristic Design in the Traveling Thief Problem
本文利用符号回归学习旅行窃贼问题中近最优打包计划的特征,并据此设计高效的元启发式遗传算法及初始化方案,经比较验证了其有效性。
2024-04-19 cs.NE
Developing Postfix-GP Framework for Symbolic Regression Problems
本文描述了一种基于后缀标记的遗传编程(GP)系统--Postfix-GP,用于求解符号回归问题。提出了Postfix-GP框架的面向对象体系结构。它帮助用户理解Postfix-GP各个组件的实现细节。Postfix-GP提供了图形化的用户界面,允许用户配置实验,可视化演化的解决方案,分析GP运行,并执行样本外预测。Postfix-GP的使用通过解决基准符号回归问题来演示。最后,将Postfix-GP框架与其他GP系统的特点进行了比较。
2015-07-07 cs.NE
Correlation versus RMSE Loss Functions in Symbolic Regression Tasks
在符号回归任务中探索了相关性作为适应度函数的使用,并将其性能与典型的RMSE适应度函数进行了比较。使用相关性与对齐步骤来得出进化的结论,导致了作为适应度函数的RMSE的显着性能增益。与RMSE相比,使用相关性作为适应度函数可以在更少的代中找到解决方案,并且发现在训练集中需要更少的数据点来发现正确的方程。费曼符号回归基准以及其他几个旧的和最近的GP基准问题被用来评估性能。
2022-07-29 cs.NE
Current Challenges of Symbolic Regression: Optimization, Selection, Model Simplification, and Benchmarking
FEDERAL UNIVERSITY OF ABC(ABC联邦大学)
本研究通过参数优化、父母选择和模型简化等方法,改进了符号回归的性能,并在多个基准测试中实现了准确性和简洁性的帕累托最优。
2025-12-01 cs.NE
GPU-Accelerated Genetic Programming for Symbolic Regression with Beagle Framework
Michigan State University(密歇根州立大学);Noblis, Inc.(Noblis公司)
本文基于Beagle框架,利用GPU加速遗传编程进行符号回归,通过对比实验展示了其在Feynman数据集上优于StackGP和PySR等CPU系统的性能。
2026-03-10 cs.NE
Block building programming for symbolic regression
旨在检测底层数据驱动模型的符号回归在工业数据分析中变得越来越重要。对于大多数现有的算法,如遗传编程(GP),收敛速度可能会太慢的大规模问题,大量的变量。随着问题规模的增加,这种情况可能会变得更糟。上述困难使得符号回归在实际应用中受到限制。幸运的是,在许多工程问题中,目标模型中的自变量是可分离或部分可分离的。这一特性启发我们开发了一种新的方法,即块构建编程(BBP)。BBP将原始目标函数划分为若干块,并进一步划分为因子。这些因素然后由优化引擎(例如GP)建模。在这种情况下,BBP可以大大减少搜索空间。可分性的划分是基于一种特殊的方法,块和因子检测。两种不同的优化引擎被应用于测试的性能BBP一组符号回归问题。数值结果表明,BBP具有良好的结构和系数优化能力,计算效率高。
2017-10-28 cs.NE
Contemporary Symbolic Regression Methods and their Relative Performance
近年来提出了许多有前途的符号回归方法,但该领域的进展仍然缺乏统一,强大和透明的基准测试标准。在本文中,我们通过引入一个开源的,可重复的基准测试平台,符号回归来解决这个缺点。我们评估了14种符号回归方法和7种机器学习方法对一组252个不同的回归问题。我们的评估包括没有已知模型形式的真实数据集以及地面实况基准问题,包括物理方程和常微分方程组。对于真实世界的数据集,我们对每种方法学习模型的能力进行了基准测试,相对于最先进的机器学习方法,这些方法具有低错误和低复杂度。对于合成的问题,我们评估每种方法的能力,找到精确的解决方案,在不同程度的噪音的存在。根据这些对照实验,我们得出结论,最好的执行方法,现实世界的回归结合遗传算法参数估计和/或语义搜索驱动程序。当任务是在存在噪声的情况下恢复精确方程时,我们发现深度学习和基于遗传算法的方法表现相似。我们提供了一个详细的指南,以重现这个实验和贡献新的方法,并鼓励其他研究人员与我们合作,共同和生活的符号回归基准。
2021-07-29 cs.NE
[RETRACTED]Evolving Form and Function: Dual-Objective Optimization in Neural Symbolic Regression Networks
University of Vermont(佛蒙特大学)
针对现有神经符号回归仅用符号目标训练、忽略方程预测能力的问题,提出结合梯度下降与进化计算的双目标优化方法,生成符号与行为准确性更优的方程,提升符号回归效果。
2025-10-22 cs.NE
Online Diversity Control in Symbolic Regression via a Fast Hash-based Tree Similarity Measure
多样性是遗传编程的一个重要方面,与搜索性能直接相关。当考虑在基因型水平,多样性往往需要昂贵的树距离的措施,有负面影响的算法的运行时性能。在这项工作中,我们引入了一个快速的,基于哈希的树距离度量,以大大加快算法运行过程中人口多样性的计算。我们结合这一措施与标准的GA和NSGA-II遗传算法,以引导搜索更高的多样性。我们验证的方法上的基准问题的集合符号回归,我们的方法始终优于标准的GA以及NSGA-II配置不同的次要目标。
2019-02-03 cs.NE
Local Optimization Often is Ill-conditioned in Genetic Programming for Symbolic Regression
该研究通过奇异值分解分析遗传编程中局部优化问题的条件数,发现雅可比矩阵常呈病态,并指出限制树大小和增加非线性函数可缓解此问题。
2022-09-02 cs.NE
Symbolic regression by uniform random global search
符号回归(SR)是一个数据分析问题,我们在其中搜索最适合数值数据集的数学表达式。这是一个全局优化问题。最流行的SR方法是通过遗传编程(SRGP)。将算法的性能与随机搜索的性能进行比较是一种常见的研究范式,但是将SRGP与随机搜索进行比较的数据却很缺乏。我们描述了一种新的算法SR,即SR均匀随机全局搜索(SRURGS),也被称为纯随机搜索。我们进行实验比较SRURGS与SRGP使用100个随机生成的方程。我们的结果表明,SRGP在生成简单问题的R^2良好的方程方面比SRURGS更快。然而,我们的实验表明,SRURGS比SRGP更强大,能够在更具挑战性的问题中产生良好的输出。由于SRURGS可以说是最简单的全局搜索算法,我们认为它应该作为一个控制算法,对其他符号回归算法进行比较。SRURGS只有一个调整参数,并且在概念上非常简单,使其成为解决SR问题的有用工具。该方法产生的随机方程,这是有用的符号回归基准问题的生成。我们已经发布了文档齐全的开源python代码,目前正在正式的同行评审中,以便感兴趣的研究人员可以在实践中部署该工具。
2019-11-18 cs.NE
A divide and conquer method for symbolic regression
符号回归的目的是根据给定的样本数据集,找到一个最能解释自变量与目标值之间关系的函数。遗传编程(GP)由于能同时优化函数结构和系数,被认为是解决该问题的一种合适方法。然而,GP的收敛速度可能太慢,涉及大量的变量的大规模问题。幸运的是,在许多应用中,目标函数是可分离或部分可分离的。这一特点促使我们开发了一种新的方法,分而治之(D&C),符号回归,其中目标函数被划分为许多子函数,然后由任何GP算法确定的子函数。通过一种新提出的技术,双相关检验(BiCT)的可分性进行了探索。D&C驱动的GP已经在一些实际应用中进行了测试,研究表明D&C可以帮助GP更快地获得目标功能。
2017-06-27 cs.NE
Using Shape Constraints for Improving Symbolic Regression Models
我们描述和分析算法的形状约束的符号回归,它允许包括先验知识的回归函数的形状。这在工程的许多领域都是相关的-特别是当从测量中获得的数据驱动模型必须具有某些属性(例如正性,单调性或凸性)时。我们实现形状约束使用软惩罚的方法,使用多目标算法,以尽量减少违反约束和训练误差。我们使用非支配排序遗传算法(NSGA-Ⅱ)以及基于分解的多目标进化算法(MOEA/D)。我们使用一组模型,从物理教科书中测试的算法,并与早期的结果与单目标算法进行比较。结果表明,所有算法都能够找到符合所有形状约束的模型。使用形状约束有助于改善模型的外推行为。
2021-07-20 cs.NE
Analysing Symbolic Regression Benchmarks under a Meta-Learning Approach
为遗传编程(GP)定义一个简洁有效的测试平台是研究界经常出现的问题。本文在这个方向上迈出了新的一步,提出了一种不同的方法来定量地衡量符号回归基准的质量。所提出的方法是基于元学习,并使用一组数据集的元特征-如样本的数量或输出偏度-来描述数据集。我们的想法是将这些元特征与GP方法获得的误差相关联。这些元特征定义了一个基准空间,理想情况下,这些基准空间应该具有覆盖空间不同区域的数据集(点)。对63个数据集的初步分析表明,目前的基准集中在这个基准空间的一个小区域。我们还发现,实例数和输出偏度是与GP输出错误最相关的元特征。这两个结论都可以帮助定义哪些数据集应该构成符号回归方法的有效测试平台。
2018-05-25 cs.NE
Zobrist Hash-based Duplicate Detection in Symbolic Regression
本文针对遗传编程符号回归中重复评估搜索点导致的计算浪费问题,提出基于Zobrist哈希的缓存机制,并在Operon框架上实现,在真实回归问题上取得最高34%的加速且不影响搜索质量。
2025-08-19 cs.NE
Elite Bases Regression: A Real-time Algorithm for Symbolic Regression
符号回归是数据采掘中一个重要而又具有挑战性的研究课题。它可以检测出潜在的数学模型。遗传编程(GP)是符号回归中最常用的方法之一。然而,它的收敛速度可能太慢,大规模的问题,大量的变量。这一缺陷已成为实际应用中的瓶颈。本文提出了一种新的非进化实时的【形】符号回归算法-精英基回归(EBR)。EBR生成一组候选基函数,这些基函数按照特定的映射规则用解析矩阵编码。同时,保留一定数量的精英基,并根据与目标模型的相关系数迭代更新。然后,通过精英基础来跨越回归模型。EBR和最近提出的符号回归的机器学习方法,快速函数提取(FFX)之间的比较研究进行。数值结果表明,EBR可以更有效地解决符号回归问题。
2017-05-15 cs.DS cs.NE
Where are we now? A large benchmark study of recent symbolic regression methods
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们提供了一个广泛的基准最近的遗传编程方法的背景下,最先进的机器学习方法的符号回归。我们使用了一组近100个回归基准测试问题,这些问题是从网络上的开源存储库中挑选出来的。我们对最近的四种符号回归方法以及scikit-learn的九种机器学习方法进行了严格的基准测试。结果表明,符号回归表现强劲相比,国家的最先进的梯度提升算法,虽然在运行时间是最慢的可用方法。我们详细讨论了结果,并指出未来的研究方向,可能会让符号回归获得更广泛的采用在机器学习社区。
2018-06-07 cs.LG cs.NE
Symbolic-Regression Boosting
Ben-Gurion University(本-古里安大学);University of Pennsylvania(宾夕法尼亚大学)
修改标准的梯度提升,通过替换嵌入式弱学习器,有利于一个强(er)的,我们提出SyRBo:符号回归提升。在98个回归数据集上的实验表明,通过向符号回归器添加少量的提升阶段(2- 5),通常可以获得统计上显著的改进。我们注意到,在任何符号回归器之上编码SyRBo是简单的,增加的成本只是多了几轮进化。SyRBo本质上是一个简单的附加组件,可以很容易地添加到现有的符号回归器中,通常会带来有益的结果。
2022-06-24 cs.LG cs.NE
Dimensionally Constrained Symbolic Regression
我们描述了维度约束的符号回归,它已被开发用于高能物理(HEP)中某些类别事件的质量测量。通过符号回归,我们可以推导出HEP中众所周知的方程。然而,在大量变量的问题中,我们发现,通过限制符号回归中允许的项,收敛行为得到改善。约束符号回归(DCSR)找到的解决方案具有更好的适应性比通常可能与符号回归。在某些情况下,找到了新的解决方案。
2011-06-20 cs.NE physics.comp-ph stat.ML
Hash-Based Tree Similarity and Simplification in Genetic Programming for Symbolic Regression
Josef Ressel Centre for Symbolic Regression(约瑟夫·雷塞尔符号回归中心);University of Applied Sciences Upper Austria(上奥地利应用科学大学);Johannes Kepler University(约翰内斯·开普勒大学)
本文介绍了一种运行时高效的树哈希算法,用于识别同构子树,在符号回归的遗传编程中有两个重要的应用:快速,在线计算种群多样性和符号表达式树的代数简化。基于这种散列方法,我们提出了一个简单的多样性保护机制与有前途的结果收集的符号回归基准问题。
2021-07-22 cs.LG cs.NE
Prediction Intervals and Confidence Regions for Symbolic Regression Models based on Likelihood Profiles
Federal University of ABC(ABC联邦大学);University of Applied Sciences Upper Austria(上奥地利应用科学大学)
符号回归是一种非线性回归方法,其通常通过诸如遗传编程的演化计算方法来执行。回归模型的不确定性的量化对于模型的解释和决策制定是重要的。线性近似和所谓的似然曲线是用于计算非线性回归模型的置信区间和预测区间的众所周知的可能性。这些简单而有效的技术到目前为止在遗传编程文献中被完全忽略了。在这项工作中,我们详细描述了计算的可能性配置文件,并提供了一些说明性的例子与模型创建三个不同的符号回归算法在两个不同的数据集。这些例子突出了似然配置文件的重要性,以了解符号回归模型的局限性,并帮助用户采取明智的预测后的决定。
2022-09-14 cs.LG cs.NE
Binary and Multinomial Classification through Evolutionary Symbolic Regression
Ben-Gurion University(本-古里安大学)
我们提出了三种基于进化符号回归的二进制和多项式数据集分类算法:GPLearnClf,CartesianClf和ClaSyCo。测试了超过162个数据集,并与三种最先进的机器学习算法- XGBoost,LightGBM和深度神经网络-进行了比较,我们发现我们的算法具有竞争力。此外,我们演示了如何通过使用最先进的超参数优化器自动为数据集找到最佳方法。
2022-06-25 cs.LG cs.NE
Shape-constrained Symbolic Regression -- Improving Extrapolation with Prior Knowledge
我们调查的功能图像及其衍生物的约束条件,将先验知识的符号回归。这种方法被称为形状约束符号回归,允许我们在选定的输入上强制执行函数的单调性。目的是找到符合预期行为并具有改进的外推能力的模型。我们证明了这一想法的可行性,并提出和比较两种进化算法的形状约束的符号回归:i)基于树的遗传编程,放弃不可行的解决方案在选择步骤中的扩展,和ii)两个种群的进化算法,分离的可行的不可行的解决方案。在这两种算法中,我们使用区间算术来近似模型及其偏导数的边界。一组19个合成和四个现实世界的回归问题的算法进行了测试。这两种算法都能够识别符合形状约束的模型,而这不是未经修改的符号回归算法的情况。然而,有约束的模型的预测精度较差的训练集和测试集。形状约束多项式回归对测试集产生最好的结果,但也对更大的模型产生最好的结果。
2021-05-31 cs.NE stat.ML
Predicting Friction System Performance with Symbolic Regression and Genetic Programming with Factor Variables
University of Applied Sciences Upper Austria(上奥地利应用科学大学);Miba Frictec GmbH(米巴摩擦技术有限公司)
摩擦系统是其中摩擦用于力传递的机械系统(例如机械制动系统或自动变速箱)。为了找到最佳和安全的设计参数,工程师必须预测摩擦系统的性能。这在实际应用中尤其困难,因为它受到许多参数的影响。我们已经使用符号回归和遗传编程,为这项任务找到准确和可靠的预测模型。然而,如何纳入名义变量并不简单。特别地,独热编码是不令人满意的,因为遗传编程倾向于去除这样的指示变量。因此,我们使用所谓的因子变量来表示符号回归模型中的名义变量。我们的研究结果表明,GP是能够产生的符号回归模型预测摩擦性能的预测精度是可比的人工神经网络。具有因子变量的符号回归模型比使用独热编码的模型简单。
2021-07-19 cs.LG cs.NE
A Data-Free Symbolic Regression Approach for Solving Equations
Intelligent Maintenance and Operations Systems Laboratory, EPFL(EPFL智能维护与运营系统实验室)
提出符号方程求解器(SES),将方程求解转化为可微符号模型的优化问题,无需配对数据,直接从方程和边界条件构建目标函数,恢复显式符号解。
2026-06-05 cs.NE cs.SC
Steel Phase Kinetics Modeling using Symbolic Regression
University of Applied Sciences Upper Austria(上奥地利应用科学大学);MCL Forschungs GmbH(MCL研究有限责任公司)
本文描述了一种基于符号回归和遗传编程的钢相动力学经验建模方法。该算法采用从粘度计测量收集的处理数据,并产生模拟相动力学的微分方程系统。我们的初步结果表明,所提出的方法可以识别紧凑的微分方程,适合的数据。该模型预测铁素体,珠光体和贝氏体形成为一个单一的钢类型。模型中尚未包括马氏体。未来的工作应包括马氏体和推广到多种不同的化学成分的钢类型。
2022-12-19 cs.LG cs.NE
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris(巴黎大学);Ochanomizu University(御茶水女子大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通过结合遗传编程,MAP精英和协方差矩阵自适应演化策略,我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索,同时保持多样性并避免过早收敛和膨胀。然后,协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题,我们的算法是能够找到正是大多数的$31$目标提取的文献上,我们评估它。
2019-06-10 cs.LG cs.NE
Prove Symbolic Regression is NP-hard by Symbol Graph
本文通过引入符号图表示整个数学表达式空间,将符号回归问题与NP难的度约束斯坦纳树形图问题相关联,从而证明了符号回归的NP难性质。
2024-04-22 cs.CC cs.NE
Symbolic Regression is NP-hard
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所)
符号回归(SR)是学习数学表达式形式的数据模型的任务。就其本质而言,SR模型具有同时准确和人类可解释的潜力。不幸的是,找到这样的模型,即,执行SR似乎是计算密集型任务。从历史上看,SR已经解决了贪婪或遗传算法,虽然一些作品暗示了可能的硬度SR,还没有证据表明,SR是,事实上,NP-难。这就引出了一个问题:是否有一个精确的多项式时间算法来计算SR模型?我们提供的证据表明,答案可能是否定的,表明SR是NP难的。
2022-07-11 cs.AI cs.NE
Evaluation of Population Initialization Methods for Genetic Programming-based Symbolic Regression
Heuristic and Evolutionary Algorithms Laboratory, University of Applied Sciences Upper Austria(上奥地利应用科学大学启发式与进化算法实验室);Astrophysics, University of Oxford(牛津大学天体物理学系);Institute of Cosmology & Gravitation, University of Portsmouth(朴茨茅斯大学宇宙学与引力研究所)
研究遗传编程符号回归中不同种群初始化方法对解精度和复杂度的影响,发现初始化方法对最终帕累托前沿的影响可忽略。
2026-07-01 cs.LG cs.NE
LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington(惠灵顿维多利亚大学数据科学与人工智能中心及工程与计算机科学学院);Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学与工程系)
本文提出一种元学习框架,使LLM自动设计进化符号回归算法的选择算子,解决现有方法中语义指导不足和代码膨胀问题,实验表明LLM设计的选择算子优于九个专家设计基线,达到最先进的性能。
2026-03-31 cs.AI cs.LG cs.NE
Complexity Measures for Multi-objective Symbolic Regression
University of Applied Sciences Upper Austria(上奥地利应用科学大学);Johannes Kepler University Linz(林茨约翰·开普勒大学)
多目标符号回归的优点是,在最大化学习模型的准确性的同时,复杂性自动适应,并且不需要事先指定。优化的结果不再是一个单一的解决方案,而是一个完整的帕累托前沿,描述了准确性和复杂性之间的权衡。在这篇文章中,我们研究了在使用NSGA-II进行多目标优化时,哪些复杂性度量最适合用于符号回归。此外,我们提出了一种新的复杂性措施,包括语义信息的基础上发生的功能符号的模型,并测试其效果在几个基准数据集。比较多个复杂性措施的结果中所取得的精度和模型长度,以说明如何搜索方向的算法受到影响。
2021-09-01 cs.LG cs.NE
Symbolic Regression via Neural-Guided Genetic Programming Population Seeding
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
符号回归是识别符合黑箱过程的观测输出的数学表达式的过程。这是一个离散优化问题,通常被认为是NP-难的。解决该问题的现有方法包括神经引导搜索(例如,使用强化学习)和遗传编程。在这项工作中,我们介绍了一种混合神经引导/遗传编程的方法,符号回归和其他组合优化问题。我们提出了一个神经元引导的组件用于种子的随机重启遗传编程组件的起始人口,逐渐学习更好的起始人口。在一些常见的基准测试任务中,从数据集中恢复底层表达式,我们的方法比最近发布的使用相同实验设置的最佳模型多恢复65%的表达式。我们证明,在不依赖神经引导组件的情况下运行许多代遗传编程,对于符号回归来说,比两者耦合更强的替代公式表现得更好。最后,我们引入了一组新的22个符号回归基准问题,其难度比现有基准更高。源代码在www.github.com/brendenpetersen/deep-symbolic-optimization上提供。
2021-11-17 cs.AI cs.LG cs.NE
Symbolic Discovery of Stochastic Differential Equations with Genetic Programming
Department of Machine Learning and Neural Computing, Donders Institute for Brain, Cognition and Behaviour, Radboud University(拉德堡德大学唐德斯大脑与行为研究所机器学习与神经计算系)
本文提出基于遗传编程的随机微分方程符号发现方法,通过最大似然估计联合优化漂移和扩散函数,实现对控制方程的准确恢复和高维系统的高效扩展。
2026-03-10 cs.NE cs.SC
Shared Symbolic Backbones for Physically Consistent Multi-Output Symbolic Regression
Universidad Politecnica de Madrid(马德里理工大学)
本文提出神经进化符号回归方法,以共享符号主干实现耦合多输出系统的物理一致性,在弱可识别共享因子场景下优于独立方法,是结构化共享机制提取器。
2026-07-30 cs.AI cs.CE cs.NE
Adaptive Protection for Evolutionary Feature Construction in Symbolic Regression with Application to Credit Classification
Centre for Data Science and Artificial Intelligence(数据科学与人工智能中心);School of Engineering and Computer Science(工程与计算机科学学院);Victoria University of Wellington(惠灵顿维多利亚大学);Business School, Sichuan University(四川大学商学院);Michigan State University(密歇根州立大学)
针对符号回归进化特征构建中重要特征易丢失的问题,提出基于特征重要性的自适应保护机制,经98个回归基准数据集和2个信用分类数据集验证,可提升解质量与搜索效率。
2026-08-17 cs.LG cs.NE
Glyph: Symbolic Regression Tools
我们提出Glance-一个基于符号回归的遗传编程的Python包。Glasgow是专为使用让数值模拟让现实世界的实验。对于实验者来说,glyph-remote提供了任务分离:ZeroMQ接口将遗传编程优化任务与实验(或数值)运行的评估分开。字形可在http://github.com/ambrosys/glyph上访问。领域专家能够在他们的实验中轻松地使用符号回归,即使他们不是专业的程序员。通用的接口设计使重用潜力保持在较高水平。Github和PyPI上都有。
2018-03-21 cs.MS cs.NE math.OC
The Inefficiency of Genetic Programming for Symbolic Regression
University of Applied Sciences Upper Austria(上奥地利应用科学大学);Federal University of ABC(ABC联邦大学);Institute of Cosmology & Gravitation, University of Portsmouth(朴茨茅斯大学宇宙学与引力研究所);CNRS & Sorbonne Université, Institut d’Astrophysique de Paris (IAP)(法国国家科学研究中心与索邦大学,巴黎天体物理研究所)
研究分析了遗传编程在有限设置中搜索行为,比较了随机搜索与遗传编程在语义唯一表达空间中的效率,改进算法提升了穷举符号回归算法的性能。
2026-03-27 astro-ph.GA astro-ph.IM cs.NE
Interaction-Transformation Evolutionary Algorithm for Symbolic Regression
Federal University of ABC(ABC联邦大学)
交互转换(IT)是符号回归的一种新表示,它将搜索空间限制为更简单但表达性更强的函数形式。这种表示的优点是创建了一个更平滑的搜索空间,不像遗传编程中使用的常用表示--表达式树所生成的空间。本文介绍了一种进化算法,能够进化的人口IT表达式只支持的变异算子。结果表明,这种表示是能够找到更好的近似真实世界的数据集相比,传统的方法和最先进的遗传编程算法。
2020-09-20 cs.LG cs.NE stat.ML
Active Learning in Symbolic Regression with Physical Constraints
University of Rochester(罗切斯特大学)
本文提出将符号回归与基于委员会查询的主动学习及物理约束结合,以选择后续实验并在极少数据下恢复已知方程。
2024-08-09 cs.LG cs.NE physics.chem-ph
OccamNet: A Fast Neural Model for Symbolic Regression at Scale
Massachusetts Institute of Technology(麻省理工学院)
本文提出OccamNet,一种通过概率分布采样函数并结合强化学习交叉熵匹配训练的神经符号回归模型,能以低内存开销快速找到紧凑可解释的符号拟合,并在多种任务上超越现有方法。
2023-11-28 cs.LG cs.NE stat.ML
Racing Control Variable Genetic Programming for Symbolic Regression
Purdue University(普渡大学)
针对符号回归中固定实验调度导致发现过程延迟的问题,提出竞速控制变量遗传规划(Racing-CVGP),通过并行执行多个实验调度并提前淘汰不利调度,显著加速方程发现过程,在合成与真实数据集上均优于现有方法。
2023-09-13 cs.AI cs.LG cs.NE
SNIP++: Fine-Grained Symbolic-Numerical Alignment for Symbolic Regression
Université Laval(拉瓦尔大学);Mila(米拉研究所);Carnegie Mellon University(卡内基梅隆大学)
针对符号回归中多模态嵌入仅全局对齐、无法感知局部编辑影响的问题,提出SNIP++方法,通过结构位置编码与多粒度对比学习实现细粒度符号-数值对齐,显著提升局部编辑区分能力并迁移至外部语料库。
2026-09-29 cs.AI cs.LG cs.NE
Symbolic Regression via Control Variable Genetic Programming
Purdue University(普渡大学)
针对多自变量符号回归难题,受科学控制变量实验启发提出CVGP方法,通过增量式变量引入与定制实验设计缩减搜索空间,理论与实验均验证其优于现有基线。
2023-05-25 cs.AI cs.LG cs.NE
Neural-Guided Symbolic Regression with Asymptotic Constraints
Google Research(谷歌研究院)
符号回归是一种离散优化问题,涉及搜索适合给定数据点的表达式。在许多情况下,关于未知表达式的其他数学约束不仅提供了除了某些输入处的值之外的更多信息,而且还有效地约束了搜索空间。我们确定的渐近约束的领导多项式权力的功能接近零和无穷大的有用的约束,并创建一个系统,使用它们的符号回归。该系统的第一部分是一个有条件的产生式规则生成神经网络,优先生成产生式规则,以构建表达式所需的领导权力,产生新的表达式外的训练域。第二部分,我们称之为神经引导的蒙特卡罗树搜索,在搜索过程中使用网络来找到符合一组数据点和期望的领先功率的表达式。最后,我们对数千个目标表达式进行了广泛的实验验证,与现有的在训练集之外寻找未知函数的方法相比,我们的系统显示了有效性。
2019-12-23 cs.LG cs.NE stat.ML
Symbolic Regression with Multimodal Large Language Models and Kolmogorov Arnold Networks
NSF AI Institute for Fundamental Interactions, MIT, Cambridge, MA 02139, USA(NSF人工智能基础相互作用研究所,麻省理工学院,剑桥,马萨诸塞州,02139,美国);Department of Physics, Northeastern University, Boston, MA 02115, USA(物理系,东北大学,波士顿,马萨诸塞州,02115,美国);Department of Mathematics, Northeastern University, Boston, MA 02115, USA(数学系,东北大学,波士顿,马萨诸塞州,02115,美国);Rudolf Peierls Centre for Theoretical Physics, University of Oxford, Oxford OX1 2JD, UK(鲁道夫·佩尔尔斯理论物理中心,牛津大学,牛津 OX1 2JD,英国)
本研究提出结合视觉大语言模型与KAN的新型符号回归方法,以LLM生成函数试探解构成遗传算法种群,无需预设函数集,验证了单变量的有效性并拓展至多变量场景。
2025-05-12 cs.LG cs.NE cs.SC
GSR: A Generalized Symbolic Regression Approach
Massachusetts Institute of Technology(麻省理工学院);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
在机器学习中,识别最能描述数据集的数学关系仍然是一个非常具有挑战性的问题,被称为符号回归(SR)。与通常被视为黑箱的神经网络相比,SR试图通过组装分析函数来洞察给定数据集的自变量和目标变量之间的潜在关系。在本文中,我们提出了GSR,广义符号回归方法,通过修改传统的SR优化问题的制定,同时保持主要SR目标不变。在GSR中,我们推断自变量和目标变量的某些变换之间的数学关系。我们约束我们的搜索空间的基函数的加权和,并提出了一个基于矩阵的编码方案的遗传编程方法。我们表明,我们的GSR方法是有竞争力的强大SR基准方法,实现了有前途的实验性能上著名的SR基准问题集。最后,我们强调GSR的优势,通过引入SymSet,一个新的SR基准集,这是更具有挑战性的相对于现有的基准。
2023-01-08 cs.AI cs.LG cs.NE
Symbolic Regression Driven by Training Data and Prior Knowledge
Delft University of Technology(代尔夫特理工大学)
在符号回归中,对分析模型的搜索通常纯粹由在训练数据样本上观察到的预测误差驱动。然而,当数据样本不充分覆盖输入空间时,预测误差不提供朝向期望模型的充分指导。然后,标准的符号回归技术产生部分不正确的模型,例如,在其稳态特性或局部行为方面。如果在搜索过程中已经考虑到这些特性,则可以产生更准确和相关的模型。我们提出了一种多目标符号回归方法,该方法由训练数据和所需模型应表现的属性的先验知识驱动。以形式约束的形式给出的属性在内部由一组离散数据样本表示,候选模型在该样本上被精确地检查。所提出的方法进行了实验评估的三个测试问题的结果清楚地表明,它的能力,以发展现实的模型,适合的训练数据,同时符合所需的模型特性的先验知识在同一时间。它优于标准符号回归的几个数量级的均方差从参考模型。
2020-04-24 cs.AI cs.LG cs.NE
SymFormer: End-to-end symbolic regression using transformer-based architecture
Delft University of Technology(代尔夫特理工大学)
现实世界中的许多问题都可以用数学公式自然地描述。从一组观察到的输入和输出中找到公式的任务称为符号回归。近年来,神经网络已被应用于符号回归,其中基于变换的神经网络是最有前途的。在对Transformer进行大量公式(以天为单位)的训练之后,实际的推断,即,为新的、看不见的数据找到公式是非常快的(以秒的量级)。这比最先进的进化方法快得多。Transformers的主要缺点是它们生成的公式没有数值常数,必须单独优化,因此产生次优结果。我们提出了一种基于变换的方法称为SymFormer,它通过同时输出各个符号和相应的常数来预测公式。这导致在拟合可用数据方面的更好性能。此外,SymFormer提供的常数可作为后续通过梯度下降进行调整的良好起点,以进一步提高性能。我们在一组基准测试中表明,SymFormer在推理速度更快的同时,性能优于两种最先进的方法。
2022-10-20 cs.CV cs.LG cs.NE
Generalizability of Functional Forms for Interatomic Potential Models Discovered by Symbolic Regression
近年来,在使用机器学习算法开发原子间相互作用势模型方面取得了很大进展。机器学习的势模型通常比密度泛函理论快几个数量级,但也比嵌入原子方法等物理衍生模型慢几个数量级。在我们以前的工作中,我们使用符号回归来开发快速,准确和可转移的铜原子间势模型,具有类似于嵌入原子方法的新功能形式。为了确定这些形式的成功在多大程度上是特定于铜的,在这里,我们探讨了这些模型对其他面心立方过渡金属的可推广性,并分析了它们在几种材料特性上的样品外性能。我们发现这些形式对化学性质与铜相似的元素特别有效。与具有相似复杂性的优化Sutton-Chen模型相比,使用符号回归发现的函数形式在所有考虑的元素中表现更好,除了黄金,它们具有相似的性能。它们在训练的属性上的表现类似于一个适度复杂的嵌入式原子形式,并且它们在其他属性上的平均准确度更高。我们将这种改进的广义准确性归因于使用符号回归发现的模型的相对简单性。遗传规划模型被发现优于其他模型从文献中约50%的时间在各种属性的预测,约1/10的模型复杂性平均。我们讨论了这些结果的影响,更广泛的应用,符号回归的发展新的潜力,并强调如何发现一个元素的模型可以用来播种新的搜索不同的元素。
2023-03-25 cond-mat.mtrl-sci cs.LG cs.NE