Symplectically Integrated Symbolic Regression of Hamiltonian Dynamical Systems
Dartmouth College(达特茅斯学院)
在这里,我们提出了符号集成符号回归(SISR),从数据中学习物理控制方程的一种新技术。SISR采用深度符号回归方法,使用具有突变的多层LSTM-RNN对Hamilton符号表达式进行概率采样。使用辛神经网络,我们开发了一种与模型无关的方法,用于从数据中提取有意义的物理先验,这些先验可以即时施加到RNN输出中,限制其搜索空间。RNN生成的哈密顿算子使用四阶辛积分方案进行优化和评估;预测性能用于训练LSTM-RNN,以通过风险寻求策略梯度方法生成越来越好的函数。采用这些技术,我们提取正确的控制方程的振子,摆,两体和三体引力系统的噪声和非常小的数据集。
2022-09-04 cs.LG
A Reinforcement Learning Approach to Domain-Knowledge Inclusion Using Grammar Guided Symbolic Regression
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用数学实验室);Réseau de Transport d’Electricité (Rte) R&D(法国电力传输网络研发部)
近年来,符号回归一直受到广泛关注,为潜在的大数据关系提供可解释的符号表示。符号回归方法最初被圈到遗传算法,现在包括各种基于深度学习的替代方法。然而,这些方法仍然不能很好地推广到现实世界的数据,主要是因为它们几乎不包括领域知识,也不考虑变量之间的物理关系,如已知的方程和单位。针对这些问题,我们提出了一种基于强化的语法引导的符号回归(RBG 2-SR)方法,该方法使用上下文无关文法作为强化动作空间,利用领域知识约束表示空间。我们详细介绍了一个部分可观测马尔可夫决策过程(POMDP)建模的问题和基准我们的方法对国家的最先进的方法。我们还分析了POMDP状态定义,并提出了一个物理方程搜索用例,我们比较我们的方法,基于语法和非基于语法的符号回归方法。实验结果表明,我们的方法是有竞争力的对其他国家的最先进的方法的基准,并提供了最好的错误复杂性权衡,突出了在现实世界中使用基于语法的方法的兴趣。
2022-02-09 cs.AI cs.LG
Racing Control Variable Genetic Programming for Symbolic Regression
Purdue University(普渡大学)
针对符号回归中固定实验调度导致发现过程延迟的问题,提出竞速控制变量遗传规划(Racing-CVGP),通过并行执行多个实验调度并提前淘汰不利调度,显著加速方程发现过程,在合成与真实数据集上均优于现有方法。
2023-09-13 cs.AI cs.LG cs.NE
Neuro-symbolic Meta Reinforcement Learning for Trading
APPCAIR, BITS Pilani K.K. Birla Goa Campus(BITS Pilani K.K. Birla Goa校区APPCAIR);TCS Research(塔塔咨询服务研究部);IIT Delhi(印度理工学院德里分校)
我们在金融市场中的短期(如日)交易模型作为一个连续的决策问题的不确定性下,与不断的概念漂移增加的复杂性。因此,我们通过RL2算法采用Meta强化学习。人们还知道,人类交易者经常依赖于价格序列中频繁出现的符号模式。我们采用逻辑程序归纳来发现频繁出现的符号模式,以及最近,并探讨使用这些功能是否提高了我们的Meta强化学习算法的性能。我们报告了在真实数据上的实验,表明元RL比香草RL更好,并且也受益于学习的符号特征。
2023-01-15 cs.AI cs.LG cs.LO
Deep Symbolic Optimization: Reinforcement Learning for Symbolic Mathematics
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
提出面向科学发现符号优化的深度符号优化(DSO)框架,将符号发现建模为序列决策任务,结合生成式神经网络、强化学习及多类搜索技术,在基准测试中准确率和可解释性均达SOTA,具备变革性应用潜力。
2025-05-16 cs.LG cs.NE cs.SC
Neuro-symbolic Action Masking for Deep Reinforcement Learning
Utrecht University(乌得勒支大学)
NSAM通过自动学习符号模型与深度策略优化结合,提升深度强化学习的样本效率并减少约束违规。
2026-02-11 cs.AI cs.LG
Vertical Symbolic Regression via Deep Policy Gradient
Purdue University(普渡大学)
针对纵向符号回归与深度神经网络直接结合存在的梯度传递等问题,提出基于深度策略梯度的VSR-DPG方法,将符号回归建模为序列决策过程,在多类方程识别基准上性能显著优于现有方法。
2024-02-01 cs.AI cs.LG
Deep Generative Symbolic Regression
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出深度生成式符号回归(DGSR)框架,利用预训练深度生成模型捕捉方程内在规律,在多变量设置下提升了真实方程恢复率且推理更高效。
2023-12-30 cs.LG
Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
学习有效和可解释的策略一直是强化学习(RL)中具有挑战性的任务,特别是在具有复杂场景的视觉RL环境中。虽然神经网络已经实现了具有竞争力的性能,但由此产生的策略通常是过度参数化的黑匣子,难以有效地解释和部署。最近的符号RL框架表明,高级特定于领域的编程逻辑可以被设计为处理策略学习和符号规划。然而,这些方法依赖于编码原语,几乎没有特征学习,当应用于高维视觉场景时,它们可能会遇到可扩展性问题,并且当图像具有复杂的对象交互时表现不佳。为了解决这些挑战,我们提出了\textit{Differentiable Symbolic Expression Search}(DiffSES),一种新的符号学习方法,发现离散的符号策略,使用部分可微优化。通过使用对象级抽象而不是原始像素级输入,DiffSES能够利用符号表达式的简单性和可扩展性优势,同时还结合了神经网络的优势,用于特征学习和优化。我们的实验表明,DiffSES能够生成比最先进的符号RL方法更简单,更可扩展的符号策略,减少了符号先验知识的数量。
2022-12-30 cs.AI cs.LG
Neuro-Symbolic Reinforcement Learning with First-Order Logic
IBM Research(IBM研究院)
深度强化学习(RL)方法在收敛之前通常需要多次试验,并且不提供训练策略的直接可解释性。为了实现快速收敛和可解释的策略在强化学习,我们提出了一种新的基于文本的游戏强化学习方法与最近的神经符号框架称为逻辑神经网络,它可以学习符号和可解释的规则在其可微网络。该方法首先从文本观察和外部词义网络(ConceptNet)中提取一阶逻辑事实,然后在网络中用可直接解释的逻辑算子训练策略。我们的实验结果表明,在TextWorld基准测试中,使用该方法进行RL训练的收敛速度明显快于其他最先进的神经符号方法。
2021-10-21 cs.AI cs.CL cs.LG
Symbolic State Partitioning for Reinforcement Learning
ITU(丹麦技术大学);University of Oslo(奥斯陆大学)
本文提出通过符号执行从环境动态中提取状态空间划分,以改善连续状态空间下的强化学习,并在稀疏奖励、覆盖率和策略性能上验证其有效性。
2025-02-04 cs.AI cs.LG
Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
Örebro University(厄勒布鲁大学);KU Leuven(鲁汶大学)
本文提出神经符号框架 DERRL,将符号规划的关系表示、约束与深度学习结合,提取逻辑规则形式的可解释策略,并在多种环境中验证其可迁移与泛化能力。
2023-07-14 cs.AI cs.LG
Bayesian Symbolic Regression with Entropic Reinforcement Learning
本研究提出ERRLESS方法,将最大熵强化学习与贝叶斯视角结合用于符号回归,在Feynman基准上表现具有竞争力,生成的表达式简短可解释,且后验预测均值的R²优于SMC基线。
2026-08-12 cs.LG
Contrastive Reinforcement Learning of Symbolic Reasoning Domains
Stanford University(斯坦福大学)
抽象符号推理,如数学和逻辑领域所需,是人类智能的关键组成部分。这些领域的求解器具有重要的应用,特别是计算机辅助教育。但是学习解决符号问题对于机器学习算法来说是具有挑战性的。现有的模型要么从人类解决方案中学习,要么使用手工设计的功能,这使得它们在新领域的应用成本很高。在本文中,我们将符号域视为简单的环境,其中状态和动作以非结构化文本的形式给出,二元奖励指示问题是否得到解决。这种灵活的设置使指定新域变得容易,但搜索和规划变得具有挑战性。我们介绍了受数学共同核心课程启发的四个环境,并观察到现有的强化学习基线表现不佳。然后,我们提出了一种新的学习算法,对比策略学习(ConPoLe),显式优化的InfoNCE损失,降低了当前状态和下一个状态之间的互信息,继续在路径上的解决方案。ConPoLe成功地解决了所有四个域。此外,通过ConPoLe学习的问题表征能够准确预测真实数学课程中的问题类别。我们的研究结果为符号领域的强化学习以及数学教育的应用提供了新的方向。
2021-11-08 cs.AI cs.LG
Deriving Rewards for Reinforcement Learning from Symbolic Behaviour Descriptions of Bipedal Walking
DFKI(德国人工智能研究中心);University of Bremen(不来梅大学)
针对从符号描述生成物理运动的难题,提出将系统行为建模为混合自动机以推导强化学习奖励的方法,应用于双足行走时缩短了训练时间并提升了行走速度,为符号AI生成奖励函数提供参考。
2023-12-16 cs.LG cs.LO cs.RO
EGG-SR: Embedding Symbolic Equivalence into Symbolic Regression via Equality Graph
University of Texas at El Paso(德克萨斯理工大学);Purdue University(普渡大学)
EGG-SR通过引入等式图模块,将符号等价性整合到符号回归方法中,以减少搜索空间并提升学习效率。
2026-02-12 cs.AI cs.LG cs.SC
RSRM: Reinforcement Symbolic Regression Machine
Renmin University of China(中国人民大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出强化符号回归机RSRM,通过MCTS、双重Q学习和调制子树发现三个模块协同,从稀缺数据中高效发现复杂数学方程,并在多个基准上取得领先性能。
2023-05-24 cs.AI cs.LG cs.SC
Relational Abstractions for Generalized Reinforcement Learning on Symbolic Problems
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
符号状态空间问题中的强化学习具有挑战性,因为需要长时间的推理。本文提出了一种新的方法,利用关系抽象结合深度学习来学习此类问题的可推广的Q函数。学习的Q函数可以有效地转移到具有不同对象名称和对象数量的相关问题,从而具有完全不同的状态空间。我们表明,学习广义Q函数可以用于zero-shot转移到相关的问题,没有明确的,手工编码的课程。对一系列问题的实证评估表明,我们的方法有利于有效的zero-shot转移的学习知识,包含许多对象的更大的问题实例。
2022-04-27 cs.AI cs.LG
Class Symbolic Regression: Gotta Fit 'Em All
Université de Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心);Observatoire astronomique de Strasbourg(斯特拉斯堡天文台);Data61;CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出 Class SR 框架,用共享函数形式与实例化参数拟合多数据集,并建立首个基准,在物理挑战和星系势恢复中验证其有效性。
2024-06-17 astro-ph.GA astro-ph.IM cs.LG
Mask-Based Deep Symbolic Regression
Kahlert School of Computing(卡勒特计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所);Department of Mechanical Engineering(机械工程系);University of Utah(犹他大学)
提出基于扩散的符号回归方法,利用随机掩码扩散去噪生成方程,结合GRPO强化学习与风险寻求策略,有效提升了方程生成的质量与多样性。
2026-10-19 cs.LG
Online Symbolic Music Alignment with Offline Reinforcement Learning
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
提出一种基于离线强化学习的在线符号音乐对齐技术,利用注意力神经网络迭代估计乐谱位置,并在多项任务中优于先进参考模型。
2023-12-31 cs.LG cs.SD eess.AS
Where are we now? A large benchmark study of recent symbolic regression methods
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们提供了一个广泛的基准最近的遗传编程方法的背景下,最先进的机器学习方法的符号回归。我们使用了一组近100个回归基准测试问题,这些问题是从网络上的开源存储库中挑选出来的。我们对最近的四种符号回归方法以及scikit-learn的九种机器学习方法进行了严格的基准测试。结果表明,符号回归表现强劲相比,国家的最先进的梯度提升算法,虽然在运行时间是最慢的可用方法。我们详细讨论了结果,并指出未来的研究方向,可能会让符号回归获得更广泛的采用在机器学习社区。
2018-06-07 cs.LG cs.NE
Symbolic-Regression Boosting
Ben-Gurion University(本-古里安大学);University of Pennsylvania(宾夕法尼亚大学)
修改标准的梯度提升,通过替换嵌入式弱学习器,有利于一个强(er)的,我们提出SyRBo:符号回归提升。在98个回归数据集上的实验表明,通过向符号回归器添加少量的提升阶段(2- 5),通常可以获得统计上显著的改进。我们注意到,在任何符号回归器之上编码SyRBo是简单的,增加的成本只是多了几轮进化。SyRBo本质上是一个简单的附加组件,可以很容易地添加到现有的符号回归器中,通常会带来有益的结果。
2022-06-24 cs.LG cs.NE
Smooth Symbolic Regression: Transformation of Symbolic Regression into a Real-valued Optimization Problem
University of Applied Sciences Upper Austria(上奥地利应用科学大学)
符号回归的典型方法在候选解中产生相当突然的变化。在这项工作中,我们试图将符号回归从一个优化问题,一个如此崎岖的景观,典型的分析方法不会产生有意义的结果,一个可以与典型的和非常平滑的实值问题进行比较。虽然坚固性可能不会干扰优化的性能,但它限制了分析的可能性。在这里,我们探索了转换的不同方面,并提出了一个简单的过程来创建从符号回归问题的实值优化问题。
2021-08-06 cs.LG
Hash-Based Tree Similarity and Simplification in Genetic Programming for Symbolic Regression
Josef Ressel Centre for Symbolic Regression(约瑟夫·雷塞尔符号回归中心);University of Applied Sciences Upper Austria(上奥地利应用科学大学);Johannes Kepler University(约翰内斯·开普勒大学)
本文介绍了一种运行时高效的树哈希算法,用于识别同构子树,在符号回归的遗传编程中有两个重要的应用:快速,在线计算种群多样性和符号表达式树的代数简化。基于这种散列方法,我们提出了一个简单的多样性保护机制与有前途的结果收集的符号回归基准问题。
2021-07-22 cs.LG cs.NE
Prediction Intervals and Confidence Regions for Symbolic Regression Models based on Likelihood Profiles
Federal University of ABC(ABC联邦大学);University of Applied Sciences Upper Austria(上奥地利应用科学大学)
符号回归是一种非线性回归方法,其通常通过诸如遗传编程的演化计算方法来执行。回归模型的不确定性的量化对于模型的解释和决策制定是重要的。线性近似和所谓的似然曲线是用于计算非线性回归模型的置信区间和预测区间的众所周知的可能性。这些简单而有效的技术到目前为止在遗传编程文献中被完全忽略了。在这项工作中,我们详细描述了计算的可能性配置文件,并提供了一些说明性的例子与模型创建三个不同的符号回归算法在两个不同的数据集。这些例子突出了似然配置文件的重要性,以了解符号回归模型的局限性,并帮助用户采取明智的预测后的决定。
2022-09-14 cs.LG cs.NE
Interaction-Transformation Evolutionary Algorithm for Symbolic Regression
Federal University of ABC(ABC联邦大学)
交互转换(IT)是符号回归的一种新表示,它将搜索空间限制为更简单但表达性更强的函数形式。这种表示的优点是创建了一个更平滑的搜索空间,不像遗传编程中使用的常用表示--表达式树所生成的空间。本文介绍了一种进化算法,能够进化的人口IT表达式只支持的变异算子。结果表明,这种表示是能够找到更好的近似真实世界的数据集相比,传统的方法和最先进的遗传编程算法。
2020-09-20 cs.LG cs.NE stat.ML
Active Learning in Symbolic Regression with Physical Constraints
University of Rochester(罗切斯特大学)
本文提出将符号回归与基于委员会查询的主动学习及物理约束结合,以选择后续实验并在极少数据下恢复已知方程。
2024-08-09 cs.LG cs.NE physics.chem-ph
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo(滑铁卢大学)
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性,符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年,但基于深度学习的方法相对较新,是一个活跃的研究领域。在这项工作中,我们提出了SymbolicGPT,一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点,包括性能和灵活性方面的优势。通过全面的实验,我们表明,我们的模型表现强劲的竞争模型的准确性,运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
Binary and Multinomial Classification through Evolutionary Symbolic Regression
Ben-Gurion University(本-古里安大学)
我们提出了三种基于进化符号回归的二进制和多项式数据集分类算法:GPLearnClf,CartesianClf和ClaSyCo。测试了超过162个数据集,并与三种最先进的机器学习算法- XGBoost,LightGBM和深度神经网络-进行了比较,我们发现我们的算法具有竞争力。此外,我们演示了如何通过使用最先进的超参数优化器自动为数据集找到最佳方法。
2022-06-25 cs.LG cs.NE
LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington(惠灵顿维多利亚大学数据科学与人工智能中心及工程与计算机科学学院);Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学与工程系)
本文提出一种元学习框架,使LLM自动设计进化符号回归算法的选择算子,解决现有方法中语义指导不足和代码膨胀问题,实验表明LLM设计的选择算子优于九个专家设计基线,达到最先进的性能。
2026-03-31 cs.AI cs.LG cs.NE
SPINEX_ Symbolic Regression: Similarity-based Symbolic Regression with Explainable Neighbors Exploration
Clemson University(克莱姆森大学);University of Manitoba(曼尼托巴大学)
本研究提出基于SPINEX系列的新型符号回归算法SPINEX_SymbolicRegression,通过基于相似度的方法筛选高精度高结构相似度的表达式,在180余个国际基准函数测试中表现稳定且部分场景优于主流算法,兼具可解释性。
2024-11-05 cs.LG stat.CO
Predicting Friction System Performance with Symbolic Regression and Genetic Programming with Factor Variables
University of Applied Sciences Upper Austria(上奥地利应用科学大学);Miba Frictec GmbH(米巴摩擦技术有限公司)
摩擦系统是其中摩擦用于力传递的机械系统(例如机械制动系统或自动变速箱)。为了找到最佳和安全的设计参数,工程师必须预测摩擦系统的性能。这在实际应用中尤其困难,因为它受到许多参数的影响。我们已经使用符号回归和遗传编程,为这项任务找到准确和可靠的预测模型。然而,如何纳入名义变量并不简单。特别地,独热编码是不令人满意的,因为遗传编程倾向于去除这样的指示变量。因此,我们使用所谓的因子变量来表示符号回归模型中的名义变量。我们的研究结果表明,GP是能够产生的符号回归模型预测摩擦性能的预测精度是可比的人工神经网络。具有因子变量的符号回归模型比使用独热编码的模型简单。
2021-07-19 cs.LG cs.NE
Dimension Reduction for Symbolic Regression
针对符号回归中公式恢复困难的问题,提出通过搜索小替换并测试函数依赖性来迭代降维,可显著提升多种最先进符号回归算法的性能。
2025-06-24 cs.LG
Bayesian Symbolic Regression via Posterior Sampling
NASA Langley Research Center(美国国家航空航天局兰利研究中心)
本文提出一种基于SMC的贝叶斯符号回归方法,通过概率选择、自适应温度调节和归一化边际似然,提高噪声环境下符号回归的鲁棒性和泛化能力。
2025-12-11 cs.LG
Bayesian symbolic regression: Automated equation discovery from a physicists' perspective
Department of Chemical Engineering, Universitat Rovira i Virgili(罗维拉-维格利大学化学工程系);ICREA
本文从物理学视角阐述贝叶斯符号回归的概率框架,说明其如何基于信息论与统计物理原则评估模型、提供性能保证并支持模型集成。
2025-07-22 cond-mat.stat-mech cs.LG physics.data-an
Symbolic Regression Driven by Training Data and Prior Knowledge
Delft University of Technology(代尔夫特理工大学)
在符号回归中,对分析模型的搜索通常纯粹由在训练数据样本上观察到的预测误差驱动。然而,当数据样本不充分覆盖输入空间时,预测误差不提供朝向期望模型的充分指导。然后,标准的符号回归技术产生部分不正确的模型,例如,在其稳态特性或局部行为方面。如果在搜索过程中已经考虑到这些特性,则可以产生更准确和相关的模型。我们提出了一种多目标符号回归方法,该方法由训练数据和所需模型应表现的属性的先验知识驱动。以形式约束的形式给出的属性在内部由一组离散数据样本表示,候选模型在该样本上被精确地检查。所提出的方法进行了实验评估的三个测试问题的结果清楚地表明,它的能力,以发展现实的模型,适合的训练数据,同时符合所需的模型特性的先验知识在同一时间。它优于标准符号回归的几个数量级的均方差从参考模型。
2020-04-24 cs.AI cs.LG cs.NE
VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees
Department of Statistics, Texas A&M University(统计学系,德克萨斯大学阿姆斯特朗分校)
提出基于变分推断的可扩展符号回归框架VaSST,通过软符号树连续松弛将组合搜索转化为梯度优化,实现不确定性量化,在模拟和费曼数据集上表现优异。
2026-07-03 cs.LG cs.SC stat.CO
Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
UCI(加州大学欧文分校)
研究符号回归能否发现优于标准优化器的神经网络权重更新规则,通过固定深度符号表达式表示候选规则,在30个组合中25次找到更好规则,总均方误差降低44.47%,表明其可发现紧凑优化器变体但需大规模验证。
2026-07-27 cs.LG
Neural-Guided Symbolic Regression with Asymptotic Constraints
Google Research(谷歌研究院)
符号回归是一种离散优化问题,涉及搜索适合给定数据点的表达式。在许多情况下,关于未知表达式的其他数学约束不仅提供了除了某些输入处的值之外的更多信息,而且还有效地约束了搜索空间。我们确定的渐近约束的领导多项式权力的功能接近零和无穷大的有用的约束,并创建一个系统,使用它们的符号回归。该系统的第一部分是一个有条件的产生式规则生成神经网络,优先生成产生式规则,以构建表达式所需的领导权力,产生新的表达式外的训练域。第二部分,我们称之为神经引导的蒙特卡罗树搜索,在搜索过程中使用网络来找到符合一组数据点和期望的领先功率的表达式。最后,我们对数千个目标表达式进行了广泛的实验验证,与现有的在训练集之外寻找未知函数的方法相比,我们的系统显示了有效性。
2019-12-23 cs.LG cs.NE stat.ML
A Comparison of Recent Algorithms for Symbolic Regression to Genetic Programming
University of Applied Sciences Upper Austria(上奥地利应用科学大学)
本文比较了端到端transformer符号回归模型与基于遗传编程的传统方法,在新数据集上的实验表明Operon等传统遗传编程方法仍优于两种近期提出的符号回归方法。
2024-06-05 cs.AI cs.LG
Probabilistic Symbolic Regression for Equation Discovery via Operator-induced and Regularized Symbolic Forests
Texas A&M University(德克萨斯农工大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
该研究针对符号回归现有方法不足,引入概率符号回归框架,用符号树集合表示数学表达式,通过正则化先验和后验摘要控制复杂性与捕获不确定性,在理论上得出相关集中保证,实验显示其在多方面表现优越。
2026-08-31 cs.LG cs.SC math.ST
Symbolic Regression on Sparse and Noisy Data with Gaussian Processes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对稀疏和噪声数据下的动力学建模难题,本文提出GPSINDy方法,结合高斯过程回归与SINDy进行数据去噪与方程识别,在仿真和硬件数据上预测轨迹时显著优于基线方法。
2024-10-10 cs.LG cs.SY eess.SY
Neural Symbolic Regression that Scales
ETH(苏黎世联邦理工学院);CSEM SA(瑞士电子与微技术中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
符号方程是科学发现的核心。从一组输入输出对中发现潜在方程的任务称为符号回归。传统上,符号回归方法使用手工设计的策略,这些策略不会随着经验而改进。在本文中,我们介绍了第一个利用大规模预训练的符号回归方法。我们程序化地生成一组无界方程,同时预训练一个Transformer,以从相应的一组输入输出对预测符号方程。在测试时,我们在一组新的点上查询模型,并使用其输出来指导对方程的搜索。我们的经验表明,这种方法可以重新发现一组众所周知的物理方程,并且随着时间的推移,它会随着更多的数据和计算而改进。
2021-06-11 cs.LG
Scaling Up Unbiased Search-based Symbolic Regression
Friedrich Schiller University(弗里德里希-席勒大学);University Hospital Jena(耶纳大学医院)
本文提出系统搜索小表达式空间的无偏符号回归方法,在基准数据集上比现有方法更准确、更抗噪,且能更好地恢复真实符号表达式。
2025-06-24 cs.LG
Discovering equations from data: symbolic regression in dynamical systems
Institute of Sciences Mathematics and Computation, Universidade de São Paulo-Campus de São Carlos(数学与计算科学研究院,圣保罗大学-萨o卡洛斯校区);Statistic Department, State University of Maringá(统计系,马林加州立大学);Department of Mathematics Applied and Statistics, Institute of Sciences Mathematics and Computation, Universidade de São Paulo-Campus de São Carlos(应用数学与统计系,数学与计算科学研究院,圣保罗大学-萨o卡洛斯校区)
本研究通过比较五种先进方法,证明PySR在从数据中推断方程方面表现最佳,尤其在混沌动力学和流行病模型中具有高准确性。
2026-01-19 cs.LG stat.ML
Data-driven formulation of natural laws by recursive-LASSO-based symbolic regression
NEC Corporation(日本电气株式会社);National Institute of Advanced Industrial Science and Technology (AIST)(日本国立研究开发法人产业技术综合研究所)
长期以来,新的自然规律的发现一直依赖于某些天才的灵感。然而,最近,机器学习技术在没有人类偏见和偏见的情况下分析大数据,有望发现新的自然规律。在这里,我们证明了我们提出的机器学习,基于递归LASSO的符号(RLS)回归,使数据驱动的自然规律从噪声数据的制定。RLS回归循环重复特征生成和特征选择,最终构建具有高度非线性特征的数据驱动模型。这种数据驱动的公式化方法具有很强的通用性,因此可以在各个科学领域发现新的规律。
2021-02-18 cs.LG physics.data-an stat.ML
Parsing the Language of Expression: Enhancing Symbolic Regression with Domain-Aware Symbolic Priors
Purdue University(普渡大学);University of Florida(佛罗里达大学);University of Maryland College Park(马里兰大学帕克分校)
本文提出一种融合多科学领域符号先验的符号回归方法,通过树结构循环神经网络和分层树表示提升表达式生成效率与准确性,实验表明该方法收敛更快、精度更高。
2025-03-12 cs.LG cs.SC
Bayesian Symbolic Regression for Missing Physics
Biosystems Department, KULeuven, Leuven, Belgium(比利时列日大学生物系统部门)
本文提出了一种基于贝叶斯的符号回归方法,用于从实验数据中学习缺失的物理规律,通过Reversible Jump Markov Chain Monte Carlo方法量化模型结构的不确定性。
2026-05-18 cs.LG stat.ML
Steel Phase Kinetics Modeling using Symbolic Regression
University of Applied Sciences Upper Austria(上奥地利应用科学大学);MCL Forschungs GmbH(MCL研究有限责任公司)
本文描述了一种基于符号回归和遗传编程的钢相动力学经验建模方法。该算法采用从粘度计测量收集的处理数据,并产生模拟相动力学的微分方程系统。我们的初步结果表明,所提出的方法可以识别紧凑的微分方程,适合的数据。该模型预测铁素体,珠光体和贝氏体形成为一个单一的钢类型。模型中尚未包括马氏体。未来的工作应包括马氏体和推广到多种不同的化学成分的钢类型。
2022-12-19 cs.LG cs.NE
Symbolic-Diffusion: Deep Learning Based Symbolic Regression with D3PM Discrete Token Diffusion
Department of Mechatronics Engineering University of Waterloo(机械工程系大学水力学院);Department of Computer Science University of Waterloo(计算机科学系大学水力学院);Department of Statistics and Actuarial Science University of Waterloo(统计与精算科学系大学水力学院)
本文提出符号扩散模型,利用D3PM离散令牌扩散同时生成方程所有令牌,在符号回归任务中相比自回归方法取得相当或更优性能,开辟了新的研究方向。
2025-10-08 cs.LG
Solving the 2D Advection-Diffusion Equation using Fixed-Depth Symbolic Regression and Symbolic Differentiation without Expression Trees
SDSU(圣地亚哥州立大学)
本文提出一种结合固定深度符号回归与无表达式树符号微分的新方法,用于高效求解二维对流扩散方程,并在两个不同边界条件下验证了其准确性与可扩展性。
2024-11-11 cs.LG cs.NA math.NA
Deep Variational Inference Symbolic Regression
Clinical Operational Research Unit(临床运营研究单位);University College London(伦敦大学学院);Department of Computer Science(计算机科学系)
本文提出深度变分推断符号回归(DVISR),通过变分贝叶斯方法改进深度符号回归,实现对表达式树及其常数的后验推断,提升在噪声和有限数据下的不确定性量化能力。
2026-05-01 cs.LG
Exploration and Exploitation in Symbolic Regression using Quality-Diversity and Evolutionary Strategies Algorithms
Université de Paris(巴黎大学);Ochanomizu University(御茶水女子大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
通过结合遗传编程,MAP精英和协方差矩阵自适应演化策略,我们在符号回归问题中表现出非常高的成功率。MAP-Elites用于改进探索,同时保持多样性并避免过早收敛和膨胀。然后,协方差矩阵自适应演化策略被用来评估自由标量通过非梯度的黑箱优化器。虽然这种评估方法是不计算可扩展的高维问题,我们的算法是能够找到正是大多数的$31$目标提取的文献上,我们评估它。
2019-06-10 cs.LG cs.NE