White-Box Neural Ensemble for Vehicular Plasticity: Quantifying the Efficiency Cost of Symbolic Auditability in Adaptive NMPC
本文提出一种白盒自适应NMPC架构，通过模块主权范式实现车辆塑性，量化了符号可审计性在自适应控制中的效率成本。
2026-02-02 cs.AI cs.LG cs.SY
Combining Sub-Symbolic and Symbolic Methods for Explainability
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
与其他连接主义模型类似，图神经网络（GNN）在决策过程中缺乏透明度。已经开发了一些子符号方法来提供对GNN决策过程的见解。这些是实现可解释性的第一个重要步骤，但生成的解释对于非人工智能专家的用户来说通常很难理解。为了克服这个问题，我们引入了一个概念的方法结合子符号和符号的方法，以人为中心的解释，结合领域知识和因果关系。此外，我们引入了保真度的概念，作为评估解释与GNN的内部决策过程有多接近的度量。化学数据集和本体的评价表明，我们的方法的解释价值和可靠性。
2021-12-03 cs.AI cs.LG cs.SC
Evaluation Metrics for Symbolic Knowledge Extracted from Machine Learning Black Boxes: A Discussion Paper
University of Urbino（乌尔比诺大学）；Alma Mater Studiorum —University of Bologna（博洛尼亚大学）
随着不透明决策系统越来越多地被应用于几乎所有的应用领域，其缺乏透明度和人类可读性的问题成为最终用户的具体问题。在将人类可解释的知识与不透明模型提供的准确预测相关联的现有建议中，存在规则提取技术，能够从不透明模型中提取符号知识。然而，如何定量地评估提取的知识的可读性水平仍然是一个悬而未决的问题。找到这样一个指标将是关键，例如，使一组不同的知识表示之间的自动比较，为知识提取器的参数自动调整算法的发展铺平了道路。在本文中，我们讨论了这样一个指标的必要性以及可读性评估和评价的关键性，考虑到最常见的知识表示，同时突出最令人困惑的问题。
2022-11-01 cs.AI cs.LG
Discovering Continuous-Time Memory-Based Symbolic Policies using Genetic Programming
Department of Machine Learning and Neural Computing（机器学习与神经计算系）；Donders Institute for Brain, Cognition and Behaviour（大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
针对黑盒控制策略不透明的问题，本文用微分方程描述的连续时间潜变量记忆扩展符号策略，并以遗传编程优化，在多种控制任务上取得媲美黑盒模型的性能。
2025-06-10 cs.LG cs.NE
Symbol: Generating Flexible Black-Box Optimizers through Symbolic Equation Learning
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
本文提出Symbol框架，通过符号方程学习自动生成闭式黑盒优化规则，利用强化学习元学习生成器，生成的优化器超越现有基线并具备出色的零样本泛化能力。
2024-02-07 cs.LG cs.NE
Opening the Black-Box: Symbolic Regression with Kolmogorov-Arnold Networks for Energy Applications
University of Michigan（密歇根大学）
本文在八个核电数据集上比较KAN与FNN，发现KAN在准确性相当的同时可转化为符号方程，并能学习真实物理关系，是兼顾准确性与可理解性的有前景替代方案。
2025-04-04 cs.LG cs.SC stat.ML
Symbolic Imitation Learning: From Black-Box to Explainable Driving Policies
Department of Science and Engineering, the George Washington University（科学与工程系，乔治·华盛顿大学）；Autonomous Vehicles Lab, Department of Mechanical Engineering, University of Surrey（自主车辆实验室，机械工程系，萨里大学）
本文提出符号模仿学习框架，利用归纳逻辑编程生成可解释的驾驶策略，通过实验证明其在提升透明度和性能方面的优势。
2025-09-28 cs.AI cs.LG cs.RO
Symbolic Distillation for Learned TCP Congestion Control
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
TCP拥塞控制（CC）的最新进展利用深度强化学习（RL）方法取得了巨大成功，该方法使用前馈神经网络（NN）来学习复杂的环境条件并做出更好的决策。然而，这种“黑匣子”策略缺乏可解释性和可靠性，并且由于使用复杂的NN，它们通常需要在传统的TCP数据路径之外运行。本文提出了一种新的两阶段的解决方案，以实现两全其美：首先训练一个深RL代理，然后提取其（过）参数化的NN政策到白盒，重量轻的规则，在符号表达式的形式，更容易理解和实现在受约束的环境。在我们的建议的核心是一个新的符号分支算法，使规则能够知道的上下文在各种网络条件，最终转换成一个符号树的NN政策。经过提炼的符号规则保留了最先进的NN策略，并经常提高性能，同时比标准神经网络更快，更简单。我们验证我们的蒸馏符号规则的性能在模拟和仿真环境。我们的代码可在https://github.com/VITA-Group/SymbolicPCC上获得。
2022-10-24 cs.AI cs.LG
AI-Lorenz: A physics-data-driven framework for black-box and gray-box identification of chaotic systems with symbolic regression
Brown University（布朗大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出AI-Lorenz物理-数据驱动框架，结合神经网络与符号回归，从含噪稀疏数据中辨识混沌系统微分方程，并在Lorenz、六维超混沌及Sprott系统中验证有效性。
2023-12-21 cs.LG nlin.CD physics.comp-ph
Interpretable Non-linear Survival Analysis with Evolutionary Symbolic Regression
University of Trieste（的里雅斯特大学）；InSilicoTrials Technologies（InSilicoTrials科技公司）
本文提出一种面向生存回归的进化多目标符号回归方法，在五个真实数据集上以更少维度实现优于传统玻璃盒方法的准确率，并兼具黑盒方法的精度与可解释性。
2025-04-08 cs.LG cs.NE
A Neuro-Symbolic Explainer for Rare Events: A Case Study on Predictive Maintenance
Faculty of Economics, University of Porto（波尔图大学经济学院）；INESC TEC；Faculty of Sciences, University of Porto（波尔图大学理学院）；ICMC - University of S. Paulo（圣保罗大学数学与计算机科学研究所）
本文提出一种神经符号架构，通过在线规则学习算法与自编码器并行运行，解决预测性维护中黑盒模型的异常检测与故障解释问题，提供全局与局部解释。
2024-04-21 cs.AI cs.LG
Neural-Symbolic Descriptive Action Model from Images: The Search for STRIPS
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
最近的工作神经符号系统，学习离散规划模型的图像开辟了一个有前途的方向，扩大范围的自动规划和调度的原始，嘈杂的数据。然而，以前的工作只是部分解决了这个问题，利用黑盒神经模型作为后继生成器。在这项工作中，我们提出了双阶段动作模型获取（DSAMA），一个系统，获得一个描述性的PDDL动作模型与明确的前提条件和影响的命题变量无监督学习的图像。DSAMA训练一组基于规则的随机森林分类器，并将它们编译成PDDL中的逻辑公式。虽然我们获得了与黑盒模型相比具有竞争力的准确PDDL模型，但我们观察到，所产生的PDDL对于最先进的标准规划器（如Fast Downward）来说过于庞大和复杂，主要是由于PDDL-SAS+转换器瓶颈。从这个负面的结果，我们认为，这个翻译瓶颈不能仅仅通过使用不同的，现有的基于规则的学习方法来解决，我们指出了潜在的未来方向。
2019-12-11 cs.AI cs.LG
AI-Aristotle: A Physics-Informed framework for Systems Biology Gray-Box Identification
Brown University（布朗大学）
本研究提出名为AI-Aristotle的物理信息框架，融合X-TFC区域分解、PINNs与符号回归技术，通过两个系统生物学基准测试验证其性能，可处理噪声数据并快速实现黑箱辨识，为相关灰箱辨识研究提供参考。
2023-09-29 cs.AI cs.LG q-bio.QM
Detection, Explanation and Filtering of Cyber Attacks Combining Symbolic and Sub-Symbolic Methods
Siemens AG（西门子股份公司）；European Space Agency（欧洲空间局）
针对图神经网络在网络安全入侵检测中决策不透明、误报多的问题，提出结合符号与亚符号的可解释方法，在工业系统中实现直观解释并大幅降低误报率。
2022-12-23 cs.CR cs.LG
Symbolic AI for XAI: Evaluating LFIT Inductive Programming for Fair and Explainable Automatic Recruitment
Universidad Autonoma de Madrid（马德里自治大学）；Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）；National Institute of Informatics（国立信息学研究所）
机器学习方法与法医学、电子健康、招聘和电子学习等领域的生物识别和个人信息处理的相关性越来越大。在这些领域，对基于机器学习方法构建的系统的白盒（人类可读）解释可能变得至关重要。归纳逻辑程序设计（ILP）是符号人工智能的一个子领域，旨在自动学习关于数据处理的声明性理论。从解释转换中学习（LFIT）是一种ILP技术，可以学习与给定黑盒系统等价的命题逻辑理论（在某些条件下）。目前的工作迈出了第一步，通过检查LFIT在特定AI应用场景中的可行性，将准确的声明性解释纳入经典机器学习的一般方法：基于机器学习方法生成的自动工具的公平招聘，用于对包含软生物特征信息（性别和种族）的简历进行排名。我们展示了LFIT对这个特定问题的表现力，并提出了一个可适用于其他领域的方案。
2020-12-01 cs.AI cs.LG
Global and Local Interpretation of black-box Machine Learning models to determine prognostic factors from early COVID-19 data
Rutgers University（罗格斯大学）；Rutgers Robert Wood Johnson Medical School（罗格斯罗伯特伍德约翰逊医学院）
截至2021年7月24日，COVID-19冠状病毒已夺去410万人的生命。多种机器学习模型已被应用于相关数据，以预测疾病的严重程度、感染率等重要因素，并发现重要的预后因素。通常，由于缺乏方法的可解释性，使用这些技术得出的结果的有用性会降低。最近在机器学习模型的可解释性方面取得的一些进展有可能在使用传统机器学习模型时揭示更多的见解。在这项工作中，我们使用一些流行的机器学习模型分析COVID-19血液工作数据;然后我们采用最先进的事后局部可解释性技术（例如，SHAP，LIME）和全局可解释性技术（例如符号元建模）对训练的黑盒模型进行分析，以得出可解释的结论。在机器学习算法的范围内，回归仍然是最简单和最可解释的模型之一，具有清晰的数学公式。我们探索了一种称为符号元建模的最新技术，以找到COVID-19的机器学习模型的数学表达式。我们确定急性肾损伤（AKI）、初始白蛋白水平（ALBI）、天冬氨酸转氨酶（ASTI）、总胆红素初始值（TBILI）和D-二聚体初始值（DIMER）为疾病严重程度的主要预后因素。我们的贡献是-（i）揭示了COVID-19严重性预测任务黑箱模型的基本数学表达式;（ii）我们是第一个将符号元建模应用于该任务的人;（iii）发现了重要的特征和特征交互。
2021-09-10 cs.AI cs.LG
SMILE: Bridging Continuous Optimization and Discrete Symbolic Recovery
University of Southern California（南加州大学）；Northeastern University（东北大学）
SMILE是连接连续优化与离散符号恢复的混合框架，经SRBench评估，在高噪声下符号解率最高、鲁棒性强，且能快速恢复更简单的表达式，位于准确率与复杂度的帕累托前沿。
2026-10-02 cs.LG
Combining Rules and Embeddings via Neuro-Symbolic AI for Knowledge Base Completion
IBM Research（IBM研究院）
最近对知识库补全（KBC）的兴趣导致了基于强化学习、归纳逻辑程序设计和图嵌入的大量方法。特别是，基于规则的KBC导致了可解释的规则，同时在性能上与图嵌入相当。即使在基于规则的KBC中，也存在不同的方法，导致不同质量的规则，以前的工作并不总是精确地突出这些差异。困扰大多数基于规则的KBC的另一个问题是关系路径的不一致性：一些关系序列出现在非常少的路径中，而另一些关系序列出现得非常频繁。在本文中，我们证明了并非所有基于规则的KBC模型都是相同的，并提出了两种不同的学习方法：1）混合关系和2）混合路径。当在神经符号AI之上实现时，后者通过将布尔逻辑扩展到实值逻辑来学习规则，后者模型在平均倒数排名方面的KBC准确性优于最先进的基于规则的KBC 2-10%。此外，为了解决关系路径的不一致性，我们将基于规则的KBC与图嵌入相结合，从而进一步改善了我们的结果，并实现了两全其美。
2021-09-16 cs.AI cs.LG cs.LO
Clustering-Based Approaches for Symbolic Knowledge Extraction
Università degli Studi di Urbino “Carlo Bo”（乌尔比诺“卡洛·博”大学）
属于机器学习世界的不透明模型在大多数不同的应用领域中得到了越来越多的利用。从人类的角度来看，这些模型就像是黑盒（BB），如果应用程序是关键的，就不能完全信任，除非有一种方法可以从中提取符号和人类可读的知识。在本文中，我们分析了符号知识提取BB回归器所采用的递归设计-也就是说，与超立方输入空间区域相关的规则的创建。我们认为，这种分区可能会导致次优的解决方案时，手头的数据集是高维或不满足对称约束。然后，我们提出了一种基于（深度）聚类的方法，在符号知识提取之前进行，以实现更好的性能与任何类型的数据集。
2022-11-01 cs.AI cs.LG
KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework
ETH Zürich（苏黎世联邦理工学院）
本文提出基于Kolmogorov-Arnold网络的KAN-SR框架，通过深度学习技术和简化策略恢复Feynman符号回归科学发现数据集的真实方程，并结合神经控制微分方程精确建模生物过程系统。
2025-09-12 cs.LG
A Framework Based on Symbolic Regression Coupled with eXtended Physics-Informed Neural Networks for Gray-Box Learning of Equations of Motion from Data
The University of Western Ontario（西安大略大学）；Brown University（布朗大学）
本文提出一种结合扩展物理信息神经网络与符号回归的灰盒框架，通过域分解和通量连续性约束从数据中恢复非线性运动方程的未知部分，并在噪声条件下验证了其鲁棒性和数据效率。
2023-05-18 cond-mat.dis-nn cs.LG
Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习有效和可解释的策略一直是强化学习（RL）中具有挑战性的任务，特别是在具有复杂场景的视觉RL环境中。虽然神经网络已经实现了具有竞争力的性能，但由此产生的策略通常是过度参数化的黑匣子，难以有效地解释和部署。最近的符号RL框架表明，高级特定于领域的编程逻辑可以被设计为处理策略学习和符号规划。然而，这些方法依赖于编码原语，几乎没有特征学习，当应用于高维视觉场景时，它们可能会遇到可扩展性问题，并且当图像具有复杂的对象交互时表现不佳。为了解决这些挑战，我们提出了\textit{Differentiable Symbolic Expression Search}（DiffSES），一种新的符号学习方法，发现离散的符号策略，使用部分可微优化。通过使用对象级抽象而不是原始像素级输入，DiffSES能够利用符号表达式的简单性和可扩展性优势，同时还结合了神经网络的优势，用于特征学习和优化。我们的实验表明，DiffSES能够生成比最先进的符号RL方法更简单，更可扩展的符号策略，减少了符号先验知识的数量。
2022-12-30 cs.AI cs.LG
Sparse Interpretable Deep Learning with LIES Networks for Symbolic Regression
Department of Electrical & Computer Engineering（电气与计算机工程系）；University of Southern California（南加州大学）
针对现有符号回归方法可扩展性与符号一致性不足的问题，提出带可解释基元激活的LIES网络及配套训练、剪枝框架，在基准测试中性能优于所有基线，验证了各组件的有效性。
2025-06-14 cs.AI cs.LG
A Neuro-Symbolic Method for Solving Differential and Functional Equations
University of Waterloo（滑铁卢大学）
当神经网络用于求解微分方程时，它们通常以黑盒函数的形式产生解，这些解在数学上不能直接解释。我们介绍了一种生成符号表达式来求解微分方程的方法，同时利用深度学习训练方法。与现有的方法不同，我们的系统不需要学习符号数学的语言模型，使其可扩展，紧凑，易于适应各种任务和配置。作为该方法的一部分，我们提出了一种新的神经结构，用于学习数学表达式，以优化可定制的目标。该系统的目的是总是返回一个有效的符号公式，生成一个有用的近似时，一个精确的解析解微分方程是不是或不能找到。我们通过例子演示了我们的方法可以应用于一些微分方程，往往获得符号近似是有用的或有见地的。此外，我们展示了如何可以毫不费力地推广到其他数学任务，包括积分和函数方程的符号解决方案的系统。
2020-11-04 cs.AI cs.LG cs.SC
Explaining Black Boxes on Sequential Data using Weighted Automata
Aix-Marseille University（艾克斯-马赛大学）
了解一个学习的黑盒是如何工作的，对于机器学习的未来至关重要。在本文中，我们开创性的学习黑盒模型，分配数值符号序列数据的全局可解释性的问题。为了解决这个问题，我们提出了一个频谱算法的加权自动机（WA）从这样的黑盒子的提取。该算法不需要访问数据集或黑盒的内部表示：推断模型可以仅通过查询黑盒，向其提供输入并分析其输出来获得。使用递归神经网络（RNN）在48个合成数据集和2个真实数据集上训练的实验表明，所获得的近似具有很高的质量。
2018-10-12 cs.LG stat.ML
Combining feature-based approaches with graph neural networks and symbolic regression for synergistic performance and interpretability
Laboratory of Applied Materials and Interfaces, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学应用材料与界面实验室）；Institute of Condensed Matter and Nanosciences, Université Catholique de Louvain（鲁汶天主教大学凝聚态与纳米科学研究所）；Ruhr-Universität Bochum（波鸿鲁尔大学）
本研究提出材料科学领域的混合框架MatterVial，融合多类预训练GNN潜在表示、GNN近似描述符与符号回归新特征，增强MODNet模型后性能媲美甚至超越前沿端到端GNN，还可将潜在描述符解码为具物理意义的公式，兼顾高性能与可解释性。
2025-09-05 cond-mat.mtrl-sci cs.LG
Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
发现描述数据集的底层数学表达式是人工智能的核心挑战。这是$\textit{symbolic regression}$的问题。尽管最近在训练神经网络以解决复杂任务方面取得了进展，但符号回归的深度学习方法尚未得到充分探索。我们提出了一个框架，通过一个简单的想法利用深度学习进行符号回归：使用大模型搜索小模型的空间。具体来说，我们使用一个递归神经网络发出一个分布在易于处理的数学表达式，并采用一种新的风险寻求策略梯度训练网络，以产生更好的拟合表达式。我们的算法优于几个基线方法（包括Eureqa，符号回归的黄金标准），它能够准确地恢复符号表达式的一系列基准问题，无论有没有添加噪声。更广泛地说，我们的贡献包括一个框架，可以应用于优化层次结构，可变长度的对象下的黑盒性能指标，能够将约束条件在原位，和风险寻求策略梯度制定，优化最佳情况下的性能，而不是预期的性能。
2021-04-05 cs.LG stat.ML
Mathematical Principles and Experimental Discoveries of the Emergence of Symbolic Patterns in Artificial Neural Networks
本文研究ANN符号模式涌现的数学原理，证明其推理逻辑可表述为稀疏符号交互，相关准则使符号模式涌现，为ANN符号解释奠基，还凸显交际学习潜力。
2026-08-10 cs.LG
Meta-Learning for Symbolic Hyperparameter Defaults
University of Eindhoven（埃因霍温大学）；Ludwig-Maximilians-University（路德维希-马克西米利安大学）；LIACS, Leiden University（莱顿大学高级计算机科学研究所）
机器学习（ML）中的超参数优化处理从数据中经验学习最优算法配置的问题，通常被表述为黑盒优化问题。在这项工作中，我们提出了一个zero-shot方法来元学习符号默认超参数配置，表示在数据集的属性。与标准超参数优化方法相比，这使得ML算法的配置更快，但仍然依赖于数据。过去，符号和静态默认值通常是作为手工启发式方法获得的。我们提出了一种方法，学习这样的符号配置的数据集属性的公式，从一个大的事先评估多个数据集，通过优化使用进化算法的语法表达式。我们在替代经验性能模型以及100多个数据集上的6种ML算法的真实数据上评估了我们的方法，并证明我们的方法确实找到了可行的符号默认值。
2021-06-11 cs.LG stat.ML
Neural DNF-MT: A Neuro-symbolic Approach for Learning Interpretable and Editable Policies
Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
本文提出神经DNF-MT，一种结合深度强化学习与逻辑程序的神经符号方法，实现端到端学习可解释且可编辑的策略，性能媲美黑盒方法。
2025-04-23 cs.AI cs.LG cs.LO
Neural-Symbolic Integration: A Compositional Perspective
Samsung Research（三星研究院）；Open University of Cyprus（塞浦路斯开放大学）；Research Center on Interactive Media, Smart Systems, and Emerging Technologies（互动媒体、智能系统与新兴技术研究中心）
尽管神经符号框架的发展取得了重大进展，但如何以\emph{compositional}的方式整合神经系统和符号系统的问题仍然是开放的。我们的工作旨在填补这一空白，将这两个系统视为黑盒子，作为模块集成到一个单一的体系结构中，而不对它们的内部结构和语义进行假设。相反，我们只期望每个模块公开某些方法来访问模块实现的函数：符号模块公开一个演绎方法来计算给定输入的函数输出，以及一个溯因方法来计算给定输出的函数输入;神经模块暴露用于在给定输入上计算函数的输出的演绎方法，以及在给定输入输出训练实例的情况下更新函数的归纳方法。然后，我们能够证明，一个符号模块--只要暴露演绎和溯因方法，就可以选择任何语法和语义--可以干净地与神经模块集成，并促进后者的有效训练，实现超过以前工作的经验性能。
2020-10-22 cs.AI cs.LG
Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression
University College London（伦敦大学学院）
本文提出一种将神经网络强化学习策略蒸馏为GBMs、EBMs和符号回归等可解释模型的方法，结合DAgger算法解决分布偏移，在多种机器人步态上以极低交互成本实现高可解释性。
2024-03-21 cs.AI cs.LG cs.RO
Bridging the Gap: Representation Spaces in Neuro-Symbolic AI
Texas Tech University（德克萨斯理工大学）
本文通过四级分类框架分析191项研究，定义表示空间、信息模态、符号逻辑及协作策略，并详析46项研究，旨在弥合神经符号AI的表示差异。
2024-11-07 cs.AI cs.LG
Neuro-Symbolic Execution of Generic Source Code
Iowa State University（爱荷华州立大学）
本文提出神经解释（NI）模型，首次以神经符号方式逐语句执行通用 Python 源代码，保留代码结构并支持缺失定义，在 Py150 数据集上实现无具体输入的白盒执行，用于变量误用定位与修复。
2023-08-04 cs.AI cs.LG
Symbolic Graph Embedding using Frequent Pattern Mining
Jožef Stefan International Postgraduate School（约热夫·斯特凡国际研究生院）；Jožef Stefan Institute（约热夫·斯特凡研究所）；University of Nova Gorica（新戈里察大学）
关系数据采掘在许多研究领域中正变得无处不在。它提供了对复杂的真实世界系统行为的深入了解，这些系统无法直接使用命题学习进行建模。我们提出了符号图嵌入（SGE），一种旨在学习符号节点表示的算法。基于归纳逻辑程序设计领域的思想，SGE首先对给定节点的邻域进行采样，并将其解释为事务数据库，该事务数据库用于频繁模式挖掘，以识别在给定上下文中频繁出现的项的逻辑合取。在这项工作中，这些模式被用作表示单个节点的特征，产生可解释的符号节点嵌入。在场地分类任务上提出的SGE方法优于DeepWalk等浅节点嵌入方法，并且与metapath2vec（一种黑盒表示学习器，可以利用给定图中的节点和边类型）的性能相似。当少量数据用于学习时，所提出的SGE方法表现得特别好，可以扩展到具有数百万个节点和边的图形，并且可以在现成的笔记本电脑上运行。
2019-10-29 cs.LG stat.ML
Learning Continuous Semantic Representations of Symbolic Expressions
Microsoft Research（微软研究院）；University of Edinburgh（爱丁堡大学）；DeepMind；The Alan Turing Institute（艾伦·图灵研究所）
将抽象、符号推理与连续神经推理相结合是表示学习的一个巨大挑战。作为这个方向的一步，我们提出了一个新的架构，称为神经等价网络，学习连续的代数和逻辑表达式的语义表示的问题。这些网络被训练来表示语义等价，即使是语法上非常不同的表达。挑战在于语义表示必须以语法导向的方式计算，因为语义是组合的，但同时，语法的微小变化可能导致语义的巨大变化，这对于连续神经架构来说可能是困难的。我们执行一个详尽的评估任务，检查等价的高度多样化的类的符号代数和布尔表达式类型，表明我们的模型显着优于现有的架构。
2017-06-10 cs.AI cs.LG
DeepPySR -- A Symbolic Regression Framework with Dynamic Pruning, Pareto Selection, and Hierarchical Composition for Real-World Scientific Discovery
International Centre for Radio Astronomy Research (ICRAR), University of Western Australia（国际射电天文学研究中心（ICRAR），西澳大利亚大学）；The Raine Study, University of Western Australia（雷恩研究中心，西澳大利亚大学）；Menzies Institute for Medical Research, University of Tasmania（孟席斯医学研究所，塔斯马尼亚大学）；Nutrition & Health Innovation Research Institute, School of Medical and Health Sciences, Edith Cowan University（营养与健康创新研究所，伊迪斯科文大学医学与健康科学学院）
针对符号回归面临的高维输入等挑战，DeepPySR通过动态变量剪枝、指数帕累托选择标准和分层符号组合架构来解决，在多个数据集上表现出色，能产生与领域风险因素一致的可解释公式。
2026-07-10 cs.LG
Symbolic Regression via Neural-Guided Genetic Programming Population Seeding
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
符号回归是识别符合黑箱过程的观测输出的数学表达式的过程。这是一个离散优化问题，通常被认为是NP-难的。解决该问题的现有方法包括神经引导搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/遗传编程的方法，符号回归和其他组合优化问题。我们提出了一个神经元引导的组件用于种子的随机重启遗传编程组件的起始人口，逐渐学习更好的起始人口。在一些常见的基准测试任务中，从数据集中恢复底层表达式，我们的方法比最近发布的使用相同实验设置的最佳模型多恢复65%的表达式。我们证明，在不依赖神经引导组件的情况下运行许多代遗传编程，对于符号回归来说，比两者耦合更强的替代公式表现得更好。最后，我们引入了一组新的22个符号回归基准问题，其难度比现有基准更高。源代码在www.github.com/brendenpetersen/deep-symbolic-optimization上提供。
2021-11-17 cs.AI cs.LG cs.NE
Symbolic Learning to Optimize: Towards Interpretability and Scalability
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Texas A&M University（德州农工大学）
最近的研究学习优化（L2 O）提出了一个有前途的路径，自动化和加速复杂任务的优化过程。现有的L2 O模型通过神经网络参数化优化规则，并通过元训练学习这些数值规则。然而，它们面临着两个常见的陷阱：（1）可扩展性：神经网络表示的数值规则为应用L2 O模型带来了额外的内存开销，并限制了它们对优化更大任务的适用性;（2）可解释性：不清楚L2 O模型在其黑盒优化规则中学到了什么，也不容易以可解释的方式比较不同的L2 O模型。为了避免这两个陷阱，本文证明了我们可以“一石二鸟”的概念，通过引入强大的工具符号回归到L2 O。在本文中，我们建立了一个整体的符号表示和分析框架L2 O，这产生了一系列的见解，可学习的优化。利用我们的研究结果，我们进一步提出了一个轻量级的L2 O模型，它可以在大规模问题上进行元训练，并优于人类设计和调整的优化器。本文的研究为L2 O的研究提供了一个全新的视角。代码可在https://github.com/VITA-Group/Symbolic-Learning-To-Optimize上获得。
2022-05-07 cs.AI cs.LG
OccamNet: A Fast Neural Model for Symbolic Regression at Scale
Massachusetts Institute of Technology（麻省理工学院）
本文提出OccamNet，一种通过概率分布采样函数并结合强化学习交叉熵匹配训练的神经符号回归模型，能以低内存开销快速找到紧凑可解释的符号拟合，并在多种任务上超越现有方法。
2023-11-28 cs.LG cs.NE stat.ML
Discovering a reaction-diffusion model for Alzheimer's disease by combining PINNs with symbolic regression
Brown University（布朗大学）；Stanford University（斯坦福大学）
本文结合物理信息神经网络与符号回归，从纵向tau PET影像中发现区分阿尔茨海默病患者与健康对照的tau错误折叠反应-扩散方程及参数。
2023-07-16 cs.LG q-bio.QM
Learning Intrinsic Symbolic Rewards in Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Microsoft（微软）；Intel Labs（英特尔实验室）
为稀疏目标学习有效策略是深度强化学习（RL）的一个关键挑战。一种常见的方法是设计与任务相关的密集奖励来提高任务的可学习性。虽然这种奖励很容易解释，但它们依赖于知识和领域专业知识。另一种训练神经网络来发现密集的代理奖励的方法避免了复杂性，但是是高维的黑箱解决方案，几乎没有可解释性。在本文中，我们提出了一种以低维符号树的形式发现密集奖励的方法，从而使它们更易于分析。树使用简单的函数运算符将代理的观察映射到标量奖励，然后监督神经网络策略的策略梯度学习。我们在Mujoco中的连续动作空间和Atari和Pygame环境中的离散动作空间上测试了我们的方法。我们发现，密集奖励是RL策略解决基准任务的有效信号。值得注意的是，我们显着优于广泛使用的，当代基于神经网络的奖励发现算法在所有考虑的环境。
2020-10-09 cs.AI cs.LG
Neuro-Symbolic ODE Discovery with Latent Grammar Flow
ETH AI Center and Institute of Structural Engineering（苏黎世联邦理工学院人工智能中心和结构工程研究所）；ETH Zurich（苏黎世联邦理工学院）；Swiss Data Science Center（瑞士数据科学中心）
本文提出Latent Grammar Flow框架，通过生成微分方程来理解系统，结合符号方法与深度学习，实现可解释性和迁移性。
2026-07-15 cs.AI cs.CE cs.LG
Neuro-Symbolic Learning for Galois Groups: Unveiling Probabilistic Trends in Polynomials
Oakland University（奥克兰大学）
本文提出神经符号方法，结合神经网络与符号推理分类多项式伽罗瓦群，在53,972个六次多项式上发现新分布趋势，优于纯数值方法，为计算代数与概率猜想奠定基础。
2025-02-28 cs.AI cs.LG
Scaling up ML-based Black-box Planning with Partial STRIPS Models
Aalborg University（奥尔堡大学）；ServiceNow Research（ServiceNow研究院）
一种流行的顺序决策方法是执行基于模拟器的搜索，并使用机器学习（ML）方法（如策略学习）进行指导。另一方面，如果有一个完整的声明性模型，模型松弛算法可以有效地指导搜索。在这项工作中，我们考虑如何从业者可以提高ML为基础的黑盒规划设置一个完整的符号模型不可用。我们表明，指定一个不完整的CNOPS模型，只描述了问题的一部分，使使用松弛算法。我们在几个规划领域的研究结果表明，这是一种有效的方法来改善基于ML的黑盒规划，而不仅仅是收集更多的数据或调整ML架构。
2022-07-10 cs.AI cs.CL cs.LG
Data-Efficient Symbolic Regression via Foundation Model Distillation
Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴特研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）
本文提出EQUATE框架，通过质量对齐的迁移嵌入和评估器引导的嵌入优化，将离散方程搜索转化为连续优化问题，在低数据条件下实现数据高效且鲁棒的符号回归。
2025-08-27 cs.AI cs.LG
SMLP: Symbolic Machine Learning Prover
The University of Manchester（曼彻斯特大学）；Intel（英特尔公司）
SMLP是一个基于数据样本、结合统计与形式化方法的灰盒系统探索工具，已在英特尔用于模拟级硬件设计优化。
2024-02-02 cs.AI cs.LG cs.LO
Combining Open-box Simulation and Importance Sampling for Tuning Large-Scale Recommenders
Microsoft（微软）
针对大规模广告推荐平台调优计算成本高的问题，提出融合开盒仿真与重要性采样的SGIS方法，先粗筛参数再迭代优化，在保证精度的同时降低开销并提升KPI。
2024-09-23 cs.AI cs.IR cs.LG
Symbolic Audio Classification via Modal Decision Tree Learning
Gap S.r.l.u.（Gap S.r.l.u.公司）；University of Ferrara（费拉拉大学）；Free University of Bozen-Bolzano（波尔扎诺自由大学）
针对现有声音分类神经网络方法透明度低的问题，本研究采用模态决策树学习的符号化技术，证明多个音频任务可通过同一符号流水线以高精度、低复杂度的规则解决，可对接自主对话系统用于医疗预约等场景。
2025-03-21 cs.AI cs.LG cs.SD
Learning Symbolic Expressions via Gumbel-Max Equation Learner Networks
School of Engineering and Computer Science（工程与计算机科学学院）；Victoria University of Wellington（惠灵顿维多利亚大学）
大多数通过最先进的机器学习技术学习的神经网络（NN）都是黑箱模型。为了使机器学习在科学和工程领域取得广泛成功，开发新的NN架构以有效地从复杂数据集中提取高级数学知识是非常重要的。基于这种理解，本文开发了一种新的NN架构，称为Gumbel-Max方程学习器（GMEQL）网络。与以往提出的EQL网络不同，GMEQL通过Gumbel-Max技巧对网络结构进行连续松弛，并引入了两种类型的可训练参数：结构参数和回归参数。本文还提出了一个两阶段的训练过程与新技术，训练结构参数在线和离线设置的基础上的精英库。在8个基准符号回归问题上，实验表明GMEQL优于几种尖端的机器学习方法。
2021-05-14 cs.LG
Wu's Method can Boost Symbolic AI to Rival Silver Medalists and AlphaGeometry to Outperform Gold Medalists at IMO Geometry
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；University of Cambridge（剑桥大学）
该研究重新评估吴方法在IMO几何题上的能力，发现其与经典合成方法结合可匹敌银牌选手，与AlphaGeometry结合后解题量达27/30，首次超越IMO金牌选手水平。
2024-04-11 cs.AI cs.CG cs.CL
Recovery-Directed Symbolic Distillation of Neural Likelihoods
本文提出一种面向恢复的符号蒸馏流程，将神经似然转化为显式表达式，在保持参数恢复精度的同时实现超100倍加速，并适用于多种基于模拟的推断场景。
2026-09-29 cs.LG q-bio.NC stat.CO
Beyond Traditional Neural Networks: Toward adding Reasoning and Learning Capabilities through Computational Logic Techniques
University of Pisa（比萨大学）；University of L’Aquila（拉奎拉大学）
针对深度学习模型的局限性，本文提出通过计算逻辑技术改进符号知识注入，并将机器学习与逻辑集成到多智能体系统中，以增强推理与学习能力。
2023-08-30 cs.AI cs.LG cs.LO
OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems
Technical University of Munich（慕尼黑技术大学）；Helmholtz Munich（海德堡-慕尼黑医学中心）
针对混合建模中神经部分可能重复学习符号结构导致模型冗余的问题，提出正交正则化方法OrthoReg，直接惩罚符号与神经组件间的重叠，实现互补分解，提升符号恢复和分布外行为。
2026-07-07 cs.AI cs.LG cs.SY
