Theano: new features and speed improvements
Université de Montréal（蒙特利尔大学）
Theano是一个线性代数编译器，可以优化用户符号指定的数学计算，以产生高效的低级实现。在本文中，我们介绍了Theano的新功能和效率改进，以及展示Theano相对于Torch7（最近推出的机器学习库）和RNNLM（针对递归神经网络的C++库）的性能的基准测试。
2012-11-23 cs.LG cs.SC
Curriculum Abductive Learning
National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院）
针对溯因学习（ABL）中因知识库庞大复杂导致溯因空间大、训练不稳定的问题，提出课程溯因学习（C-ABL）方法，通过逐步引入划分的子知识库以缩小溯因空间，显著提升训练稳定性、收敛速度与最终准确率。
2025-10-30 cs.AI cs.LG
Data-Informed Model Complexity Metric for Optimizing Symbolic Regression Models
提出一种基于 Hessian 秩的数据知情模型复杂度度量方法，通过将模型表达力与数据集内在维度对齐，有效平衡符号回归模型的准确性与泛化能力。
2025-01-29 cs.LG cs.NE
Towards Learning Abductive Reasoning using VSA Distributed Representations
IBM Research – Zurich（IBM研究院苏黎世分部）；ETH Zürich（苏黎世联邦理工学院）
本文提出ARLC模型，通过新颖的溯因推理训练目标在I-RAVEN上实现最先进准确率，兼具可解释性、抗遗忘和迁移学习能力。
2024-08-30 cs.AI cs.LG cs.SC
DomiKnowS: A Library for Integration of Symbolic Domain Knowledge in Deep Learning
Michigan State University（密歇根州立大学）；Sichuan University（四川大学）；Florida Institute for Human and Machine Cognition（佛罗里达人类与机器认知研究所）
我们展示了一个用于在深度学习架构中集成领域知识的库。使用这个库，数据的结构通过图形声明以符号形式表示，并且可以将输出或潜在变量的逻辑约束无缝添加到深度模型中。领域知识可以明确定义，这提高了模型的可解释性，以及在低数据状态下的性能和泛化能力。已经引入了几种用于符号和子符号模型的这种集成的方法;然而，没有库来促进以通用方式进行这种集成的编程，同时可以使用各种底层算法。我们的图书馆旨在简化编程，这样的集成在训练和推理阶段，同时分离的知识表示从学习算法。我们展示了各种NLP基准任务及其他。该框架可在Github（https：//github.com/HLR/DomiKnowS）上公开获取。
2021-08-27 cs.AI cs.CL cs.LG
CoCoDA: Co-evolving Compositional DAG for Tool-Augmented Agents
Emory University（埃默里大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）
CoCoDA通过共进化规划器和工具库，利用组合代码DAG结构提升工具库检索效率和规划效果，实现在数学推理和代码任务中的性能提升。
2026-05-08 cs.AI
Context Is Not Comprehension
UNSW Business School（新南威尔士大学商学院）；UNSW AI Institute（新南威尔士大学人工智能研究院）
本研究提出Verbose ListOps（VLO）基准，将确定性计算嵌入叙事伪装以支持步骤级推理评估，发现高召回率LLM在长文本多步推理中性能骤降，为以推理为核心的模型设计提供可复用测试平台。
2025-06-12 cs.AI cs.CL cs.IR
Structured Abductive-Deductive-Inductive Reasoning for LLMs via Algebraic Invariants
DeepThought Solutions（深思科技）；Department of Computer Science University of Florida（佛罗里达大学计算机科学系）
本文提出通过代数不变量实现LLMs的结构归纳-演绎-演绎推理框架，通过五种代数不变量确保推理链中结论的可靠性，防止逻辑不一致的累积。
2026-04-17 cs.AI cs.LG cs.LO
Torchhd: An Open Source Python Library to Support Research on Hyperdimensional Computing and Vector Symbolic Architectures
University of California, Irvine（加州大学欧文分校）；Research Institutes of Sweden（瑞典研究院）
本文介绍了Torchhd，一个基于PyTorch构建的高性能开源Python库，旨在降低超维度计算（HD）与向量符号架构（VSA）的使用门槛，为相关研究提供高效基础，其实验运行速度比现有公开代码快100倍。
2023-07-21 cs.LG
LieDiscover: Adaptive Symbolic Library Construction for Explicit Open-form Symmetry Discovery
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Beihang University（北京航空航天大学）；Institute of Applied Physics and Computational Mathematics（应用物理与计算数学研究所）；Northeast Normal University（东北师范大学）
提出LieDiscover框架，将对称性发现建模为函数库与系数的联合优化，用编码器-解码器动态生成符号表达式并经强化学习优化，可发现高阶多项式或超越函数的开放形式生成元，提升下游PDE任务性能。
2026-11-13 cs.LG cs.SC
MARLeME: A Multi-Agent Reinforcement Learning Model Extraction Library
University of Cambridge（剑桥大学）
多智能体强化学习（MARL）包含了一类功能强大的方法，已被应用于广泛的领域。进一步增强这些方法的有效方法是开发可以扩展其可解释性和可解释性的库和工具。在这项工作中，我们介绍MARLeME：一个MARL模型提取库，旨在提高MARL系统的可解释性，通过近似它们与符号模型。符号模型提供了高度的可解释性、定义良好的属性和可验证的行为。因此，它们可以用于检查和更好地理解底层MARL系统和相应的MARL代理，以及替换所有/一些特别安全和安全关键的代理。
2020-04-16 cs.AI cs.LG stat.ML
CALT: A Library for Computer Algebra with Transformer
Chiba University（千叶大学）；Zuse Institute Berlin (ZIB)（柏林祖斯研究所）
本文提出 Python 库 CALT，让深度学习非专家也能利用 Transformer 训练端到端符号计算模型，以支持相关研究。
2025-06-10 cs.LG cs.SC math.AC
Symbolic Regression with a Learned Concept Library
UT Austin（德克萨斯大学奥斯汀分校）；Foundry Technologies（Foundry科技公司）；MIT（麻省理工学院）；University of Cambridge（剑桥大学）
提出 LaSR 符号回归方法，通过 LLM 零样本查询构建并演化抽象概念库，结合进化搜索提升假设发现，在 Feynman 等基准上超过现有方法并发现新的 LLM 缩放定律。
2024-12-10 cs.AI cs.LG cs.NE
Additive Atomic Forests for Symbolic Function and Antiderivative Discovery
Université Paris-Est Créteil（巴黎-est创帝大学）
本文提出一种框架，通过数据同时恢复函数及其反导数，利用导数代数、互补原始元和加法原子森林，实现自扩展的符号库，通过连续优化或搜索获得可解释的表达式。
2026-05-01 cs.LG
Formal Explanations for Neuro-Symbolic AI
Monash University（莫纳什大学）
本文针对神经符号AI系统行为难以解释的问题，提出一种基于形式化溯因解释的分层解释方法，先解释符号组件以确定需解释的神经输入子集，再独立解释各神经输入，实验证明其在解释规模、时间、训练效率和模型大小等方面优于纯神经系统。
2024-10-18 cs.AI cs.LG cs.LO
Neural-Symbolic Integration with Evolvable Policies
CYENS Centre of Excellence（CYENS卓越中心）；Open University of Cyprus（塞浦路斯开放大学）
本文提出了一种通过进化过程同时学习非可微符号策略和神经网络权重的神经符号整合框架，实现了在无领域专家知识时的有效策略学习。
2026-01-08 cs.LG cs.NE
Knowledge, Rules and Their Embeddings: Two Paths towards Neuro-Symbolic JEPA
本文提出双向神经符号框架RiJEPA，通过能量约束和多模态双编码架构注入归纳偏置，重塑表示流形，实现几何逻辑盆地；并通过连续可微逻辑替代离散规则，实现连续规则发现，提升生成与推理能力。
2026-02-25 cs.LG
OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems
Technical University of Munich（慕尼黑技术大学）；Helmholtz Munich（海德堡-慕尼黑医学中心）
针对混合建模中神经部分可能重复学习符号结构导致模型冗余的问题，提出正交正则化方法OrthoReg，直接惩罚符号与神经组件间的重叠，实现互补分解，提升符号恢复和分布外行为。
2026-07-07 cs.AI cs.LG cs.SY
Neural Feature-Adaptation for Symbolic Predictions Using Pre-Training and Semantic Loss
Birla Institute of Technology and Science, Pilani（皮拉尼伯拉理工学院）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；Tata Consultancy Services（塔塔咨询服务公司）
我们感兴趣的神经符号系统，包括一个高层次的符号层解释预测人类可理解的概念;和一个低层次的神经层提取所需的符号生成的符号解释。真实数据通常是不完美的，这意味着即使符号理论保持不变，我们仍然需要解决将原始数据映射到高级符号的问题，每次数据采集环境或设备发生变化时。每次发生这种情况时，对原始数据进行手动（重新）注释是费力和昂贵的;自动标记方法通常是不完美的，特别是对于复杂问题。神经元提出使用语义损失函数，允许现有的基于特征的符号模型，以指导提取的特征值从原始数据，使用“绑架”。然而，实验表明，使用语义损失，通过绑架似乎严重依赖于特定领域的预处理步骤，使一个预先划定的特征位置的原始数据。我们研究使用的语义损失的领域，这样的预处理是不可能的，或不明显。我们表明，没有任何先验信息的功能，神经元的方法可以继续准确地预测，即使有实质上不正确的功能预测。我们还表明，即使是不完美的预训练形式的特征的先验信息也可以帮助纠正这种情况。这些发现被复制在NEUROFIELD考虑的原始问题上，而不使用特征描绘。这表明，在一个域中的数据构建的符号解释可以在相关域中重新使用，通过“特征适应”的预先训练的神经提取器使用的语义损失函数由溯因反馈约束。
2022-11-29 cs.AI cs.LG cs.LO
Neuro-Symbolic Execution of Generic Source Code
Iowa State University（爱荷华州立大学）
本文提出神经解释（NI）模型，首次以神经符号方式逐语句执行通用 Python 源代码，保留代码结构并支持缺失定义，在 Py150 数据集上实现无具体输入的白盒执行，用于变量误用定位与修复。
2023-08-04 cs.AI cs.LG
AGEL-Comp: A Neuro-Symbolic Framework for Compositional Generalization in Interactive Agents
Universität Duisburg-Essen（杜伊斯堡- Essen大学）
AGEL-Comp通过动态因果程序图、归纳逻辑编程引擎和混合推理核心，实现基于符号和神经网络的组合泛化学习，优于纯LLM模型。
2026-04-29 cs.AI cs.LG cs.LO
Towards Learning to Reason: Comparing LLMs with Neuro-Symbolic on Arithmetic Relations in Abstract Reasoning
IBM Research -- Zurich（IBM研究院苏黎世分部）
本研究对比大语言模型与神经符号方法在瑞文渐进矩阵抽象推理任务的表现，发现大语言模型算术规则能力弱，而基于向量符号架构的ARLC方法准确率高且长度泛化性更好。
2024-12-07 cs.AI cs.LG cs.SC
A Mathematical Framework and a Suite of Learning Techniques for Neural-Symbolic Systems
University of California Santa Cruz（加州大学圣克ruz分校）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California Santa Barbara（加州大学圣巴巴拉分校）
本文提出神经符号能量模型（NeSy-EBMs）统一框架及四种学习方法，并通过NeuPSL库在多个任务中验证其有效性。
2026-09-22 cs.AI cs.LG
Composition Vision-Language Understanding via Segment and Depth Anything Model
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；AWS（亚马逊云科技）
提出一个统一库，结合 DAM、SAM 和 GPT-4V，通过符号实例级的分割与深度分析融合，显著提升视觉问答和组合推理等零样本多模态任务的表现。
2024-06-07 cs.AI cs.CV cs.LG
MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems
U. Washington（华盛顿大学）；CMU（卡内基梅隆大学）；Stanford（斯坦福大学）；NUS（新加坡国立大学）；TuSimple（图森未来）；NYU（纽约大学）；Microsoft（微软）；U. Alberta（阿尔伯塔大学）；MIT（麻省理工学院）；NYU Shanghai（上海纽约大学）
MXNet是一个多语言机器学习（ML）库，用于简化ML算法的开发，特别是深度神经网络。嵌入在宿主语言中，它混合了声明性符号表达式和命令式张量计算。它提供自动微分来导出梯度。MXNet具有计算和内存效率，可在各种异构系统上运行，从移动设备到分布式GPU集群。本文描述了MXNet的API设计和系统实现，并解释了如何以统一的方式处理符号表达式和张量运算的嵌入。我们的初步实验表明，使用多个GPU机器的大规模深度神经网络应用程序的结果很有希望。
2015-12-03 cs.DC cs.LG cs.MS
Interpretable Machine Learning for Science with PySR and SymbolicRegression.jl
Princeton University（普林斯顿大学）；Flatiron Institute（熨斗研究院）
本研究介绍了开源符号回归库PySR及其Julia后端SymbolicRegression.jl，阐述了其多种群进化算法、分布式高性能架构等特性，并提出EmpiricalBench基准以评估符号回归算法在科学领域的适用性。
2023-05-05 astro-ph.IM cs.LG cs.NE
Time-Series Forecasting, Knowledge Distillation, and Refinement within a Multimodal PDE Foundation Model
Montana State University（蒙大拿州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Florida State University（佛罗里达州立大学）；UCLA（加利福尼亚大学洛杉矶分校）
本文提出基于SymPy的符号标记库作为额外模态，结合贝叶斯滤波细化，实现低成本、自动化的多模态偏微分方程时间序列预测，提升精度。
2024-09-17 cs.LG
CoEvo: Continual Evolution of Symbolic Solutions Using Large Language Models
针对现有符号解发现方法难以持续优化扩展知识的问题，提出CoEvo框架，结合大语言模型与演化搜索，借助动态知识库与多表示形式提升符号发现效率与范围，支持持续创新。
2025-11-14 cs.AI cs.LG cs.NE
SymTorch: Symbolic Distillation of Neural Networks
Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系）
SymTorch通过符号化蒸馏方法，将神经网络组件转化为可解释的数学表达式，揭示训练过程中学习的函数结构。其在物理定律自动发现中表现出色，包括从图神经网络中恢复相互作用力、从物理启发型神经网络中提取精确解，以及揭示洛伦兹系统的混沌动力学。
2026-05-11 cs.LG
A tensor network formalism for neuro-symbolic AI
Weierstrass Institute of Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机学研究所）
本文提出了一种张量网络形式化方法，用于统一神经和符号AI，通过结构化张量分解实现逻辑与概率模型的混合训练。
2026-01-21 cs.AI cs.LG cs.LO
jNO: A JAX Library for Neural Operator and Foundation Model Training
Fraunhofer Institute for Integrated Systems and Device Technology（弗劳恩霍夫整合系统与器件技术研究所）
jNO是一个基于JAX的神经算子库，支持数据驱动和物理引导的训练，通过统一的符号语言编译优化流程，实现算子回归、网格感知残差评估和PDE约束训练的无缝切换。
2026-05-11 cs.LG cs.NA math.NA
Bias Inheritance in Neural-Symbolic Discovery of Constitutive Closures Under Function-Class Mismatch
Nanophotonics and Biophotonics Key Laboratory of Jilin Province, School of Physics, Changchun University of Science and Technology（吉林省纳米光子学与生物光子学重点实验室，物理学院，长春理工大学）
本文研究了在非线性反应扩散系统中利用数据驱动方法发现构成闭合关系的鲁棒性，提出三阶段神经符号框架，揭示了因式类不匹配下偏置继承机制，强调了初始数值反问题对神经符号建模的关键影响。
2026-04-01 cs.CE cs.LG
A PyTorch Library of Turing-Complete Neural Networks
本文提出一个PyTorch库，通过图灵机描述编译神经网络及权重，生成可精确模拟指定机器的模型。实现两种架构：基于Wei等人（2021）的Transformer和基于Siegelmann和Sontag（1995）的循环网络，展示ReLU网络实现布尔电路及硬注意力实现磁带位置查找。
2026-05-03 cs.LG
