LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules
Georgia Institute of Technology(佐治亚理工学院)
本文提出LARS-VSA架构,利用超维计算和关系瓶颈策略构建组合式神经符号系统,通过高维注意力机制实现高效抽象规则学习,在多个数据集上达到更优或相当的准确率且效率显著提升。
2024-05-23 cs.AI cs.LG
A Walsh Hadamard Derived Linear Vector Symbolic Architecture
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);Booz Allen Hamilton(博兹艾伦汉密尔顿公司);Laboratory for Physical Sciences(物理科学实验室)
本文提出哈达玛推导的线性绑定HLB方法,属于向量符号架构VSA领域,兼具计算效率、经典任务效能与可微分系统适配性,为神经符号AI提供新的实现方案。
2024-10-30 cs.AI cs.LG
Learning Algorithmic Solutions to Symbolic Planning Tasks with a Neural Computer Architecture
Technische Universität Darmstadt(达姆施塔特工业大学);Universität zu Lübeck(吕贝克大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
智能行为的一个关键特征是学习抽象策略的能力,这些策略可以转移到不熟悉的问题上。因此,我们提出了一种新的架构,基于内存增强网络,这是现代计算机的冯诺依曼和哈佛架构的启发。这种架构能够在强化学习环境中通过演化策略学习抽象算法解决方案。应用于推箱子,滑块拼图和机器人操作任务,我们表明,该架构可以学习算法的解决方案具有很强的泛化和抽象:扩展到任意任务配置和复杂性,并独立于数据表示和任务域。
2020-06-03 cs.AI cs.LG cs.NE
Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures
IBM Research – Zurich(IBM苏黎世研究院);ETH Zurich(苏黎世联邦理工学院)
本研究提出Learn-VRF方法,利用向量符号架构的分布式计算,仅需一次训练遍历即可学习瑞文渐进矩阵的规则公式,参数紧凑且可解释,在分布内与分布外任务上均优于纯连接主义基线。
2024-01-29 cs.AI cs.LG
Quantum Spectral Reasoning: A Non-Neural Architecture for Interpretable Machine Learning
UC Berkeley School of Information(伯克利大学信息学院)
提出一种基于量子谱方法(帕德近似与兰佐斯算法)的非神经架构,将时域信号转为稀疏谱表示并映射为符号谓词,实现可解释推理,在异常检测等任务上兼具精度与数据效率。
2025-08-05 cs.LG
Towards Vector Optimization on Low-Dimensional Vector Symbolic Architecture
Northeastern University(东北大学);University of California, Riverside(加州大学河滨分校);Cisco Research(思科研究中心)
针对VSA超维与精度问题,本文研究低维LDC的向量优化,揭示稳定自适应动态及BN、KD的关键作用,并通过多基准实验验证性能与可解释性贡献。
2025-03-16 cs.LG
Torchhd: An Open Source Python Library to Support Research on Hyperdimensional Computing and Vector Symbolic Architectures
University of California, Irvine(加州大学欧文分校);Research Institutes of Sweden(瑞典研究院)
本文介绍了Torchhd,一个基于PyTorch构建的高性能开源Python库,旨在降低超维度计算(HD)与向量符号架构(VSA)的使用门槛,为相关研究提供高效基础,其实验运行速度比现有公开代码快100倍。
2023-07-21 cs.LG
Learning Continuous Semantic Representations of Symbolic Expressions
Microsoft Research(微软研究院);University of Edinburgh(爱丁堡大学);DeepMind;The Alan Turing Institute(艾伦·图灵研究所)
将抽象、符号推理与连续神经推理相结合是表示学习的一个巨大挑战。作为这个方向的一步,我们提出了一个新的架构,称为神经等价网络,学习连续的代数和逻辑表达式的语义表示的问题。这些网络被训练来表示语义等价,即使是语法上非常不同的表达。挑战在于语义表示必须以语法导向的方式计算,因为语义是组合的,但同时,语法的微小变化可能导致语义的巨大变化,这对于连续神经架构来说可能是困难的。我们执行一个详尽的评估任务,检查等价的高度多样化的类的符号代数和布尔表达式类型,表明我们的模型显着优于现有的架构。
2017-06-10 cs.AI cs.LG
Orthogonal Matrices for MBAT Vector Symbolic Architectures, and a "Soft" VSA Representation for JSON
Textician(Textician 公司)
向量符号体系结构(VSAs)提供了一种将复杂对象表示为单个固定长度向量的方法,以便相似的对象具有相似的向量表示。这些向量表示然后变得易于用于机器学习或最近邻搜索。我们回顾了以前提出的VSA方法,MBAT(矩阵绑定的加法项),它使用随机矩阵的乘法绑定相关的条款。然而,乘以这样的矩阵引入了可能损害性能的不稳定性。使随机矩阵成为正交矩阵可证明地解决了这个问题。对于更大规模的应用程序,我们看到了如何将MBAT向量表示应用于任何以JSON表示的数据。JSON在许多程序设计语言中用于表达复杂的数据,但其原生格式似乎非常不适合机器学习。将JSON表示为固定长度的向量,使其易于用于机器学习和最近邻搜索。创建这样的JSON向量还表明,VSA需要采用非交换的绑定操作。VSA现在已经准备好尝试全面的实际应用,包括医疗保健,制药和基因组学。保留字:MBAT(Matrix Binding of Additive Terms),VSA(Vector Symbolic Architecture),HDC(Hyperdimensional Computing),分布式表示,绑定,正交矩阵,递归连接,机器学习,搜索,JSON,VSA应用
2022-02-08 cs.AI cs.LG cs.NE
Symbolic recovery of PDEs from measurement data
IDea_Lab - The Interdisciplinary Digital Lab at the University of Graz, Austria(格拉茨大学 interdisciplinary 数字实验室);Aleph Alpha Research(Aleph Alpha 研究)
本文提出基于有理函数的神经网络架构,用于从测量数据中恢复PDE模型,通过理论分析和实验证明其在物理定律重建中的有效性与可解释性。
2026-04-27 cs.LG cs.SC math.OC
From Audio to Symbolic Encoding
Stanford University(斯坦福大学)
自动音乐转录(AMT)旨在将原始音频转换为符号音乐表示。作为音乐信息检索(MIR)的一个基本问题,由于声学信号中多个谐波的重叠,即使对于受过训练的人类专家来说,AMT也被认为是一项困难的任务。另一方面,语音识别作为自然语言处理中最受欢迎的任务之一,旨在将人类的口语翻译成文本。基于AMT和语音识别的相似性质(因为它们都处理将音频信号转换为符号编码的任务),本文研究了通用神经网络架构是否可能同时处理这两个任务。在本文中,我们介绍了我们的新的神经网络架构,建立在当前最先进的起始和帧的顶部,并比较了其多种变化的AMT任务的性能。我们还用语音识别的任务测试了我们的架构。对于AMT,与使用最先进的架构训练的模型相比,我们的模型能够产生更好的结果;然而,尽管类似的架构能够在语音识别任务上进行训练,但与其他特定于任务的模型相比,它并没有产生非常理想的结果。
2023-02-26 cs.IR cs.LG cs.SD
Symbolic Feedforward Networks for Probabilistic Finite Automata: Exact Simulation and Learnability
Arizona State University(亚利桑那州立大学)
本文提出用符号前馈神经网络精确模拟概率有限自动机,通过矩阵-向量乘积实现无循环的概率状态传播,并证明该类网络可通过梯度下降从序列数据中精确学习PFA行为,从而在代数框架下统一符号自动机与深度学习。
2025-09-23 cs.LG
neuROSym: Deployment and Evaluation of a ROS-based Neuro-Symbolic Model for Human Motion Prediction
School of Computer Science, University of Lincoln(林肯大学计算机科学学院);Dept. of Information Engineering, University of Padua(帕多瓦大学信息工程系)
本文提出基于 ROS 的 neuROSym 软件包,将 NeuroSyM 神经符号运动预测架构部署到 TIAGo 机器人,并在线对比 SGAN,验证其在准确率和运行时上的总体优势。
2024-06-24 cs.LG cs.RO
Differentiable Symbolic Planning: A Neural Architecture for Constraint Reasoning with Learned Feasibility
Sithara Inc.(Sithara公司)
本文提出可微符号规划(DSP),通过神经架构实现离散符号推理并保持全可微性,结合通用认知内核(UCK)在约束推理基准中取得高准确率。
2026-02-19 cs.AI cs.LG
Graph-based Neural Modules to Inspect Attention-based Architectures: A Position Paper
IBM Research(IBM研究院);City, University of London(伦敦城市大学);UFRGS(巴西南大河州联邦大学);MIT Sloan School of Management(麻省理工学院斯隆管理学院)
编码器-解码器架构是最先进的解决方案的重要组成部分,适用于深度学习(DL)或基础模型发挥关键作用的多个领域。虽然有越来越多的社区致力于为DL模型提供解释,以及在神经符号社区中寻求整合符号表示和DL的大量工作,但仍有许多悬而未决的问题需要更好的工具来可视化DL架构的内部工作。特别是,编码器-解码器模型提供了一个令人兴奋的机会,可视化和编辑的知识隐含在模型权重的人。在这项工作中,我们探索如何创建一个抽象的网络段作为一个双向的基于图形的表示。对该图结构的更改应直接反映在底层张量表示中。这种双向图表示通过利用编码器-解码器的模式识别能力以及在图上执行的符号推理来实现新的神经符号系统。该方法有望产生与DL模型交互的新方式,同时也将学习和推理能力相结合,从而提高性能。
2022-10-13 cs.LG
Knowledge, Rules and Their Embeddings: Two Paths towards Neuro-Symbolic JEPA
本文提出双向神经符号框架RiJEPA,通过能量约束和多模态双编码架构注入归纳偏置,重塑表示流形,实现几何逻辑盆地;并通过连续可微逻辑替代离散规则,实现连续规则发现,提升生成与推理能力。
2026-02-25 cs.LG
Beyond Prompt Engineering: Neuro-Symbolic-Causal Architecture for Robust Multi-Objective AI Agents
针对大语言模型智能体依赖提示、鲁棒性差的问题,提出融合神经、符号与因果模块的Chimera架构,经电商场景52周模拟验证,其在收益与品牌信任上均优于基线,且经形式化验证零约束违反,证明架构设计对智能体可靠性的关键作用。
2025-10-27 cs.AI cs.LG cs.LO
SymFormer: End-to-end symbolic regression using transformer-based architecture
Delft University of Technology(代尔夫特理工大学)
现实世界中的许多问题都可以用数学公式自然地描述。从一组观察到的输入和输出中找到公式的任务称为符号回归。近年来,神经网络已被应用于符号回归,其中基于变换的神经网络是最有前途的。在对Transformer进行大量公式(以天为单位)的训练之后,实际的推断,即,为新的、看不见的数据找到公式是非常快的(以秒的量级)。这比最先进的进化方法快得多。Transformers的主要缺点是它们生成的公式没有数值常数,必须单独优化,因此产生次优结果。我们提出了一种基于变换的方法称为SymFormer,它通过同时输出各个符号和相应的常数来预测公式。这导致在拟合可用数据方面的更好性能。此外,SymFormer提供的常数可作为后续通过梯度下降进行调整的良好起点,以进一步提高性能。我们在一组基准测试中表明,SymFormer在推理速度更快的同时,性能优于两种最先进的方法。
2022-10-20 cs.CV cs.LG cs.NE
Beyond Neural Networks: Symbolic Reasoning over Wavelet Logic Graph Signals
UC Berkeley, School of Information(伯克利大学信息学院)
本研究提出基于图拉普拉斯小波变换的非神经学习框架,通过谱域多尺度滤波、非线性收缩与符号DSL实现图任务,性能媲美轻量级GNN且更透明高效,为图学习提供可解释的深度架构替代方案。
2025-07-27 cs.LG
Architecture-Induced Recoverability Bias in Differentiable Symbolic Regression
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算机学院);College of Lifetime Learning, Georgia Institute of Technology(佐治亚理工学院终身学习学院)
本文研究可微符号回归中,变量路由架构对表达式可恢复性的影响,发现不同架构导致恢复率从0/64到64/64变化,并提出基于验证的架构选择方法将恢复率从34.4%提升至50.1%。
2026-05-27 cs.AI cs.LG cs.NE
Deep Learning and Symbolic Regression for Discovering Parametric Equations
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);University of Chicago(芝加哥大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种神经网络架构,将符号回归扩展到系数可变但方程结构不变的参数化系统,并与卷积神经网络集成以分析高维数据,在解析表达式、ODE和PDE上验证了其外推能力。
2023-05-28 cs.LG cs.SC physics.comp-ph
Learning Symbolic Expressions via Gumbel-Max Equation Learner Networks
School of Engineering and Computer Science(工程与计算机科学学院);Victoria University of Wellington(惠灵顿维多利亚大学)
大多数通过最先进的机器学习技术学习的神经网络(NN)都是黑箱模型。为了使机器学习在科学和工程领域取得广泛成功,开发新的NN架构以有效地从复杂数据集中提取高级数学知识是非常重要的。基于这种理解,本文开发了一种新的NN架构,称为Gumbel-Max方程学习器(GMEQL)网络。与以往提出的EQL网络不同,GMEQL通过Gumbel-Max技巧对网络结构进行连续松弛,并引入了两种类型的可训练参数:结构参数和回归参数。本文还提出了一个两阶段的训练过程与新技术,训练结构参数在线和离线设置的基础上的精英库。在8个基准符号回归问题上,实验表明GMEQL优于几种尖端的机器学习方法。
2021-05-14 cs.LG
ISR: Invertible Symbolic Regression
Massachusetts Institute of Technology(麻省理工学院);Scripps Institution of Oceanography(斯克里普斯海洋研究所);Paul Scherrer Institute(保罗·谢勒研究所);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出可逆符号回归ISR,将INN仿射耦合块符号化并结合EQL与稀疏正则化,实现可微、可解释的可逆表达式发现,并用于密度估计、逆运动学和海洋地声反演。
2024-05-10 cs.AI cs.IT cs.LG
Developing a Foundation of Vector Symbolic Architectures Using Category Theory
Cheriton School of Computer Science University of Waterloo(滑铁卢大学切尔顿计算机科学学院);Centre for Theoretical Neuroscience Systems Design Engineering University of Waterloo(滑铁卢大学理论神经科学中心系统设计工程学院);Department of Psychology University of Waterloo(滑铁卢大学心理学系)
本文首次将范畴论应用于向量符号架构,将向量推广为余预层,并把 VSA 操作形式化为外部张量积的右 Kan 扩展,通过示例验证了该形式化并为 VSA 新设计提供思路。
2025-05-02 cs.AI cs.LG
Geometric Priors for Generalizable World Models via Vector Symbolic Architecture
University of California Irvine(加州大学伊文斯分校);University of California San Diego(加州大学圣地亚哥分校)
本文提出基于向量符号架构的几何先验方法,通过学习复数空间的群结构,实现高效且可解释的世界模型,提升多步组合和泛化能力。
2026-02-25 cs.LG
hdlib 2.0: Extending Machine Learning Capabilities of Vector-Symbolic Architectures
Cleveland Clinic(克利夫兰诊所);Ohio State University(俄亥俄州立大学);Case Western Reserve University(凯斯西储大学)
hdlib 2.0通过引入监督分类、回归、聚类和图学习模型,以及量子超维计算,扩展了向量符号架构的机器学习能力。
2026-01-05 cs.LG
ROTE: Benchmarking Neural Memorization on Complexity-Controlled Symbolic Sequences
ROTE基准通过LZW复杂度控制的符号序列,评估神经架构的精确记忆能力,揭示记忆质量、滚动稳定性与计算开销之间的权衡。
2026-09-29 cs.AI cs.LG
Integration of Neural Network-Based Symbolic Regression in Deep Learning for Scientific Discovery
Massachusetts Institute of Technology(麻省理工学院);University of Zagreb(萨格勒布大学)
符号回归是一种强大的技术,可以发现描述数据的分析方程,这可以导致训练数据集之外的可解释模型和泛化性。相比之下,神经网络在图像识别和自然语言处理任务上已经达到了惊人的准确度,但通常被视为难以解释的黑箱模型,并且通常推断不佳。在这里,我们使用一种基于神经网络的符号回归架构,称为方程式学习器(EQL)网络,并将其与其他深度学习架构集成,以便整个系统可以通过反向传播进行端到端训练。为了证明这种系统的功能,我们研究了它们在几个基本不同的任务上的性能。首先,我们证明了神经网络可以执行符号回归并学习几个函数的形式。接下来,我们提出了一个MNIST算术任务,其中神经网络的一个单独部分提取数字。最后,我们展示了预测的动态系统,其中一个未知的参数是通过编码器提取。我们发现,与基于标准神经网络的架构相比,基于EQL的架构可以在训练数据集之外进行很好的外推,为深度学习在科学探索和发现中的应用铺平了道路。
2020-08-13 cs.LG cs.NE physics.data-an
A Survey on Hyperdimensional Computing aka Vector Symbolic Architectures, Part I: Models and Data Transformations
University of California, Berkeley(加州大学伯克利分校);Research Institutes of Sweden(瑞典研究所);International Research and Training Center for Information Technologies and Systems(国际信息技术与系统研究培训中心);Luleå University of Technology(吕勒奥理工大学);IBM Research(IBM研究院)
本综述第一部分全面介绍了超维度计算与向量符号架构(HDC/VSA)框架,重点调查了其已知的计算模型以及各种输入数据类型到高维分布式表示的变换。
2023-07-31 cs.AI cs.LG
Does Symbolic Knowledge Prevent Adversarial Fooling?
University of Trento(特伦托大学)
支持将符号知识注入神经结构的论点比比皆是。如果处理得当,约束子符号模型可以大大提高其性能和样本复杂性,并防止其预测无效配置。专注于深度概率(逻辑)图形模型-即,约束联合分布,其参数(部分)由基于低级输入的神经网络确定-我们提请注意符号知识的一个基本但无意的后果:由此产生的约束可能会传播对抗性示例的负面影响。
2019-12-19 cs.LG stat.ML
PDE-NetGen 1.0: from symbolic PDE representations of physical processes to trainable neural network representations
INPT-ENM(法国国立气象学院);CNRM(法国国家气象研究中心);CERFACS(欧洲科学计算研究与高级培训中心);IMT-Atlantic(大西洋矿业电信学院);Lab-STICC(布列塔尼大西洋信息通信科学与技术实验室)
将物理学和深度学习联系起来是一个热门的挑战。虽然深度学习框架为物理科学开辟了道路,但物理上一致的深度神经网络架构的设计仍然是一个悬而未决的问题。在物理学知识的神经网络的精神,PDE-NetGen包提供了新的方法来自动转换物理方程,作为PDE,到神经网络架构。PDE-NetGen结合了符号演算和神经网络生成器。后者利用了使用Keras的PDE求解器的基于NN的实现。通过对问题的一些了解,PDE-NetGen是一个即插即用的工具,可以生成物理信息的NN架构。它们提供了计算效率高但紧凑的表示,以解决各种问题,包括伴随推导,模型校准,预测,数据同化以及不确定性量化等。作为一个例子,工作流程首先提出了二维扩散方程,然后应用到数据驱动和物理信息的不确定性动力学的伯格斯方程的识别。
2020-02-03 cs.LG physics.comp-ph stat.ML
NSFlow: An End-to-End FPGA Framework with Scalable Dataflow Architecture for Neuro-Symbolic AI
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
本文提出NSFlow,一种基于FPGA的端到端加速框架,通过设计架构生成器生成优化的数据流架构并采用可重构阵列,为神经符号AI提供高效、可扩展且灵活的硬件加速方案。
2025-04-29 cs.AI cs.AR cs.LG
Visual Categorization Across Minds and Models: Cognitive Analysis of Human Labeling and Neuro-Symbolic Integration
Georgia Institute of Technology(佐治亚理工学院)
本文通过对比人类与AI在低分辨率图像标注中的表现,探讨了认知策略与神经符号整合方法的异同,旨在推动更可解释和认知对齐的AI系统发展。
2025-12-10 cs.AI cs.CV cs.LG
Scheduled Knowledge Acquisition on Lightweight Vector Symbolic Architectures for Brain-Computer Interfaces
UC Riverside(加州大学河滨分校);Northeastern University(东北大学)
本文提出一种基于课程数据顺序和 $α$ 调度器的调度式知识蒸馏方法,采用LDC/VSA作为学生模型,提升了微型BCI设备在准确率与硬件效率间的权衡。
2024-03-18 cs.AI cs.LG
Can Neural Networks Learn Symbolic Rewriting?
Czech Technical University(捷克技术大学);University of Warsaw(华沙大学);University of Innsbruck(因斯布鲁克大学)
这项工作调查,如果目前的神经架构是足够的学习符号重写。两种数据集提出了这项研究-一个基于自动化的证明,另一个是一个综合的多项式项集。利用现有的神经机器翻译模型进行了实验,并对其结果进行了讨论。提出了扩展这条研究路线的想法,并激发了其相关性。
2020-05-26 cs.AI cs.CL cs.LG
Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures
本文提出全息不变存储协议,通过整合双极向量符号架构的特性,为LLM上下文漂移缓解提供设计时的安全合同,提供三种可预估的保障,提升系统工程师在设计阶段的恢复保真度和代码本容量预算能力。
2026-08-26 cs.CL cs.IT cs.LG
Sobol Sequence Optimization for Hardware-Efficient Vector Symbolic Architectures
School of Computing and Informatics, University of Louisiana at Lafayette(路易斯安那大学拉斐特分校计算与信息学院)
本文提出利用Sobol序列优化超向量生成,以提升超维计算系统的编码质量,在语言和标题分类任务中实现高达10.79%的准确率提升,并降低能耗和面积延迟乘积。
2023-11-17 cs.ET cs.LG
Capacity allocation analysis of neural networks: A tool for principled architecture design
Spotify(声田)
设计神经网络架构是一项介于科学和艺术之间的任务。对于给定的任务,某些架构最终会比其他架构更受欢迎,这是基于直觉、经验、实验和运气的混合。对于许多任务来说,最终的结果归因于损失函数,而对于其他一些任务来说,需要进一步的感知评估来评估和比较模型的性能。在本文中,我们介绍了容量分配分析的概念,目的是阐明什么网络架构集中他们的建模能力,当用于一个给定的任务。我们更特别地关注空间容量分配,它分析了后验的有效数量的参数,一个给定的模型已分配用于建模依赖于一个给定的点或区域在输入空间中,在线性设置。我们使用这个框架来执行一些经典的架构之间的定量比较各种合成任务。最后,我们考虑如何在非线性设置的容量分配可能会翻译。
2019-02-12 cs.LG stat.ML
Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures
University of Trento(特伦托大学);Ipazia S.p.A.(Ipazia公司);Fondazione Bruno Kessler (FBK)(布鲁诺·凯塞勒基金会)
研究旨在解码大语言模型表示,提出超维探针,结合符号表示与神经探测,利用向量符号架构和超向量代数统一先前方法,能深入提取输入特征并支持输出分析,实验表明其可在多场景提取语义信息,推进了语义理解。
2026-10-22 cs.AI cs.CL cs.LG
Relational Reasoning Networks
KU Leuven(鲁汶大学);University of Siena(锡耶纳大学);Scuola Normale Superiore(比萨高等师范学校)
针对现有神经符号方法难以兼顾不确定性处理与可扩展性的问题,提出能在潜空间执行关系推理的端到端模型R2N,通过额外计算结构处理高阶关系,可适配纯符号或异构任务,在多实验设置下达到SOTA效果。
2025-01-15 cs.AI cs.LG
RESOLVE: Relational Reasoning with Symbolic and Object-Level Features Using Vector Symbolic Processing
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出 RESOLVE 神经向量符号架构,通过打包和绑定操作结合对象级特征与关系表示,并引入双极高维注意力机制,解决了现有模型在纯关系和部分关系推理任务中的不足,实现了低延迟、高内存效率及更高的准确率与泛化能力。
2024-11-13 cs.AI cs.LG
SILG: The Multi-environment Symbolic Interactive Language Grounding Benchmark
University of Washington(华盛顿大学);Facebook AI Research(Facebook 人工智能研究院);Princeton University(普林斯顿大学)
现有的语言基础研究通常研究单一的环境。我们如何构建适用于多个环境的统一模型?我们提出了多环境符号交互式语言基础基准(SILG),它统一了一个共同的界面下的不同接地语言学习环境的集合。SILG由网格世界环境组成,需要泛化到新的动态,实体和部分观察到的世界(RTFM,Messenger,NetHack),以及视觉世界的符号对应物,需要解释复杂场景的丰富自然语言(ALFWorld,Touchdown)。总之,这些环境在丰富的观察空间、行动空间、语言规范和计划复杂性方面提供了不同的基础挑战。此外,我们还提出了在这些环境中用于RL的第一个共享模型架构,并评估了最近的进展,如以自我为中心的局部卷积,经常性的状态跟踪,以实体为中心的注意力,以及使用SILG的预训练LM。我们的共享架构实现了与特定环境架构相当的性能。此外,我们发现,许多最新的建模进展并没有导致显着的收益环境以外,他们的设计。这凸显了对多环境基准的需求。最后,最好的模型在SILG上的表现明显低于人类,这表明未来的工作有足够的空间。我们希望SILG能够使社区快速识别新的语言基础方法,这些方法可以推广到各种环境及其相关挑战。
2022-01-24 cs.AI cs.CL cs.LG
The Neuro-Symbolic Brain
神经网络促进了分布式表示,没有明确的符号位置。尽管如此,我们建议,符号制造简单地通过训练一个稀疏的随机噪声作为一个自我维持的吸引子在反馈脉冲神经网络。通过这种方式,我们可以产生许多我们称之为主要吸引子的东西,而支持它们的网络就像持有符号值的寄存器,我们称之为寄存器。像符号一样,素吸引子是原子的,没有任何内部结构。此外,由尖峰神经元自然实现的赢家通吃机制使寄存器能够在噪声信号中恢复主吸引子。使用这种能力,当考虑两个连接的寄存器,一个输入寄存器和一个输出寄存器时,可以使用赫布规则将输出上活动的吸引子绑定到输入上活动的吸引子。因此,只要一个吸引子在输入上是活动的,它就会在输出上诱导出它的绑定吸引子;即使信号随着更多的绑定而变得模糊,赢者通吃的过滤能力也可以恢复绑定的主吸引子。然而,能力仍然有限。也可以一次性解除绑定,恢复绑定占用的容量。这种机制是工作记忆的基础,它将主要吸引子转化为变量。此外,我们使用一个随机的二阶网络来合并两个寄存器所持有的主要吸引子,以便一次性将第三个寄存器所持有的主要吸引子绑定到它们,实际上实现了一个哈希表。此外,我们还引入了由寄存器组成的寄存器切换盒,将一个寄存器的内容移动到另一个寄存器。然后,我们使用尖峰神经元建立一个玩具符号计算机的基础上上述。所使用的技术建议了以结构先验为代价设计外推、可重用、样本高效的深度学习网络的方法。
2022-05-13 cs.AI cs.LG cs.NE
Discovering Abstract Symbolic Relations by Learning Unitary Group Representations
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本研究提出一种基于群表示论的分解双线性模型,高效完成符号操作完成任务,实现完美准确率并快速学习,同时自动发现底层酉群结构,为深度学习中的对称性发现提供新范式。
2024-05-22 cs.LG math.GR math.RT
SymFlux: deep symbolic regression of Hamiltonian vector fields
Max-Planck Institute for Mathematics, Bonn(马克斯·普朗克数学研究所,波恩)
SymFlux提出一种基于混合CNN-LSTM的深度学习框架,用于从标准辛平面上的向量场符号回归识别哈密顿函数,并在新数据集上验证了其准确性,推动了哈密顿力学的自动发现。
2025-07-08 cs.AI cs.LG math.DS
Fusing Memory and Attention: A study on LSTM, Transformer and Hybrid Architectures for Symbolic Music Generation
Kalinga Institute of Industrial Technology (KIIT)(凯林加工业技术学院(KIIT));IMC University of Applied Sciences Krems(应用科学克雷姆斯大学)
本文比较LSTM与Transformer在符号音乐生成中的表现,发现LSTM擅长局部模式但缺乏长距离依赖,Transformer能保持全局结构但易产生不规则节奏,提出混合架构结合两者优势,实验显示混合方法在局部和全局连续性上表现更优。
2026-03-22 cs.AI cs.LG cs.SD
Just Add Functions: A Neural-Symbolic Language Model
Northwestern University(西北大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
神经网络语言模型(NNLM)由于更复杂的架构和越来越多的训练数据而实现了不断提高的准确性。然而,这些模型的归纳偏差(由语言的分布假设形成)虽然非常适合对大多数运行的文本进行建模,但却导致了当今模型的关键限制。特别是,这些模型通常很难学习某些空间、时间或数量关系,这些关系在文本中很常见,对人类读者来说是第二天性。然而,在许多情况下,这些关系可以用简单的数学或逻辑表达式编码。我们如何用这样的编码来增强今天的神经模型?在本文中,我们提出了一种通用的方法来提高归纳偏差的NNLM将简单的功能到一个神经架构,形成一个分层的神经符号语言模型(NSLM)。这些函数显式编码符号确定性关系,以形成单词的概率分布。我们探讨了这种方法在数字和地理位置上的有效性,并表明NSLMs显着减少了小语料库语言建模的困惑,即使在更大的语料库中,罕见的令牌的性能改善仍然存在。这种方法是简单和一般的,我们将讨论如何将其应用于数字和地理以外的其他词类。
2019-12-11 cs.LG stat.ML
Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning
Department of Computer Science and Technology The University of Cambridge(计算机科学与技术系 剑桥大学);Department of Computer Engineering Bogazici University(计算机工程系 boazici大学);SISREC Osaka University(Osaka大学SISREC)
本文提出了一种神经符号学习架构,通过少量演示获取可推广的高级符号技能,并在多级规划中实现复杂任务的执行。
2026-03-01 cs.AI cs.LG cs.RO
On the Maximum Mutual Information Capacity of Neural Architectures
我们推导出封闭形式的表达式的最大互信息-最大值的$I(X;Z)$可通过训练-一个广泛的家庭的神经网络架构。这个量对于机器学习理论和实践的几个分支都是必不可少的。定量地,我们表明,这些家庭的最大互信息都源于一个单一的通用公式。定性,我们表明,最大的互信息的架构是最强烈的影响的最小层的网络的宽度-“信息瓶颈”在不同意义上的短语,并通过任何统计不变性捕获的架构。
2020-06-10 cs.LG stat.ML
Learning neuro-symbolic convergent term rewriting systems
Department One(部门一);Department Two(部门二);Department of Mathematics, University of Padova(帕多瓦大学数学系);Department of General Psychology, University of Padova(帕多瓦大学普通心理学系);Augmented Intelligence Center, Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会增强智能中心)
本文提出受重写算法启发的神经符号框架及 NRS、FastNRS,用于学习收敛项重写系统,并在公式化简和多领域任务中展现强分布外泛化,性能优于强神经基线并追平或超过 o1-preview。
2025-07-25 cs.AI cs.LG
Agentic AI: A Comprehensive Survey of Architectures, Applications, and Future Directions
University of the Basque Country(巴斯克大学);Lebanese International University (LIU)(黎巴嫩国际大学);The International University of Beirut(贝鲁特国际大学);IKERBASQUE
该综述提出双范式框架区分符号/经典与神经/生成两类智能体AI系统,基于90项研究从架构、应用、伦理治理维度展开分析,指出未来需整合两类范式构建鲁棒可信的混合智能系统。
2025-10-29 cs.AI cs.LG
Sparse Autoencoders Are a Shared Coordinate System for Symbolic Matching
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出SAE-IDF方法,利用稀疏自编码器匹配异构符号系统的单元,在12项任务上优于LLM密集基线,为通用符号主干构建奠定基础。
2026-10-15 cs.AI cs.CL cs.LG
Gyan: An Explainable Neuro-Symbolic Language Model
Innospark Ventures & Gyan AI(Innospark Ventures及Gyan AI);Gyan AI Inc.(Gyan AI公司)
Gyan基于非Transformer架构构建,克服了传统大语言模型的局限性,在多个数据集上取得SOTA表现,展示了可信任且可靠的使命关键任务模型潜力。
2026-05-13 cs.AI cs.CL cs.ET