Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures
IBM Research – Zurich(IBM苏黎世研究院);ETH Zurich(苏黎世联邦理工学院)
本研究提出Learn-VRF方法,利用向量符号架构的分布式计算,仅需一次训练遍历即可学习瑞文渐进矩阵的规则公式,参数紧凑且可解释,在分布内与分布外任务上均优于纯连接主义基线。
2024-01-29 cs.AI cs.LG
Do Emotion Concepts Generalize Across Sources, Modalities, and Architectures in Vision-Language Models?
Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学);Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Oulu(奥卢大学);ELLIS Institute Finland(芬兰ELLIS研究所);Brno University of Technology(布尔诺理工大学)
本研究构建CMES数据集,探究情感概念在视觉-语言模型中跨来源、模态和架构的泛化,发现情感表征共享关系结构和因果效应,即使向量方向不同。
2026-09-29 cs.CV cs.LG
Bridge Networks: Relating Inputs through Vector-Symbolic Manipulations
University of California, San Diego(加州大学圣地亚哥分校)
尽管进展迅速,但当前的深度学习方法面临着许多关键挑战。这些因素包括高能耗、灾难性遗忘、对全球损失的依赖,以及无法进行象征性推理。结合信息瓶颈理论和矢量符号体系结构的思想,提出并实现了一种新的信息处理体系结构--“桥网络”。“我们证明,这种架构提供了独特的优势,可以解决全球损失和灾难性遗忘的问题。此外,我们认为,它提供了一个进一步的基础,提高能源效率的执行和象征性的原因的能力。
2021-07-21 cs.AI cs.LG
Residual and Attentional Architectures for Vector-Symbols
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
矢量符号体系结构(VSAs)提供了高度灵活的计算方法,具有独特的优势。VSA中的概念由“符号”表示,符号是利用高维空间的属性来表示和操作信息的长值向量。在这项新工作中,我们将傅立叶全息简化表示(FHRR)VSA框架内提供的操作效率与深度网络的功能相结合,以构建基于VSA的新型残差和基于注意力的神经网络架构。使用注意力FHRR架构,我们证明了相同的网络架构可以通过将不同的信息编码到网络的输入中来解决不同领域(图像分类和分子毒性预测)的问题,类似于感知器模型。这证明了一种新的应用VSA和一个潜在的路径,以实现国家的最先进的神经模型的神经形态硬件。
2022-07-18 cs.LG cs.NE
LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules
Georgia Institute of Technology(佐治亚理工学院)
本文提出LARS-VSA架构,利用超维计算和关系瓶颈策略构建组合式神经符号系统,通过高维注意力机制实现高效抽象规则学习,在多个数据集上达到更优或相当的准确率且效率显著提升。
2024-05-23 cs.AI cs.LG
Towards Vector Optimization on Low-Dimensional Vector Symbolic Architecture
Northeastern University(东北大学);University of California, Riverside(加州大学河滨分校);Cisco Research(思科研究中心)
针对VSA超维与精度问题,本文研究低维LDC的向量优化,揭示稳定自适应动态及BN、KD的关键作用,并通过多基准实验验证性能与可解释性贡献。
2025-03-16 cs.LG
xDeepInt: a hybrid architecture for modeling the vector-wise and bit-wise feature interactions
Credit Karma(Credit Karma公司)
学习特征交互是大规模CTR预测和推荐成功的关键。在实践中,手工特征工程通常需要穷举搜索。为了降低人工在特征工程中的高成本,研究人员提出了几种基于深度神经网络(DNN)的方法来以端到端的方式学习特征交互。然而,现有的方法要么没有同时学习矢量交互和位交互,要么未能以可控的方式将它们组合起来。在本文中,我们提出了一种新的模型xDeepInt,它基于一种称为多项式交互网络(PIN)的新型网络架构,该网络架构可以递归地学习高阶向量交互。通过集成子空间交叉机制,我们使xDeepInt能够以有界顺序平衡矢量和位特征交互的混合。基于网络结构,我们定制了一个组合优化策略进行特征选择和交互选择。我们实现了所提出的模型,并在三个真实世界的数据集上评估了模型的性能。我们的实验结果证明了xDeepInt在最先进的模型上的有效性。我们开源了xDeepInt的TensorFlow实现:https://github.com/yanyachen/xDeepInt。
2023-01-03 cs.AI cs.IR cs.LG
Q-Networks for Binary Vector Actions
Tohoku University(东北大学)
研究了二进制向量作用的强化学习。我们提出了一个有效的架构的神经网络近似的行动价值函数与二进制向量行动。所提出的架构近似的动作价值函数的线性函数的动作向量,但仍然是非线性的状态输入。我们表明,这种近似方法可以有效地计算贪婪动作选择和softmax动作选择。使用这种架构,我们提出了一个在线算法的基础上Q学习。在网格世界和阻断器任务的实证结果表明,我们的近似架构将是有效的RL问题与大型离散的行动集。
2015-12-04 cs.LG cs.NE
Capacity Analysis of Vector Symbolic Architectures
IBM Research(IBM研究院);University of California, Berkeley(加州大学伯克利分校)
超维计算(Hyperdimensional Computing,HDC)是一种生物学启发的框架,它用高维向量表示符号,并使用向量操作来操纵它们。一个特定的向量空间和一组规定的向量运算(包括一个用于“捆绑”的加法和一个用于“绑定”的外积)的集合形成了一个 * 向量符号体系结构 *(VSA)。虽然VSAs已被用于许多应用中,并已进行了实证研究,许多关于VSAs的理论问题仍然是开放的。我们分析了四种常见的VSA:MAP-I,MAP-B和两种基于稀疏二进制向量的VSA的 * 表示能力 *。这里的“表示能力”指的是执行某些符号任务所需的VSA向量的维度上的界限,所述符号任务诸如测试集合成员资格$i \in S$和以给定的准确度估计两个符号集合$X$和$Y$的集合交集大小$|X \cap Y|$。我们还分析了Hopfield网络(一种简单的联想记忆模型)的一种新变体执行一些通常要求VSA的相同任务的能力。除了提供新的VSA能力的界限,我们的分析建立和利用VSA之间的连接,“草图”(降维)算法,和布隆过滤器。
2023-02-14 cs.DS cs.LG
Developing a Foundation of Vector Symbolic Architectures Using Category Theory
Cheriton School of Computer Science University of Waterloo(滑铁卢大学切尔顿计算机科学学院);Centre for Theoretical Neuroscience Systems Design Engineering University of Waterloo(滑铁卢大学理论神经科学中心系统设计工程学院);Department of Psychology University of Waterloo(滑铁卢大学心理学系)
本文首次将范畴论应用于向量符号架构,将向量推广为余预层,并把 VSA 操作形式化为外部张量积的右 Kan 扩展,通过示例验证了该形式化并为 VSA 新设计提供思路。
2025-05-02 cs.AI cs.LG
VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture
National Taiwan University(台湾大学)
语音转换(VC)是将音频中源说话人的音色、口音和音调转换为另一个人的音色、口音和音调,同时保留语言内容的任务。这仍然是一个具有挑战性的工作,特别是在一个单一的设置。基于自动编码器的VC方法在不给出说话人身份的情况下将说话人和输入语音中的内容分离,因此这些方法可以进一步推广到看不见的说话人。解缠能力是通过矢量量化(VQ)、对抗训练或实例归一化(IN)来实现的。然而,不完美的解纠缠可能会损害输出语音的质量。在这项工作中,为了进一步提高音频质量,我们在基于自动编码器的VC系统中使用U-Net架构。我们发现,利用U-Net架构,强大的信息瓶颈是必要的。基于矢量量化的方法,量化的潜在向量,可以达到这个目的。客观和主观评价表明,该方法在音频自然度和说话人相似度方面都有较好的表现。
2020-06-07 cs.LG cs.SD eess.AS
Homogeneous Vector Capsules Enable Adaptive Gradient Descent in Convolutional Neural Networks
Brunel University London(伦敦布鲁内尔大学);Bradley University(布拉德利大学)
胶囊是Geoffrey Hinton给向量值神经元起的名字。传统上,神经网络为激活的神经元产生标量值。另一方面,胶囊产生一个值的向量,Hinton认为这对应于一个单一的复合特征,其中向量分量的值表示特征的属性,如变换或对比度。我们提出了一种参数化和训练胶囊的新方法,我们称之为同质向量胶囊(HVC)。我们通过实验证明,与使用单个最终完全连接层的CNN相比,改变卷积神经网络(CNN)以使用HVC可以实现更高的分类准确性,而不会增加其架构中的参数或操作数量。此外,HVC的引入使得能够使用自适应梯度下降,减少了模型的可实现精度对非自适应优化器的微调超参数的依赖性。我们证明了我们的方法和结果,使用两个神经网络架构。首先,一个非常简单的单片CNN,当使用HVC时,与基线架构相比,前1分类准确度提高了63%,前5分类准确度提高了35%。其次,使用称为Inception v3的CNN架构,在有和没有HVC的情况下都实现了类似的准确性。此外,当使用HVC时,简单的单片CNN在超过300个时期后没有显示过拟合,而基线在30个时期后显示过拟合。我们使用ImageNet ILSVRC 2012分类挑战数据集与两个网络。
2021-01-27 cs.CV cs.LG
A Survey on Hyperdimensional Computing aka Vector Symbolic Architectures, Part I: Models and Data Transformations
University of California, Berkeley(加州大学伯克利分校);Research Institutes of Sweden(瑞典研究所);International Research and Training Center for Information Technologies and Systems(国际信息技术与系统研究培训中心);Luleå University of Technology(吕勒奥理工大学);IBM Research(IBM研究院)
本综述第一部分全面介绍了超维度计算与向量符号架构(HDC/VSA)框架,重点调查了其已知的计算模型以及各种输入数据类型到高维分布式表示的变换。
2023-07-31 cs.AI cs.LG
Fast Jacobian-Vector Product for Deep Networks
Rice University(莱斯大学)
雅可比向量积(JVP)构成了深度网络(DN)中许多最新发展的支柱,其应用包括更快的约束优化,具有泛化保证的正则化以及对抗性示例敏感性评估。不幸的是,JVP对于真实世界的DN架构来说在计算上是昂贵的,并且需要使用自动微分来避免在改变DN架构时手动地适配JVP程序。我们提出了一种新的方法来快速计算任何DN的JVP,该DN采用连续分段仿射(例如,leaky-ReLU、max-pooling、maxout等)非线性我们表明,我们的技术是平均$2\times$速度比最快的替代$13$ DN架构和各种硬件。此外,我们的解决方案不需要自动微分,因此易于在软件中部署,只需要修改几行不依赖于DN架构的代码。
2021-04-01 cs.LG
Vector Field Based Neural Networks
Universidade Federal do Rio de Janeiro (UFRJ)(里约热内卢联邦大学)
提出了一种新的神经网络结构,它利用向量场作为隐含层的数学和物理上丰富的思想来执行数据中的非线性变换。数据点被解释为沿着由向量场定义的流移动的粒子,该向量场直观地表示期望的移动以实现分类。该架构将数据点从其原始配置移动到遵循向量场的流线的新配置,目的是实现类可分离的最终配置。通过梯度下降来学习该向量场,从而解决优化问题。
2018-02-22 cs.AI cs.LG stat.ML
Hierarchical growing grid networks for skeleton based action recognition
University of Lund(隆德大学);University of Linköping(林雪平大学)
本文提出了一种新的动作识别认知结构,该结构采用多层生长网格神经网络,使系统能够自动安排其表征结构。除了在生长阶段扩展神经映射之外,系统还具有输入空间的先验知识,这提高了学习阶段的处理速度。除了两层生长网格网络外,该体系结构还包括预处理层、有序向量表示层和单层监督神经网络。这些层旨在解决动作识别问题。第一层增长网格接收人类动作的输入数据,神经映射通过连接训练映射的诱发激活来生成表示每个动作序列的动作模式向量。然后将模式向量发送到有序向量表示层,以构建用于第二层生长网格的键激活的时不变输入向量。第二层生长网格将输入向量分类为相应的动作聚类/子聚类,最后单层监督神经网络用动作标签标记成形的聚类。使用不同的动作数据集的三个实验表明,该系统能够快速有效地学习分类的动作。增长的网格架构的性能与基于自组织映射的系统的结果一致,表明增长的网格架构在动作识别任务上表现出显着的优越性。
2021-04-22 cs.AI cs.CV cs.LG
Torchhd: An Open Source Python Library to Support Research on Hyperdimensional Computing and Vector Symbolic Architectures
University of California, Irvine(加州大学欧文分校);Research Institutes of Sweden(瑞典研究院)
本文介绍了Torchhd,一个基于PyTorch构建的高性能开源Python库,旨在降低超维度计算(HD)与向量符号架构(VSA)的使用门槛,为相关研究提供高效基础,其实验运行速度比现有公开代码快100倍。
2023-07-21 cs.LG
FlashAttention for Scalable Vector Architectures
Chalmers University of Technology(查尔姆斯理工大学);University of Glasgow(格拉斯哥大学)
本文提出面向可扩展向量架构的FlashAttention-V,将其集成到ggml并在多模型与平台上评估,该方法在预填充、解码阶段均实现显著加速,但Q8_0量化线性层的结构性瓶颈制约了长向量可扩展性。
2026-08-20 cs.LG cs.PF
Scheduled Knowledge Acquisition on Lightweight Vector Symbolic Architectures for Brain-Computer Interfaces
UC Riverside(加州大学河滨分校);Northeastern University(东北大学)
本文提出一种基于课程数据顺序和 $α$ 调度器的调度式知识蒸馏方法,采用LDC/VSA作为学生模型,提升了微型BCI设备在准确率与硬件效率间的权衡。
2024-03-18 cs.AI cs.LG
Autonomous Learning with High-Dimensional Computing Architecture Similar to von Neumann's
Redwood Center for Theoretical Neuroscience University of California at Berkeley(红木中心理论神经科学研究所 加州大学伯克利分校)
本文提出了一种基于高维向量的计算架构,旨在模拟人类和动物的学习过程,结合心理学、生物学和传统计算,探索更高效、低能耗的计算方法。
2026-02-21 cs.LG
EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture
Duke University(杜克大学)
针对大语言模型解码阶段内存瓶颈和计算利用率低的问题,提出EVA架构,将GEMV计算转化为GEMM并消除内存冲突,实现最高11.17倍加速和7.17倍能效提升。
2026-05-22 cs.AR cs.LG
Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement
Georgia Institute of Technology(佐治亚理工学院);University of Enna(恩纳大学);Tencent Corporation(腾讯公司)
本文研究了不同的权衡模型参数的数量和增强的语音质量之间采用几个深度张量到矢量回归模型的语音增强。我们发现,一个混合架构,即CNN-TT,是能够保持一个良好的质量性能与减少模型参数的大小。CNN-TT由底部的几个卷积层组成,用于特征提取以提高语音质量,顶部的张量训练(TT)输出层用于减少模型参数。我们首先推导出一个新的上界的卷积神经网络(CNN)的基于向量到向量回归模型的泛化能力。然后,我们在爱丁堡噪声语音语料库上提供实验证据,证明在单通道语音增强中,CNN以较小的模型大小增量为代价优于DNN。此外,CNN-TT仅利用了CNN模型参数的32%,略优于CNN。此外,如果将CNN-TT参数的数目增加到CNN模型大小的44%,则可以进一步提高性能。最后,我们的多通道语音增强的模拟噪声WSJ 0语料库上的实验表明,我们提出的混合CNN-TT架构取得了更好的效果比DNN和CNN模型在更好的增强语音质量和更小的参数大小。
2020-08-03 cs.CL cs.LG cs.NE
Efficient Decoupled Neural Architecture Search by Structure and Operation Sampling
Hana Institute of Technology, Hana TI(韩亚TI韩亚技术研究院);Seoul National University(首尔国立大学)
提出了一种新的基于强化学习的神经网络结构搜索算法,通过解耦结构搜索和操作搜索过程。我们的方法样本的候选模型从多项分布的政策向量上定义的两个独立的搜索空间。与基于RNN控制器的强化学习的传统方法相比,所提出的技术显著提高了架构搜索过程的效率,同时在目标任务中实现了具有竞争力的精度和模型大小。我们的策略向量在整个训练过程中都很容易解释,这允许分析搜索进度和发现的架构; RNN控制器的黑盒特性阻碍了对策略参数更新方面的训练进度的理解。我们的实验证明了出色的性能相比,国家的最先进的方法与搜索成本的一小部分。
2019-10-23 cs.CV cs.LG stat.ML
hdlib 2.0: Extending Machine Learning Capabilities of Vector-Symbolic Architectures
Cleveland Clinic(克利夫兰诊所);Ohio State University(俄亥俄州立大学);Case Western Reserve University(凯斯西储大学)
hdlib 2.0通过引入监督分类、回归、聚类和图学习模型,以及量子超维计算,扩展了向量符号架构的机器学习能力。
2026-01-05 cs.LG
Time2Vec: Learning a Vector Representation of Time
Borealis AI(Borealis人工智能研究院)
在许多涉及同步和/或异步发生的事件的应用程序中,时间是一个重要的特征。为了有效地消耗时间信息,最近的研究集中在设计新的体系结构。在本文中,我们采取了一种正交但互补的方法,提供了一种与模型无关的时间向量表示,称为Time 2 Vec,可以很容易地导入到许多现有和未来的架构,并提高其性能。我们展示了一系列模型和问题,用Time 2 Vec表示替换时间的概念可以提高最终模型的性能。
2019-07-11 cs.LG
Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures
University of Trento(特伦托大学);Ipazia S.p.A.(Ipazia公司);Fondazione Bruno Kessler (FBK)(布鲁诺·凯塞勒基金会)
研究旨在解码大语言模型表示,提出超维探针,结合符号表示与神经探测,利用向量符号架构和超向量代数统一先前方法,能深入提取输入特征并支持输出分析,实验表明其可在多场景提取语义信息,推进了语义理解。
2026-10-22 cs.AI cs.CL cs.LG
Geometric Priors for Generalizable World Models via Vector Symbolic Architecture
University of California Irvine(加州大学伊文斯分校);University of California San Diego(加州大学圣地亚哥分校)
本文提出基于向量符号架构的几何先验方法,通过学习复数空间的群结构,实现高效且可解释的世界模型,提升多步组合和泛化能力。
2026-02-25 cs.LG
Learned-SBL: A Deep Learning Architecture for Sparse Signal Recovery
在本文中,我们提出了一个计算效率的稀疏信号恢复方案,使用深度神经网络(DNN)。引入的神经网络的架构灵感来自稀疏贝叶斯学习(SBL),并命名为学习SBL(L-SBL)。根据训练数据的性质,我们设计了一个通用的架构来从单个测量向量(SMV)或多个测量向量(MMV)中恢复稀疏向量以及块稀疏向量。在MMV模型中,可以训练L-SBL网络来学习向量之间的任何潜在稀疏模式,包括联合稀疏、块稀疏等。特别是,对于块稀疏恢复,学习SBL不需要块边界的任何先验知识。在L-SBL的每一层中,获得信号协方差矩阵的估计作为神经网络的输出。然后,最大后验概率(MAP)估计的未知稀疏向量的实现与不可训练的参数。在许多应用中,测量矩阵可以是时变的。现有的基于DNN的稀疏信号恢复方案需要使用当前测量矩阵对神经网络进行再训练。L-SBL的架构允许它接受测量矩阵作为网络的输入,从而避免了重新训练的需要。我们还评估了学习SBL在使用多输入多输出(MIMO)雷达检测扩展目标的性能。仿真结果表明,该方法提供了优越的稀疏恢复性能相比,国家的最先进的方法。
2019-09-17 cs.IT cs.LG eess.SP
Teaching GANs to Sketch in Vector Format
Sri Sathya Sai Institute of Higher Learning(斯里·萨提亚·赛高等教育学院);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
对于人类认知来说,素描比言语更重要。深度神经网络(DNN)在语音相关任务方面已经达到了最先进的水平,但在生成基于笔划的草图(也称为矢量格式的草图)方面还没有取得重大进展。虽然有可变自动编码器(VAE)用于生成矢量格式的草图,但没有生成对抗网络(GAN)架构。在本文中,我们提出了一个独立的GAN架构Ske GAN和一个VAE-GAN架构VASke GAN,用于矢量格式的草图生成。SkeGAN是强化学习(RL)中的一种随机策略,能够生成多维连续和离散输出。VASkeGAN混合了VAE和GAN,以便将VAE对数据的有效表示与GAN的强大生成能力相结合,以产生视觉上吸引人的草图。我们还提出了一个新的度量称为Ske分数量化矢量草图的质量。我们已经验证了SkeGAN和VASkeGAN通过使用人类图灵测试和Ske-score生成视觉上吸引人的草图。
2019-04-07 cs.GR cs.LG stat.ML
An Architecture Combining Convolutional Neural Network (CNN) and Support Vector Machine (SVM) for Image Classification
卷积神经网络(CNN)类似于“普通”神经网络,因为它们由具有“可学习”参数的神经元组成的隐藏层组成。这些神经元接收输入,执行点积,然后以非线性跟随它。整个网络表达了原始图像像素与其类得分之间的映射。通常,Softmax函数是在该网络的最后一层使用的分类器。然而,已经有研究(Alalshekmusic和Smith,2013; Agarap,2017; Tang,2013)对这一规范提出了挑战。所引用的研究介绍了在人工神经网络架构中使用线性支持向量机(SVM)。这个项目是对这个主题的又一次尝试,灵感来自(Tang,2013)。经验数据表明,使用MNIST数据集,CNN-SVM模型能够实现约99.04%的测试准确度(LeCun,Cortes和Burges,2010)。另一方面,CNN-Softmax能够使用相同的数据集实现约99.23%的测试准确度。这两个模型也在最近发布的Fashion-MNIST数据集上进行了测试(Xiao,Rasul和Vollliant,2017),这被认为是比MNIST更难的图像分类数据集(Zalandoresearch,2017)。事实证明,CNN-SVM的测试准确率达到了~ 90.72%,而CNN-Softmax的测试准确率达到了~ 91.86%。如果在数据集上采用数据预处理技术,并且如果基础CNN模型比本研究中使用的模型相对更复杂,则所述结果可能会得到改善。
2019-02-07 cs.CV cs.LG cs.NE
Vector Field Neural Networks
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学);Instituto Tércio Pacitti de Aplicações e Pesquisas Computacionais(特尔西奥·帕奇蒂计算机应用与研究所)
这项工作开始于建立一个数学形式化之间的不同几何解释的神经网络,提供了第一个贡献。从这个出发点,探索一种新的解释,使用隐式矢量场的想法移动数据作为粒子流。在此基础上提出了一种新的结构--向量场神经网络(VFNN),使向量场变得显式。一个具体的实施VFNN使用欧拉的方法来解决常微分方程(ODE)和高斯向量场进行测试。第一个实验呈现视觉结果,重新标记的新架构的重要功能,并提供另一个贡献与几何解释的正则化模型参数。然后,针对不同的超参数和输入对新架构进行评估,目的是评估对模型性能、计算时间和复杂度的影响。VFNN模型与已知的基本模型朴素贝叶斯,前馈神经网络,和支持向量机(SVM)进行比较,显示出可比的,或更好的,不同的数据集的结果。最后,本文的结论为模型的改进提出了新的问题和思路,可用于提高模型的性能。
2019-05-16 cs.LG stat.ML
Sobol Sequence Optimization for Hardware-Efficient Vector Symbolic Architectures
School of Computing and Informatics, University of Louisiana at Lafayette(路易斯安那大学拉斐特分校计算与信息学院)
本文提出利用Sobol序列优化超向量生成,以提升超维计算系统的编码质量,在语言和标题分类任务中实现高达10.79%的准确率提升,并降低能耗和面积延迟乘积。
2023-11-17 cs.ET cs.LG
SO(3)-Equivariant Neural Networks for Learning from Scalar and Vector Fields on Spheres
Department of Mathematics, University of Bergen(卑尔根大学数学系);Department of Informatics, University of Bergen(卑尔根大学信息学系)
本文提出一种无需限制卷积核和非线性的深度学习架构,用于处理球面上的标量和向量场,通过等价信号在三维旋转群中的描述,实验显示其优于标准CNN并可与sCNN匹敌。
2026-03-31 cs.LG
Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures
本文提出全息不变存储协议,通过整合双极向量符号架构的特性,为LLM上下文漂移缓解提供设计时的安全合同,提供三种可预估的保障,提升系统工程师在设计阶段的恢复保真度和代码本容量预算能力。
2026-08-26 cs.CL cs.IT cs.LG
Learning from Protein Structure with Geometric Vector Perceptrons
Stanford University(斯坦福大学)
大型生物分子的3D结构学习正在成为机器学习的一个独特领域,但尚未出现一个统一的网络架构,同时利用问题域的图形结构和几何方面。为了解决这一差距,我们引入几何矢量感知器,它扩展了标准的密集层,以操作欧几里德向量的集合。图神经网络配备了这样的层能够执行几何和关系推理的高分子结构的有效和自然的表示。我们展示了我们的方法上的两个重要问题,从蛋白质结构学习:模型质量评估和计算蛋白质设计。我们的方法改进了现有的架构类,包括最先进的基于图形和基于体素的方法。我们在https://github.com/drorlab/gvp上发布代码。
2021-05-16 cs.LG q-bio.BM stat.ML
Stochastic Deep Networks
DMA, ENS(高等师范学校应用数学与计算机科学系);CNRS DMA, ENS(法国国家科学研究中心高等师范学校应用数学与计算机科学系);Google Brain(谷歌大脑);CREST ENSAE(法国国家统计与经济管理学院应用经济研究中心)
机器学习越来越多地针对输入数据无法通过单个向量准确描述的领域,但可以使用更灵活的随机向量概念进行建模,即概率测度或更简单的变化基数的点云。然而,在度量上使用深度架构会带来许多具有挑战性的问题。事实上,深度架构最初被设计为处理固定长度的向量,或者使用递归机制来处理其有序序列。与此形成鲜明对比的是,测度描述了不同数量的加权观测,没有特定的顺序。在这项工作中,我们提出了一个深层次的框架,旨在处理措施的关键方面,即排列不变性,变化的权重和基数。从这个管道衍生的架构可以(i)使用推进算子的概念将度量映射到度量;(ii)通过集成步骤弥合度量和欧几里得空间之间的差距。这允许设计判别网络(对输入度量进行分类或降维)、生成架构(合成度量)和递归管道(预测度量动态)。我们提供了这些积木的理论分析,审查我们的架构的逼近能力和鲁棒性w.r.t.扰动,并尝试他们对各种歧视和生成的任务。
2019-02-20 cs.LG stat.ML
A Discussion on Parallelization Schemes for Stochastic Vector Quantization Algorithms
Telecom ParisTech(巴黎高等电信学院);Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学(巴黎第六大学));Lokad(洛卡德公司);Université Paris I Panthéon-Sorbonne(巴黎第一大学(先贤祠-索邦大学))
本文研究了随机矢量量化算法的并行化方案,以利用分布式资源获得时间加速。我们发现,最直观的并行化方案并没有导致更好的性能比顺序算法。因此,另一个分布式计划,获得预期的加速。然后,它被改进,以适应分布式体系结构的通信速度慢,机器间的同步成本太高。该计划进行了测试,模拟分布式架构,并为最后一个,与Microsoft Windows Azure平台获得加速到32个虚拟机。
2012-05-10 cs.DC cs.LG stat.ML
Reliability-Aware Deployment of DNNs on In-Memory Analog Computing Architectures
University of South Carolina(南卡罗来纳大学)
传统的存内计算(IMC)架构由用于加速矩阵向量乘法(MVM)的模拟忆阻交叉开关和用于实现深度神经网络(DNN)中的非线性向量(NLV)运算的数字功能单元组成。然而,这些设计需要高耗能的信号转换单元,其可以消耗系统总功率的95%以上。另一方面,内存模拟计算(IMAC)电路通过在模拟域中实现MVM和NLV操作,消除了对信号转换器的需要,从而显著节省了能源。然而,它们更容易受到诸如互连寄生和噪声等可靠性挑战的影响。在这里,我们介绍了一种实用的方法,将DNN中的大型矩阵部署到多个较小的IMAC子阵列上,以减轻噪声和寄生效应的影响,同时将计算保持在模拟域中。
2022-10-02 cs.AR cs.ET cs.LG