Vector Field Based Neural Networks
Universidade Federal do Rio de Janeiro (UFRJ)(里约热内卢联邦大学)
提出了一种新的神经网络结构,它利用向量场作为隐含层的数学和物理上丰富的思想来执行数据中的非线性变换。数据点被解释为沿着由向量场定义的流移动的粒子,该向量场直观地表示期望的移动以实现分类。该架构将数据点从其原始配置移动到遵循向量场的流线的新配置,目的是实现类可分离的最终配置。通过梯度下降来学习该向量场,从而解决优化问题。
2018-02-22 cs.AI cs.LG stat.ML
On Neural Quantum Support Vector Machines
Bundesdruckerei GmbH(联邦印刷有限公司)
本文引入了带有量子核的神经量子支持向量机,并将先前提出的四种神经支持向量机训练算法的可行性与结果扩展至该量子设定。
2023-11-24 cs.LG quant-ph
Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学)
本文提出向量值神经网络框架 V-nets,通过自然建模特征通道间相关性减少参数并提升训练稳健性,并阐明其与传统实值网络及超复值网络的关系和实现方法。
2024-08-01 cs.LG cs.NE
Forecasting, Causality, and Impulse Response with Neural Vector Autoregressions
Thinking Machines Data Science(Thinking Machines数据科学公司)
消除非线性对于预测动态系统的未来状态、其对冲击的响应及其潜在的因果网络至关重要。然而,大多数现有的因果关系检测和脉冲响应的方法,如向量自回归(VAR),假设线性,因此无法捕捉的复杂性。在这里,我们介绍了一个矢量自编码器非线性自回归神经网络(VANAR)能够自动时间序列特征提取其输入和功能形式估计。我们从三个方面评估VANAR:第一,纯粹的预测准确性;第二,检测变量之间的正确因果关系;最后,我们在脉冲响应方面对外部冲击下的轨迹进行建模。这些测试是在一个模拟的非线性混沌系统和一个使用菲律宾宏观经济数据的经验系统上进行的。结果表明,VANAR在预测和因果关系检验中显著优于VAR。VANAR具有始终如一的优越精度,甚至超过了最先进的模型,如SARIMA和TBATS。对于脉冲响应测试,两种模型都不能预测非线性混沌系统的冲击轨迹。VANAR具有强大的能力来模拟各种动态,从混沌,高噪声和低数据环境到宏观经济系统。
2019-10-07 cs.LG stat.ML
Tensorial Recurrent Neural Networks for Longitudinal Data Analysis
The University of Sydney(悉尼大学)
传统的循环神经网络假设向量化数据作为输入。然而,现代科学技术中的许多数据都是以特定的结构出现的,例如张量时间序列数据。为了将循环神经网络应用于这种类型的数据,矢量化过程是必要的,而这种矢量化导致空间或纵向维度的精确信息的丢失。此外,这样的矢量化数据不是用于学习纵向数据的表示的最佳解决方案。在本文中,我们提出了一种新的变形张量神经网络,直接采取张量时间序列数据作为输入。我们称这种新的变体为张量递归神经网络(TRNN)。所提出的TRNN是基于张量Tucker分解。
2017-08-01 cs.CV cs.LG stat.ML
Enhanced Expressive Power and Fast Training of Neural Networks by Random Projections
随机投影能够有效地对具有非线性低维结构的数据集进行降维。一个众所周知的例子是随机矩阵将稀疏向量近似等距地嵌入到低维子空间中,称为压缩感知中的受限等距属性。在本文中,我们探索了随机投影在深度神经网络中的一些应用。当输入数据是稀疏向量或形成低维光滑流形时,我们提供了全连接神经网络的表达能力。我们证明了近似Lipschitz函数所需的神经元的数量与规定的精度取决于稀疏性或流形的维数和弱输入向量的维数。我们证明的关键是随机投影将稀疏向量集或低维光滑流形稳定地嵌入到低维子空间中。在此基础上,我们还提出了一些新的神经网络模型,其中每一层的输入首先通过随机投影到一个低维子空间上,然后应用标准的线性连接和非线性激活。以这种方式,神经网络中的参数数量显著减少,并且因此神经网络的训练可以在没有太多性能损失的情况下加速。
2019-01-10 cs.LG stat.ML
Homogeneous vector bundles and $G$-equivariant convolutional neural networks
Chalmers University of Technology(查尔姆斯理工大学)
$G$ -等变卷积神经网络(GCNN)是一种几何深度学习模型,用于在均匀$G$ -空间$\mathcal{M}$上定义的数据。GCNN被设计为尊重$\mathcal{M}$中的全局对称性,从而促进学习。本文在单模李群$G$和紧子群$K \leq G$的情况下,分析了齐性空间$\mathcal{M} = G/K$上的广义卷积神经网络.我们证明了齐次向量丛是GCNN的自然设置。我们还使用再生核希尔伯特空间,以获得一个精确的标准表示$G$ -等变层卷积层。然后将此标准重新表述为带宽标准,从而对某些组产生更强的结果。
2021-05-12 cs.LG math.RT stat.ML
Neural Vector Conceptualization for Word Vector Space Interpretation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
分布式词向量空间被认为是难以解释的,这阻碍了对自然语言处理(NLP)模型的理解。在这项工作中,我们介绍了一种新的方法来解释任意样本从一个词向量空间。为此,我们训练一个神经模型来概念化词向量,这意味着它激活它在给定向量中识别的高阶概念。与之前的方法相反,我们的模型在原始向量空间中运行,并且能够学习词向量和概念之间的非线性关系。此外,我们表明,它产生的熵概念激活配置文件比流行的余弦相似性少得多。
2019-04-02 cs.CL cs.LG
Independent Vector Analysis with Deep Neural Network Source Priors
GMEMS Technologies, Inc.(GMEMS技术有限公司)
本文研究了独立向量分析(IVA)的密度先验,并以卷积语音混合分离为例进行了应用。大多数现有的IVA源先验过于简化,无法捕捉语音的精细结构。在这里,我们第一次表明,通过优化某些代理分离相关的性能指标,可以有效地估计具有通用近似器(如深度神经网络(DNN))的语音密度的导数。实验结果表明,所得到的神经网络密度先验一致优于以前的在线实施和信号干扰比(SIR)的收敛速度批实施。
2020-10-06 cs.LG cs.SD eess.AS
Improving Accuracy of Nonparametric Transfer Learning via Vector Segmentation
IMT Atlantique(IMT大西洋高等电信学院);University of Münster(明斯特大学);Université de Brest(布雷斯特大学)
使用深度神经网络作为特征提取器的迁移学习在过去几年中变得越来越流行。它允许在太小而无法自行训练深度神经网络的数据集上获得最先进的精度,并且它提供了最先进的描述符,与非参数学习方法相结合,允许在计算受限的设置中快速灵活地部署执行解决方案。在本文中,我们有兴趣展示使用深度神经网络提取的特征具有特定的属性,可以用于提高下游非参数学习方法的准确性。也就是说,我们证明,对于一些分布的信息嵌入在几个坐标,分割特征向量可以导致更好的准确性。我们通过使用三个主流的深度神经网络特征提取器和四个数据库在视觉和音频中进行实验,展示了如何将该模型应用于真实数据集。
2017-10-24 cs.LG stat.ML
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值,并找出它们是否相同。可以用来解决这个问题的四种算法是:遗传回归神经网络(GRNNs),径向基函数(RBF)神经网络(RBFNNs),支持向量机(SVMs)和前馈神经网络(FFNNs)。
2019-11-16 cs.LG cs.NE cs.SY
$\mathcal{G}$-SGD: Optimizing ReLU Neural Networks in its Positively Scale-Invariant Space
Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学)
众所周知,具有整流线性单元(ReLU)激活函数的神经网络是正尺度不变的。传统的算法,如随机梯度下降优化神经网络在向量空间的权重,这是,然而,不是积极的规模不变。这种不匹配可能导致优化过程中出现问题。那么,一个自然的问题是:\emph{can we construct a new vector space that is positively scale-invariant and sufficient to represent ReLU neural networks so as to better facilitate the optimization process }?在本文中,我们提供了我们的肯定回答这个问题。首先,我们对正标度算子进行了形式化的研究,这些正标度算子形成了一个变换群,记为$\mathcal{G}$。我们证明了神经网络中路径的值(即沿着路径的权值的乘积)对正标度是不变的,并证明了所有路径的值向量在温和的条件下足以表示神经网络.其次,我们证明了在正标度群下,可以从所有的路中识别出一些基路,并证明了它们的值向量的线性跨度(记为$\mathcal{G}$ -空间)是一个低维不变空间.最后,我们设计了$\mathcal{G}$ -空间中的随机梯度下降算法(简称$\mathcal{G}$ -SGD),利用反向传播技术,以较小的额外代价优化神经网络的基路径值向量。我们的实…
2021-03-23 cs.LG stat.ML
Backpropagation with N-D Vector-Valued Neurons Using Arbitrary Bilinear Products
向量值神经学习是近年来深度学习研究的一个重要方向。传统上,神经网络(NN)的训练数据被公式化为标量向量;然而,由于相邻标量之间的关联没有建模,因此其性能可能不是最佳的。在本文中,我们提出了一种新的向量神经网络架构称为任意双线性积神经网络(ABIPNN),它处理信息作为每个神经元的向量,并使用任意双线性积定义前馈投影。这样的双线性积可以包括循环卷积、七维向量积、斜循环卷积、逆时循环卷积或在先前工作中未见到的其他新积。作为概念验证,我们将我们提出的网络应用于多光谱图像去噪和歌声分离。实验结果表明,ABIPNN与传统NN相比,获得了实质性的改进,这表明关联是在训练过程中学习的。
2018-05-24 cs.CV cs.LG stat.ML
Learning Sampling in Financial Statement Audits using Vector Quantised Autoencoder Neural Networks
University of St. Gallen(圣加仑大学);Deutsche Bundesbank(德意志联邦银行);PricewaterhouseCoopers GmbH WPG(普华永道会计师事务所)
审计财务报表的目的是合理保证已发布的报表不存在“真实和公平的列报”重大误报。国际审计标准要求对报表中与会计相关的交易进行评估,即“日记账分录”,以发现潜在的错报。为了有效地审计越来越多的此类条目,审计员定期进行基于样本的评估,称为“审计抽样”。然而,审计抽样的任务往往在整个审计过程的早期进行。通常是在一个阶段,在这个阶段,审计员可能不知道导致审计范围内的日记账条目的所有生成因素及其动态。为了克服这一挑战,我们提出了矢量量化-变分自编码器(VQ-VAE)神经网络的应用。我们证明,基于两个现实世界的城市支付数据集,这种人工神经网络能够学习会计数据的量化表示。我们发现,学习量化揭示(一)潜在的变化因素,(二)可以作为一个高度代表性的审计样本,在财务报表审计。
2020-08-06 cs.LG stat.ML
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Instituto de Pesquisa Eldorado(埃尔多拉多研究所)
本文引入非退化代数概念,将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Algorithms for the Training of Neural Support Vector Machines
Bundesdruckerei GmbH(联邦印刷有限公司)
针对可融入领域知识的 NSVM,本文提出一组基于 Pegasos 的训练算法,并在标准机器学习任务上完成概念验证。
2023-08-14 cs.AI cs.LG
Neural i-vectors
University of Eastern Finland(东芬兰大学);NEC Corporation(日本电气股份有限公司)
在最近的说话人验证评估中,深度说话人嵌入已被证明优于其生成对应物i向量。为了结合高性能和生成解释的优点,我们连续研究了深度嵌入提取器和i向量提取器的使用。为了将深度嵌入提取器与i向量提取器捆绑在一起,我们采用了受高斯混合模型(GMM)启发的聚合层来嵌入提取器网络。包含GMM类层允许区分训练的网络用作i向量提取器的足够统计数据的提供者,以提取我们称为神经i向量的内容。我们将深度嵌入与野生扬声器(SITW)和说话人识别评估(SRE)2018和2019数据集上的拟议神经i向量进行了比较。在SITW的核心-核心条件下,我们的深度嵌入获得了与最先进的性能相当的性能。神经i向量的性能比深度嵌入差约50%,但另一方面,明显优于文献中报道的先前i向量方法。
2020-04-18 cs.LG eess.AS
Predicting Blossom Date of Cherry Tree With Support Vector Machine and Recurrent Neural Network
我们的项目探讨了温度和樱花开花日期之间的关系。通过建模,未来的开花将变得可预测,帮助公众计划旅行并避免花粉季节。为了准确预测樱花的开花日期,可以被视为一个多类分类问题,所以我们应用多类支持向量分类器(SVC)和循环神经网络(RNN),特别是长短期记忆(LSTM),制定问题。最后,我们评估和比较这些方法的性能,找出哪一个可能更适用于现实。
2022-10-10 cs.LG
Enhancing Multi-Class Classification of Random Forest using Random Vector Functional Neural Network and Oblique Decision Surfaces
School of Electrical and Electronic Engineering Nanyang Technological University(南洋理工大学电气与电子工程学院)
神经网络和决策树都是流行的机器学习方法,并被广泛用于解决来自不同领域的问题。这两个分类器是集成框架中常用的基分类器。本文首先在线性分类器的基础上提出了一种新的斜决策树,然后将快速神经网络、随机向量函数连接网络和斜决策树相融合,构造了一种集成分类器。随机向量函数链接网络具有优雅的封闭形式解决方案,训练时间极短。神经网络在根级别将每个训练袋(使用装袋获得)划分为C个子集,其中C是数据集中的类的数量,并且随后,在这样的划分上训练C个倾斜决策树。所提出的方法提供了一个丰富的洞察数据分组的混乱或难以分类的样本为每个类,从而提供了一个机会,采用细粒度的分类规则的数据。集成分类器的性能进行了评估,在几个多类数据集,它表现出优越的性能相比,其他国家的最先进的分类器。
2018-02-05 cs.CV cs.LG stat.ML
Hardware/Software Codesign for Training/Testing Multiple Neural Networks on Multiple FPGAs
大多数用于FPGA的神经网络设计是不灵活的。在本文中,我们提出了一个灵活的VHDL结构,将允许任何神经网络在多个FPGA上实现。此外,VHDL结构允许测试以及训练多个神经网络。VHDL设计由多个处理器组组成。有两种类型的处理器组:迷你向量机处理器组和激活处理器组。每个处理器组由单独的迷你向量机和激活处理器组成。迷你向量机将向量运算应用于数据,而激活处理器将激活函数应用于数据。实现了一个环形缓冲区来连接各个处理器组。
2020-03-23 cs.AR cs.LG cs.SE
On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression
Georgia Institute of Technology(佐治亚理工学院);University of Science and Technology of China(中国科学技术大学)
在本文中,我们利用平均绝对误差(MAE)的性质作为基于深度神经网络(DNN)的向量到向量回归的损失函数。这项工作的目标是双重的:(i)提出MAE的性能界限,以及(ii)展示MAE的新特性,使其比均方误差(MSE)更适合作为基于DNN的向量到向量回归的损失函数。首先,我们证明了基于DNN的向量到向量回归的广义上界可以通过利用MAE的已知Lipschitz连续性来确保。接下来,我们推导出一个新的广义上界存在加性噪声。最后,在对比传统的MSE通常采用近似高斯误差回归,我们表明,MAE可以被解释为一个错误的拉普拉斯分布建模。语音增强实验证实了我们提出的定理,并验证了性能优势的MAE超过MSE的DNN为基础的回归。
2020-08-12 cs.LG cs.SD eess.AS
Comparison of Support Vector Machine and Back Propagation Neural Network in Evaluating the Enterprise Financial Distress
Fooyin University(辅英大学);Shu-Te University(树德科技大学)
近年来,将数据采掘这一新兴技术应用于企业财务困境的评估得到了广泛的研究。支持向量机(Support Vector Machine,SVM)和反向传播神经网络(Back Propagation Neural Network,BPN)在规则提取、分类和评价等领域有着良好的推广效果。本文提出了一种基于高斯径向基核支持向量机的企业财务困境评价模型。BPN网络被认为是用于多层神经网络有监督训练的最简单和最通用的方法之一。比较结果表明,通过性能指标之间的差异是边际的,支持向量机给出了更高的精度和更低的出错率。
2010-07-29 cs.LG
Neural Additive Vector Autoregression Models for Causal Discovery in Time Series
University of Antwerp(安特卫普大学);imec(imec(微电子研究中心))
复杂动力系统的因果结构发现是许多科学领域面临的重要挑战。虽然(干预)实验的数据通常是有限的,大量的观测时间序列数据集通常是可用的。目前从时间序列中学习因果结构的方法通常假设线性关系。因此,他们可能会失败,在现实的设置,包含变量之间的非线性关系。我们提出了神经加性向量自回归(NAVAR)模型,这是一种用于因果结构学习的神经方法,可以发现非线性关系。我们训练深度神经网络,从多变量时间序列的时间演化中提取(加性)格兰杰因果影响。该方法实现了国家的最先进的结果,在各种基准数据集的因果发现,同时提供清晰的解释映射的因果关系。
2021-10-18 cs.LG
Recognizing Static Signs from the Brazilian Sign Language: Comparing Large-Margin Decision Directed Acyclic Graphs, Voting Support Vector Machines and Artificial Neural Networks
Federal University of São Carlos(圣卡洛斯联邦大学)
在本文中,我们探讨和详细介绍了我们的实验在一个高维,多类图像分类的问题,经常发现在自动识别的手语。在这里,我们的努力是针对比较的特点,优点和缺点的创建和训练支持向量机部署在有向无环图和人工神经网络分类标志从巴西手语(LIBRAS)。我们探讨了不同的分类器,超参数和多类决策方案如何影响每个分类器的性能,效率和易用性。我们提供了捕捉准确性和效率的超参数表面图,DDAG和1-vs-1 SVM之间的比较,以及使用弹性反向传播训练ANN时的启发式效果。我们报告统计学显着的结果,使用科恩的Kappa统计列联表。
2012-10-28 cs.CV cs.LG stat.ML
Neural Mutual Information Estimation with Vector Copulas
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院);Alan Turing Institute(艾伦·图灵研究所);University of Edinburgh(爱丁堡大学)
本文提出基于向量连接函数的神经互信息估计器,在灵活性与简化性之间取得平衡,并在合成及真实数据上验证其优势。
2025-10-23 cs.LG
Learning Semantic Vector Representations of Source Code via a Siamese Neural Network
Iowa State University(爱荷华州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Massachusetts Institute of Technology(麻省理工学院);IBM
丰富的开源代码,加上深度学习在自然语言处理方面的最新进展,已经产生了机器学习在源代码中的有前途的新应用。在这项工作中,我们探索使用暹罗循环神经网络模型的Python源代码创建向量捕捉代码的语义。我们通过识别代码解决的编程竞赛问题来评估嵌入的质量。我们的模型显着优于一袋令牌嵌入,提供了有前途的结果,以改善代码嵌入,可用于未来的软件工程任务。
2019-04-26 cs.LG cs.PL cs.SE
Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms
Stanford University(斯坦福大学)
我们描述了双层向量输出ReLU神经网络训练问题的凸半无限对偶。这个半无限对偶允许有限维表示,但它的支撑是在一个凸集上,这是很难描述的。特别地,我们证明了非凸神经网络训练问题等价于一个有限维凸共正规划。我们的工作是第一个确定这种强连接的全局最优的神经网络和那些coppositive程序。因此,我们展示了如何神经网络隐式地试图通过半非负矩阵分解来解决共正程序,并从这个公式中得出关键的见解。我们描述的第一个算法可证明找到全局最小的向量输出神经网络训练问题,这是多项式的样本数为一个固定的数据秩,但指数的维度。然而,在卷积架构的情况下,计算复杂性仅在滤波器大小方面是指数的,而在所有其他参数方面是多项式的。我们描述的情况下,我们可以找到这个神经网络的全局最优训练问题,正是与软阈值SVD,并提供了一个共正松弛,保证是准确的某些类的问题,并对应于解决随机梯度下降在实践中。
2021-12-21 cs.AI cs.CC cs.LG
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University(小松大学);University of Electro-Communications(电气通信大学)
谱聚类(SC)是最流行的聚类方法之一,往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点:从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题,我开发了一个新的近似谱聚类使用的网络生成的神经气体(GNG),在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化,而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络,降低了计算复杂度和空间复杂度,提高了聚类质量。在这项研究中,我证明了ASC与GNG有效地减少了计算时间。此外,这项研究表明,ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
Transformationally Identical and Invariant Convolutional Neural Networks by Combining Symmetric Operations or Input Vectors
Georgetown University Medical Center(乔治城大学医学中心);Virginia Tech(弗吉尼亚理工大学)
由变换后的输入向量或算子构造的变换不变处理器已被提出并应用于许多应用中。在这项研究中,transformationally相同的处理的基础上相结合的结果,所有的子过程与相应的转换在一个处理步骤或在开始的步骤被认为是等效的一个给定的条件。该特性可以应用于大多数卷积神经网络(CNN)系统。具体地,可以通过将内部对称操作与相同的变换族并行地布置来构造变换上相同的CNN,所述相同的变换族包括平坦化层,其中权重在其对应的变换元素之间共享。其他变换上相同的CNN可以通过在输入层对该族的变换输入向量进行平均,然后进行普通的CNN过程或一组对称操作来构建。有趣的是,我们发现,通过在激活函数之前对所有子通道的对应元素应用平均操作或不使用非线性激活函数,两种类型的变换相同的CNN系统在数学上是等效的。
2018-08-20 cs.CV cs.LG stat.ML
Human Action Recognition using Local Two-Stream Convolution Neural Network Features and Support Vector Machines
University of the Witwatersrand(金山大学);School of Computer Science and Applied Mathematics(计算机科学与应用数学系);Johannesburg, South Africa(约翰内斯堡,南非(注:此为地址,非机构))
提出了一种简单有效的视频人体动作识别方法。所提出的方法分别提取局部外观和运动特征,使用国家的最先进的三维卷积神经网络从采样片段的视频。这些本地功能,然后连接,形成全球表示,然后用于训练线性SVM执行动作分类使用完整的上下文的视频,作为部分上下文中使用的在以前的作品。视频经过两个简单的预处理技术,光流缩放和裁剪填充。我们对三个常见的基准数据集进行了广泛的评估,以实证的方式展示了SVM和两个预处理步骤的好处。
2020-02-19 cs.CV cs.LG stat.ML
VDW-GNNs: Vector diffusion wavelets for geometric graph neural networks
Program in Computing, Boise State University, Boise, Idaho, USA(博伊西州立大学计算项目);Department of Mathematics, UCLA, Los Angeles, CA, USA(洛杉矶大学数学系);Department of Computer Science, Yale University, New Haven, CT, USA(耶鲁大学计算机科学系);Department of Genetics, Yale University, New Haven, CT, USA(耶鲁大学遗传学系);Department of Mathematics, Boise State University, Boise, Idaho, USA(博伊西州立大学数学系)
提出向量扩散小波(VDW),受向量扩散映射算法启发,可有效融入几何图神经网络(VDW-GNNs),在合成点云和真实风场、神经活动数据上表现良好,并证明其具有框架理论和旋转平移对称性。
2026-06-23 cs.LG eess.SP stat.ML
Vector-Valued Reproducing Kernel Banach Spaces for Neural Networks and Operators
Mathematics of Imaging & AI, Department of Applied Mathematics, University of Twente(图像与人工智能数学、应用数学系、特文特大学)
研究神经网络背后函数空间,提出向量值再生核巴拿赫空间伴随对概念,扩展核定义,证明浅度\(\mathbb{R}^d\)值神经网络及神经算子模型属于积分vv - RKBS,并建立表示定理,揭示函数空间优化与神经架构的关系。
2026-07-27 cs.AI cs.LG math.FA
Prototype-based Neural Network Layers: Incorporating Vector Quantization
Dr. Ing. h.c. F. Porsche AG(费迪南德·保时捷荣誉博士股份公司);University of Applied Sciences Mittweida(米特韦达应用科学大学)
神经网络目前主导着机器学习社区,他们这样做是有充分理由的。它们在复杂任务(如图像分类)上的准确性目前是无与伦比的,而且随着最近的改进,它们相当容易训练。然而,神经网络缺乏鲁棒性和可解释性。另一方面,已知基于原型的矢量量化方法是鲁棒的和可解释的。出于这个原因,我们提出的技术和策略,合并这两种方法。本文将特别强调它们之间的相似性,并概述如何为多层网络构建基于原型的分类层。此外,我们提供了一种替代的,基于原型的方法,经典的卷积运算。数值结果不是本报告的一部分,而是重点放在建立一个强大的理论框架。通过在完成数值实验之前发布我们的框架和相应的理论考虑和理由,我们希望能够启动基于原型的学习在神经网络中的结合,反之亦然。
2019-01-18 cs.AI cs.CV cs.LG
Do Neural Network Cross-Modal Mappings Really Bridge Modalities?
KU Leuven(鲁汶大学)
前馈网络广泛用于跨模态应用中,通过将一种模态的分布式向量映射到另一种模态或共享空间来桥接模态。然后使用预测的矢量来执行例如,检索或标记。因此,整个系统的成功依赖于映射使得邻域结构(即,成对相似性)的预测向量类似于目标向量的预测向量。然而,这是否已经实现尚未调查。在这里,我们提出了一个新的相似性度量和两个特设的实验来阐明这个问题。在三个跨模态基准测试中,我们学习了大量的语言到视觉和视觉到语言的神经网络映射(最多五层),使用了丰富多样的图像和文本特征以及损失函数。我们的研究结果表明,令人惊讶的是,预测向量的邻域结构始终类似于输入向量比目标向量。在第二个实验中,我们进一步表明,未经训练的网络不会显著破坏邻域(即,语义的)输入向量的结构。
2018-06-04 cs.CL cs.CV cs.LG
Direction of Arrival Estimation for a Vector Sensor Using Deep Neural Networks
Virginia Tech(弗吉尼亚理工学院暨州立大学)
矢量传感器是一种具有六个并置天线的传感器阵列,用于测量入射波的所有电磁场分量,已被证明在估计入射源的到达角和极化方面是有利的。虽然线性阵列的机器学习角度估计已经得到了很好的研究,但对于矢量传感器还没有类似的解决方案。在本文中,我们提出了神经网络来确定源的数量和估计每个源的到达角,从接收到的数据中提取的协方差矩阵的基础上。此外,我们提供了一个解决方案,匹配输出角到相应的源,并检查与此方法的误差分布。结果表明,神经网络可以实现合理准确的估计与多达5个源,特别是如果视场是有限的。
2020-04-12 cs.LG eess.SP
Qinco2: Vector Compression and Search with Improved Implicit Neural Codebooks
Meta Fundamental AI Research(Meta基础AI研究院)
本文提出QINCo2,通过码字预选、束搜索、码字对快速近似解码及优化训练与架构,提升向量压缩和十亿规模最近邻搜索性能。
2025-01-06 cs.LG
Vector Quantized Bayesian Neural Network Inference for Data Streams
Yonsei University(延世大学)
贝叶斯神经网络(BNN)可以估计预测中的不确定性,而非贝叶斯神经网络(NN)。然而,BNN在实践中的应用远不如非贝叶斯NN广泛,因为它们需要迭代NN执行来预测一个数据的结果,并且它会产生令人望而却步的计算成本。这种计算负担是处理低延迟数据流时的一个关键问题。为了解决这个问题,我们提出了一种新的模型VQ-BNN,它近似于数据流的BNN推理。为了减少计算负担,VQ-BNN推理仅预测NN一次,并使用先前记忆的预测结果进行补偿。具体来说,VQ-BNN的数据流推理是通过最近预测的时间指数平滑来给出的。该模型的计算成本与非贝叶斯神经网络的计算成本几乎相同。包括对真实数据的语义分割在内的实验表明,该模型的执行速度明显快于BNN,同时估计的预测结果与BNN的结果相当或更好。
2021-01-25 cs.CV cs.LG stat.ML
Artificial Neural Networks on Graded Vector Spaces
Department of Mathematics and Statistics(数学与统计学系);College of Liberal Arts and Sciences(文理学院);Oakland University(奥克兰大学)
本文提出在分层向量空间上的人工神经网络框架,通过引入分层神经元和等变扩展,提升在代数几何和物理领域任务中的性能。
2025-05-10 cs.AI cs.LG
Understanding Neural Network Systems for Image Analysis using Vector Spaces and Inverse Maps
Department of Computer Science(计算机科学系);The University of California at Los Angeles(加州大学洛杉矶分校);Department of Electrical and Computer Engineering(电气与计算机工程系);The University of New Mexico, USA(新墨西哥大学)
本文利用线性代数方法,通过向量空间和逆映射可视化神经网络层间的信号空间,研究残差向量空间对信息丢失的可视化,并探讨可逆网络在生成特定输出图像中的应用。
2024-11-24 cs.CV cs.LG
Using Multiple Vector Channels Improves E(n)-Equivariant Graph Neural Networks
McGill University(麦吉尔大学);Mila, Quebec AI Institute(米拉魁北克人工智能研究所);Intel Labs(英特尔实验室)
提出在每个节点使用多个等变向量的多通道 EGNN 扩展,在运行时间和参数量极小差异下,于 N 体动力学、分子属性预测等物理基准任务上显著优于单通道 EGNN。
2023-09-06 cs.LG
Fast Metric Learning For Deep Neural Networks
University of Waikato(怀卡托大学)
相似性度量是许多信息检索和机器学习系统的核心组成部分。在这项工作中,我们提出了一种方法,能够学习的相似性度量的数据配备了一个二元关系。通过仅考虑相似性约束,并且最初忽略特征,我们能够使用几个适当设计的损失函数中的一个来学习每个实例的目标向量。然后可以构建回归模型,该回归模型将新的特征向量映射到相同的目标向量空间,从而产生计算向量的特征提取器,对于该向量,预定义度量是有意义的相似性度量。我们在多类和多标签分类数据集上展示了结果,这些数据集在大多数内在评估任务和所有外在评估任务上表现出相当快的收敛速度以及更高的准确性。
2016-04-05 cs.CV cs.LG stat.ML
Integrated Inference and Learning of Neural Factors in Structural Support Vector Machines
Ghent University(根特大学);iMinds(iMinds研究院)
处理计算机视觉、生物信息学、语音或文本识别等领域的模式识别问题,通常最好是考虑输出变量之间特定于任务的统计关系。在结构化预测中,这种内部结构用于同时预测多个输出,从而实现更准确和连贯的预测。结构支持向量机(SSVM)是一种非概率模型,通过基于边缘的学习来优化联合输入输出函数。由于SSVM通常忽略训练阶段一元和交互因素之间的相互作用,最终参数是次优的。此外,它的因素往往局限于输入特征的线性组合,限制了它的泛化能力。为了提高预测精度,本文提出:(i)通过集成SSVM次梯度下降中的反向传播和损失增强推理的联合推理和学习;(ii)将SSVM因子扩展到形成输入特征的高度非线性函数的神经网络。图像分割基准测试结果表明,与传统的SSVM训练方法相比,在准确性方面有所改进,突出了使用神经因素进行端到端SSVM训练的可行性。
2016-03-03 cs.CV cs.LG cs.NE
Deep neural network based i-vector mapping for speaker verification using short utterances
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Snap Inc(Snap公司)
由于短话语之间的大变化和内容失配,使用短话语的文本无关的说话人识别是一个非常具有挑战性的任务。基于I-向量的系统已经成为说话人确认应用的标准,但是它们对于短话语不太有效。在本文中,我们首先比较了两种最先进的通用背景模型训练方法,用于使用全长和短话语评估任务进行i向量建模。这两种方法是基于高斯混合模型(GMM)和基于深度神经网络(DNN)的方法。结果表明,I-vector_DNN系统优于I-vector_GMM系统在不同的持续时间。然而,这两个系统的性能显着降低的话语的持续时间减少。为了解决这个问题,我们提出了两种新的非线性映射方法,训练DNN模型将从短话语中提取的i向量映射到其相应的长话语i向量。映射后的i向量能够恢复缺失信息,并减小原短话语i向量的方差。所提出的方法都模型的联合表示的短和长的话语i-向量使用自动编码器。使用NIST SRE 2010数据集的实验结果表明,当使用具有残差块的深度编码器并添加额外的音素向量时,这两种方法都提供了显着的改进,并导致与基线系统相比相等错误率的最大28.43%的相对改进。当在Speaker In The Wild数据集上进一步测试SRE 10的最佳验证模型时,该方法在任意持续时间(1-5秒)的短话语条件下提高了23.12%。
2018-10-16 cs.LG cs.SD eess.AS
Bayesian x-vector: Bayesian Neural Network based x-vector System for Speaker Verification
The Chinese University of Hong Kong(香港中文大学);SpeechX Limited(思必驰有限公司)
说话人确认系统通常存在训练数据和评估数据不匹配的问题,如说话人群体不匹配、信道和环境变化等。为了解决这个问题,它要求系统对未知数据具有良好的泛化能力。在这项工作中,我们将贝叶斯神经网络(BNN)纳入深度神经网络(DNN)x向量说话人验证系统,以提高系统的泛化能力。通过BNN提供的权重不确定性建模,我们期望系统可以更好地概括评估数据,并更准确地做出验证决策。我们的实验结果表明,DNN x向量系统可以受益于BNN,特别是当使用域外数据进行评估时,失配问题严重时。具体而言,结果表明,系统可以受益于BNN的相对EER分别为2.66%和2.32%的下降短和长话语域内评价。此外,DNN x向量和贝叶斯x向量系统的融合可以实现进一步的改进。此外,通过域外评估进行的实验,例如在NIST SRE 10核心测试上评估的Voxceleb 1上训练的模型,表明BNN可以带来更大的相对EER下降,约为4.69%。
2020-04-08 cs.LG cs.SD eess.AS
Music Signal Processing Using Vector Product Neural Networks
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
我们提出了一种新的神经网络模型的音乐信号处理,使用向量积神经元和维数变换。这里,输入首先从实值映射到三维向量,然后馈送到三维向量积神经网络,其中输入、输出和权重都是三维值。接下来,最终输出被映射回实数。提出了两种维度转换方法,一种是通过上下文窗口,另一种是通过谱着色。在iKala数据集上进行的盲歌声分离实验结果证实了该模型的有效性。
2017-06-29 cs.LG cs.MM cs.NE
Implicit Neural Representations of Molecular Vector-Valued Functions
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Wageningen University & Research(瓦赫宁根大学与研究中心)
本文提出由神经网络参数化的分子神经场,以向量值函数连续表示分子,并通过蛋白质-配体重建与分子体积潜空间嵌入验证其有效性。
2025-02-15 cs.LG q-bio.QM
Metalearned Neural Memory
Microsoft Research(微软研究院)
我们用一种外部记忆机制来增强递归神经网络,这种机制建立在元学习的最新进展之上。我们将这种记忆概念化为一种快速适应的功能,我们将其参数化为一个深层神经网络。从神经记忆函数中读取相当于通过函数推送输入(键向量)以产生输出(值向量)。写入存储器意味着改变功能;具体来说,更新神经网络的参数以编码所需的信息。我们利用元学习的训练和算法技术一次性更新神经记忆功能。所提出的记忆增强模型在各种学习问题上实现了强大的性能,从监督式问答到强化学习。
2019-12-03 cs.LG cs.NE stat.ML
L-Vector: Neural Label Embedding for Domain Adaptation
Microsoft(微软)
我们提出了一种新的神经标签嵌入(NLE)方案,用于深度神经网络(DNN)声学模型的域自适应,该模型具有来自源域和目标域的未配对数据样本。使用NLE方法,我们将来自强大的源域DNN的知识提取到标签嵌入或l-向量的字典中,每个senone类一个。每个I向量是源域DNN的特定于状态元的输出分布的表示,并且通过简单的平均或标准反向传播来学习以最小化到具有相同标签的输出向量的平均L2、Kullback-Leibler(KL)或对称KL距离。在自适应过程中,l-向量作为软目标来训练具有交叉熵损失的目标域模型。由于没有师生学习中的并行数据约束,NLE特别适用于无法从源域数据模拟成对目标域数据的情况。我们采用6400小时的多条件美国英语声学模型,以适应9种口音英语(80至830小时)和儿童语音(80小时)中的每一种。NLE实现了高达14.1%的相对字错误率降低直接重新训练与一个热标签。
2020-04-25 cs.CL cs.LG cs.SD
Delay Differential Neural Networks
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
神经常微分方程(NODE)将中间特征向量的计算视为由神经网络参数化的常微分方程的轨迹。在本文中,我们提出了一种新的模型,延迟微分神经网络(DDNN),延迟微分方程(DDE)的启发。该模型将隐藏特征向量的导数视为当前特征向量和过去特征向量(历史)的函数。该函数被建模为神经网络,因此,它导致了许多最近ResNet变体的连续深度替代方案。我们提出了两种不同的DDNN架构,这取决于当前和过去的特征向量被认为是。为了训练DDNN,我们提供了一种内存高效的伴随方法来计算梯度并通过网络反向传播。DDNN在不影响泛化性能的前提下,通过进一步减少参数数量,提高了NODE的数据效率。在Cifar 10和Cifar 100等合成和真实图像分类数据集上进行的实验表明了所提模型的有效性。
2020-12-12 cs.CV cs.LG cs.NE
The MeSH-gram Neural Network Model: Extending Word Embedding Vectors with MeSH Concepts for UMLS Semantic Similarity and Relatedness in the Biomedical Domain
Normandie Univ.(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息处理、图像与系统实验室)
在生物医学领域中提取概念之间的语义相似性仍然是一项具有挑战性的任务。最近基于嵌入向量的方法越来越受欢迎,因为它们可以有效地捕捉语义关系。其基本思想是,两个含义接近的单词会收集类似的上下文。在这项研究中,我们提出了一个新的神经网络模型命名为MeSH-gram,它依赖于一个直截了当的方法,扩展了skip-gram神经网络模型考虑MeSH(医学主题词)描述符,而不是单词。在公开可用的语料库PubMed MEDLINE上训练,MeSH-gram在手动注释语义相似性的参考标准上进行评估。首先将MeSH-gram与具有大小为300的向量的skip-gram在几个窗口上下文中进行比较。更深入的比较与现有的十几个模型。所有获得的人类分数和计算的相似性之间的Spearman等级相关性的结果表明,MeSH-gram优于skip-gram模型,并且与最好的方法相当,但需要更多的计算和外部资源。
2018-11-28 cs.CL cs.DL cs.IR
V-EfficientNets: Vector-Valued Efficiently Scaled Convolutional Neural Network Models
Universidade Estadual de Campinas (UNICAMP)(圣保罗州立大学(UNICAMP))
本文提出向量值EfficientNets(V-EfficientNets),将EfficientNet扩展用于处理任意向量值数据,在ALL-IDB2白血病检测数据集上以99.46%的平均准确率超越现有最优模型,同时显著减少参数量。
2025-05-08 cs.CV cs.LG eess.IV
Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing
Rice University(莱斯大学);UC Berkeley(加州大学伯克利分校);Research Institutes of Sweden(瑞典研究院)
部署在边缘设备上的机器学习算法必须满足一定的资源约束和效率要求。随机向量函数链接(RVFL)网络由于其简单的设计和训练效率而受到此类应用的青睐。我们提出了一种改进的RVFL网络,避免了在训练过程中计算昂贵的矩阵运算,从而扩大了网络的潜在应用范围。我们的修改取代了最小二乘分类器与广义学习矢量量化(GLVQ)分类器,它只采用简单的矢量和距离计算。GLVQ分类器也可以被认为是对超维计算领域中常用的某些分类算法的改进。所提出的方法在来自UCI机器学习存储库的数据集上实现了最先进的准确性-高于先前提出的RVFL网络。我们进一步证明,我们的方法仍然实现了高精度,同时在训练迭代中受到严重限制(平均仅使用最小二乘分类器计算成本的21%)。
2021-06-17 cs.LG
Uncertainty-Aware Deep Neural Representations for Visual Analysis of Vector Field Data
IIT Kanpur(印度理工学院坎普尔分校)
本研究针对深度神经网络缺乏内置不确定性度量机制的问题,开发不确定性感知隐式神经表征建模稳态矢量场,评估两种深度不确定性估计技术的效果,提升了模型鲁棒性与可解释性,可用于复杂矢量场的可视化分析。
2024-08-10 cs.AI cs.GR cs.LG
Matrix Neural Networks
The University of Sydney(悉尼大学);Western Sydney University(西悉尼大学)
传统的神经网络假设向量输入,因为网络被布置为称为神经元的单线计算单元的层。这种特殊的结构要求将非向量输入(如矩阵)转换为向量。这个过程可能会有问题。首先,数据元素之间的空间信息可能在矢量化期间丢失。其次,解空间变得非常大,这需要对网络参数进行非常特殊的处理,并且计算成本很高。为了解决这些问题,我们提出了矩阵神经网络(MatNet),它采取矩阵直接作为输入。每个神经元都以与经典前馈神经网络完全相同的方式通过双线性映射从下层单元感知汇总信息。在这种结构下,可以利用反向传播和梯度下降相结合的方法来有效地获得网络参数。此外,它可以方便地扩展为多模态输入。我们将MatNet应用于MNIST手写数字分类和图像超分辨率任务,以显示其有效性。在没有太多调整的情况下,MatNet在这两项任务中实现了与最先进方法相当的性能,同时大大降低了复杂性。
2016-12-09 cs.LG