Exploring possible vector systems for faster training of neural networks with preconfigured latent spaces
Joint Stock "Research and production company "Kryptonite"(Kryptonite 研究生产公司)
本文提出利用预定义的向量系统加速神经网络训练,通过配置潜在空间结构提升ImageNet大规模分类任务的训练效率。
2025-12-10 cs.AI cs.CV cs.LG
Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors
Colorado State University(科罗拉多州立大学);San Diego State University(圣地亚哥州立大学)
提出Tiled Bit Networks,通过重用可学习二进制向量实现亚比特压缩,在多种架构和任务上接近全精度性能,尺寸最多减少8倍。
2024-07-16 cs.AI cs.LG
A Hybrid Approach with Multi-channel I-Vectors and Convolutional Neural Networks for Acoustic Scene Classification
Johannes Kepler University of Linz(林茨约翰内斯·开普勒大学)
在声学场景分类(ASC)中,遵循两种主要方法。虽然一个利用工程特征,如梅尔频率倒谱系数(MFCC),另一个使用学习的功能,是优化算法的结果。I向量是通常将工程特征作为输入的建模技术的结果。已经表明,从单声道音频信号提取的标准MFCC导致表现出较差性能的i向量,特别是在室内声学场景中。同时,卷积神经网络(CNN)以其通过优化滤波器来学习特征的能力而闻名。它们已被应用于ASC,并显示出可喜的结果。在本文中,我们首先提出了一种新的多通道i矢量提取和评分计划ASC,提高其性能的室内和室外场景。其次,我们提出了一个CNN架构,实现了有前途的ASC结果。此外,我们还证明了i向量和CNN从声学场景中捕获互补信息。最后,我们提出了一个混合系统ASC使用多通道i向量和CNN通过利用分数融合技术。使用我们的方法,我们参加了DCASE-2016挑战赛的ASC任务。我们的混合方法在49份提交的材料中获得了第一名,大大提高了以前的技术水平。
2017-06-20 cs.AI cs.LG cs.SD
$\mathcal{G}$-SGD: Optimizing ReLU Neural Networks in its Positively Scale-Invariant Space
Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学)
众所周知,具有整流线性单元(ReLU)激活函数的神经网络是正尺度不变的。传统的算法,如随机梯度下降优化神经网络在向量空间的权重,这是,然而,不是积极的规模不变。这种不匹配可能导致优化过程中出现问题。那么,一个自然的问题是:\emph{can we construct a new vector space that is positively scale-invariant and sufficient to represent ReLU neural networks so as to better facilitate the optimization process }?在本文中,我们提供了我们的肯定回答这个问题。首先,我们对正标度算子进行了形式化的研究,这些正标度算子形成了一个变换群,记为$\mathcal{G}$。我们证明了神经网络中路径的值(即沿着路径的权值的乘积)对正标度是不变的,并证明了所有路径的值向量在温和的条件下足以表示神经网络.其次,我们证明了在正标度群下,可以从所有的路中识别出一些基路,并证明了它们的值向量的线性跨度(记为$\mathcal{G}$ -空间)是一个低维不变空间.最后,我们设计了$\mathcal{G}$ -空间中的随机梯度下降算法(简称$\mathcal{G}$ -SGD),利用反向传播技术,以较小的额外代价优化神经网络的基路径值向量。我们的实…
2021-03-23 cs.LG stat.ML
Using predefined vector systems as latent space configuration for neural network supervised training on data with arbitrarily large number of classes
Joint Stock "Research and production company "Kryptonite"(Research and production company "Kryptonite")
针对监督学习中神经网络参数量受类别数限制的问题,提出用预定义向量系统作潜空间配置的方法,可在任意类别数下训练同架构网络,在多数据集验证有效并可扩展到百万类场景。
2025-10-05 cs.AI cs.CV cs.LG
SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks
Group Research and Development, DNV(1 研究与发展组,DNV)
SALVE通过稀疏自编码和潜在向量编辑,实现神经网络的机理控制与可解释性,提升模型的可控性和鲁棒性。
2026-03-07 cs.AI cs.CV cs.LG
Artificial Neural Networks and Support Vector Machines for Water Demand Time Series Forecasting
Indian Institute of Technology(印度理工学院)
水在许多物理过程中起着关键作用,最重要的是维持人类生命,动物生命和植物生命。因此,供水实体有责任按照消费者要求的速度供应清洁和安全的水。因此,有必要建立可用于预测短期和长期水需求的机制和系统。日益增长的计算智能技术领域已被提出作为一种有效的工具,在建模的动态现象。本文的主要目的是比较两种计算智能技术在需水量预测中的效率。所比较的技术是人工神经网络(ANN)和支持向量机(SVMs)。在这项研究中,观察到ANN比SVM表现得更好。这种表现是衡量对两个的概括能力。
2007-05-07 cs.AI
Homogeneous Vector Capsules Enable Adaptive Gradient Descent in Convolutional Neural Networks
Brunel University London(伦敦布鲁内尔大学);Bradley University(布拉德利大学)
胶囊是Geoffrey Hinton给向量值神经元起的名字。传统上,神经网络为激活的神经元产生标量值。另一方面,胶囊产生一个值的向量,Hinton认为这对应于一个单一的复合特征,其中向量分量的值表示特征的属性,如变换或对比度。我们提出了一种参数化和训练胶囊的新方法,我们称之为同质向量胶囊(HVC)。我们通过实验证明,与使用单个最终完全连接层的CNN相比,改变卷积神经网络(CNN)以使用HVC可以实现更高的分类准确性,而不会增加其架构中的参数或操作数量。此外,HVC的引入使得能够使用自适应梯度下降,减少了模型的可实现精度对非自适应优化器的微调超参数的依赖性。我们证明了我们的方法和结果,使用两个神经网络架构。首先,一个非常简单的单片CNN,当使用HVC时,与基线架构相比,前1分类准确度提高了63%,前5分类准确度提高了35%。其次,使用称为Inception v3的CNN架构,在有和没有HVC的情况下都实现了类似的准确性。此外,当使用HVC时,简单的单片CNN在超过300个时期后没有显示过拟合,而基线在30个时期后显示过拟合。我们使用ImageNet ILSVRC 2012分类挑战数据集与两个网络。
2021-01-27 cs.CV cs.LG
An integrated recurrent neural network and regression model with spatial and climatic couplings for vector-borne disease dynamics
UC Irvine(加州大学尔湾分校)
我们开发了一个集成的循环神经网络和非线性回归时空模型的媒介传播疾病的演变。我们将气候数据和季节性作为与疾病传播昆虫(例如苍蝇)相关的外部因素,以及来自感兴趣区域周围邻近地区的溢出感染。气候数据通过推荐系统激励的二次嵌入方案编码到模型中。相邻区域的影响由一个长短期记忆神经网络来模拟。综合模型通过随机梯度下降进行训练,并在斯里兰卡2013-2018年发生感染暴发的利什曼病数据上进行测试。我们的模型在许多高感染地区的表现优于ARIMA模型,相关的消融研究支持我们的建模假设和想法。
2022-01-23 cs.LG cs.NA math.NA
Relation Detection for Indonesian Language using Deep Neural Network -- Support Vector Machine
PT. Prosa Solusi Cerdas;School of Electrical Engineering and Informatics(电气工程与信息学院);Institut Teknologi Bandung(万隆理工学院)
关系检测是确定两个实体是否相关的任务。在本文中,我们使用神经网络来做印尼语两个命名实体之间的关系检测。我们使用了词嵌入、位置嵌入、POS-Tag嵌入和字符嵌入等特征。对于模型,我们将模型分为两部分:前部分分类器(卷积层或LSTM层)和后部分分类器(密集层或SVM)。采用了神经网络超参数网格搜索法和支持向量机。我们使用了6000个印尼语句子进行训练,1,125个句子进行测试。采用卷积层作为前半部分,支持向量机作为后半部分的F1-Score的最佳结果为0.8083。
2020-09-12 cs.AI cs.CL
Dimensionality Reduction and Reconstruction using Mirroring Neural Networks and Object Recognition based on Reduced Dimension Characteristic Vector
College of Engineering, Osmania University(奥斯马尼亚大学工程学院);Altech Imaging & Computing(阿尔泰克成像与计算公司);Sreenidhi Institute of Science and Technology(斯雷尼迪科技学院)
在本文中,我们提出了一个镜像神经网络架构进行非线性降维和目标识别使用减少的低维特征向量。除了降维之外,网络还从降低的低维数据中重建(镜像)原始高维输入向量。镜像神经网络架构在外层中具有更多数量的处理元件(adalines)并且在中心层中具有最少数量的元件,以在其配置中形成会聚-发散形状。由于该网络能够从最内层的输出(包含有关输入模式的所有信息)重建原始图像,因此这些输出可以用作对模式进行分类的对象签名。通过将均方误差从输出层反向传播到输入层,训练网络以最小化实际输出和输入之间的差异。在成功训练网络后,它可以降低输入向量的维数,并能镜像输入的模式,镜像神经网络结构对各种测试模式都有很好的效果。
2007-12-06 cs.AI cs.CV cs.NE
Matrix Neural Networks
The University of Sydney(悉尼大学);Western Sydney University(西悉尼大学)
传统的神经网络假设向量输入,因为网络被布置为称为神经元的单线计算单元的层。这种特殊的结构要求将非向量输入(如矩阵)转换为向量。这个过程可能会有问题。首先,数据元素之间的空间信息可能在矢量化期间丢失。其次,解空间变得非常大,这需要对网络参数进行非常特殊的处理,并且计算成本很高。为了解决这些问题,我们提出了矩阵神经网络(MatNet),它采取矩阵直接作为输入。每个神经元都以与经典前馈神经网络完全相同的方式通过双线性映射从下层单元感知汇总信息。在这种结构下,可以利用反向传播和梯度下降相结合的方法来有效地获得网络参数。此外,它可以方便地扩展为多模态输入。我们将MatNet应用于MNIST手写数字分类和图像超分辨率任务,以显示其有效性。在没有太多调整的情况下,MatNet在这两项任务中实现了与最先进方法相当的性能,同时大大降低了复杂性。
2016-12-09 cs.LG
Neural Conservation Laws: A Divergence-Free Perspective
Vector Institute(向量研究所);Meta AI
我们研究深度神经网络的参数化,通过设计满足连续性方程,一个基本的守恒定律。这是通过观察连续性方程的任何解都可以表示为无发散向量场来实现的。因此,我们提出了通过微分形式的概念来构建无发散神经网络,并在自动微分的帮助下,实现了两个实际的结构。因此,我们可以参数化总是精确满足连续性方程的密度和向量场对,而不需要额外的惩罚方法或昂贵的数值模拟。此外,我们证明了这些模型是通用的,因此可以用来表示任何发散自由向量场。最后,我们通过计算基于神经网络的流体方程的解决方案,求解霍奇分解,并学习动态最优传输映射实验验证我们的方法。
2022-12-11 cs.LG
RAE: A Neural Network Dimensionality Reduction Method for Nearest Neighbors Preservation in Vector Search
University of Washington(华盛顿大学)
针对高维向量检索中传统降维难以保持最近邻关系的问题,提出正则化自编码器 RAE,通过正则化约束奇异值与范数失真,并从数学上证明其 k-NN 保持保证,以较低训练开销取得更优召回率和检索效率。
2025-09-30 cs.AI cs.DB cs.IR
VQ4SNN: Vector Quantization for Memory-Efficient FPGA Spiking Neural Networks
Integrated Circuits Lab, Electrical and Computer Engineering, Democritus University of Thrace (DUTH), Greece(德米特里乌斯特拉基亚大学集成电路实验室,电气与计算机工程,特拉基亚大学(DUTH),希腊)
提出VQ4SNN,通过向量量化权重共享减少FPGA上脉冲神经网络的片上内存需求,实现52-61%的BRAM减少而不增加逻辑资源。
2026-06-23 cs.AI cs.AR cs.NE
Compositionality for Recursive Neural Networks
ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
组合性建模是向量空间语义学领域的一个长期研究领域。组合性的范畴方法以原则性的方式将语法映射到向量空间,但由于需要形成非常高维的矩阵和张量而受到批评,因此在计算上是不可行的。在本文中,我将展示如何将递归神经张量网络模型的线性简化直接映射到分类方法上,并给出一种计算所需矩阵和张量的方法。这一映射表明了一些研究的范畴组成向量空间模型的意义和递归神经网络模型的组合。
2019-01-30 cs.AI cs.CL cs.NE
Algorithms for the Training of Neural Support Vector Machines
Bundesdruckerei GmbH(联邦印刷有限公司)
针对可融入领域知识的 NSVM,本文提出一组基于 Pegasos 的训练算法,并在标准机器学习任务上完成概念验证。
2023-08-14 cs.AI cs.LG
Class Mean Vectors, Self Monitoring and Self Learning for Neural Classifiers
University of California at Berkeley(加州大学伯克利分校)
在本文中,我们探讨了样本平均值在建立一个神经网络分类的作用。这个角色非常广泛,包括:直接计算权重而无需训练,对没有已知分类的样本进行性能监控,以及对未标记数据进行自训练。CIFAR-10数据集上的实验计算提供了有希望的经验证据,证明了一种简单而广泛适用的方法对一些困难问题的有效性。
2019-10-22 cs.LG stat.ML
Neural ODEs with stochastic vector field mixtures
University of Bristol(布里斯托大学)
最近的研究表明,神经常微分方程模型不能解决基本的和看似简单的任务,即使是高容量的向量场表示。本文介绍了其他两个基本任务的基线方法不能解决的一套,并提出了混合物的随机向量场作为一个模型类,能够解决这些基本问题。动态矢量场的选择是至关重要的,我们的模型,我们的方法是传播组件的不确定性的集成间隔与技术的基础上向前滤波。我们还正式几个损失函数,鼓励理想的属性的轨迹路径,特别感兴趣的是那些直接鼓励较少的预期功能评估。在实验中,我们证明了我们的模型类能够捕捉人类行为的自然动态;一个众所周知的不稳定的应用领域。基线方法无法充分模拟这一问题。
2019-05-23 cs.LG stat.ML
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics(数学与力学研究所);Center for Mathematics and its Applications, Khazar University(哈扎尔大学数学及其应用中心)
本文针对拓扑向量空间输入的前馈神经网络,证明其能逼近该扩展输入空间上的任意连续函数,从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Vector Field Neural Networks
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学);Instituto Tércio Pacitti de Aplicações e Pesquisas Computacionais(特尔西奥·帕奇蒂计算机应用与研究所)
这项工作开始于建立一个数学形式化之间的不同几何解释的神经网络,提供了第一个贡献。从这个出发点,探索一种新的解释,使用隐式矢量场的想法移动数据作为粒子流。在此基础上提出了一种新的结构--向量场神经网络(VFNN),使向量场变得显式。一个具体的实施VFNN使用欧拉的方法来解决常微分方程(ODE)和高斯向量场进行测试。第一个实验呈现视觉结果,重新标记的新架构的重要功能,并提供另一个贡献与几何解释的正则化模型参数。然后,针对不同的超参数和输入对新架构进行评估,目的是评估对模型性能、计算时间和复杂度的影响。VFNN模型与已知的基本模型朴素贝叶斯,前馈神经网络,和支持向量机(SVM)进行比较,显示出可比的,或更好的,不同的数据集的结果。最后,本文的结论为模型的改进提出了新的问题和思路,可用于提高模型的性能。
2019-05-16 cs.LG stat.ML
Aggregated Learning: A Vector-Quantization Approach to Learning Neural Network Classifiers
University of Ottawa(渥太华大学);National Research Council Canada(加拿大国家研究委员会);Beihang University(北京航空航天大学)
我们考虑学习一个神经网络分类器的问题。在信息瓶颈(IB)原则下,我们将这个分类问题与一个表示学习问题联系起来,我们称之为“IB学习”。我们表明,IB学习,事实上,相当于一类特殊的量化问题。率失真理论中的经典结果表明,IB学习可以受益于“矢量量化”方法,即同时学习多个输入对象的表示。这种方法与一些变分技术的辅助,导致一个新的学习框架,“聚合学习”,分类与神经网络模型。在这个框架中,几个对象联合分类由一个单一的神经网络。通过对标准图像识别和文本分类任务的大量实验,验证了该框架的有效性。
2021-06-01 cs.LG stat.ML
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值,并找出它们是否相同。可以用来解决这个问题的四种算法是:遗传回归神经网络(GRNNs),径向基函数(RBF)神经网络(RBFNNs),支持向量机(SVMs)和前馈神经网络(FFNNs)。
2019-11-16 cs.LG cs.NE cs.SY
On Neural Quantum Support Vector Machines
Bundesdruckerei GmbH(联邦印刷有限公司)
本文引入了带有量子核的神经量子支持向量机,并将先前提出的四种神经支持向量机训练算法的可行性与结果扩展至该量子设定。
2023-11-24 cs.LG quant-ph
Understanding Vector-Valued Neural Networks and Their Relationship with Real and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学)
本文提出向量值神经网络框架 V-nets,通过自然建模特征通道间相关性减少参数并提升训练稳健性,并阐明其与传统实值网络及超复值网络的关系和实现方法。
2024-08-01 cs.LG cs.NE
Neural Vector Conceptualization for Word Vector Space Interpretation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
分布式词向量空间被认为是难以解释的,这阻碍了对自然语言处理(NLP)模型的理解。在这项工作中,我们介绍了一种新的方法来解释任意样本从一个词向量空间。为此,我们训练一个神经模型来概念化词向量,这意味着它激活它在给定向量中识别的高阶概念。与之前的方法相反,我们的模型在原始向量空间中运行,并且能够学习词向量和概念之间的非线性关系。此外,我们表明,它产生的熵概念激活配置文件比流行的余弦相似性少得多。
2019-04-02 cs.CL cs.LG
Independent Vector Analysis with Deep Neural Network Source Priors
GMEMS Technologies, Inc.(GMEMS技术有限公司)
本文研究了独立向量分析(IVA)的密度先验,并以卷积语音混合分离为例进行了应用。大多数现有的IVA源先验过于简化,无法捕捉语音的精细结构。在这里,我们第一次表明,通过优化某些代理分离相关的性能指标,可以有效地估计具有通用近似器(如深度神经网络(DNN))的语音密度的导数。实验结果表明,所得到的神经网络密度先验一致优于以前的在线实施和信号干扰比(SIR)的收敛速度批实施。
2020-10-06 cs.LG cs.SD eess.AS
Tensorial Recurrent Neural Networks for Longitudinal Data Analysis
The University of Sydney(悉尼大学)
传统的循环神经网络假设向量化数据作为输入。然而,现代科学技术中的许多数据都是以特定的结构出现的,例如张量时间序列数据。为了将循环神经网络应用于这种类型的数据,矢量化过程是必要的,而这种矢量化导致空间或纵向维度的精确信息的丢失。此外,这样的矢量化数据不是用于学习纵向数据的表示的最佳解决方案。在本文中,我们提出了一种新的变形张量神经网络,直接采取张量时间序列数据作为输入。我们称这种新的变体为张量递归神经网络(TRNN)。所提出的TRNN是基于张量Tucker分解。
2017-08-01 cs.CV cs.LG stat.ML
Homogeneous vector bundles and $G$-equivariant convolutional neural networks
Chalmers University of Technology(查尔姆斯理工大学)
$G$ -等变卷积神经网络(GCNN)是一种几何深度学习模型,用于在均匀$G$ -空间$\mathcal{M}$上定义的数据。GCNN被设计为尊重$\mathcal{M}$中的全局对称性,从而促进学习。本文在单模李群$G$和紧子群$K \leq G$的情况下,分析了齐性空间$\mathcal{M} = G/K$上的广义卷积神经网络.我们证明了齐次向量丛是GCNN的自然设置。我们还使用再生核希尔伯特空间,以获得一个精确的标准表示$G$ -等变层卷积层。然后将此标准重新表述为带宽标准,从而对某些组产生更强的结果。
2021-05-12 cs.LG math.RT stat.ML
Examining the Use of Neural Networks for Feature Extraction: A Comparative Analysis using Deep Learning, Support Vector Machines, and K-Nearest Neighbor Classifiers
Rensselaer Polytechnic Institute(伦斯勒理工学院)
许多种类的神经网络被吹捧为非常强大的机器学习工具,因为它们能够从不同形式的数据中提取大量信息,提取复杂的特征并实现强大的分类能力。在这项研究中,我们使用神经网络从图像和数字数据中提取特征,并使用这些提取的特征作为其他机器学习模型的输入,即支持向量机(SVM)和k-最近邻分类器(KNN),以查看神经网络提取的特征是否增强了这些模型的能力。我们以这种方式测试了7种不同的神经网络架构,其中4种用于图像,3种用于数字数据,分别训练不同的时间长度,然后将神经网络的结果独立地与SVM和KNN的结果进行比较,最后将这些结果与使用通过神经网络架构提取的特征训练的SVM和KNN模型进行比较。在3个不同的图像数据集和2个不同的数字数据集上重复该过程。结果表明,在许多情况下,使用神经网络提取的特征显着提高SVM和KNN的能力相比,运行这些算法的原始特征,在某些情况下,也超过了神经网络单独的性能。这反过来又表明,使用神经网络作为提取特征的手段,以供其他机器学习模型对某些数据集进行分类,可能是一种合理的做法。
2018-06-12 cs.LG stat.ML
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Instituto de Pesquisa Eldorado(埃尔多拉多研究所)
本文引入非退化代数概念,将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Neural i-vectors
University of Eastern Finland(东芬兰大学);NEC Corporation(日本电气股份有限公司)
在最近的说话人验证评估中,深度说话人嵌入已被证明优于其生成对应物i向量。为了结合高性能和生成解释的优点,我们连续研究了深度嵌入提取器和i向量提取器的使用。为了将深度嵌入提取器与i向量提取器捆绑在一起,我们采用了受高斯混合模型(GMM)启发的聚合层来嵌入提取器网络。包含GMM类层允许区分训练的网络用作i向量提取器的足够统计数据的提供者,以提取我们称为神经i向量的内容。我们将深度嵌入与野生扬声器(SITW)和说话人识别评估(SRE)2018和2019数据集上的拟议神经i向量进行了比较。在SITW的核心-核心条件下,我们的深度嵌入获得了与最先进的性能相当的性能。神经i向量的性能比深度嵌入差约50%,但另一方面,明显优于文献中报道的先前i向量方法。
2020-04-18 cs.LG eess.AS
Uncertainty-Aware Deep Neural Representations for Visual Analysis of Vector Field Data
IIT Kanpur(印度理工学院坎普尔分校)
本研究针对深度神经网络缺乏内置不确定性度量机制的问题,开发不确定性感知隐式神经表征建模稳态矢量场,评估两种深度不确定性估计技术的效果,提升了模型鲁棒性与可解释性,可用于复杂矢量场的可视化分析。
2024-08-10 cs.AI cs.GR cs.LG
On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector Regression
Georgia Institute of Technology(佐治亚理工学院);University of Science and Technology of China(中国科学技术大学)
在本文中,我们利用平均绝对误差(MAE)的性质作为基于深度神经网络(DNN)的向量到向量回归的损失函数。这项工作的目标是双重的:(i)提出MAE的性能界限,以及(ii)展示MAE的新特性,使其比均方误差(MSE)更适合作为基于DNN的向量到向量回归的损失函数。首先,我们证明了基于DNN的向量到向量回归的广义上界可以通过利用MAE的已知Lipschitz连续性来确保。接下来,我们推导出一个新的广义上界存在加性噪声。最后,在对比传统的MSE通常采用近似高斯误差回归,我们表明,MAE可以被解释为一个错误的拉普拉斯分布建模。语音增强实验证实了我们提出的定理,并验证了性能优势的MAE超过MSE的DNN为基础的回归。
2020-08-12 cs.LG cs.SD eess.AS
Backpropagation with N-D Vector-Valued Neurons Using Arbitrary Bilinear Products
向量值神经学习是近年来深度学习研究的一个重要方向。传统上,神经网络(NN)的训练数据被公式化为标量向量;然而,由于相邻标量之间的关联没有建模,因此其性能可能不是最佳的。在本文中,我们提出了一种新的向量神经网络架构称为任意双线性积神经网络(ABIPNN),它处理信息作为每个神经元的向量,并使用任意双线性积定义前馈投影。这样的双线性积可以包括循环卷积、七维向量积、斜循环卷积、逆时循环卷积或在先前工作中未见到的其他新积。作为概念验证,我们将我们提出的网络应用于多光谱图像去噪和歌声分离。实验结果表明,ABIPNN与传统NN相比,获得了实质性的改进,这表明关联是在训练过程中学习的。
2018-05-24 cs.CV cs.LG stat.ML
Hardware/Software Codesign for Training/Testing Multiple Neural Networks on Multiple FPGAs
大多数用于FPGA的神经网络设计是不灵活的。在本文中,我们提出了一个灵活的VHDL结构,将允许任何神经网络在多个FPGA上实现。此外,VHDL结构允许测试以及训练多个神经网络。VHDL设计由多个处理器组组成。有两种类型的处理器组:迷你向量机处理器组和激活处理器组。每个处理器组由单独的迷你向量机和激活处理器组成。迷你向量机将向量运算应用于数据,而激活处理器将激活函数应用于数据。实现了一个环形缓冲区来连接各个处理器组。
2020-03-23 cs.AR cs.LG cs.SE
Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles
University of Science and Technology of China(中国科学技术大学)
针对图结构迁移性理论缺失的问题,提出基于黎曼几何的神经向量丛框架GAUGE,通过内在几何学习实现可迁移子结构表征,在零样本链接预测和图同构任务中验证了优越性。
2026-06-02 cs.AI cs.LG
Predicting Blossom Date of Cherry Tree With Support Vector Machine and Recurrent Neural Network
我们的项目探讨了温度和樱花开花日期之间的关系。通过建模,未来的开花将变得可预测,帮助公众计划旅行并避免花粉季节。为了准确预测樱花的开花日期,可以被视为一个多类分类问题,所以我们应用多类支持向量分类器(SVC)和循环神经网络(RNN),特别是长短期记忆(LSTM),制定问题。最后,我们评估和比较这些方法的性能,找出哪一个可能更适用于现实。
2022-10-10 cs.LG
Forecasting, Causality, and Impulse Response with Neural Vector Autoregressions
Thinking Machines Data Science(Thinking Machines数据科学公司)
消除非线性对于预测动态系统的未来状态、其对冲击的响应及其潜在的因果网络至关重要。然而,大多数现有的因果关系检测和脉冲响应的方法,如向量自回归(VAR),假设线性,因此无法捕捉的复杂性。在这里,我们介绍了一个矢量自编码器非线性自回归神经网络(VANAR)能够自动时间序列特征提取其输入和功能形式估计。我们从三个方面评估VANAR:第一,纯粹的预测准确性;第二,检测变量之间的正确因果关系;最后,我们在脉冲响应方面对外部冲击下的轨迹进行建模。这些测试是在一个模拟的非线性混沌系统和一个使用菲律宾宏观经济数据的经验系统上进行的。结果表明,VANAR在预测和因果关系检验中显著优于VAR。VANAR具有始终如一的优越精度,甚至超过了最先进的模型,如SARIMA和TBATS。对于脉冲响应测试,两种模型都不能预测非线性混沌系统的冲击轨迹。VANAR具有强大的能力来模拟各种动态,从混沌,高噪声和低数据环境到宏观经济系统。
2019-10-07 cs.LG stat.ML
Enhancing Multi-Class Classification of Random Forest using Random Vector Functional Neural Network and Oblique Decision Surfaces
School of Electrical and Electronic Engineering Nanyang Technological University(南洋理工大学电气与电子工程学院)
神经网络和决策树都是流行的机器学习方法,并被广泛用于解决来自不同领域的问题。这两个分类器是集成框架中常用的基分类器。本文首先在线性分类器的基础上提出了一种新的斜决策树,然后将快速神经网络、随机向量函数连接网络和斜决策树相融合,构造了一种集成分类器。随机向量函数链接网络具有优雅的封闭形式解决方案,训练时间极短。神经网络在根级别将每个训练袋(使用装袋获得)划分为C个子集,其中C是数据集中的类的数量,并且随后,在这样的划分上训练C个倾斜决策树。所提出的方法提供了一个丰富的洞察数据分组的混乱或难以分类的样本为每个类,从而提供了一个机会,采用细粒度的分类规则的数据。集成分类器的性能进行了评估,在几个多类数据集,它表现出优越的性能相比,其他国家的最先进的分类器。
2018-02-05 cs.CV cs.LG stat.ML
Enhanced Expressive Power and Fast Training of Neural Networks by Random Projections
随机投影能够有效地对具有非线性低维结构的数据集进行降维。一个众所周知的例子是随机矩阵将稀疏向量近似等距地嵌入到低维子空间中,称为压缩感知中的受限等距属性。在本文中,我们探索了随机投影在深度神经网络中的一些应用。当输入数据是稀疏向量或形成低维光滑流形时,我们提供了全连接神经网络的表达能力。我们证明了近似Lipschitz函数所需的神经元的数量与规定的精度取决于稀疏性或流形的维数和弱输入向量的维数。我们证明的关键是随机投影将稀疏向量集或低维光滑流形稳定地嵌入到低维子空间中。在此基础上,我们还提出了一些新的神经网络模型,其中每一层的输入首先通过随机投影到一个低维子空间上,然后应用标准的线性连接和非线性激活。以这种方式,神经网络中的参数数量显著减少,并且因此神经网络的训练可以在没有太多性能损失的情况下加速。
2019-01-10 cs.LG stat.ML
Learning Semantic Vector Representations of Source Code via a Siamese Neural Network
Iowa State University(爱荷华州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Massachusetts Institute of Technology(麻省理工学院);IBM
丰富的开源代码,加上深度学习在自然语言处理方面的最新进展,已经产生了机器学习在源代码中的有前途的新应用。在这项工作中,我们探索使用暹罗循环神经网络模型的Python源代码创建向量捕捉代码的语义。我们通过识别代码解决的编程竞赛问题来评估嵌入的质量。我们的模型显着优于一袋令牌嵌入,提供了有前途的结果,以改善代码嵌入,可用于未来的软件工程任务。
2019-04-26 cs.LG cs.PL cs.SE
The Prevalence of Neural Collapse in Neural Multivariate Regression
New York University Abu Dhabi(纽约大学阿布扎克分校);SFSC of AI and DL, NYU Shanghai(人工智能与深度学习学院(SFSC),纽约大学上海);New York University Shanghai(纽约大学上海);New York University(纽约大学)
本文发现多元回归中存在神经回归坍缩 NRC1–NRC3,并在多种数据集与架构上实证验证,再借助 UFM 证明正正则化导致坍缩、零正则化则不会。
2024-10-30 cs.AI cs.LG
Improving Accuracy of Nonparametric Transfer Learning via Vector Segmentation
IMT Atlantique(IMT大西洋高等电信学院);University of Münster(明斯特大学);Université de Brest(布雷斯特大学)
使用深度神经网络作为特征提取器的迁移学习在过去几年中变得越来越流行。它允许在太小而无法自行训练深度神经网络的数据集上获得最先进的精度,并且它提供了最先进的描述符,与非参数学习方法相结合,允许在计算受限的设置中快速灵活地部署执行解决方案。在本文中,我们有兴趣展示使用深度神经网络提取的特征具有特定的属性,可以用于提高下游非参数学习方法的准确性。也就是说,我们证明,对于一些分布的信息嵌入在几个坐标,分割特征向量可以导致更好的准确性。我们通过使用三个主流的深度神经网络特征提取器和四个数据库在视觉和音频中进行实验,展示了如何将该模型应用于真实数据集。
2017-10-24 cs.LG stat.ML
Comparison of Support Vector Machine and Back Propagation Neural Network in Evaluating the Enterprise Financial Distress
Fooyin University(辅英大学);Shu-Te University(树德科技大学)
近年来,将数据采掘这一新兴技术应用于企业财务困境的评估得到了广泛的研究。支持向量机(Support Vector Machine,SVM)和反向传播神经网络(Back Propagation Neural Network,BPN)在规则提取、分类和评价等领域有着良好的推广效果。本文提出了一种基于高斯径向基核支持向量机的企业财务困境评价模型。BPN网络被认为是用于多层神经网络有监督训练的最简单和最通用的方法之一。比较结果表明,通过性能指标之间的差异是边际的,支持向量机给出了更高的精度和更低的出错率。
2010-07-29 cs.LG
Neural Additive Vector Autoregression Models for Causal Discovery in Time Series
University of Antwerp(安特卫普大学);imec(imec(微电子研究中心))
复杂动力系统的因果结构发现是许多科学领域面临的重要挑战。虽然(干预)实验的数据通常是有限的,大量的观测时间序列数据集通常是可用的。目前从时间序列中学习因果结构的方法通常假设线性关系。因此,他们可能会失败,在现实的设置,包含变量之间的非线性关系。我们提出了神经加性向量自回归(NAVAR)模型,这是一种用于因果结构学习的神经方法,可以发现非线性关系。我们训练深度神经网络,从多变量时间序列的时间演化中提取(加性)格兰杰因果影响。该方法实现了国家的最先进的结果,在各种基准数据集的因果发现,同时提供清晰的解释映射的因果关系。
2021-10-18 cs.LG
Recognizing Static Signs from the Brazilian Sign Language: Comparing Large-Margin Decision Directed Acyclic Graphs, Voting Support Vector Machines and Artificial Neural Networks
Federal University of São Carlos(圣卡洛斯联邦大学)
在本文中,我们探讨和详细介绍了我们的实验在一个高维,多类图像分类的问题,经常发现在自动识别的手语。在这里,我们的努力是针对比较的特点,优点和缺点的创建和训练支持向量机部署在有向无环图和人工神经网络分类标志从巴西手语(LIBRAS)。我们探讨了不同的分类器,超参数和多类决策方案如何影响每个分类器的性能,效率和易用性。我们提供了捕捉准确性和效率的超参数表面图,DDAG和1-vs-1 SVM之间的比较,以及使用弹性反向传播训练ANN时的启发式效果。我们报告统计学显着的结果,使用科恩的Kappa统计列联表。
2012-10-28 cs.CV cs.LG stat.ML
Do Neural Network Cross-Modal Mappings Really Bridge Modalities?
KU Leuven(鲁汶大学)
前馈网络广泛用于跨模态应用中,通过将一种模态的分布式向量映射到另一种模态或共享空间来桥接模态。然后使用预测的矢量来执行例如,检索或标记。因此,整个系统的成功依赖于映射使得邻域结构(即,成对相似性)的预测向量类似于目标向量的预测向量。然而,这是否已经实现尚未调查。在这里,我们提出了一个新的相似性度量和两个特设的实验来阐明这个问题。在三个跨模态基准测试中,我们学习了大量的语言到视觉和视觉到语言的神经网络映射(最多五层),使用了丰富多样的图像和文本特征以及损失函数。我们的研究结果表明,令人惊讶的是,预测向量的邻域结构始终类似于输入向量比目标向量。在第二个实验中,我们进一步表明,未经训练的网络不会显著破坏邻域(即,语义的)输入向量的结构。
2018-06-04 cs.CL cs.CV cs.LG
Direction of Arrival Estimation for a Vector Sensor Using Deep Neural Networks
Virginia Tech(弗吉尼亚理工学院暨州立大学)
矢量传感器是一种具有六个并置天线的传感器阵列,用于测量入射波的所有电磁场分量,已被证明在估计入射源的到达角和极化方面是有利的。虽然线性阵列的机器学习角度估计已经得到了很好的研究,但对于矢量传感器还没有类似的解决方案。在本文中,我们提出了神经网络来确定源的数量和估计每个源的到达角,从接收到的数据中提取的协方差矩阵的基础上。此外,我们提供了一个解决方案,匹配输出角到相应的源,并检查与此方法的误差分布。结果表明,神经网络可以实现合理准确的估计与多达5个源,特别是如果视场是有限的。
2020-04-12 cs.LG eess.SP
Neural Mutual Information Estimation with Vector Copulas
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国理工学院);Alan Turing Institute(艾伦·图灵研究所);University of Edinburgh(爱丁堡大学)
本文提出基于向量连接函数的神经互信息估计器,在灵活性与简化性之间取得平衡,并在合成及真实数据上验证其优势。
2025-10-23 cs.LG
Learning Sampling in Financial Statement Audits using Vector Quantised Autoencoder Neural Networks
University of St. Gallen(圣加仑大学);Deutsche Bundesbank(德意志联邦银行);PricewaterhouseCoopers GmbH WPG(普华永道会计师事务所)
审计财务报表的目的是合理保证已发布的报表不存在“真实和公平的列报”重大误报。国际审计标准要求对报表中与会计相关的交易进行评估,即“日记账分录”,以发现潜在的错报。为了有效地审计越来越多的此类条目,审计员定期进行基于样本的评估,称为“审计抽样”。然而,审计抽样的任务往往在整个审计过程的早期进行。通常是在一个阶段,在这个阶段,审计员可能不知道导致审计范围内的日记账条目的所有生成因素及其动态。为了克服这一挑战,我们提出了矢量量化-变分自编码器(VQ-VAE)神经网络的应用。我们证明,基于两个现实世界的城市支付数据集,这种人工神经网络能够学习会计数据的量化表示。我们发现,学习量化揭示(一)潜在的变化因素,(二)可以作为一个高度代表性的审计样本,在财务报表审计。
2020-08-06 cs.LG stat.ML
Approximate spectral clustering using both reference vectors and topology of the network generated by growing neural gas
Komatsu University(小松大学);University of Electro-Communications(电气通信大学)
谱聚类(SC)是最流行的聚类方法之一,往往优于传统的聚类方法。SC使用从数据集的相似性矩阵计算的拉普拉斯矩阵的特征向量。SC有严重的缺点:从特征向量的计算导出的时间复杂度和存储相似性矩阵的存储器空间复杂度的显著增加。为了解决这个问题,我开发了一个新的近似谱聚类使用的网络生成的神经气体(GNG),在这项研究中称为ASC与GNG。具有GNG的ASC不仅使用参考矢量进行矢量量化,而且还使用网络的拓扑结构来提取数据集中数据点之间的拓扑关系。具有GNG的ASC从参考向量和由GNG生成的网络的拓扑计算相似性矩阵。基于GNG的自适应聚类算法利用GNG生成的网络,降低了计算复杂度和空间复杂度,提高了聚类质量。在这项研究中,我证明了ASC与GNG有效地减少了计算时间。此外,这项研究表明,ASC与GNG提供相等或更好的聚类性能比SC。
2021-08-12 cs.LG cs.NE stat.ML
Transformationally Identical and Invariant Convolutional Neural Networks by Combining Symmetric Operations or Input Vectors
Georgetown University Medical Center(乔治城大学医学中心);Virginia Tech(弗吉尼亚理工大学)
由变换后的输入向量或算子构造的变换不变处理器已被提出并应用于许多应用中。在这项研究中,transformationally相同的处理的基础上相结合的结果,所有的子过程与相应的转换在一个处理步骤或在开始的步骤被认为是等效的一个给定的条件。该特性可以应用于大多数卷积神经网络(CNN)系统。具体地,可以通过将内部对称操作与相同的变换族并行地布置来构造变换上相同的CNN,所述相同的变换族包括平坦化层,其中权重在其对应的变换元素之间共享。其他变换上相同的CNN可以通过在输入层对该族的变换输入向量进行平均,然后进行普通的CNN过程或一组对称操作来构建。有趣的是,我们发现,通过在激活函数之前对所有子通道的对应元素应用平均操作或不使用非线性激活函数,两种类型的变换相同的CNN系统在数学上是等效的。
2018-08-20 cs.CV cs.LG stat.ML
Music Signal Processing Using Vector Product Neural Networks
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
我们提出了一种新的神经网络模型的音乐信号处理,使用向量积神经元和维数变换。这里,输入首先从实值映射到三维向量,然后馈送到三维向量积神经网络,其中输入、输出和权重都是三维值。接下来,最终输出被映射回实数。提出了两种维度转换方法,一种是通过上下文窗口,另一种是通过谱着色。在iKala数据集上进行的盲歌声分离实验结果证实了该模型的有效性。
2017-06-29 cs.LG cs.MM cs.NE