Streaming Probabilistic Deep Tensor Factorization
University of Utah(犹他大学);Kwai Inc.(快手)
尽管现有的张量因式分解方法取得了成功,但它们中的大多数进行多线性分解,很少利用强大的建模框架,如深度神经网络,来捕获数据中的各种复杂交互。更重要的是,对于高表达性的深度因子分解,我们缺乏有效的方法来处理流数据,这在现实世界的应用中无处不在。为了解决这些问题,我们提出了SPIDER,流ProbabilistIc深度tEnsoR分解方法。我们首先使用贝叶斯神经网络(NN)构建一个深度张量分解模型。我们在NN权重上分配了一个尖峰和厚板先验,以鼓励稀疏性并防止过拟合。然后,我们使用泰勒展开和矩匹配近似后验的NN输出和计算运行模型的证据,在此基础上,我们开发了一个有效的流式后验推理算法的假设密度过滤和期望传播的框架。我们的算法在接收新的张量条目时为潜在因子和NN权重的后验提供响应性增量更新,同时选择和抑制冗余/无用的权重。我们展示了我们的方法在四个实际应用中的优势。
2020-07-14 cs.LG stat.ML
DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors
Rice University(莱斯大学)
DeepTensor是一个计算效率高的框架,用于使用深度生成网络对矩阵和张量进行低秩分解。我们将张量分解为低秩张量因子的乘积(例如,作为两个向量的外积的矩阵),其中每个低秩张量由以自监督方式训练的深度网络(DN)生成,以最小化均方近似误差。我们的关键观察是,DN中固有的隐式正则化使它们能够捕获非线性信号结构(例如,流形),这是经典的线性方法,如奇异值分解(SVD)和主成分分析(PCA)无法达到的。此外,与SVD和PCA相比,当张量的条目偏离加性高斯白噪声时,其性能会恶化,我们证明了DeepTensor的性能对广泛的分布具有鲁棒性。我们通过探索一系列现实世界的应用,包括高光谱图像去噪,3D MRI断层扫描和图像分类,验证了DeepTensor是SVD,PCA,非负矩阵分解(NMF)和类似分解的强大且计算效率高的替代品。特别是,DeepTensor为泊松噪声破坏的信号提供了比标准去噪方法高出6dB的信噪比,并且学习分解3D张量的速度比配备3D卷积的单个DN快60倍。
2022-04-07 cs.LG stat.AP stat.ML
Deep Ensemble Tensor Factorization for Longitudinal Patient Trajectories Classification
KU LEUVEN(鲁汶大学)
我们提出了一种生成的方法来分类几乎没有观察到的纵向患者轨迹。可用的时间序列表示为张量,并使用生成式深度递归神经网络进行因子分解。所学习的因子以紧凑的方式表示患者数据,然后可以用于下游分类任务。为了提高预测的鲁棒性和准确性,我们使用了这些深度生成模型的集合来模拟贝叶斯后验采样。我们说明了我们的架构上的重症监护的住院死亡率预测与96个纵向测量类型的入院后的第一个48小时内测量的案例研究的性能。我们的生成和集成策略的组合实现了超过0.85的AUC,并且优于SAPS-II死亡率评分和GRU基线。
2018-11-28 cs.LG stat.ML
A variational autoencoder-based nonnegative matrix factorisation model for deep dictionary learning
ARC Centre of Excellence for Mathematical & Statistical Frontiers(ARC数学与统计前沿卓越中心);Queensland University of Technology(昆士兰科技大学);Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
使用非负矩阵分解(NMF)构造字典在信号处理和机器学习中具有广泛的应用。随着深度学习的进步,使用深度神经网络训练紧凑和鲁棒的字典,即,字典的深度特征,已经提出。在这项研究中,我们提出了一个概率生成模型,它采用了变分自编码器(VAE)进行非负字典学习。与现有的VAE模型相比,我们将模型置于一个潜变量服从Gamma分布的统计框架下,并设计了一个新的损失函数来保证非负字典。我们采用了一个接受拒绝采样重新参数化技巧迭代更新的潜变量。我们将从VAE-NMF学习的字典应用于两个信号处理任务,即,语音增强和肌肉提取协同作用。实验结果表明,VAE-NMF在学习潜在的非负字典的最先进的方法相比,表现更好。
2023-01-18 cs.LG eess.SP
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar(突尼斯埃尔马纳尔大学突尼斯国立工程学院);Aix Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Ecole Centrale de Marseille(马赛中央理工学院)
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解,但我们表明,其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验,我们证明了这种隐式正则化的好处,在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
Deep Tensor Encoding
University of Cambridge(剑桥大学);Cortexica Vision Systems Limited(Cortexica视觉系统有限公司)
在统计信号处理和计算机视觉中,学习根据过完备字典或信息几何(Fisher向量)构造的特征向量的编码是广泛传播的。在使用深度学习分类器的基于内容的信息检索中,这种编码在扁平化的最后一层上学习,而不遵守底层特征张量的多线性结构。我们说明了各种功能编码,包括。稀疏字典编码和Fisher向量,以及提出结构化张量因子分解方案使我们能够执行检索,在平均精度方面,与Fisher向量编码的图像签名相当。简而言之,我们说明了结构约束如何提高检索保真度。
2017-11-12 cs.IR cs.LG stat.ML
Implicit Regularization in Deep Tensor Factorization
Aix Marseille Univ(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心);LIS(信息与系统实验室);Ecole Centrale de Marseille(马赛中央理工学院)
研究与梯度下降(GD)相关的隐式正则化的尝试已经将矩阵补全确定为合适的测试平台。最近的研究结果表明,这种现象不能被措辞为一个最小化规范的问题,这意味着一个范式的转变是必要的,必须考虑到动态。在目前的工作中,我们利用两个推广的张量因式分解,即Tucker和TensorTrain(TT),解决了更一般的张量完成设置。我们跟踪相关的量,如张量核范数,有效秩,广义奇异值,我们引入深度塔克和TT无约束因式分解来处理完成任务。在模拟数据和真实数据上的实验表明,梯度下降算法能够提高低秩解的质量,并验证了必须从动力学角度来解决这一问题的猜想.
2021-05-04 cs.AI cs.LG stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University(特拉维夫大学)
为了解释深度学习中的隐式正则化,重点关注了矩阵和张量分解,它们对应于简化的神经网络。结果表明,这些模型表现出一个隐含的倾向,低矩阵和张量秩,分别。为了更接近实际的深度学习,本文从理论上分析了分层张量分解中的隐式正则化,这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头,我们克服了与层次结构相关的挑战,并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发,我们设计了显式正则化来抑制局部性,并证明了它能够提高现代卷积网络在非局部任务上的性能,这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Integer Factorisation, Fermat & Machine Learning on a Classical Computer
本研究将费马分解算法的Lawrence扩展与深度学习结合,把整数分解转化为二分类问题,通过合成生成训练数据开展实验,分析不足并呼吁学界推动该方法向实用可扩展的整数分解算法发展。
2023-07-16 cs.LG math.NT
Deep Tensor Factorization for Spatially-Aware Scene Decomposition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究中心)
我们提出了一种完全无监督的方法来理解随机麦克风布置观察到的音频场景,通过将场景分解为其组成源及其在每个麦克风中的相对存在。为此,我们制定了一个神经网络架构,可以被解释为一个非负张量分解的多通道音频记录。通过对与通道内容相对应的学习网络参数进行聚类,我们可以学习源的各个频谱字典及其随时间的激活模式。我们的方法允许我们利用深度学习的进步,如端到端训练,同时还允许随机小批量训练,以便我们可以可行地分解难以使用标准方法分解的真实音频场景。这种神经网络架构很容易扩展到其他种类的张量因子分解。
2019-09-26 cs.LG cs.SD eess.AS
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Russian-Armenian University(俄亚大学)
在许多现实世界中,一组代理必须协调他们的行为,同时以分散的方式行事。同时,通常可以在模拟或实验室环境中以集中方式训练代理,其中全局状态信息可用并且通信约束被解除。学习以额外状态信息为条件的联合动作值是利用集中式学习的一种有吸引力的方法,但提取分散式策略的最佳策略尚不清楚。我们的解决方案是QMIX,这是一种新颖的基于价值的方法,可以以集中的端到端方式训练分散的策略。QMIX采用一个网络,该网络将联合动作值估计为每个代理值的复杂非线性组合,仅以局部观察为条件。我们在结构上强制执行的联合行动值是单调的每代理值,这使得易于处理的最大化的联合行动值在离策略学习,并保证集中和分散的政策之间的一致性。我们评估了QMIX在一组具有挑战性的星际争霸II微观管理任务,并表明QMIX显着优于现有的基于值的多智能体强化学习方法。
2018-06-06 cs.LG cs.MA stat.ML
Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Russian-Armenian University(俄罗斯-亚美尼亚大学);Facebook AI Research(脸书人工智能研究院)
在许多现实世界中,一个代理团队必须协调其行为,同时以分散的方式行事。同时,通常可以以集中的方式训练代理,其中全局状态信息可用并且通信约束被解除。学习以额外状态信息为条件的联合动作值是利用集中式学习的一种有吸引力的方法,但提取分散式策略的最佳策略尚不清楚。我们的解决方案是QMIX,这是一种新颖的基于价值的方法,可以以集中的端到端方式训练分散的策略。QMIX采用混合网络,将联合动作值估计为每个代理值的单调组合。通过在混合网络中使用非负权重,我们在结构上强制联合行动值在每个代理值中是单调的,这保证了集中式和分散式政策之间的一致性。为了评估QMIX的性能,我们提出了星际争霸多智能体挑战赛(SMAC)作为深度多智能体强化学习的新基准。我们评估QMIX的一组具有挑战性的SMAC场景,并表明它显着优于现有的多智能体强化学习方法。
2020-08-27 cs.LG cs.MA stat.ML
Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学)
QMIX是一种流行的$Q$ -学习算法,用于集中训练和分散执行范例中的协作MARL。为了实现简单的分散化,QMIX限制了联合动作$Q$ -它可以表示为每个代理效用的单调混合的值。然而,这种限制阻止它表示价值函数,其中代理对其动作的排序可以依赖于其他代理的动作。为了分析这种代表性的限制,我们首先形式化的目标QMIX优化,这使我们能够查看QMIX作为一个运营商,首先计算的$Q$学习目标,然后将它们投影到空间表示的QMIX。该投影返回可表示的$Q$值,该值使所有联合动作的未加权平方误差最小化。我们特别表明,这种预测可能无法恢复最优策略,即使访问$Q^*$,这主要是源于平等的权重放在每个联合行动。我们通过在预测中引入权重来纠正这一点,以便更加重视更好的联合行动。我们提出了两个加权方案,并证明他们恢复正确的最大行动的任何联合行动$Q$ -值,因此$Q^*$以及。基于我们的分析和结果的表格设置,我们介绍了两个可扩展的版本,我们的算法,中央加权(CW)QMIX和乐观加权(OW)QMIX和表现出改善性能的捕食者-猎物和具有挑战性的多智能体星际争霸基准任务。
2020-10-22 cs.LG cs.MA stat.ML
DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning
Columbia University(哥伦比亚大学);KAUST(阿卜杜拉国王科技大学);University of Central Florida(中佛罗里达大学)
稀疏张量经常出现在分布式深度学习中,要么是深度神经网络梯度的直接伪影,要么是显式稀疏化过程的结果。现有的通信原语对深度学习的特性是不可知的;因此,它们会带来不必要的通信开销。本文介绍了DeepReduce,这是一个用于稀疏张量压缩通信的通用框架,专为分布式深度学习量身定制。DeepReduce将稀疏张量分解为两个集合,值和索引,并允许对这些集合进行独立和组合压缩。我们支持各种常见的压缩器,例如用于值的Deflate,或用于索引的行程长度编码。我们还提出了两种新的压缩方案,实现卓越的结果:基于曲线拟合的值和基于布隆过滤器的指数。DeepReduce与现有的梯度稀疏器正交,可以与它们一起应用,对最终用户透明,以显着降低通信开销。作为概念证明,我们在Tensorflow和PyTorch上实现了我们的方法。我们对大型真实模型的实验表明,DeepReduce传输的数据更少,比现有方法的计算开销更低,而不会影响训练精度。
2021-02-05 cs.LG
Locally orderless tensor networks for classifying two- and three-dimensional medical images
University of Copenhagen(哥本哈根大学)
张量网络是高阶张量到低阶张量网络的因式分解,主要用于分析量子多体问题。最近,张量网络在监督学习任务方面的兴趣激增,重点是图像分类。在这项工作中,我们改进了矩阵乘积状态(MPS)张量网络,该网络可以对一维向量进行操作,以用于处理2D和3D医学图像。我们把小的图像区域作为无序的,挤压他们的空间信息到特征维度,然后对这些局部无序区域进行MPS操作。然后,这些局部表示以分层方式聚合以保持全局结构。在三个数据集上将所提出的局部无序张量网络(LoTeNet)与相关方法进行了比较。LoTeNet的架构在所有实验中都是固定的,我们表明它需要更少的计算资源来获得与比较方法相当或优于比较方法的性能。
2021-03-24 cs.CV cs.LG stat.ML
Tensor networks in machine learning
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
张量网络是一种用于表达和近似大型数据数组的分解类型。给定的数据集、量子态或更高维度的多线性映射被分解并由更小的多线性映射的合成来近似。这让人想起布尔函数如何被分解为门阵列:这代表了张量分解的特殊情况,其中张量项被0,1取代,因子分解变得精确。相关技术的集合被称为张量网络方法:该主题在几个不同的研究领域独立发展,最近通过张量网络的语言变得相互关联。该领域的等价问题涉及张量网络的可表达性和减少计算开销。张量网络与机器学习的合并是很自然的。一方面,机器学习可以帮助确定近似数据集的张量网络的因子分解。另一方面,给定的张量网络结构可以被视为机器学习模型。这里,张量网络参数被调整以学习或分类数据集。在本调查中,我们恢复了张量网络的基础知识,并解释了在机器学习中发展张量网络理论的持续努力。
2022-07-06 cond-mat.dis-nn cs.AI cs.LG
TensorLy: Tensor Learning in Python
Imperial College London(帝国理工学院);Middlesex University(米德尔塞克斯大学);Amazon AI(亚马逊人工智能);California Institute of Technology(加州理工学院)
张量是矩阵的高阶扩展。虽然矩阵方法是机器学习和数据分析的基石,但张量方法已经获得越来越多的关注。然而,软件对张量运算的支持并不相同。为了弥补这一差距,我们开发了\emph{TensorLy},这是一个用于Python中张量方法和深度张量化神经网络的高级API。TensorLy旨在遵循Python科学社区主要项目采用的相同标准,并与它们无缝集成。它的BSD许可证使其适合学术和商业应用。TensorLy的后端系统允许用户使用NumPy,MXNet,PyTorch,TensorFlow和CuPy执行计算。它们可以在多个CPU或GPU机器上扩展。此外,使用深度学习框架作为后端允许用户轻松设计和训练深度张量化神经网络。TensorLy可从https://github.com/tensorly/tensorly获得
2018-05-09 cs.LG
Tensor Contraction Layers for Parsimonious Deep Nets
Amazon AI(亚马逊AI);Imperial College London(帝国理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Southern California(南加利福尼亚大学);California Institute of Technology(加利福尼亚理工学院)
张量为机器学习中经常遇到的许多类型的数据提供了自然的表示。例如,图像自然地表示为三阶张量,其中模式对应于高度、宽度和通道。张量方法以其发现多维依赖关系的能力而闻名,特别是张量分解,已被用于产生数据的紧凑低秩近似。在本文中,我们探讨了张量收缩作为神经网络层的使用,并研究了将其应用于激活张量的几种方法。具体来说,我们提出了张量收缩层(TCL),这是首次尝试将张量收缩作为端到端的可训练神经网络层。应用于现有的网络,TCL减少了激活张量的维数,从而减少了模型参数的数量。我们评估TCL的图像识别任务,增强两个流行的网络(AlexNet,VGG)。生成的模型是端到端可训练的。将TCL应用于图像识别任务,使用CIFAR100和ImageNet数据集,我们评估了通过张量收缩进行参数缩减对性能的影响。我们证明了显着的模型压缩,而不显着影响的准确性,在某些情况下,提高了性能。
2017-06-01 cs.LG
Tensor-reduced atomic density representations
University of Warwick(华威大学);University of Cambridge(剑桥大学);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Université Paris-Saclay(巴黎萨克雷大学);Aalto University(阿尔托大学);Brigham Young University(杨百翰大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出张量约化原子密度表示,通过张量分解将化学元素信息映射至固定维度,使表示大小不随元素数增长,同时保持系统可收敛性,适用于数据分析和回归任务。
2026-10-14 cond-mat.mtrl-sci cs.LG physics.chem-ph
Tensor Decompositions in Deep Learning
University of Pisa(比萨大学);Imperial College(帝国理工学院)
本文综述了张量分解在现代机器学习应用中的主题。它侧重于三个积极的研究课题,对社会具有重要意义。在简要回顾了多路数据分析的综合工作之后,我们考虑使用张量分解来压缩深度学习模型的参数空间。最后,我们将讨论如何利用张量方法来产生复杂数据(包括结构化信息)的更丰富的自适应表示。本文最后讨论了有趣的开放式研究的挑战。
2020-02-26 cs.LG stat.ML
Deep tensor networks with matrix product operators
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
我们介绍了深度张量网络,它是基于权重矩阵的张量网络表示的指数宽神经网络。我们评估所提出的方法上的图像分类(MNIST,FashionMNIST)和序列预测(元胞自动机)的任务。在图像分类的情况下,深度张量网络改善了我们的矩阵乘积状态基线,并在MNIST上实现了0.49%的出错率,在FashionMNIST上实现了8.3%的出错率。在序列预测的情况下,我们证明了一个指数级的改进的参数的数量相比,一层张量网络方法。在这两种情况下,我们讨论了非均匀和均匀张量网络模型,并表明后者推广到不同的输入大小。
2022-09-16 cs.LG quant-ph
TGAN: Deep Tensor Generative Adversarial Nets for Large Image Generation
Imperial College London(帝国理工学院);Columbia University(哥伦比亚大学);Shanghai Jiao Tong University(上海交通大学)
深度生成模型已成功应用于许多应用。然而,现有的作品在生成大图像时遇到限制(文献通常生成小图像,例如32 * 32或128 * 128)。在本文中,我们提出了一种新的方案,称为深度张量对抗生成网络(TGAN),通过探索张量结构来生成大型高质量图像。本质上,TGAN的对抗过程发生在张量空间中。首先,我们施加张量结构简洁的图像表示,这是优越的捕获像素的邻近信息和图像中的基本对象的空间模式,在现有的作品中的矢量化预处理。其次,我们提出了TGAN,它以级联方式集成了深度卷积生成对抗网络和张量超分辨率,以从随机分布中生成高质量的图像。更具体地说,我们设计了一个张量超分辨率过程,包括张量字典学习和张量系数学习。最后,在三个数据集上,与最先进的对抗性自动编码器相比,所提出的TGAN生成具有更真实纹理的图像。生成的图像的大小增加了8.5倍以上,在PASCAL 2中为374 * 374。
2019-03-04 cs.CV cs.LG
Deep Compression of Sum-Product Networks on Tensor Networks
和积网络(SPN)代表了一类新兴的神经网络,具有清晰的概率语义和优于图形模型的推理速度。这项工作揭示了SPN和张量网络之间惊人的密切联系,从而导致了一种高效的表示,我们称之为张量SPN(tSPN)。这是第一次,通过将一个SPN映射到一个tSPN,并采用新的优化技术,我们表现出显着的参数压缩与精度可以忽略不计的损失。
2018-11-09 cs.LG stat.ML
Deep Multi-Task Learning via Generalized Tensor Trace Norm
Southern University of Science and Technology(南方科技大学);Nanjing University(南京大学)
迹范数因其能发现任务间模型参数的低秩结构而被广泛应用于多任务学习中。如今,随着大数据集的出现和深度学习技术的普及,张量迹范数已被用于深度多任务模型。然而,现有的张量迹范数不能发现所有的低秩结构,它们需要用户手动确定其组件的重要性。为了解决这两个问题,在本文中,我们提出了一个广义张量迹范数(GTTN)。GTTN被定义为所有可能的张量环的矩阵迹范数的凸组合,因此它可以发现所有可能的低秩结构。在诱导的目标函数中,我们将学习GTTN中的组合系数以自动确定重要性。在真实数据集上的实验证明了GTTN的有效性。
2020-02-12 cs.LG stat.ML
A Static Analyzer for Detecting Tensor Shape Errors in Deep Neural Network Training Code
Seoul National University(首尔大学)
我们提出了一个自动静态分析器PyTea,它可以检测PyTorch代码中的张量形状错误。张量形状错误在深度神经网络代码中至关重要;一旦在训练阶段中间发生张量形状不匹配,大部分训练成本和中间结果都会丢失。给定输入PyTorch源,PyTea静态跟踪每个可能的执行路径,收集路径的张量操作序列所需的张量形状约束,并决定约束是否不可满足(因此可能发生形状错误)。PyTea的可扩展性和精度取决于真实世界PyTorch应用程序的特性:PyTea保守修剪后的执行路径数量很少爆炸,循环足够简单,可以通过我们的符号抽象来限制。我们针对官方PyTorch存储库中的项目和StackOverflow中质疑的一些tensor-error代码测试了PyTea。PyTea成功地检测到这些代码中的张量形状错误,每次都在几秒钟内。
2021-12-16 cs.LG cs.PL
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL(太平洋西北国家实验室)
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的(稀疏)和,即Kruskal因子分析(KFA)。KFA是非参数的,并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习,允许在大数据集上进行字典学习。在引入KFA之后,该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进(例如,BPFA)、张量分解和卷积神经网络(CNN)在多路去噪、盲修复和图像分类中的应用。与其他方法相比,修复结果的PSNR改善在几种情况下超过1dB,我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Automatic inspection of cultural monuments using deep and tensor-based learning on hyperspectral imagery
National Technical University of Athens(雅典国立技术大学);University of Malta(马耳他大学)
在文化遗产中,通常使用高光谱图像,因为它们提供了有关材料光学特性的扩展信息。因此,从要应用的机器学习技术的角度来看,这种高维数据的处理变得具有挑战性。在本文中,我们提出了一个基于Rank- $R$张量的学习模型,以识别和分类文化遗产古迹的材料缺陷。与传统的深度学习方法相比,所提出的基于高阶张量的学习表现出更高的准确性和对过拟合的鲁棒性。联合国教科文组织保护区的真实世界数据的实验结果表明,与传统的深度学习模型相比,该计划的优越性。
2022-07-05 cs.CV cs.LG
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto(多伦多大学);Cerebras Systems(赛雷布拉斯系统公司);Vector Institute(向量研究所)
TensorDash是一种硬件级技术,用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时,TensorDash可以加快训练过程,同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合,该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合,但是当稀疏性存在于神经网络的激活、权重或梯度中时,调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中,TensorDash通过$1.95{\times}$加速训练过程,同时在考虑片上和片外内存访问时,$1.89\times$更节能,$1.6\times$更节能。虽然TensorDash适用于任何数据类型,但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
Back-and-Forth prediction for deep tensor compression
Simon Fraser University(西蒙弗雷泽大学)
最近的人工智能应用,例如具有神经网络的协作智能,涉及在各种计算设备之间传输深度特征张量。这需要张量压缩,以便优化设备之间带宽受限通道的使用。在本文中,我们提出了一种称为前后(BaF)预测的预测方案,该方案是为深度特征张量开发的,它允许我们显着减小张量大小并提高其可压缩性。我们与最先进的对象检测器的实验表明,所提出的方法使我们能够显着减少压缩从模型中提取的特征张量所需的位数,检测性能的下降可以忽略不计,并且不需要对网络权重进行任何重新训练。我们实现了张量大小减少62%和75%,同时保持网络准确性的损失分别小于1%和2%。
2020-02-14 cs.LG eess.IV eess.SP
TensorLayer: A Versatile Library for Efficient Deep Learning Development
Imperial College London(帝国理工学院)
深度学习在计算机视觉、自然语言处理和多媒体等领域取得了重大进展。开发深度学习系统是艰巨而复杂的,因为它涉及到构建神经网络架构,管理训练/训练模型,调整优化过程,预处理和组织数据等。TensorLayer是一个多功能的Python库,旨在帮助研究人员和工程师高效地开发深度学习系统。它为神经网络、模型和数据管理以及并行工作流机制提供了丰富的抽象。在提高效率的同时,TensorLayer还保持了性能和可扩展性。TensorLayer于2016年9月在GitHub上发布,帮助学术界和工业界人士开发深度学习的实际应用。
2017-08-03 cs.DC cs.LG stat.ML
Unifying Data, Model and Hybrid Parallelism in Deep Learning via Tensor Tiling
New York University(纽约大学)
深度学习系统已成为许多领域的重要工具,但不断增加的模型大小意味着必须加速训练以保持此类系统的实用性。目前的系统,如Tensorflow和MXNet,专注于一种特定的并行化策略,即数据并行,它需要大的训练批量才能扩展。我们将寻找最佳并行化策略的问题转化为寻找最佳平铺的问题,以最少的总体通信来划分张量。我们提出了一个算法,可以找到最佳的平铺。我们的并行化解决方案是数据并行和模型并行的混合。我们构建了一个可执行自动并行化的NetBeans系统。基于它找到的最佳平铺,CubeBean自动将现有深度学习系统前端捕获的串行CubeBean图转换为并行CubeBean图。我们的评估表明,对于AlexNet和VGG,CubeBean比纯数据并行快1.5倍-4倍。我们在一个新的系统中展示了这种自动平铺,该系统可以作为Tensorflow,MXNet和其他系统的后端。
2018-05-10 cs.DC cs.LG
Sparsity in Deep Neural Networks - An Empirical Investigation with TensorQuant
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Fraunhofer Center Machine Learning(弗劳恩霍夫机器学习中心)
深度学习正通过自动驾驶、智能传感器和增强现实等应用进入嵌入式世界。然而,深度神经网络的计算在能量、计算能力和存储器方面要求很高。已经研究了各种方法来减少必要的资源,其中之一是利用由于网络参数中的高冗余级别而在深度神经网络中发生的稀疏性。已经表明,稀疏性可以被具体地提升,并且所实现的稀疏性可以非常高。但在许多情况下,这些方法是在相当小的拓扑上进行评估的。尚不清楚结果是否转移到更深的拓扑结构上。在本文中,TensorQuant工具箱已经扩展到提供一个研究稀疏性的平台,特别是在更深层次的模型中。几个实际的相关拓扑结构不同的分类问题的大小进行了研究,以显示激活,权重和梯度的稀疏性的差异。
2018-08-27 cs.LG stat.ML
Tensor decomposition to Compress Convolutional Layers in Deep Learning
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);Rutgers University(罗格斯大学)
张量数据的特征提取是异常检测、过程监控、图像分类和质量控制等许多任务中的重要步骤。虽然已经提出了许多方法来进行张量特征提取,仍然有两个挑战需要解决:1)如何减少高维和大体积张量数据的计算成本; 2)如何解释输出特征并评估其重要性。{The最近的深度学习方法,如卷积神经网络(CNN),在分析张量数据方面表现出了出色的性能,但它们的广泛采用仍然受到模型复杂性和缺乏可解释性的阻碍。为了填补这一研究空白,我们提出在深度学习中使用CP分解来近似压缩卷积层(CPAC-Conv层)。我们的工作可以概括为三个方面:(1)我们采用CP分解来压缩卷积核,并推导出我们提出的CPAC-Conv层的前向和后向传播表达式;(2)与原始卷积层相比,我们提出的CPAC-Conv层可以减少参数的数量,而不会降低预测性能。它可以与其他层相结合,构建新的深度神经网络;(3)分解的内核的值指示相应特征图的重要性,这为我们提供了指导特征选择的见解。
2021-05-31 cs.LG stat.ML
FTuner: A Fast Dynamic Shape Tensors Program Auto-Tuner for Deep Learning Compilers
School of Computer Science and Engineering(计算机科学与工程学院);Beihang University(北京航空航天大学)
FTuner通过uKernel抽象计算单元拼接小张量以匹配动态输入形状,结合解析硬件信息模型,在保持与厂商库相当性能的同时将调优时间降低两个数量级。
2024-07-31 cs.DC cs.LG
LeFlow: Enabling Flexible FPGA High-Level Synthesis of Tensorflow Deep Neural Networks
University of British Columbia(不列颠哥伦比亚大学)
最近的研究表明,现场可编程门阵列(FPGA)在加速机器学习应用方面发挥着重要作用。机器学习应用程序的初始规范通常使用面向Python的高级框架(如Tensorflow)完成,然后使用供应商工具手动翻译为C或RTL进行合成。这种手动翻译步骤非常耗时,并且需要专业知识,这限制了FPGA在这一重要领域的适用性。在本文中,我们提出了一个开源工具流,将用Tensorflow编写的数值计算模型映射到可合成的硬件。与其他工具不同,这些工具通常受到少量不灵活模板的限制,我们的流使用Google的XLA编译器,该编译器直接从Tensorflow规范发出LLVM代码。这个LLVM代码可以与高级合成工具一起使用,以自动生成硬件。我们展示了我们的流程允许用户用很少的Python代码生成深度神经网络。
2018-07-14 cs.LG stat.ML
TensorProjection Layer: A Tensor-Based Dimension Reduction Method in Deep Neural Networks
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
本文提出 TensorProjection 层,通过可学习的按模态投影对张量特征进行降维,可替代池化或卷积层用于图像汇总和通道压缩,并在医学图像分类与分割任务中优于传统下采样方法。
2024-10-22 cs.CV cs.LG stat.ML
End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition
University of California, Riverside(加州大学河滨分校);University of Southern California(南加利福尼亚大学)
本文研究了深度卷积神经网络的权值学习问题。我们考虑一个网络,其中卷积是在每层都有一个内核的非重叠补丁上进行的。我们开发了一个算法,同时学习所有的内核从训练数据。我们的方法被称为深度张量分解(DeepTD)是基于秩1张量分解。我们在理论上研究DeepTD下的训练数据的可实现模型,其中输入是独立同分布选择的。从高斯分布,并且根据种植的卷积核生成标签。我们证明了DeepTD是数据高效的,并且只要样本大小超过网络中卷积权重的总数,就可以证明它是有效的。我们进行了各种数值实验,以研究DeepTD的有效性,并验证我们的理论研究结果。
2018-05-16 cs.LG math.OC stat.ML
Error Resilient Collaborative Intelligence via Low-Rank Tensor Completion
Simon Fraser University(西蒙菲莎大学)
在将人工智能(AI)带到边缘的竞争中,协作智能已经成为减轻运行基于深度神经网络(DNN)的应用程序的边缘设备上的计算负载的一种有前途的方法。通常,深度模型在某个层被拆分为边缘和云子模型。由边缘子模型产生的深度特征张量被传输到云,其中剩余的计算密集型工作量由云子模型执行。边缘和云之间的通信通道是不完善的,这将导致在云侧接收的深度特征张量中丢失数据。在这项研究中,我们研究了四种低秩张量补全方法在恢复深层特征张量中缺失数据方面的有效性。我们考虑稀疏张量,如VGG16模型产生的张量,以及非稀疏张量,如ResNet34模型产生的张量。我们研究了复杂度约束和无约束情形下的张量完备有效性。
2021-05-20 cs.CV cs.LG eess.IV
TensorDIMM: A Practical Near-Memory Processing Architecture for Embeddings and Tensor Operations in Deep Learning
KAIST(韩国科学技术院)
最近几个超标量的研究指出,嵌入层是当今计算机中部署的内存最密集的深度学习(DL)算法。本文讨论了嵌入层和相关张量操作的内存容量和带宽挑战。我们提出了我们的垂直集成的硬件/软件协同设计,其中包括一个定制的DIMM模块,增强了为DL张量操作量身定制的近数据处理内核。这些自定义DIRECT作为远程内存池填充在以GPU为中心的系统互连内部,允许GPU利用可扩展的内存带宽和容量扩展。我们的建议在真正的DL系统上的原型实现显示出平均6.2- 17.6倍的性能提高最先进的推荐系统。
2019-08-25 cs.AR cs.DC cs.LG
Neural tensor contractions and the expressive power of deep neural quantum states
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们建立了一般张量网络和深度前馈人工神经网络之间的直接联系。我们研究结果的核心是构建神经网络层,这些层可以有效地执行张量收缩,并使用常用的非线性激活函数。由此产生的深度网络具有许多边缘,这些边缘与要近似的张量网络的收缩复杂性密切匹配。在多体量子态的背景下,这一结果表明,神经网络状态具有严格相同或更高的表达能力比实际可用的变分张量网络。作为一个例子,我们表明,所有的矩阵产品状态可以有效地写为神经网络状态的一些边缘多项式的键维数和深度对数的系统大小。相反的情况并不成立,我们的结果意味着存在量子态,它们不能用矩阵乘积态或PEPS有效地表达,但可以用神经网络状态有效地表达。
2022-03-04 cs.LG cs.NE quant-ph
Spectral Tensor Train Parameterization of Deep Learning Layers
ETH Zurich(苏黎世联邦理工学院);HSE University(俄罗斯国立高等经济大学);KU Leuven(鲁汶大学)
我们研究了在深度学习背景下嵌入谱属性的权重矩阵的低秩参数化。低秩属性导致参数效率,并允许在计算映射时采取计算捷径。在优化问题中,谱特性常常受到约束,从而导致更好的模型和优化的稳定性。首先,我们看看紧凑的SVD参数化的权重矩阵,并确定冗余源的参数化。我们进一步应用张量训练(TT)分解的紧凑SVD组件,并提出了一个非冗余的可微参数化固定TT秩张量流形,称为谱张量训练参数化(STTP)。我们展示了神经网络压缩在图像分类设置中的效果,以及在生成对抗训练设置中的压缩和改进的训练稳定性。
2021-07-13 cs.CV cs.LG stat.ML
Logic Tensor Networks: Deep Learning and Logical Reasoning from Data and Knowledge
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);City University London(伦敦城市大学)
我们提出了逻辑张量网络:一个统一的框架,集成自动学习和推理。一个逻辑形式主义称为真正的逻辑是定义在一阶语言,其中公式的真值在区间[0,1]和语义定义具体的实数域。逻辑常数被解释为实数的特征向量。Real Logic促进了基于知识库的演绎推理和高效的数据驱动关系机器学习的良好集成。我们展示了如何使用Google的tensorflow原语在深度张量神经网络中实现Real Logic。最后,本文将逻辑张量网络应用于一个简单但具有代表性的知识完成示例。
2016-07-07 cs.AI cs.LG cs.LO
Quantum-Classical Machine learning by Hybrid Tensor Networks
School of Computer Science and Technology, Tiangong University(天津工业大学计算机科学与技术学院)
针对常规张量网络表征能力与架构可扩展性不足的问题,提出整合张量网络与经典神经网络的量子-经典混合张量网络HTN,可通过深度学习标准范式训练,在量子态分类等场景展现应用潜力。
2024-08-14 cs.LG quant-ph stat.ML
Mesh-TensorFlow: Deep Learning for Supercomputers
Google Brain(谷歌大脑)
批量拆分(数据并行)是主要的分布式深度神经网络(DNN)训练策略,由于其普遍适用性和对单程序多数据(SPMD)编程的适应性。然而,批量拆分存在一些问题,包括无法训练非常大的模型(由于内存限制),高延迟和小批量时的低效率。所有这些都可以通过更一般的分布策略(模型并行)来解决。不幸的是,有效的模型并行算法往往是复杂的发现,描述和实现,特别是在大型集群。我们介绍Mesh-TensorFlow,一种用于指定分布式张量计算的通用语言。数据并行性可以被视为沿着“批处理”维度拆分张量和操作,在Mesh-TensorFlow中,用户可以指定任何张量维度在处理器的多维网格的任何维度上拆分。Mesh-TensorFlow图编译成SPMD程序,该程序由并行操作和集合通信原语(如Allreduce)组成。我们使用Mesh-TensorFlow来实现Transformer序列到序列模型的高效数据并行、模型并行版本。使用多达512个核心的TPU网格,我们训练具有多达50亿个参数的Transformer模型,超越了WMT'14英法翻译任务和10亿字语言建模基准的最新成果。Mesh-Tensorflow可在https://github.com/tensorflow/mesh上获得。
2018-11-05 cs.DC cs.LG stat.ML
SciANN: A Keras/Tensorflow wrapper for scientific computations and physics-informed deep learning using artificial neural networks
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们介绍了SciANN,这是一个使用人工神经网络进行科学计算和物理深度学习的Python包。SciANN使用广泛使用的深度学习包Tensorflow和Keras来构建深度神经网络和优化模型,从而继承了Keras的许多功能,例如批量优化和模型重用以进行迁移学习。SciANN旨在使用物理信息神经网络(PINN)架构抽象神经网络结构,用于科学计算和偏微分方程(PDE)的求解和发现,从而提供设置复杂函数形式的灵活性。我们举例说明,在一系列的例子中,该框架可用于曲线拟合的离散数据,并在强和弱形式的偏微分方程的解决方案和发现。我们总结了SciANN目前可用的功能,并概述了正在进行的和未来的发展。
2020-09-16 cs.LG cs.MS cs.OH
SRDTI: Deep learning-based super-resolution for diffusion tensor MRI
Massachusetts General Hospital(马萨诸塞综合医院);Harvard Medical School(哈佛医学院);Tsinghua University(清华大学);Stanford University(斯坦福大学)
高分辨率弥散张量成像(DTI)有利于探测精细神经解剖结构中的组织微结构,但长扫描时间和有限的信噪比对以亚毫米分辨率采集DTI构成了重大障碍。为了应对这一挑战,我们提出了一种基于深度学习的超分辨率方法“SRDTI”,用于从低分辨率DWI合成高分辨率扩散加权图像(DWI)。SRDTI采用深度卷积神经网络(CNN)、残差学习和多对比度成像,并生成具有丰富纹理细节和微观结构信息的高质量结果,这些结果比三线性和三次样条插值更类似于高分辨率地面实况。
2021-02-17 cs.LG eess.IV physics.med-ph
Deep Neural Network Approximation using Tensor Sketching
Amazon ML(亚马逊机器学习);Samsung Research America(三星美国研究院);VMware Research(威睿研究院)
深度神经网络是功能强大的学习模型,可在许多计算机视觉、语音和语言处理任务上实现最先进的性能。在本文中,我们研究了在设计深度网络架构时出现的一个基本问题:给定目标网络架构,我们是否可以设计一个更小的网络架构来近似目标网络的操作?这个问题部分是由现代深度神经网络中的参数减少(压缩)的挑战所激发的,因为这些网络的不断增加的存储和内存需求在资源受限的环境中提出了问题。在这项工作中,我们专注于深度卷积神经网络架构,并提出了一种新的随机张量草图技术,我们利用它来开发一个统一的框架来近似卷积层和全连接层的操作。通过沿不同张量维度应用草图技术,我们设计了对卷积层和全连接层的更改,从而大大减少了网络中有效参数的数量。我们表明,由此产生的较小的网络可以直接训练,并具有与原始网络相当的分类精度。
2017-10-21 cs.AI cs.LG stat.ML
Compression and Interpretability of Deep Neural Networks via Tucker Tensor Layer: From First Principles to Tensor Valued Back-Propagation
这项工作旨在帮助解决深度神经网络(DNN)应用中的两个主要障碍,即大量的可训练参数及其物理可解释性。这是通过基于所提出的Tucker张量层(TTL)的张量值方法来实现的,作为DNN的密集权重矩阵的替代方案。这允许我们将一般DNN的权重矩阵视为高阶权重张量的矩阵展开。凭借张量分解的压缩特性,这使我们能够引入一种新颖而有效的框架,用于利用权重张量的多路性质,以显着减少DNN参数的数量。我们还推导出张量值的TTL框架内的反向传播算法,通过扩展的概念矩阵导数张量。通过这种方式,利用Tucker分解的物理可解释性,通过计算每个因子矩阵的梯度过程,获得对NN训练的物理见解。所提出的框架验证的合成数据,和基准数据集MNIST,时尚MNIST,和CIFAR-10。总的来说,通过提供训练中每个数据特征的相对重要性的能力,TTL反向传播被证明有助于减轻NN固有的“黑匣子”性质。实验结果表明,TTL算法在MNIST和Fashion-MNIST上实现了66.63倍的压缩,而通过简化VGG-16网络,在训练时间上实现了10%的加速,性能相当.
2020-01-06 cs.CV cs.LG eess.SP
Wider and Deeper, Cheaper and Faster: Tensorized LSTMs for Sequence Learning
University College London(伦敦大学学院);National University of Defense Technology(国防科技大学);Sichuan University(四川大学);Alan Turing Institute(艾伦·图灵研究所)
长短期记忆(LSTM)是一种流行的方法,可以提高递归神经网络存储长期时间信息的能力。LSTM网络的容量可以通过扩大和增加层来增加。然而,通常前者引入了额外的参数,而后者增加了运行时间。作为替代方案,我们提出了张量化LSTM,其中隐藏状态由张量表示,并通过跨层卷积进行更新。通过增加张量的大小,网络可以有效地扩展,而无需额外的参数,因为参数在张量中的不同位置共享;通过延迟输出,网络可以隐式地加深,而只需很少的额外运行时间,因为每个时间步的深度计算合并到序列的时间计算中。在五个具有挑战性的序列学习任务上进行的实验表明了该模型的潜力。
2017-12-13 cs.AI cs.LG cs.NE
Deep Tensor Network
针对Transformer注意力二次复杂度瓶颈,提出Deep Tensor Network框架,通过张量代数重构注意力,推出张量注意力与张量交互算子,实现O(d²)复杂度的流式因果计算,兼具效率与表达力,为下一代序列模型提供新构建模块。
2026-11-10 cs.AI cs.CV cs.LG
Stable Tensor Neural Networks for Rapid Deep Learning
Tufts University(塔夫茨大学);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心);Tel Aviv University(特拉维夫大学)
我们提出了一个张量神经网络($t$ -NN)框架,为设计具有多维(张量)数据的神经网络提供了一个令人兴奋的新范例。我们的网络架构基于$t$ -乘积(Kilmer和Martin,2011),这是一种通过循环卷积来乘以张量的代数公式。在这个$t$ -积代数中,我们将张量解释为$t$ -线性运算符,类似于矩阵作为线性运算符,因此我们的框架继承了模拟矩阵属性。为了验证我们的$t$的优雅的矩阵模拟代数结构,我们扩展了最近的工作(Haber和Ruthotto,2017),该工作将深度神经网络解释为非线性微分方程的离散化,并引入了稳定的神经网络,以促进卓越的泛化能力。出于这个动态框架,我们引入了一个稳定的$t$ -NN,它有利于更快速的学习,因为它减少了,更强大的参数化。通过我们的高维设计,我们创建了一个更紧凑的参数空间,并提取多维相关性,否则潜在的传统算法。我们进一步将我们的$t$ -NN框架推广到一个张量-张量乘积族(Kernfeld,Kilmer和Aeron,2015),它仍然诱导矩阵模拟代数结构。通过在MNIST和CIFAR-10数据集上的数值实验,我们证明了稳定的$t$ -NN具有更强的参数化能力和更好的泛化能力。
2018-11-15 cs.LG cs.NA math.NA
Deep composition of tensor-trains using squared inverse Rosenblatt transports
Monash University(莫纳什大学);University of Bath(巴斯大学)
刻画高维随机变量是随机计算的基本挑战之一。最近激增的运输地图提供了一个数学基础和新的见解,通过耦合棘手的随机变量与易处理的参考随机变量来应对这一挑战。本文将Dolgov等人(Stat Comput 30:603- 625,2020)最近提出的逆Rosenblatt输运的泛函张量列近似推广到一类高维非负函数,如非归一化概率密度函数。首先,我们扩展逆Rosenblatt变换,使运输一般的参考措施以外的统一措施。我们开发了一个有效的程序来计算这种运输从平方张量列车分解,保持单调性。更重要的是,我们将所提出的保序功能张量火车运输到一个嵌套的变量转换框架的启发,深层神经网络的分层结构。由此产生的深逆Rosenblatt输运显着扩展张量近似和输运映射到具有复杂非线性相互作用和集中密度函数的随机变量的能力。我们证明了所提出的方法在统计学习和不确定性量化中的一系列应用的效率,包括动力系统的参数估计和偏微分方程约束的反问题。
2021-10-19 cs.LG cs.NA math.NA
Ansor: Generating High-Performance Tensor Programs for Deep Learning
UC Berkeley(加州大学伯克利分校);Alibaba Group(阿里巴巴集团);Amazon Web Services(亚马逊云科技);Duke University(杜克大学)
Ansor通过分层搜索空间采样、进化搜索与学习成本模型,生成高性能张量程序,在Intel CPU、ARM CPU和NVIDIA GPU上分别提升性能高达3.8倍、2.6倍和1.7倍。
2023-10-15 cs.LG cs.NE cs.PF
hyper-sinh: An Accurate and Reliable Function from Shallow to Deep Learning in TensorFlow and Keras
Coventry University(考文垂大学);University of Auckland(奥克兰大学);Warshel Institute for Computational Biology(瓦谢尔计算生物学研究所);The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)(香港中文大学(深圳));Centro Studi Eteropoiesi(埃特罗波耶西研究中心)
本文介绍了“hyper-sinh”,这是m-arcsinh激活函数的一种变体,适用于基于深度学习(DL)的监督学习算法,如卷积神经网络(CNN)。因此,在开源Python库TensorFlow和Keras中开发的hyper-sinh被描述和验证为浅层和深层神经网络的准确和可靠的激活函数。讨论了Keras提供的五个(N = 5)基准数据集上图像和文本分类任务的准确性和可靠性的改进。实验结果表明,通过这种新功能获得的浅层和深层神经网络的整体竞争性分类性能。该函数相对于金标准激活函数进行评估,证明其整体竞争力的准确性和可靠性的图像和文本分类。
2020-11-15 cs.AI cs.CL cs.CV