Quantum Machine Learning Algorithm for Knowledge Graphs
Ludwig Maximilian University of Munich(慕尼黑大学);Siemens CT(西门子中央研究院)
语义知识图是用于知识表示和推理的大规模三元数据库。隐含知识可以通过建模和重构从知识图生成的张量表示来推断。然而,随着知识图的规模不断增长,经典建模变得越来越计算资源密集。本文研究了如何利用量子资源来加速知识图的建模。特别是,我们提出了第一个量子机器学习算法,用于对张量化数据进行推理,例如,知识图谱由于大多数张量问题都是NP困难的,因此设计量子算法来支持这项任务是具有挑战性的。我们简化了问题,提出一个合理的假设,张量表示的知识图可以近似其低秩张量奇异值分解,这是由我们的实验验证。所提出的基于采样的量子算法实现了指数加速,其运行时间在知识图张量的维度上是多对数的。
2020-11-24 cs.LG quant-ph
Gaussian Universality and Its Breakdown in Tensor-Network Machine Learning
Nankai University(南开大学);Max Planck Institute of Quantum Optics(马克斯·普朗克量子光学研究所)
本文解析研究了张量网络机器学习中高斯普适性的出现与破缺条件,证明大键维下模型收敛于高斯过程,而大物理维下全局可观测量出现非高斯修正,揭示其受参数数、架构缩放、可观测量局域性和谱性质共同控制。
2026-10-06 cs.LG quant-ph
Improvements to Gradient Descent Methods for Quantum Tensor Network Machine Learning
TyTN
张量网络已经在无数不同的应用中证明了机器学习的重要价值。然而,使用标准梯度下降优化张量网络在实践中已被证明是困难的。张量网络存在初始化问题,导致梯度爆炸或消失,需要大量的超参数调整。克服这些问题的努力通常取决于特定的网络架构或ad hoc处方。在本文中,我们解决的问题,初始化和超参数调整,使之有可能训练张量网络使用既定的机器学习技术。我们引入了一个“复制节点”的方法,成功地将任意张量网络,除了基于梯度的正则化技术的债券尺寸。我们提出的数值结果表明,本文提出的技术组合产生了具有更少参数的量子启发张量网络模型,同时提高了泛化性能。
2022-03-03 cond-mat.str-el cs.LG quant-ph
Quantum-Classical Machine learning by Hybrid Tensor Networks
School of Computer Science and Technology, Tiangong University(天津工业大学计算机科学与技术学院)
针对常规张量网络表征能力与架构可扩展性不足的问题,提出整合张量网络与经典神经网络的量子-经典混合张量网络HTN,可通过深度学习标准范式训练,在量子态分类等场景展现应用潜力。
2024-08-14 cs.LG quant-ph stat.ML
tn4ml: Tensor Network Training and Customization for Machine Learning
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Qilimanjaro Quantum Tech(奇利曼哈罗量子科技公司);European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN))
本文提出 tn4ml 库,将张量网络嵌入机器学习优化流程,支持数据嵌入、目标定义与多种训练策略,并通过表格监督学习和图像无监督学习验证其灵活性及定制效果。
2025-02-18 cs.LG cs.MS quant-ph
Regularized second-order optimization of tensor-network Born machines
Bar-Ilan University(巴伊兰大学);Zapata AI.(Zapata AI公司)
本文针对张量网络玻恩机训练中对数损失函数导致的收敛慢和局部极小值问题,提出在归一化态流形上结合损失景观正则化的改进牛顿二阶优化方法,并在离散与连续数据集上验证了其稳定性、效率及可扩展性。
2025-05-06 cs.LG quant-ph
Tensor networks in machine learning
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
张量网络是一种用于表达和近似大型数据数组的分解类型。给定的数据集、量子态或更高维度的多线性映射被分解并由更小的多线性映射的合成来近似。这让人想起布尔函数如何被分解为门阵列:这代表了张量分解的特殊情况,其中张量项被0,1取代,因子分解变得精确。相关技术的集合被称为张量网络方法:该主题在几个不同的研究领域独立发展,最近通过张量网络的语言变得相互关联。该领域的等价问题涉及张量网络的可表达性和减少计算开销。张量网络与机器学习的合并是很自然的。一方面,机器学习可以帮助确定近似数据集的张量网络的因子分解。另一方面,给定的张量网络结构可以被视为机器学习模型。这里,张量网络参数被调整以学习或分类数据集。在本调查中,我们恢复了张量网络的基础知识,并解释了在机器学习中发展张量网络理论的持续努力。
2022-07-06 cond-mat.dis-nn cs.AI cs.LG
TensorKrowch: Smooth integration of tensor networks in machine learning
Universidad Complutense de Madrid(马德里康普顿斯大学);Instituto de Ciencias Matemáticas(数学科学研究所)
本文提出基于 PyTorch 的开源 Python 库 TensorKrowch,支持构建、训练张量网络并将其作为层集成到复杂深度学习模型中,同时介绍其功能、用法与性能优化细节。
2024-05-31 cond-mat.stat-mech cond-mat.str-el cs.LG
Quantum Machine Learning Tensor Network States
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
张量网络算法寻求最小化相关性以压缩表示量子态的经典数据。张量网络算法和类似的工具--称为张量网络方法--形成了用于模拟多体物理的现代数值方法的支柱,并在机器学习中有更广泛的应用。寻找和收缩张量网络状态是一项计算任务,量子计算机可以用来加速。我们提出了一个量子算法,返回一个经典的描述秩- $r$张量网络状态满足面积法和近似的特征向量给定的黑盒访问一个酉矩阵。我们的工作在几种当代方法之间建立了桥梁,包括张量网络,变分量子本征求解器(VQE),量子近似优化(QAOA)和量子计算。
2020-09-12 cond-mat.dis-nn cond-mat.str-el cs.LG
Boltzmann machines as two-dimensional tensor networks
Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);University of Chinese Academy of Sciences(中国科学院大学);Hangzhou Institute for Advanced Study, UCAS(国科大杭州高等研究院);International Centre for Theoretical Physics Asia-Pacific(国际理论物理中心亚太地区分中心)
限制玻尔兹曼机(RBM)和深度玻尔兹曼机(DBM)是机器学习中的重要模型,最近在量子多体物理中发现了许多应用。我们证明了它们与张量网络之间存在着根本的联系。特别是,我们证明了任何RBM和DBM都可以精确地表示为二维张量网络。这种表示方法利用张量网络的纠缠结构来理解RBM和DBM的表达能力,并为计算RBM和DBM的配分函数提供了一种有效的张量网络收缩算法.通过数值实验,我们证明了该算法在估计受限玻尔兹曼机和深度玻尔兹曼机的配分函数方面比现有的机器学习方法准确得多,并且在训练深度玻尔兹曼机以完成一般机器学习任务方面具有潜在的应用价值.
2021-05-10 cond-mat.stat-mech cs.LG physics.comp-ph
Quantum-inspired tensor networks in machine learning models
Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)(维科姆科技基金会,巴斯克研究与技术联盟(BRTA));University of Deusto(德乌斯大学);Escuela Técnica Superior de Ingeniería de Sistemas Informáticos, Universidad Politécnica de Madrid(马德里理工大学信息系统工程学院);Department of Applied Physics, University of Geneva(日内瓦大学应用物理系)
本文探讨了张量网络在机器学习中的应用,分析了其作为替代学习架构和神经网络组件分解的潜力,以及在计算效率、可解释性和隐私方面的优势与挑战。
2026-04-15 cs.AI cs.LG quant-ph
Towards Quantum Machine Learning with Tensor Networks
University of California Berkeley(加州大学伯克利分校);Center for Computational Quantum Physics, Flatiron Institute(计算量子物理中心,弗莱托恩研究所)
机器学习是量子计算的一个很有前途的应用,但挑战仍然存在,因为短期设备的物理量子比特数量有限,错误率很高。受张量网络在经典背景下用于机器学习的有用性的启发,我们提出了量子计算方法来进行判别学习和生成学习,其电路基于树和矩阵乘积状态张量网络,可能对近期设备有好处。其结果是一个统一的框架,其中经典和量子计算可以受益于相同的理论和算法发展,并且可以经典地训练相同的模型,然后将其转移到量子设置以进行额外的优化。张量网络电路还可以提供量子位高效方案,其中根据架构,所需的物理量子位的数量仅与输入或输出数据大小成比例,或独立于输入或输出数据大小。我们通过数值实验证明了我们的建议,训练一个判别模型,使用可以在量子硬件上进行的优化过程来执行手写识别,并测试训练模型的抗噪能力。
2018-07-31 cond-mat.str-el cs.LG quant-ph
Programming multi-level quantum gates in disordered computing reservoirs via machine learning and TensorFlow
University Sapienza(萨皮恩扎大学);National Research Council (ISC-CNR)(国家研究委员会(复杂系统研究所));University of Twente(特文特大学);Heriot-Watt University(赫瑞-瓦特大学)
新型机器学习计算工具为量子信息系统开辟了新的前景。在这里,我们采用开源编程库TensorFlow来设计多级量子门,包括由随机酉矩阵表示的计算库。在光学中,储存器是无序介质或多模光纤。我们表明,可训练的运营商在输入和读出,使一个实现多级门。我们研究了各种量子门,包括算法的缩放特性与水库的大小。尽管最初的低斜率学习阶段,TensorFlow是一个非常通用的资源,用于设计具有复杂介质的门,包括使用具有量化调制水平的空间光调制器的不同模型。
2019-10-03 cs.LG physics.optics quant-ph
Introduction to Tensor Decompositions and their Applications in Machine Learning
Technical University of Munich(慕尼黑工业大学)
张量是数值的多维数组,因此将矩阵推广到多维。虽然张量在$20^{\text{th}}$世纪首次出现在心理测量学社区,但从那时起,它们已经传播到许多其他学科,包括机器学习。张量及其分解在无监督学习环境中特别有益,但在其他子学科中也越来越受欢迎,如时态和多关系数据分析。本文的范围是对张量、它们的分解以及它们如何在机器学习中使用进行广泛的概述。作为其中的一部分,我们将介绍基本的张量概念,讨论为什么张量在分解的唯一性方面可以被认为比矩阵更严格,解释最重要的因式分解算法及其属性,提供张量分解在机器学习中应用的具体示例,对基于张量的混合模型估计进行案例研究,讨论研究现状,并提供对可用软件库的引用。
2017-11-29 cs.LG stat.ML
Tensor networks for unsupervised machine learning
Beijing Normal University(北京师范大学);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);University of Chinese Academy of Sciences(中国科学院大学);Swarma Research(集智研究院);Hangzhou Institute for Advanced Study, UCAS(中国科学院大学杭州高等研究院);International Centre for Theoretical Physics Asia-Pacific(亚太国际理论物理中心)
对高维数据的联合分布进行建模是无监督机器学习的核心任务。近年来,基于张量网络的学习模型受到了广泛的关注,它具有利用纠缠特性对表达能力有原理性理解的优点,并且可以作为连接经典计算和量子计算的桥梁。然而,尽管潜力巨大,但现有的无监督机器学习张量网络模型只能作为原理证明,因为它们的性能比标准模型(如受限玻尔兹曼机和神经网络)差得多。在这封信中,我们提出了自回归矩阵乘积状态(AMPS),这是一种张量网络模型,结合了量子多体物理学的矩阵乘积状态和机器学习的自回归建模。我们的模型享有的归一化概率和无偏抽样的精确计算。我们使用两个应用程序展示了我们的模型的性能,合成和真实世界数据的生成建模,以及统计物理学中的强化学习。使用广泛的数值实验,我们表明,该模型显着优于现有的张量网络模型和限制玻尔兹曼机,是最先进的神经网络模型的竞争力。
2023-02-01 cond-mat.stat-mech cs.LG quant-ph
Tensor machines for learning target-specific polynomial features
Stanford University(斯坦福大学);International Computer Science Institute(国际计算机科学研究所)
近年来的研究表明,使用随机特征映射可以显着减少基于内核的算法的训练和测试时间,而不会显着降低其准确性。遗憾的是,由于随机特征是目标不可知的,因此通常需要数千个这样的特征来实现可接受的精度。在这项工作中,我们考虑学习少量显式多项式特征的问题。我们的方法,名为张量机,找到了一个简约的功能集,通过优化的假设类介绍了卡尔和卡尼克随机特征图在特定目标的方式。利用多项式和张量之间的自然联系,我们提供了张量机的泛化误差的界限。从经验上讲,与其他最先进的学习多项式特征的技术相比,张量机在几个真实世界的数据集上表现良好,并且提供了更简约的模型。
2015-04-07 cs.LG stat.ML
Tensor Networks for Explainable Machine Learning in Cybersecurity
Multiverse Computing;Department of Basic Sciences, Tecnun - University of Navarra(基础科学系,塔努大学);Donostia International Physics Center(Donostia国际物理中心);Ikerbasque Foundation for Science(Ikerbasque科学基金会)
本文提出基于矩阵乘积态的无监督聚类算法,在对抗性威胁情报中实现与深度学习相当的性能,并提供特征级概率、熵和互信息,增强模型可解释性。
2025-04-25 cs.AI cs.LG quant-ph
A Support Tensor Train Machine
The Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系)
本文提出支持张量列车机,通过将传统支持张量机中的秩一张量替换为张量列车,提升模型表达能力,实验验证其优于SVM和STM。
2018-04-17 cs.CV cs.LG cs.NA
Kernelized Support Tensor Train Machines
The University of Hong Kong(香港大学);Delft University of Technology(代尔夫特理工大学);Tsinghua University(清华大学)
张量是一种多维数据结构,最近在机器学习社区中得到了利用。传统的机器学习方法是基于向量或矩阵的,并且不能直接处理张量数据。本文首次提出了一种基于张量训练(TT)的核技术,并将其应用于传统的支持向量机(SVM)的图像分类中。具体来说,我们提出了一个核化的支持张量训练机,接受张量输入,并保留固有的内核属性。主要贡献有三方面。首先,我们提出了一个基于TT的特征映射过程,保持TT结构的特征空间。其次,我们展示了两种方法来构造基于TT的核函数,同时考虑与TT内积的一致性和信息的保存。第三,我们表明,它是可以应用不同的核函数对不同的数据模式。原则上,我们的方法张量标准SVM的输入结构和核映射方案。在真实世界的张量数据上进行了大量的实验,证明了该方案在少样本高维输入下的优越性。
2020-01-02 cs.CV cs.LG stat.ML
Self-Adaptive Physics-Informed Quantum Machine Learning for Solving Differential Equations
RWTH Aachen University(亚琛工业大学);Forschungszentrum Jülich(于利希研究中心);University of Cologne(科隆大学)
该研究将切比雪夫多项式与自适应物理信息神经网络结合,在量子机器学习框架下求解多种微分方程,并通过量子关联测量和纠缠层提升精度,为量子设备求解微分方程提供了新途径。
2025-01-20 cs.LG physics.comp-ph quant-ph
Tensor networks for interpretable and efficient quantum-inspired machine learning
Capital Normal University(首都师范大学);University of Chinese Academy of Sciences(中国科学院大学)
本文回顾了基于张量网络的机器学习进展,指出其结合量子信息理论与多体物理计算技术,能同时实现高可解释性与高效率,并有望推动未来量子人工智能的发展。
2023-11-19 cs.AI cs.LG quant-ph
Tensor Relational Algebra for Machine Learning System Design
Rice University(莱斯大学);Arizona State University(亚利桑那州立大学)
我们考虑的问题是:什么是抽象,应该由一个机器学习系统的计算引擎实现?当前的机器学习系统通常通过一系列计算内核(如矩阵乘法或激活函数)推动整个张量,其中每个内核都在AI加速器(ASIC)(如GPU)上运行。这种实现抽象几乎没有为ML系统提供内置支持,以扩展到单个机器,或者处理具有矩阵或张量的大型模型,这些模型不容易放入ASIC的RAM中。在本文中,我们提出了一个替代的实现抽象称为张量关系代数(TRA)。TRA是基于关系代数的集合代数。TRA中的表达式在二元张量关系上操作,其中键是多维数组,值是张量。TRA在并行或分布式环境中易于高效执行,并且易于自动优化。我们的实证研究表明,优化的基于TRA的后端可以显著优于在分布式集群中运行ML工作流的替代方案。
2021-08-09 cs.DB cs.LG
Exploring the Effects of Entanglement on Quantum Machine Learning of Pathogen Epitope-Receptor Binding
Vaccine and Infectious Disease Organization (VIDO)(疫苗与传染病组织);University of Saskatchewan(萨斯喀彻温大学);Faculty of Applied Science, University of Toronto(多伦多应用科学学院);Department of Mathematics and Statistics, University of Saskatchewan(萨斯喀彻温大学数学与统计学系);Centre for Quantum Topology and Its Applications (quanTA)(量子拓扑及其应用中心);Department of Computer Science, University of Saskatchewan(萨斯喀彻温大学计算机科学系);Advanced Research Computing, University of Saskatchewan(萨斯喀彻温大学高级研究计算中心);Vaccinology and Immunotherapeutics Program, School of Public Health, University of Saskatchewan(疫苗学与免疫治疗计划,公共卫生学院,萨斯喀彻温大学);Nord quantique(北量子)
研究特征映射阶段两量子比特纠缠门的数量和拓扑结构如何影响混合量子神经网络在猪繁殖与呼吸综合征疫苗设计中表位-受体结合分类的性能,发现高纠缠ZZ特征映射能减少训练过拟合。
2026-06-27 cs.LG q-bio.BM quant-ph
Laplace Approximation for Bayesian Tensor Network Kernel Machines
Delft Center for Systems and Control(代尔夫特系统与控制中心);Delft University of Technology(代尔夫特理工大学)
本文提出了一种基于拉普拉斯近似的贝叶斯张量网络核机,用于在张量网络假设下实现原理化的不确定性估计,在UCI回归基准测试中表现优异。
2026-04-29 cs.LG stat.ML
No-Free-Lunch Theories for Tensor-Network Machine Learning Models
Nankai University(南开大学);Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Harvard University(哈佛大学);Hefei National Laboratory(合肥国家实验室)
本研究针对张量网络机器学习模型缺乏局限性理论认知的问题,通过组合方法分别证明了一维矩阵乘积态与二维投影纠缠对态模型的没有免费午餐定理,揭示了这类模型的内在局限。
2024-12-07 cs.AI cs.DS cs.LG
TTML: tensor trains for general supervised machine learning
University of Geneva(日内瓦大学)
本文提出了一种基于张量训练的有监督机器学习通用估计器。估计器使用TT参数化离散函数,然后使用黎曼梯度下降的形式下的张量完成问题进行优化。由于这种优化对初始化敏感,因此使用其他ML估计器进行初始化至关重要。这导致了一个有竞争力的,快速的ML估计器,其内存使用量低于许多其他ML估计器,如用于初始化的ML估计器。
2022-03-08 cs.LG cs.NA math.NA
TensorNetwork: A Library for Physics and Machine Learning
Alphabet (Google) X(Alphabet(谷歌)X);Perimeter Institute for Theoretical Physics(圆周理论物理研究所);Google, Inc.(谷歌公司)
TensorNetwork是一个用于实现张量网络算法的开源库。张量网络是最初设计用于模拟量子多体物理的稀疏数据结构,但目前也应用于许多其他研究领域,包括机器学习。我们演示了API在物理和机器学习应用中的使用,详细信息见配套论文。
2019-05-03 cond-mat.str-el cs.LG hep-th
Tensor Network-Constrained Kernel Machines as Gaussian Processes
Delft University of Technology(代尔夫特理工大学)
本文证明CPD和TT约束的核机器在独立同分布先验下可恢复高斯过程,并表明TT在相同参数量下比CPD更接近高斯过程行为,从而建立张量网络约束核机器与高斯过程的联系。
2024-03-28 cs.LG stat.ML
Share the Tensor Tea: How Databases can Leverage the Machine Learning Ecosystem
Microsoft(微软);University of Washington(华盛顿大学)
我们演示了张量查询处理器(TQP):一个查询处理器,自动编译成张量程序的关系运算符。通过利用PyTorch等张量运行时,TQP能够:(1)与ML工具集成(例如,Pandas用于数据摄取,Tensorboard用于可视化);(2)针对不同的硬件(例如,CPU、GPU)和软件(例如,浏览器)后端;以及(3)端到端加速包含关系和ML运算符的查询。TQP足够通用,可以支持TPC-H基准测试,它提供的性能可以与专用CPU和GPU查询处理器相媲美,甚至更好。
2022-09-10 cs.DB cs.LG
Tensor Network Kernel Machines: A JAX Framework for Machine Learning and Nonlinear System Identification
Delft Center for Systems and Control, TU Delft(代尔夫特理工大学德尔夫特系统与控制中心)
本研究开发了基于JAX的开源Python库“tnkm”,用于构建训练张量网络核机模型,该模型在非线性基准问题上兼具高预测精度与高效性,可支撑相关学习方法的可复现开发应用。
2026-08-10 cs.LG cs.MS cs.SY
A Tensor Compiler for Unified Machine Learning Prediction Serving
UC San Diego(加利福尼亚大学圣地亚哥分校);Microsoft(微软);Seoul National University(首尔国立大学)
机器学习(ML)在企业中的采用需要更简单、更高效的软件基础设施--大型网络公司中典型的定制解决方案根本站不住脚。模型评分是从训练模型中获得对新数据的预测的过程,是基础设施复杂性和成本的主要贡献者,因为模型只训练一次,但使用多次。在本文中,我们提出了HUMMINGBIRD,一种新的模型评分方法,它编译了特征化运算符和传统的ML模型(例如,决策树)分解成一小组张量运算。这种方法本质上降低了基础设施的复杂性,并直接利用神经网络编译器和运行时的现有投资,为CPU和硬件加速器生成高效的计算。我们的性能结果很有趣:尽管替换了命令式计算(例如,树遍历)与张量计算抽象,HUMMINGBIRD具有竞争力,并且在CPU和GPU上的微基准测试中通常优于手工制作的内核,同时实现ML管道的无缝端到端加速。我们已经将HummingBird作为开源发布。
2020-10-19 cs.LG
When Conventional machine learning meets neuromorphic engineering: Deep Temporal Networks (DTNets) a machine learning frawmework allowing to operate on Events and Frames and implantable on Tensor Flow Like Hardware
Sorbonne Universitas(索邦大学);University of Pittsburgh/Medical Center(匹兹堡大学医学中心);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们介绍了深度时间网络的原理,它允许通过深度集成原理来增加卷积网络的时间,不仅使用空间信息,而且使用越来越大的时间窗口。该概念可以用于传统的图像输入,也可以用于基于事件的数据。虽然受到大脑结构的启发,在越来越大的空间和时间尺度上整合信息,但它可以使用现有的架构在传统的硬件上运行。我们介绍了初步的结果,以显示该方法的效率。更深入的结果和分析将很快公布!
2018-11-19 cs.LG cs.NE
Adapting Tensor Kernel Machines to Enable Efficient Transfer Learning for Seizure Detection
本文提出了一种基于张量核机的高效迁移学习方法,用于在资源受限设备上实现高效的癫痫检测。
2025-12-02 cs.LG eess.SP
TensorLy: Tensor Learning in Python
Imperial College London(帝国理工学院);Middlesex University(米德尔塞克斯大学);Amazon AI(亚马逊人工智能);California Institute of Technology(加州理工学院)
张量是矩阵的高阶扩展。虽然矩阵方法是机器学习和数据分析的基石,但张量方法已经获得越来越多的关注。然而,软件对张量运算的支持并不相同。为了弥补这一差距,我们开发了\emph{TensorLy},这是一个用于Python中张量方法和深度张量化神经网络的高级API。TensorLy旨在遵循Python科学社区主要项目采用的相同标准,并与它们无缝集成。它的BSD许可证使其适合学术和商业应用。TensorLy的后端系统允许用户使用NumPy,MXNet,PyTorch,TensorFlow和CuPy执行计算。它们可以在多个CPU或GPU机器上扩展。此外,使用深度学习框架作为后端允许用户轻松设计和训练深度张量化神经网络。TensorLy可从https://github.com/tensorly/tensorly获得
2018-05-09 cs.LG
A Simple and Efficient Tensor Calculus for Machine Learning
Friedrich-Schiller-Universität Jena(弗里德里希-席勒大学耶拿分校);Data Assessment Solutions GmbH(数据评估解决方案有限公司)
计算张量表达式的导数,也称为张量演算,是机器学习中的一项基本任务。一个关键的问题是评估表达式及其衍生物的效率,这取决于这些表达式的表示。最近,已经引入了一种用于计算张量表达式(如雅可比矩阵或海森矩阵)的高阶导数的算法,该算法比先前的最先进的方法快几个数量级。不幸的是,该方法基于Ricci符号,因此无法纳入来自深度学习的自动微分框架,如TensorFlow,PyTorch,autograd或JAX,这些框架使用更简单的Einstein符号。这留下了两个选择,要么改变这些框架中的底层张量表示,要么开发一个新的,基于爱因斯坦符号的可证明正确的算法。显然,第一种选择是不切实际的。因此,我们采用第二种选择。在这里,我们表明,使用Ricci符号是没有必要的一个有效的张量演算和开发一个同样有效的方法,更简单的爱因斯坦符号。事实证明,转向爱因斯坦符号可以进一步改进,从而提高效率。本文所描述的方法已在计算矩阵和张量表达式的导数的在线工具www.MatrixCalculus.org中实现。这篇论文的扩展摘要出现在AAAI 2020的“A Simple and Efficient Tensor Calculus”。
2020-10-07 cs.LG cs.SC
Tree Tensor Networks for Generative Modeling
Institute of Physics, Chinese Academy of Sciences(中国科学院物理研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所)
矩阵乘积态(MPS),一个为一维量子系统设计的张量网络,最近被提出用于自然数据(如图像)的生成建模。然而,MPS中相关性的指数衰减严重限制了其对自然图像等复杂数据的建模能力。在这项工作中,我们通过采用树张量网络(TTN)推进张量网络在机器学习中的应用,该网络在表达性和高效训练和采样方面表现出平衡的性能。我们设计了树张量网络,利用自然图像的二维先验知识,并开发了扫描学习和采样算法,这些算法可以利用图形处理单元(GPU)有效地实现。我们将我们的模型应用于随机二进制模式和手写数字的二进制MNIST数据集。我们表明,TTN是优于MPS的生成式建模在保持相关性的像素在自然图像中,以及提供更好的对数似然分数在标准数据集的手写数字。我们还将其性能与最先进的生成模型进行了比较,例如变分自动编码器,限制玻尔兹曼机和PixelCNN。最后,我们讨论了张量网络状态在机器学习问题中的未来发展。
2019-01-08 cond-mat.stat-mech cs.LG quant-ph
Densifying Assumed-sparse Tensors: Improving Memory Efficiency and MPI Collective Performance during Tensor Accumulation for Parallelized Training of Neural Machine Translation Models
Amazon(亚马逊);SURFSara;Dell EMC(戴尔易安信);Intel(英特尔);Uber(优步)
神经机器翻译-使用神经网络翻译人类语言-是一个积极的研究领域,探索新的神经元类型和网络拓扑结构,目标是显着提高机器翻译性能。目前最先进的方法,如多头注意力为基础的Transformer,需要非常大的翻译语料库和许多时代,以产生合理的质量模型。最近尝试在多个节点上并行化官方TensorFlow“Transformer”模型,但由于内存使用过多以及在执行MPI集合时导致内存错误而遇到了障碍。本文描述了对Horovod MPI分布式训练框架的修改,通过将假定的稀疏张量转换为密集张量,并随后用密集梯度降低取代稀疏梯度聚集,来减少Transformer模型的内存使用。其结果是横向扩展能力的大幅提高,仅CPU的扩展测试实现了高达1200个MPI进程(300个节点)的91%弱扩展效率,以及使用Stampede 2超级计算机高达400个MPI进程(200个节点)的65%强扩展效率。
2019-05-10 cs.CL cs.DC cs.LG
Generative Tensor Network Classification Model for Supervised Machine Learning
University of Chinese Academy of Sciences(中国科学院大学);Tianjin Polytechnic University(天津工业大学);Capital Normal University(首都师范大学)
张量网络(TN)最近在量子多体希尔伯特空间中开发机器学习模型方面引起了广泛的兴趣。在这里,我们的目的是生成TN分类(GTNC)的监督学习的方法。该策略是训练生成TN的每一类样本构建分类器。分类是通过比较多体希尔伯特空间中的距离来实现的。GTNC的数值实验在MNIST和Fashion-MNIST数据集上显示了令人印象深刻的性能。测试精度与最先进的卷积神经网络相当,但高于朴素贝叶斯分类器(一种生成式分类器)和支持向量机。此外,GTNC是更有效的比现有的TN模型,在一般的歧视。通过研究多体希尔伯特空间中的距离,我们发现:(a)样本在这样的空间中是自然聚类的;(b)将TN的键维数限制为有限值对应于去除图像识别中的冗余信息。这两个特点使GTNC成为一种适应性强、通用性好的模型。
2019-03-26 cond-mat.str-el cs.LG quant-ph
A weighted subspace exponential kernel for support tensor machines
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);University of Bath(巴斯大学);TU Chemnitz(开姆尼茨工业大学)
张量形式的高维数据对于核分类方法是具有挑战性的。为了降低计算复杂度并提取信息特征,已经提出了基于低秩张量分解的核。然而,这些内核利用张量的哪些决定性特征通常是不清楚的。在本文中,我们提出了一种新的内核,是基于塔克分解。对于这个内核的塔克因子计算的基础上重新加权的塔克矩阵与可调功率的奇异值从HOSVD分解。这提供了一种平衡Tucker核心的贡献和数据因子的机制。我们在几个数据集上使用这个新内核对支持张量机器进行了基准测试。首先,我们生成合成数据,其中两个类在Tucker因子或核心方面不同,并比较我们的新内核和以前存在的内核。我们展示了新内核的鲁棒性,这两个分类方案。我们进一步在真实世界的数据集上测试了新方法。所提出的核已被证明比最先进的张量训练多路多级核具有更高的测试精度,并且计算时间显著降低。
2023-02-16 cs.LG stat.ML
Training Neural Machine Translation (NMT) Models using Tensor Train Decomposition on TensorFlow (T3F)
我们使用t3 f库在TensorFlow神经机器翻译(NMT)模型中实现了一个Tensor训练层。我们使用学习率$\in \{0.0004,0.0008,0.0012\}$、最大秩$\in \{2,4,8,16\}$和一系列核心维度对IWITHEN英语-越南语'15和WMT德语-英语'16数据集进行训练。我们与我们的基准测试运行获得的目标BLEU测试得分24.0进行比较。对于IWITHEN英语-越南语培训,我们分别使用学习率为0.0012的核心维度$(2, 2, 256) \times (2, 2, 512)$和等级分布$(1,4,4,1)$和$(1,4,16,1)$获得了24.0/21.9和24.2/21.9的BLEU测试/开发分数。这两次运行分别使用了基准测试运行的113%和397%的触发器。我们发现,调查的参数,更高的学习率和更多的“矩形”的核心尺寸一般产生更高的BLEU分数。对于WMT德语-英语数据集,我们使用学习率为0.0012的核心维度$(4, 4, 128) \times (4, 4, 256)$和秩分布$(1,2,2,1)$获得了24.0/23.8的BLEU分数。我们讨论了潜在的未来优化和应用张量训练分解到其他NMT模型。
2019-11-05 cs.CL cs.LG stat.ML
Laplace Approximation For Tensor Train Kernel Machines In System Identification
Delft Center for Systems and Control(代尔夫特系统与控制中心)
本文提出了一种基于拉普拉斯近似的贝叶斯张量展开核机,用于系统辨识问题,通过变分推断提高训练效率。
2025-12-02 cs.LG stat.ML
Quantum Tensor Network in Machine Learning: An Application to Tiny Object Classification
Duke University(杜克大学);Columbia University(哥伦比亚大学)
微小目标分类问题存在于许多机器学习应用中,如医学成像或遥感,其中感兴趣的目标通常占据整个图像的小区域。针对微小目标设计高效的机器学习模型具有挑战性。现有的神经网络结构主要是针对大尺度目标图像而开发的,不能有效地处理微小目标。然而,在量子物理学中,有一个很好的理论基础指导我们分析目标函数的图像分类关于特定的对象的大小比例。在我们的工作中,我们应用张量网络来解决这个棘手的机器学习问题。首先,本文总结了前人将量子自旋模型与图像分类相结合的工作,并将量子自旋模型引入到微小目标分类中。其次,我们提出了使用二维多尺度纠缠重整化方法(MERA)对图像中的微小物体进行分类。最后,我们的实验结果表明,张量网络模型是有效的微小对象分类问题,并有可能击败国家的最先进的。我们的代码将在网上https://github.com/timqqt/MERA_Image_Classification。
2021-01-08 cs.CV cs.LG
Expressive power of tensor-network factorizations for probabilistic modeling, with applications from hidden Markov models to quantum machine learning
Max-Planck-Institut für Quantenoptik(马克斯·普朗克量子光学研究所);Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心(MCQST));Dahlem Center for Complex Quantum Systems, Freie Universität Berlin(柏林自由大学达勒姆复杂量子系统中心);Freie Universität Berlin(柏林自由大学)
张量网络技术在物理学中取得了巨大的成功,并且最近在机器学习中引起了人们的关注,既作为制定新的学习算法的工具,又作为增强对现有方法的数学理解的工具。受这些发展的启发,以及张量网络和概率图形模型之间的自然对应关系,我们对离散多元概率分布的各种张量网络因子分解的表达能力进行了严格的分析。这些因子分解包括非负张量序列/MPS,它们与隐马尔可夫模型相对应,以及Born机,它们与局域量子电路自然相关。当用于建模概率分布时,它们表现出易处理的似然性,并允许有效的学习算法。有趣的是,我们证明了存在概率分布,其中一些张量网络分解的资源需求之间存在无界分离。特别令人惊讶的是,使用复张量而不是实张量可以导致网络参数数量的任意大的减少。此外,我们引入了局部纯化态(LPS),这是一种受量子系统模拟技术启发的新因子分解,具有比所有其他表示更好的表达能力。通过数值实验探讨了这一结果的后果。我们的研究结果意味着,LPS应被视为超过隐马尔可夫模型,并进一步提供了指导方针的概率建模的局部量子电路的设计。
2019-11-29 cond-mat.str-el cs.LG math.OC
Coupled Support Tensor Machine Classification for Multimodal Neuroimaging Data
多模态数据出现在各种应用中,其中从多个传感器并且跨不同的成像模态获取关于相同现象的信息。从多模态数据中学习是机器学习和统计学研究中的一个热点,因为这提供了在模态之间捕获互补信息的可能性。多模态建模有助于解释异构数据源之间的相互依赖性,发现可能无法从单一模态获得的新见解,并改进决策。最近,耦合矩阵-张量因子分解已被引入多模态数据融合,以联合估计潜在的因素,并确定复杂的潜在因素之间的相互依赖性。然而,大多数关于耦合矩阵-张量因子的先前工作集中在无监督学习上,并且很少有关于使用联合估计的潜在因子的监督学习的工作。本文研究多模态张量数据分类问题。提出了一种基于高级耦合矩阵张量分解(ACMTF)的潜在因子联合估计的耦合支撑张量机(C-STM)。C-STM结合个人和共享的潜在因素与多个内核和估计耦合矩阵张量数据的最大间距分类。C-STM的分类风险收敛到最优的贝叶斯风险,使其成为一个统计上一致的规则。C-STM是通过模拟研究以及同步EEG-fMRI分析验证。实验结果表明,C-STM可以利用多个源的信息,并提供了一个更好的分类性能比传统的单模式分类器。
2022-01-19 cs.LG stat.ME stat.ML
Exponential Machines
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学);Institute of Numerical Mathematics(数值数学研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
对特征之间的交互进行建模可以提高机器学习解决方案在许多领域(例如推荐系统或情感分析)的性能。在本文中,我们介绍了指数机(ExM),预测模型的每一个订单的所有相互作用。其关键思想是以一种称为张量训练(TT)的因子分解格式表示一个指数级大的参数张量。“张量训练”格式规范化模型,并允许您控制基础参数的数量。为了训练模型,我们开发了一个随机黎曼优化过程,它允许我们拟合具有2^160个条目的张量。我们表明,该模型在具有高阶交互的合成数据上实现了最先进的性能,并且在推荐系统数据集MovieLens 100K上与高阶因子分解机一样有效。
2017-12-08 cs.LG stat.ML
TensorNetwork for Machine Learning
Alphabet (Google) X(Alphabet(谷歌)X);Max-Planck-Institut für Quantenoptik(马克斯·普朗克量子光学研究所)
我们使用TensorNetwork开源库演示了张量网络在图像分类中的应用。我们详细解释了将图像数据编码为矩阵乘积状态形式,并描述了如何以可并行化且非常适合自动梯度优化的方式收缩网络。将该技术应用于MNIST和Fashion-MNIST数据集,我们发现使用相同的张量网络架构,开箱即用的性能分别为98%和88%的准确度。TensorNetwork库允许我们从CPU无缝迁移到GPU硬件,我们看到使用GPU的计算速度提高了10倍以上。
2019-06-07 cond-mat.str-el cs.CV cs.LG
Efficient Structure-preserving Support Tensor Train Machine
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);University of Bath(巴斯大学);Technische Universität Chemnitz(开姆尼茨工业大学)
越来越多的收集数据是高维多路数组(张量),这是有效的学习算法,以利用这种张量结构尽可能是至关重要的。高维数据的维数灾难和向量化数据时的结构损失促使使用定制的低秩张量分类方法。在存在少量训练数据的情况下,核方法提供了有吸引力的选择,因为它们提供了非线性决策边界的可能性。我们开发的张量训练多路多级核(TT-MMK),它结合了简单的规范多元分解,双结构保持支持向量机的分类能力,和张量训练(TT)近似的可靠性。我们通过实验表明,TT-MMK方法通常是更可靠的计算,调整参数不太敏感,并提供更高的预测精度时,对其他国家的最先进的技术的SVM分类基准。
2021-08-03 cs.LG cs.NA math.NA
Machine learning with tree tensor networks, CP rank constraints, and tensor dropout
ETH Zurich(苏黎世联邦理工学院);Duke University(杜克大学)
本文提出带 CP 秩约束和张量 dropout 的树张量网络机器学习方法,在 Fashion-MNIST 上以低成本达到 90.3% 准确率,并提升泛化与表示能力。
2025-01-04 cond-mat.str-el cs.LG stat.ML
TEC: Tensor Ensemble Classifier for Big Data
Michigan State University(密歇根州立大学)
张量(多维数组)分类问题在图像识别和高维时空数据分析等现代应用中已经变得非常普遍。支持张量机(STM)分类器是支持向量机的扩展,以CANDECOMP / Parafac(CP)形式的张量数据作为输入,预测数据标签。STM的分布自由和统计上一致的属性突出了它在成功处理各种数据应用中的潜力。训练一个STM可能是计算昂贵的高维张量。然而,使用随机投影技术减小张量的大小可以减少计算时间和成本,使得在常规机器上处理大尺寸张量变得可行。我们将用随机投影张量估计的STM称为基于随机投影的支持张量机(RPSTM)。在这项工作中,我们提出了一个张量增强分类器(TEC),它聚合了多个RPSTM大张量分类。TEC利用集成的思想,以最大限度地减少随机投影带来的过度分类风险,提供统计上一致的预测,同时利用RPSTM的计算优势。由于每个RPSTM可以独立地估计,TEC可以进一步利用并行计算技术,并且计算效率更高。理论和数值结果表明TEC模型在高维张量分类问题中具有良好的性能。该模型的预测是统计上一致的,因为它的风险收敛到最佳的贝叶斯风险。此外,我们强调TEC模型的计算成本和预测风险之间的权衡。通过大量的仿真和实际数据的例子验证了该方法的有效性。我们准备了一个用于应用TEC的python包,可以在我们的GitHub上找到。
2021-02-26 cs.LG stat.ML
A Nonlinear Kernel Support Matrix Machine for Matrix Learning
Shanghai Jiao Tong University(上海交通大学)
在监督张量学习(STL)的许多问题中,真实世界的数据(如人脸图像或MRI扫描)自然地表示为矩阵,也称为二阶张量。现有的基于张量表示的分类器,如支持张量机(STM),需要迭代求解,耗时长,容易陷入局部极小。在本文中,我们提出了一个核支持矩阵机(KSMM)进行监督学习时,数据表示为矩阵。KSMM是构造基于矩阵的超平面以利用结构信息的通用框架。我们分析了一个统一的优化问题,我们提出了一个渐近收敛的算法。基于拉德马赫复杂度关于概率分布的理论分析,推导了泛化界。我们证明了所提出的方法的优点,通过详尽的实验模拟研究和一些真实的字数据集,从各种应用领域。
2018-01-04 cs.LG stat.ML
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control(德雷夫特系统与控制中心);Delft University of Technology(德雷夫特理工大学)
提出贝叶斯张量网络核机框架,通过诱导稀疏的分层先验自动推断张量秩和特征维度,在无额外计算成本下实现不确定性量化与特征选择,提升模型可解释性。
2025-07-15 cs.LG stat.ML
Tensor Decomposition for Signal Processing and Machine Learning
University of Minnesota(明尼苏达大学);KU Leuven(鲁汶大学);Carnegie Mellon University(卡内基梅隆大学)
张量或{ \em multi-way arrays}是三个或更多索引$(i,j,k,\cdots)$的函数-类似于矩阵(双向数组),矩阵是(行,列)的两个索引$(r,c)$的函数。张量有着丰富的历史,绵延近一个世纪,涉及众多学科;但直到最近,它们才在信号处理、统计学、数据挖掘和机器学习的融合中,在信号和数据分析中变得无处不在。这篇概述文章旨在为有兴趣学习和使用张量的研究人员和从业者提供一个良好的起点。因此,它侧重于基础和动机(使用各种应用示例),旨在达到广度{ \em和深度}的适当平衡,这将使第一次参加矩阵代数和概率研究生课程的人能够开始进行研究和/或开发张量算法和软件。一些应用优化的背景是有用的,但不是严格要求的。所涵盖的材料包括张量秩和秩分解;基本张量分解模型及其关系和属性(包括相当好的可识别性覆盖);广泛覆盖从交替优化到随机梯度的算法;统计性能分析;以及从源分离到协同过滤,混合和主题建模,分类和多线性子空间学习的应用。
2016-12-14 cs.LG cs.NA math.NA
TATi-Thermodynamic Analytics ToolkIt: TensorFlow-based software for posterior sampling in machine learning applications
随着GPU辅助硬件和成熟的高效软件平台(如TensorFlow和PyTorch)的出现,神经网络的贝叶斯后验采样变得可行。在这篇文章中,我们将讨论机器学习中基于马尔可夫链蒙特卡罗方法的贝叶斯参数化,特别是离散化的随机微分方程,如朗之万动力学和扩展系统方法,其中采用了一个整体的步行者来增强采样。我们通过研究(和可视化)应用于MNIST数据集的神经网络的损失情况,来一瞥采样密集型方法的潜力。此外,我们研究如何抽样效率本身可以显着提高通过系综拟牛顿预处理方法。本文伴随着一个新的TensorFlow软件包的发布,热力学分析工具包,这是在计算实验中使用。
2020-03-03 cs.LG math.ST stat.ML
TenSEAL: A Library for Encrypted Tensor Operations Using Homomorphic Encryption
École Supérieure en Informatique, Sidi Bel Abbès(西迪贝勒阿巴斯高等信息学院);OpenMined
机器学习算法已经取得了令人瞩目的成果,并在各个领域得到了广泛的应用。这些算法通常依赖于敏感和私人数据,如医疗和财务记录。因此,必须进一步关注应用于机器学习模型的隐私威胁和相应的防御技术。在本文中,我们介绍了TenSEAL,一个使用同态加密的隐私保护机器学习的开源库,可以很容易地集成到流行的机器学习框架中。我们使用MNIST对我们的实现进行基准测试,并表明加密的卷积神经网络可以在不到一秒的时间内进行评估,使用不到半兆字节的通信。
2021-04-28 cs.CR cs.LG