Word Embeddings via Tensor Factorization
Tufts University（塔夫茨大学）
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中，我们的目标是推广这一趋势，使用数值方法的因素高阶词共现的数组，或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法，并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明，基于张量因式分解的嵌入可以用于识别多义词的各种含义，而无需明确训练，并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标，称为离群值检测[Camacho-Collados和Navigli，2016]，以评估词嵌入捕获的顺序- $N$关系的质量，并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中，我们表明，我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线，或者具有竞争力。给出了基于张量分解的词嵌入的建议应用，所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Temporal Network Embedding via Tensor Factorization
Emory University（埃默里大学）；Xidian University（西安电子科技大学）
静态图结构数据的表示学习在许多实际应用中表现出了显著的影响。然而，很少有人注意到时间网络的演化性质，其中的边缘往往随着时间的推移而变化。这种时间网络的嵌入应该编码图结构信息和时间演变模式。现有的方法在学习时间演化网络表示未能捕捉时间的相互依赖性。在本文中，我们提出了太妃糖，一种新的方法的时间网络表示学习的基础上张量分解。我们的方法利用张量-张量积算子对跨时间信息进行编码，从而可以捕获演化网络中的周期性变化。实验结果表明，Toffee优于现有的方法在多个真实世界的时间网络生成有效的嵌入链接预测任务。
2021-08-22 cs.LG
Ensemble Node Embeddings using Tensor Decomposition: A Case-Study on DeepWalk
University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校）；University of California Riverside（加利福尼亚大学河滨分校）
在过去的几年里，节点嵌入引起了越来越多的关注。在这种情况下，我们提出了一种新的集成节点嵌入方法，称为TenSemble 2 Vec，首先使用现有技术生成多个嵌入，并将它们作为最先进的张量分解模型（即PARAFAC 2）的多视图数据输入，以学习节点的共享低维表示。与其他嵌入方法相反，我们的TenSemble 2 Vec利用了不同方法或具有不同超参数的相同方法的互补信息，从而绕过了选择模型的挑战。大量的测试使用真实世界的数据验证了所提出的方法的效率。
2020-08-17 cs.LG stat.ML
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University（杜克大学）
词嵌入是自然语言处理中的一个有力工具。在本文中，我们考虑的问题词嵌入合成\-给定向量表示的两个词，计算一个向量的整个短语。我们给出了一个生成模型，可以捕捉特定的句法关系的话。在我们的模型下，我们证明了三个词之间的相关性（由他们的PMI测量）形成一个张量，具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量，其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验，验证我们的假设，并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
TensorDIMM: A Practical Near-Memory Processing Architecture for Embeddings and Tensor Operations in Deep Learning
KAIST（韩国科学技术院）
最近几个超标量的研究指出，嵌入层是当今计算机中部署的内存最密集的深度学习（DL）算法。本文讨论了嵌入层和相关张量操作的内存容量和带宽挑战。我们提出了我们的垂直集成的硬件/软件协同设计，其中包括一个定制的DIMM模块，增强了为DL张量操作量身定制的近数据处理内核。这些自定义DIRECT作为远程内存池填充在以GPU为中心的系统互连内部，允许GPU利用可扩展的内存带宽和容量扩展。我们的建议在真正的DL系统上的原型实现显示出平均6.2- 17.6倍的性能提高最先进的推荐系统。
2019-08-25 cs.AR cs.DC cs.LG
Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian（蒙古智能信息处理技术国家地方联合工程研究中心）
针对时序知识图谱嵌入中因子张量异质性损害融合与链接预测的问题，本文提出将因子张量映射至统一光滑李群流形，给出理论证明并无额外参数地增强现有张量分解模型。
2025-02-19 cs.AI cs.CL cs.LG
TensorGPT: Efficient Compression of Large Language Models based on Tensor-Train Decomposition
Imperial College London（帝国理工学院）
本文提出基于 Tensor-Train Decomposition 的免训练 LLM 嵌入压缩方法 TensorGPT，将 token 嵌入转为 MPS，并在 GPT-2 与 CerebrasGPT 上验证其高压缩率、低设备延迟及接近原模型的性能。
2024-10-03 cs.CL cs.LG cs.NA
Nimble GNN Embedding with Tensor-Train Decomposition
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
本文提出了一种通过张量训练（TT）分解来表示图神经网络（GNNs）嵌入表的新方法。我们考虑以下情况：（a）图数据缺乏节点特征，因此需要在训练期间学习嵌入;（b）我们希望利用GPU平台，即使对于大内存GPU，也需要更小的表来减少主机到GPU的通信。TT的使用使嵌入的参数化变得紧凑，使其足够小，甚至可以完全适应现代GPU，即使是大规模的图形。当与用于初始化和分层图分区的明智方案相结合时，这种方法可以在大型公开基准数据集上将节点嵌入向量的大小减少1，659倍至81，362倍，从而在多GPU系统上实现相当或更好的准确性和显着的加速。在某些情况下，我们的模型在输入上没有显式的节点特征，甚至可以匹配使用节点特征的模型的准确性。
2022-06-21 cs.LG
S^2MVTC: a Simple yet Efficient Scalable Multi-View Tensor Clustering
University of Electronic Science & Technology of China（电子科技大学）
针对现有基于锚点的大规模多视图聚类方法仅探索全局相关性的局限，提出S^2MVTC方法，通过构建嵌入特征张量、设计TLFA算子及施加一致性约束学习视图内和跨视图相关性，在六个数据集上的聚类性能和运行效率均优于现有最优算法。
2024-04-11 cs.CV cs.LG
Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs
University of California, Berkeley（加州大学伯克利分校）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
提出张量化Engram（TN-gram），通过CP分解共享因子压缩n-gram嵌入，减少参数并避免哈希冲突，在多个任务上匹配或超越现有方法。
2026-06-06 cs.CL cs.LG
Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization
City University of Hong Kong（香港城市大学）；UESTC（电子科技大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；ByteDance Research（字节跳动研究院）
针对现有联邦知识图谱补全框架的隐私泄露、优化失效和计算成本高等问题，提出FLEST方法，通过联邦张量分解和潜在字典嵌入共享，在性能与隐私间取得平衡。
2023-11-17 cs.AI cs.LG
Embedding Lexical Features via Low-Rank Tensors
Harbin Institute of Technology（哈尔滨工业大学）；IBM Watson（IBM沃森）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
现代NLP模型严重依赖工程特征，这些特征通常将单词和上下文信息组合成复杂的词汇特征。这样的组合导致大量的特征，这可能导致过拟合。我们提出了一个新的模型，表示复杂的词汇功能-包括部分的话，上下文信息和标签-在一个张量，捕捉这些部分之间的连接信息。我们将低秩张量近似应用于相应的参数张量，以减少参数空间并提高预测速度。此外，我们研究了两种方法处理功能，包括$n$ -混合长度的克。我们的模型在关系抽取、PP附加和介词消歧等任务上取得了最先进的结果。
2016-04-02 cs.AI cs.CL cs.LG
Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging
Technical University Darmstadt（达姆斯塔特技术大学）
本文提出利用扩散张量成像技术可视化词嵌入中的信息流，揭示LLM中自然语言表达的信息流动机制，提升NLP模型的可解释性。
2026-08-04 cs.AI cs.CL cs.LG
Tensor Embedding: A Supervised Framework for Human Behavioral Data Mining and Prediction
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
今天的密集仪器化的世界提供了巨大的机会，连续采集和分析的多模态传感器数据提供个人的行为的时间表征。是否有可能将如此丰富的传感器数据与预测建模技术有效地结合起来，以提供对个人表现和健康的上下文和有见地的评估？从这些嘈杂的、不完整的和异质的生物行为时间数据中预测人类行为的不同方面是一个具有挑战性的问题，超越了潜在结构的无监督发现。针对高维多模态数据，提出了一种基于输入变量和目标变量联合分解的监督张量嵌入算法。此外，我们表明，特征选择将有助于减少污染的预测和提高性能。通过两个不同的真实世界的数据集的方法的有效性进行了测试。
2018-08-31 cs.LG stat.ML
TeX-Graph: Coupled tensor-matrix knowledge-graph embedding for COVID-19 drug repurposing
University of Minnesota（明尼苏达大学）；University of Virginia（弗吉尼亚大学）
知识图谱（KGs）是将知识库中的实体之间的关系行为编码的强大工具。KG可以同时建模许多不同类型的主谓宾和高阶关系。因此，它们提供了一个灵活的建模框架，已应用于许多领域，包括生物学和药理学-最近，在抗击COVID-19。从学习的角度来看，KG建模的灵活性既是一种祝福，也是一种挑战。在本文中，我们提出了一种新的耦合张量矩阵框架KG嵌入。我们利用张量分解工具来学习知识库中实体和关系的简明表示，并使用这些表示来执行COVID-19的药物再利用。我们提出的框架是原则性的，优雅的，并实现了100%的改善，超过最佳基线的COVID-19药物再利用任务使用最近开发的生物KG。
2020-10-25 cs.LG cs.SI eess.SP
MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for Efficient and Expressive Link Prediction
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
知识图嵌入的目的是预测知识图谱中实体之间缺失的关系。基于张量分解的模型，如ComplEx，在效率和表达能力之间提供了良好的权衡，这是至关重要的，因为现实世界的知识图谱的大小。最近的多分区嵌入相互作用（MEI）模型通过使用块项张量格式包含这些模型，并提供了一个系统的解决方案的权衡。然而，MEI有几个缺点，其中一些来自其包含的基于张量分解的模型。在本文中，我们解决这些缺点，并介绍了多分区嵌入相互作用改进的超越块项格式（MEIM）模型，独立的核心张量的合奏效果和软正交的最大秩映射，除了多分区嵌入。MEIM提高了表现力，同时仍然非常高效，帮助它超越强大的基线，并使用相当小的嵌入大小在困难的链接预测基准上实现最先进的结果。源代码发布于https://github.com/tranhungnghiep/MEIM-KGE。
2022-10-04 cs.AI cs.LG
Sequential learning on a Tensor Network Born machine with Trainable Token Embedding
Department of Physics, University of California, San Diego, CA 92093, USA（加州大学圣地亚哥分校物理系）；School of Physics, Zhejiang University, Hangzhou 310027, China（浙江大学物理学院）；Department of Physics, Georgia Institute of Technology, Atlanta, GA 30332, USA（佐治亚理工学院物理系）
本文提出基于可训练POVM嵌入的Born机器，通过改进张量网络结构，提升量子启发序列建模中复杂数据相关性的建模能力。
2025-12-28 cs.LG quant-ph
Spectral/Spatial Tensor Atomic Cluster Expansion with Universal Embeddings in Cartesian Space
TACE通过统一标量和张量建模，在笛卡尔空间中提供通用不变和等变嵌入，实现高效且稳定的原子主义机器学习。
2026-03-06 cond-mat.mtrl-sci cs.LG physics.chem-ph
KGE-CL: Contrastive Learning of Tensor Decomposition Based Knowledge Graph Embeddings
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
学习知识图谱（KG）的嵌入在人工智能中至关重要，并且可以使各种下游应用受益，例如推荐和问答。近年来，人们对知识图谱嵌入进行了大量的研究。然而，大多数以前的KGE方法忽略了语义相似性的相关实体和实体之间的关系对不同的三元组，因为他们分别优化每个三元组的评分函数。针对这一问题，本文提出了一种简单有效的基于张量分解（TDB）的KGE对比学习框架，该框架可以缩短不同三元组中相关实体和实体-关系对的语义距离，从而提高KGE的性能.我们在三个标准KGE数据集上评估了我们提出的方法：WN 18 RR，FB 15 k-237和YAGO 3 -10。我们的方法可以产生一些新的最先进的结果，在WN 18 RR数据集上实现51.2%MRR，46.8%Hits@1，在FB 15 k-237数据集上实现37.8%MRR，28.6%Hits@1，在YAGO 3 -10数据集上实现59.1%MRR，51.8%Hits@1。
2022-10-24 cs.AI cs.CL cs.LG
MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization
New Jersey Institute of Technology（新泽西理工学院）；Central Michigan University（中密歇根大学）
公司盈余预测对公司投资决策、股利预期和股票价格都有着重要的影响。它通常涉及多个张量兼容的数据集，这些数据集具有非线性多路关系，时空结构和不同的稀疏度。目前的非线性张量补全算法往往会学习噪声嵌入并导致过拟合。针对张量完备化问题的嵌入学习问题，提出了一种新的多层神经网络结构的张量因式分解与完备化算法（MLCTR）。该网络架构具有多个优点：一系列低秩矩阵分解（MF）构建块，以最大限度地减少过拟合，非线性的每一层中的交错传递函数，以及旁路连接，以减少梯度衰减问题并增加神经网络的深度。此外，该模型采用基于随机梯度下降（SGD）的优化，以快速收敛的训练。我们的算法是非常有效的插补缺失值的EPS数据。实验证实，我们在因子矩阵中引入非线性的策略在嵌入学习和端到端张量模型中表现出令人印象深刻的性能，并且在从因子矩阵重建张量的阶段中优于非线性方法。
2021-09-04 cs.LG
Exact Recovery of Non-Random Missing Multidimensional Time Series via Temporal Isometric Delay-Embedding Transform
The School of Mathematics and Statistics, Xi’an Jiaotong University, Xi’an, Shaanxi, 710049, P. R. China（西安交通大学数学与统计学院）
本文提出LRTC-TIDT模型，通过时间等距延迟嵌入变换实现非随机缺失多维时间序列的精确恢复。
2025-12-11 cs.LG
Knowledge Graph Fact Prediction via Knowledge-Enriched Tensor Factorization
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们提出了一个家庭的新方法嵌入知识图谱到实值张量。这些基于张量的嵌入捕获了由语义Web语言（如RDF）表示的知识图谱中典型的有序关系。与许多以前的模型不同，我们的方法可以很容易地使用用户提供的或从现有的知识图谱自动提取的先验背景知识。除了为知识图谱嵌入提供更鲁棒的方法外，我们还提供了一个可证明收敛的线性张量分解算法。我们证明了我们的模型在预测八个不同知识图谱的新事实的任务中的有效性，与现有的最先进的知识图谱嵌入技术相比，实现了5%到50%的相对改进。我们的实证评估表明，当图中实体的平均度很高时，所有的张量分解模型都表现良好，基于约束的模型在具有少量高度相似关系的图上表现更好，而基于正则化的模型在具有不同相似度关系的图中占主导地位。
2019-02-08 cs.AI cs.CL cs.LG
Tensor-DTI: Enhancing Biomolecular Interaction Prediction with Contrastive Embedding Learning
Nostrum Biodiscovery；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Faculty of Pharmacy and Food Sciences, University of Barcelona（巴塞罗那大学药学与食品科学系）；Catalan Institution for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究机构）；Data Science Dpt., Almirall S.A.（Almirall S.A.数据科学部门）
Tensor-DTI通过整合多模态嵌入与对比学习，提升生物分子相互作用预测的准确性与可靠性。
2026-01-09 cs.AI cs.LG q-bio.BM
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
Improved Representation Learning Through Tensorized Autoencoders
Technical University of Munich（慕尼黑工业大学）；School of Computation, Information and Technology（计算、信息与技术学院）
表示学习的核心问题是什么构成了一个好的或有意义的表征。在这项工作中，我们认为，如果我们考虑的数据与固有的集群结构，集群可以通过不同的手段和协方差的特点，这些数据结构应该表示在嵌入以及。虽然自动编码器（AE）在实践中广泛用于无监督表示学习，但它们不满足上述嵌入条件，因为它们获得数据的单一表示。为了克服这一点，我们提出了一种元算法，可用于将任意AE架构扩展到张量化版本（TAE），该版本允许学习特定于集群的嵌入，同时学习集群分配。对于线性设置，我们证明了TAE可以恢复的主成分的不同集群的主成分的标准AE恢复的整个数据的对比。我们在种植模型上验证了这一点，并且对于一般的非线性和卷积AE，我们凭经验证明了张量化AE有利于聚类和去噪任务。
2022-12-02 cs.LG
No-Rank Tensor Decomposition Using Metric Learning
Department of Mathematics and Statistics, Idaho State University（数学与统计学系，爱达荷州立大学）
本文提出了一种基于度量学习的无秩张量分解方法，通过相似性驱动优化和正则化，生成可解释性强的嵌入，适用于数据稀缺的科学领域。
2026-02-27 cs.LG math.OC
Sample, computation vs storage tradeoffs for classification using tensor subspace models
Tufts University（塔夫茨大学）
在本文中，我们表现出（训练）样本，计算和存储复杂性的问题，使用信号子空间估计的监督分类之间的权衡。我们的主要工具是使用张量子空间，即具有Kronecker结构的子空间，用于将数据嵌入到较低的维度中。在具有克罗内克结构的子空间中，我们证明了使用具有层次结构的子空间来表示数据会导致改进的权衡。改进的主要原因之一是将数据嵌入到这些分层的Kronecker结构子空间中可以防止在更高的潜在维度上过拟合。
2017-06-27 cs.LG stat.ML
An Adaptive Latent Factorization of Tensors Model for Embedding Dynamic Communication Network
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文提出自适应时间依赖张量低秩表示（ATT）模型，通过时间依赖特征重建、差分进化算法超参数自适应和非负学习方案，从高维稀疏张量中提取动态通信网络行为模式，在预测误差和收敛速度上优于现有模型。
2024-08-29 cs.LG eess.SP
SimplE Embedding for Link Prediction in Knowledge Graphs
University of British Columbia（不列颠哥伦比亚大学）
知识图谱包含关于世界的知识，并提供这些知识的结构化表示。目前的知识图谱只包含世界上真实知识的一小部分。链接预测方法的目标是在给定实体之间的现有链接的情况下预测知识图的新链接。张量分解方法已被证明是有前途的链接预测问题。在1927年提出的，典型的Polyadic（CP）分解是最早的张量分解方法之一。CP通常在链接预测方面表现不佳，因为它为每个实体学习两个独立的嵌入向量，而它们实际上是绑定的。我们提出了一个简单的增强CP（我们称之为SimpleE），让每个实体的两个嵌入学习依赖。SimpleE的复杂度随着嵌入的大小线性增长。通过SimpleE学习的嵌入是可解释的，某些类型的背景知识可以通过权重绑定并入这些嵌入。我们证明了SimplE是完全表达的，并推导出一个充分表达的嵌入大小的界限。我们的经验表明，尽管它的简单性，简单优于几个国家的最先进的张量因式分解技术。SimplE的代码可以在GitHub上找到，网址是https://github.com/Mehran-k/SimplE。
2018-10-26 cs.LG stat.ML
Semi-supervised Content-based Detection of Misinformation via Tensor Embeddings
UC Riverside（加州大学河滨分校）；Snap Inc.（斯纳普公司）
假新闻可能是为了促进经济、政治和社会利益而故意制造的，可能会对人类的信仰和决策产生负面影响。因此，假新闻的检测是一个新出现的问题，在过去几年中变得非常普遍。关于这个主题的大多数现有工作集中在利用大量标记（假或真）文章的手动特征提取和监督分类模型。相比之下，我们专注于基于内容的虚假新闻文章检测，同时假设我们有少量的标签，可通过手动事实检查器或自动化来源获得。我们认为，在大量内容的存在下，这是一个更现实的设置，其中大部分内容都不容易进行事实核查。为此，我们将新闻文章的集合表示为多维张量，利用张量分解来获得简洁的文章嵌入，这些嵌入捕获了关于每篇新闻文章的空间/上下文信息，并使用这些嵌入来创建一个逐篇文章的图，我们在该图上传播有限的标签。在三个真实世界数据集上的结果表明，我们的方法与现有的完全监督的模型相比表现相当或更好，因为我们使用更少的标签实现了更好的检测准确性。特别是，我们提出的方法仅使用30%的公共数据集标签就达到了75.43%的准确率，而基于SVM的分类器达到了67.43%。此外，我们的方法仅使用2%的标签在大型数据集中实现了70.92%的准确率。
2018-04-24 cs.LG cs.SI stat.AP
TT-Rec: Tensor Train Compression for Deep Learning Recommendation Models
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI（脸书人工智能研究院）
在整个行业中，深度学习推荐模型（DLRM）中嵌入表的内存容量正在从数十GB急剧增加到TB。鉴于DLRM的快速增长，迫切需要新的解决方案，以实现快速有效的DLRM创新。与此同时，必须在不必成倍增加基础设施容量需求的情况下做到这一点。在本文中，我们证明了有前途的潜力张量训练分解DLRM（TT-Rec），一个重要的，但调查的背景下。我们设计并实现了优化的内核（TT-EmbeddingBag）来评估所提出的TT-Rec设计。TT-EmbeddingBag比SOTA TT实现快3倍。TT-Rec的性能进一步优化与批量矩阵乘法和缓存策略嵌入向量查找操作。此外，我们在数学上和经验上提出了权重初始化分布对DLRM精度的影响，并建议按照采样的高斯分布初始化TT-Rec的张量核。我们通过使用Criteo的Kaggle和Terabyte数据集训练MLPerf-DLRM，在三个重要的设计空间维度（内存容量、准确性和时序性能）上评估TT-Rec。TT-Rec分别为Kaggle和Terabyte实现了117倍和112倍的模型大小压缩。与未压缩的基线相比，这种令人印象深刻的模型大小缩减可能不会带来准确性或训练时间开销。
2021-01-25 cs.LG
The Immersion of Directed Multi-graphs in Embedding Fields. Generalisations
Jiratech
本文的目的是概述了一个通用的模型，用于表示混合的关系分类，符号，感知感知和感知潜在的数据，从而体现，在同一个架构的数据层，表示的输入，输出和潜在的张量。这种表示的多样性目前被计算机视觉、NLP/NLU、强化学习中的各种机器学习模型所使用，这些模型允许直接应用跨域查询和函数。这是通过赋予有向张量类型多图至少一些表示来自各种潜在空间的嵌入的边属性来实现的，以便定义、构建和计算张量形式之间和跨张量形式的新的相似性和距离关系，包括视觉、语言、听觉潜在表示，从而将观察到的宇宙的逻辑分类视图缝合到贝叶斯/统计视图。
2020-04-28 cs.AI cs.CV cs.LG
Dynamic Tensor Decomposition via Neural Diffusion-Reaction Processes
Kahlert School of Computing（卡勒特计算学院）；University of Utah（犹他大学）
本文提出DEMOTE方法，通过神经扩散-反应过程建模张量各模态实体的动态嵌入演化，并结合ODE求解器与分层抽样实现高效随机小批量学习，以更好地利用稀疏张量中的时间信息与结构知识。
2023-10-30 cs.LG stat.ML
Planetary Feature Fields are Scalable Earth Representations
University of British Columbia（不列颠哥伦比亚大学）；University of Copenhagen（哥本哈根大学）；Carleton University（卡尔顿大学）；Vector Institute（向量研究所）；Taylor Geospatial（泰勒地理空间研究所）
针对多源地球观测数据冗余存储问题，提出行星特征场（PFFs），以共享因子化特征体积和轻量解码器联合建模时空连续场，实现1800倍压缩下保留90%以上特征性能，并显著降低访问延迟。
2026-09-30 cs.CV cs.LG
A tensorized logic programming language for large-scale data
Kyoto University（京都大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）
介绍了一种基于张量嵌入的逻辑程序设计语言T-PRISM。我们的嵌入方案是对最先进的概率逻辑程序设计语言之一PRISM中的分布语义的修改，通过用多维数组替换分布函数，即，张量T-PRISM由逻辑程序设计和数值计算两部分组成。前者在一阶逻辑级别提供灵活和可解释的建模，后者利用GPU的并行化和硬件加速提供可扩展的计算。结合这两部分提供了从符号推理到深度学习的非常广泛的高级声明性建模。为了体现这种程序设计语言，我们还介绍了一种新的语义，称为张量语义，它结合了传统的最小模型语义在逻辑编程与张量的嵌入。在T-PRISM中，我们首先使用逻辑推理从给定的程序中导出一组与张量相关的方程，即，在符号空间中执行Prolog，然后在连续空间中通过TensorFlow求解导出的方程。使用我们的初步实施T-PRISM，我们已经成功地处理了广泛的建模。我们已经成功地处理了真正的大规模数据的声明式建模。本文提出了一种基于FB 15 k和WN 18数据集的知识图谱DistMult模型。
2019-01-20 cs.LG cs.LO
Memory and Capacity of Graph Embedding Methods
University of California, Berkeley（加州大学伯克利分校）
本文声明废止，并指引读者参阅合并后的新论文，该论文涉及张量积与近似正交编码的图嵌入方法。
2023-05-13 cs.LG stat.ML
Graph Embeddings via Tensor Products and Approximately Orthonormal Codes
University of California, Berkeley（加州大学伯克利分校）
提出一种基于HDC绑定与求和的动态图表示，证明张量积是最一般绑定操作，并分析其内存扩展、与邻接矩阵及Hadamard-Rademacher方案的关系。
2023-06-03 cs.LG cs.SI stat.ML
How the (Tensor-) Brain uses Embeddings and Embodiment to Encode Senses and Symbols
Ludwig-Maximilians-Universität München（慕尼黑大学）；LMU Munich（慕尼黑大学）
本文概述了张量大脑模型，通过表征层与索引层的双向交互及概念嵌入，统一解释感知、记忆与符号编码机制。
2024-12-29 cs.AI cs.LG cs.NE
Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation
ETH Zürich（苏黎世联邦理工学院）；IE University（IE大学）；HSE University（俄罗斯高等经济学院）
我们提出了一个端到端的可训练框架，通过只查看一小部分条目来处理大规模视觉数据张量。我们的方法将神经网络编码器与张量训练分解相结合，以学习低秩潜在编码，再加上交叉近似（CA）通过原始样本的子集来学习表示。CA是一种自适应采样算法，它原生于张量分解，避免了显式处理全高分辨率数据。相反，它会主动选择本地代表性样本，我们会根据需要从内核中提取这些样本。所需的样本数量只会随着输入的大小而按比例增长。我们对网络中张量的隐式表示使得能够处理大型网格，这些网格在未压缩形式下无法处理。所提出的方法对于大规模多维网格数据（例如，3D断层扫描），以及对于需要大的感受野上的上下文的任务（例如，预测整个器官的医学状况）。该代码可在https://github.com/aelphy/c-pic上获得。
2021-11-12 cs.CV cs.LG
Tensor Casting: Co-Designing Algorithm-Architecture for Personalized Recommendation Training
KAIST（韩国科学技术院）
个性化推荐是云计算中心提供服务的最广泛部署的机器学习（ML）工作负载之一。因此，高性能推荐推理的架构解决方案最近已经成为几个先前文献的目标。不幸的是，关于这种新兴ML工作负载的培训方面，人们几乎没有探索和理解。在本文中，我们首先对训练建议进行了详细的工作负载表征研究，导致稀疏嵌入层训练成为最重要的性能瓶颈之一。然后，我们提出了我们的算法架构协同设计，称为张量铸造，这使得开发一个通用的加速器架构的张量散射，包括所有的关键原语的训练嵌入层。当在真实的CPU-GPU系统上进行原型设计时，与最先进的方法相比，Tensor Casting在训练吞吐量方面提供了1.9- 21倍的改进。
2020-10-25 cs.AR cs.DC cs.IR
P3CA: Encoder-Agnostic Interpretation of Vision Foundation Model Embeddings via Spatial Probing
School of Computing, Queen’s University（女王大学计算学院）
针对视觉基础模型嵌入难以解释的问题，提出与编码器无关的P3CA方法，通过空间提示实现局部探测，在多类数据上验证其可揭示局部结构、提升病理判别能力等贡献。
2026-08-12 cs.CV cs.LG
Predicting Brain Morphometry with MT-GNN: Mesh Evolution in Continuous Time with Graph-Based Metric Tensor Embeddings
Illinois Institute of Technology（伊利诺伊理工学院）；University of Southern California（南加州大学）
该研究提出MT-GNN模型，通过图网络预测连续时间内皮层下结构的度量张量，经ADNI数据集验证，其网格演化预测性能优于DCM、TransforMesh等基准方法。
2026-08-06 cs.CV cs.LG
QTN-VQC: An End-to-End Learning framework for Quantum Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
噪声中尺度量子（NISQ）计算机的出现对设计用于完全量子学习任务的量子神经网络提出了关键挑战。为了弥补这一差距，本文提出了一个端到端的学习框架QTN-VQC，通过引入一个可训练的量子张量网络（QTN），用于在变分量子线路（VQC）上进行量子嵌入。QTN的体系结构由用于特征提取的参数张量训练网络和用于量子嵌入的张量积编码组成。我们从两个方面强调了量子嵌入的QTN：（1）通过分析其输入特征的表示能力，我们从理论上描述了QTN;（2）QTN实现了从量子嵌入的生成到输出测量的端到端参数模型管道，即QTN-VQC。我们在MNIST数据集上的实验证明了QTN在量子嵌入方面优于其他量子嵌入方法。
2021-11-22 cs.AI cs.CL cs.CV
Knowledge Graph Completion via Complex Tensor Factorization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；NAVER LABS Europe（NAVER LABS 欧洲实验室）；University College London（伦敦大学学院）；Bloomsbury AI
在统计关系学习中，知识图谱完成涉及自动理解大型知识图谱的结构--标记的有向图--并预测缺失的关系--标记的边。最先进的嵌入模型提出了建模表现力与时间和空间复杂度之间的不同权衡。我们通过使用复值嵌入来调和表达性和复杂性，并探索这种复值嵌入和酉对角化之间的联系。我们证实了我们的方法理论上，并表明，所有真正的方阵-因此所有可能的关系/邻接矩阵-是一些酉可对角化矩阵的实部。这一结果为方阵因式分解的许多其他应用打开了大门。我们基于复杂嵌入的方法可以说是简单的，因为它只涉及Hermitian点积，即实向量之间标准点积的复杂对应物，而其他方法则采用越来越复杂的复合函数来增加它们的表现力。所提出的复杂嵌入可扩展到大数据集，因为它在空间和时间上都保持线性，同时在标准链接预测基准上始终优于替代方法。
2017-11-26 cs.AI cs.LG math.SP
Binarized Knowledge Graph Embeddings
Osaka University（大阪大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
张量分解已经成为知识图谱补全（KGC）的一种越来越流行的方法，该方法是自动预测知识图谱中缺失的事实的任务。然而，即使使用像CANDECOMP/PARAFAC（CP）张量分解这样的简单模型，现有知识图谱上的KGC在资源有限的环境中也是不切实际的，因为需要大量的存储器来存储表示为32位或64位浮点数的参数。随着现有知识图谱的规模不断扩大，这一限制预计将变得更加严格。为了减少内存需求，我们提出了一种方法，通过引入一个量化函数的优化问题的CP张量分解的参数进行二值化。该方法在训练后将浮点值参数替换为二进制参数，从而在运行时间大大减小了模型的大小。我们研究了几个KGC基准数据集的张量分解模型的质量和大小之间的权衡。在我们的实验中，所提出的方法成功地减少了模型的大小超过一个数量级，同时保持任务的性能。此外，可以利用逐位操作开发快速分数计算技术。
2019-02-08 cs.IR cs.LG stat.ML
Multi-View Multi-Graph Embedding for Brain Network Clustering Analysis
Cornell University（康奈尔大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
人脑连接的网络分析对于了解大脑功能和疾病状态至关重要。将大脑网络作为一个整体图实例嵌入到一个有意义的低维表示中，可以用来研究疾病机制并为治疗干预提供信息。此外，通过利用来自多个神经成像模态或视图的信息，我们能够获得比从单个视图学习的嵌入更有用的嵌入。因此，多视图多图嵌入成为一个至关重要的任务。目前，这方面的研究还不多，而且大多数研究都集中在基于向量的策略上，这种策略会导致原始图中包含的结构信息丢失。作为解决这个问题的一种新尝试，我们提出了多视图多图嵌入（M2E），通过将多个图堆叠成多个部分对称张量，并使用张量技术同时利用多视图和多图大脑网络之间的依赖性和相关性。在真实的HIV和双相情感障碍脑网络数据集上进行的大量实验证明了M2E通过利用多视图多图交互对脑网络进行聚类的优越性能。
2018-06-19 cs.LG stat.ML
Joint Embedding of Meta-Path and Meta-Graph for Heterogeneous Information Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Cornell University（康奈尔大学）；The University of Hong Kong（香港大学）；Facebook（脸书）
元图是目前异构信息网络相似性搜索最有效的工具，元图是一组元路径的组合，它捕捉了复杂的结构信息。然而，目前基于元图的相关性计算只考虑了复杂的结构信息，而忽略了其嵌入的元路径信息。为了解决这个问题，我们提出了基于MEta-GrAph的网络嵌入模型，分别称为MEGA和MEGA++。MEGA模型同时使用从元图及其嵌入的节点之间的元路径导出的归一化相关性或相似性度量，然后利用张量分解方法执行节点嵌入。MEGA++进一步利用耦合张量矩阵分解方法获得节点的联合嵌入，同时考虑了元图所有Meta信息的隐藏关系，在两个真实数据集上的大量实验表明MEGA和MEGA++比现有方法更有效.
2018-09-11 cs.LG cs.SI stat.ML
