Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization
Department of Electrical and Computer Engineering, University of California, Santa Barbara(加州大学圣芭芭拉分校电子与计算机工程系);Intel Corporation(英特尔公司);Department of Computer Science, North Carolina State University(北卡罗来纳州立大学计算机科学系);School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
针对边缘设备Transformer训练的内存瓶颈,提出基于张量压缩的FPGA加速器,通过双向收缩流和片上内存实现端到端训练,内存减少30-51倍,能耗降低3.6倍。
2025-08-06 cs.AR cs.CL cs.LG
FTD-GNO: Memory-Efficient Graph Neural Operators through Functional Tensor Decomposition of the Kernel
Beijing University of Technology(北京工业大学);The University of Sydney(悉尼大学)
针对标准图神经算子在核参数化上的高内存开销问题,提出基于函数张量分解的FTD-GNO,通过CP、Tensor-Train和Tucker分解解耦核,降低内存与训练成本,并保持算子学习性能。
2026-10-06 cs.AI cs.LG
Bandana: Using Non-volatile Memory for Storing Deep Learning Models
Stanford University(斯坦福大学);Facebook, Inc.(Facebook公司)
典型的大规模推荐系统使用存储在大量DRAM上的深度学习模型。这些模型通常依赖于嵌入,这消耗了大部分所需的内存。我们提出了Bandana,一个存储系统,减少了嵌入式DRAM的足迹,通过使用非易失性存储器(NVM)作为主要存储介质,与少量的DRAM作为缓存。与DRAM相比,在NVM上存储嵌入的主要挑战是其有限的读取带宽。Bandana使用两种主要技术来解决这一限制:首先,它使用超图分区将可能一起读取的嵌入向量存储在同一物理位置,其次,它通过模拟数十个小型缓存来决定要在DRAM中缓存的嵌入向量的数量。这些技术使Bandana能够将NVM的有效读取带宽提高2- 3倍,从而显著降低总拥有成本。
2018-11-15 cs.LG stat.ML
Towards Programmable Memory Controller for Tensor Decomposition
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
张量分解已经成为许多数据科学应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao积(MTTKRP)是张量分解算法的核心,它将高阶真实世界的大张量分解为多个矩阵。加速MTTKRP可以极大地加快张量分解过程。稀疏MTTKRP是一个具有挑战性的内核加速,由于其不规则的内存访问特性。由于FPGA的能量效率和固有的并行性,在现场可编程门阵列(FPGA)上实现用于诸如MTTKRP的内核的加速器是有吸引力的。本文探讨了机会,关键的挑战,并在FPGA上设计一个自定义的存储器控制器MTTKRP的方法,同时探索这样一个自定义的存储器控制器的参数空间。
2022-07-17 cs.AR cs.DC cs.LG
Cost-efficient Gaussian Tensor Network Embeddings for Tensor-structured Inputs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文讨论了具有张量网络结构的随机矩阵($S$)的张量网络嵌入。这些嵌入已被用于执行张量网络结构化输入$x$的降维,并加速诸如张量分解和核回归之类的应用。现有的工作已经为具有特定结构的输入$x$设计了嵌入,使得计算$Sx$的计算成本是有效的。我们提供了一种系统的方法来设计由高斯随机张量组成的张量网络嵌入,使得对于具有更一般的张量网络结构的输入,草图大小($S$的行大小)和草图计算成本都很低。我们分析了一般的张量网络嵌入,可以减少到一个序列的草图矩阵。我们提供了一个充分条件来量化这种嵌入的准确性,并推导出草图渐近成本下界使用嵌入,满足这个条件,并具有低于任何输入尺寸的草图大小。然后,我们提供了一个算法,有效地使用这样的嵌入草图输入数据。该算法中使用的嵌入的草图大小与输入的草图尺寸的数量呈线性关系。假设张量收缩与经典的稠密矩阵乘法算法进行,该算法实现的渐近成本的一个因素$O(\sqrt{m})$的成本下界,其中$m$是草图的大小。此外,当输入中的每个张量具有需要绘制的尺寸时,该算法产生最优的绘制渐近成本。我们将我们的草图分析不精确张量分解优化算法。我们提供了一个草图算法的CP分解,是渐近快于现有的工作在多个政权,并显示最优的张量训练舍入的现有算法。
2022-05-26 cs.DS cs.LG cs.NA
Tensor Train Neighborhood Preserving Embedding
Purdue University(普渡大学);Tufts University(塔夫茨大学)
本文提出了一种张量训练邻域保持嵌入算法(TTNPE),将多维张量数据嵌入到低维张量子空间中。提出了解决TTNPE优化问题的新方法。对于这种嵌入,我们评估新的权衡增益之间的分类,计算和降维(存储)的监督学习。结果表明,与最先进的张量嵌入方法相比,TTNPE在MNIST手写数字和Weizmann人脸数据集的分类,计算和降维方面取得了优异的折衷。
2018-03-10 cs.IT cs.LG math.IT
Ask Me Even More: Dynamic Memory Tensor Networks (Extended Model)
Stanford University(斯坦福大学)
我们研究了记忆网络的问答(QA)任务,在常见的现实世界的情况下,训练样本是稀缺的,在弱监督的情况下,即只有外部标签可用于训练。我们提出了动态记忆网络(DMN)的扩展,特别是在注意力机制中,我们称由此产生的神经结构为动态记忆张量网络(DMTN)。最终,我们看到,我们提出的扩展导致与基线标准DMN相比,通过的任务数量增加了80%以上,与Facebook单一任务弱训练1K bAbi数据集的最先进端到端内存网络相比,通过的任务增加了20%。
2017-03-11 cs.CL cs.LG cs.NE
Word Embeddings via Tensor Factorization
Tufts University(塔夫茨大学)
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中,我们的目标是推广这一趋势,使用数值方法的因素高阶词共现的数组,或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法,并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明,基于张量因式分解的嵌入可以用于识别多义词的各种含义,而无需明确训练,并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标,称为离群值检测[Camacho-Collados和Navigli,2016],以评估词嵌入捕获的顺序- $N$关系的质量,并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中,我们表明,我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线,或者具有竞争力。给出了基于张量分解的词嵌入的建议应用,所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近,深度学习一直是一个激烈的研究领域。然而,作为一种计算密集型任务,深度学习高度依赖于GPU内存的规模,这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作,但是它们难以应用于具有多个动态工作负载的系统,例如数据库内机器学习系统。在本文中,我们展示了TENSILE,一种在张量粒度下管理GPU内存的方法,以降低GPU内存峰值,考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile,并对其性能进行了评估。实验结果表明,在单负载和多负载的动态环境下,TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University(杜克大学)
词嵌入是自然语言处理中的一个有力工具。在本文中,我们考虑的问题词嵌入合成\-给定向量表示的两个词,计算一个向量的整个短语。我们给出了一个生成模型,可以捕捉特定的句法关系的话。在我们的模型下,我们证明了三个词之间的相关性(由他们的PMI测量)形成一个张量,具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量,其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验,验证我们的假设,并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
Memory and Capacity of Graph Embedding Methods
University of California, Berkeley(加州大学伯克利分校)
本文声明废止,并指引读者参阅合并后的新论文,该论文涉及张量积与近似正交编码的图嵌入方法。
2023-05-13 cs.LG stat.ML
Ensemble Node Embeddings using Tensor Decomposition: A Case-Study on DeepWalk
University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德河谷分校);University of California Riverside(加利福尼亚大学河滨分校)
在过去的几年里,节点嵌入引起了越来越多的关注。在这种情况下,我们提出了一种新的集成节点嵌入方法,称为TenSemble 2 Vec,首先使用现有技术生成多个嵌入,并将它们作为最先进的张量分解模型(即PARAFAC 2)的多视图数据输入,以学习节点的共享低维表示。与其他嵌入方法相反,我们的TenSemble 2 Vec利用了不同方法或具有不同超参数的相同方法的互补信息,从而绕过了选择模型的挑战。大量的测试使用真实世界的数据验证了所提出的方法的效率。
2020-08-17 cs.LG stat.ML
Densifying Assumed-sparse Tensors: Improving Memory Efficiency and MPI Collective Performance during Tensor Accumulation for Parallelized Training of Neural Machine Translation Models
Amazon(亚马逊);SURFSara;Dell EMC(戴尔易安信);Intel(英特尔);Uber(优步)
神经机器翻译-使用神经网络翻译人类语言-是一个积极的研究领域,探索新的神经元类型和网络拓扑结构,目标是显着提高机器翻译性能。目前最先进的方法,如多头注意力为基础的Transformer,需要非常大的翻译语料库和许多时代,以产生合理的质量模型。最近尝试在多个节点上并行化官方TensorFlow“Transformer”模型,但由于内存使用过多以及在执行MPI集合时导致内存错误而遇到了障碍。本文描述了对Horovod MPI分布式训练框架的修改,通过将假定的稀疏张量转换为密集张量,并随后用密集梯度降低取代稀疏梯度聚集,来减少Transformer模型的内存使用。其结果是横向扩展能力的大幅提高,仅CPU的扩展测试实现了高达1200个MPI进程(300个节点)的91%弱扩展效率,以及使用Stampede 2超级计算机高达400个MPI进程(200个节点)的65%强扩展效率。
2019-05-10 cs.CL cs.DC cs.LG
G10: Enabling An Efficient Unified GPU Memory and Storage Architecture with Smart Tensor Migrations
UIUC(伊利诺伊大学厄巴纳-香槟分校)
G10提出统一GPU内存与存储架构,利用编译器预测张量行为并智能调度迁移,隐藏数据传输开销,性能最高提升1.75倍,达到理想性能的90.3%。
2023-10-13 cs.AR cs.LG
10Cache: Heterogeneous Resource-Aware Tensor Caching and Migration for LLM Training
Kuwait University, Kuwait(科威特大学)
针对云端LLM训练的内存瓶颈与现有卸载方案的缺陷,提出异构资源感知的张量缓存迁移系统10Cache,通过智能协调多层存储、优化预取与内存分配,显著提升训练速度与资源利用率。
2025-11-18 cs.DC cs.LG
Temporal Network Embedding via Tensor Factorization
Emory University(埃默里大学);Xidian University(西安电子科技大学)
静态图结构数据的表示学习在许多实际应用中表现出了显著的影响。然而,很少有人注意到时间网络的演化性质,其中的边缘往往随着时间的推移而变化。这种时间网络的嵌入应该编码图结构信息和时间演变模式。现有的方法在学习时间演化网络表示未能捕捉时间的相互依赖性。在本文中,我们提出了太妃糖,一种新的方法的时间网络表示学习的基础上张量分解。我们的方法利用张量-张量积算子对跨时间信息进行编码,从而可以捕获演化网络中的周期性变化。实验结果表明,Toffee优于现有的方法在多个真实世界的时间网络生成有效的嵌入链接预测任务。
2021-08-22 cs.LG
Learning with Memory Embeddings
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学)
嵌入式学习,又名表示学习已经被证明能够对大规模语义知识图谱进行建模。一个关键概念是将知识图谱映射到张量表示,张量表示的条目由使用广义实体的潜在表示的模型预测。潜变量模型非常适合处理典型知识图谱的高维性和稀疏性。在最近的出版物中,嵌入模型被扩展到也考虑时间演化,时间模式和子符号表示。在本文中,我们映射嵌入模型,这纯粹是为了解决建模时间知识图谱的技术问题,各种认知记忆功能,特别是语义和概念记忆,情景记忆,感觉记忆,短期记忆和工作记忆。我们讨论了学习,询问回答,从感官输入到语义解码的路径,以及情景记忆和语义记忆之间的关系。我们介绍了一些假设,人类的记忆,可以来自发达的数学模型。
2016-05-07 cs.AI cs.CL cs.LG
Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian(蒙古智能信息处理技术国家地方联合工程研究中心)
针对时序知识图谱嵌入中因子张量异质性损害融合与链接预测的问题,本文提出将因子张量映射至统一光滑李群流形,给出理论证明并无额外参数地增强现有张量分解模型。
2025-02-19 cs.AI cs.CL cs.LG
Coop: Memory is not a Commodity
OneFlow Research(一流科技研究院)
Coop通过滑动窗口连续逐出、低成本张量划分和可重算就地操作,协同优化张量分配与重物化,在八个DNN上实现最高2倍内存节省并显著降低计算开销、搜索延迟和内存碎片化。
2023-11-01 cs.AI cs.LG cs.SE
Combined Scheduling, Memory Allocation and Tensor Replacement for Minimizing Off-Chip Data Accesses of DNN Accelerators
Princeton University(普林斯顿大学)
本文提出COSMA框架,通过联合优化算子调度、内存分配和张量替换,以ILP求解最小化DNN加速器片外数据访问,并设计分治启发式扩展至神经架构搜索生成的复杂DNN,平均减少84%-85%的数据访问。
2023-11-30 cs.AR cs.LG
Sample Efficient Learning of Factored Embeddings of Tensor Fields
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对大规模张量场数据直接访问成本高的问题,提出样本高效的张量场因子化嵌入方法,通过子采样构建因子矩阵实现最优秩r草图Tucker分解,用带共轭先验的Dirichlet分布的自适应随机Thompson采样学习采样策略,提升信息处理效率且精度可定制。
2024-03-09 cs.LG cs.NA math.NA
From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving
Texas Tech University Department of Computer Science(德克萨斯理工大学计算机科学系)
综述通过四个轴对三十多个键值管理系统和框架分类,揭示五种架构原型,还审计当前评估,找出七个缺失测量,关联容错等开放问题。
2026-07-07 cs.AI cs.DC cs.LG
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院)
知识图谱(KG)是事实的符号结构化存储。KG嵌入包含用于NLP任务的简洁数据,这些任务需要关于真实世界的隐式信息。此外,在实际NLP分配中可能有用的KG的大小是巨大的,并且在其上创建嵌入具有内存成本问题。我们将KG表示为三阶二进制张量,并通过使用其特定数据的广义版本超越标准CP分解。标准CP-ALS算法的泛化允许在没有反向传播机制的情况下获得优化梯度。它减少了训练所需的内存,同时提供了计算优势。我们提出了一个MEKER,一个内存高效的KG嵌入模型,它产生SOTA的链接预测任务和KG为基础的问答相当的性能。
2022-05-24 cs.AI cs.CL cs.IR
Time and Memory Trade-off of KV-Cache Compression in Tensor Transformer Decoding
The University of Chicago(芝加哥大学);Stevens Institute of Technology(史蒂文斯理工学院);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing at UC Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
本研究将KV缓存空间复杂度下界推广至张量注意力,引入两种缓存类型,揭示时间与内存权衡,为高效张量Transformer提供理论基础。
2025-03-27 cs.AI cs.CC cs.CL
Bare-Metal Tensor Virtualization: Overcoming the Memory Wall in Edge-AI Inference on ARM64
本研究提出一种基于ARM64的软件虚拟张量核心架构,通过直接内存映射和NEON SIMD内核实现高效边缘AI推理,达到60 tokens/秒的吞吐量,满足心理语言学延迟要求。
2026-01-06 cs.AI cs.AR cs.CL
DELTA: Dynamically Optimizing GPU Memory beyond Tensor Recomputation
Science and Technology on Parallel and Distributed Processing Laboratory(并行与分布处理国防科技重点实验室);SenseTime Research(商汤科技研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
GPU有限的内存资源阻碍了深度神经网络的进一步发展。因此,对GPU内存资源的优化要求很高。交换和重新计算通常用于在深度学习中更好地利用GPU内存。然而,作为一个新兴的领域,一些挑战仍然存在:1)重新计算的效率是有限的静态和动态方法。2)交换需要手动卸载参数,这会带来很大的时间成本。3)目前还没有一种动态的、细粒度的方法将张量交换和张量重计算结合起来。为了解决上述问题,我们提出了一种新的调度管理器名为DELTA(动态tEnsor卸载和recomputATtion)。据我们所知,我们是第一个在没有用户监督的情况下,结合张量交换和张量重新计算来制作合理的动态运行时调度器的人。在DELTA中,我们提出了一个过滤器算法来选择要从GPU内存中释放的最佳张量,并提出了一个导演算法来为每个张量选择适当的动作。此外,预取和重叠的故意考虑,以克服交换和重新计算张量所造成的时间成本。实验结果表明,DELTA算法不仅节省了40%-70%的GPU内存,在很大程度上超过了现有算法,而且在可接受的时间延迟下,收敛效果与基线相当。此外,与基线相比,DELTA在训练ResNet-50时获得2.04 $\times$最大批量,在训练ResNet-101时获得2.25 $\times$最大批量。此外,通过对交换代价和重计算代价的比较,证明了合理的动态调度器对张量交换和重计算的重要性,反驳了相关研究中认为交换是最优选择的…
2022-06-21 cs.LG
Tensorized Embedding Layers for Efficient Model Compression
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute of Numerical Mathematics, RAS, Moscow, Russia(俄罗斯科学院数学数值研究所)
将输入单词转换为真实向量的嵌入层是用于自然语言处理的深度神经网络的关键组件。然而,当词汇量很大时,相应的权重矩阵可能是巨大的,这妨碍了它们在有限资源环境中的部署。我们介绍了一种新的方法参数化嵌入层的基础上张量训练(TT)分解,它允许压缩模型显着的成本可以忽略不计的下降,甚至略有增益的性能。我们评估我们的方法在自然语言处理的基准测试范围广泛,并分析了性能和压缩比之间的权衡范围广泛的架构,从MLP到LSTM和Transformers。
2020-02-19 cs.CL cs.LG
When More Memory Fails: Hidden Feasibility Holes in Dynamic Tensor Rematerialization
Aston University(阿斯顿大学)
该研究发现动态张量重计算(DTR)存在非单调可行性漏洞,即部分内存预算会导致训练失败,而更小或更大的预算却能成功,通过simrd模拟器复现了InceptionV4等模型的相关漏洞。
2026-10-14 cs.DC cs.LG
Nimble GNN Embedding with Tensor-Train Decomposition
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
本文提出了一种通过张量训练(TT)分解来表示图神经网络(GNNs)嵌入表的新方法。我们考虑以下情况:(a)图数据缺乏节点特征,因此需要在训练期间学习嵌入;(b)我们希望利用GPU平台,即使对于大内存GPU,也需要更小的表来减少主机到GPU的通信。TT的使用使嵌入的参数化变得紧凑,使其足够小,甚至可以完全适应现代GPU,即使是大规模的图形。当与用于初始化和分层图分区的明智方案相结合时,这种方法可以在大型公开基准数据集上将节点嵌入向量的大小减少1,659倍至81,362倍,从而在多GPU系统上实现相当或更好的准确性和显着的加速。在某些情况下,我们的模型在输入上没有显式的节点特征,甚至可以匹配使用节点特征的模型的准确性。
2022-06-21 cs.LG
S^2MVTC: a Simple yet Efficient Scalable Multi-View Tensor Clustering
University of Electronic Science & Technology of China(电子科技大学)
针对现有基于锚点的大规模多视图聚类方法仅探索全局相关性的局限,提出S^2MVTC方法,通过构建嵌入特征张量、设计TLFA算子及施加一致性约束学习视图内和跨视图相关性,在六个数据集上的聚类性能和运行效率均优于现有最优算法。
2024-04-11 cs.CV cs.LG
DimGrow: Memory-Efficient Field-level Embedding Dimension Search
Bilibili Inc.(哔哩哔哩公司)
针对推荐系统特征字段嵌入维度需自动化分配且现有SuperNet类方法内存开销大的问题,提出轻量级方法DimGrow,通过重要性评分动态调整维度,在三个推荐数据集上验证了有效性且降低了训练内存。
2026-09-30 cs.LG
Embedding Lexical Features via Low-Rank Tensors
Harbin Institute of Technology(哈尔滨工业大学);IBM Watson(IBM沃森);Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学)
现代NLP模型严重依赖工程特征,这些特征通常将单词和上下文信息组合成复杂的词汇特征。这样的组合导致大量的特征,这可能导致过拟合。我们提出了一个新的模型,表示复杂的词汇功能-包括部分的话,上下文信息和标签-在一个张量,捕捉这些部分之间的连接信息。我们将低秩张量近似应用于相应的参数张量,以减少参数空间并提高预测速度。此外,我们研究了两种方法处理功能,包括$n$ -混合长度的克。我们的模型在关系抽取、PP附加和介词消歧等任务上取得了最先进的结果。
2016-04-02 cs.AI cs.CL cs.LG
Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging
Technical University Darmstadt(达姆斯塔特技术大学)
本文提出利用扩散张量成像技术可视化词嵌入中的信息流,揭示LLM中自然语言表达的信息流动机制,提升NLP模型的可解释性。
2026-08-04 cs.AI cs.CL cs.LG
Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization
City University of Hong Kong(香港城市大学);UESTC(电子科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));ByteDance Research(字节跳动研究院)
针对现有联邦知识图谱补全框架的隐私泄露、优化失效和计算成本高等问题,提出FLEST方法,通过联邦张量分解和潜在字典嵌入共享,在性能与隐私间取得平衡。
2023-11-17 cs.AI cs.LG
Memory-Based Neighbourhood Embedding for Visual Recognition
University of Science and Technology of China(中国科学技术大学);Chinese Academy of Sciences(中国科学院);SenseTime Research(商汤科技研究院)
学习有区别的图像特征嵌入对于视觉识别具有重要意义。为了获得更好的特征嵌入效果,目前的方法大多集中在设计不同的网络结构或损失函数上,并且估计的特征嵌入通常只与输入图像相关。在本文中,我们提出了基于记忆的邻域嵌入(MNE),通过考虑其邻域来增强一般的CNN特征。该方法旨在解决两个关键问题,即,如何在网络训练中获取更多相关的邻域,以及如何聚合邻域信息以实现更具鉴别力的嵌入。我们首先在网络中增加一个情景记忆模块,它可以为训练和测试提供更多相关的邻居。然后,邻居被组织在树图中,目标实例作为根结点。邻域信息以自下而上的方式逐渐聚合到根结点,聚合权重由节点之间的类关系监督。我们将MNE应用于图像搜索和少样本学习任务。广泛的消融研究证明了每个组件的有效性,我们的方法显着优于国家的最先进的方法。
2019-08-14 cs.CV cs.LG
Memory Tokens: Large Language Models Can Generate Reversible Sentence Embeddings
Instituto de Computación, Facultad de Ingeniería, Universidad de la República(计算机研究所,工程学院,乌拉圭共和国大学)
本研究通过引入记忆令牌,使大语言模型能够生成可逆的句子嵌入,实现对原始文本的精确重建,展示了LLM在记忆检索与文本生成中的新能力。
2025-06-17 cs.AI cs.CL cs.LG
Checkmate: Breaking the Memory Wall with Optimal Tensor Rematerialization
UC Berkeley(加州大学伯克利分校)
我们将DNN训练时间和内存需求的权衡问题形式化为张量重新物化优化问题,这是先验检查点策略的推广。我们介绍了Checkmate,一个系统,解决了最佳的rematerialization时间表在合理的时间(一个小时以下)使用现成的MILP求解器或接近最佳的时间表与近似算法,然后使用这些时间表,以加速数百万的训练迭代。我们的方法可扩展到复杂的,现实的架构,并通过使用加速器特定的,基于配置文件的成本模型是硬件感知的。除了降低训练成本外,Checkmate还可以使用高达5.1倍的输入大小来训练真实世界的网络。Checkmate是一个开源项目,可以在https://github.com/parasj/checkmate上找到。
2020-05-14 cs.CV cs.DC cs.LG
Inverted Activations: Reducing Memory Footprint in Neural Network Training
Skoltech(斯科尔科沃科学技术学院);AIRI(人工智能研究院(AIRI))
针对神经网络训练中逐点非线性层激活张量内存占用高的问题,提出前向传播存输出张量、反向用近似反函数计算的倒置激活方法,可在不损精度与性能的前提下显著降内存,适配主流transformer架构且可即插即用。
2024-10-06 cs.LG
TeX-Graph: Coupled tensor-matrix knowledge-graph embedding for COVID-19 drug repurposing
University of Minnesota(明尼苏达大学);University of Virginia(弗吉尼亚大学)
知识图谱(KGs)是将知识库中的实体之间的关系行为编码的强大工具。KG可以同时建模许多不同类型的主谓宾和高阶关系。因此,它们提供了一个灵活的建模框架,已应用于许多领域,包括生物学和药理学-最近,在抗击COVID-19。从学习的角度来看,KG建模的灵活性既是一种祝福,也是一种挑战。在本文中,我们提出了一种新的耦合张量矩阵框架KG嵌入。我们利用张量分解工具来学习知识库中实体和关系的简明表示,并使用这些表示来执行COVID-19的药物再利用。我们提出的框架是原则性的,优雅的,并实现了100%的改善,超过最佳基线的COVID-19药物再利用任务使用最近开发的生物KG。
2020-10-25 cs.LG cs.SI eess.SP
The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
COUNT通过在主机存储预计算N元语法计数构建嵌入,可在固定计算预算下提升1B参数LM性能,GPU内存有限时表现优于拆分内存的方法,还能无训练适配新任务。
2026-10-15 cs.CL cs.LG
Language Model Memory and Memory Models for Language
IBM(IBM公司)
研究探讨了语言模型和记忆模型在信息存储中的能力差异,发现语言模型的嵌入向量信息较少,而自编码器在输入再生训练中能形成接近完美的记忆,提出了一种可并行的编码器-解码器记忆模型架构,并通过结合因果和信息保留目标函数来提升记忆形成和解码能力。
2026-05-18 cs.AI cs.CL cs.LG
Tensor Embedding: A Supervised Framework for Human Behavioral Data Mining and Prediction
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);University of Colorado Boulder(科罗拉多大学博尔德分校)
今天的密集仪器化的世界提供了巨大的机会,连续采集和分析的多模态传感器数据提供个人的行为的时间表征。是否有可能将如此丰富的传感器数据与预测建模技术有效地结合起来,以提供对个人表现和健康的上下文和有见地的评估?从这些嘈杂的、不完整的和异质的生物行为时间数据中预测人类行为的不同方面是一个具有挑战性的问题,超越了潜在结构的无监督发现。针对高维多模态数据,提出了一种基于输入变量和目标变量联合分解的监督张量嵌入算法。此外,我们表明,特征选择将有助于减少污染的预测和提高性能。通过两个不同的真实世界的数据集的方法的有效性进行了测试。
2018-08-31 cs.LG stat.ML
On the Memory Mechanism of Tensor-Power Recurrent Models
University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham UK(英国诺丁汉大学);RIKEN-AIP(理化学研究所人工智能项目);BIGO PTE. LTD.(BIGO私人有限公司)
张量幂(TP)递归模型是一类非线性动力系统,其递归关系由p重(a.k.a.,度-p)张量积。尽管这种模型经常出现在高级递归神经网络(RNNs)中,但迄今为止,对其记忆特性的研究有限,而记忆特性是序列任务中的一个关键特性。在这项工作中,我们进行了深入的研究TP复发模型的记忆机制。理论上,我们证明了大的度p是实现长记忆效应的必要条件,但它会导致不稳定的动力学行为。从经验上讲,我们通过将度p从离散域扩展到可微域来解决这个问题,这样它就可以从各种数据集中有效地学习。综上所述,新模型有望以稳定的方式受益于长期记忆效应。我们的实验表明,与单细胞和seq 2seq架构中的各种高级RNN相比,所提出的模型具有竞争力的性能。
2021-03-02 cs.LG cs.SY eess.SY
The Tensor Brain: Semantic Decoding for Perception and Memory
Ludwig Maximilian University of Munich(路德维希·马克西米利安慕尼黑大学);Siemens(西门子)
我们使用知识图谱和张量的数学模型来分析感知和记忆,以深入了解人类思维的相应功能。我们的讨论是基于由\textit{subject-predicate-object}(SPO)三元组组成的命题句的概念,用于表达基本事实。SPO语句是大多数自然语言的基础,但对于外显感知和陈述性记忆,以及脑内交流和辩论与推理的能力也可能很重要。一组SPO语句可以被描述为一个知识图谱,它可以被转换成一个邻接张量。我们引入张量模型,其中概念具有双重表示作为索引和相关嵌入,我们认为这两个构造对于理解大脑中的内隐和外显感知和记忆至关重要。我们认为,感知和记忆的生物实现对信息处理施加了限制。特别是,我们提出外显感知和陈述性记忆需要一个语义解码器,在一个简单的实现中,它基于四层:第一,感官记忆层,作为感官输入的缓冲区,第二,表示概念的索引层,第三,用于传播信息的无记忆表示层--“黑板”,或大脑的“画布”--第四,工作存储器层作为处理中心和数据缓冲器。我们讨论了这四个层的操作,并将它们与全局工作空间理论联系起来。在贝叶斯大脑解释中,语义记忆定义了可观察的三重陈述的先验。我们提出-在进化和发展过程中-语义记忆,情景记忆,和自然语言进化为新兴的属性在代理的过程中,以获得更深入的理解感官信息。
2020-02-10 cs.AI cs.CV cs.LG
The Tensor Memory Hypothesis
Siemens AG(西门子公司);Ludwig Maximilian University of Munich(慕尼黑大学)
我们讨论的记忆模型是基于张量分解使用潜在的实体和事件的表示。我们将展示如何实现情景记忆和语义记忆,并讨论如何从感官输入产生新的记忆痕迹:现有的记忆是感知的基础,通过感知产生新的记忆。我们将我们的数学方法与海马记忆索引理论联系起来。我们描述了第一个详细的数学模型,用于从感觉输入及其语义解码的完整处理管道,即,知觉,情节记忆和语义记忆的形成及其陈述性语义解码。我们的主要假设是,知觉包括一个积极的语义解码过程,它依赖于实体和谓词的潜在表征,情节记忆和语义记忆依赖于相同的解码过程。我们有助于领先的记忆巩固理论之间的辩论,即,标准固结理论(SCT)和多道理论(MTT)。后者与互补学习系统(CLS)框架密切相关。特别是,我们明确地表明,情景记忆可以教新皮层形成一个语义记忆,这是一个核心问题,在MTT和CLS。
2017-08-28 cs.AI cs.LG q-bio.NC
Topology-aware Embedding Memory for Continual Learning on Expanding Networks
The University of Sydney(悉尼大学);University of Connecticut(康涅狄格大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文针对持续扩展网络中的记忆爆炸问题,提出参数解耦图神经网络与拓扑感知嵌入记忆框架,将记忆复杂度从 O(nd^L) 降至 O(n),并利用伪训练效应设计覆盖最大化采样策略,显著提升类增量场景下的性能。
2024-06-30 cs.LG
MoVE: Mixture of Value Embeddings -- A New Axis for Scaling Parametric Memory in Autoregressive Models
MoVE通过引入价值嵌入的混合机制,实现了自回归模型参数内存的独立扩展,提升了文本和图像生成任务的性能。
2026-01-30 cs.AI cs.CL cs.CV
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia(IBM澳大利亚研究院)
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现,需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响,从而影响消歧性能。在这项工作中,我们已经评估了几种类型的功能来自上下文的歧义词,我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明,词嵌入提高了更多传统特征的性能,并允许使用基于长短期记忆(LSTM)节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients
Hong Kong Baptist University(香港浸会大学);Department of Computer Science(计算机科学系);Hong Kong SAR, China(中国香港特别行政区)
核近似被广泛用于扩展核SVM训练和预测。然而,如果我们想将内核近似模型部署在内存有限的设备(如手机、智能手表和物联网设备)上,其内存和计算成本仍然太高。为了解决这一挑战,我们提出了一种新的内存和计算效率的核SVM模型,通过使用二进制嵌入和二进制模型系数。首先,我们提出了一种有效的方法来生成紧凑的二进制嵌入的数据,保持内核的相似性。其次,我们提出了一个简单但有效的算法来学习一个线性分类模型的三元系数,可以支持不同类型的损失函数和正则化。我们的算法可以实现更好的泛化精度比现有的作品学习二进制系数,因为我们允许系数是$-1$,$0$,或$1$在训练阶段,和系数$0$可以被删除在模型推断二进制分类。此外,我们提供了一个详细的分析,我们的算法的收敛性和我们的模型的推理复杂度。分析表明,该模型保证了收敛到局部最优,推理复杂度远低于其他竞争方法。在5个大型真实数据集上的实验结果表明,该方法能够以小于30KB的内存开销建立精确的非线性SVM模型。
2020-10-06 cs.LG
Knowledge Graph Embedding with Entity Neighbors and Deep Memory Network
Dalian University of Technology(大连理工大学)
知识图谱嵌入是将知识图谱中的实体和关系表示在一个低维的连续向量空间中。近年来的研究主要集中在将结构化知识与附加信息(如实体描述、关系路径等)相结合,但是常用的附加信息往往含有大量的噪声,使得学习有价值的表示变得困难。在本文中,我们提出了一种新的附加信息,称为实体邻居,它包含了给定实体的语义和拓扑特征。然后,我们开发了一个深度记忆网络模型来编码来自邻居的信息。采用门控机制,结构和邻居的表示被集成到一个联合表示。实验结果表明,我们的模型优于现有的KGE方法利用实体描述,并实现了最先进的度量4个数据集。
2018-08-11 cs.CL cs.LG
MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
Seoul National University(首尔国立大学);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学技术研究所(UNIST))
MATE通过使用累积转移嵌入的记忆架构,解决了由未观察上下文参数化的上下文马尔可夫决策过程(CMDPs),在保持后验信念的同时,避免了传统方法的计算和梯度问题,实现了高效且性能优异的解决方案。
2026-05-17 cs.AI cs.LG
Tensor-Train Long Short-Term Memory for Monaural Speech Enhancement
Idiap Research Institute(Idiap研究所);Indian Institute of Technology (IIT) Kharagpur(印度理工学院卡拉格普尔分校)
近年来,长短期记忆(LSTM)已成为语音分离和语音增强任务的热门选择。LSTM网络的能力可以通过扩大和增加更多的层来增强。然而,这将在网络中引入数百万个参数,并且还增加了对计算资源的需求。这些限制阻碍了RNN模型在低端设备(如手机和内存有限的嵌入式系统)中的有效实现。为了克服这些问题,我们提出了一种有效的替代方法,通过基于Tensor-Train(TT)格式表示LSTM的权重矩阵参数来减少参数。我们将这种Tensor-Train分解的LSTM称为TT-LSTM模型。基于这个TT-LSTM单元,我们提出了一个用于单通道语音增强任务的深度TensorNet模型。在各种测试条件下以及标准语音质量和可懂度指标方面的实验结果表明,所提出的基于深度TT-LSTM的语音增强框架可以实现与最先进的未压缩RNN模型竞争的性能,即使所提出的模型架构的复杂度低了几个数量级。
2018-12-25 cs.LG cs.SD eess.AS
Spectral/Spatial Tensor Atomic Cluster Expansion with Universal Embeddings in Cartesian Space
TACE通过统一标量和张量建模,在笛卡尔空间中提供通用不变和等变嵌入,实现高效且稳定的原子主义机器学习。
2026-03-06 cond-mat.mtrl-sci cs.LG physics.chem-ph
A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction
Aalto University(阿尔托大学);University of Turku(图尔库大学)
本文提出了一种新的方法来学习高度非线性,多元函数的例子。我们的方法利用了连续函数可以用多项式近似的性质,而多项式又可以用张量表示。因此,函数学习问题转化为张量重构问题,张量分解的逆问题。我们的方法从秩一项中逐步建立未知张量,这使我们能够控制学习模型的复杂性并减少过拟合的机会。为了学习模型,我们提出了一种有效的基于梯度的算法,可以在线性时间内实现的样本大小,顺序,张量的秩和输入的维数。除了回归之外,我们还提出了对分类,多视图学习和向量值输出的扩展以及多层公式。该方法可以通过处理具有恒定存储器复杂度的小批量数据以在线方式工作。因此,它可以适合仅配备有限资源的系统,如嵌入式系统或移动电话。我们的实验证明了有利的准确性和运行时间相比,竞争的方法。
2020-05-04 cs.LG stat.ML