ReDistill: Residual Encoded Distillation for Peak Memory Reduction of CNNs
University of California Merced（加州大学默塞德分校）；Case Western Reserve University（凯斯西储大学）
提出ReDistill残差编码蒸馏方法，通过激进池化构建低内存学生网络，在图像分类和扩散生成任务中实现4倍至5倍峰值内存降低且保持良好性能。
2025-04-25 cs.CV cs.LG
FALCON: Feature-Label Constrained Graph Net Collapse for Memory Efficient GNNs
Imperial College London（伦敦帝国理工学院）
提出FALCON，一种拓扑感知的图缩减方法，通过保留特征-标签分布，结合迷你批处理和量化，实现内存高效GNN训练，并在公共数据集上保持预测质量。
2023-12-27 cs.AI cs.LG
Non-Volatile Memory Accelerated Geometric Multi-Scale Resolution Analysis
IBM Research（IBM研究院）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Williams College（威廉姆斯学院）；Seoul National University（首尔国立大学）
简化算法是研究人员工具箱中的标准工具。简化算法经常用于增强下游任务，如机器学习，数据科学，也是理解复杂现象的探索性方法。例如，降维通常用于生物学和神经科学，以理解从生物学主题收集的数据。然而，降维技术受到它们执行的von-Neumann体系结构的限制。具体地，诸如降维技术的数据密集型算法通常需要快速、高容量、持久的存储器，这在历史上硬件无法同时提供。在本文中，我们提出了一个现有的降维技术，称为几何多尺度分辨率分析（GMRA），已通过新的持久存储技术，称为内存为中心的主动存储（MCAS）加速重新实现。我们的实现使用了一个名为PyMM的专用版本的MCAS，它为Python数据库提供了原生支持，包括NumPy数组和PyTorch张量。我们将PyMM实现与DRAM实现进行比较，并表明当数据适合DRAM时，PyMM提供了具有竞争力的运行时。当数据不适合DRAM时，我们的PyMM实现仍然能够处理数据。
2022-02-21 cs.AR cs.LG
Tensor Random Projection for Low Memory Dimension Reduction
Cornell（康奈尔大学）；UW-Madison（威斯康星大学麦迪逊分校）；Caltech（加州理工学院）
随机投影减少了一组向量的维度，同时保留了结构信息，例如集合中向量之间的距离。本文提出了一种新的使用行积随机矩阵的随机投影，我们称之为张量随机投影（TRP）。它需要的内存比现有的降维映射少得多。TRP映射被形成为几个较小的随机投影的Khatri-Rao乘积，并且与包括稀疏映射在内的任何基本随机投影兼容，这使得能够以非常低的查询成本并且没有浮点运算来降低维度。我们还开发了一个减少方差的扩展。我们提供了一个理论分析的偏差和方差的TRP，和一个非渐近误差分析的TRP组成的两个较小的地图。合成和MNIST数据上的实验表明，我们的方法执行以及传统的方法，大大减少存储。
2021-04-30 cs.LG cs.NA math.NA
Lifelong Learning Process: Self-Memory Supervising and Dynamically Growing Networks
从童年到青年，人类逐渐认识世界。但对于神经网络来说，这个成长过程似乎很困难。陷入灾难性遗忘，目前的研究人员将所有类别的数据馈送到一个神经网络，该网络在整个训练过程中保持相同的结构。我们将这种训练过程与人类的学习模式进行了比较，发现了两个主要的冲突。本文基于条件变分自编码器（CVAE）模型，研究如何在生成模型上解决这些冲突。为了解决不连续的冲突，我们采用记忆回放策略来保持模型对不可见使用类别的识别和生成能力。并将传统的单向CVAE扩展为循环模式，以更好地实现内存回放策略。为了解决“死”结构的冲突，我们重写了CVAE公式，从而能够对CVAE模型中不同部分的功能做出新的解释。基于新的理解，我们找到了在新类别上训练时动态扩展网络结构的方法。我们验证了我们的方法的有效性MNIST和时尚MNIST和显示一些非常interesting结果。
2020-04-27 cs.LG stat.ML
Learning to Unscramble Feynman Loop Integrals with SAILIR
Rutgers University（罗格斯大学）
SAILIR通过自监督学习解费曼环形积分，相比传统方法更节省内存，能处理高权重积分。
2026-04-06 cs.LG hep-ph hep-th
Tempo: Accelerating Transformer-Based Model Training through Memory Footprint Reduction
University of Toronto（多伦多大学）；Shanghai Jiao Tong University（上海交通大学）；Vector Institute（向量研究所）
训练深度学习模型在计算上可能是昂贵的。先前的工作已经表明，增加批量大小可能会导致更好的整体吞吐量。然而，由于为训练反向传递存储的激活/特征图，批量大小经常受到加速器存储器容量的限制，因为较大的批量大小需要存储较大的特征图。基于transformer的模型，由于其良好的性能和对各种任务的适用性，最近受到了广泛的欢迎，也有类似的问题。为了解决这个问题，我们提出了Tempo，一种有效使用加速器的新方法（例如，GPU）内存资源，用于训练基于transformer的模型。我们的方法为GELU，LayerNorm和Attention层提供了直接替代品，减少了内存使用，最终实现了更有效的训练。我们实现了Tempo并评估了BERT Large预训练任务的吞吐量、内存使用和准确性/损失。我们证明了Tempo能够在最先进的基线上实现高达2倍的批量大小和16%的训练吞吐量。我们还在GPT 2和RoBERTa模型上评估了Tempo，分别比基线加速了19%和26%。
2023-01-24 cs.LG cs.PF
DNN Memory Footprint Reduction via Post-Training Intra-Layer Multi-Precision Quantization
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙菲莎大学）
本文提出训练后层内多精度量化方法 PTILMPQ，通过估计层和通道重要性进行精确比特分配，在无需大量训练数据的情况下有效减少 DNN 内存占用，并在 ResNet50 上以仅 1.08% 的精度损失实现 25.49% 的内存缩减。
2024-04-03 cs.AI cs.LG
Learning to Forget Attention: Memory Consolidation for Adaptive Compute Reduction
Iowa State University（爱荷华州立大学）
本文提出了一种基于记忆巩固的注意力路由机制，通过减少冗余注意力计算，显著提升模型效率，同时在未见过的任务中保持高准确性。
2026-02-12 cs.LG
XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference
Northeastern University（东北大学）；Guangzhou University（广州大学）
针对长上下文LLM推理中KV缓存内存占用过高的问题，本文提出XKV方法，通过量化不同层缓存对精度的影响，以个性化分层缓存分配的组合优化方案，实现了内存大幅缩减与效率、吞吐量的显著提升。
2024-12-08 cs.CL cs.LG
Using Recurrent Neural Networks to Optimize Dynamical Decoupling for Quantum Memory
Technical University of Munich（慕尼黑工业大学）；Max-Planck Institute for Quantum Optics（马克斯·普朗克量子光学研究所）
我们利用基于循环神经网络的机器学习模型来优化动态解耦（DD）序列。DD是一种相对简单的技术，用于抑制某些噪声模型的量子存储器中的错误。在数值模拟中，我们表明，最小限度地使用先验知识，从随机序列开始，模型能够随着时间的推移而改善，并最终输出DD序列的性能优于著名的DD-家庭。此外，我们的算法很容易在实验中实现，以找到针对特定硬件的解决方案，因为它将品质因数视为黑盒。
2016-09-17 cs.LG cs.NE quant-ph
In-memory Realization of In-situ Few-shot Continual Learning with a Dynamically Evolving Explicit Memory
IBM Research（IBM研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；ETH Zürich（苏黎世联邦理工学院）
从几个训练样本中不断学习新的类而不忘记以前的旧类需要一个灵活的架构，其存储部分不可避免地增长，其中新的示例和类可以增量地存储并有效地检索。一个可行的架构解决方案是将静态深度神经网络紧密耦合到动态演化的显式存储器（EM）。作为该架构的核心，我们提出了一个EM单元，该单元在持续学习操作过程中利用节能的内存计算（IMC）核心。我们第一次演示了EM单元如何在物理上叠加多个训练样本，扩展以适应看不见的类，并在推理过程中执行相似性搜索，使用基于相变存储器（PCM）的IMC核心上的操作。具体地，通过PCM器件的原位渐进结晶来实现几个编码的训练样本的物理叠加。与CIFAR-100和miniImageNet数据集上最先进的全精度基线软件模型相比，IMC核心实现的分类准确度保持在1.28%-2.5%的范围内，当在60个旧类的基础上连续学习40个新类（每个类只有5个示例）时。
2022-07-14 cs.LG
Parameter Compression of Recurrent Neural Networks and Degradation of Short-term Memory
Qualcomm Technologies, Inc.（高通技术公司）
在大规模或资源受限的环境中（例如数据中心和移动设备）部署神经网络的显著计算成本已经刺激了对模型压缩的兴趣，其可以实现算术运算和存储内存的减少。已经提出了几种技术来减少或压缩前馈和卷积神经网络的参数，但很少有人了解参数压缩对循环神经网络（RNN）的影响。特别是，在何种程度上可以压缩的经常性参数和短期记忆性能的影响，是不是很好地理解。在本文中，我们研究了复杂性降低的效果，通过奇异值分解秩降低，对RNN和最小门控递归单元（MGRU）网络的几个任务。我们表明，相当大的秩减少是可能的压缩经常性的权重，即使没有微调。此外，我们提出了一个扰动模型的一般扰动，如压缩，对递归参数的影响。该模型进行了测试，对一个无声的记忆实验，阐明了短期记忆的表现。通过这种方式，我们证明了经常性参数的压缩效果取决于数据和任务中存在的时间相干性的程度。这项工作可以指导新环境或任务的实时RNN压缩，并为在低功耗设备（如助听器）中应用RNN压缩提供见解。
2017-02-24 cs.CV cs.LG cs.NE
LegoNet: Memory Footprint Reduction Through Block Weight Clustering
Dept of Computer Science Rutgers University New Brunswick, New Jersey（计算机科学系 Rutgers 大学 新泽西州纽布朗斯维尔回城）
LegoNet通过块权重聚类技术，在不改变架构和不重新训练的情况下，实现高达128倍的内存压缩，同时保持接近97%的精度。
2026-02-18 cs.LG
Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出 Adam Accumulation（AdamA）方法，通过将梯度直接整合进优化器状态并在微批次上累积，同时减少激活与梯度内存，在保持 Adam 收敛性的前提下实现高达 23% 的内存降低，并支持训练更大规模模型。
2023-05-31 cs.AI cs.LG
Dynamical Component Analysis (DyCA): Dimensionality Reduction For High-Dimensional Deterministic Time-Series
Ansbach University of Applied Sciences（安斯巴赫应用科学大学）
多变量信号处理通常基于降维技术。我们提出了一种新的方法，动态成分分析（DyCA），导致的基本动态的分类和-对于某种类型的动态-信号子空间表示的动态数据。在本文中，该算法推导导致相关矩阵的广义特征值问题。DyCA的高维混沌信号的应用，提出了模拟数据，以及真正的癫痫发作的EEG数据。
2019-03-18 cs.LG eess.SP nlin.CD
Green DetNet: Computation and Memory efficient DetNet using Smart Compression and Training
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；CY Université（CY塞尔吉巴黎大学）；ENSEA（ENSEA工程师学院）；CNRS（法国国家科学研究中心）
本文介绍了一种增量训练框架，用于压缩流行的基于深度神经网络（DNN）的展开多输入多输出（MIMO）检测算法，如DetNet。探索增量训练的思想，以选择最佳的深度，而训练。为了减少计算要求或浮点运算（FLOPs）的数量，并加强稀疏的权重，结构化正则化的概念，探索使用组LASSO和稀疏组LASSO。我们的方法导致了惊人的$98.9\%$减少内存需求和$81.63\%$减少FLOPs相比，DetNet不影响BER性能。
2021-04-16 cs.IT cs.LG eess.SP
