Online Learning of a Memory for Learning Rates
MPI-IS（马克斯·普朗克智能系统研究所）；University of Washington（华盛顿大学）；USC（南加利福尼亚大学）
机器人学会学习的希望在于希望通过提取一些关于学习过程本身的信息，我们可以加快后续类似的学习任务。在这里，我们介绍了一个计算效率高的在线元学习算法，建立和优化记忆模型的最佳学习率景观从以前观察到的梯度行为。在执行特定于任务的优化时，该学习率的记忆预测如何缩放当前观察到的梯度。在应用梯度缩放后，我们的元学习器根据观察到的预测效果更新其内部内存。我们的元学习器可以与任何基于梯度的优化器相结合，动态学习，并可以转移到新的优化任务。在我们的评估中，我们表明，我们的元学习算法加快学习MNIST分类和各种学习控制任务，无论是在批量或在线学习设置。
2018-03-23 cs.LG
Information-theoretic Online Memory Selection for Continual Learning
DeepMind（深度思维）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Baidu Apollo（百度阿波罗）
无任务持续学习中的一个挑战性问题是从数据流中在线选择代表性重放记忆。在这项工作中，我们从信息论的角度研究了在线记忆选择问题。为了收集最多的信息，我们提出了\textit{surprise}和\textit{learnability}标准来挑选信息点并避免离群值。我们提出了一个贝叶斯模型来计算的标准，有效地利用秩一矩阵结构。我们证明，这些标准鼓励选择信息点在线记忆选择的贪心算法。此外，通过识别\textit{the timing to update the memory}的重要性，我们介绍了随机信息理论水库采样器（InfoRS），它进行高信息的选择点之间的采样。与水库采样相比，InfoRS显示出对数据不平衡的更好的鲁棒性。最后，通过对持续学习基准的实证分析，证明了该方法的有效性。
2022-04-10 cs.LG stat.ML
Labeled Memory Networks for Online Model Adaptation
IIT Bombay（印度理工学院孟买分校）
用记忆增强神经网络，而不增加训练参数的数量，是一个最近的强大概念，有许多令人兴奋的应用。我们提出了一种设计的记忆增强神经网络（MANN）称为标签记忆网络（LMNs）适合于需要在线适应分类模型的任务。LMN以类作为主键码来组织记忆，记忆作为继常规神经网络之后的第二个提升阶段，从而允许记忆和主网络发挥互补作用。与针对每个实例写入存储器并使用基于LRU的存储器替换的现有MANN不同，LMN仅针对具有非零丢失的实例写入并使用基于标签的存储器替换。我们在各种任务上表现出显着的准确性增益，包括单词建模和少样本学习。在本文中，我们建立了他们的潜力，在线适应一批训练神经网络领域相关的标记数据在部署时。我们表明，LMNs优于其他MANN设计的元学习。我们还发现，它们比最先进的重新调整模型参数的方法更准确，更快，以适应特定领域的标记数据。
2017-12-02 cs.LG stat.ML
Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization
NAVER Cloud（NAVER云）；KAIST AI（韩国科学技术院人工智能研究所）；NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）；SNU AI Center（首尔国立大学人工智能中心）
本文提出PEQA方法，通过仅更新量化尺度对低位量化大语言模型进行参数高效微调，在显著降低内存和模型规模的同时，使低于4位量化的LLM能力恢复甚至超过全精度性能。
2023-10-28 cs.AI cs.LG
Continual Competitive Memory: A Neural System for Online Task-Free Lifelong Learning
Rochester Institute of Technology（罗切斯特理工学院）
在这篇文章中，我们提出了一种新的无监督学习形式，连续竞争记忆（CCM），以及一个计算框架，以统一相关的神经模型下的竞争原则。所得到的神经系统提供了一个有效的方法，打击灾难性遗忘在线连续分类问题。我们证明了所提出的CCM系统不仅优于其他竞争性学习神经模型，而且在Split MNIST和Split NotMNIST等基准上与几种现代最先进的终身学习方法相比具有竞争力。CCM为获取对数据流干扰具有鲁棒性的表示提供了一条有希望的前进道路，特别是当任务对模型未知并且必须在没有外部指导的情况下推断时。
2021-06-24 cs.LG
Ferret: An Efficient Online Continual Learning Framework under Varying Memory Constraints
Sichuan University（四川大学）；National University of Singapore（新加坡国立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Huazhong University of Science and Technology（华中科技大学）
本文提出 Ferret 框架，通过细粒度流水线并行、迭代梯度补偿及自动化模型划分，在变化内存预算下提升 OCL 的实时准确率与效率。
2025-03-15 cs.AI cs.LG
Online Continual Learning under Extreme Memory Constraints
University of Trento（特伦托大学）；SAP AI Research（SAP人工智能研究院）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信LTCI实验室）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
持续学习（CL）旨在开发能够模仿人类顺序学习新任务的能力的智能体，同时能够保留从过去经验中获得的知识。在本文中，我们介绍了新的问题的内存约束在线持续学习（MC-OCL），它对内存开销施加了严格的限制，一个可能的算法可以用来避免灾难性遗忘。由于大多数（如果不是全部）以前的CL方法违反了这些约束，我们提出了MC-OCL的算法解决方案：批量级蒸馏（BLD），这是一种基于正则化的CL方法，它有效地平衡了稳定性和可塑性，以便从数据流中学习，同时保留了通过蒸馏解决旧任务的能力。我们广泛的实验评估，进行了三个公开的基准，经验表明，我们的方法成功地解决了MC-OCL问题，并实现了相当的准确性，需要更高的内存开销之前的蒸馏方法。
2022-01-12 cs.CV cs.LG
From Offline to Online Memory-Free and Task-Free Continual Learning via Fine-Grained Hypergradients
The University of Tokyo（东京大学）；Japanese French Laboratory for Informatics, CNRS（日法信息实验室，CNRS）；Massachusetts Institute of Technology（麻省理工学院）
针对在线持续学习中无任务、无记忆方法难以适配的问题，本文用轻量级原型结合细粒度超梯度重加权缓解梯度不平衡，显著提升性能并超过在线基线。
2025-06-07 cs.AI cs.LG
LoMA: Lossless Compressed Memory Attention
Deepglint Inc.（深格灵公司）；Peking University（北京大学）
LoMA通过训练与生成算法实现KV缓存无损压缩，在单次推理中降低长上下文LLM的内存与计算开销。
2024-02-04 cs.CL cs.LG
CompAct: Compressed Activations for Memory-Efficient LLM Training
Technion - Israel Institute of Technology（以色列理工学院）
针对LLM训练中峰值内存受限的问题，提出CompAct技术，通过存储低秩压缩激活减少反向传播计算图内存占用，预训练峰值内存降25-30%、微调降50%，显著优化计算性能权衡。
2025-02-08 cs.CL cs.LG
Decentralized Parameter-Free Online Learning with Compressed Gossip
Center for Pervasive Communications & Computing and EECS Department, University of California, Irvine（普及通信与计算中心和加州大学尔湾分校电子工程与计算机科学系）
提出DECO-EF算法，结合coin-betting预测与压缩差分八卦，实现去中心化在线凸优化中无参数自适应且压缩通信下的次线性网络遗憾。
2026-05-27 cs.LG eess.SP math.OC
Follow the Compressed Leader: Faster Online Learning of Eigenvectors and Faster MMWU
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
计算顶部特征向量的在线问题是机器学习的基础。在对抗和随机设置中，以前的结果（如矩阵乘法权重更新，遵循正则化领导者，遵循压缩领导者，块功率方法）要么实现最佳遗憾，但运行缓慢，要么以损失总遗憾中的$\sqrt{d}$因子为代价快速运行，其中$d$是矩阵维数。我们提出了一个$\textit{follow-the-compressed-leader (FTCL)}$框架，实现了最佳的遗憾，而不牺牲运行时间。我们的想法是将矩阵策略“压缩”到对抗设置中的3维或随机设置中的1维。这两个分别解决了两个开放的问题，关于设计的最佳和有效的算法的在线特征向量问题。
2017-09-18 cs.DS cs.LG math.OC
Compressed Online Dictionary Learning for Fast fMRI Decomposition
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）
我们提出了一种快速静息状态fMRI空间分解的非常大的数据集，基于减少的时间维度之前，应用字典学习连接的个人记录从组的主题。介绍了一个措施的对应关系的空间分解休息功能磁共振成像，我们证明了时间减少字典学习产生的结果可靠的非减少分解。我们还表明，这种减少显着提高计算的可扩展性。
2016-02-08 cs.LG stat.ML
Revisiting Decentralized Online Convex Optimization with Compressed Communication
School of Software Technology, Zhejiang University（浙江大学软件学院）；State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室）
针对带压缩通信的分布式在线凸优化，首次提出两种基于跟随正则化领导者的算法，在完整信息和赌博机设置下分别匹配或显著改进现有遗憾界与通信成本。
2026-07-03 cs.LG
Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation
Department of Mathematics and Statistics（数学与统计学系）
本文通过比较三种记忆机制（压缩潜在循环、全序列状态循环和思维链暂存区），证明压缩循环Transformer的记忆预算限制其推理能力，而思维链通过扩展上下文实现更强的问题求解。
2026-05-29 cs.LG
Denoising-based Turbo Message Passing for Compressed Video Background Subtraction
在本文中，我们考虑的压缩视频背景减法问题，分离的背景和前景的视频从其压缩测量。视频的背景通常位于低维空间中，而前景通常是稀疏的。更重要的是，每个视频帧都是具有纹理图案的自然图像。通过利用这些属性，我们开发了一个消息传递算法称为离线降噪的涡轮消息传递（DTMP）。我们表明，这些结构属性可以有效地处理现有的去噪技术下的涡轮消息传递框架。我们进一步扩展的DTMP算法的在线场景中，视频数据的在线方式收集。该扩展基于相邻视频帧之间的相似性/连续性。我们采用光流方法来细化前景的估计。为了降低计算复杂度，我们还采用了基于滑动窗口的背景估计方法。通过利用消息的高斯性，我们开发了状态演化来表征离线和在线DTMP的每次迭代性能。与现有的算法相比，DTMP算法可以在更低的压缩率下工作，并且可以成功地去除背景，无论是离线还是在线压缩视频背景去除，都具有更低的均方误差和更好的视觉质量。
2020-12-10 cs.LG
Optimally Compressed Nonparametric Online Learning
U.S. Army Research Laboratory（美国陆军研究实验室）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
基于神经网络的机器学习模型的批量训练现在已经很好地建立起来，而迄今为止的流方法主要基于线性模型。为了超越在线设置中的线性，非参数方法由于其通用性和通过凸性或贝叶斯规则稳定地结合新信息的能力而受到关注。不幸的是，当在线使用时，非参数方法遭受“维数灾难”，这妨碍了它们的用途：它们的复杂性至少与时间指数成比例。我们调查在线压缩工具，使他们的记忆控制和实现近似收敛。渐近偏差取决于压缩参数，该压缩参数权衡了存储器和精度。此外，机器人，通信，经济和电力的应用进行了讨论，以及扩展到多智能体系统。
2020-01-18 cs.LG eess.SP math.OC
Distributed Online Convex Optimization with Compressed Communication: Optimal Regret and Applications
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究了在压缩通信下分布式在线凸优化问题，提出最优算法，解决了压缩误差与投影误差之间的耦合问题，并在非光滑优化中提供了首次保证。
2026-04-10 cs.LG
Compressed online Sinkhorn
University of Bath（巴斯大学）；University of Warwick（华威大学）
本研究改进了online Sinkhorn算法的收敛性分析并验证其精确性，同时提出结合测度压缩技术的压缩在线Sinkhorn算法，通过实验与理论证明了其效率提升。
2023-10-08 cs.LG stat.ML
OrcoDCS: An IoT-Edge Orchestrated Online Deep Compressed Sensing Framework
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Virginia Tech（弗吉尼亚理工大学）
针对WSNs中现有压缩数据聚合框架灵活性和自适应性不足且忽略后续应用性能的问题，提出物联网-边缘协同的在线深度压缩感知框架OrcoDCS，利用非对称自编码器减少编码开销并提升重建性能，在训练时间、灵活性及后续应用性能上均优于现有方法。
2023-08-05 cs.DC cs.IT cs.LG
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI；Eleuther AI
KVM提出了一种新的块递归注意力机制，能够处理固定大小或增长状态，通过在强基线变压器中加入KVM注意力层，实现了线性复杂度的RNN，并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
Efficient Compressed Ratio Estimation Using Online Sequential Learning for Edge Computing
The University of Tokyo（东京大学）
本文提出面向边缘设备的演员-评论家在线序列极限学习机（AC-OSELM），用于高效估计压缩感知中的合适压缩率，实验表明其在保持或提升压缩性能的同时实现了更快的压缩率估计。
2023-07-08 cs.LG
Efficient Inferencing of Compressed Deep Neural Networks
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；IBM Research - India（IBM印度研究院）
深度神经网络中的大量权重使得模型难以部署在低内存环境中，例如，移动电话，物联网边缘设备以及云上的“推理即服务”环境。先前的工作已经考虑减少模型的大小，通过压缩技术，如修剪，量化，霍夫曼编码等，然而，使用压缩模型的有效推理很少受到关注，特别是与霍夫曼编码到位。在本文中，我们提出了有效的并行算法，推理的单张图像和批次，在各种内存限制。我们的实验结果表明，我们的方法使用可变的批量大小推理实现了15-25\%的性能提高的推理吞吐量为AlexNet，同时保持内存和延迟的限制。
2017-11-01 cs.DC cs.LG
Less Memory Means smaller GPUs: Backpropagation with Compressed Activations
Heidelberg University（海德堡大学）
针对深度神经网络训练中激活值内存占用过高的问题，提出用池化压缩反向传播用的激活图、前向计算保持未压缩的方法，在ResNet上验证可降29%峰值内存且精度无损。
2024-09-18 cs.LG
MemCoRe: Recovering Evidence from Progressively Compressed Factual Knowledge for Agent Memory
The Hong Kong University of Science（香港科学与技术大学）；Nanjing University of Science（南京理工大学）
MemFly通过信息瓶颈原理实现LLM的飞地内存优化，采用梯度自由优化器和混合检索机制提升内存效率和多跳查询能力。
2026-09-07 cs.AI cs.LG
GACT: Activation Compressed Training for Generic Network Architectures
University of California, Berkeley（加州大学伯克利分校）
训练大型神经网络（NN）模型需要大量的内存资源，激活压缩训练（ACT）是一种很有前途的减少训练内存占用的方法。本文介绍了GACT，ACT框架，以支持广泛的机器学习任务的通用NN架构与有限的领域知识。通过分析ACT近似梯度的线性化版本，我们证明了GACT的收敛性，而不需要算子类型或模型结构的先验知识。为了使训练稳定，我们提出了一种算法，该算法通过估计每个张量在运行时间对梯度的影响来决定每个张量的压缩比。我们将GACT实现为一个PyTorch库，可以很容易地应用于任何NN架构。GACT将卷积NN、Transformers和graph NN的激活内存减少了8.1倍，使训练的批量大小增加了4.2倍至24.7倍，精度损失可以忽略不计。我们在https://github.com/LiuXiaoxuanPKU/GACT-ICML上将GACT实现为PyTorch库。
2022-09-03 cs.LG
Learning Compressed Sentence Representations for On-Device Text Processing
Duke University（杜克大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在大量文本语料库上训练的句子的向量表示被广泛用作各种NLP问题中的通用句子嵌入。学习的表示通常被假设为连续的和实值的，从而导致大的存储器占用和缓慢的检索速度，这阻碍了它们对低资源（存储器和计算）平台（诸如移动设备）的适用性。在本文中，我们提出了四种不同的策略来转换连续和通用的句子嵌入到一个二进制化的形式，同时保留其丰富的语义信息。在广泛的下游任务，二进制化的句子嵌入被证明是降低性能只有约2%，相对于他们的连续同行，同时减少了超过98%的存储需求的方法进行评估。此外，通过学习的二进制表示，可以通过简单地计算它们的汉明距离来评估两个句子的语义相关性，与连续嵌入之间的内积运算相比，这是计算效率更高的。详细的分析和实例研究进一步验证了所提方法的有效性。
2019-06-19 cs.CL cs.LG
Efficient User Sequence Learning for Online Services via Compressed Graph Neural Networks
Peking University（北京大学）；Alipay (Hangzhou) Information & Technology Co. Ltd.（支付宝（杭州）信息技术有限公司）
本文提出统一框架ECSeq，利用图压缩技术进行用户序列关系建模，在保持高效率和即插即用特性的同时，显著提升了预训练序列模型的预测性能。
2024-06-05 cs.AI cs.LG
ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training
University of California, Berkeley（加州大学伯克利分校）
神经网络模型的大小不断增加，对于提高其准确性至关重要，但设备内存却没有以相同的速度增长。这给在有限的内存环境中训练神经网络带来了根本性的挑战。在这项工作中，我们提出了ActNN，这是一个记忆效率高的训练框架，可以存储随机量化的激活以进行反向传播。我们证明了一般网络架构的ActNN的收敛性，并通过梯度方差的精确表达式来表征量化对收敛性的影响。使用我们的理论，我们提出了新的混合精度的量化策略，利用激活的异质性跨特征维度，样本和层。这些技术可以很容易地应用于现有的动态图框架，如PyTorch，只需替换层。我们评估ActNN的主流计算机视觉模型的分类，检测和分割任务。在所有这些任务中，ActNN平均将激活压缩到2位，精度损失可以忽略不计。ActNN将激活的内存占用减少了12倍，并且可以使用6.6倍到14倍的批量大小进行训练。
2021-07-06 cs.CV cs.LG stat.ML
EPOC: Endpoint-Preserving Online Correction With Compressed Residual State for Multi-Horizon Time Series Forecasting
Keio University（庆应义塾大学）
EPOC通过压缩残差状态（存储DCT系数和端点）进行在线校正，在多步预测中平均降低MSE 15.40%，且辅助状态远小于完整方法。
2026-10-06 cs.LG
LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
本研究提出GPU友好的无损压缩张量框架LCT，利用浮点数据冗余压缩训练用张量，在NanoGPT和Qwen3-4B上实现内存节省，同时控制时间开销，支持更大上下文长度。
2026-10-16 cs.LG
Strong Drafts Need Compact Memories: Long-Context Speculative Decoding with Compressed KV Cache
Data Science and Analytics Thrust, Information Hub（数据科学与分析方向、信息枢纽）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出记忆增强草稿技术，为长上下文推测解码配备压缩KV记忆，可降低70%以上草稿侧内存，使Llama~3.1-8B和70B模型分别实现最高2.08倍、3.33倍解码加速，同时保持推测解码的无损保证。
2026-09-01 cs.LG
Learning Directly from Grammar Compressed Text
NEC Corporation（日本电气公司）；RIKEN Center for Advanced Intelligence Project (RIKEN AIP)（理化学研究所先进智能项目中心）
使用大量文本数据的神经网络已经成功地应用于各种任务。虽然大量文本数据通常使用语法压缩等技术进行压缩，但几乎所有以前的机器学习方法都假设已经解压缩的序列数据作为其输入。在本文中，我们提出了一种方法，直接应用神经序列模型的语法压缩算法压缩的文本数据，而无需解压缩。为了对压缩规则中出现的唯一符号进行编码，我们引入了作曲家模块来将符号增量编码为矢量表示。通过在真实数据集上的实验，我们经验性地表明，该建议模型可以在保持适度性能的同时实现内存和计算效率。
2020-02-28 cs.CL cs.LG stat.ML
Pay Less Attention to Deceptive Artifacts: Robust Detection of Compressed Deepfakes on Online Social Networks
提出PLADA框架，通过双阶段注意力机制处理块效应并聚合开放数据，解决在线社交网络中压缩deepfake检测问题，在26个数据集上优于现有方法。
2025-06-25 cs.AI cs.CV cs.LG
Self-Indexing KVCache: Predicting Sparse Attention from Compressed Keys
本文提出自索引KV缓存方法，通过1位符号向量量化统一压缩与检索，减少内存开销并提升大模型推理效率。
2026-03-15 cs.AI cs.LG
An Application of Online Learning to Spacecraft Memory Dump Optimization
Università degli Studi di Milano（米兰大学）；Toulouse School of Economics（图卢兹经济学院）；CLC Space GmbH（CLC航天有限公司）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一个真实世界的应用程序的在线学习与专家的意见，空间业务领域，测试我们的理论现实生活中的数据来自哥白尼哨兵-6卫星。我们表明，在航天器内存转储优化，一个轻量级的跟随领导者算法导致性能的增加超过$60\%$相比，传统的技术。
2022-09-24 cs.LG
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出利用预收集的被动记忆来改进在线强化学习，证明了其遗憾值接近极小极大最优，并表明被动记忆质量决定遗憾值的次优程度，且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Whole-Piece Training for Symbolic Music Language Models via Full-Horizon Compressed Recurrence
Auckland University of Technology, Auckland, New Zealand（奥克兰理工大学）；University of Tasmania, Tasmania, Australia（塔斯马尼亚大学）
本研究提出双尺度DSMR模型，通过递归注意机制和预算约束实现高效完整乐谱符号建模，实现更低内存占用和更高吞吐量。
2026-08-20 cs.AI cs.LG cs.SD
Similarity search in the blink of an eye with compressed indices
Intel Labs（英特尔实验室）
针对十亿级向量相似性搜索中基于图的索引随机访存限制性能的问题，提出局部自适应向量压缩方法LVQ结合高性能图搜索系统，实现性能与内存效率的双重突破，大幅刷新业界标杆。
2023-07-24 cs.IR cs.LG
The trade-offs of model size in large recommendation models : A 10000 $\times$ compressed criteo-tb DLRM model (100 GB parameters to mere 10MB)
Rice University（莱斯大学）；ThirdAI Corp.（ThirdAI公司）
嵌入式表主导了工业规模的推荐模型大小，使用高达TB的内存。一个流行的、最大的关于推荐数据的公开可用的机器学习MLPerf基准测试是一个深度学习推荐模型（DLRM），它是在TB级点击数据上训练的。它包含100 GB的嵌入式内存（25+十亿个参数）。DLRM由于其庞大的规模和相关的数据量，在训练、部署推理方面面临困难，并且由于大型嵌入表而面临内存瓶颈。本文分析和广泛评估了一个通用的参数共享设置（PSS）压缩DLRM模型。我们展示了理论上的可学习的内存要求实现$(1 \pm ε)$近似的嵌入表。我们的界限表明，指数较少的参数足以达到良好的精度。为此，我们展示了一个PSS DLRM达到10000 $\times$压缩criteo-tb，而不损失质量。然而，这种压缩是有警告的。它需要多4.5 $\times$次迭代才能达到相同的饱和质量。本文认为，这种权衡需要更多的调查，因为它可能是非常有利的。利用压缩模型的小尺寸，我们在训练延迟方面显示了4.3 $\times$的改进，从而导致类似的总体训练时间。因此，在小型DLRM模型的系统优势与较慢收敛之间的权衡中，我们表明规模倾向于拥有较小的DLRM模型，从而导致更快的推理，更容易的部署和类似的训练时间。
2022-07-21 cs.IR cs.LG
Learnability in Online Kernel Selection with Memory Constraint via Data-dependent Regret Analysis
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对带内存约束的在线核选择问题，提出依赖核对齐和竞争假设累积损失的数据依赖上界，构建基于新型缓冲区与专家建议预测归约的算法框架，证明小内存下次线性数据复杂度下可学习，并经实验验证性能。
2025-03-24 cs.LG
State Contamination in Memory-Augmented LLM Agents
Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）
研究探讨了内存增强型大语言模型代理中由于状态污染导致的安全问题，通过分析内存总结中的毒性内容传播，提出了一种新的衡量指标，并指出在信息压缩前进行净化可以有效减少潜在影响。
2026-05-16 cs.AI cs.LG
TinyM$^2$Net-V3: Memory-Aware Compressed Multimodal Deep Neural Networks for Sustainable Edge Deployment
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对边缘设备多模态微型AI模型的复杂度高、延迟与功耗大的问题，提出内存感知的TinyM$^2$Net-V3系统，通过知识蒸馏、低位宽量化等压缩技术适配低内存层级，在两类多模态任务上以极小模型实现了高准确率、低延迟与高能效。
2024-05-20 cs.LG
RWKV-edge: Deeply Compressed RWKV for Resource-Constrained Devices
University of Virginia（弗吉尼亚大学）
针对RWKV大语言模型参数量高难以在资源受限设备部署的问题，提出适配其架构的架构优化+训练后压缩组合方案，实现3.4-5倍内存压缩且精度损失极小，比同精度Transformer模型内存占用低4倍。
2025-10-28 cs.LG cs.PF
Online Optimization with Memory and Competitive Control
Tsinghua University（清华大学）
针对一类新的带记忆的在线优化问题，提出了竞争算法。我们考虑的设置，学习者寻求最小化的命中成本和切换成本，取决于以前的$p$决定的总和。此设置泛化平滑在线凸优化。所提出的方法，乐观正则化在线平衡下降，实现了恒定的，无量纲的竞争比。此外，我们展示了具有记忆的在线优化与具有对抗性干扰的在线控制之间的联系。这种联系，反过来，导致一个新的恒定竞争的政策，丰富的在线控制问题。
2021-01-08 cs.LG cs.SY eess.SY
OASIS: Online Activation Subspace Learning for Memory-Efficient Training
Purdue University（普渡大学）；Advanced Micro Devices, Inc. (AMD)（超威半导体公司（AMD））
OASIS通过在线学习动态激活子空间，减少内存消耗，无需修改前向计算，实现比全微调低2倍的峰值内存使用，同时保持性能并优于现有低秩方法。
2026-04-10 cs.LG
Memory Constraint Online Multitask Classification
Università degli Studi di Milano（米兰大学）
我们调查在线内核算法，同时处理多个分类任务，而一个固定的约束施加在其活动集的大小。我们特别关注的算法设计，可以有效地处理任务的数量是非常高的，任务数据是大规模的问题。引入了两种新的基于投影的算法，以有效地解决这些问题，同时提出了不同的权衡如何管理可用的内存相对于先验信息的学习任务。通过将随机预算感知器和Forgetron算法与多任务内核耦合，设计了理论上合理的预算算法。我们展示了如何从多个任务中学习和保持恒定的内存足迹这两个看似对立的属性可以平衡，以及如何自动照顾不同任务之间的可用空间共享。我们提出并讨论了多任务内核的新见解。实验表明，在线内核多任务算法运行在预算可以有效地解决现实世界中的学习问题，涉及多个任务。
2012-10-01 cs.LG
Multi-Feature Fusion and Compressed Bi-LSTM for Memory-Efficient Heartbeat Classification on Wearable Devices
School of Electrical and Electronic Engineering, University College Dublin（都柏林大学学院电气与电子工程学院）；School of Electrical and Electronic Engineering, California Institute of Technology（加州理工学院电气与电子工程学院）
本文提出结合多特征融合与压缩Bi-LSTM的资源高效ECG心跳分类方法，通过预处理降噪、融合时间间隔与抗噪曲线下面积特征，在MIT-BIH数据集上显著提升难分类别准确率，并开发多规模模型实现全类别高准确率，适配可穿戴设备。
2024-12-13 cs.LG
Novel Dual-Channel Long Short-Term Memory Compressed Capsule Networks for Emotion Recognition
University of Sharjah（沙迦大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹亲王大学）；Bolu Abant Izzet Baysal University（博卢阿班特伊士贝萨尔大学）
最近的语音情感识别的分析取得了相当大的进展，使用MFCC的频谱图特征和神经网络方法，如卷积神经网络（CNN）的实施。胶囊网络（CapsNet）作为CNN的替代品，因其更大的分层表示能力而受到人们的欢迎。针对这些问题，提出了一种文本无关和说话人无关的SER新架构，并根据CapsNet的结构特点，提出了一种双通道长短期记忆压缩CapsNet（DC-LSTM COMP-CapsNet）算法。我们提出的新分类器可以确保语音情感识别中模型的能量效率和适当的压缩方法，这不是通过CapsNet的原始结构来实现的。此外，网格搜索方法用于获得最优解。结果证明了性能的提高和减少的培训和测试运行时间。用于评估我们的算法的语音数据集是：阿拉伯语口音语料库，英语语音模拟和实际压力语料库，英语瑞尔森视听数据库的情感语音和歌曲语料库，和众包情感多模态演员数据集。这项工作表明，最佳的特征提取方法相比，其他已知的方法是MFCC的δ-δ。使用四个数据集和MFCC delta-delta，DC-LSTM COMP-CapsNet超越了所有最先进的系统，经典分类器，CNN和原始CapsNet。使用阿拉伯语口音语料库，我们的结果表明，所提出的工作产生的平均情感识别准确率为89.3%，而基于CapsNet，CNN，支持向量机，多层感知器，k-最近邻，径向基函数和朴素贝叶斯的平均情感识别准确率分别为84.7%，82.2%，69…
2021-12-26 cs.LG cs.SD eess.AS
A SOT-MRAM-based Processing-In-Memory Engine for Highly Compressed DNN Implementation
Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）
深度神经网络（DNN）的计算墙和数据移动挑战暴露了传统基于CMOS的DNN加速器的局限性。此外，深度结构和大模型尺寸将使DNN对要求低功耗的嵌入式系统和物联网设备望而却步。为了解决这些挑战，已经使用基于自旋轨道扭矩磁性随机存取存储器（SOT-MRAM）和SOT-MRAM的存储器中处理（PIM）引擎来降低DNN的功耗，因为SOT-MRAM具有接近零待机功率、高密度、非易失性的特性。然而，基于SOT-MRAM的PIM引擎的缺点（诸如高写入延迟和需要低位宽数据）降低了其作为有利的节能DNN加速器的普及度。为了减轻这些缺点，我们提出了一个超节能的框架，通过使用模型压缩技术，包括重量修剪和量化从软件层面考虑的体系结构的SOT-MRAM PIM。并将交替方向乘法器（ADMM）引入到训练阶段，进一步保证解的可行性，满足SOT-MRAM的硬件约束。因此，SOT-MRAM PIM的占地面积和功耗可以减少，同时增加整体系统吞吐量，使我们提出的基于ADMM的SOT-MRAM PIM更节能，适用于嵌入式系统或物联网设备。我们的实验结果表明，我们提出的框架的准确性和压缩率始终优于参考作品，而SOT-MRAM PIM引擎的效率（面积\功率）和吞吐量显着提高。
2019-11-24 cs.CV cs.DC cs.ET
Adversarial Tracking Control via Strongly Adaptive Online Learning with Memory
Boston University（波士顿大学）
我们考虑的问题，跟踪一个敌对状态序列的线性动力系统的敌对干扰和损失函数，推广早期的设置在文献中。为此，我们开发了三种技术，每一个独立的利益。首先，我们提出了一个比较器自适应算法的移动成本的在线线性优化。如果不进行调整，事后看来，它几乎与最佳调整的梯度下降的性能相匹配。接下来，考虑到一个相关的问题，称为在线学习与记忆，我们构建了一个新的强自适应算法，使用我们的第一个贡献作为积木。最后，我们提出了第一个减少从对抗跟踪控制强自适应在线学习与记忆。总结这些单独的技术，我们得到了一个对抗跟踪控制器具有很强的性能保证，即使参考轨迹有很大的运动范围。
2022-02-22 cs.LG cs.SY eess.SY
CompAdaGrad: A Compressed, Complementary, Computationally-Efficient Adaptive Gradient Method
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术卓越中心）；Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
被称为AdaGrad的自适应梯度在线学习方法在机器学习社区中的随机和对抗性在线学习问题中以及最近在深度学习方法中得到了广泛使用。该方法的全矩阵化身提供了更好的理论保证和潜在的更好的经验性能比它的对角版本，但是，这个版本是计算禁止，所以更简单的对角版本经常在实践中使用。我们介绍了一种新的方法，CompAdaGrad，导航这两个计划之间的空间，并表明，这种方法可以产生比对角AdaGrad更好的结果，同时避免（有效棘手的）$O(n^3)$计算复杂性的全矩阵AdaGrad的尺寸$n$。CompAdaGrad本质上是在低维子空间中执行全矩阵正则化，而在互补子空间中执行对角正则化。我们得出CompAdaGrad的更新复合镜像下降的平方$\ell_2$规范和$\ell_1$规范的情况下，证明其每次迭代的复杂性是线性的尺寸，并建立保证的方法独立的复合正则化的选择。最后，我们展示了几个数据集的初步结果。
2016-10-04 cs.LG stat.ML
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化（COCO-M），提出首次实现亚线性后悔和亚线性累积约束违反的算法，适用于时间变化约束，且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
