Memory and Communication Efficient Distributed Stochastic Optimization with Minibatch-Prox
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出并分析了一种分布式随机优化的方法,它是统计上最优的,并实现了近线性的加速比(对数因子)。我们的方法允许通信内存的权衡,无论是对数通信,但线性内存,或多项式通信和相应的多项式减少所需的内存。这种通信-内存权衡是通过小批量-接近迭代(小批量被动-主动更新)实现的,其中在每次迭代中解决小批量上的子问题。我们提供了一种新的分析,这样的小批量prox程序,实现了统计最优速率,而不管小批量的大小和平滑度,从而显着改善以前的工作。
2017-06-09 cs.LG
Optimizing for In-memory Deep Learning with Emerging Memory Technology
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究院);Hong Kong University of Science and Technology(香港科技大学);National University of Singapore(新加坡国立大学)
内存中深度学习在存储神经网络模型的地方进行计算,从而避免了内存和计算单元之间的长距离通信,从而大大节省了能源和时间。内存中的深度学习已经展示了数量级更高的性能密度和能源效率。新兴存储器技术的使用有望进一步提高密度、能量和性能。然而,新兴的存储器技术本质上是不稳定的,导致数据读取的随机波动。这可能会导致不可忽略的准确性损失,从而可能使收益无效。在本文中,我们提出了三种优化技术,可以在数学上克服新兴的存储器技术的不稳定性问题。它们可以提高内存中深度学习模型的准确性,同时最大限度地提高其能效。实验表明,我们的解决方案可以完全恢复大多数模型的最先进的准确性,并实现至少一个数量级的能源效率比最先进的。
2021-12-01 cs.CV cs.ET cs.LG
Open Problem: The Oracle Complexity of Convex Optimization with Limited Memory
我们注意到,已知的方法实现最佳的甲骨文复杂性的一阶凸优化需要二次内存,并询问这是否是必要的,更广泛地寻求表征的最小最大数量的一阶查询优化凸Lipschitz函数的内存约束。
2019-07-01 cs.LG math.OC stat.ML
An Application of Online Learning to Spacecraft Memory Dump Optimization
Università degli Studi di Milano(米兰大学);Toulouse School of Economics(图卢兹经济学院);CLC Space GmbH(CLC航天有限公司);Politecnico di Milano(米兰理工大学)
在本文中,我们提出了一个真实世界的应用程序的在线学习与专家的意见,空间业务领域,测试我们的理论现实生活中的数据来自哥白尼哨兵-6卫星。我们表明,在航天器内存转储优化,一个轻量级的跟随领导者算法导致性能的增加超过$60\%$相比,传统的技术。
2022-09-24 cs.LG
Omni-Masked Gradient Descent: Memory-Efficient Optimization via Mask Traversal with Improved Convergence
Omni-Masked Gradient Descent通过遮蔽遍历实现内存高效的优化,提供非凸情况下改进的收敛分析和更优的迭代复杂度。
2026-03-10 cs.LG
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion(以色列理工学院)
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题,并且先前针对专家设置进行了研究。在这项工作中,我们扩展的概念,学习与记忆的一般在线凸优化(OCO)的框架,并提出了两个算法,达到低遗憾。第一个算法适用于Lipschitz连续损失函数,获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界,并适用于更广泛的凸损失,而不需要Lipschitz连续性,但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用:我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Learning What to Remember: Long-horizon Counterfactual Memory Optimization
University of Michigan(密歇根大学)
本文提出记忆增益策略优化(MGPO),通过边际贡献信用分配解决长交互中记忆重写的延迟效用问题,在文档级信息抽取中提升性能并减少近80%记忆长度,支持跨领域复用。
2026-09-30 cs.CL cs.LG
FluidML: Fast and Memory Efficient Inference Optimization
针对边缘设备计算资源难以支撑日益增长的模型参数问题,提出通用运行时内存管理和优化框架FluidML,通过灵活转换模型执行蓝图实现更快更高效的内存推理,显著降低端到端延迟和峰值内存使用量。
2024-11-14 cs.LG
Memory-Efficient 4-bit Preconditioned Stochastic Optimization
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
本文针对Shampoo预条件随机优化算法内存开销大的问题,提出对Cholesky因子进行4位量化并结合误差反馈的方法,在保持算法性能的同时显著降低内存占用,并给出了光滑与非光滑设置下的收敛性证明。
2025-03-12 cs.CV cs.LG math.OC
Memory-Efficient Optimization with Factorized Hamiltonian Descent
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对自适应优化器内存开销大的问题,提出基于哈密顿动力学的新型优化器 H-Fac,通过秩为1参数化将内存降至次线性水平,兼具理论保证与竞争力。
2024-10-17 cs.LG
Generative Optimization Networks for Memory Efficient Data Generation
Imperial College London(帝国理工学院);Princeton University(普林斯顿大学);Loughborough University(拉夫堡大学)
在标准的生成式深度学习模型(例如自动编码器或GANs)中,参数集的大小与生成的数据分布的复杂性成正比。一个重大挑战是在内存有限的设备中部署资源消耗型深度学习模型,以防止系统升级成本。为了解决这个问题,我们提出了一种称为生成优化网络(GON)的新框架,它类似于GANs,但不使用生成器,从而大大减少了内存占用。GON使用一个单一的神经网络,并在输入空间中运行优化来生成新的数据样本,从而在训练时间和内存消耗之间实现有效的折衷。GON最适合于有限内存设置中的数据生成问题。在这里,我们说明了它们的使用内存受限的边缘设备所产生的攻击或入侵事件的异常检测的问题。具体来说,我们使用GON来计算输入时间序列窗口的基于重建的异常分数。在Raspberry-Pi测试平台上使用两个现有数据集和一套新数据集进行的实验表明,与最先进的方法相比,我们的框架的检测F1分数提高了32%,内存消耗降低了58%,训练开销仅增加了5%。
2021-10-28 cs.LG
Alada: Alternating Adaptation of Momentum Method for Memory-Efficient Matrix Optimization
School of Software Engineering, Sun Yat-sen University(南方科技大学软件工程学院)
Alada是一种用于内存高效矩阵优化的自适应动量方法,通过交替更新因子减少内存开销,并增强训练大模型的鲁棒性。
2025-12-15 cs.LG
EMO: Episodic Memory Optimization for Few-Shot Meta-Learning
University of Amsterdam(阿姆斯特丹大学);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司);Inception Institute of Artificial Intelligence(起源人工智能研究院)
针对少样本元学习中训练样本有限导致梯度下降优化困难的问题,提出情景记忆优化方法EMO,通过外部记忆保留历史任务梯度引导参数更新,理论证明其收敛性,实验表明其提升了现有方法的性能并加速收敛。
2023-06-26 cs.LG
Deeper Image Quality Transfer: Training Low-Memory Neural Networks for 3D Images
University College London(伦敦大学学院);National University of Singapore(新加坡国立大学)
在本文中,我们解决了在深度学习中处理三维、高分辨率、多通道医学图像所带来的内存需求。我们利用内存高效的反向传播技术,以减少网络训练的内存复杂性,从网络深度的线性,到大致恒定的$ - $,使我们能够延长深度架构,可以忽略不计的内存增加。我们在图像质量转移的范例中评估我们的方法,同时注意到它在使用深度学习的各种任务中的潜在应用。我们研究了深度对准确性的影响,并表明更深的模型具有更强的预测能力,这可能会利用更大的训练集。我们获得了比以前的国家的最先进的模型有轻微的内存增加,降低了均方根误差的$ 13\% $更好的结果。我们的代码是公开的。
2018-08-16 cs.AI cs.CV cs.LG
Training Deep Nets with Sublinear Memory Cost
Dato. Inc(Dato公司);Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种系统的方法来减少深度神经网络训练的内存消耗。具体来说,我们设计了一个算法,成本O(sqrt(n))内存训练一个n层网络,只有一个额外的向前传递每小批的计算成本。由于许多最先进的模型都达到了GPU内存的上限,我们的算法允许探索更深、更复杂的模型,并有助于推进深度学习研究的创新。我们专注于减少训练过程中存储中间特征图和梯度的内存成本。计算图分析用于自动就地操作和内存共享优化。我们证明了用计算换取内存是可能的--用一点额外的计算成本给出一个更有效的内存训练算法。在极端的情况下,我们的分析还表明,内存消耗可以减少到O(log n),只需O(n log n)的额外成本向前计算。我们的实验表明,我们可以将1,000层深度残差网络的内存成本从48 G降低到7 G,而ImageNet问题的运行时间成本仅增加30%。类似地,在非常长的序列上训练复杂的递归神经网络时,可以观察到显着的内存成本降低。
2016-04-22 cs.LG
Fused Depthwise Tiling for Memory Optimization in TinyML Deep Neural Network Inference
Technical University of Munich(慕尼黑工业大学)
针对TinyML设备上DNN推理内存受限问题,提出融合深度平铺(FDT)方法,在无运行时开销下减少内存使用,适用更多网络层,并通过端到端流程自动配置,在多个模型上实现显著内存优化。
2023-03-31 cs.LG
HyperPower: Power- and Memory-Constrained Hyper-Parameter Optimization for Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
虽然选择神经网络(NN)的超参数迄今为止一直被视为一种艺术,但更复杂,更深入的架构的出现给设计师和机器学习(ML)从业者带来了越来越多的挑战,特别是当需要考虑功率和内存约束时。在这项工作中,我们提出了HyperPower,这是一个框架,可以在给定硬件平台上运行的NN的功率和内存约束超参数优化的背景下实现高效的贝叶斯优化和随机搜索。HyperPower是第一项工作,(i)表明功耗可以用作低成本,先验已知的约束,(ii)提出在GPU上执行的NN的功率和内存的预测模型。得益于HyperPower,通过约束不感知方法实现的函数求值数量和最佳测试误差分别快了112.99倍和30.12倍,同时从不考虑无效配置。HyperPower显著加快了超参数优化的速度,在给定的时间间隔内,与约束不感知方法相比,实现了高达57.20倍的函数计算,有效地提高了高达67.6%的准确性。
2017-12-06 cs.LG
EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets
Politecnico di Torino(都灵理工大学)
在具有有限非易失性存储器空间的微小端节点上实现深度卷积神经网络(ConvNets)需要能够缩小占用空间但保持预测准确性的智能压缩策略。存在用于此目的的许多策略,从那些利用模型的拓扑或算术精度的策略(例如,修剪和量化)到那些操作模型不可知压缩的策略(例如,权重编码)。内存约束越严格,这些技术单独无法满足要求的可能性就越高,因此必须在不同优化之间进行更多的感知和合作。这项工作通过引入EAST(编码感知稀疏训练)来解决这个问题,EAST是一种新型的内存约束训练过程,可以引导量化的ConvNets进行深度内存压缩。EAST实现了一种自适应组修剪,旨在最大限度地提高权重编码方案(本工作中的LZ 4算法)的压缩率。如果与现有的方法相比,EAST满足较低的稀疏性的内存约束,从而确保更高的精度。在部署在低功耗微控制器(ARM Cortex-M4)上的最先进的ConvNet(ResNet-9)上进行的结果验证了该提议。
2019-12-20 cs.CV cs.LG stat.ML
A Dual Memory Structure for Efficient Use of Replay Memory in Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一个双重记忆结构的强化学习算法与重放记忆。双存储器由存储各种数据的主存储器和管理数据并有效训练强化学习代理的高速缓存存储器组成。实验结果表明,在OpenAI Gym的三个选定环境中,双记忆结构比传统的单记忆结构获得了更高的训练和测试成绩。这意味着双记忆结构比单记忆结构能够实现更好和更有效的训练。
2019-07-15 cs.LG stat.ML
How Memory in Optimization Algorithms Implicitly Modifies the Loss
Princeton University(普林斯顿大学)
本文提出了一种识别无记忆优化算法的方法,揭示了记忆如何隐式地反正则化优化动态,并解释了Lion相较于AdamW的泛化性能优势。
2026-01-13 cs.AI cs.LG math.OC
Generate Image Descriptions based on Deep RNN and Memory Cells for Images Features
Stanford University(斯坦福大学)
为图像生成自然语言描述是一项具有挑战性的任务。传统的方法是使用卷积神经网络(CNN)提取图像特征,然后使用循环神经网络(RNN)生成句子。在本文中,我们提出了一个新的模型,增加了存储单元门图像特征的馈送到深层神经网络。直觉使我们的模型能够记住在RNN的每个阶段应该输入多少图像信息。在Flickr8K和Flickr30K数据集上的实验表明,我们的模型比其他最先进的模型具有更高的BLEU分数。
2016-02-05 cs.CL cs.CV cs.LG
A Memory Efficient Randomized Subspace Optimization Method for Training Large Language Models
Beijing International Center for Mathematical Research, Peking University(北京大学北京数学科学中心);Center for Data Science, Peking University(北京大学数据科学中心);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
针对大语言模型训练的内存挑战,本文提出随机子空间优化框架,通过分解高维问题为低维子问题并迭代优化,同时减少激活和优化器状态内存使用,提供收敛保证,实验验证其效率与GaLore、Adam相当。
2025-02-11 cs.LG
Online Optimization with Memory and Competitive Control
Tsinghua University(清华大学)
针对一类新的带记忆的在线优化问题,提出了竞争算法。我们考虑的设置,学习者寻求最小化的命中成本和切换成本,取决于以前的$p$决定的总和。此设置泛化平滑在线凸优化。所提出的方法,乐观正则化在线平衡下降,实现了恒定的,无量纲的竞争比。此外,我们展示了具有记忆的在线优化与具有对抗性干扰的在线控制之间的联系。这种联系,反过来,导致一个新的恒定竞争的政策,丰富的在线控制问题。
2021-01-08 cs.LG cs.SY eess.SY
Profile-guided memory optimization for deep neural networks
National Institute of Informatics(国立信息学研究所);IBM Research – Tokyo(IBM东京研究院)
近年来,深度神经网络(DNN)变得越来越广泛和深入,以在许多AI应用中实现更好的性能。然而,这样的DNN需要大量的存储器来存储权重和中间结果(例如,激活、特征图等)in propagation传播.这一要求使得DNN难以在内存有限、难以扩展的设备上运行,降低了运行时间性能,并限制了网络模型的设计。我们通过开发一种新的配置文件引导的内存优化来解决这一挑战,以在DNN中的传播过程中高效快速地分配内存块。该优化方法基于二维矩形布局问题,采用了一种简单快速的启发式算法。与著名的神经网络模型的实验,我们证实,我们的方法不仅减少了内存消耗高达$49.5\%$,但也加快了训练和推理的四个因素由于内存分配的速度和使用更大的小批量大小的能力。
2018-04-26 cs.AI cs.DC cs.LG
AdaMemento: Adaptive Memory-Assisted Policy Optimization for Reinforcement Learning
Peking University(北京大学);Tsinghua University(清华大学)
针对稀疏奖励强化学习问题,提出AdaMemento框架,通过记忆反思模块利用正负经验、细粒度内在动机引导探索以及集成学习自适应协调利用与探索,显著提升性能。
2026-05-27 cs.LG
Deep-learning-based data page classification for holographic memory
Chiba University(千叶大学)
我们提出了一种基于深度学习的全息存储器中使用的数据页面分类。我们数值研究了传统的多层感知器(MLP)和深度神经网络的分类性能,在重建的页面数据被一些噪声污染和随机横向移动的条件下。MLP的分类准确率为91.58%,而深度神经网络能够以99.98%的准确率对数据页面进行分类。深度神经网络的准确性比MLP好两个数量级。
2017-07-02 cs.CV cs.LG cs.NE
Not All Bits Are Equal: Scale-Dependent Memory Optimization Strategies for Reasoning Models
KRAFTON;University of Wisconsin–Madison(威斯康星大学麦迪逊分校);UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
针对推理模型中KV cache主导内存的问题,通过1700个推理场景实验发现内存优化存在规模依赖权衡:小于8-bit 4B的小模型应优先增加权重,大模型应优先延长生成,表明推理模型部署需采用与非推理模型根本不同的内存优化策略。
2025-10-13 cs.LG
AdaLomo: Low-memory Optimization with Adaptive Learning Rate
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai AI Laboratory(上海人工智能实验室)
AdaLomo通过为每个参数引入自适应学习率、用非负矩阵分解压缩二阶矩状态并采用分组更新归一化,在保持低内存的同时达到AdamW水平的训练性能。
2024-06-06 cs.CL cs.LG
Adaptive Memory Momentum via a Model-Based Framework for Deep Learning Optimization
New York University(纽约大学)
本文提出一种自适应动量机制,通过动态调整动量系数提升深度学习优化性能,适用于多种学习任务。
2026-05-10 cs.LG
Taking gradients through experiments: LSTMs and memory proximal policy optimization for black-box quantum control
Technical University of Munich(慕尼黑工业大学);University of Cambridge(剑桥大学)
在这项工作中,我们介绍了黑盒量子控制的应用程序作为一个有趣的再学习问题的机器学习社区。我们分析了量子物理中出现的强化学习问题的结构,并认为通过随机策略梯度训练的长短期记忆(LSTM)网络参数化的代理产生了解决这些问题的通用方法。在这种情况下,我们介绍了一个变种的邻近策略优化(PPO)算法称为内存邻近策略优化(MPPO),这是基于这种分析。然后,我们将展示如何将其应用于特定的学习任务,并给出数值实验的结果,表明我们的方法在具有离散和连续控制参数的量子控制中的几个学习任务中实现了最先进的结果。
2018-04-13 cs.LG quant-ph
Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
Microsoft Research(微软研究院);KAIST(韩国科学技术院)
EMPO²通过混合在线与离线策略优化,提升大语言模型在探索性和通用性方面的性能。
2026-03-06 cs.AI cs.LG
Deep network as memory space: complexity, generalization, disentangled representation and interpretability
Southeast University(东南大学)
通过将深度网络和物理学联系起来,提出了深度网络几何化方案,作为深度学习系统可解释性的框架。根据这个计划,我们可以将物理学的两个关键思想,物理学的几何化和最小作用原理应用于深度网络,并提供深度网络的新图景:深度网络作为信息的存储空间,其中存储器的容量,鲁棒性和效率与深度网络的复杂性,泛化性和解纠缠密切相关。这种理解的关键组成部分包括:(1)基于Fisher度量的网络复杂性公式;(2)深度网络上的最小作用(复杂性=作用)原则;(3)建立在深度网络配置上的几何结构。我们将展示这幅图将如何为我们带来对深度学习系统可解释性的新理解。
2019-07-12 cs.AI cs.LG
Memory-Computation Tradeoffs in Semi Amortized Parametric Optimization
Johns Hopkins University(约翰·霍普金斯大学)
研究在固定在线计算预算下,半摊销参数优化中离线信息与精度的关系。通过构建非参数预测器分析,给出强凸和满足特定条件凸目标的内存上下界及证明框架,实验验证了内存-计算-精度权衡。
2026-07-24 cs.LG
Nesting Forward Automatic Differentiation for Memory-Efficient Deep Neural Network Training
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Alibaba Group(阿里巴巴集团);Microsoft Research(微软研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
激活函数是一种逐元素的数学函数,在深度神经网络(DNN)中起着至关重要的作用。已经提出了许多新颖和复杂的激活函数来提高DNN的准确性,但在反向传播的训练过程中也消耗了大量的内存。在这项研究中,我们提出了嵌套的前向自动微分(Forward-AD),特别是用于记忆高效的DNN训练的逐元素激活函数。我们在两个广泛使用的深度学习框架TensorFlow和PyTorch中部署嵌套的Forward-AD,它们分别支持静态和动态计算图。我们的评估表明,嵌套的Forward-AD比基线模型减少了高达1.97倍的内存占用,在相同的内存减少率下,比重新计算的性能高出20%。
2022-09-22 cs.LG
Memory-Efficient Adaptive Optimization
Google Brain(谷歌大脑);Princeton University(普林斯顿大学)
Adagrad和Adam等基于梯度的自适应优化器对于在机器翻译和语言建模中实现最先进的性能至关重要。然而,这些方法维护每个参数的二阶统计量,从而引入了显著的内存开销,限制了所使用的模型的大小以及小批量中的示例数量。我们描述了一个有效的和灵活的自适应优化方法,大大减少了内存开销。我们的方法保留了每个参数自适应的优点,同时允许更大的模型和批量大小。我们给出了我们的方法的收敛保证,并证明了它的有效性,在训练非常大的翻译和语言模型与2倍的加速比的最先进的。
2019-09-11 cs.LG math.OC stat.ML
Memory and attention in deep learning
Deakin University(迪肯大学)
智慧需要记忆。没有记忆,人类无法完成各种重要的任务,如阅读小说,玩游戏或解决数学问题。由于机器学习的最终目标是获得像人类一样自动学习和行动的智能系统,因此机器的记忆构建是不可避免的。人工神经网络通过经由权重互连计算单元来对大脑中的神经元和突触进行建模,这是一类典型的类似于记忆结构的机器学习算法。他们的后代具有更复杂的建模技术(也称为深度学习),已成功应用于许多实际问题,并证明了记忆在机械系统学习过程中的重要性。深度学习中的记忆建模的最新进展围绕着外部记忆的构建,这受到了计算图灵模型和生物神经元系统的高度启发。导出注意力机制以支持外部存储器上的获取和保持操作。尽管缺乏理论基础,但这些方法已显示出帮助机械系统达到更高智能水平的希望。本论文的目的是促进对深度学习中记忆和注意的理解。其贡献包括:(i)呈现存储器分类的集合,(ii)构建支持多个控制和存储器单元的新的存储器增强的神经网络(MANN),(iii)通过顺序生成模型中的存储器引入可变性,(iv)搜索最佳写入操作以最大化基于槽的存储器网络中的存储容量,以及(v)通过神经存储程序存储器(一种新型的神经网络外部存储器)模拟通用图灵机。
2021-07-03 cs.AI cs.LG
BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization
Sichuan University(四川大学);Peking University(北京大学)
本文提出BROS,一种内存高效的单循环双层优化方法,具有与精确单循环方法相同的收敛率。通过随机子空间和Rademacher双探针校正,BROS在标准假设下保持样本复杂度,并在多个任务中减少内存峰值。
2026-05-12 cs.LG math.OC
Deep Generative Dual Memory Network for Continual Learning
University of Southern California(南加利福尼亚大学)
尽管深度学习取得了进展,但神经网络只能在联合训练时学习多个任务。当任务按顺序到达时,他们会在之前学习的任务上失去表现。这种被称为灾难性遗忘的现象是神经网络从输入数据中不断学习之前需要克服的一个基本挑战。在这项工作中,我们从人类记忆中获得灵感,开发一种能够从连续传入的任务中不断学习的架构,同时避免灾难性遗忘。具体来说,我们的贡献是:(i)模拟人类大脑中的互补学习系统(海马和新皮层)的双重记忆架构,(ii)通过生成重放过去的经验来巩固记忆,(iii)通过实验证明生成重放和双重记忆的优势,以及(iv)即使对于低容量模型,也能提高对挑战性任务的性能保持。我们的架构显示了哺乳动物记忆的许多特征,并提供了关于睡眠和学习之间联系的见解。
2018-05-25 cs.LG
TASO: Time and Space Optimization for Memory-Constrained DNN Inference
Trinity College Dublin(都柏林圣三一学院);University of Edinburgh(爱丁堡大学)
卷积神经网络(CNN)用于许多嵌入式应用,从工业机器人和自动化系统到移动设备上的生物识别。最先进的分类通常是通过大型网络实现的,这些网络在内存和能源预算严格受限的移动和嵌入式设备上运行起来非常昂贵。我们提出了一种基于整数线性规划(ILP)的CNN模型的时域特定优化方法,用于选择原语操作来实现卷积层。我们通过以下方式优化执行时间和内存消耗之间的权衡:1)通过选择数据布局和原语操作来实现每一层,尝试最大限度地减少整个网络的执行时间; 2)分配适当的工作空间,反映每层内存占用的上限。这两种优化策略可用于在任何平台上运行任何CNN,并带有C编译器。我们在ARM Cortex-A15上对一系列流行的ImageNet神经架构(GoogleNet,AlexNet,VGG,ResNet和SqueezeNet)进行了评估,与基于贪心算法的原语选择相比,速度提高了8倍,与仅考虑推理时间的求解器相比,内存需求降低了2.2倍,同时仅牺牲了15%的推理时间。此外,我们的优化方法暴露了一系列的最佳点,不同的配置在帕累托边界的内存和延迟的权衡,这可以在任意的系统约束下使用。
2020-05-21 cs.LG stat.ML
Memory-aware Scheduling for Complex Wired Networks with Iterative Graph Optimization
Peking University(北京大学);Beijing Advanced Innovation Center for Integrated Circuits(北京集成电路高精尖创新中心)
针对复杂拓扑下资源受限设备的DNN推理内存感知调度难、现有算法可扩展性差的问题,提出基于迭代图优化的调度框架,通过图融合与拓扑感知剪枝的整数规划实现调度,在基准测试中峰值内存降低13.4%,可扩展性更优。
2023-08-26 cs.DC cs.LG
Beyond the Memory Wall: A Case for Memory-centric HPC System for Deep Learning
KAIST(韩国科学技术院(KAIST))
随着用于训练深度学习(DL)模型的模型和数据集的扩展,系统架构师面临着新的挑战,其中之一是存储器容量瓶颈,其中加速器设备内部有限的物理存储器约束了可以研究的算法。我们提出了一个以内存为中心的深度学习系统,它可以透明地扩展加速器可用的内存容量,同时还为并行训练提供快速的设备间通信。我们的建议在设备端互连内本地聚合一个内存模块池,这些内存模块与主机接口解耦,并用作透明内存容量扩展的工具。与传统系统相比,我们的建议在8个DL应用上实现了平均2.8倍的加速,并将系统范围的存储容量增加到数十TB。
2019-02-18 cs.AR cs.DC cs.LG
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化(COCO-M),提出首次实现亚线性后悔和亚线性累积约束违反的算法,适用于时间变化约束,且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
HiMPO: Hindsight-Informed Memory Policy Optimization for Less-Entangled Credit in Long-Horizon Agents
Unicom Data Intelligence, China Unicom(联通数据智能有限公司,中国联通);Data Science & Artificial Intelligence Research Institute, China Unicom(中国联通数据科学与人工智能研究院)
提出HiMPO框架,通过比较记忆更新前后的任务相关信息估计局部效用,并利用后见相关性作为回顾性滤波器,减少记忆写入动作的信用纠缠,提升长周期智能体性能。
2026-10-15 cs.CL cs.LG
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization
University of Pisa(比萨大学);University of Padova(帕多瓦大学)
由于梯度消失,训练RNN学习长期依赖性是困难的。我们探索了一种基于显式记忆的替代解决方案,使用线性自编码器的序列,它允许最大限度地提高短期记忆,并且可以用封闭形式的解决方案来解决,而无需反向传播。我们引入了一个初始化模式,该模式预训练递归神经网络的权重以近似输入序列的线性自编码器,并展示了这种预训练如何更好地支持解决长序列的硬分类任务。我们测试我们的方法顺序和排列MNIST。我们表明,所提出的方法实现了更低的重建误差长序列和更好的梯度传播在微调阶段。
2020-11-05 cs.LG
MolMem: Memory-Augmented Agentic Reinforcement Learning for Sample-Efficient Molecular Optimization
Northwestern University(西北大学);AbbVie(阿比维)
MolMem通过双记忆系统提升分子优化的样本效率,利用静态示例记忆和进化技能记忆,实现90%的成功率和52%的多属性任务表现。
2026-04-14 cs.AI cs.CL cs.LG
Throughput Optimization as a Strategic Lever in Large-Scale AI Systems: Evidence from Dataloader and Memory Profiling Innovations
Amazon Robotics(亚马逊机器人)
本文通过数据加载器和内存优化创新,探讨吞吐量优化在大规模AI系统中的战略作用,分析架构改进、内存优化及编译器优化对训练效率的影响。
2026-03-27 cs.AI cs.LG cs.PF
Memory-Query Tradeoffs for Randomized Convex Optimization
Columbia University(哥伦比亚大学)
本研究证明随机一阶算法在凸优化中面临内存与查询的权衡,割平面方法在帕累托意义上最优,且最优查询复杂度需二次内存。
2023-06-21 cs.AI cs.DS cs.LG
DeepCare: A Deep Dynamic Memory Model for Predictive Medicine
个性化预测医学需要对患者疾病和护理过程进行建模,这些过程本身具有长期的时间依赖性。记录在电子医疗记录中的医疗保健观察结果是偶发性的,在时间上是不规则的。我们介绍DeepCare,这是一个端到端的深度动态神经网络,可以读取医疗记录,存储以前的病史,推断当前的疾病状态并预测未来的医疗结果。在数据层面,DeepCare将护理事件表示为空间中的向量,通过历史记录的显式记忆对患者健康状态轨迹进行建模。DeepCare建立在长短期记忆(LSTM)的基础上,引入了时间参数化,通过调节记忆细胞的遗忘和巩固来处理不规则的时间事件。DeepCare还包括医疗干预措施,可以改变疾病的进程并塑造未来的医疗风险。向上移动到健康状态级别,然后通过多尺度时间池来聚合历史和当前健康状态,然后通过估计未来结果的神经网络。我们证明了DeepCare在疾病进展建模、干预建议和未来风险预测方面的有效性。在两个具有沉重社会和经济负担的重要群体-糖尿病和心理健康-中,结果显示出建模和风险预测准确性的提高。
2017-04-10 cs.LG stat.ML
NOMADS: Non-Markovian Optimization-based Modeling for Approximate Dynamics with Spatially-homogeneous Memory
Digital Design Center, Tokyo Electron Ltd.(东京电子有限公司数字设计中心);Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
NOMADS通过非马尔可夫优化方法,利用空间同质记忆核实现对非马尔可夫动力学的高效建模,提升系统辨识的准确性和泛化能力。
2026-01-25 cs.LG math.OC
ReLMXEL: Adaptive RL-Based Memory Controller with Explainable Energy and Latency Optimization
Department of Mathematics and Computer Science(数学与计算机科学系);Sri Sathya Sai Institute of Higher Learning(Sri Sathya Sai高等研究院);Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Ropar(印度理工学院罗帕尔分校);AI Performance Engineer(AI性能工程师);Red Hat(红帽公司)
本文提出ReLMXEL,一种基于强化学习的多智能体在线框架,通过奖励分解动态优化内存控制器参数,提升内存系统效率与透明度。
2026-03-18 cs.AI cs.AR cs.LG
vMCU: Coordinated Memory Management and Kernel Optimization for DNN Inference on MCUs
School of Computer Science, Peking University(北京大学计算机学院);School of Computer Science & Engineering, University of Washington(华盛顿大学计算机科学与工程学院);OctoAI(OctoAI公司)
本文提出vMCU,通过将MCU有限内存虚拟化为内存池并进行段级细粒度协同管理,显著降低DNN推理的RAM占用与能耗,缓解低端MCU的内存瓶颈。
2024-05-01 cs.AR cs.LG
Capacity Provisioning Motivated Online Non-Convex Optimization Problem with Memory and Switching Cost
本文研究带记忆和切换代价的在线非凸优化问题,通过调节活跃服务器数量最小化作业总延迟,并针对最坏情况和随机输入分别提出竞争算法。
2024-07-01 cs.DS cs.LG
A Regularized Limited Memory BFGS method for Large-Scale Unconstrained Optimization and its Efficient Implementations
Kyoto University(京都大学)
有限记忆BFGS(L-BFGS)方法是求解大规模无约束优化问题的常用方法之一。由于标准的L-BFGS方法使用线搜索来保证其整体收敛,因此它有时需要大量的函数求值。为了克服这个困难,我们提出了一个新的L-BFGS与一定的正则化技术。在通常的假设下,证明了算法的整体收敛.为了使该方法更加鲁棒和有效,我们还扩展了几个技术,如非单调技术和同时使用的Wolfe线搜索。最后,我们给出了一些数值结果测试问题在CUTEst,这表明所提出的方法是强大的解决问题的数量。
2021-01-12 cs.LG math.OC stat.ML
SMMF: Square-Matricized Momentum Factorization for Memory-Efficient Optimization
本文提出 SMMF(方阵化动量分解),一种内存高效优化器,通过方阵化和一次性矩阵分解支持任意秩动量张量的灵活分解,相比 Adam 等优化器内存需求降低高达 96%,并在理论分析和 CNN、Transformer 实验中验证了其低内存与高性能优势。
2024-12-13 cs.AI cs.LG