Study of Training Dynamics for Memory-Constrained Fine-Tuning
LTCI, Télécom Paris Palaiseau（LTCI，巴黎电信Palaiseau）
TraDy通过动态随机通道选择和层重要性分析，在内存受限条件下实现高效微调，提升模型性能并减少计算资源消耗。
2026-02-20 cs.AI cs.LG
Logarithmic Memory Networks (LMNs): Efficient Long-Range Sequence Modeling for Resource-Constrained Environments
针对传统长程序列模型效率低的问题，提出采用分层对数树结构的对数记忆网络LMNs，将注意力复杂度降至O(log(n))，适配资源受限环境，代码已开源。
2025-01-14 cs.AI cs.LG
Low-Precision Random Fourier Features for Memory-Constrained Kernel Approximation
Stanford University（斯坦福大学）
我们研究如何训练核近似方法，以及推广下的内存预算。最近的理论工作的基础上，我们定义了一个核近似误差的措施，我们发现是更预测的经验泛化性能的核近似方法比传统的度量。这个定义的一个重要结果是，核近似矩阵必须是高秩的，以达到接近的近似。由于存储高阶近似是内存密集型的，我们建议使用随机傅立叶特征（LP-RFFs）的低精度量化来构建一个高阶近似下的内存预算。从理论上讲，我们表明，量化的泛化性能在重要的设置可以忽略不计的影响。从经验上讲，我们在四个基准数据集上证明了LP-RFF可以与全精度RFF和Nyström方法的性能相匹配，内存分别减少了3x-10 x和50 x-460 x。
2019-03-20 cs.AI cs.LG stat.ML
Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems
Rice University（莱斯大学）
利用基于深度学习的模型来实现推荐系统的最新性能。这些模型的一个关键挑战是处理数百万个分类类或标记。标准的方法是学习每个令牌的端到端、密集的潜在表示或嵌入。由此产生的嵌入需要大量的内存，这些内存随着令牌的数量而膨胀。使用这些模型进行训练和推理会产生存储和内存带宽瓶颈，从而在实际部署时导致显著的计算和能耗。为此，我们提出的问题，\textit{Memory Allocation}根据预算的嵌入，并提出了一种新的配方的内存共享嵌入，其中内存共享的语义信息的重叠成比例。我们的配方承认一个实用和有效的随机化解决方案与局部敏感哈希基于内存分配（LMA）。我们展示了显着减少内存占用，同时保持性能。特别是，我们的LMA嵌入实现了相同的性能相比，标准的嵌入与16 $\times$减少内存占用。此外，在Criteo和Avazu数据集上，LMA在不同的记忆机制中比标准DLRM模型平均提高了0.003 AUC以上
2021-02-24 cs.AI cs.IR cs.LG
Hebbian and Gradient-based Plasticity Enables Robust Memory and Rapid Learning in RNNs
Tsinghua University（清华大学）
从正在进行的经验中快速学习和用灵活的记忆系统记住过去的事件是生物智能的两个核心能力。虽然潜在的神经机制尚未完全理解，但各种证据支持突触可塑性在记忆形成和快速学习中起着关键作用。受这些结果的启发，我们为递归神经网络（RNN）配备了可塑性规则，使它们能够根据持续的经验调整参数。除了传统的局部Hebbian可塑性，我们提出了一个全球性的，基于梯度的可塑性规则，它允许模型朝着自己确定的目标发展。我们的模型在顺序和联想记忆任务上显示出有希望的结果，说明了它们稳健地形成和保留记忆的能力。同时，这些模型可以处理许多具有挑战性的少样本学习问题。在同一框架下比较不同的可塑性规则表明，赫布可塑性非常适合几个记忆和联想学习任务，但是，它优于基于梯度的可塑性的Few-Shot回归任务，需要模型来推断底层映射。代码可在https://github.com/yuvenduan/PlasticRNNs上获得。
2023-02-07 cs.AI cs.NE
Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs
本文提出了一种内存高效的块低秩基础模型加速方法，通过自定义Triton内核优化，显著提升了在资源受限GPU上的推理速度和模型压缩效率。
2026-01-17 cs.AI cs.LG
Fast Lexically Constrained Viterbi Algorithm (FLCVA): Simultaneous Optimization of Speed and Memory
对语音输入和联机手写系统的词汇限制提高了这类系统的性能。通过在有向图结构中集成对应于相关词典的单词的不同隐马尔可夫模型（HMM），可以实现速度上的显著增益。这种集成通过在对应于词典的不同单词的HMM之间共享中间结果来避免冗余计算。在本文中，我们引入了一个令牌传递方法，同时执行的后验概率的计算的所有单词的词典。我们为令牌引入的编码方案在信息论意义上是最优的。令牌使用尽可能少的位数。总体而言，我们同时优化的执行速度和识别系统的内存需求。
2006-03-19 cs.AI cs.CV cs.DS
Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices
Delhi Technological University（德里理工大学）；University of Cambridge（剑桥大学）；UQIDAR, IIT Delhi（UQIDAR，印度理工学院德里分校）
随着用户对智能设备的日益依赖，在边缘进行必要的计算已成为任何类型业务的关键要求。许多这样的计算利用卷积神经网络（CNN）来执行AI任务，具有高资源和计算要求，这对于边缘设备是不可行的。拆分CNN架构以在边缘上执行部分计算并保留在云上是一个研究领域，该领域的兴趣越来越大。在本文中，我们断言在边缘设备和云之间运行CNN是解决资源受限优化问题的同义词，该问题可以最大限度地减少延迟并最大限度地提高边缘的资源利用率。我们制定了一个多目标优化问题，并提出了LMOS算法，以实现帕累托有效的解决方案。在真实世界边缘设备上进行的实验表明，LMOS确保了在边缘执行不同的CNN模型，并改进了现有的最先进的方法。
2021-07-19 cs.AI cs.LG
BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
Shanghai Jiao Tong University（上海交通大学）
针对MoE模型推理时参数超出GPU内存、专家传输延迟及预取失败的问题，BuddyMoE利用专家冗余加速内存受限的MoE推理，旨在平衡推理速度与模型精度。
2025-11-13 cs.AI cs.LG
FALCON: Feature-Label Constrained Graph Net Collapse for Memory Efficient GNNs
Imperial College London（伦敦帝国理工学院）
提出FALCON，一种拓扑感知的图缩减方法，通过保留特征-标签分布，结合迷你批处理和量化，实现内存高效GNN训练，并在公共数据集上保持预测质量。
2023-12-27 cs.AI cs.LG
LOKI: Memory-Free Null-Space Constrained Lifelong Knowledge Editing
Department of Electrical and Computer Engineering（电气与计算机工程系）
提出LOKI方法，通过希尔伯特-施密特独立性准则动态选择层，并将梯度更新投影到模型权重的零空间，实现无需访问旧知识的终身知识编辑，平均准确率提升14%。
2026-06-19 cs.AI cs.LG
Service-Induced Congestion in Memory-Constrained LLM Serving
Institute for Data, Systems, and Society, Massachusetts Institute of Technology（数据、系统与社会研究所，麻省理工学院）；Columbia Business School, Columbia University（哥伦比亚大学商学院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文通过离散时间动力学模型研究内存受限的大语言模型服务中，因键值缓存增长导致的服务引发拥塞，发现同质负载下无驱逐均衡不稳定且收敛到最坏情况极限环，异质负载下稳定条件与解码长度互质相关，并提出调度设计原则。
2026-10-21 cs.AI cs.LG math.OC
Are Agents Probabilistic Automata? A Trace-Based, Memory-Constrained Theory of Agentic AI
JetBrains Research, Amsterdam, the Netherlands（JetBrains研究院，荷兰阿姆斯特丹）；Delft University of Technology, Delft, the Netherlands（代尔夫特理工大学，荷兰代尔夫特）；Constructor University, Bremen, Germany（Constructor大学，德国不来梅）
本文提出了一种基于轨迹的、内存受限的智能体AI理论，通过自动机理论模型分析智能体与环境交互行为的概率分布，并探讨了不同内存限制下轨迹语言的可判定性。
2026-01-30 cs.AI cs.FL
Cognitive Discriminative Mappings for Rapid Learning
人类可以从少数几个例子中学习概念或识别项目，而机器需要更多的样本来执行相同的任务。在本文中，我们建立了一个计算模型来研究这种快速学习的可能性。所提出的方法旨在通过利用从长期记忆中检索的信息来改善从感觉记忆中输入的学习任务。我们提出了一个简单而直观的技术，称为认知判别映射（CDM）来探索认知问题。首先，当感觉输入触发算法时，CDM利用工作记忆中的判别方法将从长期记忆中提取的数据实例分离并聚类到不同的类中。然后，CDM将每个传感数据实例映射为尽可能接近具有相同类的数据组的中值点。实验结果表明，CDM方法是有效的学习有监督的分类与少量的训练感觉输入实例的区别性特征。
2016-11-08 cs.AI cs.LG cs.NE
Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing
Department of Artificial Intelligence, Kyungpook National University（人工智能系，庆北国立大学）；Department of Electrical and Computer Engineering, Queen’s University（电气与计算机工程系，皇后大学）；Department of Information and Communications Engineering, Pukyong National University（信息与通信工程系，浦项国立大学）
本文提出首个面向自回归推理的自适应分割计算框架，通过混合精度量化、两阶段中间压缩和统一优化，在满足边缘设备内存与延迟约束的同时实现 1.49 倍推理加速并保持模型精度。
2025-11-06 cs.AI cs.LG
Endogenous Information in Routing Games: Memory-Constrained Equilibria, Recall Braess Paradoxes, and Memory Design
本文研究了旅行者在优化路径时考虑记忆或浮现替代方案的路由游戏，提出了一种可操作的记忆设计理论，并通过有限记忆微观模型探讨了均衡的存在性和唯一性，同时定义了回忆布拉塞斯悖论并展示了其在多路径网络中的应用。
2026-09-28 cs.AI cs.GT cs.IT
MAS-Attention: Memory-Aware Stream Processing for Attention Acceleration on Resource-Constrained Edge Devices
Huawei Technologies（华为技术有限公司）
针对资源受限边缘设备注意力加速难题，提出MAS-Attention方案，通过异构计算单元并行、多层分块流调度与主动缓存策略，实现显著速度与能效提升且不损失精度。
2025-05-16 cs.AI cs.DC cs.PF
Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文将持续学习视为受约束优化问题，利用拉格朗日对偶性分析任务级与样本级约束，通过对偶变量指示的敏感性自适应分配重放缓冲区资源，在多个基准上验证了有效性并讨论了其局限性。
2024-05-31 cs.AI cs.LG eess.SP
MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs
UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）
本文提出高吞吐量 MoE 批量推理系统 MoE-Lightning，通过 CGOPipe 流水线调度、分页权重和分层 Roofline 性能模型，在内存受限的低成本 GPU 上显著提升 Mixtral 等大模型推理吞吐量。
2024-11-18 cs.AI cs.DC cs.LG
ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference
School of Computer Science and Engineering, Beihang University, Beijing 100191, China（北京航空航天大学计算机科学与工程学院）；Huawei Technologies Ltd（华为技术有限公司）
提出ReMoE路由器微调框架，通过偏向近期选中的专家实现时间稳定的路由，减少专家从外部存储的获取次数，在保持下游任务性能的同时提升专家重用26%，并在实际系统中实现8.4%的吞吐量提升和1.77-1.99倍的解码加速。
2026-05-26 cs.AI cs.DC cs.LG
Enabling Robust In-Context Memory and Rapid Task Adaptation in Transformers with Hebbian and Gradient-Based Plasticity
St Paul’s School（圣保罗学校）
本文在仅解码器Transformer中引入赫布型与基于梯度的快速权重可塑性模块，发现赫布规则在小样本泛化上更强，梯度更新擅长长时程信用分配，并揭示了可塑性有效的边界条件。
2025-11-04 cs.AI cs.LG cs.NE
Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training
针对资源受限智能体LLM后训练的高内存、长耗时问题，提出CoPES方法，在GPU小时预算下，其验证准确率恢复率、内存效率均优于标准ES和LoRA-GRPO，在多任务基准上表现更优。
2026-11-10 cs.AI cs.LG
Achieving Pareto Optimality using Efficient Parameter Reduction for DNNs in Resource-Constrained Edge Environment
University of New Brunswick（新不伦瑞克大学）；RMIT University（皇家墨尔本理工大学）
本文通过高效参数缩减优化Xception模型，在资源受限边缘环境中实现设备端训练，在Caltech-101和PCB缺陷检测上提升准确率并降低内存使用，达到帕累托最优。
2024-03-14 cs.AI cs.CV cs.LG
MIRROR: Novelty-Constrained Memory-Guided MCTS Red-Teaming for Agentic RAG
Fujitsu Research of Europe, United Kingdom（欧洲富士通研究机构，英国）；Fujitsu Limited, Japan（日本富士通有限公司）
提出MIRROR框架，通过记忆引导蒙特卡洛树搜索和显式新颖性约束，在多模态智能体RAG系统的四个攻击面上实现高攻击成功率，并降低跨表面方差。
2026-06-26 cs.AI cs.CR cs.LG
On Immutable Memory Systems for Artificial Agents: A Blockchain-Indexed Automata-Theoretic Framework Using ECDH-Keyed Merkle Chains
Dr Craig S. Wright University of Exeter Business School（埃克塞特大学商学院）
针对传统AI系统易出现认知漂移和历史修正的问题，提出基于区块链与默克尔自动机的不可变记忆架构，结合密码学与形式逻辑实现可验证、防篡改的主体认知系统，为高保障计算场景奠定基础。
2025-06-16 cs.AI cs.CR cs.DC
Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Huawei Research Center（华为研究中心）
针对联邦学习中LoRA微调存在的内存和FLOP低效问题，提出新型层微调方案，使资源受限设备能高效利用预训练模型，在同/异构约束下精度优于现有技术且通信量与LoRA相当。
2025-04-16 cs.AI cs.DC cs.LG
