FloE: On-the-Fly MoE Inference on Memory-constrained GPU
针对内存受限 GPU 上 MoE 推理的专家加载带宽瓶颈,提出 FloE,通过压缩专家参数矩阵并结合稀疏预测,实现低显存部署与显著推理加速。
2025-05-12 cs.LG
Memory Limitations of Prompt Tuning in Transformers
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);IPAL, IRL2955, Singapore(新加坡IPAL);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
该研究聚焦Transformer提示调优的记忆能力理论问题,证明其记忆信息量与提示长度呈线性增长关系,并首次形式化验证长上下文下性能下降的现象,揭示了Transformer架构的固有记忆局限。
2025-08-30 cs.LG
MicroNAS: Memory and Latency Constrained Hardware-Aware Neural Architecture Search for Time Series Classification on Microcontrollers
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出MicroNAS,一种面向微控制器时间序列分类的硬件感知神经架构搜索系统,通过集成DNAS、延迟查找表和动态卷积,生成满足内存与延迟约束的架构,性能接近桌面模型且优于DARTS等基线。
2024-02-04 cs.LG
TASO: Time and Space Optimization for Memory-Constrained DNN Inference
Trinity College Dublin(都柏林圣三一学院);University of Edinburgh(爱丁堡大学)
卷积神经网络(CNN)用于许多嵌入式应用,从工业机器人和自动化系统到移动设备上的生物识别。最先进的分类通常是通过大型网络实现的,这些网络在内存和能源预算严格受限的移动和嵌入式设备上运行起来非常昂贵。我们提出了一种基于整数线性规划(ILP)的CNN模型的时域特定优化方法,用于选择原语操作来实现卷积层。我们通过以下方式优化执行时间和内存消耗之间的权衡:1)通过选择数据布局和原语操作来实现每一层,尝试最大限度地减少整个网络的执行时间; 2)分配适当的工作空间,反映每层内存占用的上限。这两种优化策略可用于在任何平台上运行任何CNN,并带有C编译器。我们在ARM Cortex-A15上对一系列流行的ImageNet神经架构(GoogleNet,AlexNet,VGG,ResNet和SqueezeNet)进行了评估,与基于贪心算法的原语选择相比,速度提高了8倍,与仅考虑推理时间的求解器相比,内存需求降低了2.2倍,同时仅牺牲了15%的推理时间。此外,我们的优化方法暴露了一系列的最佳点,不同的配置在帕累托边界的内存和延迟的权衡,这可以在任意的系统约束下使用。
2020-05-21 cs.LG stat.ML
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning
Argonne National Laboratory(阿贡国家实验室)
从输入数据流中持续学习而不发生灾难性遗忘的能力对于设计智能系统至关重要。许多现有的持续学习方法依赖于随机梯度下降及其变体。然而,这些算法必须实现各种策略,例如存储器缓冲器或重放,以克服随机梯度下降方法在稳定性、贪婪和短期记忆方面的众所周知的缺点。为此,我们开发了一个生物启发的轻量级神经网络架构,它结合了本地学习和神经调节,使输入处理数据流和在线学习。接下来,我们解决的挑战,是不知道的任务,提前实现转移元学习:使用贝叶斯优化,探索设计空间跨越多个本地学习规则和他们的超参数,我们确定高性能的配置在经典的单任务在线学习,我们将它们转移到持续学习任务与任务相似性的考虑。我们证明了我们的方法在单一任务和持续学习设置的有效性。对于单任务学习设置,我们在MNIST,Fashion MNIST和CIFAR-10数据集上展示了优于其他本地学习方法的性能。使用高性能的配置元在单任务学习设置,我们实现了优越的持续学习性能分裂MNIST,和分裂CIFAR-10数据相比,其他内存受限的学习方法,并匹配的最先进的内存密集型重放为基础的方法。
2021-03-13 cs.LG stat.ML
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本研究探讨资源受限强化学习中内存分配对智能体性能的影响,重点分析MCTS和DQN算法下模型估计与规划间的内存权衡,并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Techniques for Peak Memory Reduction for LoRA Fine-tuning of LLMs on Edge Devices
针对边缘设备上LLM LoRA微调的内存瓶颈,提出四种互补技术(量化、检查点、softmax近似、logits掩码),在Llama-3.2 3B和Qwen-2.5 3B上实现高达26倍和28倍的峰值内存降低。
2026-06-19 cs.AI cs.LG
Beyond Average Safety: Chance-Constrained LLM Fine-tuning
Johns Hopkins University(约翰霍普金斯大学)
本文提出机会约束的大语言模型微调方法,限制安全示例退化比例,通过可微上界和约束感知梯度下降实现尾部感知的安全校正,实验证明其优于现有基线。
2026-09-25 cs.AI cs.LG
Quantized Side Tuning: Fast and Memory-Efficient Tuning of Quantized Large Language Models
Peng Cheng Laboratory(鹏城实验室);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
本文提出量化侧调优QST,通过4位量化LLM权重、引入独立侧网络避免反向传播,并利用低秩适配器和无梯度下采样模块减少可训练参数,从而同时降低模型权重、中间激活和优化器状态的内存占用,实现最高2.3倍内存节省和3倍加速,且性能保持竞争力。
2024-01-13 cs.AI cs.LG
LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
University of Colorado Boulder(科罗拉多大学博尔德分校);Amazon Web Services(亚马逊网络服务);Electronics and Telecommunications Research Institute(电子通信研究院)
针对有限硬件下微调预训练LLM的GPU显存约束及最优分布式微调方法难确定的问题,提出LLMem方案,通过模型结构与方法显存分布提前估算显存并选最优方法,单卡误差最高1.6%,十亿参数以上多卡微调平均误差3.0%。
2024-04-16 cs.AI cs.CL cs.LG
Memory Constrained Dynamic Subnetwork Update for Transfer Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI, Télécom 巴黎, 巴黎理工学院)
针对设备端训练内存受限问题,提出MeDyate框架,通过层排序与动态通道采样实现高效子网络适配,在极低内存下达到最先进性能。
2025-10-23 cs.AI cs.LG
SplitFrozen: Split Learning with Device-side Model Frozen for Fine-Tuning LLM on Heterogeneous Resource-Constrained Devices
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室)
SplitFrozen通过冻结设备端层并在服务器端集成LoRA和流水线并行,实现异构资源受限设备上的高效LLM微调,在极不平衡数据下准确率提升69.4%,设备计算减少86.8%。
2025-03-23 cs.AI cs.LG
FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Penn State University(宾夕法尼亚州立大学)
FedKRSO通过在联邦学习中利用随机子空间优化,实现了高效通信和内存的LLM微调,兼顾性能与资源节约。
2026-02-03 cs.AI cs.LG
Activation-Efficient Fine-Tuning via Sequence-Compressed Low-Rank Subspaces
MIT CSAIL(MIT计算机科学与人工智能实验室);Harvard SEAS(哈佛大学科学、工程与应用数学系)
本文挑战参数效率等同于内存效率的假设,提出LARS框架通过约束激活子空间降低内存消耗,实验证明在不同设备上均能提升内存效率和性能。
2026-10-19 cs.AI cs.LG
Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization
NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院人工智能研究所);NAVER AI Lab(NAVER人工智能实验室);University of Richmond(里士满大学);SNU AI Center(首尔国立大学人工智能中心)
本文提出PEQA方法,通过仅更新量化尺度对低位量化大语言模型进行参数高效微调,在显著降低内存和模型规模的同时,使低于4位量化的LLM能力恢复甚至超过全精度性能。
2023-10-28 cs.AI cs.LG
Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
Nanjing University(南京大学);Southeast University(东南大学)
针对参数高效微调中激活内存开销过大的问题,本文提出 LoRAct,利用激活低秩性进行无校准数据的在线正交分解压缩,在视觉和语言任务上较 LoRA 减少约80%激活内存并保持性能。
2025-09-27 cs.AI cs.LG
SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA
Shanghai Qi Zhi Institute(上海启智研究院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Xiongan AI Institute(雄安人工智能研究院)
针对 LoRA 微调中收敛慢与知识遗忘难以兼顾的问题,提出 SC-LoRA 框架,通过约束适配器输出于低秩子空间,在高效微调的同时显著减少知识遗忘。
2025-10-31 cs.AI cs.LG
CERSA: Cumulative Energy-Retaining Subspace Adaptation for Memory-Efficient Fine-Tuning
National University of Singapore(新加坡国立大学);Nankai University(南开大学);Singapore University of Technology and Design(新加坡科技设计大学)
CERSA通过奇异值分解保留主成分以降低内存消耗,优于现有PEFT方法,适用于多种领域模型。
2026-05-05 cs.AI cs.CV cs.LG
Memory-Constrained No-Regret Learning in Adversarial Bandits
Cornell University(康奈尔大学)
研究了一个具有记忆约束的对抗性强盗问题,其中只能存储一个臂子集的统计信息。一个层次的学习策略,只需要一个次线性顺序的记忆空间的武器数量的开发。对于弱后悔和转移后悔,建立了其关于时间视界的次线性后悔序。这项工作似乎是第一个内存约束的强盗问题下的对抗设置。
2021-04-06 cs.LG stat.ML
Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity
Princeton University(普林斯顿大学);Stevens Institute of Technology(史蒂文斯理工学院);University of Pennsylvania(宾夕法尼亚大学);Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
本研究通过将稀疏性与量化整合到零阶优化微调中,仅微调预训练识别的0.1%敏感参数,在内存不足8 GiB的GPU上实现了Llama2-7B的高效微调,性能超越全参数微调且降低延迟。
2024-06-05 cs.AI cs.LG
EMLoC: Emulator-based Memory-efficient Fine-tuning with LoRA Correction
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);NVIDIA
EMLoC通过基于模拟器的内存高效微调与LoRA校正,实现大模型在有限内存下高效适应不同任务的需求。
2026-01-04 cs.AI cs.CV cs.LG
AutoMixQ: Self-Adjusting Quantization for High Performance Memory-Efficient Fine-Tuning
Fudan University(复旦大学);Columbia University(哥伦比亚大学);Zhejiang University(浙江大学)
AutoMixQ提出端到端优化框架,为LLM各层自动选择最优量化配置,在剪枝与低秩适配结合场景下平衡内存与性能,显著超越LoRA和LoftQ。
2024-11-21 cs.AI cs.LG
Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs
本文提出了一种内存高效的块低秩基础模型加速方法,通过自定义Triton内核优化,显著提升了在资源受限GPU上的推理速度和模型压缩效率。
2026-01-17 cs.AI cs.LG
MCAP: Deployment-Time Layer Profiling for Memory-Constrained LLM Inference
Genovation Technological Solutions Pvt Ltd(基因创新技术解决方案私人有限公司)
MCAP通过部署时的层重要性估计,实现动态精度和内存分配决策,提升解码吞吐量并拓展内存受限下的模型运行范围。
2026-04-24 cs.LG
StructZO: Structured Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning
Peking University(北京大学);Beijing Normal University(北京师范大学)
StructZO是一种结构化零阶优化框架,通过激活诱导子空间的ZO估计与谱控制,在内存高效的前提下大幅缩小了零阶优化与一阶优化的性能差距,在LLM微调任务上表现优异。
2026-10-14 cs.AI cs.LG
ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning
Xi’an Jiaotong University(西安交通大学);SGIT AI Lab(SGIT人工智能实验室)
本文提出ESSAM,结合进化策略的零阶搜索与SAM提升泛化能力,实现低内存高精度的LLM微调,实验显示其在GSM8K任务中表现优异,内存使用显著降低。
2026-05-08 cs.AI cs.LG
Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices
Delhi Technological University(德里理工大学);University of Cambridge(剑桥大学);UQIDAR, IIT Delhi(UQIDAR,印度理工学院德里分校)
随着用户对智能设备的日益依赖,在边缘进行必要的计算已成为任何类型业务的关键要求。许多这样的计算利用卷积神经网络(CNN)来执行AI任务,具有高资源和计算要求,这对于边缘设备是不可行的。拆分CNN架构以在边缘上执行部分计算并保留在云上是一个研究领域,该领域的兴趣越来越大。在本文中,我们断言在边缘设备和云之间运行CNN是解决资源受限优化问题的同义词,该问题可以最大限度地减少延迟并最大限度地提高边缘的资源利用率。我们制定了一个多目标优化问题,并提出了LMOS算法,以实现帕累托有效的解决方案。在真实世界边缘设备上进行的实验表明,LMOS确保了在边缘执行不同的CNN模型,并改进了现有的最先进的方法。
2021-07-19 cs.AI cs.LG
Low-Precision Random Fourier Features for Memory-Constrained Kernel Approximation
Stanford University(斯坦福大学)
我们研究如何训练核近似方法,以及推广下的内存预算。最近的理论工作的基础上,我们定义了一个核近似误差的措施,我们发现是更预测的经验泛化性能的核近似方法比传统的度量。这个定义的一个重要结果是,核近似矩阵必须是高秩的,以达到接近的近似。由于存储高阶近似是内存密集型的,我们建议使用随机傅立叶特征(LP-RFFs)的低精度量化来构建一个高阶近似下的内存预算。从理论上讲,我们表明,量化的泛化性能在重要的设置可以忽略不计的影响。从经验上讲,我们在四个基准数据集上证明了LP-RFF可以与全精度RFF和Nyström方法的性能相匹配,内存分别减少了3x-10 x和50 x-460 x。
2019-03-20 cs.AI cs.LG stat.ML
Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems
Rice University(莱斯大学)
利用基于深度学习的模型来实现推荐系统的最新性能。这些模型的一个关键挑战是处理数百万个分类类或标记。标准的方法是学习每个令牌的端到端、密集的潜在表示或嵌入。由此产生的嵌入需要大量的内存,这些内存随着令牌的数量而膨胀。使用这些模型进行训练和推理会产生存储和内存带宽瓶颈,从而在实际部署时导致显著的计算和能耗。为此,我们提出的问题,\textit{Memory Allocation}根据预算的嵌入,并提出了一种新的配方的内存共享嵌入,其中内存共享的语义信息的重叠成比例。我们的配方承认一个实用和有效的随机化解决方案与局部敏感哈希基于内存分配(LMA)。我们展示了显着减少内存占用,同时保持性能。特别是,我们的LMA嵌入实现了相同的性能相比,标准的嵌入与16 $\times$减少内存占用。此外,在Criteo和Avazu数据集上,LMA在不同的记忆机制中比标准DLRM模型平均提高了0.003 AUC以上
2021-02-24 cs.AI cs.IR cs.LG
FALCON: Feature-Label Constrained Graph Net Collapse for Memory Efficient GNNs
Imperial College London(伦敦帝国理工学院)
提出FALCON,一种拓扑感知的图缩减方法,通过保留特征-标签分布,结合迷你批处理和量化,实现内存高效GNN训练,并在公共数据集上保持预测质量。
2023-12-27 cs.AI cs.LG
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
MSSR通过估计样本级别的记忆强度并自适应地安排复习,有效缓解持续LLM微调中的灾难性遗忘问题,同时保持快速适应能力。
2026-03-10 cs.AI cs.CL cs.LG
Make Pre-trained Model Reversible: From Parameter to Memory Efficient Fine-Tuning
University of Amsterdam(阿姆斯特丹大学)
本文提出内存高效微调方法MEFT,通过在保留预训练模型起始点的前提下插入适配器使其可逆,无需额外预训练即可在保持性能的同时显著减少激活内存。
2023-10-19 cs.AI cs.CL cs.LG
SibylSense: Adaptive Rubric Learning via Memory Tuning and Adversarial Probing
Microsoft(微软);University of California, Los Angeles(加州大学洛杉矶分校)
SibylSense通过记忆调优和对抗探测实现自适应评分标准学习,提升开放性任务下的强化学习性能。
2026-02-24 cs.AI cs.CL cs.LG
Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
Apple(苹果公司)
针对移动设备上LLM微调内存不足的问题,提出内存高效反向传播方法MeBP,在内存与速度间取得更优平衡,可在1GB内存内完成0.5B-4B规模LLM微调,并开源实现。
2025-10-03 cs.LG
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法,通过仅对部分输入 token 反向传播并缓存其中间激活值,大幅降低 Transformer 模型微调的内存开销,且可与 LoRA 等方法结合,在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用研究所);Alcatel-Lucent Enterprise(阿尔卡特朗讯企业)
LST通过轻量级侧边网络实现高效微调,比QLoRA更节省内存,同时在多个任务中保持竞争力。
2026-08-27 cs.CL cs.LG
RoSA: Rotational Sparse Adaptation for Memory-Efficient Fine-Tuning
Saarland University(萨尔兰大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
RoSA通过旋转稀疏适配层子集,减少内存占用,同时保持微调性能,可与PEFT结合。
2026-10-06 cs.LG
Constrained Flow Optimization via Sequential Fine Tuning for Molecular Design
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Institute of Chemical and Bioengineering, Department of Chemistry and Applied Biosciences, ETH Zurich(苏黎世联邦理工学院化学与生物工程研究所);ETH AI Center(苏黎世联邦理工学院人工智能中心)
提出约束流优化(CFO)算法,通过将约束生成优化问题转化为序列微调,在分子设计中平衡奖励最大化与约束满足。
2026-05-28 cs.LG
How Long short-term memory artificial neural network, synthetic data, and fine-tuning improve the classification of raw EEG data
Laboratory of Data Analysis;Bioinformatics, Center for Artificial Intelligence, Innopolis University Innopolis, Russia;Cognitive Technology Laboratory, Center for Technologies in Robotics;Mechatronics Components, Innopolis University Innopolis, Russia
本文提出结合合成数据生成、LSTM和微调的方法,提升隐含视觉刺激(如不同模糊层次的Necker立方体)下EEG数据分类性能。
2026-04-05 cs.LG
A Study of Optimizations for Fine-tuning Large Language Models
Microsoft(微软公司)
本文系统评估了多种大语言模型微调优化方法,重点分析其对 GPU 内存和运行时间的影响,并为不同模型规模及资源受限场景提出了最佳优化组合与策略。
2024-06-06 cs.LG
TerMeZO: Ternary Sparse Zeroth-Order Optimization for Fine-tuning BitNet Models at the Edge
Northeastern University London(伦敦东北大学)
针对BitNet模型微调内存开销大的问题,提出TerMeZO,利用三元量化器几何特性构建稀疏掩码,无需额外数据或内存,实现更快收敛并匹配或超越全参数MeZO性能。
2026-09-29 cs.AI cs.LG eess.SP
AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Amazon AGI(亚马逊AGI)
针对 MeZO 等零阶 LLM 微调性能下降且易发散的问题,本文提出 AdaZeta,结合低参数张量化适配器与保证收敛的自适应查询次数调度,提升准确率、内存效率和收敛速度。
2024-12-02 cs.AI cs.CL cs.LG
Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning
University of Georgia(佐治亚大学);Northeastern University(东北大学);University of Minnesota(明尼苏达大学);University of Arizona(亚利桑那大学)
为解决零阶优化在LLM微调中收敛慢、精度低的问题,提出差异驱动的DiZO方法,通过逐层差异分析引入投影生成多样化幅度更新,显著提升收敛速度与精度,并大幅降低GPU训练时长。
2025-11-02 cs.AI cs.CL cs.LG
Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning
OptAI Inc.(OptAI公司)
提出MeSP方法,通过手动推导利用LoRA低秩结构的反向传播,在计算数学等价梯度的同时平均减少49%内存,使内存受限设备上的微调成为可能。
2026-05-29 cs.CL cs.LG
Controlled Sparsity via Constrained Optimization or: How I Learned to Stop Tuning Penalties and Love Constraints
Mila(米拉人工智能研究所);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系)
经过训练的神经网络的性能对于苛刻的修剪水平是鲁棒的。再加上深度学习模型的规模不断增长,这一观察结果激发了对学习稀疏模型的广泛研究。在这项工作中,我们专注于执行稀疏学习时控制稀疏度水平的任务。现有的方法的基础上稀疏诱导处罚涉及昂贵的试错调整的惩罚因子,从而缺乏直接控制所产生的模型稀疏。作为回应,我们采用了一种约束公式:使用Louizos等人(2018)提出的门机制,我们制定了一个约束优化问题,其中稀疏化由训练目标和所需的稀疏目标以端到端的方式指导。使用WideResNet和ResNet{18,50}模型在CIFAR-{10,100}、TinyImageNet和ImageNet上进行的实验验证了我们的建议的有效性,并证明我们可以可靠地实现预定的稀疏目标,而不会影响预测性能。
2022-11-27 cs.LG
Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
Korea University(韩国大学);Arizona State University(亚利桑那州立大学);Soongsil University(顺天大学)
针对 adapter-tuning 资源开销较大的问题,本文提出 SAFE,依据适配器重要性提前逐步冻结不重要适配器,在保持或提升性能的同时显著降低显存、计算与训练时间。
2025-05-15 cs.AI cs.CL cs.LG
Expanding Sparse Tuning for Low Memory Usage
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
本文提出SNELL方法,通过分解低秩矩阵和竞争稀疏化机制,实现低内存的稀疏调优,并利用核函数提升性能,达到最先进水平。
2024-11-04 cs.CV cs.LG
Constrained Online Convex Optimization with Memory and Predictions
本文研究了具有记忆的约束在线凸优化(COCO-M),提出首次实现亚线性后悔和亚线性累积约束违反的算法,适用于时间变化约束,且在有无预测情况下均有效。
2026-03-22 cs.LG stat.ML
Decentralized Rank Scheduling for Energy-Constrained Multi-Task Federated Fine-Tuning in Edge-Assisted IoV Networks
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);School of Cyber Science and Technology, Sun Yat-sen University(中山大学网络安全科学与技术学院)
本文提出一种分层联邦微调框架,通过协调路侧单元和车辆实现资源感知和移动鲁棒学习。基于LoRA引入去中心化能量感知排名机制,开发UCB-DUAL算法以实现适应性探索,实验表明在准确率和效率之间取得最佳平衡。
2026-04-15 cs.AI cs.LG cs.NI
Dynamic Ensemble Size Adjustment for Memory Constrained Mondrian Forest
Concordia University(康考迪亚大学)
监督学习算法通常假设在训练和测试阶段有足够的存储器来存储数据模型。然而,当数据以无限数据流的形式出现时,或者当学习算法部署在内存量减少的设备上时,这种假设是不现实的。这种内存约束会影响模型行为和假设。在本文中,我们表明,在内存限制下,增加基于树的集成分类器的大小会恶化其性能。特别是,我们的实验表明存在一个最佳的合奏大小的内存有界的蒙德里安森林的数据流,我们设计了一个算法来引导森林的最佳数量,通过使用估计过拟合。我们在各种真实和模拟数据集上测试了该算法的不同变体,我们得出的结论是,对于稳定的数据集,我们的方法可以达到最佳大小的蒙德里安森林性能的95%,甚至可以超过具有概念漂移的数据集。我们所有的方法都是在OrpailleCC开源库中实现的,可以在嵌入式系统和连接对象上使用。
2022-10-11 cs.LG
ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning
Northeastern University, China(中国东北大学);Shanghai Jiao Tong University, China(上海交通大学);CIS, LMU Munich, Germany(慕尼黑大学CIS实验室);MCML, Germany(德国MCML实验室);Shandong University, China(山东大学)
本文提出ChunkFT框架,通过动态激活的工作集重新定义全参数微调,实现了无需修改网络架构即可对任意子张量进行梯度计算,理论分析和实验表明其在内存使用、运行时间和优化质量上均有效,且在下游任务中表现优于现有内存高效基线。
2026-05-20 cs.CL cs.LG
SubZero+: Memory-Efficient Adaptive Zeroth-Order LLM Fine-Tuning in Random Subspaces
SubZero+是改进的SubZero框架,通过三种互补方式提升零阶优化稳定性,在1.3B至32B参数模型的SuperGLUE任务上,优于现有零阶基线,扩大稳定学习率范围,缩小与一阶方法差距且内存开销极小。
2026-09-29 cs.LG
Energy-Efficient GPU DVFS for Fine-Tuning of SLMs on Resource-constrained Embedded Devices
School of Engineering and Digital Sciences, Nazarbayev University(工程与数字科学学院,纳扎尔拜耶夫大学)
研究资源受限嵌入式设备上SLM微调的节能问题,提出基于机器学习的模型选择方法来选GPU DVFS设置,在NVIDIA Jetson AGX Orin上实验,相比MAXN模式0平均节能13.11%,最高达26.73%。
2026-07-08 cs.LG cs.PF
HyperPower: Power- and Memory-Constrained Hyper-Parameter Optimization for Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
虽然选择神经网络(NN)的超参数迄今为止一直被视为一种艺术,但更复杂,更深入的架构的出现给设计师和机器学习(ML)从业者带来了越来越多的挑战,特别是当需要考虑功率和内存约束时。在这项工作中,我们提出了HyperPower,这是一个框架,可以在给定硬件平台上运行的NN的功率和内存约束超参数优化的背景下实现高效的贝叶斯优化和随机搜索。HyperPower是第一项工作,(i)表明功耗可以用作低成本,先验已知的约束,(ii)提出在GPU上执行的NN的功率和内存的预测模型。得益于HyperPower,通过约束不感知方法实现的函数求值数量和最佳测试误差分别快了112.99倍和30.12倍,同时从不考虑无效配置。HyperPower显著加快了超参数优化的速度,在给定的时间间隔内,与约束不感知方法相比,实现了高达57.20倍的函数计算,有效地提高了高达67.6%的准确性。
2017-12-06 cs.LG