AIM-ZO：基于激活信息子空间维护的零阶大语言模型微调
AIM-ZO: Activation-Informed Subspace Maintenance for Zeroth-Order LLM Fine-Tuning
另 1 家 · 查看机构详情
- Southern University of Science and Technology（南方科技大学）
- National University of Singapore（新加坡国立大学）
- Huawei Technologies Ltd.（华为技术有限公司）
- City University of Hong Kong（香港城市大学）
机构由 AI 辅助整理，请以论文原文为准。
浏览论文内容
中文总结 AI 辅助
针对零阶大语言模型微调中扰动方向信息不足的问题，提出基于激活信息子空间维护的AIM-ZO方法，通过持续整合前向激活并解耦维护与激活宽度，在多个模型和任务上显著提升性能。
中文摘要 AI 辅助
零阶（ZO）优化通过仅从扰动参数的向前评估中估计更新，无需反向传播或激活存储，为大语言模型（LLM）微调提供了一种内存高效的替代方案。然而，在数十亿参数的大语言模型中，各向同性扰动常常浪费大量向前评估在信息量较弱的方向上。为了使这些评估更具信息性，现有的ZO方法将扰动限制在低维子空间中。但这些子空间的质量至关重要：过度压缩或维护不当的空间可能会错过有用的更新方向。为了获得高质量的ZO更新子空间，本文提出了AIM-ZO，一种基于激活信息子空间维护的ZO微调方法。AIM-ZO利用前向激活作为局部方向信息，并在训练过程中持续将其整合到一个不断扩展的、演化的子空间中。为了在保持单个扰动低维的同时访问更广泛的梯度相关结构，AIM-ZO仅激活一组较小的共享和采样方向，将维护宽度与激活宽度解耦。我们在匹配的向前评估预算下，在5个大语言模型和11个下游任务上评估了AIM-ZO；其六任务平均性能在OPT-2.7B上超过最强的完全评估ZO基线1.26个百分点，在OPT-30B上超过MeZO 2.85个百分点。我们的代码可在以下网址获取：https://this-url。
英文摘要
Zeroth-order (ZO) optimization offers a memory-efficient alternative for LLM fine-tuning by estimating updates only from forward evaluations of perturbed parameters, without backpropagation or activation storage. However, in billion-parameter LLMs, isotropic perturbations often waste many forward evaluations on weakly informative directions. To make these evaluations more informative, existing ZO methods restrict perturbations to low-dimensional subspaces. Yet the quality of these subspaces is critical: overly compressed or poorly maintained spaces can miss useful update directions. To obtain a high-quality subspace for ZO updates, this paper proposes AIM-ZO, a ZO fine-tuning method based on Activation-Informed Subspace Maintenance. AIM-ZO uses forward activations as local directional information and continuously integrates them into a broad, evolving subspace over training. To access broader gradient-relevant structure while keeping individual perturbations low-dimensional, AIM-ZO activates only a smaller set of shared and sampled directions, decoupling the maintained width from the active width. We evaluate AIM-ZO across 5 LLMs and 11 downstream tasks under matched forward-evaluation budgets; its six-task average exceeds the strongest fully evaluated ZO baseline by 1.26 percentage points on OPT-2.7B and MeZO by 2.85 percentage points on OPT-30B. Our code is available at https://github.com/EkkoXy/AIM-ZO
