Deep learning for pedestrians: backpropagation in Transformers
Oracle（甲骨文公司）；Microsoft（微软）
本文通过手动推导Transformer中反向传播，展示如何通过无索引方法实现参数高效微调，并提供GPT-like网络的完整实现。
2025-12-29 cs.LG
BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models
Rutgers University（罗格斯大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对LLMs在有限数据微调时过度自信的问题，提出BLoB算法，通过反向传播在整个微调过程中持续联合调整参数的均值和协方差，有效提升了模型的泛化能力和不确定性估计。
2025-01-27 cs.AI cs.CL cs.LG
Predictive Coding-based Deep Neural Network Fine-tuning for Computationally Efficient Domain Adaptation
IDLab, Department of Information and Technology, Ghent University—imec（IDLab，信息与技术系，根特大学—imec）
本文提出结合反向传播与预测编码的混合训练方法，实现高效设备端域适应，在MNIST和CIFAR-10上以较低计算开销恢复模型性能。
2025-09-25 cs.CV cs.LG cs.NE
Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究）
Bonsai通过仅前向传递的扰动剪枝方法，实现了无需反向传播的高效结构化剪枝，显著降低内存和计算成本，同时提升模型压缩效率和性能。
2026-01-22 cs.CL cs.LG
Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM
Eleks Ltd.（Eleks有限公司）；Ukrainian Catholic University（乌克兰天主教大学）
本文研究了基于规则归纳的自动化指令修订（AIR）方法，用于在有限任务特定示例下适应大语言模型。通过比较多种适应策略在不同基准测试中的表现，发现任务依赖性显著，无单一方法在所有情况下占优。
2026-04-10 cs.CL cs.LG
Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Melbourne（墨尔本大学）
该研究提出仅前向传播的MLP训练（FPO）方法，无需跨层反向传播即可适配大语言模型，提升吞吐量、降低内存开销，在保持域外基准性能的同时优化域内困惑度，且耗时低于限定SFT的方案。
2026-08-18 cs.AI cs.LG
Comparative Evaluation of Prompting and Fine-Tuning for Applying Large Language Models to Grid-Structured Geospatial Data
Argonne National Laboratory（阿贡国家实验室）
本文比较了提示与微调两种方法在大型语言模型处理网格地理空间数据上的效果，发现微调更利于结构化时空推理。
2025-05-21 cs.CL cs.ET
Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
University of California, Los Angeles（加州大学洛杉矶分校）
提出局部化LoRA框架，通过结构化块上的低秩组合实现密集局部更新，在相同参数预算下降低近似误差，提升微调性能。
2025-09-23 cs.AI cs.CL cs.LG
TrainDeeploy: Hardware-Accelerated Parameter-Efficient Fine-Tuning of Small Transformer Models at the Extreme Edge
TrainDeeploy是一种在极端边缘端实现小规模Transformer模型参数高效微调的框架，通过硬件加速和多种训练策略提升训练效率。
2026-03-10 cs.AR cs.LG
Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training
University of Stavanger（斯塔万格大学）；NORCE Research（NORCE研究机构）
提出ART方法，通过优化原始视觉输入将信息注入冻结的多模态大语言模型，实现软提示微调，无需修改计算图，在数学和工具使用基准上达到与LoRA相当的精度。
2026-10-30 cs.AI cs.CL cs.LG
SSVD-O: Parameter-Efficient Fine-Tuning with Structured SVD for Speech Recognition
KU Leuven（卢森堡大学）；Carnegie Mellon University（卡内基梅隆大学）
SSVD-O通过结合输入和输出特征空间的结构SVD引导微调，实现高效语音识别模型的参数高效微调，提升泛化能力和减少灾难性遗忘。
2026-01-18 cs.CL cs.LG cs.SD
RoSA: Rotational Sparse Adaptation for Memory-Efficient Fine-Tuning
Saarland University（萨尔兰大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
RoSA通过旋转稀疏适配层子集，减少内存占用，同时保持微调性能，可与PEFT结合。
2026-10-06 cs.LG
Knowledge-tuning Large Language Models with Structured Medical Knowledge Bases for Reliable Response Generation in Chinese
Harbin Institute of Technology（哈尔滨工业大学）
针对大语言模型在医疗场景易生成事实幻觉的问题，提出基于结构化医学知识库的知识调优方法，发布中文医学知识问答数据集cMedKnowQA，实验证明该方法比普通指令调优准确率更高，为大模型领域适配提供新途径。
2023-09-08 cs.AI cs.CL
Doing More by Doing Less: How Structured Partial Backpropagation Improves Deep Learning Clusters
Amazon Alexa AI（亚马逊 Alexa AI）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
许多组织采用配备GPU和TPU等加速器的计算集群，以分布式方式训练深度学习模型。训练是资源密集型的，会消耗大量的计算、内存和网络资源。许多先前的工作探索如何在不影响质量的情况下减少训练资源占用，但是它们对瓶颈的子集（通常仅网络）的关注限制了它们提高整体集群利用率的能力。在这项工作中，我们利用深度学习工作负载的独特特性，提出了结构化部分反向传播（SPB），这是一种系统地控制分布式训练中单个工作者的反向传播量的技术。这同时降低了网络带宽、计算利用率和内存占用，同时保持了模型质量。为了在集群级别有效地利用SPB的优势，我们引入了JigSaw，一种SPB感知调度器，它在迭代级别为深度学习训练（DLT）作业进行调度。结果表明，JigSaw算法可以使大规模集群效率提高28%.
2021-11-20 cs.DC cs.LG
Fine-Tuning Integrity for Modern Neural Networks: Structured Drift Proofs via Norm, Rank, and Sparsity Certificates
The Hong Kong University of Science and Technology（香港科技大学）
本文提出Fine-Tuning Integrity作为控制模型演化的安全目标，通过Succinct Model Difference Proofs验证微调模型与可信基础模型的差异仅在政策定义的漂移类别内，提供零知识证明以确保更新的范数、低秩或稀疏性。
2026-07-08 cs.CR cs.LG
Knowledge Graph-Infused Fine-Tuning for Structured Reasoning in Large Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）；New York University（纽约大学）；Shanghai Jiao Tong University（上海交通大学）
针对大型语言模型处理结构化知识任务时推理链缺失和实体语义理解不足的问题，提出知识图谱注入的微调框架，融合图神经网络编码的结构知识与语言模型上下文表示，通过门控机制平衡语义与知识贡献，提升了结构化推理任务的性能与稳定性。
2025-08-20 cs.CL
RePrompT: Recurrent Prompt Tuning for Integrating Structured EHR Encoders with Large Language Models
University of Kansas（堪萨斯大学）
RePrompT通过循环整合结构化EHR编码器与大语言模型，解决时间序列信息丢失和代码身份模糊问题，提升临床预测性能。
2026-04-20 cs.AI cs.CL
ELMTEX: Fine-Tuning Large Language Models for Structured Clinical Information Extraction. A Case Study on Clinical Reports
Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息科技研究所）
本研究通过微调较小的大语言模型，从非结构化临床报告中提取结构化信息，达到或超越大型模型性能，并构建了含6万英文及2.4万德文注释的数据集，验证了方法的可行性与资源效率。
2025-02-08 cs.AI cs.CL
CARE-LoRA: Compressed Activation REconstruction for Memory-Efficient LoRA
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）
研究在有限内存下微调大型预训练模型的问题，提出CARE-LoRA框架，利用LoRA投影结构，用低秩压缩激活取代完整输入激活，并计算重建矩阵，大幅减少内存占用，性能与标准LoRA及变体相当甚至更优。
2026-07-15 cs.AI cs.LG
DrugImproverGPT: A Large Language Model for Drug Optimization with Fine-Tuning via Structured Policy Optimization
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country
本研究针对药物优化问题，提出DrugImprover框架及SPO算法微调LLM生成模型，在保留药物有益性质的同时提升目标性能，还构建了含100万化合物的数据集，评估证明了方法有效性。
2025-02-11 cs.CL cs.LG q-bio.BM
BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection
Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学学院，瓦拉纳西，印度）
本文提出结合结构化监督微调与 DPO 细调的方法，用于社交媒体文本中的极化检测，通过 LoRA 微调 Qwen 2.5-7B-Instruct 并利用自动偏好对减少误判，最终在英文测试集上达到 0.7664 的 Macro-F1 分数。
2026-05-07 cs.CL
Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。
2026-07-30 cs.AI cs.LG
Keep the General, Inject the Specific: Structured Dialogue Fine-Tuning for Knowledge Injection without Catastrophic Forgetting
Shanghai Jiao Tong University（上海交通大学）；Ant Security Lab, Ant Group（蚂蚁集团安全实验室）
针对大型视觉语言模型注入专业知识时易引发灾难性遗忘的困境，提出结构化对话微调（SDFT）方法，通过基础保持、对比消歧和知识专业化三阶段对话结构，在注入领域知识的同时有效保持通用能力。
2025-04-27 cs.AI cs.CL
From Language to Action in Arabic: Reliable Structured Tool Calling via Data-Centric Fine-Tuning
Tuwaiq Academy（图瓦伊克学院）；Tahakom（塔哈科姆）；Wakeb Company（沃克公司）；Qatmeer Co.（卡提迈尔公司）；NCGR；Vision Bank（视觉银行）
本文提出AISA-AR-FunctionCall框架，通过数据审计、模式修复和提示重构等方法，显著提升阿拉伯语函数调用模型的稳定性与准确性，减少解析失败率并提高功能名称识别精度。
2026-03-04 cs.AI cs.LG
NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating
Independent Researcher（独立研究者）；Department of Computer Science, University of Reading（阅读大学计算机科学系）；School of Computing, Newcastle University（新castle大学计算学院）
本文比较了三种方法：基于嵌入的方法、Transformer微调和大语言模型提示，发现结构化提示优于微调和嵌入方法，提示设计比模型规模更重要。
2026-05-08 cs.CL
Contextual Gradient Flow Modeling for Large Language Model Generalization in Multi-Scale Feature Spaces
本文提出结构化梯度细化框架，通过多尺度上下文调整和动态加权策略优化大型语言模型训练，减少梯度振荡，增强层次化表征学习与跨域泛化能力。
2025-03-25 cs.CL
Structured Hyperedge Adaptation for Parameter-Efficient Fine-Tuning of Vision Transformers
Griffith University（格里菲斯大学）；Data61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
提出HyperAdapter，一种基于超图的适配器架构，通过软超边路由实现结构化、组感知的适应，在参数预算下优于现有PEFT方法。
2026-06-23 cs.AI cs.CV cs.LG
Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning
Google DeepMind（谷歌DeepMind）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）
提出基于结构化无限制秩矩阵（SURM）的通用参数高效微调框架，替代LoRA和Adapters，在图像分类上提升5-7%准确率，并在GLUE上减少12倍参数。
2024-12-17 cs.AI cs.CV cs.LG
BoostLLM: Boosting-inspired LLM Fine-tuning for Few-shot Tabular Classification
SinoPac Holdings（SinoPac控股公司）
本文提出BoostLLM框架，通过多轮残差优化提升LLM微调性能，在少样本表格分类中超越传统方法，匹配甚至超越XGBoost，并在强树模型和延长提升周期下进一步提升。
2026-05-11 cs.LG
MINI-LLM: Memory-Efficient Structured Pruning for Large Language Models
University of Adelaide（阿德莱德大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出MINI-LLM，一种内存高效的结构化剪枝方法，通过仅用前向传播估计梯度并融合幅度、激活和梯度作为剪枝标准，在LLaMA、BLOOM和OPT上超越无梯度方法，且内存占用相当。
2024-07-16 cs.CL
Domain-Adapted Small Language Models with Hybrid Post-Processing: Achieving Cost-Efficient, Low-Latency Multi-Label Structured Prediction via LoRA Fine-Tuning on Scarce Data
提出一种结合LoRA微调的小语言模型（LLaMA 3.1 8B）和确定性规则后处理的混合框架，在仅219个样本上训练，实现多标签合规评估，达到100% JSON结构有效性和83.0%人工验证准确率，成本降低46-76%。
2026-06-06 cs.LG
S$^{2}$FT: Efficient, Scalable and Generalizable LLM Fine-tuning by Structured Sparsity
CMU（卡内基梅隆大学）；Georgia Tech（佐治亚理工学院）；Caltech（加州理工学院）；Rutgers（罗格斯大学）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
提出结构化稀疏微调方法S$^{2}$FT，通过“稀疏选择，密集计算”同时实现高效训练、可扩展推理与SOTA性能，在提升泛化能力的同时显著降低内存和延迟。
2024-12-19 cs.AI cs.LG
Reducing Fine-Tuning Memory Overhead by Approximate and Memory-Sharing Backpropagation
School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Central Research Institute, United Imaging Healthcare, Co., Ltd.（联影医疗股份有限公司中央研究院）
针对大模型微调内存开销大的问题，提出近似反向传播理论与内存共享反向传播策略，在不增加计算、不降低效率的前提下，最多可降低约30%的峰值内存使用量。
2024-06-24 cs.AI cs.LG
Mapping the Course for Prompt-based Structured Prediction
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出结合大语言模型与组合推理，提升结构预测的准确性和一致性，并通过实验验证符号推理在下游任务中的有效性。
2026-03-26 cs.AI cs.CL
Enhancing Large Language Models through Structured Reasoning
本文提出通过显式结构化推理增强大型语言模型的方法，利用监督微调（SFT）和引入MAX-Flow与最长公共子序列（LCS）算法的群体相对策略优化（GRPO）训练模型，实验证明该方法提升了复杂推理能力并降低了计算复杂度。
2025-06-25 cs.AI cs.CL
DPZero: Private Fine-Tuning of Language Models without Backpropagation
ETH Zurich（苏黎世联邦理工学院）；Amazon Search（亚马逊搜索）；University of Washington（华盛顿大学）
针对大语言模型微调中的内存与隐私难题，提出零阶差分隐私算法DPZero，实现几乎与维度无关的收敛速率，并在RoBERTa和OPT上验证了其内存效率。
2024-06-06 cs.CR cs.LG math.OC
HyperFlow: Gradient-Free Emulation of Few-Shot Fine-Tuning
KAIST School of Computing（韩国国立科学技术院计算机科学学院）
HyperFlow提出无需梯度的少样本微调仿真方法，通过将梯度下降视为ODE离散化并训练辅助网络预测漂移，实现高效测试时自适应，显著降低内存与计算成本，提升跨域性能。
2025-04-21 cs.AI cs.CV cs.LG
EMRModel: A Large Language Model for Extracting Medical Consultation Dialogues into Structured Medical Records
Taihe County People’s Hospital（太和县人民医院）；Innovation + Research Institute（创新+研究院）；GuoChuang Cloud Technology Ltd（国创云科技有限公司）；Xunfei Healthcare Technology Ltd（讯飞医疗科技有限公司）；University of Southern California（南加州大学）；The First Affiliated Hospital of Anhui Medical University（安徽医科大学第一附属医院）
提出EMRModel，结合LoRA微调与代码风格提示，将医疗咨询对话转为结构化电子病历，F1达88.1%，较标准模型提升49.5%，并构建数据集与评估基准。
2025-04-23 cs.AI cs.CL
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning
Delft University of Technology（代尔夫特理工大学）；Purdue University（普渡大学）
LANCE通过低秩分解实现激活压缩，减少内存和计算成本，提升设备端持续学习效率，实验表明在多个数据集上效果优于传统方法。
2026-03-17 cs.AI cs.LG cs.NE
Quantum-Inspired Fine-Tuning for Few-Shot AIGC Detection via Phase-Structured Reparameterization
Anhui University, Hefei, China（安徽大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center, Hefei, China（人工智能研究院）；National University of Singapore, Singapore, Singapore（新加坡国立大学）；University of Science and Technology of China, Hefei, China（中国科学技术大学）
本文提出Q-LoRA和H-LoRA，利用量子和经典方法在少样本AIGC检测中提升准确率超过5%。
2026-03-02 cs.AI cs.LG quant-ph
GeoLoRA: Geometric integration for parameter efficient fine-tuning
UT-Battelle, LLC（UT-巴特尔有限责任公司）；Oak Ridge National Laboratory（橡树岭国家实验室）；School of Mathematics（数学学院）
本文提出 GeoLoRA，利用动态低秩近似理论以单次反向传播实现参数预算自适应分配，在更小适配器和更低计算成本下保持理论保证，并在基准上提升准确率与效率。
2024-10-24 cs.AI cs.LG cs.NA
Fine-tuning Diffusion Policies with Backpropagation Through Diffusion Timesteps
Tsinghua University（清华大学）
针对扩散策略RL微调中似然不可处理、样本效率低的问题，本文提出NCDPO，将去噪步骤建模为噪声条件可微变换以实现跨扩散时间步反向传播。
2025-09-28 cs.AI cs.LG
LocalProp: Neuro-Localized Memory-Efficient Backpropagation
LocalProp提出神经局部化权重更新，结合I-JEPA预训练与剪枝微调，在ImageNet等基准上以极低GPU峰值内存达到良好性能，并利用梯度传播跨度控制精度-内存权衡。
2026-09-29 cs.AI cs.CV cs.LG
HLQ: Fast and Efficient Backpropagation via Hadamard Low-rank Quantization
POSTECH（浦项科技大学）
针对反向传播优化易影响收敛的难题，提出HLQ策略，对激活梯度做4位哈达玛量化、权重梯度做哈达玛低秩近似，在训练与微调中实现显著内存节省和加速，且精度损失极小。
2024-06-21 cs.CV cs.LG
ChopGrad: Pixel-Wise Losses for Latent Video Diffusion via Truncated Backpropagation
Torc Robotics；Princeton University（普林斯顿大学）
本文提出ChopGrad，通过截断反向传播减少视频生成的内存消耗，实现高效的像素级损失微调，适用于视频超分辨率、修复和增强等任务。
2026-04-07 cs.AI cs.CV cs.LG
A samplewise backpropagation method for neural networks driven by fractional Brownian motion
提出分数布朗运动驱动的残差随机神经网络，通过离散随机最大值原理构建伴随递归，证明投影样本随机梯度下降的均方收敛性，实验表明分数驱动在长记忆恢复和鲁棒性上优于布朗和确定性基线。
2026-10-09 cs.LG math.OC
Memory-Efficient Backpropagation through Large Linear Layers
Skoltech（斯科尔科沃科技学院）；AIRI（人工智能研究院）
在像Transformers这样的现代神经网络中，线性层需要大量的内存来存储反向传递期间的激活。这项研究提出了一种内存减少的方法来执行反向传播通过线性层。由于线性层的梯度计算矩阵乘法，我们认为随机矩阵乘法的方法，并证明他们需要较少的内存与适度降低的测试精度。此外，我们还研究了随机矩阵乘法引起的梯度估计的方差。我们将此方差与基于该批样本的梯度估计的方差进行比较。我们证明了所提出的方法在GLUE任务上对预训练的RoBERTa模型进行微调的好处。
2022-02-02 cs.AI cs.LG stat.ML
ZORB: A Derivative-Free Backpropagation Algorithm for Neural Networks
University of Alberta（阿尔伯塔大学）
梯度下降和反向传播使神经网络在许多现实世界的应用中取得了显着的成果。尽管不断取得成功，但用梯度下降训练神经网络可能是一件缓慢而费力的事情。我们提出了一种简单但更快的训练算法，称为零阶松弛反向传播（ZORB）。ZORB不计算梯度，而是使用目标的伪逆来反向传播信息。ZORB旨在减少训练深度神经网络所需的时间，而不会影响性能。为了说明速度的提高，我们在MNIST上训练了一个具有11层的前馈神经网络，并观察到ZORB的收敛速度比Adam快300倍，同时实现了相当的出错率，而无需任何超参数调整。我们还将ZORB的范围扩展到卷积神经网络，并将其应用于CIFAR-10数据集的子样本。对标准分类和回归基准的实验证明了ZORB相对于传统的带有梯度下降的反向传播的优势。
2020-11-17 cs.LG cs.NE stat.ML
Structured Tuning for Semantic Role Labeling
University of Utah（犹他大学）；University of Colorado（科罗拉多大学）
最近的神经网络驱动的语义角色标注（SRL）系统在F1分数方面表现出令人印象深刻的改善。这些改进是由于富有表现力的输入表示，至少在表面上，与帮助线性SRL模型的知识丰富的约束解码机制正交。引入结构的好处来为神经模型提供信息是一个方法上的挑战。在本文中，我们提出了一个结构化的调整框架，以改善模型使用软化的约束，只有在训练时。我们的框架利用了神经网络的表达能力，并提供了结构化损失组件的监督。我们从一个强大的基线（RoBERTa）开始验证我们的方法的影响，并表明我们的框架通过学习遵守声明性约束来超越基线。此外，我们对较小训练规模的实验表明，我们可以在低资源场景下实现一致的改进。
2020-05-05 cs.CL cs.LG
RevFFN: Memory-Efficient Full-Parameter Fine-Tuning of Mixture-of-Experts LLMs with Reversible Blocks
Sun Yat-sen University（中山大学）
RevFFN通过可逆Transformer块实现混合专家语言模型的高效全参数微调，减少内存消耗，提升训练效率。
2025-12-24 cs.AI cs.LG
TinyProp -- Adaptive Sparse Backpropagation for Efficient TinyML On-device Learning
Hahn-Schickard（哈恩-席卡德）；Technical University Munich（慕尼黑工业大学）；University of Applied Sciences Offenburg（奥芬堡应用科学大学）
本文提出 TinyProp，通过在每个训练步骤动态调整稀疏反向传播比率，在 MCU 设备端微调中显著降低计算开销并减少精度损失。
2023-08-17 cs.CV cs.LG
Memory Savings at What Cost? A Study of Alternatives to Backpropagation
College of Information and Computer Sciences, University of Massachusetts, Amherst（信息与计算机科学学院，马萨诸塞大学阿默斯特分校）；Adobe, San Jose（Adobe公司，圣乔斯）
研究比较BP、检查点BP、FmAD和ZO在LLM及视觉语言模型训练中的表现，发现FmAD和ZO虽省内存但有计算成本等问题，带检查点的BP在多方面更优，纠正了此前关于LLM优化的片面基准测试观点。
2026-07-14 cs.LG
Zero-Order Optimization for LLM Fine-Tuning via Learnable Direction Sampling
本文提出了一种基于可学习策略的方向采样方法，用于改进零阶优化在LLM微调中的性能，通过减少方差和依赖维度来提升效果。
2026-02-14 cs.LG math.OC
