SeqProFT: Sequence-only Protein Property Prediction with LoRA Finetuning
University of Birmingham（伯明翰大学）
SeqProFT通过LoRA微调实现基于序列的蛋白质属性预测，证明小型模型在性能和效率上可媲美大型模型，同时降低计算需求。
2025-12-06 cs.LG q-bio.QM
ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning
Department of Electrical and Computer Engineering, New York University, Brooklyn, NY, USA（电气与计算机工程系，纽约大学，布鲁克林，纽约，美国）
ADF-LoRA通过交替低秩聚合提升去中心化联邦学习的稳定性与收敛速度，实现更高准确率。
2025-11-23 cs.DC cs.LG
LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
University of Science and Technology of China（中国科学技术大学）
提出LoRA-DA，通过渐近分析优化低秩自适应初始化，结合Fisher梯度与Fisher信息最小化参数偏差，提升微调准确率与收敛稳定性。
2026-06-05 cs.AI cs.LG
Domain-Adapted Small Language Models with Hybrid Post-Processing: Achieving Cost-Efficient, Low-Latency Multi-Label Structured Prediction via LoRA Fine-Tuning on Scarce Data
提出一种结合LoRA微调的小语言模型（LLaMA 3.1 8B）和确定性规则后处理的混合框架，在仅219个样本上训练，实现多标签合规评估，达到100% JSON结构有效性和83.0%人工验证准确率，成本降低46-76%。
2026-06-06 cs.LG
LoRA-GA: Low-Rank Adaptation with Gradient Approximation
Tsinghua University（清华大学）
本文提出LoRA-GA初始化方法，通过对齐低秩矩阵与全量微调的梯度，显著加速LoRA收敛并提升性能，在多个基准上超越原始LoRA。
2024-07-16 cs.CL cs.LG
Improving Fisher Information Estimation and Efficiency for LoRA-based LLM Unlearning
Sogang University（ソガン大学）；Korea University（韩国大学）
针对基于 LoRA 的 LLM 遗忘方法 FILA 在 Fisher 信息假设与全模型访问上的不足，本文提出 VILA，提升参数识别准确性，并实现最高 100 倍参数效率和 40 倍训练加速。
2025-08-29 cs.LG
RefLoRA: Refactored Low-Rank Adaptation for Efficient Fine-Tuning of Large Models
Department of ECE University of Minnesota（电子工程系明尼苏达大学）；Department of CS ETH Zürich（计算机科学系苏黎世联邦理工学院）
针对LoRA因非唯一低秩分解导致权重更新不一致和性能下降的问题，提出RefLoRA方法，通过每步优化最小化损失上界的低秩分解，促进更平坦的损失景观和稳定收敛，在自然语言理解和常识推理任务上优于现有LoRA变体且计算开销可忽略。
2026-05-29 cs.LG
ESSA: Evolutionary Strategies for Scalable Alignment
T-Tech
ESSA通过进化策略实现大规模LLM对齐，无需梯度优化，提升模型准确率并减少计算开销。
2026-09-10 cs.LG
HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance
Harvard University（哈佛大学）；University of Chinese Academy of Sciences（中国科学院大学）；Fudan University（复旦大学）；University of Chicago（芝加哥大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；South China Normal University（华南师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai University of Engineering Science（上海工程技术大学）
HyperAdaLoRA通过超网络实现训练过程中LoRA秩分配的加速，提升收敛速度同时保持性能
2025-12-12 cs.CL cs.LG
DyLoRA: Parameter Efficient Tuning of Pre-trained Models using Dynamic Search-Free Low-Rank Adaptation
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出DyLoRA方法，通过在一个秩范围内训练LoRA块，解决固定秩和穷举搜索问题，在GLUE及生成任务上实现比LoRA快4-7倍且性能稳定的参数高效微调。
2023-04-19 cs.CL cs.LG
A Practical Survey on Faster and Lighter Transformers
Polytechnique Montréal（蒙特利尔理工学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
递归神经网络是处理序列的有效模型。然而，由于其固有的顺序性，它们无法学习长期依赖性。作为解决方案，Vaswani等人引入了Transformer，这是一种完全基于注意力机制的模型，能够将输入序列的任何两个位置联系起来，从而对任意长的依赖关系进行建模。Transformer改进了众多序列建模任务的最新技术水平。然而，其有效性是以相对于序列长度的二次计算和存储复杂度为代价的，这阻碍了其采用。幸运的是，深度学习社区一直对提高模型的效率感兴趣，导致了大量的解决方案，如参数共享，修剪，混合精度和知识蒸馏。最近，研究人员通过设计较低复杂度的替代方案，如Longformer、Reformer、Linformer和Performer，直接解决了Transformer的局限性。然而，由于广泛的解决方案，它已成为具有挑战性的研究人员和从业人员，以确定在实践中应用的方法，以满足所需的容量，计算和内存之间的权衡。本调查通过调查使Transformers更快、更轻的流行方法来解决这个问题，并对这些方法的优势、局限性和基本假设进行全面解释。
2023-03-27 cs.LG
Low-Rank Adapting Models for Sparse Autoencoders
本研究提出用低秩适配（LoRA）微调语言模型以适配稀疏自编码器（SAE），显著降低插入SAE时的交叉熵损失差距，并加速训练，同时改善下游指标，实现帕累托改进。
2025-05-27 cs.LG
Text Slider: Efficient and Plug-and-Play Continuous Concept Control for Image/Video Synthesis via LoRA Adapters
Research Center for Information Technology Innovation, Academia Sinica（学术院信息科技创新研究中心）
Text Slider通过LoRA适配器在预训练文本编码器中识别低秩方向，实现图像和视频合成中的连续概念控制，提升效率并减少训练时间和GPU内存消耗。
2026-04-21 cs.AI cs.CV cs.GR
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory
Sony AI（索尼人工智能）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出DualLoRA方法，通过引入正交和残差低秩适配器，结合动态记忆机制，在连续学习中提升稳定性与可塑性，实现更高的准确率、推理速度和计算效率。
2026-03-24 cs.CV cs.LG
Rotated Manifold Optimization for Low-Rank Adaptation
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research Cambridge（微软研究院剑桥分院）
本文提出一种融入规范对称性的LoRA优化器，将全参数矩阵优化器扩展到固定秩流形，通过旋转基归一化实现，收敛更快且下游性能更优。
2026-09-29 cs.LG
SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization
Australian National University（澳大利亚国立大学）；Griffith University（格里菲斯大学）；Curtin University（Curtin大学）；Data61/CSIRO Research Report（Data61/CSIRO研究报告）
针对标准LoRA固定低秩子空间限制表征能力的问题，提出SRLoRA方法，通过基于重要性的LoRA对融合与沿预训练权重SVD未使用主方向的重初始化动态重构子空间，在不增加可训练参数的前提下，于语言和视觉任务上实现了更快收敛与更高准确率。
2025-05-18 cs.AI cs.CV cs.LG
Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Yandex School of Data Analysis（Yandex数据分析学院）；Moscow Center for Advanced Studies（莫斯科高等研究中心）
OPLoRA通过交替最小二乘更新将LoRA优化转化为可解释子问题，以低内存接近SVDLoRA性能，并支持动量，在多个任务上验证了有效性。
2025-09-24 cs.LG
FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks
Beijing Value Simplex Technology Co. Ltd（北京值数科技有限公司）
在自然语言处理（NLP）中，最先进的（SOTA）半监督学习（SSL）框架在深度预训练的语言模型（如BERT）上表现出出色的性能，预计将大大减少对手动标记的需求。然而，我们的实证研究表明，这些框架不适合轻量级模型，如TextCNN，LSTM等。在这项工作中，我们开发了一个新的SSL框架，称为FLiText，它代表更快，更轻的半监督文本分类。FLiText引入了一个鼓舞人心的网络以及一致性正则化框架，该框架利用轻量级模型上的广义正则约束来实现高效的SSL。因此，FLiText在文本分类的多个SSL基准测试中为轻量级模型获得了新的SOTA性能。与TextCNN上现有的SOTA SSL方法相比，FLiText将轻量级模型TextCNN在IMDb上的准确率从51.00%提高到90.49%，在Yelp-5上从39.8%提高到58.06%，在Yahoo上从55.3%提高到65.08%。此外，与全数据集上的全监督方法相比，FLiText仅使用不到1%的标记数据，在IMDb，Yelp-5和Yahoo的数据集上分别提高了6.59%，3.94%和3.22%的准确率。
2021-09-12 cs.CL cs.LG
Sparse High Rank Adapters
Qualcomm AI Research（高通人工智能研究部）；Qualcomm Technologies, Inc.（高通技术公司）
针对LoRA在移动端部署面临的推理延迟、切换慢及多adapter概念丢失问题，提出SHiRA新范式，通过仅微调基础模型1-2%权重实现高稀疏性，在无推理开销下支持快速切换并显著减少概念丢失。
2025-01-27 cs.AI cs.LG
PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）
本文提出 PiSSA 方法，通过用原始权重矩阵的主奇异值和奇异向量初始化 LoRA 适配器并冻结残差部分，在保持相同架构的前提下实现更快收敛和更优性能，且兼容量化。
2025-04-09 cs.AI cs.LG
Faster and Lighter LLMs: A Survey on Current Challenges and Way Forward
Nyun AI；Khalifa University of Science and Technology（哈利法科技大学）
本综述探讨了LLM推理的计算与内存挑战，概述了模型压缩与系统级优化方法，并在LLaMA(/2)-7B上评估了各种压缩技术，为高效部署LLM提供了实用见解和未来方向。
2024-04-24 cs.AI cs.CL cs.LG
GeoLoRA: Geometric integration for parameter efficient fine-tuning
UT-Battelle, LLC（UT-巴特尔有限责任公司）；Oak Ridge National Laboratory（橡树岭国家实验室）；School of Mathematics（数学学院）
本文提出 GeoLoRA，利用动态低秩近似理论以单次反向传播实现参数预算自适应分配，在更小适配器和更低计算成本下保持理论保证，并在基准上提升准确率与效率。
2024-10-24 cs.AI cs.LG cs.NA
FLeX: Fourier-based Low-rank EXpansion for multilingual transfer
Stanford University（斯坦福大学）
本文研究了通过低秩适应和优化器改进提升Python到Java等语言的跨语言迁移效果，发现低秩适应和傅里叶正则化能显著提升迁移性能。
2026-04-06 cs.AI cs.LG cs.PL
Training Efficient CNNS: Tweaking the Nuts and Bolts of Neural Networks for Lighter, Faster and Robust Models
UpGrad Education Pvt Limited（UpGrad教育私人有限公司）；Salesforce（赛富时）
深度学习彻底改变了计算机视觉、自然语言理解、语音识别、信息检索等领域。在过去的十年中，许多技术已经发展，使模型更轻，更快，更强大，更好的泛化。然而，许多深度学习从业者坚持使用预先训练的模型和架构，这些模型和架构主要是在Imagenet、MS-COCO、IMDB-Wiki Dataset和Kinetics-700等标准数据集上训练的，他们要么犹豫不决，要么不知道从头开始重新设计架构，以获得更好的性能。这种情况会导致模型效率低下，不适合移动、边缘和雾等各种设备。此外，这些传统的训练方法是值得关注的，因为它们消耗了大量的计算能力。在本文中，我们重新审视了各种SOTA技术，这些技术处理架构效率（全局平均池化，深度卷积和挤压和激励，Blurpool），学习率（循环学习率），数据增强（Mixup，Cutout），标签操作（标签平滑），权重空间操作（随机权重平均）和优化器（锐度感知最小化）。我们演示了如何通过顺序减少训练参数的数量并使用上述技术以分阶段的方式构建高效的深度卷积网络。我们在MNIST数据上实现了99.2%的SOTA准确率，只有1500个参数，在CIFAR-10数据集上实现了86.01%的准确率，只有140 K多个参数。
2022-05-23 cs.AI cs.CV cs.LG
Less is More: Lighter and Faster Deep Neural Architecture for Tomato Leaf Disease Classification
Islamic University of Technology（伊斯兰技术大学）
为了确保全球粮食安全和利益相关者的整体利益，正确检测和分类植物病害至关重要。在这方面，基于深度学习的图像分类的出现已经引入了大量的解决方案。然而，这些解决方案在低端设备中的适用性需要快速，准确和计算成本低廉的系统。提出了一种基于轻量级迁移学习的番茄叶片病害检测方法。该方法采用了一种有效的预处理方法，通过光照校正增强叶片图像，从而提高分类效果。我们的系统使用由预训练的MobileNetV2架构和分类器网络组成的组合模型提取特征，以进行有效的预测。传统的增强方法被运行时增强所取代，以避免数据泄漏并解决类不平衡问题。对PlantVillage数据集番茄叶片图像的评估表明，该架构在9.60MB的模型大小和4.87M浮点运算的情况下达到了99.30%的准确率，使其成为低端设备中实际应用的合适选择。我们的代码和型号可在https://github.com/redwankarimsony/project-tomato上获得。
2022-07-04 cs.CV cs.LG
Sparser, Faster, Lighter Transformer Language Models
Sakana AI；NVIDIA
本文提出一种基于无结构稀疏性的方法，通过改进的稀疏打包格式和CUDA内核，提升Transformer模型的推理和训练效率，实现更高效的模型压缩与资源利用。
2026-05-08 cs.CL cs.LG
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization
Department of Engineering, King’s College London（伦敦国王学院工程系）；Advanced Technology Group, Ericsson Inc.（爱立信公司先进科技组）；Institute for Digital Communication, Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学数字通信研究所）
针对联邦微调 LLM 的资源、异构性、带宽与聚合难题，提出 HAFLQ，通过自适应量化、参数截断冻结、带宽感知精度调整和秩-1矩阵聚合，显著降本增效并提升准确率。
2025-05-16 cs.AI cs.DC cs.LG
LoSiA: Efficient High-Rank Fine-Tuning via Subnet Localization and Optimization
Tsinghua University Department of Computer Science and Technology（清华大学计算机科学与技术系）
LoSiA通过梯度稀疏性分析定位并优化关键子网络，实现高效高秩微调，减少矩阵乘法，性能接近全量微调且训练时间最短，并减少遗忘。
2025-09-24 cs.AI cs.LG
Sig-DEG for Distillation: Making Diffusion Models Faster and Lighter
University College London（伦敦大学学院）；JPMorganChase（摩根大通）；University of Oxford（牛津大学）；AIML Global Markets, Barclays（巴克莱证券AIML全球市场）
针对扩散模型推理计算量大的问题，提出Sig-DEG（基于签名的微分方程生成器），通过部分签名和循环结构逼近反向扩散过程，在粗时间网格蒸馏模型，推理步骤减一个数量级且生成质量具竞争力。
2026-10-15 cs.LG math.PR stat.ML
Parameter-Efficient and Personalized Federated Training of Generative Models at the Edge
Department of Computer Science, San Francisco State University（计算机科学系，圣弗朗西斯科州立大学）；Department of Communication Systems, University of Lakhimpur（通信系统系，拉贾斯坦邦大学）；Department of Embedded Systems, Manipur University（嵌入式系统系，曼尼普尔大学）；Department of Chemical Engineering, Lakshadweep University（化学工程系，拉克沙德韦普大学）
FedGen-Edge通过解耦预训练骨干和轻量级适配器，在边缘设备上实现参数高效和个性化生成模型的联邦训练，降低通信开销并提升收敛速度。
2025-12-29 cs.DC cs.LG
Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor
Beijing University of Posts and Telecommunications（北京邮电大学）；Agency for Science, Technology and Research（科技研究局）
本文提出SFed-LoRA，通过理论分析适配器秩与联邦聚合的相互作用，设计最优缩放因子以缓解高秩适配器在联邦学习中的梯度崩溃问题，提升稳定性和收敛速度。
2026-03-09 cs.LG
Faster, Lighter, More Accurate: A Deep Learning Ensemble for Content Moderation
Comcast（康卡斯特）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出一种高效轻量的深度分类集成结构，利用缩减颜色特征的轻量级模型组合，在图像和视频内容审核中实现高精度与低误报，推理速度提升7.64倍，并倡导“小而多”的模型集成理念。
2023-09-10 cs.AI cs.CV cs.LG
Scale-QLoRA: Code-Invariant Adapter Merging for Native 4-bit Microscaling LLMs
Scale-QLoRA通过仅训练原生4位微缩放大语言模型的逐块缩放字段并冻结E2M1代码，实现代码不变适配器合并，在四个模型和任务上精度无损失，还提升了训练效率与任务切换速度。
2026-09-07 cs.CL cs.LG
Parameter Efficient Fine-tuning via Explained Variance Adaptation
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz（ELLIS单位、LIT人工智能实验室、机器学习研究所、JKU林茨）；University College London（伦敦大学学院）；EMMI AI, Linz（EMMI AI、林茨）；NXAI GmbH, Linz, Austria（NXAI GmbH、林茨、奥地利）
本文提出 EVA 初始化方法，以激活方差最大方向构造 LoRA 子空间并支持自适应秩，在多类任务上实现更快收敛、更高平均得分及更少可训练参数。
2025-10-20 cs.AI cs.CL cs.LG
Parameter-Efficient Temporal Domain Generalization
The University of Tokyo（东京大学）；LocationMind；Emory University（埃默里大学）；Jilin University（吉林大学）
本文提出MaT-LoRA，通过在低秩适应子空间内约束时间更新到共享低维流形，实现大语言模型的时间域泛化，提升模型的时间建模效率与泛化能力。
2026-10-15 cs.AI cs.LG
Tiny-PULP-Dronets: Squeezing Neural Networks for Faster and Lighter Inference on Multi-Tasking Autonomous Nano-Drones
University of Bologna（博洛尼亚大学）；ETH Zürich（苏黎世联邦理工学院）；Technology Innovation Institute（技术创新研究院）；Dalle Molle Institute for Artificial Intelligence（达勒·莫勒人工智能研究所）
本文提出 Tiny-PULP-Dronet 压缩方法，在保持 PULP-Dronet 飞行性能的同时将参数减少50倍、乘加运算减少27倍，为资源受限纳米无人机实现多任务智能提供轻量推理方案。
2024-07-02 cs.CV cs.LG cs.RO
Fed-DLoRA: Efficient Wireless Federated Learning with Dynamic Low-Rank Adaptation
School of Electronic and Information Engineering, Beijing Jiaotong University（北京交通大学电子与信息工程学院）；School of Communication and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院）
本文提出Fed-DLoRA算法，结合低秩适应技术，有效降低参数和通信成本，提升训练效率，并通过理论分析建立低秩秩、车辆调度策略与模型收敛特性之间的关系，实验表明其在准确率、收敛速度和通信效率上优于传统方法。
2026-04-27 cs.LG cs.SY eess.SY
Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence
King Abdullah University of Science and Technology, Saudi Arabia（卡布尔大学）；University of California, Merced, USA（加州大学梅尔德分校）；University of Oxford, U.K.（牛津大学）
该研究提出面向上下文的分解适配方法CorDA及改进版CorDA++，通过任务感知的上下文奇异值分解初始化适配器，支持两种适配模式，实现更少遗忘与更快收敛，性能优于现有基线并已集成至PEFT库。
2025-06-16 cs.AI cs.CL cs.CV
A multitask deep learning model for real-time deployment in embedded systems
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一种多任务学习（MTL）方法，使深度学习模型更快，更轻，适用于需要同时解决多个任务的应用程序，这在嵌入式实时的【形】系统中特别有用。我们为目标检测和语义分割开发了一个多任务模型，并分析了训练过程中出现的挑战。与并行部署单任务模型相比，我们的多任务网络速度快1.6倍，重量更轻，占用的内存更少。我们的结论是，MTL有潜力提供卓越的性能，以换取更复杂的训练过程，引入了单任务模型中不存在的挑战。
2017-10-31 cs.CV cs.LG
Online Dynamic Batching with Formal Guarantees for LLM Training
Tencent（腾讯）
提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。
2026-06-19 cs.DC cs.LG
AdaGradSelect: An adaptive gradient-guided layer selection method for efficient fine-tuning of SLMs
IIT Bhilai（比哈尔理工学院）
AdaGradSelect通过自适应梯度引导选择Transformer块，实现高效微调SLMs，训练速度快35%且性能接近全微调。
2025-12-12 cs.AI cs.LG cs.PF
FRoD: Full-Rank Efficient Fine-Tuning with Rotational Degrees for Fast Convergence
FRoD通过结合层次联合分解与旋转自由度，实现高效全秩微调，提升收敛速度和鲁棒性，同时在多个基准测试中保持与全模型微调相当的准确性。
2025-12-29 cs.AI cs.LG
Neural Organ Transplantation (NOT): Checkpoint-Based Modular Adaptation for Transformer Models
神经器官移植（NOT）通过模块化检查点适应方法，在变换器模型中实现高效领域适应，显著提升性能并加快训练速度。
2026-01-20 cs.AI cs.LG
Towards Faster and More Compact Foundation Models for Molecular Property Prediction
King Abdullah University of Science and Technology（卡塔尔国王阿卜杜勒阿齐兹大学科学与技术学院）
针对JMP基础模型微调成本高的问题，通过分析层贡献并剪枝交互块进行模型压缩，在仅极小性能下降下减小32%模型规模并提升1.3倍推理吞吐量，为分子与材料发现提供更高效的基础模型。
2025-04-28 cs.LG q-bio.BM
BayesSpeech: A Bayesian Transformer Network for Automatic Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
使用端到端深度学习模型的最新发展已被证明在自动语音识别任务上具有接近或优于最先进的递归神经网络（RNN）的性能。这些模型往往比传统的基于RNN的方法更轻，需要更少的训练时间。然而，这些模型采用频率主义方法进行重量训练。从理论上讲，网络权重是从一个潜在的、难以处理的概率分布中提取的。我们介绍贝叶斯语音的端到端自动语音识别。BayesSpeech是一个贝叶斯Transformer网络，其中这些棘手的后验是通过变分推理和局部重新参数化技巧学习的，而无需递归。我们展示了如何在权重中引入方差，从而在LibriSpeech-960上实现更快的训练时间和接近最先进的性能。
2023-01-16 cs.CL cs.LG cs.SD
KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
EPFL（洛桑联邦理工学院）；Advanced Micro Devices, Inc.（超威半导体公司）
研究针对扩散Transformer训练后量化到W4A4质量严重下降问题，提出KroQuant方法，对激活值3个2元素块应用克罗内克结构可逆变换，存储参数少，运行快，结合离线LoRaQ权重校准，输出更接近FP参考且保持或提高图像质量。
2026-07-24 cs.CV cs.LG
Induced Feature Selection by Structured Pruning
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）；IMT Lille Douai（里尔杜埃国立高等矿业电信学院）
在过去的几年里，神经网络中稀疏性诱导技术的出现有很大的帮助。事实上，这些方法可以找到更轻、更快的网络，能够在移动设备或高请求服务器等资源受限的环境中更有效地执行。这种稀疏性通常施加在神经网络的权重上，从而减少架构的占用空间。在这项工作中，我们更进一步，联合施加稀疏的权重和输入数据。这可以通过以下三步过程来实现：1）对网络的权重施加一定的结构化稀疏性; 2）跟踪对应于零权重块的输入特征; 3）删除无用的权重和输入特征并重新训练网络。在网络和输入数据上执行修剪不仅允许在参数和操作方面的极大减少，而且还可以用作解释过程。事实上，在数据修剪的帮助下，我们现在可以知道哪些输入特征对网络保持其性能有用。在各种架构和数据集上进行的实验：MLP在MNIST，CIFAR 10/100和ConvNets（VGG 16和ResNet 18）上验证，分别在CIFAR 10/100和CALIBU 101上验证，表明通过对输入数据执行修剪，可以在总参数和FLOP方面实现额外的增益，同时还可以提高精度。
2023-03-20 cs.CV cs.LG
