End-to-End Supervised Product Quantization for Image Search and Retrieval
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
乘积量化是一种基于字典的哈希方法，是领先的无监督哈希技术之一。虽然它忽略了标签，但它利用特征来构造可以近似特征空间的查找表。近年来，一些作品通过以监督的方式学习二进制表示，在哈希基准上取得了最先进的结果。这项工作提出了深度产品量化（DPQ），一种技术，导致更准确的检索和分类比最新的最先进的方法，同时具有类似的计算复杂性和产品量化方法的内存占用。据我们所知，这是引入基于字典的表示的第一项工作，该表示受到乘积量化的启发，并且是端到端学习的，因此受益于监督信号。DPQ通过使用直通估计器显式地学习软表示和硬表示，以实现高效和准确的非对称搜索。我们的方法获得了广泛的检索和分类实验的最先进的结果。
2020-01-17 cs.CV cs.LG
Iteratively Training Look-Up Tables for Network Quantization
Sony Europe Ltd（索尼欧洲有限公司）；Sony Corporation（索尼公司）
在资源有限的设备上操作深度神经网络需要减少其内存占用和计算需求。在本文中，我们介绍了一种训练方法，称为查找表量化，LUT-Q，它学习字典，并将每个权重分配给字典的值之一。我们表明，这种方法是非常灵活的，许多其他技术可以被视为特殊情况下的LUT-Q。例如，我们可以约束使用LUT-Q训练的字典，以生成具有修剪权重矩阵的网络，或者将字典限制为2的幂，以避免乘法的需要。为了获得完全无乘数网络，我们还介绍了一个无乘数版本的批量归一化。在图像识别和目标检测任务上的大量实验表明，LUT-Q在相同的量化位宽下始终比其他方法获得更好的性能。
2018-11-13 cs.LG stat.ML
ECG beats classification via online sparse dictionary and time pyramid matching
Zhuhai College of Jilin University（吉林大学珠海学院）；College of Communication Engineering（通信工程学院）；Jilin University（吉林大学）
最近，词袋（BOW）算法提供了有效的功能，并提高了ECG分类系统的准确性。然而，BOW算法有两个缺点：（1）。量化误差大，重构性能差;它丢失了心跳的时间信息，并且可能为不同种类的心跳提供混淆的特征。此外，心电分类系统可用于心血管病人的长时间监测和分析，同时会产生大量的数据，因此迫切需要一种高效的压缩算法。针对上述问题，本文利用小波特征构造稀疏字典，将量化误差降到最小。为了降低算法的复杂度，适应大规模的心跳运算，我们将在线字典学习与符号学习算法相结合，对字典和系数进行更新。采用系数矩阵表示心拍，大大减少了内存消耗，同时解决了量化误差问题。最后，我们构造金字塔来匹配每个ECG搏动的系数。因此，我们通过时间随机池化来获得包含节拍时间信息的特征。有效地解决了时间信息丢失的问题。实验结果表明：一方面，该算法对BOW具有较高的重构性能，存储方式具有高保真度和低内存消耗的优点;另一方面，该算法对心拍分类的准确率最高，更适合于大规模心拍数据的存储和分类。
2020-08-15 cs.CV cs.LG
Regularized Classification-Aware Quantization
University of Toronto（多伦多大学）
传统上，量化被设计为最小化数据源的重构误差。当考虑下游分类任务时，其他失真度量可能是感兴趣的;例如0-1分类损失。此外，理想的是，这些量化器的性能不会恶化，一旦它们被部署到生产中，因为重新学习的方案在线并不总是可能的。在这项工作中，我们提出了一类学习分布式量化方案的二进制分类任务的算法。我们的方法在看不见的数据上表现良好，并且比以前的方法更快，与数据集大小的二次项成比例。它的工作原理是用重建误差正则化0-1损失。我们目前的实验合成混合和双变量高斯数据和比较训练，测试和泛化误差与一个家庭的基准量化方案的文献。我们的方法被称为正则化分类感知量化。
2021-07-12 cs.LG eess.SP
Deep sr-DDL: Deep Structurally Regularized Dynamic Dictionary Learning to Integrate Multimodal and Dynamic Functional Connectomics data for Multidimensional Clinical Characterizations
Johns Hopkins University（约翰斯·霍普金斯大学）；Kennedy Krieger Institute（肯尼迪·克里格研究所）；Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）
本文提出深度 sr-DDL 框架，将结构正则化动态字典学习与 LSTM-ANN 深度网络联合优化，整合 rs-fMRI 和 DTI 多模态数据，用于预测认知及自闭症谱系障碍的多维临床评分，并在多个基准上优于现有方法。
2024-11-22 cs.LG eess.SP stat.ML
PARQ: Piecewise-Affine Regularized Quantization
Meta FAIR；University of Michigan（密歇根大学）；Meta Reality Labs
本研究提出PARQ分段仿射正则化量化方法，用凸分段仿射正则化促使模型参数离散化，通过AProx方法优化并证明收敛性，将STE解释为其渐近形式，在卷积与Transformer视觉任务上取得有竞争力的性能。
2025-03-19 cs.LG math.OC
Spatially Aware Dictionary-Free Koopman Eigenfunction Identification for Modeling and Control
Department of Aviation Technology, University of Defence（航空技术系，国防大学）
本文提出了一种无字典特征函数识别方法，通过空间结构和主本征值提升Koopman预测器的准确性，适用于非线性动力系统建模与控制。
2026-10-27 cs.LG
Simultaneous Codeword Optimization (SimCO) for Dictionary Update and Learning
Imperial College London（帝国理工学院）；University of Surrey（萨里大学）
我们考虑数据驱动的字典学习问题。我们的目标是寻求一个过完备的字典，每个训练信号可以最好地近似只有几个码字的线性组合。这个任务通常通过迭代地执行两个操作来实现：稀疏编码和字典更新。在文献中，有两种基准机制来更新字典。第一种方法，如MOD算法，其特征在于在固定稀疏系数的同时搜索最佳码字。在第二种方法中，由K-SVD方法表示，一个码字和相关的稀疏系数同时更新，而所有其他码字和系数保持不变。我们提出了一个新的框架，概括了上述两种方法。该算法的特点是可以同时更新任意码字集和相应的稀疏系数：当稀疏系数固定时，其优化问题与MOD算法类似，当只选择一个码字进行更新时，可以证明该算法与K-SVD方法等价;更重要的是，我们的方法允许我们同时更新所有码字和所有稀疏系数，因此称为同时码字优化（SimCO）。在该框架下，我们设计了两种算法，即原始SimCO算法和正则化SimCO算法.我们基于一个简单的梯度下降机制来实现这两个算法。仿真结果表明，所提出的算法的性能相比，两个基线算法MOD和K-SVD。结果表明，正则化SimCO在学习性能和运行速度方面都特别吸引人。
2012-04-18 cs.IT cs.LG math.IT
Saliency-Aware Regularized Quantization Calibration for Large Language Models
University of Science and Technology of China（中国科学技术大学）；University College London（伦敦大学学院）；Shanghai University of Finance and Economics（上海财经大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Copenhagen（哥本哈根大学）；Imperial College London（伦敦帝国学院）；Technical University of Denmark（丹麦技术大学）；Peking University（北京大学）
本文提出SARQC，通过引入显著性感知正则化改进量化校准，提升大语言模型的泛化能力，实验表明在密集和专家混合模型中提升了困惑度和零样本准确率。
2026-05-08 cs.AI cs.LG
Variational Inference with Latent Space Quantization for Adversarial Resilience
SigTuple Technologies（SigTuple科技公司）；Indian Institute of Technology Delhi（印度理工学院德里分校）
尽管深度神经网络在对高维数据流形建模方面取得了巨大的成功，但它们仍受到对抗攻击的威胁-通过仔细扰动获得的感知有效的输入类样本的存在，导致底层模型的性能下降。现有防御机制的主要问题包括不同攻击、模型和大量推理时间的不可推广性。在本文中，我们提出了一个广义的防御机制，利用正则化的潜在空间的生成模型的表达能力。我们设计了一个对抗过滤器，没有访问分类器和对手，这使得它可以与任何分类器串联使用。其基本思想是从数据流形学习Lipschitz约束映射，将对抗性扰动引入到量化的潜在空间，并将其重新映射到真实的数据流形。具体来说，我们同时自动编码的数据流形和它的扰动隐式通过扰动的正则化和量化生成的潜在空间，实现变分推理。我们证明了所提出的配方在提供针对多种攻击类型（黑盒和白盒）和方法的弹性方面的有效性，同时几乎是实时的。我们的实验表明，所提出的方法超越了国家的最先进的技术在几种情况下。
2019-09-06 cs.CV cs.LG
A Clustering Approach to Learn Sparsely-Used Overcomplete Dictionaries
Microsoft Research（微软研究院）；University of California, Irvine（加州大学欧文分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑在稀疏编码的背景下学习过完备字典的问题，其中每个样本选择字典元素的稀疏子集。我们的主要结果是一个战略，大约恢复未知的字典使用一个有效的算法。我们的算法是一个聚类式的过程，其中每个集群是用来估计一个字典元素。通常可以进一步清理得到的解决方案，以获得高精度的估计，我们提供了一个简单的情况下，$\ell_1$ -正则化回归可以用于这样的第二阶段。
2014-07-07 cs.LG math.OC stat.ML
Gaussian Process Convolutional Dictionary Learning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
卷积字典学习（CDL），从数据中估计平移不变模板的问题，通常在模板上没有先验/结构的情况下进行。在数据稀缺或低信噪比（SNR）的情况下，学习的模板过拟合数据，缺乏平滑性，这可能会影响下游任务的预测性能。为了解决这个限制，我们提出了GPCDL，这是一个卷积字典学习框架，使用高斯过程（GP）在模板上强制先验。随着对平滑度的关注，我们从理论上证明了施加GP先验相当于维纳滤波学习的模板，从而抑制高频分量并促进平滑度。我们表明，该算法是一个简单的扩展经典的迭代加权最小二乘算法，独立的GP内核的选择。这个属性允许人们灵活地使用不同的平滑假设进行实验。通过模拟，我们表明，GPCDL学习平滑字典更好的准确性比非正规化的替代方案在一系列的SNR。通过对神经尖峰数据的应用，我们证明了GPCDL学习了一个更准确和视觉上可解释的平滑字典，与非正则化CDL以及参数化替代方案相比，具有更好的预测性能。
2021-11-25 cs.LG stat.AP stat.ML
Geometric Sparse Coding in Wasserstein Space
Tufts University（塔夫茨大学）
Wasserstein字典学习是一种无监督的方法，用于学习概率分布的集合，这些概率分布生成观察到的分布作为Wasserstein重心组合。用于Wasserstein字典学习的现有方法优化了一个目标，该目标通过重心插值来寻找具有足够表示能力的字典以近似观察到的训练数据，但不对与字典相关联的系数施加额外的结构属性。这导致字典密集地表示观察到的数据，这使得系数的解释具有挑战性，并且当在下游任务中使用学习的系数时，也可能导致经验性能差。相反，在欧氏空间中的稀疏字典学习的动机，我们提出了一个几何稀疏正则化的Wasserstein空间，促进表示的数据点只使用附近的字典元素。我们表明，这种方法导致稀疏表示在Wasserstein空间和地址的重心表示的非唯一性的问题。此外，当数据被生成为固定分布的Wasserstein重心时，该正则化器有助于在非正则化Wasserstein字典学习不适定的情况下恢复生成分布。通过对合成数据和真实数据的实验，我们证明了我们的几何正则化方法在Wasserstein空间中产生了更稀疏和更可解释的字典，在下游应用中表现更好。
2022-10-21 cs.CV cs.LG eess.SP
Quantization through Piecewise-Affine Regularization: Optimization and Statistical Guarantees
University of Pennsylvania（宾夕法尼亚大学）；Meta FAIR
本文研究分段仿射正则化（PAR）在监督学习中的优化与统计理论基础，证明过参数化下临界点具有量化特性，推导多种PAR的闭式近端映射及求解算法，并给出线性回归的统计保证。
2025-08-14 cs.AI cs.LG math.OC
CNN inference acceleration using dictionary of centroids
Faculty of Mechanics and Mathematics, Moscow State University（莫斯科国立大学力学与数学系）
众所周知，常见CNN的卷积层中的乘法运算在推理阶段消耗大量时间。在这篇文章中，我们提出了一种灵活的方法来降低推理中卷积层的计算复杂性以及存储它们的空间量。该方法是基于质心滤波器量化和优于方法的基础上张量分解的大幅度。我们在ImageNet基准测试中对所提出的方法和CP张量分解系列进行了比较分析，发现我们的方法提供了近2.9倍的计算增益。尽管我们的方法很简单，但它不能直接应用于现代框架中的推理阶段，但对于计算流程可能会改变的情况可能很有用，例如CNN芯片设计师。
2018-10-19 cs.LG stat.ML
Stable safe screening and structured dictionaries for faster L1 regularization
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息系统与随机系统研究所）
在本文中，我们提出了一种方法来结合两个加速技术的$\ell\_{1}$正则化最小二乘问题：安全筛选测试，它允许消除无用的字典原子;和使用快速结构化近似的字典矩阵。为此，我们引入了一个新的家庭的筛选测试，称为稳定的筛选，它可以应付近似错误的字典原子，同时保持测试的安全性（即零风险拒绝属于解决方案支持的原子）。一些主要的现有筛选测试扩展到这个新的框架。所提出的算法包括在初始迭代时使用较粗糙（但更快）的字典近似，然后切换到更好的近似，直到最终采用原始字典。基于对偶间隙饱和度和屏蔽比推导了一种系统的切换准则，仿真结果表明，在大范围的测试场景下，该切换准则在计算复杂性和执行时间上都有显著的降低。
2019-07-05 cs.LG eess.SP stat.ML
Iteratively Training Look-Up Tables for Network Quantization
Sony European Technology Center（索尼欧洲技术中心）；Sony Corporate（索尼公司）
本文提出通用网络压缩框架LUT-Q，通过结合梯度下降与单步k-means的求解器迭代学习值字典与分配矩阵，可灵活适配多种压缩任务及不同硬件需求。
2019-11-12 cs.LG stat.ML
Lexico: Extreme KV Cache Compression via Sparse Coding over Universal Dictionaries
KRAFTON（克拉夫顿（游戏公司））；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
本研究提出基于通用字典稀疏编码的KV缓存压缩方法Lexico，用约4k原子的输入无关字典的稀疏组合近似LLM的KV缓存，通过正交匹配追踪控制压缩比，在低内存场景下性能显著优于现有方法。
2024-12-12 cs.LG
End-to-End Neural Network Compression via $\frac{\ell_1}{\ell_2}$ Regularized Latency Surrogates
Google Research India（谷歌印度研究院）
针对神经网络压缩中超参数设置繁琐或神经架构搜索计算成本高的问题，提出基于$\frac{\ell_1}{\ell_2}$正则化延迟代理的端到端压缩方法，适配多种压缩技术，训练速度快，在多个任务上实现算力与延迟降低且性能损失小。
2023-06-13 cs.LG
Feature Quantization Improves GAN Training
University at Buffalo, SUNY（纽约州立大学布法罗分校）；Microsoft Research（微软研究院）
GAN训练的不稳定性是一个长期存在的问题，尽管有显着的研究努力。我们确定，不稳定的问题源于执行小批量统计特征匹配的困难，由于固定的目标分布和逐步生成的分布之间的脆弱平衡。在这项工作中，我们提出了特征量化（FQ）的的离散，嵌入真实和虚假的数据样本到一个共享的离散空间。FQ的量化值被构造为一个进化字典，这是一致的最近的分布历史的特征统计。因此，FQ隐式地实现了紧凑空间中的鲁棒特征匹配。我们的方法可以很容易地插入到现有的GAN模型，在训练中的计算开销很小。我们将FQ应用于9个基准测试的3个代表性GAN模型：用于图像生成的BigGAN，用于人脸合成的StyleGAN GAN，以及用于无监督图像到图像翻译的U-GAT-IT。大量的实验结果表明，所提出的GAN可以在各种任务上大幅提高基线方法的FID分数，实现新的最先进的性能。
2020-07-15 cs.CV cs.LG stat.ML
Supervised Dictionary Learning with Auxiliary Covariates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Riverside（加州大学河滨分校）
有监督字典学习（SDL）是一种经典的机器学习方法，它同时寻找特征提取和分类任务，这些任务不一定是先验对齐的目标。SDL的目标是学习一个类判别字典，它是一组潜在的特征向量，可以很好地解释观察到的数据的特征和标签。本文对SDL进行了系统的研究，包括SDL的理论、算法和应用。首先，我们提供了一个新的框架，“升降机”SDL作为一个凸问题，在一个组合的因素空间，并提出了一个低秩投影梯度下降算法，指数收敛到全局最小的目标。我们还制定生成模型的SDL和提供全球估计保证的真实参数取决于超参数制度。其次，作为一个非凸约束优化问题，我们提供了一个有效的块坐标下降算法的SDL是保证找到一个$\varepsilon$ -平稳点的目标在$O(\varepsilon^{-1}(\log \varepsilon^{-1})^{2})$迭代。对于相应的生成模型，我们建立了一个新的约束和正则化极大似然估计问题的非渐近局部一致性结果，这可能是独立的利益。第三，我们将SDL应用于通过监督主题建模的不平衡文档分类，以及从胸部X射线图像中检测肺炎。我们还提供了模拟研究表明，SDL变得更有效时，有一个最好的重建和最好的歧视字典之间的差异。
2022-06-14 cs.LG math.ST stat.ML
Complexity of Block Coordinate Descent with Proximal Regularization and Applications to Wasserstein CP-dictionary Learning
University of Seoul（首尔大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文证明带近端正则化的块坐标下降法 BCD-PR 在非凸分块约束问题上具有 O(1/epsilon) 迭代复杂性，并据此提出对偶空间中求解 Wasserstein CP 字典学习的可证明高效算法。
2023-06-04 cs.AI cs.LG cs.NA
Graph-Regularized Sparse Autoencoders for LLM Safety Steering
ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Intesa Sanpaolo（Intesa Sanpaolo公司）；University of Southern California（南加州大学）
本文提出图正则化稀疏自编码器，通过在神经元共激活图上平滑解码器向量并应用方向库，提升安全引导效果，在多个基准测试中显著提高有害请求拒绝率。
2026-05-15 cs.AI cs.LG
Quantization-based Bounds on the Wasserstein Metric
Department of Statistics and Operations Research（统计与运筹学系）
本文提出一种基于量化的方法，通过在粗网格上精确求解Kantorovich问题并进行上采样校正，为规则网格上离散测度的Wasserstein度量构造严格上下界，在DOTmark基准上实现10-100倍加速且误差低于2%。
2025-06-01 cs.LG stat.CO stat.ML
Robust method for finding sparse solutions to linear inverse problems using an L2 regularization
Cold Spring Harbor Laboratory（冷泉港实验室）
本文提出了一种基于生物启发算法的稳健方法，通过L2正则化在过完备字典中寻找稀疏解，具有对噪声的强鲁棒性。
2017-03-22 cs.LG cs.NA math.NA
COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression
Fundamental Research Center MWS AI（MWS AI基础研究中心）
COMPOT是一种无需训练的Transformer压缩框架，通过校准优化矩阵Procrustes正交化实现高质量压缩，优于低秩和稀疏基线。
2026-10-28 cs.LG
LGQ: Learnable Geometric Quantization for Image Tokenization
Luddy School of Informatics, Computing and Engineering, Indiana University Bloomington（印第安纳大学布卢明顿分校信息学、计算与工程学院）；Department of Computer Science, University of Illinois Springfield（伊利诺伊大学斯普林菲尔德分校计算机科学系）；College of Science and Engineering, Hamad Bin Khalifa University, Doha, Qatar（哈马德·本·卡伊夫大学多哈校区科学与工程学院）
研究提出可学习几何量化（LGQ），保留可学习码本，通过温度退火进行软到硬分配，用两个低成本项正则化，无需EMA等防止码本崩溃，在图像任务中表现优。
2026-09-09 cs.CV cs.LG
LSALSA: Accelerated Source Separation via Learned Sparse Coding
New York University Tandon School of Engineering（纽约大学坦登工程学院）
针对广义稀疏编码（SC）推理问题，提出了一种有效的算法.所提出的框架适用于单字典设置，其中每个数据点表示为一个字典矩阵的列的稀疏组合，以及多字典设置中给出的形态成分分析（MCA），其中的目标是将信号分离成添加剂部分，使得每个部分在相应的字典内具有不同的稀疏表示。SC任务及其通过MCA的推广都被转换为$\ell_1$ -正则化最小二乘优化问题。为了加速稀疏码的传统获取，我们提出了一种深度学习架构，该架构构成了分裂增广拉格朗日收缩算法（SALSA）的可训练时间展开版本，SALSA是乘法器交替方向法（ADMM）的一种特殊情况。我们经验验证的算法的两个变种，我们称为LSALSA（学习SALSA），图像视觉任务，并证明在推理我们的网络实现了巨大的改进，在运行时间，估计稀疏代码的质量，和视觉清晰度的经典SC和MCA问题。最后，我们提出了一个分析LSALSA网络的理论框架：我们表明，所提出的方法完全实现了截断ADMM适用于一个新的，学习的成本函数与曲率修改的学习参数化矩阵之一。我们扩展了一个非常新的随机交替优化分析框架，表明沿着这个学习损失景观的梯度下降步骤相当于沿着原始损失景观的修改后的梯度下降步骤。在这个框架中，LSALSA实现的加速可以通过网络学习对陡峭下降的梯度方向的校正的能力来解释。
2019-06-07 cs.LG stat.ML
CoDeQ: End-to-End Joint Model Compression with Dead-Zone Quantizer for High-Sparsity and Low-Precision Networks
Department of Computer Science University of Copenhagen（计算机科学系 拉脱维亚哥本哈根大学）
CoDeQ通过端到端联合剪枝-量化方法，在保持高精度的同时显著降低计算量。
2025-12-15 cs.LG stat.ML
An Ultra-Efficient Memristor-Based DNN Framework with Structured Weight Pruning and Quantization Using ADMM
Northeastern University（东北大学）；Syracuse University（雪城大学）；Shanghai JiaoTong University（上海交通大学）
大型深度神经网络（DNN）模型的高计算和存储器存储对传统的Von-Neumann架构提出了强烈的挑战，导致存储层次结构中的大量数据移动。忆阻器交叉开关阵列已经成为一种有前途的解决方案，可以减轻挑战并实现DNN的低功耗加速。基于忆阻器的权重修剪和权重量化已经分别进行了研究，并证明了与原始DNN模型相比在减少面积和功耗方面的有效性。然而，还没有系统的研究忆阻器为基础的类脑计算（NC）系统，同时考虑权重修剪和权重量化。在本文中，我们提出了一个统一的和系统的忆阻器为基础的框架，同时考虑结构化的权重修剪和权重量化，将交替方向乘法器（ADMM）到DNN的训练。我们考虑硬件约束，如交叉开关块修剪，电导范围，和权重值和实际设备之间的不匹配，以实现高精度，低功耗和小面积的足迹。我们的框架主要由三个步骤组成，即，基于忆阻器的ADMM正则化优化、掩码映射和再训练。实验结果表明，与原始DNN模型相比，我们提出的框架实现了29.81 X（20.88 X）的权重压缩比，在VGG-16（ResNet-18）网络上的功耗和面积分别减少了98.38%（96.96%）和98.29%（97.47%），准确率仅损失了0.5%（0.76%）。我们在链接http://bit.ly/2Jp5LHJ上分享我们的模型。
2019-08-29 cs.AR cs.ET cs.LG
Sherry: Hardware-Efficient 1.25-Bit Ternary Quantization via Fine-grained Sparsification
City University of Hong Kong（香港城市大学）；Tencent（腾讯）；McGill University（麦吉尔大学）
Sherry通过细粒度稀疏化实现高效的1.25位三元量化，显著减少模型大小并提升推理速度。
2026-01-12 cs.AI cs.LG
OSC: Hardware Efficient W4A4 Quantization via Outlier Separation in Channel Dimension
Huawei Technology（华为技术）
本文提出OSC框架，通过分析异常值的空间分布，利用低精度4位GEMM和高精度16位GEMM双路径计算，有效抑制异常值，提升模型精度并实现硬件高效计算。
2026-04-14 cs.AI cs.LG
Homotopy based algorithms for $\ell_0$-regularized least-squares
CNRS（法国国家科学研究中心）；Centre de Recherche en Automatique de Nancy（南锡自动化研究中心）；Ecole Centrale Nantes（南特中央理工学院）；Xi’an Jiaotong University（西安交通大学）
本文提出两种启发式搜索算法用于 $\ell_0$-同伦问题，通过改进的同伦路径方法解决稀疏信号恢复中的正则化问题，并展示了其在逆问题中的应用。
2015-03-18 cs.LG cs.NA math.NA
