Quantum mechanical framework for quantization-based optimization: from Gradient flow to Schroedinger equation
ETRI（韩国电子通信研究院）
本文提出基于量子力学框架的优化方法，通过薛定谔方程揭示量子隧穿对优化的影响，统一了组合与连续优化，并在机器学习中取得优越性能。
2026-03-12 cs.NE math.OC quant-ph
Theoretically Better and Numerically Faster Distributed Optimization with Smoothness-Aware Quantization Techniques
Texas A&M University（德州农工大学）；KAUST（阿卜杜拉国王科技大学）
为了解决分布式机器学习的高通信成本，近年来已经投入了大量的工作来设计各种压缩策略，例如稀疏化和量化，以及能够使用它们的优化算法。最近，Safaryan等人（2021）开创了一种截然不同的压缩设计方法：他们首先使用局部训练数据来形成局部平滑度矩阵，然后提出设计一种能够利用其中包含的平滑度信息的压缩器。虽然这种新颖的方法导致通信的大量节省，但它仅限于稀疏化，因为它严重依赖于压缩算子的线性。在这项工作中，我们将他们的平滑感知压缩策略推广到任意无偏压缩算子，其中也包括稀疏化。专门我们的结果随机量化，我们保证显着节省通信复杂性相比，标准量化。特别是，我们证明了块量化与$n$块理论上优于单块量化，导致通信复杂性降低了$\mathcal{O}(n)$因子，其中$n$是分布式系统中的节点数。最后，我们提供了大量的数值证据与凸优化问题，我们的平滑感知量化策略优于现有的量化方案，以及上述平滑感知稀疏化策略的三个评估指标：迭代次数，通信的比特总量，和挂钟时间。
2022-10-12 cs.LG math.OC
Quantization enabled Privacy Protection in Decentralized Stochastic Optimization
Clemson University（克莱姆森大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
分散式随机最优化通过使多个智能体在没有中央协调器的情况下协作解决全局最优化问题，在机器学习、控制和传感器网络等领域获得越来越多的关注。由于相关数据通常包含敏感信息，如用户位置和个人身份，隐私保护已成为分散随机最优化实现的关键需求。在本文中，我们提出了一个分散的随机最优化算法，即使在存在侵略性的量化误差，量化输入的幅度成比例的情况下，能够保证可证明的收敛精度。结果适用于凸和非凸目标函数，并使我们能够利用积极的量化方案来混淆共享信息，从而使隐私保护，而不会失去可证明的优化精度。实际上，通过使用一个{随机}三进制量化方案，将任意值量化到三个数值水平，我们在分散随机最优化中实现了基于量化的严格差分隐私，这在以前还没有报道过。结合所提出的量化方案，所提出的算法确保，第一次，严格的差分隐私分散随机最优化，而不失去可证明的收敛精度。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-08-07 cs.CR cs.LG cs.SY
HERO: Hessian-Enhanced Robust Optimization for Unifying and Improving Generalization and Quantization Performance
Duke University（杜克大学）
随着最近在移动和边缘设备上部署神经网络模型的需求，期望提高模型对看不见的测试数据的泛化能力，以及增强模型在定点量化下的鲁棒性以进行有效部署。然而，最小化训练损失对泛化和量化性能几乎没有保证。在这项工作中，我们满足需要，同时提高泛化和量化性能的理论统一的框架下，提高模型的鲁棒性有界的权重扰动和最小化的Hessian矩阵的特征值相对于模型的权重。因此，我们提出了HERO，一种Hessian增强的鲁棒优化方法，通过基于梯度的训练过程来最小化Hessian特征值，同时提高泛化和量化性能。HERO使测试准确度提高了3.8%，在80%的训练标签扰动下准确度提高了30%，并且在广泛的精度范围内具有最佳的训练后量化准确度，包括在各种数据集上的通用模型架构中，比SGD训练模型的准确度提高了>10%。
2021-11-23 cs.LG math.OC
Distributed Semi-Stochastic Optimization with Quantization Refinement
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出一种分布式优化算法，通过迭代细化量化限制信息量，用于解决通信受限设备的正则化回归问题，并理论分析其线性收敛性。
2016-03-21 cs.SY eess.SY math.OC
Distributed Stochastic Approximation for Solving Network Optimization Problems Under Random Quantization
我们研究网络上的分布式最优化问题，当节点之间的通信受到限制时，节点之间交换的信息必须量化。这种不完美的通信构成了根本性的挑战，而这种不完美的通信如果没有得到适当的考虑，就会阻止这些算法的收敛。我们在本文中的第一个贡献是提出了一个修改的共识为基础的梯度法解决这些问题，使用随机（抖动）量化。该算法可以被解释为一个著名的两个时间尺度的随机算法的分布式变种。然后，我们研究的收敛性，并得出上界的收敛速度的节点和底层网络拓扑结构之间的可用带宽的函数，凸和强凸目标函数的建议的方法。我们的结果补充了现有文献中缺少这种收敛性和收敛速度的显式公式。最后，我们提供了数值模拟的收敛性能进行比较的分布式梯度法和没有量化的解决著名的回归问题的网络，二次和绝对损失函数。
2018-10-27 math.OC
Double Quantization for Communication-Efficient Distributed Optimization
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
机器学习模型的现代分布式训练遭受用于同步随机梯度和模型参数的高通信开销。在本文中，为了减少通信的复杂性，我们提出了\emph{double quantization}，一个通用的计划量化模型参数和梯度。三个通信效率的算法提出了这个一般计划。具体而言，（i）我们提出了一个低精度算法AsyLPG异步并行，（ii）我们探索了结合梯度稀疏化与双量化和开发稀疏AsyLPG，（iii）我们表明，双量化也可以加速动量技术和设计加速AsyLPG。我们建立了严格的性能保证的算法，并进行多服务器测试床上的实验，以证明我们的算法可以有效地节省传输的比特，而不会降低性能。
2019-05-26 cs.LG math.OC stat.ML
Quantization Design for Distributed Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出两种分布式优化算法，基于近似梯度法及其加速变种，通过迭代细化量化设计，在受限通信条件下保证算法收敛性和线性收敛速率。
2015-04-09 cs.SY eess.SY math.OC
Forward-Backward Quantization of Scenario Processes in Multi-Stage Stochastic Optimization
本文针对多阶段随机优化中情景树的维度灾难问题，提出前向-后向最优树量化方法，通过投影梯度下降最小化上界，并在时间相互依赖需求的多阶段库存控制中验证了其有效性。
2025-08-25 math.OC
Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization
UC Berkeley（加州大学伯克利分校）；Microsoft Azure AI（微软Azure人工智能）
针对VQ的码本坍缩、不可微和有损压缩问题，本文提出作为DCO层的软凸量化SCQ及其可扩展松弛，并在多个数据集上证明其显著优于VQ架构。
2023-10-04 cs.AI cs.CV cs.LG
Local Differential Privacy via Dynamic Quantization in Distributed Online Stochastic Optimization
Nanjing University of Science and Technology（南京理工大学）；Huazhong University of Science and Technology（华中科技大学）
提出一种使用动态随机量化器实现本地差分隐私的分布式在线随机优化算法，在几乎必然收敛到最优解的同时为每个智能体提供(0,δ^i)-本地差分隐私，并适用于有向图网络。
2026-05-28 math.OC
Quantization through Piecewise-Affine Regularization: Optimization and Statistical Guarantees
University of Pennsylvania（宾夕法尼亚大学）；Meta FAIR
本文研究分段仿射正则化（PAR）在监督学习中的优化与统计理论基础，证明过参数化下临界点具有量化特性，推导多种PAR的闭式近端映射及求解算法，并给出线性回归的统计保证。
2025-08-14 cs.AI cs.LG math.OC
Distributed Optimization via Gradient Descent with Event-Triggered Zooming over Quantized Communication
针对数字信道容量受限的分布式强凸优化问题，提出一种有限步收敛的量化分布式优化算法，通过动态调整量化级别在通信效率与求解精度间取得平衡。
2023-09-08 cs.SY eess.SY math.OC
Source Coding Optimization for Distributed Average Consensus
共识是一种用于计算分布在网络节点之间的数据的函数的常用方法。特别令人感兴趣的是分布式平均共识，其中节点仅使用近邻通信迭代计算存储在网络所有节点处的数据的样本平均值。在现实世界的场景中，这些通信必须经历量化，这会给节点间消息带来失真。在本文中，我们在高斯数据和加性量化误差的假设下，建立了网络状态统计量在每次迭代中的演化模型。结果表明，在聚合信源编码率方面的通信负载的最小化可以构成为一个广义几何规划，其中一个等价的凸优化可以有效地解决全局最小值。针对率失真最优矢量量化、均匀熵编码纯量量化和固定速率均匀量化开发了优化程序。数值结果证明了这些方法的性能。对于少量的迭代，使用穷举搜索来验证固定速率优化。与现有技术的比较表明在某些情况下具有竞争力的性能，但强烈地促使并入更复杂的编码策略，例如差分、预测或Wyner-Ziv编码。
2021-12-03 cs.IT math.IT math.OC
Alternating Direction Method of Multipliers for Quantization
University of Southern California（南加州大学）；Indian Institute of Technology Kharagpur（印度克勒格布尔理工学院）；Facebook AI（Facebook人工智能实验室）
机器学习模型（例如深度神经网络）的参数的量化需要求解约束最优化问题，其中约束集由许多简单离散集的笛卡儿积形成。对于这样的优化问题，我们研究的性能的交替方向法的乘法器量化（$\texttt{ADMM-Q}$）算法，这是一个变种的广泛使用的ADMM方法适用于我们的离散最优化问题。我们建立了$\texttt{ADMM-Q}$的迭代到某些$\textit{stationary points}$的收敛性。据我们所知，这是第一次分析的ADMM型方法的离散变量/约束的问题。基于我们的理论见解，我们开发了几个变种的$\texttt{ADMM-Q}$，可以处理不精确的更新规则，并通过使用“软投影”和“注入随机性的算法”，提高了性能。我们实证评估我们提出的方法的有效性。
2021-03-01 cs.LG math.OC
Memory-Efficient 4-bit Preconditioned Stochastic Optimization
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
本文针对Shampoo预条件随机优化算法内存开销大的问题，提出对Cholesky因子进行4位量化并结合误差反馈的方法，在保持算法性能的同时显著降低内存占用，并给出了光滑与非光滑设置下的收敛性证明。
2025-03-12 cs.CV cs.LG math.OC
Model compression as constrained optimization, with application to neural nets. Part II: quantization
University of California, Merced（加州大学默塞德分校）
我们考虑通过量化进行深度神经网络压缩的问题：给定一个大的参考网络，我们希望使用具有$K$条目的码本来计算其实值权重，以便量化网络的训练损失最小。对于二值化或三值化方法，码本可以最佳地与网络联合学习，或者固定。以前的工作已经量化了参考网络的权重，或者在反向传播算法中引入了舍入操作，但这并不能保证收敛到损失最优的量化网络。我们描述了一种新的方法的基础上，最近提出的框架模型压缩约束优化\citep{Carreir17a}。这导致了一个简单的迭代“学习-压缩”算法，该算法交替学习连续权重的网络的步骤和量化（或二进制化/三进制化）权重的步骤，并且保证收敛到量化网络的损失的局部最优值。我们开发的自适应码本或（部分）固定码本的算法。后者包括二值化、三值化、二的幂和其他重要的特殊情况。我们的实验表明，我们可以实现更高的压缩率比以前的量化工作（即使只使用1位每重量），可以忽略不计的损失退化。
2017-07-13 cs.LG cs.NE math.OC
Correlated Quantization for Faster Nonconvex Distributed Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文将相关量化器引入MARINA算法，利用加权Hessian方差改进其理论分析并扩展至相关有偏压缩器，在非凸分布式优化中显著降低通信复杂度并优于原始MARINA和分布式SGD。
2024-01-10 cs.AI cs.DC cs.LG
Quantized control via locational optimization
本文研究了有限信息控制系统反馈镇定的状态量化方案。重点是在给定的信息约束下设计最不稳定的量化器。我们探索了几种方法来测量量化器对闭环系统的不稳定影响，包括（但不限于）最坏情况下的量化误差。在每种情况下，我们展示了如何量化器的设计可以自然地减少到所谓的多中心问题的位置优化的版本。解决这些问题的算法进行了讨论。特别是，迭代求解器开发了一种新的加权多中心问题，最准确地表示最不稳定的量化器设计。
2002-12-22 math.OC
Distributed Optimization with Finite Bit Adaptive Quantization for Efficient Communication and Precision Enhancement
本文针对带宽受限下的无约束分布式优化问题，提出一种基于3比特自适应量化的分布式算法，通过动态调整量化器参数实现精确最优解收敛，并证明其具有线性收敛速率。
2024-10-18 cs.SY eess.SY math.OC
Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors Quantization
Uppsala University（乌普萨拉大学）；University of Padova（帕多瓦大学）
本文提出Q-SHED算法，通过增量Hessian特征向量量化实现带宽自适应的比特分配，结合SHED算法减少Hessian计算量，在收敛通信轮数上较竞争方法最多减少60%。
2023-05-18 cs.LG cs.MA cs.SY
Fully Distributed and Quantized Algorithm for MPC-based Autonomous Vehicle Platooning Optimization
本文提出一种基于MPC的全分布式对数量化算法，用于自动驾驶车辆队列的协同优化，仿真表明其收敛性优于均匀量化方法。
2025-01-31 cs.MA cs.SY eess.SP
Quantized Stochastic Primal-Dual Methods for Distributed Optimization under Relaxed Global Geometry
Indian Institute of Technology Bombay（印度理工学院班加罗尔）；Tata Consultancy Services Research（塔塔咨询公司研究）
提出量化随机原始-对偶方法q-PDGD，在松弛全局几何下证明线性收敛到邻域或O(1/k)收敛，匹配最优集中随机复杂度。
2026-06-11 cs.AI cs.LG cs.SY
Quantization for decentralized learning under subspace constraints
CNRS（法国国家科学研究中心）；Imperial College London（帝国理工学院）；University of Salerno（萨勒诺大学）；EPFL（洛桑联邦理工学院）
针对子空间约束下的去中心化优化问题，提出一种基于差分随机量化的自适应策略，在保证均方误差和比特率稳定的同时，仅需少量比特即可实现去中心化学习。
2023-07-28 cs.LG cs.MA eess.SP
