Sample Compression Scheme Reductions
Institute for Data, Econometrics, Algorithms, and Learning (IDEAL), hosted by UIC and TTIC（数据、计量经济学、算法与学习研究所（IDEAL））；UIC（伊利诺伊大学芝加哥分校）；TTIC（丰田技术学院）；Purdue University（普渡大学）
本文将多类分类、回归和对抗鲁棒学习中的样本压缩方案归约到二分类压缩方案，并证明在多数投票或稳定压缩条件下可获得与图维数、伪维数相关的压缩规模上界，同时指出鲁棒可学习性不蕴含独立于样本规模的有界压缩方案。
2025-04-07 cs.LG stat.ML
Unlabeled sample compression schemes and corner peelings for ample and maximum classes
CNRS（法国国家科学研究中心）；LIS（信息科学实验室）；Technion（以色列理工学院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
我们研究了在机器学习中出现的组合概念和立体/单纯几何中的拓扑概念之间的联系。通过这些连接，可以将几何结果导出到机器学习。我们的第一个主要结果是基于Tracy Hall（2004）的一个几何构造，它是对不能扩展的交叉多面体的部分去壳。我们用它来获得VC维3的最大类，没有角。这驳斥了过去11年来机器学习的几项研究成果。特别是，它意味着所有以前的最大类的最佳无标记样本压缩方案的构造是错误的。在积极的一面，我们提出了一个新的建设的无标记的样本压缩计划的最大类。我们的未标记样本压缩方案是否扩展到充足（也称为不平衡或极值）类，其表示最大类的自然和深远的推广。为了解决这个问题，我们提供了一个几何特征的独特的水槽方向的1-骨架相关的立方复合物。
2022-01-05 cs.CG cs.DM cs.LG
Unlabeled Compression Schemes Exceeding the VC-dimension
Eötvös Loránd University (ELTE)（厄特沃什·罗兰大学）；Hungarian Academy of Sciences (MTA)（匈牙利科学院）
本文证明了Kuzmin和Warranty的一个猜想，即VC维数至多为d的每个族都允许一个大小至多为d的样本的无标号压缩方案。我们还研究了一些家庭和猜想，这些连接的未标记的压缩方案之间的VC维和最小的未标记的压缩方案的大小提供了一个更大的差距。
2021-10-14 cs.DM cs.LG math.CO
A New Lower Bound for Agnostic Learning with Sample Compression Schemes
Ben-Gurion University（本古里安大学）
我们建立了一个严格的表征的最坏情况下的利率不可知的学习与样本压缩计划的过度风险和一致收敛不可知的样本压缩计划。特别是，我们发现，大小$k$不可知样本压缩方案的最佳收敛率的形式是$\sqrt{\frac{k \log(n/k)}{n}}$，这与VC维$k$类的不可知学习形成对比，其中最佳速率的形式是$\sqrt{\frac{k}{n}}$。
2018-05-21 cs.LG math.ST stat.ML
Stable Sample Compression Schemes: New Applications and an Optimal SVM Margin Bound
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Ben-Gurion University（本-古里安大学）
我们分析了一个家庭的监督学习算法的基础上，样本压缩方案是稳定的，在这个意义上，从训练集没有选择的压缩集删除点不会改变所得的分类。我们使用这种技术来获得各种新的或改进的数据依赖的泛化界的几个学习算法。特别是，我们证明了一个新的利润率范围的SVM，删除一个对数因子。新的界限是可证明的最优的。这解决了一个长期悬而未决的问题，PAC利润率界限可实现SVM。
2020-11-09 cs.LG stat.ML
Universal Compression of Envelope Classes: Tight Characterization via Poisson Sampling
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加州大学圣地亚哥分校）
泊松采样技术消除了随机序列中符号外观之间的依赖性。它已被用来简化分析和加强随机算法的性能保证。将这种方法应用于通用压缩，我们将固定长度和泊松采样序列的冗余度联系起来，利用这种关系推导出一个简单的单字母公式，该公式将任何包络类的冗余度近似到一个加性对数项内。作为第一个应用，我们考虑i.i.d.分布在一个小的字母作为一个步骤包络类，并提供了一个简短的证明，确定冗余的离散分布在一个小的字母表的一阶项。然后，我们展示了我们的方法的力量，通过应用该公式来收紧现有的指数和幂律类的冗余界限，特别是回答Boucheron，Garivier和Gassiat提出的问题。
2014-05-29 cs.IT cs.LG math.IT
Dual VC Dimension Obstructs Sample Compression by Embeddings
Technion（以色列理工学院）；Purdue University（普渡大学）；Google Research（谷歌研究院）；Copenhagen University（哥本哈根大学）
本文证明任意VC类嵌入极值类必然导致维数指数增长，并揭示其对样本压缩猜想方法的根本限制，核心贡献是证明极值类对偶VC维至多2d+1。
2024-05-27 cs.DM cs.LG
Applications of Littlestone dimension to query learning and to compression
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
该研究围绕Littlestone维度展开，拓展了带随机反例的等价查询学习模型结果，将其推广至带额外随机源的无限概念类，还证明了相关压缩方案猜想的强版本，推进了查询学习与压缩领域的研究。
2023-10-07 cs.LG math.LO
Compression with Exact Error Distribution for Federated Learning
École Polytechnique IPParis（巴黎综合理工学院）；Chinese University of Hong Kong（香港中文大学）
本文提出在联邦学习中通过分层量化聚合实现精确高斯或拉普拉斯误差分布的压缩方法，并证明其可在差分隐私应用中免压缩代价地恢复和改进朗之万动力学及随机平滑等标准方案。
2023-10-31 cs.IT cs.LG math.IT
Multiclass Learnability Does Not Imply Sample Compression
Stanford University（斯坦福大学）
本文证明多分类假设类中，可学习性（有限 DS 维）并不蕴含存在规模仅依赖于 DS 维的样本压缩方案，与二分类情形形成对比。
2023-09-20 cs.LG stat.ML
Sample compression schemes for balls in graphs
CNRS（法国国家科学研究中心）；LIS（信息科学与系统实验室）
针对VC维集合族的样本压缩方案开放问题，研究图中球的样本压缩，为多类图的不同半径球设计了相应规模的真标记或近似样本压缩方案。
2024-03-25 cs.DM cs.LG
An image compression and encryption scheme based on deep learning
Southwest University（西南大学）；Chongqing University of Education（重庆第二师范学院）；The Webb Schools（韦伯学校）
Stacked Auto-Encoder（SAE）是一种用于无监督学习的深度学习算法。其具有将输入数据的矢量表示投影到较低矢量空间中的多层。这些投影向量是输入数据的密集表示。因此，SAE可用于图像压缩。利用混沌逻辑斯蒂映射对压缩后的数据进行加密。在本研究中，我们提出一个应用于影像压缩与加密的方法，利用混沌逻辑斯谛映射。实验表明，该方法是可行和有效的。它可以同时用于网络上的图像传输和图像保护。
2016-10-09 cs.CV cs.LG cs.MM
AutoMC: Automated Model Compression based on Domain Knowledge and Progressive search strategy
Harbin Institute of Technology（哈尔滨工业大学）
本文提出自动化模型压缩工具AutoMC，通过构建领域知识理解各压缩方法特点，并结合先验知识与历史评估信息采用渐进式搜索策略高效探索帕累托最优压缩方案，使非专家用户能在短时间内获得满意方案。
2022-01-24 cs.AI cs.CV cs.LG
A Geometric Approach to Sample Compression
University of California（加利福尼亚大学）；University of Melbourne（墨尔本大学）
Littlestone和Warranty的样本压缩猜想在过去的二十年里一直没有得到解决。本文提出了一个系统的几何调查的有限最大概念类的压缩。双曲空间中超平面的简单排列和分段线性超平面排列都表示极大类，推广了相应的欧几里德结果。一个主要的结果是，PL安排可以扫过一个移动的超平面，以未标记的d-压缩任何有限的最大类，形成一个剥离计划，由Kuzmin和Warfarin的。一个推论是，对于任何常数k，某些d-极大类不能嵌入到任何VC维d+k的最大类中。PL扫描的构造涉及Pachner在一包含图上的移动，对应于超平面穿过d个其他超平面的交叉的移动。这扩展了著名的Pachner移动三角形的三次复形。
2009-11-18 cs.LG math.CO math.GT
Error Feedback Fixes SignSGD and other Gradient Compression Schemes
EPFL（洛桑联邦理工学院）
基于符号的算法（例如signSGD）已经被提出作为一种有偏梯度压缩技术，以缓解在多个工作者之间训练大型神经网络时的通信瓶颈。我们展示了简单的凸反例，其中signSGD不收敛到最优。此外，即使它确实收敛，与SGD相比，signSGD也可能泛化较差。这些问题的出现是因为符号压缩算子的有偏性质。然后，我们表明，使用错误反馈，即将压缩算子的错误纳入下一步，克服了这些问题。我们证明了我们的算法EF-SGD与任意压缩算子达到相同的收敛速度SGD没有任何额外的假设。因此EF-SGD免费实现了梯度压缩。我们的实验彻底证实了理论，并表明错误反馈提高了收敛性和推广。代码可在\url{https://github.com/epfml/error-feedback-SGD}上找到。
2019-05-29 cs.LG math.OC stat.ML
DRCAS: Deep Restoration Network for Hardware Based Compressive Acquisition Scheme
Texas A&M University（德州农工大学）；Nokia-Bell Labs（诺基亚贝尔实验室）
我们通过使用CAS（压缩采集方案）和DNN（深度神经网络）来研究图像采集设备的功率和性能改进。为此，我们提出了一种新的图像采集方案HCAS（基于硬件的压缩采集方案），使用基于硬件的分箱（下采样），位截断和JPEG压缩，并开发了一个基于深度学习的重建网络，用于使用相同的图像采集。HCAS的动机是这样的事实，即使用装仓和位截断的原始数据的原位压缩导致整个下游图像处理流水线中的数据流量和功率的减少，并且使用JPEG的处理数据的附加压缩将有助于图像的存储/传输。原位压缩与JPEG的组合导致高压缩比、显著的功率节省以及图像采集简化的进一步优点。考虑到这些问题，我们提出了DRCAS（基于硬件的压缩采集方案的深度恢复网络），据我们所知，这是文献中提出的第一项工作，用于恢复使用HCAS等采集方案采集的图像。与文献中用于超分辨率任务的CAS方法（双三次下采样）相比，本文提出的HCAS在压缩比和硬件友好性方面都具有优势。恢复网络DRCAS的性能也优于最先进的超分辨率网络，同时要小得多。因此，HCAS和DRCAS技术将使我们能够设计更简单，更节能的图像采集管道。
2019-11-15 cs.LG eess.IV
Bounding Embeddings of VC Classes into Maximum Classes
The University of Melbourne（墨尔本大学）；UC Berkeley（加州大学伯克利分校）；Queensland University of Technology（昆士兰科技大学）
计算学习理论中最早的理论之一--样本压缩理论--断言概念类（等价集合系统）在其VC维度上允许大小线性的压缩方案。到目前为止，这一说法是正确的最大类--那些拥有最大的基数为他们的VC维。最有前途的方法，积极解决的猜想是通过嵌入一般的VC类到最大类没有超线性增加的VC维度，因为这样的嵌入将扩展到所有的VC类的压缩方案。我们表明，最大类的特点是通过查看类作为一个立方复杂的图的局部连通性。最大VC类的这种几何特征被应用于证明一个否定的嵌入结果，该结果表明VC-d类不能嵌入到VC维低于2d的任何最大类中。另一方面，我们证明了每个VC-d类C嵌入到VC-（d+D）最大类中，其中D是C的亏数，即，最大VC-d类的基数与C的基数之间的差。对于VC-2类的二元n-立方体4 <= n <= 6，我们给出了最好的结果嵌入到最大类。对于一些特殊的布尔函数类，研究了它们与最大类的关系。最后给出了一个将VC-d类嵌入到VC-（d+k）极大类中的一般递归过程。
2014-01-29 cs.LG math.CO stat.ML
Lossless Image Compression Using Multi-level Dictionaries: Binary Images
该研究提出一种基于多级字典的二值图像无损压缩方案，通过学习多尺寸像素模式字典实现编码，在压缩性能上显著优于WebP、现有学习类方案及JBIG2，为低复杂度且有性能保障的无损压缩提供了新思路。
2024-09-11 cs.CV cs.IT cs.LG
Near-optimal Sample Complexity Bounds for Robust Learning of Gaussians Mixtures via Compression Schemes
McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；University of British Columbia（不列颠哥伦比亚大学）；McGill University（麦吉尔大学）
我们证明，$\tildeΘ(k d^2 / \varepsilon^2)$样本是必要的和充分的学习混合物的$k$高斯在$\mathbb{R}^d$，错误$\varepsilon$的总变化距离。这改进了该问题的已知上界和下界。对于轴对齐高斯的混合物，我们表明，$\tilde{O}(k d / \varepsilon^2)$样本就足够了，匹配一个已知的下限。此外，这些结果也适用于不可知学习/鲁棒估计设置，其中目标分布仅近似为高斯混合。上界显示使用一种新的技术，分布学习的基础上的概念“压缩。任何允许这种压缩方案的分布类别也可以用很少的样本来学习。此外，如果一类分布具有这样的压缩方案，那么这些分布的乘积和混合类也具有这样的压缩方案。我们主要结果的核心是证明了$\mathbb{R}^d$中的高斯类允许一个小尺寸的压缩方案。
2020-07-21 cs.LG math.ST stat.TH
Feature Expansion and enhanced Compression for Class Incremental Learning
Naval Group（海军集团）；ENSTA Bretagne（布列塔尼国立高等先进技术学院）；CROSSING IRL 2010（CROSSING国际研究实验室（IRL 2010））；IMT Atlantique（大西洋电信学院）
针对类别增量学习中的灾难性遗忘问题，提出结合Rehearsal-CutMix数据增强的特征扩展与增强压缩算法，在多个数据集和评估协议下性能优于现有最优方法。
2024-05-13 cs.AI cs.CV cs.LG
List Sample Compression and Uniform Convergence
Department of Computer Science, Purdue University（普渡大学计算机科学系）；Departments of Mathematics, Computer Science, Data and Decision Sciences, Technion（技术学院数学、计算机科学、数据与决策科学系）；Google Research（谷歌研究）
研究列表学习中统一收敛和样本压缩原则的适用性，发现统一收敛仍等价于可学性，但样本压缩在特定标签空间下不成立。
2026-03-21 cs.LG stat.ML
Practical Lossless Compression with Latent Variables using Bits Back Coding
University College London（伦敦大学学院）
深度潜变量模型最近在许多数据领域取得了成功。无损压缩是这些模型的一种应用，尽管其具有非常有用的潜力，但还没有以实际的方式实现。我们提出了"位回ANS"（BB-ANS），一个计划，以执行无损压缩与潜变量模型在一个接近最佳的速率。我们证明了这个方案，使用它来压缩MNIST数据集与变分自动编码器模型（VAE），实现压缩率优于标准方法，只有一个简单的VAE。鉴于该计划是非常适合并行化，我们的结论是，有一个足够高的质量生成模型，该计划可以用来实现可接受的运行时间在压缩率的大幅改善。我们在www.example.com上提供了我们的实现。
2019-01-15 cs.AI cs.IT cs.LG
Agnostic Sample Compression Schemes for Regression
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文首次为不可知回归问题构造了有界样本压缩方案，针对不同 $\ell_p$ 损失给出了近似或精确压缩，并推广了相关负面结果，提出了开放性问题。
2024-02-03 cs.IT cs.LG math.IT
Parallel Neural Local Lossless Compression
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
最近提出的神经局部无损压缩（NeLLoC），这是基于局部自回归模型，已达到国家的最先进的（SOTA）的分布外（OOD）的泛化性能在图像压缩任务。除了鼓励面向对象的推广，本地模型还允许在解码阶段进行并行推理。在本文中，我们提出了两个局部自回归模型的并行化方案。我们讨论了实施方案的实用性，并提供实验证据的压缩运行时的显着收益相比，以前的，非并行实现。
2022-06-26 cs.LG eess.IV stat.ML
Barwise Compression Schemes for Audio-Based Music Structure Analysis
Univ Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（信息与随机系统研究所）；UJM-Saint Etienne（圣艾蒂安大学）；Inserm（法国国家健康与医学研究院）；CREATIS（CREATIS研究中心）
音乐结构分析（MSA）是将一首音乐作品分割成几个不同的部分。我们在压缩框架内处理MSA，假设结构更容易由歌曲原始内容的简化表示来揭示。更具体地说，假设MSA与发生在酒吧尺度的相似性相关，本文介绍了使用线性和非线性压缩方案的barwise音频信号。压缩表示捕捉歌曲中不同小节的最显著的成分，然后使用动态规划算法来推断歌曲结构。这项工作探讨了两个低秩近似模型，如主成分分析或非负矩阵分解和“piece-specific”自动编码神经网络，其目标是学习特定于给定歌曲的潜在表示。这种方法不依赖于监督，也不依赖于注释，这是众所周知的，是乏味的收集和可能在MSA描述模糊。在我们的实验中，几种无监督压缩方案在RWC-Pop数据集上实现了与最先进的监督方法（3s公差）相当的性能水平，展示了MSA的条形压缩处理的重要性。
2022-04-15 cs.LG cs.SD eess.AS
Labeled sample compression schemes for complexes of oriented matroids
Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Université de Toulon（土伦大学）；Universitat de Barcelona（巴塞罗那大学）
本文证明 VC 维为 d 的定向拟阵复形的 tope 集合存在大小为 d 的恰当有标号样本压缩方案，推广了多类已有结果，并借助组合结构与偏立方体理论推进样本压缩猜想。
2023-04-19 cs.DM cs.LG math.CO
Temporal Context Mining for Learned Video Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们解决了端到端的学习视频压缩，特别关注更好的学习和利用时间上下文。对于时间上下文挖掘，我们建议不仅存储先前重建的帧，而且将传播的特征存储到广义解码图片缓冲区中。从存储的传播功能，我们建议学习多尺度的时间上下文，并重新填充学习到我们的压缩方案的模块，包括上下文编码器-解码器，帧生成器，和时间上下文编码器的时间上下文。我们的方案放弃了并行化不友好的自回归熵模型，以追求更实际的解码时间。我们将我们的方案与x264和x265（分别代表H.264和H.265的工业软件）以及H.264，H.265和H.266的官方参考软件（分别为JM，HM和VTM）进行了比较。当帧内周期为32时，面向PSNR，我们的方案比H. 265-HM节省了14. 4%的比特率;当面向MS-SSIM时，我们的方案比H. 266-VTM节省了21. 1%的比特率。
2023-01-30 cs.CV cs.LG eess.IV
LLMZip: Lossless Text Compression using Large Language Models
Texas A&M University（得克萨斯农工大学）
本文利用大型语言模型LLaMA-7B预测下一token，提出了英语熵渐近上界的新估计，并据此设计了一种优于BSC、ZPAQ和paq8h的无损文本压缩算法。
2023-06-26 cs.CL cs.IT cs.LG
Lossless (and Lossy) Compression of Random Forests
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
包围方法是最先进的预测建模方法之一。应用于现代大数据，这些方法通常需要大量的子学习器，其中每个学习器的复杂性通常随着数据集的大小而增长。这种现象导致对存储空间的需求增加，这可能非常昂贵。这个问题主要表现在基于订户的环境中，其中用户特定的系综需要存储在具有严格存储限制的个人设备（诸如蜂窝设备）上。在这项工作中，我们介绍了一种新的无损压缩基于树的集成方法，专注于随机森林。我们建议的方法是基于概率建模的合奏的树木，然后通过Bregman分歧模型聚类。这使我们能够找到一个最小的模型集，它提供了对树的准确描述，同时又足够小，可以存储和维护。我们的压缩方案在各种现代数据集上展示了高压缩率。重要的是，我们的方案可以从压缩格式进行预测，并完美地重建原始系综。此外，我们引入了一个理论上健全的有损压缩计划，这使得我们能够控制失真和编码率之间的权衡。
2018-10-26 cs.LG stat.ML
Lossless Compression with Probabilistic Circuits
UCLA（加州大学洛杉矶分校）；University of California, Irvine（加州大学欧文分校）
尽管在图像生成方面取得了广泛的进展，但常见的深度生成模型架构并不容易应用于无损压缩。例如，VAE由于其潜在变量而遭受压缩成本开销。这种开销只能部分消除精心设计的方案，如比特回编码，往往导致单样本压缩率差。为了克服这些问题，我们建立了一类新的易处理的无损压缩模型，允许有效的编码和解码：概率电路（PC）。这些是涉及$|p|$计算单元的一类神经网络，其支持对$D$特征维度的任意子集的有效边缘化，从而实现有效的算术编码。我们得到有效的编码和解码方案，都具有时间复杂度$\mathcal{O} (\log(D) \cdot |p|)$，其中一个天真的计划将在$D$和$|p|$的线性成本，使该方法高度可扩展。根据经验，我们基于PC的（解）压缩算法比实现类似比特率的神经压缩算法快5-40倍。通过扩展传统的PC结构学习管道，我们在MNIST等图像数据集上获得了最先进的结果。此外，PC可以自然地与现有的神经压缩算法集成，以提高这些基础模型在自然图像数据集上的性能。我们的研究结果突出了非标准学习架构可能对神经数据压缩产生的潜在影响。
2022-03-16 cs.IT cs.LG math.IT
Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables
University of California, Berkeley（加州大学伯克利分校）
比特回退的论点表明，潜在变量模型可以变成无损压缩方案。然而，对于一般的潜变量模型，将比特回退参数转换成有效和实用的无损压缩方案仍然是一个悬而未决的问题。Townsend等人（2019）最近提出的非对称数字系统位回编码（BB-ANS）使得位回编码对于具有一个潜在层的潜在变量模型实际上是可行的，但对于分层潜在变量模型来说效率低下。在本文中，我们提出了比特交换，一个新的压缩方案，推广BB-ANS，并实现严格更好的压缩率与马尔可夫链结构的层次潜变量模型。通过实验，我们验证了比特交换的结果在无损压缩率是经验优于现有的技术。我们的实现可以在https://github.com/fhkingma/bitswap上获得。
2019-10-02 cs.AI cs.IT cs.LG
Boosting, Voting Classifiers and Randomized Sample Compression Schemes
Aarhus University（奥胡斯大学）；Georg-August Universität Göttingen（哥廷根大学）
针对投票分类器理论性能次优问题，提出一种随机化boosting算法，通过扩展样本压缩方法构建通用框架，使泛化误差仅含单一对数依赖，打破已有下界障碍。
2024-12-20 cs.LG stat.ML
Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications
Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
尽管最新的高端智能手机拥有强大的CPU和GPU，但在移动设备上运行更深层次的卷积神经网络（CNN）来完成ImageNet分类等复杂任务是一项挑战。为了在移动设备上部署深度CNN，我们提出了一种简单有效的方案来压缩整个CNN，我们称之为一次性全网络压缩。该方案包括三个步骤：（1）变分贝叶斯矩阵分解的秩选择，（2）核张量的Tucker分解，（3）微调以恢复累积的精度损失，每个步骤都可以使用公开可用的工具轻松实现。我们通过在智能手机上测试各种压缩CNN（AlexNet，VGGS，GoogLeNet和VGG-16）的性能来证明所提出方案的有效性。模型的大小，运行时间和能源消耗的显着减少，在精度损失小的成本。此外，我们解决的重要实施层面的问题1？1卷积，这是GoogLeNet的inception模块以及我们提出的方案压缩的CNN的关键操作。
2016-02-24 cs.CV cs.LG
Tuple-oriented Compression for Large-scale Mini-batch Stochastic Gradient Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google（谷歌）
数据压缩是一种流行的技术，用于提高数据处理工作负载的效率，例如SQL查询和最近的机器学习（ML）与经典的批量梯度方法。但是这些想法对于小批量随机梯度下降（MGD）的有效性，可以说是现代ML的主力算法，是一个悬而未决的问题。MGD独特的数据访问模式使得现有技术（包括为批量梯度方法设计的那些）不太有效。我们填补了这一关键的研究空白，提出了一个新的无损压缩计划，我们称之为面向元组的压缩（TOC），这是一个不太可能的来源，字符串/文本压缩方案Lempel-Ziv-Welch的启发，但量身定制的MGD的方式，保留小批量的元组边界。然后，我们提出了一套新的压缩矩阵运算执行技术，专门针对TOC压缩方案，直接在压缩数据表示，避免解压开销。对真实世界数据集的广泛实证评估表明，TOC始终实现高达51倍的压缩比，并在流行的ML系统中将MGD工作负载的运行时间减少了10.2倍。
2019-01-20 cs.DB cs.LG stat.ML
A flexible, extensible software framework for model compression based on the LC algorithm
University of California, Merced（加州大学默塞德分校）
我们提出了一个软件框架的基础上的学习压缩（LC）算法的思想，允许用户压缩神经网络或其他机器学习模型使用不同的压缩方案，以最小的努力。目前，支持的压缩包括修剪、量化、低秩方法（包括自动学习层秩）以及这些方法的组合，用户可以为神经网络的不同部分选择不同的压缩类型。LC算法交替两种类型的步骤直到收敛：学习（L）步骤，其在数据集上训练模型（使用诸如SGD的算法）;以及压缩（C）步骤，其压缩模型参数（使用诸如低秩或量化的压缩方案）。“机器学习“方面与“信号压缩”方面的这种解耦意味着改变模型或压缩类型相当于分别在L或C步骤中调用对应的子例程。该库在设计上完全支持这一点，这使得它非常灵活和可扩展。这并不以牺牲性能为代价：压缩模型所需的运行时间与最初训练模型的运行时间相当;并且压缩模型在预测准确性和压缩比方面与其他算法（通常专门用于特定模型或压缩方案）具有竞争力。该库是用Python和PyTorch编写的，可以在Github上使用。
2020-05-15 cs.LG cs.NE math.OC
YOLObile: Real-Time Object Detection on Mobile Devices via Compression-Compilation Co-Design
Northeastern University（东北大学）；William & Mary（威廉玛丽学院）；University of Pittsburgh（匹兹堡大学）
随着目标检测技术的迅速发展和广泛应用，目标检测器的精度和速度受到了人们的关注。然而，当前最先进的目标检测工作或者是使用大模型但导致高延迟的面向精度的，或者是使用轻量级模型但牺牲精度的面向速度的。在这项工作中，我们提出了YOLObile框架，通过压缩编译协同设计的移动设备上的实时的【形】目标检测。提出了一种新的块穿孔剪枝方案，适用于任何核大小。为了提高移动设备上的计算效率，采用了GPU-CPU协作方案以及高级编译器辅助优化。实验结果表明，我们的修剪方案实现了14 $\times$的压缩率YOLOv 4与49.0 mAP。在我们的YOLObile框架下，我们在三星Galaxy S20上使用GPU实现了17 FPS的推理速度。通过结合我们提出的GPU-CPU协作方案，推理速度提高到19.1 FPS，并优于原来的YOLOv 4的5 $\times$加速比。源代码位于：\url{https://github.com/nightsnack/YOLObile}。
2020-12-30 cs.AI cs.CV cs.LG
M-LVC: Multiple Frames Prediction for Learned Video Compression
University of Science and Technology of China（中国科学技术大学）
我们提出了一个端到端的学习视频压缩方案，用于低延迟场景。以往的方法局限于使用前一帧作为参考。我们的方法引入了使用以前的多个帧作为参考。在我们的方案中，运动矢量（MV）字段计算当前帧和前一帧之间。通过多个参考帧和相关的多个MV字段，我们设计的网络可以生成当前帧的更准确的预测，产生更少的残差。多个参考帧也有助于生成运动向量预测，这降低了运动向量场的编码成本。我们使用两个深度自动编码器来分别压缩残差和MV。为了补偿自动编码器的压缩误差，我们进一步设计了一个MV细化网络和一个残差细化网络，同时利用多个参考帧。在我们的计划中的所有模块联合优化，通过一个单一的率失真损失函数。我们使用逐步训练策略来优化整个方案。实验结果表明，该方法优于现有的学习视频压缩方法的低延迟模式。我们的方法在PSNR和MS-SSIM方面也优于H.265。我们的代码和模型是公开的。
2020-04-21 cs.CV cs.LG eess.IV
Rate Distortion For Model Compression: From Theory To Practice
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Inc.（谷歌公司）；Allen School of Computer Science and Engineering（艾伦计算机科学与工程学院）
现代深度神经网络的巨大规模使得在内存和通信受限的场景中部署这些模型具有挑战性。因此，在不显著损失性能的情况下压缩训练模型已成为越来越重要的任务。最近已经取得了巨大的进步，其中主要的技术构建块是参数修剪，参数共享（量化）和低秩因子分解。在本文中，我们提出了原则性的方法，以改善在这些积木，即修剪和量化中使用的常见算法。我们首先从率失真理论出发，研究了模型压缩的基本极限。我们把率失真函数从数据压缩到模型压缩来量化这个基本限制。我们证明了率失真函数的一个下界，并证明了其线性模型的可扩展性。虽然这种可实现的压缩方案在实践中是棘手的，这种分析激发了一种新的模型压缩框架。该框架为模型压缩提供了一种新的目标函数，可以与其他类型的模型压缩器（如修剪或量化）一起应用。理论上，我们证明了所提出的方案是压缩单隐藏层ReLU神经网络的最佳方案。从经验上讲，我们表明，所提出的方案提高了基线的压缩精度的权衡。
2019-01-23 cs.IT cs.LG math.IT
Modeling Image Quantization Tradeoffs for Optimal Compression
University of California, Berkeley（加州大学伯克利分校）
所有的有损压缩算法都采用类似的压缩方案--频域变换后进行量化和无损编码方案。他们的目标是通过量化高频数据来提高压缩率，这是以更高的图像失真为代价的。我们提出了一种使用深度学习和极大极小损失函数来优化量化表的新方法，该方法比以前的方法更准确地测量速率和失真参数（RD）之间的权衡。我们设计了一个卷积神经网络（CNN），它以无监督的方式学习图像块和量化表之间的映射。通过同时处理所有通道的图像，我们可以通过测量不同通道之间的信息损失来实现更强的性能。我们最初针对JPEG图像进行优化，但觉得这可以扩展到任何有损压缩器。
2021-12-14 cs.CV cs.IT cs.LG
