Boosting, Voting Classifiers and Randomized Sample Compression Schemes
Aarhus University（奥胡斯大学）；Georg-August Universität Göttingen（哥廷根大学）
针对投票分类器理论性能次优问题，提出一种随机化boosting算法，通过扩展样本压缩方法构建通用框架，使泛化误差仅含单一对数依赖，打破已有下界障碍。
2024-12-20 cs.LG stat.ML
Nearest-Neighbor Sample Compression: Efficiency, Consistency, Infinite Dimensions
Ben-Gurion University of the Negev（本-古里安大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究最近提出的1-最近邻为基础的多类学习算法的贝叶斯一致性。该算法是从样本压缩界限，并享有严格的统计优势，完全经验的泛化界限，以及更快的运行时间和内存节省的算法优势。我们证明了该算法在有限倍维度量空间中是强贝叶斯相容的，这是一个有效的最近邻样本压缩方案的第一个相容性结果。而令人惊讶的是，我们发现，该算法仍然是贝叶斯一致的，即使在一定的无限维设置，其中的基本测量理论的条件，经典的一致性证明铰链被违反。这更加令人惊讶，因为已知$k$ -NN在该设置中不是贝叶斯一致的。我们提出了几个具有挑战性的开放问题，为未来的研究。
2019-06-26 cs.LG math.ST stat.TH
RFX: High-Performance Random Forests with GPU Acceleration and QLORA Compression
RFX通过GPU加速和QLORA压缩技术，实现了大规模随机森林分析，解决了邻近矩阵内存瓶颈问题，提升了计算效率和数据处理能力。
2025-11-23 cs.LG stat.ME stat.ML
Measurability Aspects of the Compactness Theorem for Sample Compression Schemes
University of Ottawa（渥太华大学）
Ben-David和Litman在1998年证明了一个概念空间有一个大小为d的样本压缩方案当且仅当每个有限子空间都有一个大小为d的样本压缩方案。在紧性定理中，不能保证所创建的样本压缩方案的假设的可测量性;同时假设的可测量性是可学习性的必要条件。在这篇论文中，我们讨论了由有限子空间上的压缩方案通过紧性定理产生的样本压缩方案何时具有可测假设。我们证明了如果X是一个标准的Borel空间，具有d-最大值和普遍可分的概念类C，则（X，C）具有大小为d的样本压缩方案，具有普遍Borel可测假设。此外，我们介绍了一个新的变种的压缩方案称为复制样本压缩方案。
2012-07-17 cs.LG stat.ML
Classification in asymmetric spaces via sample compression
Ariel University（阿里埃勒大学）
我们在拟度量空间中开始了严格的分类研究。这些点集具有非负的距离函数，也满足三角不等式，但不对称。本文提出并改进了一种基于样本压缩和最近邻的准度量的学习算法，并证明了它具有良好的统计特性。
2019-09-22 cs.LG stat.ML
Geometric and Information Compression of Representations in Deep Learning
Research Center Trustworthy Data Science and Security, Dortmund（多特蒙德可信数据科学与安全研究中心）；Faculty of Computer Science, Ruhr University Bochum（波鸿鲁尔大学计算机科学学院）；Signal Processing and Speech Communication Laboratory, Graz University of Technology（格拉茨技术大学信号处理与语音通信实验室）；Know Center Research GmbH（知识中心研究有限公司）；Graz Center for Machine Learning（格拉茨机器学习中心）
研究深度神经网络中互信息与几何压缩的关系，发现低互信息不一定对应几何压缩，两者关系非线性且受泛化影响。
2026-06-26 cs.IT cs.LG math.IT
Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们研究了一种新的知识转移范式，其目的是通过从在完整图上训练的教师GNN模型中提取知识，将图拓扑信息编码到图神经网络（GNNs）中，以在较小或稀疏图上操作的学生GNN模型。为此，我们重新审视了热力学与GNN行为之间的联系，在此基础上，我们提出了神经热核（NHK）来封装与GNN架构相关的底层流形的几何属性。一个基本的和原则性的解决方案是通过调整教师和学生的模型，被称为几何知识蒸馏的NHK。我们开发的非和参数的实例，并证明其功效在各种实验设置知识蒸馏关于不同类型的特权拓扑信息和师生计划。
2023-01-15 cs.LG
Sample Compression for Real-Valued Learners
Princeton（普林斯顿大学）；Ben-Gurion University（本-古里安大学）
我们在Moran和Yehudayoff（2016）中给出了学习者到压缩方案转换的算法有效版本。在将这种技术扩展到实值假设时，我们还获得了一个高效的回归到有界样本压缩转换器。据我们所知，这是第一个一般的压缩回归结果（无论效率或有界性），保证一致的近似重建。一路上，我们开发了一个通用的程序，用于构建弱实值学习抽象回归;这可能是独立的利益。特别是，这一结果揭示了一个开放的问题H。Simon（1997年）。我们展示了两个回归问题的应用：学习Lipschitz和有界变差函数。
2018-05-21 cs.LG stat.ML
High-arity Sample Compression
本文研究高阶样例压缩方案，证明其存在性与高阶PAC可学性密切相关。
2026-05-14 cs.LG
A Labelled Sample Compression Scheme of Size at Most Quadratic in the VC Dimension
本文对任意有限概念类构造了一个合适的稳定的标号样本压缩格式，其大小为$O(\VCD^2)$，其中$\VCD$表示Vapnik-Chervonenkis维数.该结构是基于一个众所周知的机器教学模型，称为递归教学维。这大大改善了目前最为人所知的样本压缩方案的大小的界限（由于Moran和Yehudayoff），这是指数在$\VCD$。长期存在的开放性问题是否最小尺寸的样本压缩方案是在$O(\VCD)$仍然没有得到解决，但我们的研究结果表明，机器教学的研究是一个很有前途的途径，这个开放性问题的研究。作为机器教学和样本压缩之间强有力联系的进一步证据，我们证明了Kirkpatrick等人提出的无冲突教学模型，可以用来定义稳定样本压缩方案的大小的非平凡下限。
2022-12-28 cs.LG
Geometric compression of invariant manifolds in neural nets
Institute of Physics, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院物理研究所）
我们研究了神经网络如何压缩模型中的无信息输入空间，其中数据位于$d$维度中，但其标签仅在维度$d_\parallel < d$的线性流形内变化。我们表明，对于一个隐藏层网络初始化与无穷小的权重（即在特征学习制度）训练梯度下降，第一层的权重演变成为几乎不敏感的$d_\perp=d-d_\parallel$无信息的方向。这些数据通过因子$λ\sim \sqrt{p}$有效压缩，其中$p$是训练集的大小。我们量化的好处，这样的压缩测试误差$ε$。对于权重的大初始化（懒惰训练制度），没有压缩发生，并且对于分隔标签的规则边界，我们发现$ε\sim p^{-β}$与$β_\text{Lazy} = d / (3d-2)$。压缩改进了学习曲线，使得如果$d_\parallel = 1$则为$β_\text{Feature} = (2d-1)/(3d-2)$，如果$d_\parallel > 1$则为$β_\text{Feature} = (d + d_\perp/2)/(3d-2)$。我们测试这些预测的条纹模型的边界是平行的接口（$d_\parallel=1$）以及圆柱形边界（$d_\parallel=2$）。接下来，我们展示了压缩在时间上塑造了神经切线核（NTK）的演化，使得其顶部特征向量变得更具信息性，并在标签上显示更大的投影。因此，在训练结束时使用冻结的NTK进行的内核学习优于初始NTK。…
2021-03-11 cs.LG stat.ML
Bayesian Attention Networks for Data Compression
Volkswagen Group of America Innovation Center California（大众汽车美国创新中心加州）；BayzAI
从第一性原理出发，推导了基于贝叶斯注意网络的无损数据压缩算法。贝叶斯注意力网络是通过将每个训练样本损失的注意力因子作为来自训练样本和预测样本的两个样本输入的函数来定义的。通过使用锐化詹森不等式，我们表明，注意力因子是完全由两个样本的相关函数w.r.t.模型的权重。由于注意力因素，预测样本的解决方案主要由与预测样本相关的几个训练样本定义。找到每个预测样本的特定解决方案将训练和预测耦合在一起。为了使该方法实用，我们引入了一个潜在空间，将每个预测样本映射到潜在空间，并学习所有可能的解决方案作为潜在空间的函数，同时学习注意力作为潜在空间和训练样本的函数。潜在空间扮演上下文表示的角色，其中预测样本定义上下文和用于预测的学习上下文相关解决方案。
2021-03-29 cs.LG stat.ML
A Geometric Lens on Physics-Aligned Data Compression
本文通过局部几何理论揭示了物理信息损失函数在科学数据压缩中导致的率失真权衡，并提出了基于主特征空间重叠的对齐诊断方法。
2026-06-02 cs.LG
Near-optimal sample compression for nearest neighbors
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Tel-Aviv University（特拉维夫大学）
我们提出了第一个样本压缩算法的最近邻居与非平凡的性能保证。我们补充这些保证，证明几乎匹配的硬度下限，这表明我们的界限是接近最优的。我们的结果产生了新的洞察力基于边缘的最近邻分类度量空间，并允许我们显着锐化和简化现有的界限。一些令人鼓舞的实证结果也被提出。
2018-03-26 cs.CC cs.LG
Sample Compression, Support Vectors, and Generalization in Deep Learning
Department of Electrical and Computer Engineering, University of Texas, Austin USA（德克萨斯大学奥斯汀分校电气与计算机工程系）
尽管深度神经网络（DNN）因其实际性能而广受赞誉，但它们具有许多与深度相关的有趣特性，这些特性很难在理论上和直观上解释。了解深度网络中的权重如何跨层协调以形成有用的学习器已被证明具有挑战性，部分原因是非线性的重复组合已被证明是棘手的。本文提出了一种DNN的重新参数化，作为局部独立于权重的特征映射的线性函数。该特征映射将深度依赖性转换为简单的张量积，并将每个输入映射到特征空间的离散子集。然后，利用最大间隔假设，本文发展了一个样本压缩表示的神经网络的离散激活状态的神经元诱导s ``支持向量。本文表明，支持向量s的数量与学习保证神经网络通过样本压缩界，产生一个样本复杂度为O（ns/n）的网络与n个神经元。最后，支持向量s的数量随着宽度和标签噪声单调增加，但随着深度减少。
2020-03-17 cs.LG stat.ML
Sample compression schemes for VC classes
Technion-IIT（以色列理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
样本压缩方案由Littlestone和Warrant（1986）定义为许多学习算法的基础结构的抽象。粗略地说，大小为$k$的样本压缩方案意味着给定任意一个标记样本列表，可以以允许恢复列表中所有其他样本的标记的方式仅保留其中的$k$。他们表明，压缩意味着二进制标记类的PAC可学习性，并询问另一个方向是否成立。我们回答了他们的问题，并证明了每个VC维为$d$的概念类$C$在$d$中都有一个大小指数的样本压缩方案。证明使用近似极小极大现象的二元矩阵的低VC维，这可能是感兴趣的博弈论的背景下。
2015-04-14 cs.LG
Unlabeled sample compression schemes and corner peelings for ample and maximum classes
CNRS（法国国家科学研究中心）；LIS（信息科学实验室）；Technion（以色列理工学院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
我们研究了在机器学习中出现的组合概念和立体/单纯几何中的拓扑概念之间的联系。通过这些连接，可以将几何结果导出到机器学习。我们的第一个主要结果是基于Tracy Hall（2004）的一个几何构造，它是对不能扩展的交叉多面体的部分去壳。我们用它来获得VC维3的最大类，没有角。这驳斥了过去11年来机器学习的几项研究成果。特别是，它意味着所有以前的最大类的最佳无标记样本压缩方案的构造是错误的。在积极的一面，我们提出了一个新的建设的无标记的样本压缩计划的最大类。我们的未标记样本压缩方案是否扩展到充足（也称为不平衡或极值）类，其表示最大类的自然和深远的推广。为了解决这个问题，我们提供了一个几何特征的独特的水槽方向的1-骨架相关的立方复合物。
2022-01-05 cs.CG cs.DM cs.LG
Unlabelled Sample Compression Schemes for Intersection-Closed Classes and Extremal Classes
University of Melbourne（墨尔本大学）
概念类的样本可压缩性在学习理论中起着重要的作用，作为PAC可学习性的充分条件，最近又作为自适应数据分析中鲁棒泛化的途径。大小为$O(d)$的压缩方案是否必须存在于VC维$d$的所有类中尚不清楚，但Warcourt证实为真。最近，Chalopin，Chepoi，Moran和Warren（2018）给出了一个美丽的未标记样本压缩方案，大小为VC维，适用于所有最大类：满足Sauer-Shelah-Perles引理的类。他们还提供了一个反例，以压缩方案的基础上，一个有前途的方法称为角剥离。本文简化和推广了他们的证明技巧，使之能处理VC维$d$的所谓极值类，它包含VC维$d-1$的极大类.给出了一个标准，这将意味着所有极值类承认大小为$d$的未标记压缩方案。我们还证明了所有VC维$d$的交闭类都允许大小至多为$11d$的未标记压缩方案。
2022-10-11 cs.DM cs.LG
Agnostic Sample Compression Schemes for Regression
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文首次为不可知回归问题构造了有界样本压缩方案，针对不同 $\ell_p$ 损失给出了近似或精确压缩，并推广了相关负面结果，提出了开放性问题。
2024-02-03 cs.IT cs.LG math.IT
Labeled sample compression schemes for complexes of oriented matroids
Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Université de Toulon（土伦大学）；Universitat de Barcelona（巴塞罗那大学）
本文证明 VC 维为 d 的定向拟阵复形的 tope 集合存在大小为 d 的恰当有标号样本压缩方案，推广了多类已有结果，并借助组合结构与偏立方体理论推进样本压缩猜想。
2023-04-19 cs.DM cs.LG math.CO
Sample Compression Unleashed: New Generalization Bounds for Real Valued Losses
Université Laval（拉瓦尔大学）；ServiceNow Research（ServiceNow研究院）
本文提出适用于实值无界损失的样本压缩泛化界通用框架，并利用Pick-To-Learn元算法在随机森林和多种神经网络上验证了界的紧致性与通用性。
2025-03-11 cs.LG
Multi-hop Federated Private Data Augmentation with Sample Compression
Yonsei University（延世大学）；University of Oulu（奥卢大学）
设备上的机器学习（ML）使用户能够访问大量数据，同时保持本地数据的私密性，而不是将其存储在中央实体中。然而，为了保证隐私，每个设备都不可避免地要补偿数据质量或学习性能，特别是当它具有非IID训练数据集时。在本文中，我们提出了一个数据增强框架，使用生成模型：多跳联邦增强与样本压缩（MultFAug）。多跳协议通过增强传输容量来加速种子样本的端到端空中传输。中继设备也保证了更强的隐私保护，因为每个种子样本的来源都隐藏在这些参与者中。为了在个体样本水平上进一步私有化，设备压缩它们的数据样本。设备在传输之前稀疏化其数据样本以减少样本大小，这会影响通信有效载荷。这种预处理还增强了每个样本的隐私性，这对应于用于保护样本隐私的输入扰动。数值计算结果表明，该框架通过调整跳数和压缩率，显著提高了隐私保证、传输延迟和局部训练性能.
2019-07-15 cs.LG cs.NI eess.SP
Few Sample Knowledge Distillation for Efficient Network Compression
MIT（麻省理工学院）；Intel Labs（英特尔实验室）；UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
剪枝、权重张量分解等深度神经网络压缩技术，在压缩比较高时，通常需要进行微调以恢复预测精度。然而，传统的微调遭受的要求，一个大的训练集和耗时的训练过程。本文提出了一种新的解决方案，知识蒸馏从无标签的小样本，实现数据效率和训练/处理效率。我们把原始网络看作“教师网”，把压缩后的网络看作“学生网”。在学生网络的每个层块的末尾添加一个1x 1卷积层，通过估计添加层的参数，将学生网络的块级输出拟合到教师网络。我们证明了增加的层可以合并，而不增加额外的参数和计算成本在推理。在多个数据集和网络结构上的实验验证了该方法对各种网络剪枝和权值分解方法得到的学生网的有效性。我们的方法可以在几分钟内恢复学生网络的准确性与传统的微调方法相同的水平，而只使用完整的训练数据的1%的无标签数据。
2020-03-31 cs.LG stat.ML
Sample compression schemes for balls in graphs
CNRS（法国国家科学研究中心）；LIS（信息科学与系统实验室）
针对VC维集合族的样本压缩方案开放问题，研究图中球的样本压缩，为多类图的不同半径球设计了相应规模的真标记或近似样本压缩方案。
2024-03-25 cs.DM cs.LG
Near-optimal Sample Complexity Bounds for Robust Learning of Gaussians Mixtures via Compression Schemes
McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；University of British Columbia（不列颠哥伦比亚大学）；McGill University（麦吉尔大学）
我们证明，$\tildeΘ(k d^2 / \varepsilon^2)$样本是必要的和充分的学习混合物的$k$高斯在$\mathbb{R}^d$，错误$\varepsilon$的总变化距离。这改进了该问题的已知上界和下界。对于轴对齐高斯的混合物，我们表明，$\tilde{O}(k d / \varepsilon^2)$样本就足够了，匹配一个已知的下限。此外，这些结果也适用于不可知学习/鲁棒估计设置，其中目标分布仅近似为高斯混合。上界显示使用一种新的技术，分布学习的基础上的概念“压缩。任何允许这种压缩方案的分布类别也可以用很少的样本来学习。此外，如果一类分布具有这样的压缩方案，那么这些分布的乘积和混合类也具有这样的压缩方案。我们主要结果的核心是证明了$\mathbb{R}^d$中的高斯类允许一个小尺寸的压缩方案。
2020-07-21 cs.LG math.ST stat.TH
Compressing Large Sample Data for Discriminant Analysis
Texas A&M University（德克萨斯农工大学）
随着数据采集变得更便宜和更容易，大样本数据变得普遍。虽然大样本量对许多统计方法具有理论优势，但它带来了计算挑战。草图或压缩是一种在回归设置中解决这些问题的研究方法，但对其在分类设置中的性能知之甚少。在这里，我们考虑的计算问题，由于大样本量的判别分析框架内。我们提出了一种新的压缩方法，用于减少线性和二次判别分析的训练样本的数量，与现有的压缩方法，专注于减少功能的数量。我们支持我们的方法与理论界的误分类错误率相比，贝叶斯分类器。实证研究证实了显着的计算增益所提出的方法和其优越的预测能力相比，随机子采样。
2020-05-08 cs.LG stat.ML
On statistical learning via the lens of compression
Technion-IIT（以色列理工学院）；Microsoft Research Hertzelia（微软赫兹利亚研究院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
这项工作继续研究样本压缩方案和统计学习之间的关系，这主要是在二进制分类的框架内进行了研究。这项工作的中心主题是建立可学习性和可压缩性之间的等价关系，并利用这些等价关系进行统计学习理论的研究。我们从设置多类分类（零/一损失）开始。我们证明，在这种情况下，可学习性是等价的对数样本大小的压缩，一致收敛意味着压缩的恒定大小。然后，我们考虑Vapnik的一般学习设置：我们表明，为了扩展这种情况下的可压缩性，可学习性等价，有必要考虑压缩的近似变体。最后，我们提供了一些应用的可压缩性，可学习性等价：（i）不可知的情况下的可学习性和可实现的情况下的可学习性是等价的多类分类问题（在样本复杂性方面）。(ii)这种不可知情况下的可学习性和可实现情况下的可学习性之间的等价性并不适用于一般的学习问题：存在一个学习问题，其损失函数只取三个值，在此情况下，不可知情况下的可学习性和可实现情况下的可学习性是不等价的。(iii)一致收敛意味着在多类分类问题中压缩恒定大小。部分的参数包括分析的一致收敛速度的图形尺寸，在其中我们改进了以前的界限。(iv)多类分类问题中样本压缩的二分法：如果存在非平凡压缩，则存在对数大小的压缩。(v)多类范畴化问题的一个紧性定理。
2016-12-30 cs.DM cs.LG cs.LO
Deep Generative Models for Distribution-Preserving Lossy Compression
ETH Zürich（苏黎世联邦理工学院）；Google AI Perception（谷歌人工智能感知部）；Google Brain（谷歌大脑）
提出并研究了保分布有损压缩问题。受最近的进展，在极端的图像压缩，允许保持伪影的重建，即使在非常低的比特率，我们建议优化率失真权衡的约束下，重建的样本遵循分布的训练数据。由此产生的压缩系统恢复了频谱的两端：一方面，在零比特率下，它学习数据的生成模型，而在足够高的比特率下，它实现了完美的重建。此外，对于中间比特率，它在学习训练数据的生成模型和完美地重建训练样本之间平滑地插值。我们研究了几种方法来近似解决所提出的优化问题，包括一种新的组合Wasserstein GAN和Wasserstein自动编码器，并提出了一个广泛的理论和经验表征的压缩系统。
2018-10-28 cs.LG stat.ML
Sample Compression for Self Certified Continual Learning
Département d’informatique et génie logiciel（计算机与软件工程系）；Université Laval（拉瓦尔大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；Computer Science and Software Engineering Department（计算机科学与软件工程系）；Concordia University（康科德大学）
本文提出基于样本压缩理论的CoP2L方法，通过系统保留代表性样本，为持续学习提供可计算的泛化损失上界，有效缓解灾难性遗忘并保证预测器可靠性。
2026-02-26 cs.LG
To compress or not to compress: Understanding the Interactions between Adversarial Attacks and Neural Network Compression
University of Cambridge（剑桥大学）
随着深度神经网络（DNN）的广泛使用，修剪和量化模型在边缘设备上变得无处不在;这种压缩的DNN因降低计算要求而流行。与此同时，最近的研究表明，对抗性样本可以有效地使DNN错误分类。因此，我们研究对抗样本在未压缩和压缩DNN之间的可转移程度。我们发现，对抗样本仍然可转移的修剪和量化模型。对于修剪，从严重修剪的模型生成的对抗样本在未压缩的模型上仍然有效。对于量化，我们发现对抗样本的可转移性对整数精度高度敏感。
2020-04-16 cs.CR cs.LG
Compressing Model with Few Class-Imbalance Samples: An Out-of-Distribution Expedition
College of Computer Science and Software Engineering, Hohai University（河海大学计算机与软件学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对少样本模型压缩中类别不平衡被忽略的问题，提出分布外增强少样本模型压缩（OE-FSMC）框架，整合OOD数据并引入联合蒸馏损失与正则化项，缓解类别不平衡导致的精度下降。
2025-02-09 cs.AI cs.CV cs.LG
Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing
Hasso Plattner Institute（哈索·普拉特纳研究所）
生成对抗网络（GANs）在训练后的压缩效果分析，即没有任何微调，仍然是一个未研究的，尽管重要的主题，随着其计算和内存需求的增加趋势。虽然现有的工作讨论了在训练过程中压缩GANs的困难，需要考虑到GANs训练的不稳定性而设计的新方法，但我们表明，现有的压缩方法（即裁剪和量化）可以直接应用于压缩GANs后训练，而无需任何额外的更改。高压缩级别可能会扭曲生成的集合，可能导致离群值的增加，这可能会对现有的基于k最近邻（KNN）的度量的整体评估产生负面影响。我们提出了两个新的精度和召回率指标的基础上，局部敏感的哈希（LSH），其中，在增加离群值的鲁棒性，降低评估的复杂性对$n$参考样本从$O(n)$到$O(\log(n))$，如果使用LSH和KNN，和$O(1)$，如果只应用LSH。我们发现，在多个数据集上对几个预训练的GANs进行低比特压缩会导致精度和召回率之间的权衡，在牺牲样本多样性的同时保留样本质量。
2021-03-22 cs.AI cs.CV cs.LG
Scalable Discrete-to-Continuous Channel Simulation for Compression and Privacy
University of Toronto（多伦多大学）
提出一种固定随机样本数、运行时间与信道无关的离散到连续信道模拟方案，通过潜在置换和指数竞赛实现压缩与隐私应用，可扩展到长块长度。
2026-09-14 cs.IT cs.LG math.IT
Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis
Waseda University（早稻田大学）
本文通过将学习问题置于有损压缩框架中并应用有限块长分析，从信息论角度推导了固定随机学习算法及其最优采样策略的样本复杂度和泛化误差下界，显式分离了过拟合程度与归纳偏置-任务不匹配项。
2026-05-29 cs.IT cs.LG math.IT
Private Distribution Learning with Public Data: The View from Sample Compression
University of Waterloo（滑铁卢大学）；The University of Sydney（悉尼大学）；Vector Institute（矢量研究院）
本文从样本压缩与列表学习角度刻画公共-私有分布学习，给出 Gauss 混合等样本复杂度上界及封闭性质，并证明 Gauss 分布需至少 $d$ 个公共样本。
2023-08-14 cs.CR cs.LG stat.ML
Online Learned Continual Compression with Adaptive Quantization Modules
McGill（麦吉尔大学）；Mila（米拉研究所）；Facebook AI Research（Facebook人工智能研究院）；University of Montreal（蒙特利尔大学）；ElementAI（ElementAI公司）
我们介绍和研究的问题，在线连续压缩，其中一个试图同时学习压缩和存储一个代表性的数据集从一个非i.i.d数据流，而每个样本只观察一次。在这种情况下，自动编码器的天真应用遇到了一个主要挑战：从早期编码器状态导出的表示必须可用于后期解码器状态。我们展示了如何使用离散自动编码器来有效地解决这一挑战，并引入自适应量化模块（AQM）来控制模块在任何给定学习阶段的压缩能力变化。这使得能够为传入样本选择适当的压缩，同时考虑整体存储器约束和学习压缩的当前进度。与以前的方法不同，我们的方法不需要任何预训练，即使是在具有挑战性的数据集上。我们发现，使用主动质量管理，以取代标准的情景记忆在持续学习设置导致显着收益的持续学习基准。此外，我们用更大的图像，LiDAR和强化学习环境演示了这种方法。
2020-08-20 cs.CV cs.LG stat.ML
Point Cloud Compression with Bits-back Coding
School of Electrical and Data Engineering, University of Technology Sydney（悉尼科技大学电气与数据工程学院）；Fraunhofer FOKUS（弗劳恩霍夫FOKUS研究院）
提出利用 CVAE 潜变量模型与 bits-back 编码无损压缩点云几何属性的方法，在降低编解码器开销的同时取得 1.56 bpp，优于 Draco 的 1.83 bpp。
2024-10-09 cs.AI cs.CV cs.LG
Dual VC Dimension Obstructs Sample Compression by Embeddings
Technion（以色列理工学院）；Purdue University（普渡大学）；Google Research（谷歌研究院）；Copenhagen University（哥本哈根大学）
本文证明任意VC类嵌入极值类必然导致维数指数增长，并揭示其对样本压缩猜想方法的根本限制，核心贡献是证明极值类对偶VC维至多2d+1。
2024-05-27 cs.DM cs.LG
The Knowledge Within: Methods for Data-Free Model Compression
Habana Labs Research（Habana Labs研究院）；Technion（以色列理工学院）
最近，大量的研究集中在压缩和加速深度神经网络（DNN）上。到目前为止，高压缩率算法需要部分训练数据集进行低精度校准或微调过程。然而，当数据不可用或包含敏感信息时，例如在医疗和生物识别用例中，此要求是不可接受的。我们提出了三种从训练模型生成合成样本的方法。然后，我们演示了如何使用这些样本来校准和微调量化模型，而无需在此过程中使用任何真实数据。与原始训练集相比，我们表现最好的方法具有可忽略不计的准确性下降。该方法利用训练模型的内在批量归一化层的统计信息，可用于评估数据相似性。我们的方法开辟了一条通往真正的无数据模型压缩的道路，减轻了模型部署过程中对训练数据的需求。
2020-04-06 cs.CV cs.LG stat.ML
Generalization Bounds via Meta-Learned Model Representations: PAC-Bayes and Sample Compression Hypernetworks
ServiceNow Research（ServiceNow研究院）
本文提出一种元学习方案，利用超网络从数据集生成下游预测器参数，并通过PAC-Bayes编码器、样本压缩编码器及其混合架构推导紧致泛化界。
2025-06-05 cs.LG
Efficient and Accurate Explanation Estimation with Distribution Compression
University of Warsaw（华沙大学）；LMU Munich（慕尼黑大学）；Warsaw University of Technology（华沙理工大学）
本文提出CTE范式，利用分布压缩（核稀疏化）替代i.i.d.采样，显著提升事后解释估计的准确性和稳定性，减少2-3倍模型评估次数。
2025-01-22 cs.LG stat.ML
Conditional Hallucinations for Image Compression
ETH Zürich（苏黎世联邦理工学院）
针对有损图像压缩中因信息瓶颈导致的幻觉问题，提出根据图像内容动态平衡幻觉程度的压缩方法ConHa，通过训练模型预测用户偏好并据此调整重建损失中的感知权重，性能优于现有方法。
2025-03-05 cs.CV cs.LG eess.IV
Stronger generalization bounds for deep nets via a compression approach
Princeton University（普林斯顿大学）；Duke University（杜克大学）；Institute for Advanced Study（高等研究院）
尽管深度网络的参数比训练样本的数量多，但它的泛化能力很好。最近的作品试图用PAC贝叶斯和基于边际的分析给出一个解释，但还没有得到比朴素参数计数更好的样本复杂性界限。目前的论文显示了泛化范围，在实践中更好的数量级。这些依赖于新的简洁的重新参数化的训练网络--一个压缩，是明确和有效的。这些通过这里介绍的一个简单的基于压缩的框架产生泛化边界。我们的研究结果还为压缩深度网络的广泛经验成功提供了一些理论依据。我们的压缩正确性的分析依赖于一些新识别的\textquotedblleft噪声稳定性\textquotedblright属性的训练深度网络，这也是实验验证。对这些属性和由此产生的泛化界限的研究也扩展到卷积网络，这在早期证明泛化的尝试中未能实现。
2018-11-26 cs.LG
List-Level Distribution Coupling with Applications to Speculative Decoding and Lossy Compression
University of Toronto（多伦多大学）
本文提出了一种列表级分布耦合方法，用于改进推测解码和有损压缩，通过Gumbel-max采样扩展并提供了理论下限和实际应用效果。
2026-01-11 cs.LG
Statistical Analysis of Policy Space Compression Problem
本文研究强化学习中策略空间压缩问题，通过Rényi散度和$l_1$范数分析真实与估计策略分布的相似性，确定了准确学习压缩策略集合所需的样本量上下界。
2024-11-15 cs.AI cs.LG stat.ML
Memory Replay with Data Compression for Continual Learning
Tsinghua University（清华大学）；Tsinghua-Peking Center for Life Sciences（清华-北大生命科学联合中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Renmin University of China（中国人民大学）
持续学习需要克服对过去的灾难性遗忘。具有代表性的旧训练样本的记忆重放已被证明是一种有效的解决方案，并达到了最先进的（SOTA）性能。然而，现有的工作主要是建立在一个小的内存缓冲区包含一些原始数据，这不能完全表征旧数据的分布。在这项工作中，我们提出了内存重放与数据压缩（MRDC），以减少旧的训练样本的存储成本，从而增加它们的量，可以存储在内存缓冲区。观察到压缩数据的质量和数量之间的权衡是非常重要的内存重放的功效，我们提出了一种新的方法，基于决定点过程（DPP），以有效地确定一个适当的压缩质量为当前到达的训练样本。以这种方式，使用具有适当选择的质量的朴素数据压缩算法可以通过在有限的存储空间中保存更多的压缩数据来大大提高最近的强基线。我们在类增量学习的几个基准测试和自动驾驶的目标检测的实际场景中广泛验证了这一点。
2022-03-09 cs.LG
Domain Compression and its Application to Randomness-Optimal Distributed Goodness-of-Fit
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Indian Institute of Science（印度科学学院）
我们研究了离散分布的拟合优度在分布式环境中，样本被划分在多个用户之间，由于各种信息约束，这些用户只能发布有限的样本信息。最近，作者的一个子集表明，访问一个共同的随机种子（即，共享随机性）导致该问题的样本复杂性的显著降低。在这项工作中，我们提供了一个完整的理解之间的相互作用的共享随机性，严格的信息约束，和样本的复杂性的测试问题，通过表征这三个参数之间的紧密权衡。我们提供了一个通用的分布式拟合优度协议，该协议作为共享随机性的函数，在私人和公共硬币样本复杂度之间平滑插值。我们补充我们的上限与一个一般的框架来证明下限的样本复杂性有限的共享随机性下，这个测试问题。最后，我们实例化我们的两个原型的信息约束的通信和本地隐私的界限，并表明我们的样本复杂性的界限是最佳的所有参数的问题，包括共享的随机性的函数。我们的上界的一个关键组成部分是域压缩的一个新的原语，这是一个工具，允许我们使用有限的随机性将分布映射到更小的域大小，同时保留它们的成对距离。
2019-07-20 cs.DM cs.DS cs.IT
An Agnostic Sample Compression Scheme for Squared Loss of Near-Linear Size in the Fat-Shattering Dimension
针对平方损失，构造了大小与脂肪破碎维度近线性、与样本量无关的不可知压缩方案，移除对偶因子，解决了开放问题。
2026-10-19 cs.LG
Deep-Learned Compression for Radio-Frequency Signal Classification
Rowan University（罗文大学）
针对射频数据传输的带宽与延迟问题，提出基于学习向量量化的深度学习压缩模型HQARF，评估其对6类调制信号分类AI性能的影响。
2024-03-05 cs.LG cs.NI eess.SP
A Hybrid Quantum enabled RBM Advantage: Convolutional Autoencoders For Quantum Image Compression and Generative Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
了解D-Wave量子计算机如何用于机器学习问题越来越引起人们的兴趣。我们的工作评估了使用D-Wave作为机器学习采样器的可行性。我们描述了一个混合系统，它将经典的深度神经网络自动编码器与使用D-Wave的量子退火限制玻尔兹曼机（RBM）相结合。我们使用两个数据集（MNIST数据集和MNIST Fashion数据集）来评估我们的混合自动编码器算法。我们通过使用下游分类方法来评估这种方法的质量，其中训练是基于量子RBM生成的样本。我们的方法克服了当前2000量子位D-Wave处理器中的两个关键限制，即有限数量的量子位可用于容纳完全连接的量子目标函数和二进制像素表示的样本的典型问题大小。由于这些限制，我们能够展示我们如何实现灰度28 x 28大小的图像到二进制6 x 6大小的图像的近22倍压缩因子，并对原始28 x 28灰度图像进行有损恢复。我们进一步展示了如何在训练RBM后从D-Wave生成样本，从而生成28 x 28图像，这些图像是原始输入数据分布的变化，而不是重新创建训练样本。我们使用深度卷积神经网络来制定MNIST分类问题，该深度卷积神经网络使用来自量子RBM的样本来训练MNIST分类器，并将结果与使用原始MNIST训练数据集训练的MNIST分类器以及使用经典RBM样本训练的MNIST分类器进行比较。我们的混合自动编码器方法表明RBM结果相对于使用当前RBM经典计算机实现基于图像…
2020-01-31 cs.ET cs.LG cs.NE
