Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis
Waseda University(早稻田大学)
本文通过信息论框架将基于池的主动学习视为噪声性有损压缩问题,推导出标签复杂性和泛化误差的理论下界,为该领域提供了新的理论视角。
2026-02-05 cs.IT cs.LG math.IT
Understanding The Effectiveness of Lossy Compression in Machine Learning Training Sets
Argonne National Laboratory(阿贡国家实验室);Clemson University(克莱姆森大学)
本研究提出系统化方法评估有损压缩对ML/AI模型质量的影响,通过在7个应用上测试17种数据缩减方法,证明现代有损压缩在质量损失≤1%时可实现50-100倍压缩率提升,并提供了压缩器设计的关键见解。
2024-03-23 cs.AI cs.LG
Learning Better Lossless Compression Using Lossy Compression
ETH Zurich(苏黎世联邦理工学院);Google Research, Brain Team(谷歌研究院(大脑团队))
我们利用强大的有损图像压缩算法BPG来构建一个无损图像压缩系统。具体地说,原始图像首先分解成后得到的有损重建与BPG压缩和相应的残差。然后,我们用基于卷积神经网络的概率模型对残差的分布进行建模,该概率模型以BPG重建为条件,并将其与熵编码相结合以对残差进行有损压缩编码。最后,使用由BPG和学习的残差编码器产生的比特流的级联来存储图像。由此产生的压缩系统在学习无损全分辨率图像压缩方面实现了最先进的性能,优于以前学习的方法以及PNG,WebP和JPEG 2000。
2020-03-23 cs.CV cs.LG eess.IV
Lossy Compression with Gaussian Diffusion
Google Research(谷歌研究院)
我们考虑一种新的有损压缩方法的基础上无条件扩散生成模型,我们称之为DiffC。与依赖于变换编码和量化来限制传输信息的现代压缩方案不同,DiffC依赖于被高斯噪声破坏的像素的有效通信。我们实现了一个概念验证,发现尽管缺乏编码器变换,它的效果出奇的好,在ImageNet 64x64上的表现优于最先进的生成压缩方法HiFiC。DiffC仅使用单个模型以任意比特率对损坏的像素进行编码和去噪。该方法还提供了对渐进编码的支持,即,从部分比特流进行解码。我们进行率失真分析,以获得更深入的了解其性能,提供多元高斯数据的分析结果以及一般分布的理论界。此外,我们证明了基于流的重建实现了3 dB的增益在高比特率的祖先采样。
2022-12-31 cs.IT cs.LG math.IT
SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks
University of California, Riverside(加州大学河滨分校);Argonne National Laboratory(阿贡国家实验室);University of Kentucky(肯塔基大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Florida State University(佛罗里达州立大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
针对现有科学误差有界有损压缩器对部分数据集压缩效果差、AI类压缩方案压缩比有限或效率低的问题,提出基于超分辨率网络HAT的SRN-SZ压缩器,无需逐数据训练,压缩比显著优于前沿方案。
2023-11-06 cs.DC cs.IT cs.LG
Does lossy image compression affect racial bias within face recognition?
Durham University(杜伦大学)
是-本研究调查了常见的有损图像压缩对人脸识别算法的影响,关于受试者的种族特征。我们采用最近提出的基于种族表型的偏差分析方法来衡量不同水平的有损压缩的影响,在种族表型类别。此外,我们确定了识别性能的色度子采样和种族相关表型之间的关系。先前的工作研究了有损JPEG压缩算法对当代人脸识别性能的影响。然而,在这种影响如何随不同种族相关的交叉群体而变化以及这种影响的原因方面存在差距。通过广泛的实验设置,我们证明了常见的有损图像压缩方法对特定种族表型类别的面部识别性能有更明显的负面影响,如较深的肤色(高达34.55%)。此外,在压缩过程中去除色度子采样提高了受压缩影响的所有表型类别的错误匹配率(高达15.95%),包括较深的肤色,宽鼻子,大嘴唇和单眼眼睛类别。此外,我们概述的特点,可能是由于这种现象的根本原因的有损压缩算法,如JPEG。
2022-08-16 cs.CV cs.CY cs.LG
LFZip: Lossy compression of multivariate floating-point time series data via improved prediction
Stanford University(斯坦福大学);Siemens Corporation(西门子公司)
随着物联网设备和传感器的增长,时间序列数据压缩正在成为一个重要问题。由于这些数据集中存在噪声,有损压缩通常可以提供显著的压缩增益,而不会影响下游应用程序的性能。在这项工作中,我们提出了一个错误有界的有损压缩器,LFZip,多变量浮点时间序列数据,提供保证重建用户指定的最大绝对误差。压缩器基于预测-量化-熵编码器框架,并且受益于使用线性模型和神经网络的改进预测。我们评估的压缩机上的几个时间序列数据集,它优于现有的最先进的误差有界有损压缩机。代码和数据可在https://github.com/shubhamchandak94/LFZip上获得
2020-01-13 cs.LG eess.SP
Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis
Waseda University(早稻田大学)
本文通过将学习问题置于有损压缩框架中并应用有限块长分析,从信息论角度推导了固定随机学习算法及其最优采样策略的样本复杂度和泛化误差下界,显式分离了过拟合程度与归纳偏置-任务不匹配项。
2026-05-29 cs.IT cs.LG math.IT
f-divergences and their applications in lossy compression and bounding generalization error
在本文中,我们提供了三个应用$f$ -发散:(i)我们介绍了Sanov的上界的独立随机变量和的尾概率的基础上超模块$f$ -发散,并表明,我们的广义Sanov的界严格改善普通的,(ii)我们考虑的有损压缩问题,研究了一组可实现的速率为一个给定的失真和码长。我们扩展的率失真函数,使用相互$f$ -信息,并提供新的和严格更好的界限,可实现的速率在有限块长度制度,使用超级模块$f$ -分歧,和(iii)我们提供了一个连接之间的泛化误差的有界输入/输出相互$f$ -信息和广义率失真问题的算法。这种连接允许我们使用$f$率失真函数的下限来限制学习算法的泛化误差。我们的边界是基于一个新的率失真函数的下限,(对于某些例子)严格提高了以前最知名的界限。
2023-01-26 cs.IT cs.LG math.IT
Lossy Image Compression with Quantized Hierarchical VAEs
Nanjing University(南京大学);Purdue University(普渡大学)
最近的研究表明,变分自编码器(VAE)和率失真理论之间有很强的理论联系。受此启发,我们从生成式建模的角度考虑有损图像压缩问题。从最初为数据(图像)分布建模而设计的ResNet VAE开始,我们使用量化感知的后验和先验来重新设计其潜变量模型,从而在测试时实现轻松的量化和熵编码。随着改进的神经网络架构,我们提出了一个强大而有效的模型,优于以前的方法对自然图像的有损压缩。我们的模型以从粗到细的方式压缩图像,并支持并行编码和解码,从而在GPU上快速执行。代码可在https://github.com/duanzhiihao/lossy-vae上获得。
2023-03-25 cs.CV cs.LG eess.IV
Enhancing Lossy Compression Through Cross-Field Information for Scientific Applications
Temple University(天普大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文针对科学数据有损压缩中单一字段局部信息预测的局限性,提出一种利用CNN提取跨字段信息并结合局部信息的混合预测模型,在三个数据集上最高提升25%压缩比且更好保留数据细节。
2024-09-26 cs.AI cs.DC cs.LG
Lossy Compression for Lossless Prediction
Vector Institute(向量研究所);The University of British Columbia(英属哥伦比亚大学);Facebook AI Research(脸书人工智能研究院);University of Toronto(多伦多大学)
大多数数据是自动收集的,只有算法才能“看到”。然而,数据压缩器保留感知保真度,而不仅仅是执行下游任务的算法所需的信息。在本文中,我们描述了确保所有预测任务的高性能所需的比特率,这些预测任务在一组变换下是不变的,例如数据增强。基于我们的理论,我们设计了用于训练神经压缩器的无监督目标。使用这些目标,我们训练了一个通用的图像压缩器,与JPEG相比,在8个数据集上实现了大幅的速率节省(在ImageNet上超过$1000\times$),而不会降低下游分类性能。
2022-01-28 cs.IT cs.LG math.IT
Quantifying the Impact of Lossy Compression on Neural Generative Surrogate Modeling
LLNL-CONF-2007282
研究有损压缩训练数据对生成代理模型质量的影响,提出利用神经网络训练不确定性估计压缩容错阈值的方法,在保持模型质量的同时实现高达39倍的数据存储节省和3倍的训练加速。
2026-06-16 cs.AI cs.DC cs.LG
Network Adaptive Federated Learning: Congestion and Lossy Compression
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
为了实现分布式数据的隐私和学习的双重目标,联邦学习(FL)系统依赖于一组客户端和服务器之间频繁交换大文件(模型更新)。因此,FL系统暴露于跨广泛的网络资源集合的拥塞,或者实际上是跨广泛的网络资源集合的拥塞的原因。有损压缩可用于减少交换文件的大小和相关延迟,代价是向模型更新添加噪声。通过明智地调整客户端的压缩以适应不同的网络拥塞,FL应用程序可以减少挂钟训练时间。为此,我们提出了一个网络自适应压缩(NAC-FL)的政策,它动态地改变客户端的有损压缩选择网络拥塞的变化。在适当的假设下,我们证明了NAC-FL在直接最小化预期挂钟训练时间方面是渐近最优的。此外,我们通过模拟表明,NAC-FL实现了鲁棒的性能改进,在设置中具有更高的增益与时间上的正相关延迟。
2023-01-11 cs.LG cs.NI math.PR
Weightless: Lossy Weight Encoding For Deep Neural Network Compression
Harvard University(哈佛大学)
深度神经网络的大存储器需求限制了它们在许多设备上的部署和采用。模型压缩方法通常通过应用诸如权重修剪或量化之类的变换来有效地减少这些模型的存储器需求。在本文中,我们提出了一种新的方案,有损重量编码,补充传统的压缩技术。编码基于Bloomier滤波器,这是一种概率数据结构,可以以引入随机错误为代价来节省空间。利用神经网络容忍这些缺陷的能力,并通过围绕错误进行重新训练,所提出的技术Weightless可以在相同的模型精度下将DNN权重压缩高达496倍。这导致与最先进技术相比提高了1.51倍。
2017-11-13 cs.LG stat.ML
Foundation Model for Lossy Compression of Spatiotemporal Scientific Data
University of Florida(佛罗里达大学)
提出结合VAE、超先验和超分辨率模块的科学数据有损压缩基础模型,通过2D/3D交替卷积高效捕捉时空相关性,泛化性强且压缩比最高提升4倍。
2024-12-22 cs.LG
Machine Perceptual Quality: Evaluating the Impact of Severe Lossy Compression on Audio and Image Models
University of Texas at Austin(德克萨斯大学奥斯汀分校);Intel Labs, Intel Corporation(英特尔实验室,英特尔公司)
本文系统评估严重有损压缩对图像分类、分割、语音识别和音乐源分离等机器感知任务的影响,发现生成式压缩可在高度压缩下保持机器感知质量,并揭示深度相似性指标与预训练中有损压缩的反直觉增益。
2024-01-15 cs.CV cs.LG cs.SD
End-to-end learned Lossy Dynamic Point Cloud Attribute Compression
提出端到端动态点云属性有损压缩方法,利用高维卷积和上下文模型,相比MPEG RAHT平均节省38.1%码率。
2024-08-20 cs.LG eess.IV
Deep Generative Models for Distribution-Preserving Lossy Compression
ETH Zürich(苏黎世联邦理工学院);Google AI Perception(谷歌人工智能感知部);Google Brain(谷歌大脑)
提出并研究了保分布有损压缩问题。受最近的进展,在极端的图像压缩,允许保持伪影的重建,即使在非常低的比特率,我们建议优化率失真权衡的约束下,重建的样本遵循分布的训练数据。由此产生的压缩系统恢复了频谱的两端:一方面,在零比特率下,它学习数据的生成模型,而在足够高的比特率下,它实现了完美的重建。此外,对于中间比特率,它在学习训练数据的生成模型和完美地重建训练样本之间平滑地插值。我们研究了几种方法来近似解决所提出的优化问题,包括一种新的组合Wasserstein GAN和Wasserstein自动编码器,并提出了一个广泛的理论和经验表征的压缩系统。
2018-10-28 cs.LG stat.ML
Hierarchical Autoencoder-based Lossy Compression for Large-scale High-resolution Scientific Data
Texas A&M University(德克萨斯农工大学);School of Performance, Visualization, and Fine Arts(表演、可视化与美术学院)
本文提出一种基于分层自编码器的神经网络,用于大规模高分辨率科学数据有损压缩,在多个科学基准上达到140倍压缩比,并在CESM 500年2D气候数据上达到200倍且误差可忽略。
2024-05-06 cs.AI cs.LG eess.IV
Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression
Indiana University(印第安纳大学);Meta;University of Rochester(罗切斯特大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文针对DLRM训练中全对全通信瓶颈,提出基于误差有界有损压缩的双层自适应方法,在表级和迭代级动态调整误差界,并针对GPU优化压缩器,最终实现1.38倍训练加速且精度损失极小。
2024-10-01 cs.DC cs.LG
Modeling Lost Information in Lossy Image Compression
Microsoft Research Asia(微软亚洲研究院);University of Toronto(多伦多大学);Peking University(北京大学)
有损图像压缩是数字图像最常用的算子之一。最近提出的基于深度学习的图像压缩方法利用了自动编码器结构,并在该领域取得了一系列有前途的成果。首先将图像编码成低维的潜在特征,然后利用统计冗余进行熵编码。然而,在编码过程中丢失的信息是不可避免的,这对解码器重建原始图像提出了重大挑战。在这项工作中,我们提出了一种新的可逆框架称为可逆有损压缩(ILC),在很大程度上减轻信息丢失的问题。具体地说,ILC引入可逆编码模块来代替编码器-解码器结构,以产生低维的信息潜在表示,同时将丢失的信息转换为辅助潜在变量,不再进一步编码或存储。隐变量被量化并编码成比特流,并且被强制遵循指定的分布,即各向同性高斯分布。以这种方式,通过容易地绘制替代潜在变量并应用具有采样变量和解码的潜在特征的模块的逆过程,使恢复原始图像变得易于处理。实验结果表明,在图像压缩方法中,用一个新的组件代替自动编码器,结合现有的压缩算法,ILC在广泛的基准数据集上的性能明显优于基线方法。
2020-07-08 cs.CV cs.LG
Lossy Compression with Distortion Constrained Optimization
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
当训练用于有损压缩的端到端学习模型时,必须平衡速率和失真损失。这通常通过手动设置折衷参数$β$来完成,该方法称为$β$ -VAE。使用这种方法很难确定特定的速率或失真值,因为结果可能对$β$非常敏感,而$β$的适当值取决于模型和问题设置。结果,模型比较需要广泛的每模型$β$调谐,并为要比较的每个模型产生整个速率-失真曲线(通过改变$β$)。我们认为,Rezeland和Viola,2018的约束优化方法更适合于训练有损压缩模型,因为它允许我们在失真约束下获得最佳可能的速率。这通过训练具有相同失真目标的两个模型并比较它们的速率来实现逐点模型比较。我们表明,该方法确实能够满足现实的图像压缩任务的约束,优于铰链损失的基础上的约束优化方法,并且比$β$ -VAE更实用的用于模型选择。
2020-05-08 cs.LG stat.ML
Lossless (and Lossy) Compression of Random Forests
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
包围方法是最先进的预测建模方法之一。应用于现代大数据,这些方法通常需要大量的子学习器,其中每个学习器的复杂性通常随着数据集的大小而增长。这种现象导致对存储空间的需求增加,这可能非常昂贵。这个问题主要表现在基于订户的环境中,其中用户特定的系综需要存储在具有严格存储限制的个人设备(诸如蜂窝设备)上。在这项工作中,我们介绍了一种新的无损压缩基于树的集成方法,专注于随机森林。我们建议的方法是基于概率建模的合奏的树木,然后通过Bregman分歧模型聚类。这使我们能够找到一个最小的模型集,它提供了对树的准确描述,同时又足够小,可以存储和维护。我们的压缩方案在各种现代数据集上展示了高压缩率。重要的是,我们的方案可以从压缩格式进行预测,并完美地重建原始系综。此外,我们引入了一个理论上健全的有损压缩计划,这使得我们能够控制失真和编码率之间的权衡。
2018-10-26 cs.LG stat.ML
Evaluating Lossy Compression Rates of Deep Generative Models
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究院);Borealis AI(博瑞利斯人工智能研究所)
深度生成建模领域已经成功地产生了非常逼真的图像和音频,但定量评估仍然是一个挑战。对数似然是一个有吸引力的度量,由于其在统计学和信息论的基础,但它可能是具有挑战性的估计隐式生成模型,标量值度量给出了一个不完整的图片模型的质量。在这项工作中,我们建议使用率失真(RD)曲线来评估和比较深度生成模型。虽然估计RD曲线似乎比对数似然估计的计算要求更高,但我们表明,我们可以使用与以前用于实现单个对数似然估计的几乎相同的计算来近似整个RD曲线。我们在MNIST和CIFAR10数据集上评估了VAE、GANs和对抗自动编码器(AAE)的有损压缩率。测量整个RD曲线给出了比标量值度量更完整的图像,并且我们得出了一些仅从对数似然性无法获得的见解。
2020-08-15 cs.LG stat.ML