Bayesian Compression for Natural Language Processing
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
在自然语言处理中，很多任务都是用递归神经网络成功地解决的，但是这样的模型有大量的参数。这些参数中的大多数通常集中在嵌入层中，其大小与词汇长度成比例地增长。我们提出了一种用于RNN的贝叶斯稀疏化技术，该技术允许将RNN压缩数十或数百次，而无需耗时的超参数调整。我们还推广了词汇稀疏化的模型，以过滤掉不必要的单词，并进一步压缩RNN。我们表明，保留的话的选择是可解释的。代码可以在github上找到：https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Identifying Causal Direction via Variational Bayesian Compression
Deakin Applied Artificial Intelligence Initiative, Deakin University, Geelong, Australia（德金应用人工智能倡议，德金大学，澳大利亚Geelong）
针对观测数据下因果方向识别问题，提出利用神经网络的变分贝叶斯学习解释代码长度，在保持简洁性的同时提升模型拟合度并降低计算复杂度，实验证明其在多数据集上性能显著提升。
2025-08-14 cs.LG stat.ML
Bayesian Tensorized Neural Networks with Automatic Rank Selection
University of California, Santa Barbara（加州大学圣巴巴拉分校）
张量分解是压缩过参数化神经网络并使其能够部署在资源受限的硬件平台上的有效方法。然而，在训练过程中直接应用张量压缩是一项具有挑战性的任务，因为很难选择合适的张量秩。为了实现这一目标，本文提出了一种贝叶斯张量化神经网络。我们的贝叶斯方法执行自动模型压缩通过自适应张量秩的确定。我们还提出了后验密度计算和最大后验（MAP）估计的方法，我们的张量神经网络的端到端的训练。我们提供了一个完全连接的神经网络，一个CNN和一个残差神经网络的实验验证，我们的工作产生$7.4\times$ $137\times$更紧凑的神经网络直接从训练。
2019-05-24 cs.LG stat.ML
Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
Cyprus University of Technology（塞浦路斯理工大学）；University of Patras（帕特雷大学）；Rutgers University（罗格斯大学）
高效记忆的连续手语翻译是开发实时适用于聋人的辅助技术的一个重大挑战。在这项工作中，我们介绍了一种设计递归深度网络的范例，其中递归层的输出来自非参数统计的适当参数。提出了一种新的变分贝叶斯序列到序列网络结构，该结构包括：a）用于数据驱动存储压缩的全高斯后验分布和b）用于应用于门控递归单元非门权重的正则化的非参数Indian Buffet过程先验。我们将我们的方法称为Stick-Breaking Recurrent网络，并表明它可以在不降低建模性能的情况下实现大幅的权重压缩。
2021-02-11 cs.LG stat.ML
BMRS: Bayesian Model Reduction for Structured Pruning
University of Copenhagen（哥本哈根大学）
本文提出一种端到端的贝叶斯结构化剪枝方法BMRS，基于乘性噪声与贝叶斯模型约简，通过不同先验实现高压缩率与准确率，实验证明其性能与效率折衷方案具竞争力。
2024-12-20 cs.LG stat.ML
Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference
State University of New York at Buffalo（纽约州立大学布法罗分校）；Microsoft Research Redmond（微软研究院雷德蒙德分院）；Yahoo Research（雅虎研究院）；Duke University（杜克大学）
神经注意力机制在许多自然语言处理应用中起着重要的作用。特别是，多头注意力的使用扩展了单头注意力，允许模型从不同的角度共同关注信息。然而，如果没有明确的约束，多头注意力可能会遭受注意力崩溃，这使得不同的头部提取相似的注意力特征，从而限制了模型的表示能力。在本文中，我们首次从贝叶斯的角度提供了一个新的理解多头注意力。基于最近发展起来的粒子优化采样技术，我们提出了一种非参数的方法，显式地提高了排斥多头注意力，从而加强模型的表达能力。值得注意的是，我们的贝叶斯解释提供了理论上的启发，不太明白的问题：为什么和如何使用多头注意力。在各种注意力模型和应用上的大量实验表明，所提出的排斥性注意力可以提高学习的特征多样性，从而在各种任务上具有一致的性能改善的更多信息表示。
2020-11-02 cs.LG stat.ML
Bayesian Optimized Continual Learning with Attention Mechanism
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
虽然神经网络在各种应用中取得了很大的进展，但对它们来说，从连续的任务流中学习而不忘记仍然是一个高度挑战。持续学习是一种新的学习范式，旨在解决这一问题。在这项工作中，我们提出了一个新的模型，持续学习，称为贝叶斯优化的持续学习注意力机制（BOCL），动态地扩大网络容量的到来时，新的任务贝叶斯优化和选择性地利用以前的知识（例如，以前的任务的特征图）通过注意力机制。我们对MNIST和CIFAR-100变体的实验表明，我们的方法在防止灾难性遗忘和更好地适应新任务方面优于最先进的方法。
2019-05-10 cs.LG stat.ML
Extreme data compression for Bayesian model comparison
本文提出基于 MOPED 与得分压缩的极端数据压缩方法用于贝叶斯模型比较，证明线性高斯情形下贝叶斯因子保持不变，并在非线性与超新星数据中验证其近似无损且能降低证据抽样方差、节省计算时间。
2023-07-13 astro-ph.CO astro-ph.IM stat.ME
Regional summaries of Bayesian model uncertainty
Department of Mathematics and Statistics（数学与统计学系）；University of Calgary（卡尔加里大学）；Eastern Kentucky University（东部 Kentucky 大学）
针对预测变量冗余导致后验质量分散的问题，提出通过密度比后验压缩生成硬或软支持区域报告，提供可计算的失真度量、诊断指标和误差界，实现用少量区域替代大量单个支持并保持主要后验信息。
2026-10-20 cs.LG stat.ME stat.ML
Variational Bayesian Quantization
University of California, Irvine（加州大学尔湾分校）
我们提出了一种新的算法，用于量化训练模型中的连续潜在表示。我们的方法适用于深度概率模型，如变分自编码器（VAE），并支持数据和模型压缩。与当前的端到端神经压缩方法不同，该方法将模型迎合固定的量化方案，我们的算法将模型设计和训练与量化分离。因此，我们的算法使“即插即用”压缩与可变率失真的权衡，使用一个单一的训练模型。我们的算法可以被看作是一种新的扩展算术编码的连续域，并使用自适应量化精度的基础上估计的后验不确定性。我们的实验结果表明，考虑到后验不确定性的重要性，并表明，图像压缩与所提出的算法优于JPEG在很宽的范围内的比特率，只使用一个标准的VAE。贝叶斯神经词嵌入的进一步实验证明了所提出的方法的通用性。
2020-09-07 cs.CV cs.LG eess.IV
Continual Learning from the Perspective of Compression
University of Groningen（格罗宁根大学）；Mila（米拉人工智能研究所）
连接主义模型，如神经网络，遭受灾难性遗忘。在这项工作中，我们从信息论的角度来研究这个问题，并定义遗忘为以前的数据的描述长度的增加时，他们被压缩的顺序学习模型。此外，我们表明，持续学习方法的基础上变分后验近似和生成重放可以被认为是近似的两个prequential编码方法的压缩，即贝叶斯混合代码和最大似然（ML）插件代码。我们比较这些方法的压缩和遗忘和经验研究的原因，限制性能的持续学习方法的基础上变分后验近似。为了解决这些限制，我们提出了一种新的持续学习方法，结合ML插件和贝叶斯混合代码。
2020-06-26 cs.LG cs.NE stat.ML
Compression with Bayesian Implicit Neural Representations
University of Cambridge（剑桥大学）
本文提出用变分贝叶斯神经网络过拟合数据并结合相对熵编码进行压缩，通过最小化β-ELBO直接优化率失真性能，在图像和音频压缩上表现优异。
2023-10-29 cs.IT cs.LG math.IT
Attention-Bayesian Hybrid Approach to Modular Multiple Particle Tracking
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Centrale Med（中央马赛医学院）
针对高杂波多粒子跟踪中的轨迹组合爆炸问题，提出Transformer软关联剪枝与贝叶斯滤波结合的混合框架，提升精度及对虚假检测的鲁棒性。
2025-06-11 cs.LG stat.ML
Bayesian Attention Belief Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Xidian University（西安电子科技大学）
基于注意力的神经网络已经在广泛的任务上取得了最先进的成果。大多数此类模型使用确定性注意，而随机注意由于优化困难或复杂的模型设计而较少探索。本文介绍了贝叶斯注意力信念网络，它构造了一个解码器网络建模未规范化的注意力权重与伽玛分布的层次，和一个编码器网络堆叠Weibull分布与确定性向上随机向下的结构，以近似后验。由此产生的自动编码网络可以以具有变分下界的可微方式进行优化。将任何具有确定性注意力的模型（包括预先训练的模型）转换为所提出的贝叶斯注意力信念网络是很简单的。在各种语言理解任务中，我们证明了我们的方法在准确性、不确定性估计、跨域泛化和对对抗攻击的鲁棒性方面优于确定性注意和最先进的随机注意。我们进一步证明了我们的方法在神经机器翻译和视觉问答上的普遍适用性，显示出将我们的方法纳入各种注意力相关任务的巨大潜力。
2021-06-09 cs.CL cs.LG stat.ML
Bayesian sparsity and class sparsity priors for dictionary learning and coding
Oak Ridge National Laboratory（橡树岭国家实验室）；Case Western Reserve University（凯斯西储大学）
提出贝叶斯框架下的字典压缩误差补偿与组稀疏编码方法，通过子字典压缩和降维，降低字典匹配的计算复杂度，并在LIGO毛刺检测和高光谱遥感中验证有效性。
2023-09-02 cs.LG cs.NA math.NA
Push Puppet Networks: Structured Bayesian Pruning Algorithm for Language Model Compression
提出推杆网络，一种结构化贝叶斯剪枝算法，通过层次惩罚函数学习门控参数，在不加载完整模型的情况下将网络剪枝至特定大小，在高剪枝率下优于现有方法并实现GPU加速。
2026-06-29 stat.AP
Bayesian Attention Modules
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Xidian University（西安电子科技大学）
注意力模块作为一种简单有效的工具，不仅使深度神经网络在许多领域取得了最先进的结果，而且还增强了其可解释性。目前大多数模型使用确定性注意模块，由于其简单性和易于优化。另一方面，随机对应物尽管有潜在的好处，但不太受欢迎。主要原因是随机注意力经常引入优化问题或需要显著的模型改变。在本文中，我们提出了一个可扩展的随机版本的注意力，易于实现和优化。我们通过将可重参数化的分布归一化来构造单纯形约束的注意力分布，使训练过程可微。我们在贝叶斯框架中学习它们的参数，其中引入了数据相关的先验来进行正则化。我们将所提出的随机注意模块应用于各种基于注意力的模型，并应用于图节点分类，视觉问答，图像字幕，机器翻译和语言理解。我们的实验表明，所提出的方法带来了一致的改善，在相应的基线。
2020-10-20 cs.LG cs.NE stat.ML
A Tutorial on Bayesian Analysis of Linear Shock Compression Data
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Sandia National Laboratories（桑迪亚国家实验室）
本文介绍利用贝叶斯方法对线性冲击压缩数据进行分析，通过两步贝叶斯方法生成压力-体积平面中的一系列Hugoniot曲线，与传统线性回归和自助法相比，该方法更具可解释性和计算效率。
2026-07-21 physics.data-an stat.AP
The Bayesian Geometry of Transformer Attention
Columbia University（哥伦比亚大学）；Columbia University School of Professional Studies（哥伦比亚大学专业研究学院）；Department of Statistics（统计学系）；Columbia University Department of Computer Science（哥伦比亚大学计算机科学系）
本文通过构建贝叶斯风道，验证了Transformer在上下文中的贝叶斯推理能力，发现其通过几何机制实现后验更新与路由，揭示了注意力机制的必要性及扁平架构的不足。
2026-05-16 cs.AI cs.LG stat.ML
Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence
Racah Institute of Physics, Hebrew University of Jerusalem（拉卡学院物理研究所，耶路撒冷希伯来大学）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（约翰·A·保罗森工程与应用科学学校，哈佛大学）；Institute for Advanced Simulation (IAS-6), Computational and Systems Neuroscience, Jülich Research Center（高级模拟研究所（IAS-6），计算与系统神经科学，茹里奇研究中心）；Institute of AI for Health, Helmholtz Munich（健康人工智能研究所，海德堡-穆恩）；RWTH Aachen University（亚琛工业大学）；Department of Physics, Faculty 1, RWTH Aachen University（物理系，亚琛工业大学）
通过分析单层softmax注意力网络在复制任务上的训练，提出贝叶斯理论揭示注意力矩阵的后验分布存在相变，并对比线性注意力发现softmax注意力呈现一阶相变。
2026-06-11 cond-mat.dis-nn cs.LG stat.ML
Robust Bayesian compressive sensing for signals in structural health monitoring
在结构健康监测（SHM）系统中，通常会产生大量的数据，这些数据需要数据压缩技术来降低信号传输和存储的成本。压缩传感（CS）是一种新型的数据采集方法，其中压缩在传感器中与采样同时进行。如果原始感测信号在某个基础方面足够稀疏，则可以基本上完美地进行解压缩直到某个临界压缩比。在这篇文章中，贝叶斯压缩感知（BCS）方法进行了研究，使用稀疏贝叶斯学习从压缩传感器重建信号。通过明确量化重建信号中的不确定性，BCS技术表现出明显的优势，超过现有的正则化范数最小化CS方法，提供一个单一的信号估计。然而，当前BCS算法遭受鲁棒性问题：有时，当测量的数量远小于以直接采样的形式准确地捕获信号所需的信号自由度的数量时，重构误差非常大。在本文中，我们提出了改进的BCS重建方法，以提高其鲁棒性，使更高的压缩比可以使用，我们研究有效地压缩数据和准确地解压it.Synthetic数据和实际的加速度数据收集的桥梁SHM系统之间的权衡作为例子。与现有的BCS重建算法相比，改进的BCS重建算法表现出更好的性能。在相同的重建误差下，BCS算法可以在较大的压缩比下工作，并且可以在较高的压缩比下获得理想的无损压缩性能。此外，信号重建的误差线也被有效地量化。
2014-12-14 stat.AP
Efficient in-situ image and video compression through probabilistic image representation
对于大量高分辨率图像和视频的有效存储和传输，用于多维图像的快速和有效的图像压缩已经变得越来越重要。压缩方法中的期望属性包括（1）在宽范围的压缩率下的高重构质量，同时保留关键局部细节，（2）计算可缩放性，（3）对各种不同图像/视频类型和不同维度的适用性，（4）渐进传输，以及（5）易于调谐。我们提出了这样一种多维图像压缩的方法，称为自适应递归分区压缩（CARP）。CARP使用从图像的递归分区上的贝叶斯概率模型推断的图像像素的最佳排列来降低其有效维度，从而实现保留信息的简约表示。CARP使用多层贝叶斯分层模型来实现原位压缩以及自调整和正则化，用户只需指定一个参数即可实现所需的压缩率。使用各种数据集（包括2D静态图像，真实YouTube视频和监控视频）进行的大量数值实验表明，CARP在所有这些不同图像类型以及几乎所有单个图像和视频的压缩方法中占主导地位-包括JPEG，JPEG 2000，BPG，MPEG4，HEVC和基于神经网络的方法。
2020-11-12 eess.IV stat.AP
Integrating Response Time and Attention Duration in Bayesian Preference Learning for Multiple Criteria Decision Aiding
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Institute of Computing Science, Poznan University of Technology（波兹南理工大学计算科学研究所）；Hubei University of Economics（湖北经济学院）
提出整合响应时间与注意力时长的多准则贝叶斯偏好学习框架，通过加性价值函数和贝叶斯后验推断，利用行为线索提升偏好重构准确性，实验验证其优于传统方法。
2025-04-21 cs.LG stat.AP
Sketching in Bayesian High Dimensional Regression With Big Data Using Gaussian Scale Mixture Priors
使用马尔可夫链蒙特卡罗（MCMC）或其变体对具有流行的高斯尺度混合先验分布的高维线性回归模型进行贝叶斯计算可能非常慢或完全禁止，这是由于以p的立方阶增长的大量计算成本，其中p为特征的数量。尽管最近开发的一些算法使得在小到中等大的样本量（复杂度以n的立方阶增长）的情况下计算有效，但是当样本量n也很大时，计算变得难以处理。本文采用数据素描的方法，将n个原始样本通过随机线性变换压缩为m<<n个p维样本，并利用随机压缩的响应向量和特征矩阵计算高斯尺度混合先验分布的贝叶斯回归。我们提出的方法产生的计算复杂度增长的立方阶m。这种压缩过程的另一个重要动机是，它通过在分析过程中揭示关于原始数据的很少信息来匿名化数据。我们的详细的经验调查与马蹄事先从类高斯规模的混合先验显示出非常相似的推理和大量减少的每迭代计算时间的方法相比，与全样本的回归。本文的一个显著贡献是在数据压缩/草图化条件下，导出了高维预测系数的后验收缩率，并给出了一般的收缩先验。特别是，我们的特征的压缩响应向量m的大小作为一个函数的样本量，预测和稀疏的回归，以保证准确估计的预测系数渐近，即使在数据压缩后。
2021-05-11 stat.ME
Non-Vacuous Generalization Bounds at the ImageNet Scale: A PAC-Bayesian Compression Approach
Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
现代神经网络是高度过参数化的，具有显著过拟合训练数据的能力。尽管如此，这些网络在实践中通常具有很好的泛化能力。人们还观察到，经过训练的网络通常可以被“压缩”为更小的表示。本文的目的是将这两个经验观察联系起来。我们的主要技术成果是压缩网络的压缩大小的基础上的泛化界。结合现成的压缩算法，该边界导致最先进的泛化保证;特别是，我们为应用于ImageNet分类问题的现实架构提供了第一个非空泛化保证。作为连接压缩和泛化的额外证据，我们证明了倾向于过拟合的模型的可压缩性是有限的：我们建立了预期可压缩性的绝对限制，作为预期泛化误差的函数，其中预期是随机选择的训练样本。经验结果表明，过度拟合的增加意味着描述训练网络所需的比特数增加。
2019-02-25 cs.LG stat.ML
Self-Compression in Bayesian Neural Networks
Rowan University（罗文大学）
机器学习模型已经在各种任务上实现了人类水平的性能。这种成功是以计算和存储开销的高成本为代价的，这使得机器学习算法难以在边缘设备上部署。通常，必须部分牺牲准确性，以有利于在减少内存使用和能耗方面量化的提高性能。目前的方法通过降低参数的精度或通过消除冗余参数来压缩网络。在本文中，我们提出了一个新的见解网络压缩通过贝叶斯框架。我们表明，贝叶斯神经网络自动发现模型参数中的冗余，从而实现自压缩，这与通过网络层的不确定性的传播有关。我们的实验结果表明，网络架构可以成功地压缩，删除网络本身确定的参数，同时保持相同的精度水平。
2021-11-10 cs.AI cs.CV cs.LG
Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Cloud, China（华为云）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对大语言模型低秩压缩中特征分布估计与低秩维度分配难题，提出基于池化协方差矩阵和贝叶斯优化的自适应方法，在LLaMA-2上以相同压缩比优于现有剪枝与低秩压缩技术。
2025-02-23 cs.CL cs.LG
Structured Bayesian Compression for Deep Neural Networks Based on The Turbo-VBI Approach
The Hong Kong University of Science and Technology（香港科技大学）
针对深度神经网络剪枝中稀疏结构不规则导致硬件开销高的问题，本文提出三层分层先验及高效Turbo-VBI算法，实现权重级和神经元级结构化稀疏，在提升压缩率与推理精度的同时获得更规则的剪枝结构。
2023-02-21 cs.LG
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
Purdue University（普渡大学）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
提出SQS统一框架，通过贝叶斯变分学习结合尖峰-平板先验和高斯混合模型，实现神经网络同步剪枝与低位量化，在保持性能的同时获得更高压缩率。
2026-09-09 cs.AI cs.LG
PCAS: Pruning Channels with Attention Statistics for Deep Network Compression
Oki Electric Industry Co., Ltd.（冲电气工业株式会社）
深度神经网络的压缩技术对于在小型嵌入式设备上实现它们非常重要。特别是，信道修剪是实现紧凑网络的有用技术。然而，许多常规方法需要手动设置每层中的压缩比。很难分析所有层之间的关系，特别是对于更深的模型。为了解决这些问题，我们提出了一个简单的通道修剪技术的基础上注意力统计，使评估渠道的重要性。我们通过自动通道选择的标准改进了该方法，对整个模型使用单个压缩比代替逐层模型分析。所提出的方法在精度和计算成本方面优于传统方法，用于各种模型和数据集。我们提供了不同数据集上所提出的标准的行为的分析结果，以证明其良好的性能，通道修剪。
2019-08-20 cs.CV cs.LG stat.ML
Bayesian Federated Model Compression for Communication and Computation Efficiency
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对联邦学习的通信与计算效率问题，提出融合分层稀疏先验与去中心化Turbo框架的D-Turbo-VBI算法，可双向降低通信开销与本地推理复杂度，且已证明收敛性，实验效果优于基线。
2024-04-11 cs.AI cs.DC cs.LG
RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations
University of Cambridge（剑桥大学）；University of Science and Technology of China（中国科学技术大学）
针对现有基于贝叶斯隐式神经表征的压缩方法COMBINER的三项局限，提出RECOMBINER方法，通过权重重参数化、可学习位置编码、分块与分层先验优化性能，在多模态实验中效果优异，低比特率低分辨率图像任务优于自编码器编解码器。
2024-03-07 cs.LG
Bayesian Optimization in Variational Latent Spaces with Dynamic Compression
KTH Royal Institute of Technology（KTH皇家理工学院）；Facebook AI Research（脸书人工智能研究院）
数据效率对于自主机器人适应新的任务和环境至关重要。在这项工作中，我们专注于机器人问题，预算只有10-20次试验。这是一个非常具有挑战性的设置，即使是像贝叶斯优化（BO）这样的数据高效方法，特别是在优化高维控制器时。模拟的轨迹可以用于构造BO的知情内核。然而，以前的工作采用监督的方式提取这些低维特征。我们提出了一个模型和体系结构的顺序变分自编码器，嵌入到一个低维空间的潜在路径在无监督的方式模拟轨迹的空间。我们进一步压缩的搜索空间BO减少探索的状态空间的一部分，是不可取的，而不需要明确的约束控制器参数。我们验证了我们的方法与硬件实验的菊花六足机器人和ABB Yumi机械手。我们还提出了模拟实验，进一步比较几个基线的雏菊和两个机械手。我们的实验表明，所提出的基于随机性的动态压缩内核可以提供超数据效率的优化。
2019-07-10 cs.LG cs.RO
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton（南安普顿大学）；Fuzhou University（福州大学）
传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Parameter-free Adaptive Sparse Attention via Compression-Based Content Selection
The Pennsylvania State University（宾夕法尼亚州立大学）
研究如何实现无参数自适应稀疏注意力，核心方法是利用gzip压缩率识别内容块来动态生成稀疏掩码，主要贡献是在语言建模实验中性能超越其他模型，无参数添加且随序列长度优势扩大、收敛更快。
2026-07-27 cs.LG
GABIC: Graph-based Attention Block for Image Compression
University of Turin（都灵大学）
本文提出 GABIC 模块，利用 k-最近邻增强注意力机制减少图像压缩中的特征冗余，实验表明其在高比特率下优于同类方法并提升压缩性能。
2024-10-03 cs.CV cs.LG eess.IV
An Overview of Neural Network Compression
University of Liverpool（利物浦大学）
经过收敛训练的超参数化网络在计算机视觉和自然语言处理等领域表现出令人印象深刻的性能。在这些领域中推动最先进的任务，对应于这些模型变得越来越大，机器学习从业者越来越难以使用，因为内存和存储需求不断增加，更不用说更大的碳足迹了。因此，近年来，模型压缩技术出现了复苏，特别是对于深度卷积神经网络和基于自注意力的网络，如Transformer。因此，本文及时概述了用于深度神经网络的新旧压缩技术，包括修剪、量化、张量分解、知识蒸馏及其组合。我们假设基本熟悉深度学习架构\footnote{For an introduction to deep learning, see ~\citet{goodfellow2016deep}}，即循环神经网络~ \citep [（RNNs）][]{rumelhart 1985 learning，hochreiter 1997 long}，卷积神经网络~ \citep{fukushima1980neocognitron} ~ \footnote{For an up to date overview see~\citet{khan2019survey}}和基于自我注意力的网络~ \citep{vaswani2017attention} \footnote{For a general overview of self-attention networks, see ~…
2020-08-01 cs.LG stat.ML
Rank Selection of CP-decomposed Convolutional Layers with Variational Bayesian Matrix Factorization
University of Science and Technology（科学技术大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
卷积神经网络（Convolutional Neural Networks，CNN）是一种在图像分类等领域取得成功的方法。然而，由于内存和计算能力的限制，CNN推理所需的内存量和计算成本阻碍了它们在移动设备中有效运行。压缩CNN的方法之一是迭代地压缩层，即通过逐层压缩和微调，在卷积层中进行CP分解。为了用CP分解进行压缩，秩的选择是重要的。在以前的方法秩选择的基础上，每一层的灵敏度，平均秩的网络仍然是任意选择的。此外，在整个迭代压缩过程之前，确定了所有层的秩，而一个层的秩可以通过微调来改变。因此，本文提出使用变分贝叶斯矩阵分解（VBMF）来选择每一层的秩，这比任意的方法更系统。此外，为了考虑在先前迭代的微调之后每个层的秩的变化，该方法在压缩目标层之前应用，即在先前迭代的微调之后应用。结果显示更好的准确性，同时在AlexNet的卷积层压缩中也具有更高的压缩率。
2018-01-16 cs.LG
Communication Efficient Split Learning of ViTs with Attention-based Double Compression
Department of Computer, Control, and Management Engineering (DIAG)（计算机、控制与管理工程系）；Department of Information Engineering, Electronics, and Telecommunications (DIET)（信息工程、电子与电信系）；Consorzio Nazionale Interuniversitario per le Telecomunicazioni (CNIT)（全国大学电信联合体）
本文提出基于注意力的双重压缩（ADC）分割学习框架，通过合并相似激活和丢弃不重要token来降低ViTs中间激活的通信开销，在保持高准确率的同时优于现有SL方法。
2025-09-18 cs.AI cs.CV cs.LG
A Self-Pruning Transformer: Extreme KV-Cache Compression with Universal Attention
IBM Research（IBM研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出通用注意力机制，通过复合衰减实现自适应KV缓存剪枝，在保持性能的同时达到10倍压缩，并在长上下文下实现25倍压缩。
2026-10-08 cs.LG
Attention Sinks and Compression Valleys in LLMs are Two Sides of the Same Coin
University of Oxford（牛津大学）；AITHYRA；New York University（纽约大学）
本研究揭示了大语言模型中注意力沉降与压缩山谷的联系，提出信息流的Mix-Compress-Refine理论，解释LLM如何通过大规模激活控制注意力和压缩来组织深度计算。
2026-02-09 cs.AI cs.LG
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
Hunan University（湖南大学）；Tencent（腾讯）
提出自索引注意力框架，利用共享变换域符号-幅度表示实现预填充与解码阶段的统一令牌检索，支持KV缓存压缩，在5%密度下接近密集注意力性能并显著加速。
2026-10-08 cs.CL cs.IR cs.LG
AttentionPredictor: Temporal Patterns Matter for KV Cache Compression
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知联合实验室，中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）
提出AttentionPredictor，首个基于学习的KV缓存压缩方法，通过统一卷积模型预测注意力模式，实现13倍压缩和5.6倍加速，显著提升LLM推理效率。
2025-10-26 cs.CL cs.LG
V-CoLA: Vision Token Compression with Linear Attention
Alibaba Cloud Computing, Alibaba Group（阿里巴巴集团阿里云计算）
针对视觉-语言模型因视觉令牌主导输入序列导致计算开销大的问题，提出专为线性注意力设计的无训练压缩框架V-CoLA，通过感知唯一性的重要性准则与自适应令牌合并策略，在大幅减少视觉令牌的同时保持高性能并提升预填充速度。
2026-10-21 cs.CV cs.LG
Bayesian Deep Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出EM-TDAMP算法，将DNN学习与压缩建模为稀疏贝叶斯推断问题，通过期望最大化与turbo深度近似消息传递实现高效学习和结构化压缩，并扩展至贝叶斯联邦学习框架，在波士顿房价预测和手写识别中验证了其优势。
2024-06-09 cs.AI cs.LG
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
Microsoft Applied Sciences Group (ASG)（微软应用科学组（ASG））
AttSVD通过基于提示注意力几何的在线截断SVD压缩KV缓存，保留所有令牌并自适应调整秩，在多种模型和基准上以最多50%内存保持与密集缓存相当的性能。
2026-10-07 cs.AI cs.LG
SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）；Tencent（腾讯）
针对长上下文LLM的KV缓存内存瓶颈，提出联合令牌-特征压缩方法SlimKV，利用低秩感知训练和位置不对称性实现无重建注意力，在保持高压缩比下性能领先并显著加速解码。
2026-10-05 cs.LG
Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
Purdue University（普渡大学）
提出Eigen Attention，在低秩空间进行注意力操作以压缩KV缓存，与现有技术兼容，在OPT、MPT、Llama上实现缓存大小减40%、延迟减60%，性能损失小。
2024-11-08 cs.AI cs.CL cs.LG
Efficient Contextformer: Spatio-Channel Window Attention for Fast Context Modeling in Learned Image Compression
Technical University of Munich（慕尼黑工业大学）；Friedrich-Alexander University（弗里德里希-亚历山大大学）；Huawei Munich Research Center（华为慕尼黑研究中心）
本文提出高效上下文Transformer（eContextformer），通过融合分块、棋盘和通道分组并行建模及移位窗口时空通道注意力，大幅降低学习型图像压缩中熵模型的复杂度并提升解码速度，在多个数据集上实现优于VTM 16.2的压缩性能。
2024-02-27 cs.CV cs.LG eess.IV
LatentLLM: Attention-Aware Joint Tensor Compression
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
针对LLM/LMM资源消耗大的问题，提出注意力感知的联合张量分解框架，将模型转为降维潜在结构，在降低维度时显著提升压缩模型的准确性，并在多模态推理等基准上验证了优势。
2025-05-23 cs.AI cs.CL cs.CV
ECSIC: Epipolar Cross Attention for Stereo Image Compression
TU Wien（维也纳工业大学）；UTIA CAS（捷克科学院信息理论与自动化研究所）；Deep Render
提出 ECSIC 学习型立体图像压缩方法，通过极线约束的 SCA 与立体上下文模块联合压缩左右图，在 Cityscapes 和 InStereo2k 上达到 SOTA 且编解码快速。
2023-12-08 cs.CV cs.LG eess.IV
COMCAT: Towards Efficient Compression and Customization of Attention-Based Vision Models
Rutgers University（罗格斯大学）；Snap Inc（Snap公司）
本文提出 COMCAT，利用多头注意力层的新认识对 ViT 进行高效分解压缩，并将其扩展到文本到图像扩散模型定制，在更少参数下提升 ImageNet 准确率且显著降低训练与存储成本。
2023-06-09 cs.AI cs.CV cs.LG
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
Huawei Technologies（华为技术有限公司）；University of Waterloo（滑铁卢大学）
该研究提出克罗内克积注意力（KPA），通过结构化分解压缩KV缓存，性能优于或匹配现有注意力方法，可实现最高10倍KV缓存压缩，且无需额外位置编码机制。
2026-10-12 cs.AI cs.LG
Meta-Attention: Bayesian Per-Token Routing for Efficient Transformer Inference
Knowledge Lab AG Zürich（苏黎世知识实验室）
提出Meta-Attention框架，通过贝叶斯元控制器动态为每个token选择最优注意力策略（全softmax、线性或滑动窗口局部注意力），在几乎无开销下实现更优的计算-性能权衡。
2026-05-27 cs.LG
