Compressed Gaussian Process
大量样本（n）和特征（p）的非参数回归是一个越来越重要的问题。在大n设置中，常见的策略是划分特征空间，然后分别将简单模型应用于每个划分集。我们提出了一种替代方法，它避免了这样的分区和相关的敏感性邻域选择和距离度量，通过使用随机压缩结合高斯过程回归。所提出的方法是特别动机的设置中的响应是有条件的独立的功能给出的投影到一个低维流形。通过引入随机压缩矩阵和光滑度参数，得到了回归曲面的后验分布和后验预测分布。对许多随机压缩矩阵和平滑度参数并行运行分析，使用模型平均来组合结果。该算法可以快速实现，即使在非常大的n和p的问题，具有很强的理论依据，并发现产生最先进的预测性能。
2014-06-07 stat.ML
Recomposing the Reinforcement Learning Building Blocks with Hypernetworks
Bar-Ilan University（巴伊兰大学）
强化学习（RL）构建块，即Q函数和策略网络，通常将来自两个域的卡络积的元素作为输入。特别地，Q函数的输入是状态和动作，并且在多任务问题（Meta-RL）中，策略可以采用状态和上下文。标准架构倾向于忽略这些变量的底层解释，并简单地将它们的特征连接到单个向量中。在这项工作中，我们认为，这种选择可能会导致不良的梯度估计的演员-评论家算法和高方差学习步骤的元-RL算法。为了考虑输入变量之间的相互作用，我们建议使用超网络架构，其中主网络确定条件动态网络的权重。我们表明，这种方法提高了梯度近似，降低了学习步长方差，这既加快了学习，提高了最终的性能。我们在RL（TD 3和SAC）和Meta-RL（MAML和PEARL）中展示了不同运动任务和不同算法的一致改进。
2021-06-12 cs.AI cs.LG
A Brief Review of Hypernetworks in Deep Learning
Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所）；Oxford-Suzhou Institute of Advanced Research (OSCAR)（牛津苏州高等研究院）
本文综述了超网络在深度学习中的进展，提出基于输入、输出、可变性和架构的设计分类，并梳理其应用、挑战与未来方向。
2024-07-13 cs.LG
Recognition of Dysarthria in Amyotrophic Lateral Sclerosis patients using Hypernetworks
School of ECE, NTUA（希腊国立雅典理工大学电气与计算机工程学院）
提出首个结合超网络识别ALS患者构音障碍的方法，利用超网络为目标网络生成权重，在VOC-ALS数据集上准确率达82.66%，在泛化、参数效率和鲁棒性上优于现有方法。
2025-02-27 cs.CV cs.CY cs.LG
Dynamics-Aligned Shared Hypernetworks for Contextual RL under Discontinuous Shifts
Institute for Data Science Foundations, TUHH, Germany（数据科学基础研究所，德意志高等技术大学，德国）；Santa Fe Institute, USA（新墨西哥州圣达菲研究所，美国）；Neuro-Cognitive Modeling Group, University of Tübingen, Germany（图宾根大学神经认知建模小组，德国）
本文提出DMA*-SH框架，通过单一超网络生成共享适配器权重，解决上下文动态不连续变化时的零样本泛化问题，通过理论支持和实验验证在Actuator Inversion Benchmark上取得显著成效。
2026-05-11 cs.AI cs.LG
Meta-Learning via Classifier(-free) Diffusion Guidance
ETH AI Center, ETH Zürich（苏黎世联邦理工学院ETH人工智能中心）；Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）；Soft Robotics Lab, ETH Zürich（苏黎世联邦理工学院软机器人实验室）；Dept. of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系）
我们引入元学习算法，执行神经网络模型的zero-shot权重空间自适应，以看不见的任务。我们的方法重新利用流行的生成图像合成技术的自然语言的指导和扩散模型，以产生适应任务的神经网络权重。我们首先训练一个无条件生成超网络模型来产生神经网络权重;然后我们训练第二个“指导”模型，该模型给出自然语言任务描述，遍历超网络潜在空间，以zero-shot方式找到高性能任务自适应权重。我们探讨了两种替代方法的潜在空间的指导：“HyperCLIP”为基础的分类指导和有条件的超网络潜空间扩散模型（“HyperLDM”），我们表明受益于无分类器引导技术常见的图像生成。最后，我们在Meta-VQA数据集上进行了一系列零样本学习实验，证明了我们的方法优于现有的多任务和元学习方法。
2023-01-31 cs.LG
Low-dimensional approximations of the conditional law of Volterra processes: a non-positive curvature approach
Vector Institute（矢量研究所）；McMaster University（麦克马斯特大学）；London School of Economics and Political Science（伦敦政治经济学院）
针对随机波动率Volterra过程条件分布预测中的维数灾难问题，提出一种两步法：先将过程分布投影到非正截面曲率的低维统计流形，再利用带超网络的序贯深度学习模型动态编码非平稳动态，实现高效逼近。
2024-05-30 cs.LG cs.NA cs.NE
Class-Conditional Compression and Disentanglement: Bridging the Gap between Neural Networks and Naive Bayes Classifiers
在这篇报告正在进行的工作的草稿中，我们1）通过用类条件压缩替换压缩项来适应信息瓶颈泛函，2）使用与类条件解纠缠相关的变分界限来放松该泛函，3）将该泛函视为随机神经网络的训练目标，以及4）示出了潜在表示被学习，使得它们可以用于朴素贝叶斯分类器。我们继续建议沿着非线性信息瓶颈线进行一系列实验[Kolchinsky等人，2018年]，深度变分信息瓶颈[Alemi等人，2017年]，和信息辍学[Alberle和Soatto，2018年]。此外，我们提出了一个神经网络的解码器架构是一个参数化的朴素贝叶斯解码器。
2019-06-06 cs.IT cs.LG math.IT
Conditional Distribution Compression via the Kernel Conditional Mean Embedding
School of Mathematics University of Bristol（数学系 伯明翰大学）；Mathematical Institute University of Oxford（数学研究所 奥克斯福德大学）
本文提出ACKH和ACKIP方法，通过线性时间贪心算法压缩条件分布，实验表明其在条件分布压缩任务中优于联合分布压缩和贪心选择方法。
2026-01-16 cs.LG stat.CO stat.ME
Guaranteed Conditional Diffusion: 3D Block-based Models for Scientific Data Compression
University of Florida（佛罗里达大学）
提出GCDTC有损科学数据压缩框架，融合3D条件、2D去噪U-Net、张量校正与误差保证，在气候和燃烧数据集上取得优于卷积自编码器且可比现有算法的效果。
2025-02-18 cs.LG
CANF-VC: Conditional Augmented Normalizing Flows for Video Compression
National Yang Ming Chiao Tung University（国立阳明交通大学）；CNIT（意大利国家电信联盟）；University of Brescia（布雷西亚大学）
提出了一种基于条件增强规范化流（CANF）的端到端学习视频压缩系统CANF VC。大多数已知的视频压缩系统采用与传统编解码器相同的基于混合的编码架构。最近对条件编码的研究表明了基于混合的编码的次优性，并为深度生成模型在创建新的编码框架中发挥关键作用提供了机会。CANF-VC代表了利用条件ANF来学习用于条件帧间编码的视频生成模型的新尝试。我们选择ANF是因为它是一种特殊类型的生成模型，其中包括变分自编码器作为特例，并且能够实现更好的表达。CANF-VC还将条件编码的思想扩展到运动编码，形成了一个纯条件编码框架。在常用数据集上的大量实验结果证实了CANF-VC方法的优越性。CANF-VC的源代码可在https://github.com/NYCU-MAPL/CANF-VC上获得。
2022-08-15 cs.CV cs.LG eess.IV
Conditional Hallucinations for Image Compression
ETH Zürich（苏黎世联邦理工学院）
针对有损图像压缩中因信息瓶颈导致的幻觉问题，提出根据图像内容动态平衡幻觉程度的压缩方法ConHa，通过训练模型预测用户偏好并据此调整重建损失中的感知权重，性能优于现有方法。
2025-03-05 cs.CV cs.LG eess.IV
Lossy Image Compression with Conditional Diffusion Models
University of California Irvine（加州大学尔湾分校）
本文提出一种基于条件扩散模型的端到端有损图像压缩框架，通过引入“内容”和“纹理”潜在变量实现重建，在FID等感知指标上优于GAN模型，且仅需少量解码步骤即可实现高质量重建。
2024-01-02 cs.CV cs.LG eess.IV
Conditional Probability Models for Deep Image Compression
ETH Zürich（苏黎世联邦理工学院）
作为图像自动编码器训练的深度神经网络最近已经成为推进图像压缩最新技术的一个有前途的方向。学习这种网络的关键挑战是双重的：处理量化，以及控制潜像表示的重建误差（失真）和熵（速率）之间的权衡。在本文中，我们专注于后者的挑战，并提出了一种新的技术，以浏览率失真权衡图像压缩自动编码器。其主要思想是通过使用上下文模型直接对潜在表示的熵进行建模：3D-CNN，它学习自动编码器潜在分布的条件概率模型。在训练期间，自动编码器利用上下文模型来估计其表示的熵，并且上下文模型被同时更新以学习潜在表示中的符号之间的依赖性。我们的实验表明，当在MS-SSIM中测量时，这种方法可以产生基于简单卷积自动编码器的最先进的图像压缩系统。
2019-06-04 cs.CV cs.LG
Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck
Qualcomm AI Research（高通人工智能研究）
本文提出将高效推理视为信息瓶颈原则下的损失性压缩问题，通过引入条件信息瓶颈（CIB）原则，解决了传统预算强制方法在处理transformers时的理论缺陷，并通过语义先验实现了更高效的推理压缩，提升了准确率并减少了计算成本。
2026-11-05 cs.LG
Multi-Realism Image Compression with a Conditional Generator
Google Research（谷歌研究院）
通过优化率失真现实主义的权衡，生成压缩方法产生详细的，逼真的图像，即使在低比特率，而不是由率失真优化模型产生的模糊重建。然而，以前的方法没有明确控制合成多少细节，这导致了对这些方法的共同批评：用户可能会担心生成远离输入图像的误导性重建。在这项工作中，我们通过训练一个解码器来缓解这些担忧，该解码器可以桥接这两个机制并导航失真-现实主义权衡。从单个压缩表示，接收器可以决定重建接近输入的低均方误差重建、具有高感知质量的现实重建或介于两者之间的任何重建。通过我们的方法，我们在扭曲现实主义中建立了一个新的艺术状态，推动了可实现的扭曲现实主义对的前沿，即，我们的方法在高真实性下实现了更好的失真，并且在低失真下实现了比以前更好的真实性。
2023-03-30 cs.CV cs.LG eess.IV
Learned Video Compression for YUV 4:2:0 Content Using Flow-based Conditional Inter-frame Coding
National Yang Ming Chiao Tung University（阳明交通大学）
本文提出了一种基于学习的视频压缩框架，用于YUV 4：2：0内容的可变速率编码。现有的基于学习的视频压缩模型大多采用传统的混合编码结构，即先进行时间预测，然后进行残差编码。然而，最近的研究表明，残差编码是次优的信息理论的角度来看。此外，大多数现有模型都针对RGB内容进行了优化。此外，它们需要用于可变速率编码的单独模型。为了解决这些问题，这项工作提出了一种尝试，将条件帧间编码的YUV 4：2：0内容。为了提高帧间编码的效率，本文提出了一种基于条件流的帧间编码器。为了使我们的编解码器适应YUV 4：2：0内容，我们采用了一种简单的策略，即使用空间到深度和深度到空间转换。最后，我们采用速率自适应网络来实现可变速率编码，而无需训练多个模型。实验结果表明，我们的模型在UVG和MCL-JCV数据集上的PSNR-YUV性能优于x265。然而，在ISCAS'22 GC更具挑战性的数据集上，仍有足够的改进空间。这种不足的性能是由于在大的GOP尺寸下缺乏帧间编码能力，并且可以通过增加模型容量和应用错误传播感知训练策略来减轻。
2022-10-15 cs.CV cs.LG eess.IV
LRCC: Generalizing Low-Rank Compression with Conditional Computation
Sapienza University of Rome（罗马第一大学）
LRCC通过训练轻量级路由器为每个令牌选择嵌套低秩路径，在冻结低秩因子下优化路由器，在相同预算下提升语言模型性能，如Llama-2-7B下游准确率提高7.6个百分点。
2026-10-08 cs.AI cs.CL cs.LG
Lossless Point Cloud Geometry and Attribute Compression Using a Learned Conditional Probability Model
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
本文提出一种基于稀疏张量深度神经网络的无损点云压缩方法，统一表示几何与颜色属性，构建自回归上下文模型，相比MPEG方法总比特率降低22.6%。
2024-03-20 cs.LG eess.IV
Contextual Feature Selection with Conditional Stochastic Gates
UC San Diego（加州大学圣迭戈分校）；Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）
本文提出条件随机门（c-STG）方法，通过超网络根据上下文变量动态选择特征子集，在模拟与真实数据集上验证其能提升预测精度、可解释性和特征选择灵活性。
2024-06-07 cs.LG cs.NE
Generative Latent Diffusion for Efficient Spatiotemporal Data Reduction
University of Florida（佛罗里达大学）
本文提出一种结合变分自编码器与条件扩散模型的潜在扩散框架，仅压缩少量关键帧并通过生成式插值重建其余帧，在多个数据集上实现比SZ3高10倍的压缩比和比领先学习方法高63%的性能。
2025-07-02 cs.CV cs.LG
Compression-Aware Abstention: Teaching LLMs to Refuse When KV-Compression Masks Remove Answer Evidence
University of Southern California（南加州大学）
该研究首次将感知压缩的弃权表述为学习问题，通过训练LoRA适配器，在减少LLM因KV缓存压缩产生的幻觉的同时保留正确回答能力，在压缩缓存解码下取得显著提升。
2026-09-01 cs.CL cs.LG
Multiscale deep context modeling for lossless point cloud geometry compression
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupelec（中央理工-高等电力学院）；Laboratoire des Signaux et Systèmes（信号与系统实验室）
我们提出了一种用于无损点云几何压缩的实用深度生成方法，称为MSVoxelDNN，并表明与MPEG G-PCC编解码器相比，它显着降低了速率。我们之前基于自回归模型（VoxelDNN）的工作具有快速的训练阶段，然而，由于占用概率是逐体素顺序预测的，因此推理速度很慢。在这项工作中，我们采用了多尺度架构模型体素占用粗到细的顺序。在每个尺度下，MSVoxelDNN将体素分为八个条件独立的组，因此需要对每组进行单个网络评估，而不是对每个体素进行一次评估。我们评估了MSVoxelDNN在一组来自微软体素化上半身（MVUB）和MPEG的点云上的性能，结果表明，与以前的VoxelDNN相比，目前的方法大大加快了编码/解码时间，同时比G-PCC节省了17.5%的平均速率。该实现可在https://github.com/Weafre/MSVoxelDNN上获得。
2021-04-20 cs.LG eess.IV
MINT: Deep Network Compression via Mutual Information-based Neuron Trimming
EECS University of Michigan（密歇根大学EECS学院）；CSE University of Maine（缅因大学计算机科学与工程学院）
大多数通过修剪进行深度神经网络压缩的方法要么使用过滤器的权重来评估过滤器的重要性，要么使用稀疏约束来优化替代目标函数。虽然这些方法提供了一种有用的方法来近似类似过滤器的贡献，但它们通常忽略层之间的依赖关系，或者解决比标准交叉熵更困难的优化目标。我们的方法，互信息为基础的神经元修剪（MINT），通过加强稀疏性的基础上相邻层的过滤器之间的关系的强度，跨每一对层，通过修剪接近深度压缩。该关系使用条件几何互信息来计算，该条件几何互信息使用基于图形的标准来评估过滤器之间交换的相似信息的量。在修剪网络时，我们确保保留的过滤器将大部分信息贡献给后续层，从而确保高性能。我们的新方法优于现有的国家的最先进的压缩通过修剪方法的标准基准为这项任务：MNIST，CIFAR-10，ILSVRC 2012，在各种网络架构。此外，我们还讨论了我们的修剪方法对对抗攻击的响应和与原始网络相比的校准统计数据之间的共同点。
2020-03-18 cs.CV cs.IT cs.LG
