Supervised Contrastive ResNet and Transfer Learning for the In-vehicle Intrusion Detection System
Soonchunhyang University（顺天乡大学）
高端车辆已配备多个电子控制单元（ECU），其提供升级功能以增强驾驶体验。控制器局域网（CAN）是连接这些ECU的众所周知的协议，因为它的适度和效率。然而，CAN总线容易受到各种类型的攻击。虽然入侵检测系统（IDS）是为了解决CAN总线的安全问题而提出的，但大多数以前的研究只在攻击发生时提供警报，而不知道具体的攻击类型。此外，由于不同的汽车制造商，IDS是为特定的汽车模型设计的。在这项研究中，我们提出了一种新的深度学习模型，称为监督对比（SupCon）ResNet，它可以处理CAN总线上的多种攻击识别。此外，该模型可以用于使用迁移学习技术来提高有限大小数据集的性能。在两个真实的汽车数据集上评估了该模型的性能。当使用汽车黑客数据集进行测试时，实验结果表明，与其他模型相比，SupCon ResNet模型将四种类型攻击的总体假阴性率平均提高了四倍。此外，通过利用迁移学习，该模型在生存数据集上获得了最高的F1得分0.9994。最后，该模型可以适应硬件的内存大小和运行时间的限制。
2022-07-18 cs.AI cs.CR cs.LG
ConFUDA: Contrastive Fewshot Unsupervised Domain Adaptation for Medical Image Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；Stanford University（斯坦福大学）
无监督领域自适应（UDA）旨在将从标记的源领域学习到的知识转移到未标记的目标领域。UDA背景下的对比学习（CL）可以帮助更好地分离特征空间中的类。然而，在图像分割中，由于逐像素对比度损失的计算而导致的大的存储器占用使得其无法使用。此外，标记的目标数据在医学成像中不容易获得，并且获得新的样本不经济。因此，在这项工作中，我们解决了一个更具挑战性的UDA任务时，只有几个（fewshot）或一个单一的（oneshot）图像可从目标域。我们应用了风格转换模块来缓解目标样本的稀缺性。然后，为了使源特征和目标特征对齐，并解决传统对比度丢失的记忆问题，提出了基于质心的对比学习（CCL）和质心范数正则化器（CNR），以优化方向和幅度上的对比度对。此外，我们还提出了多分区形心对比学习（MPCCL）来进一步减少目标特征的方差。MS-CMRSeg数据集上的Fewshot评估表明，与基线相比，ConFUDA在目标域上的分割性能提高了0.34的Dice分数，并且在更严格的oneshot设置中提高了0.31的Dice分数。
2022-06-08 cs.CV cs.LG
StructComp: Substituting Propagation with Structural Compression in Training Graph Contrastive Learning
Fudan University（复旦大学）；Georgia Institute of Technology（佐治亚理工学院）
针对图对比学习的可扩展性瓶颈，本文提出StructComp框架，通过扩散矩阵的稀疏低秩近似压缩节点，免训练期消息传递并减少对比样本对，理论上可近似原损失且兼具正则化效果，实验证明其更省资源并提升性能。
2024-05-09 cs.LG
GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning
Sun Yat-sen University（中山大学）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）
本文提出GraphLoRA，通过SMMD分布对齐、低秩可训练GNN和结构感知正则化，实现参数高效的跨图GNN迁移，并在八个数据集上优于十四个基线。
2025-01-07 cs.AI cs.LG
The Role of Pre-training Data in Transfer Learning
TU Graz（格拉茨技术大学）；CSH Vienna（维也纳复杂性科学中心）；University of Washington（华盛顿大学）；Tehran University of Medical Sciences（德黑兰医科大学）；Google Research（谷歌研究院）
模型预训练和后续微调的迁移学习范例产生高精度模型。虽然大多数研究都建议扩大预训练的规模，以便从迁移学习中获益最多，但问题仍然存在：应该使用什么数据和方法进行预训练？我们使用3种预训练方法（监督、对比语言-图像和图像-图像）、7个预训练数据集和9个下游数据集研究了预训练数据分布对Few-Shot和完全微调性能的影响。通过广泛的控制实验，我们发现预训练数据源的选择对于Few-Shot传输是必不可少的，但是随着更多的数据可用于微调，其作用降低。此外，我们还探索了数据整理的作用，并研究了标签噪声和预训练数据集大小之间的权衡。我们发现，使用2000倍的LAION预训练数据可以匹配监督ImageNet预训练的性能。此外，我们研究了预训练方法的效果，比较了语言-图像对比与图像-图像对比，发现后者导致更好的下游准确性
2023-03-01 cs.CV cs.LG
Contrastive Distillation on Intermediate Representations for Language Model Compression
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
现有的语言模型压缩方法大多使用简单的L2损失将大BERT模型的中间表示中的知识提取到较小的模型中。尽管被广泛使用，但这个目标的设计假设隐藏表示的所有维度都是独立的，未能捕获教师网络中间层中的重要结构知识。为了实现更好的蒸馏效果，我们提出了对比蒸馏的中间表示（COSTO），一个原则性的知识蒸馏框架，学生通过对比的目标，通过教师的中间层进行培训，以提取知识。通过学习从大量的负样本中区分出正样本，Coconut有助于学生利用教师隐藏层中的丰富信息。CONDITION可以很容易地应用于在预训练和微调阶段压缩大规模语言模型，并在GLUE基准测试中实现了卓越的性能，优于最先进的压缩方法。
2020-09-29 cs.CL cs.LG
Contrastive Learning Boosts Deterministic and Generative Models for Weather Data
Imperial College London（帝国理工学院伦敦分校）；The Grantham Institute for Climate Change（格兰塔姆气候变化研究所）
本文研究对比学习在天气数据压缩中的应用，提出SPARTA模型，通过对比损失和图神经网络融合提升稀疏数据的嵌入质量，提升下游任务性能。
2026-03-25 cs.LG
Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models
Brigham Young University（杨百翰大学）；Nvidia, Inc.（英伟达公司）；University of Washington（华盛顿大学）
我们探讨了压缩的提示用于条件语言模型的想法，并表明，压缩提示可以保留大量的信息，原始提示。对于严重压缩的提示，虽然细粒度的信息丢失，但抽象信息和一般情感可以用令人惊讶的很少的参数保留，这在用于可控性和毒性降低的解码时间算法的上下文中可以是有用的。我们探讨了对比条件反射，引导语言模型的生成朝着理想的文本，远离不需要的文本，并发现，一些复杂的提示可以有效地压缩成一个单一的令牌，以指导生成。我们还表明，压缩提示主要是合成的，可以构造，使它们可以用来控制生成的文本的独立方面。
2022-10-06 cs.AI cs.CL cs.LG
Bridging the EHR Divide: Asymmetric Contrastive Learning for Cross-National Medical Representation Transfer
Carnegie Mellon University（卡内基梅隆大学）
针对跨国EHR表征迁移，提出非对称监督对比学习预训练目标，在NHIRD上预训练并迁移至美国数据集，显著提升少样本疾病预测性能。
2026-10-07 cs.LG
Global Graph Propagation with Hierarchical Information Transfer for Incomplete Contrastive Multi-view Clustering
Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））；Ningbo University（宁波大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
提出一种不完整多视图聚类方法，通过视图特定GCN、全局图传播和层级信息传递，结合对比学习实现端到端联合优化，提升聚类性能。
2025-02-26 cs.LG
Embedding Compression for Teacher-to-Student Knowledge Transfer
Georgia Institute of Technology（佐治亚理工学院）
针对教师嵌入包含目标任务无关知识的问题，提出带有可训练教师变换的嵌入压缩模块以获取紧凑教师嵌入，实验证明该方法提升了分类性能及学生模型的泛化能力。
2024-02-09 cs.LG
ConTraIRL: Factorized Contrastive Abstractions for Transferable IRL
School of Computing University of Georgia（乔治亚大学计算学院）；School of Computing Sciences & Computer Engineering The University of Southern Mississippi（密西西比大学计算科学与计算机工程学院）
提出ConTraIRL框架，通过双编码器对比学习解耦环境动态与任务目标的潜在表示，实现组合奖励迁移，在连续控制基准上显著提升少样本迁移的样本效率和奖励恢复。
2026-09-29 cs.AI cs.LG cs.RO
MoCo-Transfer: Investigating out-of-distribution contrastive learning for limited-data domains
Carnegie Mellon University（卡内基梅隆大学）
本文研究在有限数据领域下，利用分布外数据进行MoCo对比预训练并迁移表征的收益，发现相关领域预训练优于ImageNet，并初步提出数据集相似度量化方法。
2023-11-15 cs.CV cs.LG
Contrastive Representation Learning Helps Cross-institutional Knowledge Transfer: A Study in Pediatric Ventilation Management
Imperial College London（伦敦帝国学院）；University of Bayreuth（拜罗伊特大学）
针对跨机构临床机器学习部署难题，提出基于对比预测编码的系统框架，发现在有限数据下配合微调可有效实现儿科通气管理的跨机构知识迁移，并揭示了时间进展模式比即时决策更易迁移的不对称性。
2025-01-27 cs.AI cs.LG
Label-Conditioned Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Curriculum-Gated Contrastive Alignment
School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院）；Nanjing Medical University（南京医科大学）；Zhengzhou University（郑州大学）
本文提出PEACE框架，通过预训练和适应性融合提升儿童ECG诊断，采用对比学习和课程适应策略，在有限标注下实现高准确率。
2026-06-07 cs.LG
Sycophantic Agreement Transfers with Neutral Data via Contrastive Preference Optimization
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
本研究发现对比偏好优化会导致教师模型的谄媚式一致性向学生模型转移，且该信号分散于中性偏好数据中，现有过滤方法难以缓解，揭示了对齐训练的意外有害行为。
2026-09-01 cs.LG
Spatial Contrastive Learning for Few-Shot Classification
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们探讨了对比学习的Few-Shot分类，在其中，我们建议使用它作为一个额外的辅助训练目标，作为一个数据依赖的正则化，以促进更一般和可转移的功能。特别是，我们提出了一种新的基于注意力的空间对比目标，以学习局部判别和类不可知的功能。因此，我们的方法克服了交叉熵损失的一些限制，例如对可见类的过度歧视，这降低了特征到不可见类的可转移性。通过大量的实验，我们表明，所提出的方法优于国家的最先进的方法，确认学习良好的和可转移的嵌入的重要性，少样本学习。
2021-06-20 cs.CV cs.LG
SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning
Simon Fraser University（西蒙弗雷泽大学）
本文提出SplitFedZip方法，通过学习型压缩技术有效降低SplitFed学习中的数据传输量，在医学图像分割实验中显著减少通信开销并保持模型准确率。
2024-12-18 cs.LG
VideoCoCa: Video-Text Modeling with Zero-Shot Transfer from Contrastive Captioners
Google Research（谷歌研究院）；The Ohio State University（俄亥俄州立大学）
我们探索了一种有效的方法来建立一个基础的视频文本模型。我们提出了VideoCoCa，它最大限度地重用了预训练的图像-文本对比字幕（CoCa）模型，并使其适应视频-文本任务，只需最少的额外训练。虽然以前的作品采用各种跨帧融合模块的图像-文本模型，但我们发现CoCa中的生成注意力池和对比注意力池层可以立即适应扁平化的帧嵌入，从而在zero-shot视频分类和zero-shot文本到视频检索方面产生最先进的结果。此外，我们还在VideoCoCa上探索了轻量级的微调，并在视频问答和视频描述上取得了很好的效果。
2023-03-15 cs.CV cs.LG cs.MM
Self-Supervised Interest Transfer Network via Prototypical Contrastive Learning for Recommendation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Alibaba Group（阿里巴巴集团）
跨域推荐近年来受到了业界和学术界的广泛关注。然而，大多数现有的方法不利用域之间的兴趣不变性，这将产生次优的解决方案。本文提出了一种跨领域推荐方法：自监督兴趣转移网络（SITN），它通过原型对比学习在领域之间有效地转移不变知识。具体来说，我们执行两个层次的跨域对比学习：1）实例到实例的对比学习，2）实例到集群的对比学习。不仅如此，我们还考虑了用户的多粒度和多视角兴趣。通过这种范式，SITN可以显式地学习领域之间兴趣簇的不变知识，准确地捕获用户的意图和偏好。我们对一个公共数据集和一个从世界领先的电子商务公司收集的大规模工业数据集进行了广泛的实验。实验结果表明，SITN实现了显着的改进，国家的最先进的推荐方法。此外，SITN已部署在微视频推荐平台上，在线A/B测试结果进一步证明了其实用价值。补充资料可在以下网址获得：https://github.com/fanqieCoffee/SITN-Supplement。
2023-02-28 cs.AI cs.IR cs.LG
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony（索尼）
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统，以自监督方式从湿多轨数据中解耦音频效果信息，并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
Wasserstein Contrastive Representation Distillation
Duke University（杜克大学）；Microsoft Corporation（微软公司）
知识蒸馏（KD）的主要目标是将从教师网络学习到的模型信息封装到学生网络中，后者比前者更紧凑。现有工作，例如，使用Kullback-Leibler散度进行提取，可能无法捕获教师网络中的重要结构知识，并且通常缺乏特征泛化的能力，特别是在构建教师和学生以解决不同分类任务的情况下。我们提出了Wasserstein对比表示蒸馏（WCoRD），它利用原始和对偶形式的Wasserstein距离KD。对偶形式用于全局知识转移，产生最大化教师和学生网络之间的互信息的下界的对比学习目标。原始形式用于小批量内的局部对比知识转移，有效地匹配教师和学生网络之间的特征分布。实验结果表明，WCoRD方法在特权信息提取、模型压缩和跨模态传递等方面优于现有方法.
2021-03-29 cs.CV cs.LG
GCT-MARL: Graph-Based Contrastive Transfer for Sample-Efficient Cooperative Multi-Agent Reinforcement Learning
提出GCT-MARL框架，利用多视图图对比学习和自适应加权对齐损失，结合两阶段训练协议，实现跨不同规模和组成群体的高效迁移，显著加速目标任务收敛。
2026-06-25 cs.AI cs.LG cs.MA
Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style Transfer
Kim Jaechul Graduate School of AI（金在哲人工智能研究生院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出零样本对比损失方法，利用预训练扩散模型中的分块对比损失，在无需微调或辅助网络的情况下实现文本引导的图像风格迁移，并优于现有方法。
2023-04-12 cs.AI cs.CV cs.LG
Fast Vocabulary Transfer for Language Model Compression
University of Siena（锡耶纳大学）；University of Bologna（博洛尼亚大学）
提出基于词汇表迁移的模型压缩方法，在垂直领域和下游任务评估中与其他压缩技术结合，显著减小模型大小和推理时间，性能仅略有妥协。
2024-02-15 cs.AI cs.CL cs.LG
Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）
一个理想的学习表示应该表现出可移植性和鲁棒性。监督对比学习（SupCon）是一种很有前途的训练精确模型的方法，但由于类崩溃，当类中的所有点映射到相同的表示时，会产生无法捕获这些属性的表示。最近的研究表明，“展开”这些表征可以改善它们，但确切的机制知之甚少。我们认为，单独创建传播是不够的更好的表示，因为传播是不变的类内的排列。相反，正确的扩散程度和打破这种不变性的机制都是必要的。我们首先证明，增加一个加权类条件InfoNCE损失SupCon控制的程度蔓延。接下来，我们研究了三种机制来打破排列不变性：使用约束编码器，添加类条件自动编码器和使用数据增强。我们发现，后两个鼓励聚类的潜在子类比前者更现实的条件下。使用这些见解，我们表明，将适当加权的类条件InfoNCE损失和类条件自动编码器添加到SupCon中，在5个标准数据集上的粗到细传输上实现了11.1个提升点，在3个数据集上的最差组鲁棒性上实现了4.7个提升点，在CelebA上设置了11.5个点。
2022-07-14 cs.LG stat.ML
Rethink Arbitrary Style Transfer with Transformer and Contrastive Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）
本文提出SCIN和ICL方法优化特征对齐与风格关系理解，并引入PE替代VGG捕捉风格特征，显著提升了任意风格迁移的图像质量并有效减少伪影。
2024-04-21 cs.CV cs.LG
Contrastive Representation Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们经常希望将表征知识从一个神经网络转移到另一个。例子包括将一个大的网络提炼成一个较小的网络，将知识从一种感官形式转移到第二种感官形式，或者将一组模型集成到一个估计器中。知识蒸馏，这些问题的标准方法，最大限度地减少了教师和学生网络的概率输出之间的KL分歧。我们证明，这一目标忽略了教师网络的重要结构知识。这激发了另一个目标，通过这个目标，我们训练学生在教师的数据表示中捕获更多的信息。我们将这一目标表述为对比学习。实验表明，我们所得到的新目标优于知识蒸馏和其他尖端蒸馏器的各种知识转移任务，包括单模型压缩，合奏蒸馏，跨模态转移。我们的方法在许多传输任务中设置了一个新的最先进的状态，有时甚至在与知识蒸馏相结合时优于教师网络。代码：http://github.com/HobbitLong/RepDistiller.
2022-01-24 cs.CV cs.LG stat.ML
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；State University of Rio de Janeiro（里约热内卢州立大学）
近年来，深度神经网络（DNN）应用的流行和成功激发了对DNN压缩的研究，例如修剪和量化。这些技术加速了模型推理，降低了功耗，并降低了运行DNN所需硬件的大小和复杂性，所有这些都几乎没有准确性损失。然而，由于DNN容易受到对抗性输入的影响，因此重要的是要考虑压缩和对抗性鲁棒性之间的关系。在这项工作中，我们研究了几个不规则的修剪方案和8位量化产生的模型的对抗鲁棒性。此外，虽然传统的修剪去除了DNN中最不重要的参数，但我们研究了非传统修剪方法的效果：基于对抗性输入的梯度去除最重要的模型参数。我们称这种方法为贪婪对抗修剪（GAP），我们发现这种修剪方法可以使模型抵抗来自未压缩副本的传输攻击。
2022-06-15 cs.CR cs.LG
Learning to Summarize Long Texts with Memory Compression and Transfer
Element AI（元素人工智能公司）；Mila（米拉人工智能研究所）；Polytechnique Montreal（蒙特利尔理工学院）；University of Montreal（蒙特利尔大学）
我们介绍Mem 2 Mem，一个内存到内存的分层递归神经网络的编码器/解码器架构的机制，我们探讨它的使用抽象的文档摘要。Mem 2 Mem通过可读/可写的外部存储器模块传输“记忆”，这些模块增强了编码器和解码器。我们的记忆正则化将编码的输入文章压缩成更紧凑的句子表示集。最重要的是，内存压缩步骤执行隐式提取没有标签，回避问题与次优的地面实况数据和暴露偏见的混合提取抽象摘要技术。通过允许解码器读取/写入编码的输入存储器，模型学习读取关于输入文章的显著信息，同时跟踪已经生成的内容。我们的Mem 2 Mem方法产生的结果与最先进的基于Transformer的摘要方法相比具有竞争力，但参数少16倍
2020-10-21 cs.CL cs.LG
Weight Squeezing: Reparameterization for Knowledge Transfer and Model Compression
VK Lab（VK实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Tinkoff
在这项工作中，我们提出了一种新的方法，同时知识转移和模型压缩称为重量挤压。通过这种方法，我们通过学习从教师模型的权重到较小的学生模型权重的映射来执行教师模型的知识转移。我们将权重压缩应用于基于BERT-Medium模型的预训练文本分类模型，并将我们的方法与其他各种知识转移和模型压缩方法在GLUE多任务基准上进行了比较。我们观察到，我们的方法产生了更好的结果，同时比其他训练学生模型的方法快得多。我们还提出了一种称为Gated Weight Squeezing的Weight Squeezing变体，其中我们结合了BERT-Medium模型的微调和BERT-Base权重的学习映射。我们表明，使用门控权重压缩的微调优于BERT-Medium模型的普通微调以及其他并发SoTA方法，同时更容易实现。
2021-08-30 cs.CL cs.LG stat.ML
Cramnet: Layer-wise Deep Neural Network Compression with Knowledge Transfer from a Teacher Network
The University of Tulsa（塔尔萨大学）
神经网络完成了惊人的事情，但它们受到限制其使用的计算和内存瓶颈的影响。这一点在移动领域表现得最好，专门的硬件正在被创造出来，只是为了满足对神经网络的需求。先前的研究表明，神经网络的连接数量远远超过了它们实际工作所需的数量。本论文开发了一种方法，可以将网络压缩到不到10%的内存和不到25%的计算能力，而不会损失准确性，并且不需要创建需要特殊代码运行的稀疏网络。
2019-04-11 cs.CV cs.LG
CWCL: Cross-Modal Transfer with Continuously Weighted Contrastive Loss
Samsung Research America（三星美国研究院）
针对跨模态零样本迁移中二元对比目标难以刻画连续相似性的问题，论文提出 CWCL 连续加权对比损失，并在图像-文本、语音-文本任务上显著提升零样本分类性能。
2023-09-26 cs.AI cs.CV cs.LG
Feature Distillation With Guided Adversarial Contrastive Learning
Nanyang Technological University（南洋理工大学）
深度学习模型被证明容易受到对抗性示例的影响。虽然对抗性训练可以增强模型的鲁棒性，但典型的方法在计算上是昂贵的。最近的研究提出了通过软标签将对对抗攻击的鲁棒性转移到不同的任务或模型上，与软标签相比，特征包含了丰富的语义信息，具有应用于不同下游任务的潜力。在本文中，我们提出了一种新的方法，称为引导对抗对比蒸馏（GACD），有效地将对抗鲁棒性从教师转移到具有特征的学生。我们首先将这一目标表述为对比学习，并将其与互信息联系起来。有了一个训练有素的教师模型作为锚点，学生们有望提取出与教师相似的特征。然后考虑到教师可能造成的误差，提出了样本重加权估计，以消除教师的负面影响。通过GACD，学生不仅学会了提取鲁棒的特征，而且还从老师那里获取了结构知识。通过在CIFAR-10、CIFAR-100和STL-10等流行数据集上的大量实验，我们证明了我们的方法可以有效地在不同模型甚至不同任务之间传递鲁棒性，并取得与现有方法相当或更好的结果。此外，我们提供了各种方法的详细分析，表明我们的方法产生的学生从教师那里捕获更多的结构知识，并在对抗攻击下学习到更多的鲁棒特征。
2020-09-21 cs.LG stat.ML
Physics-Preserving Latent Compression for Zero-Shot Resolution Transfer in 3D Turbulence
The University of Alabama（阿拉巴马大学）；University of Pittsburgh（匹兹堡大学）；University of Maryland, College Park（马里兰大学学院公园分校）
提出PPLC框架，利用惯性区尺度相似性，通过分块局部变分自编码器实现从低分辨率训练到高分辨率测试的零样本迁移，保持物理诊断量准确性。
2026-06-23 cs.LG physics.flu-dyn
Reducing the GPU Memory Bottleneck with Lossless Compression for ML -- Extended
University of Washington（华盛顿大学）
提出无损压缩算法IBP，通过识别和消除张量组中的不变位，利用GPU优化的解压缩和异步PCIe传输，显著减少数据传输时间，加速GNN训练、DLRM嵌入查找和LLM推理。
2026-05-29 cs.DC cs.LG
A Functional Perspective on Knowledge Distillation in Neural Networks
本文从功能角度研究知识蒸馏的压缩能力与知识传递，通过实验协议分析不同数据模态下的知识转移机制，发现知识蒸馏更像数据依赖的正则化方法，存在负向非对称转移风险。
2026-03-16 cs.AI cs.LG
LiT: Zero-Shot Transfer with Locked-image text Tuning
Google Research（谷歌研究院）
本文介绍了对比度调整，一种简单的方法，采用对比度训练对齐图像和文本模型，同时仍然利用他们的预训练。在我们的实证研究中，我们发现锁定的预训练图像模型与解锁的文本模型效果最好。我们将这种对比度调整的实例称为“锁定图像调整”（LiT），它只是教文本模型从预先训练的图像模型中读出良好的表示来执行新任务。LiT模型获得了zero-shot转移到新视觉任务的能力，例如图像分类或检索。所提出的LiT具有广泛的适用性;它可以使用多种预训练方法（监督和无监督）以及使用三种不同图像-文本数据集的不同架构（ResNet，视觉Transformer和MLP混合器）可靠地工作。使用基于transformer的预训练ViT-g/14模型，LiT模型在ImageNet测试集上实现了85.2%的zero-shot传输准确率，在具有挑战性的分布外ObjectNet测试集上实现了82.5%的准确率。
2022-06-22 cs.CL cs.CV cs.LG
Adversarial Network Compression
Technische Universität München（慕尼黑工业大学）；OSRAM GmbH（欧司朗有限公司）
由于现代深度模型的计算需求，神经网络压缩最近受到了广泛关注。在这项工作中，我们的目标是将知识从深度和准确的模型转移到较小的模型中。我们的贡献有三个方面：（i）我们提出了一种对抗性网络压缩方法来训练小型学生网络以模仿大型教师，而不需要在训练期间使用标签;（ii）我们引入了一种正则化方案来防止平凡的强干扰，而不降低网络容量;（iii）我们的方法适用于不同的教师-学生模型。在对五个标准数据集的广泛评估中，我们表明我们的学生具有较小的准确性下降，比其他知识转移方法获得了更好的性能，并且超过了用标签训练的相同网络的性能。此外，我们展示了国家的最先进的结果相比，其他压缩策略。
2018-11-14 cs.CV cs.LG
SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving
University of Notre Dame IN, USA（诺丁汉大学）
SplitZip通过GPU友好的无损压缩技术，提升大规模LLM服务中KV缓存的传输效率，实现快速压缩和解压，显著优于现有方法。
2026-06-25 cs.AI cs.DC cs.LG
Contrastive Learning and Cycle Consistency-based Transductive Transfer Learning for Target Annotation
West Virginia University（西弗吉尼亚大学）；Army Research Laboratory（陆军研究实验室）
针对目标域标注数据缺失的ATR标注难题，本文提出C3TTL框架，通过H-CUT网络结合注意力、噪声特征混合和MoNCE损失降低FID并提升标注性能，在三个数据集上验证了对车辆和舰船目标的有效标注。
2024-01-22 cs.AI cs.CV cs.LG
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Tencent PCG（腾讯平台与内容事业群）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
与从单一模态学习相比，获得多模态提示（例如视觉和音频）使一些认知任务能够更快地完成。在这项工作中，我们建议跨异构模态的知识转移，即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示，而是跨模态组合音频、图像和视频表示，以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入，关闭跨模态的语义差距，并捕捉任务相关的语义，这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的，全面的多模态蒸馏基准：UCF101，ActivityNet和VGGSound。此外，我们证明，我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识，以提高视频表示学习。代码发布在这里：https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
Mixing Up Contrastive Learning: Self-Supervised Representation Learning for Time Series
UiT the Arctic University of Norway（特罗姆瑟大学-挪威北极圈大学）；Norwegian Computing Center（挪威计算中心）；University Hospital of North Norway（北挪威大学医院）
缺乏标记数据是从时间序列数据中学习有用表示的关键挑战。然而，能够产生高质量表示的无监督表示框架可能具有很大的价值。这是实现迁移学习的关键，这对医学应用尤其有益，因为医学应用中有大量数据，但标记成本高且耗时。我们提出了一个无监督的对比学习框架，从标签平滑的角度出发。所提出的方法使用了一种新的对比损失，自然利用数据增强方案，其中新的样本是通过混合两个数据样本与混合组件。在所提出的框架中的任务是预测的混合成分，这是利用作为软目标的损失函数。实验表明，该框架的优越性能相比，其他表示学习方法的单变量和多变量时间序列，并说明其好处的临床时间序列的迁移学习。
2022-03-17 cs.AI cs.LG stat.ML
