Time Series Change Point Detection with Self-Supervised Contrastive Predictive Coding
RMIT University（皇家墨尔本理工大学）；Data61, CSIRO（联邦科学与工业研究组织Data61研究院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）
变化点检测（CPD）方法识别与时间序列数据的趋势和属性变化相关的时间，以描述系统的基本行为。例如，检测与Web服务使用、应用程序使用或人类行为相关的变化和异常可以为下游建模任务提供有价值的见解。提出了一种基于对比预测编码的自监督时间序列变点检测方法（TS-CP^2）。TS-CP^2是第一种通过学习嵌入式表示来对CPD采用对比学习策略的方法，该嵌入式表示将时间相邻间隔的嵌入对与跨时间分离的间隔嵌入对分开。通过对三个不同的，广泛使用的时间序列数据集进行广泛的实验，我们证明了我们的方法优于五种最先进的CPD方法，其中包括无监督和半监督方法。TS-CP^2将使用手工统计或时间特征的方法的性能提高了79.4%，将基于深度学习的方法的性能提高了17.0%。
2021-03-05 cs.AI cs.CV cs.LG
Unsupervised Representation Learning from Pathology Images with Multi-directional Contrastive Predictive Coding
University of Dundee（邓迪大学）；Ninewells Hospital and Medical School（奈恩韦尔斯医院与医学院）
数字病理学任务从现代深度学习算法中受益匪浅。然而，他们需要大量的注释数据已被确定为一个关键的挑战。这种对数据的需求可以通过在数据丰富但对注释的访问有限的情况下使用无监督学习来解决。使用对比预测编码（CPC）从未注释的数据学习的特征表示已经被示出为使得分类器能够从相对少量的注释的计算机视觉数据获得最先进的性能。我们提出了一个修改的CPC框架与数字病理补丁使用。这是通过引入用于构建潜在上下文的替代掩码并使用多方向PixelCNN自回归器来实现的。为了证明我们提出的方法，我们从Patch Camelyon组织学数据集学习特征表示。我们表明，我们提出的修改可以产生改进的组织学补丁的深层分类。
2021-05-11 cs.CV cs.LG
Multi-label Contrastive Predictive Coding
Stanford University（斯坦福大学）
变分互信息（MI）估计器被广泛用于无监督表示学习方法，例如对比预测编码（CPC）。MI的下限可以从多类分类问题中获得，其中评论家试图区分从底层联合分布中提取的正样本和从合适的建议分布中提取的$(m-1)$负样本。使用这种方法，MI估计值以$\log m$为界，因此可能严重低估，除非$m$非常大。为了克服这一限制，我们引入了一种新的估计的基础上的多标签分类问题，其中的评论家需要共同确定多个积极的样本在同一时间。我们表明，使用相同数量的负样本，多标签CPC是能够超过$\log m$界，同时仍然是一个有效的下限的互信息。我们证明，所提出的方法是能够导致更好的互信息估计，在无监督表示学习中获得经验改进，并击败了目前最先进的知识蒸馏方法超过10个任务。
2020-12-02 cs.LG stat.ML
Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis
Sun Yat-sen University（中山大学）
针对多模态表示学习中单模态编码与跨模态融合兼顾不足的问题，提出MMCL框架，结合单模态对比编码、伪孪生跨模态预测及两类对比学习任务，在多模态情感分析任务上取得SOTA效果。
2022-10-26 cs.AI cs.CL
Aircraft Trajectory Segmentation-based Contrastive Coding: A Framework for Self-supervised Trajectory Representation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出基于飞机轨迹分割的对比编码框架ATSCC，利用轨迹可分割性进行自监督表示学习，在多个机场数据集上分类和聚类性能优于现有方法，且无需预定义机场配置或标注数据。
2024-07-29 cs.LG
Contrastive Predictive Coding Done Right for Mutual Information Estimation
Department of EECS, MIT（麻省理工学院电子工程与计算机科学系）；Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
InfoNCE目标，最初介绍了对比表示学习，已成为一个流行的选择互信息（MI）估计，尽管其间接连接到MI。在本文中，我们证明了为什么InfoNCE不应该被视为一个有效的MI估计，我们介绍了一个简单的修改，我们称之为InfoNCE锚，准确的MI估计。我们的修改引入了一个辅助锚类，使一致的密度比估计，并产生一个插件MI估计显着减少的偏见。除此之外，我们使用适当的评分规则来概括我们的框架，当采用日志评分时，该规则将InfoNCE锚恢复为特殊情况。这种表述将广泛的对比目标，包括NCE、InfoNCE和$f$ -发散变体统一在一个原则性框架下。经验上，我们发现，InfoNCE锚与日志得分实现最准确的MI估计，然而，在自我监督的表示学习实验中，我们发现，锚不提高下游任务的性能。这些研究结果证实，对比表示学习受益于准确的MI估计本身，但从结构化密度比的学习。
2025-10-29 cs.IT cs.LG math.IT
Contrastive Multiview Coding
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
人类通过许多感官渠道来观察世界，例如，左眼看到的长波长光通道，或者右耳听到的高频振动通道。每个视图都是嘈杂的和不完整的，但是重要的因素，例如物理、几何和语义，往往在所有视图之间共享（例如，“狗”可以被看到、听到和感觉到）。我们调查的经典假设，一个强大的代表性是一个模型的观点不变的因素。我们研究这一假设的框架下，多视图对比学习，在那里我们学习的表示，旨在最大限度地提高互信息之间的不同意见，同一场景，但在其他方面是紧凑的。我们的方法可以扩展到任何数量的视图，并且是视图不可知的。我们分析的方法，使其工作的关键属性，发现对比损失优于一个流行的替代方案的基础上跨视图预测，和更多的意见，我们从学习，更好地得到的表示捕捉底层场景语义。我们的方法在图像和视频无监督学习基准测试中取得了最先进的结果。代码发布于：http://github.com/HobbitLong/CMC/。
2020-12-18 cs.CV cs.LG
Few-Shot Electronic Health Record Coding through Graph Contrastive Learning
Shandong University（山东大学）；WeChat, Tencent（腾讯微信）；University of Amsterdam（阿姆斯特丹大学）
电子健康记录（EHR）编码是为每个EHR分配ICD代码的任务。以往的研究要么只关注常见ICD编码，要么以相同的方式处理罕见和常见ICD编码。这些方法在频繁ICD码上表现良好，但由于ICD码的分布极不平衡，在罕见码上的性能远不能令人满意。我们试图通过使用基于对比图的EHR编码框架CoGraph来提高频繁和罕见ICD代码的性能，CoGraph将EHR编码重新转换为少样本学习任务。首先，我们为每个EHR构建一个异构EHR词实体（HEWE）图，其中从EHR中提取的词和实体作为节点，它们之间的关系作为边。然后，CoGraph从不同的ICD代码中学习HEWE图之间的相似性和不相似性，以便可以在它们之间传递信息。在少样本学习场景中，模型在训练期间只能访问频繁的ICD代码，这可能会迫使它只对频繁的ICD代码有用的特征进行编码。为了减轻这种风险，CoGraph设计了两个图对比学习方案，GSCL和GECL，它们利用HEWE图结构来编码可转移的特征。GSCL利用从HEWE图中采样的不同子图的内部相关性，而GECL利用不同临床阶段的HEWE图之间的相互相关性。在MIMIC-III基准数据集上的实验表明，CoGraph在几个评价指标方面，不仅在频繁ICD代码上，而且在罕见代码上，都明显优于最先进的EHR编码方法。GSCL和GECL对常见ICD编码的分类准确率和F1分别提高了1.31%和0.61%，CoGra…
2021-06-29 cs.AI cs.CL
Temporal Contrastive Transformer for Financial Crime Detection: Self-Supervised Sequence Embeddings via Predictive Contrastive Coding
NICE Actimize
本文提出了一种名为时间对比变压器（TCT）的表示学习框架，旨在捕捉金融交易序列中的时间动态。通过自监督对比目标训练模型，生成编码时间行为模式的嵌入，以支持下游的欺诈检测任务。实验结果显示，嵌入本身能实现有意义的预测性能（AUC 0.8644），但结合领域工程特征时，性能提升不显著（AUC 0.9205 vs. 0.9245），表明学习到的表示与现有特征抽象有较大重叠。这些发现表明TCT是一种有前景的表示学习方法，能够捕捉相关的行为信号，同时凸显了在强领域特征上实现加性价值的挑战。
2026-03-31 cs.CR cs.LG
Contrastive Predictive Coding with Compression for Enhanced Channel State Feedback in Wireless Networks
Department of Electrical Engineering and Computer Science, York University（电气工程与计算机科学系，约克大学）；Nokia France（诺基亚法国）；Nokia UK（诺基亚英国）
研究针对下一代无线系统中CSI反馈问题，提出统一压缩预测框架，集成CPC到3GPP CSI压缩架构，通过联合目标优化，给出两种变体，实验表明其能降低计算量、保持反馈开销，提供年龄感知且高效的CSI反馈方案。
2026-07-09 cs.AI cs.IT eess.SP
Automatic coding of students' writing via Contrastive Representation Learning in the Wasserstein space
对言语数据的定性分析在学习科学中具有核心重要性。然而，这是劳动密集型和耗时的，这限制了研究人员可以包括在研究中的数据量。这项工作是朝着建立一个统计机器学习（ML）的方法，以实现自动化的支持定性分析的学生的写作，在这里特别是在分数实验室报告介绍生物学的复杂性的论证和推理。我们从本科生物学课程的一组实验报告开始，通过四个级别的方案进行评分，该方案考虑了论点结构的复杂性，证据的范围以及结论的谨慎性和细微差别。使用这组标记数据，我们表明一种流行的自然语言建模处理管道，即单词的矢量表示，也就是词嵌入，然后是长短期记忆（LSTM）模型，用于捕获语言生成作为状态空间模型，能够定量捕获评分，具有高的二次加权Kappa（QWK）预测得分，当通过新的对比学习设置进行训练时。我们表明，ML算法接近人的分析的评分员间的可靠性。最终，我们得出结论，用于自然语言处理（NLP）的机器学习（ML）有望帮助学习科学研究人员在比目前更大的规模上进行定性研究。
2020-12-01 cs.CL cs.LG
Self-supervised Representation Learning with Relative Predictive Coding
Carnegie Mellon University（卡内基梅隆大学）；D.E. Shaw & Co.（D.E. Shaw 公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文介绍了相对预测编码（RPC），一个新的对比表示学习目标，保持良好的平衡之间的训练稳定性，小批量大小的敏感性，下游任务的性能。RPC成功的关键是双重的。首先，RPC引入了相关参数来正则化目标，使其具有有界性和低方差。第二，RPC不包含对数和指数得分函数，这是先验对比目标训练不稳定的主要原因。我们实证验证RPC的有效性基准视觉和语音自监督学习任务。最后，我们将RPC与互信息（MI）估计联系起来，说明RPC可以用来估计低方差的MI。
2021-04-12 cs.IT cs.LG math.IT
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon Alexa（亚马逊Alexa）
语音情感识别是实现更自然的人机交流的关键技术。然而，SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题，我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明，对比预测编码（CPC）方法可以学习显着表示从未标记的数据集，这提高了情感识别性能。在我们的实验中，这种方法实现了最先进的一致性相关系数（CCC）的性能，所有的情绪原语（激活，效价，和优势）IEMOCAP。此外，在MSP-Podcast数据集上，与基线相比，我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research（京东人工智能研究院）
端到端自动语音识别（ASR）模型通常被训练为优化整个令牌序列的丢失，而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题，我们提出了一个新的框架，基于监督对比学习（SCaLa），以增强音素表征学习的端到端ASR系统。具体来说，我们将自监督的掩蔽对比预测编码（MCPC）扩展到完全监督的设置，其中监督以以下方式应用。首先，SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签，以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明，我们提出的方法实现了2.8和1.4点字符错误率（CER）的绝对减少相比，基线，分别。
2022-06-20 cs.LG cs.SD eess.AS
Beyond Matryoshka: Revisiting Sparse Coding for Adaptive Representation
Stony Brook University（纽约州立大学石溪分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对套娃表示学习需全量重训、短嵌入性能下降的问题，提出对比稀疏表示方法，通过轻量自编码和任务感知对比目标实现预训练嵌入的灵活稀疏自适应，在多模态基准上准确率、检索速度和训练效率均显著优于现有方法。
2025-05-20 cs.AI cs.CV cs.IR
Contrastive Representation Learning for Dynamic Link Prediction in Temporal Networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
针对时序网络动态链路预测，提出一种循环消息传递神经网络架构，结合链路预测、图重构与对比预测编码的对比训练目标，在多个数据集上取得优于现有模型的效果。
2024-08-22 cs.LG cs.NE
Contrastive prediction strategies for unsupervised segmentation and categorization of phonemes and words
University of Wroclaw（弗罗茨瓦夫大学）；NavAlgo；NVIDIA（英伟达）
针对自监督语音学习中分类与分割性能的权衡问题，提出融合多层建模的mACPC方法，同时提升分类指标并实现单词分割的SOTA性能。
2022-02-25 cs.LG cs.SD eess.AS
Micro-Expression Recognition Based on Attribute Information Embedding and Cross-modal Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
人脸微表情识别是近年来研究的热点。微表情具有持续时间短、强度低的特点，现有的微表情数量有限，很难训练出高性能的分类器。因此，识别微表情是一项具有挑战性的任务。提出了一种基于属性信息嵌入和跨模态对比学习的微表情识别方法。在人脸动作编码系统中，采用三维CNN提取微表情序列的RGB特征和FLOW特征并进行融合，采用BERT网络提取文本信息。通过跨模态对比损失，将属性信息嵌入到视觉网络中，从而提高了在样本有限情况下微表情识别的表征能力。在CASME II和MMEW数据库上进行了大量的实验，准确率分别为77.82%和71.04%。对比实验表明，该方法在微表情识别中具有较好的识别效果。
2022-05-29 cs.AI cs.CV cs.LG
ContraBAR: Contrastive Bayes-Adaptive Deep RL
Technion（以色列理工学院）
提出 ContraBAR 元强化学习算法，用对比预测编码 CPC 替代变分信念推断，并证明其表征足以实现贝叶斯最优性，可在线上、离线及图像观测场景中取得先进性能。
2023-06-04 cs.AI cs.LG stat.ML
PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis
Science Tokyo（东京科学大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Kyoto University（京都大学）
受时间预测假说启发，提出PhiNet非对比学习模型，通过双预测器结构提升表示稳定性与适应性，优于SimSiam，并扩展出X-PhiNet以增强持续学习。
2025-03-25 cs.LG
Making Sense of Touch from the Child's View for Contrastive Learning
Boston University（波士顿大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
提出婴儿中心触觉事件编码系统，构建264k两秒触觉片段数据集，用于预训练发展基础模型，揭示触觉对婴儿视觉学习的重要性。
2026-07-01 cs.LG
Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
为了从最能区分类别的高维数据中学习内在的低维结构，我们提出了最大编码率降低（$\text{MCR}^2$）的原则，这是一种信息理论措施，它最大化整个数据集与每个单独类别之和之间的编码率差异。阐明了它与交叉熵、信息瓶颈、信息增益、压缩学习和对比学习等现有框架的关系，为学习多样性和区分性特征提供了理论保证。编码速率可以从退化子空间类分布的有限样本中准确计算，并且可以以统一的方式在监督、自监督和无监督设置中学习内在表示。从经验上讲，单独使用这一原则学习的表示比使用交叉熵的表示对分类中的标记损坏更鲁棒，并且可以导致从自学的不变特征聚类混合数据的最新结果。
2020-06-15 cs.CV cs.IT cs.LG
An Initial Exploration of Contrastive Prompt Tuning to Generate Energy-Efficient Code
University of Twente（特温特大学）
本文探讨了通过对比提示微调优化大语言模型生成节能代码的方法，评估了其在Python、Java和C++编程任务中的效果，发现不同模型、语言和任务复杂度下效率提升不一致。
2026-03-03 cs.AI cs.LG cs.SE
Contrastive Representation Learning Helps Cross-institutional Knowledge Transfer: A Study in Pediatric Ventilation Management
Imperial College London（伦敦帝国学院）；University of Bayreuth（拜罗伊特大学）
针对跨机构临床机器学习部署难题，提出基于对比预测编码的系统框架，发现在有限数据下配合微调可有效实现儿科通气管理的跨机构知识迁移，并揭示了时间进展模式比即时决策更易迁移的不对称性。
2025-01-27 cs.AI cs.LG
Hierarchical Consensus Network for Multiview Feature Learning
School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院）；Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能学院）
本文提出层次共识网络（HCN），通过分类共识、编码共识和全局共识三个层次指标整合多视图信息，从而学习更具判别力的一致性特征，并在四个多视图数据集上显著优于现有方法。
2025-02-04 cs.CV cs.LG
Contrastive Learning with Cross-Modal Knowledge Mining for Multimodal Human Activity Recognition
Maastricht University（马斯特里赫特大学）
人类活动识别是输入数据可以采取多种形式的研究领域。每一种可能的输入方式都以不同的方式描述人类行为，每一种都有自己的优点和缺点。我们探讨的假设，利用多种形式可以导致更好的识别。由于手动注释的输入数据是昂贵和耗时的，重点是自我监督的方法，可以学习有用的功能表示没有任何地面真值标签。我们扩展了一些最近的对比自我监督的方法，人类活动识别的任务，利用惯性和骨架数据。此外，我们提出了一个灵活的，通用的框架进行多模态自监督学习，名为对比多视图编码与跨模态知识挖掘（CMC-CMKM）。该框架利用模态特定的知识，以减轻典型的自我监督框架的局限性。在两个广泛使用的数据集上进行的大量实验表明，所提出的框架在不同的场景下，包括全监督微调，活动检索和半监督学习，显着优于对比单峰和多峰基线。此外，即使与监督方法相比，它也显示出性能竞争力。
2022-05-20 cs.AI cs.CV
Graph Contrastive Learning for Anomaly Detection
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Mininglamp Technology（明略科技）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Oslo（奥斯陆大学）
基于图的异常检测已被广泛用于检测真实世界应用中的恶意活动。解决这个问题的现有尝试迄今为止集中在结构特征工程或学习的二进制分类制度。在这项工作中，我们建议利用图对比编码，并提出监督GraphCAD模型，用于根据异常节点与正常节点到全局上下文的距离（例如，所有节点的平均值）。为了处理具有稀缺标签的场景，我们通过设计用于生成合成节点标签的图破坏策略，进一步使GraphCAD成为一个自监督框架。为了达到对比的目的，我们设计了一个图神经网络编码器，可以推断和进一步删除可疑的链接在消息传递过程中，以及学习输入图的全局上下文。我们在四个公共数据集上进行了广泛的实验，证明1）GraphCAD显著且持续优于各种高级基线，2）其无需微调的自监督版本可以实现与其完全监督版本相当的性能。
2022-08-29 cs.LG
Causal Contrastive Learning for Counterfactual Regression Over Time
Paris-Saclay University（巴黎萨克雷大学）；CentraleSupélec（中央高等电力学院）；Saint-Gobain（圣戈班集团）
针对时间维度反事实回归的长期预测问题，提出结合RNN、对比预测编码与信息最大化准则的因果对比学习方法，在合成与真实数据上取得最优反事实估计效果，首次将对比预测编码引入因果推断。
2024-10-29 cs.LG stat.ME
Aligned Contrastive Predictive Coding
University of Wroclaw（弗罗茨瓦夫大学）；NavAlgo（纳夫阿尔戈公司）；NVIDIA（英伟达公司）；Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统实验室）
该研究提出对齐对比预测编码（ACPC）方法，通过调整自监督模型预测序列长度与任务设置，使模型提取缓慢变化的潜在表示，在语音编码任务上提升了音素预测准确率、降低了ABX错误率，且训练速度略有加快。
2021-06-22 cs.LG cs.SD eess.AS
Unsupervised Representation Learning for Time Series with Temporal Neighborhood Coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；The Hospital for Sick Children（病童医院）
时间序列通常复杂且信息丰富，但标记稀疏，因此建模具有挑战性。在本文中，我们提出了一个自监督的框架，学习非平稳时间序列的一般化表示。我们的方法，称为时间邻域编码（TNC），利用信号的生成过程的局部平滑性来定义具有固定属性的时间邻域。使用去偏对比目标，我们的框架通过确保在编码空间中，来自邻域内的信号分布与非相邻信号的分布是可区分的来学习时间序列表示。我们的动机源于医学领域，在那里，对时间序列数据的动态性质进行建模的能力对于识别、跟踪和预测潜在患者的潜在状态特别有价值，而在这些设置中，标记数据几乎是不可能的。我们将我们的方法与最近开发的无监督表示学习方法进行比较，并在多个数据集的聚类和分类任务上表现出卓越的性能。
2021-06-01 cs.LG stat.ML
Segmental Contrastive Predictive Coding for Unsupervised Word Segmentation
Johns Hopkins University（约翰霍普金斯大学）
音素或类词单元的自动检测是零资源语音处理的核心目标之一。最近的尝试采用自监督训练方法，例如对比预测编码（CPC），其中下一帧在给定过去上下文的情况下预测。然而，CPC仅查看音频信号的帧级结构。我们克服了这一限制与分段对比预测编码（SCPC）的框架，可以在更高的水平，例如在音素水平的信号结构建模。在这个框架中，卷积神经网络通过噪声对比估计（NCE）从原始波形中学习帧级表示。可微分边界检测器找到可变长度的段，然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。通常，音素和词分割被视为单独的任务。我们统一它们，并通过实验表明，我们的单一模型优于现有的音素和词分割方法TIMIT和七叶树数据集。我们分析了边界阈值的影响，以及何时是正确的时间，包括在学习过程中的分段损失。
2021-06-03 cs.CL cs.LG cs.SD
A comprehensive evaluation of pretraining strategies for channel-agnostic contrastive self-supervision of biosignals
Department of Applied Mathematics and Computer Science（应用数学和计算机科学系）
针对生物信号通道可变性问题，提出对比随机导联编码（CRLC）方法，通过随机选择输入通道子集创建正对，在EEG和ECG数据上预训练并微调，在通道无关设置下优于现有策略，并达到与最先进参考模型相当的性能。
2026-05-22 cs.LG eess.SP
MS-ConTab: Multi-Scale Contrastive Learning of Mutation Signatures for Pan Cancer Representation and Stratification
Ohio State University（俄亥俄州立大学）；James Comprehensive Cancer Center（詹姆斯综合癌症中心）
提出 MS-ConTab 无监督多尺度对比学习框架，利用基因与染色体双视图突变特征表征 43 种癌症，实现具有生物学一致性的队列层面泛癌聚类。
2025-08-26 cs.LG q-bio.QM
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing（帕德博恩并行计算中心）
在这项工作中，我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器：内容编码器和风格编码器。为了促进解纠缠，我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据，也不需要任何监督。我们表明，所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示，并显示竞争力的扬声器内容解纠缠性能相比，其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比，频谱特征，当用于电话识别。
2021-03-11 cs.SD eess.AS
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory（索尼计算机科学实验室）；LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
受计算机视觉领域的影响，生成对抗网络（GANs）通常用于音频域，使用固定大小的二维频谱图表示作为“图像数据”。然而，在（音乐）音频域中，通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN，一个对抗性的框架，通过利用矢量量化对比预测编码（VQCPC）合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入，提供所生成内容的逐步时间相关特征。输入噪声z（对抗架构中的特征）随时间保持固定，确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明，即使基线得分最好，VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例，我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
Joint Masked CPC and CTC Training for ASR
Facebook AI Research（脸书人工智能研究院）
自监督学习（SSL）在学习对自动语音识别（ASR）有用的音频表示方面已经显示出前景。但是，像wav 2 vec ~2.0这样的SSL模型需要两个阶段的管道。在本文中，我们展示了一个可以利用未标记和标记数据的ASR模型的单阶段训练。在训练过程中，我们交替地最小化两个损失：无监督的掩蔽对比预测编码（CPC）损失和有监督的音频到文本对齐损失连接主义时间分类（CTC）。我们表明，这种联合训练方法使用无监督数据直接优化了下游ASR任务的性能，同时在Librispeech 100小时数据集上实现了与wav 2 vec ~2.0相似的单词出错率。最后，我们假设解决对比任务是对监督CTC损失的正则化。
2021-02-13 cs.CL cs.LG cs.SD
Self-Supervised Representation Learning With MUlti-Segmental Informational Coding (MUSIC)
Rensselaer Polytechnic Institute（伦斯勒理工学院）
自监督表示学习将高维数据映射到一个有意义的嵌入空间，在这个空间中，语义内容相似的样本彼此接近。最近的表示学习方法大多在$l2$规范化单位超球面上最大化余弦相似度或最小化来自同一样本的不同视图的嵌入特征之间的距离。为了防止所有样本具有相同的嵌入特征的平凡解决方案，已经开发了各种技术，如对比学习，停止梯度，方差和协方差正则化等。在这项研究中，我们提出了多段信息编码（MUSIC）的自监督表示学习。MUSIC将嵌入特征分为多个分段，这些分段区分地将样本划分为不同的语义聚类，并且不同的分段关注不同的划分原则。信息论测量直接用于优化MUSIC，并在理论上保证避免平凡的解决方案。MUSIC不依赖于常用的技术，例如存储体或大批量、不对称网络、梯度停止、动量权重更新等，使得训练框架灵活。我们的实验表明，MUSIC在使用线性探测的ImageNet分类上取得了比大多数相关的Barlow Twins和VICReg方法更好的结果，并且既不需要深度投影仪也不需要大的特征尺寸。代码将提供。
2022-06-13 cs.AI cs.CV
Contrastive Consolidation of Top-Down Modulations Achieves Sparsely Supervised Continual Learning
Peter Grünberg Institute（彼得·格林贝格研究所）；Forschungszentrum Jülich（于利希研究中心）；RWTH Aachen（亚琛工业大学）
任务调节对比学习通过上行调节实现稀疏监督下的连续学习，提升类别增量和迁移学习性能。
2026-01-26 cs.AI cs.LG q-bio.NC
Trading through Earnings Seasons using Self-Supervised Contrastive Representation Learning
Imperial College London（帝国理工学院）
本文提出基于对比预测编码（CPC）的自监督对比财报Transformer（CET）模型，以解决财报数据发布周期不规律且时效性衰退导致中频算法交易模型难以长期准确预测的问题，跨行业比较显示CET能更有效地推断财报数据随时间变化的内在价值，实现一致的股价趋势预测。
2024-09-25 cs.LG q-fin.TR
Bridging the EHR Divide: Asymmetric Contrastive Learning for Cross-National Medical Representation Transfer
Carnegie Mellon University（卡内基梅隆大学）
针对跨国EHR表征迁移，提出非对称监督对比学习预训练目标，在NHIRD上预训练并迁移至美国数据集，显著提升少样本疾病预测性能。
2026-10-07 cs.LG
Vector Quantized Contrastive Predictive Coding for Template-based Music Generation
Sony Computer Science Laboratories（索尼计算机科学实验室）
在这项工作中，我们提出了一种灵活的方法来生成离散序列的变化，其中令牌可以被分组为基本单位，如文本中的句子或音乐中的酒吧。更确切地说，给定一个模板序列，我们的目标是产生与原始模板具有可感知相似性的新序列，而不依赖于任何注释;因此，我们生成变体的问题与在没有监督的情况下学习相关高级表示的问题密切相关。我们的贡献是双重的：首先，我们提出了一个自我监督的编码技术，称为矢量量化对比预测编码，它允许学习一个有意义的分配的基本单位在一组离散的代码，连同机制，允许控制这些学习的离散表示的信息内容。其次，我们展示了如何使用这些压缩表示可以用来生成模板序列的变化，通过使用适当的注意模式中的Transformer架构。我们说明了我们的方法上的语料库J. S.巴赫合唱，我们讨论了音乐意义的学习离散代码，并表明我们提出的方法允许生成一个给定的模板的连贯性和高质量的变化。
2020-04-21 cs.LG cs.SD eess.AS
Information Theory-Guided Heuristic Progressive Multi-View Coding
针对多视图表示学习中现有对比学习方法存在的噪声未过滤、负样本对处理不当等问题，提出信息论引导的三层渐进式多视图编码方法IPMC，在理论和实验上均优于现有方法。
2023-08-22 cs.AI cs.CV cs.LG
Towards understanding neural collapse in supervised contrastive learning with the information bottleneck method
University of Chicago（芝加哥大学）；Physics Frontier Center for Living Systems, University of Chicago（芝加哥大学物理前沿生命系统中心）
本文将神经崩溃建模为信息瓶颈（IB）问题，发现当其逼近最优IB解时能带来良好泛化能力，并揭示了K-单纯形ETF与IB相变及对比学习泛化能力的直接对应关系。
2024-06-26 cs.IT cs.LG math.IT
Pretraining Strategies and Scaling for ECG Foundation Models: A Systematic Study
AI4Health Division（AI4Health部门）
本文系统评估了ECG基础模型的预训练方法，探讨了不同对比和非对比自监督学习目标在不同预训练数据集规模下的表现，发现对比预测编码在跨临床任务的迁移性能上表现最佳。
2026-05-12 cs.AI cs.LG eess.SP
Evaluating Speaker Identity Coding in Self-supervised Models and Humans
本文比较多类自监督语音模型与人类的说话人身份编码，发现自监督表征优于传统声学特征，并能在多层表征、感知相似性及脑响应预测上揭示其与人类加工机制的联系。
2024-06-14 cs.AI cs.SD eess.AS
Pretrained Encoders are All You Need
MIT Media Lab（麻省理工学院媒体实验室）；Birla Institute of Technology（博拉理工学院）；National University of Singapore（新加坡国立大学）；Deepmind（深度思维）
数据效率和泛化是深度学习和深度强化学习的关键挑战，因为许多模型都是在大规模、特定领域和昂贵的标签数据集上训练的。在大规模未经管理的数据集上训练的自监督模型已经成功地转移到不同的环境中。我们研究使用预先训练的图像表示和时空注意力的状态表示学习在雅达利。我们还探索了用自我监督技术微调预训练表示，即，对比预测编码、时空对比学习和增强。我们的研究结果表明，预训练表示与在特定领域数据上训练的最先进的自监督方法不相上下。因此，预先训练的表示产生数据和计算高效的状态表示。https://github.com/PAL-ML/PEARL_v1
2021-06-09 cs.LG
Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing
York University（约克大学）；Cognitive Systems Corp.（认知系统公司）；University of the Fraser Valley（弗雷泽河谷大学）
本文提出上下文感知预测编码（CAPC）自监督学习框架，融合CPC与Barlow Twins以学习WiFi CSI的时序和上下文表示，并通过上下行CSI增强提升鲁棒性，在人类活动识别任务上以更少标注样本超越监督学习和自监督基线，展现出优异的跨域泛化能力。
2024-09-16 cs.LG eess.SP
Speaker and Style Disentanglement of Speech Based on Contrastive Predictive Coding Supported Factorized Variational Autoencoder
本文提出利用现成说话人标签、无需风格标签的方法，在对比预测编码支持的分裂变分自编码器基础上进一步解耦说话人与风格特征，实验证明其能有效支持说话人、风格及组合转换。
2024-09-05 eess.AS eess.SP
Towards High-fidelity Singing Voice Conversion with Acoustic Reference and Contrastive Predictive Coding
Soochow University（苏州大学）；ByteDance AI Lab（字节跳动人工智能实验室）
近年来，基于语音后验图（PPG）的方法在非并行歌唱声音转换系统中已经相当流行。然而，由于PPG中声学信息的缺乏，转换后的歌声的风格和自然度仍然有限。为了解决这些问题，在本文中，我们利用一个声学参考编码器隐式模型歌唱特征。我们使用不同的辅助特征，包括mel声谱图、HuBERT和预训练的自动语音识别（ASR）模型的中间隐藏特征（PPG-Mid）作为参考编码器的输入进行实验，最终发现HuBERT特征是最佳选择。此外，我们使用对比预测编码（CPC）模块，通过预测潜在空间中的未来观测值来进一步平滑语音。实验表明，与基线模型相比，该模型能显著提高转换后歌声的自然度和与目标歌手的相似度。此外，我们提出的模型也可以使说话人与语音数据唱歌。
2021-10-10 cs.CL cs.SD eess.AS
Information Theory-Guided Heuristic Progressive Multi-View Coding
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有多视图对比学习存在的噪声未过滤、负样本对处理不当等问题，提出信息论引导的三层渐进多视图编码方法IPMC，在理论和实验上均优于现有方法。
2023-08-23 cs.CV cs.LG eess.IV
Unsupervised Speech Segmentation and Variable Rate Representation Learning using Segmental Contrastive Predictive Coding
Johns Hopkins University（约翰斯·霍普金斯大学）
通常，将语音无监督分割成音素和类词单元被视为单独的任务，并且通常通过不同的方法来完成，这些方法不能充分利用这两个任务的相互依赖性。在这里，我们将它们统一起来，并提出了一种可以联合执行这两项任务的技术，表明这两项任务确实相互受益。最近的尝试采用自监督学习，例如对比预测编码（CPC），其中下一帧是在给定过去上下文的情况下预测的。然而，CPC仅查看音频信号的帧级结构。我们用分段对比预测编码（SCPC）框架克服了这一限制，以在更高级别上对信号结构进行建模，例如，电话水平。卷积神经网络通过噪声对比估计（NCE）从原始波形学习帧级表示。可微分边界检测器找到可变长度的段，然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。实验表明，我们的单一模型优于现有的电话和词分割方法TIMIT和七叶树数据集。我们发现音素类别会影响边界侦测的效能，而连续元音或半元音之间的边界是最难侦测的。最后，我们使用SCPC在段级而不是在均匀间隔的帧级提取语音特征（例如，10 ms），并产生根据话语的内容而改变的可变速率表示。我们可以将特征提取率从典型的100 Hz降低到平均低至14.5 Hz，同时在线性电话分类任务上仍然优于MFCC特征。
2021-10-08 cs.SD eess.AS
Multimodal Short Video Rumor Detection System Based on Contrastive Learning
Sichuan University Cyberspace Security Academy（四川大学网络空间安全学院）
提出基于对比学习的多模态短视频谣言检测系统，融合视频与文本特征并引入外部知识，有效解决短视频谣言识别难题。
2023-05-17 cs.CV cs.LG
Regularizing Contrastive Predictive Coding for Speech Applications
针对CPC语音表征学习，本文提出自表达约束与Left-or-Right正则化两种慢变特征约束，使100小时无标注训练达到基线360小时效果，并在多场景ABX任务中稳定优于基线。
2023-04-26 eess.AS
Guided contrastive self-supervised pre-training for automatic speech recognition
Amazon（亚马逊）
对比预测编码（CPC）是一种表示学习方法，它最大化中间潜在表示与给定模型的输出之间的互信息。它可用于有效地初始化自动语音识别（ASR）模型的编码器。我们提出了一种新的修改CPC称为引导对比预测编码（GCPC）。我们所提出的方法最大限度地提高了从先验知识模型的表示和模型的输出之间的互信息进行预训练，允许在预训练过程中的先验知识注入。我们验证我们的方法3 ASR任务：德语，法语和英语。与从头开始训练相比，我们的方法在所有三个数据集上的表现都优于CPC预训练，德语、法语和英语（Librisepeech）任务的单词出错率（WER）相对分别降低了4.44%、6.55%和15.43%，而CPC预训练仅带来了2.96%、1.01%和14.39%的相对WER降低。
2022-10-22 cs.CL cs.SD eess.AS
