Self-supervised learning of imaging and clinical signatures using a multimodal joint-embedding predictive architecture
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本文提出利用未标注CT与电子健康记录进行JEPA自监督预训练,以改善肺结节多模态诊断,并展示其在内部队列中的优势及外部队列中的局限。
2025-09-18 cs.AI cs.CV
Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs
Department of Intelligent Systems, Delft University of Technology(智能系统系,代尔夫特理工大学)
针对聚合物标注数据集稀缺问题,研究在聚合物分子图上应用JEPA进行自监督预训练,证明该方法在标注数据稀缺时显著提升了下游任务性能。
2025-06-22 cs.LG
Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment
University of Cincinnati(辛辛那提大学);University of Cincinnati College of Medicine(辛辛那提大学医学院);Perinatal Institute(围产期研究所)
针对多模态MRI特征简单融合存在信息捕捉不足、冗余等问题,提出联合自监督与监督对比学习方法,将异构特征投影到共享空间融合信息,在两个独立数据集上的异常神经发育预测效果优于现有深度多模态方法,可助力临床计算机辅助诊断。
2023-12-22 cs.AI cs.CV cs.LG
Predictive Self-Supervised Learning Provably Identifies Stochastic Signals under Nuisance
Friedrich Miescher Institute for Biomedical Research(弗里德里希·米舍尔生物医学研究所);University of Basel(巴塞尔大学)
本文证明预测性自监督学习通过预测互信息最大化和潜在分布匹配两个原则,能在干扰下识别随机信号,并在模拟中验证了其可识别性。
2026-11-20 cs.AI cs.LG
From Alignment to Prediction: A Study of Self-Supervised Learning and Predictive Representation Learning
Department of Information and Communication Technology, School of Technology, Pandit Deendayal Energy University, Gandhinagar, Gujarat 382007, India(信息与通信技术系,技术学院,潘迪·德恩达尔能源大学,古吉拉特邦加尔各纳,382007,印度)
本文研究了自监督学习的最新发展,提出预测表示学习(PRL)新类别,分析了BYOL、MAE和I-JEPA等方法的性能与鲁棒性。
2026-04-15 cs.AI cs.LG
Learning Invariant World State Representations with Predictive Coding
SRI International(斯坦福国际研究院)
自监督学习方法克服了构建更强大AI的关键瓶颈:标记数据的可用性有限。然而,自监督架构的缺点之一是它们学习的表示是隐式的,并且难以提取关于编码的世界状态的有意义的信息,例如编码在深度图中的视觉场景的3D结构。此外,在视觉领域,这种表示很少经历可能对下游任务(例如自动驾驶汽车的视觉)至关重要的评估。在这里,我们提出了一个框架,用于评估视觉表示的照明不变性的背景下,深度感知。我们开发了一种新的预测编码为基础的架构和混合全监督/自监督学习方法。我们提出了一种扩展预测编码方法的新架构:预测横向自下而上和自上而下的编码器-解码器网络(PreludeNet),它明确地学习从视频帧中推断和预测深度。在PreludeNet中,编码器的预测编码层堆栈以自监督的方式进行训练,而预测解码器则以监督的方式进行训练,以推断或预测深度。我们在一个新的合成数据集上评估了我们模型的鲁棒性,在这个数据集上,照明条件(如整体照明和阴影效果)可以参数化调整,同时保持世界的所有其他方面不变。PreludeNet实现了具有竞争力的深度推断性能和下一帧预测精度。我们还展示了这种新的网络架构,再加上混合全监督/自监督学习方法,实现了所述性能和照明变化的不变性之间的平衡。所提出的视觉表征评估框架可以扩展到不同的任务域和不变性测试。
2022-07-06 cs.LG cs.NE
Self-supervised Representation Learning with Relative Predictive Coding
Carnegie Mellon University(卡内基梅隆大学);D.E. Shaw & Co.(D.E. Shaw 公司);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文介绍了相对预测编码(RPC),一个新的对比表示学习目标,保持良好的平衡之间的训练稳定性,小批量大小的敏感性,下游任务的性能。RPC成功的关键是双重的。首先,RPC引入了相关参数来正则化目标,使其具有有界性和低方差。第二,RPC不包含对数和指数得分函数,这是先验对比目标训练不稳定的主要原因。我们实证验证RPC的有效性基准视觉和语音自监督学习任务。最后,我们将RPC与互信息(MI)估计联系起来,说明RPC可以用来估计低方差的MI。
2021-04-12 cs.IT cs.LG math.IT
Learning To Explore With Predictive World Model Via Self-Supervised Learning
Institute of Computing, State University of Campinas(坎皮纳斯州立大学计算研究所);Faculty of Electrical and Computer Engineering, State University of Campinas(坎皮纳斯州立大学电气与计算机工程学院)
针对自主智能体难以依赖人工任务与奖励的问题,提出基于自监督预测性世界模型和内在动机的探索方法,在18款Atari游戏中展现出优于现有方法的复杂行为学习能力。
2025-02-18 cs.AI cs.LG
LiPCoT: Linear Predictive Coding based Tokenizer for Self-supervised Learning of Time Series Data via Language Models
University of California San Francisco(加利福尼亚大学旧金山分校)
本研究提出基于线性预测编码的时间序列分词器LiPCoT,将时间序列编码为词元以适配语言模型自监督学习,在帕金森病EEG分类任务中多项指标优于现有CNN方法。
2024-08-14 cs.AI cs.LG eess.SP
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
Video Representation Learning with Joint-Embedding Predictive Architectures
Center for Data Science(数据科学中心);New York University(纽约大学);Courant Institute(库朗研究所);Meta FAIR
本文提出带方差-协方差正则化的VJ-VCR联合嵌入预测架构,用于自监督视频表示学习,避免表示坍缩,其隐藏表示在下游动态理解任务上优于生成式基线,并探索了潜变量以处理未来不确定性。
2024-12-14 cs.AI cs.CV
Meta-Representational Predictive Coding: Neuroscience-Informed Self-Supervised Learning
Rochester Institute of Technology(罗切斯特理工学院);AI Research Lab(AI研究实验室);University of Washington(华盛顿大学);Rochester, New York, USA(纽约罗切斯特市);Los Angeles, California, USA(加州洛杉矶市);Seattle, Washington, USA(华盛顿州西雅图市)
提出元表征预测编码(MPC),通过跨并行流预测输入表征实现自监督学习,避免生成模型和反向传播,利用主动推理驱动表征学习。
2026-09-22 cs.LG cs.NE q-bio.NC
MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning
FAIR at Meta(Meta AI研究实验室);New York University(纽约大学)
提出MJEPA,使用统一编码器和单一预测目标进行跨模态预测,在音频分类任务上超越先前方法,并减少视频数据需求。
2026-06-25 cs.CV cs.LG
Self-supervised multimodal neuroimaging yields predictive representations for a spectrum of Alzheimer's phenotypes
Tri-Institutional Center for Translational Research in Neuroimaging and Data Science(三机构神经影像与数据科学转化研究中心);Georgia State(佐治亚州立大学);Georgia Tech(佐治亚理工学院);Emory(埃默里大学);Borealis AI(Borealis人工智能公司);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Apple Machine Learning Research(苹果机器学习研究院);Université de Montréal(蒙特利尔大学)
最近的神经影像学研究集中在通过现代机器学习方法预测大脑疾病,通常包括单一模态,并依赖于监督过参数化模型。然而,单一模态只能提供高度复杂的大脑的有限视图。重要的是,临床环境中的监督模型缺乏用于训练的准确诊断标签。粗糙的标签不能捕获大脑疾病表型的长尾谱,这导致模型的泛化能力丧失,使它们在诊断环境中的用处不大。这项工作提出了一种新的多尺度协调框架,用于从多模态神经成像数据中学习多个表示。我们提出了一个一般的分类信息归纳偏见捕捉独特的和联合的信息,多模态自监督融合。该分类法形成了一系列无解码器模型,其具有降低的计算复杂性和捕获多模态输入的局部和全局表示之间的多尺度关系的倾向。我们使用功能和结构磁共振成像(MRI)数据对阿尔茨海默病表型的分类进行了全面评估,并表明自我监督模型揭示了与疾病相关的大脑区域和多模式链接,而无需在预训练期间访问标签。所提出的多模态自监督学习产生表示与改进的分类性能为两种方式。随之而来的丰富而灵活的无监督深度学习框架捕捉复杂的多模态关系,并提供满足或超过更窄的监督分类分析的预测性能。我们提出了详细的定量证据,说明这一框架如何显着推进我们对复杂大脑疾病中缺失环节的研究。
2022-09-07 cs.LG eess.IV q-bio.NC
From Video to EEG: Adapting Joint Embedding Predictive Architecture to Uncover Saptiotemporal Dynamics in Brain Signal Analysis
本文提出EEG-VJEPA,通过将EEG视为视频序列,利用联合嵌入和自适应掩码学习空间时间表示,提升分类准确率并提供可解释的嵌入,适用于实际临床场景。
2026-03-12 cs.AI cs.CV cs.LG
PredNet and Predictive Coding: A Critical Review
University of Potsdam(波茨坦大学);Otto von Guericke University(奥托·冯·格里克大学)
PredNet是Lotter等人开发的深度预测编码网络,将基于预测误差传播的生物启发架构与视频中的自监督表示学习相结合。虽然该体系结构已经引起了很多关注,并且存在模型的各种扩展,但缺乏批判性的分析。我们通过评估PredNet作为预测编码理论的实现和使用具有挑战性的视频动作分类数据集的自监督视频预测模型来填补这一空白。我们设计了一个扩展的模型来测试,如果条件未来帧预测的动作类的视频提高了模型的性能。我们表明,PredNet还没有完全遵循预测编码的原则。所提出的自上而下的调节导致合成数据的性能增益,但不能扩展到更复杂的现实世界的动作分类数据集。我们的分析旨在指导未来的研究类似的架构的预测编码理论的基础上。
2020-05-18 cs.CV cs.LG eess.IV
Koopman Invariants as Drivers of Emergent Time-Series Clustering in Joint-Embedding Predictive Architectures
本文提出JEPAs通过Koopman不变量驱动时间序列聚类的理论,揭示了预测器在表示解缠中的作用,为自监督学习与动力系统理论提供了联系。
2026-01-23 cs.AI cs.LG
Momentum-Guided Semantic Forecasting (MoFore) for Self-Supervised Video Representation Learning
Qinwu Xu, PhD(秦武 Xu 博士)
提出MoFore框架,通过预测未来潜在嵌入进行自监督视频表示学习,结合对比正则化防止表示崩溃,在UCF101上验证了时间一致性和语义结构。
2026-06-16 cs.AI cs.CV cs.LG
BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning
BiJEPA通过双向联合嵌入预测架构解决对称预测中的表示爆炸问题,实现稳定收敛并提升对混沌系统的语义表征能力。
2026-02-10 cs.LG
Predict, Cluster, Refine: A Joint Embedding Predictive Self-Supervised Framework for Graph Representation Learning
Vellore Institute of Technology, India(维洛雷理工学院,印度)
针对图自监督学习的计算低效、依赖对比目标、表示坍塌等问题,提出无对比、抗坍塌的联合嵌入预测框架,结合GMM伪标签提升节点区分度,在基准上性能优于现有方法。
2025-09-03 cs.AI cs.LG cs.SI
Self-Supervised Representation Learning via Latent Graph Prediction
Texas A&M University(德克萨斯农工大学)
图神经网络的自监督学习(SSL)正在成为利用未标记数据的一种有前途的方法。目前,大多数方法都是基于从图像域适应的对比学习,这需要视图生成和足够数量的负样本。相比之下,现有的预测模型不需要负采样,但缺乏理论指导的借口训练任务的设计。在这项工作中,我们提出了LaGraph,一个理论上接地预测SSL框架的基础上潜图预测。LaGraph的学习目标是作为预测未观察到的潜在图的目标的自监督上界。除了改进性能外,LaGraph还解释了包括基于不变性目标的预测模型最近的成功。我们提供了理论分析比较LaGraph在不同领域的相关方法。我们的实验结果表明,LaGraph在性能上的优越性和鲁棒性的减少训练样本大小的图级和节点级的任务。
2022-07-09 cs.LG
Audio-JEPA: Joint-Embedding Predictive Architecture for Audio Representation Learning
IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立理工学院);Queen Mary University of London(伦敦玛丽女王大学)
本文提出Audio-JEPA,将联合嵌入预测架构应用于音频,通过Vision Transformer预测被掩蔽频谱图补丁的潜在表示,在仅用不到五分之一训练数据且无超参数调优的情况下,在X-ARES基准上取得与wav2vec 2.0和data2vec相当的性能。
2026-09-29 cs.AI cs.LG cs.SD
Harmony: A Joint Self-Supervised and Weakly-Supervised Framework for Learning General Purpose Visual Representations
Harvard University(哈佛大学);KAUST(王国立人工智能科技大学)
Harmony框架结合视觉-语言训练与自监督学习,通过多目标优化和软CLIP目标,在多种下游视觉任务上显著超越CLIP及现有联合方法。
2025-06-23 cs.CV cs.LG
RePAIR: Predictive Self-Supervised Representation Learning in Chess
University of Zurich(苏黎世大学)
提出RePAIR架构,融合MAE、JEPA和BERT,通过掩码和迭代细化学习国际象棋序列的紧凑表示,无需强化学习即可推理棋子移动。
2026-11-20 cs.LG
SparseJEPA: Sparse Representation Learning of Joint Embedding Predictive Architectures
University of Illinois(伊利诺伊大学);Electrical & Computer Engineering Department(电气与计算机工程系);University of Illinois, Coordinated Science Laboratory(伊利诺伊大学协调科学实验室)
SparseJEPA通过惩罚方法在JEPA框架中引入稀疏表示学习,提升表示质量,在CIFAR-100上验证了其有效性,并理论上证明分组机制减少多重信息以增强可解释性。
2025-04-22 cs.AI cs.LG
Model Predictive Control with Self-supervised Representation Learning
University of Hamburg(汉堡大学)
本文在TD-MPC框架中引入重构函数,使智能体能从潜在状态表示重建原始观测,从而稳定训练信号并提升样本效率,在DeepMind-Control任务上取得性能改进。
2023-04-14 cs.AI cs.LG
P-JEPA: Procedural Video Representation Learning via Joint Embedding Predictive Architecture
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Carl Zeiss AG(卡尔蔡司股份公司)
提出P-JEPA,一种与骨干网络无关的方法,通过将长视频映射到密集帧对齐动作空间并预测池化掩码潜在向量,实现对超过30分钟程序性视频的长时理解,在EgoExo4D等数据集上达到细粒度动作分类SOTA,参数比基于LLM的方法少一个数量级。
2026-06-23 cs.AI cs.CV
EchoSpike Predictive Plasticity: An Online Local Learning Rule for Spiking Neural Networks
ETH Zurich(苏黎世联邦理工学院)
本文提出EchoSpike预测可塑性(ESPP)规则,一种用于SNNs的在线局部学习规则,通过预测和对比编码利用层次时间动态,性能与最先进监督学习相当,适合低成本神经形态处理器。
2024-05-26 cs.LG cs.NE
Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance
Zuse Institute Berlin(柏林Zuse研究所)
本文提出利用联合嵌入预测架构JEPA对心电图数据进行自监督预训练,在超百万条记录的合并数据集上预训练Vision Transformers,并在PTB-XL基准上取得优于现有方法的分类性能。
2024-10-02 cs.LG eess.SP
Predictive Event Segmentation and Representation with Neural Networks: A Self-Supervised Model Assessed by Psychological Experiments
University of Tübingen(蒂宾根大学);Boğaziçi University(海峡大学)
人们将复杂、不断变化和连续的体验分割成基本、稳定和离散的时空体验单元,称为事件。事件分割文献研究了允许人们提取事件的机制。事件分割理论指出,人们预测正在进行的活动,并观察预测错误信号,以找到使事件分开的事件边界。在这项研究中,我们调查的机制,引起这种能力的计算模型和伴随的心理实验。受事件分割理论和预测处理的启发,提出了一种自监督的事件分割模型。该模型由神经网络和认知模型组成,神经网络预测下一个时间步中的感觉信号以表示不同的事件,认知模型根据预测误差调节这些网络。为了验证我们的模型在分割事件、在被动观察过程中学习事件以及在其内部表示空间中表示事件方面的能力,我们准备了一个视频,该视频描述了由点光显示器表示的人类行为。我们比较了事件分割行为的参与者和我们的模型与这个视频在两个层次的事件分割水平。通过使用点二阶相关技术,我们证明了我们的模型的事件分割决策与参与者的反应相关。此外,通过近似的代表空间的参与者的相似性为基础的技术,我们表明,我们的模型形成了一个类似的代表空间的参与者。结果表明,我们跟踪预测误差信号的模型可以产生类似人类的事件边界和事件表示。最后,我们讨论了我们对事件认知文献的贡献,以及我们对事件分割如何在大脑中实现的理解。
2022-10-04 cs.AI cs.LG q-bio.NC
VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models
VJEPA通过变分目标学习预测分布,统一表征学习与贝叶斯过滤,提供概率世界模型框架,适用于高维噪声环境中的鲁棒规划。
2026-01-20 cs.LG
Multi-task Joint Strategies of Self-supervised Representation Learning on Biomedical Networks for Drug Discovery
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);Institute of Open Source Software and Platform, Peng Cheng Laboratory(鹏城实验室开源软件与平台研究所);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);The State Key Laboratory of Chemo/Biosensing and Chemometrics, Hunan University(湖南大学化学生物传感与计量学国家重点实验室)
生物医学网络上的自监督表示学习(SSL)为药物发现提供了新的机会。然而,如何有效地组合多个SSL模型仍然具有挑战性,并且很少有人探索。因此,我们提出了多任务联合策略的自我监督表示学习的生物医学网络的药物发现,命名为MSSL 2drug。我们设计了六个基本的SSL任务的灵感来自各种模态功能,包括结构,语义和属性在异构生物医学网络。重要的是,在两个药物发现场景中,通过基于图形注意力的多任务对抗学习框架评估了多个任务的15种组合。结果表明两个重要的发现。(1)与其他多任务联合模型相比,多模式任务的组合实现了最佳性能。(2)当模态大小相同时,局部-全局组合模型比随机两任务组合模型产生更高的性能。因此,我们推测多模态和局部-全局组合策略可以作为药物发现的多任务SSL的指导方针。
2022-12-18 cs.AI cs.LG q-bio.QM
Investigating Design Choices in Joint-Embedding Predictive Architectures for General Audio Representation Learning
LTCI, Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信与信号处理实验室、巴黎电信学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室(巴黎));Sony AI(索尼人工智能)
本研究针对自监督通用音频表示学习问题,探究JEPA框架下的多种设计选择对音频任务的影响,发现上下文/目标划分等设计选择显著影响模型性能,且图像领域的有效设计在音频领域表现不佳,凸显模态差异。
2024-05-14 cs.AI cs.LG cs.SD
Graph-level Representation Learning with Joint-Embedding Predictive Architectures
Bocconi University(博科尼大学);Michigan State University(密歇根州立大学);University of Verona(维罗纳大学)
本文提出Graph-JEPA,一种基于联合嵌入预测架构的图级自监督表示学习方法,通过掩码建模预测子图表示,并在单位双曲线上预测坐标以捕获层次结构,实验证明其在图分类、回归和区分非同构图任务上表现优异。
2025-01-18 cs.LG
Wiener Graph Deconvolutional Network Improves Graph Self-Supervised Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
图自监督学习(SSL)已被广泛用于从未标记图中学习表示。现有的方法大致可以分为预测学习和对比学习,其中后一个吸引了更多的研究与更好的经验性能。然而,我们认为,预测模型与强大的解码器武器可以实现可比的,甚至更好的表示能力比对比模型。在这项工作中,我们提出了一个维纳图解卷积网络(WGDN),增强自适应解码器授权的图维纳滤波器进行信息重建。理论分析证明了图维纳滤波器优越的重构能力。在不同数据集上的实验结果证明了该方法的有效性。
2022-11-26 cs.LG
Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing
York University(约克大学);Cognitive Systems Corp.(认知系统公司);University of the Fraser Valley(弗雷泽河谷大学)
本文提出上下文感知预测编码(CAPC)自监督学习框架,融合CPC与Barlow Twins以学习WiFi CSI的时序和上下文表示,并通过上下行CSI增强提升鲁棒性,在人类活动识别任务上以更少标注样本超越监督学习和自监督基线,展现出优异的跨域泛化能力。
2024-09-16 cs.LG eess.SP
ST-ReP: Learning Predictive Representations Efficiently for Spatial-Temporal Forecasting
Tongji University(同济大学)
提出轻量级表示学习模型ST-ReP,通过整合当前值重建与未来值预测的预训练框架、新型时空编码器及多时间尺度自监督损失,解决时空预测中的负样本对选择、空间相关性与可扩展性挑战,性能超越基线。
2024-12-19 cs.LG
Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Sony Computer Science Laboratories - Paris(索尼计算机科学实验室(巴黎));Sony AI(索尼人工智能)
本文提出基于联合嵌入预测架构的新方法,通过条件化预测器实现零样本音乐分轨检索,并在MUSDB18和MoisesDB数据集上显著优于基线,同时验证了嵌入保留时间结构。
2025-02-24 cs.AI cs.SD eess.AS
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York(纽约城市学院);Biomedical Engineering Department(生物医学工程系)
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题,本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构,通过递归前向传播算法实现自监督学习,从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Temporal Contrastive Transformer for Financial Crime Detection: Self-Supervised Sequence Embeddings via Predictive Contrastive Coding
NICE Actimize
本文提出了一种名为时间对比变压器(TCT)的表示学习框架,旨在捕捉金融交易序列中的时间动态。通过自监督对比目标训练模型,生成编码时间行为模式的嵌入,以支持下游的欺诈检测任务。实验结果显示,嵌入本身能实现有意义的预测性能(AUC 0.8644),但结合领域工程特征时,性能提升不显著(AUC 0.9205 vs. 0.9245),表明学习到的表示与现有特征抽象有较大重叠。这些发现表明TCT是一种有前景的表示学习方法,能够捕捉相关的行为信号,同时凸显了在强领域特征上实现加性价值的挑战。
2026-03-31 cs.CR cs.LG
H$^3$GNNs: Harmonizing Heterophily and Homophily in GNNs via Joint Structural Node Encoding and Self-Supervised Learning
North Carolina State University(北卡罗来纳州立大学)
针对GNN在自监督设置中难以平衡异质性和同质性的问题,提出H³GNNs端到端自监督框架,通过联合结构节点编码和基于节点难度动态掩码的师生自监督学习,在异质性和同质性数据集上均取得优异性能。
2025-04-16 cs.LG cs.SI
Learning Symmetry-Independent Jet Representations via Jet-Based Joint Embedding Predictive Architecture
University of California, San Diego(加利福尼亚大学圣迭戈分校);Fermi National Accelerator Laboratory(费米国家加速器实验室);California Institute of Technology(加州理工学院)
本研究针对高能物理中喷注相关任务的自监督学习需求,提出基于喷注的联合嵌入预测架构J-JEPA,无需手工设计增强即可学习喷注表征,避免偏差并支持多任务应用,在喷注标记任务微调后与任务特定表征进行了基准对比。
2024-12-05 cs.LG hep-ex hep-ph
Masked and Predictive Self-Supervised Pretraining for Brain MRI: Effects of Objective Design on Disease Detection
Istanbul Technical University(伊斯坦布尔理工大学);NYU Langone Health(纽约大学朗格尼医学中心)
研究自监督基础模型在MRI疾病检测中的应用,提出频谱域重建损失(MAE)和方差-协方差正则化(JEPA)两种方法,在五个下游任务中验证了目标设计对任务结构匹配的重要性。
2026-10-27 cs.CV eess.IV
CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model
Northwestern Polytechnical University(西北工业大学);Research Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);Shandong Normal University(山东师范大学)
本文提出CrossDiff模型,通过交叉预测扩散任务预训练UNet,冻结编码器后仅训练融合头,实现全色锐化的自监督表示学习,并在多数据集上验证了其优越性和泛化能力。
2024-01-13 cs.CV eess.IV
A Review of Predictive and Contrastive Self-supervised Learning for Medical Images
The University of Sydney(悉尼大学);James Cook University(詹姆斯·库克大学)
本文综述了用于医学图像的对比式自监督学习方法,重点分析自然图像SSL算法的医学适配、最新进展与未来方向。
2024-03-30 cs.CV
Semi-Supervised Histology Classification using Deep Multiple Instance Learning and Contrastive Predictive Coding
Brigham and Woman’s Hospital(布里格姆妇女医院);Harvard Medical School(哈佛医学院)
可以训练卷积神经网络以使用具有多实例学习(MIL)的弱注释来执行组织学载玻片分类。然而,由于标记的组织学数据的缺乏,直接应用MIL很容易遭受过拟合,并且由于监督信号较弱,网络无法学习丰富的特征表示。我们提出了一个两阶段的半监督方法,结合了数据高效的自我监督特征学习的力量,通过对比预测编码(CPC)和可解释性和灵活性的正则化的注意力为基础的MIL。我们将我们的两阶段CPC + MIL半监督管道乳腺癌组织学图像的二进制分类。在五个随机分割中,我们报告了最先进的性能,平均验证准确率为95%,ROC曲线下面积为0.968。我们进一步评估了通过CPC相对于简单的迁移学习学习的特征的质量,并表明即使在特征编码器冻结的情况下,使用CPC特征的强大分类性能也可以在MIL框架下有效地利用。
2019-11-02 cs.CV q-bio.TO
JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation
Politehnica University of Timișoara(蒂米什瓦拉理工大学)
本文提出JEPADepth框架,结合I-JEPA的掩码预测损失优化自监督单目深度估计,在KITTI、Make3D等数据集上实现性能提升,且推理无额外成本。
2026-07-30 cs.CV
Automated rock joint trace mapping using a supervised learning model trained on synthetic data generated by parametric modelling
Norwegian Geotechnical Engineering(挪威地质工程)
本文提出一种基于参数建模生成合成数据的监督学习方法,用于解决岩体节理迹映射中真实数据不足和类别不平衡的问题,通过混合训练和微调提升模型鲁棒性,实现更准确的地质映射。
2026-02-07 cs.AI cs.CV cs.LG
Joint-Embedding Predictive Architecture for Self-Supervised Learning of Mask Classification Architecture
VUNO Inc.(VUNO公司);POSTECH(浦项科技大学)
本研究提出专为掩码分类架构定制的自监督学习框架Mask-JEPA,结合联合嵌入预测架构解决自监督分割的两大关键挑战,在多个数据集上取得有竞争力的结果且具备良好通用性与鲁棒性。
2024-07-15 cs.CV
Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud
Saint Mary’s University(圣玛丽大学)
本文提出Point-JEPA,一种针对点云的自监督联合嵌入预测架构,通过排序器高效利用块嵌入邻近性,在避免输入空间重建和额外模态的同时取得与最先进方法相当的性能。
2025-02-09 cs.CV
Noise2Recon: Enabling Joint MRI Reconstruction and Denoising with Semi-Supervised and Self-Supervised Learning
Stanford University(斯坦福大学)
深度学习(DL)已经显示出更快,高质量的加速MRI重建的前景。然而,监督DL方法依赖于大量的完全采样(标记)数据,并且对分布外(OOD)偏移敏感,特别是低信噪比(SNR)采集。为了缓解这一挑战,我们提出了Noise2Recon,这是一种用于联合MRI重建和去噪的模型不可知的一致性训练方法,可以在半监督和自监督设置中使用全采样(标记)和欠采样(未标记)扫描。在有限或没有标记训练数据的情况下,Noise2Recon的性能优于压缩感知和深度学习基线,包括监督网络、基于增强的训练、微调的去噪器和自监督方法,并与监督模型的性能相匹配,这些模型是用14倍的全采样扫描训练的。Noise2Recon还优于所有基线,包括最先进的微调和增强技术,在低SNR扫描中以及推广到其他OOD因素时,例如加速因子和不同数据集的变化。与监督方法相比,增强程度和损失加权超参数对Noise2Recon的影响可以忽略不计,这可能表明训练稳定性增加。我们的代码可在https://github.com/ad12/meddlr上获得。
2022-10-07 cs.CV eess.IV
Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection
University Politehnica of Bucharest(布加勒斯特理工大学);MBZ University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Aalborg University(奥尔堡大学);University of Bucharest(布加勒斯特大学);SecurifAI(SecurifAI公司);Milestone Systems(Milestone Systems公司);Linköping University(林雪平大学);University of Central Florida(中佛罗里达大学)
异常检测通常被视为一类分类问题,其中模型只能从正常训练样本中学习,同时在正常和异常测试样本上进行评估。在用于异常检测的成功方法中,一个区别类别的方法依赖于预测掩蔽信息(例如,补丁、未来帧等)。以及利用关于所述屏蔽信息的所述重构误差作为异常性分数。与相关方法不同,我们提出将基于重建的功能集成到一个新的自监督预测建筑构建块中。所提出的自监督块是通用的,可以很容易地被纳入到各种国家的最先进的异常检测方法。我们的块从具有扩张滤波器的卷积层开始,其中接收场的中心区域被掩蔽。所得到的激活图通过通道注意模块。我们的块配备了一个损失,最大限度地减少重建误差相对于掩蔽区的感受野。我们通过将其集成到几个最先进的图像和视频异常检测框架中来展示我们的块的一般性,提供了经验证据,表明MVTec AD,Avenue和ShanghaiTech的性能有了相当大的改进。我们在https://github.com/ristea/sspcab上以开源方式发布我们的代码。
2022-03-14 cs.CV cs.LG
Semi-supervised learning for joint SAR and multispectral land cover classification
Politecnico di Torino(都灵理工大学)
半监督学习技术由于其构建有效模型的能力而越来越受欢迎,即使在标记数据稀缺的情况下也是如此。在本文中,我们提出了一个框架和具体任务的自我监督预训练的\textit{multichannel}模型,如多光谱和合成孔径雷达图像的融合。我们表明,所提出的自监督方法在学习与土地覆盖分类标签相关的特征方面非常有效。这是通过预训练任务的明确设计实现的,该任务促进弥合感测模态和利用输入的光谱特性之间的差距。在半监督设置中,当有限的标签可用时,使用所提出的自监督预训练,然后使用SAR和多光谱数据对土地覆盖分类进行监督微调,优于传统方法,如纯监督学习,ImageNet训练初始化和其他最近的自监督方法。
2022-07-28 cs.CV eess.IV
Supervised Uncertainty Quantification for Segmentation with Multiple Annotations
University of Amsterdam(阿姆斯特丹大学);Radboud University Medical Center(拉德堡德大学医学中心)
预测不确定性的准确估计在诸如肺结分割的医疗场景中具有重要性。不幸的是,大多数现有的预测不确定性的工作不返回校准的不确定性估计,这可以在实践中使用。在这项工作中,我们利用多级注释的变化作为一个源的“地面实况”任意的不确定性,这可以被视为一个目标,在监督学习的问题。我们将这种真实的不确定性与ProbabilityU-Net相结合,并在LIDC-IDRI肺结节CT数据集和MICCAI 2012前列腺MRI数据集上进行测试。我们发现,我们能够提高预测的不确定性估计。我们还发现,我们可以提高样本精度和样本多样性。在实际应用中,我们的方法可以告知医生分割结果的置信度。
2022-05-27 cs.CV cs.LG stat.ML