High-Performance Self-Supervised Learning by Joint Training of Flow Matching
Kyushu Institute of Technology(九州工业技术大学)
通过联合训练流匹配生成器和编码器,FlowFM在提升自监督学习效率和生成质量方面取得显著进展。
2025-12-17 cs.AI cs.LG
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech(基因泰克);Brown University(布朗大学);Meta AI, FAIR(Meta AI,FAIR)
本文通过闭式解分析,证明在自监督学习中,当不相关特征幅度较大时,联合嵌入方法因对齐条件更弱而优于重建方法,并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
Unsupervised Representation Learning for Binary Networks by Joint Classifier Learning
Upstage AI Research(Upstage人工智能研究院);NAVER AI Lab.(NAVER人工智能实验室);Yonsei University(延世大学)
自监督学习是一种很有前途的无监督学习框架,它在大型浮点网络中取得了成功。但是这样的网络并不容易部署到边缘设备。为了加速部署模型的好处,无监督的表示学习,这样的资源有限的设备的各种下游任务,我们提出了一个自监督学习方法,使用移动目标网络的二进制网络。特别是,我们建议联合训练一个随机初始化的分类器,附加到一个预训练的浮点特征提取器,与二进制网络。此外,我们提出了一个特征相似性损失,一个动态的损失平衡和修改的多阶段训练,以进一步提高准确性,并呼吁我们的方法烧伤。我们使用七个数据集对五个下游任务进行的经验验证表明,BURN优于二进制网络的自监督基线,有时优于监督预训练。代码可在https://github.com/naver-ai/burn上获得。
2022-03-29 cs.CV cs.LG
ESimCSE Unsupervised Contrastive Learning Jointly with UDA Semi-Supervised Learning for Large Label System Text Classification Mode
China Telecom Corporation Limited Chongqing Branch(中国电信集团有限公司重庆分公司)
针对大标签体系文本分类中标签多、分布不均和噪声高的问题,提出联合训练ESimCSE与UDA并引入FGM、PGD对抗训练,显著提升公开及业务数据集准确率。
2023-04-19 cs.CL cs.LG
Multi-task Joint Strategies of Self-supervised Representation Learning on Biomedical Networks for Drug Discovery
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);Institute of Open Source Software and Platform, Peng Cheng Laboratory(鹏城实验室开源软件与平台研究所);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);The State Key Laboratory of Chemo/Biosensing and Chemometrics, Hunan University(湖南大学化学生物传感与计量学国家重点实验室)
生物医学网络上的自监督表示学习(SSL)为药物发现提供了新的机会。然而,如何有效地组合多个SSL模型仍然具有挑战性,并且很少有人探索。因此,我们提出了多任务联合策略的自我监督表示学习的生物医学网络的药物发现,命名为MSSL 2drug。我们设计了六个基本的SSL任务的灵感来自各种模态功能,包括结构,语义和属性在异构生物医学网络。重要的是,在两个药物发现场景中,通过基于图形注意力的多任务对抗学习框架评估了多个任务的15种组合。结果表明两个重要的发现。(1)与其他多任务联合模型相比,多模式任务的组合实现了最佳性能。(2)当模态大小相同时,局部-全局组合模型比随机两任务组合模型产生更高的性能。因此,我们推测多模态和局部-全局组合策略可以作为药物发现的多任务SSL的指导方针。
2022-12-18 cs.AI cs.LG q-bio.QM
Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment
University of Cincinnati(辛辛那提大学);University of Cincinnati College of Medicine(辛辛那提大学医学院);Perinatal Institute(围产期研究所)
针对多模态MRI特征简单融合存在信息捕捉不足、冗余等问题,提出联合自监督与监督对比学习方法,将异构特征投影到共享空间融合信息,在两个独立数据集上的异常神经发育预测效果优于现有深度多模态方法,可助力临床计算机辅助诊断。
2023-12-22 cs.AI cs.CV cs.LG
Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain
KAIST AI(韩国国立科学技术院人工智能研究所);Yonsei University College of Medicine(延世大学医学院);AITRICS
本文提出时空联合嵌入掩码自编码器ST-JEMA,受JEPA启发,通过重建动态图学习fMRI数据的高层语义表示,在八个基准数据集上优于现有方法,有效利用标签稀缺的脑影像数据。
2025-05-05 cs.LG q-bio.NC
Joint Embedding Self-Supervised Learning in the Kernel Regime
MIT(麻省理工学院);Meta AI, FAIR(元人工智能 基础人工智能研究团队);Turing Inc.(图灵公司);NYU(纽约大学)
自监督学习(SSL)的基本目标是生成有用的数据表示,而无需访问用于对数据进行分类的任何标签。SSL中的现代方法基于样本之间已知或构建的关系形成表示,在此任务中特别有效。在这里,我们的目标是扩展这个框架,将算法的内核方法的基础上,嵌入构造的线性映射作用于内核的特征空间。在这个内核政权,我们推导出的方法来找到对比和非对比损失函数的输出表示的最佳形式。该过程产生具有表示为诱导核的内积的新表示空间,诱导核通常使通过核空间中的增广而相关的点相关,并且使点去相关。我们在小数据集上分析我们的内核模型,以识别自监督学习算法的共同特征,并从理论上了解它们在下游任务上的性能。
2022-09-29 cs.AI cs.LG stat.ML
Joint-Embedding Prediction of Masked Point Tubes for Self-Supervised Learning on 4D Point Cloud Videos
National Taiwan University(台湾大学)
该研究针对四维点云视频自监督学习的挑战,提出JEPA风格框架结合Sketched Isotropic Gaussian Regularization,通过掩码时空区域的潜在点管预测学习表示,在动作和手势识别任务中取得良好效果。
2026-08-26 cs.CV cs.LG
Matrix Cofactorization for Joint Representation Learning and Supervised Classification -- Application to Hyperspectral Image Analysis
University of Toulouse(图卢兹大学);IRIT/INP-ENSEEIHT Toulouse(图卢兹国立理工学院ENSEEIHT校区信息与电信研究所);CESBIO(空间研究中心);CNES(法国国家空间研究中心);CNRS(法国国家科学研究中心);INRA(法国国家农业研究院);IRD(法国发展研究所);UPS(图卢兹第三大学)
监督分类和表示学习是分析多变量图像的两类广泛使用的方法。虽然这些方法是互补的,但在分层建模中几乎没有被联合考虑过。在本文中,耦合这两种方法的方法设计使用矩阵余因子分解制定。每个任务被建模为一个分解矩阵的问题,然后引入一个与两个编码矩阵相关的术语来驱动适当的耦合。该链接可以被解释为对低维表示向量的聚类操作。然后,聚类的属性向量被用作分类任务的特征向量,即,对应的因式分解问题的编码向量。一个近似的梯度下降算法,确保收敛到目标函数的临界点,然后推导出解决由此产生的非凸非光滑优化问题。所提出的方法的评价,最后进行合成和真实数据的特定背景下的高光谱图像判读,统一两个标准的分析技术,即解混和分类。
2020-02-13 cs.CV cs.LG eess.IV
Self-Supervised Pre-Training with Joint-Embedding Predictive Architecture Boosts ECG Classification Performance
Zuse Institute Berlin(柏林Zuse研究所)
本文提出利用联合嵌入预测架构JEPA对心电图数据进行自监督预训练,在超百万条记录的合并数据集上预训练Vision Transformers,并在PTB-XL基准上取得优于现有方法的分类性能。
2024-10-02 cs.LG eess.SP
Joint Masked CPC and CTC Training for ASR
Facebook AI Research(脸书人工智能研究院)
自监督学习(SSL)在学习对自动语音识别(ASR)有用的音频表示方面已经显示出前景。但是,像wav 2 vec ~2.0这样的SSL模型需要两个阶段的管道。在本文中,我们展示了一个可以利用未标记和标记数据的ASR模型的单阶段训练。在训练过程中,我们交替地最小化两个损失:无监督的掩蔽对比预测编码(CPC)损失和有监督的音频到文本对齐损失连接主义时间分类(CTC)。我们表明,这种联合训练方法使用无监督数据直接优化了下游ASR任务的性能,同时在Librispeech 100小时数据集上实现了与wav 2 vec ~2.0相似的单词出错率。最后,我们假设解决对比任务是对监督CTC损失的正则化。
2021-02-13 cs.CL cs.LG cs.SD
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh(爱丁堡大学);Cardiff University(卡迪夫大学)
针对现有层次多标签文本分类(HMTC)对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题,提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL,在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Var-JEPA: A Variational Formulation of the Joint-Embedding Predictive Architecture - Bridging Predictive and Generative Self-Supervised Learning
University(大学);Health Data Research UK(英国健康数据研究)
本文提出Var-JEPA,通过优化单个ELBO显式化潜在生成结构,实现有意义的表示并允许潜在空间的不确定性量化,同时在表格数据上取得优于T-JEPA且与强基线模型竞争的性能。
2026-08-31 cs.AI cs.LG
ViewMix: Augmentation for Robust Representation in Self-Supervised Learning
University of Nebraska at Omaha(内布拉斯加大学奥马哈分校)
针对自监督学习中区域丢弃策略不适于生成正样本对的问题,提出ViewMix增强策略,通过跨视图剪切粘贴图块,提升模型定位能力与表示鲁棒性且无额外计算开销。
2023-09-06 cs.CV cs.LG
CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
Salesforce Research(Salesforce研究院)
半监督学习是利用未标记数据减少对标记数据依赖的有效范例。我们提出了CoMatch,一种新的半监督学习方法,它统一了主流方法并解决了它们的局限性。CoMatch联合学习训练数据的两种表示,它们的类概率和低维嵌入。这两种表征相互作用,共同进化。嵌入对类概率施加平滑约束以改进伪标签,而伪标签通过基于图的对比学习来正则化嵌入的结构。CoMatch在多个数据集上实现了最先进的性能。它在标签稀缺的CIFAR-10和STL-10上实现了实质性的精度改进。在标签数为1%的ImageNet上,CoMatch达到了66.0%的top-1准确率,比FixMatch高出12.6%。此外,CoMatch在下游任务上实现了更好的表示学习性能,优于监督学习和自监督学习。代码和预训练模型可在www.example.com上获得。
2021-03-03 cs.CV cs.LG
KerJEPA: Kernel Discrepancies for Euclidean Self-Supervised Learning
Microsoft Research(微软研究院);Mila–Québec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学)
KerJEPA通过引入基于核的正则化器,改进了自监督学习中欧几里得表示的稳定性与泛化能力。
2026-10-14 cs.CV cs.LG
How Well Does Self-Supervised Pre-Training Perform with Streaming Data?
National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);Huawei Technologies(华为技术有限公司);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
之前关于自我监督预训练的工作集中在联合训练场景上,其中假设大量未标记的数据一次性作为输入,只有这样才能训练学习者。不幸的是,这样的问题设置通常是不切实际的,如果不是不可行的,因为许多现实世界的任务依赖于顺序学习,例如,数据被分散或以流的方式收集。在本文中,我们对使用流数据的自监督预训练进行了第一次彻底而专门的研究,旨在揭示这种被忽视的设置下的模型行为。具体来说,我们在ImageNet和DomainNet的四类预训练流数据上预训练了500多个模型,并在三种类型的下游任务和12个不同的下游数据集上对它们进行了评估。我们的研究表明,在某种程度上超出了我们的预期,通过简单的数据重放或参数正则化,顺序自监督预训练被证明是联合预训练的有效替代方案,因为前者的性能与后者的性能大致相当。此外,灾难性遗忘,在顺序监督学习中的一个常见问题,在顺序自监督学习(SSL)中得到了很大程度的缓解,这是很好的理由,通过我们全面的经验分析表示和损失景观中的最小值的尖锐性。因此,我们的研究结果表明,在实践中,对于SSL,繁琐的联合训练可以主要由顺序学习取代,这反过来又可以实现更广泛的潜在应用场景。
2022-07-21 cs.CV cs.LG
Physics-Informed Self-Supervised Learning for Joint Wire Calibration and Interaction Position Reconstruction in Multi-Wire Parallel Plate Avalanche Counters
GANIL, CEA/DRF - CNRS/IN2P3(GANIL,CEA/DRF - CNRS/IN2P3)
提出物理信息自监督学习框架,联合校准多丝平行板雪崩计数器丝线增益并重建相互作用位置,无需标签数据,实验验证提升均匀性与分辨率。
2026-09-25 cs.LG nucl-ex physics.ins-det
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
Texas A&M University(德克萨斯A&M大学);University of Iowa(爱荷华大学)
提出SCION,在单一模型中联合生成与自监督表示学习,无需标签或预训练模型,通过流时间步条件编码器和嵌入先验实现自条件生成,在ImageNet上以较低FID超越依赖预训练的方法。
2026-10-09 cs.AI cs.CV cs.LG
Predict, Cluster, Refine: A Joint Embedding Predictive Self-Supervised Framework for Graph Representation Learning
Vellore Institute of Technology, India(维洛雷理工学院,印度)
针对图自监督学习的计算低效、依赖对比目标、表示坍塌等问题,提出无对比、抗坍塌的联合嵌入预测框架,结合GMM伪标签提升节点区分度,在基准上性能优于现有方法。
2025-09-03 cs.AI cs.LG cs.SI
Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture
Meta AI (FAIR)(Meta人工智能(基础人工智能研究院));McGill University(麦吉尔大学);Mila, Quebec AI Institute(米拉-魁北克人工智能研究所);New York University(纽约大学)
本文提出 I-JEPA,一种基于联合嵌入预测的非生成式自监督图像学习方法,通过语义级目标块掩码与信息丰富的上下文块设计,结合 ViT 实现高效可扩展训练,在多种下游任务中取得优异表现。
2023-04-13 cs.AI cs.CV cs.LG
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore(联发科新加坡)
基于神经网络的语音识别系统由于口音语音,特别是不熟悉的口音而遭受性能下降。在本文中,我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图(类似的"积极"的数据样本)的对比学习,三个数据增强技术,包括噪声注入,频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验,我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示,这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明,对比学习比联合训练方法平均提高了3.66%(zero-shot)和3.78%(full-shot)的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning
CMU(卡内基梅隆大学);NYU(纽约大学)
针对I-JEPA的完全坍缩与均值学习不足问题,本文提出融合VICReg的C-JEPA框架,并在ImageNet-1K上验证其表征稳定性、质量及收敛性能提升。
2024-10-25 cs.AI cs.CV cs.LG
Soft Clustering Anchors for Self-Supervised Speech Representation Learning in Joint Embedding Prediction Architectures
Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);James Silberrad Brown Center for AI(詹姆斯·西伯拉德·布朗人工智能中心);Columbia University(哥伦比亚大学);Northeastern University(东北大学);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成人工智能)
GMM-Anchored JEPA通过软聚类锚点提升语音表示学习,实现ASR、情感识别和槽填充的性能提升。
2026-01-30 cs.AI cs.LG cs.SD
An empirical study of domain-agnostic semi-supervised learning via energy-based models: joint-training and pre-training
Tsinghua University(清华大学)
最近的一类半监督学习(SSL)方法严重依赖于特定领域的数据增强。相比之下,生成式SSL方法涉及基于生成模型的无监督学习,通过联合训练或预训练,并且从领域不可知的角度来看更有吸引力,因为它们本质上不需要数据增强。联合训练估计观测值和标签的联合分布,而预训练仅对观测值进行。最近,基于能量的模型(EBM)已经取得了可喜的成果,为生成式建模。已探索通过EBM进行SSL联合培训,在不同数据模式下取得了令人鼓舞的结果。在本文中,我们做了两个贡献。首先,我们通过EBM探索SSL的预培训,并将其与联合培训进行比较。其次,在图像分类和自然语言标注领域进行了一系列实验,以给出基于EBM的SSL方法性能的真实全貌。结果发现,联合培训EBM略优于培训前EBM,但几乎一致。
2020-10-25 cs.LG
JointMatch: A Unified Approach for Diverse and Collaborative Pseudo-Labeling to Semi-Supervised Text Classification
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出JointMatch方法,通过自适应调整逐类阈值和双网络交叉标签互学习,解决半监督文本分类中的伪标签偏差与错误累积问题,在基准数据集上平均提升5.13%。
2023-10-23 cs.CL cs.LG
Mediffusion: Joint Diffusion for Self-Explainable Semi-Supervised Classification and Medical Image Generation
Warsaw University of Technology(华沙理工大学);Sano Centre for Computational Medicine(萨诺计算医学中心);IDEAS NCBR
提出 Mediffusion 方法,通过单一共享参数化的联合扩散模型,将标准分类与基于扩散的生成任务相结合,有效利用有标签和无标签数据进行医学图像半监督分类,并通过反事实示例提供准确可靠的解释。
2024-11-12 cs.CV cs.LG
Joint self-supervised blind denoising and noise estimation
SABILab(SABI实验室);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Laboratoire de mathématiques d’Orsay(奥赛数学实验室);Laboratoire J. A. Dieudonné(J·A·迪厄多内实验室);Université Côte d’Azur(蔚蓝海岸大学);Télécom SudParis(南巴黎电信学院)
提出了一种新的自监督图像盲去噪方法,其中两个神经网络联合预测干净的信号并推断噪声分布。假设噪声观测值与信号有条件地独立,则可以在没有干净的训练数据的情况下联合训练网络。因此,我们的方法是特别相关的生物医学图像去噪的噪声是难以精确建模和干净的训练数据通常是不可用的。我们的方法显着优于目前最先进的自监督盲去噪算法,在六个公开的生物医学图像数据集。我们还显示经验与合成噪声数据,我们的模型有效地捕捉噪声分布。最后,所描述的框架是简单的,轻量级的和计算效率,使其在实际情况中有用。
2021-02-16 cs.LG eess.IV stat.ML
Self2Seg: Single-Image Self-Supervised Joint Segmentation and Denoising
University of Innsbruck(因斯布鲁克大学);VASCage-Research Centre on Vascular Ageing and Stroke(VASCage血管衰老与中风研究中心);MRC Laboratory of Molecular Biology(医学研究委员会分子生物学实验室);Institut Pascal(帕斯卡尔研究所);Université Clermont Auvergne(克莱蒙奥弗涅大学);Institut de Mathématiques de Bordeaux(波尔多数学研究所)
本文提出自监督方法Self2Seg,通过引入耦合去噪与分割的自监督能量泛函和统一优化策略,无需训练数据即可实现单图像联合分割与去噪,且在含噪显微图像上优于顺序方法及单一任务方法。
2024-04-29 cs.CV cs.LG math.OC
JEDI: Joint Expert Distillation in a Semi-Supervised Multi-Dataset Student-Teacher Scenario for Video Action Recognition
University of Bucharest(布加勒斯特大学);Politehnica University of Bucharest(布加勒斯特理工大学);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所)
JEDI提出一种多数据集半监督学习方法,通过联合端到端的学生-教师蒸馏框架融合多个专家知识,在四个视频动作识别数据集上显著提升了模型泛化性能。
2023-08-09 cs.CV cs.LG
Joint Unsupervised and Supervised Training for Multilingual ASR
Google(谷歌)
自监督训练在预训练模型和促进语音识别的下游微调(如多语言ASR)方面显示出了有希望的收益。大多数现有的方法采用2阶段方案,其中在第一预训练阶段优化自监督损失,在第二阶段恢复标准监督微调。在本文中,我们提出了一种端到端(E2 E)联合无监督和监督训练(JUST)方法,将监督RNN-T损失和自监督对比和掩蔽语言建模(MLM)损失结合起来。我们在公共数据集多语言LibriSpeech(MLS)上验证了它的性能,该数据集包括8种语言,并且非常不平衡。在MLS上,我们探索(1)从头开始训练,(2)从预训练的检查点进行微调。实验表明,JUST可以始终优于其他现有的最先进的方法,并击败单语基线的显着保证金,展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%,最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上,我们的WER不到单语基线的一半,甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
Uncertainty-Aware Bootstrap Learning for Joint Extraction on Distantly-Supervised Data
University of California, Riverside(加州大学河滨分校);Stellar Cyber;NEC Labs America(NEC美国实验室)
针对远程监督数据标签噪声问题,提出不确定性感知bootstrap学习联合抽取方法,通过样本级不确定性筛选初始高置信样本、自集成正则缓解模型间不确定性、概率方差估计模型内不确定性迭代扩充可靠样本,在两个大数据集上优于现有强基线。
2023-06-08 cs.CL cs.LG
A generalized linear joint trained framework for semi-supervised learning of sparse features
University Carlos III of Madrid(马德里卡洛斯三世大学);UC3M-BS Santander Big Data Institute(马德里卡洛斯三世大学-桑坦德银行大数据研究所);Technical University of Denmark(丹麦技术大学)
弹性网络是最广泛使用的正则化算法之一,通常与通过惩罚极大似然的监督广义线性模型估计问题相关联。它的优良特性源自于$\ell_1$和$\ell_2$范数的组合,这赋予了该方法考虑变量之间的相关性来选择变量的能力。在过去的几年里,半监督方法,使用标记和未标记的数据,已成为统计研究的一个重要组成部分。然而,尽管有这种兴趣,很少有研究调查半监督弹性网络扩展。本文介绍了一种新的解决方案,稀疏特征的半监督学习的背景下,广义线性模型估计:广义半监督弹性网络(s2网),它扩展了监督弹性网络方法,具有一般的数学公式,涵盖,但不限于,回归和分类问题。我们在R中开发了一个灵活而快速的s2net实现,并使用真实和合成数据集来说明其优势。
2020-10-02 cs.LG stat.CO stat.ML
Joint-stochastic-approximation Random Fields with Application to Semi-supervised Learning
针对半监督学习中深度生成模型存在的模式缺失/覆盖及分类与生成冲突问题,提出联合随机近似随机场(JRFs),在合成与真实数据集上实现分类与生成性能的平衡。
2025-05-24 cs.LG stat.ML
Automated rock joint trace mapping using a supervised learning model trained on synthetic data generated by parametric modelling
Norwegian Geotechnical Engineering(挪威地质工程)
本文提出一种基于参数建模生成合成数据的监督学习方法,用于解决岩体节理迹映射中真实数据不足和类别不平衡的问题,通过混合训练和微调提升模型鲁棒性,实现更准确的地质映射。
2026-02-07 cs.AI cs.CV cs.LG
DetMatch: Two Teachers are Better Than One for Joint 2D and 3D Semi-Supervised Object Detection
Carnegie Mellon University(卡内基梅隆大学);University of California Berkeley(加州大学伯克利分校)
虽然许多3D检测工作利用RGB图像和点云之间的互补关系,但半监督对象识别的更广泛框架的发展仍然不受多模态融合的影响。当前的方法开发了用于2D和3D半监督学习的独立管道,尽管成对的图像和点云帧是可用的。观察到每个传感器的独特特性导致它们偏向于检测不同的对象,我们提出了DetMatch,一个灵活的框架,联合半监督学习的2D和3D模式。通过识别在两个传感器中检测到的对象,我们的管道生成了一组更干净,更强大的伪标签,既展示了更强的性能,又阻止了单模态错误传播。此外,我们利用RGB图像更丰富的语义来纠正不正确的3D类别预测并改进3D框的本地化。在具有挑战性的KITTI和Waymo数据集上进行评估,我们改进了强半监督学习方法,并观察到更高质量的伪标签。代码将在https://github.com/Divadi/DetMatch上发布
2022-03-17 cs.AI cs.CV cs.LG
Joint-stochastic-approximation Autoencoders with Application to Semi-supervised Learning
Wenbo He(温波 海);Zhijian Ou(欧志健)
针对现有深度生成模型处理离散数据及优化准则与似然间接相关的问题,提出联合随机逼近自编码器,直接最大化对数似然并最小化包含式KL散度,在半监督任务中性能媲美最先进连续潜变量模型。
2025-05-24 cs.LG stat.ML
Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research AI, T. J. Watson Research Center(IBM研究院人工智能部门,T. J. Watson研究中心)
提出基于双层优化的 BL-JUST,将无监督损失与监督损失分别置于下层和上层进行联合训练,并在 LibriSpeech 与 TED-LIUM v2 上验证其优于预训练—微调策略。
2024-01-13 cs.CL cs.LG stat.ML
Protein Contact Prediction by Integrating Joint Evolutionary Coupling Analysis and Supervised Learning
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
蛋白质接触包含了蛋白质结构和功能研究的重要信息,但从序列中预测蛋白质接触仍然是一个非常具有挑战性的问题。进化耦合(EC)分析和监督机器学习的方法来预测接触,利用不同类型的信息,分别。本文提出了一种群体图形套索(GGL)接触预测方法,结合联合多族EC分析和监督学习。与现有的单家族EC分析仅使用靶蛋白家族中的残基共进化信息不同,我们的联合EC分析使用靶蛋白家族及其相关家族中的残基共进化,这些家族可能具有不同的序列但相似的折叠。为了实现联合EC分析,我们使用高斯图形模型(GGM)建模一组相关的蛋白质家族,然后通过最大似然法共同估计其精度矩阵,但精度矩阵应具有相似的残差共同进化模式。为了进一步提高估计精度矩阵的准确性,我们采用监督学习方法从各种进化和非进化信息中预测接触概率,然后将预测概率作为先验纳入我们的GGL框架。实验表明,我们的方法可以更准确地预测接触比现有的方法,我们的方法执行更好的保守和家庭特定的接触。
2015-04-08 cs.LG math.OC q-bio.BM
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University(哈佛大学)
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近,深度生成模型的进步,特别是自动编码变分贝叶斯(AEVB),导致了无监督神经主题模型的引入,该模型利用了深度生成模型,而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型(LI-NTM)来扩展这些神经主题模型,据我们所知,这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型,在低标记数据制度和具有信息标签的数据集中效果最显着;此外,我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG
Jointly Learnable Data Augmentations for Self-Supervised GNNs
KTH Royal Institute of Technology(瑞典皇家理工学院);Technical University of Munich(慕尼黑工业大学)
自监督学习(SSL)旨在学习对象的表示,而不依赖于手动标记。最近,许多用于图表示学习的SSL方法已经实现了与SOTA半监督GNN相当的性能。一个连体网络,它依赖于数据增强,是在这些方法中使用的流行架构。然而,这些方法依赖于精确制作的数据增强技术。此外,他们使用对比术语或其他技巧(例如,不对称性),以避免在连体网络中可能出现的琐碎解决方案。在这项研究中,我们提出了GraphSurgeon,一种用于GNNs的新型SSL方法,具有以下特点。首先,我们提出了一种可学习的数据增强方法,它通过利用图中编码的固有信号与嵌入联合学习,而不是传统方法。此外,我们利用可学习的数据增强的灵活性,并引入了一种新的策略,在嵌入空间中增加,称为后增强。该策略具有显著更低的内存开销和运行时成本。其次,由于很难对真正的对比术语进行抽样,我们避免了明确的负抽样。第三,而不是依赖于工程技巧,我们使用一个可扩展的约束优化目标的拉普拉斯特征映射,以避免平凡的解决方案。为了验证GraphSurgeon的实际使用,我们使用14个公共数据集进行了实证评估,这些数据集跨越了多个领域,从小型到大型图形,具有数亿条边。我们的发现表明,GraphSurgeon在节点分类任务中与六个SOTA半监督和五个SOTA自监督基线相当。源代码可在https://github.com/zekarias-tilahun/graph-surgeon上获…
2021-08-23 cs.LG cs.SI
Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation
Georgia Institute of Technology(佐治亚理工学院);Baidu USA(百度美国)
尽管全监督动作分割技术最近取得了进展,但性能仍然不完全令人满意。一个主要的挑战是时空变化的问题(例如,不同的人可能以不同的方式进行相同的活动)。因此,我们利用未标记的视频来解决这个问题,通过重新制定的动作分割任务作为一个跨域的问题与域的差异所造成的时空变化。为了减少这种差异,我们提出了自监督时间领域自适应(SSTDA),它包含两个自监督辅助任务(二进制和顺序域预测),以联合对齐嵌入局部和全局时间动态的跨域特征空间,实现了比其他领域自适应(DA)方法更好的性能。三个具有挑战性的基准数据集(GTEA、50份沙拉和早餐),SSTDA的表现远远优于当前最先进的方法(例如,对于F1@25评分,早餐从59.6%到69.1%,50沙拉从73.4%到81.5%,GTEA从83.6%到89.1%),并且仅需要65%的标记的训练数据来获得可比性能,这证明了在变化中适应未标记的目标视频的有用性。源代码可在https://github.com/cmhungsteve/SSTDA上获得。
2020-03-18 cs.CV cs.LG eess.IV
Hand Pose Estimation through Semi-Supervised and Weakly-Supervised Learning
Facebook AI Research(Facebook人工智能研究院);Université de Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);CNRS(法国国家科学研究中心);LIRIS(里昂信息、图像与信息系统实验室);Awabot SAS(Awabot公司);University of Guelph(圭尔夫大学)
我们提出了一种基于两种不同输入训练的深度回归器的手部姿势估计方法。原始深度数据与以将手分割成部分的形式的中间表示融合。这种中间表示包含重要的拓扑信息,并为关节位置的推理提供有用的线索。从原始深度到分割图的映射是以半/弱监督的方式从两个不同的数据集学习的:(i)通过渲染管道创建的合成数据集,包括密集标记的地面实况(逐像素分割);和(ii)具有真实图像的数据集地面实况联合位置可用,但不是密集分割。在真实图像上训练的损失是从逐块恢复过程中产生的,该过程将试验性分割图与合成姿势的大字典对齐。基本前提是,合成数据和真实数据之间的域移位在中间表示中比在原始输入域中更小,其中标签具有几何和拓扑意义。在纽约大学数据集上的实验表明,与直接从深度数据回归关节相比,所提出的训练方法将关节上的误差减少了15.7%。
2017-09-15 cs.AI cs.CV cs.LG
Joint Use of Node Attributes and Proximity for Semi-Supervised Classification on Graphs
University of Helsinki(赫尔辛基大学)
节点分类的任务是推断未知节点标签,给定一些节点的标签以及网络结构和其他节点属性。通常,用于该任务的方法假设同质性,由此相邻节点具有相似的属性,并且节点的标签可以从其邻居或其他邻近节点的标签来预测(即,附近)的节点。然而,这样的假设可能并不总是成立-事实上,在某些情况下,标签可以更好地从每个节点的单个属性而不是其邻近节点的标签进行预测。理想情况下,节点分类方法应该灵活地适应一系列的设置,其中未知的标签是从邻近节点的标签,或单个节点属性,或部分两者预测。在本文中,我们提出了一个原则性的方法,JANE,基于生成概率模型,通过嵌入在预测标签中联合权衡属性和节点邻近度的作用。我们在各种网络数据集上的实验表明,与标准基线相比,JANE表现出所需的多功能性和竞争性能的组合。
2021-09-14 cs.LG cs.SI
Distantly-Supervised Joint Extraction with Noise-Robust Learning
UC Riverside(加州大学河滨分校);Stellar Cyber(Stellar Cyber公司);UT Dallas(德克萨斯大学达拉斯分校);NEC Labs America(美国NEC实验室)
针对远程监督联合抽取中的噪声标签问题,提出DENRL框架,结合轻量Transformer与噪声鲁棒正则化,在两个基准上大幅超越大模型基线。
2024-05-25 cs.AI cs.CL cs.LG
Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于情感分析的评论文本的情感分析对于以细粒度的方式理解用户反馈具有重要价值。它通常有两个子任务:(i)从每个评论中提取方面,以及(ii)根据情感极性对基于方面的评论进行分类。在本文中,我们提出了一个弱监督的方法,基于方面的情感分析,它只使用几个关键字描述每个方面/情感,而不使用任何标记的例子。现有的方法要么只为其中一个子任务而设计,忽略了耦合两者的好处,要么基于可能包含重叠概念的主题模型。我们建议首先通过实施正则化来鼓励主题独特性,从而在词嵌入空间中学习<sentiment,aspect>联合主题嵌入,然后使用神经模型通过使用基于嵌入的预测预训练分类器并在未标记的数据上进行自我训练来概括词级判别信息。我们的综合性能分析表明,我们的方法生成高质量的联合主题,并在基准数据集上显著优于基线(方面和情感分类的平均F1得分分别增加7.4%和5.1%)。我们的代码和数据可在https://github.com/teapot123/JASen上获得。
2020-10-13 cs.CL cs.IR cs.LG
A semi-supervised autoencoder framework for joint generation and classification of breathing
Delft University of Technology(代尔夫特理工大学)
生物医学信号的主要问题之一是患者特定数据的有限量以及记录诊断和治疗目的所需的足够数量的样本所需的大量时间。在这项研究中,我们提出了一个框架,同时生成和分类生物医学时间序列的基础上修改的对抗自动编码器(AAE)算法和一维卷积。我们的工作是基于呼吸时间序列,具有特定的动机,以捕捉呼吸运动在放射治疗肺癌治疗。首先,我们探讨了使用变分自编码器(VAE)和AAE算法对个体患者的呼吸进行建模的可能性。我们扩展了AAE算法,允许联合半监督分类和生成不同类型的信号。为了简化建模任务,我们引入了一个前处理和后处理压缩算法,将多维时间序列转换为包含时间和位置值的向量,通过一个额外的神经网络转换回时间序列。通过在训练过程中加入少量标记样本,我们的模型在对来自与训练集完全不同的数据集的呼吸基线偏移不规则性进行分类方面优于其他纯判别网络。据我们所知,所提出的框架是第一种将这种类型的生物医学数据的生成和分类统一在单个模型中的方法,从而能够在单个框架内实现标记样本的计算机辅助诊断和增强。
2021-03-25 cs.LG eess.SP
Joint multi-task learning improves weakly-supervised biomarker prediction in computational pathology
Else Kroener Fresenius Center for Digital Health(Else Kroener Fresenius数字健康中心);Medical Faculty Carl Gustav Carus(卡尔·古斯塔夫·卡鲁斯医学院);TUD Dresden University of Technology(德累斯顿工业大学);School of Computer Science, University of St Andrews(圣安德鲁斯大学计算机学院);Department of Diagnostic and Interventional Radiology, University Hospital Aachen(亚琛大学医院诊断与介入放射科);Department of Medicine 1, University Hospital and Faculty of Medicine Carl Gustav Carus, TUD Dresden University of Technology(德累斯顿工业大学卡尔·古斯塔夫·卡鲁斯大学医院第一医学部);Medical Oncology, National Center for Tumor Diseases (NCT), University Hospital Heidelberg(海德堡大学医院国家肿瘤疾病中心(NCT)医学肿瘤科)
针对计算病理学中临床需分类生物标志物结果的需求,提出带肿瘤微环境回归辅助任务的弱监督联合多任务Transformer架构,经16种任务平衡方法基准测试,在外部队列MSI和HRD预测上性能优于现有最优水平。
2024-03-06 cs.CV cs.LG eess.IV
SafeECGMatch: Calibration-Aware Joint Frequency and Time Space Semi-Supervised Learning for Open-Set ECG Classification
Hankuk University of Foreign Studies(韩国外国语大学)
提出SafeECGMatch框架,通过双分支架构提取时频特征,结合自适应标签平滑和温度缩放校准模型,在标签分布不匹配下实现可靠的开集分类和OOD检测。
2026-07-30 cs.AI cs.LG
Neuro-Informed Joint Learning Enhances Cognitive Workload Decoding in Portable BCIs
Peiyang Brain-Computer Interface & Smart Health Inst.(坪洋脑机接口与智能健康研究所)
针对便携式EEG信号非平稳性导致解码精度受限的问题,本文提出联合自监督重建与监督分类的MuseCogNet框架,在Muse数据集上显著超越现有方法,为日常场景认知负荷监测提供了可行方案。
2025-07-01 cs.HC cs.LG
Approximating the Ideal Observer for joint signal detection and localization tasks by use of supervised learning methods
Washington University in St. Louis(圣路易斯华盛顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
医学成像系统通常通过使用图像质量(IQ)的客观测量来评估和优化。理想观察者(IO)的性能一直提倡提供一个数字的优点,用于评估和优化成像系统,因为IO设置了一个上限的所有观察者的性能。当联合信号检测和定位任务被认为是,IO,采用了修改后的广义似然比测试最大限度地提高观测器的性能,其特征在于由定位接收机工作特性(LROC)曲线。在大多数情况下,似然比的计算在分析上是困难的。因此,基于抽样的方法,采用马尔可夫链蒙特卡罗(MCMC)技术已被开发来近似似然比。然而,MCMC方法的应用一直局限于相对简单的对象模型。最近开发了采用卷积神经网络的基于监督学习的方法,以近似二进制信号检测任务的IO。在本文中,监督学习为基础的方法来近似的IO联合信号检测和定位任务的能力进行了探讨。背景已知的确切和背景已知的统计信号检测和定位任务。所考虑的对象模型包括亮度对象模型和聚类亮度模型,并且所考虑的测量噪声模型包括拉普拉斯噪声、高斯噪声和混合泊松-高斯噪声。将基于监督学习的方法产生的LROC曲线与MCMC方法或分析计算产生的曲线进行比较。所提出的方法计算IQ优化成像系统性能的客观措施的潜在效用进行了探讨。
2020-07-15 cs.CV cs.LG eess.SP
sJIVE: Supervised Joint and Individual Variation Explained
University of Minnesota(明尼苏达大学);National Jewish Health(国家犹太健康中心);Harvard Medical School(哈佛医学院)
分析多源数据,即同一主题的多个数据视图,在分子生物医学研究中变得越来越普遍。最近的方法已经试图揭示数据源内和/或数据源之间的潜在结构和关系,并且其他方法已经试图使用所有源来构建结果的预测模型。然而,现有的方法,做这两个目前是有限的,因为他们要么(1)只考虑所有数据集共享的数据结构,而忽略了每个源唯一的结构,或(2)他们提取的基础结构首先不考虑结果。我们提出了一种称为监督联合和个体变异解释(sJIVE)的方法,该方法可以同时(1)识别共享(联合)和源特定(个体)的底层结构,以及(2)使用这些结构为结果构建线性预测模型。对这两个组成部分进行加权,以在解释多源数据和结果的变化之间进行折衷。仿真结果表明,当多源数据中存在大量噪声时,sJIVE优于现有方法。COPDGene研究数据的应用揭示了预测肺功能的基因表达和蛋白质组模式。执行sJIVE的函数包含在R.JIVE包中,可在http://github.com/lockEF/r.jive在线获得。
2021-02-26 cs.LG q-bio.QM stat.ME
Semi-supervised Pathology Segmentation with Disentangled Representations
University of Edinburgh(爱丁堡大学);University of California(加利福尼亚大学);Cedars-Sinai Medical Center(西达赛奈医疗中心);University of Essex(埃塞克斯大学);The Alan Turing Institute(艾伦·图灵研究所)
自动病理分割仍然是临床实践中有价值的诊断工具。然而,收集训练数据是一项挑战。半监督方法通过结合标记和未标记的数据可以提供数据稀缺的解决方案。半监督学习的方法依赖于重建目标(作为自我监督目标),其以联合方式学习任务的合适表示。在这里,我们提出了解剖-病理解缠网络(APD-Net),这是一种病理分割模型,首次尝试联合学习:解剖,模态和病理的解缠。该模型以半监督的方式进行训练,新的重建损失直接旨在改善具有有限注释的病理分割。此外,提出了一种联合优化策略,以充分利用可用的注释。我们评估我们的方法与两个私人心肌梗死分割数据集与LGE-MRI扫描。APD-Net可以使用很少的注释执行病理分割,在不同的监督量下保持性能,并优于相关的深度学习方法。
2020-09-05 cs.CV cs.LG eess.IV