Deciphering the Projection Head: Representation Evaluation Self-supervised Learning
Hongkong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
自监督学习(Self-supervised learning,SSL)的目标是学习没有标签的内在特征。尽管SSL方法的架构多种多样,但投影头在提高下游任务的性能方面始终起着重要作用。在这项工作中,我们系统地研究了投影头在SSL中的作用。具体地,投影头针对SSL的均匀性部分,其将不相似的样本彼此推开,从而使编码器能够专注于提取语义特征。基于这种理解,我们提出了一种SSL模型中的表示评估设计(RED),其中建立了表示和投影向量之间的快捷连接。在不同数据集上使用不同架构(包括Simplified、MoCo-V2和SimSiam)进行的大量实验表明,表示评估设计可以持续改进下游任务中的基线模型。来自RED-SSL模型的学习表示显示出对不可见的增强和分布外数据的卓越鲁棒性。
2023-01-28 cs.LG
Improved Generalization of Heading Direction Estimation for Aerial Filming Using Semi-supervised Regression
Carnegie Mellon University(卡内基梅隆大学);Yamaha Motor Co., Ltd.(雅马哈发动机有限公司)
在移动演员(例如,人或车辆)的自主空中拍摄任务中,根据视觉输入对演员进行良好的航向方向估计是至关重要的。然而,在其他类似的任务,如行人碰撞风险分析和人机交互,获得的模型是非常困难的,推广到空中拍摄任务,因为数据分布的差异。为了在较少的标记数据量下提高泛化能力,提出了一种半监督航向估计算法。我们利用时间连续性作为无监督信号来正则化模型,并获得更好的泛化能力。这种半监督算法被应用于训练和测试阶段,这大大提高了测试性能。我们表明,通过利用未标记的序列,所需的标记数据量可以显着减少。我们还讨论了通过平衡标记和未标记损失以及进行良好的组合来提高性能的几个重要细节。实验结果表明,我们的方法鲁棒输出的航向不同类型的演员。在航拍任务中,视频的美学价值也得到了提升。
2019-03-26 cs.AI cs.CV cs.LG
Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization
VUNO Inc.(VUNO公司);KAIST(韩国科学技术院)
针对半监督知识蒸馏中监督与蒸馏损失的梯度冲突,本文提出 DHO 双头优化,以极小开销稳定提升特征学习,并在 15 个数据集及 ImageNet 设置中达到最先进性能。
2026-11-17 cs.AI cs.CV cs.LG
SimLTD: Simple Supervised and Semi-Supervised Long-Tailed Object Detection
LexisNexis Risk Solutions(LexisNexis 风险解决方案)
本文提出 SimLTD 框架,通过头部预训练、尾部迁移和头尾微调三步,并利用无标注图像,在 LVIS v1 的有监督与半监督长尾检测中取得新纪录。
2025-06-09 cs.CV cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
Unveiling the Dynamics of Information Interplay in Supervised Learning
University of Science and Technology Beijing(北京科技大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出矩阵互信息比率MIR和矩阵熵差比率HDR,用于分析监督学习中数据表示与分类头的信息交互,并将其作为损失项以提升训练效果。
2024-06-06 cs.CV cs.LG
The Mechanism of Prediction Head in Non-contrastive Self-supervised Learning
Carnegie Mellon University(卡内基梅隆大学)
最近,Grill等人令人惊讶地发现了Bootstrap Your Own Latent(BYOL)方法,该方法表明,如果我们向网络中添加所谓的预测头,则可以去除对比损失中的负项。这开创了非对比自监督学习的研究。令人费解的是,即使存在平凡的崩溃全局最优解,由(随机)梯度下降训练的神经网络仍然可以学习竞争表示。这种现象是深度学习中内隐偏见的典型例子,并且仍然很少有人了解。在这项工作中,我们提出了我们的经验和理论发现的非对比自监督学习。从经验上讲,我们发现,当预测头被初始化为一个单位矩阵,只有其非对角项是可训练的,网络可以学习竞争表示,即使平凡的最优仍然存在于训练目标。从理论上讲,我们提出了一个框架来理解可训练的,但身份初始化的预测头的行为。在一个简单的设置下,我们表征了预测头的替代效应和加速效应。当学习某些神经元中的较强特征可以通过更新预测头来替代学习其他神经元中的这些特征时,就会发生替代效应。当替代特征可以加速其他较弱特征的学习,以防止它们被忽略时,就会发生加速效应。这两种效应使神经网络能够学习所有的特征,而不是只专注于学习更强的特征,这可能是维度崩溃现象的原因。据我们所知,这也是使用具有可训练预测头和归一化的非线性神经网络的非对比方法的第一个端到端优化保证。
2023-01-15 cs.LG stat.ML
Investigating the Benefits of Projection Head for Representation Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究从理论上解释了投影头提升表示学习质量的原因,揭示了训练算法的隐式偏差导致逐层特征加权,并提出了更可解释的替代方案,通过实验验证了其有效性。
2024-03-18 cs.CV cs.LG
Speech Self-Supervised Representations Benchmarking: a Case for Larger Probing Heads
Télécom Paris(巴黎电信学院);Capgemini(凯捷集团);Samsung AI Center Cambridge(三星剑桥人工智能中心);Concordia University(康考迪亚大学)
本文研究语音自监督表示基准测试中探测头架构的影响,发现改变下游架构会显著改变模型性能排名,并通过评估更大容量探测头揭示其对性能、推理成本、泛化和多层级特征利用的作用。
2024-02-21 cs.LG cs.SD eess.AS
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Improving Self-supervised Learning for Out-of-distribution Task via Auxiliary Classifier
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);University of New South Wales(新南威尔士大学);Nanyang Technological University(南洋理工大学)
在现实世界中,分布外(OOD)数据集可能与训练数据集有很大的分布偏移。这种现象通常发生在经过训练的分类器部署在变化的动态环境中时,这会导致性能显著下降。为了解决这个问题,我们在这项工作中提出了一个端到端的深度多任务网络。在OOD任务中观察到旋转预测(自监督)准确性和语义分类准确性之间的密切关系,我们在多任务网络中引入了一个额外的辅助分类头以及语义分类和旋转预测头。为了观察这种附加分类器在改进旋转预测头方面的影响,我们提出的学习方法被构造成双层优化问题,其中上层被训练以更新语义分类和旋转预测头的参数。在低层优化中,通过固定语义分类头的参数,仅通过语义分类头更新辅助分类头。该方法已通过三个看不见的OOD数据集进行了验证,它表现出明显的改善,在语义分类精度比其他两个基线方法。我们的代码可以在GitHub \url{https://github.com/harshita-555/OSSL}上找到
2022-09-07 cs.LG eess.IV
Cluster Head Detection for Hierarchical UAV Swarm With Graph Self-supervised Learning
Tsinghua University(清华大学);Baicells Technologies Co., Ltd.(佰才邦技术有限公司);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
研究了具有多个无人机簇的两级无人机群网络簇头检测问题,其中低层跟随无人机(FUAVs)相对于高层簇头无人机(HUAVs)的固有跟随策略(IFS)未知.首先提出了一种基于图注意力的自监督学习算法(GASSL)来检测单个无人机集群的HUAV,该算法能够同时拟合IFS。然后,针对多无人机集群的USNET中HUAV的检测问题,在GASSL算法的基础上,提出了一种多集群图注意自监督学习算法(MC-GASSL)。MC-GASSL使用基于门控递归单元(GRU)的度量学习方案对USNET进行聚类,并使用GASSL在每个聚类中找到HUAV。仿真结果表明,GASSL可以检测到HUAV在单无人机集群服从各种IFS的平均准确率超过98%。仿真结果还表明,与传统的聚类算法相比,MC-GASSL的USNET的聚类纯度至少平均提高了10%。此外,MC-GASSL可以有效地检测所有的HUAV在USNET与不同的IFS和集群数量与低检测冗余。
2022-03-08 cs.AI cs.LG eess.SP
Self-supervised Fusarium Head Blight Detection with Hyperspectral Image and Feature Mining
Institute of Data Science, National Cheng Kung University(国立成功大学数据科学研究院)
本文针对小麦赤霉病检测提出一种基于高光谱端元提取与top-K波段选择的自监督分类方法,无需昂贵设备或复杂算法,并在Beyond Visible Spectrum: AI for Agriculture Challenge 2024中验证有效。
2024-08-31 cs.CV cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Remembering by Reconstructing: Domain Incremental Learning With Test-Time Training on Video Streams
ESAT, KU Leuven(ESAT,比利时鲁汶大学)
提出一种结合主任务头和自监督掩码自编码器头的域增量学习方法,通过测试时训练识别最佳LoRA适配器以重新记忆域,适用于视频流数据。
2026-05-29 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses公司)
我们提出了Dense FixMatch,这是一种简单的方法,用于密集和结构化预测任务的在线半监督学习,通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作,我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能,包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比,Dense FixMatch显著改善了结果,接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients
University of Cambridge(剑桥大学);University of Surrey(萨里大学);Zenseact(森斯阿克特公司)
本文提出FedAnchor,一种联邦半监督学习方法,通过双头结构和标签对比损失缓解伪标签的确认偏差与过拟合,在收敛速度和准确率上显著优于现有方法。
2024-02-15 cs.LG
Laplacian Heads Improve Transformers by Smoothing Token Representations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出在变换器中引入拉普拉斯头,通过平滑标记表示提升性能,发现特定形式的平滑对任务有帮助。
2026-11-13 cs.LG
Dynamic K-Head: Difficulty-Supervised Budget Selection for Continuous Latent Reasoning
Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院);Tsinghua University(清华大学);Peking University(北京大学);The University of Hong Kong(香港大学)
该研究针对连续潜在推理的固定更新预算缺陷,提出动态K-Head难度监督预算选择器,结合CoDI在相关数据集上实现准确率提升与标记代价降低,验证了该方法的有效性。
2026-10-14 cs.AI cs.LG
Exploring Information-Theoretic Metrics Associated with Neural Collapse in Supervised Training
School of Computer and Communication Engineering, University of Science and Technology Beijing(北京科技大学计算机与通信工程学院);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文引入矩阵熵及两个新度量MIR和HDR,研究监督训练中神经坍缩的信息论特征,并提出跨模型对齐损失以优化预训练模型微调,实验验证了这些度量在解释训练动力学和grokking现象中的有效性。
2025-02-28 cs.LG
Supervised Fine-Tuning Achieve Rapid Task Adaption Via Alternating Attention Head Activation Patterns
Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文通过基于梯度的注意力模式分析揭示SFT中LLMs选择性激活任务特定注意力头、复杂任务模式由基础模式组合而成且少量参数变化即可显著影响激活模式,并据此实验提升SFT效率与效果。
2024-10-18 cs.CL cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
PhotoApp: Photorealistic Appearance Editing of Head Portraits
MPI for Informatics, SIC(马克斯-普朗克信息学研究所(MPI for Informatics, SIC));InterDigital R&I(InterDigital研发(InterDigital R&I));University College London(伦敦大学学院(University College London));IST Austria(奥地利科学技术研究所(IST Austria));Harvard University(哈佛大学(Harvard University));MIT CSAIL(麻省理工学院计算机科学与人工智能实验室(MIT CSAIL))
人像的照片级真实感编辑是一项具有挑战性的任务,因为人类对面部的不一致非常敏感。我们提出了一种高质量的直观编辑的相机视点和场景照明的肖像图像的方法。这需要我们的方法来捕获和控制图像中人的全反射场。大多数编辑方法依赖于监督学习,其使用通过诸如灯光和相机阶段的设置捕获的训练数据。这样的数据集获取起来很昂贵,不容易获得,并且不能捕获野外肖像图像的所有丰富变化。此外,大多数监督方法仅关注重新照明,并且不允许相机视点编辑。因此,它们仅捕获和控制反射场的子集。最近,肖像编辑已经通过在StyleGAN的生成模型空间中操作来演示。虽然这种方法不需要直接监督,但与监督方法相比,质量有很大损失。在本文中,我们提出了一种方法,从有限的监督训练数据学习。训练图像只包括闭着眼睛的固定中性表情的人,没有太多的头发或背景变化。每个人都是在150个一次一盏灯的条件下和8个相机姿势下拍摄的。我们设计了一个监督问题,而不是直接在图像空间中进行训练,该问题在StyleGAN的潜在空间中学习变换。这结合了监督学习和生成对抗建模的优点。我们表明,StyleGAN先验允许概括到不同的表情,发型和背景。这将为野外图像产生高质量的照片级真实感效果,并显着优于现有方法。我们的方法可以同时编辑照明和姿势,并以交互速率运行。
2021-05-13 cs.CV cs.GR cs.LG
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Semi-supervised Vision Transformers at Scale
AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究半监督学习(SSL)的视觉Transformer(ViT),尽管广泛采用的ViT架构不同的任务,一个未充分探讨的话题。为了解决这个问题,我们提出了一个新的SSL管道,包括第一个非/自我监督的预训练,其次是监督微调,最后是半监督微调。在半监督微调阶段,我们采用指数移动平均(EMA)-教师框架,而不是流行的FixMatch,因为前者更稳定,并提供更高的精度为半监督视觉Transformer。此外,我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签,以改进正则化,这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法,被称为半ViT,实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势,可以轻松扩展到大尺寸模型,并提高精度。例如,Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率,这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University(普渡大学);ETH Zürich(苏黎世联邦理工学院)
我们使用梯形网络[Rasmus et al.(2015)]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下,这已被证明比其他半监督技术更成功,例如使用未标记数据进行预训练。我们还表明,卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术,并在帕维亚大学数据集上实现了新的最先进的性能,每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们介绍了用于半监督学习的SaaS算法,该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中,训练速度与正确标签的百分比密切相关,因此我们将其用作未知标签的推理标准,而不试图首先推断模型参数。尽管简单,SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Open-Set Multivariate Time-Series Anomaly Detection
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本文提出MOSAD框架,通过少量标注异常样本和异常感知对比头构建共享表示空间,解决开放集多变量时间序列异常检测问题,并在三个真实数据集上取得最优性能。
2024-08-07 cs.LG
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory(美国海军研究实验室)
在新应用中采用深度神经网络的最大障碍之一是,训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景,其中可以访问大量未标记的数据,但只需要标记每个类的单个原型样本,以便训练深度网络(即,一次性半监督学习)。具体来说,我们调查了FixMatch中报道的一次性半监督学习的最新结果,以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如,我们发现,一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案,可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services(亚马逊云科技)
我们提出了一个插件替代批量归一化(BN)称为指数移动平均归一化(EMAN),它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同,在每个批次中计算统计数据,教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性,增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时,EMAN将自监督学习的强基线提高了4-6/1-2个点,半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的,证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Recent Deep Semi-supervised Learning Approaches and Related Works
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
本文综述了近期深度半监督学习方法,基于流形、聚类和连续性假设对现有工作进行分类,并重点介绍了统一多种思想的整体性方法。
2024-08-08 cs.AI cs.CV cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University(上海交通大学)
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本,以避免由于标记样本不足而导致的性能(或模型)退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
A Fiber Criterion for Representation Identifiability in Supervised Learning
Athena Research Center, Kimmeria Campus, Xanthi, Greece(亚特兰大研究中心,基米里亚校区,哈尼亚,希腊);Democritus University of Thrace, Vas. Sofias Campus, Xanthi, Greece(德摩根大学,瓦斯·索菲亚校区,哈尼亚,希腊);International Hellenic University, Serres, Greece(国际希腊大学,塞雷斯,希腊)
本文提出纤维准则,通过投影映射的纤维常数性来形式化监督学习中表示-头部分解的可辨识性,并指出仅凭监督预测行为无法唯一确定表示。
2026-05-31 cs.AI cs.LG
Probing self-attention in self-supervised speech models for cross-linguistic differences
University of Maryland, College Park(马里兰大学帕克分校)
本文以小型自监督语音Transformer模型TERA为对象,探究自注意力机制在不同语言中的差异,发现注意力头模式多样且与语言无关,并证明模型能学到音系信息,且主要依赖对角注意力头进行音素分类。
2024-09-04 cs.CL cs.LG
Accelerating Large Language Model Inference with Self-Supervised Early Exits
Fujitsu(富士通)
研究通过在中间层添加自监督早期退出头加速大语言模型推理,评估多种置信度指标,实验表明可降成本保精度,还应用于推测性解码提出DSSD,高令牌接受率且少超参数调整。
2026-07-13 cs.CL cs.LG stat.ML
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出了一个半监督学习框架,是新的设计自动调制分类(AMC)。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据,我们的框架在给定少量标记数据的情况下实现了更高的性能,从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明,我们的半监督方法显着优于监督框架,从而大大提高了我们的能力,训练深度神经网络自动调制分类的方式,利用未标记的数据。
2022-03-29 cs.LG
Supervised Contrastive Prototype Learning: Augmentation Free Robust Neural Network
University of Southern California(南加州大学)
深度神经网络(DNN)的输入空间中的变换导致特征空间中的意外变化。几乎感知上相同的输入,例如对抗性的例子,可能具有非常遥远的特征表示。相反,分布外(OOD)样本可以具有与训练集样本高度相似的特征表示。我们对使用分类头训练的DNN的理论分析表明,受分类问题大小限制的不灵活的logit空间是缺乏$\textit{robustness}$的根本原因之一。我们的第二个观察结果是DNN过度拟合训练增强技术,并且不学习$\textit{nuance invariant}$表示。受到最近成功的原型和对比学习框架的启发,提高鲁棒性和学习细微差别不变表示,我们提出了一个训练框架,$\textbf{Supervised Contrastive Prototype Learning}$(SCPL)。我们使用N对对比损失与原型的相同和相反的类,并取代一个分类头与$\textbf{Prototype Classification Head}$(PCH)。我们的方法是$\textit{sample efficient}$,不需要$\textit{sample mining}$,可以在任何现有的DNN上实现,而无需修改其架构,并与其他训练增强技术相结合。我们经验性地评估了我们的方法在分布外和对抗性样本上的$\textbf{clean}$鲁棒性。我们的框架优于其他国家的最先进的对比和原型学习方法在$\textit…
2022-11-26 cs.AI cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong(香港城市大学)
介绍了基于全变分(TV)、再生核希尔伯特空间(RKHS)、支持向量机(SVM)、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法,并表明,电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Contrastive Self-Supervised Learning for Wireless Power Control
HRL Laboratories, LLC(HRL实验室有限责任公司)
我们提出了一种新的方法,在无线网络中使用自监督学习的功率控制。我们将一个以信道矩阵为输入并将功率控制决策输出到骨干和头中的多层感知器分区,并且我们展示了如何使用对比学习来预训练骨干,以便它在其输出处为类似的信道矩阵产生类似的嵌入,反之亦然,其中通过识别可以最佳地作为噪声处理的干扰链路来在信息理论意义上定义相似性。然后使用有限数量的标记样本对主干和头部进行微调。仿真结果表明,所提出的方法的有效性,表现出显着的收益比纯监督学习方法在总吞吐量和样本效率。
2021-02-11 cs.IT cs.LG eess.SP
Multi-level Supervised Contrastive Learning
RPTU Kaiserslautern-Landau(凯泽斯劳滕-兰道莱茵-普法尔茨理工大学);RIKEN(理化学研究所)
本文提出多级对比学习(MLCL)框架,通过多个投影头捕捉样本在不同标签和层次上的相似性,适用于多标签和层次分类任务,并在文本和图像数据集上超越现有对比学习方法。
2025-02-05 cs.LG
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich(慕尼黑大学);Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所)
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注,但其在时间序列域中的适用性研究有限。在这项工作中,我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整,特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整,我们探索深度半监督学习在时间序列分类的背景下,通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑,这是尚未在该领域缺乏。我们发现,这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益,特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara(加州大学圣巴巴拉分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
我们总结了PirouNet,一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列,PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research(IBM研究院人工智能基础部);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了区分对抗网络(DAN)的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络(GANs)和条件GANs的基础上,但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架,它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例:分类和排名。我们在三个不同任务的数据集上的实验结果表明,DAN是一个很有前途的框架,用于半监督学习和学习预测器的损失函数。对于所有任务,DAN的半监督能力可以显着提高小标记集的预测器性能,而任务之间的架构变化较小。此外,由DAN自动学习的损失函数是非常有竞争力的,并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注,因为它需要大量的标记数据,这些数据通常是昂贵的,需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能,监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架,LaplaceNet,深度半监督分类,大大降低了模型的复杂性。我们利用一种混合的方法,其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上,我们的模型优于最先进的深度半监督分类方法。此外,我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明,通过严格的实验,多采样增强方法提高了泛化能力,降低了网络对增强的敏感性。
2022-09-28 cs.LG
Active Semi-supervised Transfer Learning (ASTL) for Offline BCI Calibration
DataNova
脑电信号事件相关电位的单次分类是脑机接口(BCI)的一个重要研究方向。由于个体差异,通常需要一些特定于受试者的校准数据来为每个受试者定制分类器。迁移学习已被广泛用于通过利用来自类似/相关主体/任务的辅助数据来减少这种校准数据要求。然而,所有以前的研究都假设所有辅助数据都已标记。本文考虑了一个更一般的场景,其中部分辅助数据可以是未标记的。提出了一种基于主动半监督迁移学习(ASTL)的脑机接口离线校准方法,该方法集成了主动学习、半监督学习和迁移学习。使用视觉诱发电位古怪的任务和三种不同的EEG耳机,我们证明,ASTL可以实现一致的良好性能,跨学科和耳机,它优于一些国家的最先进的方法在文献中。
2018-05-12 cs.HC cs.LG stat.ML
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware(特拉华大学计算机与信息科学系)
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中,我们研究了多个对抗性示例的对抗性训练,以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明,对抗训练提供了对监督模型的改进,并且在半监督训练情况下也有效地涉及未标记数据。此外,我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Graph-Transformer Fraud Detection with Self-Supervised Pretraining and Conformal Risk Control
JP Morgan(摩根大通)
针对企业交易网络中的协调欺诈,提出图变换器检测器GTFD,融合结构与时序证据,结合自监督预训练和保形风险控制,显著提升检测性能与鲁棒性。
2026-09-15 cs.AI cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Semi-supervised Classification for Natural Language Processing
University of Western Ontario(西安大略大学)
半监督分类是一个有趣的想法,其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域,它与监督分类相比有许多优点。例如,监督分类只利用昂贵的标记数据,这些数据通常难以获得,数量不足,并且需要人类专家进行注释。另一方面,未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用,但由于其性能水平在经验上与监督分类一样好,因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory(美国海军研究实验室)
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督(BOSS)学习的潜力,以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼,类平衡和自我训练。一个好的原型选择是必不可少的,我们提出了一种技术,以获得图标的例子。此外,我们证明了类平衡方法大大提高了半监督学习的准确性,使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据,证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码,以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja(拉里奥哈大学)
在本文中,我们描述了一种新的方法,半监督机器学习的数学基础。利用符号计算和计算机代数的方法,利用持久同调的概念,得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML