Multi-scale Bottleneck Transformer for Weakly Supervised Multimodal Violence Detection
College of Information Science \& Electronic Engineering Zhejiang University, Hangzhou, Zhejiang, China
针对弱监督多模态暴力检测中的信息冗余、模态不平衡与异步问题,提出 MSBT 瓶颈 token 融合及时间一致性对比损失,并在 XD-Violence 上达到最先进性能。
2024-05-08 cs.CV cs.MM
BTranspose: Bottleneck Transformers for Human Pose Estimation with Self-Supervised Pre-Training
Ford Greenfield Labs(福特格林菲尔德实验室);Ford Research(福特研究院)
2D人体姿态估计的任务是具有挑战性的,因为关键点的数量通常很大(~ 17),并且这需要使用可以从输入图像捕获相关特征的鲁棒神经网络架构和训练管道。然后,这些特征被聚合以进行准确的热图预测,从中可以推断出人体部位的最终关键点。文献中的许多论文使用基于CNN的架构作为骨干,和/或将其与Transformer结合,然后聚合特征以进行最终的关键点预测[1]。在本文中,我们考虑了最近提出的瓶颈Transformers [2],它有效地结合了CNN和多头自注意力(MHSA)层,我们将其与Transformer编码器集成在一起,并将其应用于2D人体姿势估计任务。我们考虑了不同的骨干架构,并使用DINO自监督学习方法[3]对其进行预训练,发现这种预训练可以提高整体预测精度。我们称我们的模型为BTranspose,实验表明,在COCO验证集上,我们的模型实现了76.4的AP,这与[1]等其他方法具有竞争力,并且具有更少的网络参数。此外,我们还展示了最终预测的关键点对MHSA块和Transformer编码器层的依赖关系,为网络在中高层关注的图像子区域提供了线索。
2022-04-21 cs.CV cs.LG
Semi-supervised Vision Transformers at Scale
AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究半监督学习(SSL)的视觉Transformer(ViT),尽管广泛采用的ViT架构不同的任务,一个未充分探讨的话题。为了解决这个问题,我们提出了一个新的SSL管道,包括第一个非/自我监督的预训练,其次是监督微调,最后是半监督微调。在半监督微调阶段,我们采用指数移动平均(EMA)-教师框架,而不是流行的FixMatch,因为前者更稳定,并提供更高的精度为半监督视觉Transformer。此外,我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签,以改进正则化,这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法,被称为半ViT,实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势,可以轻松扩展到大尺寸模型,并提高精度。例如,Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率,这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
SODA: Bottleneck Diffusion Models for Representation Learning
Google DeepMind(谷歌DeepMind)
SODA 通过编码器与去噪解码器之间的紧密瓶颈和新视图合成自监督目标,将扩散模型转变为强大表示学习器,首次在 ImageNet 线性探测分类中成功,并兼具重建、编辑与合成能力。
2023-11-29 cs.AI cs.CV cs.LG
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services(亚马逊云科技)
我们提出了一个插件替代批量归一化(BN)称为指数移动平均归一化(EMAN),它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同,在每个批次中计算统计数据,教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性,增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时,EMAN将自监督学习的强基线提高了4-6/1-2个点,半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的,证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
Recent Deep Semi-supervised Learning Approaches and Related Works
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
本文综述了近期深度半监督学习方法,基于流形、聚类和连续性假设对现有工作进行分类,并重点介绍了统一多种思想的整体性方法。
2024-08-08 cs.AI cs.CV cs.LG
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney(悉尼大学);North University of China(中北大学);University of Technology Sydney(悉尼科技大学)
针对医学图像标注数据稀缺问题,提出将自监督BYOL集成到半监督模型的方法,经无标注预训练、伪标与标注数据合并训练及迭代微调,在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Singapore University of Technology and Design(新加坡科技设计大学)
深度学习方法实现了对放射学图像进行分类的最先进性能,但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而,在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里,我们介绍了一种新的基于一致性的半监督证据主动学习框架(CSEAL)。具体来说,我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法,该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法:伪标签,虚拟对抗训练,平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明,CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外,对结果的分类分解表明,我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach
College of Science and Engineering, James Cook University(詹姆斯库克大学科学与工程学院);ARC Research Hub for Supercharging Tropical Aquaculture through Genetic Solutions, James Cook University(詹姆斯库克大学ARC热带水产养殖基因解决方案研究中心)
针对水下鱼类分割中手动标注成本高的问题,提出一种无需标注的自监督深度学习方法,通过特征对齐和时空一致性学习,在多个数据集上达到与全监督相当的性能,且计算高效。
2025-02-26 cs.CV
Task-specific Fine-tuning via Variational Information Bottleneck for Weakly-supervised Pathology Whole Slide Image Classification
Zhejiang University(浙江大学);Westlake University(西湖大学);The University of Hong Kong(香港大学)
虽然多实例学习(MIL)在数字病理学全切片图像(WSI)分类中显示出有希望的结果,但由于千兆像素WSI的高计算成本和模型训练的样本量有限,这种范式仍然面临性能和泛化问题。为了处理计算问题,大多数MIL方法首先使用ImageNet中的冻结预训练模型来获得表示。该过程可能会由于较大的域间隙而丢失必要的信息,并且由于缺乏图像级的训练时间增强而阻碍模型的泛化。尽管自监督学习(SSL)提出了可行的表示学习方案,但从SSL的任务不可知特征到部分标签监督学习下的任务特定特征的转换,下游任务的改进仍需进一步探索。为了缓解计算成本和性能的困境,我们提出了一个有效的WSI微调框架的信息瓶颈理论的动机。该理论使框架能够找到WSI的最小充分统计量,从而支持我们将骨干微调为仅依赖于WSI级别弱标签的特定于任务的表示。进一步分析了WSI-MIL问题,从理论上推导了我们的微调方法。我们的框架进行评估的五个病理WSI数据集上的各种WSI头。我们微调表示的实验结果表明,与以前的作品相比,在准确性和概括性显着改善。源代码将在https://github.com/invoker-LL/WSI-finetuning上提供。
2023-03-15 cs.CV
Transcending the Annotation Bottleneck: AI-Powered Discovery in Biology and Medicine
Human Technopole, Milan, Italy(米兰人类技术极地);Faculty of Computer Science, Otto von Guericke University Magdeburg, Magdeburg, Germany(计算机科学系,奥托·冯·格里克大学马格德堡)
本文提出通过无监督学习突破生物医学领域标注瓶颈,实现对心脏特征、基因表达和病理检测的高效发现与分析。
2026-02-23 cs.AI cs.CV eess.IV
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Learning Label-Efficient Interpretable Medical Image Diagnosis via Semi-supervised Hypergraph Concept Bottleneck Model
HKUST(GZ)(香港科技大学(广州));Joy Future Academy(京东探索研究院);MBZUAI(穆罕默德·本·拉希德智能研究院);Tsinghua University(清华大学);Sichuan University(四川大学);PolyU
提出一种半监督超图概念瓶颈模型,利用双层超图学习建模高阶概念依赖并生成领域自适应伪标签,在胎盘植入谱系等医学图像诊断中实现高可解释性和性能。
2026-06-01 cs.CV
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Supervised Deep Sparse Coding Networks
The Johns Hopkins University(约翰霍普金斯大学);West Virginia University(西弗吉尼亚大学)
在本文中,我们描述了深度稀疏编码网络(SCN),这是一种新型的深度网络,它使用非负稀疏编码对中间表示进行编码。SCN建立在多个级联瓶颈模块上,其中每个模块由两个稀疏编码层组成,所述两个稀疏编码层具有相对宽和窄的字典,所述字典分别专门用于产生用于聚类的高维判别特征和低维表示。在训练过程中,使用基于多级优化的端到端监督学习算法优化字典和正则化参数。在几个流行的基准测试数据集上验证了具有七个瓶颈模块的SCN的有效性。值得注意的是,我们的SCN在CIFAR-10和CIFAR-100上分别达到了5.81%和19.93%的分类出错率。
2017-05-23 cs.CV
HIBMatch: Hypergraph Information Bottleneck for Semi-supervised Alzheimer's Progression
Department of Applied Mathematics and Theoretical Physics, University of Cambridge(应用数学与理论物理系,剑桥大学);Department of Biomedical Engineering, The Hong Kong Polytechnic University(生物医学工程系,香港理工大学);Research Institute for Artificial Intelligence of Things, The Hong Kong Polytechnic University(物联网人工智能研究所,香港理工大学);Yau Mathematical Sciences Centre, Tsinghua University(叶德平数学科学中心,清华大学)
针对阿尔茨海默病进展预测依赖标注数据、未筛选时序无关特征的问题,提出半监督超图架构HIBMatch,结合超图信息瓶颈、一致性正则化与跨模态对比损失,在ADNI数据集上性能超越现有最优方法。
2025-11-16 cs.CV
MoRAE: Flow-Friendly Self-Supervised Latents for Text-to-Motion Generation
MoRAE针对文本到动作生成中直接采用图像生成RAE范式的失败,解决了动作空间的两个特有瓶颈,使Flow-Matching DiT实现了最先进的文本到动作生成性能。
2026-11-17 cs.AI cs.CV
VIBUS: Data-efficient 3D Scene Parsing with VIewpoint Bottleneck and Uncertainty-Spectrum Modeling
Tsinghua University(清华大学);McGill University(麦吉尔大学);Intel(英特尔);Peking University(北京大学)
近年来,利用深度学习方法进行3D场景解析已经成为一个热门话题。然而,目前的方法与完全监督模型需要手动注释逐点监督,这是非常用户不友好和耗时的获得。因此,使用稀疏监督训练3D场景解析模型是一种有趣的替代方案。我们把这个任务作为数据高效的3D场景解析,并提出了一个有效的两阶段框架VIBUS解决它利用巨大的未标记点。在第一阶段中,我们使用所提出的视点瓶颈损失函数对未标记的点进行自监督表示学习。损失函数是从一个信息瓶颈目标施加在不同的观点下的场景,使表示学习的过程中没有退化和采样。在第二阶段,伪标签收获的稀疏标签的基础上不确定性谱建模。通过结合数据驱动的不确定性度量和三维网格谱度量(来自法线方向和测地线距离),得到一个鲁棒的局部亲和度量。有限的伽玛/贝塔混合模型被用来分解这些措施的类别分布,导致自动选择阈值。我们在公共基准测试ScanNet上评估了VIBUS,并在验证集和在线测试服务器上获得了最先进的结果。消融研究表明,视点瓶颈和不确定性谱建模带来了显着的改善。代码和模型可在https://github.com/AIR-DISCOVER/VIBUS上公开获取。
2022-10-20 cs.AI cs.CV
SemiSegECG: A Multi-Dataset Benchmark for Semi-Supervised Semantic Segmentation in ECG Delineation
VUNO Inc.(VUNO公司)
本文提出SemiSegECG,首个心电图分割半监督语义分割基准,统一多数据集,评估五种算法在两种架构和两种设置下的性能,发现Transformer优于卷积网络。
2025-08-05 cs.AI cs.CV cs.LG
SemiMemes: A Semi-supervised Learning Approach for Multimodal Memes Analysis
FPT University(FPT大学)
本研究提出多模态半监督学习方法SemiMemes,结合自编码器与分类任务利用未标记数据,在两个数据集上优于现有最先进模型,有效解决模因有害内容审查的标注难题。
2023-05-16 cs.AI cs.CL cs.CV
Effective Self-supervised Pre-training on Low-compute Networks without Distillation
Samsung AI Cambridge(三星人工智能剑桥研究院);Microsoft Research Cambridge(微软剑桥研究院)
本文针对低算力网络自监督预训练性能受限问题,指出瓶颈源于视图采样与正则化权衡而非架构容量,并提出系统化视图采样训练方法,在多种SSL算法、小型网络和视觉任务上取得新SOTA。
2023-10-02 cs.CV
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses公司)
我们提出了Dense FixMatch,这是一种简单的方法,用于密集和结构化预测任务的在线半监督学习,通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作,我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能,包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比,Dense FixMatch显著改善了结果,接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University(纽约大学)
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而,获得高质量的人类标记数据的成本相当高,导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标,一方面,许多论文致力于区分噪声标签和干净标签,以提高DNN的泛化能力。另一方面,越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”,我们将检测到的错误标记数据视为未标记数据;通过“self”,我们选择一种自监督技术进行半监督学习。在这个项目中,我们设计了一些方法来更准确地区分干净和有噪声的标签,并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School(萨拉托加高中)
半监督学习已经获得关注,因为它允许执行图像分析任务,例如使用有限的标记数据进行分类。使用生成对抗网络(GANs)进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而,这可能需要模型为每个任务收敛到单独的数据分布,这可能会降低整体性能。虽然半监督学习已经取得了进展,但小规模的全监督任务却很少得到解决,即使是未标记的数据也无法获得。因此,我们提出了一种新的GAN模型,即外部分类器GAN(EC-GAN),它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说,我们将外部分类器(因此命名为EC-GAN)附加到GAN的生成器,而不是与GAN共享架构。我们的实验表明,EC-GAN的性能与共享架构方法相当,远优于标准的数据增强和基于正则化的方法,并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Scaling Up Semi-supervised Learning with Unconstrained Unlabelled Data
Queen’s University(女王大学)
本文提出UnMixMatch半监督学习框架,通过强增强有监督学习、对比一致性正则化和自监督损失三个组件,有效利用无约束无标签数据,在4个数据集上实现4.79%的性能提升。
2024-01-13 cs.CV cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Learning to Impute: A General Framework for Semi-supervised Learning
University of Edinburgh(爱丁堡大学);Institute for Infocomm Research, A* STAR(新加坡科技研究局资讯通信研究院)
最近的半监督学习方法已经证明,由于其正则化策略,在图像分类任务中仅使用一小部分标签的情况下,可以实现与监督学习方法相当的结果。在本文中,我们采取了一种更直接的方法进行半监督学习,并提出了学习来估算未标记样本的标签,以便网络在这些标签上训练时实现更好的泛化。我们提出了一个学习到学习的公式,可以很容易地结合到最先进的半监督技术,并提高其性能,特别是当标签是有限的问题。我们证明了我们的方法适用于分类和回归问题,包括图像分类和面部标志检测任务。
2020-09-24 cs.CV cs.LG
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University(普渡大学);ETH Zürich(苏黎世联邦理工学院)
我们使用梯形网络[Rasmus et al.(2015)]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下,这已被证明比其他半监督技术更成功,例如使用未标记数据进行预训练。我们还表明,卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术,并在帕维亚大学数据集上实现了新的最先进的性能,每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们介绍了用于半监督学习的SaaS算法,该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中,训练速度与正确标签的百分比密切相关,因此我们将其用作未知标签的推理标准,而不试图首先推断模型参数。尽管简单,SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory(美国海军研究实验室)
在新应用中采用深度神经网络的最大障碍之一是,训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景,其中可以访问大量未标记的数据,但只需要标记每个类的单个原型样本,以便训练深度网络(即,一次性半监督学习)。具体来说,我们调查了FixMatch中报道的一次性半监督学习的最新结果,以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如,我们发现,一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案,可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology(哈尔滨工业大学)
本工作提出自监督半监督学习框架Color-$S^{4}L$,通过引入图像着色代理任务,在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Self-Supervised Learning for Semi-Supervised Temporal Action Proposal
Huazhong University of Science and Technology(华中科技大学)
自监督学习在利用未标记数据进行各种视频任务方面表现出了显著的性能。在本文中,我们专注于应用自我监督方法的力量,以提高半监督行动建议生成。特别地,我们设计了一个有效的自监督半监督时态动作建议(SSTAP)框架。SSTAP包含两个关键分支,即,时间感知半监督分支和关系感知自监督分支。半监督分支通过引入两个时间扰动来改进提议模型,即,时间特征转移和时间特征翻转,在平均教师框架。自监督分支定义了两个托词任务,包括掩蔽特征重构和裁剪顺序预测,以学习时间线索之间的关系。通过这种方式,SSTAP可以更好地探索未标记的视频,并提高学习的动作特征的区分能力。我们在THUMOS 14和ActivityNet v1.3数据集上广泛评估了所提出的SSTAP。实验结果表明,SSTAP显着优于最先进的半监督方法,甚至匹配全监督方法。代码可在https://github.com/wangxiang1230/SSTAP上获得。
2021-04-07 cs.CV
Semi-Supervised Monocular Depth Estimation with Left-Right Consistency Using Deep Neural Network
从单目摄像机图像中估计场景的深度已经取得了巨大的研究进展。用于单图像深度预测的现有方法完全基于深度神经网络,并且它们的训练可以使用立体图像对进行无监督,使用LiDAR点云进行监督,或者使用立体和LiDAR进行半监督。一般来说,半监督训练是优选的,因为它不会受到监督训练的弱点的影响,这是由于相机和LiDAR视场的差异造成的,或者是由于可以从立体对恢复的差的深度精度造成的无监督训练。在本文中,我们提出了我们的研究在单图像深度预测使用半监督训练,优于国家的最先进的。我们实现了这一点,通过一个损失函数,明确利用左,右的一致性,在立体重建,这还没有被采用在以前的半监督训练。此外,我们描述了正确使用来自LiDAR的地面真实深度,可以显着减少预测误差。在流行的数据集上评估了我们的深度预测模型的性能,并通过实验结果证明了我们的半监督训练方法的每个方面的重要性。我们的深度神经网络模型已经公开。
2019-05-18 cs.AI cs.CV cs.RO
EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations
Purdue University(普渡大学);University of Rochester(罗切斯特大学);Futurewei Seattle Cloud Lab(华为西雅图云实验室)
深度神经网络已成功应用于许多现实世界的应用。然而,这样的成功在很大程度上依赖于大量的标记数据,而这些数据的获取成本很高。近年来,人们提出了许多半监督学习的方法,并取得了很好的效果。在这项研究中,我们提出了一个新的EnAET框架,以进一步改善现有的半监督方法与自我监督的信息。据我们所知,目前所有的半监督方法都通过预测一致性和置信度来提高性能。我们是第一个探索{ \bf自我监督}表示在{ \bf半监督}学习中的作用的丰富的家庭的转换。因此,我们的框架可以集成自监督信息作为正则化项,以进一步改进{ \it all}当前的半监督方法。在实验中,我们使用MixMatch,这是当前最先进的半监督学习方法,作为基线来测试所提出的EnAET框架。在不同的数据集上,我们采用相同的超参数,这大大提高了EnAET框架的泛化能力。在不同数据集上的实验结果表明,所提出的EnAET框架大大提高了现有半监督算法的性能.此外,该框架还可以大幅提高{ \bf监督学习},包括每个类只有10张图像的极具挑战性的场景。代码和实验记录可在\url{https://github.com/maple-research-lab/EnAET}中获得。
2021-02-01 cs.CV
SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化研究院);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院)
本文提出SemiSAM策略,利用SAM生成的伪标签作为额外监督,在标注极少时显著提升半监督医学图像分割性能,并具备即插即用效率。
2024-10-23 cs.CV
Semi-supervised Learning with Robust Loss in Brain Segmentation
University of Southern California(南加州大学)
在这项工作中,我们使用半监督学习方法来训练深度学习模型,可以分割大脑MRI图像。半监督模型使用较少的标记数据,并且性能与全标记数据的监督模型竞争。该框架可以降低标记MRI图像的成本。我们还引入了鲁棒损失来减少半监督学习中产生的不准确标签的噪声影响。
2022-12-03 cs.CV eess.IV
A Benchmark for Semi-supervised Multi-modal Crowd Counting
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
本文构建了首个半监督多模态人群计数基准,通过制定标准化协议和评估多种基线方法,为该任务奠定基础。
2026-06-02 cs.CV
Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National University of Singapore(新加坡国立大学)
我们考虑的问题,半监督的3D动作识别,以前很少探索。它的主要挑战在于如何有效地从未标记的数据中学习运动表示。自监督学习(Self-supervised learning,SSL)是一种非常有效的学习方法。然而,对于3D动作识别,几乎没有有效的自监督方法存在,并且直接将SSL应用于半监督学习遭受从SSL和监督学习任务学习的表示的不对准。为了解决这些问题,我们提出了对抗性自监督学习(ASSL),一个新的框架,紧密耦合SSL和半监督方案通过邻居关系探索和对抗性学习。具体来说,我们设计了一个有效的SSL方案,以提高3D动作识别的学习表示的鉴别能力,通过探索一个邻域内的数据关系。我们进一步提出了对抗性正则化来对齐标记和未标记样本的特征分布。为了证明所提出的ASSL在半监督3D动作识别中的有效性,我们在NTU和N-UCLA数据集上进行了广泛的实验。结果证实了其优越的性能超过国家的最先进的半监督方法在几个标签制度的3D动作识别。
2020-07-12 cs.CV
Semi-Supervised Semantic Segmentation with High- and Low-level Consistency
University of Freiburg(弗莱堡大学)
从有限的标记数据中理解视觉信息的能力是机器学习的一个重要方面。虽然图像级分类已经在半监督环境中被广泛研究,但具有有限数据的密集像素级分类最近才引起注意。在这项工作中,我们提出了一种半监督语义分割的方法,学习有限的像素明智的注释样本,同时利用额外的无注释图像。它使用两个网络分支,将半监督分类与半监督分割(包括自训练)联系起来。双分支方法减少了在使用少量标签进行训练时典型的低级和高级伪影。该方法与现有方法相比有了显着的改进,特别是在使用很少的标记样本进行训练时。在几个标准基准测试中- PASCAL VOC 2012,PASCAL-Context和Cityscapes -该方法在半监督学习中达到了最先进的水平。
2019-08-15 cs.CV
Semi-MAE: Masked Autoencoders for Semi-supervised Vision Transformers
Meituan Inc.(美团公司)
视觉Transformer(ViT)在半监督学习(SSL)中面临数据稀缺的问题。为了缓解这个问题,受到掩码自编码器(MAE)的启发,这是一个数据高效的自监督学习器,我们提出了Semi-MAE,一个纯粹的基于ViT的SSL框架,由一个并行MAE分支组成,以帮助视觉表示学习,使伪标签更准确。MAE分支被设计为由轻量级解码器和共享权重编码器组成的非对称架构。我们将具有高掩蔽比的弱增强未标记数据馈送到MAE分支,并重建丢失的像素。Semi-MAE在ImageNet上实现了75.9%的top-1准确率,标签为10%,超过了半监督图像分类的现有技术水平。此外,大量的实验表明,半MAE可以很容易地用于其他ViT模型和掩码图像建模方法。
2023-01-04 cs.CV
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification
University of Adelaide(阿德莱德大学);Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Universität Ulm(乌尔姆大学);South Australian Health and Medical Research Institute(南澳大利亚健康与医学研究所)
深度学习模型的训练通常需要大量的注释数据,以实现有效的收敛和泛化。然而,获得高质量的注释是一个费力和昂贵的过程,由于需要专业的放射科医生的标签任务。医学图像分析中的半监督学习的研究是至关重要的,因为获得未标记的图像比获得由放射科专家标记的图像便宜得多。从本质上讲,半监督方法利用大量未标记的数据集来实现比仅使用少量标记图像更好的训练收敛和泛化。在本文中,我们提出了半监督(S $^2$ MTS $^2$)学习的自监督均值教师,它将自监督均值教师预训练与半监督微调相结合。S $^2$ MTS $^2$的主要创新点是基于联合对比学习的自监督平均教师预训练,它使用无限数量的正查询和关键特征对来改进平均教师表示。然后使用经过半监督学习训练的指数移动平均教师框架对模型进行微调。我们验证了S $^2$ MTS $^2$在胸部X射线14和CheXpert的多标签分类问题上的有效性,以及ISIC 2018的多类分类,我们表明它大大优于以前的SOTA半监督学习方法。
2021-11-04 cs.CV
Semi-Supervised Semantic Matching
Aalto University(阿尔托大学)
卷积神经网络(CNN)已成功地应用于解决语义相关图像之间的对应性估计问题。由于无法获得大规模的训练数据集,现有的方法采用自监督或无监督的训练范式。在本文中,我们提出了一个半监督学习框架,施加循环一致性约束的未标记的图像对。与监督损失一起,所提出的模型在基准语义匹配数据集上达到了最先进的水平。
2019-01-24 cs.CV
Semi-supervised Learning of Fetal Anatomy from Ultrasound
Imperial College London(帝国理工学院)
半监督学习方法在标准基准数据集上使用很少的标记图像取得了优异的性能。胎儿2D超声中的解剖分类是测试这些结果是否转化为非理想数据的理想问题设置。我们的研究结果表明,包含一个具有挑战性的背景类可能是有害的,半监督学习主要受益于已经不同的类,有时以牺牲更相似的类。
2019-08-30 cs.CV
Budget-aware Semi-Supervised Semantic and Instance Segmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
转向较少监督场景的方法是图像分割的关键,因为密集标签需要大量的人为干预。一般来说,通过用较弱的监督形式标记数据集来减轻注释负担,例如图像级标签或边界框。另一种选择是半监督设置,通常利用一些强注释和大量未标记/弱标记数据。在本文中,我们重新审视了半监督分割方案,并与以前的方法相比显着缩小了注释预算(就训练集的总标记时间而言)。通过一个非常简单的管道,我们证明了在低注释预算下,半监督方法在语义和实例分割方面都远远优于弱监督方法。我们的方法也优于以前的半监督作品,大大降低了标签成本。我们提出了Pascal VOC基准测试的结果,并通过考虑总注释预算来统一弱监督和半监督方法,从而使方法之间的比较更加公平。
2019-05-23 cs.CV
Confidence-Guided Semi-supervised Learning in Land Cover Classification
Cardiff University(卡迪夫大学)
本文提出置信度引导半监督学习方法CGSSL,通过利用高置信度伪标签并引入多网络架构提升伪标签多样性,在Potsdam土地覆盖分类基准上超越经典半监督和全监督方法。
2023-05-30 cs.CV
Semi-Supervised Relational Contrastive Learning
University of California, Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学);University of Kentucky(肯塔基大学)
针对医学图像监督学习标注成本高的问题,提出结合自监督对比损失与样本关系一致性的半监督关系对比学习SRCL模型,在ISIC 2018皮肤病变数据集上验证了不同标注量下的有效性。
2023-06-13 cs.CV
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory(美国海军研究实验室)
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督(BOSS)学习的潜力,以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼,类平衡和自我训练。一个好的原型选择是必不可少的,我们提出了一种技术,以获得图标的例子。此外,我们证明了类平衡方法大大提高了半监督学习的准确性,使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据,证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码,以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Semi-Supervised Disparity Estimation with Deep Feature Reconstruction
University of Freiburg(弗莱堡大学)
尽管深度学习在差异估计方面取得了成功,但领域泛化差距仍然是一个问题。我们提出了一个半监督管道,通过对标记的合成数据进行联合监督训练和对未标记的真实数据进行自我监督训练,成功地将DispNet适应于真实世界的领域。此外,考虑到广泛使用的光度损失的局限性,我们分析了深度特征重建作为视差估计的有前途的监督信号的影响。
2021-06-01 cs.CV
Interpolation-based semi-supervised learning for object detection
Seoul National University(首尔国立大学);Aalto University(阿尔托大学);Mila Université de Montréal(蒙特利尔大学米拉研究所);SK hynix(SK海力士)
尽管目标检测任务的数据标记成本远高于分类任务,但用于目标检测的半监督学习方法还没有得到太多的研究。本文提出了一种基于插值的半监督学习目标检测方法(ISD),该方法考虑并解决了传统的插值正则化(IR)直接应用于目标检测所带来的问题。我们根据IR中混合的两个原始补丁的对象性得分将模型的输出分为两种类型。然后,我们以无监督的方式应用适合于每种类型的单独损失。提出的损失显着提高性能的半监督学习以及监督学习。在监督学习设置中,我们的方法显著地改进了基线方法。在半监督学习环境中,我们的算法提高了性能的基准数据集(PASCAL VOC和MSCOCO)在基准架构(SSD)。
2020-12-29 cs.CV
Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis
Eindhoven University of Technology(埃因霍温理工大学);Erasmus Medical Center(伊拉斯谟医学中心);University of Copenhagen(哥本哈根大学);University Medical Center Utrecht(乌得勒支大学医学中心)
机器学习(ML)算法在医学成像领域产生了巨大的影响。虽然医学成像数据集的规模一直在增长,但经常提到的监督ML算法面临的挑战是缺乏注释数据。因此,已经提出了可以在较少/其他类型的监督下学习的各种方法。我们回顾了医学成像中的半监督、多实例和迁移学习,无论是在诊断/检测还是分割任务中。我们还讨论了这些学习场景之间的联系,以及未来研究的机会。
2018-09-14 cs.CV
SelfPrompt: Confidence-Aware Semi-Supervised Tuning for Robust Vision-Language Model Adaptation
Queen’s University, Canada(女王大学)
本文提出SelfPrompt,一种用于视觉语言模型的半监督提示微调方法,通过聚类引导的伪标签和置信度感知学习模块解决伪标签噪声问题,并在13个数据集上显著超越现有方法。
2025-01-28 cs.CV