Webly Supervised Image Classification with Self-Contained Confidence
SenseTime Research（商汤科技研究院）；Rice University（莱斯大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
本文主要研究网络监督学习（WSL），其中数据集是通过从互联网上抓取样本并直接使用搜索查询作为Web标签来构建的。尽管WSL受益于快速和低成本的数据汇集，但Web标签中的噪声阻碍了图像分类模型的更好性能。为了缓解这个问题，在最近的工作中，自标记监督损失$\mathcal{L}_s$与网络监督损失$\mathcal{L}_w$一起使用。$\mathcal{L}_s$依赖于模型本身预测的伪标签。由于web标签或伪标签的正确性对于每个web样本通常是基于逐个情况的，因此期望在样本级上调整$\mathcal{L}_s$和$\mathcal{L}_w$之间的平衡。受深度神经网络（DNN）在置信度预测方面的能力的启发，我们通过适应WSL设置的模型不确定性来引入自包含置信度（SCC），并使用它来样本平衡$\mathcal{L}_s$和$\mathcal{L}_w$。因此，提出了一个简单而有效的WSL框架。研究了一系列SCC友好的正则化方法，其中提出的图增强混合是提供高质量置信度以增强我们的框架的最有效方法。在WebVision-1000和Food 101-N两个大规模WSL数据集上，该框架取得了最先进的结果。代码可在https://github.com/bigvideoresearch/SCC上获得。
2020-08-27 cs.CV
Webly Supervised Learning for Skin Lesion Classification
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在医学成像中，足够的良好标记的样本的手动管理是成本、时间和规模上的限制。为了提高训练数据集的代表性，我们首次提出了一种通过网络爬行来利用大量免费可用网络数据的方法。为了处理Web注释的噪声和弱性质，我们提出了一个基于两步迁移学习的训练过程，该过程具有鲁棒的损失函数，称为Webly监督学习（WSL），以训练任务的深度模型。我们还利用图像搜索来提高我们的网络爬行的搜索特异性，并减少跨域噪声。在WSL中，我们显式地对类之间的噪声结构进行建模，并将其纳入模型训练过程中从Web数据中选择性地提取知识。为了证明由于WSL而提高的性能，我们对公开可用的10类细粒度皮肤病变分类数据集进行了基准测试，并报告了由于网络监督的结合，前1分类准确率从71.25%显著提高到80.53%。
2019-05-31 cs.CV
Combining Weakly and Webly Supervised Learning for Classifying Food Images
Rutgers University（罗格斯大学）；SRI International（斯坦福国际研究院）
图像中的食物分类是一个细粒度分类问题。食物图像的手动策展成本、时间和可扩展性都是令人望而却步的。另一方面，网络数据是免费的，但包含噪音。在本文中，我们解决的问题，食品图像分类与最小的数据整理。我们还解决了一个关键问题，从网络上的食物图像，他们往往有多个共同出现的食物类型，但弱标记的单一标签。我们首先证明，通过顺序地将一些手动策划的样本添加到来自两个Web源的更大的未策划的数据集中，top-1分类准确率从50.3%提高到72.8%。为了解决弱标签的问题，我们使用弱监督学习（WSL）来增强深度模型，从而将性能提高到76.2%。最后，我们展示了一些定性的结果，以提供使用所提出的想法的性能改进的见解。
2017-12-23 cs.CV
Webly Supervised Image Classification with Metadata: Automatic Noisy Label Correction via Visual-Semantic Graph
SenseTime Research（商汤科技研究院）；Rice University（莱斯大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
Webly监督学习因其在数据扩充方面的高效性而成为近年来研究的热点。然而，采用搜索查询或主题标签作为图像的Web标签进行训练会带来大量噪声，从而降低DNN的性能。特别是，由于查询词的语义混乱，一个查询检索的图像可能包含大量属于其他概念的图像。例如，在Flickr上搜索“老虎猫”将返回大量老虎图像，而不是猫图像。这些真实的噪声样本通常在视觉空间中具有清晰的视觉语义集群，这会误导DNN学习准确的语义标签。为了纠正现实世界中的嘈杂标签，昂贵的人工注释似乎是必不可少的。幸运的是，我们发现，元数据可以提供额外的知识，发现干净的Web标签在一个劳动自由的方式，使其成为可能，以自动提供正确的语义指导之间的大量标签嘈杂的Web数据。在本文中，我们提出了一个自动标签校正VSGraph-LC的基础上的视觉语义图。VSGraph-LC从锚点选择开始，参考元数据和正确标签概念之间的语义相似性，然后使用图神经网络（GNN）在视觉图上从锚点传播正确标签。在真实网络监督学习数据集Webvision-1000和NUS-81-Web上的实验表明了VSGraph-LC的有效性和鲁棒性。此外，VSGraph-LC显示了其在开集验证集上的优势。
2020-10-12 cs.CV
Tips and Tricks for Webly-Supervised Fine-Grained Recognition: Learning from the WebFG 2020 Challenge
Nanjing University of Science and Technology（南京理工大学）；Netease Games AI Lab（网易游戏AI实验室）；Netease Yidun AI Lab（网易易盾AI实验室）；DiDi Safety and Security Technology Group (DiDi-SSTG)（滴滴安全技术集团）
WebFG 2020是由南京理工大学、爱丁堡大学、南京大学、阿德莱德大学、早稻田大学等主办的国际挑战赛，本次挑战赛主要关注网络监督的细粒度识别问题。在文献中，现有的深度学习方法高度依赖于大规模和高质量的标记训练数据，这限制了它们在现实世界应用中的实用性和可扩展性。特别是，对于细粒度识别，需要专业知识进行标记的视觉任务，获取标记的训练数据的成本相当高。获取大量高质量的训练数据是非常困难的。因此，利用免费的Web数据训练细粒度识别模型，越来越受到细粒度领域研究者的关注。该挑战赛期望参与者开发网络监督的细粒度识别方法，该方法利用Web图像来训练细粒度识别模型，以减轻深度学习方法对大规模手动标记数据集的极端依赖，并增强其实用性和可扩展性。在这份技术报告中，我们汇总了54个参赛团队的顶级WebFG 2020解决方案，并讨论了哪些方法在获胜团队中效果最好，以及哪些方法令人惊讶地没有帮助。
2020-12-29 cs.CV
Image to Video Domain Adaptation Using Web Supervision
Microsoft Cognition（微软认知）
训练深度神经网络通常需要大量的标记数据，对于特定的目标域，获得这些标记数据可能是稀缺的或昂贵的。作为替代方案，我们可以利用相对丰富但可能包含噪声结果的网络监督数据（即来自公共搜索引擎的结果）。在这项工作中，我们提出了一种新的两阶段的方法来学习视频分类器使用webly监督的数据。我们认为，学习外观特征，然后依次时间特征，而不是同时，是一个更容易优化这项任务。我们通过首先从网络图像中学习图像模型来展示这一点，该图像模型用于初始化和训练视频模型。我们的模型应用领域自适应来解释源域（网络监督数据）和目标域之间存在的潜在域偏移，并通过添加新的注意力分量来解释噪声。我们报告的结果与UCF-101上最先进的网络监督方法具有竞争力（同时简化了训练过程），并对Kinetics进行了评估以进行比较。
2019-08-05 cs.CV
Mining YouTube - A dataset for learning fine-grained action concepts from webly supervised video data
University of Bonn（波恩大学）
动作识别目前主要集中在手选预唇动作的分类问题上，并取得了令人瞩目的成果。但是，随着当前数据集的性能甚至达到上限，该领域的下一步似乎必须超越这种完全监督的分类。克服这些问题的一种方法是转向限制较少的场景。在这种情况下，我们提出了一个大规模的现实世界的数据集，旨在评估学习技术的人类行为识别超越手工制作的数据集。为此，我们再次开始收集数据的过程，并从250个烹饪视频的测试集的注释开始。然后通过在免费可用视频的字幕内搜索相应的注释类来收集训练数据。数据集的独特性归因于收集数据和训练的整个过程不涉及任何人为干预。为了解决这类训练数据产生的语义不一致的问题，我们进一步提出了一个语义层次结构的挖掘类。
2019-06-03 cs.CV
Predicting the Politics of an Image Using Webly Supervised Data
University of Pittsburgh（匹兹堡大学）
新闻媒体塑造了公众舆论，通常，它们所包含的视觉偏见对人类观察者来说是显而易见的。这种偏见可以从不同的媒体来源如何描绘不同的主题或话题中推断出来。在本文中，我们模型视觉政治偏见在当代媒体来源的规模，使用网络监督数据。我们从左倾和右倾新闻来源收集了超过一百万张独特图像和相关新闻文章的数据集，并开发了一种预测图像政治倾向的方法。这个问题特别具有挑战性，因为我们的数据具有巨大的类内视觉和语义多样性。我们提出了一个两阶段的方法来解决这个问题。在第一阶段，模型被迫学习相关的视觉概念，当这些概念与从与图像配对的文章中计算出的文档嵌入相结合时，使模型能够预测偏差。在第二阶段，我们去除了对文本域的要求，并从前一个模型的特征中训练一个视觉分类器。我们表明，这种两阶段的方法有助于学习，并优于几个强大的基线。我们还提出了大量的定性结果，证明了数据的细微差别。
2019-10-31 cs.CV cs.LG
Webly Supervised Concept Expansion for General Purpose Vision Models
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
通用视觉（GPV）系统是设计用于解决各种视觉任务而无需更改架构的模型。今天，GPV主要从大型全监督数据集学习技能和概念。通过获取数据来学习每个技能的每个概念，将GPV扩展到数万个概念，这很快就变得令人望而却步。这项工作提供了一种有效且廉价的替代方案：从监督数据集中学习技能，从网络图像搜索中学习概念，并利用GPV的一个关键特性：跨技能传输视觉知识的能力。我们使用了一个包含10 k+视觉概念的1 M+图像数据集，在3个基准上展示了两个现有GPV（GPV-1和VL-T5）的网络监督概念扩展：5个基于COCO的数据集（80个主要概念），一个基于OpenImages和VisualGenome存储库的新策划的5个数据集系列（约500个概念），以及Web衍生数据集（10 k+概念）。我们还提出了一个新的架构，GPV-2，支持各种任务-从视觉任务，如分类和本地化，到视觉+语言任务，如QA和字幕，再到更多的利基任务，如人机交互检测。GPV-2从Web数据中受益匪浅，在这些基准测试中优于GPV-1和VL-T5。我们的数据、代码和网络演示可在https://prior.allenai.org/projects/gpv2上获得。
2022-07-21 cs.CL cs.CV
Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrieval
University of California, Riverside（加州大学河滨分校）
视觉数据和自然语言描述之间的跨模态检索一直是多媒体领域的一个挑战。虽然最近的图像-文本检索方法通过学习跨模态对齐的深度表示提供了很大的希望，但这些方法中的大多数都受到小规模数据集的训练问题的困扰，这些小规模数据集覆盖了有限数量的具有地面真理句子的图像。此外，通过用句子注释数百万张图像来创建更大的数据集是非常昂贵的，并且可能导致有偏见的模型。受最近深度神经网络中Web监督学习的成功启发，我们利用带有噪声注释的现成Web图像来学习鲁棒的图像-文本联合表示。具体来说，我们的主要想法是利用Web图像和相应的标签，以及完全注释的数据集，来训练学习视觉语义联合嵌入。我们提出了一个两阶段的任务，可以增强一个典型的监督成对排序损失为基础的配方与弱注释的网络图像学习更强大的视觉语义嵌入。两个标准的基准数据集上的实验表明，我们的方法实现了显着的性能增益相比，国家的最先进的方法在图像-文本检索。
2018-08-23 cs.CV cs.IR cs.MM
FoPro: Few-Shot Guided Robust Webly-Supervised Prototypical Learning
Tencent YouTu Lab（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
最近，网络监督学习（WSL）已被研究，以利用来自互联网的大量和可访问的数据。现有的方法大多集中于从网页图像中学习抗噪模型，而忽略了网页域和真实世界域之间的差异所导致的性能下降。然而，只有解决上述性能差距，我们才能充分利用Web数据集的实用价值。为此，我们提出了一种Few-Shot引导的原型（FoPro）表示学习方法，该方法只需要少量来自现实世界的标记样本，可以显著提高在真实世界领域的性能。具体来说，我们初始化每个类中心与Few-Shot现实世界的数据作为“现实”的原型。然后，通过对比学习缩小Web实例和"现实”原型之间的类内距离。最后，我们用一个可学习的度量来测量图像-原型距离。原型由相邻的高质量网络图像抛光，并参与删除远处的分布样本。在实验中，FoPro在网络数据集上进行训练，并在现实世界的数据集上进行指导和评估。我们的方法在三个细粒度数据集和两个大规模数据集上实现了最先进的性能。与现有的WSL方法相比，在相同的Few-Shot设置下，FoPro在真实世界的综合方面仍然表现出色。代码可在https://github.com/yuleiqin/fopro上获得。
2022-12-01 cs.CV eess.IV
Webly Supervised Semantic Embeddings for Large Scale Zero-Shot Learning
CEA LIST（法国原子能和替代能源委员会 LIST 研究所）；CEDRIC – CNAM（法国国立工艺学院 CEDRIC 实验室）
零样本学习（Zero-shot learning，简称ZRL）使图像中的目标识别成为可能，而不需要来自数据集的部分类的视觉训练数据。当类的数量很大时，类通常由从未注释的文本集合中自动学习的语义类原型表示。这通常会导致性能比手动设计的语义原型（如属性）低得多。虽然大多数的语义类原型的工作集中在视觉方面和重用标准的语义原型从通用文本集合，我们专注于大规模的语义类原型设计的问题。更具体地说，我们研究了使用嘈杂的文本元数据与照片作为文本集合，因为我们假设他们可能会提供更合理的语义嵌入视觉类，如果利用得当。因此，我们利用基于源的投票策略，以提高语义原型的鲁棒性。对大规模ImageNet数据集的评估显示，在两个强大的基线上，以及在以前的作品中使用的通常的语义嵌入上，JML的性能有了显着的改善。我们证明了这种改进是针对几种嵌入方法获得的，当使用自动创建的视觉和文本特征时，可以获得最先进的结果。
2020-08-06 cs.CV cs.LG
Webly-Supervised Image Manipulation Localization via Category-Aware Auto-Annotation
通过类别感知自动标注和网络监督，提出 Web-IML 模型以有效定位图像操纵区域，显著提升性能并扩大数据集规模。
2025-12-26 cs.CV
CAPro: Webly Supervised Learning with Cross-Modality Aligned Prototypes
Tencent YouTu Lab（腾讯优图实验室）；ByteDance（字节跳动）；Shanghai Jiao Tong University（上海交通大学）；Xiamen University（厦门大学）
提出跨模态对齐原型框架CAPro，利用文本原型和视觉特征空间处理网络数据中的标签噪声，通过集体引导优化原型，在WebVision1k和NUS-WIDE上取得最先进性能。
2023-10-15 cs.AI cs.CV
Learning from Noisy Web Data with Category-level Supervision
Rice University（莱斯大学）；Tsinghua University（清华大学）
随着大量照片被上传到公共网站（例如，Flickr、Bing和Google），从网络数据中学习已经成为一个越来越流行的研究方向，因为网络资源是免费的，这也被称为网络监督学习。然而，由于Web数据的标签噪声，Web监督学习与传统监督学习的性能差距仍然很大。确切地说，从公共网站抓取的图像的标签非常嘈杂，而且往往不准确。一些现有的作品倾向于促进学习从Web数据的帮助下，额外的信息，如增强或净化Web数据凭借实例级的监督，这通常是在繁重的手工注释的需求。相反，我们建议通过利用更容易访问的类别级监管来解决标签噪音。特别是，我们建立我们的方法变分自编码器（VAE），其中的分类网络附加在VAE的隐藏层的方式，分类网络和VAE可以共同利用类别级的混合语义信息。在三个基准数据集上的大量实验清楚地证明了我们所提出的方法的有效性。
2018-05-24 cs.CV
Scalable Deep Learning Logo Detection
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Ltd.（视觉语义有限公司）
现有的标识检测方法通常考虑少量的标识类和每个类的有限图像，并强烈假设需要繁琐的对象限界框注释，因此不能扩展到真实世界的动态应用。在这项工作中，我们通过探索网络数据学习原理来应对这些挑战，而不需要详尽的手动标记。具体来说，我们提出了一种新的增量学习方法，称为可扩展的Logo Self-co-Learning（SL ^2），能够从嘈杂的Web数据中自动自我发现信息丰富的训练图像，以跨模型协同学习的方式逐步提高模型的能力。此外，我们介绍了一个非常大的（2,190,757图像的194个标志类）标志数据集“WebLogo-2 M”的自动网络数据汇集和处理方法。广泛的比较评估表明，所提出的SL ^2方法优于最先进的强监督和弱监督检测模型和当代网络数据学习方法。
2018-04-02 cs.CV
Learning Visual N-Grams from Web Data
University of Maryland（马里兰大学）；Facebook AI Research（Facebook人工智能研究院）
现实世界的图像识别系统需要识别成千上万的类别，这些类别构成了过多的视觉概念。在这种情况下，为每个类标注数千张图像进行训练的传统方法是不可行的，这促使人们使用网络监督数据。本文探讨了图像识别系统在大量图像和相关用户评论上的训练。特别是，我们开发了视觉n-gram模型，可以预测与图像内容相关的任意短语。我们的视觉n-gram模型是使用新的损失函数训练的前馈卷积网络，这些损失函数受到语言建模中常用的n-gram模型的启发。我们展示了我们的模型在短语预测，基于短语的图像检索，相关的图像和字幕，和zero-shot传输的优点。
2017-08-06 cs.CV
DeepSolarEye: Power Loss Prediction and Weakly Supervised Soiling Localization via Fully Convolutional Networks for Solar Panels
University of Washington（华盛顿大学）；IBM Research Lab（IBM研究实验室）
污垢对太阳能电池板的影响是可再生能源领域中一个重要且研究充分的问题。在本文中，我们提出了第一个基于卷积神经网络（CNN）的方法，用于太阳能电池板污染和缺陷分析。我们的方法将太阳能电池板的RGB图像和环境因素作为输入来预测功率损耗、污染定位和污染类型。在计算机视觉中，定位是一项复杂的任务，通常需要手动标记的训练数据，例如边界框或分割掩模。我们提出的方法包括专门的四个阶段，完全避免了本地化的地面真相，只需要面板图像与功率损失标签的训练。使用网络监督学习将从预测的定位掩模获得的影响区域分类为污染类型。为了提高CNN的定位能力，我们引入了一种新的双向输入感知融合（BiDIAF）块，该块在CNN的不同级别上加强输入，以学习特定于输入的特征图。我们的实证研究表明，BiDIAF提高了约3%的功率损耗预测精度和约4%的定位精度。当以弱监督方式学习时，我们的端到端模型在本地化方面进一步提高了约24%。我们的方法是可推广的，并在网络抓取的太阳能电池板图像上显示出有希望的结果。我们的系统在NVIDIA TitanX GPU上的帧速率为22 fps（包括所有步骤）。此外，我们收集了第一个用于太阳能电池板图像分析的数据集，包括45，000多张图像。
2018-03-18 cs.CV
Supervised Convolutional Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
卷积稀疏编码（CSC）是一种成熟的图像表示模型，特别适用于图像复原任务。在这项工作中，我们通过提出一种有监督的卷积稀疏编码方法来扩展该模型的适用性，该方法旨在学习判别字典而不是纯粹的重建字典。我们将监督正则化项纳入传统的无监督CSC目标，以鼓励最终的字典元素是有区别的。实验结果表明，使用监督卷积学习有两个关键优势。首先，我们在字典中学习更多语义相关的过滤器，其次，我们在看不见的数据上实现了改进的图像重建。
2018-04-08 cs.CV
Learning to Learn from Noisy Web Videos
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙菲莎大学）
理解同时非常多样化和错综复杂的细粒度的可能人类行为集是计算机视觉中的一个关键的开放问题。手动标记训练视频对于某些动作类是可行的，但不能扩展到动作的完整长尾分布。解决这个问题的一个有前途的方法是利用来自Web查询的噪声数据来学习新的动作，使用半监督或“webly监督”方法。然而，这些方法通常不学习特定领域的知识，或者依赖于迭代的手动调整的数据标记策略。在这项工作中，我们提出了一个基于强化学习的公式，用于从嘈杂的网络搜索结果中选择正确的例子来训练分类器。我们的方法使用Q-learning在一个小的标记训练数据集上学习数据标记策略，然后使用它来自动标记新视觉概念的噪声Web数据。在具有挑战性的Sports-1 M动作识别基准以及其他细粒度和新出现的动作类上的实验表明，我们的方法能够为嘈杂的数据学习良好的标记策略，并使用它来学习准确的视觉概念分类器。
2017-06-09 cs.CV
Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation
University of Bonn（波恩大学）；University of Siegen（锡根大学）
由于完全注释的图像的稀缺性，弱监督语义分割已经成为人们越来越感兴趣的主题。我们介绍了一种新的方法来解决弱监督语义分割与深度卷积神经网络（CNN）。该方法引入了一种新的层，该层利用类对象的面积约束对神经网络的输出应用单纯形投影。所提出的方法是通用的，可以无缝集成到任何CNN架构。此外，投影层允许强监督模型通过替换地面真值标签轻松地适应弱监督模型。我们的实验表明，在CNN的输出上应用这样的操作可以提高图像级标签的弱监督设置中语义分割的准确性。
2018-07-24 cs.CV
Semi-supervised learning via Feedforward-Designed Convolutional Neural Networks
University of Southern California（南加州大学）
提出了一种基于前馈设计的卷积神经网络（FF-CNN）的半监督学习框架用于图像分类。FF-CNN的一个独特特性是在模型参数确定中不使用反向传播。由于未标记数据可能并不总是增强半监督学习，我们定义了一个有效的质量分数，并使用它来选择一个子集的未标记数据在训练过程中。我们在MNIST、SVHN和CIFAR-10数据集上进行了实验，结果表明，当标记数据量减少时，所提出的半监督FF-CNN解决方案的性能优于反向传播训练的CNN（BP-CNN）。此外，我们开发了一个集成系统，该系统结合了不同半监督FF-CNN的输出决策向量，以提高分类精度。集成系统可以在所有三个基准数据集上实现进一步的性能增益。
2019-02-06 cs.CV
Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显著性检测方法，通过开发一个深度监督的递归卷积神经网络（DSRCNN），它执行一个完整的图像到图像的显著性预测。对于显著性检测，显著对象的局部、全局和上下文信息对于获得高质量的显著性图是重要的。为了实现这一目标，DSRCNN基于VGGNet-16设计。首先，将递归连接合并到每个卷积层中，这可以使模型更强大地学习上下文信息。其次，增加侧输出层进行深度监督操作，通过影响中间层，使模型学习到更具鉴别力和鲁棒性的特征。最后，对所有的侧输出进行融合，综合局部和全局信息，得到最终的显著性检测结果。因此，DSRCNN结合了递归卷积神经网络和深度监督网络的优点。在5个基准数据集上对DSRCNN模型进行了测试，实验结果表明，该方法在所有测试数据集上的显著性检测性能均明显优于现有的显著性检测方法。
2016-08-18 cs.CV
Semi-Supervised Deep Learning for Fully Convolutional Networks
Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度学习通常需要大量标记的训练数据，但是注释数据是昂贵且繁琐的。半监督学习的框架提供了使用标记数据和任意数量的未标记数据进行训练的方法。最近，半监督深度学习已被广泛研究用于标准CNN架构。然而，全卷积网络（FCN）为许多图像分割任务提供了最先进的技术。据我们所知，还没有现有的半监督学习方法用于这种FCN。本文借助随机特征嵌入的思想，将半监督学习中的辅助流形嵌入的概念提升到模糊控制网络中。在我们的实验中，具有挑战性的任务MS病变分割，我们利用所提出的框架的目的领域自适应和报告的基线模型的实质性改进。
2017-07-25 cs.CV
Graph Laplacian Regularized Graph Convolutional Networks for Semi-supervised Learning
School of Computer Science and Technology（计算机科学与技术学院）；Anhui University（安徽大学）
最近，图卷积网络（GCN）已被广泛用于图结构数据的半监督分类和深度特征表示。然而，现有的GCN在学习和表示过程中通常没有考虑局部不变性约束。也就是说，如果两个数据点Xi和Xj在数据分布的固有几何结构中接近，则它们的标签/表示也应该彼此接近。局部不变性假设在机器学习领域的降维、半监督学习等传统算法的发展中起着至关重要的作用。为了克服这一限制，我们引入了一个图拉普拉斯GCN（gLGCN）的方法图数据表示和半监督分类。所提出的gLGCN模型能够将图结构和节点特征编码在一起，同时自然地保持局部不变性约束，以实现鲁棒的数据表示和半监督分类。实验结果表明了gLGCN网络的优点。
2018-09-26 cs.CV
Contemplating Visual Emotions: Understanding and Overcoming Dataset Bias
UC Riverside（加州大学河滨分校）；Adobe Research（Adobe研究院）；Aibee
虽然视觉情感识别的机器学习方法提供了很大的希望，但目前的方法考虑在覆盖有限视觉情感概念的小规模数据集上训练和测试模型。我们的分析确定了一个重要的，但长期被忽视的问题，现有的视觉情感基准的数据集偏见的形式。我们设计了一系列测试来展示和衡量这种数据集偏见如何阻碍学习可推广的情感识别模型。基于我们的分析，我们提出了一个网络监督的方法，利用大量的股票图像数据。我们的方法使用了一个简单而有效的课程指导的训练策略学习歧视性的情绪特征。我们发现，使用我们的大规模股票图像数据集学习的模型表现出比现有数据集更好的泛化能力，即使没有手动收集一个标签。此外，使用我们的方法学习的视觉表示在不同图像和视频数据集的各种任务中有很大的希望。
2018-08-07 cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild
Imperial College London（帝国理工学院）；Ariel AI；USI Lugano（卢加诺大学）；Twitter（推特）
我们介绍了一个简单而有效的网络架构，用于单目3D手部姿态估计，包括图像编码器，然后是一个网格卷积解码器，通过直接的3D手部网格重建损失进行训练。我们通过在YouTube视频中收集大规模的手部动作数据集来训练我们的网络，并将其用作弱监督的来源。我们基于弱监督网格卷积的系统在很大程度上优于最先进的方法，甚至将野外基准测试的错误减半。数据集和其他资源可在https://arielai.com/mesh_hands上获得。
2020-04-04 cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri（密苏里大学）；TCL Research America（TCL美国研究院）
在本文中，我们开发了一种新的方法，空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发，我们研究了时间域中长短期记忆（LSTM）的回归能力，并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比，这些跟踪器对区域候选者使用二进制分类，我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较，结果表明，我们的跟踪器更准确，更强大，同时保持较低的计算成本。对于大多数测试视频序列，我们的方法实现了最好的跟踪性能，往往优于第二个最好的大幅度。
2016-07-19 cs.CV
Graph Learning-Convolutional Networks
Anhui University（安徽大学）
最近，图卷积神经网络（图CNN）已被广泛用于图数据表示和半监督学习任务。然而，现有的图CNN通常使用固定的图，这对于半监督学习任务可能不是最佳的。在本文中，我们提出了一种新的图学习卷积网络（GLCN）的图数据表示和半监督学习。GLCN的目标是通过将图学习和图卷积集成在统一的网络架构中，学习最适合半监督学习的图CNN的最佳图结构。其主要优点是，在GLCN中，给定的标签和估计的标签都被合并，因此可以提供有用的“弱”监督信息来细化（或学习）图的构造，并促进GLCN中的图卷积运算以进行未知标签估计。七个基准测试的实验结果表明，GLCN显着优于最先进的传统的基于固定结构的图CNN。
2018-11-25 cs.CV
Weakly-Supervised Image Semantic Segmentation Using Graph Convolutional Networks
National Yang Ming Chiao Tung University（台湾阳明交通大学）
本文提出了一种基于图像级类别标签的弱监督图像语义分割方法。该任务的一种常见方法是使用随机游走机制传播类激活图（CAM）的激活分数，以便达到用于以完全监督的方式训练语义分割网络的完整伪标签。然而，随机游走的前馈性质不会对所得到的完整伪标签的质量施加正则化。为了克服这个问题，我们提出了一个基于图卷积网络（GCN）的特征传播框架。我们将完整伪标签的生成公式化为一个半监督学习任务，并通过反向传播拉普拉斯算子和熵正则化损失来分别为每个训练图像学习2层GCN。PASCAL VOC 2012数据集上的实验结果证实了我们的方案优于几个最先进的基线。我们的代码可在https://github.com/Xavier-Pan/WSGCN上获得。
2021-04-01 cs.CV
BIRNet: Brain Image Registration Using Dual-Supervised Fully Convolutional Networks
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Northwestern Polytechnical University（西北工业大学）；Korea University（高丽大学）
在本文中，我们提出了一种通过预测图像外观变形来进行图像配准的深度学习方法。由于获得用于训练的地面真实变形场可能具有挑战性，因此我们设计了一个受双重指导的完全卷积网络：（1）使用现有配准方法获得的变形场进行粗指导;（2）使用图像相似性进行细指导。后一种指导有助于避免过度依赖训练变形场的监督，这可能是不准确的。为了进行有效的训练，我们进一步改进了深度卷积网络，包括间隙填充、分层丢失和多源策略。在多种数据集上的实验表明，与现有方法相比，该方法具有良好的配准精度和效率。
2018-02-13 cs.CV
Hypergraph Convolutional Networks for Weakly-Supervised Semantic Segmentation
Télécom Paris - Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Università di Napoli Parthenope（那不勒斯帕泰诺佩大学）；La Rochelle Université（拉罗谢尔大学）
语义分割是计算机视觉中的一个基本课题。已经提出了几种深度学习方法用于语义分割，并取得了出色的效果。然而，这些模型需要大量密集注释的图像。为了解决这个问题，我们提出了一种新的算法，使用超图卷积网络弱监督语义分割（HyperGCN-WSS）。我们的算法从数据集中的图像构造空间和k-最近邻（k-NN）图来生成超图。然后，我们训练一个专门的超图卷积网络（HyperGCN）架构，使用一些微弱的信号。HyperGCN的输出被命名为伪标签，稍后用于训练DeepLab模型以进行语义分割。HyperGCN-WSS在PASCAL VOC 2012数据集上进行语义分割评估，使用涂鸦或点击作为弱信号。我们的算法表现出竞争力的性能对以前的方法。
2022-10-11 cs.CV
The Game Imitation: Deep Supervised Convolutional Networks for Quick Video Game AI
Stanford University（斯坦福大学）
我们提出了一个用于游戏AI的仅视觉模型，该模型使用在纯监督模仿学习上下文中训练的后期集成深度卷积网络架构。虽然用于视频游戏任务的最先进的深度学习模型通常依赖于更复杂的方法，如深度Q学习，但我们表明，在N64经典游戏Super Smash Bros.上，需要更少资源和训练时间的监督模型已经可以在人类反应速度下表现良好。我们的CNN模型实现了80%的前1和95%的前3验证准确率。通过轻微的测试时间微调，我们的模型在实时模拟中也具有竞争力，游戏中内置了最高级别的AI。我们将通过网络可视化进一步展示证据，证明网络在推理过程中成功地利用了时间信息来帮助决策。我们的工作表明，有监督的CNN模型可以在具有挑战性的政策预测任务中提供良好的性能，同时比替代方案更简单，更轻量级。
2017-02-18 cs.CV
Self-supervised Training of Graph Convolutional Networks
Wuhan University（武汉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
图卷积网络（Graph Convolutional Network，GCN）已成功地应用于分析非网格数据，而经典的卷积神经网络（Convolutional Neural Network，CNN）不能直接用于这些数据。GCN和CNN的一个相似之处是需要大量的标记数据进行网络训练。此外，GCN需要邻接矩阵作为输入来定义非网格数据之间的关系，这导致所有的数据包括训练、验证和测试数据通常只形成一个图结构数据用于训练。此外，由于邻接矩阵通常是预先定义的，且是固定的，这使得数据增强策略不能应用于已构造的图结构数据，从而无法增加训练数据的数量。为了进一步提高有限训练数据下的学习能力和模型性能，本文提出了两种自监督学习策略，以利用输入图结构数据本身的可用信息。我们提出的自监督学习策略在两个有代表性的GCN模型上进行了检验，使用了三个公共引文网络数据集- Citeseer，Cora和Pubmed。实验结果表明，泛化能力以及我们提出的策略的可移植性，这可以显着提高GCN的性能与自监督学习在改善特征学习的力量。
2020-06-03 cs.CV
Weakly Supervised Cascaded Convolutional Networks
KU Leuven（鲁汶大学）；Sharif Tech.（谢里夫理工大学）；UMBC（马里兰大学巴尔的摩县分校）；ETH Zürich（苏黎世联邦理工学院）
目标检测是视觉理解领域的一项具有挑战性的任务，在监督较弱的情况下更是如此。最近，很少有努力来处理没有昂贵的人类注释的任务，建立有前途的深度神经网络。提出了一种新的级联网络结构来学习这种条件下的卷积神经网络（CNN）。我们介绍了两个这样的架构，无论是两个级联阶段或三个，这是在一个端到端的管道训练。这两种架构的第一阶段通过训练完全卷积网络来提取类特定区域建议的最佳候选。在三阶段架构的情况下，中间阶段使用第一阶段的激活图的输出来提供对象分割。这两种架构的最后一级是卷积神经网络的一部分，它对在前一级中提取的建议执行多实例学习。我们在PASCAL VOC 2007，2010，2012和大规模对象数据集，ILSVRC 2013，2014数据集上的实验表明，在弱监督目标检测，分类和定位方面有所改进。
2016-11-24 cs.CV
Empirical curvelet based Fully Convolutional Network for supervised texture image segmentation
Beihang University（北京航空航天大学）；San Diego State University（圣地亚哥州立大学）
该研究提出一种有监督纹理图像分割方法，通过构建适配纹理字典的经验曲波滤波器组提取特征，输入全卷积网络实现分割，在多个数据集上表现优于现有最优算法。
2024-10-28 cs.CV
Adaptive Graph Convolutional Networks for Weakly Supervised Anomaly Detection in Videos
Northwestern Polytechnical University（西北工业大学）
对于弱监督异常检测，大多数现有的工作是有限的问题，由于无法建模长期的上下文信息的视频表示不足。为了解决这个问题，我们提出了一种新的弱监督自适应图卷积网络（WAGCN）的视频片段之间的复杂的上下文关系建模。通过这种方法，我们在为每个视频段生成异常概率得分时，充分考虑了其他视频段对当前视频段的影响。首先，我们结合时间的一致性以及视频片段的特征相似性来构建一个全局图，它充分利用视频异常事件的时空特征之间的关联信息。其次，为了突破人工设置拓扑结构的局限性，提出了一个图学习层，能够有效地自适应地提取基于数据的图邻接矩阵。在两个公共数据集上进行了广泛的实验（即，UCF-Crime数据集和ShanghaiTech数据集）证明了我们方法的有效性，实现了最先进的性能。
2022-10-08 cs.CV
Self-supervised Learning with Fully Convolutional Networks
Hunan University（湖南大学）；University of Pittsburgh（匹兹堡大学）；University of Western Australia（西澳大学）
尽管基于深度学习的方法在许多计算机视觉任务中取得了巨大成功，但它们的性能依赖于大量通常难以获得的密集注释样本。在本文中，我们专注于学习表示的问题，从未标记的数据语义分割。受两种基于补丁的方法的启发，我们开发了一种新的自监督学习框架，通过将拼图问题制定为补丁分类过程并使用完全卷积网络解决它。通过学习解决具有25个补丁的拼图问题，并将学习到的特征转移到Cityscapes数据集上的语义分割任务中，我们比从随机值初始化的基线模型提高了5.8个百分点。此外，实验表明，我们的自监督学习方法可以适用于不同的数据集和模型。特别是，我们在PASCAL VOC 2012数据集上使用了最先进的方法，使用了显著更少的训练图像，实现了具有竞争力的性能。
2020-12-18 cs.CV
A generic ensemble based deep convolutional neural network for semi-supervised medical image segmentation
University of Nottingham（诺丁汉大学）
基于深度学习的图像分割在病变量化、器官检测等许多医学应用中已经取得了最先进的性能，但大多数方法都依赖于监督学习，需要大量高质量的标记数据。数据注释通常是一个非常耗时的过程。为了解决这个问题，我们提出了一个通用的半监督学习框架的图像分割的基础上，深卷积神经网络（DCNN）。基于编码器-解码器的DCNN最初使用几个注释的训练样本进行训练。然后，将该初始训练的模型复制到子模型中，并使用未标记数据的随机子集迭代地改进，其中伪标签是从在先前迭代中训练的模型生成的。子模型的数量在最终迭代中逐渐减少到一个。我们评估所提出的方法在一个公共的巨大挑战数据集的皮肤病变分割。我们的方法能够通过合并未标记的数据来显着改进完全监督的模型学习。
2020-04-16 cs.CV
Timestamp-Supervised Action Segmentation with Graph Convolutional Networks
Retrocausal, Inc.（Retrocausal公司）
我们介绍了一种新的方法与时间戳监督的时间活动分割。我们的主要贡献是一个图卷积网络，它以端到端的方式学习，利用帧特征和相邻帧之间的连接，从稀疏的时间戳标签生成密集的逐帧标签。所生成的密集逐帧标记然后可以用于训练分割模型。此外，我们还提出了一个框架，用于交替学习分割模型和图卷积模型，首先对学习的模型进行迭代，然后迭代地细化。在四个公共数据集上进行的详细实验，包括50个沙拉，GTEA，早餐和桌面组装，表明我们的方法优于多层感知器基线，同时在时间戳监督的时间活动分割方面与最先进的技术相当或更好。
2022-08-02 cs.CV
Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
一种新的非刚性图像配准算法是建立在全卷积网络（FCN）优化和学习空间变换之间的图像对注册在自监督学习框架。与大多数现有的基于深度学习的图像配准方法不同，这些方法从具有已知对应空间变换的训练数据学习空间变换，我们的方法通过最大化固定和变形运动图像之间的图像相似性度量来直接估计图像对之间的空间变换，类似于传统的图像配准算法。图像配准在多分辨率图像配准框架中实现，以通过典型的前馈和反向传播计算，通过深度自我监督，联合优化和学习不同空间分辨率的空间变换和FCN。所提出的方法已被评估为注册三维结构脑磁共振（MR）图像，并获得了更好的性能比国家的最先进的图像配准算法。
2018-01-11 cs.CV
Semi-Supervised Vision Transformers
Fudan University（复旦大学）；Meta AI；Baidu Apollo（百度阿波罗）
研究了用于半监督图像分类的视觉Transformer的训练问题。Transformers最近在众多的监督学习任务中表现出令人印象深刻的性能。令人惊讶的是，当只有一小部分标记数据可用时，我们发现视觉Transformer的性能明显低于卷积神经网络。受此观察的启发，我们引入了一个联合半监督学习框架Semiformer，它包含一个Transformer流，一个卷积流和一个精心设计的融合模块，用于这些流之间的知识共享。卷积流在有限的标记数据上训练，并进一步用于生成伪标记以监督Transformer流在未标记数据上的训练。在ImageNet上进行的大量实验表明，Semiformer实现了75.5%的top-1准确率，明显优于最先进的技术。此外，我们还展示了Semiformer是一个通用框架，与大多数现代Transformer和卷积神经架构兼容。代码可在https://github.com/wengzejia1/Semiformer上获得。
2022-07-17 cs.CV
Free-Space Detection with Self-Supervised and Online Trained Fully Convolutional Networks
Eindhoven University of Technology（埃因霍温理工大学）
最近，基于视觉的高级驾驶员辅助系统获得了广泛的关注。在这项工作中，我们研究自由空间检测，我们建议采用全卷积网络（FCN）。我们表明，该FCN可以以自我监督的方式进行训练，并实现与手动注释数据训练相似的结果，从而减少了对大型手动注释训练集的需求。为此，我们的自监督训练依赖于立体视觉视差系统，为基于颜色的FCN自动生成（弱）训练标签。此外，我们的自我监督培训促进了FCN的在线培训，而不是离线培训。因此，考虑到所应用的FCN相对较小，自由空间分析变得高度适应车辆遇到的任何交通场景。我们已经使用公开的数据和本文发布的新的具有挑战性的基准数据集验证了我们的算法。实验表明，与离线训练相比，在线训练的性能提高了5%，无论是Fmax还是AP。
2017-01-05 cs.CV
AU-Supervised Convolutional Vision Transformers for Synthetic Facial Expression Recognition
Shenzhen Technology University（深圳技术大学）
本文描述了我们为2022年野外情感行为分析（ABAW）竞赛的六个基本表情分类轨道提出的方法。在从合成数据学习（LSD）任务中，面部表情识别（FER）方法旨在从人工生成的数据中学习表情的表示并推广到真实数据。由于合成数据的模糊性和面部动作单元（AU）的客观性，我们求助于AU信息来提高性能，并做出如下贡献。首先，为了使模型适应合成场景，我们使用来自预训练的大规模人脸识别数据的知识。其次，我们提出了一个概念上的新框架，称为AU监督卷积视觉Transformer（AU-CVT），它通过联合训练具有AU或伪AU标签的辅助数据集，明显提高了FER的性能。我们的AU-CVT在验证集上达到F1评分为$0.6863$，准确度为$0.7433$。我们工作的源代码可以在网上公开获得：https://github.com/msy1412/ABAW4
2022-07-22 cs.CV
ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation
Microsoft Research（微软研究院）
大规模数据对于学习语义分割模型至关重要，但是注释每个像素的掩模是一个繁琐且低效的过程。我们注意到，对于交互式图像分割的主题，涂鸦在学术研究和商业软件中得到了非常广泛的应用，并且被认为是最用户友好的交互方式之一。在本文中，我们提出了使用涂鸦来注释图像，并开发了一种算法来训练卷积网络，用于由涂鸦监督的语义分割。我们的算法是基于一个图形模型，共同传播信息从涂鸦到未标记的像素和学习网络参数。我们提出了竞争对象语义分割的PASCAL VOC数据集上使用涂鸦作为注释的结果。涂鸦也适合注释内容（例如，水，天空，草）没有明确的形状，我们的方法在PASCAL-CONTEXT数据集上显示了出色的结果，这要归功于额外的廉价涂鸦注释。我们对PASCAL VOC的潦草注释可以在http://research.microsoft.com/en-us/um/people/jifdai/downloads/scribble_sup上找到
2016-04-18 cs.CV
Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network
POSTECH（浦项科技大学）；University of Michigan（密歇根大学）
提出了一种基于深度卷积神经网络（DCNN）的弱监督语义分割算法。与现有的弱监督方法相反，我们的算法利用可用于不同类别的辅助分割注释来指导仅具有图像级类别标签的图像的分割。为了使分割知识跨类别的可移植性，我们设计了一个解耦的编码器-解码器架构与注意力模型。在这种架构中，该模型使用注意力模型生成图像中呈现的每个类别的空间高光，随后使用解码器为每个高光区域生成前景分割。结合注意力模型，我们表明，在不同类别的分割注释训练的解码器可以提高弱监督语义分割的性能。当我们的模型使用Microsoft COCO数据集中60个专有类别的注释进行训练时，与挑战PASCAL VOC 2012数据集的最新弱监督技术相比，该算法表现出显着提高的性能。
2015-12-24 cs.CV
Weakly-supervised 3D Human Pose Estimation with Cross-view U-shaped Graph Convolutional Network
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；National University of Defense Technology（国防科技大学）
虽然单目三维人体姿态估计方法已经取得了显著的进展，但由于固有的深度模糊性，它远未得到解决。相反，利用多视图信息是实现绝对3D人体姿态估计的实用方法。在本文中，我们提出了一个简单而有效的管道弱监督交叉视图三维人体姿态估计。通过仅使用两个相机视图，我们的方法可以以弱监督的方式实现最先进的性能，不需要3D地面实况，而只需要2D注释。具体来说，我们的方法包括两个步骤：三角剖分和细化。首先，给定可以通过任何经典的2D检测方法获得的2D关键点，跨两个视图执行三角测量以将2D关键点提升到粗略的3D姿态。然后，一种新的交叉视图U形图卷积网络（CV-UGCN），它可以探索的空间配置和交叉视图的相关性，被设计用于细化粗略的3D姿态。特别是，细化的进展是通过弱监督学习，其中几何和结构感知的一致性检查进行。我们在标准基准数据集Human3.6M上评估了我们的方法。基准数据集上的平均每关节位置误差为27.4 mm，显著优于现有的最先进方法（27.4 mm vs 30.2 mm）。
2022-05-17 cs.CV
A Hybrid Supervised-unsupervised Method on Image Topic Visualization with Convolutional Neural Network and LDA
Indiana University（印第安纳大学）；Yahoo Inc.（雅虎公司）
考虑到最近数据驱动范式在图像识别方面的进展，手动标记大量训练数据以适应卷积神经网络（CNN）模型仍然是昂贵的。本文提出了一种混合监督-无监督方法，将预训练的AlexNet与潜在狄利克雷分配（LDA）相结合，从未标记的生活日志数据集和COCO数据集中提取图像主题。我们从AlexNet的softmax层生成一个以自我为中心的数据集的词袋表示，并使用LDA用重复的图像来可视化主题的生活风格。我们使用COCO在4个类别上的子集作为地面真值，并定义一致率来定量分析该方法的性能，它达到了84%的平均一致率相比，从原始CNN模型的18.75%。该方法能够从COCO数据集中检测出虚假标签和多标签。为了进行可扩展性测试，在Intel Knights Landing集群上使用Harp-LDA进行了并行化实验：提取241，035个COCO图像的1，000个主题分配，需要10分钟，60个线程。
2017-04-09 cs.CV
Intelligent Railway Foreign Object Detection: A Semi-supervised Convolutional Autoencoder Based Method
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
铁路上异物的自动检测和检测对于铁路运输安全非常重要，因为它有助于防止潜在的事故和列车脱轨。现有的大多数基于视觉的方法都集中在检测前面的入侵对象与先验标签，如类别和位置的对象。事实上，不明类别的异物随时可能出现在铁轨上。在本文中，我们开发了一个基于半监督卷积自动编码器的框架，该框架只需要铁路轨道图像，而无需在训练过程中对异物进行先验知识。它由三个不同的模块组成，一个瓶颈特征生成器作为编码器，一个摄影图像生成器作为解码器，以及一个通过对抗学习开发的重建算法。在所提出的框架中，通过比较输入图像和重建图像以及基于重建误差设置阈值来解决检测异物的存在、位置和形状的问题。所提出的方法进行了评估，通过综合研究，在不同的性能标准。结果表明，该方法优于一些著名的基准测试方法。所提出的框架对于通过训练物联网（IoT）系统进行数据分析是有用的
2021-08-05 cs.CV
Weakly Supervised Segmentation of Hyper-Reflective Foci with Compact Convolutional Transformers and SAM2
University of Bonn（波恩大学）；University Hospital Bonn（波恩大学医院）；Heidelberg University（海德堡大学）；University Medical Center Mannheim（曼海姆大学医学中心）；Augenzentrum Grischun（格劳宾登眼科中心）；B-IT（信息技术与信息技术工程研究所）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对OCT中高反射灶等微小结构的弱监督分割下采样大、定位粗的问题，提出结合LRP提示SAM2、迭代推理的框架，并用带位置编码的CCT替代MIL，大幅提升分割精度。
2025-03-21 cs.CV
Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding
The University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）
磁共振成像（MRI）提供高分辨率的\emph{in vivo}成像以及丰富的功能和解剖多模态组织对比度。然而，在实践中，存在与考虑扫描成本、患者舒适度和扫描时间相关的挑战，这些挑战限制了在临床或研究中可以获取多少数据。在本文中，我们探讨了从低分辨率单模态图像生成高分辨率和多模态图像的可能性。我们提出了弱监督联合卷积稀疏编码，同时解决了超分辨率（SR）和跨模态图像合成的问题。学习过程只需要几个注册的多模态图像对作为训练集。此外，可以使用较大的未配对图像集合来提高联合字典学习的质量。为了组合来自不同图像分辨率/模态的未配对数据，提出了异域图像对准项。通过对整个图像域（与图像块相对）进行操作并使用联合卷积稀疏编码来自然地保留局部图像邻域。配对的图像在联合学习过程中与未配对的数据和一个额外的最大平均差异项，这最大限度地减少了它们的特征分布之间的差异增强。实验表明，该方法优于国家的最先进的技术，在SR重建和同步SR和跨模态合成。
2017-05-07 cs.CV
Semi-Supervised Segmentation of Salt Bodies in Seismic Images using an Ensemble of Convolutional Neural Networks
H2O.ai（H2O.ai公司）；Heidelberg University（海德堡大学）；Ritsumeikan University（立命馆大学）
地震图像分析在广泛的工业应用中起着至关重要的作用，并受到了极大的关注。地震成像的一个基本挑战是探测地下盐结构，这对于识别油气藏和钻井路径规划是必不可少的。不幸的是，精确识别大型盐矿床是非常困难的，专业的地震成像往往需要专家对盐体进行人工解释。卷积神经网络（CNN）已成功应用于许多领域，在地震成像领域也进行了多次尝试。但是，物理学专家手工注释的高成本和稀缺的公开可用的标记数据集阻碍了现有的基于CNN的方法的性能。在这项工作中，我们提出了一个半监督的方法分割（划定）的盐体在地震图像中，利用未标记的数据进行多轮自我训练。为了减少自训练过程中的错误放大，我们提出了一种使用CNN集成的方案。我们证明了我们的方法在TGS盐识别挑战数据集上的表现优于最先进的方法，并且在3234种竞争方法中排名第一。
2019-08-05 cs.CV
Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution
Shanghai Jiao Tong University（上海交通大学）；Transsion（传音控股）
针对基于CNN的高效图像超分辨率方法需更深网络和更大特征图导致复杂度与推理成本增加的问题，提出DSCLoRA，将ConvLoRA集成到SPAN中，提升性能且不增加复杂度，在NTIRE 2025挑战赛综合性能赛道中排名第一。
2025-04-15 cs.CV
