Neurogenesis-Inspired Dictionary Learning: Online Model Adaption in a Changing World
University of Southern California(南加州大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们专注于在线表示学习在非平稳环境中,可能需要不断适应的模型架构。我们提出了一种新的在线字典学习(稀疏编码)框架,它包含了添加和删除隐藏单元(字典元素),并受到海马齿状回中成人神经发生现象的启发,已知与改善认知功能和适应新环境有关。在在线学习设置中,新的输入实例分批顺序到达,神经元出生通过添加具有随机初始权重的新单元(随机字典元素)来实现;新单元的数量由字典的当前性能(表示误差)确定,较高的误差导致出生率增加。神经元死亡是通过在我们的在线交替最小化方案的每次迭代中对块坐标下降优化中的字典施加l1/l2正则化(组稀疏性)来实现的,该方案在代码和字典更新之间迭代。最后,通过在字典元素中引入稀疏性,便于隐藏单元连接自适应。我们对几个真实数据集(图像和语言)以及合成数据的经验评估表明,在非平稳数据的情况下,所提出的方法可以大大优于Mairal等人(2009)的最先进的固定大小(非自适应)在线稀疏编码。此外,我们识别数据的某些属性(例如,具有几乎不重叠的支持的稀疏输入)和模型(例如,字典稀疏性)与这样的改进相关联。
2017-02-19 cs.AI cs.CV cs.LG
Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation
University of California San Diego(加州大学圣迭戈分校)
领域自适应处理使用来自特定源域的大规模标记数据来训练模型,然后将知识适配到具有很少或没有标记的某些目标域。许多现有的作品学习域不可知的特征表示,用于此目的,使用全局分布对齐目标,其不考虑在源和目标域中的更精细的类特定的结构。我们解决这个问题,在我们的工作中,并提出了一个实例的亲和力为基础的标准,在适应过程中的源到目标的转移,称为ILA-DA。我们首先提出了一个可靠的和有效的方法来提取源和目标之间的相似和不相似的样本,并利用多样本对比损失驱动域对齐过程。ILA-DA同时考虑了类内聚类以及类别之间的类间分离,从而减少了分类器边界的噪声,提高了可转移性和准确性。我们通过观察流行的领域自适应方法在各种基准数据集上的准确性的一致改进来验证ILA-DA的有效性,并提供对所提出的对齐方法的见解。代码将在https://github.com/astuti/ILA-DA上公开。
2021-04-03 cs.CV
Learning Universal Shape Dictionary for Realtime Instance Segmentation
Shanghai Jiao Tong University(上海交通大学)
我们提出了一种新的明确的形状表示实例分割。根据对物体形状建模的不同,现有的实例分割系统可以分为隐式模型和显式模型。隐式方法,表示对象掩模/轮廓的棘手的网络参数,并产生它通过逐像素分类,是占主导地位的。然而,显式的方法,参数化的形状与简单的和可解释的模型,较少探索。由于生成最终形状的操作是轻量级的,显式方法比隐式方法具有明显的速度优势,这对于现实世界的应用至关重要。建议USD-Seg采用线性模型,稀疏编码与字典,对象的形状。首先,它从大量的形状数据集中学习字典,使任何形状都能够通过字典分解为线性组合。因此被称为“通用形状字典”。然后在普通目标检测器的基础上增加一个简单的形状向量回归头,使检测器以最小的开销获得分割能力。对于定量评估,我们使用平均精度(AP)和建议的效率AP(AP $_E$)度量,其目的也是衡量计算消耗的框架,以满足现实世界的应用程序的要求。我们报告了在具有挑战性的COCO数据集上的实验结果,其中我们在单个Titan Xp GPU上的单个模型在65 fps下以YOLOv 4作为基本检测器实现了35.8 AP和27.8 AP $_E$,在12 fps下以FCOS作为基本检测器实现了34.1 AP和28.6 AP $_E$。
2020-12-02 cs.CV
Multiple Instance Dictionary Learning using Functions of Multiple Instances
University of Missouri(密苏里大学)
提出了一种基于多实例函数的多实例字典学习方法(DL-FUMI),用于解决训练标签不准确的目标检测和两类分类问题。给定不准确的训练标签,DL-FUMI学习一组目标字典原子,这些原子描述了真阳性类的最独特和最具代表性的特征,以及一组非目标字典原子,这些原子解释了在阳性和阴性实例中发现的共享信息。实验结果表明,DL-FUMI发现的估计目标字典原子是更有代表性的原型,并确定更好的判别功能的真阳性类比现有的方法在文献中。DL-FUMI被证明有显着更好的性能在几个目标检测和分类问题相比,其他多实例学习(MIL)字典学习算法的各种MIL问题。
2016-08-03 cs.CV cs.LG stat.ML
Offline-to-Online Knowledge Distillation for Video Instance Segmentation
DGIST(大邱庆北科学技术院)
在本文中,我们提出了离线到在线的知识蒸馏(OOKD)的视频实例分割(VIS),它将丰富的视频知识从离线模型转移到在线模型进行一致性预测。与以往的方法,采用在线或离线模型,我们的单一在线模型通过提取离线知识,利用这两个模型。为了正确地传递知识,我们提出了查询过滤和关联(QFA),它将不相关的查询过滤到确切的实例。我们的KD与QFA增加了鲁棒性的特征匹配编码对象为中心的功能,从一个单一的帧补充的长期全球信息。我们还提出了一个简单的数据增强计划,知识蒸馏在VIS任务,公平地转移到在线模型的所有类的知识。大量的实验表明,我们的方法显着提高了视频实例分割的性能,特别是对于具有挑战性的数据集,包括长,动态序列。我们的方法在YTVIS-21、YTVIS-22和OVIS数据集上也达到了最先进的性能,mAP得分分别为46.1%、43.6%和31.1%。
2023-02-15 cs.CV
Continual Learning of Object Instances
University of Amsterdam(阿姆斯特丹大学);Prosus
我们提出了持续的实例学习-一种将持续学习的概念应用于区分相同对象类别的实例的任务的方法。我们特别关注汽车对象,并通过度量学习逐步学习区分汽车实例。我们开始我们的论文通过评估当前的技术。在确定现有方法中灾难性遗忘是明显的之后,我们提出了两种补救措施。首先,我们通过归一化交叉熵来规范度量学习。其次,我们用合成数据传输来增强现有模型。我们在三个大规模数据集上进行了广泛的实验,使用两种不同的架构用于五种不同的持续学习方法,结果表明,归一化交叉熵和合成转移导致现有技术中的遗忘较少。
2020-04-22 cs.CV
Buried object detection using handheld WEMI with task-driven extended functions of multiple instances
University of Missouri(密苏里大学)
许多有效的监督判别字典学习方法已经在文献中开发。然而,当训练这些算法时,需要训练数据的精确地面实况以提供非常准确的逐点标签。然而,在许多应用中,准确的标签并不总是可行的。这在其中物体的尺寸不一致的掩埋目标检测的情况下尤其如此。在本文中,一个新的多实例字典学习算法检测埋地物体使用手持WEMI传感器的详细说明。新算法,任务驱动的扩展函数的多个变量,可以克服数据,没有非常精确的逐点标签,仍然学习一个高度判别字典。测量的WEMI数据的结果进行了介绍和讨论。
2016-03-19 cs.CV
Knowledge distillation via adaptive instance normalization
Computer Vision Laboratory, University of Nottingham, UK(诺丁汉大学计算机视觉实验室);Samsung AI Center, Cambridge, UK(三星人工智能中心剑桥);Queen Mary University of London, London, UK(伦敦玛丽女王大学)
本文通过知识蒸馏来解决模型压缩问题。为此,我们提出了一种新的知识蒸馏方法的基础上转移的特征统计,特别是通道明智的均值和方差,从教师到学生。我们的方法超越了标准的方式,通过$L_2$损失,我们发现它是有限的有效性,强制学生的均值和方差与教师的均值和方差相似。具体来说,我们提出了一个新的损失的基础上自适应实例规范化,有效地转移的特征统计。其主要思想是通过自适应实例规范化(以学生为条件)将学习到的统计数据传输回教师,并让教师网络通过损失“评估”学生学习到的统计数据是否可靠地传输。我们表明,我们的蒸馏方法优于其他国家的最先进的蒸馏方法在一个大的实验设置,包括不同的(a)网络架构,(b)师生能力,(c)数据集,和(d)域。
2020-03-09 cs.CV cs.LG
Instance-level Heterogeneous Domain Adaptation for Limited-labeled Sketch-to-Photo Retrieval
虽然草图到照片检索具有广泛的应用,但获得成对且标记丰富的地面实况的成本很高。显然,照片检索数据更容易获得。因此,先前的工作在丰富标记的照片检索数据(即,源域)并且然后在有限标记的草图到照片检索数据上微调它们(即,目标域)。然而,如果没有共同训练源数据和目标数据,源领域知识可能会在微调过程中被遗忘,而简单地共同训练它们可能会由于领域差距而导致负迁移。此外,源数据和目标数据的身份标签空间通常是不相交的,因此传统的类别级领域自适应(DA)不能直接应用。为了解决这些问题,我们提出了一个实例级异构领域自适应(IHDA)框架。我们将微调策略应用于身份标签学习,旨在以归纳迁移的方式传递实例级知识。同时,从源数据中选择标记属性,以形成源域和目标域的共享标签空间。在共享属性的指导下,DA被用来桥接跨数据集的领域差距和异构领域差距,以一种直推的方式传递实例级知识。实验表明,我们的方法已经建立了一个新的国家的艺术在三个草图到照片的图像检索基准没有额外的注释,这打开了大门,训练更有效的模型,有限的标记异构图像检索任务。相关代码可在https://github.com/fandulu/IHDA上获得。
2022-12-06 cs.CV cs.LG
Domain Adversarial Reinforcement Learning for Partial Domain Adaptation
Beijing Institute of Technology(北京理工大学);University of Electronic Science and Technology(电子科技大学);Shanghai University of Science and Technology(上海科技大学)
部分领域自适应的目的是将知识从标签丰富的源域转移到标签稀缺的目标域,从而放松了不同域之间完全共享标签空间的假设。在这个更一般和实际的场景中,一个主要的挑战是如何选择跨不同域的共享类中的源实例进行正迁移。为了解决这个问题,我们提出了一个领域对抗强化学习(DARL)框架,自动选择源实例的共享类规避负迁移,以及同时学习域之间的可转移功能,通过减少域转移。具体来说,在这个框架中,我们采用深度Q学习来学习代理的策略,通过近似动作-价值函数来做出选择决策。此外,引入领域对抗学习来学习代理和目标实例所选择的源实例的领域不变特征,并且还基于所选择的源实例与目标领域的相关程度来确定代理的奖励。在几个基准数据集上的实验表明,我们的DARL方法优于现有的部分领域自适应的最新技术水平的性能。
2019-05-10 cs.CV cs.LG stat.ML
Dictionary-based Pathology Mining with Hard-instance-assisted Classifier Debiasing for Genetic Biomarker Prediction from WSIs
Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University(华东师范大学上海市多维度信息处理重点实验室);Department of General Surgery, Tongji Hospital, Tongji University School of Medicine(同济大学医学院附属同济医院普外科)
本文提出D2Bio框架,通过字典-based层级病理挖掘和硬实例辅助分类器去偏方法,解决病理表示构建和WSI中无关区域导致的过拟合问题,实验显示在五个队列中AUROC提升超4%。
2026-03-26 cs.CV cs.LG q-bio.QM
Multi-Task Domain Adaptation for Deep Learning of Instance Grasping from Simulation
Stanford University(斯坦福大学)
基于学习的机器人操作方法受限于数据汇集的可扩展性和标签的可访问性。在本文中,我们提出了一个多任务的领域自适应框架,例如抓取在混乱的场景中,利用模拟机器人实验。我们的神经网络将单眼RGB图像和指定目标对象的实例分割掩码作为输入,并预测每个候选运动命令成功抓住指定对象的概率。所提出的迁移学习框架训练一个模型,例如在仿真中抓取,并使用域对抗损失将训练的模型转移到使用无差别抓取数据的真实机器人,这在仿真和现实世界中都可用。我们评估我们的模型在现实世界中的机器人实验,比较它与其他模型架构以及不分青红皂白的把握基线。
2018-03-04 cs.AI cs.CV cs.LG
Unsupervised domain adaption dictionary learning for visual recognition
China University of Petroleum(中国石油大学)
在过去的几年中,字典学习方法已被广泛应用于处理各种计算机视觉识别应用,并产生了最先进的结果。然而,当目标域的数据实例具有与源域的数据实例不同的分布时,字典学习方法可能无法很好地执行。本文针对跨域视觉识别问题,提出了一种简单有效的无监督域自适应方法,其中标记数据仅来自源域。为了使源域和目标域中的原始数据分布一致,该方法在对源域和目标域中最近耦合的数据进行联合字典学习的同时,强制源域和目标域中最近耦合的数据具有相同的稀疏表示,学习后的字典可以分别重构源域和目标域中的原始数据。因此原始数据的稀疏表示可以用于执行视觉识别任务。我们证明了我们的方法在标准数据集上的有效性。我们的方法与竞争对手的最先进的方法相比,表现相当或更好。
2015-06-03 cs.CV
Group Re-Identification via Unsupervised Transfer of Sparse Features Encoding
University of Firenze(佛罗伦萨大学);University of Udine(乌迪内大学)
人的重新识别最为人所知的是关联从一个或多个不相交的摄像机观察到的单个人的问题。现有的文献主要解决了这样一个问题,忽略了人们通常在人群中移动的事实,比如在拥挤的场景中。我们认为,由相邻的个人携带的额外信息提供了一个相关的视觉背景,可以利用它来获得一个更强大的匹配组内的单个人。尽管如此,重新识别群体的人复杂的共同单一的人重新识别的问题,通过引入组内的人的相对位置的变化和严重的自我封闭。在本文中,我们提出了一种解决方案,为群体重新识别的基础上转移知识,从单人重新识别到群体重新识别,利用稀疏字典学习。首先,稀疏原子的字典学习使用从单人图像中提取的补丁。然后,学习的字典被利用来获得稀疏驱动的残差组表示,其最终被匹配以执行重新识别。在i-LIDS组和两个新收集的数据集上进行的大量实验表明,所提出的解决方案优于最先进的方法。
2017-07-28 cs.CV
Multi-task Dictionary Learning based Convolutional Neural Network for Computer aided Diagnosis with Longitudinal Images
Arizona State University(亚利桑那州立大学);University of Michigan(密歇根大学);Mayo Clinic(梅奥诊所)
基于纵向数据的神经退行性疾病的医学图像诊断和预后引起了计算机视觉研究者的极大兴趣。当前用于许多图像分类任务的最先进的模型是基于卷积神经网络(CNN)。然而,将CNN应用于生物问题的一个关键挑战是可用的标记训练样本非常有限。CNN在计算机辅助诊断应用中应用的另一个问题是,为了实现更好的诊断和预后准确性,通常必须处理纵向数据集,即,在不同时间点扫描的图像数据集。在这里,我们认为,一个增强的CNN模型与迁移学习的联合分析的任务,从多个时间点或区域的利益可能有潜力,以提高计算机辅助诊断的准确性。为了实现这一目标,我们创新了一个基于CNN的深度学习多任务字典学习框架来解决上述挑战。首先,我们在ImageNet数据集上预训练CNN,并将知识从预训练的模型转移到医学成像进展表示中,为不同的任务生成特征。然后,我们提出了一种新的无监督学习方法,称为多任务随机坐标编码(MSCC),学习不同的任务,通过使用共享和个人字典和生成预测未来的认知临床分数所需的稀疏特征。我们将我们的新模型应用于一个公开的神经影像学队列,以预测具有两种不同特征集的临床指标,并将其与其他七种最先进的方法进行比较。实验结果表明,我们提出的方法取得了优越的效果。
2017-08-31 cs.CV
SC-MIL: Sparsely Coded Multiple Instance Learning for Whole Slide Image Classification
Mallinckrodt Institute of Radiology, Washington University School of Medicine(华盛顿大学医学院马林克罗特放射学研究所);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);Institute for Informatics, Data Science and Biostatistics, Washington University School of Medicine(华盛顿大学医学院信息学、数据科学与生物统计学研究所)
本文提出SC-MIL方法,通过深度展开稀疏字典学习同时优化实例特征嵌入与相关性建模,以即插即用模块显著提升现有MIL方法在全切片图像分类中的性能。
2024-08-01 cs.AI cs.CV cs.LG
A Method for Arbitrary Instance Style Transfer
Lionsgate Entertainment Corp.(狮门娱乐公司);University of Southern California(南加州大学)
合成不同图像的风格和内容以形成视觉上连贯的图像的能力在诸如风格绘画、设计原型、图像编辑和增强现实的各种应用中具有很大的前景。然而,图像风格转移中的大多数作品都集中在将一个图像的风格转移到另一个图像的整体上,并且只有极少数作品试验了将风格转移到另一个图像的实例的方法。研究人员已经提出了一些方法来规避将样式转移到任意形状的实例的困难。在本文中,我们提出了一种拓扑启发算法,称为向前拉伸,通过将实例转换为张量表示来解决这个问题,这使我们能够直接将样式转移到这个实例本身。前向拉伸将像素映射到特定位置并在像素之间插值以将实例转换为张量。该算法允许我们引入一种方法来将任意样式转换为任意形状的实例。我们在本文中展示了我们的方法的结果。
2019-12-13 cs.CV
Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院);College of Surveying and Geoinformatics, Tongji University(同济大学测绘与地理信息学院);School of Computer and Information, Hefei University of Technology(合肥工业大学计算机与信息学院)
本文提出CDNet,通过结合字典学习的共同-特定表示先验,设计轻量级结构约束联合展开架构,提升多源图像融合效率与性能。
2026-05-01 cs.CV eess.IV
Arbitrary Style Transfer using Graph Instance Normalization
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
风格转换是图像合成任务,它将一个图像的风格应用于另一个图像,同时保留内容。在统计方法中,自适应实例归一化(AdaIN)通过归一化特征的均值和方差,对源图像进行白化处理,并应用目标图像的风格。然而,为每个实例计算特征统计会忽略特征之间的内在关系,因此很难在适应单个训练数据集的同时学习全局样式。在本文中,我们提出了一种新的可学习的规范化技术的风格转移使用图卷积网络,称为图实例规范化(GrIN)。该算法通过考虑实例之间共享的相似信息,使风格转移方法更加鲁棒。此外,这个简单的模块也适用于其他任务,如图像到图像的翻译或领域自适应。
2020-10-06 cs.CV
What makes instance discrimination good for transfer learning?
City University of Hong Kong(香港城市大学);Microsoft Research Asia(微软亚洲研究院)
基于实例辨别借口任务的对比视觉预训练已经取得了显著的进展。值得注意的是,最近在无监督预训练方面的工作已经证明,在微调下游应用(如目标检测和分割)方面,无监督预训练已经超过了有监督预训练。令人惊讶的是,图像注释最好不要用于迁移学习。在这项工作中,我们调查了以下问题:是什么使实例判别预训练好迁移学习?从这些模型中实际学到并传递了哪些知识?从对实例区分的理解来看,我们如何更好地利用人类注释标签进行预训练?我们的发现有三个方面。第一,真正对转移有影响的是中低层代表,而不是高层代表。第二,传统监督模型所强制的类别内不变性通过增加任务不对齐来削弱可转移性。最后,监督预训练可以通过遵循基于范例的方法来加强,而无需在同一类别内的实例之间进行显式约束。
2021-01-19 cs.CV
Blind Face Restoration via Deep Multi-scale Component Dictionaries
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算学部);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Peng Cheng Lab, Shenzhen(鹏城实验室)
近年来,基于参考的人脸恢复方法因其在真实低质量图像上恢复高频细节的能力而受到广泛关注。然而,这些方法中的大多数需要相同身份的高质量参考图像,使得它们仅适用于有限的场景。为了解决这个问题,本文提出了一种深度人脸字典网络(称为DFDNet)来指导退化观测的恢复过程。首先,我们使用K-means从高质量图像中为感知上重要的面部组件(\ie,左/右眼,鼻子和嘴巴)生成深度字典。接下来,对于降级的输入,我们从相应的字典中匹配并选择最相似的组件特征,并通过建议的字典特征传输(DFT)块将高质量的细节传输到输入。特别是,组件AdaIN被用来消除输入和字典特征(\eg,照明)之间的风格多样性,并提出了一个置信度分数,自适应地融合输入的字典特征。最后,多尺度字典采用渐进的方式,使粗到精的恢复。实验表明,我们提出的方法可以实现合理的性能在定量和定性评价,更重要的是,可以产生真实的和有前途的结果,而不需要一个身份归属参考的真实退化图像。源代码和模型可在\url{https://github.com/csxmli2016/DFDNet}上获得。
2020-08-02 cs.CV
Instance Embedding Transfer to Unsupervised Video Object Segmentation
University of Southern California(南加州大学);Google Inc.(谷歌公司)
我们提出了一种通过传输基于图像的实例嵌入网络中封装的知识来进行无监督视频对象分割的方法。实例嵌入网络为每个像素生成嵌入向量,该嵌入向量能够识别属于同一对象的所有像素。虽然是在静态图像上训练的,但实例嵌入在连续的视频帧上是稳定的,这允许我们随着时间的推移将对象链接在一起。因此,我们将在静态图像上训练的实例网络适应于视频对象分割,并将具有对象和光流特征的嵌入结合起来,而无需模型重新训练或在线微调。该方法在DAVIS数据集和FBMS数据集中的性能优于最先进的无监督分割方法。
2018-02-27 cs.CV
Beyond Semantic to Instance Segmentation: Weakly-Supervised Instance Segmentation via Semantic Knowledge Transfer and Self-Refinement
NAVER CLOVA;NAVER AI Lab(NAVER人工智能实验室);Inha University(仁荷大学);KAIST(韩国科学技术院)
弱监督实例分割(WSIS)被认为是一个比弱监督语义分割(WSSS)更具挑战性的任务。与WSSS相比,WSIS需要实例本地化,这很难从图像级标签中提取。为了解决这个问题,大多数WSIS方法使用现成的建议技术,这些技术需要使用实例或对象级别标签进行预训练,偏离了完全图像级别监督设置的基本定义。在本文中,我们提出了一种新的方法,包括两个创新的组成部分。首先,我们提出了一个语义知识转移,以获得伪实例标签的知识转移WSSS到WSIS,同时消除了需要的现成的建议。其次,我们提出了一种自我改进的方法来改进的伪实例标签在一个自我监督的计划,并使用改进的标签进行训练,在一个在线的方式。在这里,我们发现了一个错误的现象,语义漂移,发生的伪实例标签分类为背景类的缺失的实例。这种语义漂移会造成训练过程中背景和实例之间的混淆,从而降低分割性能。我们将此问题称为语义漂移问题,并表明我们提出的自求精方法消除了语义漂移问题。在PASCAL VOC 2012和MS COCO上的大量实验证明了我们方法的有效性,并且我们在没有现成建议技术的情况下实现了相当大的性能。该代码可在https://github.com/clovaai/BESTIE上获得。
2022-03-29 cs.CV
Alternative Learning Paradigms for Image Quality Transfer
University College London(伦敦大学学院);University of Exeter(埃克塞特大学)
本文提出两种图像质量迁移(IQT)的新学习范式:无监督的IQT-SRep和结合监督与无监督的IQT-DDL,以在分布外数据上避免监督方法的偏差,提升低场MRI图像质量。
2024-11-08 cs.CV cs.LG eess.IV
Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer
University of Washington(华盛顿大学);MPI for Intelligent Systems Tübingen(图宾根马克斯·普朗克智能系统研究所)
语义标注对于对象识别、语义分割或场景理解的训练模型至关重要。不幸的是,在非常大的规模上对图像进行像素级注释是劳动密集型的,并且只有很少的标记数据可用,特别是在实例级和街道场景中。在本文中,我们建议通过将语义实例标记任务从2D提升到3D来解决这个问题。鉴于从立体或激光数据重建,我们注释静态的3D场景元素与粗糙的边界图元,并开发一个模型,将此信息转移到图像域。我们利用我们的方法来获得一个新的郊区的视频数据集,我们已经收集了2D标签,导致400k的语义和实例图像注释。我们的方法与最先进的标签传输基线的比较表明,3D信息可以实现更有效的注释,同时提高准确性和时间一致性标签。
2016-04-12 cs.CV
Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis
Eindhoven University of Technology(埃因霍温理工大学);Erasmus Medical Center(伊拉斯谟医学中心);University of Copenhagen(哥本哈根大学);University Medical Center Utrecht(乌得勒支大学医学中心)
机器学习(ML)算法在医学成像领域产生了巨大的影响。虽然医学成像数据集的规模一直在增长,但经常提到的监督ML算法面临的挑战是缺乏注释数据。因此,已经提出了可以在较少/其他类型的监督下学习的各种方法。我们回顾了医学成像中的半监督、多实例和迁移学习,无论是在诊断/检测还是分割任务中。我们还讨论了这些学习场景之间的联系,以及未来研究的机会。
2018-09-14 cs.CV
Neural Pose Transfer by Spatially Adaptive Instance Normalization
Fudan University(复旦大学);Google LLC(谷歌公司)
位姿变换是一种将源网格的位姿应用到目标网格上的方法。特别是在本文中,我们感兴趣的是转移的源人体网格的姿态变形的目标人体网格,而源和目标网格可能有不同的身份信息。传统的研究假设成对的源和目标网格存在与用户标注的地标/网格点的逐点对应关系,这需要大量的标记工作。另一方面,当源和目标网格具有不同的身份时,深度模型的泛化能力是有限的。为了打破这一限制,我们提出了第一个神经姿势转移模型,该模型通过最新的图像风格转移技术解决了姿势转移,利用了新提出的组件-空间自适应实例归一化。我们的模型不需要源和目标网格之间的任何对应关系。实验结果表明,该模型能有效地将变形从源网格转移到目标网格,并具有良好的泛化能力,能够处理网格的不可见身份或姿态。代码可在https://github.com/jiashunwang/Neural-Pose-Transfer上获得。
2020-05-29 cs.CV
Zero-shot Unsupervised Transfer Instance Segmentation
University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学);University of Oxford(牛津大学)
本文提出ZUTIS框架,无需实例级或像素级标注且不访问目标数据分布,即可零样本统一完成语义与实例分割,并在COCO-20K和ImageNet-S上显著超越现有无监督方法。
2023-04-27 cs.CV
Dual-Flow: Transferable Multi-Target, Instance-Agnostic Attacks via In-the-wild Cascading Flow Optimization
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
提出Dual-Flow框架,通过级联分布偏移训练优化对抗速度函数,显著提升多目标实例无关攻击的可迁移性,并增强对防御的鲁棒性。
2025-10-25 cs.CV
Granularity-Aware Transfer for Tree Instance Segmentation in Synthetic and Real Forests
Robotics Research Lab, University of Kaiserslautern-Landau, Kaiserslautern, Germany(机器人研究实验室,卡塞尔鲁特-兰道大学,卡塞尔鲁特,德国)
本文提出MGTD混合粒度数据集及四阶段协议,通过粒度感知蒸馏将细粒度合成数据结构先验迁移到粗粒度真实数据,提升小距离树的分割性能。
2026-04-15 cs.CV
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
Cornell University(康奈尔大学)
Gatys等人最近引入了一种神经算法,该算法以另一幅图像的风格渲染内容图像,实现了所谓的风格转移。然而,他们的框架需要一个缓慢的迭代优化过程,这限制了它的实际应用。已经提出了利用前馈神经网络的快速近似来加速神经风格转移。不幸的是,速度的提高是有代价的:网络通常与一组固定的样式绑定,不能适应任意的新样式。在本文中,我们提出了一个简单而有效的方法,第一次使任意风格的传输在实时的【形】。在我们的方法的核心是一个新的自适应实例规范化(AdaIN)层,对齐的平均值和方差的内容功能与风格功能。我们的方法实现的速度可比现有的最快的方法,而不受限制的一组预定义的样式。此外,我们的方法允许灵活的用户控制,如内容风格的权衡,风格插值,颜色和空间控制,所有使用一个单一的前馈神经网络。
2017-07-30 cs.CV
Dynamic Instance Normalization for Arbitrary Style Transfer
Zhejiang University(浙江大学);Baidu Inc.(百度公司);Stevens Institute of Technology(史蒂文斯理工学院)
现有的归一化方法依赖于仿射变换来产生任意的图像风格转换,其参数以预定义的方式计算。这种手动定义的性质最终导致用于风格和内容编码两者的高成本和共享编码器,使得风格传输系统难以部署在资源受限的环境中,如移动终端侧。在本文中,我们提出了一个新的和广义的规范化模块,称为动态实例规范化(DIN),允许灵活和更有效的任意风格的传输。DIN包括实例规范化和动态卷积,将样式图像编码为可学习的卷积参数,并在此基础上对内容图像进行风格化。与使用共享的复杂编码器来编码内容和样式的传统方法不同,所提出的DIN引入了复杂的样式编码器,但带有用于快速推理的紧凑且轻量级的内容编码器。实验结果表明,所提出的方法产生非常令人鼓舞的结果,具有挑战性的风格模式,据我们所知,第一次使任意的风格转移使用基于MobileNet的轻量级架构,导致减少因子超过20的计算成本相比,现有的方法。此外,所提出的DIN为最先进的卷积操作提供了灵活的支持,从而触发了新的功能,例如非自然图像的均匀笔划放置和自动空间笔划控制。
2019-11-16 cs.CV
Instance-based Deep Transfer Learning
Austin Peay State University(奥斯汀佩伊州立大学);Baidu Research(百度研究院);Montclair State University(蒙特克莱尔州立大学)
深度迁移学习最近获得了重大的研究兴趣。它利用从源域学习的预训练模型,并将这些模型用于目标域中的任务。基于模型的深度迁移学习可能是最常用的方法。然而,很少有研究工作致力于通过关注数据的影响来增强深度迁移学习。在本文中,我们提出了一种基于实例的方法来改进目标领域中的深度迁移学习。具体来说,我们从源域中选择一个预先训练好的模型,并应用这个模型来估计训练样本在目标域中的影响。然后,我们通过删除会降低预训练模型性能的训练样本来优化目标域的训练数据。我们稍后或者用目标域中的优化训练数据微调预训练模型,或者构建部分基于预训练模型初始化的新模型,并用目标域中的优化训练数据微调它。使用这种方法,迁移学习可以帮助深度学习模型捕获更多有用的特征。大量的实验证明了我们的方法在提高一些常见计算机视觉任务(如图像分类)的深度学习模型质量方面的有效性。
2018-11-24 cs.CV
Do Multiple Instance Learning Models Transfer?
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
本文系统评估计算病理学中预训练MIL模型的跨任务迁移能力,发现其优于从零训练,泛癌预训练还能以更少数据超越幻灯片基础模型。
2025-06-11 cs.CV
Instance Localization for Self-supervised Detection Pretraining
Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院)
先前对自监督学习的研究已经在图像分类方面取得了相当大的进展,但在目标检测方面的传递性能往往会下降。本文的目标是推进自监督预训练模型,专门用于目标检测。基于分类和检测之间的固有差异,我们提出了一种新的自监督借口任务,称为实例定位。图像实例以各种位置和比例粘贴到背景图像上。前提任务是预测给定合成图像以及前景边界框的实例类别。我们表明,边界框集成到预训练促进更好的任务对齐和架构对齐的迁移学习。此外,我们提出了一种增强方法的边界框,以进一步提高特征对齐。因此,我们的模型在Imagenet语义分类方面变得较弱,但在图像块定位方面变得较强,并且具有用于目标检测的整体更强的预训练模型。实验结果表明,我们的方法产生的状态的最先进的迁移学习结果的目标检测PASCAL VOC和MSCOCO。
2021-04-06 cs.CV
Cross-Domain Transferability of Adversarial Perturbations
Australian National University(澳大利亚国立大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Linköping University(林雪平大学)
对抗性示例揭示了深度神经网络(DNN)的盲点,并代表了安全关键型应用的主要问题。对抗性示例的可转移性使得现实世界的攻击在黑盒设置中成为可能,其中攻击者被禁止访问模型的内部参数。大多数对手生成方法的基本假设,无论是学习特定于实例的还是与实例无关的扰动,都是直接或间接依赖于原始的特定于域的数据分布。在这项工作中,我们首次证明了域不变对手的存在,从而在不同的数据集和模型之间显示了共同的对抗空间。为此,我们提出了一个能够发起高度可转移攻击的框架,该框架可以制作对抗模式来误导在完全不同的域上训练的网络。例如,在绘画、卡通或医学图像上学习的对抗函数可以成功地干扰ImageNet样本以欺骗分类器,成功率高达$\sim$ 99\%($\ell_{\infty} \le 10$)。我们提出的对抗函数的核心是一个生成网络,该网络使用相对论监督信号进行训练,该信号能够实现域不变扰动。我们的方法设置了新的国家的最先进的愚弄率,无论是在白盒和黑盒的情况下。此外,尽管是一个与实例无关的扰动函数,但我们的攻击优于传统的更强大的特定于实例的攻击方法。
2019-10-14 cs.CV
Deep Unfolding Convolutional Dictionary Model for Multi-Contrast MRI Super-resolution and Reconstruction
East China Normal University(华东师范大学)
针对多对比度MRI超分辨率与重建中相关性建模不足及可解释性欠缺的问题,提出由近端梯度展开、ResNet实现近端算子并引入多尺度字典的MC-CDic模型,性能优于现有SOTA方法。
2024-01-24 cs.CV eess.IV
Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization
Seoul National University(首尔国立大学)
真实噪声的统计特性不服从正态分布,并且在空间和时间上都是变化的,因此真实噪声的去噪是一项具有挑战性的任务。为了应对各种复杂的实际噪声,我们提出了一个良好的推广去噪架构和迁移学习计划。具体来说,我们采用自适应的实例归一化来构建去噪器,它可以正则化特征图并防止网络过度拟合训练集。我们还介绍了一个迁移学习计划,将知识从合成噪声数据的真实噪声去噪。通过所提出的迁移学习,合成噪声去噪器可以从各种合成噪声数据中学习一般特征,而真实噪声去噪器可以从真实数据中学习真实噪声特征。从实验中,我们发现,所提出的去噪方法具有很强的泛化能力,因此,我们的网络训练与合成噪声达姆施塔特噪声数据集(DND)中的方法发表的论文中达到最佳性能。我们还可以看到,所提出的迁移学习方案通过使用非常少量的标记数据进行学习,对真实噪声图像具有鲁棒性。
2020-03-16 cs.CV eess.IV
Transfer Learning for Instance Segmentation of Waste Bottles using Mask R-CNN Algorithm
University of Reading(雷丁大学)
本文提出了一种使用\textit{mask region proposal convolutional neural network}(Mask R-CNN)的方法,该方法具有用于塑料废物瓶检测和实例分割的迁移学习方案。塑料瓶是对海洋和陆地环境构成严重威胁的主要污染物之一。瓶子的自动识别和分离可以促进塑料废物的回收。我们准备了一个定制的192个瓶子图像的数据集,带有逐像素多边形注释,用于自动分割任务。所提出的迁移学习方案利用在Microsoft COCO数据集上预训练的Mask R-CNN模型。我们提出了一个全面的方案,用于在我们的自定义数据集上微调基础预训练的Mask-RCNN模型。我们最终微调的模型达到了59.4 \textit{mean average precision}(mAP),这对应于MS COCO指标。结果表明,深度学习在检测废瓶方面的应用前景广阔。
2022-04-15 cs.CV cs.LG
Depth-aware Neural Style Transfer using Instance Normalization
The University of Sheffield(谢菲尔德大学)
神经风格迁移(NST)涉及视觉媒体的艺术风格化。它可以被描述为将艺术图像的风格转移到普通照片上的过程。最近,许多研究已经考虑了NST算法的深度保持能力的增强,以解决当输入内容图像包括各种深度的许多对象时发生的不期望的效果。我们的方法使用具有实例归一化层的深度残差卷积网络,该网络利用高级深度预测网络将深度保留作为内容和风格的附加损失函数进行集成。我们展示了有效保留内容图像的深度和全局结构的结果。三个不同的评估过程表明,我们的系统是能够保留的风格化的结果的结构,同时表现出风格捕捉能力和美学品质相媲美或优于国家的最先进的方法。项目页面:https://ioannoue.github.io/depth-aware-nst-using-in.html。
2022-09-23 cs.CV cs.NE
Towards Ultra-Resolution Neural Style Transfer via Thumbnail Instance Normalization
Nanjing University(南京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
我们提出了一个非常简单的超分辨率风格传输框架,称为URST,以灵活地处理任意高分辨率图像(例如,10000x10000像素)风格转移的第一次。在处理超高分辨率图像时,现有的大多数最先进的方法都会由于大量的存储器成本和小的笔画尺寸而显得力不从心。URST完全避免了超高分辨率图像引起的内存问题,方法是(1)将图像划分为小块,(2)使用新的缩略图实例规范化(TIN)执行逐块样式传输。具体地说,TIN可以提取缩略图特征的归一化统计信息,并将其应用于小块斑块,确保不同斑块之间的风格一致性。总体而言,URST框架与现有技术相比具有三个优点。(1)将输入图像分割成小块,采用三角网,成功地实现了任意高分辨率图像风格的转换。(2)实验表明,我们的URST超越现有的SOTA方法在超高分辨率图像受益于所提出的中风感知损失的有效性,在扩大中风的大小。(3)我们的URST可以很容易地插入到大多数现有的风格转换方法中,甚至无需培训即可直接提高其性能。代码可在www.example.com上获得。
2022-03-16 cs.CV eess.IV
Sim2Real Instance-Level Style Transfer for 6D Pose Estimation
Woven Planet Holdings, Inc.(woven Planet控股公司)
针对6D姿态估计中合成与真实数据的域差距,提出无需人工干预的sim2real实例级风格迁移及完整训练流程,并在真实机器人平台上验证其显著提升。
2022-03-03 cs.CV cs.RO
Instance-level Facial Attributes Transfer with Geometry-Aware Flow
University of British Columbia(不列颠哥伦比亚大学);Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
我们解决的问题,实例级的面部属性转移没有配对的训练数据,例如,忠实地将确切的胡子从源脸到目标脸。这是一个比传统的语义级属性传输更具挑战性的任务,它只保留了一般的属性风格,而不是实例级的特质。我们建议使用几何感知流,这是一个非常适合的表示建模实例级面部属性之间的转换。具体来说,我们利用面部标志作为几何指导,自动学习可微流,尽管存在很大的姿态差距。几何感知流能够将源面属性扭曲到目标面上下文中,并生成扭曲和混合结果。为了补偿源和目标人脸之间潜在的外观差距,我们提出了一个幻觉子网络,它产生一个外观残差,以进一步细化扭曲和混合结果。最后,设计了一个由属性转移模块和属性去除模块组成的循环一致性框架,使得大量的不成对人脸图像可以作为训练数据。广泛的评估验证了我们的方法在大的姿势和外观差距忠实地转移实例级面部属性的能力。由于流表示,我们的方法可以很容易地应用到高分辨率图像上生成逼真的细节。
2018-11-30 cs.CV cs.GR cs.LG
Self-supervised Transfer Learning for Instance Segmentation through Physical Interaction
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
从图像中分割未知物体的实例分割被认为与包括抓取、跟踪和物体分类在内的几种机器人技能相关。计算机视觉的最新研究结果表明,大型手工标记数据集可以实现高分割性能。为了克服手动标记新环境数据的耗时过程,我们提出了一种机器人迁移学习方法,该方法通过以自我监督的方式与环境交互来学习分割对象。我们的机器人将未知物体推到桌子上,并使用来自光流的信息以物体掩码的形式创建训练标签。为了实现这一目标,我们对现有的DeepMask网络进行微调,以在机器人获取的自标记训练数据上进行实例分割。我们在一组真实图像上评估我们的训练网络(SelfDeepMask),这些图像显示了具有挑战性和混乱的场景以及新颖的对象。在这里,SelfDeepMask在平均精度上优于在COCO数据集上训练的DeepMask网络9.5%。此外,我们将我们的方法与最近使用噪声标签进行训练的方法相结合,以便更好地应对诱导的标签噪声。
2020-05-19 cs.CV cs.RO
SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization
IBM Research(IBM研究院)
艺术风格转移是指将一幅图像的风格特征转移到另一幅图像上,同时保留其内容。现有的方法通常利用各种归一化技术,尽管这些技术在充分地将不同的纹理转移到不同的空间位置方面面临限制。基于自我注意力的方法已经部分成功地解决了这个问题,但受到不必要的工件。受这些观察的启发,本文旨在结合两个世界的最佳:自我注意和正常化。这产生了一个新的即插即用模块,我们将其命名为Self-Attentive Factorized Instance Normalization(SAFIN)。SAFIN本质上是一个空间自适应归一化模块,其参数通过对内容和风格图像的关注来推断。我们证明,插入SAFIN到另一个国家的最先进的方法的基础网络的结果,在增强风格化。我们还开发了一种新的基础网络组成的小波变换的多尺度风格转移,当与SAFIN相结合,产生视觉上有吸引力的结果,较少不必要的纹理。
2021-05-20 cs.AI cs.CV cs.LG
A Hybrid Instance-based Transfer Learning Method
Georgian Partners Inc(格鲁吉亚伙伴公司);Cority Inc(Cority公司);University of Manitoba(曼尼托巴大学);University Health Network(大学健康网络)
近年来,有监督的机器学习模型在各种应用领域取得了巨大的成功。尽管取得了令人鼓舞的结果,但这些成功的模型都是数据饥渴型的,它们的性能严重依赖于训练数据的大小。然而,在许多医疗保健应用中,很难收集足够大的训练数据集。迁移学习可以通过将知识从现成的数据集(源)转移到新的数据集(目标)来帮助克服这个问题。在这项工作中,我们提出了一个混合的基于实例的迁移学习方法,优于一组基线,包括国家的最先进的基于实例的迁移学习方法。我们的方法使用概率加权策略将源域的信息融合到目标域中学习的模型。我们的方法是通用的,适用于多个源域,和强大的负迁移。我们证明了我们的方法的有效性,通过广泛的实验,两个不同的应用程序。
2018-12-03 cs.AI cs.CV cs.LG
Adversarial Stain Transfer to Study the Effect of Color Variation on Cell Instance Segmentation
CEA(法国原子能与替代能源委员会);CNRS(法国国家科学研究中心);WITSEE
组织学图像中的染色颜色变化是由多种因素引起的,这不仅对病理学家的视觉诊断而且对细胞分割算法都是一个挑战。为了消除颜色变化,已经提出了许多染色归一化方法。然而,大多数设计用于苏木精和伊红染色图像,并且在免疫组织化学染色图像上表现不佳。目前的细胞分割方法系统地应用染色归一化作为预处理步骤,但颜色变化带来的影响尚未定量研究。在本文中,我们产生了五组不同颜色的NeuN染色图像。我们应用了一种深度学习图像处理方法来执行组织学图像组之间的颜色转移。最后,我们改变了分割集的颜色,并量化了颜色变化对细胞分割的影响。结果证明了在后续分析之前进行颜色归一化的必要性。
2022-10-26 cs.CV eess.IV
Depth-Aware Arbitrary Style Transfer Using Instance Normalization
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
风格转换是将一个图像与另一个图像的风格中的某些内容一起呈现的过程,表示该风格。Liu等人(2017)的最新研究表明,Gatys等人(2016)和Johnson等人(2016)的传统风格转移方法无法再现内容图像的深度,这对人类感知至关重要。他们建议通过优化的损失函数中的额外正则化器来保留深度图,从而强制保留深度图。然而,这些传统方法要么计算效率低,要么需要为每种风格训练单独的神经网络。Huang等人(2017)的AdaIN方法允许在不训练单独模型的情况下有效地传输任意风格,但无法再现内容图像的深度图。我们提出了一个扩展这种方法,允许深度图保存应用变量风格化强度。定性分析和用户评价研究结果表明,该方法提供了更好的风格化,比原来的AdaIN风格转移方法。
2020-07-08 cs.CV eess.IV
Son of Zorn's Lemma: Targeted Style Transfer Using Instance-aware Semantic Segmentation
University of Maryland, College Park(马里兰大学帕克分校)
风格转换是将源图像的风格映射到目标图像的风格上的一项重要任务。该方法可用于合成特定艺术家或特定绘画的衍生作品。这项工作考虑有针对性的风格转移,其中模板图像的风格被用来改变目标图像的一部分。例如,艺术家可能希望仅改变目标图像中的一个特定对象的风格,而不改变对象的一般形态或周围环境。例如,这在增强现实应用(诸如最近发布的Pokemon GO)中是有用的,其中人们想要改变图像帧中单个真实世界对象的外观以使其看起来像卡通。最值得注意的是,将现实世界的物体渲染成卡通人物已经被用于许多电影和电视节目中,例如即将上映的系列剧《佐恩之子》。我们提出了一种有针对性的风格转移,同时段和风格化的单个对象选择的用户的方法。该方法使用马尔可夫随机场模型来平滑和抗混叠对象边界附近的离群像素,使风格化的对象自然地融入其周围环境。
2017-01-09 cs.CV cs.GR
Leveraging Transfer Learning and Multiple Instance Learning for HER2 Automatic Scoring of H\&E Whole Slide Images
Lancaster University(兰卡斯特大学);AstraZeneca(阿斯利康)
本研究利用迁移学习与多实例学习,基于预训练模型对H&E全切片图像进行HER2自动评分,发现H&E预训练模型性能最优,平均AUC-ROC为0.622,并可通过注意力权重可视化阳性区域。
2024-11-05 cs.AI cs.CV q-bio.QM
Low-Resolution Face Recognition via Adaptable Instance-Relation Distillation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出自适应实例-关系蒸馏方法,将知识迁移拆分为蒸馏与自适应两步,在实例和关系层面从高分辨率教师模型迁移知识,并结合推理时自适应批归一化提升低分辨率人脸识别的适应性与性能。
2024-09-03 cs.AI cs.CV cs.LG