Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer
University of Washington(华盛顿大学);MPI for Intelligent Systems Tübingen(图宾根马克斯·普朗克智能系统研究所)
语义标注对于对象识别、语义分割或场景理解的训练模型至关重要。不幸的是,在非常大的规模上对图像进行像素级注释是劳动密集型的,并且只有很少的标记数据可用,特别是在实例级和街道场景中。在本文中,我们建议通过将语义实例标记任务从2D提升到3D来解决这个问题。鉴于从立体或激光数据重建,我们注释静态的3D场景元素与粗糙的边界图元,并开发一个模型,将此信息转移到图像域。我们利用我们的方法来获得一个新的郊区的视频数据集,我们已经收集了2D标签,导致400k的语义和实例图像注释。我们的方法与最先进的标签传输基线的比较表明,3D信息可以实现更有效的注释,同时提高准确性和时间一致性标签。
2016-04-12 cs.CV
Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis
Eindhoven University of Technology(埃因霍温理工大学);Erasmus Medical Center(伊拉斯谟医学中心);University of Copenhagen(哥本哈根大学);University Medical Center Utrecht(乌得勒支大学医学中心)
机器学习(ML)算法在医学成像领域产生了巨大的影响。虽然医学成像数据集的规模一直在增长,但经常提到的监督ML算法面临的挑战是缺乏注释数据。因此,已经提出了可以在较少/其他类型的监督下学习的各种方法。我们回顾了医学成像中的半监督、多实例和迁移学习,无论是在诊断/检测还是分割任务中。我们还讨论了这些学习场景之间的联系,以及未来研究的机会。
2018-09-14 cs.CV
Neural Pose Transfer by Spatially Adaptive Instance Normalization
Fudan University(复旦大学);Google LLC(谷歌公司)
位姿变换是一种将源网格的位姿应用到目标网格上的方法。特别是在本文中,我们感兴趣的是转移的源人体网格的姿态变形的目标人体网格,而源和目标网格可能有不同的身份信息。传统的研究假设成对的源和目标网格存在与用户标注的地标/网格点的逐点对应关系,这需要大量的标记工作。另一方面,当源和目标网格具有不同的身份时,深度模型的泛化能力是有限的。为了打破这一限制,我们提出了第一个神经姿势转移模型,该模型通过最新的图像风格转移技术解决了姿势转移,利用了新提出的组件-空间自适应实例归一化。我们的模型不需要源和目标网格之间的任何对应关系。实验结果表明,该模型能有效地将变形从源网格转移到目标网格,并具有良好的泛化能力,能够处理网格的不可见身份或姿态。代码可在https://github.com/jiashunwang/Neural-Pose-Transfer上获得。
2020-05-29 cs.CV
Zero-shot Unsupervised Transfer Instance Segmentation
University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学);University of Oxford(牛津大学)
本文提出ZUTIS框架,无需实例级或像素级标注且不访问目标数据分布,即可零样本统一完成语义与实例分割,并在COCO-20K和ImageNet-S上显著超越现有无监督方法。
2023-04-27 cs.CV
Dual-Flow: Transferable Multi-Target, Instance-Agnostic Attacks via In-the-wild Cascading Flow Optimization
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
提出Dual-Flow框架,通过级联分布偏移训练优化对抗速度函数,显著提升多目标实例无关攻击的可迁移性,并增强对防御的鲁棒性。
2025-10-25 cs.CV
Granularity-Aware Transfer for Tree Instance Segmentation in Synthetic and Real Forests
Robotics Research Lab, University of Kaiserslautern-Landau, Kaiserslautern, Germany(机器人研究实验室,卡塞尔鲁特-兰道大学,卡塞尔鲁特,德国)
本文提出MGTD混合粒度数据集及四阶段协议,通过粒度感知蒸馏将细粒度合成数据结构先验迁移到粗粒度真实数据,提升小距离树的分割性能。
2026-04-15 cs.CV
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
Cornell University(康奈尔大学)
Gatys等人最近引入了一种神经算法,该算法以另一幅图像的风格渲染内容图像,实现了所谓的风格转移。然而,他们的框架需要一个缓慢的迭代优化过程,这限制了它的实际应用。已经提出了利用前馈神经网络的快速近似来加速神经风格转移。不幸的是,速度的提高是有代价的:网络通常与一组固定的样式绑定,不能适应任意的新样式。在本文中,我们提出了一个简单而有效的方法,第一次使任意风格的传输在实时的【形】。在我们的方法的核心是一个新的自适应实例规范化(AdaIN)层,对齐的平均值和方差的内容功能与风格功能。我们的方法实现的速度可比现有的最快的方法,而不受限制的一组预定义的样式。此外,我们的方法允许灵活的用户控制,如内容风格的权衡,风格插值,颜色和空间控制,所有使用一个单一的前馈神经网络。
2017-07-30 cs.CV
Dynamic Instance Normalization for Arbitrary Style Transfer
Zhejiang University(浙江大学);Baidu Inc.(百度公司);Stevens Institute of Technology(史蒂文斯理工学院)
现有的归一化方法依赖于仿射变换来产生任意的图像风格转换,其参数以预定义的方式计算。这种手动定义的性质最终导致用于风格和内容编码两者的高成本和共享编码器,使得风格传输系统难以部署在资源受限的环境中,如移动终端侧。在本文中,我们提出了一个新的和广义的规范化模块,称为动态实例规范化(DIN),允许灵活和更有效的任意风格的传输。DIN包括实例规范化和动态卷积,将样式图像编码为可学习的卷积参数,并在此基础上对内容图像进行风格化。与使用共享的复杂编码器来编码内容和样式的传统方法不同,所提出的DIN引入了复杂的样式编码器,但带有用于快速推理的紧凑且轻量级的内容编码器。实验结果表明,所提出的方法产生非常令人鼓舞的结果,具有挑战性的风格模式,据我们所知,第一次使任意的风格转移使用基于MobileNet的轻量级架构,导致减少因子超过20的计算成本相比,现有的方法。此外,所提出的DIN为最先进的卷积操作提供了灵活的支持,从而触发了新的功能,例如非自然图像的均匀笔划放置和自动空间笔划控制。
2019-11-16 cs.CV
Semantic Instance Segmentation via Deep Metric Learning
Google Inc.(谷歌公司);UCLA(加利福尼亚大学洛杉矶分校)
我们提出了一种新的语义实例分割的方法,首先计算两个像素是如何可能属于同一个对象,然后通过分组相似的像素在一起。我们的相似性度量是基于一个深度的、完全卷积的嵌入模型。我们的分组方法是基于选择与一组“种子点”足够相似的所有点,这些点是从一个深度的、完全卷积的评分模型中选择的。我们在Pascal VOC实例分割基准测试中显示了具有竞争力的结果。
2017-03-30 cs.CV
Deep Learning Based Instance Segmentation in 3D Biomedical Images Using Weak Annotation
University of Notre Dame(圣母大学)
三维图像中的实例分割是生物医学图像分析中的一项基本任务。虽然深度学习模型通常适用于2D实例分割,但3D实例分割仍然面临着严峻的挑战,例如由于3D生物医学图像中的各种注释困难而导致的训练数据不足。常见的3D注释方法(例如,全体素注释)导致标记足够的实例以训练深度学习3D实例分割模型的高工作量和成本。在本文中,我们提出了一种新的弱注释方法,用于在不使用完整体素掩码注释的情况下训练快速深度学习3D实例分割模型。我们的方法只需要3D边界框的所有实例和完整的体素注释的一小部分的实例,并使用一种新的两阶段的3D实例分割模型,分别利用这两种注释。我们在多个生物医学图像数据集上评估了我们的方法,实验结果表明:(1)在完整注释框和少量掩模的情况下,我们的方法可以实现与使用完整注释的最佳已知方法相似的性能,以及(2)在相似的注释时间下,我们的方法优于使用完整注释的最佳已知方法。
2018-06-28 cs.CV
Deep Watershed Transform for Instance Segmentation
University of Toronto(多伦多大学)
大多数当代的实例分割方法使用复杂的管道,包括条件随机场、递归神经网络、对象建议或模板匹配方案。在我们的论文中,我们提出了一个简单而强大的端到端卷积神经网络来解决这个任务。我们的方法结合了经典分水岭变换和现代深度学习的直觉,以生成图像的能量图,其中对象实例在能量图中明确表示为盆地。然后,我们在单个能级上执行切割,以直接产生与对象实例相对应的连接组件。我们的模型在具有挑战性的Cityscapes实例级分割任务上的性能比最先进的模型提高了一倍多。
2017-05-04 cs.CV
Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation
University of California San Diego(加州大学圣迭戈分校)
领域自适应处理使用来自特定源域的大规模标记数据来训练模型,然后将知识适配到具有很少或没有标记的某些目标域。许多现有的作品学习域不可知的特征表示,用于此目的,使用全局分布对齐目标,其不考虑在源和目标域中的更精细的类特定的结构。我们解决这个问题,在我们的工作中,并提出了一个实例的亲和力为基础的标准,在适应过程中的源到目标的转移,称为ILA-DA。我们首先提出了一个可靠的和有效的方法来提取源和目标之间的相似和不相似的样本,并利用多样本对比损失驱动域对齐过程。ILA-DA同时考虑了类内聚类以及类别之间的类间分离,从而减少了分类器边界的噪声,提高了可转移性和准确性。我们通过观察流行的领域自适应方法在各种基准数据集上的准确性的一致改进来验证ILA-DA的有效性,并提供对所提出的对齐方法的见解。代码将在https://github.com/astuti/ILA-DA上公开。
2021-04-03 cs.CV
Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with Deep Metric Learning
Seoul National University(首尔大学)
我们提出了空间语义嵌入网络(SSEN),这是一种使用深度度量学习进行3D实例分割的简单而有效的算法。室内环境的原始3D重建遭受遮挡、噪声,并且在各个实体之间没有任何有意义的区别的情况下产生。对于来自大规模场景的高级智能任务,3D实例分割识别对象的各个实例。我们通过简单地学习正确的嵌入空间来实现实例分割,该嵌入空间将对象的各个实例映射到反映空间和语义信息的不同聚类中。与以前需要复杂的预处理或后处理的方法不同,我们的实现紧凑,快速,具有竞争力的性能,在具有高分辨率体素的大型场景中保持可扩展性。我们展示了我们的算法在ScanNet 3D实例分割基准AP得分的最先进的性能。
2020-07-07 cs.CV
Deep Learning Techniques for Video Instance Segmentation: A Survey
Deakin University(迪肯大学);South China University of Technology(华南理工大学)
本综述全面回顾了2019年提出的视频实例分割领域的深度学习方案,比较了不同架构的性能与复杂度,探讨了提升模型的辅助技术,并指出了未来的主要挑战和研究方向。
2023-10-19 cs.CV
Instance Segmentation by Deep Coloring
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院);Yandex(Yandex(俄罗斯搜索引擎公司));Samsung AI Center(三星人工智能中心)
我们提出了一个新的,可以说,一个非常简单的减少实例分割的语义分割。这种减少允许使用已经为语义分割提出的架构以端到端的方式训练前馈非递归深度实例分割系统。我们的方法通过引入固定数量的标签(颜色),然后在训练(着色)过程中动态地将对象实例分配给这些标签来进行。然后使用标准的语义分割目标来训练一个网络,该网络可以为以前看不见的图像着色。在测试时,可以使用简单的连接分量分析从训练的卷积网络的输出中恢复单个对象实例。在实验验证中,着色方法被证明能够解决自动驾驶(Cityscapes基准),植物表型(CVPPP叶分割挑战)和高通量显微镜图像分析中出现的各种实例分割任务。源代码是公开的:https://github.com/kulikovv/DeepColoring。
2018-07-26 cs.CV
Advanced Deep Networks for 3D Mitochondria Instance Segmentation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
自引入深度学习方法以来,来自电子显微镜(EM)图像的线粒体实例分割已经取得了显著的进展。在本文中,我们提出了两个先进的深度网络,名为Res-UNet-R和Res-UNet-H,用于大鼠和人类样本的3D线粒体实例分割。具体来说,我们设计了一个简单而有效的各向异性卷积块,并部署了一个多尺度训练策略,这些都提高了分割性能。此外,我们通过添加去噪操作作为预处理来增强训练模型在测试集上的泛化能力。在ISBI 2021的大规模3D线粒体实例分割挑战赛中,我们的方法排名第一。代码可在https://github.com/Limingxing00/MitoEM2021-Challenge上获得。
2022-05-08 cs.CV
Do Multiple Instance Learning Models Transfer?
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
本文系统评估计算病理学中预训练MIL模型的跨任务迁移能力,发现其优于从零训练,泛癌预训练还能以更少数据超越幻灯片基础模型。
2025-06-11 cs.CV
Bottom-up Instance Segmentation using Deep Higher-Order CRFs
University of Oxford(牛津大学)
由于采用了深度学习,目标检测和语义分割等传统场景理解问题近年来取得了突破性进展。然而,前一个任务不能在像素级定位对象,后一个任务没有同一类对象的不同实例的概念。我们专注于实例分割的任务,识别和本地化的对象到一个像素级。我们的模型是基于一个经过语义分割训练的深度神经网络。该网络结合了一个条件随机场,具有基于对象检测器输出的端到端可训练高阶电位。这允许我们从初始的类别级语义分割中推理实例。我们简单的方法有效地利用了最近在语义分割和目标检测方面取得的巨大进展。我们的网络产生的准确的实例级分割反映在以前的工作中获得的相当大的改进。
2016-09-08 cs.CV
Multiple Instance-Based Video Anomaly Detection using Deep Temporal Encoding-Decoding
RMIT University(皇家墨尔本理工大学);Anonymous University(匿名大学)
在本文中,我们提出了一种弱监督的深度时间编码解码解决方案,用于使用多实例学习进行监控视频中的异常检测。所提出的方法在训练阶段使用异常和正常的视频剪辑,该训练阶段是在多实例框架中开发的,在该框架中,我们将视频视为一个包,并将视频剪辑视为包中的实例。我们的主要贡献在于所提出的新方法来考虑视频实例之间的时间关系。我们处理视频实例(剪辑)作为一个连续的视觉数据,而不是独立的实例。我们采用了一个深度的时间和编码器网络,旨在捕捉视频实例随时间的时空演变。我们还提出了一个新的损失函数,比最近在计算机视觉文献中提出的类似损失函数更平滑,因此,在训练阶段,收敛速度更快,对局部极小值的容忍度更高。提出的时间编码解码方法与修改后的损失是基准对最先进的仿真研究。结果表明,该方法的性能类似于或优于最先进的解决方案,在视频监控应用中的异常检测。
2021-01-05 cs.CV
Offline-to-Online Knowledge Distillation for Video Instance Segmentation
DGIST(大邱庆北科学技术院)
在本文中,我们提出了离线到在线的知识蒸馏(OOKD)的视频实例分割(VIS),它将丰富的视频知识从离线模型转移到在线模型进行一致性预测。与以往的方法,采用在线或离线模型,我们的单一在线模型通过提取离线知识,利用这两个模型。为了正确地传递知识,我们提出了查询过滤和关联(QFA),它将不相关的查询过滤到确切的实例。我们的KD与QFA增加了鲁棒性的特征匹配编码对象为中心的功能,从一个单一的帧补充的长期全球信息。我们还提出了一个简单的数据增强计划,知识蒸馏在VIS任务,公平地转移到在线模型的所有类的知识。大量的实验表明,我们的方法显着提高了视频实例分割的性能,特别是对于具有挑战性的数据集,包括长,动态序列。我们的方法在YTVIS-21、YTVIS-22和OVIS数据集上也达到了最先进的性能,mAP得分分别为46.1%、43.6%和31.1%。
2023-02-15 cs.CV
Gland Instance Segmentation by Deep Multichannel Neural Networks
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);Zhejiang University(浙江大学)
在本文中,我们提出了一种新的图像实例分割方法,分割单个腺体(实例)在结肠组织学图像。这是一个称为实例分割的任务,最近变得越来越重要。这个问题是具有挑战性的,因为不仅需要从复杂的背景中分割腺体,还需要单独识别它们。在这里,我们利用最近深度学习中图像到图像预测的想法,通过构建一个框架,自动利用和融合腺体组织学图像中复杂的多通道信息,区域,位置和边界模式。我们提出的系统,深多通道框架,简化了繁重的功能设计,由于使用卷积神经网络,并能够满足多样化的要求,通过改变通道。与2015年MICCAI腺体分割挑战赛中报告的方法和其他当前流行的实例分割方法相比,我们观察到基于许多评估指标的最新结果。
2016-07-19 cs.CV
Gland Instance Segmentation by Deep Multichannel Side Supervision
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);Zhejiang University(浙江大学)
在本文中,我们提出了一种新的图像实例分割方法,分割单个腺体(实例)在结肠组织学图像。这是一个称为实例分割的任务,最近变得越来越重要。这个问题是具有挑战性的,因为不仅需要从复杂的背景中分割腺体,还需要单独识别它们。在这里,我们利用最近深度学习中的图像到图像预测的想法,通过构建一个框架,自动利用和融合复杂的多通道信息,区域和边界模式,并在腺体组织学图像中进行侧监督(对侧反应的深度监督)。我们提出的系统,深度多通道侧监督(DMCS),简化了繁重的功能设计,由于使用侧监督指导的卷积神经网络。与2015年MICCAI腺体分割挑战赛中报告的方法相比,我们观察到基于许多评估指标的最新结果。
2016-07-14 cs.CV
Weakly Supervised Instance Segmentation by Deep Community Learning
Seoul National University(首尔大学);ETRI(韩国电子通信研究院)
提出了一种基于多任务深度社区学习的弱监督实例分割算法。该任务被制定为弱监督目标检测和语义分割的组合,其中同一类的单个对象被分别识别和分割。我们通过设计一个统一的深度神经网络架构来解决这个问题,该架构具有正反馈的目标检测循环,包括限界框回归、实例掩码生成、实例分割和特征提取。网络的每个组件都与其他组件进行积极的交互以提高准确性,我们模型的端到端可训练性使我们的结果更加强大和可重复。所提出的算法在弱监督设置中实现了最先进的性能,而无需在标准基准数据集上进行任何额外的训练,例如Fast R-CNN和Mask R-CNN。我们的算法的实现可在项目网页上获得:https://cv.snu.ac.kr/research/WSIS_CL。
2020-11-18 cs.CV
DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks (with Supplementary Materials)
Microsoft Research(微软研究院)
无监督图像翻译的目标是翻译两组独立的图像,在没有配对数据的情况下发现正确的对应关系是具有挑战性的。现有的作品建立在生成对抗网络(GAN)上,使得翻译图像的分布与目标集的分布无法区分。然而,这样的集合级约束不能学习实例级对应关系(例如,对象配置任务中对齐的语义部分)。这种限制经常导致误报(例如几何或语义伪影),并且进一步导致模式坍塌问题。为了解决上述问题,我们提出了一种新的框架,用于深度注意力GAN(DA-GAN)的实例级图像翻译。这种设计使DA-GAN能够将两组样本的翻译任务分解为高度结构化的潜在空间中的翻译实例。具体来说,我们共同学习一个深度注意编码器,因此可以通过关注学习的实例对来发现实例级对应关系。因此,可以在集合级和实例级上利用约束。通过与现有几种方法的比较,证明了该方法的优越性,以及在姿态变形、数据增强等方面的广泛应用能力。推动域转换问题的边缘。
2018-02-18 cs.CV
Microscopic fine-grained instance classification through deep attention
Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
有限样本的显微图像数据的细粒度分类是计算机视觉和生物医学成像领域的一个开放性问题。基于深度学习的视觉系统主要处理大量低分辨率图像,而生物医学图像中的细微细节需要更高的分辨率。为了弥合这一差距,我们提出了一个简单而有效的深度网络,它以端到端的方式同时执行两项任务。首先,它利用门控注意力模块,可以以高分辨率关注多个关键实例,而无需额外的注释或区域建议。然后融合全局结构特征和局部实例特征进行图像分类;其结果是一个强大但轻量级的端到端可训练深度网络,在两个单独的细粒度多实例生物医学图像分类任务中产生最先进的结果:基准乳腺癌组织学数据集和我们的新真菌物种真菌学数据集。此外,我们证明了所提出的模型的可解释性,通过可视化的一致性的学习功能与临床相关的功能。
2020-10-06 cs.CV
Gland Instance Segmentation Using Deep Multichannel Neural Networks
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);Zhejiang University(浙江大学)
目的:提出一种新的图像实例分割方法,用于分割结肠组织学图像中的单个腺体(实例)。这个过程是具有挑战性的,因为腺体不仅需要从复杂的背景中分割出来,还必须单独识别。研究方法:我们利用最近深度学习中图像到图像预测的想法,设计了一种算法,可以自动利用和融合腺体组织学图像中复杂的多通道信息-区域,位置和边界线索。我们提出的算法是一个深度多通道框架,由于使用了卷积神经网络,简化了繁重的特征设计,并且能够通过改变通道来满足各种要求。结果如下:与2015年MICCAI腺体分割挑战中报告的方法和其他当前流行的实例分割方法相比,我们观察到基于评估指标的最新结果。结论:提出的深度多通道算法是一种有效的腺体实例分割方法。重要性:该模型的泛化能力不仅使算法能够解决腺体实例分割问题,而且通道也是可替代的,可以替换为特定的任务。
2017-11-23 cs.CV
Multiple Instance Detection Network with Online Instance Classifier Refinement
Huazhong University of Science and Technology(华中科技大学)
近年来,弱监督目标检测在目标识别中具有重要的意义。基于深度学习,弱监督检测器已经取得了许多有希望的结果。然而,与全监督检测相比,以弱监督方式训练基于深度网络的检测器更具挑战性。在这里,我们将弱监督检测公式化为多实例学习(MIL)问题,其中实例分类器(对象检测器)作为隐藏节点放入网络中。我们提出了一种新的在线实例分类器细化算法,将MIL和实例分类器细化过程集成到单个深度网络中,并仅使用图像级监督对网络进行端到端的训练,即,而没有对象位置信息。更准确地说,从弱监督推断的实例标签被传播到它们的空间重叠的实例,以在线改进实例分类器。迭代实例分类器细化过程使用深度网络中的多个流来实现,其中每个流监督其后面的流。弱监督目标检测实验进行了具有挑战性的PASCAL VOC 2007年和2012年的基准。我们获得了47%的mAP的VOC 2007年,显着优于以前的国家的最先进的。
2017-04-01 cs.CV
Instance Localization for Self-supervised Detection Pretraining
Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院)
先前对自监督学习的研究已经在图像分类方面取得了相当大的进展,但在目标检测方面的传递性能往往会下降。本文的目标是推进自监督预训练模型,专门用于目标检测。基于分类和检测之间的固有差异,我们提出了一种新的自监督借口任务,称为实例定位。图像实例以各种位置和比例粘贴到背景图像上。前提任务是预测给定合成图像以及前景边界框的实例类别。我们表明,边界框集成到预训练促进更好的任务对齐和架构对齐的迁移学习。此外,我们提出了一种增强方法的边界框,以进一步提高特征对齐。因此,我们的模型在Imagenet语义分类方面变得较弱,但在图像块定位方面变得较强,并且具有用于目标检测的整体更强的预训练模型。实验结果表明,我们的方法产生的状态的最先进的迁移学习结果的目标检测PASCAL VOC和MSCOCO。
2021-04-06 cs.CV
Visual Instance Retrieval with Deep Convolutional Networks
Royal Institute of Technology (KTH)(皇家理工学院(KTH))
本文对基于卷积网络(ConvNets)的图像表示用于视觉实例检索任务的可用性进行了广泛的研究。除了卷积层的选择之外,我们还提出了一种利用多尺度方案来提取局部特征的高效管道,特别是通过明确考虑几何不变性,即位置,尺度和空间一致性。在我们使用五个标准图像检索数据集的实验中,我们证明了如果提取得当,通用ConvNet图像表示可以优于其他最先进的方法。
2016-05-09 cs.CV
Instance Segmentation of Fibers from Low Resolution CT Scans via 3D Deep Embedding Learning
University Medical Center Mannheim(曼海姆大学医学中心);Heidelberg University(海德堡大学);Volume Graphics(Volume Graphics公司);Tooploox(Tooploox公司)
我们提出了一种新的方法自动提取(实例分割)的纤维从低分辨率的三维X射线计算机断层扫描短玻璃纤维增强聚合物。我们设计了一个3D实例分割架构,该架构构建在深度全卷积网络上,用于语义分割,并具有用于嵌入学习的额外输出。我们表明,嵌入式学习是能够学习的体素映射到嵌入式空间中,一个标准的聚类算法可以用来区分不同的实例中的一个对象的体积。此外,我们还讨论了一种合并后处理方法,该方法可以处理任何大小的卷。建议的三维实例分割网络与我们的合并算法是第一个已知的知识程序,产生足够好的结果,他们可以用于进一步分析低分辨率纤维复合材料CT扫描。
2019-01-04 cs.CV
Deep Affinity Net: Instance Segmentation via Affinity
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Oregon(俄勒冈大学)
大多数现代实例分割方法分为两类:基于区域的方法,其中首先检测对象边界框,然后在裁剪和分割实例中使用;以及基于关键点的方法,其中各个实例由一组关键点表示,然后在这些关键点周围进行密集的像素聚类。尽管这两个范例的成熟,我们想报告一个替代的亲和力为基础的范例,实例被分割的基础上密集预测的亲和力和图形分割算法。这种基于亲和度的方法表明,除了区域或关键点之外的高级图形特征可以直接应用于实例分割任务中。在这项工作中,我们提出了深度仿射网络,一个有效的基于仿射的方法伴随着一个新的图分割算法级联GAEC。如果没有额外的功能,我们的端到端模型在Cityscapes val上的AP为32.4%,在测试上的AP为27.5%。在所有基于仿射的模型中,它实现了最好的单次拍摄结果以及最快的运行时间。它也优于基于区域的方法Mask R-CNN。
2020-03-15 cs.CV
Cross-Domain Transferability of Adversarial Perturbations
Australian National University(澳大利亚国立大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Linköping University(林雪平大学)
对抗性示例揭示了深度神经网络(DNN)的盲点,并代表了安全关键型应用的主要问题。对抗性示例的可转移性使得现实世界的攻击在黑盒设置中成为可能,其中攻击者被禁止访问模型的内部参数。大多数对手生成方法的基本假设,无论是学习特定于实例的还是与实例无关的扰动,都是直接或间接依赖于原始的特定于域的数据分布。在这项工作中,我们首次证明了域不变对手的存在,从而在不同的数据集和模型之间显示了共同的对抗空间。为此,我们提出了一个能够发起高度可转移攻击的框架,该框架可以制作对抗模式来误导在完全不同的域上训练的网络。例如,在绘画、卡通或医学图像上学习的对抗函数可以成功地干扰ImageNet样本以欺骗分类器,成功率高达$\sim$ 99\%($\ell_{\infty} \le 10$)。我们提出的对抗函数的核心是一个生成网络,该网络使用相对论监督信号进行训练,该信号能够实现域不变扰动。我们的方法设置了新的国家的最先进的愚弄率,无论是在白盒和黑盒的情况下。此外,尽管是一个与实例无关的扰动函数,但我们的攻击优于传统的更强大的特定于实例的攻击方法。
2019-10-14 cs.CV
PolyTransform: Deep Polygon Transformer for Instance Segmentation
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);MIT(麻省理工学院)
在本文中,我们提出了PolyTransform,一种新的实例分割算法,通过结合流行的分割方法和现代的基于模板的方法的优势,产生精确的,几何形状保持的掩模。特别是,我们首先利用分割网络来生成实例掩码。然后,我们将遮罩转换为一组多边形,然后将其馈送到变形网络,该变形网络转换多边形,以便它们更好地适应对象边界。我们在具有挑战性的Cityscapes数据集上的实验表明,我们的PolyTransform显著提高了骨干实例分割网络的性能,并在Cityscapes测试集排行榜上排名第一。我们在交互式注释设置中也显示了令人印象深刻的收益。我们在https://github.com/uber-research/PolyTransform上发布代码。
2021-01-16 cs.CV
Deep Snake for Real-Time Instance Segmentation
Zhejiang University(浙江大学);Deepwise AI Lab(深睿医疗人工智能实验室)
本文介绍了一种新的基于轮廓的方法,称为深蛇的实时的【形】实例分割。与最近的一些直接从图像中回归对象边界点坐标的方法不同,Deep Snake使用神经网络来迭代地变形初始轮廓以匹配对象边界,这实现了基于学习的Snake算法的经典思想。对于轮廓上的结构化特征学习,我们建议在深蛇中使用循环卷积,与通用图卷积相比,它更好地利用了轮廓的循环图结构。基于Deep Snake,我们开发了一个用于实例分割的两阶段流水线:初始轮廓建议和轮廓变形,可以处理对象定位中的错误。实验结果表明,该方法在Cityscapes、KINS、SBD和COCO数据集上取得了较好的性能,同时在1080 Ti GPU上对512幅$\times$ 512图像的处理速度达到了32.3 fps,对于实时的【形】应用也是有效的。该代码可在https://github.com/zju3dv/snake/上获得。
2020-04-01 cs.CV
RMDL: Recalibrated multi-instance deep learning for whole slide gastric image classification
The Chinese University of Hong Kong(香港中文大学);the Sixth Affiliated Hospital of Sun Yat-sen University(中山大学附属第六医院);Imsight Medical Technology Co., Ltd.(艾迈医疗科技有限公司)
全切片组织病理学图像在胃癌诊断中起着重要作用。然而,由于WSIs的大规模和各种大小的异常区域,如何选择信息区域和分析它们是在自动诊断过程中相当具有挑战性的。基于最具鉴别力实例的多实例学习方法有利于全切片胃图像的诊断。在本文中,我们设计了一个重新校准的多实例深度学习方法(RMDL)来解决这个具有挑战性的问题。我们首先选择的判别实例,然后利用这些实例来诊断疾病的基础上提出的RMDL方法。所设计的RMDL网络能够捕获实例依赖关系,并根据融合特征的重要性系数重新校准实例特征。此外,我们建立了一个大型的全载玻片胃组织病理学图像数据集与详细的像素级注释。在构建的胃数据集上的实验结果表明,与其他最先进的多实例学习方法相比,我们提出的框架的准确性有了显着的提高。此外,我们的方法是通用的,并可以扩展到其他诊断任务的不同类型的癌症的基础上WSIs。
2020-10-13 cs.CV
Deep Semantic Instance Segmentation of Tree-like Structures Using Synthetic Data
IBM Research(IBM研究院)
树状结构(如血管)通常以非常精细的尺度表达复杂性,需要高分辨率的网格来充分描述其形状。这样的稀疏形态可以替代地由中心线点的位置表示,但是由于它是无序的并且是排列不变的,因此利用深度学习从这种类型的数据中学习是具有挑战性的。在这项工作中,我们提出了一个深度神经网络,它直接消耗沿分支结构中心线的无序点,以识别单次拍摄中所表示的结构的拓扑结构。我们的方法的关键是使用一个新的多任务损失函数,使任意复杂的分支结构的实例分割。我们训练网络单独使用综合生成的数据,利用域随机化,以促进真正的2D和3D数据的传输。结果表明,我们的网络可以可靠地提取有关分支位置、分叉和端点的有意义的信息,并为分支结构中的语义实例分割树立了新的基准。
2018-11-08 cs.CV
Data InStance Prior (DISP) in Generative Adversarial Networks
Adobe(奥多比);IIT Hyderabad(印度理工学院海得拉巴分校);CMU(卡内基梅隆大学)
生成对抗网络(GANs)的最新进展在生成高质量图像方面取得了显着进展。然而,性能的提高取决于大量训练数据的可用性。在有限的数据体系中,训练通常会出现分歧,因此生成的样本质量低且缺乏多样性。先前的工作已经通过利用迁移学习和数据增强技术解决了低数据设置中的训练。我们提出了一种新的迁移学习方法,GANs在有限的数据域中,利用信息数据之前来自自监督/监督预训练的网络上训练的不同的源域。我们使用各种GAN架构(BigGAN,SNGAN,StyleGAN 2)在几个标准视觉数据集上进行实验,以证明所提出的方法有效地将知识转移到目标图像较少的领域,在图像质量和多样性方面优于现有的最先进的技术。我们还展示了数据实例先验在大规模无条件图像生成中的实用性。
2021-09-21 cs.CV
MINI: Mining Implicit Novel Instances for Few-Shot Object Detection
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
从少量训练样本中学习是目标检测器的一种理想能力,激发了对Few-Shot目标检测(FSOD)的探索。大多数现有的方法采用预训练迁移范式。该模型首先在具有丰富数据的基类上进行预训练,然后转移到具有少量注释样本的新类。尽管取得了实质性的进展,但FSOD的表现仍然远远不能令人满意。在预训练期间,由于基础类和新类之间的共现,模型被学习以将共现的新类视为背景。在迁移过程中,由于缺乏新类样本,该模型需要学习判别特征来区分新实例与背景和基类。为了克服这些障碍,我们提出了一个新的框架,挖掘隐式新颖实例(MINI),挖掘隐式新颖实例作为辅助训练样本,广泛存在于丰富的基础数据,但没有注释。MINI包括离线挖掘机制和在线挖掘机制。离线挖掘机制利用自监督判别模型与训练的FSOD网络协作挖掘隐含的新颖实例。在线挖掘机制将挖掘出的小说实例作为辅助训练样本,采用师生框架,动态地同时更新FSOD网络和挖掘出的隐含小说实例。在PASCAL VOC和MS-COCO数据集上进行的大量实验表明,MINI在任何镜头和分割上都实现了最先进的性能。显着的性能改善证明了我们的方法的优越性。
2022-05-06 cs.CV
Deep Multiple Instance Learning for Airplane Detection in High Resolution Imagery
School of Computer Engineering, Iran University of Science and Technology(伊朗科技大学计算机工程学院)
航空图像中的自动飞机检测具有多种应用。这项任务中的两个重大挑战是飞机的规模和方向的变化。为了解决这些挑战,我们提出了一个旋转和规模不变的飞机提案生成器。我们称这种生成器为对称线段(SLS),它是基于飞机从俯视图的对称和规则的边界开发的。然后,所生成的建议被用于训练深度卷积神经网络以去除非飞机建议。由于每架飞机可以有多个SLS建议,其中一些建议不在机身方向,我们收集与一个地面实况对应的所有建议作为正包,其他建议作为负实例。为了进行多实例深度学习,我们修改了网络的损失函数,以从每个正包中学习至少一个实例以及所有负实例。最后,我们采用非最大值抑制,以消除重复检测。在NWPU VHR-10和DOTA数据集上的实验表明,该方法是一种很有前途的高分辨率图像中飞机自动检测方法。此外,我们估计方向的飞机使用框级注释作为一个额外的成就。
2020-10-28 cs.CV
Deep Variational Instance Segmentation
CoRIS Institute(CoRIS研究所);Oregon State University(俄勒冈州立大学);Stony Brook University(石溪大学)
实例分割是计算机视觉中的一项具有挑战性的任务,它试图为输入图像中的每个像素获得类别和实例标签。最先进的算法通常采用两个独立的阶段,第一个阶段生成对象建议,第二个阶段识别和细化边界。此外,建议通常基于检测器,例如更快的R-CNN,其在整个图像中彻底搜索框。在本文中,我们提出了一种新的算法,直接利用全卷积网络(FCN)来预测实例标签。具体来说,我们提出了一个变分松弛的实例分割最小化的分段常数分割问题,它可以用来训练的FCN端到端的优化功能。它扩展了经典的Mumford-Shah变分分割问题,使其能够处理实例分割的地面真值中的置换不变标签。在PASCAL VOC 2012、语义边界数据集(SBD)和MSCOCO 2017数据集上的实验表明,该方法有效地解决了实例分割任务。源代码和训练模型将与论文一起发布。
2020-10-24 cs.CV
Detector Discovery in the Wild: Joint Multiple Instance and Representation Learning
UC Berkeley(加州大学伯克利分校);UMass Lowell(马萨诸塞大学洛厄尔分校)
我们开发了检测器学习的方法,该方法利用弱标签和强标签的联合训练,并从强标签的辅助任务中转移学习到的感知表示。以前的弱标签学习方法通常使用潜在变量优化独立地学习检测器模型,但无法跨类共享深层表示知识,并且通常需要强初始化。其他先前的方法将深度表示从具有强标签的域转移到仅具有弱标签的域,但不优化单个潜在框,因此可能会错过特定类别的特定突出结构。我们提出了一个模型,包含这些以前的方法,并同时训练表示和检测器的类别与弱或强标签存在。我们提供了一种新的联合多实例学习方法,包括分类风格的数据时,可用的例子,并进行域迁移学习,以提高底层的检测器表示。我们的模型在使用弱标签的ImageNet-200检测上优于已知方法。
2014-12-02 cs.CV
RDSNet: A New Deep Architecture for Reciprocal Object Detection and Instance Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics Inc.(地平线机器人公司);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
目标检测和实例分割是计算机视觉的两个基本任务。他们是密切相关的,但他们的关系尚未得到充分探讨,在大多数以前的工作。本文介绍了RDSNet,一种用于相互目标检测和实例分割的新型深度架构。为了实现这两个任务的交互,我们设计了一个双流结构来学习对象级别(即,边界框)和像素级(即,面具)。在该结构中,来自两个流的信息被交替地融合,即关于对象级别的信息将实例和平移方差的感知引入到像素级别,并且关于像素级别的信息反过来细化对象级别上的对象的定位精度。具体而言,提出了一个相关模块和裁剪模块,以产生实例掩码,以及基于掩码的边界细化模块,以获得更准确的边界框。在COCO数据集上的大量实验分析和比较证明了RDSNet的有效性和效率。源代码可在https://github.com/wangsr126/RDSNet上获得。
2019-12-11 cs.CV
Instance-level Sketch-based Retrieval by Deep Triplet Classification Siamese Network
素描作为一种有效的交际工具,被用来表达事物的抽象和直观的意义。手绘草图的识别在许多实际应用中是非常有用的。虽然基于内容的草图识别已经研究了几十年,基于草图的图像检索(SBIR)任务的实例级最近引起了显着的研究关注。现有的数据集,如QMUL-Chair和QMUL-Shoe,专注于椅子和鞋子的检索任务。然而,在以前的实例级SBIR工作中有几个关键的限制。最先进的作品在很大程度上依赖于预训练过程,边缘图的质量,多重裁剪测试策略,以及增强草图图像。为了有效地解决实例级SBIR,我们提出了一种新的深度三元组分类连体网络(DeepTCNet),该网络采用DenseNet-169作为基本特征提取器,并通过三元组损失和分类损失进行了优化。关键是,我们提出的DeepTCNet可以打破以前作品中存在的局限性。在五个基准草图数据集上的实验验证了该模型的有效性。此外,为了研究基于草图的发型检索任务,本文提出了一个新的实例级照片-草图数据集- Hairstyle Photo-Sketch数据集,它由3600张草图和照片以及2400个草图-照片对组成。
2019-05-25 cs.CV
Deep Learning for Instance Retrieval: A Survey
Academy of Advanced Technology Research of Hunan(湖南先进技术研究院);Dalian University of Technology(大连理工大学);Leiden University(莱顿大学);University of Waterloo(滑铁卢大学);University of Oulu(奥卢大学)
近年来,社交媒体平台、医学成像和机器人等许多领域都产生和分享了大量的视觉内容。这种丰富的内容创建和共享带来了新的挑战,特别是在数据库中搜索类似内容的基于内容的图像检索(CBIR)-一个长期建立的研究领域,其中需要提高实时检索的效率和准确性。人工智能在基于内容的图像检索方面取得了很大的进展,极大地促进了实例检索的过程。在这项调查中,我们回顾了最近基于深度学习算法和技术开发的实例检索工作,调查按深度网络架构类型、深度特征、特征嵌入和聚合方法以及网络微调策略组织。我们的调查考虑了各种各样的最新方法,据此我们确定了里程碑式的工作,揭示了各种方法之间的联系,并提出了常用的基准,评估结果,共同挑战,并提出了有希望的未来方向。
2022-10-30 cs.CV
Pose2Instance: Harnessing Keypoints for Person Instance Segmentation
Google Research(谷歌研究院);UC San Diego(加州大学圣地亚哥分校);Google Inc.(谷歌公司);Cornell University(康奈尔大学)
人体关键点是一个很好的研究表示的人。我们探讨如何使用关键点模型,以改善实例级的人分割。主要思想是利用oracle提供的关键点或估计的关键点热图的距离变换的概念作为深度神经网络内的人实例分割任务的先验。对于训练和评估,我们考虑来自COCO的所有那些图像,其中实例分割和人类关键点注释都可用。我们首先展示了Oracle关键点如何在没有任何训练的情况下在推理过程中提高现有人类分割模型的性能。接下来,我们提出了一个框架来直接学习以人体姿势为条件的深度实例分割模型。实验结果表明,在不同的交集超过联合(IOU)阈值,在一个约束环境中与甲骨文关键点,实例分割的准确性实现了10%至12%的相对提高超过一个强大的基线的甲骨文边界框。在更现实的环境中,在没有oracle关键点的情况下,所提出的以人体姿势为条件的深度人实例分割模型与仅为分割而训练的深度网络的最强基线相比实现了3.8%至10.5%的相对改进。
2017-04-04 cs.CV
Compression of Deep Neural Networks for Image Instance Retrieval
Institute for Infocomm Research(资讯通信研究所);Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学);Massachusetts Institute of Technology(麻省理工学院);Nanyang Technological University(南洋理工大学);Peking University(北京大学)
图像实例检索是从数据库中检索包含相同对象的图像的问题。基于卷积神经网络(CNN)的描述符正在成为用于为实例检索问题生成{ \it全局图像描述符}的主导方法。基于CNN的{ \it全局描述符}的一个主要缺点是,未压缩的深度神经网络模型需要数百兆字节的存储空间,这使得它们不便于在移动应用程序或自定义硬件中部署。在这项工作中,我们研究的问题,神经网络模型压缩集中在图像实例检索任务。我们研究了量化,编码,修剪和权重共享技术,以减少模型的大小的实例检索问题。我们提供了广泛的实验结果之间的权衡检索性能和模型的大小为不同类型的网络上的几个数据集提供了最全面的研究这一主题。我们将模型压缩到几MB的量级:比未压缩的模型小两个数量级,同时在检索性能上的损失可以忽略不计。
2017-01-18 cs.CV
DIFTA-3D: Depth-Consistent Instance-Level Feature Transfer and Adaptation of DINOv3 for 3D Detection
Beihang University(北京航空航天大学);The University of Hong Kong(香港大学)
提出DIFTA-3D,通过深度一致特征管线将DINOv3适配到IIFNet3D实例级融合,在ScanNetV2上以Conservative VAID蒸馏获得76.59/62.16 mAP,验证了受控迁移方案的有效性。
2026-09-23 cs.CV
UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);CIFAR(加拿大高级研究院)
目标检测和分割的方法依赖于大规模的实例级标注进行训练,这是困难和耗时的收集。努力减轻这种看起来不同程度和质量的监督。弱监督的方法利用图像级标签来构建检测器/分割器,而零/Few-Shot方法假设一组基类具有丰富的实例级数据,而新类则没有或只有几个示例。这种分类法在很大程度上孤立了算法设计。在这项工作中,我们的目标是通过提出一个直观和统一的半监督模型来弥合这一鸿沟,该模型适用于一系列监督:从零到每个新类的几个实例级样本。对于基类,我们的模型学习从弱监督到全监督检测器/分割器的映射。通过学习和利用新类和基类之间的视觉和语言相似性,我们将这些映射转移到新类的检测器/分割器中;如果可用的话,使用一些新类实例级注释样本对其进行细化。整个模型是端到端可训练的,并且高度灵活。通过对MS-COCO和Pascal VOC基准数据集的广泛实验,我们在各种设置中显示出改进的性能。
2021-03-03 cs.CV
Learning and aggregating deep local descriptors for instance-level recognition
Czech Technical University in Prague(布拉格捷克理工大学)
我们提出了一种有效的方法来学习用于实例级识别的深度局部描述符。训练仅需要正和负像对的示例,并且作为和池化全局图像描述符的度量学习来执行。在推理时,本地描述符由网络的内部组件的激活提供。我们演示了为什么这样的方法学习本地描述符,以及经典的高效匹配核方法的图像相似性估计。实验验证研究的性能和内存要求的国家的最先进的图像搜索方法的基础上匹配内核之间的权衡。与现有的局部描述符相比,所提出的局部描述符在两个实例级识别任务中表现更好,并且保持较低的内存需求。我们的实验表明,全球描述符是不够有效的,在大规模和本地描述符是必不可少的。我们实现了最先进的性能,在某些情况下,即使是像ResNet18这样小的骨干网络。
2020-07-26 cs.CV
Instance-Level Segmentation for Autonomous Driving with Deep Densely Connected MRFs
University of Toronto(多伦多大学)
我们的目标是在自动驾驶的背景下提供单目图像的像素级实例级标记。我们建立在最近的工作[张等人,ICCV 15]训练卷积神经网络来预测局部图像块中的实例标记,这些图像块是从图像中一步一步地详尽提取的。然后在[Zhang et al.,ICCV 15]来导出图像的全局一致的实例标记。在本文中,我们用一个新的密集连接的马尔可夫随机场来表达全局标记问题,并展示了如何以一种适合有效平均场推断的方式来编码各种直观势[Krähenbühl等人,NIPS11]。我们的潜力编码之间的兼容性的全球标签和补丁级的预测,对比敏感的平滑度,以及事实上,不同的区域形成不同的实例。我们在具有挑战性的KITTI基准上的实验[Geiger等人,CVPR12]证明了我们的方法在基线上实现了显著的性能提升[Zhang等人,ICCV 15]。
2016-04-27 cs.CV
Deep Spectral Improvement for Unsupervised Image Instance Segmentation
Sharif University of Technology(谢里夫理工大学)
本文针对无监督图像实例分割中自监督特征图存在噪声通道及点积相似度敏感的问题,提出了NCR和DCR两种通道缩减模块及新的BoC相似度度量,有效提升了实例分割性能。
2024-08-26 cs.CV
Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization
Seoul National University(首尔国立大学)
真实噪声的统计特性不服从正态分布,并且在空间和时间上都是变化的,因此真实噪声的去噪是一项具有挑战性的任务。为了应对各种复杂的实际噪声,我们提出了一个良好的推广去噪架构和迁移学习计划。具体来说,我们采用自适应的实例归一化来构建去噪器,它可以正则化特征图并防止网络过度拟合训练集。我们还介绍了一个迁移学习计划,将知识从合成噪声数据的真实噪声去噪。通过所提出的迁移学习,合成噪声去噪器可以从各种合成噪声数据中学习一般特征,而真实噪声去噪器可以从真实数据中学习真实噪声特征。从实验中,我们发现,所提出的去噪方法具有很强的泛化能力,因此,我们的网络训练与合成噪声达姆施塔特噪声数据集(DND)中的方法发表的论文中达到最佳性能。我们还可以看到,所提出的迁移学习方案通过使用非常少量的标记数据进行学习,对真实噪声图像具有鲁棒性。
2020-03-16 cs.CV eess.IV
Instance-level Facial Attributes Transfer with Geometry-Aware Flow
University of British Columbia(不列颠哥伦比亚大学);Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
我们解决的问题,实例级的面部属性转移没有配对的训练数据,例如,忠实地将确切的胡子从源脸到目标脸。这是一个比传统的语义级属性传输更具挑战性的任务,它只保留了一般的属性风格,而不是实例级的特质。我们建议使用几何感知流,这是一个非常适合的表示建模实例级面部属性之间的转换。具体来说,我们利用面部标志作为几何指导,自动学习可微流,尽管存在很大的姿态差距。几何感知流能够将源面属性扭曲到目标面上下文中,并生成扭曲和混合结果。为了补偿源和目标人脸之间潜在的外观差距,我们提出了一个幻觉子网络,它产生一个外观残差,以进一步细化扭曲和混合结果。最后,设计了一个由属性转移模块和属性去除模块组成的循环一致性框架,使得大量的不成对人脸图像可以作为训练数据。广泛的评估验证了我们的方法在大的姿势和外观差距忠实地转移实例级面部属性的能力。由于流表示,我们的方法可以很容易地应用到高分辨率图像上生成逼真的细节。
2018-11-30 cs.CV cs.GR cs.LG
Deep Multiple Instance Learning for Zero-shot Image Tagging
Australian National University(澳大利亚国立大学);DATA61, CSIRO(澳大利亚联邦科学与工业研究组织数据61中心)
与深度学习在传统识别问题上的成功相一致,文献中已经提出了几种用于zero-shot识别的端到端深度模型。这些模型在给定输入图像的情况下成功地预测了单个看不见的标签,但不能扩展到存在多个看不见的对象的情况。在本文中,我们在多实例学习(MIL)的框架内对这个问题进行建模。据我们所知,我们提出了第一个端到端可训练的深度MIL框架,用于多标签zero-shot标记问题。由于其新颖的设计,所提出的框架具有几个有趣的特征:(1)与以前的深度MIL模型不同,它不使用任何离线过程(例如,选择性搜索或EdgeBoxes)来生成袋子。(2)在测试期间,它可以处理任何数量的未见过的标签,给出它们的语义嵌入向量。(3)仅使用每个图像的可见标签作为弱注释,它可以为每个预测标签产生限界框。我们用NUS-WIDE数据集进行了实验,并在传统的、zero-shot和广义的zero-shot标记任务中取得了优异的性能。
2018-03-16 cs.CV