Adapting Segment Anything Model for Unseen Object Instance Segmentation
The Chinese University of Hong Kong（香港中文大学）
本文提出 UOIS-SAM，通过引入基于热图的提示生成器和分层判别网络适配 SAM，仅用 10% 训练样本即在未见物体实例分割任务上达到 SOTA 性能。
2024-09-23 cs.CV cs.RO
Pointly-Supervised Instance Segmentation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook AI（脸书人工智能部门）
我们提出了一个非常简单的点注释计划收集弱监督实例分割。除了边界框之外，我们还为每个限界框内均匀采样的一组点收集二进制标签。我们表明，现有的实例分割模型开发的全掩模监督可以无缝训练与基于点的监督通过我们的计划收集。值得注意的是，在COCO、PASCAL VOC、Cityscapes和LVIS上训练的Mask R-CNN，每个对象只有10个注释随机点，达到了其完全监督性能的94%-98%，为弱监督实例分割设定了一个强基线。新的点注释方案比注释完整对象遮罩快约5倍，使高质量的实例分割在实践中更容易获得。受基于点的标注形式的启发，我们对PointRend的实例分割模块进行了改进。对于每个对象，称为隐式PointRend的新架构为进行最终点级掩码预测的函数生成参数。隐式PointRend更直接，使用单个点级掩码丢失。实验结果表明，该模型更适合于基于点的监控。
2022-06-15 cs.CV
Conditional Link Prediction of Category-Implicit Keypoint Detection
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）
对象的关键点反映了其简洁的抽象，而相应的连接链接（CL）通过检测关键点之间的内在关系来构建骨架。现有的方法通常是计算密集型的，不适用于属于多个类的实例，和/或不可行的同时编码连接信息。为了解决上述问题，我们提出了一个端到端的类别隐式关键点和链接预测网络（KLPNet），这是第一个同时进行语义关键点检测（多类实例）和CL复兴的方法。在我们的KLPNet中，提出了一种新的条件链接预测图的关键点之间的链接预测是偶然的预定义的类别。此外，一个跨阶段的关键点定位模块（CKLM）被引入到探索粗到精的关键点定位的特征聚合。在三个公开的基准上进行的综合实验表明，我们的KLPNet始终优于所有其他最先进的方法。此外，CL预测的实验结果也表明了我们的KLPNet对遮挡问题的有效性。
2020-11-29 cs.CV
Adapting SAM for Volumetric X-Ray Data-sets of Arbitrary Sizes
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）
本文提出将 SAM 与基于瓦片的 FFN 相结合用于无损检测 X 射线 CT 数据的体积实例分割，利用 FFN 空间适应性分割任意尺寸三维对象，并验证了该方法的有效性与潜力。
2024-02-09 cs.CV cs.LG
Adapting Mask-RCNN for Automatic Nucleus Segmentation
University of New Hampshire（新罕布什尔大学）
显微图像的自动分割是医学图像处理和分析中的一项重要任务。细胞核检测是这项任务的一个重要例子。Mask-RCNN是最近提出的用于自然图像的目标检测、对象定位和对象实例分割的最先进算法。在本文中，我们证明了Mask-RCNN可以用于对各种条件下获得的各种细胞进行高效和高效的细胞核显微镜图像自动分割。
2018-05-01 cs.CV cs.LG
Learning Universal Shape Dictionary for Realtime Instance Segmentation
Shanghai Jiao Tong University（上海交通大学）
我们提出了一种新的明确的形状表示实例分割。根据对物体形状建模的不同，现有的实例分割系统可以分为隐式模型和显式模型。隐式方法，表示对象掩模/轮廓的棘手的网络参数，并产生它通过逐像素分类，是占主导地位的。然而，显式的方法，参数化的形状与简单的和可解释的模型，较少探索。由于生成最终形状的操作是轻量级的，显式方法比隐式方法具有明显的速度优势，这对于现实世界的应用至关重要。建议USD-Seg采用线性模型，稀疏编码与字典，对象的形状。首先，它从大量的形状数据集中学习字典，使任何形状都能够通过字典分解为线性组合。因此被称为“通用形状字典”。然后在普通目标检测器的基础上增加一个简单的形状向量回归头，使检测器以最小的开销获得分割能力。对于定量评估，我们使用平均精度（AP）和建议的效率AP（AP $_E$）度量，其目的也是衡量计算消耗的框架，以满足现实世界的应用程序的要求。我们报告了在具有挑战性的COCO数据集上的实验结果，其中我们在单个Titan Xp GPU上的单个模型在65 fps下以YOLOv 4作为基本检测器实现了35.8 AP和27.8 AP $_E$，在12 fps下以FCOS作为基本检测器实现了34.1 AP和28.6 AP $_E$。
2020-12-02 cs.CV
InsPro: Propagating Instance Query and Proposal for Online Video Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）
视频实例分割（VIS）的目的是分割和跟踪视频中的对象。现有方法通常首先生成帧级或剪辑级对象实例，然后通过附加跟踪头或复杂实例匹配算法将它们关联。这种显式的实例关联方法增加了系统的复杂性，并未能充分利用视频中的时间线索。在本文中，我们设计了一个简单，快速，但有效的基于查询的框架在线VIS。该框架通过一个实例查询和建议传播机制以及几个专门开发的组件，可以隐式地执行精确的实例关联。具体来说，我们生成帧级的对象实例的基础上传播从以前的帧的一组实例查询建议对。通过认真制定的策略，这个实例查询-建议对学会了跨框架与一个特定对象绑定。当使用这样的对来预测当前帧上的对象实例时，不仅生成的实例自动地与其在先前帧上的前兆相关联，而且模型获得用于预测相同对象的良好先验。通过这种方式，我们自然地实现了与分割并行的隐式实例关联，并巧妙地利用了视频中的时间线索。为了证明我们的方法InsPro的有效性，我们在两个流行的VIS基准上对其进行了评估，即，YouTube-VIS 2019和YouTube-VIS 2021。在没有花哨的情况下，我们的InsPro与ResNet-50骨干网在这两个基准上分别达到43.2 AP和37.6 AP，优于所有其他在线VIS方法。
2023-01-05 cs.CV
Efficient 3D Instance Mapping and Localization with Neural Fields
Massachusetts Institute of Technology（麻省理工学院）
本文提出 3DIML 框架，通过 InstanceMap 生成三维一致伪标签、InstanceLift 训练神经标签场及 InstanceLoc 近实时定位，在 Replica 和 ScanNet 上以相当质量实现大幅加速的三维实例分割。
2024-11-24 cs.CV
SD-FSMIS: Adapting Stable Diffusion for Few-Shot Medical Image Segmentation
Computer Vision Institute, College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院计算机视觉研究所）
本文提出SD-FSMIS框架，通过引入支持-查询交互和视觉到文本条件翻译模块，利用预训练的稳定扩散模型提升少样本医学图像分割的效率与鲁棒性。
2026-04-09 cs.CV
A More Compact Object Detector Head Network with Feature Enhancement and Relational Reasoning
Northeastern University（东北大学）；Baidu Smart Life Group（百度智能生活事业群组）；The University of Auckland（奥克兰大学）
隐式特征交互模式建模对于目标检测任务具有重要意义。然而，在两阶段检测器中，由于过度使用手工制作的组件，很难推理出实例特征之间的隐含关系。为了解决这个问题，我们分析了三个不同层次的特征交互关系，即裁剪的局部特征和全局特征之间的依赖关系，实例内的特征自相关性，以及实例之间的互相关关系。为此，我们提出了一个更紧凑的对象检测器头网络（CODH），它不仅可以保存全局上下文信息和凝聚的信息密度，但也允许实例的特征增强和关系推理在一个更大的矩阵空间。在没有花里胡哨的情况下，我们的方法可以有效地提高检测性能，同时显著降低模型的参数，例如，使用我们的方法，头部网络的参数比最先进的Cascade R-CNN小0.6倍，但在COCO测试开发中性能提升了1.3%。在不失一般性的情况下，我们也可以通过组装我们的方法为其他多级检测器构建更轻的头部网络。
2021-07-03 cs.CV
3D-QueryIS: A Query-based Framework for 3D Instance Segmentation
Beihang University（北京航空航天大学）；Shanghai AI Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）
以前的3D实例分割的最佳性能的方法往往保持任务间的依赖性和缺乏鲁棒性的趋势。此外，不同数据集的不可避免的变化使得这些方法变得对超参数值特别敏感，并且表现出较差的泛化能力。在本文中，我们提出了一种新的基于查询的方法，称为3D QueryIS，这是检测器免费，语义分割免费，和集群免费解决上述挑战。具体而言，我们建议以隐式方式生成代表点，并将它们与初始查询一起使用，以生成信息实例查询。然后，类和二进制实例掩码预测可以通过简单地在实例查询和提取的点云嵌入之上应用MLP层来产生。因此，我们的3D-QueryIS不受任务间依赖性导致的累积错误的影响。在多个基准数据集上的实验证明了我们提出的3D-QueryIS方法的有效性和效率。
2022-11-17 cs.CV
Fast Omni-Directional Image Super-Resolution: Adapting the Implicit Image Function with Pixel and Semantic-Wise Spherical Geometric Priors
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy(SZ)（广东省人工智能与数字经济实验室（深圳））；Peng Cheng Laboratory（鹏城实验室）
针对全向图像超分辨率中等矩形投影的非均匀过采样问题，本文提出FAOR模型，通过在潜在表示和重建阶段融入球面几何先验适配隐式图像函数，实现快速任意尺度超分辨率，性能优于现有模型且推理速度更快。
2025-02-09 cs.CV
Training-Free Dataset Pruning for Instance Segmentation
Agency for Science, Technology and Research（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
针对实例分割任务中像素级标注、实例面积变化和类别不平衡三大挑战，提出免训练数据集剪枝方法TFDP，利用形状复杂度评分（SCS）及其改进版本实现无需模型训练的高效剪枝，在多个数据集上取得SOTA结果并实现1349倍加速。
2025-03-02 cs.CV cs.LG
Towards Adapting ImageNet to Reality: Scalable Domain Adaptation with Implicit Low-rank Transformations
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；University of Jena（耶拿大学）；UMass Lowell（马萨诸塞大学洛厄尔分校）
在测试期间看到的图像通常与用于学习的图像不是来自相同的分布。当从以对象为中心的互联网图像数据库中训练分类器并试图将其直接应用于场景理解任务时，就会出现这种称为域偏移的问题。其后果往往是严重的性能下降，是分类器在现实世界中的应用的主要障碍之一。在本文中，我们展示了如何学习基于变换的领域自适应分类器在一个可扩展的方式。其关键思想是利用一个隐含的秩约束，起源于最大利润领域自适应制定，使优化易于处理。实验表明，域之间的转换可以非常有效地从数据中学习，并很容易应用到新的类别。这开始弥合大规模互联网图像收集和日常生活环境中捕获的对象图像之间的差距。
2013-08-20 cs.CV cs.LG stat.ML
I-Scene: 3D Instance Models are Implicit Generalizable Spatial Learners
Purdue University（普渡大学）；NVIDIA Research（英伟达研究）
I-Scene提出了一种基于3D实例模型的隐式空间学习方法，通过重新编程生成器实现跨场景的泛化能力，展示了其在空间推理和生成中的潜力。
2026-01-07 cs.CV
Adapting Pre-Trained Vision Models for Novel Instance Detection and Segmentation
University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出NIDS-Net框架，利用Grounding DINO和SAM生成候选区域，结合DINOv2特征与权重适配器优化实例嵌入，在少样本设置下显著提升新实例检测与分割性能。
2025-03-05 cs.CV cs.RO
Object-Compositional Neural Implicit Surfaces
Monash University（莫纳什大学）；The Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）；Nanyang Technological University（南洋理工大学）
神经隐式表示在多视点图像的新视点合成和高质量三维重建中显示了其有效性。然而，大多数方法专注于整体场景表示，但忽略了其中的单个对象，从而限制了潜在的下游应用。为了学习对象组合表示，一些作品将2D语义图作为训练中的线索，以掌握对象之间的差异。但它们忽略了对象几何信息与实例语义信息之间的紧密联系，导致单个实例的建模不准确。本文提出了一种新的框架，ObjectSDF，建立一个对象组成的神经隐式表示与高保真的三维重建和对象表示。针对传统体渲染流水线的二义性，结合单个物体的符号距离函数（SDF）对场景进行建模，以施加显式的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的强关联。特别地，我们将语义信息转换为对象SDF的函数，并开发了一个统一的和紧凑的表示场景和对象。实验结果表明，ObjectSDF框架在表示整体对象组合场景和单个实例方面的优越性。代码可以在www.example.com上找到
2022-08-01 cs.CV
Generalizable Implicit Neural Representations via Instance Pattern Composers
Kakao Brain；POSTECH（浦项科技大学）
本文提出一种可泛化隐式神经表示框架，通过仅调制 MLP 早期层少量权重作为实例模式组合器，并与元学习和超网络兼容，在音频、图像和 3D 物体等任务上取得高性能。
2023-04-17 cs.CV cs.LG
Text Grouping Adapter: Adapting Pre-trained Text Detector for Layout Analysis
IAIR, Xi’an Jiaotong University（西安交通大学IAIR）；Microsoft Research Asia（微软亚洲研究院）
针对场景文本版面分析发展滞后、现有方法未充分利用预训练检测器的问题，提出兼容多架构的Text Grouping Adapter模块，通过一对多分配预测分组掩码获取上下文，在冻结或微调预训练模型时均能提升版面分析性能并保留检测能力。
2024-05-13 cs.CV
SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）
虽然在少样本学习方面已经取得了显著的进展，但是现有的Few-Shot图像分类方法大多需要在大量的基本类样本上进行有监督的预训练，这限制了它们在实际应用中的推广能力。近年来，大规模的视觉语言预训练模型（VLP）在少样本学习中得到了越来越多的关注，因为它们可以为Web上容易获得的文本提供可转移的视觉表示学习的新范式。然而，VLP可能会忽略难以用语言句子描述的详细视觉信息，但对于学习有效的分类器来区分不同的图像很重要。为了解决上述问题，我们提出了一个新的框架，名为语义引导的视觉适应（SgVA），它可以有效地扩展视觉语言的预训练模型，以产生歧视性的适应视觉特征，综合使用一个隐式的知识蒸馏，视觉特定的对比损失，和跨模态的对比损失。隐式知识蒸馏的目的是传递细粒度的跨模态知识，以指导视觉适配器的更新。在13个数据集上的实验结果表明，自适应视觉特征能够很好地补充交叉模态特征，提高Few-Shot图像分类的性能。
2023-01-20 cs.CV cs.MM
3D Reconstruction of Sculptures from Single Images via Unsupervised Domain Adaptation on Implicit Models
Durham University（杜伦大学）
在虚拟现实（VR）博物馆中获取虚拟等同的展品，如雕塑，可能是劳动密集型的，有时是不可行的。基于深度学习的3D重建方法使我们能够从2D观察中恢复3D形状，其中基于单视图的方法可以减少为VR博物馆获取3D雕塑时对人工干预和专用设备的需求。然而，当试图使用研究得很好的人体重建方法时，存在两个挑战：有限的数据可用性和域转移。考虑到雕塑通常与人类有关，我们提出了我们的无监督的3D领域自适应方法，以适应从源（现实世界的人类）到目标（雕塑）域的单视图3D隐式重建模型。我们比较了生成的形状与其他方法，并进行了消融研究以及用户研究，以证明我们的适应方法的有效性。我们还将结果部署在VR应用程序中。
2022-10-09 cs.CV
From Implicit Ambiguity to Explicit Solidity: Diagnosing Interior Geometric Degradation in Neural Radiance Fields for Dense 3D Scene Understanding
Norwegian Institute of Bioeconomy Research (NIBIO)（挪威生物经济研究所）
本研究提出显式几何方法以解决NeRF在密集自遮挡场景中的内部几何退化问题，实现95.8%的实例恢复率。
2026-02-12 cs.CV
Learning Category-level Shape Saliency via Deep Implicit Surface Networks
South China University of Technology（华南理工大学）；Samsung USA（三星美国）；I2R ASTAR（新加坡科技研究局资讯通信研究院）
本文的动机是从一个基本的好奇心是什么定义一类对象的形状。例如，我们可能知道飞机有翅膀，椅子有腿。鉴于同一类别的不同实例之间的形状变化很大，我们正式感兴趣的是为连续物体表面上的单个点定义一个量;该量指定单个表面点如何有助于形成作为类别的形状。我们把这样的数量作为类别级别的形状显着性或形状显着性的简称。从技术上讲，我们建议从深层隐式表面网络中学习同一类别的形状实例的显着性图;隐式表面场中采样点的显着性得分通过约束输入潜在代码的能力来预测。我们还通过额外的对比训练损失来增强显着性预测。我们期望这样的学习表面地图的形状显着性具有平滑，对称和语义代表性的属性。我们通过比较我们的方法与其他方法的显着性计算来验证这些属性。值得注意的是，我们表明，通过利用学习的形状显着性，我们能够重建对象表面的类别显着或实例特定的部分;学习的显着性的语义代表性也反映在其有效性，以指导更好的点云分类的表面点的选择。
2020-12-14 cs.CV
Adapting Frozen Mono-modal Backbones for Multi-modal Registration via Contrast-Agnostic Instance Optimization
Department of Imaging Physics, Delft University of Technology, The Netherlands（荷兰代尔夫特理工大学成像物理系）
本文提出一种结合冻结预训练单模注册模型与轻量级适应流程的多模图像注册框架，通过对比无关的表示生成与优化模块在测试时桥接模态与领域差距，提升注册鲁棒性。
2026-03-27 cs.CV eess.IV
MooMIns -- Monocular 3D Reconstruction and Object Pose Estimation from Multiple Instances
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
提出MooMIns方法，利用单张图像中同一物体的多个实例提供隐式多视图几何，通过反向高斯泼溅实现3D重建和6D姿态估计，避免深度先验导致的幻觉。
2026-06-15 cs.CV
Attention Beats Linear for Fast Implicit Neural Representation Generation
College of Computer Science, Zhejiang University（浙江大学计算机学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出基于注意力局部化的隐式神经表示（ANR），结合局部注意力层与全局MLP，利用超网络生成紧凑表示，提升重建精度与效率，在CelebA上PSNR提升至47.25dB。
2024-07-22 cs.CV
Parameters as Experts: Adapting Vision Models with Dynamic Parameter Routing
The University of Hong Kong（香港大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出ParaX方法，通过动态参数路由机制实现视觉模型的高效微调，以生成更定制化和强大的特征表示，从而在多种视觉识别任务中取得优越性能。
2026-05-20 cs.CV
MatchFusion: Explicit-Implicit Instance Matching for Spatio-Temporal Multimodal Autonomous Driving
Harbin Institute of Technology, Harbin 150001, China（中国哈尔滨 哈尔滨工业大学 150001）；Zhejiang University, Hangzhou 310027, China（中国杭州 浙江大学 310027）
针对多模态自动驾驶中时空实例交互的匹配问题，提出MatchFusion模块，结合几何与语义的显式-隐式匹配，提升感知精度并大幅降低计算开销。
2026-09-23 cs.CV cs.RO
Instance Relation Graph Guided Source-Free Domain Adaptive Object Detection
Johns Hopkins University（约翰斯·霍普金斯大学）
无监督领域自适应（UDA）是解决领域转移问题的有效方法。具体来说，UDA方法试图对齐源和目标表示，以提高目标域的泛化能力。此外，UDA方法的工作假设是在适应过程中可以获得源数据。然而，在现实世界的场景中，由于隐私法规、数据传输约束或专有数据问题，标记的源数据通常受到限制。无源领域自适应（SFDA）设置旨在通过在不需要访问源数据的情况下为目标领域调整源训练模型来缓解这些问题。在本文中，我们探讨了自适应目标检测任务的SFDA设置。为此，我们提出了一种新的训练策略，用于在没有源数据的情况下将源训练的对象检测器适应于目标域。更准确地说，我们设计了一种新的对比损失，以提高目标表示利用对象的关系，为一个给定的目标域输入。使用实例关系图（IRG）网络对这些对象实例关系进行建模，然后将其用于指导对比表示学习。此外，我们利用基于学生-教师的知识蒸馏策略来避免过度拟合由源训练模型生成的噪声伪标签。在多个目标检测基准数据集上的大量实验表明，该方法能够有效地使源训练的目标检测器适应目标域，优于先前最先进的域自适应检测方法。代码和模型见\href{https://viudomain.github.io/irg-sfda-web/}{https://viudomain.github.io/irg-sfda-web/}。
2023-03-21 cs.CV
Integrating Implicit and Explicit Relational Biases through Graph-Based Multiple Instance Learning: A Case Study in Skin Lesion Diagnosis
Gdańsk University of Technology（格但斯克工业大学）；Medical University of Gdańsk（格但斯克医科大学）
本研究提出双层级关系框架，结合隐式图像块关系建模与显式图结构消息传递，在ISIC-2018、ISIC-2019皮肤病变诊断基准上提升了平衡准确率，其中集成网格结构的图注意力网络表现最优。
2026-08-07 cs.AI cs.CV cs.LG
Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts
Institute of Medical Informatics, University of Lübeck（吕贝克大学医学信息学研究所）
最近的基于深度学习的医学图像配准方法以减少的运行时间实现了与传统优化算法竞争的结果。然而，深度神经网络通常需要大量标记的训练数据，并且容易受到训练数据和测试数据之间的域移位的影响。虽然可以通过基于关键点的配准来减轻典型的强度偏移，但是这些方法仍然遭受例如由于不同的视场而引起的几何域偏移。作为一种补救措施，在这项工作中，我们提出了一种新的方法，几何领域自适应图像配准，适应模型从标记的源到未标记的目标域。我们建立在一个基于关键点的配准模型，结合图形卷积的几何特征学习与循环的信念优化，并提出通过自集成减少域移位。为此，我们将该模型嵌入到Mean Teacher范式中。我们通过1）适应随机增强方案和2）将学习的特征提取与可微优化相结合来扩展Mean Teacher。这使我们能够通过对学习学生和时间平均教师模型进行一致的预测来指导未标记目标域中的学习过程。我们评估了两种具有挑战性的适应场景（DIR-Lab 4D CT到COPD，COPD到Learn 2 Reg）下的呼气到吸气肺CT配准方法。我们的方法在基线模型上持续提高了50%/47%，同时甚至与目标数据训练的模型的准确性相匹配。源代码可在https://github.com/multimodallearning/registration-da-mean-teacher上获得。
2022-07-01 cs.CV
GenMask: Adapting DiT for Segmentation via Direct Mask Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协作中位网创新中心）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Institute of Artificial Intelligence for Medicine, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院人工智能医学研究院）；Alibaba Group（阿里巴巴集团）
本文提出GenMask，通过直接生成二进制掩码实现分割任务，避免传统间接特征提取流程，提升分割性能。
2026-03-26 cs.CV
Zero-bias autoencoders and the benefits of co-adapting features
Goethe University Frankfurt（法兰克福歌德大学）；University of Montreal（蒙特利尔大学）
自动编码器的正则化训练通常会导致隐藏的单位偏差，这些偏差会呈现很大的负值。我们表明，负偏差是使用隐藏层的自然结果，其责任是既代表输入数据，并作为一种选择机制，确保稀疏的表示。然后，我们表明，负偏差阻碍学习的数据分布的内在维度是高的。我们还提出了一个新的激活函数，它将隐藏层的两个角色结合起来，使我们能够学习具有非常高的内在维度的数据表示，而标准的自动编码器通常会失败。由于解耦激活函数的作用类似于隐式正则化器，因此可以通过最小化训练数据的重建误差来训练模型，而不需要任何额外的正则化。
2015-04-08 cs.CV cs.LG cs.NE
ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces
Monash University（莫纳什大学）；University of Sydney（悉尼大学）；University of Oxford（牛津大学）；Nanyang Technological University（南洋理工大学）
本文提出 ObjectSDF++，通过遮挡感知对象不透明度渲染和对象区分正则化改进对象组合神经隐式曲面，提升单对象与整体场景重建质量。
2023-08-17 cs.CV
Implicit Bias of Projected Subgradient Method Gives Provable Robust Recovery of Subspaces of Unknown Codimension
Mathematical Institute for Data Science（数据科学数学研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
鲁棒子空间恢复（RSR）是鲁棒表示学习中的一个基本问题.在这里，我们专注于最近提出的RSR方法称为双主成分追踪（DPCP）的方法，其目的是恢复的基础上的子空间的正交补，是适合于处理高相对维数的子空间。先前的工作已经表明，DPCP可以证明恢复正确的子空间中存在的离群值，只要子空间的真实尺寸是已知的。我们表明，DPCP可以证明解决RSR问题的{ \it未知}的子空间维度制度，只要正交约束-在以前的DPCP配方-放松和随机初始化，而不是频谱。也就是说，我们提出了一个非常简单的算法的基础上运行多个实例的投影子梯度下降方法（PSGM），每个问题的实例寻求找到一个向量的零空间的子空间。我们从理论上证明，在温和的条件下，这种方法将成功的概率很高。特别是，我们证明了1）所有的问题实例将收敛到子空间的零空间中的向量，2）问题实例解的集合将足够多样化，以完全跨越子空间的零空间，从而也揭示了其真正的未知余维。我们提供的实证结果证实了我们的理论结果，并展示了显着的隐式秩正则化行为的PSGM算法，使我们能够执行RSR不知道的子空间维数。
2022-01-22 cs.CV cs.LG
Towards High-Fidelity Single-view Holistic Reconstruction of Indoor Scenes
CUHK-Shenzhen（香港中文大学（深圳））；The Future Network of Intelligence Institute, CUHK-Shenzhen（香港中文大学（深圳）未来智联网络研究院）
本文提出了一种从单视点图像重建包括室内背景和室内物体的整体三维室内场景的新框架。由于室内场景遮挡严重，现有方法只能生成几何质量有限的室内物体的三维形状。为了解决这个问题，我们提出了一个实例对齐的隐式函数（InstPIFu）的详细对象重建。结合实例对齐的注意力模块，我们的方法被授权解耦混合局部特征对被遮挡的实例。此外，与以前的方法，简单地表示为一个3D的限界框，深度图或一组平面的房间背景，我们通过隐式表示恢复精细的几何背景。在SUN RGB-D，Pix 3D，3D-FUTURE和3D-FRONT数据集上的大量实验表明，我们的方法在背景和前景对象重建方面都优于现有方法。我们的代码和模型将公开提供。
2022-08-06 cs.CV
NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling
University of Maryland（马里兰大学）；Snap Inc（Snap公司）
隐式神经表示（INR）最近被证明是高质量视频压缩的强大工具。然而，现有的作品是有限的，因为它们没有明确地利用视频中的时间冗余，导致编码时间长。此外，这些方法具有固定的架构，不能扩展到更长的视频或更高的分辨率。为了解决这些问题，我们提出了NIRVANA，它将视频视为一组帧，并将单独的网络适配到每个组，执行分片预测。这种设计在空间和时间维度上在每个组内共享计算，从而减少视频的编码时间。视频表示是自回归建模的，网络适合使用来自前一组模型的权重初始化的当前组。为了进一步提高效率，我们在训练过程中对网络参数进行量化，不需要事后修剪或量化。与以前在基准UVG数据集上的工作相比，NIRVANA将编码质量从37.36提高到37.70（就PSNR而言），编码速度提高了12倍，同时保持相同的压缩率。与之前的视频INR作品相比，这些作品需要更大的分辨率和更长的视频，我们表明我们的算法非常灵活，并且由于其补丁和自回归设计而自然扩展。此外，我们的方法实现可变比特率的压缩，通过适应不同的帧间运动的视频。NIRVANA实现了6倍的解码速度，并可与更多GPU进行良好的扩展，使其适用于各种部署场景。
2022-12-30 cs.CV
Prior-free relative 6D pose estimation of multiple object instances
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
提出无先验相对6D姿态估计新设定，无需CAD模型或参考图像，通过多模态基础特征与循环一致性细化对应关系，估计未知物体多实例间相对姿态，新方法PROSE在基准PRENCH上超越现有方法。
2026-09-09 cs.CV
INCODE: Implicit Neural Conditioning with Prior Knowledge Embeddings
Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学研究所）；Iran University of Science and Technology（伊朗科技大学）；RWTH Aachen University（亚琛工业大学）；University of Tehran（德黑兰大学）；University of Regensburg（雷根斯堡大学）；Northwestern University（西北大学）
INCODE 通过协调器与组合器网络将深度先验知识嵌入隐式神经表示的激活函数控制中，提升信号表示的鲁棒性、精度与收敛速度，并成功应用于重建、NeRF 及多种逆问题。
2023-10-28 cs.CV
MixBCT: Towards Self-Adapting Backward-Compatible Training
Hunan University（湖南大学）；Intellifusion Inc.（云天励飞公司）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州））
MixBCT提出一种自适应向后兼容训练方法，通过混合新旧特征并动态调整约束域，统一处理不同质量的旧模型，在MS1Mv3和IJB-C上超越以往方法。
2024-05-27 cs.CV
Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation
University of California San Diego（加州大学圣迭戈分校）
领域自适应处理使用来自特定源域的大规模标记数据来训练模型，然后将知识适配到具有很少或没有标记的某些目标域。许多现有的作品学习域不可知的特征表示，用于此目的，使用全局分布对齐目标，其不考虑在源和目标域中的更精细的类特定的结构。我们解决这个问题，在我们的工作中，并提出了一个实例的亲和力为基础的标准，在适应过程中的源到目标的转移，称为ILA-DA。我们首先提出了一个可靠的和有效的方法来提取源和目标之间的相似和不相似的样本，并利用多样本对比损失驱动域对齐过程。ILA-DA同时考虑了类内聚类以及类别之间的类间分离，从而减少了分类器边界的噪声，提高了可转移性和准确性。我们通过观察流行的领域自适应方法在各种基准数据集上的准确性的一致改进来验证ILA-DA的有效性，并提供对所提出的对齐方法的见解。代码将在https://github.com/astuti/ILA-DA上公开。
2021-04-03 cs.CV
Deep Exemplar 2D-3D Detection by Adapting from Real to Rendered Views
École des Ponts ParisTech（巴黎路桥学院）；Adobe Research（奥多比研究院）；UC Berkeley（加州大学伯克利分校）
本文提出了一种用于2D-3D样本检测的端到端卷积神经网络（CNN）。我们证明，能够适应自然图像的功能，以更好地与CAD渲染的意见是至关重要的，我们的技术的成功。我们表明，适应可以通过合成自然图像上的纹理对象模型的渲染视图来学习。我们的方法可以自然地纳入CNN检测管道，并将深度学习的最新进展的准确性和速度优势扩展到2D-3D样本检测。我们将我们的方法应用于两个任务：实例检测，我们在IKEA数据集上进行评估，以及对象类别检测，我们在Pascal VOC数据集的子集上进行“椅子”检测时优于Aubry等人。
2016-04-18 cs.CV cs.LG cs.NE
Content-decoupled Contrastive Learning-based Implicit Degradation Modeling for Blind Image Super-Resolution
School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
本文提出CdCL框架，首次将无负样本对比学习与循环移位采样策略用于盲超分辨率的隐式退化建模，实现内容与退化特征解耦，并通过细节感知适应模块在保持竞争力的同时显著降低模型复杂度。
2025-04-01 cs.CV eess.IV
Implicit Modeling of Non-rigid Objects with Cross-Category Signals
United Imaging Intelligence（联影智能）
针对现有非刚性物体隐式建模多聚焦单物体的问题，提出多物体深度隐式函数MODIF，通过跨类别场信号传递和吸引-排斥损失实现多器官精准无碰撞建模，可恢复缺失形状并传播语义信息。
2023-12-15 cs.CV cs.LG
Parametric Instance Classification for Unsupervised Visual Feature Learning
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Xi’an Jiaotong University（西安交通大学）
提出了一种用于无监督视觉特征学习的参数化实例分类方法。与以双分支非参数方式进行实例判别的最新方法不同，PIC直接执行单分支参数实例分类，揭示了类似于监督分类的简单框架，并且不需要解决信息泄漏问题。我们表明，简单的PIC框架可以作为有效的国家的最先进的方法，即Simplified和MoCo v2，通过适应几个常见的组件设置中使用的国家的最先进的方法。我们还提出了两种新的技术来进一步提高PIC的有效性和实用性：1）滑动窗口数据调度器，取代了之前基于纪元的数据调度器，解决了PIC中极不频繁的实例访问问题，提高了有效性; 2）采用负采样和权值更新校正方法，减少训练时间和GPU内存消耗，这也使得能够将PIC应用于几乎无限的训练图像。我们希望事先知情同意框架可以作为一个简单的基线，以方便未来的研究。
2020-06-25 cs.CV cs.LG
InSeGAN: A Generative Approach to Segmenting Identical Instances in Depth Images
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室）；Instituto Superior Técnico, University of Lisbon（里斯本大学高等理工学院）
在本文中，我们提出了InSeGAN，这是一种无监督的3D生成对抗网络（GAN），用于分割深度图像中刚性对象的（几乎）相同实例。使用分析合成的方法，我们设计了一种新的GAN架构来合成多实例深度图像，对每个实例进行独立控制。InSeGAN接受一组码向量（例如，随机噪声向量），每个向量对由学习的隐式对象模板表示的对象的3D姿态进行编码。发生器有两个不同的模块。第一个模块，实例特征生成器，使用每个编码的姿势将隐式模板转换为每个对象实例的特征图表示。第二模块，深度图像渲染器，聚合由第一模块输出的所有单实例特征图，并生成多实例深度图像。一个插值器将所生成的多实例深度图像与真实深度图像的分布区分开。为了将我们的模型用于实例分割，我们提出了一个实例姿态编码器，该编码器学习接收生成的深度图像并为所有对象实例再现姿态代码向量。为了评估我们的方法，我们引入了一个新的合成数据集“Insta-10”，由100，000个深度图像组成，每个图像包含来自10个类之一的对象的5个实例。我们在Insta-10以及真实世界的噪声深度图像上的实验表明，InSeGAN实现了最先进的性能，通常比现有方法表现更好。
2022-01-28 cs.AI cs.CV cs.LG
Instance Separation Emerges from Inpainting
Heidelberg University（海德堡大学）；HHMI Janelia（霍华德·休斯医学研究所珍妮莉亚研究园区）
训练用于修补部分遮挡图像的深度神经网络显示出对图像组成的深刻理解，甚至已被证明可以令人信服地从图像中删除对象。在这项工作中，我们研究了如何利用图像组成的这种隐式知识进行完全自监督的实例分离。我们提出了一个衡量两个图像区域的独立性，给出了一个完全自监督的修复网络，并通过最大限度地提高这种独立性来分离对象。我们在两个显微图像数据集上评估了我们的方法，并表明它达到了与完全监督方法相似的分割性能。
2020-02-28 cs.CV cs.LG stat.ML
MIL-PF: Multiple Instance Learning on Precomputed Features for Mammography Classification
MIL-PF通过预计算特征和轻量级聚合模块，实现高效乳腺分类，减少训练复杂性并提升分类性能。
2026-03-10 cs.AI cs.CV
RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院）；School of Computer Science, The University of Sydney（悉尼大学计算机学院）
RefSAM通过跨模态MLP、层次化密集注意力、隐式跟踪和参数高效调优，将SAM高效适配到指称视频目标分割任务，并在多个基准上验证了其优越性。
2024-09-03 cs.AI cs.CV
Generative Neural Fields by Mixtures of Neural Implicit Functions
POSTECH（浦项科技大学）；University of Pittsburgh（匹兹堡大学）；Seoul National University（首尔大学）
本文提出用隐式基网络线性组合表示生成式神经场，通过元学习或自动解码学习基网络与潜在系数，并结合定制化去噪扩散概率模型采样混合系数，在保持推理高效的同时提升生成容量，在图像、体素和NeRF场景上取得竞争性生成性能。
2023-10-30 cs.CV cs.LG
ZEETAD: Adapting Pretrained Vision-Language Model for Zero-Shot End-to-End Temporal Action Detection
University of Arkansas（阿肯色大学）；FPT Software AI Center（FPT软件人工智能中心）；West Virginia University（西弗吉尼亚大学）
针对现有零样本时序动作检测方法在任务关联构建与模型适配方面的不足，提出含双定位、零样本候选框分类模块的ZEETAD方法，通过轻量适配器微调冻结CLIP编码器，在两个基准数据集上实现更优的零样本检测性能与知识迁移效果。
2023-11-04 cs.AI cs.CV
DARTH: Holistic Test-time Adaptation for Multiple Object Tracking
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对多目标跟踪在测试时面临域偏移且缺乏自适应方案的问题，提出整体式测试时自适应框架DARTH，通过检测一致性自监督适配检测模块、新型块对比损失适配外观表征，在多类域偏移场景下全面提升跟踪性能。
2023-10-03 cs.AI cs.CV
DP-RDM: Adapting Diffusion Models to Private Domains Without Fine-Tuning
Meta AI；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
针对文本到图像扩散模型的样本级记忆隐私问题，提出无需微调的DP-RDM算法，通过DP检索机制用私有数据增强提示，在MS-COCO上以ε=10的隐私预算实现FID较公开检索提升3.5点。
2024-05-13 cs.CR cs.CV cs.LG
