supervised adptive threshold network for instance segmentation
Shanghai Jiao Tong University(上海交通大学)
目前,实例分割在机器学习领域受到越来越多的关注。然而,以往的Mask R-CNN和其他网络模型在信息传播方面存在一些缺陷。本文提出了一种有监督的自适应阈值网络用于实例分割。具体来说,我们采用基于自适应阈值的Mask R-CNN方法,通过建立分层自适应网络结构,对Mask RCNN生成的概率图进行自适应二值化,以获得更好的分割效果,降低出错率。同时,设计了自适应特征池,使网络不同层之间的传输更加准确有效,减少了特征传输过程中的损失,并进一步改进了掩码方法。在基准数据集上的实验表明了该模型的有效性
2021-06-07 cs.CV
AdaptIS: Adaptive Instance Selection Network
Samsung AI Center(三星人工智能中心)
我们提出了自适应实例选择网络架构的类无关的实例分割。给定输入图像和点$(x, y)$,它为位于$(x, y)$的对象生成掩模。网络在AdaIN层的帮助下适应输入点,从而为同一图像上的不同对象生成不同的掩码。AdaptIS生成像素精确的对象遮罩,因此它可以准确地分割复杂形状或严重遮挡的对象。AdaptIS可以很容易地与标准的语义分割流水线相结合,以执行全景分割。为了说明这个想法,我们进行了一个具有挑战性的玩具问题与困难的闭塞实验。然后,我们广泛评估的方法对全景分割基准。我们在Cityscapes和Mapillary上获得了最先进的结果,即使没有在COCO上进行预训练,并且在具有挑战性的COCO数据集上显示出有竞争力的结果。该方法的源代码和训练模型可在https://github.com/saic-vul/adaptis获得。
2019-09-17 cs.CV
Instance-Free Domain Adaptive Object Detection
School of Computer Science(计算机科学学院);Engineering, University of Electronic Science and Technology of China(电子科学与技术学院)
本文提出无实例领域自适应目标检测方法RSCN,通过背景特征原型对齐和关系一致性策略,在无目标实例情况下实现稳健适应,并在三个专门基准测试中取得优越性能。
2026-02-06 cs.CV
DARCNN: Domain Adaptive Region-based Convolutional Neural Network for Unsupervised Instance Segmentation in Biomedical Images
Stanford University(斯坦福大学)
在生物医学领域,存在大量密集、复杂的数据,其中感兴趣的对象可能难以检测或受到人类知识的限制。用于监督任务的标记域特定数据集的获得通常是昂贵的,并且此外,发现新颖的不同对象对于无偏见的科学发现可能是期望的。因此,我们建议利用基准计算机视觉数据集中丰富的注释,对不同的生物医学数据集进行无监督的实例分割。因此,关键的障碍是克服从普通图像到生物医学图像的大范围转移。我们提出了一个域自适应区域为基础的卷积神经网络(DARCNN),适应知识的对象定义COCO,一个大的标记的视觉数据集,多个生物医学数据集。我们在DARCNN中引入了一个域分离模块、一个自监督表示一致性损失和一个增强的伪标签阶段,以有效地在如此大的域偏移中执行领域自适应。我们展示了DARCNN在许多生物医学数据集上进行无监督实例分割的性能。
2021-04-03 cs.CV
iFAN: Image-Instance Full Alignment Networks for Adaptive Object Detection
Malong Technologies(码隆科技);Shenzhen Malong Artificial Intelligence Research Center(深圳码隆人工智能研究中心)
在数据丰富的域上训练对象检测器,并将其应用于数据贫乏的域,性能下降有限,这在工业上非常有吸引力,因为它节省了巨大的注释成本。无监督域自适应目标检测的最新研究已经证实,通过对抗学习对齐源图像和目标图像之间的数据分布是非常有用的。关键是何时、何地以及如何使用它来实现最佳实践。我们提出了图像-实例全对齐网络(iFAN),通过精确对齐图像和实例级别上的特征分布来解决这个问题:1)图像级别对齐:通过以分层嵌套的方式训练对抗域分类器来粗略对齐多尺度特征。2)完整的实例级对齐:充分利用深层语义信息和精细的实例表示,在类别和域之间建立强大的关系。建立这些相关性制定为一个度量学习问题,仔细构造实例对。上述适应可以集成到对象检测器中(例如Faster RCNN),从而产生端到端的可训练框架,其中多个对齐可以以粗略到精细的方式协同工作。在两个领域自适应任务中:合成到真实(SIM 10 K->Cityscapes)和正常到有雾天气(Cityscapes->Foggy Cityscapes),iFAN的性能优于最先进的方法,比仅源基线提高了10%+ AP。
2020-03-09 cs.CV
Instance-Invariant Domain Adaptive Object Detection via Progressive Disentanglement
Tianjin University(天津大学);University of Technology Sydney(悉尼科技大学)
当训练数据和测试数据来自不同的域时,大多数现有技术的目标检测方法的泛化能力较差,例如,不同的风格。为了解决这个问题,以前的方法主要使用整体表示来对齐不同域的特征级和像素级分布,这可能会忽视图像中对象的实例级特征。此外,在跨领域转移检测能力时,重要的是获得领域不变的实例级特征,而不是特定于领域的样式。因此,为了提取实例不变特征,我们应该将领域不变特征和领域特定特征分开。为此,首先提出了一种渐进解纠缠框架来解决域自适应目标检测。特别地,基于用于特征分解的解纠缠学习,我们设计了两个解纠缠层来分解领域不变特征和领域特定特征。在域不变特征的基础上提取实例不变特征。最后,为了提高解纠缠,设计了一个包含多个损失函数的三阶段训练机制来优化我们的模型。在实验中,我们验证了我们的方法的有效性,对三个领域的变化的场景。我们的方法分别比基线方法\cite{saito2019strong}高2.3%、3.6%和4.0%。
2021-02-13 cs.CV
Exploring Categorical Regularization for Domain Adaptive Object Detection
Megvii Technology(旷视科技)
在本文中,我们解决域自适应目标检测问题,其中的主要挑战在于源域和目标域之间的显着域差距。以前的工作试图简单地调整图像级和实例级的变化,以最终最大限度地减少域差异。然而,他们仍然忽略了跨域匹配关键图像区域和重要实例,这将严重影响域偏移缓解。在这项工作中,我们提出了一个简单但有效的分类正则化框架来缓解这个问题。它可以作为一个即插即用组件应用于一系列域自适应快速R-CNN方法,这些方法在处理域自适应检测方面非常突出。具体地说,通过在检测骨干上集成图像级多标签分类器,由于分类方式的弱定位能力,我们可以获得与分类信息对应的稀疏但关键的图像区域。同时,在实例级,我们利用图像级预测(由分类器)和实例级预测(由检测头)之间的分类一致性作为正则化因子来自动搜索目标域的硬对齐实例。各种域移位场景的广泛实验表明,我们的方法比原始域自适应更快的R-CNN检测器获得了显着的性能增益。此外,定性的可视化和分析可以证明我们的方法的能力,参加对领域自适应的关键区域/实例。我们的代码是开源的,可在\url{https://github.com/Megvii-Nanjing/CR-DA-DET}上获得。
2020-03-20 cs.CV
Refine-and-Contrast: Adaptive Instance-Aware BEV Representations for Multi-UAV Collaborative Object Detection
本文提出AdaBEV框架,通过盒引导细化模块和实例-背景对比学习学习自适应实例感知BEV表示,在多无人机协同三维检测中以低分辨率输入实现优越的精度-计算权衡。
2025-08-18 cs.CV
Im2Oil: Stroke-Based Oil Painting Rendering with Linearly Controllable Fineness Via Adaptive Sampling
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种新的基于笔划的绘制(SBR)方法,将图像转化为生动的油画。以前的SBR技术通常将油画问题公式化为逐像素近似。与这种技术路线不同,我们将油画创作视为一个自适应采样问题。首先,我们根据输入图像的纹理复杂度计算概率密度图。然后我们使用Voronoi算法采样一组像素作为笔划锚点。接下来,我们搜索并在每个锚点处生成单独的石油冲程。最后,我们将所有的笔画放在画布上,以获得油画。通过调整超参数最大采样概率,可以线性地控制油画的精细度。与现有的最先进的油画技术的比较表明,我们的结果具有更高的保真度和更真实的纹理。用户意见测试表明,人们对我们的油画比其他方法的结果表现出更大的偏好。更多有趣的结果和代码在https://github.com/TZYSJTU/Im2Oil。
2022-09-27 cs.CV cs.LG cs.MM
Domain Adaptive Nuclei Instance Segmentation and Classification via Category-aware Feature Alignment and Pseudo-labelling
University of Sydney(悉尼大学);University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
在一般计算机视觉中,无监督领域自适应(UDA)方法被广泛用于提高模型的自适应能力。然而,与自然图像不同的是,组织病理学图像中不同类别的细胞核之间存在着巨大的语义鸿沟。我们如何构建广义UDA模型来精确分割或分类不同数据集上的细胞核实例,这一点仍有待探索。在这项工作中,我们提出了一种新的深度神经网络,即类别感知特征对齐和伪标签网络(CAPL-Net),用于UDA核实例分割和分类。具体来说,我们首先提出了一个类别级的特征对齐模块与动态学习权衡权重。其次,我们建议通过基于核级原型特征的伪标签的自监督训练来促进目标数据上的模型性能。跨域核实例分割和分类任务的综合实验表明,我们的方法优于国家的最先进的UDA方法具有显着的利润。
2022-07-04 cs.CV
MV-Adapter: Enhancing Underwater Instance Segmentation via Adaptive Channel Attention
MV-Adapter通过自适应通道注意力机制提升水下实例分割的精度与鲁棒性。
2026-03-01 cs.CV
Hard-aware Instance Adaptive Self-training for Unsupervised Cross-domain Semantic Segmentation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Tencent Wechat AI(腾讯微信AI);School of Information and Communication Engineering, Beijing University of Posts and Telecommunications(北京邮电大学信息与通信工程学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
针对无监督跨域语义分割,提出硬感知实例自适应自训练框架,通过实例自适应选择器生成高质量伪标签,并利用硬感知增强和区域自适应正则化提升性能,在多个基准上超越现有方法。
2025-03-25 cs.CV
Human-Art: A Versatile Human-Centric Dataset Bridging Natural and Artificial Scenes
International Digital Economy Academy(国际数字经济研究院);The Chinese University of Hong Kong(香港中文大学)
该研究提出 Human-Art 数据集,通过包含5个自然和15个人工场景的50k张图像,连接自然与人工场景的以人为中心的视觉任务,并提供基线结果以推动相关研究。
2023-04-05 cs.CV
Densely Semantic Enhancement for Domain Adaptive Region-free Detectors
Fudan University(复旦大学)
无监督域自适应目标检测的目标是将训练好的检测器从具有丰富标记数据的原始源域调整到具有未标记数据的新目标域。先前的工作集中于提高基于区域的检测器的域适应性,例如,Faster-RCNN,通过匹配从区域建议网络(RPN)中显式提取的跨域实例级特征。然而,这不适用于无区域检测器,例如Single Shot检测器(SSD),其从图像中的所有可能位置执行密集预测,并且不具有RPN来编码这种实例级特征。因此,它们无法在无区域检测器的域之间对齐重要的图像区域和关键的实例级特征。在这项工作中,我们提出了一个对抗模块,以加强跨域匹配的实例级功能的区域自由检测器。首先,为了突出图像的重要区域,DSEM学习预测可转移的前景增强掩模,该掩模可以用于抑制图像中的背景干扰。其次,考虑到无区域检测器使用多尺度特征图识别不同尺度的对象,DSEM编码多层次语义表示和跨不同域的多实例空间上下文关系。最后,DSEM可插入不同的无区域检测器,最终通过对抗性学习实现密集的语义特征匹配。在PASCAL VOC、Clipart、Comic、Watercolor和FoggyCityscape基准测试上进行了大量实验,结果表明,该方法不仅提高了无区域检测器的域适应性,而且在各种域偏移设置下优于现有的自适应区域检测器.
2021-08-30 cs.CV
Prompt-DAS: Annotation-Efficient Prompt Learning for Domain Adaptive Semantic Segmentation of Electron Microscopy Images
College of Computer Science and Technology, Huaqiao University, China(计算机科学与技术学院,华侨大学)
本文提出Prompt-DAS,一种面向电子显微镜图像的可提示多任务框架,通过灵活利用点提示和提示引导对比学习,在无监督、弱监督及交互式分割场景下均优于现有方法。
2025-09-23 cs.CV
Dual-level Interaction for Domain Adaptive Semantic Segmentation
Wuhan University(武汉大学)
本文提出双层级交互方法DIDA,通过语义级与实例级一致性约束及动态实例库和跨层级交互生成更可靠的伪标签,显著提升域自适应语义分割性能,尤其在易混淆类和长尾类上表现突出。
2023-08-10 cs.CV
DALI: Domain Adaptive LiDAR Object Detection via Distribution-level and Instance-level Pseudo Label Denoising
Michigan State University(密歇根州立大学)
针对无监督域自适应中伪标签噪声影响激光雷达3D目标检测性能的问题,提出DALI框架,通过分布级尺寸归一化与实例级伪点云生成去噪,在多个主流数据集上取得最优结果。
2024-12-11 cs.CV
AQ3D: Adaptive Query Transformer for 3D Instance Segmentation
Hamburg University of Technology(汉堡工业大学)
本文提出AQ3D,通过自适应查询和改进的位置编码、解码器模块,在无额外数据增强的情况下,于多个ScanNet数据集的3D实例分割任务中取得新的SOTA性能。
2026-09-01 cs.CV
Learning a Domain Classifier Bank for Unsupervised Adaptive Object Detection
Hikvision Research Institute(海康威视研究院);Zhejiang University(浙江大学)
在实际应用中,基于深度网络的目标检测器仍然面临着标记的训练数据和未标记的测试数据之间的大域差距的挑战。为了减少差距,最近的技术提出了通过对齐源和未标记的目标域之间的图像/实例级功能。然而,这些方法遭受的次优问题,主要是因为忽略了对象实例的类别信息。为了解决这个问题,我们开发了一个细粒度的领域对齐方法与一个精心设计的领域分类器银行,实现实例级对齐尊重他们的类别。具体来说,我们首先采用平均教师范式为未标记的样本生成伪标签。然后,我们实现了类级别的领域分类器,并将它们分组在一起,称为领域分类器库,其中每个领域分类器负责对齐特定类的特征。我们组装裸对象检测器与建议的细粒度域对齐机制作为自适应检测器,并优化它与开发的交叉自适应加权机制。在三个流行的迁移基准上的大量实验证明了我们的方法的有效性,并达到了新的显着的国家的艺术。
2020-07-06 cs.CV
UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration
Nanyang Technological University(南洋理工大学);Wenzhou University(温州大学)
域自适应全景分割旨在通过利用一个或多个相关源域中的现成注释数据来减轻数据注释挑战。然而,现有的研究采用两个独立的网络进行实例分割和语义分割,这导致过多的网络参数以及复杂和计算密集的训练和推理过程。我们设计了UniDAformer,一个统一的域自适应全景分割Transformer,它很简单,但可以在单个网络中同时实现域自适应实例分割和语义分割。UniDAformer引入了分层掩模校准(HMC),通过在线实时自我训练,在区域、超像素和像素级别纠正不准确的预测。它有三个独特的特点:1)它能够实现统一的域自适应全景自适应; 2)它减轻了错误预测并有效地改进了域自适应全景分割; 3)它是端到端可训练的,具有简单得多的训练和推理流水线。在多个公共基准上进行的大量实验表明,与最先进的技术相比,UniDAformer实现了卓越的域自适应全景分割。
2023-03-22 cs.CV
Exploring the structure of a real-time, arbitrary neural artistic stylization network
Google Brain(谷歌大脑);MILA, Université de Montréal(蒙特利尔大学MILA)
在本文中,我们提出了一种方法,它结合了艺术风格的神经算法的灵活性与快速风格传输网络的速度,允许使用任何内容/风格图像对实时的【形】风格化。我们建立在最近的工作,利用条件实例规范化的多风格的传输网络,学习预测的条件实例规范化参数直接从一个风格的图像。该模型在大约80,000幅绘画的语料库上成功训练,并且能够推广到以前未观察到的绘画。我们证明了学习的嵌入空间是平滑的,包含丰富的结构,并以完全无监督的方式组织与绘画相关的语义信息。
2017-08-24 cs.CV
Cross-View Regularization for Domain Adaptive Panoptic Segmentation
School of Computer Science Engineering(计算机科学与工程学院);Nanyang Technological University(南洋理工大学)
全景分割将语义分割和实例分割结合起来,近年来受到越来越多的关注。然而,大多数现有的研究是在监督学习设置下进行的,而非监督域自适应全景分割在不同的任务和应用中是至关重要的,在很大程度上被忽视。我们设计了一个域自适应全景分割网络,该网络利用风格间一致性和任务间正则化来实现最佳域自适应全景分割。风格间的一致性利用了不同风格的同一图像的几何不变性,这制造了一定的自我监督来引导网络学习域不变特征。任务间正则化利用实例分割和语义分割的互补性质,并将其用作跨域更好的特征对齐的约束。在多个域自适应全景分割任务(例如,合成到真实和真实到真实)表明,我们提出的网络实现了优越的分割性能相比,国家的最先进的。
2021-03-03 cs.CV
Differential Alignment for Domain Adaptive Object Detection
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对域自适应目标检测中整体特征对齐忽视区域差异的问题,提出差分对齐策略,含预测差异反馈实例对齐模块和不确定性前景导向图像对齐模块,实验证明优于现有方法。
2024-12-17 cs.CV
Towards Robust Adaptive Object Detection under Noisy Annotations
City University of Hong Kong(香港城市大学);Baidu USA LLC(百度美国有限责任公司)
域自适应目标检测(DAOD)对来自带注释的源域的图像和标签的联合分布进行建模,并学习域不变变换以利用给定的目标域图像来估计目标标签。现有的方法假设源域标签是完全干净的,但大规模的数据集往往包含容易出错的注释,由于实例歧义,这可能会导致有偏的源分布和严重降低域自适应检测器的性能事实上。在本文中,我们代表了第一次努力制定嘈杂的DAOD,并提出了一个噪声潜在的可转移性探索(NLTE)框架来解决这个问题。该算法的特点是:1)潜在实例挖掘(PIM),利用符合条件的建议从背景中重新捕获未标注的实例; 2)可变形图关系模块(MGRM),利用关系矩阵对噪声样本的适应可行性和转移概率进行建模; 3)熵感知梯度重调(EAGR),其将语义信息结合到辨别过程中,并强制由噪声和干净样本提供的梯度对于学习域不变表示是一致的。在带有噪声源标注的基准DAOD数据集上进行了全面的评估,验证了NLTE的有效性。特别是,NLTE在60%损坏的注释下将mAP提高了8.4%,甚至接近在干净源数据集上训练的理想上限。
2022-04-06 cs.CV
Line Artist: A Multiple Style Sketch to Painting Synthesis Scheme
Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
画一幅美丽的画是许多人从小的梦想。在本文中,我们提出了一种新的方案,线艺术家,合成艺术风格的绘画与写意素描图像,利用深度学习和先进的算法的力量。我们的方案包括三个模型。草图图像提取(SIE)模型被应用于生成训练数据。它包括平滑现实图像和铅笔素描提取。详细图像合成(DIS)模型训练条件生成对抗网络以生成详细的真实世界信息。自适应加权艺术风格转移(AWAST)模型能够使用VGG19网络和PageRank算法将多种风格的图像与内容相结合。然后通过优化迭代生成吸引人的艺术图像。实验在Kaggle Cats数据集和牛津建筑数据集上进行。我们的合成结果被证明是艺术,美丽和强大的。
2018-03-18 cs.CV
Son of Zorn's Lemma: Targeted Style Transfer Using Instance-aware Semantic Segmentation
University of Maryland, College Park(马里兰大学帕克分校)
风格转换是将源图像的风格映射到目标图像的风格上的一项重要任务。该方法可用于合成特定艺术家或特定绘画的衍生作品。这项工作考虑有针对性的风格转移,其中模板图像的风格被用来改变目标图像的一部分。例如,艺术家可能希望仅改变目标图像中的一个特定对象的风格,而不改变对象的一般形态或周围环境。例如,这在增强现实应用(诸如最近发布的Pokemon GO)中是有用的,其中人们想要改变图像帧中单个真实世界对象的外观以使其看起来像卡通。最值得注意的是,将现实世界的物体渲染成卡通人物已经被用于许多电影和电视节目中,例如即将上映的系列剧《佐恩之子》。我们提出了一种有针对性的风格转移,同时段和风格化的单个对象选择的用户的方法。该方法使用马尔可夫随机场模型来平滑和抗混叠对象边界附近的离群像素,使风格化的对象自然地融入其周围环境。
2017-01-09 cs.CV cs.GR
Cut and Learn for Unsupervised Object Detection and Instance Segmentation
FAIR, Meta AI(元人工智能公司基础人工智能研究院);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);University of Michigan(密歇根大学)
我们提出了Cut-and-LEaRn(CutLER),这是一种用于训练无监督目标检测和分割模型的简单方法。我们利用自监督模型的属性来“发现”没有监督的对象,并将其放大到训练一个没有任何人类标签的最先进的本地化模型。CutLER首先使用我们提出的MaskCut方法为图像中的多个对象生成粗糙掩模,然后使用我们强大的损失函数在这些掩模上学习检测器。我们通过对模型的预测进行自我训练来进一步提高性能。与以前的工作相比,CutLER更简单,兼容不同的检测架构,并检测多个对象。CutLER也是一个zero-shot无监督检测器,在视频帧,绘画,草图等领域的11个基准上将检测性能AP 50提高了2.7倍以上。通过微调,CutLER作为一个低拍摄检测器,在使用5%标签进行训练时,在COCO上超过MoCo-v2 7.3% APbox和6.6% APmask。
2023-01-26 cs.AI cs.CV cs.LG
ARIN: Adaptive Resampling and Instance Normalization for Robust Blind Inpainting of Dunhuang Cave Paintings
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文提出 ARIN 网络,通过自适应重采样与实例归一化并结合 CAR 与 HINet,实现对敦煌洞窟壁画的鲁棒盲修复,尤其对高斯噪声具有强鲁棒性,性能与敦煌挑战赛第一名相当。
2024-02-25 cs.CV
Improving Text-Instance Alignment Of Foreground Conditioned Out-Painting Via Customized Concept Embedding
College of Electronic and Information Engineering, Tongji University, Shanghai, China(电子信息工程学院,同济大学,上海,中国);State Key Laboratory of Autonomous Intelligent Unmanned Systems, Frontiers Science Center for Intelligent Autonomous Systems, Ministry of Education, Shanghai, China(自主智能无人系统国家重点实验室,智能自主系统前沿科学中心,教育部,上海,中国)
针对前景条件外绘中文本驱动方法产生的伪影问题,提出定制化概念嵌入扩散框架,通过实例感知损失和语义保持提示模板定制概念嵌入,显著减少伪影并提升图像质量。
2026-06-09 cs.AI cs.CV
DiffBrush:Just Painting the Art by Your Hands
Beijing University of Post and Telecommunication(北京邮电大学);Tsinghua University(清华大学);Institute of AI (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI));School of Artificial Intelligence(人工智能学院);Northwestern Polytechnical University (NWPU)(西北工业大学)
DiffBrush是一种兼容T2I扩散模型的免训练绘画编辑方法,通过引导潜在表示和注意力图,使用户手绘草图能控制生成图像的布局与对象属性。
2025-02-28 cs.CV cs.MM
SwinDocSegmenter: An End-to-End Unified Domain Adaptive Transformer for Document Instance Segmentation
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
本文提出一种用于文档图像复杂布局端到端实例分割的统一Transformer架构,采用对比训练与混合查询选择进行锚点初始化,并在四大基准上以十亿参数超越现有最先进方法。
2023-05-08 cs.CV cs.LG
Language-Guided Instance-Aware Domain-Adaptive Panoptic Segmentation
ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center, PSI(瑞士数据科学中心 PSI)
本文提出LIDAPS端到端模型,通过IMix实例感知跨域混合和基于CLIP的域对齐,在缓解灾难性遗忘的同时提升全景分割的无监督域自适应性能,并在多个基准上取得最优结果。
2024-12-25 cs.AI cs.CV
Adaptive Post-Processing Drives Instance-Level Detection in Stroke Lesion Segmentation
Oslo University Hospital(奥斯陆大学医院)
该研究针对卒中病灶分割的实例级检测问题,提出VCAP后处理方案,结合Viola2Plus架构,在ISLES'26数据集上显著提升了病灶F1得分,效果优于多数架构改进。
2026-08-18 cs.AI cs.CV
Learning to In-paint: Domain Adaptive Shape Completion for 3D Organ Segmentation
本文提出将形状学习建模为MLM修补任务,并通过形状感知自蒸馏迁移形状知识,在五个器官分割数据集上于多种无监督域适应场景中实现一致提升。
2023-08-17 cs.CV
Few-Shot Domain Adaptive Object Detection for Microscopic Images
Information Technology University(信息技术大学)
针对医学显微图像数据稀缺、类别不平衡导致小样本域自适应目标检测精度低、泛化差的问题,提出包含类别平衡、多层实例对齐、中间层分类损失的新策略,在两个公开显微数据集上取得SOTA结果。
2024-07-10 cs.CV eess.IV
SRAGAN: Saliency Regularized and Attended Generative Adversarial Network for Chinese Ink-wash Painting Style Transfer
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本文提出SRAGAN解决中国水墨画风格迁移中内容细节易被破坏的问题,通过引入显著性检测提出SIOU损失和SANorm正则化内容结构,并设计显著性注意力判别器增强笔触与纹理,实验证明其优于GAN和扩散模型等先进方法。
2025-10-31 cs.CV
ST-SACLF: Style Transfer Informed Self-Attention Classifier for Bias-Aware Painting Classification
Durham University(杜伦大学)
本文提出ST-SACLF绘画分类方法,通过AdaIN风格迁移数据增强、自适应空间注意力和动态样本平衡,在ResNet-50上取得87.24%准确率,并系统分析了骨干网络、消融与增强水平的影响。
2024-08-03 cs.AI cs.CV
OPa-Ma: Text Guided Mamba for 360-degree Image Out-painting
Cleveland Clinic(克利夫兰诊所);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);East China Normal University(华东师范大学);Solon High School(索伦高中);Tianyuan Biotechnology(天元生物科技)
针对360度图像外补任务中现有Transformer方法计算成本高、视觉连续性差的问题,提出融合Mamba状态空间模型与文本引导的OPa-Ma框架,通过VCR和GMA模块实现特征高效融合,在室内外数据集上取得SOTA性能。
2024-07-15 cs.CV
Efficient Cell Painting Image Representation Learning via Cross-Well Aligned Masked Siamese Network
SGSC;PanThera;KAIST(韩国国立科学技术院);Kyung Hee University(庆熙大学);RadiSen Co. Ltd.(RadiSen公司)
提出跨孔对齐掩码孪生网络(CWA-MSN),通过对齐不同孔中相同扰动细胞的嵌入来学习批次鲁棒的细胞图像表示,在基因关系检索基准上以更少数据和参数超越现有方法。
2025-09-24 cs.CV
Combining Semantic Guidance and Deep Reinforcement Learning For Generating Human Level Paintings
Australian National University(澳大利亚国立大学)
基于笔划的非真实感图像的生成是计算机视觉领域的一个重要问题。作为在这个方向上的努力,最近大量的研究工作集中在教机器“如何绘画”,以类似于人类画家的方式。然而,以前的方法的适用性已被限制到数据集的前景对象的位置,规模和显着性的变化很小。因此,我们发现这些方法难以覆盖真实世界图像所具有的粒度和多样性。为此,我们提出了一个语义指导流水线,1)一个双层绘画过程,用于在训练时学习前景和背景画笔之间的区别。2)我们还通过神经对齐模型将不变性引入前景对象的位置和尺度,该模型以端到端的方式将对象定位和空间Transformer网络相结合,以放大到特定的语义实例。3)然后,通过最大化基于新的引导反向传播的焦点奖励来放大聚焦对象的区别特征。所提出的代理不需要对人类笔画数据进行任何监督,并成功地处理了前景对象属性的变化,从而为CUB-200 Birds和Stanford Cars-196数据集生成了更高质量的画布。最后,我们通过评估我们的方法在具有挑战性的Virtual-KITTI数据集上的扩展,证明了我们的方法在具有多个前景对象实例的复杂数据集上的进一步功效。源代码和模型可在https://github.com/1jsingh/semantic-guidance上获得。
2021-06-15 cs.CG cs.CV cs.LG
A Method for Arbitrary Instance Style Transfer
Lionsgate Entertainment Corp.(狮门娱乐公司);University of Southern California(南加州大学)
合成不同图像的风格和内容以形成视觉上连贯的图像的能力在诸如风格绘画、设计原型、图像编辑和增强现实的各种应用中具有很大的前景。然而,图像风格转移中的大多数作品都集中在将一个图像的风格转移到另一个图像的整体上,并且只有极少数作品试验了将风格转移到另一个图像的实例的方法。研究人员已经提出了一些方法来规避将样式转移到任意形状的实例的困难。在本文中,我们提出了一种拓扑启发算法,称为向前拉伸,通过将实例转换为张量表示来解决这个问题,这使我们能够直接将样式转移到这个实例本身。前向拉伸将像素映射到特定位置并在像素之间插值以将实例转换为张量。该算法允许我们引入一种方法来将任意样式转换为任意形状的实例。我们在本文中展示了我们的方法的结果。
2019-12-13 cs.CV
Large-image Object Detection for Fine-grained Recognition of Punches Patterns in Medieval Panel Painting
Faculty of Science and Engineering, University of Groningen(格罗宁根大学科学与工程学院)
本研究利用YOLOv10和滑动窗口方法,对中世纪板画中的冲压图案进行目标检测,以支持艺术品的自动归属,实验表明该方法可可靠用于冲压的识别与提取。
2025-04-24 cs.AI cs.CV cs.LG
Multi-Domain Image-to-Image Translation with Adaptive Inference Graph
Vingroup Big Data Institute(Vingroup大数据研究所);Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
在这项工作中,我们解决了多域图像到图像的翻译问题,特别注意计算成本。特别地,当前最先进的模型需要大而深的模型,以便处理多个域的视觉多样性。在计算资源有限的情况下,增加网络规模可能是不可能的。因此,我们建议通过使用自适应图结构来增加网络容量。在推理时,网络通过选择特定的子网络来估计自己的图。子网络选择使用Gumbel-Softmax实现,以允许端到端训练。这种方法导致参数数量的可调节增加,同时保持几乎恒定的计算成本。我们对两个公开的面部和绘画图像数据集的评估表明,我们的自适应策略生成的图像比文献方法更好,伪影更少
2021-01-11 cs.CV
Not All Instances Contribute Equally: Instance-adaptive Class Representation Learning for Few-Shot Visual Recognition
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室);JD Explore Academy(京东探索研究院);Beijing Institute of Technology(北京理工大学);Nanyang Technological University(南洋理工大学)
Few-Shot视觉识别是指从少量标记实例中识别新的视觉概念。许多Few-Shot视觉识别方法采用基于度量的元学习范式,通过比较查询表示和类表示来预测查询实例的类别。然而,目前的基于度量的方法通常平等地对待所有实例,因此经常获得有偏见的类表示,考虑到不是所有的实例都同样重要时,总结类级表示的实例级表示。例如,某些实例可能包含不具有代表性的信息,例如太多的背景和不相关概念的信息,这会扭曲结果。为了解决上述问题,我们提出了一种新的基于度量的元学习框架称为实例自适应类表示学习网络(ICRL-Net)的Few-Shot视觉识别。具体来说,我们开发了一个自适应的实例重估网络的能力,以解决有偏见的代表性问题时,产生的类表示,通过学习和分配自适应的权重为不同的实例,根据其相对重要性在相应的类的支持集。此外,我们设计了一个改进的双线性实例表示,并纳入两个新的结构损失,即,类内实例聚类损失和类间表示区分损失,以进一步规范实例重估过程,细化类表示。我们对四个常用的Few-Shot基准测试进行了广泛的实验:miniImageNet,tieredImageNet,CIFAR-FS和FC 100数据集。实验结果表明,我们的ICRL-Net与国家的最先进的方法相比的优越性。
2022-09-07 cs.CV
Domain-adaptive Zero-Shot Image Enhancement via Locality-Constrained Diffusion Guidance
VRVis GmbH(VRVis 有限公司)
本文提出LocDiff,一种局部约束扩散引导方法,在零样本设置下实现跨域图像增强,平衡目标域真实感与源域关键特征保留,并在艺术转照片和低质量超声增强任务上验证了其优越性。
2026-09-29 cs.CV
Easier Painting Than Thinking: Can Text-to-Image Models Set the Stage, but Not Direct the Play?
University of Science and Technology of China(中国科学技术大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);The University of Hong Kong(香港大学)
本文提出T2I-CoReBench基准测试,用于评估文本到图像模型的组合与推理能力,揭示现有模型在高组合场景和推理任务中的局限性。
2026-02-28 cs.CV
Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation
University of Science and Technology of China(中国科学技术大学);Jianghuai Advance Technology Center(江淮先进技术中心)
本文提出AG-Pose方法,通过实例自适应关键点检测和几何感知特征聚合两个模块,提升类别级6D姿态估计对未见实例的泛化能力,并在CAMERA25和REAL275上显著超越现有方法。
2024-03-28 cs.CV
Instance Adaptive Self-Training for Unsupervised Domain Adaptation
Beijing University of Posts and Telecommunications(北京邮电大学);University of California, Berkeley(加州大学伯克利分校)
标记的训练数据和未标记的测试数据之间的分歧是最近深度学习模型的一个重大挑战。无监督领域自适应(UDA)试图解决这样的问题。最近的工作表明,自我训练是一个强大的方法UDA。然而,现有的方法在平衡可扩展性和性能方面存在困难。在本文中,我们提出了一个实例自适应自训练框架的UDA任务的语义分割。为了有效地提高伪标签的质量,我们开发了一种新的伪标签生成策略与实例自适应选择器。此外,我们还提出了区域引导的正则化方法来平滑伪标记区域和锐化非伪标记区域。该方法简洁高效,易于推广到其他无监督领域自适应方法。在“GTA5 to Cityscapes”和“SYNTHIA to Cityscapes”上的实验表明,与最先进的方法相比,我们的方法具有更好的性能。
2020-08-27 cs.CV
Learnable Instance Attention Filtering for Adaptive Detector Distillation
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Bowling Green State University(博林格林州立大学)
本文提出LIAF-KD框架,通过可学习的实例选择器动态评估和重新加权实例重要性,提升检测器蒸馏效果,在KITTI和COCO数据集上实现2%的提升。
2026-03-27 cs.CV
FrustumFormer: Adaptive Instance-aware Resampling for Multi-view 3D Detection
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);HKISI_CAS(香港创新研究院(中国科学院))
在多视点三维目标检测中,特征从二维透视空间到三维空间的转换是必不可少的。最近的方法主要集中在视图转换的设计,无论是逐像素提升透视图功能到3D空间与估计的深度或网格通过3D投影构建BEV功能,平等对待所有像素或网格。然而,选择要转换的内容也很重要,但以前很少讨论。一辆行驶中的汽车的像素比天空的像素信息量更大。为了充分利用图像中所包含的信息,视图变换应该能够根据图像的内容适应不同的图像区域。在本文中,我们提出了一个新的框架名为FrustumFormer,它更加关注的功能,在实例区域通过自适应的实例感知resstriking。具体而言,该模型通过利用图像视图对象提案来获得鸟瞰视图上的实例平截头体。学习实例平截头体内的自适应占用掩码以细化实例位置。此外,时间截头体相交可以进一步降低目标定位的不确定性。在nuScenes数据集上的综合实验证明了FrustumFormer的有效性,并且我们在基准测试上实现了新的最先进的性能。代码和模型将在https://github.com/Robertwyq/Frustum上提供。
2023-03-24 cs.CV
Hypernetwork-Based Adaptive Aggregation for Multimodal Multiple-Instance Learning in Predicting Coronary Calcium Debulking
Department of Advanced Information Technology, Kyushu University(九州大学先进信息技术系);Department of Cardiovascular Medicine, Kyushu University(九州大学心血管医学系)
本文提出HyperAdAgFormer,通过超网络自适应聚合策略,用于多模态多实例学习预测冠状动脉钙化去除的必要性。
2026-01-29 cs.CV
Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain Supervision for Domain-adaptive Action Detection
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
我们提出了一种新的域自适应动作检测方法和一种新的自适应协议,利用图像级无监督领域自适应(UDA)技术的最新进展,并处理实例级视频数据的变幻莫测。自训练结合跨领域混合采样在无监督领域自适应(UDA)背景下的语义分割中表现出显著的性能增益。出于这一事实,我们提出了一种用于视频中人体动作检测的方法,该方法使用混合采样和基于伪标签的自训练将知识从源域(注释数据集)转移到目标域(未注释数据集)。现有的UDA技术遵循用于语义分割的ClassMix算法。然而,简单地采用ClassMix进行动作检测是行不通的,主要是因为这是两个完全不同的问题,即,像素标签分类与实例标签检测。为了解决这个问题,我们提出了一种新的动作实例混合采样技术,结合跨域的信息的基础上的动作实例,而不是动作类。此外,我们提出了一个新的UDA训练协议,通过使用辅助源域(ASD)的监督来解决长尾样本分布和域偏移问题。对于ASD,我们提出了一个新的动作检测数据集,具有密集的帧级注释。我们将我们提出的框架命名为域自适应动作实例混合(DA-AIM)。我们证明,DA-AIM始终优于以前的作品具有挑战性的领域自适应基准。源代码可在https://github.com/wwwfan628/DA-AIM上获得。
2022-10-06 cs.CV
Domain Transfer Multi-Instance Dictionary Learning
Sichuan University(四川大学);Catholic University of Murcia(穆尔西亚天主教大学)
本文研究了多实例数据的领域迁移学习问题。我们假设我们已经有一个来自源域的经过良好训练的多实例字典及其相应的分类器,可以用来表示和分类袋子。但不能直接用于目标域。因此,我们建议通过在源域分类器中添加自适应项来使它们适应目标域。自适应函数是一个基于域转移多实例字典的线性函数。给定一个目标领域包,我们首先使用领域转移字典将其映射到包级特征空间,然后对其包级特征向量应用线性自适应函数。为了学习域转移字典和自适应函数参数,我们同时最小化目标域分类器在目标域训练集上的平均分类误差,以及自适应函数参数和域转移字典的复杂度。最小化问题的求解采用交替更新字典和函数参数的迭代算法。在多个基准数据集上的实验表明,该方法优于现有的最先进的领域转移多示例学习方法。
2016-05-26 cs.CV
Episode Adaptive Embedding Networks for Few-shot Learning
Australian National University(澳大利亚国立大学)
少样本学习的目标是使用每个类的一些标记实例来学习分类器。少样本学习的度量学习方法将样本嵌入到高维空间中,并基于样本嵌入之间的距离进行分类。然而,这样的实例嵌入通常在所有剧集中共享,因此缺乏根据特定于剧集的特征来概括分类器的区分能力。在本文中,我们提出了一种新的方法,即\emph{Episode Adaptive Embedding Network}(EAEN),学习情节特定的嵌入的实例。通过利用每个通道像素嵌入维度上情节中所有实例的概率分布,EAEN不仅可以缓解少样本学习任务中遇到的过拟合问题,而且还可以捕获特定于情节的判别特征。为了实证验证EAEN的有效性和鲁棒性,我们在三个广泛使用的基准数据集上进行了大量的实验,在不同的通用嵌入骨干和不同分类器的各种组合下。实验结果表明,EAEN算法在不同的环境下,显著提高了$10\%$到$20\%$的分类精度。
2021-06-17 cs.CV