Improving Explainability of Disentangled Representations using Multipath-Attribution Mappings
DKFZ(德国癌症研究中心);ETH Zürich(苏黎世联邦理工学院)
针对现有图像解释方法无法说明视觉特征使用原因的问题,提出结合可解释解耦表示与多路径归因映射的框架,可辅助因果提取、提升模型鲁棒性,已在合成基准和医学数据集上验证有效。
2023-06-15 cs.CV
ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models
Duke University(杜克大学);Adobe Research(奥多比研究院)
针对扩散模型生成富文本图像时文本渲染不准确、融合性差的问题,提出ARTIST框架,通过解耦的文本扩散模型预训练与视觉扩散模型微调,并结合大型语言模型解读用户意图,在MARIO-Eval基准上实现各项指标高达15%的提升。
2024-12-02 cs.CV
Disentangled Image Generation Through Structured Noise Injection
King Abdullah University for Science and Technology (KAUST)(阿卜杜拉国王科技大学)
我们探索了不同的设计选择,将噪声注入生成对抗网络(GANs),目的是解开潜在空间。与传统的方法不同,我们提出了通过单独的全连接层分别馈送多个噪声代码。目的是限制每个噪声代码对生成图像的特定部分的影响。我们发现,在第一层的生成器网络的解纠缠导致在生成的图像解纠缠。通过一个基于网格的结构,我们实现了几个方面的解纠缠,而不复杂的网络架构,不需要标签。我们实现了空间解纠缠,尺度空间解纠缠,并从背景风格的前景对象的解纠缠,允许对生成的图像进行细粒度的控制。例子包括改变面部图像中的面部表情,改变鸟图像中的喙长,以及改变汽车图像中的汽车尺寸。这在经验上导致比FFHQ数据集上的最先进方法更好的解缠结分数。
2020-05-05 cs.CV
OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
本文提出统一框架OmniPaint,将对象移除与插入建模为相互依赖的过程,结合扩散先验、渐进式训练和CycleFlow无配对细化,并引入CFD无参考评估指标,实现高保真且场景一致的图像编辑。
2025-03-12 cs.CV
Contextual Interference Reduction by Selective Fine-Tuning of Neural Networks
York University(约克大学)
前景目标对象和背景周围上下文的特征解纠缠尚未完全完成。网络可解释性的缺乏阻碍了特征分解和更好的泛化鲁棒性的发展。在这项工作中,我们研究的背景下干扰的作用与解纠缠的前景目标对象表示。我们假设,由于具有欠约束学习算法的卷积网络的密集分层参数化,周围上下文的表示与前景对象紧密相关。工作的框架,从自下而上和自上而下的处理范式的好处,我们研究了一个系统的方法来转移学习表征前馈网络从强调无关的上下文的前景对象。自上而下的处理提供了重要性图作为网络内部自解释的手段,这将引导学习算法集中于相关的前景区域,以实现更鲁棒的表示。我们定义了一个实验性的评估设置,强调使用MNIST数据集的上下文的作用。实验结果表明,不仅提高了标签预测的准确性,但也获得了更高程度的鲁棒性的背景扰动,使用各种噪声产生方法。
2020-11-21 cs.CV
HDR image watermarking using saliency detection and quantization index modulation
Monash University Malaysia(马来西亚莫纳什大学);Okayama University(冈山大学)
高动态范围(HDR)图像在互联网上迅速传播,存在被利用进行未经授权使用的风险。为了保护这些图像,提出了一些基于HDR图像的水印(HDR-IW)方法。然而,他们继承了传统的IW方法所面临的标准动态范围(SDR)的图像,其中只有相互冲突的要求之间的权衡管理,而不是同时改善相同的问题。本文提出了一种新的基于显著性(引人注目的对象)检测的权衡独立的HDR-IW,同时提高鲁棒性,不可感知性和有效载荷。首先,宿主图像通过我们提出的显著性目标检测模型来产生显著性图,然后利用该显著性图来分割宿主图像的前景和背景。然后,使用相同的掩码将二值水印分割为前景和背景,并使用随机置换算法进行置乱。最后,水印段被嵌入到相应的主机段使用量化索引调制选定的位平面。实验结果表明,所提出的工作优于国家的最先进的方法,在改善冲突的要求。
2023-02-23 cs.CV cs.MM
Efficient training for future video generation based on hierarchical disentangled representation of latent variables
The University of Tokyo(东京大学);RIKEN(理化学研究所)
生成预测给定序列的未来的视频近年来一直是活跃的研究领域。然而,一个根本的问题仍然没有解决:大多数方法需要大量的计算成本和内存使用的训练。在本文中,我们提出了一种新的方法,用于生成未来的预测视频,比传统的方法占用更少的内存。这是生成高图像质量视频的关键垫脚石,类似于图像生成领域最新作品中生成的图像。我们通过在两个阶段训练我们的方法来实现高效率:(1)图像重建将视频帧编码为潜变量,以及(2)潜变量预测生成未来序列。我们的方法实现了一个有效的压缩视频到低维的潜变量分解的每一帧,根据其层次结构。也就是说,我们认为,视频可以分为背景和前景对象,每个对象持有时变和时间无关的信息独立。我们的实验表明,该方法可以有效地生成未来的预测视频,即使是复杂的数据集,不能处理以前的方法。
2021-06-08 cs.CV
Deep Image Harmonization in Dual Color Spaces
Shanghai Jiao Tong University(上海交通大学)
本文提出在RGB和Lab双颜色空间中利用解耦的颜色与光照特征进行图像协调,通过U-Net主干、Lab编码与控制模块提升前景与背景的一致性。
2023-08-05 cs.CV
Attending Category Disentangled Global Context for Image Classification
在本文中,我们提出了一个通用的框架,图像分类使用的注意力机制和全球范围内,它可以结合各种网络架构,以提高其性能。为了研究全局上下文的能力,我们比较了四个数学模型,并观察到编码在类别解纠缠条件生成模型中的全局上下文可以提供更多的指导,因为“知道什么是任务无关的也会知道什么是相关的”。基于这一发现,我们定义了一种新的类别解纠缠全局上下文(CDGC),并设计了一个深度网络来获取它。通过参加CDGC,基线网络可以更准确地识别感兴趣的对象,从而提高性能。我们将该框架应用于许多不同的网络架构,并在四个公开的数据集上与最先进的网络架构进行比较。大量的结果验证了我们的方法的有效性和优越性。准则将在书面接受后公布。
2022-06-07 cs.CV
Improving Multiple Object Tracking with Optical Flow and Edge Preprocessing
Polytechnique Montréal(蒙特利尔综合理工学院)
在本文中,我们提出了一种新的方法来检测道路用户在城市环境中,导致多目标跟踪的改进。我们的方法作为一个输入的前景图像,并提高了目标检测和分割。这个新图像可以用作跟踪器的输入,跟踪器使用来自背景减除的前景斑点。第一步是为城市视频中的所有帧创建前景图像。然后,从前景图像的原始斑点开始,我们合并彼此接近并且具有相似光流的斑点。下一步是提取不同对象的边缘,以检测可能非常接近的多个对象(并合并在同一个斑点中),并调整原始斑点的大小。同时,我们使用光流来检测在相反方向上移动的物体的遮挡。最后,我们决定我们保留哪些信息,以便构建一个新的前景图像与斑点,可用于跟踪。该系统在城市交通数据集的四个视频上进行了验证。我们的方法提高了召回率和精度指标相比,香草背景减法的目标检测任务,并提高了CLEAR MOT指标的跟踪任务,大多数视频。
2018-01-29 cs.CV
Disentangled Image Matting
Megvii Technology(旷视科技);Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
大多数以前的图像抠图方法需要一个粗略指定的三分图作为输入,并估计分数阿尔法值的所有像素的未知区域的三分图。在本文中,我们认为,直接估计从一个粗糙的trimap的alpha蒙版是以前的方法的一个主要限制,因为这种做法试图解决两个困难的和本质上不同的问题在同一时间:识别真正的混合像素的trimap区域内,并估计准确的alpha值。我们提出了AdaMatting,一个新的端到端的抠图框架,将这个问题分解为两个子任务:trimap适应和alpha估计。Trimap自适应是一个逐像素分类问题,通过识别明确的前景,背景和半透明图像区域来推断输入图像的全局结构。Alpha估计是计算每个混合像素的不透明度值的回归问题。我们的方法在单个深度卷积神经网络(CNN)中分别处理这两个子任务。大量的实验表明,AdaMatting具有额外的结构意识和trimap容错。我们的方法在Adobe Composition-1 k数据集上定性和定量地实现了最先进的性能。它也是目前alphamatting.com在线评估所有常用指标的最佳方法。
2019-09-10 cs.CV
High-Fidelity Synthesis with Disentangled Representation
KAIST(韩国科学技术院);University of Michigan(密歇根大学);Google Brain(谷歌大脑)
在没有监督的情况下学习数据的非纠缠表示是提高生成模型可解释性的重要一步。尽管最近在解纠缠表示学习方面取得了进展,但现有方法经常遭受表示学习和生成性能之间的权衡(即,提高生成质量牺牲解纠缠性能)。我们提出了一个信息蒸馏生成对抗网络(ID-GAN),这是一个简单而通用的框架,可以很容易地将现有的最先进的模型结合起来,用于解纠缠学习和高保真合成。我们的方法使用基于VAE的模型学习解纠缠表示,并将学习的表示与额外的滋扰变量提取到单独的基于GAN的生成器中,以进行高保真度合成。为了确保两个生成模型被对齐以呈现相同的生成因子,我们进一步约束GAN生成器以最大化学习的潜码和输出之间的互信息。尽管简单,我们表明,所提出的方法是非常有效的,实现可比的图像生成质量的国家的最先进的方法使用的解纠缠表示。我们还表明,所提出的分解导致一个有效的和稳定的模型设计,我们展示了照片般逼真的高分辨率图像合成结果(1024 x1024像素)的第一次使用解开表示。
2020-01-13 cs.CV eess.IV
SA-DVAE: Improving Zero-Shot Skeleton-Based Action Recognition by Disentangled Variational Autoencoders
National Taiwan University(台湾大学);Chang Gung University(长庚大学);Artificial Intelligence Research Center, Chang Gung University(长庚大学人工智能研究中心)
针对零样本骨架动作识别中数据不平衡导致的对齐难题,提出SA-DVAE方法,利用解缠变分自编码器分离骨架特征,提升语义对齐性能,在三个基准数据集上超越现有方法。
2024-07-18 cs.CV cs.LG
Disentangled Contrastive Image Translation for Nighttime Surveillance
本文提出解耦对比学习方法 DiCo,通过颜色不变量物理先验和前景背景解耦表示,在生成对抗网络中实现夜间监控图像到白天的高保真转换,并发布 NightSuR 数据集。
2023-07-11 cs.CV
GARDEN: Gravity-Aligned Reconstruction of Disentangled ENvironments from RGB images
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
提出GARDEN框架,利用重力先验将多视图RGB图像重建为具有显式刚体和解耦背景的结构化混合场景表示,支持直接物理模拟。
2026-07-08 cs.CV
Improving SCGAN's Similarity Constraint and Learning a Better Disentangled Representation
Isfahan University of Technology(伊斯法罕理工大学)
本文通过揭示 SCGAN 相似性约束的对比损失本质,引入 SSIM 与对比损失原则改进模型,提升了 FID、FactorVAE 表现及泛化能力。
2023-12-07 cs.CV cs.LG eess.IV
A Semantically Disentangled Unified Model for Multi-category 3D Anomaly Detection
Kyung Hee University(庆熙大学)
本文提出一种语义解耦的统一模型,通过解耦语义表示提升多类3D异常检测的可靠性与性能,实验表明其在统一模型和类别特定模型上均取得SOTA结果。
2026-03-26 cs.CV
Pinco: Position-induced Consistent Adapter for Diffusion Transformer in Foreground-conditioned Inpainting
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
针对前景条件修复中主体形状膨胀、变形及文本对齐差的问题,提出即插即用适配器Pinco,通过自一致性适配器、解耦特征提取和共享位置嵌入锚点,实现高质量背景生成与主体形状保持。
2025-08-06 cs.CV
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);Wells Fargo(富国银行)
针对现有解耦表示学习中解耦效果与重构质量的权衡问题,提出多阶段建模方法,先学习解耦因子再用生成模型补充相关潜在变量细节,在多基准上实现同等解耦性能下更高重构质量,还可用于合成表格数据生成。
2024-11-04 cs.CV cs.LG stat.ML
SemanticStitch: Enhancing Image Coherence through Foreground-Aware Seam Carving
ShanghaiTech University(上海科技大学);University of Macau(澳门大学)
SemanticStitch通过整合前景物体的语义信息,提升图像拼接的视觉一致性和连续性,采用新颖的损失函数和现实世界数据集验证其有效性。
2025-11-21 cs.CV
Invariant Learning via Diffusion Dreamed Distribution Shifts
University of Maryland(马里兰大学)
虽然背景是图像分类的一个重要信号,但当前景和背景之间的虚假相关性在测试时被打破时,过度依赖背景会导致不正确的预测。在这些相关性无偏的数据集上进行训练将导致更强大的模型。在本文中,我们提出了这样一个数据集称为扩散梦想分布偏移(D3S)。D3S由通过StableDiffusion生成的合成图像组成,该合成图像使用文本提示和通过将样本前景图像粘贴到背景模板图像上获得的图像引导。使用这种可扩展的方法,我们从10个不同背景中的所有1000个ImageNet类中生成120K的对象图像。由于扩散模型令人难以置信的照片真实感,我们的图像比以前的合成数据集更接近自然图像。D3S包含一个超过17K图像的验证集,其标签在MTurk研究中经过人工验证。使用验证集,我们评估了几种流行的DNN图像分类器,发现模型的分类性能通常会在我们的背景多样化图像上受到影响。接下来,我们利用D3S中的前景和背景标签来学习前景(背景)表示,该前景(背景)表示通过惩罚前景(背景)特征和背景(前景)标签之间的互信息来对背景(前景)的变化保持不变。在这些特征上训练的线性分类器从前景(背景)预测前景(背景)的准确率高达82.9%(93.8%),而从背景和前景预测这些标签的分类器的准确率分别为2.4%和45.6%。这表明我们的前景和背景特征很好地分离了。我们进一步测试这些表示的有效性,通过训练分类器的任务具有很强的虚假相关性。
2022-11-18 cs.CV cs.LG
Disentangling Motion, Foreground and Background Features in Videos
Beihang University(北京航空航天大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Microsoft(微软)
本文介绍了一种无监督的框架,提取语义丰富的视频表示的功能。受人类视觉系统如何根据运动线索对对象进行分组的启发,我们提出了一种深度卷积神经网络,可以将运动、前景和背景信息分离开来。所提出的架构包括用于16帧块的3D卷积特征编码器,该编码器针对序列的第一帧和最后一帧的重建任务进行训练。进行了一个初步的监督实验,以验证所提出的方法的可行性,通过训练模型与UCF-101数据集的一部分视频,作为地面真理的活动区域周围的边界框。定性结果表明,该网络可以成功地分割前景和背景的视频,以及更新的前景外观的基础上解开运动特征。这些学习特征的好处在判别分类任务中显示出来,其中使用所提出的预训练方法初始化网络的性能优于随机初始化和自动编码器预训练。我们的模型和源代码可以在https://imatge-upc.github.io/unsupervised-2017-cvprw/上公开获得。
2017-07-17 cs.AI cs.CV cs.MM
Improving Text-Instance Alignment Of Foreground Conditioned Out-Painting Via Customized Concept Embedding
College of Electronic and Information Engineering, Tongji University, Shanghai, China(电子信息工程学院,同济大学,上海,中国);State Key Laboratory of Autonomous Intelligent Unmanned Systems, Frontiers Science Center for Intelligent Autonomous Systems, Ministry of Education, Shanghai, China(自主智能无人系统国家重点实验室,智能自主系统前沿科学中心,教育部,上海,中国)
针对前景条件外绘中文本驱动方法产生的伪影问题,提出定制化概念嵌入扩散框架,通过实例感知损失和语义保持提示模板定制概念嵌入,显著减少伪影并提升图像质量。
2026-06-09 cs.AI cs.CV
Foreground Guidance and Multi-Layer Feature Fusion for Unsupervised Object Discovery with Transformers
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
无监督对象发现(UOD)最近通过采用预训练的Transformer特征取得了令人鼓舞的进展。然而,基于Transformers的当前方法主要集中于设计定位头(例如,种子选择-扩展和标准化切割),而忽略了改进Transformer特性的重要性。在这项工作中,我们从特征增强的角度处理UOD任务,并提出FOREground指导和多层特征融合的无监督对象发现,称为FORMULA。首先,我们提出了一种前景指导策略,使用现成的UOD检测器来突出特征图上的前景区域,然后以迭代的方式细化对象位置。此外,为了解决目标检测中的尺度变化问题,我们设计了一个多层特征融合模块,将不同尺度下的目标特征进行融合。在VOC 07、VOC 12和COCO 20 k上的实验表明,所提出的FORMULA算法在无监督对象发现方面取得了新的成果。该代码将在https://github.com/VDIGPKU/FORMULA上发布。
2022-10-24 cs.CV
DisEnvisioner: Disentangled and Enriched Visual Prompt for Customized Image Generation
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
本文提出免微调的 DisEnvisioner,仅用单图将主体本质特征与无关信息解耦为视觉 token 并加以细粒度丰富,从而提升定制生成的可编辑性、ID一致性、速度与画质。
2024-10-28 cs.CV
Collaborative Video Object Segmentation by Multi-Scale Foreground-Background Integration
University of Technology Sydney(悉尼科技大学)
本文研究了嵌入学习的原理,以解决具有挑战性的半监督视频对象分割。与以前专注于探索前景对象的嵌入学习的实践不同,我们认为背景应该被平等对待。因此,我们提出了一个协同视频对象分割的前景-背景集成(CFBI)的方法。CFBI将特征嵌入分离到前景对象区域和其对应的背景区域中,隐式地促进它们的对比度,并相应地改善分割结果。此外,CFBI执行像素级的匹配过程和实例级的注意力机制之间的参考和预测序列,使CFBI强大的各种对象尺度。在CFBI的基础上,引入了多尺度匹配结构,提出了Atrous匹配策略,得到了一个更健壮、更高效的框架CFBI+。我们对两个流行的基准进行了广泛的实验,即,DAVIS和Youtube-VOS在没有应用任何模拟数据进行预训练的情况下,我们的CFBI+实现了82.9%和82.8%的性能(J&F),优于所有其他最先进的方法。代码:https://github.com/z-x-yang/CFBI.
2021-05-16 cs.CV
Disentangled Deep Autoencoding Regularization for Robust Image Classification
Shanghai Jiao Tong University(上海交通大学);NEC Labs America - Princeton(美国电气通信技术公司美国研究院 - 普林斯顿);Princeton University(普林斯顿大学)
尽管在机器学习方面取得了革命性的成功,但最近发现深度卷积神经网络容易受到对抗攻击的攻击,并且难以推广到具有相当大的几何变换的新测试图像。受最近神经科学发现的启发,揭示了灵长类动物的大脑使用解纠缠的形状和外观表示进行对象识别,我们提出了一个通用的解纠缠的深度自编码正则化框架,可以很容易地应用于任何基于深度嵌入的分类模型,以提高深度神经网络的鲁棒性。我们的框架有效地学习了解纠缠的外观代码和几何代码,用于鲁棒的图像分类,这是第一个基于解纠缠的方法防御对抗攻击,并补充标准的防御方法。在几个基准数据集上的大量实验表明,我们提出的正则化框架利用解纠缠嵌入显著优于传统的非正则化卷积神经网络用于图像分类,对对抗攻击和推广到新的测试数据的鲁棒性。
2019-02-27 cs.CV cs.LG stat.ML
DR Loss: Improving Object Detection by Distributional Ranking
Alibaba Group(阿里巴巴集团)
大多数目标检测算法可以分为两类:两阶段检测器和一阶段检测器。近年来,单级探测器由于其结构简单而有效,已成为研究的热点。与两阶段检测器不同,一阶段检测器的目标是在单个阶段中从所有候选对象中识别前景对象。这种架构是有效的,但可能遭受的不平衡问题,相对于两个方面:类间的不平衡之间的数量的候选人从前景和背景类和类内的不平衡的硬度的背景候选人,其中只有少数候选人是很难被识别。在这项工作中,我们提出了一种新的分布式排名(DR)损失来应对挑战。对于每个图像,我们将分类问题转换为排名问题,该问题考虑图像内的候选人对,以解决类间不平衡问题。然后,我们将前景和背景的置信度分数的分布推向决策边界。在此之后,我们优化的排名的期望派生的分布,而不是原来的对。我们的方法不仅减轻了类内不平衡的问题,在背景的候选人,但也提高了排名算法的效率。通过将RetinaNet中的焦点损失替换为已开发的DR损失,并应用ResNet-101作为主干,COCO上的单尺度测试的mAP可以从39.1%提高到41.7%,而无需花里胡哨,这证明了所提出的损失函数的有效性。代码可在\url{https://github.com/idstcv/DR_loss}上获得。
2020-04-13 cs.CV
FaceCrafter: Identity-Conditional Diffusion with Disentangled Control over Facial Pose, Expression, and Emotion
Institute of Science Tokyo(东京科学研究所);Imperial College London(伦敦帝国学院)
FaceCrafter提出一种身份条件扩散模型,通过轻量级控制模块和正交化训练策略,在保持身份的同时独立控制面部姿态、表情与情感,提升控制精度和生成多样性。
2025-08-23 cs.CV
OFD-Net: Teacher-Free Reliable Semi-supervised Medical Image Segmentation with Orthogonal Feature Disentanglement Net of Foreground-Background
Key Laboratory of Nondestructive Testing, Ministry of Education, Nanchang Hangkong University(南昌航空大学无损检测技术教育部重点实验室)
研究针对医学图像分割标注有限问题,提出无教师单网络框架OFD-Net。通过正交特征解缠模块和引导模块,有效减少误差积累。并开发可靠性感知伪标签学习机制,降低不可靠区域权重。实验验证其有效性,建立了高效可靠的训练范式。
2026-07-21 cs.AI cs.CV
Learning to Tell Apart: Weakly Supervised Video Anomaly Detection via Disentangled Semantic Alignment
针对弱监督视频异常检测易忽略正常模式挖掘、细粒度分类易混淆的问题,提出DSANet从粗细粒度解耦对齐语义,在两个基准上取得了优于现有SOTA的性能。
2025-11-13 cs.CV
Attribute2Image: Conditional Image Generation from Visual Attributes
University of Michigan(密歇根大学);Adobe Research(Adobe研究院);NEC Labs(NEC实验室)
本文研究了一个新的问题,从视觉属性生成图像。我们将图像建模为前景和背景的组合,并开发了一个分层的生成模型,该模型具有可以使用变分自动编码器进行端到端学习的解纠缠潜变量。我们的实验与自然图像的脸和鸟类,并证明所提出的模型能够产生现实和多样化的样本与解开潜在的代表。我们使用一个通用的能量最小化算法的后验推理的潜在变量给定的新图像。因此,学习的生成模型在属性条件图像重建和完成任务中表现出出色的定量和视觉效果。
2016-10-08 cs.AI cs.CV cs.LG
Vision Foundation Model Driven Foreground-Aware Pseudo-LiDAR Generation for Monocular 3D Object Detection
本文提出VFMM3D框架,利用DAM和SAM的先验生成前景感知伪激光雷达,在KITTI、Waymo数据集上实现最优性能,可无缝集成至多种激光雷达3D目标检测器。
2026-08-24 cs.CV
Envisioning Beyond the Few: Disentangled Semantics and Primitives for Few-Shot Atypical Layout-to-Image Generation
State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);Qingdao Research Institute, Beihang University, China(北京航空航天大学青岛研究所,中国)
针对少样本非典型布局到图像生成中表示碎片化问题,提出通过语义锚定和基元注入解耦语义与视觉细节,实现鲁棒少样本适应。
2026-05-29 cs.AI cs.CV cs.LG
Exploring Disentangled and Controllable Human Image Synthesis: From End-to-End to Stage-by-Stage
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(科学与工程学院,香港中文大学(深圳));Future Network of Intelligence Institute, CUHK-Shenzhen(智能网络研究院,CUHK-深圳)
本文提出一种解耦可控的人像合成任务,通过分阶段框架提升可控性和泛化能力,优于端到端模型,适用于真实场景。
2026-03-20 cs.CV
Mitigating Bias: Enhancing Image Classification by Improving Model Explanations
Amirkabir University of Technology(阿米尔卡比尔理工大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);Institute for Research in Fundamental Sciences(基础科学研究所)
本文针对图像分类模型过度依赖背景特征而忽略主要对象的问题,提出通过引导模型关注前景的注意力机制,并结合损失函数修改或架构改进,在基准数据集上验证了该方法能有效提升分类准确率。
2023-09-22 cs.AI cs.CV
Disentangled Representations for Domain-generalized Cardiac Segmentation
School of Engineering, University of Edinburgh(爱丁堡大学工程学院);Canon Medical Research Europe Ltd.(佳能医疗欧洲研究有限公司);The Alan Turing Institute(艾伦·图灵研究所)
由于现有方法无法在不同领域的未知数据上实现令人满意的性能,因此稳健的心脏图像分割仍然是一个开放的挑战。由于医疗数据的采集和注释是昂贵和耗时的,最近的工作集中在域适应和泛化,以弥合来自不同人群和扫描仪的数据之间的差距。在本文中,我们提出了两种数据增强方法,重点是提高域的适应性和泛化能力的国家到最先进的心脏分割模型。特别是,我们的“分辨率增强”方法通过在不同扫描仪协议的范围内将图像重新缩放为不同的分辨率来生成更多样化的数据。随后,我们的“基于因子的增强”方法通过将原始样本投影到解开的潜在空间上,并结合来自不同领域的学习解剖学和模态因子,生成更多样化的数据。我们广泛的实验证明了可见和不可见域之间的有效适应以及模型泛化能力对鲁棒心脏图像分割的重要性。
2020-08-26 cs.CV eess.IV
BlockGAN: Learning 3D Object-aware Scene Representations from Unlabelled Images
University of Bath(巴斯大学);Adobe Research(Adobe研究院);UCL(伦敦大学学院)
我们提出了BlockGAN,这是一种图像生成模型,可以直接从未标记的2D图像中学习对象感知的3D场景表示。当前的场景表示学习要么忽略场景背景,要么将整个场景作为一个对象。同时,考虑场景组合性的工作仅将场景对象视为具有alpha贴图的图像补丁或2D层。受计算机图形管道的启发,我们设计BlockGAN来学习首先生成背景和前景对象的3D特征,然后将它们组合成整个场景的3D特征,最后将它们渲染成逼真的图像。这使得BlockGAN能够推理对象外观之间的遮挡和交互,例如阴影和照明,并提供对每个对象的3D姿态和身份的控制,同时保持图像的真实感。BlockGAN是端到端训练的,只使用未标记的单个图像,而不需要3D几何形状,姿势标签,对象遮罩或同一场景的多个视图。我们的实验表明,使用显式3D特征来表示对象,可以让BlockGAN在对象(前景和背景)及其属性(姿态和身份)方面学习解纠缠表示。
2020-12-02 cs.CV
Image Harmonization with Region-wise Contrastive Learning
图像协调任务的目的是根据特定的背景图像协调不同的复合前景区域。以前的方法更倾向于通过一些内部增强来提高生成器的重建能力,例如注意力、自适应归一化和光调整,$etc.$。然而,他们很少注意区分的前景和背景的外观特征在一个有限的生成器,这成为一个新的挑战,在图像协调任务。在本文中,我们提出了一种新的图像协调框架与外部风格融合和区域明智的对比学习计划。对于外部风格融合,我们利用来自编码器的外部背景外观作为风格参考,以在解码器中生成协调的前景。这种方法通过外部背景引导增强了解码器的协调能力。此外,对于对比学习计划,我们设计了一个区域的对比损失函数图像协调任务。具体来说,我们首先介绍了一种直接的样本生成方法,该方法从输出的协调前景区域中选择负样本,并从地面实况背景区域中选择正样本。我们的方法试图通过最大化前景和背景风格之间的互信息来汇集相应的正样本和负样本,这期望地使我们的协调网络在协调合成图像时更鲁棒地区分前景和背景风格特征。在基准数据集上的大量实验表明,我们的方法可以明显提高协调质量,并在实际应用中表现出良好的泛化能力。
2022-12-13 cs.CV
ControlCom: Controllable Image Composition using Diffusion Model
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对现有扩散模型生成式图像合成存在的前景可控性与身份保留不足问题,提出统一四项合成任务的ControlCom方法,搭配自监督训练框架与局部增强模块,实现更保真可控的图像合成效果。
2023-08-19 cs.CV
Relation Matters: Foreground-aware Graph-based Relational Reasoning for Domain Adaptive Object Detection
The University of Hong Kong(香港大学);Xiamen University(厦门大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
领域自适应目标检测(DAOD)通过知识转移提高目标检测器的泛化能力。DAOD的最新进展致力于通过细粒度的特征对齐方法将自适应过程的重点从全局转向局部。然而,全局和局部对齐方法都无法捕捉不同前景对象之间的拓扑关系,因为忽略了域之间和域内的显式依赖关系和相互作用。在这种情况下,仅仅寻求一对一的对齐并不一定能确保精确的知识转移。此外,由于目标域中不准确的定位结果的累积,常规的基于重叠的方法可能容易受到关于那些不太可转移的区域(例如,背景)的灾难性过拟合的影响。为了解决这些问题,我们首先将DAOD表示为一个开集领域自适应问题,其中前景和背景分别被视为"已知类“和"未知类”。因此,我们提出了一个新的和一般的框架DAOD,命名为前景感知的基于图的关系推理(FGRR),它将图形结构的检测流水线,明确地建模内和域间的前景对象关系的像素和语义空间,从而赋予DAOD模型的关系推理能力超越流行的基于图的范例。域间的视觉和语义相关性通过二分图结构分层建模,域内关系通过图注意力机制编码。实证结果表明,建议FGRR超过了国家的最先进的性能在四个DAOD基准。
2022-06-06 cs.CV
Motion Consistency Model: Accelerating Video Diffusion with Disentangled Motion-Appearance Distillation
State University of New York at Buffalo(纽约州立大学布法罗分校);Microsoft(微软公司)
本文提出单阶段 MCM,通过解耦运动蒸馏与混合轨迹蒸馏,从视频教师学习运动并借助图像判别器增强外观,实现少步、高质量视频扩散生成。
2024-10-26 cs.CV
MANGO: Learning Disentangled Image Transformation Manifolds with Grouped Operators
Georgia Institute of Technology(佐治亚理工学院)
针对现有流形自编码器学习图像变换时算子不解耦且训练成本高的问题,提出MANGO方法,通过分组算子在不同潜在子空间学习解耦变换,支持自定义变换类型,实现组合变换并带来100倍加速。
2025-04-20 cs.CV cs.LG eess.IV
Improving Style-Content Disentanglement in Image-to-Image Translation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
近年来,无监督图像到图像翻译方法取得了巨大的成功。然而,可以很容易地观察到,他们的模型包含显着的纠缠,这往往会损害翻译性能。在这项工作中,我们提出了一个原则性的方法,以提高风格内容解开图像到图像的翻译。通过考虑进入每个表示的信息流,我们引入了一个额外的损失项,作为内容瓶颈。我们表明,我们的方法的结果是显着更解开比目前的方法产生的,同时进一步提高视觉质量和翻译的多样性。
2020-07-09 cs.CV cs.LG
SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection
The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
虽然基于点的网络被证明是准确的3D点云建模,他们仍然落后于他们的基于体素的竞争对手在3D检测。我们观察到,下采样点的流行集合抽象设计可能会保留太多不重要的背景信息,这些信息可能会影响用于检测对象的特征学习。为了解决这个问题,我们提出了一种新的集合抽象方法命名为语义增强集合抽象(SASA)。从技术上讲,我们首先添加一个二进制分割模块作为侧输出,以帮助识别前景点。基于估计的逐点前景分数,然后我们提出了一种语义引导的点采样算法,以帮助在下采样过程中保留更重要的前景点。在实践中,SASA被证明是有效的,在识别有价值的点相关的前景物体和改善基于点的3D检测的特征学习。此外,它是一个易于插入的模块,能够增强各种基于点的探测器,包括单级和两级探测器。在流行的KITTI和nuScenes数据集上进行的大量实验验证了SASA的优越性,基于提升点的检测模型可以达到与最先进的基于体素的方法相当的性能。
2022-01-06 cs.CV
Neighbor-Vote: Improving Monocular 3D Object Detection through Neighbor Distance Voting
University of Science and Technology of China(中国科学技术大学);The University of Sydney(悉尼大学)
随着摄像机越来越多地部署在自动驾驶等新的应用领域,在单目图像上执行3D目标检测成为视觉场景理解的重要任务。单目3D目标检测的最新进展主要依赖于“伪LiDAR”的产生,其执行单目深度估计并将2D像素提升为伪3D点。然而,由于单目图像的深度估计的精度差,导致伪LiDAR点在对象内的不可避免的位置偏移。因此,预测的边界框可能遭受不准确的位置和变形的形状。在本文中,我们提出了一种新的邻居投票方法,结合邻居预测,以改善目标检测严重变形的伪激光雷达点云。具体来说,物体周围的每个特征点形成自己的预测,然后通过投票达成“共识”。通过这种方式,我们可以有效地将邻居的预测与本地预测相结合,实现更准确的3D检测。为了进一步扩大前景感兴趣区域(ROI)伪LiDAR点与背景点之间的差异,我们还将2D前景像素的ROI预测分数编码为相应的伪LiDAR点。我们在KITTI基准测试上进行了大量的实验,以验证我们所提出的方法的优点。我们的结果在鸟瞰图检测优于国家的最先进的性能由一个很大的利润,特别是对于“硬”的水平检测。
2021-07-06 cs.CV
Feature Weighting and Boosting for Few-Shot Segmentation
Oregon State University(俄勒冈州立大学)
本文研究图像中前景目标的Few-Shot分割。我们在训练图像的小子集上训练一个CNN,每个子集都模仿Few-Shot设置。在每个子集中,一个图像用作查询,另一个图像用作具有地面实况分割的支持图像。CNN首先从查询和支持图像中提取特征图。然后,类特征向量被计算为在已知前景上的支持的特征图的平均值。最后,利用类特征向量与查询特征图之间的余弦相似度,在查询图像中分割出目标对象。我们通过以下方式做出两项贡献:(1)提高特征的区分度,使它们的激活在前景上高,在其他地方低;以及(2)利用在测试中分割支持图像时产生的损失梯度引导的专家集合来增强推理。我们对PASCAL- $5^i$和COCO- $20^i$数据集的评估表明,我们显着优于现有的方法。
2019-09-28 cs.CV
Improving Deep Image Matting via Local Smoothness Assumption
Lenovo(联想集团)
自然图像抠图是一项基本的、具有挑战性的计算机视觉任务。通常,该问题被公式化为欠约束问题。由于问题是不适定的,需要对数据分布做进一步的假设以使问题适定。对于经典的抠像方法,通常采用的假设是前景色和背景色的局部平滑假设。然而,对于基于深度学习的抠图方法,没有系统地考虑使用这样的假设。在这项工作中,我们考虑了两个局部平滑假设,这有助于改进深度图像抠图模型。基于局部平滑假设,我们提出了三种技术,即,训练集细化、颜色增强和反向传播细化,可以显著提高深度图像抠图模型的性能。我们进行实验,以检验所提出的算法的有效性。实验结果表明,与现有的抠图方法相比,该方法具有良好的效果。
2022-04-05 cs.CV
FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection
Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);School of Software, Beihang University(北京航空航天大学软件学院);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室);Shanghai ZEEKR Blue New Energy Technology Co., Ltd.(上海极氪蓝新能源科技有限公司);Zhongguancun Laboratory, Beijing, China(中关村实验室)
针对多视角BEV 3D目标检测性能不及激光雷达方法、跨模态蒸馏存在分布差异的问题,提出前景自蒸馏方案、点云增强策略及多尺度前景增强模块,构建FSD-BEV框架,在nuScenes数据集上达到SOTA性能。
2024-07-14 cs.CV
Robust Embodied Perception in Dynamic Environments via Disentangled Weight Fusion
Fudan University(复旦大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种无需领域ID和示例的增量学习框架,通过解耦表示机制和权重融合策略,提升具身多媒体系统在动态环境中的鲁棒性与泛化能力。
2026-04-02 cs.AI cs.CV
PCaM: A Progressive Focus Attention-Based Information Fusion Method for Improving Vision Transformer Domain Adaptation
Westlake Institute for Advanced Studies(西湖研究学院);Centre for Artificial Intelligence(人工智能中心);State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)(多模态人工智能系统国家重点实验室);Institute of Automation(自动化研究所);Chinese Academy of Sciences (CASIA)(中国科学院);School of Artificial Intelligence(人工智能学院);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Alibaba Group(阿里巴巴集团);School of Computer Science(计算机学院);Engineering, the Faculty of Innovation Engineering, Macau University of Science(工程学院,创新工程 faculty,澳门科学大学);Microsoft(微软公司)
针对无监督域自适应中前景对象不匹配问题,提出渐进式焦点交叉注意力机制PCaM,通过逐步过滤背景并引入注意力引导损失,提升跨域注意力一致性,在多个基准上取得最先进结果。
2025-05-27 cs.AI cs.CV cs.LG
Image Synthesis with Disentangled Attributes for Chest X-Ray Nodule Augmentation and Detection
Shanghai Jiao Tong University(上海交通大学);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司);ShanghaiTech University(上海科技大学)
胸部X射线(CXR)图像中的肺结节检测对于肺癌的早期筛查是常见的。基于深度学习的计算机辅助诊断(CAD)系统可以支持放射科医生在CXR中进行结节筛查。然而,它需要具有高质量注释的大规模和多样化的医学数据来训练这种鲁棒和准确的CAD。为了缓解这些数据集的有限可用性,肺结节合成方法被提出用于数据增强。然而,先前的方法缺乏生成具有检测器所期望的尺寸属性的真实结节的能力。为了解决这个问题,我们在本文中介绍了一种新的肺结节合成框架,它将结节属性分解为三个主要方面,包括形状,大小和纹理,分别。基于GAN的形状生成器首先通过生成不同的形状掩模来对结节形状进行建模。随后的尺寸调制能够以像素级粒度定量控制生成的结节形状的直径。由粗到细的门控卷积纹理生成器最终合成基于调制形状掩模的视觉上合理的结节纹理。此外,我们建议通过控制用于数据增强的解开的结节属性来合成结节CXR图像,以便更好地补偿在检测任务中容易错过的结节。我们的实验证明了所提出的肺结节合成框架的增强的图像质量、多样性和可控性。我们还验证了我们的数据增强的有效性,大大提高了结节检测性能。
2022-07-19 cs.CV eess.IV
Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations
University of Padova(帕多瓦大学)
深度神经网络在学习新任务时会遇到灾难性遗忘旧任务的主要限制。在本文中,我们专注于类增量持续学习语义分割,新的类别是随着时间的推移,而以前的训练数据不保留。所提出的持续学习方案塑造潜在空间以减少遗忘,同时提高对新类的识别。我们的框架由三个新颖的组件驱动,我们还将它们毫不费力地结合在现有技术之上。首先,原型匹配在旧类上强制执行潜在空间一致性,约束编码器在后续步骤中为先前看到的类产生类似的潜在表示。其次,特征稀疏化允许在潜在空间中腾出空间来容纳新的类。最后,对比学习是根据他们的语义聚类功能,而撕裂除了那些不同的类。对Pascal VOC 2012和ADE 20 K数据集的广泛评估证明了我们方法的有效性,显著优于最先进的方法。
2021-11-24 cs.AI cs.CV cs.LG
Explicitly Disentangled Representations in Object-Centric Learning
Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所);LIACS, Leiden University(莱顿大学高级计算机科学研究所)
本研究提出一种显式解耦对象中心学习表示的新架构,将形状与纹理分离到预定义潜变量子空间,在多数基准上提升性能并支持纹理生成与迁移。
2025-01-23 cs.AI cs.CV cs.LG